背景

在云數據中心環(huán)境下，IAAS云網絡是數據中心所有業(yè)務的通信基礎；云網絡的穩(wěn)定保障，需要全面、高性能、實時的監(jiān)控能力，能夠覆蓋所有轉發(fā)網元、路徑和業(yè)務，這套能力一定是多手段的、多維度的和多層次的，目前還沒有一種監(jiān)控方案或工具能滿足所有的監(jiān)控訴求，我們在一些實際案例中發(fā)現由于缺失網元/云服務的某些監(jiān)控指標，無法及時發(fā)現一些業(yè)務故障。

案例1：某客戶進行新版本的云平臺網絡組件升級，升級后各組件的指標監(jiān)控以及其他監(jiān)控測試方法沒有發(fā)現異常，但是由于升級導致EndPoint轉發(fā)網元的某個組件異常，小概率場景使用到這個網元的時候會導致流量中斷，當前監(jiān)控體系沒有做到能力覆蓋，導致當客戶的實際業(yè)務使用時發(fā)生業(yè)務故障，而阻塞業(yè)務超過1個小時。

案例2：某項目物理網絡進行了變更，物理網絡變更引入一個路由拒收問題，從物理網絡的監(jiān)控沒有發(fā)現問題，但是實際影響了業(yè)務流量，導致業(yè)務故障長達2小時。

案例3：某項目站點某租戶突發(fā)流量導致網關轉發(fā)性能到達瓶頸，影響其他租戶的時延高達20ms，網絡監(jiān)控無法及時發(fā)現此時延問題，直到其他租戶業(yè)務報障。

上面的案例都有一個共同特點：單個網元和交換機的指標正常，但是綜合用到這些網元和交換機的網絡服務有問題，華為云Stack不斷致力于在網絡監(jiān)控上增加監(jiān)控指標，不斷補充監(jiān)控手段，我們發(fā)布了用于虛擬網絡監(jiān)控的主動鏈路監(jiān)控系統(tǒng)，通過點-》線-》面的邏輯構建整個網絡服務監(jiān)控系統(tǒng)。

“點”：包括物理網元和軟件網元，主要監(jiān)控單個網元的CPU、內存、收發(fā)報文、錯包處理/丟包、轉發(fā)相關的表項、規(guī)格和資源占用情況等。“點”的監(jiān)控能夠監(jiān)控當前網元的KPI是否正常，是否具備符合預期的業(yè)務能力。

“線”：包括監(jiān)控物理鏈路，虛擬鏈路和租戶業(yè)務流。

1）物理鏈路監(jiān)控：是指從一個計算節(jié)點到另外一個計算節(jié)點的物理轉發(fā)路徑的KPI是否正常，或者從一個物理交換機到另外一個物理交換機的路徑KPI是否符合預期。

2）虛擬鏈路監(jiān)控：是從云服務的維度，檢測某個網絡服務的服務通道是否正常，云網絡下的網絡服務鏈路是物理網元和軟件網元配合完成的一個整體鏈路。

3）租戶業(yè)務流監(jiān)控：將物理鏈路和虛擬鏈路比作道路，那么租戶業(yè)務流可以認為是這條路上跑的汽車。物理鏈路和虛擬鏈路的監(jiān)控可以保證大部分的汽車運行正常，不會有大規(guī)模的阻塞問題，但是并不代表某輛汽車的運行一定是正常的。租戶業(yè)務流監(jiān)控是在物理物理監(jiān)控和虛擬物理監(jiān)控的基礎上補充對某個業(yè)務實例的監(jiān)控。

“面”：是從云服務的維度對網絡監(jiān)控進行統(tǒng)一的整理和展示，一個標準網絡服務的組件包括管理面組件，數據面組件和租戶實例。以華為云Stack為例，其支持的云服務數量眾多，網絡服務就有10多種，每種網絡服務有不同的組件，為了幫助運維管理員管理好這些服務，按照云服務的角度，把資源、拓撲、告警、性能、規(guī)格、日志、配置、撥測等進行統(tǒng)一整理和分類，做到一站式監(jiān)控整個云服務的運維能力。

表1 網絡監(jiān)控對比

虛擬鏈路監(jiān)控殺手锏：主動鏈路監(jiān)控

云網絡大部分都是軟件化部署，僅僅監(jiān)控物理網絡的質量是不夠的，更重要的是監(jiān)控虛擬網絡端到端的質量，比如VPC服務網絡質量（從ECS到ECS），VPC-Peer服務網絡質量（ECS-vRouter-ECS），ELB服務網絡質量（client-LVS-member）等，虛擬網絡鏈路是云網絡的本質轉發(fā)路徑，云網絡下的虛擬網絡監(jiān)控對于網絡轉發(fā)，應用質量保障非常重要。

華為云Stack面向政企市場，為了監(jiān)控虛擬鏈路質量，提供了智能化的主動鏈路監(jiān)控系統(tǒng)，客戶不需要理解復雜的云網絡/的內部原理，只需要傻瓜式的啟動這個系統(tǒng)，主動鏈路監(jiān)控系統(tǒng)能夠根據項目業(yè)務場景和客戶組網，自動計算需要監(jiān)控的虛擬網絡對象，主動規(guī)劃學習監(jiān)控路徑，自動上報網絡監(jiān)控指標和告警網絡故障。

通過主動鏈路監(jiān)控，可以及時發(fā)現前面案例中的各種故障，故障發(fā)現時間從不確定走向確定，故障定界定位時間從小時級變成分鐘級。

一、黃金指標：丟包率和時延

網絡監(jiān)控的指標很多，但是最能代表網絡質量的是丟包率和時延兩個指標。丟包率和時延是網絡轉發(fā)能力和業(yè)務質量體驗的最直接指標，丟包會導致報文重傳，會引起網絡震蕩，對業(yè)務的影響表現為業(yè)務不平穩(wěn)，有抖動。時延高會導致網絡傳輸慢，導致頁面卡頓、應用反應遲緩。丟包率和時延的檢測需要通過主動或者被動的方式來動態(tài)測量，不能通過直接查詢或者采集交換機或者服務器的某個指標獲取，相關的網絡測量技術有很多，在此不做過多贅述。為了獲取到設備級、Fabric級、整個DC和跨DC的時延和丟包率指標，各個廠家都設計了自己的工具系統(tǒng)，比如微軟的Pingmesh，Facebook的NETNORAD，百度的NetRadar，阿里的vTrace等，都是為了監(jiān)控整個數據中心網絡質量的系統(tǒng)方案，其中最重要的輸出指標就是丟包率和時延。

二、鏈路檢測根技術

黑盒檢測方法是計算時延和丟包率最常用，最簡單的方法。傳統(tǒng)的黑盒撥測通常只關注最后撥測的結果通或者不通，如圖1所示，通過發(fā)送ICMP request和TCP SYN，關注 ICMP replay和TCP ACK報文是否有回應，發(fā)送和接受報文間RTT時延，由此計算整條探測路徑的丟包率和時延。如果中間某個交換機或者網元有了故障，并且網元已經自我隔離了，對外的服務質量并沒有中斷，這種情況下通過普通的黑盒探測是無法探測的?；谌旧珗笪牡膿軠y常用于出現問題后對問題進行復現時候的故障定界定位，如圖2所示，在每個網元，包括物理網元和軟件網元，都具備對染色報文進行鏡像和統(tǒng)計的能力，可以精確定位每個監(jiān)測點接收和發(fā)送的報文數，以及每個點的時延信息，是一種高精度的黑盒檢測方法?；谌旧膿軠y方法，我們主動鏈路監(jiān)控進行主動配置探針，主動編排策略，達到覆蓋所有網元節(jié)點的探測目的，可以監(jiān)控網絡服務經過所有網元的服務可用性，同時得到全量網元的時延和丟包率指標。主動鏈路監(jiān)控以染色報文的撥測作為測量方法，可以做到比傳統(tǒng)黑盒監(jiān)控更精細化的監(jiān)控效果，不僅監(jiān)控云服務的質量，更能覆蓋的所有網元的轉發(fā)質量，更大化的保障租戶業(yè)務流質量。

圖1 傳統(tǒng)黑盒撥測

圖2 基于染色報文的撥測

三、系統(tǒng)架構

主動鏈路監(jiān)控整體系統(tǒng)架構如圖3所示，主要包括Server端和Agent端。Server端用于根據云服務維度和監(jiān)控場景生成策略列表和創(chuàng)建撥測任務，agent端用于報文注入和鏡像報文收集。

圖3 主動鏈路監(jiān)控系統(tǒng)架構

監(jiān)控場景：包括日常監(jiān)控場景和升級監(jiān)控場景，日常監(jiān)控是一個持續(xù)監(jiān)控的過程，主要側重于監(jiān)控面廣，持續(xù)迭代和優(yōu)化；升級監(jiān)控，側重于快速給出某個網絡服務的監(jiān)控結果，需要針對某個網絡服務進行快速迭代和升級前后對比。

網絡拓撲：數據中心的網絡拓撲，包括所有的交換機和所有的計算節(jié)點，軟件網元的網口連接信息。

策略列表：包含所有要探測的鏈路的集合，一個策略對象是一個五元組信息，包括源探針I(yè)P，目的探針I(yè)P，協(xié)議，源端口和目的端口。

撥測Controller：按照策略列表下發(fā)撥測任務。

撥測Analyzer：收集撥測結果，并根據撥測結果對策略進行正向反饋優(yōu)化，策略優(yōu)化后可以覆蓋更全的鏈路。

撥測Agent：對探針注入染色報文，并收集OVS的鏡像報文。在所有的計算節(jié)點和網元節(jié)點部署。

ERSPAN：物理交換機通過ERSPAN的方式，把染色的撥測報文鏡像到Analyzer，供Analyzer進行虛擬網絡和物理網絡的統(tǒng)一路徑檢測和分析。

四、關鍵技術

亮點1：策略優(yōu)化

按照用戶輸入的監(jiān)控場景和云服務列表，Server會生成一個默認的策略列表，但是每個客戶現網的情況都不盡相同，初始創(chuàng)建的策略難點在于如何覆蓋所有的網元，比如下面的圖4，網元1_3和網元2_3并沒有被探測到，達不到鏈路覆蓋的效果。我們基于染色報文的撥測方法，提出策略優(yōu)化的方案，Analyzer得到撥測結果后會進行分析，不斷的迭代策略的五元組信息，按照不斷的反饋和補償，可以達到一條策略能夠覆蓋所有網元的目的，如圖5所示。策略從圖4的結果到圖5的結果就是一個策略優(yōu)化的過程。策略優(yōu)化還有另外一種結果，那就是嘗試了所有的可能后，始終無法覆蓋到某個網元，比如圖6中的網元1_3，出現這種情況我們有理由懷疑，網元1_3業(yè)務出現某種問題后觸發(fā)了自身的自動隔離，這種情況不影響這個網絡服務整體對外的可用性，只是性能或者服務等級下降，主動鏈路監(jiān)控一樣可以發(fā)現網絡服務的亞健康問題。因此主動鏈路監(jiān)控的策略優(yōu)化機制，監(jiān)控的不僅包括云服務的可用性，而且包括網元的可用性，監(jiān)控粒度和精度比傳統(tǒng)的黑盒監(jiān)控要高很多。

圖4 初始策略

圖5 優(yōu)化后策略-1

圖6 優(yōu)化后策略-2

亮點2：告警匯聚

圖7 故障場景在網元故障場景下，某個網元出現故障，由于網元是被所有節(jié)點和所有租戶共同使用的，大量的主動鏈路監(jiān)控撥測任務會定位到此網元，如何不做任何過濾直接上報，Server會產生大量的告警，這些告警的問題溯源是重復的，告警處理效率低。告警匯聚的過程，會把所有的故障點信息進行匯總分析，匯聚成統(tǒng)一故障點之后再上報，避免了大量重復告警上送，運維管理員根據上報的匯聚告警快速定界到故障點，得到故障的影響范圍。

亮點3：可視化指標

為了展示測量數據和異常檢測結果，主動鏈路監(jiān)控設計可視化指標，包括兩部分，虛擬鏈路的時延、丟包率指標和網元的時延、丟包率指標。虛擬鏈路是包含多個路徑的，比如VPC的服務，包括的是計算節(jié)點的虛擬交換機到其他計算節(jié)點的虛擬機交換機的路徑。圖8中的每個原點表示某個計算節(jié)點的探針，兩個網點之間的線表示兩個探針之間的路徑，這個路徑是包括兩邊的OVS和中間的物理交換機，同時通過策略優(yōu)化，每個網卡和每個物理交換機也會被覆蓋到。線是綠色表示指標正常，如果指標異常，圖8中的連線會紅色展示。點擊其中的某條路徑，可以查看這個路徑的丟包率和時延指標，可以查看最近30分鐘，近一小時，近一天以及最長最近一個月的指標。

圖8 VPC服務鏈路質量展示

圖9 路徑指標展示圖10和圖11展示的是網元的丟包率和時延指標，如果一種網元類型有多個，會分別展示每個的時延和丟包率指標。

圖10 網元丟包率

圖11 網元時延

最后

主動鏈路監(jiān)控基于染色報文的探測方案，改善了傳統(tǒng)黑盒監(jiān)控，只能監(jiān)控網絡服務SLA，沒法監(jiān)控網元級服務SLA的弊端，采取主動探測和策略優(yōu)化的方法，做到盡可能覆蓋每個服務和每條路徑，最大可能的探測到客戶實際業(yè)務流的每條路徑，盡早的發(fā)現網絡質量問題，切實保障客戶業(yè)務質量。

原文標題：【大架光臨】云網絡的守護神，主動鏈路監(jiān)控

文章出處：【微信公眾號：華為開發(fā)者社區(qū)】歡迎添加關注！文章轉載請注明出處。
責任編輯:pj