互聯(lián)網(wǎng)跨域端到端質(zhì)量監(jiān)測(cè)及故障定位方案

顏永明，陳兵，許文杰

?

互聯(lián)網(wǎng)跨域端到端質(zhì)量監(jiān)測(cè)及故障定位方案

顏永明1，陳兵2，許文杰1

（1. 中國(guó)電信股份有限公司上海分公司，上海 200085； 2. 上海市信息網(wǎng)絡(luò)有限公司，上海 200081）

隨著互聯(lián)網(wǎng)市場(chǎng)的迅猛發(fā)展，互聯(lián)網(wǎng)內(nèi)容提供商對(duì)網(wǎng)絡(luò)質(zhì)量提出了更高的要求。大型互聯(lián)網(wǎng)內(nèi)容提供商因業(yè)務(wù)需要，應(yīng)用遍布于各地?cái)?shù)據(jù)中心，對(duì)互聯(lián)網(wǎng)跨域訪問(wèn)質(zhì)量有很高的要求。建立互聯(lián)網(wǎng)跨域端到端質(zhì)量監(jiān)測(cè)系統(tǒng)，快速定位域外網(wǎng)絡(luò)故障，對(duì)互聯(lián)網(wǎng)運(yùn)營(yíng)商及服務(wù)提供商具有較大的意義。分析了常用網(wǎng)絡(luò)監(jiān)控技術(shù)和等價(jià)路徑中的散列（Hash）算法，提出利用散列算法實(shí)現(xiàn)網(wǎng)絡(luò)路徑全遍歷，監(jiān)測(cè)互聯(lián)網(wǎng)跨域端到端質(zhì)量，最后對(duì)故障定位方案給出了建議。

跨域；端到端質(zhì)量；散列；路徑全遍歷

1 引言

在各類移動(dòng)端和桌面端應(yīng)用，如游戲、社交應(yīng)用、購(gòu)物以及搜索引擎等需求的推動(dòng)下，互聯(lián)網(wǎng)企業(yè)對(duì)網(wǎng)絡(luò)帶寬的需求持續(xù)增長(zhǎng)，數(shù)據(jù)中心經(jīng)多年發(fā)展，建設(shè)規(guī)模不斷擴(kuò)大。同時(shí)ICP（internet content provider，互聯(lián)網(wǎng)內(nèi)容提供商）對(duì)網(wǎng)絡(luò)訪問(wèn)質(zhì)量提出了更高的要求。云計(jì)算數(shù)據(jù)中心更因業(yè)務(wù)跨機(jī)房調(diào)度、配置部署等特性，對(duì)網(wǎng)絡(luò)高可靠性、穩(wěn)定性、網(wǎng)絡(luò)時(shí)延、分組丟失、抖動(dòng)等質(zhì)量問(wèn)題更為敏感[1]。網(wǎng)絡(luò)異常對(duì)這些業(yè)務(wù)的用戶體驗(yàn)造成極大影響。因此，本文針對(duì)因自治域問(wèn)題而無(wú)法直接采集到網(wǎng)元、鏈路狀態(tài)的互聯(lián)網(wǎng)跨域場(chǎng)景，重點(diǎn)研究了端到端質(zhì)量監(jiān)測(cè)及故障定位方案。

2 互聯(lián)網(wǎng)跨域端到端質(zhì)量監(jiān)測(cè)場(chǎng)景需求和問(wèn)題

目前，大型互聯(lián)網(wǎng)公司大多在全國(guó)租用或自建數(shù)據(jù)中心，網(wǎng)絡(luò)游戲、社交應(yīng)用、在線購(gòu)物及搜索等各類業(yè)務(wù)分布式部署，訪問(wèn)這些服務(wù)的用戶來(lái)自全國(guó)各地，且數(shù)量龐大。以手機(jī)端游戲業(yè)務(wù)為例，玩家來(lái)自全國(guó)各地，而服務(wù)器則可能集中部署于北京、上海或者廣州等主要城市的數(shù)據(jù)中心，玩家使用手機(jī)終端經(jīng)本地運(yùn)營(yíng)商接入網(wǎng)絡(luò)、城域網(wǎng)、骨干網(wǎng)，再到業(yè)務(wù)所在數(shù)據(jù)中心城域網(wǎng)，數(shù)據(jù)中心服務(wù)器經(jīng)返程完成完整的數(shù)據(jù)交互。此類業(yè)務(wù)特性決定了ICP非常關(guān)注跨域端到端網(wǎng)絡(luò)質(zhì)量。從運(yùn)營(yíng)商收到的日常申告來(lái)看，ICP主要反映從數(shù)據(jù)中心到某個(gè)/某些省市的訪問(wèn)質(zhì)量劣化，影響業(yè)務(wù)，并經(jīng)常要求確認(rèn)相應(yīng)省間、區(qū)域間（例如全國(guó)往華東區(qū)域）的網(wǎng)絡(luò)是否存在問(wèn)題。事實(shí)上，只要端到端路徑中某個(gè)段落的網(wǎng)絡(luò)出現(xiàn)異常，就有可能會(huì)導(dǎo)致分組丟失、擁塞、時(shí)延增大、數(shù)據(jù)重傳，造成游戲卡頓，降低用戶體驗(yàn)[2]，因此，亟需建立一套端到端網(wǎng)絡(luò)質(zhì)量監(jiān)控系統(tǒng)來(lái)實(shí)時(shí)監(jiān)控網(wǎng)絡(luò)質(zhì)量，快速定位故障點(diǎn)，以便ISP（internet service provider，互聯(lián)網(wǎng)服務(wù)提供商）/ICP及時(shí)排障、迂回，確保業(yè)務(wù)質(zhì)量保持穩(wěn)定。

3 傳統(tǒng)端到端質(zhì)量監(jiān)測(cè)和故障定位方式

傳統(tǒng)網(wǎng)絡(luò)質(zhì)量監(jiān)控通過(guò)部署在數(shù)據(jù)中心的網(wǎng)絡(luò)探針向目的被監(jiān)控IP地址進(jìn)行單向ping和trace測(cè)試，以發(fā)現(xiàn)、定位故障[3]。這一方式存在如下缺陷：

·? 探針部署位置固定，無(wú)法擬合用戶數(shù)據(jù)分組轉(zhuǎn)發(fā)路徑；

·? 由于是網(wǎng)絡(luò)探針單向做ping和trace，當(dāng)監(jiān)測(cè)到故障時(shí)無(wú)法判斷是ICMP（internet control message protocol，Internet控制報(bào)文協(xié)議）數(shù)據(jù)分組去程方向路徑異常還是回程路徑異常；

·? 目前數(shù)據(jù)網(wǎng)絡(luò)都具有冗余保護(hù)措施，網(wǎng)絡(luò)設(shè)備都是多上聯(lián)架構(gòu)，每條路徑都有2個(gè)以上的冗余節(jié)點(diǎn)，整個(gè)網(wǎng)絡(luò)路徑呈現(xiàn)復(fù)雜的ECMP（equal-cost multipath，等價(jià)多路徑）路由，傳統(tǒng)的單向監(jiān)測(cè)的探針I(yè)P地址和目的IP地址相對(duì)固定，導(dǎo)致監(jiān)測(cè)路徑也是固定的，由于無(wú)法遍歷每條路徑，若監(jiān)測(cè)數(shù)據(jù)分組正好走在狀態(tài)正常的路徑，就無(wú)法監(jiān)測(cè)其他可能發(fā)生質(zhì)量劣化的等價(jià)鏈路，大概率與實(shí)際用戶業(yè)務(wù)數(shù)據(jù)分組流經(jīng)的路徑不一致，對(duì)網(wǎng)絡(luò)質(zhì)量監(jiān)測(cè)和故障定位造成嚴(yán)重干擾[4-5]。

4 互聯(lián)網(wǎng)跨域場(chǎng)景下網(wǎng)絡(luò)路徑全遍歷的質(zhì)量監(jiān)測(cè)方案

4.1 端到端網(wǎng)測(cè)監(jiān)控系統(tǒng)技術(shù)分析

有多種方法可實(shí)現(xiàn)支持目前主流網(wǎng)絡(luò)協(xié)議場(chǎng)景的網(wǎng)絡(luò)質(zhì)量監(jiān)控，分為被動(dòng)式和主動(dòng)式網(wǎng)絡(luò)質(zhì)量監(jiān)測(cè)。

被動(dòng)式網(wǎng)絡(luò)質(zhì)量監(jiān)控，如網(wǎng)元告警系統(tǒng)等是運(yùn)營(yíng)商常用的監(jiān)控方式。該監(jiān)控室采集各種信息例如設(shè)備告警、端口流量等，然后把采集到的信息傳送到相關(guān)服務(wù)器進(jìn)行篩選、分析、告警和存儲(chǔ)等處理。但考慮到用此種方式采集到的數(shù)據(jù)主要是監(jiān)控自治域內(nèi)的網(wǎng)絡(luò)設(shè)備、鏈路告警，存在很大的局限性，且由于維護(hù)權(quán)域問(wèn)題，很難做到跨域的端到端網(wǎng)絡(luò)質(zhì)量監(jiān)控。

采用主動(dòng)式網(wǎng)絡(luò)質(zhì)量監(jiān)控，在網(wǎng)絡(luò)部署探針發(fā)起監(jiān)測(cè)，對(duì)網(wǎng)絡(luò)上的一些目的地址，例如實(shí)際用戶訪問(wèn)的互聯(lián)網(wǎng)網(wǎng)站，也可以通過(guò)數(shù)據(jù)中心間的網(wǎng)絡(luò)探針做雙向監(jiān)控，根據(jù)應(yīng)用場(chǎng)景靈活部署監(jiān)控任務(wù)。

IP 在當(dāng)前網(wǎng)絡(luò)中使用最廣泛，ICMP作為 IP的一個(gè)子協(xié)議具有一定的控制能力和網(wǎng)絡(luò)監(jiān)控能力，經(jīng)常用于網(wǎng)絡(luò)監(jiān)控和鏈路故障定位。

4.1.1 ping測(cè)試

ping測(cè)試通過(guò)發(fā)送ICMP數(shù)據(jù)分組給目標(biāo)主機(jī)，要求目標(biāo)主機(jī)返回應(yīng)答消息。ICMP是 TCP/IP （transmission control protocol/internet protocol，傳輸控制協(xié)議/互聯(lián)網(wǎng)互聯(lián)協(xié)議）協(xié)議族的一個(gè)子協(xié)議，屬于網(wǎng)絡(luò)層協(xié)議，廣泛使用于檢測(cè)網(wǎng)絡(luò)連通性、路由可用性、目的主機(jī)是否可達(dá)等。遇到數(shù)據(jù)分組無(wú)法到達(dá)目的網(wǎng)絡(luò)、網(wǎng)絡(luò)帶寬速率低、時(shí)延高等情況發(fā)生時(shí)，可發(fā)送 ICMP 消息，測(cè)試當(dāng)前網(wǎng)絡(luò)狀態(tài)。

ping測(cè)試將ICMP數(shù)據(jù)分組發(fā)出，目的IP地址對(duì)收到的數(shù)據(jù)進(jìn)行分組后檢查目的地址，如和自身IP地址相符則接受，并且把數(shù)據(jù)分組中相關(guān)信息交給ICMP處理，封裝應(yīng)答數(shù)據(jù)分組后回傳給源地址。當(dāng)ping測(cè)路徑異常時(shí)，返程應(yīng)答數(shù)據(jù)分組里包含路由不可用、目的主機(jī)不可達(dá)等錯(cuò)誤信息。在日常網(wǎng)絡(luò)運(yùn)維中經(jīng)常使用ping測(cè)試用于檢測(cè)網(wǎng)絡(luò)連通性。

4.1.2 trace工具

trace發(fā)出TTL（time to live，存活時(shí)間）值追蹤到達(dá)目的主機(jī)所經(jīng)過(guò)的節(jié)點(diǎn)，從節(jié)點(diǎn)收到ICMP檢測(cè)的應(yīng)答數(shù)據(jù)，用來(lái)檢測(cè)數(shù)據(jù)發(fā)送源到目的節(jié)點(diǎn)之間所經(jīng)節(jié)點(diǎn)。信息在網(wǎng)絡(luò)中傳輸會(huì)經(jīng)過(guò)服務(wù)器、交換機(jī)、路由器等網(wǎng)絡(luò)設(shè)備，這些設(shè)備通常都配置IP地址，trace可以讓運(yùn)維人員知道數(shù)據(jù)端到端傳輸所經(jīng)過(guò)的路徑。trace可以測(cè)量數(shù)據(jù)分組從發(fā)送到目的地址再返回源地址所需要的時(shí)間，其測(cè)試報(bào)告包含節(jié)點(diǎn)IP地址、每個(gè)節(jié)點(diǎn)所花費(fèi)時(shí)間、分組丟失率等信息。

需要注意的是，根據(jù)散列算法數(shù)據(jù)分組從源地址到目的地址走的路徑可能會(huì)隨著每次測(cè)試而改變，使用固定源、目的IP地址測(cè)試分組測(cè)試網(wǎng)絡(luò)狀態(tài)時(shí)，ping、trace報(bào)告顯示路徑正常，只能代表這次ping、trace測(cè)試分組恰巧經(jīng)過(guò)了正常路徑，但如果用戶業(yè)務(wù)數(shù)據(jù)分組經(jīng)過(guò)的是等價(jià)鏈路中的劣化路徑，則測(cè)試結(jié)果與用戶感知不一致。此外，每一trace返回?cái)?shù)據(jù)分組因源地址被修改為響應(yīng)設(shè)備地址，五元組散列結(jié)果差異會(huì)造成回程路徑的不同，因此測(cè)試結(jié)果無(wú)法真實(shí)反映實(shí)際情況。

4.2 散列算法實(shí)現(xiàn)全路徑覆蓋監(jiān)控方案

數(shù)據(jù)分組在等價(jià)路由轉(zhuǎn)發(fā)時(shí)，網(wǎng)絡(luò)設(shè)備會(huì)將每個(gè)連接的所有數(shù)據(jù)分組都發(fā)往多個(gè)鏈路中的其中一條，數(shù)據(jù)分組建立連接和轉(zhuǎn)發(fā)鏈路是通過(guò)網(wǎng)絡(luò)設(shè)備散列算法來(lái)完成的，散列算法是根據(jù)散列因子來(lái)計(jì)算路徑的[6]，比如，包含源IP地址、源端口、目的IP地址、目的端口和傳輸層協(xié)議的五元組。

發(fā)起監(jiān)控ICMP分組時(shí)的散列因子和用戶業(yè)務(wù)數(shù)據(jù)流建立連接時(shí)的散列因子不同，用戶數(shù)據(jù)流恰好走故障鏈路而影響業(yè)務(wù)，而監(jiān)控流經(jīng)過(guò)的鏈路則有可能是正常路徑。日常運(yùn)維中用戶業(yè)務(wù)有時(shí)延、分組丟失等現(xiàn)象，而ICMP監(jiān)控報(bào)告則顯示正常，此時(shí)就有可能是在等價(jià)鏈路中監(jiān)控?cái)?shù)據(jù)分組是通過(guò)鏈路A傳輸，而用戶業(yè)務(wù)數(shù)據(jù)分組是從鏈路B轉(zhuǎn)發(fā)。這就要求網(wǎng)絡(luò)質(zhì)量監(jiān)控系統(tǒng)首先要滿足監(jiān)控路徑覆蓋全鏈路，實(shí)現(xiàn)遍歷性。

4.2.1 單向監(jiān)測(cè)

部署在數(shù)據(jù)中心的探針發(fā)起對(duì)外部公網(wǎng)互聯(lián)網(wǎng)網(wǎng)站的ICMP監(jiān)控。探針支持多IP地址配置，選取多個(gè)互聯(lián)網(wǎng)網(wǎng)站作為目的IP地址進(jìn)行監(jiān)測(cè)。探針發(fā)起對(duì)不同目的互聯(lián)網(wǎng)網(wǎng)站的trace，探針切換不同源地址繼續(xù)對(duì)不同互聯(lián)網(wǎng)IP地址發(fā)起測(cè)試，部署在不同網(wǎng)段的其他探針也持續(xù)重復(fù)以上監(jiān)控。經(jīng)過(guò)上述監(jiān)控步驟可以得到數(shù)據(jù)中心到互聯(lián)網(wǎng)的不同訪問(wèn)路徑，畫出全路徑網(wǎng)絡(luò)監(jiān)測(cè)拓?fù)浣Y(jié)構(gòu)，如圖1所示，可以看出左邊探針發(fā)起對(duì)互聯(lián)網(wǎng)網(wǎng)站地址的ICMP監(jiān)控，當(dāng)探針用不同源地址或者多個(gè)探針發(fā)起監(jiān)控時(shí)，會(huì)經(jīng)過(guò)多個(gè)不同中間節(jié)點(diǎn)，滿足監(jiān)控鏈路的遍歷性要求。逐漸提高目的互聯(lián)網(wǎng)網(wǎng)站地址的數(shù)量，查看中間路徑層數(shù)和節(jié)點(diǎn)數(shù)是否會(huì)明顯增加，如果調(diào)整到無(wú)明顯增加時(shí)，可以得到覆蓋整個(gè)中間路徑的網(wǎng)絡(luò)監(jiān)控拓?fù)洹?/p>

單向監(jiān)測(cè)的特點(diǎn)是每個(gè)探針進(jìn)行一對(duì)多監(jiān)測(cè)，目的IP地址可以在探針最大性能范圍內(nèi)找海量公網(wǎng)存活I(lǐng)P地址，根據(jù)散列算法，足夠多的源?目的IP地址因子組合可以實(shí)現(xiàn)監(jiān)測(cè)覆蓋全路徑的效果，用少量探針實(shí)現(xiàn)監(jiān)測(cè)遍歷性，可以減少部署在異地?cái)?shù)據(jù)中心的探針數(shù)量，控制成本。而缺點(diǎn)是單向監(jiān)測(cè)只能從全局宏觀上發(fā)現(xiàn)某一方向的網(wǎng)絡(luò)質(zhì)量異常情況，定性給出網(wǎng)絡(luò)變化情況，無(wú)法精確定位故障點(diǎn)。

4.2.2 雙向監(jiān)測(cè)

用戶網(wǎng)絡(luò)服務(wù)是用戶發(fā)送請(qǐng)求到數(shù)據(jù)中心，再?gòu)臄?shù)據(jù)中心反饋內(nèi)容，是雙向的，因此，網(wǎng)絡(luò)設(shè)備在兩個(gè)方向分開進(jìn)行散列算法。如果說(shuō)用戶到數(shù)據(jù)中心的方向是路徑A，那么數(shù)據(jù)中心分組返回時(shí)走的路徑可能是B，而ping和trace報(bào)告都是單向監(jiān)控，如果需要監(jiān)控雙向路徑，就要在正反方向分別相互做ping和trace監(jiān)控。單向監(jiān)控的局限性決定，單向監(jiān)控只能用來(lái)做告警發(fā)現(xiàn)和繪制全路徑網(wǎng)絡(luò)監(jiān)控拓?fù)鋱D，要實(shí)現(xiàn)故障點(diǎn)定位功能，需要結(jié)合探針雙向監(jiān)控。

在日常網(wǎng)絡(luò)運(yùn)維中會(huì)碰到以下情況，見表1。

如表1所示，正向trace報(bào)告中第10跳已到用戶側(cè)網(wǎng)絡(luò)且顯示分組丟失出現(xiàn)在最后一跳。第10跳分組丟失率為0，依據(jù)排障經(jīng)驗(yàn)可以判斷之前顯示的分組丟失率為中間節(jié)點(diǎn)設(shè)備對(duì)ICMP分組做的保護(hù)機(jī)制，對(duì)正常業(yè)務(wù)數(shù)據(jù)轉(zhuǎn)發(fā)無(wú)影響，故障點(diǎn)在最后一跳用戶設(shè)備。

但是從表2反向trace報(bào)告可看出，分組丟失出現(xiàn)在第8跳節(jié)點(diǎn)，之后分組丟失率一直延續(xù)，故障點(diǎn)在第8跳省際鏈路中間節(jié)點(diǎn)。最后的排查結(jié)果是上海到北京的一根鏈路故障導(dǎo)致的擁塞引起分組丟失。業(yè)務(wù)請(qǐng)求和數(shù)據(jù)反饋?zhàn)叩碾p向路徑會(huì)不同，且故障往往發(fā)生在其中一條鏈路上，在實(shí)際日常運(yùn)維中會(huì)經(jīng)常碰到結(jié)合單向和反向監(jiān)測(cè)報(bào)告判斷出故障點(diǎn)的情況。

在需要監(jiān)控路徑的多個(gè)數(shù)據(jù)中心部署多個(gè)探針，探針支持多IP地址配置，數(shù)據(jù)中心中的多個(gè)探針與另外數(shù)據(jù)中心探針進(jìn)行相互ICMP監(jiān)控。不同數(shù)據(jù)中心探針間形成full-mesh監(jiān)控，如圖2所示。

表1 正向trace

表2 反向trace

探針源地址數(shù)和探針部署量，可以根據(jù)單向監(jiān)控方式繪制的全路徑網(wǎng)絡(luò)監(jiān)控拓?fù)鋱D作調(diào)整。探針間full-mesh監(jiān)控結(jié)果可得出數(shù)據(jù)中心間全路徑覆蓋監(jiān)控，且可以準(zhǔn)確定位路徑中的故障節(jié)點(diǎn)，如圖3所示。

4.3 端到端網(wǎng)絡(luò)質(zhì)量監(jiān)控方案的實(shí)現(xiàn)

系統(tǒng)由網(wǎng)絡(luò)探針和數(shù)據(jù)處理服務(wù)器組成，網(wǎng)絡(luò)探針用于發(fā)起監(jiān)控，收集監(jiān)控?cái)?shù)據(jù)，數(shù)據(jù)處理服務(wù)器負(fù)責(zé)對(duì)探針進(jìn)行配置下發(fā)和管理，然后對(duì)收集到的監(jiān)控?cái)?shù)據(jù)進(jìn)行處理。方案中單向監(jiān)測(cè)和雙向監(jiān)測(cè)互為補(bǔ)充。

圖2 數(shù)據(jù)中心間形成full-mesh監(jiān)控

單向監(jiān)測(cè)選取海量互聯(lián)網(wǎng)網(wǎng)站地址作為目的IP地址，可以用少量探針達(dá)到監(jiān)測(cè)遍歷性的效果，用單向trace可以畫出某方向的全路徑監(jiān)測(cè)拓?fù)?，并且根?jù)周期性監(jiān)測(cè)數(shù)據(jù)動(dòng)態(tài)調(diào)整拓?fù)鋱D，同時(shí)，用單向ping方式得到某一方向的宏觀網(wǎng)絡(luò)質(zhì)量。雙向監(jiān)測(cè)在滿足遍歷性的情況下實(shí)現(xiàn)故障點(diǎn)精確定位，通過(guò)兩端數(shù)據(jù)中心部署的探針相互ping/trace，可以做到快速發(fā)現(xiàn)故障并準(zhǔn)確定位故障點(diǎn)。

從單向和雙向監(jiān)測(cè)的歷史數(shù)據(jù)中可以看出網(wǎng)絡(luò)周期性變化情況，分析計(jì)算出各方向、各時(shí)間段的網(wǎng)絡(luò)質(zhì)量基線，再將網(wǎng)絡(luò)質(zhì)量基線應(yīng)用在日常實(shí)時(shí)監(jiān)測(cè)中，當(dāng)實(shí)時(shí)監(jiān)測(cè)數(shù)據(jù)偏離質(zhì)量基線時(shí)觸發(fā)告警。為了減少探針和網(wǎng)絡(luò)負(fù)荷，在日常監(jiān)測(cè)中單向和雙向監(jiān)測(cè)頻率可以適當(dāng)降低，且只進(jìn)行ping測(cè)定性網(wǎng)絡(luò)質(zhì)量情況。當(dāng)定性發(fā)現(xiàn)異動(dòng)時(shí)再觸發(fā)高頻率的監(jiān)測(cè)，用雙向trace方式定位故障點(diǎn)。

探針采用虛擬化方式部署在云資源池。虛擬化部署成本低、部署簡(jiǎn)便，其次在后續(xù)維護(hù)中無(wú)需到達(dá)現(xiàn)場(chǎng)，在遠(yuǎn)端即可登錄查看，方便管理。因?yàn)樘结槻渴鹪谑⊥猓_保探針不會(huì)失聯(lián)。虛擬化探針支持配置多個(gè)IP地址，當(dāng)數(shù)據(jù)上傳或者管理通道走在故障路徑時(shí)，只要探針本身狀態(tài)正常沒(méi)有僵死，或者鏈路全斷的情況外，數(shù)據(jù)處理服務(wù)器可以通過(guò)輪詢配置好的多個(gè)IP地址正常工作。

通過(guò)端到端的應(yīng)用監(jiān)控，可以很快掌握網(wǎng)絡(luò)中間的故障點(diǎn)和用戶體驗(yàn)，進(jìn)一步迅速排查網(wǎng)絡(luò)出現(xiàn)的問(wèn)題、定位故障點(diǎn)，為減少故障和提高用戶體驗(yàn)，起到了非常重要的作用。

4.3.1 了解網(wǎng)絡(luò)拓?fù)渥兓?/p>

通過(guò)網(wǎng)絡(luò)探針持續(xù)監(jiān)控各個(gè)方向的網(wǎng)絡(luò)質(zhì)量和監(jiān)控路徑，可以掌握整個(gè)網(wǎng)絡(luò)拓?fù)湫畔?。根?jù)歷史監(jiān)控?cái)?shù)據(jù)，周期性調(diào)整拓?fù)鋱D，比如一周更新一次拓?fù)鋱D。根據(jù)拓?fù)湫畔?，了解網(wǎng)絡(luò)變化的趨勢(shì)，還可以為以后的網(wǎng)絡(luò)變更及帶寬擴(kuò)容等長(zhǎng)期規(guī)劃提供參考依據(jù)，對(duì)某些經(jīng)常發(fā)生網(wǎng)絡(luò)故障的鏈路和節(jié)點(diǎn)及時(shí)做優(yōu)化和整改方案。

4.3.2 制定網(wǎng)絡(luò)性能基線

長(zhǎng)期監(jiān)控鏈路質(zhì)量，根據(jù)節(jié)點(diǎn)性能，將忙時(shí)和閑時(shí)、工作日和節(jié)假日等不同維度的網(wǎng)絡(luò)質(zhì)量監(jiān)控?cái)?shù)據(jù)形成動(dòng)態(tài)調(diào)整的基線。監(jiān)控系統(tǒng)把實(shí)時(shí)收集的監(jiān)控?cái)?shù)據(jù)和告警基線相比較分析，之后彈出故障點(diǎn)、故障等級(jí)等告警信息，提醒運(yùn)維人員確認(rèn)，后續(xù)跟進(jìn)處理。

4.3.3 收斂鏈路告警數(shù)據(jù)

數(shù)據(jù)處理服務(wù)器根據(jù)鏈路方向、網(wǎng)絡(luò)拓?fù)鋽?shù)據(jù)等信息來(lái)確定網(wǎng)絡(luò)探針收集到的監(jiān)控?cái)?shù)據(jù)。例如，同一路徑方向上的告警數(shù)據(jù)歸為一條告警，網(wǎng)絡(luò)拓?fù)鋽?shù)據(jù)中屬于相同網(wǎng)絡(luò)層級(jí)或同一網(wǎng)絡(luò)設(shè)備的IP地址告警歸為相同告警，避免運(yùn)維人員在海量告警數(shù)據(jù)中浪費(fèi)故障處理時(shí)間。根據(jù)不同監(jiān)控場(chǎng)景，制定多種收斂算法。

4.3.4 多維度報(bào)表

可以根據(jù)網(wǎng)絡(luò)質(zhì)量監(jiān)控?cái)?shù)據(jù)多維度提供網(wǎng)絡(luò)性能報(bào)表，根據(jù)不同區(qū)域、不同數(shù)據(jù)中心、不同訪問(wèn)方向、多個(gè)監(jiān)控路徑等維度來(lái)掌握網(wǎng)絡(luò)質(zhì)量信息。還可以根據(jù)新的監(jiān)控場(chǎng)景和業(yè)務(wù)場(chǎng)景，自定義質(zhì)量監(jiān)控?cái)?shù)據(jù)，以圖表和報(bào)表方式呈現(xiàn)網(wǎng)絡(luò)健康狀態(tài)。

4.4 網(wǎng)絡(luò)監(jiān)控拓?fù)?/h3>

根據(jù)需求該系統(tǒng)可以實(shí)現(xiàn)的監(jiān)控網(wǎng)絡(luò)拓?fù)淙鐖D4所示。

圖4 監(jiān)控網(wǎng)絡(luò)拓?fù)?/p>

具體如下：

·? 在主要城市數(shù)據(jù)中心部署網(wǎng)絡(luò)探針；

·? 中間數(shù)據(jù)處理服務(wù)器為部署在各省市數(shù)據(jù)中心的網(wǎng)絡(luò)探針下發(fā)配置、任務(wù)，集中管理管理部署；

·? 部署在各省市數(shù)據(jù)中心的網(wǎng)絡(luò)探針相互形成full-mesh監(jiān)控?cái)?shù)據(jù)流，進(jìn)行雙向監(jiān)控；

·? 部署在各省市數(shù)據(jù)中心的網(wǎng)絡(luò)探針也發(fā)起對(duì)互聯(lián)網(wǎng)網(wǎng)站IP地址的監(jiān)控?cái)?shù)據(jù)流，進(jìn)行單向監(jiān)控。

4.5 與傳統(tǒng)網(wǎng)絡(luò)質(zhì)量監(jiān)測(cè)方式對(duì)比

數(shù)據(jù)分組在網(wǎng)絡(luò)中傳遞時(shí)會(huì)經(jīng)過(guò)多個(gè)節(jié)點(diǎn)，現(xiàn)在網(wǎng)絡(luò)為了冗余性，節(jié)點(diǎn)和節(jié)點(diǎn)間用多個(gè)等價(jià)鏈路做負(fù)載均衡，通常會(huì)用散列算法來(lái)實(shí)現(xiàn)。使用五元組（源地址、目的地址、源端口、目的端口、協(xié)議類型）為散列因子，經(jīng)過(guò)散列算法得出的散列值作為區(qū)分不同數(shù)據(jù)流的標(biāo)志，映射到不同等價(jià)鏈路。在ICMP測(cè)試中，每次ping測(cè)試或者trace都計(jì)算為一次ICMP連接，所以每次ICMP測(cè)試都只會(huì)監(jiān)控多條鏈路中的一條，在此次ICMP測(cè)試中其他等價(jià)鏈路不會(huì)被監(jiān)控到。發(fā)起監(jiān)控ICMP分組時(shí)的散列因子和用戶業(yè)務(wù)數(shù)據(jù)流建立連接時(shí)的散列因子不同，用戶數(shù)據(jù)流恰好走故障鏈路而影響業(yè)務(wù)，而監(jiān)控流經(jīng)過(guò)的鏈路則有可能是正常路徑。

端到端網(wǎng)絡(luò)質(zhì)量監(jiān)控方案通過(guò)改變監(jiān)控探針I(yè)P地址和監(jiān)控目的IP地址，即改變散列算法中散列因子的方式，使監(jiān)控?cái)?shù)據(jù)流遍歷鏈路，及時(shí)掌握網(wǎng)絡(luò)拓?fù)渥兓?，快速定位網(wǎng)絡(luò)故障，并且通過(guò)分析監(jiān)控?cái)?shù)據(jù)，動(dòng)態(tài)調(diào)整網(wǎng)絡(luò)性能基線，收斂告警。此方案解決了傳統(tǒng)網(wǎng)絡(luò)質(zhì)量監(jiān)控系統(tǒng)遇到的故障發(fā)現(xiàn)不及時(shí)、故障定位不準(zhǔn)確、無(wú)法掌握網(wǎng)絡(luò)拓?fù)洹⑿阅芑€設(shè)置單一等問(wèn)題，可使日常運(yùn)維工作變得更簡(jiǎn)單、高效。與傳統(tǒng)網(wǎng)絡(luò)質(zhì)量監(jiān)測(cè)方式比較見表3。

表3 與傳統(tǒng)網(wǎng)絡(luò)質(zhì)量監(jiān)測(cè)方式對(duì)比

5 結(jié)束語(yǔ)

根據(jù)散列算法用足夠多的源目IP地址組合實(shí)現(xiàn)監(jiān)控路徑遍歷性，通過(guò)單向監(jiān)測(cè)方式繪制監(jiān)測(cè)拓?fù)浒l(fā)現(xiàn)問(wèn)題，用雙向監(jiān)測(cè)進(jìn)一步定位故障，使用監(jiān)控?cái)?shù)據(jù)制定網(wǎng)絡(luò)性能基線，收斂告警數(shù)據(jù)，建立跨域端到端網(wǎng)絡(luò)質(zhì)量監(jiān)測(cè)系統(tǒng)可彌補(bǔ)傳統(tǒng)網(wǎng)絡(luò)質(zhì)量監(jiān)控手段的不足。后續(xù)可以考慮結(jié)合多種不同協(xié)議配合ICMP做路徑監(jiān)控，如使用HTTP（hypertext transfer protocol，超文本傳輸協(xié)議）、UDP（user datagram protocol，用戶數(shù)據(jù)報(bào)協(xié)議）。網(wǎng)絡(luò)路徑中間節(jié)點(diǎn)設(shè)備會(huì)對(duì)HTTP和UDP做轉(zhuǎn)發(fā)策略，而針對(duì)ICMP分組，一些路由器、交換機(jī)等設(shè)備會(huì)為了不影響轉(zhuǎn)發(fā)業(yè)務(wù)數(shù)據(jù)性能，對(duì)ping和trace協(xié)議分組做限制。根據(jù)ICMP、HTTP、UDP 3種協(xié)議各自優(yōu)點(diǎn)，在不同場(chǎng)景結(jié)合使用的話可能會(huì)得到更加準(zhǔn)確可靠的監(jiān)測(cè)結(jié)果。

[1] 樊自甫, 伍春玲, 王金紅. 基于SDN架構(gòu)的數(shù)據(jù)中心網(wǎng)絡(luò)路由算法需求分析[J]. 電信科學(xué), 2015, 31(2): 42-51.

FAN Z F, WU C L, WANG J H. Requirements analysis of data center network routing algorithm based on SDN architecture [J]. Telecommunications Science, 2015, 31(2): 42-51.

[2] 謝海華. 有線IP城域網(wǎng)絡(luò)可視化質(zhì)量監(jiān)控系統(tǒng)的建設(shè)與運(yùn)用研究[J]. 無(wú)線互聯(lián)科技, 2017(23).

XIE H H. Study on construction and application of visual quality monitoring system for CATV’s IP metropolitan area network[J]. Wuxian Hulian Keji, 2017(23).

[3] 夏剛. 互聯(lián)網(wǎng)環(huán)境的網(wǎng)絡(luò)質(zhì)量監(jiān)測(cè)體系研究與實(shí)踐[J]. 中國(guó)金融電腦, 2016(7): 48-51.

XIA G. Research and practice of network quality monitoring system in internet environment[J]. China Financial Computer, 2016(7): 48-51.

[4] 覃佐曼. 基于SDN的數(shù)據(jù)中心網(wǎng)絡(luò)多路徑負(fù)載均衡的研究[D]. 大連: 大連海事大學(xué), 2017.

QIN Z M. Research on multipath load balancing in data center network based on SDN[D]. Dalian: Dalian Maritime University, 2017.

[5] 安祿. 基于等價(jià)多路徑的數(shù)據(jù)中心網(wǎng)絡(luò)流量?jī)?yōu)化問(wèn)題研究[D]. 重慶: 重慶大學(xué), 2014.

AN L. The optimization research of traffic engineering for data center networks based on ECMP[D]. Chongqing: Chongqing University, 2014.

[6] 程光, 龔儉, 丁偉, 等. 面向IP流測(cè)量的散列算法研究[J]. 軟件學(xué)報(bào), 2005, 16(5): 652-658.

CHENG G, GONG J, DING W,et al. A hash algorithm for IP flow measurement[J]. Journal of Software, 2005, 16(5): 652-658.

Internet cross-domain end-to-end quality monitoring and trouble location scheme

YAN Yongming1, CHEN Bing2, XU Wenjie1

1. Shanghai Branch of China Telecom Co., Ltd., Shanghai 200085, China 2. Shanghai Information Network Co., Ltd., Shanghai 200081, China

With the rapid development of internet, the internet content providers need much better quality of internet. They usually need to deploy their applications in the internet data centers all over the country due to their business requirements. Users usually cross domain to access in their data centers. So internet content providers have high level of requirements for cross-domain internet quality. It is very important for internet service providers to establish a monitoring system which could monitor end-to-end cross-domain internet quality and locate the troubles of network out of autonomous systems rapidly. The commonly used network monitoring technology and the hash algorithm in equal-cost multipath routing were analyzed. A solution of using Hash algorithm to realize full traversal of network paths and monitor end-to-end cross-domain internet quality, was presented. Some suggestions were also given for trouble location scheme.

cross domain, end-to-end quality, Hash, full traversal of network paths

TN915.41

A

10.11959/j.issn.1000?0801.2018239

顏永明（1978?），男，中國(guó)電信股份有限公司上海分公司信息網(wǎng)絡(luò)部綜合運(yùn)營(yíng)監(jiān)控中心副經(jīng)理、高級(jí)工程師，主要研究方向?yàn)閿?shù)據(jù)網(wǎng)絡(luò)、云組網(wǎng)等。

陳兵（1970?），男，上海市信息網(wǎng)絡(luò)有限公司總經(jīng)理助理、高級(jí)工程師，主要研究方向?yàn)閿?shù)據(jù)通信、大數(shù)據(jù)挖掘等。

許文杰（1986?），男，中國(guó)電信股份有限公司上海分公司信息網(wǎng)絡(luò)部綜合運(yùn)營(yíng)監(jiān)控中心技術(shù)工程師、助理工程師，主要研究方向?yàn)閿?shù)據(jù)網(wǎng)絡(luò)。

2018?06?21；

2018?08?06