網(wǎng)絡(luò)遙測技術(shù)及其在網(wǎng)絡(luò)自動化運維中的應(yīng)用

毛東峰，賈曼，何曉明，劉志華

工程與應(yīng)用

網(wǎng)絡(luò)遙測技術(shù)及其在網(wǎng)絡(luò)自動化運維中的應(yīng)用

毛東峰1，賈曼1，何曉明2，劉志華2

（1. 中國電信集團(tuán)有限公司，北京 100032； 2. 中國電信股份有限公司研究院，廣東 廣州 510630）

網(wǎng)絡(luò)遙測作為近年來不斷發(fā)展的一種新的數(shù)據(jù)采集技術(shù)，極大地豐富了采集數(shù)據(jù)的多樣性，拓展了傳統(tǒng)OAM數(shù)據(jù)采集范圍，其目標(biāo)是實現(xiàn)實時的全局網(wǎng)絡(luò)狀態(tài)可視和流量可視。通過與大數(shù)據(jù)和AI技術(shù)相結(jié)合，減少人工干預(yù)，提升網(wǎng)絡(luò)自動化運維水平。首先分析當(dāng)前IP網(wǎng)絡(luò)運維面臨的問題和挑戰(zhàn)，然后闡述網(wǎng)絡(luò)遙測技術(shù)是實現(xiàn)網(wǎng)絡(luò)自動化運維關(guān)鍵使能技術(shù)，在此基礎(chǔ)上研究和探討網(wǎng)絡(luò)遙測技術(shù)在運營商IP網(wǎng)絡(luò)自動化運維中的應(yīng)用，為運營商大規(guī)模IP網(wǎng)絡(luò)的自動化運維提供參考和指引。

網(wǎng)絡(luò)遙測；自動化運維；OAM；主動測量；混合測量

1 引言

5G時代蓬勃發(fā)展的各種新業(yè)務(wù)對網(wǎng)絡(luò)質(zhì)量提出了更高要求。以4K/8K超高清視頻、虛擬現(xiàn)實（VR）/增強現(xiàn)實（AR）為代表的增強移動寬帶（eMBB）業(yè)務(wù)要求網(wǎng)絡(luò)提供足夠帶寬、穩(wěn)定時延和丟包率保障，以面向工業(yè)互聯(lián)網(wǎng)、無人機控制、自動駕駛等應(yīng)用的超低時延高可靠性通信（uRLLC）業(yè)務(wù)對時延、抖動和丟包率提出了更加嚴(yán)苛的要求[1-2]。運營商的經(jīng)營模式也從粗放式的銷售網(wǎng)絡(luò)帶寬到精細(xì)化銷售服務(wù)體驗轉(zhuǎn)變，如何保障用戶的服務(wù)體驗將是承載網(wǎng)面臨的一大挑戰(zhàn)。傳統(tǒng)網(wǎng)管系統(tǒng)一方面無法從紛繁復(fù)雜的告警信息中快速精準(zhǔn)定位故障，另一方面也無法實現(xiàn)實時的網(wǎng)絡(luò)可視和流量可視，適時進(jìn)行網(wǎng)絡(luò)擴容和優(yōu)化調(diào)整。運營商需要變被動運維為主動運維，及時發(fā)現(xiàn)潛在故障和服務(wù)質(zhì)量劣化跡象并消滅于萌芽狀態(tài)。IP承載網(wǎng)的自動化運維成為運營商提升網(wǎng)絡(luò)價值的重要利器。近年來，網(wǎng)絡(luò)遙測（network telemetry）技術(shù)和人工智能（AI）已成為網(wǎng)絡(luò)研究熱點，有望成為實現(xiàn)網(wǎng)絡(luò)智能化和自動化的關(guān)鍵使能技術(shù)，一些業(yè)界領(lǐng)先的電信設(shè)備制造商也相繼推出基于網(wǎng)絡(luò)遙測的自動化解決方案。

5G承載需要滿足eMBB、uRLLC、mMTC多業(yè)務(wù)差異化需求，對IP承載網(wǎng)服務(wù)質(zhì)量提出了更高要求?；诰W(wǎng)絡(luò)遙測+AI技術(shù)的IP網(wǎng)絡(luò)自動化運維能夠精準(zhǔn)定位網(wǎng)絡(luò)故障，及時主動發(fā)現(xiàn)網(wǎng)絡(luò)擁塞、時延、丟包等問題，很好保障5G時代大量時延、丟包敏感性業(yè)務(wù)體驗。網(wǎng)絡(luò)遙測技術(shù)已成為當(dāng)前業(yè)界研究和應(yīng)用的熱點，全球主流網(wǎng)絡(luò)設(shè)備制造商、運營商及個人已經(jīng)向互聯(lián)網(wǎng)工程任務(wù)組（IETF）等國際標(biāo)準(zhǔn)化組織提交了大量的工作組草案和個人文稿。

2 當(dāng)前IP網(wǎng)絡(luò)運維面臨的問題和挑戰(zhàn)

隨著大數(shù)據(jù)分析和AI技術(shù)逐漸成熟并步入商業(yè)化應(yīng)用的快車道，網(wǎng)絡(luò)界自然想到應(yīng)用這些技術(shù)解決網(wǎng)絡(luò)自動化運維，進(jìn)而實現(xiàn)網(wǎng)絡(luò)智能，最終達(dá)到網(wǎng)絡(luò)自治終極目標(biāo)。運營商希望借助于大數(shù)據(jù)+AI技術(shù)來預(yù)測和發(fā)現(xiàn)網(wǎng)絡(luò)潛在故障、安全隱患、性能指標(biāo)、健康狀態(tài)等運行趨勢。運營商擁有的超大規(guī)模網(wǎng)絡(luò)以及海量用戶流量無疑為大數(shù)據(jù)分析和機器學(xué)習(xí)提供了足夠的數(shù)據(jù)樣本。 一方面，從海量的網(wǎng)絡(luò)數(shù)據(jù)中發(fā)現(xiàn)網(wǎng)絡(luò)故障、網(wǎng)絡(luò)異常、網(wǎng)絡(luò)策略違背以及預(yù)測未來事件的發(fā)生；另一方面，這些網(wǎng)絡(luò)數(shù)據(jù)可以應(yīng)用于網(wǎng)絡(luò)規(guī)劃、入侵防御、網(wǎng)絡(luò)優(yōu)化和自愈等網(wǎng)絡(luò)策略更新。可以想象，基于意圖驅(qū)動（intent-driven）的自動駕駛網(wǎng)絡(luò)是繼軟件定義網(wǎng)絡(luò)（SDN）之后網(wǎng)絡(luò)演進(jìn)的又一次飛躍，其目的在于減少甚至消除人工對網(wǎng)絡(luò)的干預(yù)，并使得網(wǎng)絡(luò)資源提供更高效、更貼近客戶需求的優(yōu)質(zhì)服務(wù)。

由于大數(shù)據(jù)+AI技術(shù)使得數(shù)據(jù)處理能力得到了極大改善，應(yīng)用對數(shù)據(jù)的饑渴正變得急迫。然而，當(dāng)前網(wǎng)絡(luò)卻缺乏從網(wǎng)絡(luò)中提取有用且可操作的網(wǎng)絡(luò)數(shù)據(jù)的能力，系統(tǒng)瓶頸正在從數(shù)據(jù)消費轉(zhuǎn)移到數(shù)據(jù)供給。隨著網(wǎng)絡(luò)規(guī)模和流量帶寬的快速增長，網(wǎng)絡(luò)配置和策略的改變正變得比以往任何時候更為敏捷。更多不易覺察的細(xì)微事件以及更細(xì)粒度的數(shù)據(jù)需要通過網(wǎng)絡(luò)各層面實時捕獲和導(dǎo)出。簡而言之，當(dāng)前網(wǎng)絡(luò)正面臨如何高效、實時、靈活地獲取足夠多的高質(zhì)量的運行、維護(hù)和管理（OAM）數(shù)據(jù)的挑戰(zhàn)。

列舉網(wǎng)絡(luò)運維5個基本的應(yīng)用場景，以凸顯網(wǎng)絡(luò)OAM數(shù)據(jù)在速度、多樣性、容量和真實性方面的要求[3]。

（1）網(wǎng)絡(luò)策略合規(guī)和意圖遵從。網(wǎng)絡(luò)策略是限制網(wǎng)絡(luò)接入服務(wù)，提供服務(wù)區(qū)別對待，或?qū)α髁繉嵤┨厥馓幚怼＠?，業(yè)務(wù)功能鏈（service function chaining，SFC）是為選定的流通過一組有序的網(wǎng)絡(luò)功能的策略。而意圖是一種高層抽象策略，在應(yīng)用于網(wǎng)絡(luò)之前需要進(jìn)行復(fù)雜的翻譯和映射過程，在應(yīng)用于網(wǎng)絡(luò)之后需要驗證網(wǎng)絡(luò)配置符合真實意圖。網(wǎng)絡(luò)策略在執(zhí)行過程中需要對合規(guī)性進(jìn)行持續(xù)的驗證和監(jiān)控。

（2）SLA合規(guī)性。服務(wù)水平協(xié)議（service level agreement，SLA）定義了用戶期望網(wǎng)絡(luò)運營商提供的服務(wù)水平，包括服務(wù)監(jiān)測度量和服務(wù)水平未達(dá)到協(xié)議時的補救/懲罰程序度量。用戶需要檢查運營商是否按照承諾獲得了服務(wù)，網(wǎng)絡(luò)運營商需要評估如何交付能夠滿足SLA的服務(wù)。

（3）根因分析。從大量相關(guān)或無關(guān)的故障告警信息中如何快速精準(zhǔn)定位故障，如何快速定位報文丟失位置，網(wǎng)絡(luò)在哪個節(jié)點發(fā)生擁塞時產(chǎn)生的時延變化。盡管機器學(xué)習(xí)技術(shù)有助于根因分析，但是需要網(wǎng)絡(luò)提供足夠與故障關(guān)聯(lián)的OAM數(shù)據(jù)。

（4）網(wǎng)絡(luò)優(yōu)化。包括負(fù)載平衡、流量工程（traffic engineering，TE）和網(wǎng)絡(luò)規(guī)劃等涵蓋短期和長期的網(wǎng)絡(luò)優(yōu)化技術(shù)。網(wǎng)絡(luò)運營商為了提高投資回報率（return on investment，ROI）或降低資本支出（capital expenditure，CAPEX），有動力優(yōu)化其網(wǎng)絡(luò)利用率并為客戶提供差異化服務(wù)。在應(yīng)用網(wǎng)絡(luò)策略操控流量前需要了解實時網(wǎng)絡(luò)狀態(tài)。比如，短時網(wǎng)絡(luò)調(diào)整需要在一個極短的時間內(nèi)檢測網(wǎng)絡(luò)微突發(fā)，進(jìn)而應(yīng)用細(xì)粒度的流量控制來避免網(wǎng)絡(luò)擁塞，而長期網(wǎng)絡(luò)容量規(guī)劃和網(wǎng)絡(luò)規(guī)模擴容也依賴于網(wǎng)絡(luò)運行維護(hù)累積的大量OAM數(shù)據(jù)。

（5）事件跟蹤與預(yù)測。用戶流量路徑和性能的可視性對于網(wǎng)絡(luò)的健康運行至關(guān)重要。運維人員通過從大量相關(guān)的網(wǎng)絡(luò)事件中跟蹤、發(fā)現(xiàn)并預(yù)測故障。例如，網(wǎng)絡(luò)運營商總是希望了解業(yè)務(wù)流的數(shù)據(jù)包被丟棄的位置和原因，他們還希望提前得到有關(guān)問題的告警，以便采取積極行動，避免發(fā)生災(zāi)難性后果。

長期以來，網(wǎng)絡(luò)運營商依靠簡單網(wǎng)絡(luò)管理協(xié)議（simple network management protocol，SNMP）、命令行接口（command line interface，CLI）或者系統(tǒng)日志（system log，Syslog）監(jiān)控網(wǎng)絡(luò)。其他一些OAM技術(shù)如IP ping、IP traceroute、雙向轉(zhuǎn)發(fā)檢測（bidirectional forwarding detection，BFD[4]）、多協(xié)議標(biāo)簽交換（multi-protocol label switching，MPLS） OAM[5]、單向主動測量協(xié)議（one way active measurement protocol，OWAMP[6]）/雙向主動測量協(xié)議（two way active measurement protocol，TWAMP[7]）也被用來幫助定位故障。這些傳統(tǒng)技術(shù)還不足以支持上述應(yīng)用場景，原因如下。

（1）大多數(shù)應(yīng)用場景需要持續(xù)地監(jiān)視網(wǎng)絡(luò)，并實時和交互地對數(shù)據(jù)收集工具進(jìn)行動態(tài)微調(diào)?；赟NMP輪詢的低頻數(shù)據(jù)收集不適合這些應(yīng)用。從數(shù)據(jù)源（例如轉(zhuǎn)發(fā)芯片）直接推送流式數(shù)據(jù)的訂閱模式在提供數(shù)據(jù)量的規(guī)模和精度上更有優(yōu)勢。

（2）采集數(shù)據(jù)的豐富多樣性，包括從包處理引擎到流量管理器，從線路卡到主控板，從用戶流到控制協(xié)議包，從設(shè)備配置到網(wǎng)絡(luò)運行，從物理層到應(yīng)用層。傳統(tǒng)OAM只覆蓋很窄的數(shù)據(jù)范圍（例如SNMP只處理來自管理信息庫（MIB）的數(shù)據(jù)），傳統(tǒng)網(wǎng)絡(luò)設(shè)備也不能提供各個層面必要的探針。為了滿足多層次的數(shù)據(jù)采集，現(xiàn)代網(wǎng)絡(luò)設(shè)備需要具有開放、可編程的網(wǎng)絡(luò)能力。

（3）許多應(yīng)用場景需要關(guān)聯(lián)來自多個源（即來自多個網(wǎng)絡(luò)設(shè)備、同一網(wǎng)絡(luò)設(shè)備的不同部件或不同網(wǎng)絡(luò)平面）的網(wǎng)絡(luò)范圍的數(shù)據(jù)。單一的解決方案通常缺乏整合來自多個源的數(shù)據(jù)的能力，自動化的資源控制體系結(jié)構(gòu)（automated resource control architecture，ARCA）[8]提出了一個完整的綜合解決方案。

（4）一些傳統(tǒng)的OAM技術(shù)（如CLI和Syslog）缺乏標(biāo)準(zhǔn)的數(shù)據(jù)模型。非結(jié)構(gòu)化數(shù)據(jù)阻礙了工具的自動化和應(yīng)用程序的可擴展性，因此，標(biāo)準(zhǔn)化的數(shù)據(jù)模型對于支持可編程網(wǎng)絡(luò)至關(guān)重要。

（5）盡管一些傳統(tǒng)OAM技術(shù)支持?jǐn)?shù)據(jù)推送（例如SNMP Trap、Syslog和sFlow），但推送的數(shù)據(jù)僅限于預(yù)定義的管理平面告警（例如SNMP Trap）或采樣的用戶分組（例如sFlow）。支持上述應(yīng)用場景的OAM數(shù)據(jù)需要具有任意來源、任意粒度和精度，這超出了現(xiàn)有技術(shù)的能力。

（6）傳統(tǒng)被動式測量技術(shù)要么消耗過多的網(wǎng)絡(luò)資源，產(chǎn)生過多的冗余數(shù)據(jù)，要么導(dǎo)致測量結(jié)果不準(zhǔn)確；而傳統(tǒng)主動式測量技術(shù)不僅會干擾用戶流量，而且其測量結(jié)果是間接的，不能準(zhǔn)確反映用戶流的真實服務(wù)質(zhì)量。需要一種直接和按需從用戶流量中收集性能數(shù)據(jù)的技術(shù)。

3 網(wǎng)絡(luò)遙測技術(shù)

3.1 網(wǎng)絡(luò)遙測技術(shù)特點

網(wǎng)絡(luò)遙測是近年來出現(xiàn)的一種新的數(shù)據(jù)采集技術(shù)，有別于傳統(tǒng)的網(wǎng)絡(luò)OAM技術(shù)。其中，代表性的技術(shù)和協(xié)議包括IPFIX[9]和gPRC[10]。網(wǎng)絡(luò)遙測允許單獨的實體從網(wǎng)絡(luò)設(shè)備獲取數(shù)據(jù)，以便于支持可視化的網(wǎng)絡(luò)監(jiān)控和操作。網(wǎng)絡(luò)遙測技術(shù)與傳統(tǒng)的網(wǎng)絡(luò)OAM技術(shù)雖然有重疊部分，但具有更加廣泛的應(yīng)用范圍。網(wǎng)絡(luò)遙測技術(shù)有望為自動駕駛網(wǎng)絡(luò)提供必要的網(wǎng)絡(luò)洞察力，解決傳統(tǒng)OAM技術(shù)的不足。

網(wǎng)絡(luò)遙測與傳統(tǒng)網(wǎng)絡(luò)OAM工具之間的主要區(qū)別是，網(wǎng)絡(luò)遙測假定機器是數(shù)據(jù)使用者，而不是人工操作員。因此，網(wǎng)絡(luò)遙測可以直接觸發(fā)自動化的網(wǎng)絡(luò)操作，而傳統(tǒng)的OAM工具通?？梢詭椭僮髡邔W(wǎng)絡(luò)進(jìn)行監(jiān)測和診斷，指導(dǎo)人工的網(wǎng)絡(luò)操作。這種差異導(dǎo)致了兩種完全不同的技術(shù)。

網(wǎng)絡(luò)遙測作為剛剛出現(xiàn)并處在不斷發(fā)展的新技術(shù)，其所具有的下述特性已被網(wǎng)絡(luò)界廣泛接受。

（1）基于推送和流式傳輸。遙測采集器采用訂閱方式獲取從網(wǎng)絡(luò)設(shè)備中的數(shù)據(jù)源推送的流式數(shù)據(jù)，而不是傳統(tǒng)輪詢方式獲取網(wǎng)絡(luò)設(shè)備的數(shù)據(jù)。

（2）數(shù)據(jù)容量和速度。遙測數(shù)據(jù)的目的是供機器使用，而不是供網(wǎng)絡(luò)操作員使用。因此，遙測采集數(shù)據(jù)量大，而且對數(shù)據(jù)的處理往往是實時的。

（3）標(biāo)準(zhǔn)化和統(tǒng)一化。遙測旨在滿足整個網(wǎng)絡(luò)自動化的需要。傳統(tǒng)OAM方法提供的單一解決方案不再適用，需要努力規(guī)范數(shù)據(jù)表示和統(tǒng)一遙測協(xié)議。

（4）基于模型。遙測數(shù)據(jù)預(yù)先建模，允許應(yīng)用程序輕松配置和消費數(shù)據(jù)。

（5）數(shù)據(jù)融合。單個應(yīng)用所需要的數(shù)據(jù)可能來自多個數(shù)據(jù)源（如跨域、跨設(shè)備、跨層），需要關(guān)聯(lián)才能起作用。

（6）動態(tài)和交互。由于網(wǎng)絡(luò)遙測用于網(wǎng)絡(luò)自動化的閉環(huán)控制，它需要連續(xù)運行，并適應(yīng)來自網(wǎng)絡(luò)操作控制器的動態(tài)和交互式查詢。

此外，理想的網(wǎng)絡(luò)遙測解決方案還可能具有以下特性或特點。

·網(wǎng)內(nèi)（in-network）定制。數(shù)據(jù)可以在網(wǎng)絡(luò)運行時定制，以滿足應(yīng)用的特定需求，這需要可編程數(shù)據(jù)平面的支持，以允許探針靈活部署在網(wǎng)絡(luò)任意位置。

·網(wǎng)內(nèi)數(shù)據(jù)聚合和關(guān)聯(lián)。網(wǎng)絡(luò)設(shè)備和聚合點可以確定哪些事件和哪些數(shù)據(jù)需要存儲、報告或丟棄，從而減少中央收集和分析系統(tǒng)的負(fù)擔(dān)，同時仍能確保正確的信息得到及時處理。

·網(wǎng)內(nèi)處理和操作。有時由中央采集分析系統(tǒng)對接收到的所有數(shù)據(jù)進(jìn)行處理和采取行動是不必要或不可行的。在網(wǎng)內(nèi)對數(shù)據(jù)進(jìn)行本地化處理并采取行動具有更好的實時性。

·直接由數(shù)據(jù)平面導(dǎo)出。為了提高效率，特別是在需要實時處理的情況下，可以將源于數(shù)據(jù)平面的數(shù)據(jù)直接導(dǎo)出到數(shù)據(jù)消費者。

·帶內(nèi)數(shù)據(jù)收集。除了傳統(tǒng)被動和主動數(shù)據(jù)采集方法外，網(wǎng)絡(luò)遙測這種新的混合數(shù)據(jù)采集方法允許直接為其整個轉(zhuǎn)發(fā)路徑上的任何目標(biāo)流采集數(shù)據(jù)。

值得注意的是，無論網(wǎng)絡(luò)遙測系統(tǒng)有多么先進(jìn)，都不應(yīng)對網(wǎng)絡(luò)產(chǎn)生侵入行為，也就是說，它不應(yīng)該改變網(wǎng)絡(luò)行為，影響轉(zhuǎn)發(fā)性能。

3.2 網(wǎng)絡(luò)遙測框架

網(wǎng)絡(luò)遙測技術(shù)可以從多個維度進(jìn)行分類。本文從3個獨特的視角闡述網(wǎng)絡(luò)遙測基本框架：數(shù)據(jù)獲取機制、數(shù)據(jù)對象模塊和功能部件。

（1）數(shù)據(jù)獲取機制

一般來說，網(wǎng)絡(luò)數(shù)據(jù)可以通過推送（push）和輪詢（poll）獲取。就推送模式而言，訂閱者可以在準(zhǔn)備就緒時請求數(shù)據(jù)。它遵循發(fā)布訂閱（pub-sub）模式或訂閱發(fā)布（sub-pub）模式。在pub-sub模式下，發(fā)布預(yù)定義的數(shù)據(jù)，多個合格的訂閱者可以訂閱數(shù)據(jù)。在sub-pub模式下，訂閱者指定感興趣的數(shù)據(jù)，并要求網(wǎng)絡(luò)設(shè)備在數(shù)據(jù)可用時交付數(shù)據(jù)。

有4種來自網(wǎng)絡(luò)設(shè)備的數(shù)據(jù)類型如下。

·簡單數(shù)據(jù)：從網(wǎng)絡(luò)設(shè)備中的一些數(shù)據(jù)存儲或靜態(tài)探針中得到穩(wěn)定可用的數(shù)據(jù)。這些數(shù)據(jù)可以用YANG模型來描述。

·復(fù)雜數(shù)據(jù)：需要對從一個或多個網(wǎng)絡(luò)設(shè)備的原始數(shù)據(jù)進(jìn)行合成或處理。數(shù)據(jù)處理功能可以靜態(tài)或動態(tài)加載到網(wǎng)絡(luò)設(shè)備中。

·事件觸發(fā)數(shù)據(jù)：根據(jù)某個事件的發(fā)生情況有條件地獲取數(shù)據(jù)。事件可以建模為有限狀態(tài)機（FSM）。

·流式數(shù)據(jù)：連續(xù)或周期性地生成數(shù)據(jù)。它可以是時間序列，也可以是數(shù)據(jù)庫的轉(zhuǎn)儲。流式數(shù)據(jù)反映了實時的網(wǎng)絡(luò)狀態(tài)和度量，需要較大的帶寬和較強的處理能力。

訂閱模式通常處理事件觸發(fā)數(shù)據(jù)和流式數(shù)據(jù)，查詢模式通常處理簡單數(shù)據(jù)和復(fù)雜數(shù)據(jù)。容易看出，傳統(tǒng)的OAM技術(shù)只適合查詢簡單的數(shù)據(jù)，雖然這些技術(shù)仍然很有用，但高級網(wǎng)絡(luò)遙測技術(shù)更關(guān)注其他3種數(shù)據(jù)類型，更擅長于基于事件觸發(fā)/流式數(shù)據(jù)的訂閱和復(fù)雜的數(shù)據(jù)查詢。

（2）數(shù)據(jù)對象模塊

遙測技術(shù)可以應(yīng)用于網(wǎng)絡(luò)設(shè)備中的轉(zhuǎn)發(fā)平面、控制平面和管理平面3個數(shù)據(jù)對象模塊，每個模塊都通過自己的接口與網(wǎng)絡(luò)操作應(yīng)用程序進(jìn)行交互。

對這3種數(shù)據(jù)對象模塊進(jìn)行區(qū)分的原因在于不同的遙測數(shù)據(jù)對象導(dǎo)致不同的數(shù)據(jù)源和導(dǎo)出位置。這些差異對網(wǎng)內(nèi)數(shù)據(jù)編程和處理能力、數(shù)據(jù)編碼和傳輸協(xié)議、數(shù)據(jù)傳輸帶寬和時延有著深遠(yuǎn)的影響。

總結(jié)了3個數(shù)據(jù)對象模塊的主要差異見表1，主要從數(shù)據(jù)對象、數(shù)據(jù)導(dǎo)出位置、數(shù)據(jù)模型、數(shù)據(jù)編碼、遙測協(xié)議、傳輸協(xié)議6個方面進(jìn)行比較。數(shù)據(jù)對象是每個模塊的目標(biāo)和源，由于數(shù)據(jù)源不同，數(shù)據(jù)導(dǎo)出位置也不同。因為每個數(shù)據(jù)導(dǎo)出位置具有不同的能力，需要選擇適當(dāng)?shù)臄?shù)據(jù)模型、編碼和傳輸協(xié)議與其適配，因此，適用于每個模塊的遙測協(xié)議可能不同。

（3）功能部件

在每個數(shù)據(jù)對象模塊（平面），遙測可進(jìn)一步劃分5個不同的功能部件，網(wǎng)絡(luò)遙測框架中的功能部件如圖1所示。

表1 3個數(shù)據(jù)對象模塊的主要差異

·數(shù)據(jù)查詢、分析和存儲：這個部件工作在應(yīng)用層。一方面，它負(fù)責(zé)發(fā)布數(shù)據(jù)查詢。查詢可以是通過配置獲得的建模數(shù)據(jù)，也可以是通過編程獲得的自定義數(shù)據(jù)。查詢可以是事件或流式數(shù)據(jù)的一次快照或訂閱。另一方面，它從網(wǎng)絡(luò)設(shè)備接收、存儲和處理返回的數(shù)據(jù)。數(shù)據(jù)分析可以是交互式的，以啟動下一步的數(shù)據(jù)查詢。該部件可以位于網(wǎng)絡(luò)設(shè)備或遠(yuǎn)程控制器中。

·數(shù)據(jù)配置和訂閱：此部件在設(shè)備上部署數(shù)據(jù)查詢。它確定應(yīng)用程序獲取所需數(shù)據(jù)的協(xié)議和通道。此部件還負(fù)責(zé)配置可能無法直接從數(shù)據(jù)源獲得的所需數(shù)據(jù)。訂閱數(shù)據(jù)可以通過模型、模板或程序進(jìn)行描述。

·數(shù)據(jù)編碼和導(dǎo)出：此部件確定遙測數(shù)據(jù)如何傳遞到數(shù)據(jù)分析和存儲部件。數(shù)據(jù)編碼和傳輸協(xié)議可能因數(shù)據(jù)導(dǎo)出位置而異。

·數(shù)據(jù)生成和處理：被請求的數(shù)據(jù)需要在網(wǎng)絡(luò)設(shè)備中的數(shù)據(jù)源捕獲、處理和格式化。這可能涉及網(wǎng)絡(luò)設(shè)備中快速路徑或慢速路徑上的網(wǎng)內(nèi)計算和處理。

·數(shù)據(jù)對象和數(shù)據(jù)源：此部件確定監(jiān)視對象和原始數(shù)據(jù)源。數(shù)據(jù)源通常只提供需要進(jìn)一步處理的原始數(shù)據(jù)。數(shù)據(jù)源可視為探針，可以靜態(tài)安裝，也可以動態(tài)安裝。

圖1 網(wǎng)絡(luò)遙測框架中的功能部件

4 網(wǎng)絡(luò)遙測在自動化運維中的應(yīng)用

4.1 微突發(fā)檢測

IP網(wǎng)絡(luò)基于TCP/IP的統(tǒng)計復(fù)用特點決定了網(wǎng)絡(luò)流量具有突發(fā)性。網(wǎng)絡(luò)產(chǎn)生的“微突發(fā)”短時擁塞現(xiàn)象會引起時延增加以及報文丟失，進(jìn)而導(dǎo)致通信雙方重傳報文，影響關(guān)鍵業(yè)務(wù)流的通信質(zhì)量。微突發(fā)越多，網(wǎng)絡(luò)通信質(zhì)量越差，網(wǎng)管需要及時監(jiān)測微突發(fā)，并對網(wǎng)絡(luò)流量做出快速調(diào)整。傳統(tǒng)基于SNMP的輪詢（poll）模式采集設(shè)備端口流量統(tǒng)計數(shù)據(jù)由于需要客戶端和服務(wù)器之間頻繁交互，不僅數(shù)據(jù)采集效率低，而且占用大量服務(wù)器處理資源，只能實現(xiàn)分鐘級別的流量采集，無法實現(xiàn)秒級甚至毫秒級的流量采集。平時看到的5 min采樣周期流量曲線反映的是每個5 min的平均流量，無法展示更小時間粒度的真實流量情況，如毫秒級或亞秒級的微突發(fā)流量。網(wǎng)絡(luò)遙測采用訂閱/發(fā)布的推送（push）模式可以大幅減少客戶端和服務(wù)器之間交互，提高服務(wù)器的工作效率，可以實現(xiàn)毫秒級的流式數(shù)據(jù)采集上送，能夠更精確地反映網(wǎng)絡(luò)實時流量狀態(tài)，實時檢測到端口流量微突發(fā)情況，及時發(fā)現(xiàn)網(wǎng)絡(luò)擁塞，運維人員據(jù)此可以動態(tài)調(diào)整網(wǎng)絡(luò)流量，或借助自動化運維手段對時延和丟包敏感的關(guān)鍵業(yè)務(wù)流進(jìn)行路徑優(yōu)化，減少對這類關(guān)鍵業(yè)務(wù)的影響，很好地保障業(yè)務(wù)的SLA。

基于SNMP和Telemetry模式流量統(tǒng)計曲線對比如圖2所示。從圖2所示流量統(tǒng)計情況來看，從SNMP get方式查詢的5 min的流量統(tǒng)計來看是平滑的，沒有任何的網(wǎng)絡(luò)異常，但從Telemetry方式上報的流量統(tǒng)計可以明顯看到微突發(fā)現(xiàn)象。由此可見，通過Telemetry高精度采樣，可以檢測到這些微突發(fā)。

盡管基于Telemetry推模式可以實現(xiàn)毫秒級的流式數(shù)據(jù)采集上送，由于數(shù)據(jù)采集頻度高，單位時間內(nèi)上送的數(shù)據(jù)量巨大，在增加對網(wǎng)絡(luò)資源占用的同時，對采集和分析服務(wù)器的存儲和數(shù)據(jù)處理性能也提出了更高要求。事實上，網(wǎng)絡(luò)在大部分時間（除忙時或發(fā)生某種重大突發(fā)事件外）里不會發(fā)生擁塞，鏈路帶寬利用率通常保持在合理范圍，對設(shè)備端口流量進(jìn)行亞秒級甚至毫秒級的持續(xù)性采集會白白消耗掉大量資源。怎樣以一種自適應(yīng)方式來動態(tài)調(diào)整流量采集頻度實現(xiàn)對資源的最小化消耗，同時又能及時捕獲網(wǎng)絡(luò)微突發(fā)或發(fā)現(xiàn)網(wǎng)絡(luò)擁塞趨勢，是一個值得研究探討的課題。一種方法是根據(jù)設(shè)備隊列長度或緩存填充水平自動調(diào)整流量采集周期。通過長期監(jiān)測設(shè)備將要發(fā)生擁塞時的隊列長度或緩存填充水平，確定一個調(diào)整流量采集周期的閾值，當(dāng)監(jiān)測到隊列長度或緩存填充水平處于較低位置時，保持正常的流量采集周期；當(dāng)隊列長度或緩存填充水平超過預(yù)設(shè)閾值時，根據(jù)一定的算法動態(tài)調(diào)整流量采集周期來加快流量采集頻度。

圖2 基于SNMP和Telemetry模式流量統(tǒng)計曲線對比

4.2 關(guān)鍵業(yè)務(wù)流SLA檢測

5G時代將會涌現(xiàn)出大量eMBB和uRLLC等高價值業(yè)務(wù)，這類業(yè)務(wù)對時延、抖動及丟包等質(zhì)量指標(biāo)提出了更高要求，需要充分保障它們的SLA水平。對這類關(guān)鍵業(yè)務(wù)流進(jìn)行精準(zhǔn)SLA檢測成為網(wǎng)絡(luò)運維的重要工作。傳統(tǒng)主動測量方法包括外掛探針、IP ping、IP traceroute以及設(shè)備內(nèi)置的性能測試功能如TWAMP/ OWAMP、RFC 2544等，主動測量方法通過發(fā)送測試報文間接測量真實業(yè)務(wù)流的服務(wù)質(zhì)量，這類測量方法對網(wǎng)絡(luò)產(chǎn)生入侵行為，嚴(yán)重情況下甚至?xí)蓴_正常業(yè)務(wù)流量，而且其測量結(jié)果只能間接反映業(yè)務(wù)流的服務(wù)質(zhì)量，不能真實呈現(xiàn)出業(yè)務(wù)流路徑和服務(wù)質(zhì)量。

網(wǎng)絡(luò)遙測技術(shù)提出了一種隨流/帶內(nèi)檢測（in-situ-OAM，IOAM）方法[11]，它將一個新的指令頭嵌入用戶數(shù)據(jù)包中，該指令引導(dǎo)網(wǎng)絡(luò)節(jié)點將請求的OAM數(shù)據(jù)添加到數(shù)據(jù)包中，從而收集數(shù)據(jù)包在整個轉(zhuǎn)發(fā)路徑上獲得的業(yè)務(wù)體驗。這種混合式測量技術(shù)能夠?qū)崿F(xiàn)對業(yè)務(wù)流質(zhì)量的精準(zhǔn)測量，克服了上述傳統(tǒng)測量方法的不足。

IOAM一般部署在一個IOAM域里，一個IOAM域包括IOAM封裝節(jié)點、IOAM穿透節(jié)點、IOAM解封裝節(jié)點。IOAM封裝節(jié)點位于IOAM域的頭端，對標(biāo)記的數(shù)據(jù)報文添加一個或多個IOAM選項字段；IOAM解封裝節(jié)點位于IOAM域的末端，該節(jié)點剝離掉報文中的IOAM選項字段，恢復(fù)原始報文格式；IOAM穿透節(jié)點能感知報文中的IOAM選項字段，并更新IOAM數(shù)據(jù)。IOAM域各節(jié)點對數(shù)據(jù)報文的處理過程如圖3所示。

圖3 IOAM域各節(jié)點對數(shù)據(jù)報文的處理過程

IOAM定義的跟蹤選項（IOAM trace option）包含一個固定大小的“跟蹤選項頭”和一個用于存儲收集數(shù)據(jù)的可變數(shù)據(jù)空間，即“節(jié)點數(shù)據(jù)列表”。 IOAM跟蹤選項可以收集以下類型的信息：

·IOAM節(jié)點的標(biāo)識；

·接收數(shù)據(jù)包接口的標(biāo)識，即入接口；

·數(shù)據(jù)包發(fā)送到接口的標(biāo)識，即出接口；

·節(jié)點處理數(shù)據(jù)包的時間，或者傳輸時延；

·通用數(shù)據(jù)，包括地理位置信息（包處理時的節(jié)點位置）、包處理時的緩沖隊列填充水平或緩存填充水平，甚至電池充電水平。

盡管如此，IOAM也面臨著幾個方面的技術(shù)挑戰(zhàn)。首先，由于IOAM頭部和數(shù)據(jù)處理需要在數(shù)據(jù)平面快速路徑中完成，可能會影響數(shù)據(jù)平面轉(zhuǎn)發(fā)性能；其次，攜帶IOAM頭部的數(shù)據(jù)包在路徑的每個轉(zhuǎn)發(fā)節(jié)點需要根據(jù)指令頭增加OAM元數(shù)據(jù)，轉(zhuǎn)發(fā)路徑經(jīng)過的節(jié)點數(shù)越多，收集的元數(shù)據(jù)就越多，數(shù)據(jù)包就越大，這樣數(shù)據(jù)包長度可能超過路徑MTU；與此同時，隨著轉(zhuǎn)發(fā)節(jié)點增多，數(shù)據(jù)包攜帶的OAM元數(shù)據(jù)開銷也越大，有效載荷傳輸效率也就越低。最后，由于IOAM只在指定的終端節(jié)點導(dǎo)出遙測數(shù)據(jù)，如果數(shù)據(jù)包在網(wǎng)絡(luò)中丟失，無法精確定位數(shù)據(jù)包丟棄位置。更糟糕的是，終端節(jié)點可能根本不感知數(shù)據(jù)包發(fā)生丟失。

基于明信片的遙測（postcard-based telemetry，PBT）[12]很好地解決了IOAM存在的問題。PBT采用IOAM直接輸出選項（IOAM direct export（DEX）option），DEX選項由IOAM封裝節(jié)點添加到數(shù)據(jù)包頭中，并由IOAM解封裝節(jié)點移除。使用DEX選項處理數(shù)據(jù)包的封裝節(jié)點、穿透節(jié)點、解封裝節(jié)點都可以向IOAM數(shù)據(jù)采集器導(dǎo)出請求的IOAM數(shù)據(jù)，PBT方式各節(jié)點對數(shù)據(jù)報文的處理過程如圖4所示。DEX選項的固定選項頭部分包含一個32 bit的流標(biāo)識和一個32 bit的報文序列號，流標(biāo)識可用于關(guān)聯(lián)來自多個節(jié)點或來自多個數(shù)據(jù)報文中的屬于同一流的報文，而報文序列號用于標(biāo)識特定流的某一個具體的報文。這不僅幫助采集器關(guān)聯(lián)來自所有途徑節(jié)點上送的屬于同一流中某個特定報文的IOAM數(shù)據(jù)，而且有助于精準(zhǔn)分析數(shù)據(jù)包的丟棄位置。由于PBT方式把IOAM數(shù)據(jù)從被測量的數(shù)據(jù)包分離出來，單獨以IOAM數(shù)據(jù)報文形式導(dǎo)出到采集服務(wù)器，IOAM數(shù)據(jù)報文可以在數(shù)據(jù)平面慢速路徑中執(zhí)行，避免影響正常業(yè)務(wù)流在快速路徑上的轉(zhuǎn)發(fā)性能。

圖4 PBT方式各節(jié)點對數(shù)據(jù)報文的處理過程

PBT雖然解決了IOAM存在的上述問題，由于需要報文經(jīng)過的每個節(jié)點向采集服務(wù)器輸出IOAM數(shù)據(jù)，這不僅消耗了網(wǎng)絡(luò)帶寬，也增加了采集服務(wù)器的存儲和處理負(fù)擔(dān)，因此，可行的解決方案通常只需選擇被監(jiān)測關(guān)鍵業(yè)務(wù)的一部分流或部分報文啟用PBT功能。通過在頭節(jié)點（IOAM封裝節(jié)點）配置訪問控制列表（ACL）選擇被監(jiān)測的業(yè)務(wù)流，并對匹配的業(yè)務(wù)流設(shè)置某種采樣率（比如按時間間隔、報文數(shù)量百分比等方式）獲取被監(jiān)測業(yè)務(wù)流的一個子集。這樣可大幅減少IOAM數(shù)據(jù)對帶寬占用，同時也可減輕采集服務(wù)器的存儲和處理負(fù)擔(dān)。

5 結(jié)束語

遙測技術(shù)可以全面實現(xiàn)網(wǎng)絡(luò)設(shè)備中的轉(zhuǎn)發(fā)平面、控制平面和管理平面3個數(shù)據(jù)對象模塊的OAM數(shù)據(jù)采集，同時對各個平面提出了新的需求和挑戰(zhàn)。管理平面遙測協(xié)議為了支持自動化的網(wǎng)絡(luò)操作，需要采用基于YANG模型描述的結(jié)構(gòu)化數(shù)據(jù)；為實現(xiàn)高速數(shù)據(jù)傳輸，需要支持push模式的訂閱/發(fā)布機制?？刂破矫孢b測需要對覆蓋2層到7層的不同網(wǎng)絡(luò)協(xié)議的健康狀況進(jìn)行監(jiān)測，跟蹤這些協(xié)議的運行狀態(tài)有助于實時、細(xì)粒度地檢測、定位甚至預(yù)測各種網(wǎng)絡(luò)問題，幫助網(wǎng)絡(luò)優(yōu)化。數(shù)據(jù)平面遙測系統(tǒng)依賴于網(wǎng)絡(luò)設(shè)備本身暴露數(shù)據(jù)的能力，由于數(shù)據(jù)平面的主要功能是對業(yè)務(wù)流量的高速處理和轉(zhuǎn)發(fā)，開啟遙測功能不應(yīng)妨礙轉(zhuǎn)發(fā)性能。業(yè)界一致認(rèn)為，數(shù)據(jù)平面可編程性對于支持網(wǎng)絡(luò)遙測至關(guān)重要。為了滿足多層次的數(shù)據(jù)采集，網(wǎng)絡(luò)遙測對網(wǎng)絡(luò)設(shè)備開放和可編程能力提出了更高要求。目前主流的新一代數(shù)據(jù)平面芯片基本具備了先進(jìn)的遙測功能，并提供了支持定制化遙測功能的靈活性。與此同時，網(wǎng)絡(luò)遙測還需要控制層和數(shù)據(jù)采集/分析層的有機配合，共同實現(xiàn)“自動化的數(shù)據(jù)采集+智能化的數(shù)據(jù)分析+動態(tài)化的網(wǎng)絡(luò)優(yōu)化”全閉環(huán)控制。怎樣實現(xiàn)網(wǎng)絡(luò)層、數(shù)據(jù)采集和分析層、控制層三者的協(xié)同和自動化閉環(huán)是網(wǎng)絡(luò)遙測下一步需要研究的方向。

網(wǎng)絡(luò)遙測從網(wǎng)絡(luò)各個層面提供了豐富的OAM數(shù)據(jù)，為大數(shù)據(jù)分析和機器學(xué)習(xí)提供了足夠的數(shù)據(jù)樣本，能夠幫助運營商預(yù)測和發(fā)現(xiàn)網(wǎng)絡(luò)潛在故障、網(wǎng)絡(luò)擁塞、大規(guī)模分布式拒絕服務(wù)（DDoS）攻擊、網(wǎng)絡(luò)健康狀況等趨勢，快速精準(zhǔn)定位故障和網(wǎng)絡(luò)異常行為。同時，這些網(wǎng)絡(luò)OAM數(shù)據(jù)反過來也可以應(yīng)用于運營商的網(wǎng)絡(luò)規(guī)劃、入侵防御、網(wǎng)絡(luò)優(yōu)化和自愈等網(wǎng)絡(luò)策略更新。

網(wǎng)絡(luò)遙測作為近年來不斷發(fā)展的一種新的數(shù)據(jù)采集技術(shù)，極大地豐富了采集數(shù)據(jù)的多樣性，包括從包處理引擎到流量管理器，從線路卡到主控板，從用戶流到控制協(xié)議包，從設(shè)備配置到網(wǎng)絡(luò)運行，從物理層到應(yīng)用層，拓展了傳統(tǒng)OAM數(shù)據(jù)采集范圍。其目標(biāo)是實現(xiàn)實時的全局網(wǎng)絡(luò)狀態(tài)可視和流量可視，通過與大數(shù)據(jù)和AI技術(shù)相結(jié)合，減少人工干預(yù)，提升網(wǎng)絡(luò)自動化運維水平。網(wǎng)絡(luò)遙測的終極目標(biāo)是由智能網(wǎng)絡(luò)運行引擎自動發(fā)出遙測數(shù)據(jù)請求，分析數(shù)據(jù)，并在閉環(huán)控制中更新網(wǎng)絡(luò)操作，實現(xiàn)整個控制回路中完全無人操作的自動駕駛網(wǎng)絡(luò)。

[1] 3GPP. Study on scenarios and requirements for next generation access technologies: TR38.913[S]. 2016.

[2] 何曉明，岳萍，盧泉，等. 面向5G 承載的IP RAN 演進(jìn)及關(guān)鍵技術(shù)[J]. 電信科學(xué), 2019, 35(3): 125-135

HE X M, YUE P, LU Q, et al. Evolution and key technologies of 5G-oriented IP RAN[J]. Telecommunication Science, 2019, 35(3): 125-135.

[3] IETF. Network telemetry framework, IETF draft, work in progress[S]. 2020.

[4] KATZ D, WARD D . Bidirectional forwarding detection (BFD): RFC 5880[S]. 2010.

[5] NADEAU T, MORROW M, SWALLOW G, et al. Operations and management (OAM) requirements for multi-protocol label switched (MPLS) networks: RFC 4377[S]. 2006.

[6] SHALUNOV S, TEITELBAUM B, KARP A, et al. A one-way active measurement protocol (OWAMP): RFC 4656[S]. 2006.

[7] HEDAYAT K, KRZANOWSKI R, MORTON A, et al. A two-way active measurement protocol (TWAMP): RFC 5357[S]. 2008.

[8] Exploiting external event detectors to anticipate resource requirements for the elastic adaptation of SDN/NFV systems[Z]. 2020.

[9] CLAISE B E, TRAMMELL B E, AITKEN P, et al. Specification of the IP flow information export (IPFIX): RFC7011[S]. 2013.

[10] gPPC. A high performance, open-source universal RPC framework[Z]. 2018.

[11] BROCKERS F, BHANDAR S,PIGNATARO C, et al. Data fields for in-situ OAM, IETF draft, work in progres[Z]. 2020.

[12] SONG H, ZHOU T, LI Z, et al. Postcard-based on-path flow data telemetry, IETF draft, work in progress[Z]. 2020.

Network telemetry technology and its application in automatic network operation and maintenance

MAO Dongfeng1, JIA Man1, HE Xiaoming2, LIU Zhihua2

1. China Telecom Group Co., Ltd., Beijing 100032, China 2. Research Institute of China Telecom Co., Ltd., Guangzhou 510630, China

As a new data acquisition technology, network telemetry has greatly enriched the diversity of data acquisition and expanded the range of traditional OAM data acquisition, whose goal is to realize real-time global network state visibility and traffic visibility. By combining with big data and AI technology, it can reduce human intervention and improve the operation and maintenance level of network automation. Firstly, the problems and challenges faced by the current IP network operation and maintenance were analyzed, and then it was elaborated that the network telemetry technology was the key enabler to realize the automatous network operation and maintenance. On this basis, the application of network telemetry technology in the IP network automatic operation and maintenance was investigated and discussed, and the reference and guidance for the automatic operation and maintenance of large-scale IP network were provided.

network telemetry, automatic operation and maintenance, OAM, active measurement, hybrid measurement

TN915.41

A

10.11959/j.issn.1000?0801.2021012

2020?06?01；

2020?12?25

何曉明，hexm4@chinatelecom.cn

毛東峰（1973?），男，博士，中國電信集團(tuán)有限公司高級工程師，云網(wǎng)運營部AI與大數(shù)據(jù)中心副總經(jīng)理，主要從事網(wǎng)絡(luò)運行維護(hù)管理及云網(wǎng)融合研究工作。

賈曼（1971?），女，中國電信集團(tuán)有限公司高級工程師，云網(wǎng)運營部云網(wǎng)運行處資深項目經(jīng)理，主要從事互聯(lián)網(wǎng)網(wǎng)絡(luò)運行維護(hù)管理及新技術(shù)研究工作。

何曉明（1968?），男，博士，中國電信股份有限公司研究院高級工程師，主要從事數(shù)據(jù)網(wǎng)絡(luò)研究和支撐工作，主要研究方向為網(wǎng)絡(luò)架構(gòu)、協(xié)議、流量工程、SDN/NFV等。

劉志華（1970?），男，中國電信股份有限公司研究院高級工程師，主要從事數(shù)據(jù)網(wǎng)絡(luò)研究和支撐工作。