開放資源統(tǒng)一調(diào)度平臺的設(shè)計與實(shí)現(xiàn)

文/鄒士棟 黃小紅

網(wǎng)絡(luò)性能測量是深入了解網(wǎng)絡(luò)運(yùn)行狀況的重要方式，也是進(jìn)行網(wǎng)絡(luò)優(yōu)化和管理的重要依據(jù)。目前國內(nèi)外主流的APM(Application Performance Management)在大規(guī)模的分布式測量中已經(jīng)取得了出色的成果，但這些APM都受到測量點(diǎn)數(shù)量和地理位置的限制。為了解決這一問題，本文實(shí)現(xiàn)了全球開放資源的統(tǒng)一調(diào)度平臺，該平臺收集了國內(nèi)外可用的LG(Looking Glass)網(wǎng)址，提供一套高可用性的API（Application Programming Interface），可以讓用戶獲取與調(diào)度全球的開放資源，從而解決了測量點(diǎn)與地理位置的限制問題。

網(wǎng)絡(luò)測量和網(wǎng)絡(luò)監(jiān)控在拓?fù)浒l(fā)現(xiàn)、安全監(jiān)測與網(wǎng)絡(luò)異常方面占有舉足輕重的地位，已成為開展互聯(lián)網(wǎng)技術(shù)研究的重要支撐。但是隨著互聯(lián)網(wǎng)的逐步擴(kuò)大，對測量位置的要求也越來越高，開展大規(guī)模的網(wǎng)絡(luò)測量變得越來越困難。LG(Looking Glass)是由國內(nèi)外的運(yùn)營商提供的部署在主干網(wǎng)或者AS（Autonomous System）邊界的測量點(diǎn)，提供了ping、traceroute、bgp等豐富的測量功能，用戶可以通過LG網(wǎng)址發(fā)起測量任務(wù)，解決調(diào)試連接性等一系列性能方面的問題。LG主要有兩個優(yōu)點(diǎn)，第一，良好的測量位置與廣闊的分布。第二，LG網(wǎng)址提供可視化的界面和豐富的測量功能，能使用戶更全面地了解網(wǎng)絡(luò)的狀況。盡管如此，它并不適用于系統(tǒng)的可重復(fù)的測量。其一，每個LG都是由運(yùn)營商獨(dú)自擁有并運(yùn)營的，沒有統(tǒng)一的模板；其二，LG網(wǎng)址沒有標(biāo)準(zhǔn)的輸入輸出；其三，為了減少Dos的攻擊，LG的運(yùn)營商還會配置查詢速率設(shè)置。

面對LG存在的上述問題，尤其是統(tǒng)一調(diào)度問題，Periscope可謂是提出LG統(tǒng)一調(diào)度平臺的先驅(qū)。Periscope是由互聯(lián)網(wǎng)數(shù)據(jù)分析合作協(xié)會(Cooperative Association for Internet Data Analysis，CAIDA) 設(shè)計的一個LG的統(tǒng)一調(diào)度平臺，具有自動發(fā)現(xiàn)和使用LG能力。但是，它具有以下不足：

1.需身份認(rèn)證，用戶需要進(jìn)行身份驗(yàn)證才能創(chuàng)建測量，未經(jīng)認(rèn)證的用戶只能查詢測量結(jié)果，我們嘗試聯(lián)系該機(jī)構(gòu)進(jìn)行身份認(rèn)證，并未收到回復(fù)，因此periscope可能只服務(wù)于特定機(jī)構(gòu)，不對大眾開放。

2.缺乏普適性，只提供了主流的6種LG網(wǎng)址模板，未對所有的LG網(wǎng)址進(jìn)行適配。3.缺乏高效性，由于只提供可用的LG資源，并未對其進(jìn)行整體評估，無法推薦高效可靠的LG資源。

鑒于LG的問題，北京郵電大學(xué)設(shè)計并實(shí)現(xiàn)一個統(tǒng)一的開放資源調(diào)度平臺UniteLGs。首先, 通過爬蟲技術(shù)自動爬取LG網(wǎng)址并利用模塊技術(shù)自動生成相應(yīng)的模板；其次，利用統(tǒng)一調(diào)度的API，獲取全球可用的LG網(wǎng)址并得到統(tǒng)一格式的輸出結(jié)果；進(jìn)一步，采用分布式的調(diào)度策略以解決查詢速率限制的問題；最后，提出一種通過加權(quán)單次調(diào)用評分得到整體評分的LG網(wǎng)址評分機(jī)制，進(jìn)而可推薦給用戶高可用性的LG網(wǎng)址。

同時，為了解決Periscope的不足，UniteLGs也做了相關(guān)的努力。例如，不用需要系統(tǒng)授權(quán)便可使用，提供了統(tǒng)一調(diào)度API接口和配置UniteLGs的docker，用戶可以自己搭建統(tǒng)一調(diào)度平臺，也可以直接使用UniteLGs進(jìn)行測量。其次，此平臺采用爬蟲技術(shù)，自動適配網(wǎng)頁參數(shù)，填充LG網(wǎng)址模板，因此能適配更多的LG網(wǎng)址，并且對每次測量進(jìn)行評分，周期性的對所有LG網(wǎng)址進(jìn)行整體性評估，推薦給用戶高效的網(wǎng)址，提高測量結(jié)果的準(zhǔn)確性。

系統(tǒng)設(shè)計與調(diào)度流程

下文主要從UniteLGs系統(tǒng)架構(gòu)與調(diào)度流程展開，對系統(tǒng)的各個模塊進(jìn)行介紹，最后設(shè)計了一種評分模型，用來推薦高可用性的開放資源。

圖1 系統(tǒng)API調(diào)度模型

圖2 模板自動生成機(jī)制

API接口

用戶可以通過API接口獲取所有的開放資源列表以及詳細(xì)信息。核心控制器屏蔽了所有系統(tǒng)流程，用戶只需要填充表單，下發(fā)任務(wù)即可得到任務(wù)結(jié)果，如圖1所示。

系統(tǒng)流程如下：首先用戶獲取開放資源列表，選擇合適的開放資源并填充請求JSON，然后調(diào)用系統(tǒng)的API，此時核心控制器會收到相應(yīng)的參數(shù)并根據(jù)用戶選擇的網(wǎng)址，提取網(wǎng)頁模板，填充測量參數(shù)，執(zhí)行測量任務(wù)，最后把結(jié)果解析后返回給用戶。

針對于用戶的不同需求，UniteLGs提供了兩種任務(wù)結(jié)果返回形式：(1)原生的任務(wù)結(jié)果，即頁面得到的原始測量結(jié)果，核心控制器不對其做任何處理；（2）序列化的JSON，根據(jù)任務(wù)結(jié)果提取相應(yīng)的參數(shù)，以JSON格式返回給用戶。這樣系統(tǒng)可以根據(jù)用戶的需求匹配結(jié)果，同時提供了標(biāo)準(zhǔn)化的輸入接口，便于程序的直接調(diào)用。

表1 開放資源模板提取參數(shù)

模板生成

系統(tǒng)模板生成機(jī)制是基于網(wǎng)絡(luò)爬蟲技術(shù)，通過爬取網(wǎng)址，分析網(wǎng)頁源代碼，提取相應(yīng)的字段，生成相應(yīng)的網(wǎng)站模板。同時測試模板的可用性，當(dāng)測試通過即表示當(dāng)前網(wǎng)址可以供用戶調(diào)度。如圖2所示。

由于LG并沒有一個統(tǒng)一的公示網(wǎng)站，UniteLGs從traceroute.org、bgplookingglass、lookingglass三個網(wǎng)站獲取可用于測量的源網(wǎng)址，自動檢測HTML網(wǎng)頁代碼是否包含LG界面，若包含LG界面則提取該網(wǎng)頁并自動生成模板。UniteLGs分析了主流LG網(wǎng)站的測量提交機(jī)制進(jìn)而發(fā)現(xiàn)：絕大多數(shù)LG都是通過FORM表單方式提交。主要參數(shù)如表1所示。

對于每一個網(wǎng)址，通過分析LG網(wǎng)頁源代碼，提取query、addr、protocol、router四個參數(shù)（其中包括提交的四個字段的名稱與支持的內(nèi)容），提取完畢后，通過任務(wù)執(zhí)行模塊自動填充各個字段執(zhí)行測量。如果有返回結(jié)果，則證明模板可用，對該開放資源進(jìn)行可用標(biāo)記，供用戶下次使用。如果返回錯誤或無返回結(jié)果，則證明模板不可用，對該開放資源進(jìn)行不可用標(biāo)記，供系統(tǒng)管理員進(jìn)行模板的升級或手工配置。

圖3 系統(tǒng)架構(gòu)

調(diào)度流程

用戶下達(dá)測量任務(wù)后，所有的處理流程都由核心控制器完成。核心控制器主要包括任務(wù)隊列、消息隊列、客戶端連接池三個部分，如圖3所示。

任務(wù)隊列用來存儲用戶的任務(wù)，系統(tǒng)將每次到達(dá)的新任務(wù)放入任務(wù)隊列；消息隊列用于不同模塊之間的通信；客戶端連接池主要存儲客戶端的連接，當(dāng)將任務(wù)發(fā)送給客戶端的連接時，相應(yīng)的客戶端便接收到任務(wù)。新創(chuàng)建的任務(wù)首先會發(fā)送到任務(wù)隊列，當(dāng)輪到它執(zhí)行時，核心控制器會通過消息隊列通知客戶端連接池，并通過特定的算法確定要調(diào)用的客戶端，通過調(diào)用此客戶端的回調(diào)函數(shù)，讓客戶端去執(zhí)行測量任務(wù)。當(dāng)獲取任務(wù)結(jié)果后，系統(tǒng)提取頁面結(jié)果，返回給核心控制器，核心控制器存儲結(jié)果，同時將任務(wù)結(jié)果返回給相應(yīng)的用戶。

由于大多數(shù)LG網(wǎng)址存在查詢速率限制，所以UniteLGs使用了分布式調(diào)度客戶端去執(zhí)行相應(yīng)的測量任務(wù)。目前系統(tǒng)中有一百多個客戶端可以供UniteLGs調(diào)用，同時用戶可以通過下載UniteLGs提供的客戶端源代碼，運(yùn)行程序加入到系統(tǒng)的連接池。當(dāng)任務(wù)交給核心控制器時，核心控制器會挑選一個可對此網(wǎng)址調(diào)度的客戶端進(jìn)行任務(wù)測量并標(biāo)記客戶端訪問LG網(wǎng)址的時間，當(dāng)下次訪問時，UniteLGs會從客戶端的連接池中尋找最近未訪問該網(wǎng)址的客戶端去執(zhí)行測量任務(wù)。這樣既能夠保證查詢速率不會受到影響，又能夠保證多用戶的并發(fā)測量。

周期性檢測

由于大多數(shù)LG是由運(yùn)營商提供，具有不穩(wěn)定性與易變性，為此UniteLGs實(shí)現(xiàn)了開放資源的周期性檢測。系統(tǒng)加入了定時任務(wù)，檢測開放資源的可用性以及其可供調(diào)用的路由與測量類型，若發(fā)生變化，則變更數(shù)據(jù)庫存儲，以保證提供給用戶的網(wǎng)址都是可調(diào)度的。

網(wǎng)址評分

為了提高每次測量的準(zhǔn)確率與反應(yīng)速度，UniteLGs提出了一種LG網(wǎng)址評分策略。通過分析每次測量返回的數(shù)據(jù)，確定單次測量評分，最后通過貝葉斯加權(quán)統(tǒng)計得到網(wǎng)址的綜合評分。單次測量評分根據(jù)每次測量花費(fèi)時間，以及開放資源的可用率，通過算法（1）計算得出。評分同時，更新此開放資源的可用率。其中當(dāng)測量無結(jié)果或錯誤時不進(jìn)行評分；對于網(wǎng)址的綜合評分，根據(jù)算法（2）對所有單次測量評分進(jìn)行貝葉斯加權(quán)統(tǒng)計，同時考慮測量評分的時間，以及系統(tǒng)支持測量類型的數(shù)量和可用探測點(diǎn)的個數(shù)，進(jìn)行計算。為了確保評分結(jié)果的偏離值不會過大，系統(tǒng)設(shè)定了一個平均分。評分算法如下所示：

圖4 系統(tǒng)演示

圖5 測量結(jié)果

其中

各個參數(shù)指標(biāo)說明如表2所示。

系統(tǒng)測試

本文以用戶訪問TOP100網(wǎng)站為測量對象，根據(jù)網(wǎng)絡(luò)的拓?fù)淝闆r選取了幾十個測量點(diǎn)，以覆蓋網(wǎng)絡(luò)中不同層面。利用可視化的視圖展示，觀察了時延、抖動、丟包等性能指標(biāo)，準(zhǔn)確的定位出網(wǎng)絡(luò)擁堵的時間。

在UniteLGs中，用戶可以通過API接口或頁面的形式進(jìn)行測量。API接口主要有兩個，/opensourcelist接口用于獲取LG網(wǎng)址信息，/LGtask接口會調(diào)度相應(yīng)的LG網(wǎng)址，并返回結(jié)果。網(wǎng)頁會提供一個可用的開放資源的列表，每個LG會展示國家、城市、AS域等基本信息，同時按照系統(tǒng)評分結(jié)果進(jìn)行排序。這樣既提高了LG信息的準(zhǔn)確性，又能推薦高效的LG網(wǎng)址。點(diǎn)擊網(wǎng)頁中的某一LG網(wǎng)址會彈出測量相關(guān)的參數(shù)，填充 query、protocol、router、address四個字段，點(diǎn)擊提交按鈕，任務(wù)結(jié)果將會在測量完成后顯示在右側(cè)的結(jié)果區(qū)，如圖4所示。

本次選擇了在墨西哥的LG網(wǎng)址中rt1.msk資源，對166.111.9.229進(jìn)行類型為IPV4的ping測試，測量能在5s之內(nèi)返回原始的測量結(jié)果，證明了系統(tǒng)評分的高效性以及系統(tǒng)的可靠性。

當(dāng)任務(wù)結(jié)果返回后，我們提供了更直觀的任務(wù)展示視圖。我們利用圖4選用的LG網(wǎng)址，對166.111.9.229網(wǎng)址進(jìn)行了時間間隔為5分鐘的周期任務(wù)，最后用可視化視圖方式將結(jié)果展示出來，如圖5所示。

表2 評分參數(shù)說明

視圖可以更直觀的展示出某一個測量點(diǎn)對某一個目標(biāo)一段時間內(nèi)的持續(xù)測量結(jié)果，能夠快速地定位異常點(diǎn)，由圖中可以發(fā)現(xiàn)，166.111.9.229這個網(wǎng)址在19日、20日、22日這三天凌晨4點(diǎn)半左右的連續(xù)半個小時內(nèi)時延增大，同時伴隨著丟包，疑似發(fā)生Dos攻擊。系統(tǒng)管理員發(fā)現(xiàn)此問題后，可以在此時段對主機(jī)進(jìn)行監(jiān)控，來確定具體的原因。

綜上所述，網(wǎng)絡(luò)測量是了解網(wǎng)絡(luò)運(yùn)行狀況和進(jìn)行網(wǎng)絡(luò)監(jiān)控管理的有效手段。本平臺實(shí)現(xiàn)了對LG開放資源的統(tǒng)一調(diào)度，擴(kuò)大了網(wǎng)絡(luò)的監(jiān)控能力，同時給出統(tǒng)一的API接口和評分機(jī)制，方便用戶使用而且提高用戶體驗(yàn)。以較小的投入整合了大量的分布廣泛的資源，對解決網(wǎng)絡(luò)測量中測量點(diǎn)覆蓋的難題起到了一定的減緩作用。今后的工作重點(diǎn)主要是對該軟件進(jìn)行擴(kuò)充，優(yōu)化開放資源的動態(tài)評分功能，提高用戶測量的精準(zhǔn)性，獲取更好的使用體驗(yàn)。