華中科技大學(xué):分布式網(wǎng)速測試系統(tǒng)優(yōu)化網(wǎng)絡(luò)質(zhì)量

文/章勇 張潔卉

現(xiàn)階段大部分學(xué)校的校園網(wǎng)還是采用的分層次管理的局域網(wǎng)架構(gòu)，以華中科技大學(xué)校園網(wǎng)為例，網(wǎng)絡(luò)分為核心層、二級(jí)節(jié)點(diǎn)、接入層3個(gè)層次。核心層是校園網(wǎng)核心區(qū)域，由部署在網(wǎng)絡(luò)中心機(jī)房的幾臺(tái)核心交換機(jī)組成；二級(jí)節(jié)點(diǎn)一般是各大區(qū)域的3層匯聚節(jié)點(diǎn)，由若干臺(tái)3層交換機(jī)構(gòu)成，設(shè)備分布在校園內(nèi)各大區(qū)域的匯聚機(jī)房；接入層由2層交換機(jī)構(gòu)成，分布在各個(gè)樓棟內(nèi)，直接接入用戶。校園網(wǎng)出口分別接入了CERNET、電信、聯(lián)通3條鏈路。這樣的網(wǎng)絡(luò)結(jié)構(gòu)特點(diǎn)有其顯著的優(yōu)點(diǎn)，各層次內(nèi)部交換的數(shù)據(jù)可以橫向轉(zhuǎn)發(fā)，不會(huì)占用上聯(lián)帶寬，減少上聯(lián)帶寬壓力。在早期園區(qū)網(wǎng)條件下，由于缺少能力強(qiáng)大的核心網(wǎng)設(shè)備和高帶寬接口，這種架構(gòu)在減少核心層設(shè)備壓力方面具備很重要的作用，由于校園網(wǎng)主要用戶是學(xué)生，網(wǎng)絡(luò)用戶對(duì)于網(wǎng)絡(luò)的使用率很高，特別是P2P軟件的流行，區(qū)域內(nèi)各用戶之間橫向數(shù)據(jù)流量很大，分層次的交換網(wǎng)絡(luò)結(jié)構(gòu)對(duì)于減少網(wǎng)絡(luò)主干壓力做出了不可或缺的貢獻(xiàn)。

隨著網(wǎng)絡(luò)設(shè)備的不斷發(fā)展，高性能的集中式主干用戶接入設(shè)備性能越來越高，而價(jià)格越來越低，為網(wǎng)絡(luò)扁平化提供了支持，可以同時(shí)接入幾萬用戶的高性能設(shè)備不斷降價(jià)為校園網(wǎng)實(shí)行扁平化改造提供了有利條件。

在目前這種網(wǎng)絡(luò)架構(gòu)條件下，我們面臨的問題有如下兩點(diǎn)：

1.現(xiàn)有校園網(wǎng)用戶還是采用分層次結(jié)構(gòu)接入，一般以樓棟為單位，造成了不同地區(qū)接入用戶環(huán)境差異性較大，上網(wǎng)體驗(yàn)受局域網(wǎng)本地環(huán)境影響較大，不同地區(qū)的用戶上網(wǎng)有可能差距較大，甚至同一樓棟不同交換機(jī)接入的用戶體驗(yàn)也不一樣。在這種網(wǎng)絡(luò)架構(gòu)下，一些局部問題，如Arp病毒、單個(gè)交換機(jī)故障、網(wǎng)絡(luò)接口擁塞等問題是無法被網(wǎng)絡(luò)管理員感知的，很難做到出現(xiàn)問題“第一時(shí)間”發(fā)現(xiàn)。因此需要一些手段從局部網(wǎng)絡(luò)開始進(jìn)行測試，監(jiān)測網(wǎng)絡(luò)質(zhì)量，并將結(jié)果展示給網(wǎng)絡(luò)管理員查看，使管理員能全面了解網(wǎng)絡(luò)的健康狀態(tài)。

2.在網(wǎng)絡(luò)出口方面，很多學(xué)校都是采用多個(gè)ISP出口的方式進(jìn)行接入，但對(duì)各網(wǎng)絡(luò)出口鏈路質(zhì)量往往沒有精確的、可靠的數(shù)據(jù)作為評(píng)價(jià)的依據(jù)。也需要有一些手段對(duì)各個(gè)鏈路出口的質(zhì)量進(jìn)行測試。

為了解決以上問題，我們嘗試建立了一套分布式網(wǎng)速測試系統(tǒng)部署在校園網(wǎng)中。該系統(tǒng)的主要作用是為網(wǎng)絡(luò)管理員提供真實(shí)可靠的網(wǎng)絡(luò)質(zhì)量數(shù)據(jù)，用于網(wǎng)絡(luò)故障檢查、網(wǎng)絡(luò)質(zhì)量檢測。

設(shè)計(jì)思路

該系統(tǒng)的設(shè)計(jì)思路是模擬終端用戶上網(wǎng)的速度來反映網(wǎng)絡(luò)質(zhì)量，通過分布式部署，將網(wǎng)速測試機(jī)部署在網(wǎng)絡(luò)的各個(gè)層次，盡量接近用戶層，以便真實(shí)的反映該網(wǎng)絡(luò)區(qū)域的用戶上網(wǎng)體驗(yàn)。各個(gè)測試機(jī)將測試結(jié)果定期發(fā)送到一臺(tái)網(wǎng)管服務(wù)器中，網(wǎng)管服務(wù)器對(duì)數(shù)據(jù)進(jìn)行存儲(chǔ)、分析和挖掘，通過圖形界面展示給網(wǎng)絡(luò)管理員，使網(wǎng)絡(luò)管理員隨時(shí)掌握各測試點(diǎn)的情況。

對(duì)于測試方法，我們不需要采用專業(yè)的網(wǎng)絡(luò)質(zhì)量測試軟件，因?yàn)橐恍I(yè)的測試軟件（如IxChariot等）都需要在測試點(diǎn)和被測試點(diǎn)之間安裝專用客戶端，我們測試網(wǎng)速的目的是為了反映用戶真實(shí)的上網(wǎng)速度，被測試點(diǎn)往往都在互聯(lián)網(wǎng)中，沒有條件安裝相應(yīng)的客戶端。對(duì)此，我們采用模擬用戶訪問一些著名網(wǎng)站的速度來進(jìn)行網(wǎng)速測試，其優(yōu)點(diǎn)是被測試的對(duì)象是長期在線的，測試方式實(shí)現(xiàn)起來比較簡易且能真實(shí)反映用戶瀏覽網(wǎng)頁的網(wǎng)速情況。

圖1 網(wǎng)絡(luò)測試系統(tǒng)的結(jié)構(gòu)

系統(tǒng)架構(gòu)

采用分布式系統(tǒng)架構(gòu)：系統(tǒng)分為網(wǎng)管服務(wù)器和網(wǎng)絡(luò)測試點(diǎn)兩個(gè)部分：網(wǎng)管服務(wù)器是整個(gè)系統(tǒng)的核心，用于存儲(chǔ)數(shù)據(jù)，控制各測試點(diǎn)，并向管理員提供管理界面并展示結(jié)果；網(wǎng)絡(luò)測試點(diǎn)分布在各個(gè)需要測試的地方，用于監(jiān)測網(wǎng)絡(luò)質(zhì)量，并將檢測結(jié)果發(fā)往網(wǎng)管服務(wù)器進(jìn)行處理。在具體實(shí)施過程中，本系統(tǒng)可以采用虛擬機(jī)實(shí)現(xiàn)，使用一臺(tái)物理機(jī)虛擬出網(wǎng)管服務(wù)器和多臺(tái)網(wǎng)絡(luò)測試點(diǎn)設(shè)備，利用物理機(jī)的多個(gè)網(wǎng)卡接口接入不同的網(wǎng)段進(jìn)行檢測，該結(jié)構(gòu)的優(yōu)點(diǎn)一是成本低，部署方便，只用一臺(tái)物理機(jī)；二是內(nèi)部傳輸可靠：網(wǎng)管服務(wù)器和各測試點(diǎn)間的數(shù)據(jù)均可采用虛擬機(jī)內(nèi)部網(wǎng)絡(luò)進(jìn)行交換，獨(dú)立成網(wǎng)，不依賴于被檢測的網(wǎng)絡(luò)。其缺點(diǎn)是是單臺(tái)設(shè)備存在單點(diǎn)故障問題，物理機(jī)硬件損壞可能會(huì)導(dǎo)致整個(gè)系統(tǒng)失效。因?yàn)樵撓到y(tǒng)失效后不會(huì)影響網(wǎng)絡(luò)運(yùn)行，且單臺(tái)設(shè)備使用冗余電源雙路供電，硬盤采用RAID5等配置本身可以達(dá)到比較高的可靠性，應(yīng)此采用單臺(tái)物理設(shè)備裝虛擬機(jī)的方式是比較合適的。如果需要對(duì)各樓棟的網(wǎng)絡(luò)進(jìn)行測試，還可以使用PC甚至ARM等嵌入式系統(tǒng)作為網(wǎng)絡(luò)測試點(diǎn)直接安裝在各個(gè)樓棟的接入交換機(jī)上，對(duì)本地局域網(wǎng)的網(wǎng)絡(luò)質(zhì)量進(jìn)行測試，并定時(shí)將測試數(shù)據(jù)傳送回網(wǎng)管服務(wù)器中。網(wǎng)絡(luò)測試系統(tǒng)的結(jié)構(gòu)如圖1所示。

系統(tǒng)實(shí)現(xiàn)

服務(wù)器硬件部署在網(wǎng)絡(luò)中心機(jī)房，安裝VMwareESXi虛擬機(jī)軟件，虛擬出4臺(tái)主機(jī)，其中1臺(tái)作為網(wǎng)關(guān)服務(wù)器，采用Linux + MySQL + PHP平臺(tái)并結(jié)合Cacti開源網(wǎng)管系統(tǒng)進(jìn)行二次開發(fā)，用于存儲(chǔ)、搜集、分析由其他測試機(jī)發(fā)送過來的數(shù)據(jù)，并根據(jù)數(shù)據(jù)繪制圖形，便于網(wǎng)絡(luò)管理員觀察。

另外3臺(tái)虛擬機(jī)作為測試機(jī)，安裝Windows、Linux操作系統(tǒng)均可，并配合Perl腳本定時(shí)執(zhí)行來完成對(duì)測試目標(biāo)的下載速度測試，測試目標(biāo)為30個(gè)國內(nèi)外知名網(wǎng)站，利用Perl的LWP組件進(jìn)行Http用戶下載模擬，記錄單個(gè)網(wǎng)站源代碼的長度和下載時(shí)間，并計(jì)算出下載速度，將其傳回網(wǎng)關(guān)服務(wù)器中進(jìn)行保存。采用Perl語言的原因是：Perl語言具備跨平臺(tái)，輕量級(jí)，適合快速開發(fā)的特點(diǎn)，利用Perl的LWP模塊可以很方便的模擬Web瀏覽，實(shí)現(xiàn)需要的功能，主要代碼片段如下：

通過該程序片段可以看出使用Perl語言可以很簡潔地完成抓取網(wǎng)站代碼并計(jì)算出下載速度的功能。另外Perl語言還可以很方便地使用ODBC對(duì)數(shù)據(jù)進(jìn)行操作，對(duì)于不同的操作系統(tǒng)幾乎不用修改源代碼即可直接移植。

對(duì)于測試點(diǎn)的選擇，除了和網(wǎng)管服務(wù)器整合在同一個(gè)虛擬機(jī)平臺(tái)中，形成物理上統(tǒng)一管理，邏輯上分布式部署之外，我們還可以在獨(dú)立的測試點(diǎn)進(jìn)行完全的分布式部署：使用Linux操作系統(tǒng)，即使在一臺(tái)較低配置的PC主機(jī)也可以完成測試點(diǎn)的安裝。同時(shí)，還可以采用ARM或MIPS架構(gòu)的嵌入式系統(tǒng)進(jìn)行開發(fā)，使其完成測試點(diǎn)的工作，其優(yōu)點(diǎn)是功耗小且運(yùn)行穩(wěn)定，可擴(kuò)展性高，適合于部署在無人值守的樓棟機(jī)房中。

圖2 各測試點(diǎn)國內(nèi)網(wǎng)站下載速度

圖3 各測試點(diǎn)國外網(wǎng)站網(wǎng)速

系統(tǒng)功能

網(wǎng)管服務(wù)器存儲(chǔ)了各個(gè)測試點(diǎn)傳輸過來的測試結(jié)果以及測試點(diǎn)的位置等信息，對(duì)這些信息進(jìn)行整理和挖掘可以得到管理員需要的測試結(jié)果，有利于管理員根據(jù)測試結(jié)果采取相應(yīng)措施。該系統(tǒng)可實(shí)現(xiàn)的功能有：1.單個(gè)測試點(diǎn)的上網(wǎng)速度監(jiān)控；2.各測試點(diǎn)上網(wǎng)速度的綜合比較；3.國內(nèi)網(wǎng)站/國外網(wǎng)站網(wǎng)速比較；4.不同ISP接入鏈路的上網(wǎng)速度比較；5.各測試點(diǎn)網(wǎng)速隨時(shí)間的變化規(guī)律；6.上網(wǎng)網(wǎng)速和出口帶寬擁堵情況之間的相互關(guān)系等等。網(wǎng)絡(luò)管理員可以根據(jù)搜集上來的數(shù)據(jù)按自己的需求形成各種圖表以滿足對(duì)整個(gè)網(wǎng)絡(luò)運(yùn)行情況全面了解的要求。

圖4 測試點(diǎn)“office”和“serverhost”網(wǎng)速對(duì)比

圖5 各網(wǎng)絡(luò)出口鏈路網(wǎng)速綜合對(duì)比

系統(tǒng)應(yīng)用實(shí)例

1.訪問特定網(wǎng)站的網(wǎng)速

如圖2所示，展示的是所有測試點(diǎn)訪問10個(gè)國內(nèi)網(wǎng)站的網(wǎng)速，從圖中可以看出訪問國內(nèi)網(wǎng)站的速度是比較快的，平均下載速度在1MB/s以上，相當(dāng)于10Mbps的帶寬。

如圖3所示，各測試點(diǎn)訪問國外網(wǎng)站的速度是較低的，特別是一些國外數(shù)據(jù)庫網(wǎng)站，還有待加強(qiáng)。

綜合圖2、圖3，網(wǎng)絡(luò)管理員可以很清楚地了解目前網(wǎng)絡(luò)出口當(dāng)前的基本狀況以及歷史平均數(shù)據(jù)，根據(jù)數(shù)據(jù)變化情況快速掌握網(wǎng)絡(luò)出口的狀態(tài)。

2.各測試點(diǎn)網(wǎng)速測試結(jié)果展示

通過圖4可以看出測試點(diǎn)“office”和測試點(diǎn)“serverhost”上網(wǎng)網(wǎng)速基本相當(dāng)，都是訪問國內(nèi)網(wǎng)站較快，訪問國外網(wǎng)站較慢。當(dāng)我們?cè)诰W(wǎng)絡(luò)中部署了很多個(gè)測試點(diǎn)之后，我們可以對(duì)所有測試點(diǎn)的網(wǎng)速進(jìn)行平均，得出一個(gè)綜合水平值，當(dāng)某個(gè)測試點(diǎn)的網(wǎng)速明顯低于這個(gè)綜合水平值時(shí)，網(wǎng)絡(luò)管理員就應(yīng)該注意了，需要檢查該測試點(diǎn)所在網(wǎng)絡(luò)是否存在故障。

3.各接入ISP網(wǎng)速測試結(jié)果

圖5顯示了網(wǎng)絡(luò)出口鏈路綜合對(duì)比，學(xué)校目前共有3條出口鏈路：CERNET，電信（CTC），聯(lián)通（CNC）。為了檢測各條鏈路的網(wǎng)速，我們特意在同一局域網(wǎng)中安裝了3臺(tái)測試機(jī)，分別通過這3條鏈路對(duì)30個(gè)網(wǎng)站進(jìn)行下載測試，所使用的DNS也分別使用各鏈路ISP自己的DNS地址，并通過調(diào)整流控設(shè)備對(duì)這3個(gè)測試點(diǎn)的帶寬做了足夠保障，以獲得最真實(shí)的測試結(jié)果。通過對(duì)比顯示CERNET和電信平均網(wǎng)速均有較好表現(xiàn)，其中電信平均網(wǎng)速最高，聯(lián)通網(wǎng)速相比較而言是較低的。影響網(wǎng)速有很多因素，如鏈路帶寬大小、鏈路質(zhì)量、ISP網(wǎng)內(nèi)資源等等，通過該測試系統(tǒng)我們有了一個(gè)直觀的數(shù)據(jù)，可以為我們以后進(jìn)行網(wǎng)絡(luò)出口鏈路調(diào)整提供有力的依據(jù)。

通過對(duì)該分布式網(wǎng)速測試系統(tǒng)的應(yīng)用，可以為網(wǎng)絡(luò)管理員提供大量的、豐富的、真實(shí)可信的用戶網(wǎng)絡(luò)下載速度測試數(shù)據(jù)。對(duì)這些數(shù)據(jù)進(jìn)行整理和挖掘可以為網(wǎng)絡(luò)管理員深入了解網(wǎng)絡(luò)各節(jié)點(diǎn)狀態(tài)以及網(wǎng)絡(luò)出口狀態(tài)提供了可靠的依據(jù)。同時(shí)，該系統(tǒng)還能夠和監(jiān)控告警系統(tǒng)進(jìn)行結(jié)合，當(dāng)某測試點(diǎn)測試結(jié)果或網(wǎng)絡(luò)總出口測試結(jié)果出現(xiàn)異常時(shí)通過郵件、短信的方式發(fā)送給相關(guān)網(wǎng)絡(luò)管理員，做到出現(xiàn)問題第一時(shí)間發(fā)現(xiàn)，提高校園網(wǎng)管理效率和服務(wù)質(zhì)量。

系統(tǒng)應(yīng)用擴(kuò)展

本系統(tǒng)主要用于對(duì)Web網(wǎng)絡(luò)訪問質(zhì)量進(jìn)行評(píng)估，為網(wǎng)絡(luò)管理員提供了真實(shí)可靠的用戶網(wǎng)絡(luò)體驗(yàn)質(zhì)量的評(píng)估數(shù)據(jù)，但僅僅對(duì)Web網(wǎng)頁下載速度進(jìn)行評(píng)估的方式略顯單一，因此在實(shí)踐中還可以在本系統(tǒng)架構(gòu)的基礎(chǔ)上添加其他的測試方式，包括：1.Web頁面反應(yīng)速度。通過記錄對(duì)一個(gè)網(wǎng)站發(fā)出Http請(qǐng)求到接收到Http回應(yīng)的時(shí)間來判斷頁面訪問速度，該測試方式同Web頁面下載速度測試一樣具有較好的可實(shí)施性，只需要在系統(tǒng)原有的測試點(diǎn)中添加一個(gè)測試網(wǎng)站反應(yīng)時(shí)間的檢測程序即可，同時(shí)具備較好的測試結(jié)果一致性，因?yàn)閮H測試網(wǎng)站的回應(yīng)時(shí)間，對(duì)具體網(wǎng)站的內(nèi)容大小沒有要求，避免了內(nèi)容大小不同的網(wǎng)站在下載過程中出現(xiàn)較大偏差的現(xiàn)象，最后繪制的性能曲線往往會(huì)比Web下載網(wǎng)速曲線更平滑，更具可比性。2.多線程文件下載速度。主要方法是建立一系列被動(dòng)式測試點(diǎn)，由系統(tǒng)測試點(diǎn)主動(dòng)從這些被動(dòng)測試點(diǎn)上通過Http或Ftp等協(xié)議多線程下載文件（通?？梢栽O(shè)定1M~10M大小的文件），這種方式可以很好地反映兩點(diǎn)之間網(wǎng)絡(luò)帶寬的利用率，反映出用戶網(wǎng)絡(luò)實(shí)際帶寬占用率。但需要額外建立若干被測試點(diǎn)，通常在校園網(wǎng)內(nèi)部比較容易實(shí)現(xiàn)，在校園網(wǎng)外部建立被測試點(diǎn)往往會(huì)受到諸多限制，如相關(guān)ISP接入或托管費(fèi)用等問題。3.點(diǎn)到點(diǎn)之間鏈路質(zhì)量測試。該方式同樣需要建立被測試點(diǎn)，通過點(diǎn)到點(diǎn)之間進(jìn)行各種協(xié)議的丟包率、時(shí)延、平均速率、突發(fā)速率等網(wǎng)絡(luò)質(zhì)量參數(shù)，可以比較全面地反映兩點(diǎn)之間的網(wǎng)絡(luò)鏈路質(zhì)量，但同樣存在被監(jiān)測點(diǎn)的建設(shè)問題，在校園網(wǎng)內(nèi)部比較容易部署，在校園網(wǎng)外部由于接入問題，比較難以部署在校園網(wǎng)外部。