電力數(shù)據(jù)通信網(wǎng)端到端網(wǎng)絡主動測量系統(tǒng)的設計與實現(xiàn)

劉俊　張廣興　曾少華

摘要：

隨著湖南電力數(shù)據(jù)通信網(wǎng)的迅速發(fā)展，端到端的網(wǎng)絡測量方法對于網(wǎng)絡運維越來越顯重要。傳統(tǒng)基于SNMP和NETFLOW的被動測量手段不能獲得與用戶體驗密切相關的重要網(wǎng)絡參數(shù)如可用帶寬、HTTP首頁下載時間、POP3郵件接收響應時間等。大規(guī)模網(wǎng)絡主動測量系統(tǒng)在國外有不少應用，在國內尚無較大規(guī)模應用的案例。為了提高湖南電力數(shù)據(jù)通信網(wǎng)整體運維水平，實現(xiàn)端到端的網(wǎng)絡測量技術，文中設計并實現(xiàn)了電力數(shù)據(jù)通信網(wǎng)端到端網(wǎng)絡主動測量系統(tǒng)。文中對系統(tǒng)的體系結構、任務調度方法、探針設計、系統(tǒng)的部署方法等進行了詳細論述。該系統(tǒng)的實際測量結果表明，該系統(tǒng)可以提供準確和有效的測量結果，測量結果對網(wǎng)絡優(yōu)化和網(wǎng)絡改造具有重要的參考價值。

關鍵詞：計算機網(wǎng)絡；數(shù)據(jù)通信網(wǎng)；端到端網(wǎng)絡主動測量

中圖法分類號：TP393.06文獻標識碼：A

Abstract：With the fast development of Hunan China Grid Data communication network，the active endtoend network measurement approach becomes more and more important to network management.Traditional SNMP or NETFLOW based passive measurement method cannot get the important network metrics such as available bandwidth，HTTP download time，POP3 mail receiving response time and so on，which are closely related to user experience.There are a lot of applications of large scale active network measurement systems in other countries，but quite rare in China.In order to improve the overall operation and maintenance quality of Hunan China Grid Data communication network and implement the endtoend active network measurement technique，this paper designs and implements an active network measurement system on the network.The system architecture，the task scheduling method，the probe design，the system deployment methods are proposed in detail.The actual measurement results show that the system can provide accurate and effective measurement results which have important reference value for network optimization and network upgrading.

Key words：computer network；China Grid data communication network；endtoend active network measurement

1研究意義

湖南電力數(shù)據(jù)通信網(wǎng)是覆蓋全省的大型廣域企業(yè)網(wǎng)絡。網(wǎng)絡中有在運路由器、交換機等網(wǎng)絡設備7000余臺。應國家電網(wǎng)公司要求，湖南省電力公司在2015—2016年完成了對數(shù)據(jù)通信網(wǎng)拓撲結構、路由協(xié)議、IP地址及VPN參數(shù)等方面整體升級改造工作，數(shù)據(jù)通信網(wǎng)核心網(wǎng)絡的帶寬得到大幅提升。但是，改造完成后，網(wǎng)絡服務質量并沒有如期望相應提高。網(wǎng)絡管理員經(jīng)常收到一些地市公司基層單位如配搶中心或電力營業(yè)廳網(wǎng)絡緩慢的投訴。相關部門曾經(jīng)做過多次技術分析，但由于網(wǎng)絡規(guī)模大而且拓撲復雜，缺乏有效的網(wǎng)絡測量手段，很難定位故障點。為了進一步改善電力用戶網(wǎng)絡體驗，提高湖南電力數(shù)據(jù)通信網(wǎng)運維水平，需解決以下問題：

1需建立符合電力行業(yè)特征的網(wǎng)絡質量指標體系：電力數(shù)據(jù)通信網(wǎng)承載了信息、語音、視頻多種業(yè)務。每種業(yè)務重要性和QOS需求各不相同。并且數(shù)據(jù)通信網(wǎng)上承載的業(yè)務類型與互聯(lián)網(wǎng)差別很大（例如電力網(wǎng)上沒有P2P、游戲業(yè)務）。傳統(tǒng)針對互聯(lián)網(wǎng)的網(wǎng)絡質量評價指標不完全符合電力網(wǎng)絡的實際情況。因此要對電力用戶的上網(wǎng)體驗做出客觀準確的評價，需先建立一套符合電力行業(yè)特征的網(wǎng)絡質量指標體系。

2缺乏網(wǎng)絡端到端網(wǎng)絡監(jiān)測手段：數(shù)據(jù)通信網(wǎng)與運營商網(wǎng)絡一樣，部署了多個基于SNMP的專業(yè)網(wǎng)管和基于NETFLOW的流量分析工具。這些工具都采用了被動測量的網(wǎng)絡測量方式，可以分析網(wǎng)絡設備的運行狀況和網(wǎng)絡出口處的流量和帶寬。但是由于測量點都設置在網(wǎng)絡核心或出口處，測量位置距離用戶很遠。一個營銷終端訪問省公司數(shù)據(jù)中心，經(jīng)過網(wǎng)絡設備達15臺以上。這10多跳網(wǎng)絡，又是由三套網(wǎng)管系統(tǒng)分級管理的。管理員被淹沒在多套網(wǎng)管系統(tǒng)的海量日志中，加上網(wǎng)絡規(guī)模大跳數(shù)多、拓撲復雜，很難分析網(wǎng)絡瓶頸在哪。

主動網(wǎng)絡性能測量技術構造探測報文序列，發(fā)送到被測目標網(wǎng)絡中，然后利用被測目標的響應信息，或者探測報文傳輸經(jīng)過目標網(wǎng)絡后攜帶的信息來測量網(wǎng)絡性能。由于主動測量探針部署位置靠近用戶終端，通過主動網(wǎng)絡性能測量技術，可以對端到端的網(wǎng)絡路徑性能進行測量，測量結果能更直接的反映用戶的網(wǎng)絡體驗；如果大量部署網(wǎng)絡探針，測量數(shù)據(jù)也有助于管理員獲得網(wǎng)絡的整體性能的理解。endprint

大規(guī)模網(wǎng)絡主動測量系統(tǒng)在國外有不少應用，在國內尚無較大規(guī)模應用的案例。為了提高湖南電力數(shù)據(jù)通信網(wǎng)整體運維水平，實現(xiàn)端到端的網(wǎng)絡測量技術，解決以上網(wǎng)絡運維中的重要問題，文中設計并實現(xiàn)了電力數(shù)據(jù)通信網(wǎng)端到端網(wǎng)絡主動測量系統(tǒng)。文中對系統(tǒng)的體系結構、任務調度方法、探針設計、系統(tǒng)的部署方法等進行了詳細論述。

2國內外相關研究

從2000年至今，國際上涌現(xiàn)了多個大規(guī)模主動網(wǎng)絡測量的項目，部分項目運行幾年后已夭折，本文對現(xiàn)在還在正常運行，并仍有大量活動測量探針項目進行逐一分析和介紹：

1）Ark[1]（Archipelago measurement infrastructure）。直譯為群島測量構架，該系統(tǒng)由CAIDA[2]開發(fā)，其核心服務器位于圣地亞哥超級計算機中心。截止至2016年11月，在全球57個國家有165個活動測量點。該系統(tǒng)從2006年上線以來持續(xù)進行改進，內置了DNS解析分析、網(wǎng)絡拓撲分析、WEB響應分析、PING時延分析、traceroute路由跟蹤等多個工具[3-7]。

2）WAND [8-9]，其前身是已經(jīng)運行了10多年的AMP （Active Measurement Project） [10]，由新西蘭政府贊助開發(fā)。截止至2016年11月，在全球有1822個活動探測點。測量的主要內容包括測量點間的丟包、延遲、帶寬和網(wǎng)絡拓撲，探針還不斷實時監(jiān)控INTERNET重要的路徑變化。

3）perfSONAR[11-17] （performance serviceoriented network monitoring architecture），由Internet2、GEANT等機構聯(lián)合開發(fā)。截止至2016年10月有1700臺服務器在網(wǎng)運行。項目內置了ping，traceroute，tracepath，iperf，nuttcp工具。

4）ScriptRoute[18]是一個依托PlanetLab的網(wǎng)絡測量系統(tǒng)。截止至2016年10月有91臺注冊服務器在網(wǎng)運行。其中絕大多數(shù)使用的是PlanetLab服務器。

5）Bottlenet [19-21]由法國國家信息與自動化研究所（Inria）設立，專門進行端到端主動測量。其特點是使用互聯(lián)網(wǎng)上PC和移動終端作為探針，探測端到端網(wǎng)絡瓶頸。內含了Fathom、APISENSE等多個測量工具。

6）Polaris網(wǎng)絡測量平臺[22]：由美國第二大有線電視，寬帶網(wǎng)絡及IP電話服務供應商Comcast開發(fā)。該系統(tǒng)與本文的電力數(shù)據(jù)通信網(wǎng)端到端網(wǎng)絡主動測量系統(tǒng)非常相似。該系統(tǒng)也采用了管理平臺、數(shù)據(jù)存儲檢索系統(tǒng)、調度器、探針四層次體系構架；同樣也開發(fā)了小型探針，該探針采用ARM CortexA7 雙核處理器，Linux操作系統(tǒng)。配置一個1GbE 以太網(wǎng)接口作為測量接口，最大探針吞吐量可達900Mbps?，F(xiàn)在該平臺已在美國各地部署了61個測量探針進行相關測量。

7）與國外的研究情況相比較，國內在端到端網(wǎng)絡測量方面的研究不多。很多項目都是曇花一現(xiàn)，進行實際網(wǎng)絡部署和長期網(wǎng)絡觀測的幾乎沒有。清華大學信息網(wǎng)絡工程研究中心設計并實現(xiàn)了基于聯(lián)邦架構的全球網(wǎng)絡性能測量平臺GPERF[23]，該平臺實現(xiàn)了大規(guī)模異構測量，充分利用了自有資源、伙伴資源和互聯(lián)網(wǎng)上的開放服務等。國防科技大學開發(fā)了一套主動網(wǎng)絡測量精度的軟硬件混合模型HPAN[24]，其優(yōu)勢是利用可編程的硬件設備提高報文時間戳的精度。西安電子科技大學提出了分布式網(wǎng)絡測量基礎架構（Distributed Network Measurement and Analysis Infrastructure，DNMAI）[25，26]；電子科技大學開發(fā)了基于多線程的網(wǎng)絡性能測量系統(tǒng)[27]，對其校園網(wǎng)進行實際測量。

3電力數(shù)據(jù)通信網(wǎng)質量指標體系

沒有規(guī)矩不成方圓。進行網(wǎng)絡測量之前，必須確立好測量度量標準。ITUT（國際電信聯(lián)盟）、IETF（互聯(lián)網(wǎng)工程任務組）等組織研究并頒布了一系列的標準化建議作為網(wǎng)絡質量測量指標體系[28-31]。兩個組織的度量基本相同。

ITUT在2007年定義了以用戶認可程度為評價標準的業(yè)務服務質量體系，稱為用戶體驗質量QoE[32]，以區(qū)別于目前采用最廣泛的服務質量QoS。QoE從用戶主觀感受的角度研究服務質量，包含服務、用戶、環(huán)境3個層面；服務層面涉及OSI模型中網(wǎng)絡層至應用層各類參數(shù)[33]。

電力數(shù)據(jù)通信網(wǎng)上運行的應用與互聯(lián)網(wǎng)差別很大，不能簡單套用互聯(lián)網(wǎng)網(wǎng)絡質量指標體系。舉個例子，數(shù)據(jù)通信網(wǎng)用戶均為辦公用戶，其日常使用的應用以HTTP網(wǎng)頁瀏覽和SMTP/POP3郵件收發(fā)為主。電力用戶要求網(wǎng)頁瀏覽的網(wǎng)頁打開速度要快，對文件下載速度并不敏感。而互聯(lián)網(wǎng)用戶網(wǎng)絡對p2p下載和流媒體更感興趣。用戶關心的應用類型不同，其對網(wǎng)絡質量要求就不同，衡量網(wǎng)絡質量的指標體系也要相應調整。通過對電力數(shù)據(jù)通信網(wǎng)用戶行為深入分析，參考ITUT、IETF相關網(wǎng)絡質量測量體系，本文初步確定了一套符合電力網(wǎng)絡實際業(yè)務情況的質量指標體系，體系也按照網(wǎng)絡層、傳輸層、應用層三個層次劃分，主要指標如下：

4系統(tǒng)架構

41系統(tǒng)構架

電力數(shù)據(jù)通信網(wǎng)端到端網(wǎng)絡主動測量系統(tǒng)是對分布在電力數(shù)據(jù)通信網(wǎng)上的終端的網(wǎng)絡質量進行測量監(jiān)控的應用系統(tǒng)。系統(tǒng)通過分布式部署在全省電力數(shù)據(jù)通信網(wǎng)上的探針，實時測量供電所、營業(yè)廳、辦公場所等網(wǎng)絡末端節(jié)點各種網(wǎng)絡指標及承載業(yè)務的性能和服務質量，然后用統(tǒng)一的web頁面展示測量結果。系統(tǒng)由管理平臺、調度器、數(shù)據(jù)存儲檢索系統(tǒng)探針四個部分組成。

42管理平臺

不同于傳統(tǒng)的網(wǎng)管軟件的C/S架構，管理平臺采用了使用B/S架構和J2EE框架。管理平臺統(tǒng)一接受ES、調度器、探針這些程模塊程序發(fā)送的http請求與用戶在瀏覽器發(fā)送的http請求，通過經(jīng)典的控制器—服務層—DAO結構，完成業(yè)務邏輯的處理返回響應。從功能上劃分，管理平臺分又可以分為前端和后端兩部分。endprint

管理平臺前端為用戶的使用提供功能支持，是消費型的系統(tǒng)；前端使用了html/jsp+flex兩種頁面技術，分別應用于靜態(tài)效果和動態(tài)效果；

管理平臺后端為其他模塊提供服務和通信連接，是運營型系統(tǒng)。由五個子模塊組成：管理節(jié)點、資源服務器、緩存服務器、數(shù)據(jù)庫、其他中間件。其中管理節(jié)點是其他模塊連接的中心，接收來自其他模塊的消息，完成和其他子模塊的交互，為WEB頁面提供展示信息；資源服務器提供統(tǒng)一的文件存儲能力；緩存服務器提供統(tǒng)一的內存信息緩存；其他子模塊同樣承擔了特定的底層功能支持。

管理平臺后端使用struts2+spring+ibatis的開源工具，struts2用于服務前臺html、jsp、flex頁面的http請求，將業(yè)務邏輯處理提交spring托管的應用服務對象處理，最后通過ibatis完成數(shù)據(jù)庫的讀寫操作；事務管理、線程管理、緩存機制、數(shù)據(jù)源等都由spring配置實現(xiàn)，容器托管的事務機制保證了程序異常時的自動回滾；spring托管線程，可以控制整個線程的生命周期，在服務器關閉后自動釋放其他線程資源；

管理平臺的數(shù)據(jù)來源有數(shù)據(jù)庫、文件系統(tǒng)和緩存內存數(shù)據(jù)三類，分別由mysql數(shù)據(jù)庫、資源服務器和redis緩存服務器進行處理：Mysql通過主備的方式保證數(shù)據(jù)庫的穩(wěn)定性與可靠性，并自動完成主備數(shù)據(jù)庫上的數(shù)據(jù)同步；資源服務器配置大容量存儲設備，提供各類安裝包、更新包和配置文件的存儲，提供文件系統(tǒng)操作、文件下載的接口；redis緩存服務器同樣是核心節(jié)點，也采用了主備結構。redis緩存服務器一方面作為緩存數(shù)據(jù)的存儲，減少數(shù)據(jù)請求都由數(shù)據(jù)庫處理的情況、緩解數(shù)據(jù)庫壓力、提高請求響應速度，另一方面也為集群中的節(jié)點的session同步、內存數(shù)據(jù)同步提供集中式的管理和支撐。

43調度器

調度器管理調度域內的探針節(jié)點，負責系統(tǒng)上傳下達功能，是管理平面與執(zhí)行平面的橋梁，并可支持多級部署；管理平臺通過調度器控制所有探針工作。一方面將管理平臺收到的頁面測量任務下發(fā)到探針，同時將探針的測量狀態(tài)反饋管理節(jié)點。調度器可以分布式部署在不同測量區(qū)域，每個調度器分轄多個探針。調度器和下轄探針、上聯(lián)的管理平臺組成樹形網(wǎng)絡拓撲。調度器在各自的linux主機上的jettty容器中以多線程的方式運行，保證高并發(fā)、短事務。下圖為調度器的模塊結構，由多個線程以及隊列交互來完成任務的調度下發(fā)，狀態(tài)的接收，轉發(fā)等業(yè)務功能。

44數(shù)據(jù)存儲檢索系統(tǒng)

數(shù)據(jù)存儲檢索系統(tǒng)對不同類型測量結果數(shù)據(jù)進行存儲，收集測量結果和數(shù)據(jù)庫信息，為頁面的結果展示提供數(shù)據(jù)來源。提供快速、靈活的檢索接口，支持外部系統(tǒng)檢索。

數(shù)據(jù)存儲檢索系統(tǒng)包括ES、ESAgent兩個模塊：ES對測量結果進行分布式的存儲，并支持多樣化的檢索服務，完成對測量結果的運算和查詢。ES可以支持集群實現(xiàn)分布式部署架構，通過負載均衡進程調度集群內的多節(jié)點。ESAgent作為ES的代理，負責對外提供索引和檢索的業(yè)務，同時完成對索引的源數(shù)據(jù)進行預處理、對檢索結果進行處理后返回給用戶；ESAgent支持動態(tài)擴展，可以通過添加補丁、替換Jar包形式增加新的業(yè)務處理邏輯，這種設計方法可以支持測量系統(tǒng)隨時擴展新的測量工具。

45探針

測量探針是測量任務的執(zhí)行體，部署在用戶側感知網(wǎng)絡性能、執(zhí)行測量任務、獲取測量結果，同時支持新的測量工具部署與輸入輸出模版標準化。作為整個系統(tǒng)的終端，探針完成了最末端的測量任務，同時作為測量工具的載體提供支持。探針和調度器連接以接收測量任務反饋測量狀態(tài)；探針和數(shù)據(jù)存儲檢索系統(tǒng)ES連接上報測量結果；探針和管理平臺連接處理其他情況；探針和其他模塊的連接關系是類C/S的模式。

探針的具體實現(xiàn)可以分為三層，從下自上依次為：

（1）探針硬件平臺。探針處理器采用了Atheros AR9344。AR9344是業(yè)界頂尖的芯片廠商Atheros的新一代WLAN SoC，內核為MIPS 74Kc，主頻高達533 MHz，能夠滿足探針的性能需求。探針配置ROM為16M，主要用于安裝固件和探針應用程序；RAM為64M，用于對測量數(shù)據(jù)的存儲。

（2）探針軟件平臺。采用OpenWrt作為探針的操作系統(tǒng)。OpenWrt具有方便添加應用程序的特點，使得探針具有很好的可擴展性。

（3）探針應用程序。探針應用程序主要包括測量工具管控模塊和測量工具兩部分。測量工具管控模塊包含了探針Probe主進程、探針注冊probreg、升級代理updater三個模塊，用于實現(xiàn)探針與管理平臺、數(shù)據(jù)存儲檢索系統(tǒng)、調度器的接口，并實現(xiàn)對測量工具的管控。測量工具指實際完成端到端網(wǎng)絡性能測量的應用程序。已完成開發(fā)的測量工具有：路由測量工具traceroute、可用帶寬測量工具iperf、TCP/UDP測量工具、HTTP測量工具、SMTP/POP3測量工具、流媒體測量工具、DNS測量工具、Telnet測量工具等。探針的體系結構如下圖所示：

5測量任務執(zhí)行過程及狀態(tài)機

為了合理協(xié)調資源，完成主動測量任務，數(shù)據(jù)通信網(wǎng)端到端主動測量系統(tǒng)的管理平臺模塊進行任務執(zhí)行的整體調度。下圖表示一個測量任務執(zhí)行過程，具體有8個步驟：

①用戶通過管理平臺前端下發(fā)任務；

②管理平臺后端返回新任務ID；

③管理平臺后端任務下發(fā)至調度器；

④調度器任務下發(fā)至探針后端；

⑤探針后端任務下發(fā)至測量工具；

⑥測量工具完成測量后結果上傳至探針后端；

⑦探針后端將測量結果上傳至數(shù)據(jù)存儲檢索系統(tǒng)；

⑧數(shù)據(jù)存儲檢索系統(tǒng)將測量結果索引返回管理平臺后端；

圖中過程（1）—（4）為管理平臺前端進行數(shù)據(jù)展示的流程：endprint

（1）管理平臺前端向后端請求測量結果；

（2）管理平臺后端向數(shù)據(jù)存儲檢索系統(tǒng)發(fā)起檢索；

（3）據(jù)存儲檢索系統(tǒng)將檢索結果上報至管理平臺后端；

（4）管理平臺后端將結果發(fā)給前端進行結果展示。

系統(tǒng)的其他相關重要流程有：

調度器注冊：調度器上線時，通過登陸流程，向管理平臺后端進行注冊。

探針注冊：探針上線時，也是向調度器注冊。管理平臺前端、后端之間以及后端與調度器之間，通過定時心跳，保證模塊間交互的可靠連接。

6系統(tǒng)部署與測量結果分析

61系統(tǒng)部署情況

湖南省電力公司數(shù)據(jù)通信網(wǎng)是一個大型電力廣域網(wǎng)絡，承載于覆蓋全省的電力SDH、OTN/PTN、微波三平面的傳輸網(wǎng)。網(wǎng)絡采用了MPLS/VPN構架，共部署路由器、交換機設備7000多臺。電力數(shù)據(jù)通信網(wǎng)端到端網(wǎng)絡主動測量系統(tǒng)在湖南電力數(shù)據(jù)通信網(wǎng)進行了實際部署和測量，部署情況如下：

服務器部署情況如下：系統(tǒng)管理平臺，中心數(shù)據(jù)庫，數(shù)據(jù)存儲檢索系統(tǒng)部署在省公司數(shù)據(jù)中心。分布式調度器也在省公司集中部署。以上模塊均集中部署在單臺服務器上。服務器硬件采用一臺華為RH5885 v3四路PC服務器，配置2個至強E7六核1.9G處理器，內存64G，配置4口千兆網(wǎng)卡，服務器操作系統(tǒng)為Linux 2.6.29。

探針部署情況如下：為了完成本次測量工作，項目組在14個地市公司的93個直管區(qū)、縣電力公司共部署探針93臺。部署位置為該地區(qū)某一電力營業(yè)廳或供電所一類的電力基層單位接入交換機以太網(wǎng)端口。探針部署位置盡量靠近一線網(wǎng)絡用戶。從測量管理服務器到探針，跨越了省數(shù)據(jù)中心、數(shù)據(jù)通信網(wǎng)骨干網(wǎng)、地市公司數(shù)據(jù)通信網(wǎng)骨干網(wǎng)、地市數(shù)據(jù)通信網(wǎng)接入網(wǎng)四個網(wǎng)絡層級，網(wǎng)絡跳數(shù)在13—16跳之間。

62測量情況

系統(tǒng)部署完成后，進行了一次全省數(shù)據(jù)通信網(wǎng)端到端網(wǎng)絡性能測量。測量統(tǒng)一由省公司管理服務器發(fā)起，時間為工作日上午9—11時。每隔10分鐘進行一次測量，測量十次后結果取均值。測量內容有：可用帶寬、時延、丟包率。

63測量結果分析

將測量結果中所有測量點按照地市區(qū)域劃分進行統(tǒng)計均值、方差分析，結果如表5。結論如下：

1將平均可用帶寬按由小到大排列，可知：長沙、岳陽、湘潭等地區(qū)整體網(wǎng)絡質量較好，可用帶寬較大而網(wǎng)絡時延較小。相對而言，湘西、邵陽、永州等地區(qū)距離省會較遠，可用帶寬較小而網(wǎng)絡時延較大，整體網(wǎng)絡質量稍差。

2整體數(shù)據(jù)通信網(wǎng)丟包率很低。僅懷化、長沙和岳陽測量點的網(wǎng)絡有少量丟包，丟包率最高為0.0083%，這說明湖南電力數(shù)據(jù)通信網(wǎng)總體網(wǎng)絡質量較好。少量丟包可能是物理層鏈路質量造成而不是網(wǎng)絡擁塞造成的。需進一步逐跳排查物理鏈路，找到丟包原因。

3將各地市公司測量點的可用帶寬、網(wǎng)絡時延做相關性分析，得到相關系數(shù)為-0.767。說明在湖南電力數(shù)據(jù)通信網(wǎng)上，可用帶寬與網(wǎng)絡時延有負相關關系?？捎脦挻蟮牡貐^(qū)相對時延較小，反之亦然。

4計算各地市公司測量點的可用帶寬標準差、時延標準差，如圖14兩者曲線頗為相似。計算兩者相關性為0.61。這說明如果該地市不同測量點之間網(wǎng)絡可用帶寬差別較大（該地區(qū)網(wǎng)絡帶寬良莠不齊），則該地區(qū)的時延差別也較大（該地區(qū)時延也良莠不齊）。

5各地市平均可用帶寬與其標準差的相關系數(shù)為0.47，可用帶寬與可用帶寬分布均勻性的相關性不大。這說明即使某地市的網(wǎng)絡平均可用帶寬很高，但該地市也會有網(wǎng)絡帶寬較低的點存在。各地市平均時延與其標準差的相關系數(shù)為0.23，這說明在平均時延與時延標準差相關性很小。在某地市網(wǎng)絡平均時延較小，但該地市仍有時延較大的點存在。以上分析說明：即使在網(wǎng)絡質量很好的地區(qū)如長沙、岳陽、湘潭等，也需對網(wǎng)絡進行普查，查漏補缺解決少量網(wǎng)絡質量不好的點，以提高總體網(wǎng)絡質量。

6可用帶寬與丟包率的相關系數(shù)為0.36，這說明在可用帶寬與丟包率基本無關。這說明了湖南電力數(shù)據(jù)通信網(wǎng)整體網(wǎng)絡為輕載。因為在重載網(wǎng)絡下，可用帶寬與丟包率往往呈現(xiàn)負相關關系。

7結論

傳統(tǒng)基于SNMP和NETFLOW的被動測量手段不能獲得與用戶體驗密切相關的重要網(wǎng)絡參數(shù)如可用帶寬、HTTP首頁下載時間、POP3郵件接收響應時間等。為了提高湖南電力數(shù)據(jù)通信網(wǎng)整體運維水平，實現(xiàn)端到端的網(wǎng)絡測量，文中設計并實現(xiàn)了電力數(shù)據(jù)通信網(wǎng)端到端網(wǎng)絡主動測量系統(tǒng)。實際測量結果表明，湖南電力數(shù)據(jù)通信網(wǎng)整體網(wǎng)絡質量較好，輕載運行，但是在同一地區(qū)網(wǎng)絡質量分布并不均勻，需重點解決少量接入點的網(wǎng)絡問題，以提高用戶的整體網(wǎng)絡體驗。測量結果對網(wǎng)絡優(yōu)化和網(wǎng)絡改造具有重要的參考價值。

參考文獻

[1]CAIDA.ARK[EB/OL].http：//www.caida.org/projects/ark.2016

[2]CAIDA： The cooperative association for Internet data analysis[EB/OL].2016.http：//www.caida.org/

[3]HYUN Y.Ark Update： Present and Future[C]，Workshop on Active Internet Measurements （AIMS） March 2015

[4]HYUN Y.Ark Topology Query System[C]，Workshop on Active Internet Measurements （AIMS） February 2016

[5]VEITCH D.Timing Precision on ArkRADclock[C]，Workshop on Active Internet Measurements （AIMS） March 2015endprint

[6]BEVERLY R，Large Scale Measurement Machinery：ArkQueue and Scamper Tools[C]，Workshop on Active Internet Measurements （AIMS） March 2015

[7]BAUER S（MIT / CSAIL）.Classifying Congestion in Ark Measurements[C]，Workshop on Active Internet Measurements （AIMS） March 2015

[8]AMP.WAND[EB/OL]，http：//amp.wand.net.nz/ 2016

[9]ALCOCK S，Active Measurement Project[C]，Workshop on Active Internet Measurements （AIMS） February 2016

[10]MCGREGOR A.Active measurement program： Network knowledge leads to practical payoffs[C].SDSC/NPACI Online Biweekly Newsletter，2003，7（3）.

[11]ESNET.perfSONAR[EB/OL]，http：//www.perfsonar.net/，2016

[12]TIERNEY B.perfSONARbased Network Research[C]，Workshop on Active Internet Measurements （AIMS） March 2015

[13]SAMPAIO L，KOGA I，COSTA R，et al.“Implementing and Deploying Network Monitoring Service Oriented Architectures： Brazilian National Education and Research Network Measurement Experiments”[C]，Proceedings of the 5th Latin American Network Operations and Management Symposium （LANOMS 2007），Brazil，September 2007.

[14]BINCZEWSKI A，LAWENDA M，TROCHA S，et al.“Application of perfSONAR architecture in support of GRID monitoring”[C].In Proceedings of INGRID 2007 Instrumenting the Grid，2nd International Workshop on Distributed Cooperative Laboratories，S.Margherita Ligure Portofino，Italy，April，2007.

[15]HAMM M，SCHAUERHAMMER，K，UllMANN，K，et al.Management of MultiDomain EndtoEnd Links，In Moving from Bits to Business Value[C].Proceedings of the 2007 Integrated Management Symposium，2007，IFIP/IEEE，München，Germany，May，2007.

[16]ZURAWSKI J，BOOTE J，BOYD E，et al.Hierarchically Federated Registration and Lookup within the perfSONAR Framework，In Moving from Bits to Business Value[C].Proceedings of the 2007 Integrated Management Symposium，2007，IFIP/IEEE，München，Germany，May，2007.

[17]HANEMANN A，BOOTE J W，BOYD E L，et al.“PerfSONAR： A Service Oriented Architecture for MultiDomain Network Monitoring”[C].In“Proceedings of the Third International Conference on Service Oriented Computing”，Springer Verlag，LNCS 3826，pp.241254，ACM Sigsoft and Sigweb，Amsterdam，The Netherlands，December，2005.

[18]Scriptroute [EB/OL]，http：//www.scriptroute.org：3967/，2016

[19]INRIA.Bottlenet [EB/OL]，https：//project.inria.fr/bottlenet/，2016

[20]AFRA S，SAUCEZ D，BARAKAT C.From networklevel measurements to expected Quality of Experience： the Skype use case.Oct 2014.

[21]RIVRON V，KHAN M I，CHARNEAU S，et al.Refining usage analysis by combining crowdsensing and survey[C]，CASPer/PERCOM，2015.endprint

[22]TAYLOR D.Measuring achievable throughput using a widely distributed automated measurement platform[C]，Workshop on Active Internet Measurements （AIMS） February 2016

[23]王繼龍，孫明敏，張千里.基于聯(lián)邦架構的全球網(wǎng)絡性能測量[J]，計算機學報，2010，33（9），1602-1610

[24]胥慶杰，唐路，張彥龍，等HPAN：一種優(yōu)化主動網(wǎng)絡測量精度的軟硬件混合模型，《第二屆中國互聯(lián)網(wǎng)學術年會》，2013，263-268

[25]王紅劍，裴昌幸，朱暢華，等一種基于DNMAI架構的網(wǎng)絡拓撲發(fā)現(xiàn)方法[J]，計算機應用研究，2007，24（03），234-237

[26]王佳瑋，田斌裴，昌幸，等分布式網(wǎng)絡測量探針關鍵技術研究[J]，現(xiàn)代電子技術，2007，30（11），65-67

[27]孫衛(wèi)佳，朱凱敏.基于多線程的網(wǎng)絡性能測量系統(tǒng)的研究與應用[J].電子世界.2014，（20），495-496.

[28]ITUT.Rec E.800： Terms and definitions related to qualityof service and network performance including dependability[EB/OL].1994.https：//www.itu.int/rec/TRECE.800/en.

[29]ITUT.Rec I.350 ： General aspects of quality of service and network performance in digital network，including ISDN[EB/OL].1993.https：//www.itu.int/rec/TRECI.350/en.

[30]ITUT.Rec Y.1540： Internet protocol data communication serviceIP packet transfer and availability performance parameters [EB/OL]，https：//www.itu.int/rec/TRECY.1540/en.

[31]PAXSON V，AIMES G，MAHDAVI J，et al.RFC 2330 ：Framework for IP performance metrics [EB/OL].1998.https：//tools.ietf.org/html/rfc2330.

[32]ITUT： Definition of quality of experience （QoE）.International Telecommunication Union，Liaison Statement，Ref.： TD 109rev2（PLEN/12），2007

[33]林闖，胡杰，孔祥震.用戶體驗質量（QoE）的模型與評價方法綜述[J].計算機學報，2012，35（1），1-15endprint