高能物理網(wǎng)格環(huán)境網(wǎng)絡(luò)性能監(jiān)測(cè)與優(yōu)化技術(shù)研究

孫智慧，齊法制

中國(guó)科學(xué)院高能物理研究所，北京 100049

定速率的傳輸[1]。如何使用IPv6 網(wǎng)絡(luò)服務(wù)于高能物理實(shí)驗(yàn)數(shù)據(jù)的共享，如何實(shí)現(xiàn)面向高能物理合作單位之間高能物理數(shù)據(jù)在IPv4 及IPv6 網(wǎng)絡(luò)鏈路的靈活切換是本文的一項(xiàng)重點(diǎn)工作。本文提出一種面向高能物理網(wǎng)格環(huán)境網(wǎng)絡(luò)監(jiān)測(cè)及優(yōu)化的方案，采用面向服務(wù)的網(wǎng)絡(luò)性能監(jiān)控框架（perfSONAR），部署于高能物理網(wǎng)格環(huán)境的各個(gè)站點(diǎn)中，監(jiān)測(cè)網(wǎng)絡(luò)性能狀況，并基于虛擬網(wǎng)絡(luò)技術(shù)構(gòu)建面向高能物理數(shù)據(jù)傳輸?shù)腎Pv4 及IPv6 虛擬專用網(wǎng)絡(luò)，通過(guò)監(jiān)測(cè)高能物理網(wǎng)格環(huán)境中各節(jié)點(diǎn)的網(wǎng)絡(luò)性能，優(yōu)化高能物理數(shù)據(jù)傳輸路徑的選擇，提升廣域網(wǎng)數(shù)據(jù)傳輸效率，保證高能物理傳輸?shù)目煽啃?，為高能物理?shù)據(jù)分析和處理提供良好的網(wǎng)絡(luò)支撐環(huán)境。

1 面向高能物理網(wǎng)格環(huán)境的網(wǎng)絡(luò)測(cè)量

網(wǎng)格技術(shù)是將全球地理上分散的計(jì)算、存儲(chǔ)資源通過(guò)網(wǎng)絡(luò)有機(jī)的整合起來(lái)，協(xié)同工作，為大型科學(xué)實(shí)驗(yàn)研究提供計(jì)算支持，以便完成單個(gè)集群無(wú)法實(shí)現(xiàn)的大規(guī)模計(jì)算任務(wù)[2]。高能物理網(wǎng)格環(huán)境是利用網(wǎng)格技術(shù)把面向高能物理實(shí)驗(yàn)分散的計(jì)算、存儲(chǔ)資源有機(jī)的整合起來(lái)，支持面向高能物理大型實(shí)驗(yàn)的數(shù)據(jù)處理、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)共享等服務(wù)。目前，全球最大的網(wǎng)格系統(tǒng)是有歐洲核子中心（CERN）主導(dǎo)的全球高能物理網(wǎng)格WLCG (Worldwide LHC Computing Grid)系統(tǒng)[3]，WLCG 將全球超過(guò)40 個(gè)國(guó)家和地區(qū)的 150 多個(gè)研究機(jī)構(gòu)聯(lián)合起來(lái)，整合超過(guò)50 萬(wàn)顆 CPU 的計(jì)算資源和超過(guò)500PB 的存儲(chǔ)資源。高能物理研究所計(jì)算中心于2001年加入WLCG，并建成國(guó)內(nèi)最大的高能物理計(jì)算網(wǎng)格平臺(tái)。當(dāng)前高能

引 言

近年來(lái)隨著科研活動(dòng)網(wǎng)絡(luò)化的趨勢(shì)越來(lái)越明顯，高速、高性能科研計(jì)算網(wǎng)絡(luò)成為科研項(xiàng)目必須的基礎(chǔ)設(shè)施，基于網(wǎng)絡(luò)進(jìn)行科研項(xiàng)目或科學(xué)實(shí)驗(yàn)的協(xié)同研究已成為一種必要的科研手段。尤其在高能物理領(lǐng)域，高能物理實(shí)驗(yàn)的開展依賴于大型科學(xué)實(shí)驗(yàn)裝置，如北京正負(fù)電子對(duì)撞機(jī)（BEPCII）、中國(guó)散裂中子源（CSNS）、歐洲核子中心大型強(qiáng)子對(duì)撞機(jī)（LHC）、美國(guó)散裂中子源（SNS）、德國(guó)電子同步加速器（DESY）、日本質(zhì)子同步加速器（J-PARC）等，這些大型科學(xué)實(shí)驗(yàn)裝置分布于不同的國(guó)家或區(qū)域，并且實(shí)驗(yàn)的參與者也來(lái)自不同的國(guó)家或區(qū)域，因此跨地區(qū)、跨區(qū)域的高能物理科研活動(dòng)成為一種趨勢(shì)，需要與之相匹配的網(wǎng)絡(luò)環(huán)境的支撐；另一方面這些大型科學(xué)實(shí)驗(yàn)裝置產(chǎn)生大量的實(shí)驗(yàn)數(shù)據(jù)，如LHC 每年將產(chǎn)生30PB 的實(shí)驗(yàn)數(shù)據(jù)，BEPCII 累計(jì)將產(chǎn)生5PB 原始數(shù)據(jù)，中國(guó)散裂中子源每年約產(chǎn)生數(shù)百TB的原始數(shù)據(jù)，這些高能物理實(shí)驗(yàn)數(shù)據(jù)需要傳輸、共享到各個(gè)高能物理合作單位之間，以實(shí)現(xiàn)最終物理分析的目標(biāo)，大批量高能物理實(shí)驗(yàn)數(shù)據(jù)的高速、穩(wěn)定傳輸是高能物理實(shí)驗(yàn)開展的前提，并直接影響到高能物理實(shí)驗(yàn)數(shù)據(jù)分析工作的進(jìn)程和最終結(jié)果，因此對(duì)高能物理合作單位之間高能物理實(shí)驗(yàn)數(shù)據(jù)共享網(wǎng)絡(luò)的網(wǎng)絡(luò)性能實(shí)時(shí)監(jiān)測(cè)與分析的研究是必要的。

在現(xiàn)有的網(wǎng)絡(luò)基礎(chǔ)環(huán)境中，國(guó)內(nèi)高能物理網(wǎng)格環(huán)境都已支持IPv4 及IPv6 網(wǎng)絡(luò)，在IPv4 網(wǎng)絡(luò)鏈路資源出現(xiàn)不足的情況下，跨域的網(wǎng)絡(luò)傳輸無(wú)法實(shí)現(xiàn)網(wǎng)絡(luò)流量的快速、動(dòng)態(tài)調(diào)整，無(wú)法滿足高能物理數(shù)據(jù)對(duì)網(wǎng)絡(luò)帶寬的需求，難以保證關(guān)鍵實(shí)驗(yàn)數(shù)據(jù)以恒所計(jì)算中心正在主導(dǎo)面向國(guó)內(nèi)高能物理合作單位之間建立國(guó)內(nèi)高能物理網(wǎng)格平臺(tái)計(jì)劃，目前已有山東大學(xué)、上海交通大學(xué)、華中師范大學(xué)、中國(guó)科學(xué)與技術(shù)大學(xué)等單位加入，因此對(duì)國(guó)內(nèi)高能物理網(wǎng)格環(huán)境中各個(gè)合作單位之間的網(wǎng)絡(luò)性能測(cè)量及評(píng)估是必要的。

1.1 網(wǎng)絡(luò)測(cè)量技術(shù)

網(wǎng)絡(luò)測(cè)量（Network Measurement）是通過(guò)一定的技術(shù)和方法，并使用軟件和硬件工具對(duì)網(wǎng)絡(luò)中的節(jié)點(diǎn)、鏈路、指標(biāo)參數(shù)進(jìn)行測(cè)量，分析與整理測(cè)量數(shù)據(jù)，得到網(wǎng)絡(luò)結(jié)構(gòu)、性能指標(biāo)及運(yùn)行狀態(tài)的一系列活動(dòng)總和。網(wǎng)絡(luò)測(cè)量為網(wǎng)絡(luò)行為學(xué)的研究提供重要的理論依據(jù)和準(zhǔn)確的驗(yàn)證平臺(tái)，是對(duì)理論模型進(jìn)行驗(yàn)證與修正的重要基準(zhǔn)；是檢測(cè)網(wǎng)絡(luò)擁塞狀況、定位網(wǎng)絡(luò)性能瓶頸的關(guān)鍵途徑；是建立網(wǎng)絡(luò)安全防范機(jī)制，保證網(wǎng)絡(luò)安全、穩(wěn)定地運(yùn)行的前 提[4]。網(wǎng)絡(luò)測(cè)量按測(cè)量的對(duì)象不同，可分為網(wǎng)絡(luò)拓?fù)錅y(cè)量、網(wǎng)絡(luò)性能測(cè)量和網(wǎng)絡(luò)流量測(cè)量。其中對(duì)網(wǎng)絡(luò)性能的研究最為集中也最為廣泛，網(wǎng)絡(luò)性能測(cè)量按獲取測(cè)量報(bào)文方式的不同，又分為主動(dòng)網(wǎng)絡(luò)性能測(cè)量（Active Measurement）和被動(dòng)網(wǎng)絡(luò)性能測(cè)量（Passive Measurement）[5]。

主動(dòng)網(wǎng)絡(luò)性能測(cè)量是通過(guò)主動(dòng)構(gòu)造各種結(jié)構(gòu)的探測(cè)報(bào)文序列，發(fā)送到被測(cè)目標(biāo)網(wǎng)絡(luò)中，通過(guò)被測(cè)目標(biāo)網(wǎng)絡(luò)的反饋信息或者探測(cè)報(bào)文傳輸經(jīng)過(guò)目標(biāo)網(wǎng)絡(luò)后攜帶的目標(biāo)網(wǎng)絡(luò)信息來(lái)推測(cè)網(wǎng)絡(luò)性能[6]。主動(dòng)網(wǎng)絡(luò)性能測(cè)量常用的工具有Ping、Traceroute、Pathload、netperf、iperf 等。文獻(xiàn)[7]提出了一種基于蒙特卡洛隨機(jī)抽樣的思想探測(cè)理論，該方法采用隨機(jī)發(fā)送單個(gè)小探測(cè)報(bào)文計(jì)算整條路徑的可用帶寬、鏈路容量及空閑率，進(jìn)而分析得到各路由節(jié)點(diǎn)上的流量變化。 文獻(xiàn)[8]提出了一種易于部署的用戶空間主動(dòng)測(cè)量框架（FlowTrace），該框架利用應(yīng)用程序TCP 流進(jìn)行網(wǎng)絡(luò)帶寬測(cè)量從而定位帶寬瓶頸，并且測(cè)量開銷較小。文獻(xiàn)[9-11]提出一種基于軟件定義網(wǎng)絡(luò)的主動(dòng)發(fā)送探測(cè)包的方式來(lái)測(cè)量網(wǎng)絡(luò)鏈路延遲，且文獻(xiàn)[11]的方法及其設(shè)計(jì)的軟件OpenNetMon 也支持對(duì)可用帶寬及丟包率的測(cè)量。

被動(dòng)網(wǎng)絡(luò)性能測(cè)量技術(shù)是通過(guò)抽取或復(fù)制網(wǎng)絡(luò)真實(shí)流量數(shù)據(jù)，并按照不同粒度水平記錄和處理，獲取網(wǎng)絡(luò)性能數(shù)據(jù)。被動(dòng)網(wǎng)絡(luò)性能測(cè)量技術(shù)可以記錄測(cè)量節(jié)點(diǎn)最完整的信息，包括從物理層一直到應(yīng)用層的協(xié)議數(shù)據(jù),可以快速地檢測(cè)到網(wǎng)絡(luò)錯(cuò)誤和網(wǎng)絡(luò)失效，了解網(wǎng)絡(luò)的運(yùn)行狀況。被動(dòng)網(wǎng)絡(luò)性能測(cè)量工具和技術(shù)主要有Sniffer（嗅探器）、Wireshark、WinCap、Network General、SNOR 等。文 獻(xiàn)[12]提出了一種基于對(duì)象和應(yīng)用的流量特征統(tǒng)計(jì)描述的方法，周期性地導(dǎo)出該信息來(lái)描述鏈路流量特征，減少了傳輸和存儲(chǔ)的數(shù)據(jù)量并擁有更高效的存儲(chǔ)組織查詢分析。文獻(xiàn)[13]提出了一種基于支持向量機(jī)的流量分類方法，利用非線性變換和結(jié)構(gòu)風(fēng)險(xiǎn)最小化原則將流量分類問(wèn)題轉(zhuǎn)化為二次尋優(yōu)問(wèn)題，具有良好的分類準(zhǔn)確率和穩(wěn)定性。文獻(xiàn)[14]提出了一種提取大流的算法FEFS，通過(guò)在線識(shí)別和淘汰小流，把大流信息保存在有限的高速存儲(chǔ)空間中，從而快速提取大流。文獻(xiàn)[15]提出一種基于自適應(yīng)流抽樣的測(cè)量方法,通過(guò)一個(gè)簡(jiǎn)單、分組開銷較小的數(shù)據(jù)結(jié)構(gòu)來(lái)獲取網(wǎng)絡(luò)性能。文獻(xiàn)[16]提出了 Smart Selection Sampling(S3 )方法,通過(guò)利用流長(zhǎng)分布信息選擇合適的抽樣函數(shù),能夠調(diào)整抽樣函數(shù)，獲得更高的測(cè)量精度。文獻(xiàn)[17-18]提出了基于SDN 網(wǎng)絡(luò)架構(gòu)的網(wǎng)絡(luò)可用帶寬被動(dòng)測(cè)量方法，但這種方法測(cè)量結(jié)果的準(zhǔn)確性受時(shí)間估計(jì)的影響較大。

采用主動(dòng)網(wǎng)絡(luò)性測(cè)量方式能夠快速地理解端到端的路徑，并且不需要部署到互聯(lián)網(wǎng)的核心設(shè)備，無(wú)需涉及用戶隱私數(shù)據(jù)，部署方便、成本較小，但主動(dòng)測(cè)量需要向網(wǎng)絡(luò)中注入流量，增加了被測(cè)網(wǎng)絡(luò)負(fù)擔(dān)。采用被動(dòng)網(wǎng)絡(luò)性能測(cè)量方式可以不需要向網(wǎng)絡(luò)發(fā)送探測(cè)數(shù)據(jù)包，不增加和修改通過(guò)網(wǎng)絡(luò)的數(shù)據(jù)負(fù)載，因此對(duì)網(wǎng)絡(luò)的行為沒(méi)有影響，但被動(dòng)網(wǎng)絡(luò)性能測(cè)量難以獲得對(duì)網(wǎng)絡(luò)的整體理解。文獻(xiàn)[19-20]采用主被動(dòng)結(jié)合的方式進(jìn)行網(wǎng)絡(luò)性能的測(cè)量，這種方式綜合被動(dòng)測(cè)量和主動(dòng)測(cè)量技術(shù)的優(yōu)缺點(diǎn)，可用合理控制減少對(duì)網(wǎng)絡(luò)的影響，提高測(cè)量的準(zhǔn)確性?？鐝V域網(wǎng)的網(wǎng)絡(luò)準(zhǔn)確測(cè)量一直是網(wǎng)絡(luò)測(cè)量的難點(diǎn)問(wèn)題，廣域網(wǎng)上的網(wǎng)絡(luò)設(shè)備可能分屬不同的運(yùn)營(yíng)商和機(jī)構(gòu)，其網(wǎng)絡(luò)狀況也在不斷的發(fā)生變化，測(cè)量結(jié)果常常受到時(shí)鐘偏差、路徑是否一致等方面因素影響。本研究的目標(biāo)是通過(guò)對(duì)高能物理網(wǎng)格環(huán)境的網(wǎng)絡(luò)性能測(cè)量，建立一個(gè)全局的網(wǎng)絡(luò)性能視圖，從而更改的優(yōu)化和調(diào)整高能物理網(wǎng)格環(huán)境數(shù)據(jù)共享路徑，以期提升網(wǎng)絡(luò)共享效率。采用被動(dòng)網(wǎng)絡(luò)測(cè)量方式難以得到對(duì)高能物理網(wǎng)格環(huán)境整體性能的理解，因此本研究采用主動(dòng)網(wǎng)絡(luò)性能測(cè)量方式，通過(guò)在高能物理合作單位之間部署網(wǎng)絡(luò)測(cè)量探針，獲取高能物理合作單位之間網(wǎng)絡(luò)性能參數(shù)，記錄數(shù)據(jù)傳輸網(wǎng)絡(luò)的網(wǎng)絡(luò)路由。

1.2 基于perfSONAR 的網(wǎng)絡(luò)測(cè)量

perfSONAR(performance service-oriented network monitoring architecture)，是一個(gè)面向服務(wù)的網(wǎng)絡(luò)性能監(jiān)控框架，它是由美國(guó)能源科學(xué)網(wǎng)絡(luò)（ESnet），GéANT，Internet2 和巴西國(guó)家教育與研究網(wǎng)絡(luò)（RNP）共同發(fā)起的，旨在解決跨多域網(wǎng)絡(luò)的路徑上的端到端性能問(wèn)題[21]，主要面向歐洲核子中心大型強(qiáng)子對(duì)撞機(jī)實(shí)驗(yàn)（LHC）網(wǎng)格環(huán)境提供網(wǎng)絡(luò)測(cè)量和監(jiān)控工具包。perfSONAR 架構(gòu)中集成ping、traceroute、tracepath、iperf、iperf3、nuttcp 等網(wǎng)絡(luò)測(cè)量工具，并對(duì)這些測(cè)量工具進(jìn)行封裝，實(shí)現(xiàn)對(duì)被測(cè)網(wǎng)絡(luò)的網(wǎng)絡(luò)端到端的可用帶寬、端到端延遲、端到端的丟包率以及連接穩(wěn)定性及轉(zhuǎn)發(fā)路徑等測(cè)量，并將其測(cè)量結(jié)果存檔，提供查詢界面以方便檢索測(cè)量結(jié)果。截止2020年2月全球300 多個(gè)頂級(jí)域和1000 多個(gè)組織的2000 多個(gè)注冊(cè)主機(jī)上部署了perfSONAR。

基于perfSONAR 對(duì)網(wǎng)絡(luò)可用帶寬、延遲及丟包率測(cè)量的良好集成，本文采用perfSONAR 架構(gòu)進(jìn)行面向高能物理網(wǎng)格環(huán)境的網(wǎng)絡(luò)性能測(cè)量，通過(guò)在高能物理合作單位之間部署perfSONAR 測(cè)量探針，主動(dòng)發(fā)送探測(cè)包的方式獲取高能物理網(wǎng)格環(huán)境網(wǎng)絡(luò)性能參數(shù)，如延遲、丟包、可用帶寬等。為方便說(shuō)明，如圖1 所示，在中國(guó)科學(xué)院高能物理研究所（IHEP）、山東大學(xué)（SDU）、上海交通大學(xué)（SJTU）、華中師范大學(xué)（CCNU）四個(gè)點(diǎn)部署perfSONAR 網(wǎng)絡(luò)測(cè)量探針，通過(guò)端到端的網(wǎng)絡(luò)配置，建立Full-Mesh 的IPv4 及IPv6 網(wǎng)絡(luò)測(cè)量環(huán)境，并通過(guò)網(wǎng)絡(luò)測(cè)量可視化平臺(tái)來(lái)展示四點(diǎn)之間的網(wǎng)絡(luò)測(cè)量結(jié)果。

圖1 網(wǎng)絡(luò)測(cè)量架構(gòu)Fig.1 Network measurement architecture

1.3 網(wǎng)絡(luò)測(cè)量可視化平臺(tái)

在面向高能物理網(wǎng)格環(huán)境中，每個(gè)站點(diǎn)都存在高能物理實(shí)驗(yàn)數(shù)據(jù)交換的可能，因此在部署網(wǎng)絡(luò)測(cè)量探針時(shí)不僅僅是只考慮某一點(diǎn)到其他節(jié)點(diǎn)的網(wǎng)絡(luò)性能狀況，而是要考慮高能物理網(wǎng)格環(huán)境中任意兩個(gè)站點(diǎn)之間的網(wǎng)絡(luò)性能。同時(shí)在部署網(wǎng)絡(luò)測(cè)量探針時(shí)，理論上任意兩點(diǎn)之間的網(wǎng)絡(luò)探針都會(huì)有網(wǎng)絡(luò)測(cè)量數(shù)據(jù)的產(chǎn)生，這些數(shù)據(jù)的展示其實(shí)是一個(gè)二維矩陣的圖。本文采用開源的MaDDash（Monitoring and Debugging Dashboard，監(jiān)控和調(diào)試儀表板）軟件構(gòu)建了網(wǎng)絡(luò)性能可視化展示平臺(tái)，可以對(duì)多個(gè)測(cè)量點(diǎn)之間網(wǎng)絡(luò)性能構(gòu)建一個(gè)可視化的展示矩陣，矩陣的每一點(diǎn)代表橫向與縱向測(cè)量點(diǎn)之間網(wǎng)絡(luò)性能狀況，同時(shí)用不同顏色標(biāo)記出網(wǎng)絡(luò)性能的狀況，支持對(duì)網(wǎng)絡(luò)可用帶寬、網(wǎng)絡(luò)丟包與延遲以及網(wǎng)絡(luò)路徑的可視化展示，可視化矩陣圖展示方式可以更直觀的反映出多個(gè)測(cè)量點(diǎn)之間的網(wǎng)絡(luò)性能狀況。

為更好的說(shuō)明本文搭建的網(wǎng)絡(luò)性能可視化平臺(tái)的效果， 以中國(guó)科學(xué)院高能物理研究所（IHEP）、山東大學(xué)（SDU）、上海交通大學(xué)（SJTU）、華中師范大學(xué)（CCNU）四個(gè)點(diǎn)可用帶寬測(cè)量為例，在以上四個(gè)節(jié)點(diǎn)部署網(wǎng)絡(luò)測(cè)量探針， 其測(cè)試結(jié)果如圖2 所示，為一個(gè)4×4 的矩陣圖，顏色反映可用帶寬的區(qū)間值，通過(guò)此矩陣式可視化展示可以比較直觀的反映出測(cè)量點(diǎn)之間的網(wǎng)絡(luò)性能狀況。

圖2 網(wǎng)絡(luò)性能測(cè)量數(shù)據(jù)矩陣圖Fig.2 Network performance measurement data matrix

2 面向高能物理網(wǎng)格環(huán)境的網(wǎng)絡(luò)測(cè)量

廣域網(wǎng)優(yōu)化技術(shù)可以顯著提升用戶網(wǎng)絡(luò)體驗(yàn)，一直是研究人員和各大網(wǎng)絡(luò)設(shè)備廠商關(guān)注的熱點(diǎn)。廣域網(wǎng)優(yōu)化的途徑主要包括基于數(shù)據(jù)優(yōu)化的廣域網(wǎng)優(yōu)化技術(shù)、基于協(xié)議優(yōu)化的廣域網(wǎng)優(yōu)化技術(shù)以及基于鏈路優(yōu)化的廣域網(wǎng)優(yōu)化技術(shù)。本研究面向高能物理實(shí)驗(yàn)數(shù)據(jù)網(wǎng)格環(huán)境，在不改變物理學(xué)家獲取的物理實(shí)驗(yàn)數(shù)據(jù)以及數(shù)據(jù)傳輸系統(tǒng)的前提下，本文采用鏈路優(yōu)化技術(shù)來(lái)優(yōu)化面向高能物理合作單位之間網(wǎng)絡(luò)性能，通過(guò)構(gòu)建基于SDN 技術(shù)的高能物理合作單位虛擬專用網(wǎng)絡(luò)，調(diào)節(jié)高能物理數(shù)據(jù)傳輸路徑來(lái)提升數(shù)據(jù)傳輸效率。

2.1 面向高能物理虛擬專用網(wǎng)構(gòu)建

本文面向高能物理合作單位之間大批量高能物理實(shí)驗(yàn)數(shù)據(jù)的傳輸需求，同時(shí)需要滿足數(shù)據(jù)傳輸?shù)母呖煽啃院透咝市?，能夠最大限度的利用高能物理合作單位之間現(xiàn)有網(wǎng)絡(luò)鏈路資源。為了更好的利用IPv4、IPv6 鏈路資源，本文的一項(xiàng)工作重點(diǎn)是采用SDN 技術(shù)及虛擬專用網(wǎng)技術(shù)在高能物理合作單位之間構(gòu)建IPv4 及IPv6 虛擬專用網(wǎng)絡(luò)，利用SDN 架構(gòu)統(tǒng)一視圖管理、靈活路徑調(diào)整、自定義網(wǎng)絡(luò)需求等優(yōu)勢(shì)，在高能物理合作單位之間部署SDN 架構(gòu)網(wǎng)絡(luò)，并有統(tǒng)一的控制器進(jìn)行管理。當(dāng)前SDN 技術(shù)在設(shè)備端支持已經(jīng)比較廣泛，大多數(shù)網(wǎng)絡(luò)設(shè)備廠商的網(wǎng)絡(luò)交互設(shè)備基本都支持SDN技術(shù)，尤其是OpenFlow 協(xié)議，且當(dāng)前虛擬專用網(wǎng)（VPN）技術(shù)也有廣泛的應(yīng)用。目前常用的虛擬專用網(wǎng)技術(shù)有二層的隧道協(xié)議PPTP( Point to Point Tunneling Protocol, 點(diǎn)對(duì)點(diǎn)隧道協(xié)議)、L2F( Layer 2 Forwarding, 二層前向轉(zhuǎn)發(fā)協(xié)議)、 L2TP ( Layer 2 Tunneling Protocol, 二層隧道協(xié)議)，三層的隧道協(xié)議IPSec(Internet Protocol Security)、GRE（General Routing Encapsulation）以及應(yīng)用層的SSL（SSH，HTTPS）。本文采用三層GRE 隧道技術(shù)，利用支持GRE 隧道技術(shù)的SDN 交換機(jī)部署于高能物理合作單位之間，通過(guò)GRE 隧道技術(shù)構(gòu)建高能物理合作單位之間IPv4 及IPv6 虛擬專用網(wǎng)絡(luò)，如圖2 所示。通過(guò)IPv4overIPv6 技術(shù)充分利用IPv6 鏈路資源解析基于IPv4 數(shù)據(jù)傳輸系統(tǒng)的IPv4 實(shí)驗(yàn)數(shù)據(jù)，充分利用高能物理合作單位之間IPv4 及IPv6 鏈路資源。

為了更好地說(shuō)明本方案建立的面向高能物理數(shù)據(jù)傳輸?shù)奶摂M專用網(wǎng)絡(luò)，本文在高能物理研究所、山東大學(xué)、上海交通大學(xué)以及華中師范大學(xué)部署支持GRE 協(xié)議的SDN 交換機(jī)，任意兩點(diǎn)之間分別建立IPv4 GRE 隧道及IPv6 GRE 隧道，如圖3 所示，每一點(diǎn)都有6 條路徑與其他三點(diǎn)相連，因此本方案所建立的虛擬專用網(wǎng)絡(luò)是一個(gè)Full-Mesh 的網(wǎng)絡(luò)。在n 個(gè)站點(diǎn)的IPv4 及IPv6 融合的Full-Mesh網(wǎng)絡(luò)中，任意兩點(diǎn)經(jīng)過(guò)k 個(gè)節(jié)點(diǎn)的路徑條數(shù)其實(shí)是一個(gè)從n-2 個(gè)元素中取k 個(gè)點(diǎn)的排列問(wèn)題，路徑條數(shù)為又因每段路徑上都IPv4 網(wǎng)絡(luò)及IPv6 網(wǎng)絡(luò)，故n 個(gè)節(jié)點(diǎn)中任意兩點(diǎn)經(jīng)過(guò)k 個(gè)點(diǎn)的路徑條數(shù)為故得到n 個(gè)節(jié)點(diǎn)的Full-Mesh 網(wǎng)絡(luò)中任意一個(gè)節(jié)點(diǎn)a 到任意一個(gè)節(jié)點(diǎn)b 的全部路徑的計(jì)算公式為：

圖3 虛擬專用網(wǎng)架構(gòu) Fig.3 Virtual private network architecture

對(duì)于Full-Mesh 的網(wǎng)絡(luò)，隨著網(wǎng)絡(luò)中節(jié)點(diǎn)數(shù)目的增加，網(wǎng)絡(luò)中的路徑將以指數(shù)倍數(shù)增加，全網(wǎng)路徑的計(jì)算和管理對(duì)控制器來(lái)說(shuō)有一定的壓力，但在實(shí)際環(huán)境中很難做到對(duì)全網(wǎng)做到Full-Mesh 的連接，通常情況是對(duì)關(guān)鍵節(jié)點(diǎn)進(jìn)行Full-Mesh 連接，面向高能物理網(wǎng)格環(huán)境的鏈路連接核心在高能物理研究所，其實(shí)際節(jié)點(diǎn)數(shù)也是有限的，所以本文的方案在這樣的場(chǎng)景下是適合的。

2.2 基于SDN 的路徑優(yōu)化技術(shù)

SDN（軟件定義網(wǎng)絡(luò)）因其實(shí)現(xiàn)了網(wǎng)絡(luò)控制平面與數(shù)據(jù)轉(zhuǎn)發(fā)平面的分離，實(shí)現(xiàn)邏輯上的集中控制和開放 API 的協(xié)作，在網(wǎng)絡(luò)標(biāo)準(zhǔn)性、開放性、透明性等方面有巨大優(yōu)勢(shì)，能夠?yàn)槟繕?biāo)網(wǎng)絡(luò)建立全局統(tǒng)一的網(wǎng)絡(luò)視圖，方便目標(biāo)網(wǎng)絡(luò)全局的網(wǎng)絡(luò)策略管理以及靈活的路徑調(diào)整等。本文面向高能物理合作單位之間的高能物理實(shí)驗(yàn)數(shù)據(jù)的傳輸性能，在基于SDN 架構(gòu)的網(wǎng)絡(luò)中構(gòu)建高能物理合作單位之間的虛擬專用網(wǎng)，通過(guò)SDN 控制器對(duì)整個(gè)虛擬專用網(wǎng)絡(luò)路徑及路徑性能狀態(tài)的管理，并下發(fā)相應(yīng)的路由流來(lái)完成對(duì)高能物理合作單位之間路徑的切換過(guò)程。本文假定合作單位之間每個(gè)節(jié)點(diǎn)的網(wǎng)絡(luò)交換設(shè)備不對(duì)數(shù)據(jù)轉(zhuǎn)發(fā)性能做限制的情況下，理論上任意相鄰的兩段路徑網(wǎng)絡(luò)性能較好，其路徑疊加以后，網(wǎng)絡(luò)性能也會(huì)較好。本文的方法基于此理論，利用部署在高能物理合作單位之間的網(wǎng)絡(luò)測(cè)量探針測(cè)量的丟包、延遲及可用帶寬等網(wǎng)絡(luò)性能參數(shù)，然后利用提出的路徑選擇算法來(lái)計(jì)算當(dāng)前高能物理合作單位之間的最優(yōu)路徑，并由控制器下發(fā)相應(yīng)的路由流信息，完成高能物理數(shù)據(jù)傳輸?shù)穆酚汕袚Q。本文的路徑選擇算法是利用對(duì)網(wǎng)絡(luò)測(cè)量參數(shù)丟包率、延遲及可用帶寬的加權(quán)值來(lái)計(jì)算，值得注意的是加權(quán)參數(shù)值為一個(gè)可以配置的數(shù)值，可通過(guò)配置界面來(lái)由網(wǎng)絡(luò)管理人員修改和配置。

本文的路徑選擇算法如下：

（1）定義兩點(diǎn)間可用帶寬為ab（available bandwidth），延遲為rtt（round trip time），丟包率為plr（packet loss rate）；

（2）計(jì)算出兩點(diǎn)之間可用帶寬的成本值cost（ab），通過(guò)對(duì)測(cè)量的可用帶寬數(shù)據(jù)按從大到小的順序排列，其排序值為當(dāng)前鏈路可用帶寬的成本值，記作：例如site A 到site B 的可用帶寬為（3）計(jì)算出兩點(diǎn)之間延遲的成本值cost（rtt），通過(guò)對(duì)測(cè)量的延遲數(shù)據(jù)按從小到大的順序排列，其排序值為當(dāng)前鏈路延遲的成本值，記作

（4）計(jì)算出兩點(diǎn)之間丟包率的成本值cost（plr），通過(guò)對(duì)測(cè)量的丟包率數(shù)據(jù)按從小到大的順序排列，其排序值為當(dāng)前鏈路丟包率的成本值，記作

（5）計(jì)算兩點(diǎn)之間路徑的最終成本值cost，cost為可用帶寬、延遲及丟包率的加權(quán)值，記作：例如site A 到site B 的路徑得分為：

（6）最后對(duì)兩點(diǎn)之間可能的所有鏈路的最終成本值進(jìn)行排序，選擇得分最低的為當(dāng)前最優(yōu)路徑。

為了更好的說(shuō)明本文提出的算法，如下圖4 所示，三點(diǎn)site A（記作A）、site B（記作B）、site C（記作C）之間路徑選擇為例，A 到B 之間的路徑有六條，即A-＞B(IPv4 路 徑)、A-＞B(IPv6 路 徑)、A-＞C-＞B(純IPv4 路徑)、A-＞C-＞B(純IPv6 路徑)、A-＞C-＞B(先IPv4 后IPv6 路 徑) 和A-＞C-＞B( 先IPv6 后IPv4路徑)。其中A-＞C-＞B 的成本值為：

圖4 路徑選擇示意圖Fig.4 Path selection diagram

3 測(cè)試結(jié)果

為了說(shuō)明本方案提出的面向高能物理網(wǎng)格環(huán)境中網(wǎng)絡(luò)性能監(jiān)測(cè)與優(yōu)化技術(shù)，分別對(duì)中國(guó)科學(xué)院高能物理研究所（IHEP）、上海交通大學(xué)（SJTU）和山東大學(xué)（SDU）的IPv4 及IPv6 網(wǎng)絡(luò)性能測(cè)量數(shù)據(jù)進(jìn)行分析。其中表 1 為高能物理研究所、上海交通大學(xué)以及山東大學(xué)之間的IPv4 及IPv6 可用帶寬測(cè)試結(jié)果，并對(duì)IPv4 及IPv6 可用帶寬進(jìn)行排序，計(jì)算出的值；表 2 為高能物理研究所、上海交通大學(xué)以及山東大學(xué)之間的IPv4 及IPv6延遲測(cè)試結(jié)果，并對(duì)IPv4 及IPv6 延遲進(jìn)行排序，計(jì)算出的值；表 3 為高能物理研究所、上海交通大學(xué)以及山東大學(xué)之間的IPv4及IPv6 丟包率測(cè)試結(jié)果，并對(duì)IPv4 及IPv6 丟包率進(jìn)行排序，計(jì)算出的值。需要說(shuō)明的是由于廣域網(wǎng)網(wǎng)絡(luò)性能是隨時(shí)段動(dòng)態(tài)變化，因此對(duì)廣域網(wǎng)網(wǎng)絡(luò)性能的測(cè)試也只是在一段時(shí)間內(nèi)反映廣域網(wǎng)網(wǎng)絡(luò)的性能。本文中表 1、表 2、表 3 給出的數(shù)據(jù)是在同一時(shí)段進(jìn)行測(cè)試的結(jié)果，并取 10 次測(cè)試結(jié)果的平均值，這樣能很好地降低測(cè)試結(jié)果的誤差，比較真實(shí)地反映測(cè)試時(shí)間段廣域網(wǎng)網(wǎng)絡(luò)性能；同時(shí)表 1、表 2、表3 給出數(shù)據(jù)的目的是對(duì)比 IPv4、IPv6 以及本文提出網(wǎng)絡(luò)方案的性能，因此在同一時(shí)段做的測(cè)試數(shù)據(jù)完全能夠?qū)Ρ疚姆桨妇W(wǎng)絡(luò)性能進(jìn)行評(píng)估和說(shuō)明，因此本文給出某一時(shí)段的測(cè)試數(shù)據(jù)對(duì)本方案的評(píng)測(cè)是有效的且有意義的。

表1 IHEP、SJTU、SDU 之間可用帶寬測(cè)量結(jié)果（Mb.s-1）Table 1 the measurement result of Available bandwidth between IHEP, SJTU and SDU （Mb.s-1）

表2 IHEP、SJTU、SDU 之間延遲測(cè)試結(jié)果（ms）Table 2 The measurement result of latency between IHEP, SJTU and SDU（ms）

表3 IHEP、SJTU、SDU 直接丟包率測(cè)試結(jié)果(10-5)Table 3 The measurement result of packet loss rate between IHEP, SJTU and SDU （10-5）

基于對(duì)網(wǎng)絡(luò)業(yè)務(wù)場(chǎng)景的不同，所關(guān)注網(wǎng)絡(luò)性參數(shù)也不同的原則，本文面向高能物理網(wǎng)格環(huán)境中高能物理實(shí)驗(yàn)數(shù)據(jù)的共享需求，在對(duì)網(wǎng)絡(luò)性能方面比較關(guān)注，較多關(guān)注丟包及可用帶寬，因此丟包率及可用帶寬的權(quán)值會(huì)大一些，在及的前提下，只能取0.1 或別為可用帶寬、延遲及丟包率的權(quán)值，并取保留一位小數(shù)）。由于網(wǎng)絡(luò)延遲測(cè)量結(jié)果較恒定且高能物理合作單位之間網(wǎng)絡(luò)延遲差別并不大，因此本文選擇同理本文更關(guān)注可用帶寬來(lái)提升面向高能物理合作單位之間網(wǎng)絡(luò)傳輸性能，因此本文取

表4 為以高能物理研究所到山東大學(xué)為例，基于本文提出的方法按照路徑cost值疊加原理得到高能物理研究所到山東大學(xué)所有路徑的cost值，其中cost1的為可用帶寬的權(quán)值為延遲的權(quán)值為丟包率的權(quán)值為的計(jì)算結(jié)果為可用帶寬的權(quán)值為延遲的權(quán)值為丟包率的權(quán)值為的計(jì)算結(jié)果；cost3為可用帶寬的權(quán)值為延遲的權(quán)值為丟包率的權(quán)值為的計(jì)算結(jié)果。從計(jì)算結(jié)果來(lái)看，任意兩點(diǎn)之間的IPv6 路徑基本好于IPv4 路徑。基于對(duì)cost1、cost2、cost3的結(jié)果對(duì)比，算法的結(jié)果都顯示高能物理研究所到山東大學(xué)的網(wǎng)絡(luò)最優(yōu)路徑為高能所到山東大學(xué)的IPv6 鏈路，其次為高能所到山東大學(xué)的IPv4 鏈路。而且在算法結(jié)果中，高能所到山東大學(xué)途徑上海交通大學(xué)的鏈路中，純IPv6 鏈路要好于混合鏈路以及純IPv4 鏈路，另外混合鏈路，不論是先IPv4 后IPv6 還是先IPv6 后IPv4 都好于純IPv4鏈路。實(shí)際環(huán)境中也是IPv6 鏈路的網(wǎng)絡(luò)性能好于IPv4 鏈路，本文的實(shí)驗(yàn)結(jié)果表明本項(xiàng)目提出的基于權(quán)值的網(wǎng)絡(luò)性能參數(shù)優(yōu)化的最優(yōu)路徑選擇算法與實(shí)際網(wǎng)絡(luò)環(huán)境想接近，能夠選擇高能物理網(wǎng)格環(huán)境中任意兩點(diǎn)的最優(yōu)路徑，從而提升網(wǎng)絡(luò)傳輸效率。

表4 IHEP 到SDU 所有路徑cost 值Table 4 Cost value of all paths from IHEP to SDU

4 結(jié)束語(yǔ)

隨著國(guó)家級(jí)大科學(xué)工程項(xiàng)目的不斷增多，尤其以高能物理為代表的大科學(xué)工程海量實(shí)驗(yàn)數(shù)據(jù)的跨地域傳輸及共享，對(duì)現(xiàn)有IPv4 為主的科學(xué)數(shù)據(jù)共享網(wǎng)絡(luò)鏈路資源造成極大的挑戰(zhàn)。如何協(xié)同已有的IPv4 及IPv6 鏈路資源來(lái)服務(wù)于科研數(shù)據(jù)的共享是一個(gè)值得思考的問(wèn)題。本文面向高能物理網(wǎng)格環(huán)境提出一種網(wǎng)絡(luò)監(jiān)測(cè)及優(yōu)化的方案，基于對(duì)高能物理網(wǎng)格環(huán)境的網(wǎng)絡(luò)性能監(jiān)測(cè)數(shù)據(jù)，優(yōu)化高能物理數(shù)據(jù)傳輸路徑的選擇，提升面向高能物理網(wǎng)格環(huán)境的高能物理實(shí)驗(yàn)數(shù)據(jù)的傳輸效率，本文的方法也具有普適性，可以應(yīng)用到其他領(lǐng)域。在與基于數(shù)據(jù)優(yōu)化的網(wǎng)絡(luò)優(yōu)化技術(shù)以及基于協(xié)議優(yōu)化的網(wǎng)絡(luò)優(yōu)化技術(shù)相比，本文提出的網(wǎng)絡(luò)優(yōu)化技術(shù)的優(yōu)勢(shì)是不需要設(shè)備特殊功能支持（如數(shù)據(jù)壓縮、數(shù)據(jù)去重等），不需要對(duì)傳輸協(xié)議及傳輸系統(tǒng)做修改。本文的另一個(gè)重要工作是基于SDN 技術(shù)架構(gòu)，提出了一種網(wǎng)絡(luò)路徑優(yōu)化及選擇算法，本文的算法是基于節(jié)點(diǎn)間交換設(shè)備不做任何轉(zhuǎn)發(fā)限制的前提下，基于本文提出的權(quán)值的路徑疊加優(yōu)化算法在一定程度上提升了路徑的傳輸效率，后續(xù)還將對(duì)基于流的網(wǎng)絡(luò)性能測(cè)量以及對(duì)路徑選擇算法進(jìn)行非線性優(yōu)化來(lái)獲取更優(yōu)的網(wǎng)絡(luò)性能測(cè)量結(jié)果及路徑優(yōu)化與選擇方案。

誠(chéng)然，在當(dāng)前國(guó)內(nèi)高能物理網(wǎng)格環(huán)境中，本文實(shí)現(xiàn)對(duì)IPv4 和IPv6 網(wǎng)絡(luò)鏈路測(cè)量數(shù)據(jù)進(jìn)行數(shù)據(jù)共享路徑的選擇和優(yōu)化，但如何開展基于IPv4 及IPv6 路徑并行數(shù)據(jù)共享是本文下一步工作內(nèi)容，屆時(shí)還需要添加更多的節(jié)點(diǎn)及優(yōu)化本文的路徑選擇及優(yōu)化算法來(lái)實(shí)現(xiàn)高能物理網(wǎng)格環(huán)境中任意節(jié)點(diǎn)之間的高可靠、高效率高能物理科學(xué)實(shí)驗(yàn)數(shù)據(jù)的傳輸。

利益沖突聲明

所有作者聲明不存在利益沖突關(guān)系。