多系統(tǒng)協(xié)同的網(wǎng)絡(luò)負(fù)載均衡方法研究

吳家順　高靜

摘 要：校園網(wǎng)有多個(gè)出口時(shí)，均衡使用各出口帶寬是高校網(wǎng)絡(luò)信息部門(mén)關(guān)注的問(wèn)題，而由于網(wǎng)絡(luò)的互聯(lián)互通，高校在采用均衡線(xiàn)路方法的同時(shí)往往會(huì)降低用戶(hù)上網(wǎng)體驗(yàn)。針對(duì)這種情況，作者提出多系統(tǒng)協(xié)同的網(wǎng)絡(luò)負(fù)載均衡方法，通過(guò)分析校園網(wǎng)體系結(jié)構(gòu)、用戶(hù)群體分布以及網(wǎng)絡(luò)流量構(gòu)成，調(diào)整核心設(shè)備配置、規(guī)劃策略路由實(shí)現(xiàn)目的地址選址和應(yīng)用選址相結(jié)合的鏈路負(fù)載均衡，并設(shè)計(jì)基于用戶(hù)行為的DNS資源調(diào)度算法引導(dǎo)HTTP流量，解決負(fù)載均衡下帶來(lái)的網(wǎng)絡(luò)抖動(dòng)問(wèn)題，通過(guò)具體高校校園網(wǎng)環(huán)境測(cè)試，實(shí)驗(yàn)結(jié)果表明，原流量低的出口線(xiàn)路得到了有效提升，整體線(xiàn)路得到均衡，并擁有良好的用戶(hù)體驗(yàn)。

關(guān)鍵詞：網(wǎng)絡(luò)負(fù)載均衡；應(yīng)用協(xié)議識(shí)別；用戶(hù)行為分析；流量控制；DNS

中圖分類(lèi)號(hào)：TP393.1 文獻(xiàn)標(biāo)志碼：A 文章編號(hào)：1673-8454（2016）04-0085-05

隨著無(wú)線(xiàn)校園網(wǎng)的迅速普及，師生員工對(duì)網(wǎng)絡(luò)的依賴(lài)性越來(lái)越高，對(duì)高速、穩(wěn)定的網(wǎng)絡(luò)需求越發(fā)迫切，為了解決校內(nèi)外帶寬瓶頸問(wèn)題，高校也逐漸將校園網(wǎng)主干線(xiàn)路升級(jí)到萬(wàn)兆，并接入不同運(yùn)營(yíng)商的線(xiàn)路來(lái)實(shí)現(xiàn)網(wǎng)絡(luò)出口的擴(kuò)容。

在實(shí)際應(yīng)用中，多網(wǎng)絡(luò)出口高校的各條線(xiàn)路流量并不能達(dá)到預(yù)期中的效果，往往流量集中于一條線(xiàn)路，造成過(guò)載，而其余線(xiàn)路處于空閑狀態(tài)，使用網(wǎng)絡(luò)負(fù)載均衡設(shè)備雖然可以解決過(guò)載與空閑的問(wèn)題[1-7]，讓線(xiàn)路看上去均衡，但很容易失去多出口線(xiàn)路帶來(lái)的最大優(yōu)勢(shì)，發(fā)往歸屬于某運(yùn)營(yíng)商的數(shù)據(jù)包受負(fù)載均衡影響，需要從其他運(yùn)營(yíng)商的線(xiàn)路出去，經(jīng)過(guò)繞行，才能到達(dá)目的地，用戶(hù)的上網(wǎng)體驗(yàn)感會(huì)明顯下降。

本文提出了一種基于多系統(tǒng)協(xié)同的網(wǎng)絡(luò)負(fù)載均衡方法，在解決線(xiàn)路負(fù)載均衡的同時(shí)，保障網(wǎng)絡(luò)質(zhì)量不受影響。

一、問(wèn)題描述與分析

多出口是高校普遍采用的網(wǎng)絡(luò)策略，此策略具備優(yōu)點(diǎn)的同時(shí)，集中性的問(wèn)題也較多，在絕大多數(shù)高校校園網(wǎng)中比較普遍。現(xiàn)以某高校為例進(jìn)行典型性分析。某高校目前校園網(wǎng)有電信（1G）、聯(lián)通（100M+200M）、教育網(wǎng)（1G）、移動(dòng)（1G）以及長(zhǎng)城寬帶（1G，只提供視頻鏡像服務(wù)）出口，總可用帶寬為4.3G，校園網(wǎng)采用扁平化三層架構(gòu)部署[8 -9]，有線(xiàn)用戶(hù)使用PPPOE撥號(hào)認(rèn)證，無(wú)線(xiàn)用戶(hù)使用802.1x準(zhǔn)入認(rèn)證和Portal準(zhǔn)出認(rèn)證。

這是一個(gè)典型且復(fù)雜的多出口網(wǎng)絡(luò)，涵蓋了大多數(shù)的高校出口模型。從網(wǎng)管系統(tǒng)中獲取到各線(xiàn)路的負(fù)載情況，如表 1所示，優(yōu)質(zhì)帶寬的快速消耗導(dǎo)致校園網(wǎng)不僅在晚高峰期近乎無(wú)法使用，白天工作時(shí)間也不斷出現(xiàn)網(wǎng)頁(yè)打開(kāi)緩慢的問(wèn)題。

顯而易見(jiàn)，電信、聯(lián)通線(xiàn)路已經(jīng)滿(mǎn)負(fù)載在運(yùn)行，而其他線(xiàn)路，在不同的時(shí)間段，流量都較小且變化小，做出的貢獻(xiàn)值也偏低。

為了緩解校園網(wǎng)目前所遇到的問(wèn)題，高校會(huì)采用智能流控設(shè)備對(duì)流量進(jìn)行控制，保障Web應(yīng)用流量，限制單用戶(hù)并發(fā)數(shù)和帶寬，策略實(shí)施后，線(xiàn)路負(fù)載如表 2所示。

從數(shù)據(jù)上看，電信、聯(lián)通線(xiàn)路負(fù)載得到了明顯的降低，其他線(xiàn)路未見(jiàn)明顯變化，雖然在一定程度改善了網(wǎng)絡(luò)擁堵情況，在高峰期能保障網(wǎng)頁(yè)的正常瀏覽，但仍有大量線(xiàn)路資源處于空閑狀態(tài)。

對(duì)于校園網(wǎng)用戶(hù)，體驗(yàn)網(wǎng)絡(luò)的質(zhì)量可以從兩個(gè)角度分析：①上網(wǎng)、游戲、視頻流暢不卡，即帶寬有保障，鏈路穩(wěn)定；②下載速度快，即能充分享受帶寬，當(dāng)這兩個(gè)需求疊加在一起時(shí)，對(duì)帶寬有限的校園網(wǎng)而言，形成矛盾關(guān)系。分析并總結(jié)各個(gè)運(yùn)營(yíng)商提供的線(xiàn)路以及目前狀態(tài)，如表 3所示。

從表3中可見(jiàn)，大量的帶寬并沒(méi)有被有效利用起來(lái)，進(jìn)一步檢查校內(nèi)權(quán)威DNS的配置信息，當(dāng)前校內(nèi)DNS配置為向教育網(wǎng)遞歸，這是高校一般的配置，而教育網(wǎng)返回的域名對(duì)應(yīng)的地址以屬于聯(lián)通、電信居多，從而也得出降低擁塞線(xiàn)路需要解決DNS遞歸解析問(wèn)題[11 -13]。

從流控設(shè)備中取得應(yīng)用排名信息，如表 4所示，可以發(fā)現(xiàn)P2P流量在網(wǎng)絡(luò)流量中占比最大，結(jié)合表 1數(shù)據(jù)，正是這部分流量消耗了優(yōu)質(zhì)線(xiàn)路的寶貴帶寬，造成用戶(hù)不僅上網(wǎng)不穩(wěn)定，而且下載緩慢，互相爭(zhēng)搶有限的優(yōu)質(zhì)帶寬，惡性循環(huán)越發(fā)嚴(yán)重。

表 4也表明，穩(wěn)妥的處理好P2P下載流量，才能恢復(fù)網(wǎng)絡(luò)的暢通，是負(fù)載均衡實(shí)現(xiàn)的先要條件，基于以上分析，本文提出了基于多系統(tǒng)協(xié)同的負(fù)載均衡方法。

二、多系統(tǒng)協(xié)同的負(fù)載均衡方法

通過(guò)上述分析研究，并考慮到現(xiàn)有核心架構(gòu)，通過(guò)三種途徑共同作用來(lái)實(shí)現(xiàn)網(wǎng)絡(luò)負(fù)載均衡，并解決負(fù)載均衡中遇到的網(wǎng)絡(luò)抖動(dòng)問(wèn)題。

1.校園網(wǎng)核心重新部署

核心鏈路升級(jí)改造是為了給負(fù)載均衡的實(shí)現(xiàn)提供必要的硬件支撐。

改造后的核心拓?fù)淙鐖D 1所示，部署方案如下：

（1）部署2臺(tái)萬(wàn)兆防火墻并作為出口路由設(shè)備，防火墻以主備模式部署，在最前端配置一臺(tái)交換機(jī)，劃分VLAN，將各出口線(xiàn)路一分為二，分別接到防火墻，解決網(wǎng)絡(luò)出口穩(wěn)定性問(wèn)題。

（2）核心設(shè)備之間的鏈路由千兆捆綁升級(jí)到萬(wàn)兆互聯(lián)，解決物理層次的瓶頸以及因捆綁而造成的設(shè)備部分功能受限問(wèn)題。

2.系統(tǒng)協(xié)同配置方法

在負(fù)載均衡方法上，整體思路為實(shí)時(shí)應(yīng)用采用目的地址路由，數(shù)據(jù)包不跨運(yùn)營(yíng)商線(xiàn)路；p2p下載、p2p影音采用應(yīng)用協(xié)議路由，指定具體出口線(xiàn)路；DNS劃分不同轉(zhuǎn)發(fā)區(qū)，引導(dǎo)網(wǎng)絡(luò)流量，并解決網(wǎng)絡(luò)抖動(dòng)問(wèn)題。具體配置方法如下所述：

（1）在出口防火墻上面寫(xiě)入靜態(tài)路由，根據(jù)IP目的地址選擇合適的運(yùn)營(yíng)商線(xiàn)路；依據(jù)應(yīng)用識(shí)別的結(jié)果，制定策略路由，將P2P下載、P2P影音的數(shù)據(jù)包按線(xiàn)路負(fù)載引流到教育網(wǎng)出口和移動(dòng)出口。

策略路由配置命令如下：

FireWall_1（M）（config）# pbr-policy cernet

FireWall_1（M）（config-pbr）# match id 5

FireWall_1（M）（config-pbr-match）# nexthop 172.16.255.53 112.25.223.97

Building configuration..

配置命令生效后，查詢(xún)配置結(jié)果如圖 2高亮行所示。

（2）校內(nèi)DNS服務(wù)器的遞歸請(qǐng)求默認(rèn)通過(guò)移動(dòng)線(xiàn)路發(fā)送到移動(dòng)的DNS服務(wù)器進(jìn)行解析；定義多個(gè)DNS轉(zhuǎn)發(fā)區(qū)，教育網(wǎng)域名以通配符識(shí)別方式發(fā)送到教育網(wǎng)DNS解析；視頻站點(diǎn)域名發(fā)送到長(zhǎng)城寬帶DNS服務(wù)器解析；因DNS默認(rèn)遞歸由教育網(wǎng)變更為移動(dòng)造成網(wǎng)絡(luò)抖動(dòng)的域名地址發(fā)送到電信DNS解析，出口線(xiàn)路選擇由防火墻配置的靜態(tài)路由進(jìn)行支持，對(duì)應(yīng)關(guān)系如表 5所示。

（3）修改緩存設(shè)備配置參數(shù)，改進(jìn)主動(dòng)和被動(dòng)緩存觸發(fā)因子，優(yōu)化資源淘汰調(diào)度算法以及服務(wù)對(duì)象，并進(jìn)行集群部署。

（4）流控設(shè)備透明接入到防火墻和核心設(shè)備之間，配置限制單用戶(hù)會(huì)話(huà)數(shù)總量和新建速率，預(yù)防DDOS攻擊等可能對(duì)網(wǎng)絡(luò)設(shè)備造成的性能影響，并根據(jù)需求在設(shè)備上做臨時(shí)性的保障限制策略。

3.DNS資源調(diào)度優(yōu)化算法

當(dāng)DNS返回的IP地址在移動(dòng)地址段中，由于線(xiàn)路質(zhì)量問(wèn)題，訪(fǎng)問(wèn)部分站點(diǎn)會(huì)不穩(wěn)定，即上文所述的網(wǎng)絡(luò)抖動(dòng)，可以通過(guò)用戶(hù)反饋手工搜集這些站點(diǎn)，寫(xiě)入到電信轉(zhuǎn)發(fā)區(qū)，但工作量不僅大而且用戶(hù)評(píng)價(jià)不好。本文提出了基于用戶(hù)行為的DNS資源優(yōu)化調(diào)度算法來(lái)解決這個(gè)問(wèn)題。結(jié)合站點(diǎn)請(qǐng)求解析次數(shù)、在A(yíng)lexa網(wǎng)站中的排名以及是否擁有運(yùn)營(yíng)商鏡像等因子進(jìn)行分析計(jì)算，將滿(mǎn)足要求需要保障的域名解析寫(xiě)入到電信轉(zhuǎn)發(fā)區(qū)中。

算法描述：

定義網(wǎng)站域名集合D，移動(dòng)地址段M，被解析站點(diǎn)域名d，d∈D，域名被請(qǐng)求解析次數(shù)m，在移動(dòng)DNS中解析出來(lái)的地址p。

當(dāng)p∈M，則統(tǒng)計(jì)校園網(wǎng)到地址p的時(shí)延數(shù)據(jù)，并計(jì)算平均時(shí)延t。

定義Δ，表示每一個(gè)域名在當(dāng)前線(xiàn)路需要被調(diào)整的系數(shù)，由網(wǎng)絡(luò)穩(wěn)定性、時(shí)延性以及由歸一化后的請(qǐng)求次數(shù)α計(jì)算所得，Δ值越大，表明越需要進(jìn)行調(diào)整，其中

α=■（1）

Δ=（1+■■（tj-■）2）×■× α （2）

在p∈M的條件下，將域名d發(fā)送到電信DNS進(jìn)行解析，并計(jì)算Δ'，得到電信線(xiàn)路的調(diào)整系數(shù)。

定義λ=Δ-Δ'，λ為二者距離，定義調(diào)整闕值β，β>0，當(dāng)λ>β時(shí)，參考Δ初始值并結(jié)合實(shí)際訪(fǎng)問(wèn)感受，將對(duì)應(yīng)域名遷移到電信保障轉(zhuǎn)發(fā)域中。

三、實(shí)驗(yàn)分析

選取了某個(gè)時(shí)刻的域名請(qǐng)求排行，收集時(shí)延信息，并分別予以計(jì)算Δ和Δ'，如表 6所示。

由實(shí)驗(yàn)數(shù)據(jù)結(jié)合實(shí)際訪(fǎng)問(wèn)網(wǎng)站感受進(jìn)行分類(lèi)，經(jīng)驗(yàn)數(shù)據(jù)表明，當(dāng)網(wǎng)頁(yè)打開(kāi)速度有明顯變化時(shí)，即可考慮將該域名解析進(jìn)行遷移。

通過(guò)多系統(tǒng)間的協(xié)同調(diào)整，在沒(méi)有限速的情況下，目前各出口線(xiàn)路使用狀況與調(diào)整之前對(duì)比如圖3所示，各線(xiàn)路都在較高負(fù)荷中運(yùn)行，視頻服務(wù)出口線(xiàn)路因提供有限服務(wù)，從而流量不會(huì)很高。通過(guò)對(duì)百度貼吧、學(xué)校BBS論壇等信息的觀(guān)測(cè)，校園網(wǎng)用戶(hù)普遍反應(yīng)目前使用校園網(wǎng)進(jìn)行頁(yè)面瀏覽、游戲的質(zhì)量以及下載速度得到了很大的提升，達(dá)到了預(yù)期的網(wǎng)絡(luò)負(fù)載均衡效果。

經(jīng)過(guò)調(diào)整后，校園網(wǎng)下行帶寬利用率得到了明顯提升，如圖 4所示，非高峰期流量已經(jīng)突破調(diào)整前的晚高峰流量。

在出口防火墻上面觀(guān)察，P2P應(yīng)用已經(jīng)從教育網(wǎng)、移動(dòng)線(xiàn)路上分流；電信、聯(lián)通線(xiàn)路上以Http應(yīng)用和其他TCP協(xié)議為主，如表 7所示。

為了驗(yàn)證每個(gè)用戶(hù)在電信、聯(lián)通線(xiàn)路中帶寬占用情況，在流控設(shè)備上進(jìn)行單用戶(hù)帶寬限制測(cè)試，當(dāng)非P2P應(yīng)用的帶寬限制依次設(shè)置為10Mbps、6Mbps、4Mbps時(shí)，發(fā)現(xiàn)電信、聯(lián)通線(xiàn)路下行流量變化不明顯，即單個(gè)用戶(hù)在優(yōu)質(zhì)線(xiàn)路上的帶寬占用率不顯著，而3萬(wàn)多校園網(wǎng)用戶(hù)決定此線(xiàn)路會(huì)在高負(fù)荷下運(yùn)行。

在負(fù)載均衡方法中，將緩存設(shè)備也作為一個(gè)重要的因素予以考慮，策略調(diào)整后緩存設(shè)備也發(fā)揮了明顯的作用。在緩存磁盤(pán)全部格式化清空后，設(shè)備用了約7天左右的時(shí)間進(jìn)行高速緩存，如圖 5所示；穩(wěn)定后，為校園網(wǎng)用戶(hù)提供約300Mbps的流量服務(wù)，進(jìn)一步降低了出口壓力，如圖 6所示。圖 5和圖 6中實(shí)心區(qū)域?yàn)榛卦戳髁?，線(xiàn)條為服務(wù)流量。

實(shí)現(xiàn)高校多出口網(wǎng)絡(luò)的負(fù)載均衡，首先需要知道各學(xué)校網(wǎng)絡(luò)的流量構(gòu)成，比如總體而言，文科院校視頻流量會(huì)相對(duì)較高，而理工科院校點(diǎn)對(duì)點(diǎn)下載的流量會(huì)很高，一般負(fù)載均衡設(shè)備從線(xiàn)路的角度出發(fā)，前提也基于線(xiàn)路質(zhì)量是等價(jià)，在高校特殊的網(wǎng)絡(luò)中直接應(yīng)用可能帶來(lái)相反的效果。本文針對(duì)特定的網(wǎng)絡(luò)場(chǎng)景，不但平衡了線(xiàn)路流量，還提升了線(xiàn)路利用率，并提出一種解決網(wǎng)絡(luò)抖動(dòng)的方法，經(jīng)實(shí)驗(yàn)驗(yàn)證，達(dá)到了預(yù)期的效果。

參考文獻(xiàn)：

[1]張煥杰，夏玉良.用戶(hù)自主選擇的校園網(wǎng)出口策略路由實(shí)現(xiàn)[J].通信學(xué)報(bào)，2013 （S2）： 14-22.

[2]郭秉禮，黃善國(guó)，羅沛等.基于負(fù)載均衡的聯(lián)合路由策略[J].北京郵電大學(xué)學(xué)報(bào)，2009，32（4）： 1-5.

[3]王云嵐，李增智，薛軍等.基于DNS的負(fù)載均衡算法研究[J].計(jì)算機(jī)工程與應(yīng)用，2002（4）：11-13.

[4]吳璇，隋紅建.負(fù)載均衡技術(shù)在防火墻系統(tǒng)中的應(yīng)用[J].計(jì)算機(jī)應(yīng)用，2003，23（S2）： 22-24.

[5]常潘，沈富可.使用域名負(fù)載均衡技術(shù)實(shí)現(xiàn)校園網(wǎng)對(duì)外服務(wù)器的高速訪(fǎng)問(wèn)[J].計(jì)算機(jī)應(yīng)用，2007， 27（7）：1585-1586.

[6]申健.校園網(wǎng)路由策略分析及應(yīng)用[J].實(shí)驗(yàn)技術(shù)與管理，2013， 30（11）： 122-125.

[7]Su Bing， Yu Haiyang， Lu Jieru. Traffic optimizationon the dynamic switching of ABR for OSPF networks[C].2009 International Conference on Information Technology and Computer Science，2009：429-432.

[8]謝勝軍.有線(xiàn)無(wú)線(xiàn)一體化的扁平校園網(wǎng)設(shè)計(jì)[J].通信學(xué)報(bào)， 2013， 34（Z2）：79-83.

[9]張志成，鄒仁明，張曉.基于冗余架構(gòu)的校園網(wǎng)多出口系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J].計(jì)算機(jī)科學(xué)，2012，39（10）： 219-222.

[10]彭雋，勞鳳丹，鄒仁明.萬(wàn)兆全冗余校園網(wǎng)出口升級(jí)改造方案[J].武漢大學(xué)學(xué)報(bào)（理學(xué)版），2012， 58（S1）：120-124.

[11]杜躍進(jìn)，張兆心，王克等.基于用戶(hù)感知的DNS解析網(wǎng)絡(luò)性能測(cè)量技術(shù)[J].南京航空航天大學(xué)學(xué)報(bào)，2013， 45（1）：110-115.

[12]王艷歌.一種基于智能DNS解析及靜態(tài)地址映射的快速訪(fǎng)問(wèn)策略[J].科技通報(bào)，2012， 28（12）：146-148.

[13]秦臻，周帆，李樂(lè)民.DNS對(duì)CDN流媒體服務(wù)質(zhì)量的影響[J].電子科技大學(xué)學(xué)報(bào)，2013，42（4）：577-580.

（編輯：魯利瑞）