一種web服務(wù)器集群自適應(yīng)動(dòng)態(tài)負(fù)載均衡設(shè)計(jì)與實(shí)現(xiàn)*

葛 鈺 李洪赭 李賽飛

（西南交通大學(xué)信息科學(xué)與技術(shù)學(xué)院 成都 611756）

1 引言

隨著計(jì)算機(jī)互聯(lián)網(wǎng)技術(shù)的迅猛發(fā)展，人們可以足不出戶的進(jìn)行網(wǎng)購(gòu)，社交，視頻等活動(dòng)，享受了互聯(lián)網(wǎng)技術(shù)帶來的巨大便利。同時(shí)，用戶的激增和需求的多樣性給互聯(lián)網(wǎng)公司帶來了巨大的挑戰(zhàn)。2016年國(guó)內(nèi)購(gòu)票網(wǎng)站12306.cn每日PV值高達(dá)400億［1］。由阿里巴巴公司創(chuàng)建的雙十一促銷活動(dòng)，能夠同時(shí)支撐億萬用戶在線訪問，面對(duì)如此巨大的流量沖擊，服務(wù)器很容易出現(xiàn)因過載而宕機(jī)的現(xiàn)象［2］，傳統(tǒng)的單一服務(wù)器無法支撐如此龐大的業(yè)務(wù)需求。使用服務(wù)器集群技術(shù)能夠同時(shí)滿足網(wǎng)絡(luò)服務(wù)的性能需求，將多臺(tái)計(jì)算機(jī)按一定的拓?fù)浣Y(jié)構(gòu)有效地組織起來共同完成指定任務(wù)的計(jì)算機(jī)系統(tǒng)就是集群系統(tǒng)［3］。集群技術(shù)可在較低成本條件下滿足網(wǎng)絡(luò)服務(wù)高可用、高性能要求［4］。按照集群的應(yīng)用領(lǐng)域不同，可將集群分為三種：高可用集群、高性能計(jì)算集群和負(fù)載均衡集群［5］。負(fù)載均衡集群常用于高并發(fā)的Web應(yīng)用或緩存應(yīng)用［6］。一般由兩部分組成：前端負(fù)載調(diào)度服務(wù)器和后端web服務(wù)器集群。負(fù)載均衡器負(fù)責(zé)接收客戶端的請(qǐng)求，按照一定的分發(fā)策略將請(qǐng)求分發(fā)給后端服務(wù)器。負(fù)載均衡既擴(kuò)展了服務(wù)器帶寬，增加了吞吐量［7］，提高了服務(wù)器節(jié)點(diǎn)及集群資源的利用率，降低了服務(wù)成本［8］。由于硬件負(fù)載均衡器價(jià)格高昂，軟件負(fù)載均衡得到人們的廣泛關(guān)注和應(yīng)用。Nginx是一款強(qiáng)大的高性能Http服務(wù)器，安裝和配置相對(duì)簡(jiǎn)單，對(duì)于網(wǎng)絡(luò)依賴性小且占有內(nèi)存小，包含多種負(fù)載均衡算法，能滿足上萬級(jí)別的請(qǐng)求調(diào)度［9］。目前國(guó)內(nèi)外很多網(wǎng)站架構(gòu)都采用Nginx作為負(fù)載均衡和反向代理［10］的服務(wù)器。中國(guó)大陸使用Nginx服務(wù)器的用戶很多，其中包括：阿里、百度、京東、騰訊、網(wǎng)易等大型公司。Tengine項(xiàng)目為阿里巴巴將在Nginx基礎(chǔ)上，基于淘寶自身業(yè)務(wù)進(jìn)行改進(jìn)的web平臺(tái)并加入了一些高級(jí)特性。

負(fù)載均衡器根據(jù)負(fù)載均衡算法將客戶端請(qǐng)求分發(fā)給后端服務(wù)器，那么負(fù)載均衡算法就是整個(gè)集群運(yùn)行性能的決定性因素。國(guó)內(nèi)外許多學(xué)者在負(fù)載均衡算法做過研究，提出了很多改進(jìn)之處。比如Islam S［11］提出一種改進(jìn)具有陳舊負(fù)載信息的最短隊(duì)列負(fù)載均衡方法，Kaur K等［12］提出一種通過虛擬機(jī)蟻群算法實(shí)現(xiàn)負(fù)載平衡的方法，王紅斌等［13］提出一種LVS集群中加權(quán)最小連接算法的改進(jìn)方法，張玉芳等［14］提出一種通過節(jié)點(diǎn)的負(fù)載與性能比衡量節(jié)點(diǎn)負(fù)載權(quán)值大小來分配任務(wù)的方法，孫俊文等［15］提出一種使用模擬退火算法自適應(yīng)確定權(quán)重向量，利用動(dòng)態(tài)加權(quán)輪詢算法動(dòng)態(tài)分配請(qǐng)求的方法，汪佳文等［16］提出一種根據(jù)服務(wù)器實(shí)時(shí)負(fù)載情況并結(jié)合改進(jìn)的Pick-K算法對(duì)權(quán)重輪詢負(fù)載均衡算法進(jìn)行優(yōu)化的動(dòng)態(tài)自適應(yīng)權(quán)重輪詢隨機(jī)負(fù)載均衡算法。

本文基于加權(quán)最小連接算法提出一種應(yīng)用在Nginx反向代理和后端服務(wù)器集群中的自適應(yīng)動(dòng)態(tài)負(fù)載均衡的設(shè)計(jì)與實(shí)現(xiàn)方法。通過收集周期T內(nèi)服務(wù)器各個(gè)性能參數(shù)的平均狀況，計(jì)算各服務(wù)器權(quán)重占比，改變?cè)赾onsul上注冊(cè)的各個(gè)后端服務(wù)器KV值，Nginx使用upsync動(dòng)態(tài)拉取KV值修改各服務(wù)器權(quán)重。保證在下一個(gè)周期內(nèi)，性能最優(yōu)的服務(wù)器權(quán)重最大，會(huì)提供更多的服務(wù)。這樣使得整個(gè)集群系統(tǒng)在各個(gè)周期內(nèi)處于最優(yōu)狀態(tài)，最后通過壓力測(cè)試實(shí)驗(yàn)確定周期T，并證明該方法能夠有效提高負(fù)載均衡效率。

2 負(fù)載均衡算法分析

負(fù)載均衡算法可以分為靜態(tài)負(fù)載均衡算法和動(dòng)態(tài)負(fù)載均衡算法。常見的靜態(tài)調(diào)度算法包括：輪詢（Round Robin，RR），權(quán)重輪詢（Weighted Round Robin，WRR）、目標(biāo)地址散列（Destination Hash，DH），一致性哈希（Consistent Hash，CH）。常見動(dòng)態(tài)調(diào)度算法包括：最小連接數(shù)法（Least Connections，LC），加權(quán)最小連接（Weighted Least Connections，WLC）。靜態(tài)調(diào)度算法是在服務(wù)器運(yùn)行前給定分配策略，動(dòng)態(tài)調(diào)度算法根據(jù)連接數(shù)以及事先設(shè)定的權(quán)重進(jìn)行分配。各種算法都沒有考慮在運(yùn)行中服務(wù)器當(dāng)前的性能狀態(tài)。

不同的后端服務(wù)器的配置不盡相同，對(duì)于處理客戶端的請(qǐng)求速度有快有慢，最小連接數(shù)算法是根據(jù)后端服務(wù)器當(dāng)前的連接情況，動(dòng)態(tài)地選取集群中目前連接數(shù)最少的一臺(tái)服務(wù)器來處理當(dāng)前的請(qǐng)求，合理地分流到各個(gè)服務(wù)器，提高利用效率。加權(quán)最小連接數(shù)算法是最小連接數(shù)算法的超集。遍歷后端服務(wù)器，比較每個(gè)后端服務(wù)器的連接數(shù)與權(quán)重的比值，選取該值最小的服務(wù)器，即：

其中為C(S m)/W(S m)目標(biāo)服務(wù)器連接數(shù)與權(quán)重比值，min{C(Si)/W(Si)}表示取得該比值的最小值。如果目標(biāo)服務(wù)器比值剛好等于最小值時(shí)，那么下次請(qǐng)求為該服務(wù)器進(jìn)行處理。加權(quán)最小連接數(shù)算法不僅考慮了服務(wù)器的連接數(shù)，還考慮了服務(wù)器的性能。不過該算法的缺點(diǎn)也很明顯，權(quán)重由手動(dòng)設(shè)置，權(quán)重較大的服務(wù)器在接入很多請(qǐng)求之后也會(huì)繼續(xù)分配請(qǐng)求，使得負(fù)載不均衡，并且由于不同的請(qǐng)求其連接權(quán)重和時(shí)間都有差距，該算法無法根據(jù)各個(gè)后端服務(wù)器當(dāng)前真實(shí)的負(fù)載狀況，進(jìn)行動(dòng)態(tài)的修改權(quán)重。

3 自適應(yīng)動(dòng)態(tài)負(fù)載均衡的設(shè)計(jì)與實(shí)現(xiàn)

3.1 自適應(yīng)動(dòng)態(tài)負(fù)載均衡算法設(shè)計(jì)

基于加權(quán)最小連接數(shù)算法進(jìn)行改進(jìn)，各后端節(jié)點(diǎn)權(quán)值并不應(yīng)該在手動(dòng)設(shè)置之后就不再改變，應(yīng)根據(jù)服務(wù)器負(fù)載性能進(jìn)行周期性更改，能夠保證上一個(gè)周期內(nèi)性能最好的服務(wù)器在下一個(gè)周期中承擔(dān)更多的連接，而負(fù)載足夠多的服務(wù)器接受少一些的請(qǐng)求，從而使得集群一直處于最佳狀態(tài)。本文選取CPU空閑率、內(nèi)存空閑率以及IO空閑率作為負(fù)載性能評(píng)價(jià)準(zhǔn)則，根據(jù)此三項(xiàng)重要性能的使用情況對(duì)權(quán)值進(jìn)行動(dòng)態(tài)修改。為防止在周期點(diǎn)瞬時(shí)讀取性能參數(shù)可能造成的不準(zhǔn)確性和誤差較大的情況，采取在T、T/2時(shí)刻分別讀取并計(jì)算求取平均值的方式來代表T時(shí)間內(nèi)各參數(shù)性能。同時(shí)周期T如果較小那么會(huì)導(dǎo)致過于頻繁收集各性能參數(shù)所帶來的額外消耗，周期T如果較大那么會(huì)導(dǎo)致負(fù)載信息收集不及時(shí)，造成一定時(shí)間內(nèi)負(fù)載不均衡的情況，故T的取值需要進(jìn)行實(shí)驗(yàn)測(cè)定。

3.1.1 權(quán)值計(jì)算方法

我們使用Si表示某臺(tái)后端服務(wù)器，使用F(Si)表示權(quán)值，那么此時(shí)各臺(tái)服務(wù)器權(quán)值計(jì)算方式為

根據(jù)服務(wù)器性能、實(shí)際經(jīng)驗(yàn)，出于研究和學(xué)習(xí)的目的我們分別設(shè)定k cp u=0.6、k mem=0.3、k io=0.1。

3.1.2 權(quán)值改變參考參數(shù)及臨界值

P值為權(quán)值改變的參考參數(shù)，默認(rèn)為1。在服務(wù)器CPU使用率或者內(nèi)存使用率高于80%時(shí)，表示此時(shí)服務(wù)器處于高負(fù)載狀態(tài)，所能承受的空間不足，P值減少為一半，即為0.5，將所求權(quán)值和降低一半，減少該服務(wù)器權(quán)重。當(dāng)服務(wù)器CPU使用率或者內(nèi)存使用率高于90%時(shí)，表示改服務(wù)器處于超負(fù)載狀態(tài)，無力承擔(dān)更多負(fù)載，此時(shí)將P設(shè)置為0.1，大大降低權(quán)重，在下一個(gè)周期內(nèi)將請(qǐng)求分配給其余服務(wù)器。IO使用率達(dá)到80%的情況較少，故不用考慮其中，上述情況可以表示為

用各個(gè)服務(wù)器在每個(gè)周期內(nèi)根據(jù)自身性能狀況計(jì)算權(quán)重，若每個(gè)周期內(nèi)都需要對(duì)權(quán)值進(jìn)行更新，則會(huì)對(duì)Nginx負(fù)載均衡器的負(fù)擔(dān)過重。故在一些請(qǐng)求比較穩(wěn)定的周期內(nèi)，各服務(wù)器性能參數(shù)波動(dòng)不大導(dǎo)致F(S i)值的變化也不大的時(shí)候，我們就不需要進(jìn)行更新權(quán)值的操作。此時(shí)可以設(shè)置一個(gè)臨界值來控制是否進(jìn)行權(quán)值更新，在波動(dòng)范圍超過臨界值的時(shí)候才更新權(quán)值，表示為

在本周期的F(S i)和上個(gè)周期F Old(S i)F O ld(Si)絕對(duì)差值小于C的時(shí)候，權(quán)值不更改。在絕對(duì)差值大于C的時(shí)候權(quán)值才會(huì)變更。

3.1.3 負(fù)載均衡器權(quán)重計(jì)算

在計(jì)算完各個(gè)服務(wù)器權(quán)值之后，此時(shí)的各個(gè)F(Si)為小數(shù)，而Nginx負(fù)載均衡器需要一個(gè)整數(shù)，我們就需要進(jìn)行負(fù)載均衡器權(quán)重計(jì)算，由于我們是按照各服務(wù)器CPU空閑率，內(nèi)存空閑率以及IO空閑率進(jìn)行權(quán)值計(jì)算，后端服務(wù)器各性能參數(shù)空閑率越高，則F(Si)值越高，那么再下一個(gè)周期在負(fù)載均衡器所分得的權(quán)重應(yīng)該越大，這樣在下個(gè)周期內(nèi)，就會(huì)有更多請(qǐng)求到達(dá)此服務(wù)器，同理，F(xiàn)(Si)值越低，在負(fù)載均衡器端的權(quán)重應(yīng)該越小，故我們可以按照各服務(wù)器F(S i)與F(S i)占比的方式確定，即

其中N為整數(shù)，可根據(jù)后端服務(wù)器個(gè)數(shù)進(jìn)行靈活調(diào)整，通過上述方式我們可以計(jì)算出各服務(wù)器在負(fù)載均衡器的權(quán)重值w1，w2…wn。

3.2 自適應(yīng)動(dòng)態(tài)負(fù)載均衡實(shí)現(xiàn)方式設(shè)計(jì)

本在各后端服務(wù)器添加性能收集模塊，采集各服務(wù)器CPU、內(nèi)存、IO磁盤信息，通過Socket通信發(fā)送給權(quán)值計(jì)算模塊。權(quán)值計(jì)算模塊接收各服務(wù)器發(fā)送的消息進(jìn)行處理，并根據(jù)上述算法計(jì)算出各服務(wù)器的權(quán)重值，通過post方法傳送到權(quán)重修改模塊。權(quán)重修改模塊包括服務(wù)注冊(cè)發(fā)現(xiàn)中心Consul以及負(fù)載均衡器Nginx，Nginx配置文件中upstream模塊配置基礎(chǔ)負(fù)載均衡算法以及后端服務(wù)器數(shù)據(jù)接收轉(zhuǎn)發(fā)，如圖1所示配置。

圖1 Nginx upstream模塊配置

基礎(chǔ)算法為least_Conn，即最小連接算法，注冊(cè)配置upsync模塊，upsync_type=consul，表示服務(wù)注冊(cè)中心使用consul。將后端服務(wù)器ip地址和JSON信息掛載到服務(wù)注冊(cè)中心，JSON信息中的Weight即表示該服務(wù)器權(quán)重值。如圖2所示。

圖2 consul kv中心掛載顯示

Nginx會(huì)通過upsync模塊每隔0.5s從服務(wù)注冊(cè)發(fā)現(xiàn)中心拉取后端服務(wù)器ip地址以及權(quán)重信息配置到upstream模塊里面。upstream模塊收到ip地址及其權(quán)重信息，就可以根據(jù)配置變更權(quán)重分配。這樣系統(tǒng)就能達(dá)到自適應(yīng)動(dòng)態(tài)負(fù)載均衡。整個(gè)系統(tǒng)的流程圖如圖3所示。

圖3 整個(gè)系統(tǒng)流程圖

4 實(shí)驗(yàn)

在實(shí)驗(yàn)之前，需要搭建測(cè)試環(huán)境，本論文基于Nginx做的設(shè)計(jì)實(shí)驗(yàn)，故需要一臺(tái)Nginx服務(wù)器做負(fù)載均衡器、后端Web服務(wù)器集群、進(jìn)行壓力測(cè)試的客戶端。為保證實(shí)驗(yàn)的嚴(yán)謹(jǐn)性，避免由于服務(wù)器性能相近導(dǎo)致權(quán)重分配相近。故后端服務(wù)器的配置兩兩不同，實(shí)驗(yàn)環(huán)境配置如表1。

表1 實(shí)驗(yàn)環(huán)境配置

客戶端使用JMeter壓力測(cè)試工具對(duì)此服務(wù)器集群進(jìn)行壓力測(cè)試。使用Http請(qǐng)求的方式壓力測(cè)試負(fù)載均衡器所代理的IP地址和端口。

圖4 實(shí)驗(yàn)環(huán)境Web服務(wù)器集群架構(gòu)

實(shí)驗(yàn)一，在第二節(jié)自適應(yīng)動(dòng)態(tài)負(fù)載均衡算法描述中可知周期T是個(gè)待確定的參數(shù)，需要對(duì)集群系統(tǒng)進(jìn)行壓力測(cè)試，變化參數(shù)為周期T值。若周期T太短，那么各服務(wù)器頻繁地獲取性能參數(shù)，會(huì)加重對(duì)服務(wù)器性能開銷，若T取值過大，那么就會(huì)導(dǎo)致負(fù)載均衡器對(duì)服務(wù)器權(quán)重更改缺少及時(shí)性，整個(gè)集群系統(tǒng)的負(fù)載能力無法得到提升。為了性能的均衡，需要對(duì)T值進(jìn)行實(shí)驗(yàn)測(cè)定。本實(shí)驗(yàn)T值測(cè)試范圍為5s～10s，每隔1s測(cè)試一次。測(cè)試方式為使用JMeter壓力測(cè)試軟件生成1000個(gè)用戶對(duì)集群系統(tǒng)進(jìn)行并發(fā)訪問。評(píng)價(jià)參數(shù)為請(qǐng)求返回的平均響應(yīng)時(shí)間（average response time），平均響應(yīng)時(shí)間越小說明集群系統(tǒng)對(duì)用戶的請(qǐng)求響應(yīng)速度越快，則集群系統(tǒng)的性能越好。

由圖5可以看出，在5s～7s這個(gè)階段，由于周期較小，過于頻繁地讀取參數(shù)，加重了對(duì)服務(wù)器的開銷，隨著周期時(shí)間變大，響應(yīng)時(shí)間逐步下降。而在7s到10s這個(gè)范圍時(shí)，隨著T值越大，對(duì)服務(wù)器權(quán)重的及時(shí)性逐漸降低，響應(yīng)時(shí)間又逐步升高。故當(dāng)T值等于7s時(shí)能夠得到最低平均響應(yīng)時(shí)間，此時(shí)集群系統(tǒng)性能最佳。

圖5 平均響應(yīng)時(shí)間與周期T關(guān)系折線

實(shí)驗(yàn)二，本文設(shè)計(jì)的自適應(yīng)動(dòng)態(tài)負(fù)載均衡方法基于加權(quán)最小連接算法進(jìn)行改進(jìn)，那么需要在同一個(gè)集群環(huán)境下分別用兩種負(fù)載均衡算法進(jìn)行壓力測(cè)試，進(jìn)行對(duì)比。故本實(shí)驗(yàn)采用JMeter模擬100～1500，每隔100并發(fā)用戶分別對(duì)兩種負(fù)載均衡算法進(jìn)行測(cè)試一分鐘的方式，一共得到15組數(shù)據(jù)。且每次測(cè)試選取平均響應(yīng)時(shí)間以及吞吐量作為性能優(yōu)劣的判斷。平均響應(yīng)時(shí)間越小，頁面響應(yīng)的時(shí)間越短，系統(tǒng)性能越好。而吞吐量越大，那么該系統(tǒng)能夠容納同時(shí)訪問的數(shù)據(jù)量越大，系統(tǒng)性能越好。為保證數(shù)據(jù)的可靠性，每組數(shù)據(jù)分別測(cè)試三次求取平均值。測(cè)試數(shù)據(jù)如表2所示。

表2 兩種算法的平均響應(yīng)時(shí)間與吞吐量

由表2和圖6所示，總體來看，隨著并發(fā)量的增加，兩種算法的平均響應(yīng)時(shí)間是在逐步增大。在100～200并發(fā)用戶量的時(shí)候，加權(quán)最小連接算法的平均響應(yīng)時(shí)間要略好于本文的設(shè)計(jì)的自適應(yīng)動(dòng)態(tài)負(fù)載均衡算法。這是因?yàn)椴l(fā)量較小的時(shí)候，各后端服務(wù)器性能消耗較低，此時(shí)存在于各后端服務(wù)器的性能收集模塊會(huì)消耗一定性能，導(dǎo)致響應(yīng)時(shí)間略高。在并發(fā)量300～500的時(shí)候，兩者響應(yīng)時(shí)間差別不大。之后隨著并發(fā)量的逐步提高，由于能夠動(dòng)態(tài)改變服務(wù)器的權(quán)重，自適應(yīng)動(dòng)態(tài)負(fù)載均衡算法的優(yōu)勢(shì)顯現(xiàn)出來，響應(yīng)時(shí)間逐漸與加權(quán)最小連接算法拉開差距。在并發(fā)量為1500時(shí)，本文的自適應(yīng)動(dòng)態(tài)負(fù)載均衡算法響應(yīng)時(shí)間優(yōu)于加權(quán)最小連接算法15.8%，并且隨著并發(fā)量提升，加權(quán)最小連接算法的錯(cuò)誤率顯著增加，而自適應(yīng)動(dòng)態(tài)負(fù)載均衡算法僅為其一半左右。從表2結(jié)合圖7來看，吞吐量波動(dòng)范圍不大，在大部分階段都是自適應(yīng)動(dòng)態(tài)負(fù)載均衡算法的吞吐量好于加權(quán)最小連接算法。由此可見，隨著并發(fā)量的提高，不管是響應(yīng)時(shí)間還是吞吐量都能得到優(yōu)化。

圖6 平均響應(yīng)時(shí)間與并發(fā)量關(guān)系折線

圖7 吞吐量與并發(fā)量關(guān)系折線

5 結(jié)語

本文基于Nginx的集群系統(tǒng)的加權(quán)最小連接算法，分析了其優(yōu)劣性，提出了一種自適應(yīng)動(dòng)態(tài)負(fù)載均衡方法，能夠根據(jù)服務(wù)器實(shí)時(shí)性能更改Nginx處各后端服務(wù)器權(quán)重，動(dòng)態(tài)調(diào)節(jié)性能。并分別從算法設(shè)計(jì)和實(shí)現(xiàn)方式設(shè)計(jì)加以詳細(xì)闡述，進(jìn)行兩次實(shí)驗(yàn)，第一次實(shí)驗(yàn)確定周期T的取值，第二次通過多次實(shí)驗(yàn)對(duì)比確定該算法能夠在加權(quán)最小連接算法的基礎(chǔ)上較大提升集群系統(tǒng)的負(fù)載均衡性能。但本設(shè)計(jì)還存在一定缺陷，比如臨界值的確定，臨界值大小確定也會(huì)影響權(quán)值的確定。若臨界值過大，服務(wù)器實(shí)時(shí)性會(huì)降低，若臨界值過小，那么頻繁地更改也會(huì)影響集群性能。