基于深度強(qiáng)化學(xué)習(xí)算法的高能效數(shù)據(jù)負(fù)載均衡方法

張思松

（銅陵學(xué)院 數(shù)學(xué)與計(jì)算機(jī)學(xué)院，安徽 銅陵 244061）

在過(guò)去的一段時(shí)間中，主流的網(wǎng)絡(luò)處理器多為單核處理器。隨著網(wǎng)絡(luò)結(jié)構(gòu)的不斷發(fā)展，傳統(tǒng)的處理器已經(jīng)無(wú)法適應(yīng)復(fù)雜的網(wǎng)絡(luò)環(huán)境。為了提升網(wǎng)絡(luò)系統(tǒng)的性能，本研究對(duì)系統(tǒng)服務(wù)器展開(kāi)了優(yōu)化。系統(tǒng)性能的迅猛提升，擴(kuò)大了并行程序在網(wǎng)絡(luò)中的應(yīng)用范圍。無(wú)論并行程序提供什么類型的服務(wù)，都需要物理機(jī)與虛擬機(jī)進(jìn)行綜合部署，以此實(shí)現(xiàn)網(wǎng)絡(luò)數(shù)據(jù)的傳輸與分發(fā)。資源調(diào)度是提升網(wǎng)絡(luò)利用率、降低能耗、降低服務(wù)成本的重要技術(shù)，其目標(biāo)為提升性能、降低能耗、降低成本[1-3]。

負(fù)載均衡可有效避免某些網(wǎng)絡(luò)資源利用率過(guò)低所引發(fā)的性能低下問(wèn)題。以往的研究中設(shè)計(jì)出多種以不同技術(shù)為核心的負(fù)載均衡方法，但均存在網(wǎng)絡(luò)節(jié)點(diǎn)吞吐量較小或不穩(wěn)定的問(wèn)題。以文獻(xiàn)[4]為例，該文提出了一種采用流水線模型分解工作負(fù)載從而實(shí)現(xiàn)數(shù)據(jù)負(fù)載均衡的方法，此方法提升了數(shù)據(jù)負(fù)載均衡計(jì)算速度，但無(wú)法避免網(wǎng)絡(luò)節(jié)點(diǎn)吞吐量不均衡的問(wèn)題，長(zhǎng)時(shí)間使用此種類型的方法會(huì)出現(xiàn)網(wǎng)絡(luò)運(yùn)行不穩(wěn)定的次生問(wèn)題。鑒此，本文以深度強(qiáng)化學(xué)習(xí)算法為核心技術(shù)設(shè)計(jì)新型高能效數(shù)據(jù)負(fù)載均衡方法。

1 高能效數(shù)據(jù)負(fù)載均衡方法設(shè)計(jì)

1.1 網(wǎng)絡(luò)數(shù)據(jù)并行程序設(shè)計(jì)

數(shù)據(jù)并行處理是數(shù)據(jù)負(fù)載均衡處理的基礎(chǔ)。在進(jìn)行數(shù)據(jù)負(fù)載處理時(shí)，有必要首先設(shè)計(jì)并行程序，同時(shí)選擇合適的性能指標(biāo)分析與調(diào)節(jié)并行程序的性能。在借鑒有關(guān)文獻(xiàn)[5-6]基礎(chǔ)上，本文選擇隱式并行程序設(shè)計(jì)方法，使用傳統(tǒng)串行語(yǔ)言編寫(xiě)并行程序，而后利用程序變化技術(shù)實(shí)現(xiàn)串行代碼與并行代碼之間的轉(zhuǎn)換。根據(jù)網(wǎng)絡(luò)數(shù)據(jù)的使用要求，本文將并行程序組成內(nèi)容設(shè)定為任務(wù)劃分、通信分析、任務(wù)整合和服務(wù)器映射處理等4個(gè)部分。使用C語(yǔ)言完成子程序設(shè)計(jì)后，將其組合為一個(gè)具有整體性的程序組合，將其作為本研究的并行程序。

為保證此并行程序具有研究?jī)r(jià)值，采用加速比性能定律以及等效比度量[7-8]對(duì)并行程序的使用性能進(jìn)行驗(yàn)證。具體計(jì)算過(guò)程如下：

其中，A(x)表示并行程序加速比；Tu表示單一處理器運(yùn)行時(shí)間；Tx表示整個(gè)網(wǎng)絡(luò)結(jié)構(gòu)處理器運(yùn)行時(shí)間。使用此公式可對(duì)并行程度的加速比展開(kāi)計(jì)算。處理器的計(jì)算效率也是對(duì)并行程序進(jìn)行分析的重要指標(biāo)之一，其計(jì)算公式可表示為

其中，Q(x)表示處理器利用率，當(dāng)0≤Q(x)≤1時(shí)，Q(x)取值越高，并行程序的計(jì)算速率越快；反之，并行程序的計(jì)算速率越慢。

使用公式（3）計(jì)算結(jié)果繪制成如圖1的等效率曲線形式，分析此曲線對(duì)并行程序的可擴(kuò)展性。

圖1 等效率曲線示意圖

圖1曲線a到曲線c分別表示并行程序的擴(kuò)展性程度。當(dāng)取值結(jié)果繪制曲線為曲線a形式時(shí)，并行程序具有良好的擴(kuò)展性；取值結(jié)果繪制曲線為曲線b形式時(shí)，并行程序具有可擴(kuò)展性；取值結(jié)果繪制曲線為曲線c形式時(shí)，并行程序不具有擴(kuò)展性。根據(jù)上述設(shè)定內(nèi)容對(duì)并行程序設(shè)計(jì)結(jié)果進(jìn)行檢測(cè)，如并行程序符合檢測(cè)指標(biāo)要求，將此程序作為后續(xù)處理的基礎(chǔ)。

1.2 存儲(chǔ)節(jié)點(diǎn)數(shù)據(jù)分配

為保證數(shù)據(jù)在存儲(chǔ)節(jié)點(diǎn)時(shí)各數(shù)據(jù)在服務(wù)器中能夠均衡用戶的請(qǐng)求，需對(duì)存儲(chǔ)節(jié)點(diǎn)的數(shù)據(jù)遷移與分配方式進(jìn)行設(shè)定。

根據(jù)各存儲(chǔ)節(jié)點(diǎn)數(shù)據(jù)量計(jì)算網(wǎng)絡(luò)結(jié)構(gòu)整體的數(shù)據(jù)量，計(jì)算過(guò)程如下：

其中，Wi表示網(wǎng)絡(luò)結(jié)構(gòu)的數(shù)據(jù)總負(fù)載量；Wall表示網(wǎng)絡(luò)系統(tǒng)數(shù)據(jù)總?cè)萘?。根?jù)公式（4）可得到存儲(chǔ)節(jié)點(diǎn)的數(shù)據(jù)負(fù)載量：

其中，Wv表示存儲(chǔ)節(jié)點(diǎn)的數(shù)據(jù)負(fù)載量；Wz表示各個(gè)存儲(chǔ)節(jié)點(diǎn)的可使用數(shù)據(jù)資源[9]；o表示數(shù)據(jù)異構(gòu)權(quán)值。式（4）、式（5）中W與We用于衡量網(wǎng)絡(luò)系統(tǒng)的節(jié)點(diǎn)負(fù)載分配情況；W根據(jù)帶寬以及網(wǎng)絡(luò)利用率等因素進(jìn)行綜合設(shè)定。根據(jù)此設(shè)定，將式（4）、式（5）的約束條件設(shè)定如下：

當(dāng)計(jì)算過(guò)程滿足上述約束條件時(shí)，遷移存儲(chǔ)節(jié)點(diǎn)的數(shù)據(jù)負(fù)載。當(dāng)We≥Wall時(shí)，說(shuō)明網(wǎng)絡(luò)結(jié)構(gòu)負(fù)載加重，需要增加存儲(chǔ)節(jié)點(diǎn)數(shù)量。在存儲(chǔ)節(jié)點(diǎn)的數(shù)據(jù)處理過(guò)程中，需要處理目標(biāo)服務(wù)器、源服務(wù)器以及需處理數(shù)據(jù)[10-11]，具體處理過(guò)程設(shè)定如下：

設(shè)定目標(biāo)服務(wù)器為Q，源服務(wù)器為K，需處理數(shù)據(jù)為L(zhǎng)。當(dāng)約束條件為公式（7）時(shí)，需要降低Q的數(shù)據(jù)處理次數(shù)。為實(shí)現(xiàn)此目標(biāo)，K設(shè)定為負(fù)載最輕的服務(wù)器，最大化限額提升數(shù)據(jù)負(fù)載的處理效率，同時(shí)保證We≤Wall，V表示K與Q的比值。根據(jù)此需求，可得到遷移數(shù)據(jù)量計(jì)算公式：

根據(jù)式（9）計(jì)算結(jié)果，選擇可重新分布的數(shù)據(jù)，并以存儲(chǔ)節(jié)點(diǎn)為單位完成數(shù)據(jù)遷移，選擇的目標(biāo)服務(wù)器不能為Q。將此數(shù)據(jù)分配原理作為后續(xù)數(shù)據(jù)負(fù)載均衡算法的設(shè)計(jì)基礎(chǔ)。

1.3 數(shù)據(jù)負(fù)載深度強(qiáng)化學(xué)習(xí)均衡算法設(shè)計(jì)

上文已經(jīng)構(gòu)建了網(wǎng)絡(luò)數(shù)據(jù)模型，并設(shè)定了存儲(chǔ)節(jié)點(diǎn)的數(shù)據(jù)負(fù)載遷移條件，根據(jù)設(shè)定選擇深度強(qiáng)化學(xué)習(xí)算法，設(shè)計(jì)數(shù)據(jù)負(fù)載均衡算法。

針對(duì)當(dāng)前數(shù)據(jù)負(fù)載均衡方法使用中存在的不足，本研究將對(duì)網(wǎng)絡(luò)中的網(wǎng)關(guān)資源消耗進(jìn)行處理，設(shè)定網(wǎng)絡(luò)節(jié)點(diǎn)中包含多個(gè)處理器和內(nèi)存資源。為此，設(shè)定網(wǎng)絡(luò)中含有n個(gè)數(shù)據(jù)出口，其帶寬為Si={S0,S1,...,Sn-i}，Si表示網(wǎng)絡(luò)中的第i個(gè)出口的帶寬。設(shè)定Sc為0,1,...,niSSS-的最小公約數(shù)[12-13]，使用參數(shù)Hi描述數(shù)據(jù)出口i負(fù)載能力，則有

根據(jù)此公式，設(shè)定Hg為網(wǎng)絡(luò)系統(tǒng)的數(shù)據(jù)處理能力，則有

根據(jù)深度強(qiáng)化學(xué)習(xí)算法中的貝葉斯計(jì)算原理[14-15]，選擇最佳網(wǎng)絡(luò)數(shù)據(jù)出口，以此實(shí)現(xiàn)數(shù)據(jù)負(fù)載均衡處理。將網(wǎng)絡(luò)數(shù)據(jù)出口設(shè)定為Oi={O0,O1,...,On-i}，每個(gè)數(shù)據(jù)出口的權(quán)值用f(Oi)表示，函數(shù)X(Oi)表示數(shù)據(jù)出口為i時(shí)的連接數(shù)。數(shù)據(jù)出口的連接數(shù)可表示為

由公式（12）可得到數(shù)據(jù)出口的新連接數(shù)，用J(Oi)表示，則有：

其中，m表示計(jì)算中固定比例系數(shù)。J(Oi)中取值最高的結(jié)果為最優(yōu)數(shù)據(jù)負(fù)載傳輸出口。在公式（13）的計(jì)算過(guò)程中，可將其優(yōu)化為：

使用公式（14）選擇數(shù)據(jù)負(fù)載傳輸出口，同時(shí)根據(jù)公式（4）～公式（9）完成數(shù)據(jù)負(fù)載的轉(zhuǎn)移與處理，實(shí)現(xiàn)數(shù)據(jù)負(fù)載均衡設(shè)計(jì)目標(biāo)。至此，基于深度強(qiáng)化學(xué)習(xí)算法的高能效數(shù)據(jù)負(fù)載均衡方法設(shè)計(jì)完成。

2 仿真測(cè)試分析

本研究使用深度強(qiáng)化學(xué)習(xí)算法設(shè)計(jì)了一種新型的數(shù)據(jù)負(fù)載均衡方法，為探究此方法是否具有現(xiàn)實(shí)應(yīng)用意義，特構(gòu)建仿真測(cè)試環(huán)節(jié)對(duì)其使用效果展開(kāi)分析。

2.1 測(cè)試平臺(tái)搭建

本文以Matlab網(wǎng)絡(luò)仿真平臺(tái)為測(cè)試平臺(tái)，測(cè)試網(wǎng)絡(luò)構(gòu)建過(guò)程設(shè)定如圖2所示。

圖2 Matlab網(wǎng)絡(luò)仿真過(guò)程示意圖

根據(jù)圖2描述的仿真過(guò)程，使用編譯器以及消息編譯器將選定的網(wǎng)絡(luò)結(jié)構(gòu)編譯成C++語(yǔ)言。然后，將網(wǎng)絡(luò)中各層級(jí)的模塊使用代碼的形式編譯，并將其連接為可執(zhí)行文件，將此部分文件作為獨(dú)立的仿真程序運(yùn)行。

2.2 設(shè)定測(cè)試方案

本次測(cè)試中，為充分分析深度強(qiáng)化學(xué)習(xí)負(fù)載均衡方法的使用效果，選擇文獻(xiàn)[6]多信道協(xié)作負(fù)載均衡、文獻(xiàn)[7]國(guó)產(chǎn)化服務(wù)器集群與本文提出的深度強(qiáng)化學(xué)習(xí)負(fù)載均衡方法進(jìn)行對(duì)比，確定不同負(fù)載均衡方法的使用性能。

本次測(cè)試中將數(shù)據(jù)劃分為5個(gè)等級(jí)，分別對(duì)應(yīng)優(yōu)秀、良好、一般、差、極差。將表1數(shù)據(jù)信息輸入網(wǎng)絡(luò)仿真測(cè)試平臺(tái)中作為測(cè)試的數(shù)據(jù)基礎(chǔ)，根據(jù)處理效果確定不同均衡方法的使用效果。

2.3 測(cè)試環(huán)境設(shè)定

為增強(qiáng)測(cè)試的真實(shí)性，對(duì)仿真測(cè)試中的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)進(jìn)行設(shè)定。本次仿真網(wǎng)絡(luò)中包含512臺(tái)服務(wù)器和220臺(tái)交換機(jī)(64臺(tái)core-switch、100臺(tái)edge-switch、56臺(tái)aggregation-switch)。此外，網(wǎng)絡(luò)拓?fù)渲邪?0臺(tái)網(wǎng)絡(luò)節(jié)點(diǎn)控制器，每個(gè)網(wǎng)絡(luò)節(jié)點(diǎn)控制器包中分別設(shè)定有相同臺(tái)數(shù)的coreswitch、edge-switch與aggregation-switch。每個(gè)服務(wù)器中設(shè)定16個(gè)數(shù)據(jù)交換端口。根據(jù)此設(shè)定繪制仿真網(wǎng)絡(luò)，并將其結(jié)構(gòu)信息輸入Matlab網(wǎng)絡(luò)仿真平臺(tái)，構(gòu)建相應(yīng)的虛擬測(cè)試環(huán)境。為保證本次測(cè)試結(jié)果的代表性，設(shè)定了兩種網(wǎng)絡(luò)運(yùn)行模式：模式a為網(wǎng)絡(luò)服務(wù)器全部運(yùn)行狀態(tài)，模式b為網(wǎng)絡(luò)服務(wù)器部分運(yùn)行狀態(tài)。

2.4 測(cè)試指標(biāo)選取

本次測(cè)試將測(cè)試對(duì)比指標(biāo)設(shè)定為數(shù)據(jù)負(fù)載均衡后的網(wǎng)絡(luò)節(jié)點(diǎn)吞吐量。本研究指標(biāo)體現(xiàn)為多個(gè)服務(wù)器在仿真過(guò)程中的數(shù)據(jù)吞吐量。假設(shè)網(wǎng)絡(luò)中服務(wù)器為n個(gè)，仿真次數(shù)為δ次，則吞吐量計(jì)算公式可表示為

其中，?表示多次處理后的吞吐量，?i的計(jì)算公式可表示為

其中，T表示服務(wù)器數(shù)據(jù)吞吐量。根據(jù)公式（16）計(jì)算網(wǎng)絡(luò)的數(shù)據(jù)吞吐量，將此作為評(píng)價(jià)數(shù)據(jù)負(fù)載均衡方法使用效果的一組指標(biāo)。數(shù)據(jù)吞吐量取值結(jié)果越大，說(shuō)明數(shù)據(jù)負(fù)載均衡方法的使用效果越好，進(jìn)而說(shuō)明此方法具有高能效。

2.5 測(cè)試結(jié)果分析

圖3分別為網(wǎng)絡(luò)服務(wù)器全部運(yùn)行狀態(tài)下和部分運(yùn)行狀態(tài)下的網(wǎng)絡(luò)節(jié)點(diǎn)平均吞吐量。如圖3所示，在不同網(wǎng)絡(luò)服務(wù)器運(yùn)行環(huán)境下，文獻(xiàn)［6］、文獻(xiàn)［7］和本文所構(gòu)建的深度強(qiáng)化學(xué)習(xí)算法等3種方法具有不同的節(jié)點(diǎn)平均吞吐量。在網(wǎng)絡(luò)服務(wù)器全部運(yùn)行狀態(tài)，深度強(qiáng)化學(xué)習(xí)負(fù)載均衡方法使用后，提升了網(wǎng)絡(luò)節(jié)點(diǎn)的數(shù)據(jù)吞吐量。其他兩種方法使用后，網(wǎng)絡(luò)節(jié)點(diǎn)的平均吞吐量并未提升，僅保持了應(yīng)有的節(jié)點(diǎn)吞吐量，對(duì)網(wǎng)絡(luò)數(shù)據(jù)的均衡處理沒(méi)有太大的幫助。在網(wǎng)絡(luò)服務(wù)器部分運(yùn)行狀態(tài)情況下，上述3種方法的使用差異較大。深度強(qiáng)化學(xué)習(xí)負(fù)載均衡方法在兩種測(cè)試環(huán)境中并未出現(xiàn)較大的變化，具有較為穩(wěn)定的應(yīng)用效果。其他兩種方法中數(shù)據(jù)吞吐量差異較大，影響了網(wǎng)絡(luò)的穩(wěn)定運(yùn)行。綜合上述測(cè)試結(jié)果可知，無(wú)論是測(cè)試環(huán)境（a）還是測(cè)試環(huán)境（b），深度強(qiáng)化學(xué)習(xí)負(fù)載均衡方法的使用效果均優(yōu)于其他負(fù)載均衡方法。

3 結(jié)束語(yǔ)

無(wú)線網(wǎng)絡(luò)的發(fā)展為數(shù)據(jù)處理提供了幫助，也為網(wǎng)絡(luò)數(shù)據(jù)管理帶來(lái)挑戰(zhàn)，網(wǎng)絡(luò)中的物理服務(wù)器與虛擬機(jī)需要一個(gè)高效的數(shù)據(jù)調(diào)度方法。本研究提出了一種基于深度強(qiáng)化學(xué)習(xí)算法的高能效數(shù)據(jù)負(fù)載均衡方法，提高了數(shù)據(jù)處理性能。在后續(xù)研究中還需對(duì)網(wǎng)絡(luò)的數(shù)據(jù)管理技術(shù)進(jìn)行深入分析。