基于大數(shù)據(jù)吞吐效益評估的網(wǎng)絡(luò)數(shù)據(jù)綜合調(diào)控算法研究*

閆　娜

(陜西財經(jīng)職業(yè)技術(shù)學(xué)院　咸陽　712000)

?

基于大數(shù)據(jù)吞吐效益評估的網(wǎng)絡(luò)數(shù)據(jù)綜合調(diào)控算法研究*

閆娜

(陜西財經(jīng)職業(yè)技術(shù)學(xué)院咸陽712000)

摘要鑒于當(dāng)前云網(wǎng)絡(luò)研究過程中普遍存在的吞吐困難、評估機制單一及難以解決網(wǎng)絡(luò)擁塞現(xiàn)象等問題，論文在大數(shù)據(jù)吞吐效益評估基礎(chǔ)上，提出了一種網(wǎng)絡(luò)數(shù)據(jù)綜合調(diào)控算法。首先，通過在數(shù)據(jù)生命周期內(nèi)評估數(shù)據(jù)調(diào)控成本，依據(jù)網(wǎng)絡(luò)數(shù)據(jù)具有的大數(shù)據(jù)吞吐性能進行資源匹配；然后將用戶級別的資金價值、生命周期等因素嵌入到成本函數(shù)中，從而實現(xiàn)了網(wǎng)絡(luò)數(shù)據(jù)的資源調(diào)度優(yōu)化，降低了網(wǎng)絡(luò)擁塞現(xiàn)象的發(fā)生。仿真結(jié)果表明，與DBC算法相比，論文算法能夠提高網(wǎng)絡(luò)節(jié)點的吞吐性能，增強網(wǎng)絡(luò)的數(shù)據(jù)調(diào)控效率，改善節(jié)點帶寬的運行性能，具有較好的實際部署價值。

關(guān)鍵詞云網(wǎng)絡(luò); 大數(shù)據(jù)吞吐; 網(wǎng)絡(luò)數(shù)據(jù)綜合調(diào)控; 資源調(diào)度; 調(diào)控成本; 質(zhì)量因素

Class NumberTP393

1引言

隨著云網(wǎng)絡(luò)計算技術(shù)的飛速發(fā)展，網(wǎng)絡(luò)中數(shù)據(jù)并發(fā)量及用戶數(shù)據(jù)資源量也呈現(xiàn)飛速發(fā)展的趨勢，對云網(wǎng)絡(luò)系統(tǒng)的數(shù)據(jù)資源調(diào)度及處理性能也提出了很高的要求。然而當(dāng)前研究過程中，大部分云網(wǎng)絡(luò)系統(tǒng)依然采取傳統(tǒng)的資源調(diào)度及管理模式，往往通過確定的成本函數(shù)來對當(dāng)前的任務(wù)進行調(diào)度，處理過程中一般以系統(tǒng)為中心，很少通過用戶數(shù)據(jù)的性能綜合評估成本，以便實現(xiàn)網(wǎng)絡(luò)數(shù)據(jù)資源的合理調(diào)度，導(dǎo)致網(wǎng)絡(luò)計算性能難以隨著用戶數(shù)據(jù)的增長而得到改善，成為云計算技術(shù)中一個重要的瓶頸[1]。

為解決云網(wǎng)絡(luò)中資源調(diào)度問題，實現(xiàn)更好的數(shù)據(jù)處理性能，人們做出了很多的研究工作[2]。olliffeD等[3]提出了一種基于經(jīng)濟管理模型的網(wǎng)絡(luò)數(shù)據(jù)調(diào)控算法，通過綜合評估用戶數(shù)據(jù)資源及形同節(jié)點的性能，采用最低成本評估機制實現(xiàn)對資源的有效利用。然而，該種算法由于僅僅基于系統(tǒng)端對數(shù)據(jù)進行評估，當(dāng)用戶數(shù)據(jù)資源的請求處于不同層次時，將難以實現(xiàn)數(shù)據(jù)的精確調(diào)度。Yang K等[4]提出了一種基于密集歸類的數(shù)據(jù)調(diào)控機制，通過將用戶數(shù)據(jù)歸類為不同密集程度的任務(wù)的方式賦予不同的用戶數(shù)據(jù)處理資源，從而實現(xiàn)對用戶數(shù)據(jù)的轉(zhuǎn)發(fā)與處理。但是，該種算法對用戶帶寬占有情況未能加以考慮，當(dāng)多個用戶同時在處理節(jié)點上進行數(shù)據(jù)處理時往往會造成嚴(yán)重的數(shù)據(jù)擁塞現(xiàn)象。Bal M等[5]在用戶側(cè)數(shù)據(jù)供給基礎(chǔ)之上，采用供給側(cè)彈性判斷機制對網(wǎng)絡(luò)數(shù)據(jù)量進行實時評估，實現(xiàn)了高并發(fā)數(shù)情況下的網(wǎng)絡(luò)數(shù)據(jù)擁塞控制。然而。該種機制由于需要在整體層面上對用戶側(cè)數(shù)據(jù)供給進行判斷，當(dāng)網(wǎng)絡(luò)環(huán)境復(fù)雜時數(shù)據(jù)處理效率呈現(xiàn)不斷下降的趨勢。

鑒于當(dāng)前研究中存在的上述問題，本文提出了一種基于大數(shù)據(jù)吞吐效益評估的網(wǎng)絡(luò)數(shù)據(jù)綜合調(diào)控算法，通過綜合評估數(shù)據(jù)調(diào)控成本及大數(shù)據(jù)吞吐性能基礎(chǔ)上，實現(xiàn)了對整體效益的建模。隨后通過引入用戶級別的質(zhì)量因素，增強了數(shù)據(jù)處理性能，從而提高了網(wǎng)絡(luò)數(shù)據(jù)處理質(zhì)量，實現(xiàn)了調(diào)控有效性，降低了網(wǎng)絡(luò)擁塞程度。隨后通過仿真實驗證明了本文算法的有效性。

2網(wǎng)絡(luò)數(shù)據(jù)調(diào)度機制假設(shè)

目前大多數(shù)云計算環(huán)境下的調(diào)度和資源管理問題一般仍使用傳統(tǒng)形式，即由調(diào)度構(gòu)件如Glbous根據(jù)確定的花費函數(shù)來決定任務(wù)執(zhí)行，但這些花費函數(shù)一般都是以系統(tǒng)為中心的，不能由用戶的QoS參數(shù),如存取價格、服務(wù)傳送時間片等驅(qū)動[6]。在經(jīng)濟管理模型下，不同的系統(tǒng)當(dāng)然不會花費同樣的價格來存取相同的資源[7]。同時,終端用戶也并不一定想要支付最高的價格來獲得最有效的資源利用，而是有可能基于需求、價值、優(yōu)先權(quán)和可供使用的預(yù)算協(xié)商一個特定的價格[8]。因此,從本質(zhì)上而言，云網(wǎng)絡(luò)中的數(shù)據(jù)調(diào)控機制可以簡化為系統(tǒng)節(jié)點針對不同用戶數(shù)據(jù)實現(xiàn)在資源受限情況下的最佳調(diào)度[9]。

在大數(shù)據(jù)的背景之下，各個用戶數(shù)據(jù)需要能夠在某個處理節(jié)點資源受限的情況下滿足最低的服務(wù)要求，因此用戶數(shù)據(jù)流與處理節(jié)點之間的實時交互因素將是最重要的處理因素[10]。云網(wǎng)絡(luò)下的實時交互因素主要體現(xiàn)在節(jié)點反饋速度、資源可用性能、網(wǎng)絡(luò)數(shù)據(jù)吞吐性能上[11]。本文選擇資金價值(Money)、生命周期(Time)、處理可靠性(Reliability)三個實時交互維度性能約束條件下實現(xiàn)節(jié)點資源受限情況下對用戶數(shù)據(jù)資源的調(diào)控工作。節(jié)點響應(yīng)和用戶數(shù)據(jù)需求被虛擬化為成本函數(shù)：benefit_c、benefit_dt和benefit_r。分別代表用戶數(shù)據(jù)對節(jié)點響應(yīng)時的成本代價。然后根據(jù)實時交互維度性能綜合計算整體的數(shù)據(jù)處理代價。該問題的本質(zhì)為N個數(shù)據(jù)請求需要節(jié)點通過調(diào)度M個網(wǎng)絡(luò)資源來實現(xiàn)數(shù)據(jù)的最佳調(diào)度。此外，本文假設(shè)如下：

1)N個數(shù)據(jù)請求彼此之間處于互相獨立狀態(tài)，不存在進程依賴的現(xiàn)象；

2)M個網(wǎng)絡(luò)資源只能通過特定的處理節(jié)點進行資源調(diào)度處理，即任意一個網(wǎng)絡(luò)資源不能被第二個處理節(jié)點進行并發(fā)資源處理；

3) 任意一個節(jié)點，在當(dāng)前數(shù)據(jù)請求未被釋放時，將不得接收其他的數(shù)據(jù)請求。

3本文網(wǎng)絡(luò)數(shù)據(jù)綜合調(diào)控算法設(shè)計

由于第1節(jié)可知，整個調(diào)度過程需要遵循經(jīng)濟效益最大化原則，節(jié)點在處理數(shù)據(jù)時必須將N個數(shù)據(jù)請求與節(jié)點能夠控制的M個網(wǎng)絡(luò)資源進行最佳匹配，使得節(jié)點能夠滿足數(shù)據(jù)請求的同時，盡量減少資源的分配壓力。對于任意一個用戶數(shù)據(jù)請求而言，也希望能夠以最短的生命周期實現(xiàn)自身請求的盡量滿足。從而實現(xiàn)處理節(jié)點及用戶數(shù)據(jù)的經(jīng)濟效益最大化。整個算法分為資源調(diào)度匹配、資源調(diào)度優(yōu)化兩個階段。

3.1資源調(diào)度匹配

若當(dāng)前云網(wǎng)絡(luò)中存在N個數(shù)據(jù)請求，每個請求的長度為Li，用指令數(shù)來度量，單位為Mi百萬指令，其資金價值Money及生命周期Time可以由用戶指定，全部請求按照指令長度進行排序：

表1　提交的數(shù)據(jù)請求列表

對于任意時刻而言，系統(tǒng)處理節(jié)點需要將性能最好的資源分配給擁有最大資金價值的數(shù)據(jù)請求，當(dāng)該資源能夠滿足資金價值(Money)、生命周期(Time)、處理可靠性(Reliability)三個維度的要求時，則處理之[12]。否則將考慮下一個可用的資源，并標(biāo)注為已用資源。反復(fù)進行該過程直到數(shù)據(jù)處理過程結(jié)束。

整個資源調(diào)度匹配流程如下所示：

Step 1：系統(tǒng)處理節(jié)點隨時接收用戶數(shù)據(jù)請求；

Step 2：在數(shù)據(jù)請求的生命周期之內(nèi)進行以下步驟：

1) 首先根據(jù)當(dāng)前可用資源表進行數(shù)據(jù)請求的讀?。?/p>

2) 根據(jù)數(shù)據(jù)請求的資金價值及生命周期，按照最佳資源匹配原則進行匹配；

3) 確認生命周期內(nèi)可調(diào)度資源總量，再次進行匹配；

4) 計算運行結(jié)果并反饋

Step 3：資源調(diào)度匹配結(jié)束。

3.2資源調(diào)度優(yōu)化

本文算法實質(zhì)是通過綜合評估數(shù)據(jù)流的資金價值(Money)、生命周期(Time)、處理可靠性(Reliability)三個信息交互維度，實現(xiàn)對數(shù)據(jù)流的綜合調(diào)控。其中Money可以代表數(shù)據(jù)流的運營成本及數(shù)據(jù)吞吐成本，Time在網(wǎng)絡(luò)實踐中代表數(shù)據(jù)流的生命周期及最大處理周期，Reliability代表數(shù)據(jù)帶寬及吞吐性能。

從信息交互維度可知，資金價值(Money)、生命周期(Time)、處理可靠性(Reliability)彼此處于互相獨立狀態(tài)，第一信息交互維度評估函數(shù)benefit_c與處理過程中花費的資金數(shù)量密切相關(guān)：

(1)

而第二信息交互維度評估函數(shù)benefit_dt與數(shù)據(jù)請求的生命周期密切相關(guān)：

(2)

第三信息交互維度評估函數(shù)benefit_r代表調(diào)度的可靠性：

(3)

其中，g代表網(wǎng)絡(luò)總體數(shù)據(jù)請求數(shù)量，f為數(shù)據(jù)請求的最大生命周期內(nèi)的最小數(shù)據(jù)請求總數(shù)。

因此，任務(wù)的效用函數(shù)是這三部分的加權(quán)函數(shù)：

(4)

整個系統(tǒng)的效用函數(shù)：

Benefitsystem=∑Benefit_T

(5)

將系統(tǒng)效益函數(shù)最大化可得系統(tǒng)效益Bsystem并滿足：

(6)

上述過程是一個典型的線性規(guī)劃過程，通過柯西數(shù)學(xué)收斂準(zhǔn)則可以迅速求出模型(6)的最佳解滿足如下的表達式：

(7)

再利用拉氏求解發(fā)構(gòu)造以下的輔助函數(shù)：

(8)

(9)

由于模型(7)和模型(9)對應(yīng)的拉氏函數(shù)具有同一性，因此，當(dāng)模型(7)取最優(yōu)解時，模型(9)也同時獲得最優(yōu)解。

4仿真實驗

由于云網(wǎng)絡(luò)中的數(shù)據(jù)請求是處于并發(fā)狀態(tài)，且網(wǎng)絡(luò)節(jié)點總數(shù)對系統(tǒng)處理性能有非常大的影響，且數(shù)據(jù)請求的資金價值、生命周期、可靠性能與節(jié)點同時呈現(xiàn)正向比例關(guān)系。因此本文仿真算法主要從數(shù)據(jù)吞吐率、擁塞率、數(shù)據(jù)處理時間、分組投遞率三個指標(biāo)上，同當(dāng)前廣泛用到DBC算法[12]進行對比，以便驗證本文算法的優(yōu)勢。本文仿真采取NS2仿真平臺，詳細仿真參數(shù)表如表2所示。

表2　仿真參數(shù)表

4.1數(shù)據(jù)吞吐性能

圖1顯示了在不同請求并發(fā)數(shù)量情況下，本文算法與DBC算法的數(shù)據(jù)吞吐帶寬測試。從圖中可以看到，本文算法數(shù)據(jù)吞吐率始終高于DBC算法。這是由于隨著數(shù)據(jù)請求并發(fā)數(shù)量的不斷增加，網(wǎng)絡(luò)中數(shù)據(jù)流量也呈現(xiàn)急劇增加的狀態(tài)，導(dǎo)致網(wǎng)絡(luò)中數(shù)據(jù)擁塞出現(xiàn)的概率顯著提高，而本文算法采用基于三維評估的方式，綜合考慮了數(shù)據(jù)請求的資金價值、生命周期及可靠性的基礎(chǔ)上，實現(xiàn)了數(shù)據(jù)的最佳處理，提高了數(shù)據(jù)吞吐性能。而對DBC算法由于僅僅考慮數(shù)據(jù)傳輸?shù)目煽啃砸蛩?，對?shù)據(jù)請求的其他因素考慮較少，導(dǎo)致網(wǎng)絡(luò)擁塞現(xiàn)象發(fā)生時難以實現(xiàn)對數(shù)據(jù)的實時處理，降低了數(shù)據(jù)吞吐性能。

圖1　不同算法的數(shù)據(jù)吞吐性能測試

4.2擁塞率

圖2顯示了在不同網(wǎng)絡(luò)處理節(jié)點數(shù)量的情況下，本文算法與DBC算法的擁塞率測試。從圖中可以看到，本文算法的擁塞率始終低于DBC算法，具有較好的穩(wěn)定性。這是因為隨著網(wǎng)絡(luò)處理節(jié)點數(shù)量的不斷增加，網(wǎng)絡(luò)整體可調(diào)度的資源也隨之增加，降低了網(wǎng)絡(luò)擁塞節(jié)點在網(wǎng)絡(luò)處理節(jié)點中所占據(jù)的比例。本文算法在數(shù)據(jù)生命周期內(nèi)評估數(shù)據(jù)調(diào)控成本，能夠在網(wǎng)絡(luò)擁塞發(fā)生的情況下通過調(diào)度其他節(jié)點的處理能力的方式，滿足當(dāng)前請求的響應(yīng)質(zhì)量，因而降低了擁塞率。

圖2　各算法的網(wǎng)絡(luò)擁塞率測試

4.3數(shù)據(jù)處理時間

圖3顯示了在不同的數(shù)據(jù)生命周期之內(nèi)，本文算法與DBC算法的數(shù)據(jù)處理時間測試，從圖中可以看到本文算法的數(shù)據(jù)處理時間始終低于DBC算法。這是因為DBC算法僅僅從帶寬因素上對數(shù)據(jù)請求進行相應(yīng)，一旦某個節(jié)點因請求未釋放而后續(xù)數(shù)據(jù)請求紛至沓來之時，會發(fā)生因處理帶寬不足而導(dǎo)致的擁塞現(xiàn)象。而本文算法可以將處理帶寬等映射為資金價值(Money)、生命周期(Time)、處理可靠性(Reliability)三個維度，并在三個維度上同時通過計算最佳成本函數(shù)的方式實現(xiàn)最優(yōu)傳輸，因此，本文算法的數(shù)據(jù)處理時間比DBC算法要低。

圖3　兩種算法的數(shù)據(jù)處理時間測試

4.4分組投遞率

圖4顯示了在不同數(shù)據(jù)傳輸率的情況下，本文算法與DBC算法的分組投遞率測試結(jié)果，從圖中可以看到本文算法的分組投遞率始終低于DBC算法，這是因為DBC算法僅僅采用單純投遞機制，當(dāng)處理節(jié)點處于擁塞狀態(tài)時將難以實現(xiàn)數(shù)據(jù)請求的實時相應(yīng)。而本文算法同時可將單一節(jié)點的數(shù)據(jù)處理性能映射到其他節(jié)點上，且通過綜合評估資金價值(Money)、生命周期(Time)、處理可靠性(Reliability)三個維度來實現(xiàn)數(shù)據(jù)的實時相應(yīng)，從而降低了數(shù)據(jù)請求的時延，大大提高了分組投遞性能。

圖4　各算法的分組投遞率測試結(jié)果

5結(jié)語

本文提出了一種基于大數(shù)據(jù)吞吐效益評估的網(wǎng)絡(luò)數(shù)據(jù)綜合調(diào)控算法，主要通過綜合評估數(shù)據(jù)請求的調(diào)控成本，在資金價值(Money)、生命周期(Time)、處理可靠性(Reliability)三個維度上實現(xiàn)節(jié)點資源受限情況下的數(shù)據(jù)請求的實時并發(fā)相應(yīng)，從而實現(xiàn)了用戶數(shù)據(jù)請求的實時調(diào)控，提高了網(wǎng)絡(luò)的運行質(zhì)量及性能。仿真實驗表明：與DBC算法相比，本文算法能夠改善網(wǎng)絡(luò)擁塞狀況，降低數(shù)據(jù)處理時間，提高網(wǎng)絡(luò)數(shù)據(jù)吞吐性能具有明顯的優(yōu)勢，在實踐中具有很強的部署價值。

下一步，本文將通過引入無線傳感網(wǎng)機制，通過云網(wǎng)絡(luò)-自感網(wǎng)自適應(yīng)映射機制，將云網(wǎng)絡(luò)數(shù)據(jù)處理節(jié)點的處理能力映射到自感網(wǎng)中進行數(shù)據(jù)處理映射，從而進一步降低實踐部署的成本及代價，有力提高網(wǎng)絡(luò)的信息處理能力，實現(xiàn)效益的最大化。

參 考 文 獻

[1] 胡自林,徐云,毛濤.基于效益最優(yōu)的云網(wǎng)絡(luò)資源調(diào)度[J].計算機工程與應(yīng)用,2014,26(7):69-70.

HU Zilin, XU Yun, MAO Tao. Cloud cyber source based on optimal dispatching[J]. Computer Engineering and Applications,2014,26(7):69-70.

[2] LEE W. A data mining framework for constructing features and models for intrusions detection systems[D]. New York: Computer Science Department of Columbia University，2012(7):33-76.

[3] Jolliffe D, Tran T, Nguyen T. Data mining network coding[J]. IEEE Trans. on Vehicular Technology,2009,58(2):914-925.

[4] Yang K, Shahabi C. An efficient k nearest neighbor search for multivariate time series[J]. Information and Computation,2013，6(1):65-98.

[5] Bal M. Rough Sets Theory as Symbolic Data Mining Method: An Application on Table[J]. Information Sciences Letters,2013,2(1):111-116.

[6] 孫大為,常桂然,李鳳云.一種基于免疫克隆的偏好多維QoS云資源調(diào)度優(yōu)化算法[J].電子學(xué)報,2011,23(8):1824-1831.

SUN Dawei, CHANG Guiran, Li Fengyun. An optimization algorithm for multidimensional preference QoS cloud resource scheduling based on immune clone[J]. Chinese Journal of Electronics,2011,23(8):1824-1831.

[7] 張愛科,符保龍.基于最大收益平衡點動態(tài)變化的云資源調(diào)度算法[J].重慶郵電大學(xué)學(xué)報(自然科學(xué)版),2014,5(7):706-711.

ZHANG Aike, FU Baolong. The cloud resource scheduling algorithm of maximum profit equilibrium based on dynamic change[J]. Journal of Chongqing University of Posts and Telecommunications(Natural Science Edition),2014,5(7):706-711.

[8] Lcala-Fdez J. KEEL Data-Mining Software Tool: Data Set Repository, Integration of Algorithms and Experimental Analysis Framework[J]. Journal of Multiple Valued Logic $Soft Computing,2011,12(17):204-209.

[9] 張恒巍,衛(wèi)波,王晉東.基于分布估計蛙跳算法的云資源調(diào)度方法[J].計算機應(yīng)用研究,2014,11(2):3225-3233.

ZHANG Hengwei, WEI Bo, WANG Jindong. The estimation of distribution of cloud resource scheduling method based on shuffled frog leaping algorithm[J]. Journal of Computer Application,2014,11(2):3225-3233.

[10] Thelwall, Wilkinson D. Data mining emotion in social network communication: Gender differences in MySpace[J]. Journal of the American Society for Information Society for Information Science and Technology,2010,61(1):190-199.

[11] 黎明,吳躍,陳佳.基于語義搜索引擎的云資源調(diào)度[J].計算機應(yīng)用研究,2015,12(2):3735-3749.

LI Ming, WU Yue, CHENG Jia. Semantic search engine based on cloud resource scheduling [J]. Computer Application Research,2015,12(2):3735-3749.

[12] Gounder V, Prakash R, Abu-Amara H. Micheline data miming: date and techniques[J]. Wireless Communications and Systems,2014,1(1)1:1-6.

收稿日期:2016年1月22日,修回日期:2016年2月27日

作者簡介:閆娜,女,碩士,講師,研究方向：計算機應(yīng)用、網(wǎng)絡(luò)優(yōu)化。

中圖分類號TP393

DOI:10.3969/j.issn.1672-9722.2016.07.025

Network Data Synthesis Control Algorithm Based on Large Data Throughput Benefit Evaluation

YAN Na

(Shaanxi Vocational College of Finance and Economics, Xianyang712000)

AbstractIn view of the existing problems in the process of cloud network research, it is difficult to solve the problem, the evaluation mechanism is simple and it is difficult to solve the problem of network congestion. First, the cost of data control in the data life cycle is evaluated based on the data of the network data has a large data throughput performance of interval division. Then the user level quality factor is added to the cost function, so as to realize the effective control of the network data, and reduce the occurrence of network congestion. Simulation results show that this algorithm can improve the throughput performance of the network nodes, and enhance the performance of the network, and improve the performance of the node bandwidth, which has good practical value.

Key Wordscloud network, large data throughput, network data integrated control, resource scheduling, regulation cost, quality factor