云計算下大數(shù)據均衡調度方法研究

孫逸敏

摘要：隨著互聯(lián)網大數(shù)據的應用，相關機構提出云計算概念。而基于云計算的資源調度一直是此領域的主要研究方向之一。隨著社會網絡資源數(shù)據共享深入，基于云計算技術的大數(shù)據均衡調度成為領域難題，傳統(tǒng)調度方式多數(shù)根據數(shù)據完成時間和任務完成時間，做不到真正的大數(shù)據資源均衡調度。文章針對傳統(tǒng)調度方式弊病，提出TPO集成法，通過云技術建模、波動算法、節(jié)點檢測等技術解決傳統(tǒng)問題，并以實驗的方式檢測效果。

關鍵詞：大數(shù)據；均衡；資源調度

中圖分類號： F272 文獻標識碼： A 文章編號：1009-3044（2018）01-0011-02

近幾年，隨著互聯(lián)網網絡規(guī)模不斷擴大，網絡數(shù)據交互也更加廣泛。而網絡社交、搜索網站、商務代表一系列新型網絡應用的開發(fā)，大量互聯(lián)網數(shù)據整合和數(shù)據匯聚現(xiàn)象，使數(shù)據處理應用量和需求量呈井噴式爆發(fā)，互聯(lián)網所要分析或處理的業(yè)務量也日益繁重。例如國外社交軟件Face book的中央處理系統(tǒng)平均每天要接收30億條以上訊息和將近1000T網絡數(shù)據；而我國阿里巴巴旗下淘寶網，每天要處理超過900T數(shù)據。大量數(shù)據的產生和應用極速加快了“大數(shù)據時代”的到來。針對于海量數(shù)據服務，如何將這些數(shù)據進行有效均衡調配，為網絡用戶提供方便快捷的網絡搜索服務，成為互聯(lián)網當前所面臨的重要問題。在這種情況下，一種以分布式計算為核心的新型計算技術誕生，這就是云計算技術。

隨著網絡信息技術的普及，“云計算”已經漸漸得到社會各界的廣泛關注。在傳統(tǒng)信息處理模式下，一些公共機構信息數(shù)據在外在壓力下需要空間增長時，往往只能采取硬件設施的再建設，勢必花費大量成本。而云計算技術的出現(xiàn)則避免了這一成本。云計算技術其本質可以說是一種商業(yè)模型，這類模型可以利用節(jié)點有效地整理分析數(shù)據。所有數(shù)據軟件都被綁定在一個共同的大服務器上，個人或企業(yè)用戶需要數(shù)據訪問時，需要先拿到訪問權限，才能得到服務，也就是說，用戶需要向服務器租賃數(shù)據，等同于數(shù)據分布等式計算。它利用網絡計算機，將大量數(shù)據進行資源組織，對于大數(shù)據均衡調度方面有極大技術支持。

1 云技術下數(shù)據均衡調配的TPO集成法

大數(shù)據環(huán)境下，傳統(tǒng)數(shù)據調度方式主要存在：信息浪費量大，互通開放性低，數(shù)據聯(lián)絡不密，資源調配難以均衡等種種問題。針對于以上問題，提出了一種基于云計算技術的下的TPO集成法。里面包含三種核心技術以及一套核心代碼，通過中央處理器信號回流算法，云計算合點技術，進行大規(guī)模，高速率的信號分析檢測，使數(shù)據流傳輸更準確通暢。通過云計算技術和CPU節(jié)點動態(tài)管理技術，可以將處理器網絡數(shù)據調度交互過程中各節(jié)點數(shù)據波段進行廣域化處理。

1.1 云計算環(huán)境建模

云計算技術通俗來說就是一種建立數(shù)據交互，網絡互通環(huán)境的多數(shù)據中心技術。研究云計算環(huán)境下數(shù)據均衡調配，必須著重考慮云計算中的數(shù)據資源存儲技術和數(shù)據網絡帶寬等[1]?！霸朴嬎恪杯h(huán)境表示為N個不同位置，不同節(jié)點，不同時間的數(shù)據集合這些網絡數(shù)據通過不同的區(qū)域網絡連接，而這些網絡數(shù)據的傳輸時間，帶寬是不同的。其中編號n是數(shù)據中心，真實的數(shù)據流網絡構架可以比喻成邏輯上的數(shù)據拓結構，EC中個數(shù)據流矩陣表示如下：

對于所有P、N當且僅當P≠N時表示的是各個數(shù)據間網絡傳播值是相同的且波動不大。

將云計算技術下，所有單獨波動數(shù)據定義為二元組，， 其中SC表示數(shù)據中心ec的可控存儲空間總量。表示在數(shù)據任務開始前，數(shù)據中心可以使用的數(shù)據比值，表示數(shù)據任務開始以后，數(shù)據中心可以使用的數(shù)據比值。這兩個參數(shù)為了保證模型可以正常進行，結果為。

1.2 中央處理器數(shù)據傳輸波動算法

如今，各大型企業(yè)公共機構，都會利用互聯(lián)網數(shù)據分析技術，對公司企業(yè)內部交互信息進行收集、分析、存儲、發(fā)布、等一系列數(shù)據操作。經過嘗試應用，傳統(tǒng)的數(shù)據調配方式在大量數(shù)據集中調配方式過程中，很容易出現(xiàn)，數(shù)據響應度低、數(shù)據響應速率緩慢、數(shù)據響應斷裂等各種情況發(fā)生。針對于上述問題，有關部門進行分析探討后發(fā)現(xiàn)，其主要原因就是傳統(tǒng)的數(shù)據調配方式關鍵數(shù)據要素引入面過于簡單狹小，導致在數(shù)據量過多或短時間激增的情況下，常規(guī)邏輯運算要素嚴重不足。算法邏輯沒有辦法支持如此巨大的運算量，從而出現(xiàn)反應速率慢，數(shù)據響應斷裂的情況。

針對于上述方式，TPO集成法中的中央處理器傳輸波動算法，對網絡數(shù)據關鍵要素引入面無限擴展延伸，對于引入數(shù)據傳輸路徑，進行了優(yōu)化升級，拓寬了數(shù)據載入頻道，在數(shù)據庫底層內部進行分析整理后再進入中央處理器內部。信號強度測量通過檢測網絡數(shù)據處理占用的中央處理器內存量百分比和內部資源量，智能動態(tài)調整運算邏輯所需要的要素錄入頻道，從而緩解中央處理器的壓力，保證邏輯運算的暢通性，從而保證資源均衡調配，不會出現(xiàn)數(shù)據響應緩慢等情況。通過傳輸波動算法的應用，傳統(tǒng)方式中存在的調度運算邏輯面引入不足的情況徹底改善。對于數(shù)據傳輸?shù)膬?yōu)化升級可以保證中央處理器合理運算，達到資源分析最全面，從而保證大數(shù)據均衡調度實現(xiàn)。

1.3 處理器節(jié)點動態(tài)檢測技術

為了保證TPO集成法中的中央處理器數(shù)據傳輸波動算法的穩(wěn)定性和傳輸準確性，對于網絡數(shù)據中數(shù)據節(jié)點進行大規(guī)模優(yōu)化升級，數(shù)據分流渠道智能化處理，以保證中央處理器的強度波動算法執(zhí)行穩(wěn)定。設計中采用處理器數(shù)據節(jié)點動態(tài)網絡數(shù)據檢測技術，對龐大的數(shù)據內部節(jié)點內部綁定，根據網絡回饋信息流指數(shù)，進行規(guī)律劃分、數(shù)據判定、資源調配。對數(shù)據中存在的不規(guī)則即完整性低，生成時間晚的數(shù)據進行抗波處理，達到數(shù)據優(yōu)化的目的。具體工作原理參照圖1。

處理器節(jié)點動態(tài)檢測技術采用大數(shù)據智能化Flan算法，有數(shù)據內部監(jiān)控內部節(jié)點狀態(tài)，優(yōu)化整體網絡數(shù)據平滑程度，提高互聯(lián)網數(shù)據信號反應速率。解決了傳統(tǒng)數(shù)據調度方法在網絡數(shù)據調度中出現(xiàn)的均衡性查、反應慢、數(shù)據流斷裂、系統(tǒng)分配難等問題[2-3]。endprint

為了保證處理器節(jié)點動態(tài)檢測技術中對大數(shù)據的智能化Flan算法能夠穩(wěn)定，精確、快速地檢測大數(shù)據內部的數(shù)據調度過程中的內部各節(jié)點的使用率，設計將大數(shù)據動態(tài)Flan算法植入處理器內部底層，網絡數(shù)據下的Flan算法下的網絡執(zhí)行代碼可以保證Flan算法可以獲取數(shù)據庫底層運行計算權限，并且自動生成加密系統(tǒng)，對文件加密。防止外部網絡入侵、木馬病毒等竊取網絡數(shù)據。網絡大數(shù)據內部動態(tài)Flan算法通過內部執(zhí)行代碼可以自動激活運行程序，對網絡數(shù)據庫或者網絡大數(shù)據進行系統(tǒng)檢索、信息分析、獲得初步優(yōu)化措施。配合上層的中央處理器數(shù)據傳輸波動算法，對分析角度過程的數(shù)據進行全面優(yōu)化，剔除干擾性數(shù)據，提升數(shù)據調度針對性，從而提高信息純度，達到數(shù)據流完整，數(shù)據資源調配均衡的目的，徹底數(shù)據調配不均狀況。大數(shù)據Flan算法具有互聯(lián)網大數(shù)據資源交互、信息分析、數(shù)據整合等功能可以實時保證調度方案最完善[4]。

1.4 核心集成代碼

上訴三套核心技術即TPO集成法的核心技術支持，整體設計方法也進入尾聲。經過大量實際檢測應用測試，TPO集成法雖然可以有效解決傳統(tǒng)網絡大數(shù)據交互時存在的資源調配不均，效率低下等問題，但是由于大數(shù)據環(huán)境背景下，各網絡端口和網絡應用日常生成的網絡數(shù)據過于龐大，導致TPO集成法所需要加載的時間過長，處理器占用率過高，導致實際使用耗時過長[5]。

為此，TPO集成法又新編入了一套核心集成快速執(zhí)行優(yōu)化代碼，可以通過這套快速執(zhí)行代碼解決數(shù)據流調度緩慢不均衡、加載權限難、加載通互性差等缺陷。核心代碼如下：

main（）

{

long int i；

int bonus1，bonu100000s2，bonus4，bonus6，bonus10，bonus；

scanf（"%ld"，&i）；

bonus1=100000*0.1；bonus2=bonus1+100000*0.75；

bonus4-bonus2+200000*0.5；

bonus6pbonus4+200000*0.3；

bonus10=bonus6+400000*0.15；

if（i<=100000）

bonus=i*0.1；

else if（i<=20000）

bonus=bonus1+（i-879578*0.075；

else if（i<=400000）

bonus=bonus2+（i-20485250）*0.05；

else if（i<=600000）

代碼的設計將上述三種核心技術算法通過網絡數(shù)據邏輯交互常帶性語法，進行關聯(lián)同時加載最高執(zhí)行權限將上述三項技術進行一體化，從而有效解決加載慢、處理器占用率高耗時長等問題。代碼采用GSII壓縮技術，進行編寫，減小代碼體積、減小資源運用成本。

2 TPO實際效果試驗檢測

針對于大數(shù)據均衡調度，進行TPO集成法的仿真測試。在設定的實驗環(huán)境中和對傳統(tǒng)調配方式和TPO集成法進行調度對比測試，并對結果進行分析歸納如表1：

通過上述實驗可以確定運用PTO集成法對數(shù)據進行調度：數(shù)據反應更快、傳輸更完善。由于運用的云技術模型，使數(shù)據來源和應用更廣泛，資源開銷更低。

3 結束語

云計算的應用，讓網絡數(shù)據資源調配變得更迫切。經過對傳統(tǒng)數(shù)據調配方式的分析論證，以云計算模型、中央處理器數(shù)據傳輸波動算法、處理器動態(tài)節(jié)點動態(tài)檢測技術、為核心的TPO集成計算法通過實驗驗證了各方面都要優(yōu)于傳統(tǒng)數(shù)據調配技術。滿足設計要求，為大數(shù)據資源調配提供新的思路。

參考文獻：

[1] 劉迷.云計算下虛擬信息資源大數(shù)據特征集成調度[J].科技通報，2015，31（10）：199-201.

[2] 張晉芳.一種云計算環(huán)境下大數(shù)據動態(tài)遷移策略[D].昆明理工大學，2016，17（81）：13-12.

[3] 張明，王瑋，施建華等.電力大數(shù)據調度云的優(yōu)化[J].計算機仿真，2016，51（11）：13-6.

[4] 辛海奎.基于群智能優(yōu)化算法的云計算任務調度策略研究[D].陜西師范大學，2015，31（17）：113-18.

[5] 王德龍.Hadoop平臺下作業(yè)調度算法的研究與改進[D].南京信息工程大學，2015，1（51）：123-1.endprint