大數(shù)據(jù)應(yīng)用在云計(jì)算平臺(tái)的優(yōu)化部署與調(diào)度策略研究

曾怡

摘要：隨著科技的發(fā)展與社會(huì)進(jìn)步，大數(shù)據(jù)應(yīng)用越來(lái)越廣泛，與各行各業(yè)緊密結(jié)合，成為當(dāng)代社會(huì)不可缺少的組成部分。近年來(lái)，基于云計(jì)算平臺(tái)的大數(shù)據(jù)運(yùn)用在資源配置層面實(shí)現(xiàn)了靈活性的有效提升，在進(jìn)行大數(shù)據(jù)應(yīng)用過(guò)程中，云計(jì)算平臺(tái)能夠根據(jù)大數(shù)據(jù)對(duì)平臺(tái)的需求變化做出相應(yīng)反映，同時(shí)，云服務(wù)下的收費(fèi)大多以“按需獲取”的模式進(jìn)行，符合現(xiàn)代社會(huì)用戶(hù)消費(fèi)模式，尤其對(duì)于中小規(guī)模的用戶(hù)，這一業(yè)務(wù)方式格外適用。應(yīng)當(dāng)注意的是，基于云計(jì)算平臺(tái)的大數(shù)據(jù)運(yùn)用也有著一些問(wèn)題，大數(shù)據(jù)在云計(jì)算平臺(tái)的性能即是其中較為核心的問(wèn)題之一。文章以大數(shù)據(jù)在云計(jì)算平臺(tái)的性能為核心展開(kāi)探討，對(duì)大數(shù)據(jù)進(jìn)行分層優(yōu)化與調(diào)度進(jìn)行深入研究，并提出相應(yīng)的優(yōu)化部署與調(diào)度策略。

關(guān)鍵詞：大數(shù)據(jù)；云計(jì)算平臺(tái)；優(yōu)化

1 大數(shù)據(jù)與云計(jì)算平臺(tái)

伴隨著互聯(lián)網(wǎng)的興起與廣泛運(yùn)用，21世紀(jì)進(jìn)入了信息化時(shí)代，以社交網(wǎng)絡(luò)、電子商務(wù)等一系列互聯(lián)網(wǎng)技術(shù)與應(yīng)用的普及，相應(yīng)數(shù)據(jù)的處理與整合成為數(shù)據(jù)處理與應(yīng)用亟待解決的問(wèn)題。多樣化的應(yīng)用伴隨而來(lái)的即是數(shù)據(jù)在規(guī)模與種類(lèi)的飛速增長(zhǎng)，數(shù)據(jù)處理及分析技術(shù)的改進(jìn)勢(shì)在必行。因而，各類(lèi)大數(shù)據(jù)處理框架的開(kāi)發(fā)與應(yīng)用層出不窮，在一定程度上提高了對(duì)數(shù)據(jù)處理的效率，緩解了數(shù)據(jù)處理的壓力。但這些數(shù)據(jù)處理框架往往對(duì)相應(yīng)的軟硬件要求較高，需要相應(yīng)規(guī)模的計(jì)算機(jī)集群予以支持，這就對(duì)一些規(guī)模較小、資源有限的用戶(hù)造成的一定困難。

為了解決這一問(wèn)題，云計(jì)算平臺(tái)為廣大用戶(hù)提出了一個(gè)最為經(jīng)濟(jì)、適用性最廣的進(jìn)行大數(shù)據(jù)應(yīng)用的基礎(chǔ)性平臺(tái)。云計(jì)算平臺(tái)主要是以服務(wù)為主，面向用戶(hù)提供計(jì)算資源與計(jì)算功能，可以實(shí)現(xiàn)用戶(hù)的“按需訪問(wèn)”，并以“按需付費(fèi)”的業(yè)務(wù)模式進(jìn)行，很大程度上同時(shí)解決了用戶(hù)對(duì)資源的需求與硬件要求的矛盾。云計(jì)算平臺(tái)可以實(shí)現(xiàn)大數(shù)據(jù)應(yīng)用的遷移，彌補(bǔ)了傳統(tǒng)大數(shù)據(jù)應(yīng)用的運(yùn)行缺陷：在技術(shù)層面上，云計(jì)算平臺(tái)基于虛擬化技術(shù)，一方面，降低了大數(shù)據(jù)處理在軟硬件的要求與成本投入，另一方面，云計(jì)算平臺(tái)將地層平臺(tái)資源與上層應(yīng)用服務(wù)進(jìn)行一定程度的耦合，提高了云計(jì)算平臺(tái)中的資源調(diào)度的靈活性，在滿(mǎn)足用戶(hù)需求方面有著更大的空間；在業(yè)務(wù)模式上，云計(jì)算平臺(tái)作為第三方，將大數(shù)據(jù)應(yīng)用進(jìn)行集中化，并提供專(zhuān)業(yè)的服務(wù)、維護(hù)與管理，以服務(wù)向用戶(hù)收取費(fèi)用，在這一業(yè)務(wù)運(yùn)行模式下，用戶(hù)無(wú)需對(duì)大數(shù)據(jù)應(yīng)用進(jìn)行維護(hù)與管理，只需按照自己的目的在云計(jì)算平臺(tái)上接受服務(wù)，降低了用戶(hù)成本，提高了用戶(hù)的可用資源范圍。

2 大數(shù)據(jù)應(yīng)用在云計(jì)算平臺(tái)的優(yōu)化部署與調(diào)度策略研究

1.1 資源層優(yōu)化部署策略研究

在資源層優(yōu)化過(guò)程中，主要是針對(duì)云計(jì)算平臺(tái)上虛擬計(jì)算資源性能的優(yōu)化。在實(shí)際操作中，由于優(yōu)化目標(biāo)的差異，優(yōu)化部署也不盡相同。從整體上看，主要可分為兩類(lèi)優(yōu)化部署。其一是對(duì)虛擬集群通信性能進(jìn)行優(yōu)化，這一優(yōu)化目標(biāo)在于實(shí)現(xiàn)不同的虛擬機(jī)之間數(shù)據(jù)傳輸效率的提高；其二是以虛擬集群計(jì)算性能為核心的優(yōu)化部署，其目標(biāo)在對(duì)針對(duì)各個(gè)獨(dú)立的虛擬機(jī)的數(shù)據(jù)處理性能的提升。

（1）資源層通信性能優(yōu)化部署

在資源層通信性能優(yōu)化中，主要針對(duì)云計(jì)算平臺(tái)的數(shù)據(jù)通信性能進(jìn)行，具體來(lái)說(shuō)是針對(duì)云計(jì)算平臺(tái)中的各項(xiàng)網(wǎng)絡(luò)資源的配置、計(jì)算節(jié)點(diǎn)等的優(yōu)化部署，其最終目的旨在實(shí)現(xiàn)云計(jì)算平臺(tái)的虛擬集群的通信性能，優(yōu)化內(nèi)容主要是數(shù)據(jù)在虛擬機(jī)之間的傳輸時(shí)間。在傳統(tǒng)的資源層分配中，虛擬機(jī)之間的通信耗時(shí)并不在研究范圍之內(nèi)，但在逐漸發(fā)展過(guò)程中，這一因素被加入其中并進(jìn)行深入研究。例如，M.Li等人在研究MapReduce應(yīng)用過(guò)程中，就數(shù)據(jù)本地化與任務(wù)本地化問(wèn)題，對(duì)云計(jì)算平臺(tái)數(shù)據(jù)節(jié)點(diǎn)、計(jì)算節(jié)點(diǎn)的部署與優(yōu)化，設(shè)計(jì)出CAM這一基于MapReduce應(yīng)用的優(yōu)化部署策略。

（2）資源層計(jì)算性能優(yōu)化部署

在資源層計(jì)算性能優(yōu)化部署策略研究過(guò)程中，由于大數(shù)據(jù)作業(yè)框架及相關(guān)應(yīng)用的差異及特性，在優(yōu)化過(guò)程中，對(duì)云計(jì)算平臺(tái)的虛擬機(jī)優(yōu)化配置、位置部署、虛擬機(jī)群規(guī)模等參數(shù)差異較大，最終也是根據(jù)云計(jì)算平臺(tái)的服務(wù)需要進(jìn)行。

具體來(lái)說(shuō)，是針對(duì)云計(jì)算平臺(tái)上虛擬機(jī)分配、分布，虛擬計(jì)算節(jié)點(diǎn)與數(shù)據(jù)節(jié)點(diǎn)的位置等參數(shù)進(jìn)行優(yōu)化，以此達(dá)到資源層優(yōu)化的最終目的。但就目前的優(yōu)化部署來(lái)看，存在一定的缺陷。首先，資源層的優(yōu)化部署目的明確，但過(guò)程過(guò)于片面化，僅僅局限于計(jì)算集群的計(jì)算性能與通信新能，而忽略了優(yōu)化部署策略對(duì)整個(gè)云計(jì)算平臺(tái)中大數(shù)據(jù)應(yīng)用的影響，例如，是否會(huì)造成目前數(shù)據(jù)處理與傳輸需求的效率的降低問(wèn)題。事實(shí)上，大數(shù)據(jù)應(yīng)用在云計(jì)算平臺(tái)上的優(yōu)化并非是區(qū)域性的，而是會(huì)造成連鎖反應(yīng)進(jìn)而影響全局，因此，片面地進(jìn)行優(yōu)化部署大多是不適用于整體性能優(yōu)化的。其次，優(yōu)化過(guò)程中成本問(wèn)題的考量存在缺陷。

1.2 平臺(tái)層優(yōu)化部署策略研究

平臺(tái)層的部署重點(diǎn)在于在云計(jì)算平臺(tái)下，將不同的軟件應(yīng)用的鏡像部署其中，并在資源層部署的基礎(chǔ)上，將虛擬資源合理分配，共同形成能夠執(zhí)行特定任務(wù)的虛擬平臺(tái)。在針對(duì)平臺(tái)層進(jìn)行優(yōu)化部署的過(guò)程中，研究重點(diǎn)在于應(yīng)用副本的優(yōu)化部署策略。大體上看，部署模式存在差異，導(dǎo)致優(yōu)化部署策略主要分為兩個(gè)方向，分別為針對(duì)本地計(jì)算節(jié)點(diǎn)的優(yōu)化與存儲(chǔ)平臺(tái)的優(yōu)化。

（1）本地計(jì)算節(jié)點(diǎn)優(yōu)化部署策略

在本地計(jì)算節(jié)點(diǎn)應(yīng)用部署模式下，應(yīng)用副本將被直接整合進(jìn)入虛擬鏡像，跟隨虛擬機(jī)的工作進(jìn)行相應(yīng)的作業(yè)。在這一部署模式下，其優(yōu)化重點(diǎn)在于針對(duì)軟件應(yīng)用的邏輯架構(gòu)進(jìn)行，應(yīng)用組件的差異將導(dǎo)致與計(jì)算平臺(tái)優(yōu)化部署的不同，以此提高不同組件的優(yōu)化效果及最終的可靠性。

（2）存儲(chǔ)平臺(tái)優(yōu)化部署策略

在存儲(chǔ)平臺(tái)優(yōu)化部署過(guò)程中，將以獨(dú)立的應(yīng)用副本在不同的存儲(chǔ)技術(shù)構(gòu)件下的云計(jì)算平臺(tái)的優(yōu)化為重點(diǎn)進(jìn)行優(yōu)化部署策略的制定。在這一部署模式下進(jìn)行的優(yōu)化，虛擬機(jī)可實(shí)現(xiàn)對(duì)相同應(yīng)用的重復(fù)執(zhí)行，只需將應(yīng)用副本掛載至現(xiàn)有的虛擬機(jī)即可，提高了執(zhí)行方式的靈活性，同時(shí)也提高了虛擬機(jī)作業(yè)的效率。

1.3 作業(yè)層調(diào)度策略研究

作業(yè)層的調(diào)度策略并非是對(duì)單作業(yè)執(zhí)行方式的考量，而是需要對(duì)多作業(yè)性能的綜合性?xún)?yōu)化，在多作業(yè)請(qǐng)求的場(chǎng)景下綜合考慮相關(guān)應(yīng)用及云計(jì)算平臺(tái)的需求與特性，調(diào)度策略更加具有綜合性，對(duì)多作業(yè)模式下的作業(yè)請(qǐng)求的執(zhí)行順序與分流方式進(jìn)行合理規(guī)劃，其目的在于從整體上提高作業(yè)流的效率與整體性能。目前，作業(yè)調(diào)度策略主要針對(duì)作業(yè)請(qǐng)求的執(zhí)行順序與分配策略?xún)煞矫孢M(jìn)行優(yōu)化。二者在進(jìn)行調(diào)度程度過(guò)程中，其優(yōu)化目標(biāo)所設(shè)定的參數(shù)各不相同，能夠在一定程度上實(shí)現(xiàn)優(yōu)化，但也存在一些不足。目前，作業(yè)層調(diào)度策略的優(yōu)化缺乏兩階段調(diào)度共同優(yōu)化理念，往往僅僅針對(duì)某一階段設(shè)計(jì)優(yōu)化，也因此導(dǎo)致作業(yè)調(diào)度性能的整體評(píng)估無(wú)法進(jìn)行。因此，在進(jìn)行作業(yè)層調(diào)度策略?xún)?yōu)化時(shí)，應(yīng)當(dāng)考慮其在不同場(chǎng)景下的兩階段組合調(diào)度策略的最優(yōu)化選擇。

3 結(jié)語(yǔ)

綜上所述，基于云計(jì)算平臺(tái)的大數(shù)據(jù)應(yīng)用日益廣泛，并將在未來(lái)的更多領(lǐng)域中起到重要作用，但就目前應(yīng)用情況看，仍舊存在一些問(wèn)題亟待解決。文章以大數(shù)據(jù)應(yīng)用在云計(jì)算平臺(tái)的優(yōu)化為核心展開(kāi)，探討了大數(shù)據(jù)應(yīng)用在云計(jì)算平臺(tái)中資源層、平臺(tái)層及作業(yè)層的優(yōu)化問(wèn)題及相關(guān)的一些建議，基于此旨在為我國(guó)未來(lái)云計(jì)算平臺(tái)上大數(shù)據(jù)應(yīng)用的優(yōu)化提供些許參考。

參考文獻(xiàn)

[1]徐聰.大數(shù)據(jù)應(yīng)用在云計(jì)算平臺(tái)的優(yōu)化部署與調(diào)度策略研究[D].清華大學(xué)，2015.

[2]王寧.云計(jì)算環(huán)境下數(shù)據(jù)管理與任務(wù)調(diào)度優(yōu)化策略研究[D].北京科技大學(xué)，2015.

[3]郭力爭(zhēng).云計(jì)算環(huán)境下資源部署與任務(wù)調(diào)度研究[D].東華大學(xué)，2015.endprint