云計算技術及資源調(diào)度策略研究

余茂琴，魏家植，王 強，汪喆遠

（中電萊斯信息系統(tǒng)有限公司，江蘇南京 210000）

引言

云計算作為新基建中的關鍵技術，在未來數(shù)字化經(jīng)濟中發(fā)揮著重要作用，因此，云數(shù)據(jù)中心在當下信息社會中的重要性不言而喻[1]。隨著云計算數(shù)據(jù)中心規(guī)模的不斷擴張，面對海量的用戶工作負載請求，云計算數(shù)據(jù)中心資源的分配和調(diào)度問題在學術界和工業(yè)界都得到了廣泛深入的研究和實踐。

不同于以往直接為用戶提供計算機基礎設施，云計算本質(zhì)上一種新的商業(yè)服務交付方式，提供的是虛擬服務。依托云計算數(shù)據(jù)中心，通過低成本的X86 服務器大規(guī)模集成以獲取巨大算力，聚焦于應用程序和底層服務協(xié)議深度結合，以獲取良好兼容性，配置多個冗余備用服務器，保障其可靠性，實現(xiàn)低成本高效率對大規(guī)模數(shù)據(jù)處理和存儲的要求[2]。在云計算中資源配置是該技術的重要一環(huán)，直接關系到運營成本以及用戶的實際體驗，但資源調(diào)度是一個NP-hard 問題，目前尚未有一個較為完善的解決方案，尤其在大規(guī)模計算中，無法在有效時間內(nèi)獲取最優(yōu)解[3]，亟待進一步優(yōu)化資源調(diào)度算法。

本文對云計算在數(shù)據(jù)中心的作用和主要特點進行概述，分析資源配置對云計算的能力支撐，總結了國內(nèi)外對云計算資源配置的各類策略，如傳統(tǒng)調(diào)度算法、智能調(diào)度算法等。隨著5G 建設展開，云計算的基礎設施規(guī)模不斷增大，云計算移動端潛在用戶巨大，通過云計算的合理資源配置，不僅能降低物理設備能耗，也能提高對用戶任務的響應速度，給云計算提供商和用戶帶來巨大的收益。

1 云計算特點

(1)資源多樣性

資源的多樣性是云計算數(shù)據(jù)中心網(wǎng)絡中資源的一個顯著特征。云計算數(shù)據(jù)中心資源池中包括：CPU、GPU、內(nèi)存、儲存、網(wǎng)絡帶寬等各種資源，不同類型資源的配比組成也完全不同，需要根據(jù)任務側重點進行個性化配置。依托規(guī)模龐大、種類齊全的云計算資源，云計算服務商為用戶提供定制方案，滿足用戶對各類資源的需求。

(2)用戶需求異構性

用戶需求異構性主要體現(xiàn)在資源需求和服務類型不同。用戶對服務質(zhì)量要求的側重點不同，同一用戶下子用戶的需求也不盡相同。云服務的提供商和用戶簽訂服務水平協(xié)議(SLA)，量化了云服務質(zhì)量，描述所需的計算能力的預期保障用戶服務質(zhì)量，根據(jù)用戶的付費情況、需求側重，提供不同等級的服務。此外，用戶的請求時刻變化，云計算數(shù)據(jù)中心需要細分各用戶的請求，為用戶提供基本的資源保障。

(3)高可靠性與高可擴展性

為了保障云服務的可靠性，云服務商采用副本策略，為用戶數(shù)據(jù)提供數(shù)據(jù)備份。另外，云計算系統(tǒng)的資源可以擴展開發(fā)，擴展的規(guī)模能夠根據(jù)用戶的應用來動態(tài)調(diào)節(jié)。因此對于用戶來說，他們可以隨時根據(jù)需要購買任意規(guī)模的云計算資源和服務。

(4)成本低廉且計費靈活

云計算系統(tǒng)以大規(guī)模的廉價服務器集群為基礎，使用常見的普通千兆以太網(wǎng)大大降低了云計算系統(tǒng)的成本，使得云計算系統(tǒng)有相當強的價格優(yōu)勢。除此以外，成熟的虛擬化技術把各類資源整理結合到一起，統(tǒng)一管理規(guī)范，云計算系統(tǒng)也就可以實現(xiàn)對系統(tǒng)資源使用情況的自動化控制和系統(tǒng)優(yōu)化配置，用戶端即可享受到更加靈活透明的服務。

綜上，云計算系統(tǒng)的規(guī)模龐大，資源結構不同的設備數(shù)目大，用戶的使用群體比較廣泛，各自請求的任務大不相同。因此，系統(tǒng)時刻都要處理各類海量數(shù)據(jù)。在這種應用條件下，資源的分配管理，以更少的資源成本服務更多的用戶，提高云計算資源利用率，是云計算系統(tǒng)資源調(diào)度策略的技術攻堅和研究方向。

2 云計算技術架構

云計算總體架構包括四層，分別為物理層、資源層、管理層、服務層，如圖1 所示。物理層主要包括計算機、存儲資源、網(wǎng)絡設備、數(shù)據(jù)庫，為云計算提供硬件支撐；資源層包括計算資源池、存儲資源池、網(wǎng)絡資源池、數(shù)據(jù)資源池，利用虛擬化技術，將分散、異構、海量的資源優(yōu)化整合，形成一定規(guī)模的計算能力；管理層負責用戶管理、任務管理、資源管理，安全管理包括身份認證、訪問授權、綜合防護、安全審計；服務層包括服務接口、服務注冊、服務查找、服務訪問等，這一層直接與用戶對接，將用戶需求錄入，并通過管理層分配對應的計算資源[4]。

圖1 云計算總體架構

如圖2 所示，云計算資源調(diào)度體系架構主要包括用戶、中間管理、數(shù)據(jù)中心資源池。在云計算資源調(diào)度體系中，用戶根據(jù)自身需求向云服務商發(fā)送任務請求和資源申請，云服務商據(jù)調(diào)度任務的緊迫程度以及自身的預算情況，設置相應資源分配優(yōu)先級，并將任務請求劃分成多個子任務，多個任務之間可以相互獨立，也可互相依賴。數(shù)據(jù)中心資源池是云計算環(huán)境的資源提供者，根據(jù)用戶請求分配相應的資源。中間管理是連接用戶和云計算資源池的樞紐，對任務隊列進行劃分和作業(yè)部署，完成計算資源的分配。此外，研發(fā)人員也可在中間管理層通過對其進行擴展來開發(fā)不同的云計算資源調(diào)度策略。

圖2 資源分配架構圖

3 云計算資源調(diào)度

3.1 需求分析

云數(shù)據(jù)運行中常伴隨這樣的情況：新節(jié)點不斷加入到云中，舊節(jié)點不斷從云中刪除，這種動態(tài)變化使得系統(tǒng)中數(shù)據(jù)的不均衡性大大增加，導致云資源浪費，繼而減小了云數(shù)據(jù)中心的效率。數(shù)據(jù)顯示，云計算的服務器利用率不高，平均利用率在百分之十左右。因此必須設計合理的云資源分配算法來解決云數(shù)據(jù)中心的服務器負載不均衡問題，提高云數(shù)據(jù)系統(tǒng)的利用效率，采用一種什么樣的調(diào)度策略來實現(xiàn)負載均衡分布、避免流量擁擠、加快響應速度、提高執(zhí)行效率、降低能耗，它是云計算中亟待解決的問題之一。

(1)資源調(diào)度能夠提升硬件的處理能力、減少硬件的投入。隨著云計算技術不斷成熟，其用戶數(shù)量和用戶需求快速增長，相應的計算資源、存儲資源等各類資源也需要進行增配。通過不斷增加設備，帶來的成本負擔過大，因此有必要對現(xiàn)有的硬件設備進行高效利用。

(2)資源調(diào)度技術提高了數(shù)據(jù)的響應速度。資源調(diào)度技術的運用，能夠進行合理的資源調(diào)度及利用，根據(jù)用戶請求類型內(nèi)容，合理配置釋放資源池內(nèi)資源，加速任務處理效率，能夠為用戶提供更加優(yōu)質(zhì)的服務。

（3）資源調(diào)度技術增強了云計算可靠性，提高了云計算的可用性?？煽啃栽谠朴嬎愕倪\用中一直是一個至關重要的因素，云計算數(shù)據(jù)中心建立在眾多廉價服務器上，不可避免地會發(fā)生某個服務器故障，此時可采用云計算的資源調(diào)度技術，將故障服務器中的任務和數(shù)據(jù)遷移到別的服務器中，保障用戶的正常操作。

3.2 資源調(diào)度策略

云計算資源調(diào)度策略可以分為非智能傳統(tǒng)資源調(diào)度策略和智能化啟發(fā)式資源調(diào)度策略。非智能傳統(tǒng)資源調(diào)度策略，通常采用設定好的調(diào)度策略對資源進行簡單劃分，沒有考慮各服務器的實際負載狀況。此類型資源調(diào)度算法較為簡單，易實現(xiàn)、開銷小。然而，由于負載分配時未考慮各節(jié)點的負載情況，分配方案不一定滿足負載均衡的要求，嚴重時甚至會導致負載不均衡。啟發(fā)式資源調(diào)度策略，考慮了各節(jié)點的真實負載情況，因此任務的分配更合理，但由于要實時計算節(jié)點的負載，增加了服務器額外的計算負擔，算法復雜度比較高。

（1）Min-Min 資源調(diào)度法是一種復雜程度較低的非智能傳統(tǒng)資源調(diào)度策略，其運用廣泛，計算效率較高。該算法的核心思想是在每次用戶發(fā)出任務請求時，篩選出任務集中程度最低的任務，將任務交給計算性能最高的服務器上，以獲取最佳的用戶體驗。這種方法在任務隊列較少時，能夠較高效地完成計算服務，但是任務會大量集中在計算性能最高的服務器上，而其他服務器卻處于相對空閑的狀態(tài)，造成資源的浪費。文獻[5]對Min-Min 算法進行了改進，將集中程度最大任務和集中程度最小任務進行組合，減輕負載不平衡的問題；文獻[6]采用二次調(diào)度策略，檢測處理任務量大的服務器，將任務進行二次分配，減輕Min-Min 策略中計算性能最強的服務器負擔。

(2)輪詢算法（RR）是常用的默認調(diào)度算法，對各物理服務器進行循環(huán)依次請求。該算法的一個重要前提是它需要后端服務器硬件性能配置完全一致，且對業(yè)務無特殊要求。若各節(jié)點配置不同，該算法易導致配置低的服務器承擔過量任務，而配置高的服務器出現(xiàn)浪費，造成各節(jié)點負載不均衡。

(3)加權輪詢算法（WRR）相比于輪詢算法，充分考慮了各節(jié)點硬件性能處理水平不平均的問題。該算法綜合考慮各物理服務器性能，確定輪詢概率和權重，任務按照權重比例進行分配[7]。因此，處理能力越強的節(jié)點，會優(yōu)先分配任務。然而，該算法對權值設置依賴較高，若權值設置不合理，仍會導致性能低的節(jié)點被分配較多的任務。

(4)粒子群算法（PSO）是一種智能化啟發(fā)式資源調(diào)度策略[8]。在資源調(diào)度中，用戶請求的數(shù)量決定PSO維度，資源服務器和用戶請求決定粒子的位置?？紤]到用戶請求計算成本和數(shù)據(jù)傳輸成本，該算法首先計算所有總成本并映射到工作流應用程序。之后，考慮用戶請求之間的關系并分配可調(diào)度的用戶請求給資源服務器。用戶請求完成后，更新就緒任務列表，然后根據(jù)當前網(wǎng)絡負載的狀態(tài)，更新資源服務器之間平均通信代價，并重新粒子群映射[9]。當資源服務器不可用時，遠程資源管理系統(tǒng)不會分配用戶請求給該服務器。通過重新計算的粒子群映射，再將用戶請求重新分配給可用的資源服務器，重復以上步驟，直到所有的用戶請求被調(diào)度完成。

(5)遺傳算法（GA）具有全局尋優(yōu)能力和較強的適應性,該算法將每一個分配方案都進行編碼，然后將其分配到各個計算設備上運行,根據(jù)運行時間求得適應度函數(shù)，再選擇較優(yōu)的個體遺傳到下一代[10]。文獻[11]提出雙目標調(diào)度方案，染色體中的單個基因表示用戶請求，一個有效序列基因的有效染色體表示資源服務器。首先采用雙向用戶請求優(yōu)先級獲得較好的初始種群，然后通過縮小任務總執(zhí)行時間和均衡資源服務器的負載得到當前最好的解決方案，最后通過種群個體的遺傳操作、交叉操作和變異操作不斷更新種群，最終找到范圍內(nèi)的最優(yōu)解。

(6)模擬退火算法（SA）來源于固體退火原理，通過設置冷卻進度表，賦予搜索過程時變且最終趨于零的概率突跳性[12]，有效避免了算法陷入局部極小，并能最終趨于全局最優(yōu)。由于該算法在迭代時，是由當前新解經(jīng)過簡單的變換即可產(chǎn)生新解，目標函數(shù)差僅由變換部分產(chǎn)生，因此計算較快，有效地減小了時間和成本，降低了用戶請求的執(zhí)行時間-代價及不同用戶請求間的數(shù)據(jù)傳輸時間-代價[13]。

4 結束語

本文針對云計算系統(tǒng)的特點，分析了云計算技術框架，總結了云計算中資源調(diào)度的必要性，給出目前相對成熟的資源調(diào)度方法。盡管現(xiàn)階段已衍生出多種資源調(diào)度算法，但虛擬機的遷移依然不可避免，相關研究依然需要進一步研究。相關的智能算法還存在容易陷入局部最優(yōu)的問題，后續(xù)研究需要進一步增強數(shù)據(jù)隨機搜索能力，保障資源調(diào)度的合理路徑。此外，現(xiàn)階段的資源調(diào)度算法，大多以最短調(diào)度時間為目標，沒有考慮到資源間的通信成本和資源調(diào)度成本，并且算法基本都以用戶請求彼此獨立為研究前提，忽略用戶請求間的聯(lián)系，后續(xù)研究應將這些因素納入資源調(diào)度的考量因素，提升資源調(diào)度效率，降低調(diào)度成本。