一種云計(jì)算中心資源動(dòng)態(tài)調(diào)度技術(shù)*

劉清 喻學(xué)明 周結(jié)華 程士廣

（中國(guó)西安衛(wèi)星測(cè)控中心 西安 710043）

1 引言

在云計(jì)算中心提供資源服務(wù)過(guò)程中，通常會(huì)面臨各宿主服務(wù)器實(shí)際資源利用率動(dòng)態(tài)波動(dòng)的問(wèn)題，需要對(duì)其資源進(jìn)行必要的動(dòng)態(tài)調(diào)度。高斯過(guò)程是一種服從正態(tài)分布的隨機(jī)過(guò)程［1～2］，可作為聯(lián)合正態(tài)分布的無(wú)限維廣義延伸［3～4］因數(shù)學(xué)期望是一常數(shù)進(jìn)而被核函數(shù)完全定義［1，5］。高斯過(guò)程具有邊緣分布性質(zhì)，主要應(yīng)用于各領(lǐng)域的建模和預(yù)報(bào)，可以結(jié)合先驗(yàn)知識(shí)對(duì)數(shù)據(jù)做出有效的預(yù)測(cè)，特別是在時(shí)間序列分析中應(yīng)用場(chǎng)景中可較好地解決時(shí)間序列多步前向預(yù)報(bào)問(wèn)題［6～7］。云計(jì)算中心基礎(chǔ)資源的性能數(shù)據(jù)是典型的時(shí)間序列，可利用高斯過(guò)程在時(shí)間序列多步前向預(yù)報(bào)方面的優(yōu)勢(shì)，對(duì)云資源使用趨勢(shì)進(jìn)行提前預(yù)測(cè)，并基于此預(yù)測(cè)動(dòng)態(tài)遷移各虛擬機(jī)在宿主服務(wù)器中的部署，以達(dá)到均衡各服務(wù)器負(fù)載和提高服務(wù)質(zhì)量的目的。本文選擇高斯過(guò)程算法作為云資源預(yù)測(cè)模型，并優(yōu)化核函數(shù)的加速計(jì)算方法和核矩陣求逆的時(shí)間復(fù)雜度，確定σ和l 兩個(gè)超參數(shù)最優(yōu)取值，有效解決模型計(jì)算開(kāi)銷呈非線性增長(zhǎng)問(wèn)題，對(duì)云資源使用時(shí)序趨勢(shì)做出有效預(yù)測(cè)?；诖祟A(yù)測(cè)得到待遷移的虛擬機(jī)和目標(biāo)服務(wù)器的關(guān)聯(lián)關(guān)系，并通過(guò)特定的方法完成虛擬機(jī)到目標(biāo)服務(wù)器的遷移工作，以實(shí)現(xiàn)提升云計(jì)算中心服務(wù)質(zhì)量、均衡資源負(fù)載和降低運(yùn)行成本的目的。

2 云計(jì)算中心資源動(dòng)態(tài)調(diào)度策略

時(shí)間序列趨勢(shì)主要分為趨勢(shì)或長(zhǎng)期動(dòng)向、季節(jié)性變化、周期性變化和無(wú)規(guī)則變化［8］，時(shí)序模型具有時(shí)間上的單項(xiàng)有序性和局部性，使得觀測(cè)值可衍生自歷史的觀測(cè)值，其周期性和趨勢(shì)性變化可被回歸模型較好地預(yù)測(cè)［8～10］在云計(jì)算中心，性能數(shù)據(jù)是典型的時(shí)間序列，可通過(guò)性能監(jiān)控獲得。其中，趨勢(shì)性變化主要受業(yè)務(wù)增長(zhǎng)影響，周期性變化則主要體現(xiàn)在由工作日、晝夜交替所引起的變化。因此可選擇回歸模型對(duì)云計(jì)算中心的資源使用情況進(jìn)行提前預(yù)測(cè)，并基于此預(yù)測(cè)結(jié)果完成云計(jì)算中心資源動(dòng)態(tài)調(diào)度

該動(dòng)態(tài)調(diào)度主要涉及三個(gè)階段：

1）預(yù)測(cè)資源時(shí)序趨勢(shì)：設(shè)計(jì)回歸模，基于使用數(shù)據(jù)預(yù)測(cè)資源使用的時(shí)間序列趨勢(shì)。

2）確定遷移關(guān)聯(lián)關(guān)系：基于預(yù)測(cè)結(jié)果和特定的匹配規(guī)則，得到待遷移虛擬機(jī)與目標(biāo)服務(wù)器的較優(yōu)對(duì)應(yīng)關(guān)聯(lián)關(guān)系。

3）完成虛擬機(jī)的遷移：根據(jù)關(guān)聯(lián)關(guān)系，采用一種基于內(nèi)存頁(yè)混合拷貝的高效可靠方式將選定虛擬機(jī)遷移到目標(biāo)服務(wù)器，并關(guān)閉其在源服務(wù)器中的運(yùn)行和釋放其占用的相關(guān)資源。

3 資源預(yù)測(cè)模型

高斯過(guò)程，是無(wú)參數(shù)化模型，基于聯(lián)系和相關(guān)性的普遍存在這一哲學(xué)理論基礎(chǔ)，可以得到新數(shù)據(jù)的有效預(yù)測(cè)值。高斯過(guò)程回歸，是使用高斯過(guò)程先驗(yàn)對(duì)數(shù)據(jù)進(jìn)行回歸分析的非參數(shù)模型［11］，采用徑向基函數(shù)（RBF）作為協(xié)方差函數(shù)，能直接輸出關(guān)于預(yù)測(cè)點(diǎn)值的概率分布，在時(shí)間序列分析領(lǐng)域能得到比較好的正則化效果。

3.1 回歸模型

本文使用高斯回歸過(guò)程作為時(shí)間序列的預(yù)測(cè)模型。對(duì)回歸模型式（1）：

高斯過(guò)程回歸取f（x）函數(shù)空間的先驗(yàn)為高斯過(guò)程，表示為0 均值高斯過(guò)程，經(jīng)推導(dǎo)可得高斯過(guò)程回歸的預(yù)測(cè)形式為式（2）［11］：

其中，X=｛X1，X2，…，XN｝，Y=｛y1，y2，…，yN｝，為給定N組學(xué)習(xí)樣本。

高斯過(guò)程回歸使用高斯過(guò)程作為先驗(yàn)，核函數(shù)通常選擇徑向基函數(shù)（RBF）作為協(xié)方差函數(shù)描述了學(xué)習(xí)樣本間的相關(guān)性，預(yù)測(cè)結(jié)果與核函數(shù)有密切聯(lián)系。

核函數(shù)的選擇要求滿足Mercer定理，可選擇核函數(shù)為徑向基函數(shù)核，表示為式（3）：

式中，，l 為RBF核的超參數(shù)，表示其帶寬和特征長(zhǎng)度尺度。

可從核函數(shù)選擇和核矩陣求逆計(jì)算優(yōu)化兩個(gè)方面引入核函數(shù)計(jì)算的加速方法進(jìn)行算法的優(yōu)化改進(jìn)，并探討σ和l兩個(gè)超參數(shù)的最優(yōu)取值情況。

3.2 核函數(shù)計(jì)算加速

由模型推導(dǎo)部分可知，高斯過(guò)程回歸要求計(jì)算核矩陣的逆矩陣式（4）：

非參數(shù)模型特性決定了，每次的推斷都需要對(duì)所有的數(shù)據(jù)點(diǎn)進(jìn)行矩陣求逆，若使用Cholesky分解求逆將導(dǎo)致n個(gè)樣本點(diǎn)時(shí)間復(fù)雜度大概是O（n3）［12］，空間復(fù)雜度是O（n2）［12］，難于適用于大量樣本的計(jì)算場(chǎng)景。

一方面，由于高斯過(guò)程回歸可基于少量學(xué)習(xí)樣本給出回歸問(wèn)題的可靠估計(jì)，因此可考慮從學(xué)習(xí)樣本中合理選擇一個(gè)微分熵最大的子集，在不對(duì)估算造成明顯影響的前提下降低核矩陣的大?。╩*n），另一方面，可將核矩陣近似為一系列低秩矩陣的乘積以簡(jiǎn)化求逆計(jì)算。此過(guò)程的計(jì)算復(fù)雜度為O（m2n）［13］，達(dá)到減少計(jì)算的目的，在m 取小值時(shí)能夠簡(jiǎn)化計(jì)算。

3.3 超參數(shù)取值優(yōu)化

由于本質(zhì)上決定了樣本點(diǎn)相似性的度量方法，核函數(shù)會(huì)影響到了整個(gè)函數(shù)的概率分布的形狀，超參數(shù)l的變大將會(huì)導(dǎo)致函數(shù)更加平滑和訓(xùn)練數(shù)據(jù)點(diǎn)之間預(yù)測(cè)方差的變小，超參數(shù)σ則直接控制方差大小。

要使得式（1）中y 出現(xiàn)的概率最大化，可通過(guò)最大化邊緣對(duì)數(shù)似然，得到核函數(shù)參數(shù)σ和l 最優(yōu)的取值［14］。

通過(guò)具體優(yōu)化實(shí)驗(yàn)可得最優(yōu)取值為：l=1.2，σ=0.8時(shí)最優(yōu)。

4 動(dòng)態(tài)調(diào)度遷移

4.1 遷移機(jī)制

在通過(guò)預(yù)測(cè)模型獲得云計(jì)算中心資源使用預(yù)測(cè)情況下，可探討對(duì)虛擬機(jī)進(jìn)行必要遷移的時(shí)機(jī)和規(guī)則，以及確定待遷移的虛擬機(jī)和目標(biāo)服務(wù)器。

要確定遷移條件，需要提前定義資源負(fù)載的上、下門限閾值以均衡服務(wù)器的資源負(fù)載，定義服務(wù)器資源告警梯度以觸發(fā)遷移，定義遷移優(yōu)先級(jí)以避免遷移導(dǎo)致的擁塞和網(wǎng)絡(luò)風(fēng)暴問(wèn)題，并需要對(duì)預(yù)測(cè)值進(jìn)行必要的濾波以避免因預(yù)測(cè)結(jié)果的突變而引起的遷入頻繁抖動(dòng)問(wèn)題，如見(jiàn)表1所示。

表1 遷移條件定義表

其中，為避免因預(yù)測(cè)結(jié)果的突變而引起遷移抖動(dòng)，要求將持續(xù)時(shí)間小于30m的變化視為干擾進(jìn)行平滑處理。資源負(fù)載門限有上、下兩個(gè)閾值，告警有紅、黃、綠三個(gè)梯度，遷移操作有1 至4 個(gè)優(yōu)先級(jí)。當(dāng)服務(wù)器因故障而出現(xiàn)紅色告警時(shí)，觸發(fā)優(yōu)先級(jí)為1 級(jí)的應(yīng)用遷移；當(dāng)服務(wù)器資源負(fù)載超出門限上閾值而出現(xiàn)紅色告警時(shí)，為提升服務(wù)質(zhì)量而觸發(fā)優(yōu)先級(jí)為2 級(jí)的優(yōu)化遷移；當(dāng)服務(wù)器資源負(fù)載超出門限下閾值而出現(xiàn)黃色告警時(shí)，服務(wù)器資源利用率過(guò)低，需要觸發(fā)遷入以提高資源使用效率，或者遷出虛擬機(jī)以釋放服務(wù)器占用，以達(dá)到提高云計(jì)算中心資源利用率。遷入接受對(duì)象是告警為綠色梯度的正常工作服務(wù)器。

宿主服務(wù)器上通常會(huì)運(yùn)行多個(gè)虛擬機(jī)，當(dāng)遷移觸發(fā)時(shí)，需要根據(jù)告警梯度、遷移優(yōu)先級(jí)、資源調(diào)整效果、遷移開(kāi)銷等因素對(duì)虛擬機(jī)群進(jìn)行綜合評(píng)估，從而找出最佳的遷移關(guān)聯(lián)關(guān)系。

在評(píng)估遷移關(guān)聯(lián)關(guān)系時(shí)，假設(shè)服務(wù)器的因素向量s=［資源負(fù)載，濾波條件，告警梯度，優(yōu)先級(jí)，…］，進(jìn)行模糊化處理后可得服務(wù)器函數(shù)為式（5）：

其中，si為第i個(gè)服務(wù)器的因素向量輸入。

假設(shè)虛擬機(jī)的因素向量v=［重要度，資源占用大小，遷移開(kāi)銷，遷移加權(quán)，…］'，進(jìn)行模糊化處理后可得虛擬機(jī)函數(shù)為式（6）：

其中，si為第i個(gè)服務(wù)器的因素向量輸入。

在進(jìn)行關(guān)聯(lián)處理時(shí)，要滿足以下原則：

1）滿足告警梯度和遷移優(yōu)先級(jí)的響應(yīng)原則；

2）待遷移虛擬機(jī)占用資源大小與觸發(fā)遷移服務(wù)器期望資源大小匹配，且滿足貪心算法原則，以盡量避免對(duì)虛擬機(jī)業(yè)務(wù)的中斷影響。

3）遷移開(kāi)銷最小化原則，降低遷移導(dǎo)致的能耗和網(wǎng)絡(luò)開(kāi)銷。

4）虛擬機(jī)的遷移加權(quán)原則，將多次遷移，或者不太活躍的虛擬機(jī)設(shè)置較高的權(quán)重系數(shù)，盡量將虛擬機(jī)客戶的不滿意率降到最低。

將服務(wù)器函數(shù)Si 與虛擬機(jī)函數(shù)Vj 聯(lián)合求解可得遷移關(guān)聯(lián)函數(shù)為式（7）：

從而可以得到遷移目標(biāo)服務(wù)器與待遷移虛擬機(jī)之間的對(duì)應(yīng)關(guān)系。

4.2 動(dòng)態(tài)遷移

虛擬機(jī)動(dòng)態(tài)遷移本質(zhì)上是處理待遷移虛擬機(jī)與相關(guān)宿主服務(wù)器的資源占用轉(zhuǎn)移，主要涉及存儲(chǔ)、網(wǎng)絡(luò)關(guān)系、虛擬機(jī)內(nèi)存等狀態(tài)。其中，對(duì)于存儲(chǔ)，因NAS 等共享存儲(chǔ)設(shè)備的廣泛使用，數(shù)據(jù)中心內(nèi)的虛擬機(jī)遷移能夠避免遷移磁盤存儲(chǔ)的操作；對(duì)于網(wǎng)絡(luò)關(guān)系，數(shù)據(jù)中心內(nèi)的局域網(wǎng)環(huán)境，能夠通過(guò)ARP廣播方式實(shí)現(xiàn)網(wǎng)絡(luò)連接的遷移。

因此，虛擬機(jī)內(nèi)存等狀態(tài)將成為遷移的關(guān)鍵內(nèi)容，相關(guān)研究文獻(xiàn)提出了虛擬機(jī)遷移的原則，并通常劃分為推送復(fù)制（push）、停機(jī)拷貝（slop-andcopy）、按需復(fù)制（pull）三個(gè)階段［15］。其中，也有文獻(xiàn)［16～17］綜合考慮現(xiàn)有遷移方式中存在的問(wèn)題，提出一種更高效可靠的基于內(nèi)存頁(yè)混合拷貝方式的虛擬機(jī)在線遷移技術(shù)。

為避免虛擬機(jī)在目標(biāo)節(jié)點(diǎn)的缺頁(yè)問(wèn)題，提高虛擬機(jī)遷移后重啟階段在宿主服務(wù)器本地對(duì)內(nèi)存數(shù)據(jù)和vCPU 狀態(tài)的優(yōu)先命中率，可在虛擬機(jī)內(nèi)存狀態(tài)遷移的起始階段就采用內(nèi)存頁(yè)的迭代拷貝設(shè)計(jì)，以降低虛擬機(jī)遷移失敗的風(fēng)險(xiǎn)和減少遷移總時(shí)間，進(jìn)一步提保障云計(jì)算中心的服務(wù)質(zhì)量。遷移流程如圖1 所示。

圖1 虛擬機(jī)遷移流程示意圖

整個(gè)遷移流程，首先在虛擬機(jī)正常運(yùn)行情況下，將某一時(shí)刻虛擬機(jī)的內(nèi)存數(shù)據(jù)保存并迭代拷貝至關(guān)聯(lián)服務(wù)器；然后掛起虛擬機(jī)，并將此刻該虛擬機(jī)的vCPU 狀態(tài)拷貝至關(guān)聯(lián)服務(wù)器；最后在關(guān)聯(lián)服務(wù)器本地命中拷貝的虛擬機(jī)內(nèi)存數(shù)據(jù)和vCPU 狀態(tài)，命中成功后啟動(dòng)該虛擬機(jī)，命中失敗時(shí)向源服務(wù)器發(fā)送缺頁(yè)請(qǐng)求。對(duì)于源服務(wù)器，如果在設(shè)定時(shí)間內(nèi)沒(méi)有收到目的服務(wù)器發(fā)送的異常請(qǐng)求，則表明遷移成功，可終止遷移的虛擬機(jī)運(yùn)行和釋放其占用的相關(guān)資源。

5 實(shí)驗(yàn)及驗(yàn)證

在實(shí)驗(yàn)中，基于我國(guó)自主知識(shí)產(chǎn)權(quán)的燕云管理平臺(tái)，部署9 臺(tái)服務(wù)器模擬云計(jì)算中心環(huán)境，設(shè)定觸發(fā)遷移的相關(guān)條件參數(shù)取值定義如下表2所示。

表2 遷移觸發(fā)參數(shù)表

將對(duì)資源利用率預(yù)測(cè)結(jié)果作為下一次調(diào)度開(kāi)始之前以時(shí)序頻率為間隔的一系列預(yù)測(cè)數(shù)據(jù)點(diǎn)，選擇高斯過(guò)程回歸作為預(yù)測(cè)模型定期進(jìn)行云計(jì)算中心資源使用情況的時(shí)序預(yù)測(cè)，并根據(jù)具體需要預(yù)測(cè)的步數(shù)，代入上面得到的模型公式（2）對(duì)未知參數(shù)進(jìn)行估計(jì)，使得平均絕對(duì)誤差或殘差平方和最小化，計(jì)算出預(yù)測(cè)結(jié)果。

實(shí)驗(yàn)對(duì)選定的某服務(wù)器X 的CPU 實(shí)時(shí)利用率為負(fù)載表征，將00：00 至23：59 資源利用率數(shù)據(jù)離散記錄為151 個(gè)數(shù)值。分析預(yù)測(cè)結(jié)果，最終得到預(yù)測(cè)結(jié)果與實(shí)際觀測(cè)值的對(duì)比如圖2所示。

圖2 高斯過(guò)程回歸模型預(yù)測(cè)結(jié)果示意圖

上圖所示的預(yù)測(cè)結(jié)果示意圖中可知，選擇的試驗(yàn)服務(wù)器X 的CPU 資源預(yù)測(cè)數(shù)據(jù)與觀測(cè)數(shù)據(jù)基本一致，雖然存在一定波動(dòng)情況，但可以看出預(yù)測(cè)模型預(yù)測(cè)值與實(shí)際觀測(cè)值之間擬合度較好，基本可以達(dá)到對(duì)資源利用率進(jìn)行預(yù)測(cè)的初始目的。

對(duì)整個(gè)實(shí)驗(yàn)環(huán)境的9 臺(tái)服務(wù)器，采用本文動(dòng)態(tài)資源調(diào)度技術(shù)前后在線的服務(wù)器數(shù)量也呈現(xiàn)明顯變化，如圖3所示。

圖3 服務(wù)器在線對(duì)比果示意圖

由上圖4 可知，采用本文動(dòng)態(tài)資源調(diào)度技術(shù)前9 臺(tái)服務(wù)器均24 小時(shí)在線提供基礎(chǔ)資源服務(wù)。采用本文動(dòng)態(tài)資源調(diào)度技術(shù)后，在資源使用高峰時(shí)需要9 臺(tái)服務(wù)器均在線，以滿足資源使用的峰值需求；而在資源使用低谷時(shí)，通過(guò)虛擬機(jī)的在線動(dòng)態(tài)遷移，只需3 臺(tái)服務(wù)器在線提供資源服務(wù)即能滿足客戶的資源使用需求，另外6 臺(tái)空閑服務(wù)器可關(guān)閉以節(jié)約成本。

基于預(yù)測(cè)結(jié)果和預(yù)先定義的遷移觸發(fā)條件，進(jìn)行動(dòng)態(tài)資源調(diào)度遷移。采用上述相同的統(tǒng)計(jì)方法，對(duì)服務(wù)器X 動(dòng)態(tài)資源調(diào)度場(chǎng)景下的CPU 資源占用情況進(jìn)行采集，并與之前同時(shí)段24 小時(shí)觀測(cè)的值進(jìn)行對(duì)比，如下圖4所示。

圖4 服務(wù)器X資源使用對(duì)比果示意圖

由上圖可知，原服務(wù)器X 的CPU 資源使用率，隨著上下班等周期因素的影響而出現(xiàn)從25%到95%的較大范圍波動(dòng)，平均為58%。采用本文動(dòng)態(tài)資源調(diào)度技術(shù)后，服務(wù)器X的CPU資源使用率平均為85.16%，其曲線能夠保持相對(duì)平穩(wěn)。這樣，既能保證較好的資源服務(wù)質(zhì)量，又能充分發(fā)揮服務(wù)器的使用效率。

隨著趨勢(shì)的周期變化，基于資源使用時(shí)序預(yù)測(cè)結(jié)果，動(dòng)態(tài)遷移虛擬機(jī)使得客戶對(duì)云計(jì)算中心提供的資源服務(wù)有較好的滿意度，同時(shí)通過(guò)釋放空閑服務(wù)器使得服務(wù)器資源使用率提高147%左右。

6 結(jié)語(yǔ)

云計(jì)算中心的資源，使用呈現(xiàn)典型的時(shí)間序列變化的周期特征，可使用回歸模型對(duì)其進(jìn)行提前的預(yù)測(cè)，并基于對(duì)預(yù)測(cè)結(jié)果的分析處理和特定的虛擬機(jī)遷移觸發(fā)規(guī)則，動(dòng)態(tài)調(diào)度資源的使用。一方面，基于對(duì)云計(jì)算中心資源使用預(yù)測(cè)模型的探討，選擇高斯回歸算法作為基礎(chǔ)模型，并從核函數(shù)計(jì)算加速以降低了計(jì)算的時(shí)間復(fù)雜度，確定σ和l 兩個(gè)超參數(shù)分別取值為1.2 和0.8 時(shí)高斯過(guò)程回歸模型推薦效果最優(yōu)。另一方面，當(dāng)預(yù)測(cè)結(jié)果觸發(fā)虛擬機(jī)遷移時(shí)，采用內(nèi)存頁(yè)混合拷貝方式的虛擬機(jī)在線遷移技術(shù)，動(dòng)態(tài)調(diào)度資源的使用，使得提供資源服務(wù)的服務(wù)器資源利用率能夠比較穩(wěn)定的維持在85%左右。本文研究，通過(guò)優(yōu)化后的高斯過(guò)程回歸模型能直接輸出較好的云計(jì)算中心資源利用率預(yù)測(cè)，并基于此預(yù)測(cè)結(jié)果進(jìn)行云計(jì)算中心內(nèi)部的統(tǒng)一資源動(dòng)態(tài)調(diào)度使用，將資源率用率提高147%左右，達(dá)到了保障資源服務(wù)質(zhì)量和節(jié)約資源成本的目的，為云計(jì)算中心建設(shè)提供了一個(gè)參考方法。