基于長-短時序特征融合的資源負載預測模型

王藝霏，于雷，滕飛*，宋佳玉，袁玥

（1.西南交通大學 信息科學與技術學院，成都 610000； 2.北京航空航天大學 中法工程師學院，北京 100000；3.北京航空航天大學 杭州創(chuàng)新研究院（余杭），杭州 310000）（?通信作者電子郵箱fteng@swjtu.edu.cn）

基于長-短時序特征融合的資源負載預測模型

王藝霏1，于雷2，3，滕飛1*，宋佳玉1，袁玥1

（1.西南交通大學 信息科學與技術學院，成都 610000； 2.北京航空航天大學 中法工程師學院，北京 100000；3.北京航空航天大學 杭州創(chuàng)新研究院（余杭），杭州 310000）（?通信作者電子郵箱fteng@swjtu.edu.cn）

高準確率的資源負載預測能夠為實時任務調度提供依據(jù)，從而降低能源消耗。但是，針對資源負載的時間序列的預測模型，大多是通過提取時間序列的長時序依賴特性來進行短期或者長期預測，忽略了時間序列中的短時序依賴特性。為了更好地對資源負載進行長期預測，提出了一種基于長-短時序特征融合的邊緣計算資源負載預測模型。首先，利用格拉姆角場（GAF）將時間序列轉變?yōu)閳D像格式數(shù)據(jù)，以便利用卷積神經(jīng)網(wǎng)絡（CNN）來提取特征；然后，通過卷積神經(jīng)網(wǎng)絡提取空間特征和短期數(shù)據(jù)的特征，用長短期記憶（LSTM）網(wǎng)絡來提取時間序列的長時序依賴特征；最后，將所提取的長、短時序依賴特征通過雙通道進行融合，從而實現(xiàn)長期資源負載預測。實驗結果表明，所提出的模型在阿里云集群跟蹤數(shù)據(jù)集CPU資源負載預測中的平均絕對誤差（MAE）為3.823，均方根誤差（RMSE）為5.274，擬合度（R2）為0.815 8，相較于單通道的CNN和LSTM模型、雙通道CNN+LSTM和ConvLSTM+LSTM模型，以及資源負載預測模型LSTM-ED和XGBoost，所提模型的預測準確率更高。

資源負載預測；卷積神經(jīng)網(wǎng)絡；長短期記憶網(wǎng)絡；格拉姆角場；雙通道；時間序列預測

0 引言

工業(yè)互聯(lián)網(wǎng)作為新一代信息技術與制造業(yè)深度融合的產(chǎn)物，日益成為新工業(yè)革命的關鍵技術支撐和深化制造強國的重要基石。但在工業(yè)互聯(lián)網(wǎng)場景下，邊緣設備的資源使用率問題日漸突出，其能源消耗也在不斷上升。通過對全球數(shù)據(jù)中心進行隨機使用，統(tǒng)計得到全球服務器的處理器使用率只有17.76%［1］，較低的資源使用率意味著更多的投資成本和較高的能源消耗，因此提高工業(yè)互聯(lián)網(wǎng)設備中心的資源使用率，特別是處理器的使用率，具有較高的經(jīng)濟和環(huán)保價值。

需要對資源負載進行預測，預測方法大多是與時間序列相關的，一般可以分為三類：傳統(tǒng)的統(tǒng)計模型、基于機器學習的智能算法和混合算法。傳統(tǒng)的統(tǒng)計模型［2-9］，比如自回歸（Auto-Regressive， AR）模型、移動平均（Moving Average， MA）模型、AR與MA相結合的自回歸移動平均（Auto-Regressive Moving Average， ARMA）模型，以及整合移動平均自回歸（Autoregressive Integrated MA， ARIMA）模型等，被廣泛應用于對時間序列的預測。機器學習模型采用一系列的機器學習方法來實現(xiàn)預測，比如多層感知器（Multi-Layer Perceptron， MLP）［10-11］、自組織特征映射（Self-Organizing Feature Mapping， SOFM）神經(jīng)網(wǎng)絡［12］、支持向量機（Support Vector Machine， SVM）、K近鄰法（K-Nearest Neighbor， KNN）［13］、自然啟發(fā)算法、深度置信網(wǎng)絡（Deep Belief Network， DBN）和人工神經(jīng)網(wǎng)絡（Artificial Neural Network， ANN）等［14］。其中神經(jīng)網(wǎng)絡是現(xiàn)在針對應用變形最多的方法，例如帶有反向傳播算法的前饋神經(jīng)網(wǎng)絡，即反向傳播神經(jīng)網(wǎng)絡（Back Propagation Neural Network， BPNN）是預測中最常用的神經(jīng)網(wǎng)絡類型［15-17］，此外還有許多模型將自周期方法與人工神經(jīng)網(wǎng)絡相結合來提高預測的精度?；旌纤惴ㄊ菍⒁恍┢渌惴ㄅc基于機器學習的算法結合起來的智能算法，通常是對數(shù)據(jù)提前做處理，然后再對處理后的數(shù)據(jù)進行預測，例如將周期性檢測技術與遺傳反向傳播算法訓練的神經(jīng)網(wǎng)絡相結合等。但是現(xiàn)有的資源負載預測模型通常只考慮了負載時間序列的長時序依賴性，對于時間序列中存在的空間特性和短時序依賴性并未很好地利用，導致這些方法在長期資源負載預測中，準確率相對較低。

根據(jù)前期研究的積累發(fā)現(xiàn)，在現(xiàn)有的深度學習模型中，卷積神經(jīng)網(wǎng)絡（Convolutional Neural Network， CNN）和長短期記憶（Long-Short Term Memory， LSTM）網(wǎng)絡都可以用于時間序列預測，且CNN和LSTM在短期預測方面的準確率相近，但是對于多步時序預測，LSTM的擬合度（R-squared，R2）下降趨勢相較于CNN要平緩一些，在時間序列分析領域，CNN有利于提取時間序列的短時序依賴特性，而LSTM在提取時間序列的長時序依賴特性方面具有優(yōu)勢。

基于上述分析，本文提出了一種基于長-短時序特征融合的組合模型預測方法，分別提取時間序列的短時序依賴信息和長時序依賴信息，以及空間特征，然后通過雙通道融合技術對所提取的特征進行相互補充，從而實現(xiàn)可靠的資源負載預測。

本文的主要工作如下：

1）提出了一種基于CNN和LSTM的端到端的雙通道資源負載預測模型，其中CNN用于提取時間序列的空間特征和短時序依賴特征，LSTM用于提取時間序列的長時間依賴特征，從而實現(xiàn)多角度的時間序列特征提取。

2）設計了一種多輸入的深度學習模型，一個輸入為時間序列，通過格拉姆角場（Gram Angle Field， GAF）變?yōu)榫哂腥ǖ赖牟噬珗D像，從而可以更好地利用機器視覺中的神經(jīng)網(wǎng)絡；一個輸入為時間序列，通過LSTM來提取時間特征，并且設計了雙通道來對時間序列短時序依賴和長時序依賴特征進行提取和相互補充，從而實現(xiàn)高質量的長期時序預測。

1 相關工作

1.1 CNN模型

卷積神經(jīng)網(wǎng)絡（CNN）通過固定尺寸的卷積核在圖像上進行卷積計算，并且通過前向反饋來提取圖像的特征［18］，由于其具有強大的網(wǎng)格數(shù)據(jù)處理能力，已經(jīng)被廣泛地應用于計算機視覺領域來提取圖像的特征。CNN的結構主要包括輸入層、卷積層、池化層、全連接層和輸出層這五部分，其中卷積層和池化層將輸入層的信息進行特征轉換和特征提取，全連接層將從卷積層和池化層得到的局部信息連接起來，輸出層將從全連接層得到的信息映射為輸出信號，并輸出。典型的CNN結構如圖1所示。

圖1 CNN結構Fig. 1 Structure of CNN

在CNN結構中，最重要且獨特的是卷積層，因為該層是通過卷積核來提取輸入變量的特征，實現(xiàn)輸入信息的特征映射，卷積層值需要連接上一層的部分神經(jīng)元即可，而卷積核的尺度要小于輸入層輸入信息的尺度。在特征映射過程中，各個元素的計算式如式（1）所示：

1.2 LSTM模型

長短期記憶（LSTM）網(wǎng)絡是一種循環(huán)神經(jīng)網(wǎng)絡（Recurrent Neural Network， RNN），主要被用于學習時間序列中隱藏的、不容易被發(fā)現(xiàn)的規(guī)律。RNN在隱藏層中具有反饋循環(huán)機制，從而來存儲時間序列中之前的信息，輸入的是一個包含特定時刻和過去時刻的特征。因此，它可以將上下文信息關聯(lián)起來，在許多領域都有較好的表現(xiàn)；但是隨著網(wǎng)絡層數(shù)和迭代次數(shù)的增多，它的局限性也愈發(fā)明顯，在輸入的特征過長時，會存在長期依賴性，而RNN的后續(xù)節(jié)點會逐漸忘記之前的信息，并且會導致梯度遞減和梯度爆炸等問題。為了解決RNN的弊端，LSTM［19］被提出，LSTM和RNN的不同之處在于，RNN中所有的隱藏層都連接了上一個隱藏層的所有神經(jīng)元，如圖2所示；而LSTM在隱藏層中使用了三個門控單元，分別是輸入門、輸出門和遺忘門，用來更新或丟棄歷史信息，其網(wǎng)絡結構如圖3所示。圖3中，表示各個門，“”表示對信息進行過濾運算，“”表示對信息進行疊加運算。

圖2 RNN的時間展開Fig. 2 Time expansion of RNN

圖3 LSTM結構Fig. 3 Structure of LSTM

對于遺忘門，通過sigmoid函數(shù)來控制信息的過濾，如式（2）：

對于輸入門，則是將輸入的信息選擇性地進行過濾，如式（3）：

同時，在時間步t，原輸入應為，根據(jù)RNN的前向傳播，輸入在經(jīng)過線性變換之后還需要使用激活函數(shù)進行激活，如式（4）：

對于輸出門，按照式（6）～（7）得到門概率分布，對輸入到下一個時間步的信息進行過濾。

2 基于長-短時序特征融合的預測模型

本章主要介紹所提出的基于CNN和LSTM的長-短時序特征融合的雙通道多輸入預測模型。

2.1 總體架構

針對現(xiàn)有時間序列預測模型中存在的不足，以及CNN在時間序列短時序特征提取方面的優(yōu)勢和LSTM在時間序列長時序特征提取方面的優(yōu)勢，本文提出了一種基于長-短時序特征融合的雙通道多輸入組合預測模型GAF-CNN-LSTM，其網(wǎng)絡結構如圖4所示。

由圖4可以看出，兩個通道都用來提取各自通道輸入的數(shù)據(jù)樣本的特征，不同的是ConvLSTM模型通道主要用來提取時間序列的短時序依賴特征，而LSTM模型通道主要用來提取時間序列的長時序依賴特征，從而得到兩個輸入樣本的短時序依賴特征張量和長時序依賴特征張量。為了能夠使兩個通道所提取的特征對最終預測結果的影響達到平衡，需要設置兩個張量和的維度相同，都為，將這兩個張量拼接為一個維度為2n的張量P，最后將張量P輸入到全連接神經(jīng)網(wǎng)絡層，進行張量的維度變換，從而得到最終的預測結果。

圖4 GAF-CNN-LSTM模型結構Fig. 4 Structure of GAF-CNN-LSTM model

2.2 ConvLSTM通道

為了能夠提取時間序列的短時序依賴特征，基于現(xiàn)有的研究，本文提出用基于CNN的卷積LSTM模型ConvLSTM來對時間序列樣本進行短時序依賴特性提取。

在ConvLSTM模型中，主要通過卷積層來提取時間序列樣本的特征，而卷積層更多地用于三通道圖像等規(guī)則數(shù)據(jù)的特征提取。為了能夠更好地利用卷積層提取短時序特征的特性，本文將短期時間序列通過格拉姆角場（GAF）轉變?yōu)槿ǖ赖牟噬珗D像，從而構成一個靜態(tài)時序圖。

GAF是由Wang等［20］提出的一種將時間序列轉變?yōu)閳D像的技術。時間序列轉換為圖像的過程主要包括三部分：首先將輸入的時間序列數(shù)據(jù)歸一化到；然后將規(guī)范化之后的時間序列信號從笛卡兒坐標轉換為極坐標，并且保留輸入信號的時間信息；最后，通過三角余弦函數(shù)將極坐標中的每個時間點與其他時間點進行時間相關性比較，從而得到一個的格拉姆矩陣，其中n為一個時間序列中采樣點的個數(shù)。

通過角度和半徑來表示時間序列的值和其對應的時間戳，其中用式（9）計算角度：

然后，通過ConvLSTM通道提取該通道數(shù)據(jù)樣本的時空信息，其中，局部鄰域和過去狀態(tài)的輸入決定了網(wǎng)格單元的未來狀態(tài)，狀態(tài)之間的轉換由卷積算子實現(xiàn)，具體的網(wǎng)絡結構如圖5所示。

圖5 ConvLSTM通道模型結構Fig. 5 Structure of ConvlSTM channel model

ConvLSTM網(wǎng)絡層主要是通過卷積運算來對時序中的權值進行計算，從而將圖像的空間特征提取出來，并且通過將上一層的輸出當作下一層的輸入，從而提取靜態(tài)時序圖的短時序特征，其主要計算式如下：

在輸入的樣本中，存在樣本數(shù)據(jù)分布不均勻的現(xiàn)象，為了緩解樣本不均對模型準確性的影響，使用BatchNormalization層來對數(shù)據(jù)進行歸一化，同時也可以防止網(wǎng)絡過擬合。

通過兩個LSTM層來進一步提取時間序列中的時序特征，最后通過全連接層（Fully Connected layer， FC）輸出ConvLSTM通道得到的維度為n的張量P1（）。

2.3 LSTM通道

根據(jù)前期實驗結果發(fā)現(xiàn)，LSTM在獲取時間序列的長時序依賴特性方面有很大的優(yōu)勢，為了提取時間序列樣本的長時序依賴特性，本文在長時序依賴特性提取通道中使用LSTM模型來獲取特征向量。本文所設計的LSTM通道的結構由兩層LSTM組成，最后通過全連接層FC得到張量P2（）。

隨著信息化建設進程加速，網(wǎng)絡技術行業(yè)應用范圍迅速擴展，涉及知識更新迅速。導致高校出現(xiàn)師資技術水平跟不上行業(yè)發(fā)展速度、教學資源更新難度大等問題。當新技術出現(xiàn)，往往高校教師很難獲取第一手學習資料，也很難獲取行業(yè)崗位經(jīng)驗。也為高校教師教學和指導學生帶來較大難度。于是出現(xiàn)學生所學知識無法與市場人才需求無縫接軌，如何將企業(yè)一線技術引入到教學中成為高職計算機網(wǎng)絡專業(yè)改革的一個難點和痛點。

2.4 向量融合

為了將時間序列的長時序依賴特性和短時序依賴特性融合起來，同時為了能夠使長時序依賴特性和短時序依賴特性的權重相同，本文通過張量拼接的形式將兩個通道分別提取的時間序列樣本的長、短時序依賴特性進行融合，并且通過全連接層FC對融合后的張量進行轉換，得到所需要的輸出形式。拼接后的張量可表示為式（17），F(xiàn)C層的張量轉換可表示為式（18）：

3 實驗與結果分析

3.1 數(shù)據(jù)集

本文實驗所使用的數(shù)據(jù)集是阿里云2018年發(fā)布的最新大數(shù)據(jù)平臺集群跟蹤數(shù)據(jù)集cluster-trace-v2018，該數(shù)據(jù)集中包含了4 000多臺機器、每臺機器8天內的資源使用情況，其中資源包括CPU、內存以及網(wǎng)絡輸出量和網(wǎng)絡輸入量等多個值，由6個表組成，采樣的時間間隔為10 s。數(shù)據(jù)集中共有69 121個時間點的數(shù)據(jù)，將6個連續(xù)的時間序列劃分為1個時間間隔，即1 min為1個時間間隔，選取最后的2 000個時間間隔為測試集來評判算法的有效性，其余的時間間隔用來訓練網(wǎng)絡。本文主要研究數(shù)據(jù)中心CPU的資源負載預測模型，為了使得模型預測結果更準確，本文選取了CPU和內存兩個資源值作為每臺機器每個時刻的特征值，通過CPU和內存來預測未來6個時刻的機器CPU負載值。

3.2 模型數(shù)據(jù)集構建

在構建時間序列預測模型的輸入時，通常采用滑動窗口將數(shù)據(jù)樣本進行切分，構成固定長度的時間序列，本文針對所構建的多輸入組合預測模型，將數(shù)據(jù)樣本分別由不同的方法進行樣本構建，從而達到多輸入的目的。

對于ConvLSTM通道，其輸入應為圖片，所以本文首先利用GAF將一個時間間隔長度的時間序列轉變?yōu)槿ǖ赖牟噬珗D片，再將一個數(shù)據(jù)樣本中所需的時間序列圖片拼接起來，構成一個靜態(tài)時間序列圖，如圖6所示。

對于LSTM通道，本文采用滑動窗口構建時間序列樣本，步長為60 s。

圖6 ConvLSTM通道數(shù)據(jù)樣本構建Fig. 6 Sample construction of ConvLSTM channel data

3.3 評價指標

本文在對模型進行評價時，主要采用了三個評價指標：均方根誤差（Root Mean Square Error， RMSE）、平均絕對誤差（Mean Absolute Error， MAE）和擬合度（R2），這三個指標都是在深度學習的回歸問題中常用的指標。

均方根誤差是將真實值與預測值做差然后平方之后求和，主要用來衡量觀測者和真實值之間的偏差，其RMSE的計算式如式（19），其值越小，說明模型的準確度越高。

平均絕對誤差是所有預測值與真實值偏差的絕對值的平均，主要用來反映預測值誤差的實際情況，其MAE的計算式如式（20）：

其中：m為測試樣本總量；為數(shù)據(jù)點的真實值；為數(shù)據(jù)點的預測值；為數(shù)據(jù)點的平均值。

3.4 實驗配置

本文在實驗中所設計的ConvLSTM通道和LSTM通道的配置分別如表1～2。然而，第一個輸入通道即ConvLSTM通道中的LSTM隱藏層的維度為10，第二個輸入通道即LSTM通道中兩個LSTM隱藏層的維度分別為36和20，這兩個通道中雖然都包含了LSTM網(wǎng)絡層，但這些LSTM網(wǎng)絡層是相互獨立的。

表1 ConvLSTM通道配置

Tab. 1 ConvLSTM channel configuration

網(wǎng)絡層參數(shù)ConvLSTM2D卷積核大小為64，卷積步長為（3，3）LSTM（兩層）隱藏層為10FC（兩層）輸入維度為36，輸出維度為6

3.5 消融實驗

為了驗證本文所設計的多輸入雙通道的組合預測模型的準確性，以及將時間序列轉變?yōu)閳D片的有效性，本文主要將時間序列轉變?yōu)閳D像后分別輸入單通道和雙通道模型進行對比，以及對雙通道模型分別輸入圖片和時間序列進行對比，分別計算各個模型的均方根誤差、平均絕對誤差和擬合度，以其在6個時刻的平均值作為評價依據(jù)，結果如表3所示。

由表3中的數(shù)據(jù)對比可以看出，在所有的實驗中，單通道預測的準確度整體低于雙通道。為了驗證對兩個通道的輸出張量和融合方式的有效性，本文在實驗過程中采用了兩種方式融合：一種是直接通過張量拼接的方式，其模型預測結果如表3中的ConvLSTM+LSTM模型結果；另一種是通過多層感知器（MLP）來對張量進行基于權重的融合，其模型預測結果如表3中的ConvLSTM+LSTM+MLP模型結果。由表3可知，在進行長-短時序特征融合時，張量直接拼接的模型準確性要優(yōu)于基于權重融合的模型準確性。這是由于在進行張量融合時，使用MLP進行權重融合時會造成模型參數(shù)增多，而參數(shù)越多，對數(shù)據(jù)的質量要求就越高，因此對于同樣的數(shù)據(jù)，直接進行張量拼接的效果要優(yōu)于權重融合的效果。

表2 LSTM通道配置

Tab. 2 LSTM channel configuration

網(wǎng)絡層參數(shù)LSTM1隱藏層為36LSTM2隱藏層為20FC輸出維度為6

表3 單通道與雙通道結果對比Tab. 3 Comparison of single-channel and dual-channel results

圖7給出了雙通道模型下，對于多步預測的預測值和實際值的對比，其中實際值為實際CPU負載值，預測值為雙通道模型預測的CPU負載值，表示預測的第i個時刻的結果對比。通過圖7可以看出，雙通道下模型的預測結果較為準確。

圖8給出了單通道下多步預測中，每一時刻CNN與LSTM的預測結果的R2對比。由圖8可以看出，CNN不適合做多步預測，其準確度下降趨勢大于LSTM的下降趨勢。而在雙通道中，可以將這兩個模型進行優(yōu)勢互補，當某個通道模型的預測結果出現(xiàn)較大偏差時，雙通道可以考慮另外一個所預測的結果，或者對兩個結果進行結合，從而提高整體時間序列預測結果的準確性。

圖9給出了當兩個通道輸入都為時間序列（time_time）和兩個通道中LSTM輸入時間序列、ConvLSTM輸入為圖像（image_time）時預測結果的R2對比。通過圖9可以看出，兩個通道輸入都為時間序列的模型準確度低于兩通道輸入分別為時間序列和圖像的模型準確度，將時間序列轉變?yōu)閳D像可以進一步提高大數(shù)據(jù)中心資源負載預測的準確性。

圖7 雙通道模型預測值與實際值對比Fig. 7 Comparison between predicted values of dual-channel model and actual values

圖8 CNN與LSTM的R2對比Fig. 8 Coparison of R2 between CNN and LSTM

3.6 基準算法對比實驗

同時將本文方法與LSTM-ED（LSTM Encoder-Decoder）組合模型［21］和傳統(tǒng)的線性回歸方法XGBoost［22］進行了對比實驗。LSTM-ED是一種基于長短期記憶編解碼器的預測方法，通過建立時間序列的數(shù)據(jù)內部表示來提高LSTM的存儲能力。該模型主要由兩個主要組件組成：一個編碼器和一個解碼器，前者構建一個表示，該表示封裝了來自時間序列數(shù)據(jù)的信息，后者將構建的表示“解碼”為輸出。在本文中，將數(shù)據(jù)集劃分為等長的時間序列，然后輸入到LSTM-ED模型進行長期資源負載預測。XGBoost是大規(guī)模并行boosted tree的工具，Boosting方法通過將成百上千個分類準確率較低的樹模型組合起來，構建為一個準確率很高的預測模型。這個模型會不斷地迭代，每次迭代生成一棵新的樹，該模型已經(jīng)在大量機器學習和數(shù)據(jù)挖掘挑戰(zhàn)中被廣泛地認可。

圖9 不同輸入的R2對比Fig. 9 Comparison of R2 with different inputs

實驗對比結果如表4所示，由表4可以看出本文所提模型在長期資源負載預測中優(yōu)于LSTM-ED模型，其主要原因是LSTM-ED通過編碼器和解碼器來實現(xiàn)時間序列預測，該方法可以提高LSTM的存儲能力，也就是可以更好地提取時間序列的長時序依賴特性，但是對于時間序列的短時序依賴特性以及空間特性仍然沒有提取，而本文所提方法通過ConvLSTM模型很好地將時間序列的短時序特性以及其空間特性提取出來，同時使用雙通道模型將所提取的短時序特性和長時序特性進行融合，從而得到更為有效的長期資源負載預測模型；而且與XGBoost相比，本文提出的模型整體預測性能也優(yōu)于XGBoost模型。

表4 本文模型與基準模型性能對比Tab. 4 Performance comparison of proposed model and benchmark models

3.7 模型性能

為了評估本文模型的性能，對GAF-CNN-LSTM模型和LSTM-ED模型在訓練過程中損失函數(shù)值的下降趨勢進行對比，其結果如圖10所示。

圖10 不同模型訓練損失函數(shù)對比Fig. 10 Comparison of training loss functions of different models

通過圖10可以看出，在訓練過程中，GAF-CNN-LSTM模型的損失函數(shù)在大約訓練20次之后已經(jīng)達到收斂，并一直處于穩(wěn)定狀態(tài)，而LSTM-ED模型的損失函數(shù)在訓練40次后趨于穩(wěn)定，且在下降過程中并沒有平穩(wěn)下降，能夠得出本文所提模型相較于LSTM-ED模型在訓練過程中更穩(wěn)定，但由于本文所提模型網(wǎng)絡結構更加復雜，所以在模型訓練時間上效率相較于LSTM-ED和基本線性回歸模型XGBoost略低。

4 結語

本文提出了一種基于多輸入的雙通道時間序列預測模型GAF-CNN-LSTM，利用全連接層對雙通道中每一通道所提取的特征進行優(yōu)勢互補，具體來說就是利用ConvLSTM提取深層空間特征，利用LSTM提取時間序列的時序依賴特征，然后通過全連接層將兩個通道所提取的特征相結合得到最終預測結果。此外，為了更好地利用卷積神經(jīng)網(wǎng)絡，本文將時間序列通過GAF轉變?yōu)閳D像，使其可以更好地提取空間特征。通過將所提模型在真實數(shù)據(jù)集上的預測結果與實際數(shù)據(jù)相對比，表明本文所提出的多輸入雙通道模型能夠有效地提取時間序列數(shù)據(jù)的長-短時序特征和空間特征，對資源負載的預測精確度優(yōu)于當前基準算法。

[1] SUN X， ANSARI N， WANG R. Optimizing resource utilization of a data center ［J］. IEEE Communications Surveys amp; Tutorials， 2016， 18（4）： 2822-2846.

[2] PREVOST J， NAGOTHU K， KELLEY B， et al. Prediction of cloud data center networks loads using stochastic and neural models ［C］// Proceedings of the 2011 6th International Conference on System of Systems Engineering. Piscataway： IEEE， 2011：276-281.

[3] ZHANG Q， ZHANI M F， BOUTABA R， et al. HARMONY： dynamic heterogeneity-aware resource provisioning in the cloud ［C］// Proceedings of the 2013 33rd International Conference on Distributed Computing Systems. Piscataway： IEEE， 2013：510-519.

[4] KUMAR T L M， SURENDRA H S， MUNIRAJAPPA R. Holt-winters exponential smoothing and sesonal ARIMA time-series technique for forecasting of onion price in Bangalore market ［J］. Mysore Journal of Agricultural Sciences， 2011， 2（1）： 602-607.

[5] LI Q， HAO Q F， XIAO L M， et al. An Integrated approach to automatic management of virtualized resources in cloud environments ［J］. Computer Journal， 2011， 54（6）： 905-919.

[6] SUN Y S， CHEN Y F， CHEN M C. A workload analysis of live event broadcast service in cloud ［J］. Procedia Computer Science， 2013， 19（1）： 1028-1033.

[7] VERCAUTEREN T， AGGARWAL P， WANG X， et al. Hierarchical forecasting of web server workload using sequential Monte Carlo training ［J］. IEEE Transactions on Signal Processing， 2007， 55（4）： 1286-1297.

[8] ARDAGNA D， CASOLARI S， COLAJANNI M， et al. Dual time-scale distributed capacity allocation and load redirect algorithms for cloud systems ［J］. Journal of Parallel and Distributed Computing， 2012， 72（6）： 796-808.

[9] ROY N， DUBEY A， GOKHALE A. Efficient autoscaling in the cloud using predictive models for workload forecasting ［C］// Proceedings of the 2011 International Conference on Cloud Computing. Piscataway： IEEE，2011： 500-507.

[10] RAJARAM K， MALARVIZHI M P. Utilization based prediction model for resource provisioning ［C］// Proceedings of the 2017 International Conference on Computer. Piscataway： IEEE， 2017：1-6.

[11] KATTEPUR A， NAMBIAR M. Service demand modeling and performance prediction with single-user tests ［J］. Performance Evaluation， 2017， 110（4）： 1-21.

[12] CAO L. Support vector machines experts for time series forecasting ［J］. Neurocomputing， 2003， 51（4）： 321-339.

[13] EDDAHECH A， CHTOUROUS S， CHTOUROU M. Hierarchical neural networks based prediction and control of dynamic reconfiguration for multilevel embedded systems ［J］. Journal of Systems Architecture， 2013， 59（1）： 48-59.

[14] DANG T， TRAN N， NGUYEN B M， et al. PD-GABP： A novel prediction model applying for elastic applications in distributed environment ［C］// Proceedings of the 2016 3rd National Foundation for Science and Technology Development Conference on Information and Computer Science. Piscataway： IEEE， 2016：240-248.

[15] ZHANG G， PATUWO B E， HU M Y. Forecasting with artificial neural networks： the state of the art ［J］. International Journal of Forecasting， 1998， 14（1）： 35-62.

[16] VENKATESAN. A genetic algorithm based artificial neural network model for the optimization of machining processes ［J］. Neural Computing and Applications， 2009， 2（1）： 135-140.

[17] VAZQUEZ C. Time series forecasting of cloud data center workloads for dynamic resource provisioning ［D］. San Antonio： The University of Texas at San Antonio， 2015： 10-15.

[18] REN S， HE K， GIRSHICK R， et al. Faster R-CNN： towards real-time object detection with region proposal networks ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2017，39（6）： 1137-1149.

[19] 胡榮磊，芮璐，齊筱，等.基于循環(huán)神經(jīng)網(wǎng)絡和注意力模型的文本情感分析［J］.計算機應用研究，2019，36（11）：3282-3285.（HU R L， RUI L， QI X， et al. A novel approach to contextual sentiment analysis based on a neural network and attention model ［J］. Application Research of Computer， 2019， 36（11）： 3282-3285.）

[20] WANG Z， OATES T. Imaging time-series to improve classification and imputation ［C］// Proceedings of the 2015 24th International Conference on Artificial Intelligence. Menlo Park： AAAI Press， 2015： 3939-3945.

[21] NGUYEN H M， KALRA G， KIM D. Host load prediction in cloud computing using long short-term memory encoder-decoder ［J］. Journal of supercomputing， 2019， 75（11）： 7592-7605.

[22] CHEN T， GUESTRIN C. XGBoost： a scalable tree boosting system ［EB/OL］. ［2016-06-09］. https：//arxiv.org/pdf/1603. 02754.pdf.

Resource load prediction model based on long-short time series feature fusion

WANG Yifei1， YU Lei2，3， TENG Fei1*， SONG Jiayu1， YUAN Yue1

（1.School of Information Sciences and Technology，Southwest Jiaotong University，Chengdu Sichuan610000，China；2.Sino?french Engineer School，Beihang University，Beijing100000，China；3.Beihang Hangzhou Institute for Innovation at Yuhang，Hangzhou Zhejiang310000，China）

Resource load prediction with high accuracy can provide a basis for real-time task scheduling， thus reducing energy consumption. However，most prediction models for time series of resource load make short-term or long-term prediction by extracting the long-time series dependence characteristics of time series and neglecting the short-time series dependence characteristics of time series. In order to make a better long-term prediction of resource load， a new edge computing resource load prediction model based on long-short time series feature fusion was proposed. Firstly， the Gram Angle Field （GAF） was used to transform time series into image format data， so as to extract features by Convolutional Neural Network （CNN）. Then， the CNN was used to extract spatial features and short-term data features， the Long Short-Term Memory （LSTM） network was used to extract the long-term time series dependent features of time series. Finally， the extracted long-term and short-term time series dependent features were fused through dual-channel to realize long-term resource load prediction. Experimental results show that， the Mean Absolute Error （MAE）， Root Mean Square Error （RMSE） and R-squared（R2） of the proposed model for CPU resource load prediction in Alibaba cloud clustering tracking dataset are 3.823， 5.274， and 0.815 8 respectively. Compared with the single-channel CNN and LSTM models， dual-channel CNN+LSTM and ConvLSTM+LSTM models， and resource load prediction models such as LSTM Encoder-Decoder （LSTM-ED）and XGBoost， the proposed model can provide higher prediction accuracy.

resource load prediction; Convolution Neural Network (CNN); Long Short-Term Memory (LSTM) network; Gram Angle Field (GAF); dual-channel; time series prediction

TP391

A

1001-9081（2022）05-1508-08

10.11772/j.issn.1001-9081.2021030393

2021?03?16；

2021?06?08；

2021?06?11。

四川省科技項目（2019YJ0214） ；北京市自然科學基金資助項目（4192030）。

王藝霏（1996—），女，山西呂梁人，碩士研究生，主要研究方向：云計算、大數(shù)據(jù)挖掘； 于雷（1972—），男，山東淄博人，副教授，博士，主要研究方向：大數(shù)據(jù)計算中心能耗優(yōu)化與仿真、基于深度學習的圖像處理、自然語言處理與分類； 滕飛（1984—），女，山東淄博人，副教授，博士，CCF會員，主要研究方向：云計算、醫(yī)療信息、工業(yè)大數(shù)據(jù)挖掘； 宋佳玉（1995—），女，四川成都人，碩士研究生，主要研究方向：大數(shù)據(jù)挖掘、時間序列預測； 袁玥（1997—），女，四川瀘州人，碩士研究生，主要研究方向：大數(shù)據(jù)挖掘、深度學習。

This work is partially supported by Science and Technology Project of Sichuan Province （2019YJ0214）， Natural Science Foundation of Beijing （4192030）.

WANG Yifei， born in 1996， M. S. candidate. Her research interests include cloud computing， big data mining.

YU Lei， born in 1972， Ph. D.， associate professor. His research interests include energy consumption optimization and simulation of big data computing center， image processing based on deep learning， natural language processing and classification.

TENG Fei， born in 1984， Ph. D.， associate professor. Her research interests include cloud computing， medical informatics， industrial big data mining.

SONG Jiayu， born in 1995， M. S. candidate. Her research interests include big data mining， time series prediction.

YUAN Yue， born in 1997， M. S. candidate. Her research interests include big data mining， deep learning.