融合深度學習與回歸殘差神經(jīng)網(wǎng)絡的流量預測方法

［張偉 劉甫琴］

1 引言

隨著5G行業(yè)的蓬勃發(fā)展，5G商用逐漸落地，各種網(wǎng)絡應用的數(shù)量呈指數(shù)級的增長。日益增長的流量對5G網(wǎng)絡切片提出了更高的要求。由于流量分布在區(qū)域上呈現(xiàn)不均衡的狀態(tài)，為了實現(xiàn)數(shù)據(jù)高效傳輸，就必須優(yōu)化網(wǎng)絡流量管理，而網(wǎng)絡流量管理的前提是對網(wǎng)絡流量進行提前預測?；诹髁款A測的基礎，針對網(wǎng)絡流量的變化實現(xiàn)網(wǎng)絡切片的動態(tài)調(diào)整成為了當前5G切片管理的重要課題。目前基于深度學習的移動網(wǎng)絡流量預測成為移動網(wǎng)絡流量預測領域的研究重點，當前大多數(shù)研究僅僅局限于研究網(wǎng)絡流量的時間相關性[1～5]，并沒有深度研究移動網(wǎng)絡的空間相關性。除了采用深度學習對流量進行時空分析外，為了保證流量預測的準確性，本文在對流量進行時空特征分析的基礎上，融合回歸殘差網(wǎng)絡對流量進行回歸預測和殘差預測，通過對殘差的推理，實現(xiàn)其他深度學習網(wǎng)絡不具備的全局最優(yōu)性和最佳逼近性能，從而保證網(wǎng)絡流量信息全局信息的延續(xù)性。

2 融合深度學習與回歸殘差神經(jīng)網(wǎng)絡的流量預測思路

針對網(wǎng)絡流量受到噪音擾動以及深度學習模型自身的不足，本文將深度學習、回歸分析以及RBF進行融合，對模型做了以下三方面的改進：首先，基于卷積神經(jīng)網(wǎng)絡（Convolutional Neural Networks，CNN）和長短期記憶網(wǎng)絡（Long Short-Term Memory，LSTM）對網(wǎng)絡流量進行時空特征提取[6]，作為后續(xù)對流量預測模型改進的基礎；其次，考慮到不同卻與的流量數(shù)據(jù)往往會收到非高斯噪音的影響，本文將回歸分析方法應用到網(wǎng)絡流量預測模型的改進中，提出了基于回歸殘差神經(jīng)網(wǎng)絡的深度學習誤差預測模型；最后，針對傳統(tǒng)的回歸分析預測不穩(wěn)定的問題，將回歸分析的預測值與殘差預測值進行結(jié)合，實現(xiàn)網(wǎng)絡流量的預測。融合深度學習與回歸殘差神經(jīng)網(wǎng)絡的流量預測思路如圖1所示。

2.1 基于注意力機制的CNN-LSTM網(wǎng)絡流量時空特征提取

基于注意力機制的CNN-LSTM模型是一個融合CNN與LSTM雙通道的模型，兩種模型以注意力機制相融合，使得模型具有時間和空間的表達能力。該模型的步驟分為四步：（1）基于CNN提取流量的時間特征表達；（2）基于LSTM提取流量的空間特征表達；（3）采用softmax對CNN和LSTM的特征表達進行融合；（4）采用注意力機制對時空特征各維度權(quán)重進行計算。具體方法是：將CNN的特征向量與LSTM的特征向量融合成一組權(quán)重，并采用softmax激活函數(shù)將權(quán)重歸一化到0-1，形成不同特征維度的權(quán)重表達；（5）將注意力機制輸出的各維度權(quán)重與LSTM的隱含層特征元素進行相乘，形成融合注意力機制的特征表達。由此看來，不僅能夠?qū)W習到局部特征的重要性程度，還能全面反映流量的上下文信息，避免出現(xiàn)由于流量數(shù)據(jù)步長過長導致記憶丟失和梯度彌散的問題。

考慮現(xiàn)有網(wǎng)絡流量的特征，基于注意力機制的CNNLSTM的網(wǎng)絡流量特征提取的具體過程如圖2所示。

圖2 基于注意力機制的CNN-LSTM的網(wǎng)絡流量特征提取

樣本分別從左右兩個通道輸入網(wǎng)絡。左通道為CNN網(wǎng)絡，將n*20維的樣本輸入CNN網(wǎng)絡，在CNN最后一層輸出1*n維的特征向量：

右通道為LSTM網(wǎng)絡，LSTM輸出維度為n*m的特征向量。n為序列長度。M為LSTM隱藏層輸出維度。

在得到兩個通道的特征表達之后，采用注意力機制實現(xiàn)特征重要程度提取。

Wa為m*n維的權(quán)值矩陣；ba為偏置項，均由訓練時學習得到；的轉(zhuǎn)置。等式（3）將CNN的特征向量與LSTM的特征向量融合成一組權(quán)重，并通過式（4）softmax激活函數(shù)將權(quán)重歸一化到0-1。最后通過式（5），將LSTM不同時間點的隱含層輸出向量與對應的權(quán)重ai相乘，并求和，以此作為樣本最終的特征表達，即由此可知，包含n個時空特征。

2.2 基于回歸殘差RBF神經(jīng)網(wǎng)絡的殘差預測及流量預測

傳統(tǒng)的回歸模型是基于歷史的流量數(shù)據(jù)進行短時的流量預測，在常規(guī)模式下具有良好的預測能力。但是網(wǎng)絡流量具有隨機性和波動性等特性，遇到突發(fā)的事件，基于歷史數(shù)據(jù)的回歸模型預測值和實際值會產(chǎn)生很大的偏差[7]。如果結(jié)合注意力機制挖掘出當前流量特征與上下游的時空關系，那么采用上下游的數(shù)據(jù)特征來修正預測點的預測值，模型的預測精度就會提高?；谏鲜龅乃枷?，本文利用RBF神經(jīng)網(wǎng)絡模型將融合注意力機制的時空特征與回歸分析的殘差進行時空關聯(lián)，通過RBF產(chǎn)生的殘差預測結(jié)果對回歸模型的預測數(shù)據(jù)進行修正，最終形成流量預測?；诨貧w殘差RBF神經(jīng)網(wǎng)絡的殘差預測及流量預測如圖3所示。

圖3 基于回歸殘差RBF神經(jīng)網(wǎng)絡的殘差預測與流量預測思路

（1）基于回歸分析模型的流量殘差預測

將因變量代進去回歸分析模型中，得到的流量擬合值為：

殘差向量可以表示為：

由此可知，殘差向量包含m個殘差。

（2）基于回歸殘差RBF神經(jīng)網(wǎng)絡的殘差預測

RBF神經(jīng)網(wǎng)絡是一種三層的神經(jīng)網(wǎng)絡，包括輸入層、隱藏層、輸出層。從輸入空間到隱層空間的變換是非線性的，而從隱層空間到輸出層空間變換是線性的[8]。RBF神經(jīng)相較于BP神經(jīng)網(wǎng)絡收斂速度更快，使用性更強，隱層單元數(shù)也就是網(wǎng)絡的結(jié)構(gòu)可以根據(jù)研究的具體問題，在訓練階段自適應地調(diào)整。RBF是高效的前饋式神經(jīng)網(wǎng)絡，它具有唯一最佳逼近的特性，能夠有效避免局部最優(yōu)的問題。

在提取流量數(shù)據(jù)的時空特征向量和對原始數(shù)據(jù)進行回歸分析之后，可以將經(jīng)過訓練的流量時空特征和m個殘差值作為RBF網(wǎng)絡的輸入，得到流量殘差預測值。基于回歸殘差RBF神經(jīng)網(wǎng)絡的殘差預測思路如圖4所示。

圖4 基于回歸殘差RBF神經(jīng)網(wǎng)絡的殘差預測

圖4輸入層的維度為n+m維，輸出層維度是m維。

RBF神經(jīng)網(wǎng)絡的激活函數(shù)可表示為：

3 實驗分析

為了驗證融合深度學習與殘差回歸神經(jīng)網(wǎng)絡對流量預測的有效性，將該方法用于預測中山聯(lián)通5G試驗網(wǎng)中進行測試，以期驗證該算法在5G流量預測的有效性。本文在預測準確性和模型收斂性兩個方面與傳統(tǒng)的殘差神經(jīng)網(wǎng)絡ST-ResNet方法[9]進行了對比。兩種算法的誤差結(jié)果如表1所示，本文算法的預測誤差為10.5，低于ST-ResNet方法的預測誤差13.8。這是因為ST-ResNet方法只是采用簡單的卷積層提取網(wǎng)絡流量數(shù)據(jù)的空間特征，而本文采用CNN+LSTM提取時空特征，因此得到更加抽象的特征。除此之外，采用回歸殘差RBF神經(jīng)網(wǎng)絡對殘差進行修正的方法考慮到當前流量特征與數(shù)據(jù)上下游的時空關系，實現(xiàn)其他深度學習網(wǎng)絡不具備的全局最優(yōu)性和最佳逼近性能，提升了預測的準確率。

表1 ST-ResNet方法與本文方法的誤差對比

除此之外，還需要對比兩種方法的收斂結(jié)果，收斂結(jié)果如圖5所示。圖中的RMSE代表誤差，epoch代表迭代次數(shù)。從圖5可以看出，隨著迭代次數(shù)的增加，模型的誤差在不斷縮小，當模型迭代到74次左右時，本文模型的誤差開始收斂到某一個固定值，而在模型迭代到88次左右時，模型誤差趨于穩(wěn)定。而ST-ResNet方法迭代到82次左右時才開始收斂，而迭代次數(shù)達到94次才趨于穩(wěn)定，綜上所述，ST-ResNet算法收斂性比本文算法差。主要原因是：本文采用的CNN+LSTM提取的時空特征的方法能夠在很大程度上反映了流量的特征，極大減少了計算量，提升了模型的收斂速度。

圖5 迭代次數(shù)與誤差曲線

4 結(jié)束語

本文提出一種融合深度學習與回歸殘差神經(jīng)網(wǎng)絡的流量預測新方法。該方法在基于注意力機制的CNN-LSTM網(wǎng)絡流量時空特征提取基礎上，采用回歸殘差RBF神經(jīng)網(wǎng)絡對殘差進行修正后，實現(xiàn)流量的精準預測。該方法的主要優(yōu)勢在于對流量的時間和空間信息進行提取，極大減少了模型的計算量，有利于提升模型的迭代能力；除此之外，回歸殘差RBF神經(jīng)網(wǎng)絡對殘差進行推理，實現(xiàn)其他深度學習網(wǎng)絡不具備的全局最優(yōu)性和最佳逼近性能，從而保證網(wǎng)絡流量預測的準確性。