基于集成深度學(xué)習(xí)的網(wǎng)絡(luò)中短期流量精準(zhǔn)預(yù)測研究

沈毅波

基于集成深度學(xué)習(xí)的網(wǎng)絡(luò)中短期流量精準(zhǔn)預(yù)測研究

沈毅波

（漳州職業(yè)技術(shù)學(xué)院 教務(wù)處，福建 漳州 363000）

網(wǎng)絡(luò)中短期流量特征不同，依靠單一的方法預(yù)測流量，造成預(yù)測結(jié)果均方根誤差較大。因此，提出了基于集成深度學(xué)習(xí)的網(wǎng)絡(luò)中短期流量精準(zhǔn)預(yù)測方法。運用BDS統(tǒng)計量檢驗方法建立非線性判斷機(jī)制，提取網(wǎng)絡(luò)流量內(nèi)包含的非線性特征。依據(jù)小波變換理念分解和重構(gòu)復(fù)雜的網(wǎng)絡(luò)流量，引入集成深入學(xué)習(xí)理念，在Stacking集成策略的作用下，建立包含循環(huán)神經(jīng)網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)的集成流量預(yù)測模型。從網(wǎng)絡(luò)結(jié)構(gòu)和修剪過程兩方面入手，優(yōu)化預(yù)測模型結(jié)構(gòu)，并通過正交最小二乘法求解網(wǎng)絡(luò)中短期流量預(yù)測值。仿真測試結(jié)果表明：所用方法的網(wǎng)絡(luò)中短期流量預(yù)測均方根誤差為0.12，實現(xiàn)了網(wǎng)絡(luò)中短期流量精準(zhǔn)預(yù)測。

集成深度學(xué)習(xí)；小波分析；網(wǎng)絡(luò)流量；建模預(yù)測；細(xì)節(jié)信號；非線性特征

網(wǎng)絡(luò)管理工作的開展，需要依托于網(wǎng)絡(luò)流量數(shù)據(jù)。為了確保網(wǎng)絡(luò)擁塞控制策略更加符合實際環(huán)境[1]，需要對網(wǎng)絡(luò)中短期流量進(jìn)行預(yù)測，最大程度減少網(wǎng)絡(luò)崩潰現(xiàn)象?？紤]到網(wǎng)絡(luò)流量的傳輸結(jié)構(gòu)較為復(fù)雜，流量轉(zhuǎn)發(fā)方式和通信協(xié)議等因素都會影響網(wǎng)絡(luò)業(yè)務(wù)行為[2]，流量預(yù)測方法設(shè)計過程中，可以以網(wǎng)絡(luò)流量行為特征為基礎(chǔ)。現(xiàn)有的預(yù)測方法，面對越來越復(fù)雜的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)，無法得到精準(zhǔn)的流量預(yù)測結(jié)果。

楊曉敏[3]采集歷史網(wǎng)絡(luò)流量數(shù)據(jù)并進(jìn)行預(yù)處理，以支持向量機(jī)為核心，構(gòu)建網(wǎng)絡(luò)流量預(yù)測模型。為了確保流量歷史數(shù)據(jù)學(xué)習(xí)結(jié)果更加真實，引入改進(jìn)灰狼算法，設(shè)計預(yù)測模型最優(yōu)參數(shù)搜索方案，生成可以得到精準(zhǔn)預(yù)測結(jié)果的模型。根據(jù)預(yù)測模型應(yīng)用結(jié)果可知，該方法預(yù)測結(jié)果無法滿足實時性要求。李曉會等[4]針對大規(guī)模網(wǎng)絡(luò)流量進(jìn)行研究，通過混沌算法提取網(wǎng)絡(luò)流量的隨機(jī)性特點，以此為基礎(chǔ)結(jié)合云計算平臺進(jìn)行流量建模，再結(jié)合大數(shù)據(jù)分析方法和支持向量機(jī)模式，計算網(wǎng)絡(luò)流量預(yù)測結(jié)果，但該方法預(yù)測精度較低。宋元隆等[5]采用多個神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，提取網(wǎng)絡(luò)流量數(shù)據(jù)所包含的多維度特征，結(jié)合時間和空間兩方面特征提取的結(jié)果，求解出目

標(biāo)網(wǎng)絡(luò)中短期流量預(yù)測結(jié)果，但該方法預(yù)測結(jié)果與實際流量值之間誤差較大。

本文以網(wǎng)絡(luò)中短期流量預(yù)測為研究對象，考慮到中短期網(wǎng)絡(luò)的復(fù)雜性以及網(wǎng)絡(luò)流量信息的隨機(jī)性，采用集成深度學(xué)習(xí)理念，結(jié)合循環(huán)神經(jīng)網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)，構(gòu)建流量精準(zhǔn)預(yù)測模型。從仿真測試結(jié)果可以看出，文中設(shè)計的預(yù)測方法，可以得到更加貼近實際流量值的預(yù)測結(jié)果，為后續(xù)網(wǎng)絡(luò)控制方案設(shè)計的提供參考。

1 網(wǎng)絡(luò)中短期流量精準(zhǔn)預(yù)測方法設(shè)計

1.1 建立網(wǎng)絡(luò)流量非線性判斷機(jī)制

以BDS統(tǒng)計量檢驗法為核心，建立網(wǎng)絡(luò)流量非線性判斷機(jī)制，深入分析網(wǎng)絡(luò)流量時間序列所包含的特征信息[6]，將其作為流量預(yù)測方法設(shè)計的基礎(chǔ)。針對已知長度的網(wǎng)絡(luò)流量時間序列，嵌入向量計算公式可以表示為公式（1），相關(guān)積分計算公式可以表示為公式（2）：

公式中的表示嵌入向量，表示嵌入維數(shù)，表示時延；表示時間序列長度，表示時間序列點組成的維度球的半徑，表示參考距離，表示Heaviside函數(shù)。

采用BDS統(tǒng)計量檢驗法進(jìn)行非線性特征判斷時，需要先針對原始序列，建立一個擬合自回歸模型，剔除原始序列中包含的線性成分得到殘差序列[7]，再進(jìn)行特征檢驗。如果該殘差序列不能滿足零假設(shè)數(shù)據(jù)分布條件，表明該序列具有非線性特點。

同時，文中采用Hurst指數(shù)對于具有非線性特點的時間序列進(jìn)一步分析，根據(jù)Hurst指數(shù)判斷網(wǎng)絡(luò)自相似程度，從而反映網(wǎng)絡(luò)流量數(shù)據(jù)的非線性程度。文中采用R/S類分析模式，進(jìn)行Hurst指數(shù)計算：

公式中的表示極差，表示標(biāo)準(zhǔn)差，表示常數(shù)，表示樣本數(shù)量，表示Hurst指數(shù)。根據(jù)Hurst指數(shù)計算結(jié)果，求取網(wǎng)絡(luò)流量序列的數(shù)據(jù)點斜率，生成非平穩(wěn)時間序列。

1.2 設(shè)計網(wǎng)絡(luò)中短期流量分解方法

為了便于分析網(wǎng)絡(luò)流量序列變化規(guī)律，文中針對非平穩(wěn)時間序列，運用小波變換方法分解非平穩(wěn)數(shù)據(jù)，生成不同特性對應(yīng)的時間信號[8]，從整體和細(xì)節(jié)兩方面，獲取網(wǎng)絡(luò)流量預(yù)測結(jié)果。其中，網(wǎng)絡(luò)流量信號所涉及的小波變換函數(shù)可以表示為：

公式中的表示流量信號，表示小波變換函數(shù)，表示小波分解平移參數(shù)，表示小波分解尺度參數(shù)，表示小波函數(shù)。

以公式（4）為基礎(chǔ)，針對分解后的網(wǎng)絡(luò)流量信息進(jìn)行重構(gòu)處理，信號空間重構(gòu)公式可以描述為：

公式中的t表示時刻。為了加強(qiáng)網(wǎng)絡(luò)流量信息的空間分解的合理性，文中采用多分辨小波分析模式，將原始信號空間轉(zhuǎn)換為多個子空間，通過高通、低通濾波器，將最初的網(wǎng)絡(luò)流量信號向每個子空間進(jìn)行投影[9]，獲取可以反映流量整體變化趨勢的低頻信號，以及反映網(wǎng)絡(luò)流量隨機(jī)性特征的高頻信號。文中采用包含三層分解結(jié)構(gòu)的小波分解樹，具體結(jié)構(gòu)如圖1所示。

按照圖1所示的小波分解樹，對原始網(wǎng)絡(luò)流量信號進(jìn)行分解，并采用Mallat算法進(jìn)行流量信號的重構(gòu)，具體計算公式為公式（6）和公式（7）。

通過上述分解和重構(gòu)處理，獲取網(wǎng)絡(luò)流量信號的變化特征，也可以作為后續(xù)流量預(yù)測模型的輸入向量。

1.3 構(gòu)建集成深度學(xué)習(xí)預(yù)測模型

考慮到以單一學(xué)習(xí)網(wǎng)絡(luò)為基礎(chǔ)的預(yù)測模型，無法滿足流量預(yù)測精度要求，文中選擇循環(huán)神經(jīng)網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)兩種深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)[10]，在Stacking集成策略的融合作用下，構(gòu)建集成深度學(xué)習(xí)預(yù)測模型。

其中，循環(huán)神經(jīng)網(wǎng)絡(luò)具有極強(qiáng)的記憶力，運用該網(wǎng)絡(luò)可以從近期網(wǎng)絡(luò)流量數(shù)據(jù)中，選擇性地采集流量信號，建立時間序列數(shù)據(jù)模型。在循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計過程中，文中依托于門控循環(huán)單元，搭建一對一形式展開的網(wǎng)絡(luò)URU層，為了提升時序數(shù)據(jù)運算效率，提出采用圖2所示的堆疊方式，連接相鄰的網(wǎng)絡(luò)層。

圖2 基于GRU的循環(huán)神經(jīng)網(wǎng)絡(luò)堆疊連接結(jié)構(gòu)

運用上述提出的循環(huán)神經(jīng)網(wǎng)絡(luò)得到的結(jié)果，可以從時間軸上提取預(yù)測時刻前后關(guān)聯(lián)網(wǎng)絡(luò)流量信息。此外，還需要采用由卷積層、池化層和全連接層組成的卷積神經(jīng)網(wǎng)絡(luò)，從高維空間角度，獲取不同層面的中短期網(wǎng)絡(luò)流量特征。為了充分發(fā)揮兩個神經(jīng)網(wǎng)絡(luò)的自身優(yōu)勢，采用Stacking集成模型將RNN和CNN看作兩個個體學(xué)習(xí)器，再添加一個元學(xué)習(xí)器，得到圖3所示的集成深度學(xué)習(xí)預(yù)測模型。

圖3 集成深度學(xué)習(xí)預(yù)測模型

在圖3所示的預(yù)測模型應(yīng)用前，需要預(yù)先建立兩個訓(xùn)練集，分別用于兩個模型的個體學(xué)習(xí)器訓(xùn)練，采用訓(xùn)練后的模型進(jìn)行后續(xù)網(wǎng)絡(luò)流量預(yù)測。之后，文中設(shè)計包含ReUL激活、線性激活的2層全連接層的元學(xué)習(xí)器，拼接兩個個體學(xué)習(xí)器輸出結(jié)果，得到網(wǎng)絡(luò)中短期流量預(yù)測結(jié)果。

1.4 實現(xiàn)流量預(yù)測模型結(jié)構(gòu)優(yōu)化

針對集成深度學(xué)習(xí)預(yù)測模型，采用結(jié)構(gòu)簡化與剪枝算法，優(yōu)化流量預(yù)測模型結(jié)構(gòu)，獲取更加精準(zhǔn)的網(wǎng)絡(luò)流量預(yù)測結(jié)果。其中，結(jié)構(gòu)優(yōu)化是為了去除集成深度學(xué)習(xí)網(wǎng)絡(luò)內(nèi)包含的冗余神經(jīng)元，達(dá)到降低預(yù)測模型計算量的目的，計算量表達(dá)公式為：

結(jié)構(gòu)優(yōu)化過程中，在保證集成深度學(xué)習(xí)網(wǎng)絡(luò)運算結(jié)果穩(wěn)定的基礎(chǔ)上，削減部分不常用的前饋單元，以最小計算量為優(yōu)化目標(biāo)，實現(xiàn)集成深度學(xué)習(xí)預(yù)測模型網(wǎng)絡(luò)結(jié)構(gòu)的簡化處理。針對結(jié)構(gòu)優(yōu)化處理后的預(yù)測模型，運用剪枝算法優(yōu)化網(wǎng)絡(luò)計算過程，將冗余的權(quán)重節(jié)點從運算網(wǎng)絡(luò)中剔除。

為了實現(xiàn)神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)精簡，文中采用遺傳算法進(jìn)行全局搜索，根據(jù)集成深度學(xué)習(xí)預(yù)測模型中每個網(wǎng)絡(luò)結(jié)構(gòu)內(nèi)包含的神經(jīng)元數(shù)量，分別計算其對應(yīng)的調(diào)整系數(shù)，得到適應(yīng)度函數(shù)：

按照遺傳算法中的優(yōu)勝劣汰規(guī)則，以適應(yīng)度計算結(jié)果為依據(jù)，運用輪盤賭方法進(jìn)行遺傳個體選擇，達(dá)到簡化模型結(jié)構(gòu)的目的。

對于優(yōu)化后的流量預(yù)測模型，文中將神經(jīng)網(wǎng)絡(luò)的運算流程看作線性變換過程，采用正交最小二乘法進(jìn)行求解，計算模型的預(yù)計輸出矢量，再根據(jù)預(yù)計輸出量與實際輸出量之間的誤差，得到最終輸出量。預(yù)測模型輸出量計算公式可以表示為：

公式中的表示流量預(yù)測計算結(jié)果，表示正交變換矩陣。結(jié)合公式（10）與公式（11）進(jìn)行計算，輸出網(wǎng)絡(luò)中短期流量預(yù)測數(shù)據(jù)。

2 仿真測試

基于集成深度學(xué)習(xí)理念，針對中短期網(wǎng)絡(luò)流量預(yù)測問題，課題組設(shè)計了一種新的預(yù)測方法。為了體現(xiàn)該方法的有效性，應(yīng)用Windows 10操作系統(tǒng)，結(jié)合200GB硬盤、80GB內(nèi)存等硬件，搭建仿真測試環(huán)境，進(jìn)行網(wǎng)絡(luò)流量精準(zhǔn)預(yù)測。

2.1 測試數(shù)據(jù)采集與處理

本次仿真測試所應(yīng)用的數(shù)據(jù)取自某局域網(wǎng)中主要交換機(jī)內(nèi)部，運用網(wǎng)絡(luò)流量監(jiān)測軟件，從2021年3月1日開始，對該交換機(jī)進(jìn)行為期兩周的網(wǎng)絡(luò)流量數(shù)據(jù)采集工作?？紤]到該局域網(wǎng)內(nèi)流量數(shù)據(jù)隨機(jī)性較強(qiáng)，本次測試數(shù)據(jù)采集過程中，設(shè)置網(wǎng)絡(luò)流量數(shù)據(jù)采集時間間隔為1小時，共獲得500個網(wǎng)絡(luò)流量時間序列，作為仿真測試基礎(chǔ)數(shù)據(jù)。采用Matlab 7.0仿真工具箱，將采集的測試數(shù)據(jù)描述為圖4。

根據(jù)圖4所示的網(wǎng)絡(luò)流量數(shù)據(jù)圖可以看出，該局域網(wǎng)內(nèi)流量數(shù)據(jù)存在突發(fā)性和非平穩(wěn)性特征，為了保證流量預(yù)測結(jié)果更加真實，針對采集的測試數(shù)據(jù)進(jìn)行最大最小化處理，具體的表達(dá)公式為：

公式中的表示原始網(wǎng)絡(luò)流量數(shù)據(jù)，表示預(yù)處理后數(shù)據(jù)，表示樣本數(shù)據(jù)中最大值，表示樣本數(shù)據(jù)中最小值。

利用預(yù)處理后的測試數(shù)據(jù)，對集成深度學(xué)習(xí)網(wǎng)絡(luò)預(yù)測模型進(jìn)行訓(xùn)練，將測試數(shù)據(jù)集中75%的數(shù)據(jù)劃分為模型訓(xùn)練集合，選取5%的測試數(shù)據(jù)建立驗證集，剩余的數(shù)據(jù)組成測試集。

2.2 模型參數(shù)設(shè)置

本文所提出的中短期網(wǎng)絡(luò)流量預(yù)測方法，以集成深度學(xué)習(xí)技術(shù)為核心，為了保證仿真測試的順利進(jìn)行，將預(yù)測模型的訓(xùn)練參數(shù)設(shè)置為表1。

表1 集中深度學(xué)習(xí)網(wǎng)絡(luò)訓(xùn)練參數(shù)

根據(jù)表1所示的參數(shù)值，完成集中深度學(xué)習(xí)網(wǎng)絡(luò)模型參數(shù)的設(shè)置，在此基礎(chǔ)上，運行文中提出的預(yù)測方法，得出網(wǎng)絡(luò)流量預(yù)測結(jié)果。

2.3 流量預(yù)測結(jié)果分析

為了更好地描述文中設(shè)計預(yù)測方法的流量預(yù)測性能，在同樣的仿真環(huán)境下，采用文獻(xiàn)[3]改進(jìn)灰狼算法、文獻(xiàn)[4]云計算和大數(shù)據(jù)分析方法，獲取網(wǎng)絡(luò)流量預(yù)測結(jié)果，并與文中提出方法預(yù)測結(jié)果、實際網(wǎng)絡(luò)流量值進(jìn)行對比，形成圖5。

圖5 不同預(yù)測方法的網(wǎng)絡(luò)流量預(yù)測結(jié)果

三種預(yù)測方法均得到了網(wǎng)絡(luò)流量預(yù)測結(jié)果，并且按照時間序列展現(xiàn)了網(wǎng)絡(luò)流量變化趨勢。從圖5可以看出，文中提出方法得出的預(yù)測結(jié)果，明顯更貼近實際網(wǎng)絡(luò)流量值。為了準(zhǔn)確給出所提方法的預(yù)測性能，引入均方根誤差RMSE，作為量化評價指標(biāo)：

表2 不同方法的均方根誤差對比結(jié)果

根據(jù)表2可知，文中提出的網(wǎng)絡(luò)流量預(yù)測方法的均方根誤差為0.12。改進(jìn)灰狼算法、云計算和大數(shù)據(jù)分析方法的均方根誤差分別為0.25和031。綜上所述，文中研究的預(yù)測方法與其他兩種方法相比，均方根誤差降低了52%、61%，有效提升了網(wǎng)絡(luò)流量預(yù)測精度，推動了網(wǎng)絡(luò)管理工作的順利開展。

3 結(jié)束語

針對網(wǎng)絡(luò)流量預(yù)測問題進(jìn)行研究，以獲取精準(zhǔn)預(yù)測結(jié)果為目標(biāo)，文中提出運用集成深度學(xué)習(xí)理念和Stacking集成策略，設(shè)計由循環(huán)神經(jīng)網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)共同組成的網(wǎng)絡(luò)流量預(yù)測模型。從仿真測試結(jié)果可以看出，文中設(shè)計的預(yù)測方法可以更加準(zhǔn)確地輸出網(wǎng)絡(luò)流量預(yù)測結(jié)果，保證網(wǎng)絡(luò)性能穩(wěn)定。但是本文方法不能在所有站點內(nèi)發(fā)揮相同的預(yù)測效果，下一步研究過程中，需要與其他網(wǎng)絡(luò)模型相結(jié)合，建立多個個體學(xué)習(xí)器，獲取穩(wěn)定的網(wǎng)絡(luò)流量預(yù)測結(jié)果。

[1]康夢軒,宋俊平,范鵬飛,等.基于深度學(xué)習(xí)的網(wǎng)絡(luò)流量預(yù)測研究綜述[J]. 計算機(jī)工程與應(yīng)用,2021,57(10):1–9.

[2]張志宏,劉傳領(lǐng).基于灰狼算法優(yōu)化深度學(xué)習(xí)網(wǎng)絡(luò)的網(wǎng)絡(luò)流量預(yù)測[J].吉林大學(xué)學(xué)報: 理學(xué)版,2021,59(3):619–626.

[3]楊曉敏.改進(jìn)灰狼算法優(yōu)化支持向量機(jī)的網(wǎng)絡(luò)流量預(yù)測[J]. 電子測量與儀器學(xué)報,2021,35(3):211–217.

[4]李曉會,陳潮陽,伊華偉,等. 基于云計算和大數(shù)據(jù)分析的大規(guī)模網(wǎng)絡(luò)流量預(yù)測[J].吉林大學(xué)學(xué)報: 工學(xué)版,2021,51(3):1034–1039.

[5]宋元隆,呂光宏,王桂芝,等. 基于圖卷積神經(jīng)網(wǎng)絡(luò)的SDN網(wǎng)絡(luò)流量預(yù)測[J].計算機(jī)科學(xué),2021,48(S1):392–397.

[6]熊皓,劉嘉勇,王俊峰.基于神經(jīng)網(wǎng)絡(luò)和自回歸模型的網(wǎng)絡(luò)流量預(yù)測[J].計算機(jī)應(yīng)用,2021,41(S1):180–184.

[7]周任軍,王文晶.基于深度神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)流量預(yù)測模型仿真[J]. 計算機(jī)仿真,2021,38(6):475–479.

[8]朱江,潘成勝,孔志翔,等.基于Prophet融合MGF提取的網(wǎng)絡(luò)流量預(yù)測[J].計算機(jī)仿真,2021,38(7):475–480.

[9]牟曉惠,李麗香. Dropout回聲狀態(tài)網(wǎng)絡(luò)的網(wǎng)絡(luò)流量預(yù)測[J]. 北京郵電大學(xué)學(xué)報,2021,44(5):10–13+20.

[10]曹素娥,楊澤民.基于聚類分析算法和優(yōu)化支持向量機(jī)的無線網(wǎng)絡(luò)流量預(yù)測[J].計算機(jī)科學(xué),2020,47(8):319–322.

Research on Accurate Prediction of Network Short- and Medium-Term Traffic Based on Integrated Deep Learning

SHEN Yi-Bo

(Academic Affairs Office, Zhangzhou Institute of Technology, Zhangzhou Fujian 363000, China)

The short- and medium-term traffic in the network shows different characteristics that may result in great root-mean-square errors if predicted with a single method. Therefore, an accurate prediction method of network short- and medium-term traffic is proposed based on integrated deep learning. The nonlinear judgment mechanism is established by using BDS statistical test method to extract the nonlinear characteristics contained in the network traffic. The complex network traffic is decomposed and reconstructed under the idea of wavelet transform. With the introduction of the integrated deep learning, an integrated traffic prediction model containing cyclic neural network and convolutional neural network is established on the effect of stacking integration strategy. From the network structure and pruning process, the structure of prediction model is optimized, and the short- and medium-term traffic prediction value of network is solved by orthogonal least square method. The simulation test results show that the root-mean-square error of the proposed method is 0.12, which realizes the accurate prediction of short- and medium-term network traffic.

integrated deep learning; wavelet analysis; network traffic; modeling prediction; detailed signal; nonlinear characteristics

2022-04-01

福建省教育廳中青年教育科研項目（JZ180811）；福建省教育廳中青年教育科研項目（JAT210845）

沈毅波（1981—），男，福建華安人，講師，碩士，研究方向：深度學(xué)習(xí)、數(shù)據(jù)挖掘。

TP393.06

A

2095-9249（2022）03-0060-05

〔責(zé)任編校：吳侃民〕