基于LSTM的軟件時(shí)間序列延遲預(yù)測仿真

夏 容，江官星

(南昌航空大學(xué)科技學(xué)院，江西 共青城 332020)

1 引言

近年來，網(wǎng)絡(luò)信息技術(shù)領(lǐng)域發(fā)展迅速，軟件更新速度也隨之加速。成千上萬的軟件應(yīng)用充斥在人們生活的方方面面，軟件中的時(shí)間序列的安全問題逐漸被人們所關(guān)注[1]。傳統(tǒng)的軟件時(shí)間序列延遲預(yù)測方法漸漸適應(yīng)不了更新過后的軟件，這時(shí)提出一種新型的軟件時(shí)間序列延遲預(yù)測方法就變得尤為重要[2]。

潘玉民[3]等人提出一種基于QPSO-FNN的混沌時(shí)間序列延遲預(yù)測方法。該方法根據(jù)軟件中時(shí)間序列的延遲因子和飽和嵌入維數(shù)重構(gòu)一個(gè)空間，利用Lyapunov指數(shù)法來判別時(shí)序系統(tǒng)的混沌特性，再采用混合的模糊神經(jīng)推理方法來擬合混沌吸引子特性，在線調(diào)整隸屬度函數(shù)與結(jié)論參數(shù)，最后利用量子粒子群算法對(duì)優(yōu)化后的軟件初始參數(shù)進(jìn)行計(jì)算，以此來進(jìn)行軟件時(shí)間序列的延遲預(yù)測。該方法的預(yù)測準(zhǔn)確率較高，但預(yù)測的時(shí)間長；劉新婷[4]等人提出混沌不穩(wěn)定周期方法的軟件時(shí)間序列延遲預(yù)測。依據(jù)時(shí)間序列運(yùn)行軌跡的重合度來構(gòu)建一個(gè)不穩(wěn)定周期的優(yōu)化函數(shù)，再通過對(duì)該函數(shù)的計(jì)算獲取最佳的不穩(wěn)定周期值及嵌入維數(shù)參數(shù)，依據(jù)獲取的延遲時(shí)間與嵌入維數(shù)等軟件參數(shù)對(duì)軟件的時(shí)間序列進(jìn)行相空間的重構(gòu)，最后利用前一個(gè)不穩(wěn)定周期軌跡中的數(shù)值來實(shí)現(xiàn)對(duì)軟件時(shí)間序列延遲的預(yù)測。該方法的預(yù)測時(shí)間較短，但漏報(bào)率高；徐科[5]等人提出基于小波分解的軟件時(shí)間序列延遲的預(yù)測方法。該方法首先將一些不平穩(wěn)的時(shí)間序列分解為幾個(gè)近似的平穩(wěn)時(shí)間序列，并對(duì)其進(jìn)行小波的分解，再利用自回歸模型對(duì)分解后的延遲時(shí)間序列進(jìn)行預(yù)測。該方法的漏報(bào)率較低，但預(yù)測準(zhǔn)確率較差。

為解決上述方法中存在的問題，提出基于LSTM的軟件時(shí)間序列延遲預(yù)測方法。

2 LSTM(長短期記憶網(wǎng)絡(luò))

2.1 循環(huán)神經(jīng)網(wǎng)絡(luò)

長短期記憶網(wǎng)絡(luò)是以循環(huán)神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)的一種改進(jìn)算法。循環(huán)神經(jīng)網(wǎng)絡(luò)將軟件中前一個(gè)時(shí)刻中存在的隱藏層狀態(tài)信息進(jìn)行計(jì)算，并將結(jié)果應(yīng)用于當(dāng)前的輸出中。當(dāng)軟件中的時(shí)間序列為輸出數(shù)據(jù)時(shí)，將時(shí)間序列展開便能夠獲取一個(gè)能夠相互連接的標(biāo)準(zhǔn)神經(jīng)元[6]。循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

圖中，t時(shí)刻的輸入數(shù)據(jù)為xt，軟件的隱藏層狀態(tài)為ht，而軟件中的最終輸出數(shù)據(jù)為yt，V、U、W則為循環(huán)神經(jīng)網(wǎng)絡(luò)中各個(gè)隱藏層之間的權(quán)重系數(shù)矩陣。根據(jù)網(wǎng)絡(luò)結(jié)構(gòu)展開循環(huán)神經(jīng)網(wǎng)絡(luò)，就能夠明確看到，時(shí)間序列中的位置參數(shù)(V、U、W)可以共享，由此縮減預(yù)測時(shí)所需要的參數(shù)，為軟件時(shí)間序列延遲預(yù)測做準(zhǔn)備。

RNN原理如下：

設(shè)定軟件的時(shí)間序列為x=[x1，x2，…，xt-1，xt]，將循環(huán)神經(jīng)網(wǎng)絡(luò)展開成一個(gè)隱含層數(shù)量為t個(gè)的RNN循環(huán)神經(jīng)網(wǎng)絡(luò)，網(wǎng)絡(luò)的傳播過程如下式所示

(1)

式中，循環(huán)網(wǎng)絡(luò)中的偏置項(xiàng)為b，網(wǎng)絡(luò)中t-1時(shí)刻的隱藏層狀態(tài)為ht-1，激活函數(shù)為f(一般為tanh函數(shù)或Relu函數(shù))。

RNN中的輸入源分為兩部分，一部分是隱藏層的當(dāng)前輸入數(shù)據(jù)xt，另一部分則是前一個(gè)隱藏層中的狀態(tài)輸出數(shù)據(jù)ht-1。通常情況下，傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的輸入只包含輸入層的數(shù)據(jù)輸入與隱藏層的數(shù)據(jù)輸出。經(jīng)過驗(yàn)證后可知，當(dāng)軟件中時(shí)間序列的間隔慢慢增大時(shí)，循環(huán)神經(jīng)網(wǎng)絡(luò)會(huì)逐漸喪失對(duì)歷史數(shù)據(jù)的學(xué)習(xí)、留存能力，從而使軟件出現(xiàn)梯度消失現(xiàn)象，影響軟件時(shí)間序列延遲預(yù)測的精準(zhǔn)度。

2.2 長短期記憶網(wǎng)絡(luò)

基于上述問題，將LSTM細(xì)胞結(jié)構(gòu)單元加入隱藏層中，代替網(wǎng)絡(luò)中原有的隱藏層單元，形成LSTM(長短期記憶網(wǎng)絡(luò))的神經(jīng)網(wǎng)絡(luò)模型。對(duì)軟件中的數(shù)據(jù)進(jìn)行特征挖掘，LSTM細(xì)胞結(jié)構(gòu)單元構(gòu)成如圖2所示。

圖2 LSTM細(xì)胞結(jié)構(gòu)單元構(gòu)成

長短期記憶網(wǎng)絡(luò)結(jié)構(gòu)單元分為四個(gè)部分，依次為LSTM中記憶單元的狀態(tài)值、遺忘門、以及輸入門與輸出門。長短期記憶網(wǎng)絡(luò)中三個(gè)單元門的主要作用為控制信息的傳遞，而xt、ct-1、ht-1的取值則與三個(gè)單元控制門控制多少數(shù)據(jù)進(jìn)行傳遞，分配多少數(shù)據(jù)相關(guān)[7]。

遺忘門、輸入與輸出門可以如下式所示

(2)

式中，ft、ot、it分別為軟件中t時(shí)刻遺忘門的輸出數(shù)據(jù)，輸出門的輸出數(shù)據(jù)以及軟件中輸入門的輸出數(shù)據(jù)，ht-1、ct-1分別為軟件中t-1時(shí)刻的隱藏層輸出和記憶單元中的狀態(tài)值，d為對(duì)應(yīng)的偏置項(xiàng)，激活函數(shù)為σ。而式子中的Wxi、Whi、Wci分別是輸入門與輸入層、隱藏層及記憶單元之間的權(quán)值系數(shù)矩陣，Wxo、Who、Wco分別為軟件中輸出門與輸入層、隱藏層、記憶單元之間產(chǎn)生的權(quán)值系數(shù)矩陣，Wxf、Whf、Wcf分別為遺忘門與輸入層、隱藏層、記憶單元之間產(chǎn)生的權(quán)值系數(shù)矩陣[8]。

軟件中t時(shí)刻記憶單元狀態(tài)值分別由上一時(shí)刻的記憶單元狀態(tài)值和當(dāng)前的候選記憶狀態(tài)值Wxcxt+Whcht-1+d組成，再利用輸入門與遺忘門對(duì)狀態(tài)值進(jìn)行控制，集體算法如下式所示

ct=ftct-1+ittanh(Wxcxt+Whcht-1+d)

(3)

其中，ct為測試軟件中t時(shí)刻記憶單元值的狀態(tài)。

這樣，LSTM單元中的記憶單元細(xì)胞就可以長時(shí)間地對(duì)軟件中的儲(chǔ)存數(shù)據(jù)進(jìn)行保留，消除軟件的梯度消失問題[9]。再利用激活函數(shù)計(jì)算輸出門與當(dāng)前記憶狀態(tài)值，并對(duì)獲取的結(jié)果進(jìn)行整合，獲取軟件的最終輸出值ht，計(jì)算流程如下式所示

ht=ottanh(cth)

(4)

通過上述過程，對(duì)軟件中的數(shù)據(jù)進(jìn)行特征提取，并以此為基礎(chǔ)簡化軟件中的時(shí)間序列，為之后的軟件時(shí)間序列延遲的預(yù)測做準(zhǔn)備。

3 時(shí)間序列的延遲預(yù)測模型

根據(jù)軟件中提取的數(shù)據(jù)特征以及簡化后的軟件時(shí)間序列，利用支持向量機(jī)的函數(shù)擬合構(gòu)建軟件時(shí)間序列的延遲預(yù)測模型[10]。

首先，基于線性回歸問題，設(shè)定軟件中數(shù)據(jù)的訓(xùn)練樣本(xi，yi)，x∈Rd，yi∈R，i=0，1，…，n，依據(jù)線性回歸的目標(biāo)計(jì)算下列回歸函數(shù)

f(x)=(w·x)+b

(5)

其中，(w·x)是w與x的內(nèi)積，b∈R，w∈Rd，并且能夠滿足結(jié)構(gòu)的風(fēng)險(xiǎn)最小化。

計(jì)算優(yōu)化后的目標(biāo)函數(shù)，求極值

(6)

其中，C為數(shù)據(jù)集中的懲罰因子，以此實(shí)現(xiàn)風(fēng)險(xiǎn)與置信范圍之間的折中，Remp(f)是損失函數(shù)(通常為Huber函數(shù)、Laplace函數(shù)、ε-不敏感函數(shù)以及二次函數(shù))。ε-不敏感函數(shù)能夠確保對(duì)偶變量的稀疏性并且確保全局最小解的存在及可靠泛化界的優(yōu)化，所以得到廣泛應(yīng)用，其定義為

(7)

由上式所示，當(dāng)|yi-(w·xi)-b|≤ε(i=1，2，…，n)時(shí)，所有的數(shù)據(jù)樣本都會(huì)落入f(x)+ε與f(x)-ε組成的帶狀區(qū)域中，所以優(yōu)化問題就為

(8)

f(x)+ε與f(x)-ε組成的帶狀區(qū)域?yàn)閳D3所示。

圖3 線性回歸的不敏感區(qū)域

由于上述條件不能充分滿足，所以引入松弛因子ζ≥0與ζ*≥0，式(8)就變?yōu)椋?/p>

(9)

(10)

(11)

獲取b，xs、xt為時(shí)間序列中任選的兩個(gè)非支持向量。由此獲得擬合函數(shù)

(12)

利用核函數(shù)K(xi，xj)替代內(nèi)積運(yùn)算，由此來實(shí)現(xiàn)低維空間到高維空間的映射，使低維空間的非線性問題轉(zhuǎn)化為高維的線性問題[11]。引入核函數(shù)后，目標(biāo)函數(shù)會(huì)發(fā)生，如下式所示

(13)

這樣，軟件時(shí)間序列的相應(yīng)擬合函數(shù)也就此轉(zhuǎn)化為

(14)

通常情況下，若對(duì)軟件中時(shí)間序列進(jìn)行分析，整合數(shù)據(jù)構(gòu)建一個(gè)自回歸的動(dòng)態(tài)模型，軟件時(shí)間序列中的當(dāng)前時(shí)刻值與以前n-1個(gè)時(shí)刻的值均有關(guān)系，所以要建立輸入向量xt={xt-1，xt-2，…，xt-p}與輸出的xt之間一對(duì)一的映射關(guān)系：f：Rp-R，p為軟件中的嵌入維數(shù)[12]。依據(jù)以上計(jì)算流程獲取軟件中數(shù)據(jù)的訓(xùn)練樣本集

(15)

根據(jù)上述的擬合函數(shù)計(jì)算流程，建立軟件時(shí)間序列的延遲預(yù)測模型，如下式所示

(16)

依據(jù)軟件中挖掘出的數(shù)據(jù)特征以及簡化的軟件時(shí)間序列結(jié)合時(shí)間序列延遲預(yù)測模型對(duì)軟件中的時(shí)間序列進(jìn)行計(jì)算，以此完成軟件中的時(shí)間序列延遲預(yù)測。

4 實(shí)驗(yàn)

為了驗(yàn)證上述方法的整體有效性，需要對(duì)該方法進(jìn)行對(duì)比測試。

4.1 實(shí)驗(yàn)環(huán)境

采用的操作系統(tǒng)為Windows7，CPU為Pentium(R)Dual-Core，內(nèi)存為8G、硬盤為120G、處理器為戴爾11代i5。分別采用文獻(xiàn)[3]方法、文獻(xiàn)[4]方法及所提方法進(jìn)行測試。

4.2 實(shí)驗(yàn)結(jié)果及分析

1)利用同一型號(hào)的處理器對(duì)所提方法、文獻(xiàn)[3]方法和文獻(xiàn)[4]方法的軟件時(shí)間序列延遲預(yù)測的預(yù)測時(shí)間進(jìn)行測試，測試結(jié)果如圖4所示。

圖4 預(yù)測時(shí)間測試結(jié)果

分析圖4可知，文獻(xiàn)[4]方法在測試初期測試時(shí)間要低于所提方法和文獻(xiàn)[3]方法，但是隨著測試次數(shù)的增加所提方法的預(yù)測時(shí)間要低于文獻(xiàn)[3]方法和文獻(xiàn)[4]方法，這主要是因?yàn)樗岱椒ㄔ谶M(jìn)行軟件時(shí)間序列延遲預(yù)測時(shí)，利用LSTM對(duì)軟件中的數(shù)據(jù)進(jìn)行特征提取，簡化軟件中的時(shí)間序列，再將提取的數(shù)據(jù)特征放入構(gòu)建的軟件時(shí)間序列延遲的預(yù)測模型中，以此實(shí)現(xiàn)對(duì)軟件的時(shí)間序列延遲的預(yù)測。使用該方法預(yù)測軟件的時(shí)間序列延遲，可以縮短時(shí)間序列延遲的預(yù)測時(shí)間，增加預(yù)測效率。

2)結(jié)合實(shí)驗(yàn)(1)利用同一型號(hào)的處理器，對(duì)所提方法、文獻(xiàn)[3]方法以及文獻(xiàn)[4]方法進(jìn)行預(yù)測準(zhǔn)確率的測試，測試結(jié)果如圖5所示。

圖5 預(yù)測準(zhǔn)確率的檢測結(jié)果

分析圖5可知，所提方法的軟件時(shí)間序列延遲的預(yù)測準(zhǔn)確率遠(yuǎn)高于文獻(xiàn)[3]方法與文獻(xiàn)[4]方法，并且檢測效率較為穩(wěn)定，而文獻(xiàn)[4]方法雖然在檢測初期準(zhǔn)確率一度高于所提方法，但是隨著檢測次數(shù)的增加，文獻(xiàn)[4]方法的預(yù)測準(zhǔn)確率呈急速下降趨勢。這主要是因?yàn)樗岱椒ㄔ谶M(jìn)行軟件時(shí)間序列延遲預(yù)測時(shí)，利用二次函數(shù)對(duì)時(shí)間序列進(jìn)行計(jì)算，獲取了軟件中記憶單元狀態(tài)值與候選記憶狀態(tài)值，以此解決了影響預(yù)測的梯度消失問題。增加了預(yù)測的準(zhǔn)確性，縮短的預(yù)測時(shí)間。

3)基于上述測試結(jié)果對(duì)所提方法、文獻(xiàn)[3]方法和文獻(xiàn)[4]方法的漏報(bào)率進(jìn)行測試，測試結(jié)果如圖6所示。

圖6 預(yù)測的漏報(bào)率測試結(jié)果

分析圖6可知，所提方法的軟件時(shí)間序列延遲預(yù)測的漏報(bào)率要遠(yuǎn)低于文獻(xiàn)[3]方法與文獻(xiàn)[4]方法，并能夠?qū)⒙﹫?bào)率穩(wěn)定維持在10%左右。這主要是因?yàn)樗岱椒ㄔ谶M(jìn)行軟件時(shí)間序列延遲預(yù)測時(shí)利用LSTM中的激活函數(shù)來計(jì)算對(duì)軟件中門控機(jī)制與隱藏單元層之間的權(quán)值系數(shù)矩陣，簡化軟件中的時(shí)間序列，以此降低預(yù)測時(shí)的漏報(bào)率，增加預(yù)測效率。

5 結(jié)束語

針對(duì)目前方法在軟件時(shí)間序列延遲預(yù)測時(shí)所存在的預(yù)測時(shí)間長、預(yù)測準(zhǔn)確率低、漏報(bào)率高的問題，提出基于LSTM的軟件時(shí)間序列延遲預(yù)測方法。通過仿真得出，所提方法的預(yù)測漏報(bào)率較低，預(yù)測準(zhǔn)確率較高，耗時(shí)較短，證明了所提方法的有效性。由于建立軟件時(shí)間序列延遲的預(yù)測模型時(shí)利用了支持向量機(jī)的函數(shù)擬合過程，所以該方法還存在一些不穩(wěn)定因素，今后會(huì)根據(jù)這一缺陷繼續(xù)對(duì)預(yù)測模型進(jìn)行優(yōu)化。