基于自注意力長短期記憶網(wǎng)絡(luò)的W eb軟件系統(tǒng)實(shí)時(shí)剩余壽命預(yù)測方法

黨偉超，李 濤，白尚旺，高改梅，劉春霞

（太原科技大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，太原 030024）

0 引言

隨著時(shí)代的發(fā)展、科技水平的顯著提高，各個(gè)領(lǐng)域?qū)τ?jì)算機(jī)以及Web軟件系統(tǒng)的依賴日益增強(qiáng)；尤其在金融、軍事等領(lǐng)域，人們對(duì)軟件系統(tǒng)的可靠性要求越來越高。然而長時(shí)間不間斷運(yùn)行的系統(tǒng)存在著軟件老化現(xiàn)象，系統(tǒng)的可靠性受到嚴(yán)重威脅，易造成無法估量的損失。

軟件老化是指軟件在不間斷運(yùn)行過程中，由于內(nèi)存的大量占用或泄露，文件鎖得不到及時(shí)釋放，會(huì)出現(xiàn)性能逐漸衰退的現(xiàn)象［1］。Huang等［2］提出了軟件抗衰的方法以減少軟件因老化帶來的損失?？顾ゲ呗匝芯渴谴_定恰當(dāng)?shù)目顾r(shí)刻，對(duì)軟件系統(tǒng)執(zhí)行合理的抗衰操作［3］。為了確定軟件抗衰操作的時(shí)刻，主要方法是對(duì)系統(tǒng)資源消耗的情況進(jìn)行分析及預(yù)測［4-6］。由于各類軟件系統(tǒng)執(zhí)行抗衰操作都需要一定時(shí)長的準(zhǔn)備時(shí)間，用上述方法指導(dǎo)抗衰決策容易造成欠維修或過維修的問題。如果通過預(yù)測軟件剩余使用壽命來推導(dǎo)軟件最優(yōu)抗衰時(shí)刻，將會(huì)減少抗衰決策判斷誤差。

軟件剩余使用壽命（Remaining Useful Life，RUL）指軟件以當(dāng)前的運(yùn)行條件，能夠?qū)崿F(xiàn)其正常功能的剩余時(shí)間。目前，在預(yù)測剩余壽命研究領(lǐng)域，針對(duì)退化過程比較復(fù)雜的系統(tǒng)，主流的研究方法是基于數(shù)據(jù)驅(qū)動(dòng)的機(jī)器學(xué)習(xí)方法。常用的數(shù)據(jù)驅(qū)動(dòng)方法有卡爾曼濾波、支持向量機(jī)和神經(jīng)網(wǎng)絡(luò)等。于震梁等［7］用支持向量機(jī)和非線性卡爾曼濾波對(duì)機(jī)械零件的剩余壽命進(jìn)行了預(yù)測。當(dāng)樣本數(shù)量很大時(shí)，支持向量機(jī)需要耗費(fèi)大量的內(nèi)存和時(shí)間，難以實(shí)施［8］?？柭鼮V波技術(shù)利用相應(yīng)的領(lǐng)域知識(shí)來調(diào)整參數(shù)并選擇對(duì)應(yīng)的殘差模型［9］，需要明確的領(lǐng)域知識(shí)，適用性不高。

近年來，由于深度學(xué)習(xí)其在非線性映射特征提取方面的優(yōu)異性能，在故障診斷和壽命預(yù)測領(lǐng)域受到了廣泛關(guān)注。深度學(xué)習(xí)中的反向傳播（Back Propagation，BP）神經(jīng)網(wǎng)絡(luò)、循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network，RNN）在剩余壽命預(yù)測領(lǐng)域得到廣泛的應(yīng)用［10-12］。長短期記憶（Long Short-Term Memory，LSTM）網(wǎng)絡(luò)作為一種改進(jìn)后的RNN網(wǎng)絡(luò)，能有效學(xué)習(xí)時(shí)序性數(shù)據(jù)的長期依賴關(guān)系，成為剩余壽命的熱點(diǎn)技術(shù)之一［13-14］；然而，單一LSTM容易忽略不同特征對(duì)輸出結(jié)果的不同影響［15］。一些學(xué)者在機(jī)器閱讀、情感分析、圖像描述等領(lǐng)域嘗試使用融合注意力機(jī)制和神經(jīng)網(wǎng)絡(luò)的方法［16-18］。Luong等［19］在編碼和解碼網(wǎng)絡(luò)中融入了注意力機(jī)制，可以對(duì)不同信息特征值進(jìn)行區(qū)分學(xué)習(xí)，提升了循環(huán)神經(jīng)網(wǎng)絡(luò)的預(yù)測性能。

基于上述分析，本文提出了一種基于自注意力長短期記憶（Self-Attention-Long Short-Term Memory，Self-Attention-LSTM）網(wǎng)絡(luò)的Web軟件系統(tǒng)實(shí)時(shí)剩余壽命預(yù)測模型，該模型充分考慮了Web軟件系統(tǒng)資源消耗的時(shí)序特性，在LSTM循環(huán)神經(jīng)網(wǎng)絡(luò)基礎(chǔ)上引入自注意力機(jī)制，為不同時(shí)刻LSTM隱含層的輸出結(jié)果分配不同的注意力系數(shù)，更加全面地對(duì)局部剩余壽命信息特征的重要程度進(jìn)行區(qū)分學(xué)習(xí)，提高了Web軟件系統(tǒng)剩余壽命預(yù)測的準(zhǔn)確度。

1 模型原理

1.1 長短期記憶網(wǎng)絡(luò)

LSTM是一種改進(jìn)之后的循環(huán)神經(jīng)網(wǎng)絡(luò)，可以解決RNN感知能力下降的問題，與RNN相比，LSTM在其基礎(chǔ)上增加了一個(gè)細(xì)胞狀態(tài)（cell state）。一個(gè)LSTM單元通過三個(gè)門控制細(xì)胞狀態(tài)，這三個(gè)門分別為遺忘門、輸入門和輸出門。如圖1所示。

圖1 LSTM單元結(jié)構(gòu)Fig.1 LSTM unit structure

門控循環(huán)單元（Gate Recurrent Unit，GRU）是LSTM網(wǎng)絡(luò)的一種變體，它組合遺忘門和輸入門到一個(gè)單獨(dú)的“更新門”中，合并細(xì)胞狀態(tài)和隱含層狀態(tài)，沒有輸出門，增加重置門，如圖2所示。

圖2 GRU單元結(jié)構(gòu)Fig.2 GRU unit structure

1.2 自注意力機(jī)制

自注意力機(jī)制是對(duì)注意力機(jī)制的一種改進(jìn)，其目的是捕捉數(shù)據(jù)或特征的內(nèi)部相關(guān)性，從而提高目標(biāo)輸出的預(yù)測準(zhǔn)確度。本文將其與LSTM網(wǎng)絡(luò)結(jié)合，建模特征向量的內(nèi)部相關(guān)性。自注意力機(jī)制的結(jié)構(gòu)如圖3所示。

圖3 自注意力機(jī)制結(jié)構(gòu)Fig.3 Structureof self-attention mechanism

具體來說，將LSTM層在第t個(gè)時(shí)間步的輸出Ht=｛ht，1，ht，2，…，ht，i，…，ht，w｝T∈Rw×m作為特征向量輸入到自注意力機(jī)制中。其中，ht，i∈Rm（為簡化表示，在圖3中表示為hi），w為時(shí)間步長，m為隱含層單元數(shù)。在自注意力機(jī)制中，首先，特征值hi分別與目標(biāo)特征值hj進(jìn)行對(duì)比，利用f(hi，hj)函數(shù)得到特征間的相似度；然后，用softmax函數(shù)對(duì)該相似度進(jìn)行歸一化，該值越大表明該特征值對(duì)目標(biāo)特征值的影響越大，反之則影響越??；最后，將該相似度權(quán)重與原輸入進(jìn)行加權(quán)求和以得到最后的輸出特征h′i。具體計(jì)算公式如下：

1.3 構(gòu)建網(wǎng)絡(luò)模型

結(jié)合自注意力機(jī)制的LSTM剩余壽命預(yù)測模型由輸入層、隱含層、自注意力層、池化層、全連接層、輸出層構(gòu)成。如圖4所示。

圖4 Self-Attention-LSTM剩余使用壽命預(yù)測模型Fig.4 Self-Attention-LSTM RUL prediction model

1）收集樣本并進(jìn)行標(biāo)準(zhǔn)化處理。

每秒收集一次Web軟件系統(tǒng)運(yùn)行過程內(nèi)存使用量數(shù)據(jù)，假設(shè)第n秒發(fā)生了內(nèi)存溢出（Out Of Memory，OOM）故障，則一共收集了n秒的系統(tǒng)運(yùn)行數(shù)據(jù)。OOM是指當(dāng)系統(tǒng)因?yàn)闆]有足夠的內(nèi)存為對(duì)象分配空間而產(chǎn)生內(nèi)存溢出故障。將系統(tǒng)在第i秒的內(nèi)存使用量表示為mi，則系統(tǒng)在i秒的剩余壽命可表示為r=n-i。假設(shè)系統(tǒng)運(yùn)行了k秒以后才進(jìn)入系統(tǒng)老化狀態(tài)，則每次運(yùn)行可得到如下采樣數(shù)據(jù)。

標(biāo) 準(zhǔn) 化 處 理 后 的 樣 本 表 示 為(M′，R′)={(m′i，r′i)，i=1，2，…，n}，其中m′i和ri′的定義如式（5）所示：

將序列M′以時(shí)間步長w分割為n-w個(gè)長度為w的時(shí)間序列，用X表示，對(duì)應(yīng)的實(shí)際壽命用Y表示，輸入網(wǎng)絡(luò)的數(shù)據(jù)如式（6）所示：

2）LSTM層。

將X={X1，X2，…，Xi，…，Xn-w}輸入LSTM層，經(jīng)過LSTM隱含層得到的網(wǎng)絡(luò)輸出表示為式（7）。其中Ci-1和Hi-1分別表示上一時(shí)刻LSTM網(wǎng)絡(luò)的狀態(tài)以及隱含層的輸出。

3）自注意力層。

將經(jīng)過LSTM層的得到的隱含層特征序列輸入自注意力層中，t時(shí)刻LSTM輸出的特征表示為Ht=｛ht，1，ht，2，…，ht，i，…，ht，w｝T∈Rw×m，ht，i∈Rw，w為時(shí)間步長，m為LSTM隱含層單元數(shù) 。 經(jīng) 式（8）計(jì) 算 ，得 到 新 的 特 征H′t={h′t，1，h′t，2，…，h′t，i，…，h′t，w}T∈Rw×m。

4）池化層和全連接層。

5）誤差反向傳播。

6）評(píng)價(jià)指標(biāo)。

除了RMSE和MAE之外，本文引入另外兩個(gè)相對(duì)評(píng)價(jià)指標(biāo)：指數(shù)評(píng)價(jià)函數(shù)（Scoring Function，SF）和相對(duì)準(zhǔn)確率（Accuracy）。預(yù)測壽命相對(duì)剩余壽命偏小和偏大，分別設(shè)置不同的影響因子，分別記做a1和a2，且a1>a2，這是因?yàn)楸绕餡eb失效后采取抗衰操作，在失效之前執(zhí)行抗衰操作帶來較小的損失。本文中影響因子設(shè)為a1=150，a2=50。

2 實(shí)驗(yàn)與結(jié)果分析

研究表明，軟件系統(tǒng)內(nèi)存的泄露會(huì)引起內(nèi)存的耗盡，導(dǎo)致系統(tǒng)宕機(jī)，軟件內(nèi)存的使用情況直接反映了系統(tǒng)的健康狀況。因此，本文通過Web軟件系統(tǒng)的內(nèi)存使用情況來對(duì)Web軟件系統(tǒng)的剩余壽命進(jìn)行預(yù)測。通過檢測Web軟件系統(tǒng)的健康狀況，收集系統(tǒng)使用內(nèi)存的數(shù)據(jù)，建立一個(gè)基于Self-Attention-LSTM的Web軟件系統(tǒng)的實(shí)時(shí)壽命預(yù)測模型，以此來預(yù)測軟件系統(tǒng)的剩余使用壽命。

由于Web軟件系統(tǒng)開始出現(xiàn)老化后并不會(huì)立刻失效，需要耗費(fèi)很長時(shí)間才會(huì)發(fā)現(xiàn)故障。受Yin等［20］提出的系統(tǒng)化方法的啟發(fā)，本文將工業(yè)領(lǐng)域已成熟應(yīng)用的加速測試?yán)碚撘氲杰浖I(lǐng)域，在Web軟件系統(tǒng)中采用加速內(nèi)存泄露的方法收集可以反映軟件老化情況的指標(biāo)數(shù)據(jù)。

2.1 數(shù)據(jù)收集

為了收集反映Web軟件老化情況的使用內(nèi)存數(shù)據(jù)，搭建了一個(gè)符合多層TPC-W基準(zhǔn)測試規(guī)范的電子商務(wù)網(wǎng)站系統(tǒng)。該軟件系統(tǒng)由一個(gè)Web服務(wù)器、一個(gè)數(shù)據(jù)庫服務(wù)器和一組模擬的客戶端組成。該系統(tǒng)模擬了一個(gè)在線售書網(wǎng)站，包括主頁、暢銷頁面、新書頁面、搜索頁面、購物車、和訂單狀態(tài)等不同類型的頁面。客戶端模擬瀏覽器并發(fā)訪問Web服務(wù)器。Web服務(wù)器Tomcat關(guān)于JVM的內(nèi)存配置參數(shù)如表1所示。

表1 Tomcat關(guān)于JVM內(nèi)存配置信息Tab.1 JVM memory configuration information in Tomcat

收集了四組在不同服務(wù)端的內(nèi)存泄漏強(qiáng)度（Leakage）和客戶端并發(fā)數(shù)（Concurrency）參數(shù)情況下發(fā)生OOM故障的數(shù)據(jù)。表2列出了4組實(shí)驗(yàn)的具體參數(shù)。當(dāng)發(fā)生OOM故障時(shí)，記當(dāng)前時(shí)刻為T，該時(shí)刻系統(tǒng)剩余壽命r=0。實(shí)驗(yàn)過程中每1秒收集一次JVM的內(nèi)存使用量，采集到了4組樣本，樣本個(gè)數(shù)分別為10 929，8 202，14 399，9 635。圖5表示了4組實(shí)驗(yàn)JVM內(nèi)存使用情況變化趨勢。

表2 四次實(shí)驗(yàn)運(yùn)行參數(shù)Tab.2 Operation parameters of four experiments

圖5 JVM內(nèi)存使用情況變化趨勢Fig.5 Trend of JVM memory usage

2.2 實(shí)驗(yàn)環(huán)境

實(shí)驗(yàn)環(huán)境為i5-3230 M（2.27 GHz）CPU、4 GB內(nèi)存和Microsoft Windows 7操作系統(tǒng)。在Jetbrains PyCharm集成開發(fā)環(huán)境下，使用python2.6作為編程語言，anaconda作為解釋器，基于Keras框架搭建并訓(xùn)練壽命預(yù)測模型。

2.3 基于Self-Attention-LSTM的剩余壽命預(yù)測模型

1）尋找最佳的隱含層單元數(shù)量。

用Data1做訓(xùn)練集，Data2做測試集，RMSprop（Root Mean Square propagation）算法對(duì)模型進(jìn)行優(yōu)化，MAE作為評(píng)價(jià)指標(biāo)。表3為采用不同隱含層單元數(shù)訓(xùn)練網(wǎng)絡(luò)時(shí)在訓(xùn)練集和測試集上的MAE值。從表中可以看出，隱含層單元數(shù)為120時(shí)，MAE值最小，預(yù)測精度最高。

表3 不同隱含層單元數(shù)量時(shí)的MAE對(duì)比Tab.3 MAE comparison under different hidden layer units

2）尋找最佳優(yōu)化算法。

隱含層單元數(shù)為120，Data1做訓(xùn)練集，Data2做測試集，不同的優(yōu)化算法訓(xùn)練模型，MAE作為評(píng)價(jià)指標(biāo)。對(duì)比不同算法在訓(xùn)練集和測試集上MAE的大小。結(jié)果如表4所示，采用Adam算法的模型在訓(xùn)練集和測試集上的評(píng)價(jià)指標(biāo)值最小，預(yù)測精度最高。

表4 不同優(yōu)化算法評(píng)價(jià)指標(biāo)MAE對(duì)比Tab.4 MAE comparison of different optimization algorithms

3）尋找最佳隱含層激活函數(shù)。

圖6采用隱含層單元為120，Adam算法對(duì)模型進(jìn)行優(yōu)化，為確定該模型隱含層最佳激活函數(shù)，用四種常見激活函數(shù)（relu，tanh，sigmoid，softmax）進(jìn)行了對(duì)比實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果如圖6所示，從表中看出采用relu和tanh激活函數(shù)的擬合效果相對(duì)較好。表5展示了不同激活函數(shù)在訓(xùn)練集和測試集上的MAE的大小，可以看出采用relu激活函數(shù)時(shí)MAE最小，說明采用relu激活函數(shù)的預(yù)測精度最高。

表5 不同激活函數(shù)MAE對(duì)比Tab.5 MAE comparison of different activation functions

圖6 不同激活函數(shù)的剩余使用壽命預(yù)測結(jié)果Fig.6 RUL prediction results of different activation functions

4）預(yù)測Data2剩余使用壽命。

采用表6列出的實(shí)驗(yàn)參數(shù)訓(xùn)練網(wǎng)絡(luò)，由于模型中含有多個(gè)網(wǎng)絡(luò)層以及大量的參數(shù)，為防止產(chǎn)生過擬合的現(xiàn)象，采用Dropout在每輪權(quán)重更新時(shí)隨機(jī)選擇隱去一些節(jié)點(diǎn)，從而限制模型單元之間的協(xié)同更新［21］。

表6 Self-Attention-LSTM剩余使用壽命預(yù)測模型的訓(xùn)練參數(shù)Tab.6 Training parametersof Self-Attention-LSTM RUL prediction model

該模型使用的Dropout的參數(shù)值為0.5，即含有Dropout的網(wǎng)絡(luò)層在訓(xùn)練過程中，會(huì)有50%的節(jié)點(diǎn)被拋棄。用Data2做測試集，模型的預(yù)測結(jié)果如圖7所示，可以看出，隨著時(shí)間的推移擬合效果越來越好，而且預(yù)測值大部分小于真實(shí)值，為采取抗衰決策提供了時(shí)間保障。

圖7 Self-Attention-LSTM模型的剩余使用壽命預(yù)測結(jié)果（Data2）Fig.7 RUL prediction results of Self-Attention-LSTMmodel（Data2）

2.4 結(jié)果分析

為驗(yàn)證Self-Attention-LSTM壽命預(yù)測模型的有效性，本文采用表6的模型參數(shù)在測試集數(shù)據(jù)進(jìn)行了三組實(shí)驗(yàn)，并與傳統(tǒng)的BP網(wǎng)絡(luò)以及常規(guī)的循環(huán)神經(jīng)網(wǎng)絡(luò)（LSTM、GRU、RNN）做了對(duì)比，實(shí)驗(yàn)結(jié)果如圖8所示。從圖中可以看出，三組實(shí)驗(yàn)中，Self-Attention-LSTM預(yù)測模型與真實(shí)壽命曲線的擬合效果最好，說明該模型的泛化能力最好。為了進(jìn)一步地比較準(zhǔn)確度，表7列出了各網(wǎng)絡(luò)模型不同評(píng)價(jià)指標(biāo)對(duì)比，表中PT（Prediciton Time）表示單位樣本預(yù)測所需要的時(shí)間，單位為ms，從表中可以看出，PT值較小，滿足實(shí)時(shí)預(yù)測要求。Self-Attention-LSTM壽命預(yù)測模型在三組實(shí)驗(yàn)里的MSE、RMSE、SF都是最低，Accuracy最高，說明該壽命預(yù)測相較于BP網(wǎng)絡(luò)和常規(guī)循環(huán)神經(jīng)網(wǎng)絡(luò)而言，預(yù)測精度最高。

圖8 不同模型的剩余使用壽命預(yù)測結(jié)果對(duì)比Fig.8 Comparison of RUL prediction results of different models

表7 不同預(yù)測模型評(píng)價(jià)指標(biāo)對(duì)比Tab.7 Comparison of evaluation indexes of different prediction models

3 結(jié)語

為了能夠?qū)崟r(shí)準(zhǔn)確地對(duì)Web軟件系統(tǒng)的剩余壽命進(jìn)行預(yù)測，本文以LSTM循環(huán)神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)，考慮了特征間的依賴關(guān)系，結(jié)合注意力機(jī)制，構(gòu)建了一種Self-Attention-LSTM網(wǎng)絡(luò)的Web軟件系統(tǒng)實(shí)時(shí)剩余壽命預(yù)測模型。實(shí)驗(yàn)結(jié)果表明，該預(yù)測模型能實(shí)時(shí)預(yù)測Web服務(wù)器剩余使用壽命，與傳統(tǒng)的BP神經(jīng)網(wǎng)絡(luò)以及常規(guī)的循環(huán)神經(jīng)網(wǎng)絡(luò)相比，其預(yù)測精度高、泛化能力好、誤差較小?；赟elf-Attention-LSTM網(wǎng)絡(luò)的剩余壽命預(yù)測方法是一種端對(duì)端的預(yù)測方法，該方法為優(yōu)化軟件系統(tǒng)抗衰決策提供了技術(shù)支撐。在未來工作中，將嘗試?yán)脙?nèi)存使用量、響應(yīng)時(shí)間、吞吐量等多維度信息來預(yù)測剩余壽命。