基于注意力機(jī)制的CNN-LSTM剩余壽命預(yù)測(cè)研究

趙志宏，李 晴，楊紹普，李樂(lè)豪

(1.石家莊鐵道大學(xué) 信息科學(xué)與技術(shù)學(xué)院，河北 石家莊 050043；2.石家莊鐵道大學(xué) 省部共建交通工程結(jié)構(gòu)力學(xué)行為與系統(tǒng)安全國(guó)家重點(diǎn)試驗(yàn)室，河北 石家莊 050043)

隨著我國(guó)工業(yè)技術(shù)快速發(fā)展，我國(guó)在2015年提出了《中國(guó)制造2025》以推動(dòng)中國(guó)工業(yè)化前進(jìn)，深入對(duì)機(jī)械設(shè)備健康狀態(tài)監(jiān)測(cè)的研究。通過(guò)對(duì)傳感器獲取的機(jī)械設(shè)備運(yùn)行狀態(tài)監(jiān)測(cè)數(shù)據(jù)進(jìn)行分析，構(gòu)建對(duì)應(yīng)的壽命預(yù)測(cè)系統(tǒng)可以有效地預(yù)測(cè)可能發(fā)生的故障以及剩余壽命(Remaining Useful Life，RUL)，從而給出合理的維修決策，以避免可能造成的人員或經(jīng)濟(jì)財(cái)產(chǎn)損失[1]。

現(xiàn)有的剩余壽命預(yù)測(cè)方法主要分為基于模型的方法、基于數(shù)據(jù)驅(qū)動(dòng)的方法和兩者混合的方法[2]。基于模型的方法主要利用研究人員的先驗(yàn)知識(shí)對(duì)機(jī)械設(shè)備進(jìn)行建模研究[3-4]。但是實(shí)際工業(yè)狀況復(fù)雜多變，研究人員很難擁有充足的先驗(yàn)知識(shí)，因此該方法實(shí)踐上存在一定的難度?；跀?shù)據(jù)驅(qū)動(dòng)的方法利用統(tǒng)計(jì)學(xué)和機(jī)器學(xué)習(xí)的方法提取特征信息進(jìn)行RUL預(yù)測(cè)[5]，例如支持向量機(jī)[6]、人工神經(jīng)網(wǎng)絡(luò)[7]、貝葉斯[8]等，但在提取特征時(shí)可能造成特征信息的丟失，會(huì)對(duì)剩余壽命預(yù)測(cè)結(jié)果造成一定的影響。

深度學(xué)習(xí)的快速發(fā)展使得深度學(xué)習(xí)在預(yù)測(cè)剩余壽命研究方面取得了不錯(cuò)的效果。WANG B等[9]提出了一種基于遞歸卷積神經(jīng)網(wǎng)絡(luò)的剩余壽命預(yù)測(cè)方法，得到了較好的預(yù)測(cè)結(jié)果。YOO Y等[10]提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks，CNN)的RUL預(yù)測(cè)方法，利用CNN提取空間特征，進(jìn)而預(yù)測(cè)剩余壽命。王奉濤等[11]將長(zhǎng)短期記憶網(wǎng)絡(luò)(Long Short-Term Memory，LSTM)應(yīng)用于RUL預(yù)測(cè)，通過(guò)LSTM提取時(shí)間序列特征以預(yù)測(cè)滾動(dòng)軸承的剩余壽命，并獲得有效的預(yù)測(cè)結(jié)果。但以上剩余壽命預(yù)測(cè)方法沒(méi)有考慮到不同特征對(duì)于剩余壽命預(yù)測(cè)結(jié)果的影響不同，應(yīng)找出對(duì)于剩余壽命預(yù)測(cè)結(jié)果影響大的關(guān)鍵特征。韓光潔等[12]將注意力機(jī)制應(yīng)用于RUL預(yù)測(cè)方法，先通過(guò)LSTM提取時(shí)間特征，后利用Attention對(duì)提取的特征信息分配不同的權(quán)重以提高剩余壽命預(yù)測(cè)的準(zhǔn)確性。

為研究不同注意力機(jī)制對(duì)于剩余壽命預(yù)測(cè)結(jié)果的影響，本文提出了一種基于注意力機(jī)制的CNN-LSTM剩余壽命預(yù)測(cè)方法，包括通道注意力、CBAM機(jī)制和自注意力等進(jìn)行剩余壽命預(yù)測(cè)試驗(yàn)。該方法利用CNN提取局部空間信息，通過(guò)LSTM獲取時(shí)間特征信息，再使用注意力機(jī)制向CNN-LSTM提取的特征信息分配不同的權(quán)重，突出關(guān)鍵的特征信息，過(guò)濾無(wú)用信息，以更準(zhǔn)確地表示設(shè)備的退化特征信息，最終得到設(shè)備的剩余壽命。

1 理論分析

1.1 CNN

LeCun Y[13]等提出的CNN被廣泛應(yīng)用于深度學(xué)習(xí)各個(gè)領(lǐng)域。Abdeljaber O[14]等通過(guò)研究發(fā)現(xiàn)：1D-CNN可以提取時(shí)間序列特征信息。CNN通過(guò)局部連接、權(quán)值共享和空間池化等提取數(shù)據(jù)的局部特征，具有較強(qiáng)的抽象表達(dá)能力。CNN主要由卷積層、池化層和全連接層組成[15]。

卷積層通過(guò)局部連接和權(quán)值共享對(duì)于信息進(jìn)行卷積操作，從中提取局部特征信息，其中卷積操作如式(1)所示：

(1)

式中：yk-1——第k個(gè)卷積層的輸入；

*——卷積運(yùn)算；

池化層對(duì)于獲取的特征信息壓縮降維，以降低計(jì)算復(fù)雜度和突出主要特征，常見(jiàn)的池化方法是平均池化和最大池化。

1.2 LSTM

為解決Bengio Y等[16]在研究中發(fā)現(xiàn)RNN在處理長(zhǎng)數(shù)據(jù)時(shí)存在梯度消失或梯度爆炸的問(wèn)題，Hochreiter S等[17]提出改進(jìn)的RNN-LSTM。LSTM網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示，與RNN相比，LSTM增加了3個(gè)門結(jié)構(gòu)判斷是否保存現(xiàn)有信息，更適用于處理長(zhǎng)時(shí)間數(shù)據(jù)的預(yù)測(cè)問(wèn)題。

圖1 LSTM網(wǎng)絡(luò)結(jié)構(gòu)

LSTM的3個(gè)門結(jié)構(gòu)分別為：遺忘門、輸入門和輸出門，各個(gè)門的作用及計(jì)算如下:

(1)遺忘門是對(duì)細(xì)胞狀態(tài)中的歷史信息選擇性丟棄，計(jì)算如式(2)所示：

ft=σ(Wf[ht-1,xt]+bf)

(2)

(2)輸入門是選擇性保存新信息到細(xì)胞單元狀態(tài)中，更新?tīng)顟B(tài)信息，計(jì)算如式(3)～式(5)所示：

it=σ(Wi[ht-1,xt]+bi)

(3)

(4)

(5)

(3)輸出門是根據(jù)細(xì)胞單元狀態(tài)決定輸出信息，計(jì)算如式(6)、式(7)所示：

σt=σ(Wo·[ht-1,xt]+bo)

(6)

ht=ot·tanh(ct)

(7)

式中：ft，it，ot，ct——分別表示t時(shí)刻對(duì)應(yīng)的遺忘門、輸入門、輸出門結(jié)構(gòu)和細(xì)胞單元狀態(tài)；

Wf、bf——分別為遺忘門的權(quán)重、偏置；

Wi、bi——分別為輸入門的權(quán)重、偏置；

Wc、bc——分別為細(xì)胞狀態(tài)的權(quán)重、偏置；

Wo、bo——分別為輸出門的權(quán)重、偏置；

ht-1、ht——分別為t-1、t時(shí)刻的隱藏層信息；

ct-1——t-1時(shí)刻的細(xì)胞狀態(tài)信息；

xt——t時(shí)刻輸入信息；

σ——Sigmoid激活函數(shù)。

1.3 注意力機(jī)制

注意力機(jī)制最初于2014年被Bahdanau提出并應(yīng)用于機(jī)器翻譯[18]，現(xiàn)已廣泛應(yīng)用于語(yǔ)音識(shí)別[19]、圖像處理[20]等方面。注意力機(jī)制有多種實(shí)現(xiàn)方式，本文主要選取常用的通道注意力[21](Squeeze and Excitation，SE)、CBAM(convolutional block attention module)機(jī)制[22]和自注意力機(jī)制。

1.3.1 SE

在實(shí)際工業(yè)情況下，不同通道有不同的重要性，SE用于解決傳統(tǒng)卷積池化中特征圖每個(gè)通道占比相同帶來(lái)的信息損失情況。SE利用網(wǎng)絡(luò)訓(xùn)練特征通道權(quán)重，對(duì)重要的通道賦予較高的權(quán)重，主要分為2個(gè)部分：Squeeze和Excitation，其結(jié)構(gòu)如圖2所示。

圖2 SE結(jié)構(gòu)

(1)Squeeze：對(duì)于特征進(jìn)行壓縮，嵌入全局信息得到對(duì)應(yīng)的值，主要通過(guò)全局平均池化實(shí)現(xiàn)，其計(jì)算如式(8)所示：

(8)

式中：zc——矩陣壓縮的輸出；

dc——第c個(gè)輸入特征矩陣圖；

w——dc的寬度；

h——dc的高度；

i——dc的寬度序號(hào)為i；

j——dc的高度序號(hào)為j。

(2)Excitation：生成每個(gè)特征通道對(duì)應(yīng)的權(quán)重，主要通過(guò)全連接層實(shí)現(xiàn)，第1個(gè)全連接層進(jìn)行降維操作，第2個(gè)全連接層升維以擬合通道的復(fù)雜性，利用Sigmoid激活函數(shù)獲取對(duì)應(yīng)的權(quán)重矩陣S：

S=σ(W2δ(W1z))

(9)

式中：σ——Sigmoid激活函數(shù)；

δ——Relu激活函數(shù)；

W1、W2——權(quán)重矩陣；

z——Squeeze的輸出。

1.3.2 CBAM機(jī)制

通道注意力機(jī)制通過(guò)全局平均池化計(jì)算各個(gè)通道的權(quán)重，導(dǎo)致空間信息被忽略。為解決這一問(wèn)題，WOO S等[22]提出了CBAM，CBAM包含全局平均池化和最大池化在通道和空間2個(gè)維度上將注意力串聯(lián)，得到對(duì)應(yīng)的權(quán)重。CBAM結(jié)構(gòu)如圖3所示。

圖3 CBAM結(jié)構(gòu)

(1)利用通道注意力對(duì)特征矩陣經(jīng)過(guò)全局平均池化和最大池化操作，經(jīng)過(guò)2層全連接層以及Sigmoid激活函數(shù)獲得新的特征矩陣；

(2)通過(guò)空間注意力對(duì)特征矩陣進(jìn)行平均池化和最大池化，將經(jīng)過(guò)以上2個(gè)池化操作得到的特征合并，經(jīng)過(guò)CNN和Sigmoid激活函數(shù)獲得新的特征矩陣。

1.3.3 自注意力機(jī)制

自注意力機(jī)制主要由查詢值query、key和value組成[23]，其計(jì)算步驟如下：

(1)query與每個(gè)key點(diǎn)積相似度計(jì)算獲得權(quán)重；

(2)通過(guò)Softmax歸一化指數(shù)、函數(shù)對(duì)上一步得到的權(quán)重歸一化；

(3)將歸一化后的權(quán)重與對(duì)應(yīng)value加權(quán)求和得到最終的Attention。

Attention計(jì)算如式(10)：

(10)

式中：Q、K、V——分別為query、key、value的矩陣表示，Q=K=V；

dk——query的向量維度。

2 預(yù)測(cè)模型

本文提出的基于注意力機(jī)制的CNN-LSTM剩余壽命預(yù)測(cè)方法網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示，主要由CNN層、Dropout層、LSTM層、Attention層、平鋪層和全連接層組成。

圖4 注意力機(jī)制的CNN-LSTM模型網(wǎng)絡(luò)結(jié)構(gòu)

壽命預(yù)測(cè)的具體步驟如下：

(1)將輸入的原始數(shù)據(jù)進(jìn)行數(shù)據(jù)預(yù)處理，獲得n個(gè)特征向量{x1，x2，x3，…，xn} 作為基于注意力機(jī)制的CNN-LSTM網(wǎng)絡(luò)結(jié)構(gòu)的輸入；

(2)通過(guò)CNN層獲取其中蘊(yùn)含的局部空間狀態(tài)特征；

(3)利用LSTM層提取時(shí)間特征信息；

(4)將經(jīng)過(guò)CNN-LSTM提取到的特征信息輸入到Attention機(jī)制進(jìn)行加權(quán)，本文選用3種不同的注意力機(jī)制進(jìn)行試驗(yàn)，包括通道注意力、CBAM機(jī)制和自注意力機(jī)制；

(5)將注意力機(jī)制的輸出經(jīng)過(guò)平鋪層轉(zhuǎn)化為一維數(shù)據(jù)，通過(guò)2個(gè)全連接層以多對(duì)一的形式輸出剩余壽命預(yù)測(cè)結(jié)果。

3 試驗(yàn)

3.1 試驗(yàn)數(shù)據(jù)及參數(shù)設(shè)置

為驗(yàn)證本文所提出的基于注意力機(jī)制的CNN-LSTM剩余壽命預(yù)測(cè)方法的有效性，選用NASA發(fā)布的C-MAPSS[24]數(shù)據(jù)集進(jìn)行RUL預(yù)測(cè)試驗(yàn)。C-MAPSS數(shù)據(jù)集如表1所示，分為4個(gè)子集，每個(gè)子集都包含訓(xùn)練集、測(cè)試集以及測(cè)試集對(duì)應(yīng)的真實(shí)剩余壽命值。每個(gè)子集均為n×26矩陣，其中n表示每個(gè)子集中的數(shù)據(jù)個(gè)數(shù)。每一行對(duì)應(yīng)每個(gè)時(shí)間周期內(nèi)的26列數(shù)據(jù)[25]，第1列表示發(fā)動(dòng)機(jī)單元號(hào)，第2列表示當(dāng)前工作周期數(shù)，第3～5列表示操作設(shè)置，第6～26列表示傳感器值。

表1 C-MAPSS數(shù)據(jù)集

3.2 壽命預(yù)測(cè)結(jié)果

為證明本文提出的剩余壽命

預(yù)測(cè)模型的有效性和可行性，選擇CNN-LSTM、CNN-LSTM-SE、CNN-LSTM-CBAM和CNN-LSTM-Self-Attention(簡(jiǎn)稱為“CNN-LSTM-SA”)預(yù)測(cè)模型在同樣的C-MAPSS數(shù)據(jù)集的FD001子集中進(jìn)行試驗(yàn)訓(xùn)練。利用4種方法得到的發(fā)動(dòng)機(jī)預(yù)測(cè)RUL結(jié)果如圖5所示。由圖5可知，運(yùn)行周期數(shù)較小時(shí)預(yù)測(cè)較為準(zhǔn)確，隨著運(yùn)行周期數(shù)增加，設(shè)備出現(xiàn)故障，預(yù)測(cè)曲線出現(xiàn)波動(dòng)，準(zhǔn)確性降低。通過(guò)對(duì)比圖5中FD001子集的實(shí)際壽命和預(yù)測(cè)結(jié)果可以看出，CNN-LSTM-SA預(yù)測(cè)結(jié)果優(yōu)于其余3種預(yù)測(cè)模型結(jié)果。因此，在本文中Self-Attention對(duì)于剩余壽命預(yù)測(cè)結(jié)果影響較大。

圖5 4種模型的RUL預(yù)測(cè)結(jié)果

3.3 壽命預(yù)測(cè)結(jié)果評(píng)價(jià)指標(biāo)對(duì)比

為評(píng)估本文所提出的剩余壽命預(yù)測(cè)方法的有效性，選用了2種客觀的性能度量指標(biāo)：評(píng)分函數(shù)和均方根誤差(Root Mean Square Error，RMSE)。其中選用PHM2008數(shù)據(jù)挑戰(zhàn)賽的評(píng)分函數(shù)，其定義如下：

(11)

其中，

d=RULestimated-RULreal

(12)

式中：S——最終計(jì)算評(píng)分；

n——測(cè)試集的引擎?zhèn)€數(shù)；

d——RUL預(yù)測(cè)值和真實(shí)值的差值。

RMSE常用于衡量真實(shí)值和預(yù)測(cè)值之間的偏差，具有無(wú)偏性。RMSE計(jì)算公式為：

(13)

yi——真實(shí)值。

為證明本文提出的剩余壽命預(yù)測(cè)模型的有效性和可行性，選擇CNN-LSTM、CNN-LSTM-SE、CNN-LSTM-CBAM和CNN-LSTM-SA與已有論文中D-LSTM[26]、LSTM[27]、FADCNN[28]和GB[29]預(yù)測(cè)模型在同樣的C-MAPSS數(shù)據(jù)集的4組子集中進(jìn)行試驗(yàn)訓(xùn)練，獲取不同預(yù)測(cè)方法得到的評(píng)分函數(shù)和RMSE，并進(jìn)行比較。

不同預(yù)測(cè)方法評(píng)分函數(shù)、RMSE對(duì)比如表3所示。從表3中可以看到，本文提出的CNN-LSTM-SA預(yù)測(cè)模型與CNN-LSTM、CNN-LSTM-SE、CNN-LSTM-CBAM模型相比，CNN-LSTM-SA預(yù)測(cè)模型在評(píng)分函數(shù)和RMSE 2個(gè)方面均獲得較好的結(jié)果。

表3 基于C-MAPSS數(shù)據(jù)集的不同方法與本文方法對(duì)比

通過(guò)以上分析可知，本文提出的CNN-LSTM-SA預(yù)測(cè)模型比CNN-LSTM、CNN-LSTM-SE、CNN-LSTM-CBAM模型具有更好的數(shù)據(jù)特征提取能力。綜上所述，本文提出的CNN-LSTM-SA預(yù)測(cè)模型在航空發(fā)動(dòng)機(jī)數(shù)據(jù)集上的剩余壽命預(yù)測(cè)結(jié)果更準(zhǔn)確。

3.4 可視化分析

為進(jìn)一步驗(yàn)證本文所提出的基于CNN-LSTM-SA剩余壽命預(yù)測(cè)模型的有效性，對(duì)于該模型不同層所提取的特征可視化，選取的可視化的層分別為Input層輸出、Conv_5層輸出、LSTM層輸出、Attention層輸出和Dense_2層輸出，可視化結(jié)果如圖6所示。圖6中的每個(gè)點(diǎn)表示不同時(shí)刻的特征，顏色表示對(duì)應(yīng)點(diǎn)的剩余壽命。由圖6可知，隨著模型的深入，所提取的特征由Input層的雜亂無(wú)序，經(jīng)過(guò)Conv_5層后的逐漸分離，再經(jīng)過(guò)LSTM層后的逐漸聚合，至Attention層輸出的逐漸有序，最終到Dense_2層的有序排列，反映了CNN-LSTM-SA具有較好的提取特征能力。

圖6 隱藏層特征可視化

4 結(jié)論

本文提出了一種基于注意力機(jī)制的CNN-LSTM剩余壽命預(yù)測(cè)方法，得出以下結(jié)論：

(1)基于注意力機(jī)制的CNN-LSTM剩余壽命預(yù)測(cè)方法對(duì)于機(jī)械設(shè)備的剩余壽命預(yù)測(cè)具有一定的有效性。

(2)將通道注意力機(jī)制、CBAM機(jī)制和自注意力機(jī)制應(yīng)用于基于注意力機(jī)制的CNN-LSTM剩余壽命預(yù)測(cè)方法。試驗(yàn)表明，不同的注意力機(jī)制對(duì)于剩余壽命預(yù)測(cè)結(jié)果的影響不同，其中自注意力機(jī)制相比其他2種注意力機(jī)制具有較好的效果。