LSTM-BP長(zhǎng)短時(shí)記憶模型的設(shè)備壽命預(yù)測(cè)

薛纏明，趙翔宇

（太原衛(wèi)星發(fā)射中心，太原 036301）

0 引言

當(dāng)前形勢(shì)下，設(shè)備復(fù)雜度、集成度越來(lái)越高，而整系統(tǒng)維護(hù)檢修頻率越來(lái)越低，有效的設(shè)備狀態(tài)監(jiān)測(cè)手段作用日益凸顯。通過(guò)設(shè)備分系統(tǒng)信號(hào)數(shù)據(jù)的日常記錄，挖掘設(shè)備器件損耗規(guī)律，實(shí)現(xiàn)設(shè)備的及時(shí)性維護(hù)維修，避免出現(xiàn)累積性設(shè)備故障顯得十分重要。

隨著支持向量機(jī)、BP網(wǎng)絡(luò)、卷積神經(jīng)網(wǎng)絡(luò)等技術(shù)的發(fā)展，越來(lái)越多自適應(yīng)數(shù)據(jù)驅(qū)動(dòng)建模方法用于機(jī)電設(shè)備故障診斷與壽命預(yù)測(cè)過(guò)程。基于數(shù)據(jù)驅(qū)動(dòng)的方法主要分為統(tǒng)計(jì)分析和機(jī)器學(xué)習(xí)兩大類，統(tǒng)計(jì)學(xué)方法通過(guò)利用統(tǒng)計(jì)模型或隨機(jī)過(guò)程模型描述設(shè)備性能退化，通過(guò)統(tǒng)計(jì)參數(shù)變化規(guī)律進(jìn)一步分析設(shè)備問(wèn)題，歸結(jié)得出設(shè)備健康階段。而機(jī)器學(xué)習(xí)的方法具有自適應(yīng)性能好，無(wú)需過(guò)多地關(guān)注建模過(guò)程，利用原始監(jiān)測(cè)記錄數(shù)據(jù)即可實(shí)現(xiàn)設(shè)備的健康狀態(tài)評(píng)估。循環(huán)神經(jīng)網(wǎng)絡(luò)作為機(jī)器學(xué)習(xí)中深度學(xué)習(xí)模型較為成功的方法之一，廣泛應(yīng)用于時(shí)間序列預(yù)測(cè)與回歸過(guò)程中，在信息處理、時(shí)間序列建模、設(shè)備壽命預(yù)測(cè)等領(lǐng)域起到了很好的效果。

循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）的主體思想通過(guò)數(shù)據(jù)的隱藏層循環(huán)，實(shí)現(xiàn)序列演進(jìn)方向的遞歸且所有節(jié)點(diǎn)按鏈?zhǔn)絺鞑?，結(jié)構(gòu)如圖1所示。

圖1 循環(huán)神經(jīng)網(wǎng)絡(luò)記憶單元

其具體計(jì)算過(guò)程為

從結(jié)構(gòu)和計(jì)算公式可看出，輸出結(jié)果與輸入和隱藏層狀態(tài)有關(guān)，通過(guò)串聯(lián)式的記憶單元，實(shí)現(xiàn)了時(shí)間序列的前后關(guān)聯(lián)。

1 基本理論

1.1 LSTM網(wǎng)絡(luò)

LSTM網(wǎng)絡(luò)是一種用于序列預(yù)測(cè)的優(yōu)化型循環(huán)神經(jīng)網(wǎng)絡(luò)模型，除了RNN中的隱藏層加入機(jī)制，同時(shí)設(shè)置了門(mén)控機(jī)制，控制前期數(shù)據(jù)的累計(jì)作用，從而實(shí)現(xiàn)長(zhǎng)短記憶的作用，具體結(jié)構(gòu)如圖2所示，主要分為三個(gè)控制門(mén)：輸入門(mén)、遺忘門(mén)、輸出門(mén)，對(duì)信息進(jìn)行調(diào)節(jié)。

圖2 LSTM結(jié)構(gòu)

1.1.1 輸入門(mén)

輸入門(mén)的目的在于控制時(shí)刻，輸入X及短期記憶狀態(tài)h經(jīng)門(mén)限后保留在長(zhǎng)期狀態(tài)c的信息成分。

式中為Sigmoid函數(shù)，為T(mén)anh函數(shù)。

1.1.2 遺忘門(mén)

控制時(shí)刻，先前長(zhǎng)期狀態(tài)c保留在當(dāng)前長(zhǎng)期狀態(tài)c的信息成分。

1.1.3 輸出門(mén)

控制時(shí)刻，長(zhǎng)期狀態(tài)c輸出o后，保留在短期狀態(tài)下的信息成分。

1.2 BP網(wǎng)絡(luò)

BP網(wǎng)絡(luò)仍是目前神經(jīng)網(wǎng)絡(luò)領(lǐng)域的基礎(chǔ)結(jié)構(gòu)，據(jù)統(tǒng)計(jì)80%以上的神經(jīng)網(wǎng)絡(luò)算法采用了BP網(wǎng)絡(luò)構(gòu)型變體。結(jié)構(gòu)由輸入層、隱藏層、輸出層構(gòu)成，層之間采用全連接方式，層內(nèi)無(wú)連接，通過(guò)反向傳播實(shí)現(xiàn)模型的參數(shù)矩陣迭代，基本單元輸入層通過(guò)與權(quán)重的乘法、與參數(shù)的加法實(shí)現(xiàn)傳統(tǒng)的線性模型，增加非線性激活函數(shù)，實(shí)現(xiàn)線性表達(dá)轉(zhuǎn)化為非線性形式，實(shí)現(xiàn)更豐富的表達(dá)能力。

1.2.1 基本結(jié)構(gòu)

模型的基本結(jié)構(gòu)如圖3所示。

圖3 隱藏層50個(gè)神經(jīng)元的BP結(jié)構(gòu)

其基本的單元公式為

式中為激活函數(shù)，為隱藏神經(jīng)元個(gè)數(shù)。

1.2.2 反向傳播

反向傳播作為網(wǎng)絡(luò)模型訓(xùn)練的基本過(guò)程，起到了核心的作用，如何進(jìn)行有效的反向迭代，根據(jù)預(yù)測(cè)值與實(shí)際值的偏差量，最終改變參數(shù)矩陣，達(dá)到二者更好的契合十分重要。反向傳播的核心問(wèn)題是解決度量誤差，傳統(tǒng)采用均方誤差項(xiàng)，利用預(yù)測(cè)值與實(shí)際值的均方差度量二者的距離，公式為

而反向傳播采用梯度下降方式，對(duì)每個(gè)權(quán)重值做偏導(dǎo)，乘以學(xué)習(xí)率得到迭代項(xiàng)。

1.3 LSTM-BP模型

本文的主要模型采用LSTM-BP串聯(lián)模型改進(jìn)單個(gè)LSTM模型參數(shù)量小，泛化性能相對(duì)較差的問(wèn)題，其結(jié)構(gòu)如圖4所示。

圖4 串聯(lián)LSTM-BP模型

2 實(shí)例數(shù)據(jù)驗(yàn)證

為驗(yàn)證模型，采用目前公開(kāi)使用的設(shè)備壽命數(shù)據(jù)集，NASA公開(kāi)的航空發(fā)動(dòng)機(jī)數(shù)據(jù)集進(jìn)行驗(yàn)證。數(shù)據(jù)集采集了航空發(fā)動(dòng)機(jī)不同運(yùn)行條件下和故障模式下的4組監(jiān)測(cè)數(shù)據(jù)，監(jiān)測(cè)傳感器21個(gè)，分別監(jiān)測(cè)風(fēng)扇壓力比、風(fēng)流量、燃料流量等狀態(tài)，通過(guò)全周期的數(shù)據(jù)采集，得到數(shù)據(jù)樣本，截取部分樣本情況如表1所示。

從表1可得，數(shù)據(jù)傳感器樣本間差異較大，需要進(jìn)行統(tǒng)一歸一化運(yùn)算，通過(guò)最大最小值比例歸一化后數(shù)據(jù)情況如表2所示。

表1 發(fā)動(dòng)機(jī)原始數(shù)據(jù)

表2 發(fā)動(dòng)機(jī)歸一化數(shù)據(jù)

通過(guò)歸一化處理后能夠明顯地發(fā)現(xiàn)樣本中存在不變量的問(wèn)題，有6個(gè)傳感器數(shù)據(jù)為恒定值，去除相應(yīng)指標(biāo)，采用15個(gè)傳感器數(shù)據(jù)，train_FD001為訓(xùn)練數(shù)據(jù)，test_FD001為驗(yàn)證數(shù)據(jù)，對(duì)模型進(jìn)行訓(xùn)練和驗(yàn)證。

損失誤差情況如圖5所示。

圖5 損失誤差情況

驗(yàn)證集中取3段值模型預(yù)測(cè)情況如圖6所示。

圖6 模型驗(yàn)證集預(yù)測(cè)情況

從數(shù)據(jù)驗(yàn)證情況看，模型在任取的段內(nèi)，根據(jù)輸入樣本能夠較好地預(yù)測(cè)實(shí)際情況，趨勢(shì)和差值較小，模型取得了較好的效果。

3 結(jié)語(yǔ)

本文通過(guò)構(gòu)建LSTM-BP串聯(lián)型結(jié)構(gòu)，實(shí)現(xiàn)了預(yù)測(cè)模型方法，改進(jìn)了傳統(tǒng)LSTM預(yù)測(cè)過(guò)程中參數(shù)矩陣規(guī)模小的問(wèn)題，同時(shí)在航空發(fā)動(dòng)機(jī)壽命預(yù)測(cè)數(shù)據(jù)上進(jìn)行了實(shí)驗(yàn)分析，改進(jìn)的LSTMBP串聯(lián)模型能夠通過(guò)采集原始的傳感器數(shù)據(jù)對(duì)設(shè)備壽命進(jìn)行較好的預(yù)測(cè)。后續(xù)在航空航天領(lǐng)域從設(shè)備長(zhǎng)時(shí)間使用，維護(hù)周期長(zhǎng)的角度出發(fā)，采用本模型對(duì)設(shè)備的健康狀態(tài)進(jìn)行預(yù)測(cè)，以保證設(shè)備運(yùn)轉(zhuǎn)正常。