基于數(shù)據(jù)融合驅動和DLSTM網(wǎng)絡的軸承RUL預測

段桂英 姜洪開

1(山東藝術學院公共課教育部 山東 濟南 250014)2(西北工業(yè)大學航空學院 陜西 西安 710072)

0 引 言

滾動軸承作為轉子機械設備的核心元件，被廣泛應用于航空航天、工業(yè)生產(chǎn)及電力系統(tǒng)，軸承發(fā)生故障將會導致巨大的經(jīng)濟損失，甚至造成災難性后果。因此，對軸承進行可靠的剩余壽命預測能夠有針對性地進行維修保養(yǎng)，從而在保證安全的前提下提升設備的使用效率[1-2]。

現(xiàn)有的RUL預測方法可以分為三類[3]，即基于模型的方法、數(shù)據(jù)驅動的方法和混合方法。其中，數(shù)據(jù)驅動方法與其他兩種方法相比更易于實現(xiàn)，也能夠更加全面地進行分析。文獻[4]描述了一種針對自動變速器離合器基于卡爾曼濾波器(Kalman filter,KF)的RUL預測方法。文獻[5]提出了一種使用支持向量回歸(SVR)的直接RUL估計方法，該方法避免了估計退化狀態(tài)或閾值設置故障。文獻[6]采用回波狀態(tài)網(wǎng)絡模型，使用時間序列數(shù)據(jù)對燃料電池進行RUL預測等。但是這些方法通過映射監(jiān)視信號和RUL值之間的關系可以實現(xiàn)RUL預測，但是沒有考慮反映健康狀態(tài)微小變化的不同時間序列信號的相關性。

循環(huán)神經(jīng)網(wǎng)絡(RNN)作為上述問題的一種解決方案，可以跨時間步長從先前處理的序列數(shù)據(jù)中提取有用的重要信息，并將其集成到當前的單元狀態(tài)中以對序列數(shù)據(jù)進行建模[7]。但是訓練中梯度消失或爆炸的問題限制了傳統(tǒng)RNN的廣泛應用。文獻[8]創(chuàng)建了一種改進的名為LSTM的RNN結構來緩解此問題，通過引入一組記憶神經(jīng)元，LSTM在學習魯棒性和敏感數(shù)據(jù)方面表現(xiàn)出了卓越的能力。但是該方法僅分析振動信號，而未考慮多傳感器數(shù)據(jù)的融合處理，無法體現(xiàn)數(shù)據(jù)驅動的全面性，導致預測精度不高，而且由于網(wǎng)絡結構的限制，引入深度學習對預測精度提升的效果不佳。

為解決上述問題，本文結合AMEA及網(wǎng)格搜索策略，提出了一種基于多傳感器信號融合的DLSTM網(wǎng)絡剩余壽命預測模型。

1 長短期記憶網(wǎng)絡

與常見的神經(jīng)網(wǎng)絡不同，RNN具有獨特的結構，即隱藏層的輸出將作為輸入反復返回，這意味著隱藏層在一段時間內(nèi)與其自身具有自連接特性。因此，RNN在處理時序相關數(shù)據(jù)方面具有很強的能力。其在時間t處的隱藏層的輸出描述為：

ht=φ(whx+whhht-1+bh)

(1)

式中：whx和whh分別是隱藏層神經(jīng)元的輸入數(shù)據(jù)ht和先前輸出ht-1的權重系數(shù)；bh表示偏差。

然而，由于在模型訓練期間反向傳播過程中存在梯度消失問題，RNN無法獲取數(shù)據(jù)中的長期依存關系。因此，在LSTM網(wǎng)絡結構中，LSTM神經(jīng)元通過取代傳統(tǒng)的RNN隱藏神經(jīng)元來構建LSTM層。每個LSTM神經(jīng)元都有三個精心設計的門函數(shù)，即遺忘門、輸入門和輸出門。這種結構確保LSTM神經(jīng)元具有發(fā)現(xiàn)和記憶長期依賴性的能力。

LSTM神經(jīng)元中的三個門函數(shù)為控制信息的輸入和刪除提供了良好的非線性控制機制。輸入門決定了將進入神經(jīng)元狀態(tài)的信息，遺忘門決定了神經(jīng)元狀態(tài)中需要丟棄的信息，輸出門決定從神經(jīng)元狀態(tài)導出什么信息。LSTM神經(jīng)元的計算過程可以用數(shù)學公式表示為：

gt=φ(wgx+wghht-1+bg)

(2)

it=σ(wixxt+wihht-1+bi)

(3)

ft=σ(wfxxt+wfhht-1+bf)

(4)

ot=σ(woxxt+wohht-1+bo)

(5)

st=gt?it+st-1?ft

(6)

ht=φ(st)?ot

(7)

式中：wgx、wfx、wix和wox是輸入數(shù)據(jù)xt的權重；wgh、wih、wfh和woh是LSTM神經(jīng)元先前輸出的ht-1的權重；bg、bf、bi和bo表示輸入節(jié)點、遺忘門、輸入門和輸出門的偏差；gt、ft、it和ot是輸入節(jié)點、遺忘門、輸入門和輸出門的輸出；σ(·)和φ(·)表示S型和tanh函數(shù)；st和st-1是LSTM神經(jīng)元在時間t和t-1時的狀態(tài)；?表示逐點乘法。

2 RUL預測模型

深度學習作為人工神經(jīng)網(wǎng)絡的擴展，可以通過多層網(wǎng)絡結構來自適應地捕獲數(shù)據(jù)中的潛在特征[9]。從結構的角度來看，DLSTM包含多個隱藏層，這是深度學習的一種形式。本文構建了一個DLSTMN模型，以實現(xiàn)多傳感器數(shù)據(jù)的自動融合和RUL的準確預測。

圖1 預測模型結構圖

輸入數(shù)據(jù)的輸入由輸入神經(jīng)元控制，因此輸入神經(jīng)元的數(shù)量等于所選傳感器信號的數(shù)量。傳感器時間序列信號數(shù)據(jù)分為不同部分，分別用于網(wǎng)絡模型訓練、驗證和測試。輸入數(shù)據(jù)被構造成二維矩陣。矩陣中的行數(shù)和列數(shù)為k和T，k代表所選傳感器個數(shù)，T代表采樣點的個數(shù)。最終將多傳感器數(shù)據(jù)融合到RUL值。

多個LSTM層堆疊在構造的DLSTM模型中，實現(xiàn)了多傳感器數(shù)據(jù)的深度挖掘和融合。不同的LSTM層在空間上相連，數(shù)據(jù)從上層輸出到下一層的神經(jīng)元，相同的LSTM層與時間有關，LSTM層的先前輸出將作為輸入循環(huán)到該層。每個LSTM層中都包含許多LSTM神經(jīng)元以捕獲傳感器數(shù)據(jù)的長期依賴性。在每一層LSTM神經(jīng)元之間形成信息交換，實現(xiàn)跨時間的自連接。此外，每個神經(jīng)元的輸出不僅在下一刻循環(huán)進入自身，而且還與其他神經(jīng)元共享。

輸出層采用完全連接的密集層，在該層中將LSTM層的輸出信號送入其中，最終將多傳感器數(shù)據(jù)融合到RUL值。采用均方誤差函數(shù)作為機器學習中常用的損失函數(shù)，以使預測的RUL和RUL標簽之間的誤差最小。在測試階段，將在線傳感器數(shù)據(jù)依次發(fā)送到經(jīng)過訓練的DLSTM中，并獲取預測的RUL。

3 模型優(yōu)化

3.1 模型結構

DLSTM模型結構的大小，包括LSTM層數(shù)和每個LSTM層的神經(jīng)元數(shù)，需要人為確定。這些是DLSTM模型中兩個重要的參數(shù)，用于控制網(wǎng)絡的體系結構和拓撲。許多文獻提出了DLSTM的參數(shù)優(yōu)化方法[10]，且取得了較好的效果，但優(yōu)化過程卻極其復雜。由于DLSTM網(wǎng)絡結構的復雜性和長的訓練過程，DLSTM與這些優(yōu)化方法相結合必然會對計算資源提出更高的要求。

DLSTM將網(wǎng)格搜索用于網(wǎng)絡配置探索，原理簡單明了，算法容易實現(xiàn)，計算資源要求低。LSTM層數(shù)和各層神經(jīng)元數(shù)的候選構成一個二維網(wǎng)格，并驗證網(wǎng)格中各節(jié)點參數(shù)以選擇最佳的網(wǎng)絡結構參數(shù)。最后，將具有最佳驗證預測性能的參數(shù)視為最優(yōu)參數(shù)，并用于在線RUL預測中。

3.2 損失函數(shù)的優(yōu)化

損失函數(shù)的優(yōu)化算法將直接影響DLSTM訓練的效率和時間，本文DLSTM模型采用AMEA代替?zhèn)鹘y(tǒng)的隨機梯度下降(Stochastic gradient descent,SGD)優(yōu)化算法，使DLSTM的損失函數(shù)最小。在SGD算法中，保持固定的學習速率(Learning rate,LR)來更新所有的權值，這意味著LR在訓練中保持不變。AMEA通過分析梯度的一階矩估計(FME)和二階矩估計(SME)，針對不同的參數(shù)設計獨立的自適應LR[6]。因此，AMEA具有較高的計算效率，但需要較少的配置資源。用AMEA更新網(wǎng)絡參數(shù)的過程表示為：

(8)

mt=β1mt-1+(1-β1)gt

(9)

(10)

(11)

(12)

(13)

3.3 引入主動丟棄法

通常神經(jīng)網(wǎng)絡的訓練更加耗時，因此隨著網(wǎng)絡層數(shù)增加，過擬合成為一個嚴重的問題[11]。過擬合會導致預測模型在訓練數(shù)據(jù)中表現(xiàn)出色，但在測試數(shù)據(jù)中表現(xiàn)不佳。為了解決該問題，DLSTM模型采用了主動丟棄法來防止重復捕獲相同的特征。

應用于DLSTM模型的信號主動丟棄方法的示意圖如圖2所示。其中，深色圈是隱藏層中的神經(jīng)元，它們在DLSTM的訓練過程中，根據(jù)一定的概率暫時從網(wǎng)絡中丟棄。由于丟棄是隨機發(fā)生的，所以在每個小批量中訓練不同的網(wǎng)絡。因此，信號丟棄可以有效地緩解DLSTM的數(shù)據(jù)過擬合問題。需要指出的是，信號丟棄只在訓練過程中起作用，在測試過程中被禁用，這意味著所有隱藏的神經(jīng)元都在測試過程中起作用。本文測試了所有候選遺漏值，將最優(yōu)值應用到DLSTM中。

圖2 主動丟棄法應用于DLSTM模型

4 實 驗

4.1 數(shù)據(jù)集描述

用于評估本文方法的數(shù)據(jù)集是由CMAPSS提供的NASA渦扇發(fā)動機轉子軸承數(shù)據(jù)集，可變地輸入不同轉速，以模擬轉子軸承中的不同故障和退化過程。在實驗過程中，轉子軸承開始在良好的狀態(tài)下運行，并出現(xiàn)了一些故障，這些故障會導致性能下降，直到出現(xiàn)事故為止。

CMAPSS提供A組-D組四個數(shù)據(jù)集。每個數(shù)據(jù)集都包括訓練集和測試集。訓練集會保存整個壽命周期的信號，而測試集僅包含多個傳感器數(shù)據(jù)，這些數(shù)據(jù)在軸承故障和RUL需要預測之前的某個時間終止。訓練集和測試集都由一系列循環(huán)組成，每個循環(huán)包含26列，分別指軸承序號、循環(huán)索引、3個操作設置和21個傳感器測量值。

由于軸承具有明顯的健康退化過程，本文采用了A組和C組兩組數(shù)據(jù)集。A組只有一種故障模式，而C組有兩種故障模式。此外，A組和C組都包含100個訓練軸承和100個測試軸承。

實驗中所有方法都是在Anaconda和Python 3.6上執(zhí)行的。計算設備是一個具有Intel Core i5- 4460(3.20 GHz)CPU、16 GB RAM的計算機。

4.2 性能評價指標

本文提出的方法采用指標得分(Score)、均方根誤差(RMSE)和RUL誤差范圍三個指標來評估RUL預測性能。

數(shù)據(jù)創(chuàng)建者提供的指標得分表示為：

(14)

RMSE計算如下：

(15)

Score和RMSE都用來評估預測RUL和實際RUL之間的差異，較小的Score或RMSE值代表較好的預測效果。然而，這兩個指標之間存在微妙的差異，如圖5所示?？梢钥闯?，比起早期的預測，Score對晚期預測的懲罰更大。

圖3 Score和RMSE之間差異的圖示

指標RUL誤差范圍代表所有RUL預測值的誤差范圍。RUL誤差范圍越小，預測方法的有效性和穩(wěn)定性越高。

4.3 多傳感器數(shù)據(jù)預處理

軸承獲得的多傳感器數(shù)據(jù)存在較大的隨機波動和噪聲干擾，可能影響RUL預測的性能。采用指數(shù)平滑算法去除噪聲，減弱傳感器數(shù)據(jù)的隨機波動，其表達式為:

(16)

α的大小直接決定了軸承振動傳感器數(shù)據(jù)的平滑效果，從而間接影響RUL預測的精度。圖4展示出了與A組中的原始傳感器數(shù)據(jù)相比具有不同α值的傳感器2的預處理傳感器數(shù)據(jù)。傳感器數(shù)據(jù)平滑使用了三個不同的α值，分別為0.25、0.5和0.75。可以看出，與原始傳感器數(shù)據(jù)相比，平滑的傳感器數(shù)據(jù)的波動減小，并且平滑的傳感器數(shù)據(jù)能夠很好地反映原始傳感器數(shù)據(jù)的趨勢。通過一系列對比實驗發(fā)現(xiàn)，α值為0.25的預處理傳感器數(shù)據(jù)波動較小，這意味著數(shù)據(jù)平滑效果更好。因此，本文實驗將α設置為0.25。

綜上所述，從21個傳感器獲取的信號包含在CMAPSS數(shù)據(jù)集中。然而，并不是所有的傳感器都能很好地表示退化過程。為了得到準確的RUL預測，需要選擇傳感器。合理的傳感器信號與健康退化過程具有良好的相關性，表現(xiàn)出單調(diào)遞增或遞減的趨勢[12]。因此，通過分析信號數(shù)據(jù)的單調(diào)性(Mon)和相關性(Corr)來實現(xiàn)傳感器的選擇。

為了測量軸承數(shù)據(jù)的趨勢，首先提取軸承數(shù)據(jù)的平均趨勢特征：

(17)

式中：f(t)是時間t處傳感器信號的趨勢值；fU(t)和fL(t)分別表示傳感器信號的上、下包絡。

對傳感器信號的Mon和Corr進行分析，分別定義如下：

(18)

式中：T表示信號樣本的數(shù)量。

接下來，通過Mon和Corr的組合找到一個復合選擇標準(CSC)，其表示為:

(19)

式中：Ω表示所有候選傳感器信號；ωi表示加權系數(shù)。由式(19)可以看出，CSC與Mon和Corr呈線性正相關，即CSC指數(shù)越高，傳感器越能反映變化趨勢。為了選擇更好的特征，將閾值設置為0.75。

圖5展示了A組和C組中傳感器的分類CSC值，從圖5(a)可以看出，A組中的21個傳感器(S1-S21)的CSC被排序。S2、S3、S4、S7、S8、S11、S12、S13、S15、S17、S20和S21的CSC大于閾值，因此它們被選中。在圖5(b)中，選擇傳感器S4、S7、S11、S12、S15、S20和S21的數(shù)據(jù)來構建C組中的訓練數(shù)據(jù)集。

圖5 傳感器的CSC排序值

RUL標簽值對預測性能有顯著影響，RUL標簽被假定在初始階段是恒定的，然后線性下降。根據(jù)文獻[13]，早期的采樣點用一個恒定的RUL值進行標記，綜合考慮將其設置為125。

5 結果分析

5.1 案例一

對數(shù)據(jù)集A組進行分析，以驗證本文方法。首先，在多傳感器數(shù)據(jù)預處理完成后，利用100個滾動軸承的傳感器數(shù)據(jù)建立訓練數(shù)據(jù)集，其中隨機選取90個滾動軸承進行DLSTM模型訓練，其余10個軸承驗證模型的有效性。其次，考慮數(shù)據(jù)集中監(jiān)測信號的特性，建立了用于RUL預測的DLSTM模型，并對其參數(shù)進行了優(yōu)化確定。利用網(wǎng)格搜索方法對模型進行訓練，以探索最優(yōu)的DLSTM結構。由LSTM層數(shù)和各層形式的神經(jīng)元數(shù)構成二維網(wǎng)格，并將網(wǎng)格中的每個節(jié)點參數(shù)驗證為候選參數(shù)?？紤]到時間限制和計算復雜性，將LSTM層數(shù)設置為1到6，并且每個LSTM層中的神經(jīng)元數(shù)設置為50至300。該網(wǎng)格中每兩個參數(shù)組合用于構造一個新的DLSTM。采用10個驗證引擎對每個模型結構進行驗證，并利用RMSE對模型訓練結果進行比較。圖6展示了不同層數(shù)和神經(jīng)元數(shù)的DLSTM的訓練結果?？梢钥闯觯總€模型結構具有不同的性能，DLSTM模型具有5個LSTM層，每個LSTM層有100個神經(jīng)元，達到了最優(yōu)的性能。因此，在這種情況下，DLSTM模型由5個LSTM層和100個神經(jīng)元構成。表1記錄了部分參數(shù)組合情況下DLSTM的訓練結果，其選擇了6個參數(shù)組合，取得了較好的訓練效果。通過對參數(shù)和訓練時間的比較，發(fā)現(xiàn)DLSTM的訓練時間隨著LSTM層數(shù)和DLSTM層數(shù)的增加而逐漸延長。

圖6 不同層數(shù)和神經(jīng)元數(shù)的DLSTM的RMSE分布

表1 部分參數(shù)組合情況下DLSTM的訓練結果

為了減少DLSTM模型的數(shù)據(jù)過度擬合，采用了丟棄法。本文嘗試用不同的丟棄率來確定構造的DLSTM的最佳值。圖7展示了具有不同丟棄值的構造的DLSTM的訓練結果，可以看出，當丟棄率為0.7時，DLSTM模型具有最小的RMSE值并獲得最佳的訓練性能。因此為了獲得良好的DLSTM訓練效果，本文將丟棄率設置為0.7。

圖7 用不同的丟棄率訓練DLSTM

為了使損失函數(shù)最小化，本文將不同的優(yōu)化算法與AMEA進行了比較，包括SGD、均方根(RMSprop)、自適應梯度(Adagrad)和Adadelta。圖8展示了使用不同優(yōu)化算法訓練DLSTM，可以看出，這四個優(yōu)化器都可以幫助DLSTM在經(jīng)過1 000個階段后實現(xiàn)網(wǎng)絡優(yōu)化。盡管如此，與其他算法相比，DLSTM中的AMEA具有更高的效率和更好的收斂性。因此，AMEA在構造的DLSTM中用作損失函數(shù)優(yōu)化器。

圖8 用不同的優(yōu)化器訓練DLSTM

最后，建立了一個包含5層LSTM和100個神經(jīng)元的DLSTM模型用于軸承RUL的預測。將丟棄值設為0.7，損失函數(shù)優(yōu)化算法采用AMEA。表2顯示了構建DLSTM模型的其他參數(shù)。

表2 本文DLSTM模型的其他參數(shù)

模型訓練完成后，利用10個軸承對訓練后的DLSTM進行性能驗證。圖9比較了10個軸承的預測RUL和真實RUL以進行驗證,其中虛線代表預測曲線，實線表示真實剩余壽命。可以看出，這些預測能夠很好地反映出10個軸承真實RUL的變化。

圖9 4個軸承的驗證預測結果

在線過程中，將測試軸承的監(jiān)測信號依次輸入DLSTM，得到預測的RUL。圖10顯示了A組中100個軸承的實際RUL與預測RUL。結果表明，兩者非常吻合。

圖10 100個軸承的實際RUL與預測RUL

本文使用了一些最新的研究成果與DLSTM進行了比較，包括MLP[14]、SVR[15]、相關向量回歸(RVR)[6]、深卷積神經(jīng)網(wǎng)絡(DCNN)[9]、帶模糊聚類的ELM(ELM-FC)[16]、支持向量機(SVM)[17]、具有KF的回波狀態(tài)網(wǎng)絡(ESN-KF)[18]和基于相似性的方法(SBA)[19]。表3展示了各方法的性能比較，其中NA表示信息不可用。表4比較了不同方法的關鍵參數(shù)，它們的得分Score、RMSE與RUL誤差范圍有關?？梢钥闯?，在這種RUL預測問題中，許多方法都顯示了各自的優(yōu)勢，包括DCNN、ELM和SBA等。與其他方法相比，DLSTM具有最小的Score、RMSE和RUL誤差范圍。這意味著所提出的DLSTM具有最好的預測性能，驗證了本文的DLSTM對該軸承預測問題的有效性。

表4 所有方法的關鍵參數(shù)

5.2 案例二

由于包含了更多的故障模式，使用C組數(shù)據(jù)集進行準確的RUL預測比A組數(shù)據(jù)集困難得多。本文利用C組數(shù)據(jù)集比較了DLSTM和其他RNN方法的RUL預測性能，包括深度遞歸神經(jīng)網(wǎng)絡(DRNN)、深門控遞歸單元(DGRU)、雙向GRU(BDGRU)和雙向LSTM(BDLSTM)。所有的方法都采用了網(wǎng)格搜索和丟棄的方法來獲得最優(yōu)模型，關鍵參數(shù)見表4。圖11展示了五個模型的RUL誤差的箱形圖。五個模型100個軸承的RUL誤差集中在0附近，與其他模型相比，DLSTM的RUL預測誤差更為集中，說明DLSTM預測穩(wěn)定性更好。

圖11 五個模型的RUL誤差的箱形圖

表5根據(jù)三個評估指標和時間消耗比較了五個模型的預測結果，可以看出，所提出的DLSTM在Score、RMSE和RUL誤差范圍方面始終優(yōu)于其他RNN模型。BDLSTM和BDGRU由于其獨特的雙向網(wǎng)絡結構，能夠更好地處理時間序列數(shù)據(jù),因此，BDLSTM和BDGRU的評估指標略差于最優(yōu)結果。由于DRNN結構最簡單，與其他進化的RNN結構相比，DRNN的預測結果相對較差。在時間消耗分析方面，DLSTM與其他模型相比沒有明顯的優(yōu)勢，這是因為DLSTM具有相對復雜的網(wǎng)絡結構。所有模型的在線平均計算時間均符合工業(yè)要求，因此DLSTM可以應用于工業(yè)系統(tǒng)的實際設備中。

表5 C組數(shù)據(jù)集上五個模型的性能比較

6 結 語

本文通過建立的DLSTM模型，提出了一種多傳感器數(shù)據(jù)融合驅動的滾動軸承RUL預測方法，并通過實驗數(shù)據(jù)進行了驗證，得出如下結論：

(1) DLSTM模型能夠通過DL結構捕獲傳感器時間序列信號之間隱藏的長期依賴性，從而充分地利用傳感器數(shù)據(jù)，提升預測精度。(2) 多傳感器數(shù)據(jù)融合驅動與建立的DLSTM相結合可以有效地提升剩余壽命的預測精度，并且具備良好的效率和收斂性。(3) DLSTM模型在線平均計算時間相對其他預測方法并未體現(xiàn)明顯的優(yōu)勢，但是能夠符合工業(yè)要求，驗證了DLSTM可以應用于工業(yè)系統(tǒng)的實際設備中。(4) 該方法具有多傳感器數(shù)據(jù)融合能力，方法本身具備一般性，可廣泛應用于其他領域的不同類型設備。