基于雙重自注意力機(jī)制和長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)的剩余壽命預(yù)測(cè)

摘要： 剩余使用壽命（remaining useful life， RUL）預(yù)測(cè)是產(chǎn)品故障預(yù)測(cè)與健康管理的重要內(nèi)容。傳統(tǒng)長(zhǎng)短期記憶 （long short-term memory， LSTM） 網(wǎng)絡(luò)無(wú)法主動(dòng)選擇關(guān)鍵特征、難以高效提取大數(shù)據(jù)所蘊(yùn)含的退化信息。提出一種基于改進(jìn)LSTM網(wǎng)絡(luò)的RUL預(yù)測(cè)方法，采用隨機(jī)森林 （random forest， RF） 算法篩選輸入特征，以主動(dòng)選取關(guān)鍵特征;采用雙重自注意力機(jī)制分別從特征維度和時(shí)間維度完成權(quán)重自適應(yīng)分配，使模型在學(xué)習(xí)過(guò)程中關(guān)注主要特征和歷史時(shí)間點(diǎn);通過(guò)融合統(tǒng)計(jì)特征，以提高RUL預(yù)測(cè)精度。以航空發(fā)動(dòng)機(jī)數(shù)據(jù)集為例完成案例分析，驗(yàn)證方法有效性。結(jié)果表明，所提方法能有效提高基于復(fù)雜數(shù)據(jù)集的RUL預(yù)測(cè)精度。

關(guān)鍵詞： 剩余壽命預(yù)測(cè); 隨機(jī)森林; 雙重自注意力機(jī)制; 長(zhǎng)短期記憶網(wǎng)絡(luò); 航空發(fā)動(dòng)機(jī)

中圖分類號(hào)： TH 17

文獻(xiàn)標(biāo)志碼： A

DOI：10.12305/j.issn.1001-506X.2024.06.16

Remaining useful life prediction based on double self-attention mechanism and long short-term memory network

WU Jiajun， SU Chun， ZHANG Yuru

（School of Mechanical Engineering， Southeast University， Nanjing 211189， China）

Abstract： Prediction of remaining useful life （RUL） is an important part of fault prognostic and health management. Traditional long short-term memory （LSTM） network cannot select the key features actively， and it is difficult to effectively extract the degradation information contained in big data. This paper proposes an RUL prediction approach based on an improved LSTM network， where the random forest （RF） algorithm is adopted to filter the input features in order to select key features actively. A double self-attention mechanism is used to complete the adaptive weight assignment from feature dimension and the time dimension. Thus， the proposed approach can focus on the key features and historical time during the learning process. By fusing the statistical features， the model can improve the accuracy of RUL prediction. To illustrate the effectiveness of the proposed method， a case study is conducted with a data set of aircraft engine. The results indicate that the proposed method can effectively improve the accuracy of RUL prediction with complicated data sets.

Keywords： remaining useful life （RUL） prediction; random forest （RF）; double self-attention mechanism; long short-term memory （LSTM） network; aircraft engine

0 引 言

與傳統(tǒng)的事后維修（corrective maintenance， CM）和周期性維修（periodic maintenance， PM）方式相比，基于狀態(tài)的維修（condition based maintenance， CBM）能夠?qū)崿F(xiàn)設(shè)備健康狀態(tài)的實(shí)時(shí)監(jiān)測(cè)，提前預(yù)測(cè)潛在故障、減少停機(jī)維修時(shí)間，并據(jù)此優(yōu)化維修策略、有效地降低維修成本^［1］。

剩余使用壽命（remaining useful life， RUL）預(yù)測(cè)是開(kāi)展CBM的基礎(chǔ)與前提。總體上，RUL預(yù)測(cè)方法可以分為兩類，模型驅(qū)動(dòng)方法（model-based approach， MBA）和數(shù)據(jù)驅(qū)動(dòng)方法（data-driven approach， DDA）^［2］。其中，MBA聚焦于對(duì)象的故障機(jī)理，需要預(yù)先獲取到先驗(yàn)知識(shí)，以建立反映對(duì)象性能退化機(jī)理的數(shù)學(xué)模型;DDA基于歷史數(shù)據(jù)完成RUL的在線預(yù)測(cè)，具有較高的靈活性和適應(yīng)性。常用的DDA包括傳統(tǒng)的機(jī)器學(xué)習(xí)和深度學(xué)習(xí)。傳統(tǒng)的機(jī)器學(xué)習(xí)主要包括支持向量機(jī)（support vector machine， SVM）^［3］、隨機(jī)森林（random forest， RF）^［4］、隱馬爾可夫模型（hidden Markov model， HMM）^［5］等，可利用監(jiān)測(cè)數(shù)據(jù)獲取有用的設(shè)備退化信息，完成RUL預(yù)測(cè)^［6］。傳統(tǒng)機(jī)器學(xué)習(xí)的預(yù)測(cè)效果會(huì)受到數(shù)據(jù)特性的影響，而深度學(xué)習(xí)中的神經(jīng)網(wǎng)絡(luò)方法不需要特征工程也能取得良好的預(yù)測(cè)效果。近年來(lái)，神經(jīng)網(wǎng)絡(luò)方法在RUL預(yù)測(cè)中受到廣泛關(guān)注。

常用的神經(jīng)網(wǎng)絡(luò)包括卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network， CNN） 和長(zhǎng)短期記憶（long short-term memory， LSTM）網(wǎng)絡(luò)等。CNN具有強(qiáng)的特征提取能力，能夠有效地提取局部特征。Li等^［7］通過(guò)堆疊多層CNN以構(gòu)建深度CNN（deep CNN， DCNN），提高了RUL的預(yù)測(cè)精度。Zhu等^［8］提出一種多尺度CNN（multiscale CNN， MSCNN），其研究表明：與傳統(tǒng)CNN相比，MSCNN能夠保持全局和局部信息的同步性，從而提高預(yù)測(cè)精度。Shang等^［9］采用時(shí)域卷積網(wǎng)絡(luò)（temporal convolutional network， TCN），從長(zhǎng)時(shí)間序列中提取深度學(xué)習(xí)特征以完成RUL預(yù)測(cè)，并以航空發(fā)動(dòng)機(jī)的RUL預(yù)測(cè)為例驗(yàn)證了該方法的有效性。

CNN在特征提取方面具有良好表現(xiàn)，但是在時(shí)間序列預(yù)測(cè)問(wèn)題中，LSTM網(wǎng)絡(luò)具有強(qiáng)的遞歸能力，應(yīng)用更為廣泛。Zhang等^［10］提出一種雙向LSTM（bi-directional LSTM， Bi-LSTM） 網(wǎng)絡(luò)，完成系統(tǒng)退化評(píng)估和RUL預(yù)測(cè)。結(jié)果表明：該方法能有效平滑預(yù)測(cè)結(jié)果，減少噪聲影響。Su等^［11］融合時(shí)間窗口和序列神經(jīng)網(wǎng)絡(luò)方法，設(shè)計(jì)出LSTM單元和卷積LSTM單元，并以航空發(fā)動(dòng)機(jī)的RUL預(yù)測(cè)為例驗(yàn)證方法的有效性。李京峰等^［12］提出一種融合LSTM網(wǎng)絡(luò)和深度置信網(wǎng)絡(luò)的RUL預(yù)測(cè)方法，以充分提取時(shí)序信息、提高預(yù)測(cè)精度。Chen等^［13］提出基于注意力機(jī)制的深度學(xué)習(xí)框架，融合注意力機(jī)制和LSTM網(wǎng)絡(luò)的優(yōu)點(diǎn)以提高RUL預(yù)測(cè)精度。Zhang等^［14］提出一種基于雙向門控循環(huán)單元（bidirectional gated recurrent unit， BiGRU） 和多門控混合專家（multi-gate mixture-of-experts， MMoE） 的雙任務(wù)網(wǎng)絡(luò)結(jié)構(gòu)，在RUL預(yù)測(cè)任務(wù)中具有較好的魯棒性和綜合性能。閆嘯家等^［15］提出一種基于殘差CNN和注意力BiLSTM融合（residual CNN-attentional BiLSTM network， RCNN-ABiLSTM）的機(jī)械設(shè)備RUL預(yù)測(cè)方法，針對(duì)非線性、多維度、長(zhǎng)時(shí)間、大規(guī)模監(jiān)測(cè)數(shù)據(jù)處理獲得了較好的效果。

LSTM網(wǎng)絡(luò)處理時(shí)間序列數(shù)據(jù)的表現(xiàn)良好，在時(shí)間序列預(yù)測(cè)領(lǐng)域中應(yīng)用廣泛。但是，現(xiàn)有的模型也存在局限性，主要表現(xiàn)在以下3個(gè)方面：

（1） LSTM網(wǎng)絡(luò)預(yù)測(cè)時(shí)通常假設(shè)不同輸入特征對(duì)于輸出的影響相同。在工程實(shí)際中，部分特征數(shù)據(jù)包含更多的退化信息，對(duì)于預(yù)測(cè)的準(zhǔn)確性更重要;

（2） LSTM網(wǎng)絡(luò)通常僅利用遞歸后的最后一個(gè)時(shí)間步的學(xué)習(xí)特征完成回歸預(yù)測(cè)，而忽略其他歷史時(shí)間點(diǎn)對(duì)預(yù)測(cè)結(jié)果的影響;

（3） 僅利用LSTM網(wǎng)絡(luò)提取的抽象特征開(kāi)展RUL預(yù)測(cè)，無(wú)法充分提取退化信息。

針對(duì)LSTM網(wǎng)絡(luò)在RUL預(yù)測(cè)中存在的局限性，本文采用RF完成特征篩選，引入雙重自注意力機(jī)制和統(tǒng)計(jì)特征融合方法，提出一種基于改進(jìn)LSTM網(wǎng)絡(luò)的RUL預(yù)測(cè)方法，利用歷史數(shù)據(jù)和在線數(shù)據(jù)完成RUL預(yù)測(cè)，以實(shí)現(xiàn)設(shè)備健康狀態(tài)的在線監(jiān)測(cè)。通過(guò)工程案例以及與已有方法的對(duì)比，驗(yàn)證所提預(yù)測(cè)方法的有效性。

1 RUL預(yù)測(cè)的基礎(chǔ)方法理論

1.1 LSTM網(wǎng)絡(luò)

循環(huán)神經(jīng)網(wǎng)絡(luò)（recurrent neural network， RNN）在模型訓(xùn)練時(shí)會(huì)出現(xiàn)梯度消失和梯度爆炸的問(wèn)題^［16］。在RNN的基礎(chǔ)上，LSTM網(wǎng)絡(luò)通過(guò)引入門控機(jī)制，能有效緩解上述問(wèn)題。LSTM網(wǎng)絡(luò)的記憶細(xì)胞結(jié)構(gòu)包括一個(gè)遺忘門f_t、一個(gè)輸出門i_t和一個(gè)輸出門O_t，如圖1所示^［17］。

將當(dāng)前時(shí)刻的輸入數(shù)據(jù)X_t和上一時(shí)刻的隱藏層輸出h_t-1輸入遺忘門f_t。通過(guò)遺忘門過(guò)濾無(wú)用的歷史信息，其數(shù)學(xué)表達(dá)式^［18］為

f_t=σ（W_f·［h_t－1，x_t］+b_f）（1）

式中：W_f是遺忘門的權(quán)重矩陣;b_f是其對(duì)應(yīng)偏置向量;“·”表示矩陣乘法;σ（x）為Sigmoid非線性激活函數(shù)，如下所示：

σ（x）=11+e^－x（2）

輸入門i_t將決定信息的保留。狀態(tài)單元C_t是上一個(gè)狀態(tài)單元C_t-1、遺忘門f_t和輸入門i_t相結(jié)合的單元，其數(shù)學(xué)表達(dá)式為

i_t=σ（W_i·［h_t－1，x_t］+b_i）（3）

C′_t=tanh（W_c·［h_t－1，x_t］+b_c）（4）

C_t=f_t·C_t－1+i_t·C′_t（5）

式中：W_i，W_c分別是輸入門和單元狀態(tài)的權(quán)重矩陣;b_i，b_c為對(duì)應(yīng)的偏置向量;tanh（x）是激活函數(shù)，一般為雙曲正切函數(shù)，如下所示：

tanh（x）=e^x－e^－xe^x+e^－x（6）

輸出門O_t決定循環(huán)單元的輸出h_t，其數(shù)學(xué)表達(dá)式為

O_t=σ（W_o·［h_t－1，x_t］+b_o）（7）

h_t=O_t·tanh（C_t）（8）

式中：W_o、b_o分別為輸出門的權(quán)重矩陣和偏置向量。

1.2 自注意力機(jī)制

“注意力”來(lái)自于人類視覺(jué)。人在關(guān)注圖像時(shí)通常會(huì)特別關(guān)注某一區(qū)域，即人的視覺(jué)注意力會(huì)被不均勻地分散到圖像的各個(gè)部分。注意力機(jī)制的概念據(jù)此產(chǎn)生，并在圖像處理、翻譯和時(shí)間序列預(yù)測(cè)等領(lǐng)域得到應(yīng)用^［19］。

自注意力機(jī)制專注于數(shù)據(jù)的內(nèi)在聯(lián)系，將對(duì)外部信息的依賴最小化。它將單個(gè)序列的不同位置聯(lián)系起來(lái)，完成序列權(quán)重值的計(jì)算，通過(guò)計(jì)算向量之間的相似度以表征相關(guān)性，并將高權(quán)重值賦予關(guān)鍵信息，以增強(qiáng)其對(duì)結(jié)果的影響^［20-21］。自注意力的計(jì)算過(guò)程如下：

（1） 假設(shè)樣本序列為H =［h₁，h₂，…，h_d］^T， h_iR^t，其中t為序列長(zhǎng)度，T為轉(zhuǎn)置。根據(jù)第i個(gè)子序列輸入特征的重要性對(duì)h_i打分，公式如下：

s_i=（W^T·h_i+b）（9）

式中：W，b分別為權(quán)重矩陣和偏置向量;（·）為得分函數(shù)，可設(shè)計(jì)為Sigmoid函數(shù)或線性函數(shù)。

（2） 在獲得所有序列特征的得分后，S =［s₁，s₂，…，s_d］，s_iR^t，采用Softmax函數(shù)完成歸一化處理，表達(dá)式如下：

α_i=Softmax（s_i）=exp（s_i）S_iexp（s_i）（10）

式中：α_i是h_i在自注意力機(jī)制運(yùn)算后得到的對(duì)應(yīng)注意力權(quán)重。

（3） 經(jīng)過(guò)自注意力機(jī)制處理，得到輸出O的數(shù)學(xué)表達(dá)式如下：

式中：A =［α₁，α₂，…，α₃］;表示向量對(duì)應(yīng)位置相乘的運(yùn)算。

1.3 統(tǒng)計(jì)特征提取方法

傳感器數(shù)據(jù)的統(tǒng)計(jì)特征通常含有退化信息，可用于RUL預(yù)測(cè)。Khelif等^［22］從時(shí)間窗口中提取特征的均值和線性回歸趨勢(shì)，并與RUL相關(guān)聯(lián)，作為輸入數(shù)據(jù)完成訓(xùn)練與預(yù)測(cè)。研究結(jié)果^{［9，13］}表明：通過(guò)提取相關(guān)的統(tǒng)計(jì)特征，能有效提升RUL預(yù)測(cè)精度。本文提取每個(gè)時(shí)間窗內(nèi)特征的均值和線性回歸趨勢(shì)系數(shù)，據(jù)此開(kāi)展RUL預(yù)測(cè)。

1.4 RF算法

傳感器可以獲取各類數(shù)據(jù)，包括性能退化數(shù)據(jù)。若將所有數(shù)據(jù)均輸入到深度學(xué)習(xí)模型，模型可能難以獲取有用的抽象特征，同時(shí)還會(huì)增加計(jì)算成本、影響預(yù)測(cè)精度。

RF是一類集合多個(gè)決策樹(shù)分類器的繼承分類器。它從原始數(shù)據(jù)特征中隨機(jī)抽取特征子集構(gòu)建決策樹(shù)，通過(guò)計(jì)算特征與目標(biāo)變量的相關(guān)性篩選關(guān)鍵特征，以達(dá)到數(shù)據(jù)降維和提升模型性能等目的^［23］。

1.5 滑動(dòng)時(shí)間窗口方法

考慮到時(shí)間序列數(shù)據(jù)對(duì)于時(shí)間的依賴關(guān)系，將某個(gè)時(shí)間點(diǎn)的特征取值擴(kuò)大到包含該時(shí)間點(diǎn)的一段區(qū)間，稱之為時(shí)間窗口。滑動(dòng)時(shí)間窗口方法利用時(shí)間窗口將原始數(shù)據(jù)重塑為指定長(zhǎng)度的時(shí)間序列樣本，以便輸入模型。如圖2所示，采用一定長(zhǎng)度的時(shí)間窗口和滑動(dòng)步長(zhǎng)完成數(shù)據(jù)拆分，分別得到訓(xùn)練樣本和測(cè)試樣本。

若原始數(shù)據(jù)長(zhǎng)度小于一個(gè)時(shí)間窗口的長(zhǎng)度，則采用線性插值的方法在數(shù)據(jù)前進(jìn)行補(bǔ)全。線性插值的公式如下^［24］：

h^j_t－1=x_t+1－x_t－1x_t+1－x_th^j_t－x_t－x_t－1x_t+1－x_th^j_t+1（12）

式中：h^j_t－1為第（t-1）時(shí)間點(diǎn)缺失的第j個(gè)傳感器的值;h^j_t，h^j_t+1分別為第t和（t+1）時(shí)間點(diǎn)對(duì)應(yīng)的第j個(gè)傳感器的值;x_t-1，x_t，x_t+1分別為最后一個(gè)時(shí)間窗口內(nèi)的第t-1、t、t+1時(shí)間點(diǎn)的循環(huán)次數(shù)。

2 RUL預(yù)測(cè)方法

本文提出一種基于改進(jìn)LSTM網(wǎng)絡(luò)的RUL預(yù)測(cè)方法，采用RF篩選出重要特征，引入雙重自注意力機(jī)制和統(tǒng)計(jì)特征融合方法完成RUL預(yù)測(cè)和設(shè)備健康狀態(tài)的在線監(jiān)測(cè)。首先，完成歷史數(shù)據(jù)的歸一化處理，采用RF篩選出對(duì)RUL預(yù)測(cè)有價(jià)值的特征;采用滑動(dòng)時(shí)間窗口的方法沿著時(shí)間維度截取輸入數(shù)據(jù)^［25］;將得到的數(shù)據(jù)輸入到網(wǎng)絡(luò)模型中完成訓(xùn)練;采用經(jīng)訓(xùn)練的模型并利用歸一化后的在線數(shù)據(jù)完成RUL預(yù)測(cè)。綜上所述，本文提出的RUL預(yù)測(cè)方法的基本流程如圖3所示。

2.1 模型結(jié)構(gòu)

基于雙重自注意力機(jī)制和LSTM網(wǎng)絡(luò)的模型結(jié)構(gòu)如圖4所示。該模型主要針對(duì)LSTM網(wǎng)絡(luò)存在的提取數(shù)據(jù)不充分和退化信息不完全等問(wèn)題進(jìn)行了改進(jìn)，具體結(jié)構(gòu)如下：

（1） 通過(guò)第1層自注意力網(wǎng)絡(luò)，對(duì)輸入的特征分配自適應(yīng)權(quán)重;

（2） 采用LSTM網(wǎng)絡(luò)獲得不同時(shí)間步的抽象特征序列;

（3） 通過(guò)第2層自注意力網(wǎng)絡(luò)，對(duì)不同時(shí)間步和隱藏單元分配自適應(yīng)權(quán)重;

（4） 數(shù)據(jù)展平，經(jīng)過(guò)兩層全連接層得到抽象的特征，并在兩層全連接層之間引入Droupout，以防止過(guò)擬合^［26］;

（5） 提取輸入數(shù)據(jù)中每個(gè)特征在時(shí)間維度上的均值和趨勢(shì)系數(shù)，通過(guò)全連接層得到抽象特征;

（6） 融合統(tǒng)計(jì)特征和網(wǎng)絡(luò)提取的抽象特征，通過(guò)Droupout和回歸層完成預(yù)測(cè)。

2.2 性能評(píng)價(jià)指標(biāo)

本文以均方根誤差 （root mean square error， RMSE） 和評(píng)分函數(shù)作為評(píng)價(jià)指標(biāo)評(píng)估RUL預(yù)測(cè)方法的效果及有效性^{［11，18］}。通常滯后的故障預(yù)測(cè)會(huì)比提前的故障預(yù)測(cè)帶來(lái)更嚴(yán)重的后果。因此，對(duì)預(yù)測(cè)RUL值大于真實(shí)RUL值的情形，評(píng)分函數(shù)（Score）會(huì)給予更大的懲罰。因此，RMSE和評(píng)分函數(shù)的值越小，表示預(yù)測(cè)性能更好。RMSE和Score的算式如下：

式中：?_i，y_i分別表示第i個(gè)測(cè)試樣本RUL真實(shí)值和本文方法得到的RUL預(yù)測(cè)值;N為測(cè)試樣本的數(shù)量。

3 案例分析

本文以開(kāi)源數(shù)據(jù)集C-MAPSS為例完成實(shí)例驗(yàn)證^［27］，該數(shù)據(jù)集是研究RUL預(yù)測(cè)問(wèn)題時(shí)最常用的數(shù)據(jù)集之一，文獻(xiàn)［11-15］已在該數(shù)據(jù)集上完成了RUL預(yù)測(cè)的研究。

3.1 數(shù)據(jù)集描述

C-MAPSS是渦輪風(fēng)扇發(fā)動(dòng)機(jī)數(shù)據(jù)集，其中包含不同工作條件和故障模式下渦輪風(fēng)扇發(fā)動(dòng)機(jī)多源性能的退化數(shù)據(jù)，共有4個(gè)子數(shù)據(jù)集，每個(gè)子集又可分為訓(xùn)練集、測(cè)試集和RUL標(biāo)簽^［21］。其中，訓(xùn)練集包含航空發(fā)動(dòng)機(jī)從開(kāi)始運(yùn)行到發(fā)生故障的所有狀態(tài)參數(shù);測(cè)試集包含一定數(shù)量發(fā)動(dòng)機(jī)從開(kāi)始運(yùn)行到發(fā)生故障前某一時(shí)間點(diǎn)的全部狀態(tài)參數(shù);RUL標(biāo)簽記錄測(cè)試集中發(fā)動(dòng)機(jī)的RUL值，可用于評(píng)估模型的RUL預(yù)測(cè)能力。C-MAPSS數(shù)據(jù)集包含的基本信息如表1所示。

3.2 數(shù)據(jù)處理

3.2.1 數(shù)據(jù)歸一化

不同傳感器的測(cè)量數(shù)值范圍不盡相同。為消除該因素對(duì)RUL預(yù)測(cè)結(jié)果的影響，本文采用歸一化方法將傳感器特征數(shù)據(jù)歸一化到［0，1］范圍內(nèi)，算式如下：

y^j_i=（x^j_i－x^j_min）x^j_max－x^j_min（15）

式中：x^j_i為第j個(gè)傳感器的第i個(gè)輸出;x^j_min為第j個(gè)傳感器最小的輸出值;x^j_max為第i個(gè)傳感器最大的輸出值。

3.2.2 設(shè)置RUL標(biāo)簽

在健康狀態(tài)下，渦輪風(fēng)扇發(fā)動(dòng)機(jī)運(yùn)行平穩(wěn)，退化過(guò)程不明顯。利用標(biāo)簽設(shè)置方法將RUL標(biāo)簽設(shè)置為分段線性函數(shù)，如圖5所示。

其中，閾值為125。為便于訓(xùn)練，本文將RUL標(biāo)簽歸一化到［0，1］范圍內(nèi)。因此，在測(cè)試集上驗(yàn)證時(shí)需要將模型輸出結(jié)果乘以125，得到最終預(yù)測(cè)結(jié)果。

3.3 傳感器特征的重要度評(píng)價(jià)和篩選

采用RF的特征重要度提取方法，完成FD001、FD002、FD003以及FD004等4個(gè)子數(shù)據(jù)集的重要度分析，獲得各傳感器特征的重要度結(jié)果如圖6所示。圖中按重要度對(duì)傳感器編號(hào)完成排序，并去除重要度為0的傳感器特征。

由圖6可知，F(xiàn)D001和FD003選取的是相同特征，F(xiàn)D002和FD004也具有相同特征。因此，相同工作條件和故障模式數(shù)量的數(shù)據(jù)集在模型訓(xùn)練時(shí)所需要的關(guān)鍵特征是相同的。

根據(jù)圖6，本文選取的傳感器數(shù)據(jù)特征如表2所示。

3.4 實(shí)驗(yàn)過(guò)程和結(jié)果

為驗(yàn)證方法和模型的有效性，本文分別選取FD001和FD004子集開(kāi)展實(shí)驗(yàn)，實(shí)驗(yàn)平臺(tái)為Intel i7-1170 3.60 GHz的12核CPU，模型中各部分的超參數(shù)如表3所示。共完成3次實(shí)驗(yàn)：① 實(shí)驗(yàn)1考察不同的時(shí)間窗口大小對(duì)于RUL預(yù)測(cè)結(jié)果的影響;② 實(shí)驗(yàn)2采用消融實(shí)驗(yàn)法評(píng)估本文方法中各要素對(duì)RUL預(yù)測(cè)結(jié)果的影響^［28］;③ 實(shí)驗(yàn)3對(duì)比分析本文方法與文獻(xiàn)中其他方法的RUL預(yù)測(cè)效果。

3.4.1 時(shí)間窗口大小

時(shí)間窗口大小是一類關(guān)鍵的超參數(shù)，對(duì)RUL預(yù)測(cè)性能有重要影響。較大的時(shí)間窗口能包含更多有價(jià)值的退化信息，但也會(huì)增加計(jì)算的復(fù)雜度，甚至導(dǎo)致過(guò)擬合、降低模型預(yù)測(cè)的準(zhǔn)確率。

本文在FD001和FD004子數(shù)據(jù)集上開(kāi)展實(shí)驗(yàn)，時(shí)間窗口的參數(shù)分別為20、30、40、50和60。為減少隨機(jī)誤差對(duì)RUL預(yù)測(cè)的影響，針對(duì)每組參數(shù)分別運(yùn)行程序10次，得到的預(yù)測(cè)結(jié)果如圖7所示。FD001子數(shù)據(jù)集組成相對(duì)簡(jiǎn)單，時(shí)間窗口大小為30時(shí)，模型的性能最佳;時(shí)間窗口變大或者變小，均會(huì)對(duì)RUL預(yù)測(cè)結(jié)果產(chǎn)生負(fù)面影響。FD004子數(shù)據(jù)集較為復(fù)雜，時(shí)間窗口大小為50和60時(shí)模型的預(yù)測(cè)性能相近，且優(yōu)于其他時(shí)間窗口大小下的預(yù)測(cè)結(jié)果。

實(shí)驗(yàn)結(jié)果表明：對(duì)于復(fù)雜的數(shù)據(jù)集，為準(zhǔn)確預(yù)測(cè)RUL，通常需要較大的時(shí)間窗口，以包含更多的退化信息。

3.4.2 消融實(shí)驗(yàn)

為進(jìn)一步評(píng)估本文所提方法在RUL預(yù)測(cè)上的有效性，本文針對(duì)FD001、FD004子數(shù)據(jù)集開(kāi)展消融實(shí)驗(yàn)。在LSTM網(wǎng)絡(luò)模型基礎(chǔ)上，依次驗(yàn)證RF算法、統(tǒng)計(jì)特征融合方法和雙重自注意力機(jī)制的有效性，分別完成10次重復(fù)實(shí)驗(yàn)。消融實(shí)驗(yàn)共包括4種方法：

方法 1 LSTM：將所有21個(gè)傳感器特征數(shù)據(jù)傳入LSTM中完成訓(xùn)練和預(yù)測(cè);

方法 2 RF+LSTM：先采用RF算法篩選出關(guān)鍵特征，再采用LSTM完成訓(xùn)練和預(yù)測(cè);

方法 3 RF+Feats+LSTM：在方法2基礎(chǔ)上，將輸入數(shù)據(jù)的統(tǒng)計(jì)特征（Feats），將其與LSTM網(wǎng)絡(luò)的輸出結(jié)果融合，并通過(guò)全連接以回歸預(yù)測(cè);

方法 4 本文方法（RF+Feats+Double self-attention+LSTM）：在方法3基礎(chǔ)上，分別在LSTM前和LSTM后各加入1層自注意力網(wǎng)絡(luò)，建立雙重自注意力機(jī)制。

實(shí)驗(yàn)結(jié)果如表4所示，其中STD代表標(biāo)準(zhǔn)差。

以箱型圖表示4種方法的RMSE值，如圖8所示。由圖8可知：通過(guò)在LSTM網(wǎng)絡(luò)依次引入RF算法、統(tǒng)計(jì)特征融合方法和雙重自注意力機(jī)制，模型的預(yù)測(cè)精度持續(xù)提高;本文所提出的方法所獲得的預(yù)測(cè)精度最高。

RUL的預(yù)測(cè)值越接近真實(shí)值，表明該方法的預(yù)測(cè)精度越高。將FD001中49號(hào)發(fā)動(dòng)機(jī)和FD004中71號(hào)發(fā)動(dòng)機(jī)的消融實(shí)驗(yàn)結(jié)果可視化，如圖9所示。由圖9可知：本文所提出的方法在消融實(shí)驗(yàn)中的效果最佳，預(yù)測(cè)精度最高。

3.4.3 預(yù)測(cè)結(jié)果的對(duì)比分析

將本文方法和文獻(xiàn)中方法得到的RUL預(yù)測(cè)結(jié)果進(jìn)行對(duì)比分析，如表5所示。由表5可知：所有方法在FD001、FD003子數(shù)據(jù)集上的預(yù)測(cè)效果均優(yōu)于FD002、FD004子數(shù)據(jù)集的預(yù)測(cè)結(jié)果。主要原因是：FD002、FD004的工況和故障模式遠(yuǎn)比FD001、FD003復(fù)雜并且數(shù)據(jù)量更大，使得預(yù)測(cè)難度增加。與表5中其他方法的平均預(yù)測(cè)精度相比，對(duì)于FD002、FD004子數(shù)據(jù)集，本文所提方法的預(yù)測(cè)精度分別提高了27.48%和 21.55%。研究結(jié)果表明：本文提出的預(yù)測(cè)方法適合于多工況、多故障模式下復(fù)雜數(shù)據(jù)集的RUL預(yù)測(cè)，且能得到更準(zhǔn)確的預(yù)測(cè)結(jié)果。

3.4.4 實(shí)驗(yàn)結(jié)果和自注意力機(jī)制的可視化

為直觀展示本文所提預(yù)測(cè)方法的性能，選取FD001的測(cè)試集完成RUL預(yù)測(cè)，并將結(jié)果可視化。圖10為FD001測(cè)試集中所有發(fā)動(dòng)機(jī)的RUL預(yù)測(cè)結(jié)果和真實(shí)值的對(duì)比。由圖10可知：預(yù)測(cè)值和真實(shí)值之間的誤差較小，表明利用該方法開(kāi)展RUL預(yù)測(cè)具有越好的可行性。

為增強(qiáng)雙重自注意力機(jī)制在預(yù)測(cè)過(guò)程中的可解釋性，將FD001數(shù)據(jù)集訓(xùn)練過(guò)程中的2層自注意力網(wǎng)絡(luò)的結(jié)果可視化，如圖11所示。由于LSTM網(wǎng)絡(luò)的隱藏單元和時(shí)間窗口大小分別設(shè)置為50和30，LSTM網(wǎng)絡(luò)輸出的抽象特征維度是30×50。圖11（a）為第1層的自注意力網(wǎng)絡(luò)在特征維度上的注意力權(quán)重，不同的特征分配的注意力權(quán)重不同。傳感器13的權(quán)重最大，表明該特征對(duì)于RUL預(yù)測(cè)的貢獻(xiàn)最大;圖11（b）為第2層注意力網(wǎng)絡(luò)在時(shí)間維度上的注意力權(quán)重，越靠近預(yù)測(cè)時(shí)間點(diǎn)的隱藏單元分配的權(quán)重越大，在預(yù)測(cè)時(shí)間點(diǎn)時(shí)的隱藏單元對(duì)于RUL預(yù)測(cè)的貢獻(xiàn)最大，表明當(dāng)前的狀態(tài)參數(shù)對(duì)于RUL預(yù)測(cè)的影響最大。

4 結(jié) 論

針對(duì)傳統(tǒng)LSTM網(wǎng)絡(luò)在RUL預(yù)測(cè)中呈現(xiàn)出無(wú)法主動(dòng)選擇關(guān)鍵特征、難以高效提取大數(shù)據(jù)所蘊(yùn)含的退化信息等問(wèn)題，本文采用RF算法篩選關(guān)鍵特征，結(jié)合統(tǒng)計(jì)特征融合的方法，提出一種基于雙重自注意力機(jī)制和LSTM網(wǎng)絡(luò)的RUL預(yù)測(cè)方法，用于預(yù)測(cè)設(shè)備的RUL，以C-MAPSS數(shù)據(jù)集為例完成實(shí)驗(yàn)驗(yàn)證，本文得到的結(jié)論如下：

（1） 針對(duì)復(fù)雜和多故障模式數(shù)據(jù)集，本文所提方法的預(yù)測(cè)精度高于文獻(xiàn)中的其他方法。

（2） 采用RF算法開(kāi)展輸入特征的重要性評(píng)估和篩選，有助于提高模型的預(yù)測(cè)精度。

（3） 引入雙重自注意力機(jī)制和融合統(tǒng)計(jì)特征能有效提高RUL的預(yù)測(cè)精度。

后續(xù)研究可結(jié)合不同工作條件和故障模式，以進(jìn)一步提升預(yù)測(cè)精度、減少計(jì)算量，實(shí)現(xiàn)模型輕量化。此外，提高模型的可遷移性也是后續(xù)研究的內(nèi)容之一，以便能將所提RUL預(yù)測(cè)方法快速遷移應(yīng)用于其他類型機(jī)器設(shè)備的RUL預(yù)測(cè)。

參考文獻(xiàn)

［1］OMSHI E M， GRALL A. Replacement and imperfect repair of deteriorating system： study of a CBM policy and impact of repair efficiency［J］. Reliability Engineering amp; System Safety， 2021， 215： 107905.

［2］LEI Y G， LI N P， GUO L， et al. Machinery health prognostics： a systematic review from data acquisition to RUL prediction［J］. Mechanical Systems and Signal Processing， 2018， 104： 799-834.

［3］NIETO P J G， GARCIA-GONZALO E， LASHERAS F S， et al. Hybrid PSO-SVM-based method for forecasting of the remaining useful life for aircraft engines and evaluation of its reliability［J］. Reliability Engineering amp; System Safety， 2015， 138： 219-231.

［4］SCHONLAU M， ZOU R Y. The random forest algorithm for statistical learning［J］. The Stata Journal， 2020， 20（1）： 3-29.

［5］LIN M Q， YOU Y Q， WANG W， et al. Battery health prognosis with gated recurrent unit neural networks and hidden Markov model considering uncertainty quantification［J］. Reliability Engineering amp; System Safety， 2023， 230： 108978.

［6］XU Z Y， SALEH J H. Machine learning for reliability engineering and safety applications： review of current status and future opportunities［J］. Reliability Engineering amp; System Safety， 2021， 211： 107530.

［7］LI X， DING Q， SUN J Q. Remaining useful life estimation in prognostics using deep convolution neural networks［J］. Reliability Engineering amp; System Safety， 2018， 172： 1-11.

［8］ZHU J， CHEN N， PENG W W. Estimation of bearing remaining useful life based on multiscale convolutional neural network［J］. IEEE Trans.on Industrial Electronics， 2019， 66（4）： 3208-3216.

［9］SHANG Z W， ZHANG B R， LI W X， et al. Machine remaining life prediction based on multi-layer self-attention and temporal convolution network［J］. Complex amp; Intelligent Systems， 2022， 8（2）： 1409-1424.

［10］ZHANG J J， WANG P， YAN R Q， et al. Long short-term memory for machine remaining life prediction［J］. Journal of Manufacturing Systems， 2018， 48： 78-86.

［11］SU C， LI L， WEN Z J. Remaining useful life prediction via a variational autoencoder and a time-window-based sequence neural network［J］. Quality and Reliability Engineering International， 2020， 36（5）： 1639-1656.

［12］李京峰， 陳云翔， 項(xiàng)華春， 等. 基于LSTM-DBN的航空發(fā)動(dòng)機(jī)剩余壽命預(yù)測(cè)［J］. 系統(tǒng)工程與電子技術(shù)， 2020， 42（7）： 1637-1644.

LI J F， CHEN Y X， XIANG H C， et al. Remaining useful life prediction for aero-engine based on the similarity of degradation characteristics［J］. Systems Engineering and Electronics， 2020， 42（7）： 1637-1644.

［13］CHEN Z H， WU M， ZHAO R， et al. Machine remaining useful life prediction via an attention-based deep learning approach［J］. IEEE Trans.on Industrial Electronics， 2021， 68（3）： 2521-2531.

［14］ZHANG Y， XIN Y Q， LIU Z W， et al. Health status assessment and remaining useful life prediction of aero-engine based on BiGRU and MMoE［J］. Reliability Engineering amp; System Safety， 2022， 220： 108263.

［15］閆嘯家， 梁偉閣， 張鋼， 等. 基于RCNN-ABiLSTM的機(jī)械設(shè)備剩余壽命預(yù)測(cè)方法［J］. 系統(tǒng)工程與電子技術(shù)， 2023， 45（3）： 931-940.

YAN X J， LIANG W G， ZHANG G， et al. Prediction method for mechanical equipment based on RCNN-ABiLSTM［J］. Systems Engineering and Electronics， 2023， 45（3）： 931-940.

［16］MA X L， TAO Z M， WANG Y H， et al. Long short-term memory neural for traffic speed prediction using remote microwave sensor data［J］. Transportation Research Part C： Emerging Technologies， 2015， 54： 187-197.

［17］WANG H， PENG M J， MIAO Z， et al. Remaining useful life prediction techniques for electric valves based on convolution auto encoder and long short term memory［J］. ISA Transactions， 2021， 108： 333-342.

［18］GU L D， ZHENG R， ZHOU Y F， et al. Remaining useful life prediction using composite health index and hybrid LSTM-SVR model［J］. Quality and Reliability Engineering International， 2022， 38（7）： 3559-3578.

［19］DU W B， WANG Y L， QIAO Y. Recurrent spatial-temporal attention network for action recognition in videos［J］. IEEE Trans.on Image Processing， 2018， 27（3）： 1347-1360.

［20］PAN T Y， CHEN J L， YE Z S， et al. A multi-head attention network with adaptive meta-transfer learning for RUL prediction of rocket engines［J］. Reliability Engineering amp; System Safety， 2022， 225： 108610.

［21］LIU L， SONG X， ZHOU Z T. Aircraft engine remaining useful life estimation via a double attention-based data-driven architecture［J］. Reliability Engineering amp; System Safety， 2022， 221： 108330.

［22］KHELIF R， CHEBEL-MORELLO B， MALINOWSKI S， et al. Direct remaining useful life estimation based on support vector regression［J］. IEEE Trans.on Industrial Electronics， 2017， 64（3）： 2276-2285.

［23］汪千程， 蘇春， 文澤軍. 基于協(xié)整分析的風(fēng)力機(jī)多工況監(jiān)測(cè)與故障診斷［J］. 中國(guó)機(jī)械工程， 2022， 33（13）： 1596-1603.

WANG Q C， SU C， WEN Z J. Multi-condition monitoring and fault diagnosis of wind turbines based on cointegration analysis［J］. China Mechanical Engineering， 2022， 33（13）： 1596-1603.

［24］張紫嫣， 盧文科， 左鋒， 等. 基于分段線性插值法的應(yīng)變片式扭矩傳感器的溫度補(bǔ)償［J］. 電子測(cè)量技術(shù)， 2022， 45（8）： 143-147.

ZHANG Z Y， LU W K， ZUO F， et al. Temperature compensation of strain gauge torque sensor based on piecewise linear interpolation method［J］. Electronic Measurement Technology， 2022， 45（8）： 143-147.

［25］CHENG Y J， ZENG J Y， WANG Z L， et al. A health state-related ensemble deep learning method for aircraft engine remaining useful life prediction［J］. Applied Soft Computing， 2023， 135： 110041.

［26］GONG R， LI J X， WANG C L. Remaining useful life prediction based on multisensor fusion and attention TCN-BiGRU model［J］. IEEE Sensors Journal， 2022， 22（21）： 21101-21110.

［27］SAXENA A， GOEBEL K， SIMON D， et al. Damage propagation modeling for aircraft engine run-to-failure simulation［C］∥Proc.of the International Conference on Prognostics and Health Management， 2008： 1-9.

［28］LI H， ZHAO W， ZHANG Y X， et al. Remaining useful life prediction using multi-scale deep convolutional neural network［J］. Applied Soft Computing， 2020， 89： 106113.

［29］ZHANG C， LIM P， QIN A K， et al. Multiobjective deep belief networks ensemble for remaining useful life estimation in prognostics［J］. IEEE Trans.on Neural Networks and Learning Systems， 2017， 28（10）： 2306-2318.

［30］XIA M， ZHENG X， IMRAN M， et al. Data-driven prognosis method using hybrid deep recurrent neural network［J］. Applied Soft Computing， 2020， 93： 106351.

［31］REMADNA I， TERRISSA S L， ZEMOURI R， et al. Leveraging the power of the combination of CNN and bi-directional LSTM networks for aircraft engine RUL estimation［C］∥Proc.of the Prognostics and Health Management Conference， 2020： 116-121.

［32］XIANG S， QIN Y， LUO J， et al. Multicellular LSTM-based deep learning model for aero-engine remaining useful life prediction［J］. Reliability Engineering amp; System Safety， 2021， 216： 107927.

［33］LI Y F， CHEN Y F， SHAO H N， et al. A novel dual attention mechanism combined with knowledge for remaining useful life prediction based on gated recurrent units［J］. Reliability Engineering amp; System Safety， 2023， 239： 109514.

作者簡(jiǎn)介

吳嘉俊（1999—），男，碩士研究生，主要研究方向?yàn)榭煽啃怨こ獭?/p>

蘇 春（1970—），男，教授，博士，主要研究方向?yàn)榭煽啃怨こ獭⑸a(chǎn)系統(tǒng)工程。

張玉茹（1997—），男，博士研究生，主要研究方向?yàn)榭煽啃怨こ獭?/p>