基于Transformer模型的航空發(fā)動(dòng)機(jī)剩余壽命預(yù)測(cè)方法研究

吳直遙

（西南石油大學(xué)，四川 成都 610500）

航空發(fā)動(dòng)機(jī)作為現(xiàn)代飛機(jī)的核心部件之一，是裝備制造領(lǐng)域的最高端產(chǎn)品，一旦發(fā)生故障將會(huì)造成飛行安全事故，不僅會(huì)導(dǎo)致巨大的財(cái)產(chǎn)損失，還可能造成人員傷亡事故。傳統(tǒng)的航空發(fā)動(dòng)機(jī)維護(hù)方式主要有兩大類：一類是基于故障的事后維修方式，這種方式存在的最主要問題是無法提前主動(dòng)預(yù)防故障；另一類則是周期性的維護(hù)維修，這類方式會(huì)帶來一些不必要的維護(hù)，大大增加航空發(fā)動(dòng)機(jī)的維護(hù)成本[1]。

發(fā)動(dòng)機(jī)故障預(yù)測(cè)與健康管理，即利用數(shù)據(jù)分析和監(jiān)測(cè)技術(shù)來提前發(fā)現(xiàn)可能的故障，并進(jìn)行相應(yīng)的維護(hù)和保養(yǎng)。剩余使用壽命預(yù)測(cè)是發(fā)動(dòng)機(jī)故障預(yù)測(cè)與健康管理最重要的內(nèi)容，也是最大的技術(shù)難點(diǎn)。隨著該技術(shù)的不斷深入，剩余使用壽命預(yù)測(cè)方法大致分為兩個(gè)方向，分別是基于模型的方法和基于數(shù)據(jù)驅(qū)動(dòng)的方法。

基于模型的剩余使用壽命預(yù)測(cè)方法需要對(duì)設(shè)備建立精確的數(shù)學(xué)物理模型來研究其退化機(jī)制，從而獲得預(yù)測(cè)的發(fā)生故障時(shí)刻。雖然該方法能夠取得十分精確的結(jié)果，但是在實(shí)踐中建立實(shí)際的物理退化模型十分困難。基于數(shù)據(jù)驅(qū)動(dòng)的剩余使用壽命預(yù)測(cè)方法相較于上述方法，較為簡單易懂，并且隨著數(shù)據(jù)樣本量增加，將會(huì)得到更準(zhǔn)確的結(jié)果?；跀?shù)據(jù)驅(qū)動(dòng)的剩余使用壽命預(yù)測(cè)方法按神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的深度可以分為兩類：基于淺層機(jī)器學(xué)習(xí)的方法和基于深度學(xué)習(xí)的方法。

經(jīng)過20多年的研究和發(fā)展，神經(jīng)網(wǎng)絡(luò)模型在設(shè)備剩余使用壽命預(yù)測(cè)領(lǐng)域表現(xiàn)出了很好的效果。Shao Y[2]等提出了一種剩余壽命漸進(jìn)預(yù)測(cè)的方法，該方法主要基于BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)軸承剩余壽命，驗(yàn)證了所提出方法具有很好的效果。Wu等[3]采用Dropout提升LSTM的泛化能力，在NASA的航空發(fā)動(dòng)機(jī)數(shù)據(jù)集上的預(yù)測(cè)效果優(yōu)于RNN算法。

綜合來看，如何有效地提取發(fā)動(dòng)機(jī)退化特征并且建立準(zhǔn)確的剩余使用壽命預(yù)測(cè)模型是實(shí)現(xiàn)航空發(fā)動(dòng)機(jī)剩余壽命預(yù)測(cè)的關(guān)鍵。針對(duì)現(xiàn)有方法特征提取不充分，模型計(jì)算復(fù)雜度高，預(yù)測(cè)精度較低等問題，本文提出一種基于Transformer模型結(jié)構(gòu)的預(yù)測(cè)模型。

1 基礎(chǔ)理論

1.1 Transformer模型

在2017年，Google提出了一種基于純注意力機(jī)制的神經(jīng)網(wǎng)絡(luò)模型，即Transformer模型。Transformer模型不需要使用循環(huán)神經(jīng)網(wǎng)絡(luò)或卷積神經(jīng)網(wǎng)絡(luò)，而是直接使用注意力機(jī)制對(duì)輸入序列進(jìn)行編碼和解碼。此外，Transformer模型還引入了殘差連接和層歸一化等技術(shù)，解決了梯度消失和模型不穩(wěn)定性等問題。

Transformer模型采用的是編碼器-解碼器架構(gòu)，并且都采用堆疊多頭自注意力機(jī)制和全連接層。每一層編碼器中有兩個(gè)子層，分別為多頭自注意力機(jī)制和基于位置的全連接前饋神經(jīng)網(wǎng)絡(luò)。其中多頭自注意力機(jī)制用來計(jì)算輸入的自注意力，而前饋網(wǎng)絡(luò)則是對(duì)兩個(gè)子層的輸出進(jìn)行層歸一化并且采用殘差連接。與編碼器有所區(qū)別的是，在解碼器中一共有三個(gè)子層，分別是遮擋多頭自注意力機(jī)制、多頭自注意力機(jī)制以及基于位置的全連接前饋網(wǎng)絡(luò)。其中遮擋多頭自注意力機(jī)制同樣用來計(jì)算輸入的自注意力，但是由于該層屬于生成過程，在時(shí)刻時(shí)，只有在小于 時(shí)刻才會(huì)有結(jié)果，因此需要將序列大于時(shí)刻的部分做遮擋操作。而其中多頭自注意力機(jī)制是對(duì)編碼器中的輸出進(jìn)行注意力的計(jì)算。解碼器中的前饋網(wǎng)絡(luò)則與編碼器中的相同。

1.2 注意力機(jī)制

注意力機(jī)制（Attention Mechanism）是一種計(jì)算機(jī)模型，用于序列式數(shù)據(jù)的建模和處理。它是深度學(xué)習(xí)的重要部分，特別是在自然語言處理和計(jì)算機(jī)視覺領(lǐng)域中。

注意力機(jī)制的目的是讓模型能夠關(guān)注輸入數(shù)據(jù)的某些部分，而不是簡單地對(duì)整個(gè)輸入進(jìn)行操作。這種機(jī)制使模型能夠?qū)W習(xí)對(duì)不同部分的輸入數(shù)據(jù)進(jìn)行不同的處理，以便更好地理解和處理復(fù)雜的序列數(shù)據(jù)。例如，在翻譯任務(wù)中，注意力機(jī)制可以幫助模型根據(jù)源語言的單詞與目標(biāo)語言的單詞之間的對(duì)應(yīng)關(guān)系，更好地翻譯輸入文本。在剩余使用壽命預(yù)測(cè)領(lǐng)域，設(shè)備退化階段的輸入會(huì)比健康階段的輸入更有作用。注意力機(jī)制可以動(dòng)態(tài)地關(guān)注特征中更重要的信息。在該領(lǐng)域任務(wù)中，由于沒有先驗(yàn)信息可用，可以利用自我注意機(jī)制來學(xué)習(xí)特征和時(shí)間步長的重要性。

2 預(yù)測(cè)模型

2.1 數(shù)據(jù)集分析與處理

美國航空航天局（NASA）負(fù)責(zé)創(chuàng)建和維護(hù)的C-MAPSS（Commercial Modular Aero-Propulsion System Simulation）數(shù)據(jù)集是一個(gè)用于機(jī)械故障診斷和預(yù)測(cè)的常用數(shù)據(jù)集，它包含了模擬的渦輪發(fā)動(dòng)機(jī)故障數(shù)據(jù)，是剩余壽命預(yù)測(cè)領(lǐng)域被廣泛使用的基準(zhǔn)數(shù)據(jù)集。C-MAPSS模擬的是一個(gè)推力級(jí)為90 000磅的大型商用渦扇發(fā)動(dòng)機(jī)系統(tǒng)。通過發(fā)動(dòng)機(jī)的熱力學(xué)仿真模型，傳感器響應(yīng)被生成。

C-MAPSS數(shù)據(jù)集已經(jīng)被劃分為四個(gè)子數(shù)據(jù)集，每個(gè)子數(shù)據(jù)集表示不同的發(fā)動(dòng)機(jī)運(yùn)行工況和故障模式，并且每個(gè)子數(shù)據(jù)集也已經(jīng)被劃分為訓(xùn)練集、測(cè)試集以及一個(gè)測(cè)試集的發(fā)動(dòng)機(jī)剩余壽命的RUL標(biāo)簽集。其中訓(xùn)練集包含了發(fā)動(dòng)機(jī)從開始工作直至性能完全退化時(shí)整個(gè)生命周期的運(yùn)行數(shù)據(jù)，測(cè)試集中數(shù)據(jù)樣本為發(fā)動(dòng)機(jī)性能完全退化之前某段時(shí)間內(nèi)的運(yùn)行數(shù)據(jù)。

通過分析各個(gè)傳感器監(jiān)測(cè)數(shù)據(jù)，并計(jì)算傳感器數(shù)值的方差，可以發(fā)現(xiàn)其中一部分傳感器數(shù)據(jù)的方差為0。即表示其監(jiān)測(cè)值隨著發(fā)動(dòng)機(jī)退化而保持恒定，所以并不是所有的傳感器數(shù)據(jù)都包含有發(fā)動(dòng)機(jī)退化信息。通過該方式分析21種傳感器參數(shù)數(shù)據(jù)，發(fā)現(xiàn)傳感器序號(hào)為1、5、6、10、16、18、19的參數(shù)數(shù)據(jù)在發(fā)動(dòng)機(jī)運(yùn)行退化過程中為恒定值，所以這部分?jǐn)?shù)據(jù)對(duì)于發(fā)動(dòng)機(jī)的RUL預(yù)測(cè)為無效變量，因此只保留剩余14個(gè)有效傳感器數(shù)據(jù)。

由于各個(gè)傳感器監(jiān)測(cè)數(shù)據(jù)單位基本不同，同時(shí)這些數(shù)據(jù)數(shù)值差異也較大。因此本文采用Min-Max方法來對(duì)篩選過后的14個(gè)傳感器數(shù)據(jù)分別進(jìn)行歸一化處理，以得到歸一化后數(shù)值映射到[0,1]的各傳感器數(shù)據(jù)。Min-Max歸一化的公式如式（1）所示：

在實(shí)際的情況中，設(shè)備在早期階段會(huì)保持健康的狀態(tài)運(yùn)行一段時(shí)間，并且該階段的各個(gè)傳感器監(jiān)測(cè)數(shù)據(jù)都是趨于穩(wěn)定的。Zheng等人采用分段線性函數(shù)的形式來擬合發(fā)動(dòng)機(jī)的實(shí)際生命周期的退化過程。本文采用的臨界RUL值為125個(gè)發(fā)動(dòng)機(jī)循環(huán)數(shù)。

本文將采用滑動(dòng)窗口的方式來構(gòu)造訓(xùn)練樣本，使得訓(xùn)練數(shù)據(jù)包含盡可能多的發(fā)動(dòng)機(jī)退化信息并且盡量減輕誤差和噪聲帶來的影響。滑動(dòng)窗口方法將一個(gè)固定大小的窗口沿著序列數(shù)據(jù)向前滑動(dòng)，每次滑動(dòng)一個(gè)固定的步長，并從當(dāng)前位置提取一個(gè)子序列構(gòu)成一個(gè)樣本。

2.2 GRU-Trans預(yù)測(cè)模型

針對(duì)現(xiàn)有方法的不足以及發(fā)動(dòng)機(jī)退化數(shù)據(jù)的高維度、具有時(shí)序性的特點(diǎn)，同時(shí)又考慮到Transformer編碼器中的注意力機(jī)制使得輸出的高級(jí)特征對(duì)局部上下文信息不敏感，本文提出了一種基于GRU-Trans網(wǎng)絡(luò)結(jié)構(gòu)的RUL預(yù)測(cè)模型，以提高模型在每個(gè)時(shí)間步提取局部上下文特征的能力。

GRU-Trans模型結(jié)構(gòu)主要包括三層：門控循環(huán)單元層、編碼器層以及回歸層。其中門控循環(huán)單元層可以學(xué)習(xí)發(fā)動(dòng)機(jī)退化序列數(shù)據(jù)中的長期依賴關(guān)系，同時(shí)增強(qiáng)模型對(duì)退化數(shù)據(jù)的局部特征提取能力，以進(jìn)一步提高模型對(duì)發(fā)動(dòng)機(jī)RUL的預(yù)測(cè)準(zhǔn)度。而編碼器層則是采用Transformer模型的編碼器結(jié)構(gòu)，以較低的時(shí)間復(fù)雜度捕獲時(shí)間序列數(shù)據(jù)中的短期和長期依賴關(guān)系。該模塊利用了Transformer模型架構(gòu)捕捉退化數(shù)據(jù)全局依賴性，從而更好地提取長序退化數(shù)據(jù)之間的特征關(guān)系，以進(jìn)一步提高模型的預(yù)測(cè)效果。在經(jīng)過編碼器層之后，GRU-Trans模型的最后一層則是回歸層。通過回歸層的計(jì)算之后，得到最終所預(yù)測(cè)的發(fā)動(dòng)機(jī)RUL值。

3 實(shí)驗(yàn)驗(yàn)證與分析

3.1 評(píng)價(jià)指標(biāo)

對(duì)于本次實(shí)驗(yàn)使用的數(shù)據(jù)集來說，常用的評(píng)價(jià)指標(biāo)有兩種方式：均方根誤差和Score函數(shù)。具體的數(shù)學(xué)表達(dá)式如式（2）和式（3）所示：

3.2 超參數(shù)設(shè)置

在模型開始進(jìn)行訓(xùn)練之前，需要對(duì)設(shè)計(jì)的模型設(shè)置合適的參數(shù)，因?yàn)閰?shù)對(duì)模型的性能和準(zhǔn)確性起著重要的作用。此外，值得一提的是，本文提出的RUL預(yù)測(cè)模型在Pytorch開源深度學(xué)習(xí)框架下搭建網(wǎng)絡(luò)預(yù)測(cè)模型。實(shí)驗(yàn)是在64位Windows10操作系統(tǒng)上進(jìn)行的，該系統(tǒng)配備的處理器為Intel(R) Core(TM) i5-9300H CPU，主頻為2.4 GHz，運(yùn)行內(nèi)存為RAM為16 GB，圖形處理器為NVIDIA GeForce GTX 1660Ti。實(shí)驗(yàn)中采用的編程工具是Python3.8.8，選擇Pytorch1.8.1框架進(jìn)行訓(xùn)練。在優(yōu)化器選擇方面，Adam優(yōu)化器集合了動(dòng)量和自適應(yīng)學(xué)習(xí)率的優(yōu)點(diǎn)，能夠更好地加速模型的學(xué)習(xí)，所以本文選擇Adam優(yōu)化器來優(yōu)化模型。經(jīng)過大量的實(shí)驗(yàn)，對(duì)于模型參數(shù)的設(shè)置，本文建立的GRU-Trans模型在編碼器層使用2個(gè)編碼器模塊，網(wǎng)絡(luò)隱藏層單元數(shù)選擇128，4個(gè)自注意力頭，滑動(dòng)窗口大小win_size選擇30，Dropout率選擇0.1，批處理量batch_size則選擇32，學(xué)習(xí)率learning_rate取0.001。

3.3 實(shí)驗(yàn)結(jié)果與分析

確定了最終的模型結(jié)構(gòu)與參數(shù)之后，對(duì)調(diào)整好參數(shù)的GRU-Trans預(yù)測(cè)模型進(jìn)行仿真實(shí)驗(yàn)。模型在C-MAPSS數(shù)據(jù)集中四個(gè)測(cè)試集的預(yù)測(cè)都取得了很好的效果，具體而言，F(xiàn)D001子集上RMSE和Score函數(shù)分別是11.29和228，在FD002子集上，分別是14.16和1 023.54，在FD003子集上，分別是12.03和259.15，在FD004子集上，分別是15.79和1087.45。

其中，F(xiàn)D001子數(shù)據(jù)集的效果最好，主要是由于FD001子集的數(shù)據(jù)最簡單，發(fā)動(dòng)機(jī)狀態(tài)和故障模式都只有一種。然后在具有相同發(fā)動(dòng)機(jī)狀態(tài)模式的FD002和FD004子集中，模型也有較好的預(yù)測(cè)效果，并且FD002上的預(yù)測(cè)效果優(yōu)于FD004，這主要是由于FD002子集和FD004子集的數(shù)據(jù)量相對(duì)于另外兩個(gè)子集更大，可以讓模型充分學(xué)習(xí)數(shù)據(jù)中的發(fā)動(dòng)機(jī)退化特征，同時(shí)又因?yàn)镕D004子集中發(fā)動(dòng)機(jī)故障模型多，所以該數(shù)據(jù)集上的效果不如FD002上的。與此同時(shí)，在FD003子集上GRU-Trans模型也表現(xiàn)出較好的預(yù)測(cè)效果。

4 結(jié)束語

本文基于Transformer模型結(jié)構(gòu)改進(jìn)、提出了一種GRU-Trans模型，相較于經(jīng)典Transformer編碼器模型增加了門控循環(huán)單元。通過在C-MAPSS數(shù)據(jù)集上建模預(yù)測(cè)，實(shí)驗(yàn)結(jié)果表明，本文提出預(yù)測(cè)模型的有效性。但是想要更加精確地預(yù)測(cè)航空發(fā)動(dòng)機(jī)的剩余壽命，并且將預(yù)測(cè)模型更好地運(yùn)行到航空發(fā)動(dòng)機(jī)的故障預(yù)測(cè)和健康管理中，仍然有很多工作和研究需要去做?？梢钥紤]將本文提出的預(yù)測(cè)模型應(yīng)用到其他的航空發(fā)動(dòng)機(jī)退化數(shù)據(jù)集中去，以構(gòu)建一個(gè)更具有魯棒性的預(yù)測(cè)模型。