基于Bi-LSTM和自注意力機(jī)制的旋轉(zhuǎn)機(jī)械故障診斷方法研究

高玉才，付忠廣，王詩(shī)云，謝玉存

（華北電力大學(xué)電站能量傳遞轉(zhuǎn)化與系統(tǒng)教育部重點(diǎn)實(shí)驗(yàn)室，北京 102206）

旋轉(zhuǎn)機(jī)械的功能主要通過(guò)旋轉(zhuǎn)動(dòng)作來(lái)實(shí)現(xiàn)，廣泛應(yīng)用于各大工業(yè)領(lǐng)域中，在現(xiàn)代工業(yè)生產(chǎn)中發(fā)揮著重要作用。隨著機(jī)械加工制造技術(shù)的進(jìn)步和自動(dòng)化程度的提高，旋轉(zhuǎn)機(jī)械系統(tǒng)各設(shè)備之間的聯(lián)系也越發(fā)緊密，一旦設(shè)備某一部件發(fā)生故障，會(huì)導(dǎo)致連鎖反應(yīng)，最終造成重大經(jīng)濟(jì)損失，甚至對(duì)工作人員的生命安全造成嚴(yán)重威脅。因此，利用智能化方法快速定位旋轉(zhuǎn)機(jī)械故障類(lèi)型成為故障診斷領(lǐng)域的主要研究方向［1］。

旋轉(zhuǎn)機(jī)械的故障診斷方法主要包括傳統(tǒng)的故障診斷方法和新興的故障診斷方法。早期傳統(tǒng)的旋轉(zhuǎn)機(jī)械故障診斷技術(shù)需要借助專業(yè)知識(shí)手動(dòng)提取故障特征，效率較低。隨著旋轉(zhuǎn)設(shè)備向著大型化、高速化、精密化的方向發(fā)展，基于信號(hào)處理的故障診斷方法難以滿足故障診斷精度的需要。如今，大數(shù)據(jù)和人工智能技術(shù)方興未艾，基于數(shù)據(jù)驅(qū)動(dòng)的神經(jīng)網(wǎng)絡(luò)技術(shù)已經(jīng)應(yīng)用于故障診斷領(lǐng)域之中［2-4］。例如，針對(duì)風(fēng)機(jī)運(yùn)行過(guò)程中可能發(fā)生的故障，文獻(xiàn)［5］首先對(duì)風(fēng)機(jī)的振動(dòng)信號(hào)進(jìn)行預(yù)處理，然后利用經(jīng)驗(yàn)?zāi)B(tài)分解（ensemble empirical mode decomposition，EEMD）技術(shù)獲取故障信息，最后利用長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)（LSTM）進(jìn)行故障診斷。實(shí)驗(yàn)表明，LSTM網(wǎng)絡(luò)能夠準(zhǔn)確監(jiān)測(cè)風(fēng)機(jī)的運(yùn)行狀態(tài)。

綜上所述，針對(duì)采用傳統(tǒng)方法進(jìn)行旋轉(zhuǎn)機(jī)械故障診斷時(shí)效率低、精度低的問(wèn)題，本文提出一種新型智能化故障診斷方法。首先，利用Bi-LSTM 對(duì)時(shí)序數(shù)據(jù)超強(qiáng)的感知能力自動(dòng)提取原始振動(dòng)信號(hào)中的故障特征；然后，在Bi-LSTM 網(wǎng)絡(luò)模型輸出結(jié)果的基礎(chǔ)上施加自注意力，從而獲得深層的特征表示；最后，利用全連接神經(jīng)網(wǎng)絡(luò)和softmax 分類(lèi)器預(yù)測(cè)旋轉(zhuǎn)機(jī)械的運(yùn)行狀態(tài)，實(shí)現(xiàn)旋轉(zhuǎn)機(jī)械故障的智能化診斷。

1 循環(huán)神經(jīng)網(wǎng)絡(luò)原理

大部分前饋神經(jīng)網(wǎng)絡(luò)只能映射數(shù)據(jù)之間的靜態(tài)關(guān)系，不擅于處理時(shí)間序列信號(hào)之間的動(dòng)態(tài)關(guān)系，往往對(duì)時(shí)間序列信號(hào)所蘊(yùn)含的信息產(chǎn)生不合理的預(yù)測(cè)。

循環(huán)神經(jīng)網(wǎng)絡(luò)是一種深層神經(jīng)網(wǎng)絡(luò)，與傳統(tǒng)前饋神經(jīng)網(wǎng)絡(luò)最大的不同之處在于循環(huán)神經(jīng)網(wǎng)絡(luò)中加入了反饋連接，允許內(nèi)部狀態(tài)信息在網(wǎng)絡(luò)自身中傳遞，從而建立數(shù)據(jù)之間的依賴關(guān)系。正是由于循環(huán)神經(jīng)網(wǎng)絡(luò)具有這種長(zhǎng)程依賴性的建模能力，使得循環(huán)神經(jīng)網(wǎng)絡(luò)在自然語(yǔ)言處理、語(yǔ)音識(shí)別等領(lǐng)域取得巨大成功，在時(shí)間序列信號(hào)的處理問(wèn)題中具有廣闊的應(yīng)用前景。

1.1 循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）

循環(huán)神經(jīng)網(wǎng)絡(luò)繼承于Hopfield 網(wǎng)絡(luò)［6］，通過(guò)建立網(wǎng)絡(luò)內(nèi)部前后節(jié)點(diǎn)之間的聯(lián)系，可以實(shí)現(xiàn)神經(jīng)元內(nèi)部的反饋連接，因此特別適用于處理具有時(shí)間依賴性的信號(hào)。

循環(huán)神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)如圖1 所示。在t時(shí)刻，主體結(jié)構(gòu)A 以當(dāng)前時(shí)刻的輸入Xt和上一時(shí)刻的隱含狀態(tài)信息ht-1為輸入，通過(guò)非線性映射后得到輸出Ot，主體結(jié)構(gòu)A 的內(nèi)部參數(shù)在不同時(shí)刻保持共享，并隨網(wǎng)絡(luò)模型的更新不斷變化。因此，循環(huán)神經(jīng)網(wǎng)絡(luò)某一時(shí)刻的輸出受到當(dāng)前信息和歷史狀態(tài)信息的雙重影響，能夠充分挖掘時(shí)間序列信號(hào)中所蘊(yùn)含的信息，做出與時(shí)序數(shù)據(jù)相關(guān)聯(lián)的預(yù)測(cè)。

圖1 循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Schematic diagram of cyclic neural network structure

1.2 長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)LSTM

2 基于Bi-LSTM 和自注意力機(jī)制的旋轉(zhuǎn)機(jī)械故障診斷模型

雙向循環(huán)神經(jīng)網(wǎng)絡(luò)由Schuster 等［7］首次提出，其可以同時(shí)使用時(shí)序數(shù)據(jù)中某個(gè)輸入的歷史和未來(lái)的信息，從而增加循環(huán)神經(jīng)網(wǎng)絡(luò)中可以利用的信息，具有更加強(qiáng)大的特征提取能力。本文構(gòu)建雙向長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)（Bi-LSTM）模型，并在此基礎(chǔ)上引入自注意力機(jī)制捕捉數(shù)據(jù)的內(nèi)部相關(guān)性，從而進(jìn)一步提高模型的性能。本文所提模型架構(gòu)由下而上分為4 部分：Bi-LSTM 層、自注意力層、全連接層和Softmax層。

2.1 Bi-LSTM層

Bi-LSTM 網(wǎng)絡(luò)的結(jié)構(gòu)如圖2 所示。由圖可知，Bi-LSTM 網(wǎng)絡(luò)由2 個(gè)正、反方向的LSTM 網(wǎng)絡(luò)拼接而成。假設(shè)X=[x1，x2，…，xn]為某段振動(dòng)信號(hào)的輸入，xt為t時(shí)刻轉(zhuǎn)子的徑向振動(dòng)位移值，將X輸入Bi-LSTM 網(wǎng)絡(luò)模型分別得到t時(shí)刻前向LSTM 網(wǎng)絡(luò)的輸出和后向LSTM 網(wǎng)絡(luò)的輸出為Bi-LSTM 在t時(shí)刻的輸出，所有時(shí)刻的輸出構(gòu)成狀態(tài)集合H=[h1，h2，…，hn]。

圖2 Bi-LSTM網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 Schematic diagram of Bi-LSTM network structure

2.2 自注意力層

本文首先建立Bi-LSTM模型，然后在狀態(tài)集合H上施加注意力，通過(guò)自注意力機(jī)制學(xué)習(xí)內(nèi)部節(jié)點(diǎn)之間的權(quán)重矩陣［8］為所有內(nèi)部節(jié)點(diǎn)輸出信息的加權(quán)求和形式，代表整個(gè)序列狀態(tài)表示信息。自注意力層循環(huán)神經(jīng)網(wǎng)絡(luò)層如圖3所示。

圖3 自注意力循環(huán)神經(jīng)網(wǎng)絡(luò)層Fig.3 Self-attention recurrent neural network layer

為自注意力層t時(shí)刻的輸出，自注意力層的計(jì)算式為

式中：hk為Bi-LSTM 在k時(shí)刻的輸出；注意力權(quán)重矩陣

t時(shí)刻自注意力層的輸出為Bi-LSTM 各時(shí)刻輸出的加權(quán)求和，即

2.3 全連接層和Softmax輸出層

全連接層的輸入由H中的各個(gè)向量拼接而成，輸出節(jié)點(diǎn)個(gè)數(shù)為5，分別對(duì)應(yīng)旋轉(zhuǎn)機(jī)械的5 種運(yùn)行狀態(tài)，選擇Softmax 激活函數(shù)對(duì)全連接層的輸出進(jìn)行概率歸一化［9］。振動(dòng)信號(hào)輸入模型后產(chǎn)生的輸出應(yīng)該與目標(biāo)值具有相近的概率分布，可以用交叉熵?fù)p失衡量目標(biāo)概率分布p(x)與網(wǎng)絡(luò)模型輸出概率分布q(x)之間的差異，網(wǎng)絡(luò)模型的訓(xùn)練以降低交叉熵?fù)p失為目標(biāo)。交叉熵?fù)p失函數(shù)為

3 實(shí)驗(yàn)驗(yàn)證

實(shí)驗(yàn)設(shè)備為INV1612型柔性轉(zhuǎn)子系統(tǒng)如圖4所示。轉(zhuǎn)子模型系統(tǒng)由直流電機(jī)、數(shù)顯式調(diào)速器、等直徑轉(zhuǎn)軸、圓盤(pán)、軸承等配件組成，轉(zhuǎn)子的轉(zhuǎn)速可以通過(guò)改變電機(jī)的電壓實(shí)現(xiàn)，模型可模擬旋轉(zhuǎn)機(jī)械質(zhì)量不平衡、碰摩、支承松動(dòng)、油膜失穩(wěn)故障，測(cè)量振動(dòng)位移的傳感器安裝在轉(zhuǎn)軸徑向位置的固定支架上。

“56歲”的美加凈和“59歲”的大白兔奶糖跨界合作，前一段時(shí)間在網(wǎng)上的討論度是盛況空前。兩者推出聯(lián)名款——美加凈牌大白兔奶糖味潤(rùn)唇膏，完美保留大白兔奶糖的經(jīng)典味道。9月20號(hào)十點(diǎn)整在天貓旗艦店限量銷(xiāo)售920套，不到半秒被搶空。據(jù)悉，這款潤(rùn)唇膏10月正式推出，“雙十一”之前面市。

圖4 INV1612型多功能柔性轉(zhuǎn)子實(shí)驗(yàn)臺(tái)上的轉(zhuǎn)子模型Fig.4 Rotor model on the INV1612 multifunctional flexible rotor experiment platform

3.1 數(shù)據(jù)集

本文采集轉(zhuǎn)子系統(tǒng)正常運(yùn)行狀態(tài)和以下4 種故障的振動(dòng)信號(hào)：質(zhì)量不平衡故障、碰摩故障、支撐松動(dòng)故障和油膜失穩(wěn)故障。

轉(zhuǎn)子系統(tǒng)運(yùn)行頻率為50 Hz，實(shí)驗(yàn)臺(tái)采樣頻率為1 000 Hz，共分為5種運(yùn)行狀態(tài)：正常狀態(tài)、質(zhì)量不平衡故障、碰摩故障、支承松動(dòng)故障和油膜失穩(wěn)故障。數(shù)據(jù)集包含每種運(yùn)行狀態(tài)下的數(shù)據(jù)樣本各400個(gè)，每個(gè)數(shù)據(jù)樣本包含100個(gè)數(shù)據(jù)點(diǎn)（5個(gè)信號(hào)周期）和一個(gè)獨(dú)-熱向量（one-hot）表示的標(biāo)簽編碼。

3.2 參數(shù)選擇

本文采用Tensorflow 設(shè)計(jì)了基于Bi-LSTM 和自注意力機(jī)制的旋轉(zhuǎn)機(jī)械故障診斷模型［10］，優(yōu)化算法采用自適應(yīng)動(dòng)量法，即Adam 算法，隨著網(wǎng)絡(luò)模型訓(xùn)練次數(shù)的增加，Adam 算法能夠自適應(yīng)地調(diào)整每個(gè)參數(shù)的學(xué)習(xí)率，從而減小模型陷入局部最優(yōu)解的可能［11］。模型的超參數(shù)選擇如下：設(shè)置初始學(xué)習(xí)率為0.01，每批訓(xùn)練樣本數(shù)量batch_size=256，最大迭代次數(shù)為300，LSTM 輸出層神經(jīng)元數(shù)目為16，注意力權(quán)重矩陣wα∈R16×32。

3.3 診斷結(jié)果

本文將轉(zhuǎn)子系統(tǒng)運(yùn)行狀態(tài)識(shí)別準(zhǔn)確率作為模型的評(píng)價(jià)指標(biāo)，其定義為轉(zhuǎn)子系統(tǒng)運(yùn)行狀態(tài)被正確識(shí)別的樣本數(shù)與樣本總數(shù)之比。模型訓(xùn)練前，需要將模型參數(shù)進(jìn)行隨機(jī)初始化，為消除隨機(jī)初始化帶來(lái)的影響，本文采用5 折交叉驗(yàn)證法測(cè)試模型的診斷效果，最終評(píng)價(jià)結(jié)果為5次實(shí)驗(yàn)結(jié)果的平均值。

為探究自注意力機(jī)制對(duì)Bi-LSTM 模型的優(yōu)化作用，將本文方法與未引入自注意力機(jī)制的Bi-LSTM 模型進(jìn)行對(duì)比分析。參數(shù)設(shè)置和實(shí)驗(yàn)方法均與本文方法相同，區(qū)別在于Bi-LSTM 模型最后一個(gè)時(shí)間步的輸出直接與最終輸出層相連接。某次試驗(yàn)2 種模型訓(xùn)練過(guò)程中，訓(xùn)練集數(shù)據(jù)和測(cè)試集數(shù)據(jù)的識(shí)別準(zhǔn)確率的變化情況如圖5 所示。通過(guò)觀察可知，與未引入自注意力機(jī)制的Bi-LSTM 模型相比，本文所提出的方法收斂速度更快、穩(wěn)定性更好、故障識(shí)別準(zhǔn)確率更高，能夠比較準(zhǔn)確地識(shí)別出旋轉(zhuǎn)機(jī)械的各種運(yùn)行狀態(tài)。

圖5 模型訓(xùn)練過(guò)程中識(shí)別準(zhǔn)確率的變化情況Fig.5 Changes in recognition accuracy during model training

為進(jìn)一步反映本文所提方法的優(yōu)越性，利用Python 中的Sklearn 工具，建立K近鄰模型和決策樹(shù)模型，進(jìn)行旋轉(zhuǎn)機(jī)械的故障診斷。模型輸入為原始振動(dòng)信號(hào)的14 個(gè)時(shí)域特征參數(shù)指標(biāo)，包括最大值、最小值、平均幅值、峰值、方差、均方根幅值、方根幅值、歪度、峭度、裕度因子、波形因子、峰值因子、歪度因子、峭度因子。通過(guò)遺傳算法搜索最佳超參數(shù)，使得2 種模型在測(cè)試集上的故障識(shí)別準(zhǔn)確率達(dá)到最高，其中K近鄰方法中超參數(shù)K=2，決策樹(shù)的最大深度max_depth=7。為防止過(guò)擬合，采用CART 算法對(duì)決策樹(shù)進(jìn)行剪枝處理［12］。各種方法在測(cè)試集上的故障診斷精度見(jiàn)表1，表中數(shù)據(jù)均為5次實(shí)驗(yàn)結(jié)果的平均值。

表1 不同模型在測(cè)試集上平均計(jì)算結(jié)果Tab.1 Average calculation results for different models on the test set %

3.4 數(shù)據(jù)可視化

為更加直觀地展示本文所提方法的有效性，探索模型的性能和學(xué)習(xí)過(guò)程，本文采用T-SNE（T-stochastic neighbor embedding）算 法［3］對(duì) 原始信號(hào)、時(shí)域特征參數(shù)、Bi-LSTM 方法分類(lèi)器的輸入特征和本文方法分類(lèi)器的輸入特征進(jìn)行降維，降維后的數(shù)據(jù)在二維平面上的顯示結(jié)果如圖6 所示。

圖6 特征可視化圖Fig.6 Diagram of the feature visualization

從圖中可以看出，對(duì)原始信號(hào)圖6（a）和時(shí)域特征參數(shù)圖6（b）進(jìn)行降維后，正常狀態(tài)、碰摩故障和油膜失穩(wěn)故障的數(shù)據(jù)樣本緊密地聚集在一起，因此，直接利用這些數(shù)據(jù)建立分類(lèi)器模型，不能有效實(shí)現(xiàn)旋轉(zhuǎn)機(jī)械的故障診斷。通過(guò)圖6（c）和圖6（d）的對(duì)比分析可知，相比于Bi-LSTM 方法，本文方法全連接層輸出的特征使得數(shù)據(jù)樣本具有更小的類(lèi)內(nèi)距離和更大的類(lèi)間距離，因此，本文所提出的模型能夠更加有效地提取故障特征信息，從而提高旋轉(zhuǎn)機(jī)械故障診斷的精度。

4 結(jié)論

本文針對(duì)旋轉(zhuǎn)機(jī)械故障診斷問(wèn)題提出了一種基于Bi-LSTM網(wǎng)絡(luò)和自注意力機(jī)制的故障診斷方法，實(shí)驗(yàn)結(jié)果表明該方法切實(shí)可行，并得出以下結(jié)論：

（1）相比于基于信號(hào)處理技術(shù)的傳統(tǒng)機(jī)器學(xué)習(xí)方法，如K近鄰、決策樹(shù)模型，本文方法無(wú)需依賴專家經(jīng)驗(yàn)人工提取信號(hào)中的特征參數(shù)，能夠通過(guò)有監(jiān)督學(xué)習(xí)自動(dòng)提取原始信號(hào)中反映旋轉(zhuǎn)機(jī)械運(yùn)行狀態(tài)的信息，并進(jìn)行故障分類(lèi)，具有更高的診斷精度，能夠?qū)崿F(xiàn)快速、高效的智能化故障診斷。

（2）在傳統(tǒng)的Bi-LSTM 網(wǎng)絡(luò)模型輸出結(jié)果的基礎(chǔ)上施加自注意力，能夠更加有效地捕捉數(shù)據(jù)的內(nèi)部相關(guān)性，模型訓(xùn)練過(guò)程中收斂速度和穩(wěn)定性得到大幅度提高，整體故障識(shí)別準(zhǔn)確率提高了2%。

（3）本文提出的方法能夠監(jiān)測(cè)旋轉(zhuǎn)機(jī)械的運(yùn)行狀態(tài)，具有較高的診斷精度，能夠及時(shí)發(fā)現(xiàn)并反饋故障類(lèi)型，避免發(fā)生安全事故。