基于注意力機制BiLSTM的設(shè)備智能故障診斷方法

王太勇，王廷虎，王?鵬，喬卉卉，徐明達(dá)

基于注意力機制BiLSTM的設(shè)備智能故障診斷方法

王太勇1, 2，王廷虎1，王?鵬1，喬卉卉1，徐明達(dá)1

(1. 天津大學(xué)機械工程學(xué)院，天津 300350；2. 天津大學(xué)仁愛學(xué)院，天津 301636)

狀態(tài)監(jiān)測與故障診斷是保證機械設(shè)備安全穩(wěn)定運行的必要手段．本文提出一種基于注意力機制雙向LSTM網(wǎng)絡(luò)(ABiLSTM)的深度學(xué)習(xí)框架用于機械設(shè)備智能故障診斷．首先，將傳感器采集的設(shè)備原始數(shù)據(jù)進(jìn)行預(yù)處理，并劃分為訓(xùn)練樣本集與測試樣本集；其次，訓(xùn)練多個不同尺度的雙向LSTM網(wǎng)絡(luò)對原始時域信號進(jìn)行特征提取，得到設(shè)備故障多尺度特征；再次，通過引入注意力機制，對不同雙向LSTM網(wǎng)絡(luò)提取特征的權(quán)重參數(shù)進(jìn)行優(yōu)化，篩選保留目標(biāo)特征，濾除冗雜特征，以實現(xiàn)精準(zhǔn)提取有效故障特征；最后，在輸出端利用Softmax分類器輸出故障分類結(jié)果．通過利用發(fā)動機氣缸振動實驗數(shù)據(jù)和凱斯西儲大學(xué)滾動軸承實驗數(shù)據(jù)進(jìn)行故障診斷實驗，故障識別準(zhǔn)確率均達(dá)到99%以上．實驗結(jié)果表明，ABiLSTM模型可以實現(xiàn)對原始時域信號的多尺度特征提取和故障診斷，通過與深度卷積網(wǎng)絡(luò)(CNN)、深度去噪自編碼器(DAE)和支持向量機(SVM)等方法進(jìn)行對比，ABiLSTM模型的故障識別性能優(yōu)于各類常見模型．另外，通過利用凱斯西儲大學(xué)滾動軸承在不同工況條件下的數(shù)據(jù)，對ABiLSTM模型進(jìn)行泛化性能實驗，變工況樣本的故障識別準(zhǔn)確率仍然能夠達(dá)到95%以上．

故障診斷；深度學(xué)習(xí)；雙向長短期記憶網(wǎng)絡(luò)；注意力機制

機械裝備的安全穩(wěn)定運行至關(guān)重要，一旦發(fā)生故障可能會引發(fā)設(shè)備停機，影響生產(chǎn)工作，甚至危及相關(guān)人員生命安全和導(dǎo)致嚴(yán)重破壞生態(tài)環(huán)境的后果.因此，有必要對機械設(shè)備進(jìn)行狀態(tài)監(jiān)測與故障診斷．

傳統(tǒng)故障診斷方法大多依賴于專家知識，通過人工手段對原始信號進(jìn)行特征提取，效率低下，難以處理高速增長的海量數(shù)據(jù)[1]．一方面，傳統(tǒng)領(lǐng)域中階次跟蹤、載荷譜[2]等方法的出現(xiàn)提高了故障診斷的精度與效率；另一方面，近年來深度學(xué)習(xí)在科學(xué)研究和工業(yè)生產(chǎn)領(lǐng)域應(yīng)用突飛猛進(jìn)，在特征自動提取與狀態(tài)識別方面展現(xiàn)出極大的優(yōu)勢[3]，而深度神經(jīng)網(wǎng)絡(luò)相比于一般機器學(xué)習(xí)方法也更加適合處理大規(guī)模的原始數(shù)據(jù)信息[4]．因此，深度學(xué)習(xí)在大數(shù)據(jù)工業(yè)時代引發(fā)了一系列關(guān)注與應(yīng)用熱潮．侯永宏等[5]利用深度卷積神經(jīng)網(wǎng)絡(luò)(DCNN)改進(jìn)無人機人機交互系統(tǒng)，能夠簡化無人機控制復(fù)雜度；Jing等[6]提出一種基于多傳感器信息融合和DCNN的智能故障診斷方法對行星變速箱進(jìn)行故障診斷，在特征提取性能和故障識別準(zhǔn)確率上均有明顯提高；Aghazaden等[7]在卷積神經(jīng)網(wǎng)絡(luò)(CNN)的基礎(chǔ)上建立了刀具磨損評估模型，改善了刀具磨損監(jiān)測的精度和泛化性能；李夢詩等[8]利用深度置信網(wǎng)絡(luò)(DBN)模型，對風(fēng)力發(fā)電機進(jìn)行故障識別，取得了較好的診斷效果．

長短期記憶(LSTM)網(wǎng)絡(luò)屬于深度循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrent neural network，RNN)，適用于處理時序性數(shù)據(jù)，可以解決傳統(tǒng)算法無法學(xué)習(xí)長時間特征關(guān)系及梯度彌散等問題．王惠中等[9]利用LSTM神經(jīng)網(wǎng)絡(luò)和Softmax分類器，對電機進(jìn)行故障診斷，取得了較好的診斷結(jié)果；Zhang等[10]提出利用彈性均方反向傳播方法自適應(yīng)優(yōu)化LSTM神經(jīng)網(wǎng)絡(luò)，并對鋰電池剩余壽命進(jìn)行預(yù)測；王鑫等[11]提出了一種基于多層網(wǎng)格搜索的LSTM預(yù)測模型，通過優(yōu)選參數(shù)算法，在飛機故障實驗中經(jīng)過驗證具有良好的適用性和準(zhǔn)確性；Lei等[12]建立了基于端到端LSTM模型的故障診斷框架，通過對多元時間序列數(shù)據(jù)提取特征進(jìn)行故障分類，并在風(fēng)力發(fā)電機上進(jìn)行了實驗驗證；Song等[13]提出一種雙向長短期記憶(BiLSTM)神經(jīng)網(wǎng)絡(luò)優(yōu)勢的混合健康狀態(tài)預(yù)測模型，利用自編碼器對渦扇發(fā)動機信號提取特征，然后利用BiLSTM方法捕捉特征雙向長程依賴的特性，在LSTM的基礎(chǔ)上進(jìn)一步優(yōu)化渦扇發(fā)動機的剩余使用壽命預(yù)測．

盡管BiLSTM神經(jīng)網(wǎng)絡(luò)在處理時序性數(shù)據(jù)時表現(xiàn)出良好效果，但其在特征提取的深度和復(fù)雜程度上還存在一定欠缺．本文提出了基于BiLSTM的自適應(yīng)故障診斷模型ABiLSTM，即以原始振動信號作為模型輸入，利用多組BiLSTM網(wǎng)絡(luò)從原始振動信號中自適應(yīng)提取多尺度特征，并引入注意力機制，優(yōu)化不同尺度下的特征權(quán)重參數(shù)，提高模型診斷精度，實現(xiàn)對故障狀態(tài)的有效診斷．

1?長短期記憶神經(jīng)網(wǎng)絡(luò)

1.1?長短期記憶神經(jīng)網(wǎng)絡(luò)原理

循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)是一類適用于處理時域序列數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò)模型，每一層的輸出包括兩部分，一部分傳遞給下一層，另一部分為“隱狀態(tài)”，留在當(dāng)前層用以處理下一個樣本使用[14]．然而在深層網(wǎng)絡(luò)中，當(dāng)單一時序數(shù)據(jù)的長度很大或時間很短時，RNN會存在梯度消失、梯度爆炸等問題[15]，訓(xùn)練難度較大．因此，在RNN中引入記憶細(xì)胞概念，得到LSTM模型，具有如圖1所示的前向傳播鏈?zhǔn)浇Y(jié)構(gòu)[16]．

圖1?LSTM神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

LSTM隱層單元結(jié)構(gòu)如圖2所示，其結(jié)構(gòu)由遺忘門、輸入門和輸出門組成，LSTM就是通過這3種門控狀態(tài)來控制記憶細(xì)胞狀態(tài)的變化．

遺忘門通過接收上一單元的輸出，決定對前一時刻信息的保留或丟棄，其計算公式為

輸入門決定本單元有多少新的信息可以加入到記憶細(xì)胞中來，其計算公式為

式中i為輸入門權(quán)重矩陣．

這兩部分聯(lián)合起來，共同將-1更新為，其計算公式為

輸出門的作用是根據(jù)需要決定是否輸出當(dāng)前記憶細(xì)胞狀態(tài)，并經(jīng)過tanh激活層輸出目標(biāo)結(jié)果，計算公式分別為

式中：為sigmoid激活函數(shù)；Wo為輸出門權(quán)重矩陣.

得益于對信息流的控制，LSTM在獲取和儲存信息方面強于一般RNN網(wǎng)絡(luò)，能夠盡可能地保留目標(biāo)信息，丟棄冗雜信息，保證提取特征的時序性．

1.2?雙向LSTM

雙向LSTM(bi-direction LSTM，BiLSTM)是在LSTM的基礎(chǔ)上，借鑒人類理解文字的前后聯(lián)系思想，引入正負(fù)時間方向概念形成的變形結(jié)構(gòu)．

對于不依賴因果關(guān)系的時間序列，BiLSTM利用已知時間序列和反向位置序列，通過正反雙向運算，加深對原序列特征提取層次，提高模型輸出結(jié)果的準(zhǔn)確性．因此BiLSTM在解決時序性問題方面往往能夠取得比單向LSTM更好的效果．

相比于其他神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，LSTM更加真實地模擬了人類的行為邏輯和神經(jīng)認(rèn)知過程，盡管目前在一些復(fù)雜任務(wù)中，以CNN為代表的前饋網(wǎng)絡(luò)更具性能優(yōu)勢，但LSTM網(wǎng)絡(luò)處理深層次復(fù)雜任務(wù)的潛力更加值得期待．

圖3?BiLSTM神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

2?基于ABiLSTM的智能故障診斷框架

2.1?注意力機制

人類視覺神經(jīng)的注意力機制是一種獨特的大腦信號處理機制[18]，通過快速掃描全局圖像，獲得重點關(guān)注的目標(biāo)區(qū)域，即注意力焦點．這是一種充分利用有限注意力資源快速從大量信息中篩選出少數(shù)關(guān)鍵信息，忽略其余不重要信息的方法，目的在于從復(fù)雜信息中快速提取有效特征，通過調(diào)整注意力權(quán)重，篩選目標(biāo)信息，過濾或弱化冗雜信息．

對于設(shè)備故障診斷，通常的做法是通過一系列特征提取手段得到設(shè)備狀態(tài)的特征矩陣，再進(jìn)行故障診斷．但特征矩陣中不同特征不一定有助于故障診斷，所以引入注意力機制對提取的特征進(jìn)行篩選很有必要．

注意力機制特征優(yōu)化原理如圖4所示，將樣本標(biāo)簽表示為，將故障特征表示為，＝{K1，K2，…，K}，其中表示不同樣本，K(＝1，2，…，)為個不同特征，通過全連接神經(jīng)網(wǎng)絡(luò)計算由每個特征K所得到的特征權(quán)重參數(shù)W，用來表示由K所得目標(biāo)值Y與Y的相關(guān)性，并經(jīng)過Softmax歸一化處理，得到所有特征權(quán)重之和為1的概率分布，對原始特征K進(jìn)行加權(quán)，得到優(yōu)化后的特征矩陣．

2.2?ABiLSTM模型框架

本文通過引入注意力機制，建立如圖5所示的ABiLSTM神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，由輸入層、特征提取層、注意力模塊以及分類層組成．

輸入層將原始信號進(jìn)行分段處理，構(gòu)造滿足時間長度要求的輸入樣本．特征提取層包括若干不同尺度，分別包含單層BiLSTM、雙層BiLSTM、3層BiLSTM等等，每層LSTM中記憶單元的數(shù)量不盡相同．記憶單元數(shù)量越多，每個記憶單元處理的數(shù)據(jù)在時間維度上長度越短，提取信號中的高頻特征的能力越強．尺度越多，包含的BiLSTM層數(shù)也就相應(yīng)增多，通過調(diào)整不同尺度BiLSTM網(wǎng)絡(luò)的記憶單元數(shù)量，可對不同時間步長的信號進(jìn)行處理，提取原始信號中由淺到深不同尺度的多重特征．

圖4?注意力機制特征優(yōu)化原理

圖5?ABiLSTM模型框架結(jié)構(gòu)

注意力模塊對不同尺度特征經(jīng)過拼接組成特征矩陣進(jìn)行權(quán)重參數(shù)優(yōu)化，并將其輸出至分類層．分類層包括兩個全連接層；第1層的作用主要是對注意力模塊輸出結(jié)果進(jìn)行展平操作，使之成為一維序列形式，并經(jīng)過線性整流單元(RELU)層，提高整個模型的非線性表達(dá)能力．第2層是Softmax分類器，實現(xiàn)預(yù)測目標(biāo)類別輸出．由于故障狀態(tài)通常并不單一，所以需要進(jìn)行多分類操作，Softmax是目前使用最為廣泛的多分類器模型，其標(biāo)簽是表征預(yù)測所在類別．

2.3?ABiLSTM模型的訓(xùn)練

ABiLSTM模型采用交叉熵?fù)p失函數(shù)，通過比較Softmax分類器輸出預(yù)測結(jié)果的概率分布與目標(biāo)類別概率分布的相似程度，得到故障類型識別的準(zhǔn)確率．交叉熵?fù)p失函數(shù)克服了傳統(tǒng)均方差損失函數(shù)權(quán)值更新慢的弊端，其原理為

式中：為期望輸出值；為神經(jīng)元實際輸出值．

為使損失函數(shù)最小，ABiLSTM模型選用Adam優(yōu)化器，學(xué)習(xí)率設(shè)置為0.001，并使用學(xué)習(xí)率降低回調(diào)函數(shù)對模型進(jìn)行訓(xùn)練，當(dāng)驗證集上損失值不再下降時，通過降低優(yōu)化器的學(xué)習(xí)率改善訓(xùn)練效果．

3?基于ABiLSTM的故障診斷實驗

針對不同機械元件的工作特性不同，本文對發(fā)動機氣缸和滾動軸承分別進(jìn)行故障診斷實驗，驗證ABiLSTM模型的可行性．

3.1?實驗數(shù)據(jù)描述

(1) 實驗1：發(fā)動機氣缸故障診斷實驗.

實驗數(shù)據(jù)選用發(fā)動機氣缸蓋振動實驗數(shù)據(jù). S6D120E型柴油發(fā)動機氣缸蓋實驗裝置如圖6所示，發(fā)動機無負(fù)荷條件下最高轉(zhuǎn)速為(2200±60)r/min，最低轉(zhuǎn)速為(1000±25)r/min．本實驗利用LC0104T壓電加速度傳感器對4種工作狀態(tài)下發(fā)動機氣缸采集氣缸蓋振動信號，4通道采樣頻率均為51.2kHz．發(fā)動機氣缸故障狀態(tài)共包括正常、氣門漏氣、氣門間隙過大和氣門間隙過小4種狀態(tài)．

圖6?氣缸蓋振動實驗裝置

選取無負(fù)荷條件下發(fā)動機氣缸蓋4種故障狀態(tài)振動信號各2.5s時間長度數(shù)據(jù)作為實驗樣本，每類數(shù)據(jù)通過50%的樣本重疊率進(jìn)行擴充，得到如表1所示實驗樣本信息，其中每種故障狀態(tài)數(shù)據(jù)隨機選取80%的樣本用于模型訓(xùn)練，20%的樣本用于模型驗證與測試．

表1?氣缸蓋實驗樣本信息

Tab.1?Description of the cylinder cap datasets

(2) 實驗2：滾動軸承故障診斷實驗．

實驗數(shù)據(jù)選用凱斯西儲大學(xué)軸承數(shù)據(jù)中心的滾動軸承故障振動數(shù)據(jù)[19]．滾動軸承數(shù)據(jù)集包括電機驅(qū)動端和風(fēng)扇端的4種不同負(fù)載類型和10種不同故障類別的SKF型號滾動軸承振動實驗數(shù)據(jù)，電機主軸轉(zhuǎn)速為(1750±50)r/min，采樣頻率包括12kHz和48kHz兩種．

本文中實驗樣本選取電機驅(qū)動端滾動軸承在4種負(fù)載條件下的各10種故障類型數(shù)據(jù)，根據(jù)故障位置和故障尺寸的不同，對10類故障數(shù)據(jù)添加標(biāo)簽0～9，如表2所示．每類數(shù)據(jù)通過40%的樣本重疊率進(jìn)行擴充，樣本數(shù)量為600．

表2?滾動軸承實驗樣本信息

Tab.2?Description of the rolling bearing datasets

實驗2分為兩部分：第1部分為對負(fù)載條件為0、0.75、1.50kW的樣本進(jìn)行單工況下故障診斷實驗，其中每種工況條件下，每種故障狀態(tài)數(shù)據(jù)隨機選取50%的樣本用于模型訓(xùn)練，50%的樣本用于模型驗證與測試；第2部分為變工況條件下模型泛化性實驗，利用負(fù)載條件為0、0.75、1.50kW的樣本進(jìn)行模型訓(xùn)練，利用負(fù)載條件為2.25kW的樣本進(jìn)行模型驗證與測試．

實驗軟件平臺為以TensorFlow為后端的Keras深度學(xué)習(xí)庫．實驗硬件平臺為Intel I38100處理器，主頻3.6GHz，8GB內(nèi)存，Intel(R)UHD Graphics 630圖形處理器．

3.2?發(fā)動機氣缸蓋故障診斷實驗

3.2.1?確定特征融合尺度

為驗證不同尺度下模型性能，將發(fā)動機氣缸蓋振動數(shù)據(jù)劃分為訓(xùn)練集和測試集后，輸入包含不同尺度的ABiLSTM網(wǎng)絡(luò)進(jìn)行訓(xùn)練．其參數(shù)如下：單層BiLSTM的單元數(shù)為8，雙層BiLSTM的單元數(shù)為16、8，3層BiLSTM的單元數(shù)為64、16、8，4層BiLSTM的單元數(shù)為128、64、16、8，全連接層神經(jīng)元個數(shù)為10，選擇線性整流單元(ReLU)對全連接層進(jìn)行激活，并選用Adam優(yōu)化器進(jìn)行訓(xùn)練，共計訓(xùn)練30輪，每輪的批處理樣本數(shù)為20．得到不同診斷方法故障診斷結(jié)果如表3所示．

表3?不同診斷方法故障診斷結(jié)果

Tab.3?Diagnosis results of different diagnosis methods

由表3可以看出，包含不同尺度的ABiLSTM模型訓(xùn)練成本隨著尺度增多而不斷增加，綜合比較其訓(xùn)練效果和訓(xùn)練成本，三尺度ABiLSTM模型結(jié)構(gòu)在保證訓(xùn)練成本較小的情況下取得更高的測試性能，是綜合效果最優(yōu)的模型方案．三尺度ABiLSTM模型在訓(xùn)練過程中訓(xùn)練集和測試集上損失值與準(zhǔn)確率變化曲線如圖7所示．

圖7?損失值與準(zhǔn)確率變化曲線(氣缸蓋故障診斷)

3.2.2?故障診斷對比實驗

為驗證ABiLSTM模型診斷效果，進(jìn)行對比實驗，分別將原始數(shù)據(jù)輸入到三尺度ABiLSTM模型、單尺度3層BiLSTM模型、一維卷積神經(jīng)網(wǎng)絡(luò)(1D-CNN)模型和支持向量機(SVM)模型進(jìn)行對比，以及對原始信號先進(jìn)行快速傅里葉變換(FFT)后輸入到SVM模型進(jìn)行故障分類．為控制單一變量，其訓(xùn)練超參數(shù)和全連接層神經(jīng)元個數(shù)與ABiLSTM模型保持一致，得到故障診斷結(jié)果如表4所示．

表4?不同診斷方法故障診斷結(jié)果

Tab.4?Fault diagnosis results of different methods

由表4可見，ABiLSTM模型在故障診斷準(zhǔn)確率方面相比于其他模型優(yōu)勢十分明顯，能夠在測試集上達(dá)到100%的故障識別率，1D-CNN、BiLSTM和SVM模型在故障識別精度上仍存在不同程度的欠缺；相比于先對信號進(jìn)行FFT變換再使用SVM進(jìn)行分類的方法，ABiLSTM模型可以直接輸入原始振動信號，實現(xiàn)“端到端”故障診斷，在保證診斷精度的同時節(jié)省大量特征提取成本．

3.3?滾動軸承故障診斷實驗

3.3.1?單工況滾動軸承故障診斷

將滾動軸承樣本集劃分為訓(xùn)練集和測試集后，輸入至ABiLSTM網(wǎng)絡(luò)進(jìn)行訓(xùn)練．模型參數(shù)除全連接層神經(jīng)元個數(shù)調(diào)整為32外，其余參數(shù)與實驗1中保持?一致．

選用Adam優(yōu)化器進(jìn)行訓(xùn)練，共計訓(xùn)練40輪，每輪的批處理樣本數(shù)為20．3組樣本在訓(xùn)練過程中訓(xùn)練集和測試集的準(zhǔn)確率變化曲線如圖8所示，3組測試集故障識別準(zhǔn)確率均與訓(xùn)練集準(zhǔn)確率相近，無過擬合現(xiàn)象發(fā)生，模型訓(xùn)練效果較為理想．

為驗證ABiLSTM模型診斷效果，將三尺度ABiLSTM模型與單尺度3層BiLSTM模型、一維卷積神經(jīng)網(wǎng)絡(luò)(1D-CNN)模型和堆疊降噪自動編碼器(SDAE)模型[20]進(jìn)行對比實驗，為控制單一變量，其訓(xùn)練參數(shù)與ABiLSTM模型保持一致，得到故障診斷精度如表5所示．

由表5可以看出，4種深度學(xué)習(xí)算法均取得較高的診斷精度，但SDAE和1D-CNN模型在提取時序性特征能力有所欠缺，限制了故障識別率的進(jìn)一步提升；BiLSTM模型雖提取到時序性特征，但受到單一尺度的限制，與ABiLSTM模型相比仍有一定差距．

表5?不同診斷方法故障診斷精度

Tab.5?Fault diagnosis accuracies of different methods

3.3.2?變工況下泛化性能實驗

為驗證ABiLSTM模型在多工況條件下的泛化性能，利用滾動軸承在負(fù)載為0、1、2hp條件下的樣本數(shù)據(jù)對ABiLSTM模型進(jìn)行訓(xùn)練，并用負(fù)載為3hp的樣本數(shù)據(jù)進(jìn)行驗證與測試，共計訓(xùn)練30輪，每輪的批處理樣本數(shù)為80，得到訓(xùn)練過程中故障識別準(zhǔn)確率變化曲線如圖8(d)所示，泛化實驗結(jié)果如圖9所示．

圖9?泛化實驗結(jié)果

在圖9中可以看出，在變工況條件下，絕大部分樣本均能夠?qū)崿F(xiàn)正確識別，僅有少量標(biāo)簽為8(滾動體0.021")故障樣本被誤識別為標(biāo)簽為5(滾動體0.014")故障樣本，其余故障樣本識別準(zhǔn)確率均在95%以上．總體上看模型訓(xùn)練效果不如單工況下訓(xùn)練效果好，但總體故障識別準(zhǔn)確率仍能達(dá)到96.87%，通過對實驗結(jié)果進(jìn)行分析，發(fā)現(xiàn)誤分類主要發(fā)生在滾動體故障(0.014")和滾動體故障(0.021")之間，盡管有超過20%的樣本被誤分為同一故障位置不同故障尺寸的故障類型，但說明ABiLSTM模型仍能學(xué)習(xí)到故障的位置形狀等非線性特征，具有一定的泛化性能，對于故障定位具有重要應(yīng)用價值．

4?結(jié)?論

本文提出的ABiLSTM模型是一種基于長短期記憶網(wǎng)絡(luò)和注意力機制的自適應(yīng)性故障診斷算法，利用發(fā)動機氣缸蓋故障數(shù)據(jù)和滾動軸承故障數(shù)據(jù)對ABiLSTM模型進(jìn)行多方面驗證與測試，實驗結(jié)果?表明：

(1) ABiLSTM模型無需進(jìn)行人工特征提取操作，可直接利用原始振動信號作為模型輸入，實現(xiàn)端到端故障診斷；

(2) 通過引入注意力機制，ABiLSTM模型在提取時序性特征的同時能夠引入特征權(quán)重系數(shù)，對不同尺度提取的特征加權(quán)融合，提高模型故障診斷精度；

(3) ABiLSTM模型具有良好的泛化性能，對于工況變化的數(shù)據(jù)能很好地提取非線性特征，對故障預(yù)防和定位具有重要意義．

通過實驗也說明ABiLSTM仍存在優(yōu)化和提升空間，未來的研究重點為進(jìn)一步優(yōu)化模型結(jié)構(gòu)以提高診斷精度、加快模型訓(xùn)練和提高模型泛化性能．

［1］ 雷亞國，賈?峰，孔德同，等. 大數(shù)據(jù)下機械智能故障診斷的機遇與挑戰(zhàn)[J]. 機械工程學(xué)報，2018，54(5)：94-104.

Lei Yaguo，Jia Feng，Kong Detong，et al. Opportunities and challenges of machinery intelligent fault diagnosis in big data era[J]. Journal of Mechanical Engineer-ing，2018，54(5)：94-104(in Chinese).

［2］ 陳代偉，吳?軍，張彬彬，等. 基于S試件的加工中心電主軸載荷譜編制[J]. 清華大學(xué)學(xué)報：自然科學(xué)版，2018，58(12)：1107-1114.

Chen Daiwei，Wu Jun，Zhang Binbin，et al. Load spectrum compilation for machining center spindles based on S-shaped specimens[J]. Journal of Tsinghua University：Science and Technology，2018，58(12)：1107-1114(in Chinese).

［3］ 段艷杰，呂宜生，張?杰，等. 深度學(xué)習(xí)在控制領(lǐng)域的研究現(xiàn)狀與展望[J]. 自動化學(xué)報，2016，42(5)：643-654.

Duan Yanjie，Lü Yisheng，Zhang Jie，et al. Deep learning for control：The state of the art and prospects[J]. Acta Automatic Sinica，2016，42(5)：643-654(in Chinese).

［4］ 任?浩，屈劍鋒，柴?毅，等. 深度學(xué)習(xí)在故障診斷領(lǐng)域中的研究現(xiàn)狀與挑戰(zhàn)[J]. 控制與決策，2017，32(8)：1345-1358.

Ren Hao，Qu Jianfeng，Chai Yi，et al. Deep learning for fault diagnosis：The state of the art and challenge[J]. Control and Decision，2017，32(8)：1345-1358(in Chinese).

［5］ 侯永宏，葉秀峰，張?亮，等. 基于深度學(xué)習(xí)的無人機人機交互系統(tǒng)[J]. 天津大學(xué)學(xué)報：自然科學(xué)與工程技術(shù)版，2017，50(9)：967-974.

Hou Yonghong，Ye Xiufeng，Zhang Liang，et al. A UAV human robot interaction method based on deep learning[J]. Journal of Tianjin University：Science and Technology，2017，50(9)：967-974(in Chinese).

［6］ Jing Luyang，Wang Taiyong，Zhao Ming，et al. An adaptive multi-sensor data fusion method based on deep convolutional neural networks for fault diagnosis of planetary gearbox[J]. Sensors，2017，17(2)：414.

［7］ Aghazadeh F，Tahan A，Thomas M. Tool condition monitoring using spectral subtraction and convolutional neural networks in milling process[J]. The International Journal of Advanced Manufacturing Technology，2018，98：3217-3227.

［8］ 李夢詩，余?達(dá)，陳子明，等. 基于深度置信網(wǎng)絡(luò)的風(fēng)力發(fā)電機故障診斷方法[J]. 電機與控制學(xué)報，2019，23(2)：114-123.

Li Mengshi，Yu Da，Chen Ziming，et al. Fault diagnosis and isolation method for wind turbines based on deep belief network[J]. Electric Machines and Control，2019，23(2)：114-123(in Chinese).

［9］ 王惠中，賀珂珂，房理想. 長短時記憶網(wǎng)絡(luò)在電機故障診斷中的應(yīng)用研究[J]. 自動化儀表，2019，40(1)：6-10.

Wang Huizhong，He Keke，F(xiàn)ang Lixiang. Application research of long short-term memory neural network in motor fault diagnosis[J]. Process Automation Instrumentation，2019，40(1)：6-10(in Chinese).

［10］ Zhang Z Y，Xiong R，He H W，et al. Long short-term memory recurrent neural network for remaining useful life prediction of lithium-ion batteries[J]. IEEE Transactions on Vehicular Technology，2018，67(7)：5695-5705.

［11］ 王?鑫，吳?際，劉?超，等. 基于LSTM循環(huán)神經(jīng)網(wǎng)絡(luò)的故障時間序列預(yù)測[J]. 北京航空航天大學(xué)學(xué)報，2018，44(4)：772-784.

Wang Xin，Wu Ji，Liu Chao，et al. Exploring LSTM based recurrent neural network for failure time series prediction[J]. Journal of Beijing University of Aeronautics and Astronautics，2018，44(4)：772-784(in Chinese).

［12］ Lei Jinhao，Liu Chao，Jiang Dongxiang. Fault diagnosis of wind turbine based on long short-term memory network[J]. Renewable Energy，2019，133：422-432.

［13］ Song Ya，Shi Guo，Chen Leyi，et al. Remaining useful life prediction of turbofan engine using hybrid model based on autoencoder and bidirectional long short-term memory[J]. Journal of Shanghai Jiaotong University：Science，2018，23(Suppl 1)：85-94.

［14］ Greff K，Srivastava R K，Koutnik J，et al. LSTM：A search space odyssey[J]. IEEE Transactions on Neural Networks & Learning Systems，2015，28(10)：2222-2232.

［15］ Ma Xiaolei，Tao Zhimin，Wang Yinhai，et al. Long short-term memory neural network for traffic speed prediction using remote microwave sensor data[J]. Transportation Research Part C：Emerging Technologies，2015，54：187-197.

［16］ Hochreiter S，Schmidhuber J. Long short-term memory[J]. Neural Computation，1997，9(8)：1735-1780.

［17］ Schuster M，Paliwal K K. Bidirectional recurrent neural networks[J]. IEEE Transactions on Signal Processing，1997，45(11)：2673-2681.

［18］ Bahdanau D，Cho K，Bengio Y. Neural machine translation by jointly learning to align and translate[EB/OL]. http://arxiv.org/abs/1409.0473，2014.

［19］ Lou Xinsheng，Loparo K A. Bearing fault diagnosis based on wavelet transform and fuzzy inference[J]. Mechanical Systems and Signal Processing，2004，18(5)：1077-1095.

［20］ 曲建嶺，余?路，袁?濤，等. 基于一維卷積神經(jīng)網(wǎng)絡(luò)的滾動軸承自適應(yīng)故障診斷算法[J]. 儀器儀表學(xué)報，2018，39(7)：134-143.

Qu Jianling，Yu Lu，Yuan Tao，et al. Adaptive fault diagnosis algorithm for rolling bearings based on one-dimensional convolutional neural network[J]. Chinese Journal of Scientific Instrument，2018，39(7)：134-143(in Chinese).

An Intelligent Fault Diagnosis Method Based on Attention-Based Bidirectional LSTM Network

Wang Taiyong1, 2，Wang Tinghu1，Wang Peng1，Qiao Huihui1，Xu Mingda1

(1. School of Mechanical Engineering，Tianjin University，Tianjin 300350，China；2. Tianjin University Ren’ai College，Tianjin 301636，China)

Condition monitoring and fault diagnosis are necessary means to ensure the safe and stable operation of mechanical equipment. A deep learning framework based on the attention-based bi-directional long and short-term memory(ABiLSTM)network is proposed for intelligent fault diagnosis of mechanical equipment. First，the raw data collected by sensors were preprocessed and divided into the training and test sample sets. Second，bi-directional long and short-term memory(BiLSTM)networks of different scales were trained to extract multiscale data features from raw time-domain signals. Then，the attention mechanism was introduced to optimize the weight parameters of different BiLSTM networks to extract the effective fault features accurately. Finally，a Softmax classifier was used to obtain the fault classification results. According to the experimental data of engine cylinder vibration and rolling bearing of Case Western Reserve University，the accuracy of fault recognition is more than 99%. The experimental results show that the ABiLSTM model can extract multiscale features from the raw data and conduct fault diagnosis from raw time-domain signals. The fault recognition performance of the ABiLSTM model is superior to that of other common models，such as deep convolutional neural network，denoizing autoencoder，and support vector machine. In addition，according to the data of rolling bearing of Case Western Reserve University under different working conditions，the accuracy of fault recognition can still reach more than 95%. The results of the generalization experiment show that the ABiLSTM model exhibits good fault recognition performance. The proposed ABiLSTM model can provide guidance for subsequent research and production practice.

fault diagnosis；deep learning；bi-directional long and short-term memory(BiLSTM) network；attention mechanism

TP206.3

A

0493-2137(2020)06-0601-08

10.11784/tdxbz201905067

2019-05-20；

2019-08-23.

王太勇（1962—??），男，博士，教授，tywang@tju.edu.cn.

王?鵬，pengwang@tju.edu.cn.

國家自然科學(xué)基金資助項目(51975402)；中國兵器工業(yè)集團公司基礎(chǔ)性創(chuàng)新團隊項目(2017CX031).

Supported by the National Natural Science Foundation of China(No.51975402)，the Basic Innovation Team Program of China North Industries Group Corporation Limited(No.2017CX031).

(責(zé)任編輯：孫立華)