融合注意力機(jī)制的二維CNN變工況軸承故障診斷

張 軍，朱國(guó)慶，謝由生

(1安徽理工大學(xué)人工智能學(xué)院，安徽 淮南 232001；2安徽理工大學(xué)機(jī)械工程學(xué)院，安徽 淮南 232001)

隨著工業(yè)的發(fā)展和智能制造的推進(jìn)，現(xiàn)代工業(yè)趨于智能化、集成化、自動(dòng)化。滾動(dòng)軸承作為現(xiàn)代工業(yè)中關(guān)鍵機(jī)械設(shè)備，長(zhǎng)期運(yùn)行在高溫、高強(qiáng)度、重負(fù)荷等惡劣環(huán)境下，若產(chǎn)生故障可能導(dǎo)致嚴(yán)重后果，造成嚴(yán)重的人員和經(jīng)濟(jì)損失。因此，滾動(dòng)軸承的故障診斷具有十分重要的意義[1-2]。

傳統(tǒng)的故障診斷主要使用基于知識(shí)的信號(hào)處理方法和基于機(jī)器學(xué)習(xí)的方法，信號(hào)處理的方法主要包括經(jīng)驗(yàn)分解模型(Empirical Mode Decomposition，EMD)、傅里葉變換等[3-5]。這些方法雖然有進(jìn)步，然而面對(duì)海量的數(shù)據(jù)及復(fù)雜的非線性關(guān)系時(shí)，由專家設(shè)計(jì)的信號(hào)特征提取到條件映射很大程度上取決于先驗(yàn)知識(shí)，無法自動(dòng)分類和自適應(yīng)的檢測(cè)和分類，導(dǎo)致時(shí)間消耗大，效率很低，無法滿足大數(shù)據(jù)時(shí)代下的需求。

隨著人工智能的興起，二十世紀(jì)九十年代，支持向量機(jī)(Support Vector Machine，SVM)[6]和K最近鄰(K-Nearest Neighbor，KNN)[7]等分類算法在故障診斷方面得到快速發(fā)展，雖然可以實(shí)現(xiàn)批量處理數(shù)據(jù)，具有一定的非線性擬合能力，但是因其簡(jiǎn)單的網(wǎng)絡(luò)結(jié)構(gòu)難以提取到深層的特征信息而準(zhǔn)確率較低，因此如何更準(zhǔn)確且高效地診斷十分重要。

近年來， 隨著電子計(jì)算機(jī)硬件的提高， 深度學(xué)習(xí)在2006a由文獻(xiàn)[8]首次提出， 由于其疊加多個(gè)非線性層， 使其能夠從原始數(shù)據(jù)中學(xué)習(xí)到更高級(jí)的特征， 取得了前所未有的進(jìn)步，因而得到蓬勃發(fā)展，已經(jīng)席卷多個(gè)領(lǐng)域，包括自語言處理(Natural Language Processing，NLP)[9]、 計(jì)算機(jī)視覺等領(lǐng)域[10]， 由于其強(qiáng)大的特征提取能力和學(xué)習(xí)能力被應(yīng)用到故障診斷方面。 卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks，CNN)作為主流代表的算法之一， 因其出色的表征學(xué)習(xí)能力非常適合大量數(shù)據(jù)的處理，在圖片特征提取和分類方面發(fā)揮關(guān)鍵作用，最初用于一些二維圖像分類中，近幾年在滾動(dòng)軸承的故障處理方面得到進(jìn)一步應(yīng)用[11]。 其中， 文獻(xiàn)[12]及文獻(xiàn)[13]分別應(yīng)用短時(shí)傅里葉變換(Short-time Fourier Transform， STFT)和連續(xù)小波變換(Continuous Wavelet Transform，CWT)將采集到的一維振動(dòng)信號(hào)進(jìn)行前處理，變?yōu)槎S灰度圖像，將其輸入卷積神經(jīng)網(wǎng)絡(luò)；文獻(xiàn)[14]首次提出了一種輕量的注意力模塊(Convolutional Block Attention Module，CBAM)， 包含通道注意力模塊和空間注意力模塊。 雖然上述文獻(xiàn)相對(duì)于傳統(tǒng)方法都取得了不錯(cuò)的故障識(shí)別， 但也存在兩個(gè)問題：一是未考慮在變工況時(shí)，同種故障存在不同的頻率范圍； 二是對(duì)于微小的故障特征， 卷積網(wǎng)絡(luò)不能有效地提取。

對(duì)于上述不足，本文提出融合注意力機(jī)制的卷積神經(jīng)網(wǎng)絡(luò)，將采集到的一維信號(hào)用短時(shí)傅里葉變換處理成二維圖像作為輸入，能夠更有效地利用時(shí)頻結(jié)合挖掘故障特征信息，并在各卷積層內(nèi)加入卷積注意力機(jī)制(Convolutional Block Attention Module，CBAM)，幫助提取更重要的特征信息，從而在變工況下提高識(shí)別準(zhǔn)確率。

1 方法介紹

CNN因其具有良好的表征學(xué)習(xí)能力得到廣泛的應(yīng)用，故提出了一種融合注意力機(jī)制的改進(jìn)CNN方法。

1.1 卷積神經(jīng)網(wǎng)絡(luò)

卷積層旨在提取圖像特征，經(jīng)過迭代不斷提取更復(fù)雜的特征，卷積運(yùn)算表達(dá)式如式(1)所示。

(1)

本文選擇ReLu(Rectified Linear Unit)作為CNN的激活函數(shù),表達(dá)式如式(2)所示。

yijm=max(0,xijm)

(2)

式中：xijm為第m張圖片在(i，j)處的值。

池化層也稱為下采樣層，其目的是在保留主要特征的基礎(chǔ)上減少圖片的維度。本文采取最大池化方法，表達(dá)式如式(3)所示。

yijm=max(ypqm)

(3)

式中：ypqm為第m個(gè)圖片在p.q窗口內(nèi)的值。

softmax函數(shù)是邏輯分類器的推廣，將多個(gè)神經(jīng)元輸出的樣本集合映射到(0,1)區(qū)間內(nèi)，得到集合中一類的概率，如式(4)所示。

(4)

式中：zi為第i神經(jīng)元的輸出；M為總類別個(gè)數(shù)；K為類別索引。

1.2 注意力機(jī)制

注意力機(jī)制(Attention Model)最早應(yīng)用在機(jī)器翻譯，一般采用自編碼的方式進(jìn)行序列的轉(zhuǎn)換。注意力機(jī)制源于人類的視覺方式研究，后被廣泛應(yīng)用于自然語言的處理等方面。

CBAM包含兩個(gè)子模塊：通道注意力模塊和空間注意力模塊，依次進(jìn)行通道和空間的“注意”。輸入的圖片F(xiàn)(高×寬×通道)分別經(jīng)過最大池化層和全局平均池化層，得到高度和寬度均為1的特征圖，接著輸入兩層共享感知機(jī)網(wǎng)絡(luò)，然后將輸出逐個(gè)加和，經(jīng)過激活函數(shù)生成通道注意力特征；然后將其作為空間注意力模塊的輸入，通過全局最大池化和全局平均池化，得到高×寬×通道數(shù)的特征圖，將其基于通道數(shù)融合，先經(jīng)過卷積核為7或者3的卷積層，再經(jīng)過激活函數(shù)之后，利用廣播機(jī)制與輸入對(duì)應(yīng)相乘輸出如式(5)和(6)所示

F′=MC(F)?F

(5)

F″=MS(F′)?F′

(6)

式中：F∈RC×W×H,MC∈RC×1×1，MS∈R1×H×W,為對(duì)應(yīng)元素相乘，C、W、H分別代表通道數(shù)、寬和高；F′為經(jīng)過通道“注意”模塊圖片；F″為經(jīng)過空間“注意”模塊圖片。

1.3 多特征提取

在軸承的故障診斷中，不同的故障在頻域上的特征受到噪聲、故障類別和工況的影響，導(dǎo)致振動(dòng)信號(hào)十分復(fù)雜，這對(duì)故障識(shí)別的難度加大?；趇nception模塊[15]，本文提出使用多尺度卷積神經(jīng)網(wǎng)絡(luò)改進(jìn)CNN，從而構(gòu)建多尺度卷積神經(jīng)網(wǎng)絡(luò)，并將其應(yīng)用于軸承的故障診斷(見圖1)。采用3個(gè)不同大小1×1、3×3、5×5的卷積核對(duì)短時(shí)傅里葉變換處理后的圖像進(jìn)行特征提取，比起以往卷積、池化再卷積的縱向加深，此方法可以在橫向更多地提取細(xì)微的重要特征；之后經(jīng)過融合層將特征匯集到一起，再經(jīng)過CBAM注意力機(jī)制，對(duì)采取到的橫向特征中最重要部分給予更多的“注意”，將這部分特征影響因子加重，從而提高模型的準(zhǔn)確率，減少過擬合現(xiàn)象發(fā)生。再經(jīng)過池化層，對(duì)圖片下采樣并輸出到下一層。

圖1 多特征提取模塊

1.4 融合注意力機(jī)制的CNN網(wǎng)絡(luò)框架

基于二維CNN卷積神經(jīng)網(wǎng)絡(luò)，原始數(shù)據(jù)經(jīng)過短時(shí)傅里葉變換之后，進(jìn)入多特征提取模塊，分別經(jīng)過3個(gè)并行的卷積核提取圖像特征，經(jīng)池化后融合成一個(gè)一維特征集，其主要目的是利用不同大小的卷積層將差別較大的重要特征部分提取出來。再經(jīng)過注意力機(jī)制，對(duì)重要特征給予更多“注意”，下采樣之后輸出給卷積層。此處的多特征提取模塊也相當(dāng)于是一個(gè)卷積層。之后再經(jīng)過反復(fù)的卷積池化(共4次)，傳遞給全連接層，用交叉熵?fù)p失函數(shù)計(jì)算模型預(yù)測(cè)值和真實(shí)值不一致的程度。

1.5 滾動(dòng)軸承的故障識(shí)別過程

利用圖2網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行軸承數(shù)據(jù)集故障識(shí)別過程如下：

圖2 融合注意力機(jī)制的改進(jìn)CNN模型

步驟1 數(shù)據(jù)前處理，利用短時(shí)傅里葉變換將一維振動(dòng)信號(hào)轉(zhuǎn)換為二維圖像，給圖像設(shè)置好標(biāo)簽并分為訓(xùn)練集和測(cè)試集；

步驟2 初始化1.4所提網(wǎng)絡(luò)結(jié)構(gòu)，設(shè)置合適學(xué)習(xí)率及優(yōu)化器等；

步驟3 將訓(xùn)練數(shù)據(jù)集導(dǎo)入所選的網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練；

步驟4 利用驗(yàn)證集測(cè)試網(wǎng)絡(luò)的故障分類性能。

2 實(shí)驗(yàn)驗(yàn)證

本文使用江南大學(xué)軸承數(shù)據(jù)中心的數(shù)據(jù)集作為實(shí)驗(yàn)數(shù)據(jù)。

2.1 故障數(shù)據(jù)集描述與處理

江南大學(xué)數(shù)據(jù)集由3個(gè)不同轉(zhuǎn)速的軸承振動(dòng)數(shù)據(jù)集組成，數(shù)據(jù)采集頻率為50kHz，數(shù)據(jù)集包含一種健康狀態(tài)和3種故障模式：內(nèi)圈故障、外圈故障和滾動(dòng)元件故障。

設(shè)計(jì)單工況模型驗(yàn)證。 選擇1 000r/min工況的數(shù)據(jù)集， 按照3∶1劃分為訓(xùn)練集和測(cè)試集， 訓(xùn)練集每種故障類型選取480個(gè), 測(cè)試集每種故障類型選取160個(gè)， 每個(gè)樣本包含1 024個(gè)點(diǎn)；設(shè)計(jì)變工況模型驗(yàn)證， 如表1所示。 根據(jù)不同的工作條件， 按照訓(xùn)練集和測(cè)試集3∶1比例劃分， 訓(xùn)練集從1 000r/min工況下獲取，每種故障選取480個(gè)，驗(yàn)證集從800r/min工況下獲取，每種類型選取160個(gè)，每個(gè)樣本包含1 024個(gè)點(diǎn)。

表1 變工況數(shù)據(jù)集的劃分

重構(gòu)輸入數(shù)據(jù)格式。實(shí)驗(yàn)測(cè)得的原始數(shù)據(jù)是一維時(shí)間序列的振動(dòng)信號(hào)(見圖3)。為提高特征識(shí)別能力，引入時(shí)頻域之間的關(guān)系，將一維時(shí)域原始信號(hào)映射到頻域。將原始數(shù)據(jù)采樣長(zhǎng)度設(shè)置為1 024，以保證覆蓋至少一個(gè)故障周期，然后對(duì)輸入數(shù)據(jù)進(jìn)行歸一化處理,以加快訓(xùn)練的速度如式(7)所示。

圖3 振動(dòng)信號(hào)

(7)

式中：y為測(cè)量到的原始信號(hào)；x為歸一化后的信號(hào)。進(jìn)行短時(shí)傅里葉變換，重構(gòu)為[33,33]的二維圖像，如圖4所示。

圖4 短時(shí)傅里葉變換后圖像

2.2 模型結(jié)構(gòu)參數(shù)

實(shí)驗(yàn)在Windows系統(tǒng)，AMD銳龍AMD Ryzen 53550H處理器、16GB內(nèi)存的計(jì)算機(jī)上，使用pytorch深度學(xué)習(xí)框架進(jìn)行。batch-size取32，學(xué)習(xí)率取0.01。優(yōu)化器選擇常用的Adam優(yōu)化器，網(wǎng)絡(luò)具體參數(shù)如表2所示。

表2 模型參數(shù)

2.3 實(shí)驗(yàn)結(jié)果分析

將訓(xùn)練樣本和驗(yàn)證樣本輸入到模型中， 初始化參數(shù)訓(xùn)練， 迭代15輪之后， 達(dá)到穩(wěn)定狀態(tài)。 隨著訓(xùn)練的進(jìn)行訓(xùn)練樣本和驗(yàn)證樣本的正確率如圖5所示。

圖5 準(zhǔn)確率變化曲線

從表2和圖5中可知故障分類的單工況下的平均準(zhǔn)確率可以達(dá)到99.6%，變工況下的平均準(zhǔn)確率可以達(dá)到98.41%。從圖5中可以看出模型無論是單工況還是變工況均達(dá)到很高的準(zhǔn)確率，說明加入多特征提取模塊對(duì)特征的提取非常有效。

圖6展示了變工況條件下，模型迭代第15次的混淆矩陣。從圖6可以看出除滾動(dòng)元件的識(shí)別誤判為其他狀態(tài)，其他3種狀態(tài)的識(shí)別率很高，外圈故障達(dá)到100%。由此可見，利用多特征提取并融合卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行故障識(shí)別十分有效。

圖6 混淆矩陣

2.4 對(duì)比分析

為了驗(yàn)證本文網(wǎng)絡(luò)在變工況下的故障識(shí)別率，建立BP神經(jīng)網(wǎng)絡(luò)、SVM(支持向量機(jī))和Alex網(wǎng)絡(luò)，并與本文所提網(wǎng)絡(luò)使用同一數(shù)據(jù)集進(jìn)行對(duì)比試驗(yàn)。雖然前兩者輸入特征有區(qū)別，但采用同一數(shù)據(jù)集仍具有比較意義。各網(wǎng)絡(luò)參數(shù)如下：BP神經(jīng)網(wǎng)絡(luò)選擇4層神經(jīng)網(wǎng)絡(luò)，輸入層神經(jīng)元數(shù)為1 024，隱藏神經(jīng)元個(gè)數(shù)為768和384，激活函數(shù)選擇Relu；SVM依據(jù)論文[16]選擇常見的特征參數(shù)，Alex網(wǎng)絡(luò)選擇與本文所提網(wǎng)絡(luò)相同的參數(shù)，將輸入的通道數(shù)改為圖像通道數(shù)。為減小每次訓(xùn)練的偶然誤差，重復(fù)3次實(shí)驗(yàn)取平均準(zhǔn)確率，將每種類型的準(zhǔn)確率繪成表格，結(jié)果如表3所示，圖7對(duì)表3給出了更直觀的表示。類別1～4分別代表健康狀態(tài)、內(nèi)圈故障、外圈故障和滾動(dòng)元件故障。

表3 不同類別的準(zhǔn)確率

圖7 變工況下模型準(zhǔn)確率對(duì)比結(jié)果

從表3中可以看出類別1的準(zhǔn)確率最高，類別4的準(zhǔn)確率相對(duì)最低，可能因?yàn)閿?shù)據(jù)本身與其他種類的相似程度較高，較難分類。但本文所提方法在每種類型的分類中都高于對(duì)比網(wǎng)絡(luò)，在類別1中準(zhǔn)確率更是高達(dá)100%，相比標(biāo)準(zhǔn)卷積神經(jīng)網(wǎng)絡(luò)整體提高了3%的分類準(zhǔn)確率，證明了多特征提取模塊的有效性，取得較大的進(jìn)步。傳統(tǒng)BP網(wǎng)絡(luò)可能因?yàn)榫W(wǎng)絡(luò)層數(shù)和神經(jīng)元的個(gè)數(shù)選擇，導(dǎo)致準(zhǔn)確率低。SVM由于需要構(gòu)造特征向量，在對(duì)比網(wǎng)絡(luò)中所選擇的是常用的向量參數(shù)，可能由于信號(hào)特征不明顯導(dǎo)致分類準(zhǔn)確率不高。因此本文所提網(wǎng)絡(luò)比傳統(tǒng)機(jī)器學(xué)習(xí)模型先驗(yàn)知識(shí)要求更低、更穩(wěn)定。相比而言，本文所提的方法在變工況條件下的故障分類的準(zhǔn)確率更高、泛化性更好。

3 結(jié)論

本文提出了一種融合注意力機(jī)制的二維卷積神經(jīng)網(wǎng)絡(luò)，基于inception網(wǎng)絡(luò)設(shè)計(jì)了卷積層，并融合CBAM(卷積注意力機(jī)制)。采用江南大學(xué)的軸承數(shù)據(jù)集進(jìn)行驗(yàn)證，用短時(shí)傅里葉變換對(duì)原始一維信號(hào)進(jìn)行處理，構(gòu)造二維圖像作為模型輸入，得到以下結(jié)論：

(1) 融合卷積注意力模塊的多特征提取卷積模型無論在單工況下還是變工況條件下模型平均準(zhǔn)確率都很高，解決了變工況條件下泛化能力差的問題；

(2) 與其他模型相比，使用融合注意力機(jī)制二維卷積神經(jīng)網(wǎng)絡(luò)能夠適應(yīng)變工況下的故障識(shí)別。相比無多特征提取模塊和注意力機(jī)制的卷積網(wǎng)絡(luò)，融合卷積注意力機(jī)制和多特征提取模塊更好地提取了故障的特征，增強(qiáng)了識(shí)別準(zhǔn)確率。與傳統(tǒng)BP網(wǎng)絡(luò)和SVM相比，本文提出的方法故障識(shí)別率達(dá)98.41%，遠(yuǎn)高于前兩種方法的79.6%和88.42%，且結(jié)果不依賴特征向量，易于訓(xùn)練，滿足輕量化的要求，體現(xiàn)出方法的實(shí)用性和有效性。

本文的不足之處在于，對(duì)于網(wǎng)絡(luò)的超參數(shù)，如學(xué)習(xí)率等選取未進(jìn)行詳細(xì)分析。因此，后續(xù)將針對(duì)網(wǎng)絡(luò)的超參數(shù)進(jìn)行進(jìn)一步分析。