基于卷積自注意力網(wǎng)絡(luò)的機(jī)械設(shè)備故障診斷方法?

李子睿 崔曉龍 王 超 張文俊 吳 軍

（1.華中科技大學(xué)船舶與海洋工程學(xué)院 武漢 430074）（2.武漢第二船舶設(shè)計(jì)研究所 武漢 430205）

1 引言

機(jī)械設(shè)備作為智能制造業(yè)的生產(chǎn)基礎(chǔ)，一旦發(fā)生故障，將造成嚴(yán)重的安全問題和巨大的經(jīng)濟(jì)損失。為確保機(jī)械設(shè)備安全可靠運(yùn)行，精準(zhǔn)診斷機(jī)械設(shè)備的故障是至關(guān)重要。目前，基于深度學(xué)習(xí)的故障診斷方法備受廣大研究學(xué)者關(guān)注，其能夠自動(dòng)從海量監(jiān)測數(shù)據(jù)提取出具有代表性故障信息，實(shí)現(xiàn)對設(shè)備的端到端的故障診斷［1～2］。然而，基于深度學(xué)習(xí)的故障診斷方法取得高精度的診斷性能依賴于大量有標(biāo)簽故障樣本［3］。然而，在實(shí)際生產(chǎn)中，設(shè)備大部分時(shí)間都是處于正常狀態(tài)下運(yùn)行，很難收集大量設(shè)備故障樣本，導(dǎo)致該情況下訓(xùn)練出的深度學(xué)習(xí)模型的診斷精度難以保證［4］。因此，亟需研究小樣本情況下的設(shè)備故障診斷方法。

近年來，學(xué)者們已經(jīng)在小樣本故障診斷領(lǐng)域開展了相關(guān)研究并取得了顯著的成果，主要可以總結(jié)為兩種方法：一是基于生成對抗網(wǎng)絡(luò)進(jìn)行樣本擴(kuò)充，如郭偉等［5］提出了一種改進(jìn)的卷積生成對抗網(wǎng)絡(luò)，借助生成對抗網(wǎng)絡(luò)的數(shù)據(jù)生成能力和改進(jìn)深層卷積網(wǎng)絡(luò)的特征提取能力，提高復(fù)雜工況下少樣本軸承故障診斷準(zhǔn)確性。Yang 等［6］設(shè)計(jì)了一種結(jié)合條件生成對抗網(wǎng)絡(luò)和二維卷積神經(jīng)網(wǎng)絡(luò)的融合診斷模型用于小樣本軸承故障診斷。Liu 等［7］提出了一種雙向InfoMax生成對抗網(wǎng)絡(luò)的無監(jiān)督表征學(xué)習(xí)方法，實(shí)現(xiàn)了小樣本情況下的特征提取與故障診斷。二是基于遷移學(xué)習(xí)建立小樣本故障診斷模型，如劉飛等［8］提出了一種基于遷移學(xué)習(xí)與深度殘差網(wǎng)絡(luò)的滾動(dòng)軸承故障診斷算法，通過遷移學(xué)習(xí)方法，使得小樣本數(shù)據(jù)集可以訓(xùn)練深層深度學(xué)習(xí)模型。Wu 等［9］利用元學(xué)習(xí)構(gòu)建了用于變工況下小樣本故障診斷的小樣本遷移學(xué)習(xí)方法。Dong 等［10］提出了一種利用動(dòng)態(tài)模型生成海量的仿真數(shù)據(jù)和參數(shù)遷移策略的小樣本故障智能診斷方法。李可等［11］利用不同設(shè)備已有的數(shù)據(jù)樣本，通過多源遷移學(xué)習(xí)訓(xùn)練得到少故障樣本設(shè)備的故障診斷模型。上述兩種方法都在小樣本情況下取得了顯著的故障診斷性能，然而，基于生成對抗網(wǎng)絡(luò)等方法的生成故障樣本質(zhì)量難以保證?；谶w移學(xué)習(xí)的方法的源域數(shù)據(jù)集需與目標(biāo)域數(shù)據(jù)集在數(shù)據(jù)分布上具有一定的相關(guān)性，并且要求源域數(shù)據(jù)集有足夠多的有標(biāo)簽數(shù)據(jù)，然而實(shí)際中很難發(fā)現(xiàn)合適的數(shù)據(jù)集作為源域數(shù)據(jù)集。

從有限故障樣本下提取出穩(wěn)健的故障特征是解決小樣本故障診斷問題的關(guān)鍵，有些學(xué)者試圖結(jié)合故障機(jī)理、特征提取算法等先驗(yàn)知識(shí)開展小樣本故障診斷研究。Wu等［12］從監(jiān)測數(shù)據(jù)中提取統(tǒng)計(jì)特征，使用集成學(xué)習(xí)與支持向量機(jī)評(píng)估退化系統(tǒng)的健康狀態(tài)。Xie 等［13］采用專業(yè)知識(shí)進(jìn)行特征提取，并融合神經(jīng)網(wǎng)絡(luò)自適應(yīng)提取的隱藏特征，實(shí)現(xiàn)了具有魯棒性與泛化性的智能故障診斷。最近有研究表明，將先驗(yàn)知識(shí)融入到深度學(xué)習(xí)模型中可以提高其性能，如Zhang 等［14］利用先驗(yàn)特征來增強(qiáng)端到端故障診斷模型的訓(xùn)練過程，有效地實(shí)現(xiàn)了小樣本故障診斷。Guo 等［15］融合領(lǐng)域知識(shí)、運(yùn)行狀態(tài)和振動(dòng)信號(hào)構(gòu)建了一個(gè)多任務(wù)CNN，完成故障診斷與定位。然而，現(xiàn)有方法僅從先驗(yàn)知識(shí)角度提取機(jī)械設(shè)備的故障特征，導(dǎo)致一些隱藏性的故障特征容易被忽略。

針對上述問題，本文提出一種基于卷積自注意力網(wǎng)絡(luò)和先驗(yàn)知識(shí)的機(jī)械設(shè)備小樣本故障診斷方法。該方法包括卷積模塊、特征拼接模塊、自注意力模塊。首先，從振動(dòng)信號(hào)提取出時(shí)域特征、頻域特征等多維特征，并作為先驗(yàn)知識(shí)；然后，卷積模塊自動(dòng)提取原始信號(hào)特征，并在特征拼接模塊中與先驗(yàn)特征拼接；最后，利用自注意力模塊充分挖掘拼接特征中的先驗(yàn)信息與隱藏特征，并輸出故障類型。通過某型號(hào)液壓螺桿泵實(shí)驗(yàn)臺(tái)驗(yàn)證提出方法在小樣本場景下故障診斷的有效性，并與現(xiàn)有方法在故障診斷性能上進(jìn)行比較。

2 基于卷積自注意力網(wǎng)絡(luò)和先驗(yàn)知識(shí)的機(jī)械設(shè)備故障診斷方法

本文通過構(gòu)建卷積自注意力網(wǎng)絡(luò)自動(dòng)提取信號(hào)特征，利用先驗(yàn)知識(shí)優(yōu)化診斷模型的訓(xùn)練，減少訓(xùn)練所需樣本量。下面主要介紹所提出的卷積自注意力網(wǎng)絡(luò)與所使用的先驗(yàn)知識(shí)。

2.1 卷積自注意力網(wǎng)絡(luò)模型

自注意力網(wǎng)絡(luò)利用自注意力機(jī)制獲取輸入不同部分之間的相關(guān)性，具有全局特征提取能力。自注意力網(wǎng)絡(luò)的結(jié)構(gòu)如圖1 所示，其由N 個(gè)相同的層結(jié)構(gòu)組成，每層有兩個(gè)子層，一是多頭自注意力機(jī)制層，利用自注意力機(jī)制學(xué)習(xí)特征內(nèi)部的關(guān)系；二是前饋層，為全連接網(wǎng)絡(luò)，對每個(gè)輸入的向量進(jìn)行相同的線性變換，得到輸出。兩個(gè)子層都采用殘差連接，并進(jìn)行層歸一化。

圖1 自注意力網(wǎng)絡(luò)結(jié)構(gòu)

1）多頭自注意力機(jī)制層

如圖1 所示，多頭自注意力機(jī)制層主要由有縮放的點(diǎn)乘注意力機(jī)制實(shí)現(xiàn)，其可以描述為將查詢（Q）和一組鍵-值（K-V）對映射到輸出，輸出是一組值的加權(quán)和，其中分配給每個(gè)值的權(quán)重使用鍵進(jìn)行查詢計(jì)算得到。多頭注意力機(jī)制為H 組有縮放的點(diǎn)乘注意力機(jī)制，每一組注意力用于將輸入映射到不同的子表示空間，這使得模型可以在不同子表示空間中關(guān)注不同的位置。有縮放的點(diǎn)乘注意力機(jī)制輸出矩陣計(jì)算公式如式（1）所示。

其中，dk為Q、K 矩陣的維度，公式中對矩陣Q 與K的內(nèi)積除以dk的平方根，進(jìn)行矩陣內(nèi)積的縮放，防止內(nèi)積過大導(dǎo)致softmax 函數(shù)的輸出落在梯度較小的區(qū)域。

多頭自注意力機(jī)制的計(jì)算過程如式（2）所示，

2）前饋層

前饋層為擁有兩個(gè)全連接層的多層感知機(jī)，中間使用ReLU 激活函數(shù)進(jìn)行連接，前饋層的輸出可表示為式（3）：

其中，W1、W2、b1、b2均為網(wǎng)絡(luò)參數(shù)，前饋層的輸入和輸出維度都為dmodel。

本文提出的卷積自注意力網(wǎng)絡(luò)模型主要由卷積模塊、特征拼接模塊與自注意力模塊組成，其結(jié)構(gòu)及參數(shù)如表1 所示。模型將卷積神經(jīng)網(wǎng)絡(luò)提取的空間特征與依據(jù)先驗(yàn)知識(shí)提取的信號(hào)時(shí)域、頻域特征通過歸一化編碼層與自注意力模塊進(jìn)行融合，使得模型在小樣本情況下，能夠?qū)W習(xí)到豐富的故障特征信息。

表1 模型結(jié)構(gòu)及參數(shù)

2.2 多維度特征先驗(yàn)知識(shí)

在工程應(yīng)用中，領(lǐng)域?qū)＜彝Y(jié)合領(lǐng)域背景知識(shí)以及工程經(jīng)驗(yàn)對設(shè)備故障進(jìn)行診斷。專家所依賴的經(jīng)驗(yàn)與知識(shí)，如故障機(jī)理、故障特征、診斷規(guī)則等，稱為先驗(yàn)知識(shí)。小樣本情況下，由于只有少量的訓(xùn)練樣本，模型很難學(xué)習(xí)到具有代表性的故障特征，利用多維度先驗(yàn)知識(shí)能夠使模型獲得更豐富的樣本信息，從而提升模型的泛化性。

本文選擇對每個(gè)通道的振動(dòng)信號(hào)提取10 個(gè)時(shí)域特征值與8 個(gè)小波包頻域特征值，作為診斷模型所需的先驗(yàn)知識(shí)。時(shí)域特征值的計(jì)算公式如表2所示，其中X 為振動(dòng)信號(hào)，X={x1,x2,…,xi}1 ≤i≤N，N為信號(hào)樣本長度。

表2 先驗(yàn)時(shí)域特征計(jì)算

小波包頻域特征計(jì)算方式為通過對振動(dòng)信號(hào)進(jìn)行3 層小波包分解獲取8 個(gè)頻段的小波包系數(shù){s1,s2,…,s8}，計(jì)算每個(gè)頻段小波包系數(shù)的L2 范數(shù)，如式（4）所示，其中n 為小波包系數(shù)的維度。得到信號(hào)的小波包頻域特征值{f11,f12,…,f18}。

3 機(jī)械設(shè)備小樣本故障診斷方法流程

本文提出的機(jī)械設(shè)備小樣本故障診斷方法流程如圖2 所示，分為三個(gè)步驟：信號(hào)預(yù)處理、卷積自注意力網(wǎng)絡(luò)模型訓(xùn)練、故障診斷。

圖2 小樣本故障診斷方法流程

1）信號(hào)預(yù)處理

在信號(hào)預(yù)處理步驟中主要包含兩個(gè)部分，一是將原始信號(hào)轉(zhuǎn)換為灰度圖，二是依據(jù)先驗(yàn)知識(shí)計(jì)算原始信號(hào)的特征。對振動(dòng)加速度傳感器采集的設(shè)備多通道振動(dòng)信號(hào)以長度L 進(jìn)行截取，獲取信號(hào)樣本。為了降低模型在訓(xùn)練時(shí)所需的內(nèi)存和時(shí)間，將每個(gè)通道的振動(dòng)信號(hào)轉(zhuǎn)換為大小為m×n 的二維灰度圖像，其中m、n滿足式（5）。

原始振動(dòng)信號(hào)S 轉(zhuǎn)換為二維灰度圖Simage的轉(zhuǎn)換公式如式（6）所示。

2）卷積自注意力網(wǎng)絡(luò)模型訓(xùn)練

依據(jù)時(shí)域特征計(jì)算與頻域特征計(jì)算先驗(yàn)知識(shí)，對原始多通道信號(hào)進(jìn)行時(shí)域、頻域特征提取。由于計(jì)算得出的特征值的量綱不同，存在數(shù)量級(jí)的差別，如果直接用于網(wǎng)絡(luò)訓(xùn)練，網(wǎng)絡(luò)會(huì)偏向于數(shù)值較大的特征。為了消除這種影響，對特征值進(jìn)行標(biāo)準(zhǔn)化，如式（7）所示，將計(jì)算得出的特征值轉(zhuǎn)換為相同數(shù)量級(jí)的無量綱特征數(shù)據(jù)，作為先驗(yàn)知識(shí)優(yōu)化模型訓(xùn)練過程。

其中，特征集合f={f1,f1,…,f18}，fmean為集合的均值，fstd為集合的方差。

在卷積自注意力網(wǎng)絡(luò)模型訓(xùn)練中，以多通道原始振動(dòng)信號(hào)的灰度圖作為輸入，多通道灰度圖經(jīng)過二維卷積層與池化層的降維，融合為自定義維數(shù)的特征圖。特征圖經(jīng)過維數(shù)轉(zhuǎn)換，構(gòu)造為單通道一維的空間特征。在此處將先驗(yàn)知識(shí)引入模型的訓(xùn)練，拼接空間特征與時(shí)域特征、頻域特征，并切分為固定長度的特征序列，然后在特征序列前加入類別編碼。將所有特征序列組合成為特征矩陣，分別與自注意力權(quán)重矩陣點(diǎn)乘，得到查詢矩陣Q、鍵矩陣K、值矩陣V，進(jìn)行自注意力機(jī)制計(jì)算。自注意力機(jī)制可以捕捉特征序列之間的關(guān)系，通過網(wǎng)絡(luò)訓(xùn)練更新類別編碼中的參數(shù)。自注意力層輸出每個(gè)樣本的類別編碼，經(jīng)過全連接層，得到模型預(yù)測類別向量用于后續(xù)的故障診斷。

3）故障診斷

振動(dòng)信號(hào)樣本被分為訓(xùn)練集與測試集，卷積自注意力網(wǎng)絡(luò)模型經(jīng)過訓(xùn)練集訓(xùn)練，使用測試集進(jìn)行故障診斷測試。網(wǎng)絡(luò)輸出為故障類別1，故障類別2，…，故障類別N 的預(yù)測概率，選取預(yù)測概率最大的故障類別作為測試集樣本的故障診斷類別。

4 實(shí)驗(yàn)驗(yàn)證

4.1 實(shí)驗(yàn)說明

為了驗(yàn)證所提出診斷模型的有效性，采用某液壓螺桿泵試驗(yàn)臺(tái)采集到的液壓螺桿泵振動(dòng)數(shù)據(jù)對模型進(jìn)行驗(yàn)證。試驗(yàn)臺(tái)主要由液壓螺桿泵組、截止閥、換熱器、油箱組成，通過截止閥為液壓螺桿泵提供出口油壓，模擬負(fù)載。液壓螺桿泵組由泵、電機(jī)、聯(lián)軸器、聯(lián)接架等組成，其通過減震器安裝在過渡板上，過渡板安裝在安裝底座上。實(shí)驗(yàn)所用加速度傳感器采樣頻率為20000Hz，液壓螺桿泵組工作工況為電機(jī)轉(zhuǎn)速2950r/min，螺桿泵出口壓力5Mpa。

利用液壓螺桿泵試驗(yàn)臺(tái)及相應(yīng)故障件，分別進(jìn)行緊固件松動(dòng)、泵汽蝕、聯(lián)軸器故障、對中偏差、軸承故障共5 項(xiàng)故障實(shí)驗(yàn)，每項(xiàng)故障實(shí)驗(yàn)數(shù)據(jù)采集時(shí)間為10min。將原始信號(hào)截取為采樣時(shí)間1s 的樣本，每個(gè)樣本的采樣點(diǎn)數(shù)為20000 個(gè)點(diǎn)，每種健康狀態(tài)截取150 個(gè)樣本，如表3 所示。正常與各故障狀態(tài)的某一樣本的信號(hào)波形圖如圖3所示。

表3 數(shù)據(jù)集描述

圖3 液壓螺桿泵正常及故障狀態(tài)振動(dòng)信號(hào)

4.2 實(shí)驗(yàn)結(jié)果與分析

在本文實(shí)驗(yàn)中，小樣本的范圍設(shè)定為每種健康狀態(tài)的訓(xùn)練樣本數(shù)量不超過30 個(gè)。因此，隨機(jī)從每種健康狀態(tài)的樣本集中分別抽取10、15、20、25、30 個(gè)樣本作為訓(xùn)練樣本，在剩余樣本中均抽取80個(gè)樣本作為測試樣本。此外，本文還從每種健康狀態(tài)樣本集中抽取了60 個(gè)訓(xùn)練樣本進(jìn)行實(shí)驗(yàn)，目的是為了驗(yàn)證模型在更多訓(xùn)練樣本數(shù)量情況下的有效性。

實(shí)驗(yàn)過程中，模型輸入為8 通道100×200 的灰度圖、長度為8×18 的先驗(yàn)知識(shí)特征，輸出為1×6 的各健康狀態(tài)預(yù)測概率。訓(xùn)練迭代次數(shù)為100 次，訓(xùn)練批次大小為10，學(xué)習(xí)率設(shè)置為0.001，損失函數(shù)使用交叉熵?fù)p失，網(wǎng)絡(luò)參數(shù)由Adam優(yōu)化器更新。

為了比較提出方法中先驗(yàn)知識(shí)對小樣本故障診斷精度的影響，本文選擇了三種方法進(jìn)行比較，分別是：

1）FS：從原始振動(dòng)信號(hào)中提取18 個(gè)先驗(yàn)知識(shí)特征，直接輸入Softmax分類器進(jìn)行故障分類

2）CNN：將原始振動(dòng)信號(hào)轉(zhuǎn)換為二維灰度圖，輸入到二維CNN中進(jìn)行故障分類。

3）自注意力網(wǎng)絡(luò)：將原始振動(dòng)信號(hào)轉(zhuǎn)換為二維灰度圖，輸入到自注意力網(wǎng)絡(luò)中進(jìn)行故障診斷。

為了降低偶然因素的影響，每種方法重復(fù)進(jìn)行10 次實(shí)驗(yàn)，不同方法診斷測試結(jié)果準(zhǔn)確率的平均值如表4 所示，圖4 以直方圖的形式顯示了每個(gè)模型的測試結(jié)果及誤差棒。

表4 故障診斷結(jié)果準(zhǔn)確率

圖4 不同方法的測試準(zhǔn)確率

由圖4 可以看出，在不同樣本數(shù)量下，本文提出的方法在所有模型中均達(dá)到了最高診斷精度。隨著樣本數(shù)量的增加，每種方法的診斷精度都能夠提高。在樣本量為10 的情況下，CNN 與自注意力網(wǎng)絡(luò)由于樣本量較少，模型很難從數(shù)據(jù)中學(xué)習(xí)到有效的特征，容易出現(xiàn)過擬合，而提出的方法利用先驗(yàn)知識(shí)指導(dǎo)模型自動(dòng)提取特征，診斷精度可以達(dá)到85.6%，相比FS網(wǎng)絡(luò)，精度提升約14%，相比CNN與自注意力網(wǎng)絡(luò)，精度提升約7%。當(dāng)樣本量達(dá)到25個(gè)時(shí)，CNN、自注意力網(wǎng)絡(luò)和本文提出的方法診斷精度均達(dá)到90%以上，由于FS 網(wǎng)絡(luò)僅利用先驗(yàn)知識(shí)提取特征，很難獲得更多的樣本信息，診斷精度僅84.2%。樣本數(shù)為60個(gè)時(shí)，本文提出的方法相比其他方法仍具有優(yōu)勢。

由于自注意力網(wǎng)絡(luò)對于數(shù)據(jù)的結(jié)構(gòu)信息幾乎不作任何假設(shè)，小樣本情況下易過擬合，與CNN 相比，自注意力網(wǎng)絡(luò)的診斷精度較低，這種情況在樣本數(shù)低于30 個(gè)時(shí)尤其明顯，且診斷結(jié)果誤差較大，訓(xùn)練不夠穩(wěn)定。所提出方法通過自注意力模塊將先驗(yàn)特征融入訓(xùn)練過程，在樣本數(shù)量很少時(shí)，利用先驗(yàn)知識(shí)指導(dǎo)網(wǎng)絡(luò)訓(xùn)練，能夠達(dá)到較高的準(zhǔn)確率，樣本數(shù)為20 個(gè)時(shí)，所提出方法的診斷精度已高于90%，并且診斷結(jié)果誤差小，模型訓(xùn)練穩(wěn)定。

為了觀察所提出方法對不同類別的分類效果，繪制訓(xùn)練集樣本數(shù)為30 個(gè)時(shí)某一次測試結(jié)果的混淆矩陣，如圖5 所示?？v軸為真實(shí)標(biāo)簽值，橫軸為模型預(yù)測標(biāo)簽值?？梢钥闯觯岢龇椒▽Ω鹘】禒顟B(tài)均能夠有效識(shí)別，其中正常狀態(tài)與泵汽蝕狀態(tài)診斷精度相對較低，為91%左右，緊固件松動(dòng)、聯(lián)軸器故障、軸承故障的診斷精度為97%左右，對中偏差的診斷精度接近100%。

圖5 測試結(jié)果混淆矩陣

為了進(jìn)一步研究先驗(yàn)知識(shí)對模型訓(xùn)練及診斷的影響，將模型輸出的特征進(jìn)行T-SNE 降維可視化展示，如圖6 所示。從圖中可以看出，樣本數(shù)為10 時(shí)，不同故障模式的邊界重合度較高，未引入先驗(yàn)知識(shí)的模型難以區(qū)分不同故障，引入先驗(yàn)知識(shí)后，模型能夠清晰地區(qū)分泵汽蝕、聯(lián)軸器故障、對中偏差、軸承故障四種故障模式。樣本數(shù)為20 時(shí)，模型引入先驗(yàn)知識(shí)后能夠更清晰地劃分泵汽蝕、聯(lián)軸器故障、對中偏差的特征邊界。樣本數(shù)為30 時(shí)，模型已經(jīng)具有良好的分類效果，僅正常與緊固件松動(dòng)兩種狀態(tài)存在較難區(qū)分的情況，本文所提出方法能夠減少混雜在正常特征中的緊固件松動(dòng)特征，提升正常狀態(tài)的診斷精度。總的來說，不同樣本數(shù)量下，模型引入先驗(yàn)知識(shí)后的分類效果更好，T-SNE降維特征的邊界更清晰。特別是在樣本數(shù)較少時(shí)，引入先驗(yàn)知識(shí)能夠顯著地改善模型分類效果。

圖6 不同樣本數(shù)下模型分類效果比較

5 結(jié)語

本文提出了一種基于卷積自注意力網(wǎng)絡(luò)和先驗(yàn)知識(shí)的機(jī)械設(shè)備小樣本故障診斷模型，解決了小樣本條件下的機(jī)械設(shè)備故障診斷訓(xùn)練樣本不足、精度低的問題。實(shí)驗(yàn)結(jié)果表明，在小樣本情況下，所提出方法比相關(guān)方法具有更好的性能。本文主要結(jié)論如下：

1）結(jié)合卷積自注意力網(wǎng)絡(luò)進(jìn)行空間特征提取和先驗(yàn)知識(shí)進(jìn)行時(shí)域、頻域特征提取能夠充分挖掘樣本中的信息，有效實(shí)現(xiàn)小樣本故障診斷。

2）提出的卷積自注意力網(wǎng)絡(luò)可以融合模型自動(dòng)提取的特征與先驗(yàn)知識(shí)，使得先驗(yàn)知識(shí)能夠優(yōu)化模型訓(xùn)練過程，可以很好地緩解樣本量不足導(dǎo)致的過擬合問題，提升小樣本故障診斷準(zhǔn)確率。