張劍,程培源,邵思羽*
(1.空軍工程大學(xué)研究生院,西安 710051;2.空軍工程大學(xué)防空反導(dǎo)學(xué)院,西安 710051)
旋轉(zhuǎn)機械設(shè)備穩(wěn)定運行是工業(yè)生產(chǎn)安全的核心要求,設(shè)備故障可能導(dǎo)致嚴(yán)重的經(jīng)濟(jì)損失乃至災(zāi)難性事故。軸承和齒輪作為故障頻發(fā)的旋轉(zhuǎn)零部件,狀態(tài)監(jiān)測、及時且準(zhǔn)確的故障診斷與定位對機械系統(tǒng)的智能化健康管理具有重要的意義。在實際應(yīng)用中,通常利用傳感器采集機械系統(tǒng)的振動信號,然后高效提取能夠反映零部件運行狀態(tài)的特征信息,最終實現(xiàn)故障識別與預(yù)測。
傳統(tǒng)的故障診斷主要依靠人工提取特征,這個過程需要大量的信號處理方法和豐富的工程經(jīng)驗[1],具有一定的研究對象針對性[2]。深度學(xué)習(xí)能自適應(yīng)地從高維、冗余的原始振動數(shù)據(jù)中提取出具有代表性的抽象特征,抑制人工提取特征的局限性,被廣泛應(yīng)用于旋轉(zhuǎn)機械故障診斷中。文獻(xiàn)[3]中利用卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)自適應(yīng)提取原始振動信號的短時特征作為長短期記憶(Long Short-Term Memory,LSTM)層的輸入,利用LSTM 層學(xué)習(xí)深度特征并用Softmax 函數(shù)實現(xiàn)故障模式的識別。文獻(xiàn)[4]中提出一種混合蛙跳優(yōu)化的CNN 以提取原始振動信號的低維故障特征。文獻(xiàn)[5]中將L2 范數(shù)和同倫正則化添加到變分自編碼器的損失函數(shù)中,提出深度正則化變分自編碼器并用于轉(zhuǎn)子軸承系統(tǒng)的故障診斷,取得了良好的效果。但深度學(xué)習(xí)技術(shù)仍存在局限性:1)需要大量標(biāo)記數(shù)據(jù)來進(jìn)行訓(xùn)練,當(dāng)只使用少量標(biāo)記數(shù)據(jù)訓(xùn)練深層網(wǎng)絡(luò)時,測試精度將大幅降低[6];2)通常訓(xùn)練數(shù)據(jù)與測試數(shù)據(jù)需具有相同的分布。
在實際應(yīng)用中,由于工作環(huán)境、負(fù)載、操作條件等時刻變化,收集的目標(biāo)標(biāo)記數(shù)據(jù)通常不足以建立具有魯棒性的深度網(wǎng)絡(luò)模型。由于能從一些不同但相關(guān)的任務(wù)(源任務(wù))獲得知識以提高目標(biāo)任務(wù)的性能,遷移學(xué)習(xí)在訓(xùn)練樣本不足的情況下顯示出巨大的優(yōu)越性[7]。
文獻(xiàn)[8]中利用最大均值差異(Maximum Mean Discrepancy,MMD)將數(shù)據(jù)映射到再生核希爾伯特空間以減小不同分布之間的差異,同時通過加權(quán)正則增強原始數(shù)據(jù)的代表性特征;文獻(xiàn)[9]中提出了一種基于CNN 的多層域自適應(yīng)方法用于滾動軸承故障診斷,取得了較好的效果;文獻(xiàn)[10]中通過原型學(xué)習(xí)學(xué)習(xí)一個具有有效域適應(yīng)能力的域不變空間,實現(xiàn)變工況的軸承故障診斷;文獻(xiàn)[11]中提出多源域自適應(yīng),通過沃瑟斯坦距離最小化目標(biāo)域和每個源域之間的特征分布差異,將知識從多個已標(biāo)記源域轉(zhuǎn)移到單個未標(biāo)記目標(biāo)域;文獻(xiàn)[12]中提出了一種基于中心矩偏差(Center Moment Deviation,CMD)的域自適應(yīng)卷積神經(jīng)網(wǎng)絡(luò),利用卷積神經(jīng)網(wǎng)絡(luò)對兩種不同分布的原始振動信號進(jìn)行特征提取,然后用CMD 準(zhǔn)則最小化分布差異,提取兩個不同的域中分布相似的特征;文獻(xiàn)[13]中利用流形正則化進(jìn)一步挖掘邊際分布的知識,減小不同域之間的幾何差異,同時引入子空間對齊減少不同域的不對齊。然而,上述研究集中在最小化兩個域的距離,而不是來自不同域的同一類別之間的距離,僅減小了全局特征分布的差異,卻忽略了源域和目標(biāo)域相應(yīng)類別之間的特征差異,導(dǎo)致源域中不相關(guān)的知識被遷移到目標(biāo)域,降低了診斷的準(zhǔn)確性。
針對上述問題,提出了一種基于一維殘差卷積自編碼網(wǎng)絡(luò)(Residual Convolutional Auto-Encoding Network,Res-Conv-AE-Net)的類自適應(yīng)故障診斷模型,該模型在訓(xùn)練中只需要很少的目標(biāo)標(biāo)記樣本,即能準(zhǔn)確識別故障。
本文的主要工作如下:
1)提出了改進(jìn)的Res-Conv-AE-Net,用殘差塊作為自編碼網(wǎng)絡(luò)的基本單元,并設(shè)計了一種跳躍連接結(jié)構(gòu)連接網(wǎng)絡(luò)中對應(yīng)的編碼器和解碼器,將各層編碼器的細(xì)節(jié)特征傳遞到對應(yīng)的解碼器,減少了網(wǎng)絡(luò)較深時振動信號細(xì)節(jié)特征的丟失,同時在反向傳播時可以越層傳遞梯度,緩解了梯度消散問題。理論分析與實驗結(jié)果表明,相較于一般的一維卷積自編碼網(wǎng)絡(luò)(Conv-AE-Net),Res-Conv-AE-Net 性能得到較大的提高。
2)提出基于類自適應(yīng)的遷移方法,用MMD 最小化目標(biāo)域與源域同一類別特征間的距離,將目標(biāo)域映射到源域的特征空間,減少類間特征分布的差異,自適應(yīng)地將網(wǎng)絡(luò)從源域數(shù)據(jù)中學(xué)習(xí)到的特征知識遷移至目標(biāo)域數(shù)據(jù)中,從而實現(xiàn)對目標(biāo)域數(shù)據(jù)的故障診斷。相較于微調(diào)以及域自適應(yīng)遷移,該方法在有限樣本的故障診斷方面表現(xiàn)出更優(yōu)的性能。
自編碼器[14]以全連接層作為網(wǎng)絡(luò)的基本結(jié)構(gòu),是一種對稱的三層神經(jīng)網(wǎng)絡(luò),包括編碼器和解碼器兩個部分,如圖1所示。它通過均方誤差損失來逼近一個恒等函數(shù),使得X≈Y,X={xi|i∈N+},Y={yj|j∈N+},從而獲得數(shù)據(jù)的最佳隱層表達(dá)h。
圖1 自編碼器結(jié)構(gòu)Fig.1 Structure of auto-encoder
編碼器通過非線性映射函數(shù)fE(·)將輸入X映射到隱層向量h,即
解碼器通過非線性映射函數(shù)fD(·)用隱層向量h重構(gòu)輸入數(shù)據(jù)并輸出Y,即
自編碼器的損失函數(shù)定義為:
本文以卷積和池化作為自編碼器的基本結(jié)構(gòu),引入一維殘差塊和跳躍連接結(jié)構(gòu)提出Res-Conv-AE-Net,其結(jié)構(gòu)如圖2所示。
圖2 Res-Conv-AE-Net結(jié)構(gòu)Fig.2 Structure of Res-Conv-AE-Net
編碼器包括4 個編碼模塊,第1 個編碼模塊E0由1 個大尺度一維卷積層、1 個最大池化層組成,輸出的特征可表示為:
其中:SeLU 表示縮放指數(shù)線性單元函數(shù)(Scaled exponential Linear Unit,SeLU);⊙表示卷積運算;表示卷積核的值;表示偏置值;表示最大池化層的大?。槐硎境鼗瘜虞斎胩卣鞯拈L度。
3 個編碼模塊E1、E2、E3均由1 個殘差塊和1 個最大池化層組成。殘差塊由He 等[15]在ImageNet 競賽中提出,如圖3所示,對于潛在映射g(X),g(X)=f(X) +X,殘差塊需要學(xué)習(xí)的是殘差f(X)=g(X) -X,解決了卷積神經(jīng)網(wǎng)絡(luò)層數(shù)增加導(dǎo)致的梯度消失現(xiàn)象。
圖3 殘差塊結(jié)構(gòu)Fig.3 Structure of residual block
Res-Conv-AE-Net 中第a(a=1,2,3)個編碼模塊Ea輸出的特征可表示為:
解碼器包括4 個解碼模塊D3、D2、D1、D0,D0由1 個上采樣層、1 個大尺度一維卷積層組成,D3、D2、D1均由上采樣層和殘差塊組成。上采樣選用Upsampling,其輸出是對上一層輸入數(shù)據(jù)維度的放大,恢復(fù)池化之后減小的數(shù)據(jù)維度,對于輸入的特征M,輸出為:
其中:S表示Upsampling 的長度。
Res-Conv-AE-Net 第1 個解碼模塊D3的輸入數(shù)據(jù)是E3輸出的特征,則其輸出的特征可表示為:
可以看到,解碼模塊輸出的特征不僅由前一個解碼模塊的輸出決定,還包含了同層編碼模塊輸出的特征,特別是解碼模塊D0保留了原始數(shù)據(jù)X經(jīng)過編碼模塊的特征,使解碼器可以更好地重構(gòu)數(shù)據(jù)。
深層神經(jīng)網(wǎng)絡(luò)訓(xùn)練時可能造成內(nèi)部協(xié)變量偏移的現(xiàn)象,導(dǎo)致網(wǎng)絡(luò)訓(xùn)練速度慢且效率低下,SeLU 函數(shù)[16]能將樣本分布自動歸一化到0 均值和單位方差,有效地解決了這一問題,因此本文使用SeLU 作為神經(jīng)元激活函數(shù)。表1 為Res-Conv-AE-Net 詳細(xì)參數(shù)信息。
表1 模型參數(shù)信息1Tab.1 Model parameter information 1
隨機變量的矩反映了其分布信息,如果兩個隨機變量任意階的矩均相同,那么分布是一致的。MMD 用于判斷兩個數(shù)據(jù)之間的分布是否相同,基本思想是用兩個分布之間差距最大的矩作度量兩個分布的標(biāo)準(zhǔn),定義如下:
對于給定的數(shù)據(jù)X=[x1,x2,…,xn]~p(有n個元素)、Y=[y1,y2,…,ym]~q(有m個元素)以及空間F中的非線性映射函數(shù)ψ(·):O→U。MMD 定義為:
其中:E 表示期望。
由于再生希爾伯特空間H的再生性:任意一個ψ(·) →ψ(x)的映射均可用空間內(nèi)的點積表示,即存在一個再生核k∈H使得每一個ψ∈H都滿足:
1.3.1 基于Res-Conv-AE-Net的類自適應(yīng)故障診斷模型
Res-Conv-AE-Net 用于故障診斷有兩個主要步驟,如圖4所示。
圖4 基于Res-Conv-AE-Net的故障診斷模型Fig.4 Fault diagnosis model based on Res-Conv-AE-Net
1)用大量未標(biāo)記數(shù)據(jù)X1訓(xùn)練Res-Conv-AE-Net;
2)建立分類網(wǎng)絡(luò),在X1中選擇少量數(shù)據(jù)進(jìn)行標(biāo)記得到(X2,Y2)并用其訓(xùn)練網(wǎng)絡(luò)。
分類網(wǎng)絡(luò)由Res-Conv-AE-Net 的編碼器和分類器組成。如圖4,分類器包括自注意力機制層、展平層、全連接層以及Softmax 層。自注意力機制用于優(yōu)化Res-Conv-AE-Net 提取的特征;展平層將自注意力機制學(xué)習(xí)到的特征平坦化并連接到全連接層;為避免過度擬合,在全連接層中使用了Dropout 技術(shù)[17];最后,采用Softmax 識別故障類別(網(wǎng)絡(luò)在編碼器之后的參數(shù)信息如表2 所示)。
表2 模型參數(shù)信息2Tab.2 Model parameter information 2
模型中分類網(wǎng)絡(luò)的優(yōu)越性能建立在充足的已標(biāo)記訓(xùn)練數(shù)據(jù)之上,當(dāng)已標(biāo)記訓(xùn)練數(shù)據(jù)的數(shù)量小于一定值時,網(wǎng)絡(luò)將很難提取到振動信號的有效特征。本文在Res-Conv-AE-Net分類網(wǎng)絡(luò)的基礎(chǔ)上提出基于Res-Conv-AE-Net 的類自適應(yīng)故障診斷模型,旨在通過類自適應(yīng)的遷移方法將Res-Conv-AENet 從充足的源域數(shù)據(jù)學(xué)到的共性知識遷移到目標(biāo)域,使得模型在只有微量已標(biāo)記目標(biāo)域數(shù)據(jù)的情況下也能表現(xiàn)出良好的性能。
域自適應(yīng)通過特征對齊減小源域和目標(biāo)域特征之間的差距。傳統(tǒng)域自適應(yīng)采用全局對齊,但全局對齊忽略了兩個領(lǐng)域同一類別特征之間的差異,造成目標(biāo)域特征混淆;類自適應(yīng)方法在對齊過程中加入標(biāo)簽信息,提出按類對齊的方法,將同一類別的特征對齊到同一領(lǐng)域,提高了分類準(zhǔn)確率,如圖5 所示。
圖5 自適應(yīng)示意圖Fig.5 Schematic diagram of adaptation
基于Res-Conv-AE-Net 的類自適應(yīng)故障診斷模型如圖6所示,模型以Res-Conv-AE-Net 分類網(wǎng)絡(luò)為基礎(chǔ)架構(gòu),包括源域和目標(biāo)域兩部分網(wǎng)絡(luò)。首先利用源域數(shù)據(jù)預(yù)訓(xùn)練分類網(wǎng)絡(luò),并將預(yù)訓(xùn)練得到的源域網(wǎng)絡(luò)參數(shù)遷移到目標(biāo)域網(wǎng)絡(luò);其次將已標(biāo)記的源域數(shù)據(jù)與目標(biāo)域數(shù)據(jù)按類對齊組成數(shù)據(jù)對,即[(xS,yS);(xT,yT)]→(xS,xT,y),并輸入對應(yīng)的網(wǎng)絡(luò)進(jìn)行聯(lián)合訓(xùn)練,訓(xùn)練過程中:
圖6 基于Res-Conv-AE-Net的類自適應(yīng)故障診斷模型Fig.6 Fault diagnosis method based on Res-Conv-AE-Net and class adaptation
1)通過類誤差損失最小化兩個域間相應(yīng)類別數(shù)據(jù)特征的分布差異,將目標(biāo)域特征映射到源域的特征空間,以此學(xué)習(xí)域不變特征。類誤差損失通過計算目標(biāo)域和源域網(wǎng)絡(luò)全連接層輸出的數(shù)據(jù)特征的MMD 得到。
2)通過分類誤差損失學(xué)習(xí)具有判別性的特征,以提高分類準(zhǔn)確率,分類誤差損失用目標(biāo)域數(shù)據(jù)及其標(biāo)簽計算得到。
其中:L(XT,YT)表示預(yù)測標(biāo)簽與真實標(biāo)簽之間的分類損失,選用交叉熵?fù)p失函數(shù)表示源域與目標(biāo)域特征相應(yīng)類別之間的分布差異,即類誤差損失;λ是權(quán)衡參數(shù),設(shè)置為3。
3)只更新目標(biāo)域網(wǎng)絡(luò)的參數(shù),不更新源域網(wǎng)絡(luò)。
1.3.2 故障診斷流程
實際工作中,由于工作環(huán)境、負(fù)載、轉(zhuǎn)速以及操作條件等時常變化,收集到的目標(biāo)標(biāo)記故障樣本通常很少。因此,本文提出基于Res-Conv-AE-Net 和類自適應(yīng)的模型以解決旋轉(zhuǎn)機械小樣本故障診斷問題。該模型主要包括3 個步驟:
步驟1 模型預(yù)訓(xùn)練。
1)建立Res-Conv-AE-Net,設(shè)置卷積層、最大池化層、上采樣和學(xué)習(xí)率等參數(shù);
2)用大量未標(biāo)記的源域數(shù)據(jù)X1S訓(xùn)練Res-Conv-AE-Net;
3)在Res-Conv-AE-Net 編碼器的基礎(chǔ)上建立分類網(wǎng)絡(luò);
激勵是給學(xué)生最好的動力,老師在課堂教育時營造情境氛圍,用激勵的語言去指導(dǎo)學(xué)生,從而讓學(xué)生產(chǎn)生對體育學(xué)習(xí)的興趣。激勵教學(xué)就是要做到理性和感性相結(jié)合,學(xué)生在一種輕松的環(huán)境下學(xué)習(xí),有嚴(yán)有松,既能鍛煉身體,又能培養(yǎng)自身的服從命令聽指揮的意識。在學(xué)生碰到一些狀況時,老師千萬不要用一些嘲笑不友好的態(tài)度對待學(xué)生,要曉之以理,動之以情,幫助學(xué)生解決狀況,尊重學(xué)生,讓學(xué)生在激勵的語言下取得更大的進(jìn)步。
4)用Res-Conv-AE-Net 編碼器的參數(shù)初始化分類網(wǎng)絡(luò)的對應(yīng)層;
步驟2 類自適應(yīng)。
采用東南大學(xué)公開的軸承箱數(shù)據(jù)驗證本文模型的有效性,該數(shù)據(jù)在動力傳動系統(tǒng)動態(tài)模擬平臺獲得,如圖7所示。
圖7 實驗平臺Fig.7 Experimental platform
數(shù)據(jù)集在20 Hz 和30 Hz 兩個轉(zhuǎn)速下得到,包含軸承的5種狀態(tài):滾珠故障、內(nèi)圈故障、外圈故障、內(nèi)外圈復(fù)合故障和健康狀態(tài);齒輪的5 種狀態(tài):齒缺損、斷齒、齒根磨損、齒面磨損和健康狀態(tài),每個狀態(tài)采集1 000 個樣本,每個樣本有1 024 個數(shù)據(jù)點,如表3 所示。
表3 實驗數(shù)據(jù)信息Tab.3 Experimental data information
用數(shù)據(jù)B 驗證訓(xùn)練集數(shù)據(jù)量對本文提出的Res-Conv-AE-Net 的故障識別率的影響,隨機對數(shù)據(jù)B 每種故障狀態(tài)各抽取1、3、5、7、10、20、30、40、50、60、70、80、90 以及100 個樣本作訓(xùn)練集(剩余樣本作測試集)進(jìn)行10 次重復(fù)性實驗,得到測試集識別率的平均值如表4 所示。
由表4 可知:訓(xùn)練樣本的數(shù)量對識別率影響較大,隨著數(shù)量的增加,識別率也隨之增加,并且識別率的增勢逐漸放緩;訓(xùn)練樣本數(shù)小于10 時故障識別率很低,訓(xùn)練樣本數(shù)為10時故障識別率達(dá)到95.00%,訓(xùn)練樣本數(shù)大于10 時識別率基本不增加。然而現(xiàn)實生活中,已標(biāo)記的故障數(shù)據(jù)很少,因此提高網(wǎng)絡(luò)在訓(xùn)練樣本數(shù)量小于10 時的識別率十分重要,針對此提出了基于一維殘差卷積自編碼網(wǎng)絡(luò)的類自適應(yīng)故障診斷模型。
表4 不同訓(xùn)練樣本數(shù)下的識別率Tab.4 Recognition rates under different numbers of training samples
為驗證激活函數(shù)對網(wǎng)絡(luò)特征提取能力的影響,分別用Sigmoid、Tanh、ReLU 與SeLU 函數(shù)進(jìn)行對比,實驗采用數(shù)據(jù)B進(jìn)行訓(xùn)練,75%數(shù)據(jù)做訓(xùn)練集(其中100 個樣本為標(biāo)記數(shù)據(jù)),結(jié)果如圖8 所示。
圖8 不同激活函數(shù)下的準(zhǔn)確率Fig.8 Accuracies under different activation functions
從圖8 中可以看到:Sigmoid 函數(shù)作激活函數(shù),網(wǎng)絡(luò)的性能最差,因其導(dǎo)數(shù)fSigmoid′取值范圍為(0,0.25),只有當(dāng)輸入在0 附近時,fSigmoid′才能取得較大值,極容易出現(xiàn)梯度消失,導(dǎo)致無法完成網(wǎng)絡(luò)的訓(xùn)練,因此實驗中網(wǎng)絡(luò)的準(zhǔn)確率僅為20%。Tanh 函數(shù)作激活函數(shù),網(wǎng)絡(luò)的性能次差,因其導(dǎo)數(shù)fTanh′取值范圍為(0,1),當(dāng)輸入為1.35 時,fTanh′=0.25,部分緩解了梯度消失問題。ReLU 函數(shù)作激活函數(shù),網(wǎng)絡(luò)的性能較好,輸入大于0 時,導(dǎo)數(shù)fRelu′=1,解決了梯度消失問題;但是輸入小于0 時,fRelu=1,對應(yīng)的神經(jīng)元不被激活,權(quán)值不能更新,導(dǎo)致網(wǎng)絡(luò)不能學(xué)習(xí)到有效的特征。SeLU 函數(shù)作激活函數(shù),網(wǎng)絡(luò)的準(zhǔn)確率高于其他三個激活函數(shù),且收斂速度也是最快的,SeLU 函數(shù)具有ReLU 函數(shù)的優(yōu)點,同時還能將樣本分布自動歸一化到0 均值和單位方差,解決了深度神經(jīng)網(wǎng)絡(luò)內(nèi)部協(xié)變量偏移的問題。由此可說明SeLU 函數(shù)能有效提高Res-Conv-AE-Net 的收斂速度和特征提取能力。
同時為驗證Res-Conv-AE-Net 特征提取能力的優(yōu)勢,將其與同層數(shù)的一維卷積自編碼器進(jìn)行對比,結(jié)果如圖9 所示。可以看到,Res-Conv-AE-Net 中數(shù)據(jù)的損失值下降速度明顯快于Conv-AE-Net,且迭代結(jié)束后的損失值較小。這表明殘差塊以及跳躍連接結(jié)構(gòu)能減小重構(gòu)誤差,提高編碼器的特征提取能力。
圖9 兩種自編碼器的損失值Fig.9 Loss values of two auto-encoders
根據(jù)所提出的類自適應(yīng)遷移故障診斷問題,設(shè)置一系列遷移實驗(見表5),進(jìn)行10 次重復(fù)性實驗,結(jié)果取平均值。實驗抽取75%源域數(shù)據(jù)(其中標(biāo)記樣本100 個),1、3、5、7、10個已標(biāo)記樣本作訓(xùn)練集。
表5 實驗設(shè)置Tab.5 Experimental setting
首先進(jìn)行實驗A→B、A→D,并與微調(diào)(僅將交叉熵?fù)p失作為優(yōu)化目標(biāo))、域自適應(yīng)遷移學(xué)習(xí)方法(源域和目標(biāo)域的訓(xùn)練數(shù)據(jù)全局對齊)對比,結(jié)果如表6 所示。
表6 不同遷移學(xué)習(xí)方法的識別率 單位:%Tab.6 Recognition accuracies of different transfer learning methods unit:%
對比表4 與表6 中A→B 的結(jié)果可知,樣本數(shù)小于10 時,相較于直接訓(xùn)練,遷移學(xué)習(xí)的識別率有較大提升,說明遷移學(xué)習(xí)方法確實能解決小樣本情況下故障識別率低的問題。
分析表6 可知,自適應(yīng)遷移的識別率明顯高于微調(diào),特別是目標(biāo)域每類故障只有1 個樣本時,差距十分明顯;同時,類自適應(yīng)遷移的識別率略高于域自適應(yīng)遷移,說明類自適應(yīng)遷移在實現(xiàn)只有微量已標(biāo)記數(shù)據(jù)的故障診斷方面有優(yōu)異的性能。對比表6 中A→B 與A→D 的結(jié)果可知,源域和目標(biāo)域差異越小測試精度越高。例如,數(shù)據(jù)A 和數(shù)據(jù)B 是不同工況的軸承數(shù)據(jù),分布差異小,從A 域中學(xué)習(xí)到的特征更容易轉(zhuǎn)移到B 域,識別率高;數(shù)據(jù)D 是齒輪的故障數(shù)據(jù),并且工況也不同,分布差異大,從A 域中學(xué)習(xí)到的特征更難轉(zhuǎn)移到D 域,識別率較小。與實驗A→B 比較,在實驗A→D 中,類自適應(yīng)遷移方法故障識別率的增幅遠(yuǎn)大于其他遷移方法增幅,這也說明了其在跨域小樣本故障診斷中的優(yōu)異性能。
為了進(jìn)一步驗證小樣本情況下模型的性能,進(jìn)行A→B、A→C、A→D,B→A、B→C、B→D,C→A、C→B、C→D 以及D→A、D→B、D→C 的實驗,即A、B、C、D 四類數(shù)據(jù)分別作源域數(shù)據(jù)交叉驗證,目標(biāo)域每類故障1 個樣本作訓(xùn)練集,結(jié)果如表7所示。
分析表7 結(jié)果:在同一部件不同工況的數(shù)據(jù)之間進(jìn)行遷移,即應(yīng)用于軸承(A→B、B→A)和齒輪(C→D、D→C)均能取得與A→B 相近的故障識別率,達(dá)到95.47%以上;在不同部件的數(shù)據(jù)之間進(jìn)行遷移,即用于軸承→齒輪(A→C、A→D、B→C、B→D)和齒輪→軸承(C→A、C→B、D→A、D→B)均能取得與A→D 相近的故障識別率??芍?,該方法具有良好的性能。
表7 不同遷移任務(wù)的故障識別率 單位:%Tab.7 Fault recognition rates for different migration tasks unit:%
為更直觀地說明本文模型在跨域故障診斷中的有效性和優(yōu)越性,引入主成分分析(Principal Component Analysis,PCA)算法和t-分布鄰域嵌入(t-distributed Stochastic Neighbor Embedding,t-SNE)算法繪制網(wǎng)絡(luò)全連接層學(xué)習(xí)到的特征的分布圖。該方法首先用PCA 將數(shù)據(jù)降至適當(dāng)?shù)木S數(shù),然后再用t-SNE 將數(shù)據(jù)降至二維,并以散點圖的形式表示。以實驗A→B 為例,分別作出從零開始訓(xùn)練、微調(diào)、域自適應(yīng)遷移和類自適應(yīng)遷移四種方法中目標(biāo)域特征的散點圖、源域和目標(biāo)域特征混合的散點圖,結(jié)果如圖10 所示。
分析圖10 中目標(biāo)域特征分布得出:從零開始訓(xùn)練學(xué)習(xí)到的特征中,存在三類類間間距小,且大部分樣本混疊;微調(diào)學(xué)習(xí)到的特征中,存在兩類類間間距小,且樣本混疊多;域自適應(yīng)遷移學(xué)習(xí)到的特征混疊樣本略多,其他樣本均很好地區(qū)分開;類自適應(yīng)遷移學(xué)習(xí)到的特征類內(nèi)間距小,類間間距大,除個別樣本混疊外,其他樣本均很好地區(qū)分開。分析圖10中目標(biāo)域和源域的特征分布得出:從零開始訓(xùn)練學(xué)習(xí)到的各類故障特征存在大量混淆;微調(diào)方法中,源域和目標(biāo)域相應(yīng)類型的特征重疊度較小,并且存在一定混淆;域自適應(yīng)遷移中,源域和目標(biāo)域相應(yīng)故障類型的特征重疊度較大、但不同類別的故障特征仍有重疊;類自適應(yīng)遷移中,源域和目標(biāo)域相應(yīng)類型的特征基本相互重疊。由此可知,域自適應(yīng)遷移僅減小了全局特征分布的差異,而本文提出的類自適應(yīng)遷移可以減少源域和目標(biāo)域之間相應(yīng)故障類別之間的特征差異,并將之映射到同一個特征空間,進(jìn)一步優(yōu)化遷移學(xué)習(xí)的性能,提高了診斷的準(zhǔn)確率。
圖10 特征分布圖Fig.10 Feature distribution maps
為驗證本文所提故障診斷模型的有效性,將其與CNN+類自適應(yīng),以及文獻(xiàn)[8-9,12]中提出的自適應(yīng)故障診斷模型進(jìn)行對比。從如表8 所示的對比結(jié)果可以看出:本文模型的診斷準(zhǔn)確率明顯高于其他模型。因此,本文提出的基于Res-Conv-AE-Net 的類自適應(yīng)故障診斷方法能有效解決在微量標(biāo)記數(shù)據(jù)下的故障診斷問題。
表8 本文模型與其他模型的準(zhǔn)確率比較 單位:%Tab.8 Comparison of accuracy between the proposed method and other methods unit:%
為驗證本文模型網(wǎng)絡(luò)權(quán)重和偏置值的遷移效果,在目標(biāo)域樣本數(shù)量為每類故障個數(shù)1 個時,將目標(biāo)域各編碼層和全連接層的權(quán)重和偏置值與源域訓(xùn)練所得的網(wǎng)絡(luò)預(yù)權(quán)重和偏置值做差,并將其變換成一維矩陣。以實驗A→B 為例,結(jié)果如圖11 和表9 所示。
圖11 權(quán)重和偏置變化值對比Fig.11 Comparison of change values in weight and bias
表9 權(quán)重和偏置的變化區(qū)間Tab.9 Range of weight and bias changes
分析圖11 和表9 可知,與用源域數(shù)據(jù)預(yù)訓(xùn)練的網(wǎng)絡(luò)相比,用目標(biāo)域數(shù)據(jù)遷移訓(xùn)練后,網(wǎng)絡(luò)的權(quán)重和偏置值中均存在變化很小的部分,這部分表示源域和目標(biāo)域近似的特征,也是需要遷移的權(quán)重和偏置值;同時,權(quán)重和偏置值存在變化較大的部分,這部分表示源域和目標(biāo)域差異較大的特征,需要通過少量目標(biāo)樣本訓(xùn)練,根據(jù)所設(shè)置的損失函數(shù)微調(diào)這部分權(quán)重和偏置值,最終得到適應(yīng)目標(biāo)域故障數(shù)據(jù)的分類網(wǎng)絡(luò)的權(quán)重和偏置值;并且,從第一層編碼器到第三層編碼器,權(quán)重和偏置值的變化逐漸變大,源域數(shù)據(jù)和目標(biāo)域數(shù)據(jù)淺層特征的差異小,而深層特征的差異大,因此,用目標(biāo)域樣本微調(diào)時,重點在底層網(wǎng)絡(luò)。
本文提出了一種基于Res-Conv-AE-Net 的類自適應(yīng)故障診斷模型,利用Res-Conv-AE-Net 提取原始振動數(shù)據(jù)的可遷移特征,使用MMD 減小源域數(shù)據(jù)和目標(biāo)域數(shù)據(jù)相應(yīng)故障類型之間的特征分布差異,通過類自適應(yīng)方法將從源域數(shù)據(jù)學(xué)習(xí)到的特征知識遷移至目標(biāo)域數(shù)據(jù)中,從而實現(xiàn)在微量已標(biāo)記數(shù)據(jù)下對目標(biāo)域數(shù)據(jù)的故障診斷。為了驗證本文模型的有效性,利用實驗平臺數(shù)據(jù)進(jìn)行實驗,通過對實驗結(jié)果的分析可以得出如下結(jié)論:
1)以殘差塊作為基本單元,并用跳躍連接結(jié)構(gòu)連接網(wǎng)絡(luò)中對應(yīng)的編碼器和解碼器,減小了自編碼網(wǎng)絡(luò)的重構(gòu)誤差,提高了網(wǎng)絡(luò)提取特征的能力。
2)SeLU 函數(shù)能將樣本分布自動歸一化到0 均值和單位方差,提高了網(wǎng)絡(luò)的特征提取能力以及收斂速度。
3)每類故障樣本數(shù)量小于10 時,基于Res-Conv-AE-Net的故障診斷模型將不能有效識別軸承箱故障,特別是每類故障樣本的數(shù)量為1 時,故障識別率極低。與微調(diào)以及域自適應(yīng)遷移相比,類自適應(yīng)故障診斷模型在小樣本故障診斷方面具有更好的性能;通過特征可視化發(fā)現(xiàn),類自適應(yīng)能減小類間特征分布的差異,有效地將網(wǎng)絡(luò)從源域數(shù)據(jù)中學(xué)習(xí)到的特征知識遷移至目標(biāo)域中。