基于參數(shù)遷移和一維卷積神經(jīng)網(wǎng)絡(luò)的海水泵故障診斷

崔石玉，朱志宇

(江蘇科技大學(xué) 電子信息學(xué)院，江蘇 鎮(zhèn)江 212003)

海水泵是維持船舶艙室設(shè)備運(yùn)轉(zhuǎn)的關(guān)鍵冷卻裝備，在現(xiàn)代船舶系統(tǒng)中的應(yīng)用越來(lái)越廣泛[1]，一旦發(fā)生故障致使冷卻系統(tǒng)癱瘓，會(huì)造成巨大經(jīng)濟(jì)損失乃至給人身安全帶來(lái)隱患。因此海水泵故障診斷的研究具有重要的理論價(jià)值和實(shí)際意義。

海水泵故障診斷大多是通過(guò)監(jiān)測(cè)振動(dòng)信號(hào)和電流信號(hào)等參數(shù)，選擇和提取原始信號(hào)的時(shí)頻域特征，通過(guò)傅里葉變換、小波變換、經(jīng)驗(yàn)?zāi)B(tài)分解、主成分分析、流形學(xué)習(xí)等信號(hào)處理方法[2-4]，再利用機(jī)器學(xué)習(xí)方法如人工神經(jīng)網(wǎng)絡(luò)(artificial neural network, ANN)、支持向量機(jī)(support vector machine, SVM)等對(duì)故障特征進(jìn)行識(shí)別分類[5]。這些傳統(tǒng)方法需要大量的信號(hào)處理知識(shí)和豐富的專家經(jīng)驗(yàn)[6]，耗時(shí)費(fèi)力、具有一定的主觀性，會(huì)影響故障診斷的精確度。作為人工智能的突破，深度學(xué)習(xí)具有克服以上缺陷的潛力。目前，深度學(xué)習(xí)因其強(qiáng)大的學(xué)習(xí)表征能力和優(yōu)異的識(shí)別效果，在很多領(lǐng)域得到應(yīng)用[7]，并在大數(shù)據(jù)處理上取得了突破性的成功。卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks, CNN)作為深度學(xué)習(xí)的一個(gè)重要分支，在圖像識(shí)別領(lǐng)域具有獨(dú)樹一幟的優(yōu)勢(shì)[8-9]，在旋轉(zhuǎn)機(jī)械故障診斷領(lǐng)域也在逐步替代前一代算法，允許網(wǎng)絡(luò)從數(shù)據(jù)中自適應(yīng)學(xué)習(xí)非線性故障特征，比傳統(tǒng)機(jī)器學(xué)習(xí)方法具有更強(qiáng)大的表征能力。文獻(xiàn)[10]提出了基于CNN的齒輪箱故障診斷模型，提取齒輪箱各故障狀態(tài)信號(hào)的時(shí)頻特征作為輸入，構(gòu)建二維CNN網(wǎng)絡(luò)實(shí)現(xiàn)故障診斷。Zhang等[11]將一維時(shí)間機(jī)械振動(dòng)信號(hào)轉(zhuǎn)化為二維圖像，用于CNN訓(xùn)練和分類。以上算法雖然都用到了CNN，但CNN的輸入仍然是人工提取特征，CNN強(qiáng)大特征學(xué)習(xí)能力沒(méi)有充分利用，限制了故障識(shí)別率的提高[12]。同時(shí)，一維時(shí)間序列的振動(dòng)信號(hào)，各時(shí)刻的數(shù)據(jù)點(diǎn)具有關(guān)聯(lián)性，二維形式會(huì)破壞這種相關(guān)聯(lián)性，可能使相關(guān)故障信息缺失。目前，以原始振動(dòng)信號(hào)作為一維CNN輸入，基于一維CNN算法實(shí)現(xiàn)故障診斷研究尚處于探索階段，公開發(fā)表的成果較少[13-14]。

遷移學(xué)習(xí)能夠?qū)W習(xí)先前任務(wù)的知識(shí)和技巧并應(yīng)用到新任務(wù)中[15]，可以解決新領(lǐng)域中訓(xùn)練數(shù)據(jù)量不足以及訓(xùn)練數(shù)據(jù)與測(cè)試數(shù)據(jù)分布不同等問(wèn)題，提升故障診斷模型的泛化能力?；趨?shù)(模型)的遷移學(xué)習(xí)[16-17]可以充分利用模型之間存在的相似性，通過(guò)在不同域間共享參數(shù)，來(lái)實(shí)現(xiàn)遷移學(xué)習(xí)的效果，代表性方法為多任務(wù)學(xué)習(xí)。通過(guò)神經(jīng)網(wǎng)絡(luò)作為基分類器，多個(gè)任務(wù)共享一些神經(jīng)網(wǎng)絡(luò)層及其相關(guān)聯(lián)的模型參數(shù)，輸出層對(duì)應(yīng)多個(gè)不同的任務(wù)，直觀地實(shí)現(xiàn)多任務(wù)學(xué)習(xí)。Yosinski 等[18]指出 LeNet、AlexNet、VGG、Inception 等都是良好的遷移網(wǎng)絡(luò)?；谔卣鞅硎镜倪w移學(xué)習(xí)[19-20]是利用源域和目標(biāo)域的信息，尋找合適的特征表示空間，作為所要遷移知識(shí)的載體，來(lái)增強(qiáng)目標(biāo)域的學(xué)習(xí)效果。與無(wú)監(jiān)督遷移成分分析不同，有監(jiān)督遷移學(xué)習(xí)方法同時(shí)利用數(shù)據(jù)中的屬性信息和標(biāo)簽信息。借鑒深度學(xué)習(xí)中的微調(diào)方法，即先用源域中的樣本訓(xùn)練一個(gè)基模型，然后利用目標(biāo)域中的樣本，微調(diào)此基模型。此方法目前主要在圖像識(shí)別領(lǐng)域[21-22]流行應(yīng)用。

為解決海水泵工況多變、故障數(shù)據(jù)少、振動(dòng)特征提取困難等故障診斷問(wèn)題，本文提出基于參數(shù)遷移與一維卷積神經(jīng)網(wǎng)絡(luò)(one-dimensional convolutional neural network，1DCNN)的海水泵故障診斷方法。該方法利用1DCNN對(duì)多工況的海水泵振動(dòng)信號(hào)進(jìn)行故障分類。首先利用源域樣本訓(xùn)練一個(gè)CNN基分類器模型，再利用基于參數(shù)的遷移學(xué)習(xí)在源域和目標(biāo)域間共享模型參數(shù)，然后利用目標(biāo)域樣本對(duì)已訓(xùn)練好的CNN基模型進(jìn)行微調(diào)，并給出故障診斷結(jié)果。該方法完全不依賴于人工特征提取和專家知識(shí)，可以實(shí)現(xiàn)原始信號(hào)端到端直接進(jìn)行故障診斷，最大限度地利用CNN深度網(wǎng)絡(luò)實(shí)現(xiàn)故障特征自學(xué)習(xí)，并利用參數(shù)遷移加速1DCNN模型快速收斂并降低多工況下故障數(shù)據(jù)分布不同對(duì)故障診斷的影響，提高了1DCNN模型的識(shí)別能力和泛化能力。

1 一維卷積神經(jīng)網(wǎng)絡(luò)

典型的卷積神經(jīng)網(wǎng)絡(luò)由輸入層、卷積層、池化層、全連接層和輸出層構(gòu)成。CNN通過(guò)梯度下降法最小化損失函數(shù)對(duì)網(wǎng)絡(luò)權(quán)重進(jìn)行反向調(diào)節(jié)，同時(shí)通過(guò)頻繁的迭代訓(xùn)練提高神經(jīng)網(wǎng)絡(luò)的精度。常見的損失函數(shù)有均方根誤差函數(shù)、交叉熵?fù)p失函數(shù)、負(fù)對(duì)數(shù)似然函數(shù)等。在CNN前期特征提取算法中，通過(guò)交替使用卷積層和池化層進(jìn)行輸入數(shù)據(jù)特征的層層提取，使網(wǎng)絡(luò)具有一定程度的位移、尺度、縮放、非線性形變穩(wěn)定性，最后通過(guò)全連接層輸出結(jié)果?；A(chǔ)1DCNN結(jié)構(gòu)示意圖，如圖1所示。1DCNN用于在時(shí)間序列的特征識(shí)別以及提取，同樣具備CNN對(duì)特征識(shí)別的平移不變性等優(yōu)點(diǎn)，并且大卷積核不會(huì)帶來(lái)太多參數(shù)以及計(jì)算量，為了獲得較大感受野，模型可以采用較大寬度的卷積核，從而更加全面地獲取序列的特征值。

圖1 一維卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)示意圖

1.1 卷積層

卷積層主要由多個(gè)卷積核構(gòu)成。一個(gè)卷積核可以認(rèn)為是一個(gè)感受野，CNN通過(guò)卷積核運(yùn)算獲取故障數(shù)據(jù)的特征maps，通過(guò)權(quán)值共享方法，同一卷積核以一定的步長(zhǎng)與不同局部數(shù)據(jù)進(jìn)行運(yùn)算時(shí)共享同一組權(quán)重，從而減少計(jì)算量。一維卷積核運(yùn)算原理為

(1)

式中：a為卷積核在x方向上的寬度；F為卷積核參數(shù)向量；G為與卷積核函數(shù)運(yùn)算的局部向量矩陣；w為卷積核的尺寸。

1.2 池化層

池化層即為降維，能夠減少1DCNN內(nèi)部參數(shù)的計(jì)算量，同時(shí)能一定程度地防止過(guò)擬合，提高特征的魯棒性。通常采用最大池化算子，數(shù)學(xué)描述如式(2)所示

(2)

式中：P為最大池化得到的特征向量；l為特征maps的寬度；A為卷積層激活后的特征向量矩陣；w為池化區(qū)域的寬度。

1.3 全連接層

全連接層將1DCNN網(wǎng)絡(luò)中多層卷積和池化后的特征maps鋪平為一維向量輸入，然后將每層輸入通過(guò)式(3)計(jì)算輸出，在輸出層通過(guò)式(5)輸出診斷結(jié)果。

(3)

ReLU=max(0,x)

(4)

1.4 輸出層

輸出層采用Softmax分類器解決多分類問(wèn)題，模型可表述為

(5)

式中：O為輸出結(jié)果矩陣；Wi和bi為第i個(gè)分類對(duì)應(yīng)的權(quán)重和偏置矩陣。

2 參數(shù)遷移

AlexNet和GoogleNet等深度卷積神經(jīng)網(wǎng)絡(luò)在圖像分類中取得巨大成功，在大型圖像數(shù)據(jù)集ImageNet上獲得充分訓(xùn)練，學(xué)習(xí)到了圖像分類識(shí)別所需的大量特征。因此，可以運(yùn)用遷移學(xué)習(xí)的思想，充分利用預(yù)訓(xùn)練模型在源域數(shù)據(jù)集上學(xué)習(xí)到的大量知識(shí)，將其用于目標(biāo)域故障分類識(shí)別問(wèn)題。

模型參數(shù)遷移作為一種常用的遷移方法，去掉預(yù)訓(xùn)練網(wǎng)絡(luò)的最后一層，將其之前的激活值送入卷積神經(jīng)網(wǎng)絡(luò)等基分類器進(jìn)行分類訓(xùn)練；參數(shù)遷移只需重新初始化網(wǎng)絡(luò)的最后的少數(shù)幾層，其余層直接使用預(yù)訓(xùn)練網(wǎng)絡(luò)的權(quán)值參數(shù)和網(wǎng)絡(luò)參數(shù)，再利用目標(biāo)域新故障數(shù)據(jù)集對(duì)網(wǎng)絡(luò)參數(shù)進(jìn)行微調(diào)。本文采用參數(shù)精調(diào)的遷移學(xué)習(xí)方式，將源域基模型修改用于海水泵目標(biāo)域故障識(shí)別的模型，相比于隨機(jī)初始化網(wǎng)絡(luò)所有層的權(quán)重參數(shù)和利用訓(xùn)練數(shù)據(jù)集對(duì)網(wǎng)絡(luò)從頭開始訓(xùn)練的全新學(xué)習(xí)，精調(diào)有助于卷積神經(jīng)網(wǎng)絡(luò)快速收斂。

參數(shù)遷移模型的結(jié)構(gòu)框架，如圖2所示。給定源域的訓(xùn)練數(shù)據(jù)DS={(xSi,ySi)|xSi∈X,ySi∈Y,i=1,2,…,nS}和訓(xùn)練得到的1DCNN基模型fS(·)和模型參數(shù)θS，遷移學(xué)習(xí)通過(guò)利用源域的DS，fS(·)和θS，提高目標(biāo)域DT的模型fT(·)性能。本文在源域訓(xùn)練好的1DCNN基模型參數(shù)θS作為目標(biāo)域1DCNN模型的初始化參數(shù)，用于目標(biāo)域的測(cè)試數(shù)據(jù)的故障診斷，提高目標(biāo)域1DCNN模型的泛化能力和通用性。

圖2 1DCNN參數(shù)遷移模型結(jié)構(gòu)

3 1DCNN和參數(shù)遷移模型設(shè)計(jì)

3.1 模型結(jié)構(gòu)

模型采用AlexNet模型結(jié)構(gòu)，由3個(gè)卷積模塊和3個(gè)全連接模塊堆疊而成，最后一個(gè)全連接層輸出數(shù)量為6，分別對(duì)應(yīng)目標(biāo)域故障類別數(shù)，采用Softmax計(jì)算損失，如表1所示。卷積模塊conv_1和conv_2均由卷積層、最大池化層、Dropout層組成，卷積模塊conv_3由卷積層和最大池化層組成。全連接模塊fc_1包含了Dropout層，在訓(xùn)練時(shí)隨機(jī)丟棄一些參數(shù)，參照AlexNet，丟棄概率設(shè)為0.5。池化降采樣保持了一定的平移不變性，重疊池化、Dropout緩解了過(guò)擬合。神經(jīng)元的激活函數(shù)選擇修正線性單元(ReLU)，其單側(cè)抑制特性提高網(wǎng)絡(luò)的稀疏激活性，可以有效解決梯度彌散，加速網(wǎng)絡(luò)收斂。

表1 一維卷積神經(jīng)網(wǎng)絡(luò)參數(shù)

3.2 模型優(yōu)化

采用交叉熵計(jì)算分類損失，衡量預(yù)測(cè)的Softmax輸出概率分布和目標(biāo)類概率分布的相似性。附加L2正則化對(duì)權(quán)重參數(shù)進(jìn)行懲罰，減輕過(guò)擬合現(xiàn)象。其數(shù)學(xué)描述如式(6)所示

(6)

式中：p(x)為目標(biāo)類概率分布；q(x)為預(yù)測(cè)分布；θ為權(quán)重參數(shù)；λ為正則項(xiàng)系數(shù)；‖θ‖2為防過(guò)擬合添加的正則化項(xiàng)。

網(wǎng)絡(luò)模型的優(yōu)化是通過(guò)迭代最小化損失函數(shù)實(shí)現(xiàn)的。本文采用Adam優(yōu)化算法，通過(guò)訓(xùn)練數(shù)據(jù)迭代更新網(wǎng)絡(luò)權(quán)重。Adam優(yōu)化器同時(shí)獲得了 AdaGrad 和 RMSProp 算法的優(yōu)點(diǎn)，即能夠自適應(yīng)地保留學(xué)習(xí)率提高在稀疏梯度和抗噪的性能，適用于處理非平穩(wěn)的振動(dòng)信號(hào)；同時(shí)調(diào)參較少，非常高效。模型Adam優(yōu)化算法步驟如下：

參數(shù)設(shè)定——α=0.001，β1=0.9，β2=0.999，ε=10-8。

要求——α為學(xué)習(xí)率；β1,β2為超參數(shù)，β1,β2∈[0,1)。

要求——f(θ)為含θ參數(shù)的隨機(jī)目標(biāo)函數(shù)。

要求——θ0；m0←0；v0←0；t←0：初始化時(shí)間步。

Whileθt沒(méi)有收斂 do

t←t+1；gt←?θf(wàn)t(θt-1)：更新目標(biāo)函數(shù)的梯度。

end While

3.3 1DCNN參數(shù)遷移模型故障診斷框架

振動(dòng)時(shí)域信號(hào)是一維非平穩(wěn)、非線性信號(hào)，本文采用1DCNN的參數(shù)遷移模型對(duì)海水泵振動(dòng)故障數(shù)據(jù)進(jìn)行故障診斷。1DCNN參數(shù)遷移模型故障診斷流程，如圖3所示。

圖3 1DCNN參數(shù)遷移模型故障診斷流程圖

首先將海水泵故障數(shù)據(jù)劃分為源域和目標(biāo)域數(shù)據(jù)集，之后對(duì)源域和目標(biāo)域數(shù)據(jù)集分別進(jìn)行讀取并劃分訓(xùn)練、驗(yàn)證和測(cè)試樣本比例，再對(duì)數(shù)據(jù)進(jìn)行預(yù)處理(包括打亂、標(biāo)準(zhǔn)化Rreshape等)。將源域數(shù)據(jù)集作為1DCNN基模型的輸入，建立1DCNN基模型并利用Adam進(jìn)行梯度下降迭代調(diào)優(yōu)，使目標(biāo)函數(shù)最小化，得到1DCNN基模型網(wǎng)絡(luò)參數(shù)θS。調(diào)用1DCNN基模型，并對(duì)基模型最后一層(輸出層)微調(diào)，得到1DCNN參數(shù)遷移模型。將MAFAULDA可變工況的目標(biāo)域數(shù)據(jù)集作為1DCNN參數(shù)遷移模型輸入，同樣地，采用Adam作為優(yōu)化器，使目標(biāo)函數(shù)即交叉熵?fù)p失函數(shù)最小化，不斷迭代優(yōu)化。最終，輸出振動(dòng)故障診斷結(jié)果。

4 結(jié)果與分析

4.1 試驗(yàn)數(shù)據(jù)的采集與數(shù)據(jù)集制作

為驗(yàn)證本文算法實(shí)用的可行性，將本文構(gòu)建的算法模型應(yīng)用于海水泵軸承和電動(dòng)機(jī)的故障診斷中。試驗(yàn)數(shù)據(jù)集來(lái)源于中華復(fù)興號(hào)客滾輪船的艙室輔機(jī)2號(hào)海水泵數(shù)據(jù)采集系統(tǒng)，該機(jī)最大功率達(dá)400 kW，最大流量1 800 m3/h，最大揚(yáng)程600 m。本文利用三軸振動(dòng)加速度傳感器采集到的海水泵軸承、電動(dòng)機(jī)徑向加速度數(shù)據(jù)作為振動(dòng)故障數(shù)據(jù)集，采樣頻率為2 000 Hz。

目標(biāo)域數(shù)據(jù)集振動(dòng)一維信號(hào)時(shí)域波形圖，如圖4所示。振動(dòng)故障數(shù)據(jù)集，如表2所示。模型的訓(xùn)練與測(cè)試均在TensorFlow深度學(xué)習(xí)框架下完成的。利用Google 云端硬盤提供的免費(fèi)GPU運(yùn)行Python代碼。模型參數(shù)中，批量大小batch_size設(shè)為512，step設(shè)置為50。為試驗(yàn)方便，將采集的數(shù)據(jù)以1 024個(gè)點(diǎn)為一個(gè)樣本，將每類信號(hào)劃分400個(gè)樣本，并按照7∶1∶2的比例劃分訓(xùn)練集、驗(yàn)證集和測(cè)試集。

表2 振動(dòng)故障數(shù)據(jù)集

圖4 故障振動(dòng)信號(hào)時(shí)域波形圖

4.2 診斷結(jié)果與分析

對(duì)比兩種模型學(xué)習(xí)方式(全新學(xué)習(xí)、參數(shù)遷移+微調(diào))，3組初始學(xué)習(xí)率(0.001，0.050，0.100)，海水泵工況在負(fù)載為75 kW、3種轉(zhuǎn)速條件下采集到的振動(dòng)故障試驗(yàn)數(shù)據(jù)，共進(jìn)行18組試驗(yàn)。全新學(xué)習(xí)時(shí)，1DCNN網(wǎng)絡(luò)模型的所有層的權(quán)重參數(shù)需要隨機(jī)初始化，再利用目標(biāo)域數(shù)據(jù)集對(duì)其從頭開始訓(xùn)練。參數(shù)遷移訓(xùn)練時(shí)，源域數(shù)據(jù)集是在負(fù)載75 kW，轉(zhuǎn)速1 792 r/min下獲取的振動(dòng)數(shù)據(jù)。最后一層的權(quán)值參數(shù)與偏置參數(shù)隨機(jī)初始化，其他各層的W和b則從在源域訓(xùn)練得到的1DCNN基模型中加載。1DCNN參數(shù)遷移模型經(jīng)5次的50輪訓(xùn)練后，各組試驗(yàn)的診斷結(jié)果如表3所示。

表3 1DCNN參數(shù)遷移模型診斷結(jié)果

如表3所示，在全新學(xué)習(xí)方式下，所有層的參數(shù)都是隨機(jī)初始化，適合的學(xué)習(xí)率可以使訓(xùn)練快速接近最優(yōu)解，使其在相同的訓(xùn)練輪數(shù)下獲得更高的準(zhǔn)確率。當(dāng)學(xué)習(xí)率設(shè)置分別為0.050和0.100時(shí)，全新學(xué)習(xí)模型的訓(xùn)練精度在72%左右，測(cè)試精度只有17%左右，存在嚴(yán)重過(guò)擬合現(xiàn)象。而學(xué)習(xí)率為0.001時(shí)的訓(xùn)練和測(cè)試準(zhǔn)確率是最高的，全新學(xué)習(xí)模型平均準(zhǔn)確率達(dá)到了93%以上。

如表3所示，在參數(shù)遷移模型中，由于網(wǎng)絡(luò)前端各層參數(shù)都獲得優(yōu)質(zhì)訓(xùn)練，訓(xùn)練初始時(shí)刻已接近最優(yōu)解，故模型的精度得到一定的保障。學(xué)習(xí)率為0.001時(shí)的訓(xùn)練和測(cè)試準(zhǔn)確率是最高的，比其他同條件的不同學(xué)習(xí)率分別提高了12%和38%左右，模型平均精度更是達(dá)到了97%左右，平均識(shí)別準(zhǔn)確率為96.13%。將學(xué)習(xí)率為0.001的全新學(xué)習(xí)和參數(shù)遷移學(xué)習(xí)方式下的各組試驗(yàn)對(duì)應(yīng)比較，容易發(fā)現(xiàn)參數(shù)遷移學(xué)習(xí)的各組試驗(yàn)的模型測(cè)試準(zhǔn)確率高出全新學(xué)習(xí)的各組試驗(yàn)約10～50個(gè)百分點(diǎn)。如圖5(a)和圖5(b)所示，設(shè)置學(xué)習(xí)率為0.001，將A、B、C三種不同工況數(shù)據(jù)集輸入到1DCNN遷移模型，經(jīng)過(guò)5個(gè)epoch后，模型完全達(dá)到穩(wěn)定，訓(xùn)練精度逼近98%，損失函數(shù)趨于0.03且平穩(wěn)。因此，1DCNN參數(shù)遷移模型對(duì)不同工況下的海水泵的故障都有較高的診斷識(shí)別率，同時(shí)高診斷精度不存在過(guò)擬合問(wèn)題。

圖5 學(xué)習(xí)率為0.001，1DCNN參數(shù)遷移模型結(jié)果

4.3 模型性能的影響因素分析

4.3.1 學(xué)習(xí)率對(duì)模型性能影響

圖6(a)和圖6(b)是不同學(xué)習(xí)率對(duì)1DCNN(全新學(xué)習(xí))模型的性能影響曲線圖。從圖中可以看出，當(dāng)初始學(xué)習(xí)率為0.001 0和0.010 0時(shí)，模型的準(zhǔn)確率和損失率經(jīng)過(guò)20個(gè)epoch后達(dá)到穩(wěn)定，損失率趨近于0，訓(xùn)練精度趨近于95%，比相同條件下其他學(xué)習(xí)率試驗(yàn)高出20%。但是，學(xué)習(xí)率為0.010 0時(shí)會(huì)出現(xiàn)訓(xùn)練周期性小幅度上下振蕩的現(xiàn)象，沒(méi)有學(xué)習(xí)為0.001 0時(shí)結(jié)果穩(wěn)定，學(xué)習(xí)率為0.000 1時(shí)模型訓(xùn)練精度最高達(dá)到90%，損失率也沒(méi)有達(dá)到最優(yōu)，在經(jīng)過(guò)50個(gè)epoch后仍然沒(méi)有趨于平穩(wěn)，在圖中準(zhǔn)確率和損失率曲線中都有體現(xiàn)。而學(xué)習(xí)率為0.050 0時(shí)，訓(xùn)練精度大概只有70%，損失率曲線可以看出訓(xùn)練已經(jīng)嚴(yán)重過(guò)擬合。因此，適當(dāng)?shù)膶W(xué)習(xí)率可以使模型訓(xùn)練快速接近最優(yōu)解且模型性能更好。

圖6 不同學(xué)習(xí)率對(duì)模型的性能比較圖

圖6(c)和圖6(d)是不同學(xué)習(xí)率對(duì)1DCNN參數(shù)遷移模型性能影響曲線圖。從圖中可以看出，初始學(xué)習(xí)率為0.001 0和0.010 0時(shí)，模型的精度趨近98%，比相同條件下其他學(xué)習(xí)率試驗(yàn)高出10%～20%。但是，學(xué)習(xí)率為0.010 0時(shí)會(huì)出現(xiàn)訓(xùn)練周期性小范圍波動(dòng)的現(xiàn)象；學(xué)習(xí)率為0.000 1時(shí)模型訓(xùn)練在經(jīng)過(guò)20個(gè)epoch后精度達(dá)到92%。而學(xué)習(xí)率為0.050 0和0.100 0時(shí)，出現(xiàn)了過(guò)擬合現(xiàn)象。綜上，無(wú)論是全新學(xué)習(xí)還是參數(shù)遷移模型，學(xué)習(xí)率可在[0.001 0,0.010 0]內(nèi)選擇最佳，訓(xùn)練的準(zhǔn)確率最高。

4.3.2 優(yōu)化器的選擇

在優(yōu)化器選擇試驗(yàn)中繼續(xù)采用表1中的基準(zhǔn)模型參數(shù)設(shè)置，本試驗(yàn)對(duì)目前最常用的SGD, AdaGrad, RMSProp和Adam共4種優(yōu)化器進(jìn)行測(cè)試，試驗(yàn)結(jié)果如圖7和表4所示。

圖7可明顯看出：Adam自適應(yīng)優(yōu)化器的性能優(yōu)于其他3種優(yōu)化器。圖7(a)中，當(dāng)批大小batch_size=8時(shí)，經(jīng)過(guò)50 輪epoch 后只有SGD對(duì)應(yīng)的準(zhǔn)確率曲線還未收斂，大概在經(jīng)過(guò)100輪epoch后才會(huì)趨于平穩(wěn)，其準(zhǔn)確率達(dá)到96.3%。而在圖7(b)中，當(dāng)批大小batch_size=512時(shí)，SGD和Adagrad優(yōu)化器的準(zhǔn)確率還不足30%，陷入局部最優(yōu)，效果都很差。Adagrad處理稀疏梯度的優(yōu)勢(shì)在本文中也沒(méi)有體現(xiàn)。RMSprop的效果也不錯(cuò)，略低于Adam，其發(fā)揮了自身處理非線性非平穩(wěn)信號(hào)的優(yōu)勢(shì)。表4主要比較了batch_size大小對(duì)SGD和Adam精度和時(shí)間的影響。SGD適合小批次的模型，但需要經(jīng)過(guò)很長(zhǎng)時(shí)間的訓(xùn)練，由圖7(a)也反映出僅50輪訓(xùn)練后未收斂，大概在經(jīng)過(guò)100輪訓(xùn)練后SGD精度逼近96%。而Adam優(yōu)化器對(duì)batch_size大小不敏感。之所以選擇batch_size=512主要考慮實(shí)時(shí)性因素。大批次的模型訓(xùn)練時(shí)，Adam在保證高精度的同時(shí)能夠更快收斂穩(wěn)定。

圖7 優(yōu)化器性能曲線對(duì)比圖

綜合來(lái)看，在算法時(shí)間和準(zhǔn)確率方面，由于結(jié)合RMSprop處理非平穩(wěn)目標(biāo)特點(diǎn)和自適應(yīng)調(diào)節(jié)學(xué)習(xí)率特點(diǎn)，Adam優(yōu)化器性能最好，尤其在前期準(zhǔn)確率上升很快，在15個(gè)epoch左右趨于穩(wěn)定。綜上，本文采用Adam優(yōu)化算法最佳。

4.3.3 參數(shù)遷移和微調(diào)對(duì)模型性能的影響

在參數(shù)遷移和微調(diào)對(duì)模型性能影響試驗(yàn)中，采用表1中的1DCNN基模型參數(shù)，其中epoch設(shè)置為100。試驗(yàn)對(duì)無(wú)參數(shù)遷移、無(wú)微調(diào)和本文提出的算法模型進(jìn)行測(cè)試，試驗(yàn)結(jié)果如圖8所示。

圖8 參數(shù)遷移和微調(diào)對(duì)模型性能的影響

如圖8所示，全新學(xué)習(xí)模型中，訓(xùn)練準(zhǔn)確率經(jīng)過(guò)100個(gè)epoch后達(dá)到90%左右，模型基本收斂，測(cè)試準(zhǔn)確率只有80%，泛化能力不夠好。無(wú)微調(diào)的模型中，約經(jīng)過(guò)40個(gè)epoch后訓(xùn)練準(zhǔn)確率增加了6.3%，損失率也降低了15%，說(shuō)明參數(shù)遷移發(fā)揮了作用，不僅提高了準(zhǔn)確率，并且節(jié)省了近60個(gè)epoch網(wǎng)絡(luò)收斂時(shí)間。本文提出的加入?yún)?shù)遷移和微調(diào)的算法模型的訓(xùn)練精度逼近98%，測(cè)試精度在95%左右，經(jīng)過(guò)5個(gè)epoch模型就收斂，相比于無(wú)精調(diào)模型，明顯加快收斂速度。說(shuō)明參數(shù)遷移和微調(diào)對(duì)于加速網(wǎng)絡(luò)收斂和提高精度有明顯促進(jìn)的作用。

結(jié)合表3可以看出，在適當(dāng)?shù)膶W(xué)習(xí)率設(shè)定前提下，在全新學(xué)習(xí)模式下，訓(xùn)練初始階段的測(cè)試準(zhǔn)確率只有80%，經(jīng)過(guò)50個(gè)epoch后，模型的測(cè)試準(zhǔn)確率才逐漸趨于穩(wěn)定。在參數(shù)遷移和微調(diào)學(xué)習(xí)模式下，訓(xùn)練初始階段的測(cè)試準(zhǔn)確率達(dá)到90%以上，之后網(wǎng)絡(luò)迅速收斂，經(jīng)過(guò)約5個(gè)epoch準(zhǔn)確率急速爬升，經(jīng)過(guò)約10個(gè)epoch便達(dá)到準(zhǔn)確率峰值，并趨于穩(wěn)定。節(jié)省了約4/5的訓(xùn)練時(shí)間，平均準(zhǔn)確率提高了10%～20%左右。這歸功于1DCNN模型的參數(shù)遷移學(xué)習(xí)和微調(diào)，加速了模型的快速收斂并提高了模型訓(xùn)練的精度。

4.4 故障預(yù)測(cè)與分析

對(duì)故障診斷性能較優(yōu)的第18個(gè)試驗(yàn)(1DCNN參數(shù)遷移，初始學(xué)習(xí)率為0.001，數(shù)據(jù)集C)中經(jīng)過(guò)50個(gè)epoch訓(xùn)練獲得的模型進(jìn)行預(yù)測(cè)，精準(zhǔn)率P、召回率R、F1的計(jì)算公式如式(7)，計(jì)算得到的混淆矩陣、P、R、F1得分如表5所示。

表5 1DCNN參數(shù)遷移模型的混淆矩陣

P=TP/TP+FP，

R=TP/TP+FN，

(7)

由表5的混淆矩陣可知，模型的平均分類準(zhǔn)確率為95.59%，F(xiàn)1得分平均分類率為95.87%，分類性能(F1得分)由高到低排名依次是無(wú)故障、不對(duì)中故障、外圈磨損、滾動(dòng)體磨損、不平衡故障和內(nèi)圈磨損。由混淆矩陣可以看出，分類錯(cuò)誤主要為軸承內(nèi)圈磨損和轉(zhuǎn)子不平衡故障，其中不平衡故障識(shí)別率為92.6%，有7.4%誤認(rèn)為是軸承內(nèi)圈故障，軸承內(nèi)圈故障中有17.3%被誤認(rèn)為是不平衡故障。主要是因?yàn)閮深惞收系囊痪S振動(dòng)信號(hào)波形類似，可能是在海水泵機(jī)組在75 kW時(shí)由于功率太大，需要的能量越多，振動(dòng)的越劇烈，長(zhǎng)此以往使軸在運(yùn)轉(zhuǎn)和高溫下變形，產(chǎn)生動(dòng)不平衡力和離心力，離心慣性力通過(guò)軸承作用到海水泵機(jī)組機(jī)械器件上，引起振動(dòng)產(chǎn)生噪聲，加速軸承磨損，長(zhǎng)此以往可能已產(chǎn)生復(fù)合故障，故而在分類識(shí)別中會(huì)降低診斷精度，較難區(qū)分歸屬故障類別。

圖9是不同負(fù)載下的試驗(yàn)測(cè)試結(jié)果。圖9(a)是在海水泵機(jī)組在30 kW負(fù)載時(shí)的故障預(yù)測(cè)結(jié)果。圖9(b)是海水泵機(jī)組在75 kW時(shí)的故障預(yù)測(cè)結(jié)果。從表5和圖9(b)中看到，除復(fù)合故障之外，其余故障位置均能100%識(shí)別出來(lái)，且綜合精度達(dá)到95%以上，說(shuō)明產(chǎn)生的復(fù)合故障屬于輕微故障，器件磨損還不太嚴(yán)重。因此，需要采取預(yù)防保護(hù)措施，延長(zhǎng)海水泵機(jī)械器件的壽命和使用。與75 kW負(fù)載情況不同，負(fù)載在30 kW下的故障位置幾乎都能判別出來(lái)，經(jīng)式(7)計(jì)算，得到precision值為99.38%，F(xiàn)1得分整體分類性能為99.37%。故障分類精度很高，說(shuō)明本文算法1DCNN參數(shù)遷移模型的確學(xué)習(xí)到了表征故障的非線性顯著特征，即使是在復(fù)雜多變工況條件下，故障識(shí)別精度仍然很高，在實(shí)際工程應(yīng)用中實(shí)現(xiàn)快速定位具有重大的工程意義。

圖9 不同負(fù)載下的試驗(yàn)測(cè)試結(jié)果

4.5 與其他算法對(duì)比

為驗(yàn)證本文算法與目前主流故障診斷算法的識(shí)別性能，將SVM、多層感知器(multi-layer perceptron, MLP)、Zheng等研究中的遷移局部保持投影(transfer locality preserving projections, TLPP)和1DCNN作為對(duì)比算法進(jìn)行試驗(yàn)。在傳統(tǒng)故障診斷方法中通常先對(duì)原始數(shù)據(jù)集進(jìn)行手工體征提取，再將提取的特征輸入到算法完成分類預(yù)測(cè)。選取5種方法進(jìn)行特征值選取，如表6所示。按照表6的特征提取算子對(duì)故障數(shù)據(jù)進(jìn)行提取，再分別用于SVM，MLP，TLPP算法進(jìn)行故障診斷。

表6 特征提取方法

每種算法反復(fù)進(jìn)行試驗(yàn)10次，試驗(yàn)結(jié)果如表7所示。從表7可以看出，由于SVM和MLP較淺層結(jié)構(gòu)，無(wú)法學(xué)習(xí)到深層特征，限制了識(shí)別率的提升。Zheng等研究中的核局部保持投影強(qiáng)大的非線性提取能力和遷移學(xué)習(xí)強(qiáng)大的跨任務(wù)、跨領(lǐng)域?qū)W習(xí)能力使TLPP的故障識(shí)別率打破傳統(tǒng)機(jī)器學(xué)習(xí)算法的壁壘。但是其數(shù)據(jù)特征值的選取和預(yù)處理需要耗費(fèi)大量的計(jì)算和時(shí)間，在實(shí)際工程領(lǐng)域難以應(yīng)用。1DCNN模型參數(shù)隨機(jī)初始化和從頭開始訓(xùn)練新任務(wù)的特點(diǎn)影響了故障診斷的精度，因此其識(shí)別率較本文算法仍有一定差距。同時(shí)，本文算法的識(shí)別率結(jié)果高和實(shí)時(shí)性高，進(jìn)一步驗(yàn)證了本文算法良好的的魯棒性和泛化能力。

表7 不同算法試驗(yàn)結(jié)果

5 結(jié) 論

針對(duì)傳統(tǒng)識(shí)別方法存在特征提取耗時(shí)費(fèi)力的問(wèn)題，本文利用參數(shù)遷移和1DCNN對(duì)海水泵故障一維振動(dòng)信號(hào)進(jìn)行診斷分類，并就模型性能的影響因素進(jìn)行分析，得到以下結(jié)論：

(1)卷積神經(jīng)網(wǎng)絡(luò)能夠完全擺脫人工提取特征和專家經(jīng)驗(yàn)的主觀性，直接將原始故障數(shù)據(jù)作為模型輸入，自動(dòng)逐層非線性提取故障特征，自動(dòng)輸出故障分類結(jié)果，這種“端到端”的模型結(jié)構(gòu)具有更好的通用性和應(yīng)用性。并且算法具有較高的故障識(shí)別率和故障定位能力，平均識(shí)別準(zhǔn)確率達(dá)到95.93% 以上。

(2)適合的學(xué)習(xí)率可以使訓(xùn)練快速接近最優(yōu)解，使其在相同的訓(xùn)練輪數(shù)下獲得更高的準(zhǔn)確率。若初始學(xué)習(xí)率設(shè)置不當(dāng)，會(huì)造成模型訓(xùn)練振蕩甚至發(fā)散。

(3)相對(duì)于全新學(xué)習(xí)，參數(shù)遷移+微調(diào)模型充分利用在源域上學(xué)到的知識(shí)，顯著加速網(wǎng)絡(luò)的收斂和提高分類性能。本文算法節(jié)省1/2～4/5的訓(xùn)練和測(cè)試時(shí)間，有利于實(shí)現(xiàn)在線實(shí)時(shí)監(jiān)測(cè)和快速智能診斷應(yīng)用。通過(guò)混淆矩陣可直接量化故障誤判的位置和數(shù)量。

(4)該算法具有良好的魯棒性和泛化性能，即使轉(zhuǎn)速和負(fù)載發(fā)生變化，仍然保持較高的故障識(shí)別率。

目前的1DCNN遷移模型局限于故障單一的海水泵故障一維信號(hào)。實(shí)際應(yīng)用中海水泵收集的同一振動(dòng)信號(hào)可能會(huì)出現(xiàn)多種故障復(fù)合的故障特征。今后，將進(jìn)一步地豐富海水泵故障信號(hào)數(shù)據(jù)集，采用多源信號(hào)共同參與海水泵的故障診斷，以進(jìn)一步地提高模型的準(zhǔn)確率與實(shí)用性。