基于CNN和XGBoost的滾動軸承故障診斷方法

馬懷祥，馮旭威，李東升，齊澍椿

（1.石家莊鐵道大學(xué)機(jī)械工程學(xué)院，河北石家莊050043；2.中鐵十四局集團(tuán)有限公司蕪湖長江隧道建設(shè)指揮部，安徽蕪湖241000）

隨著大數(shù)據(jù)的發(fā)展，如何有效地處理數(shù)據(jù)，進(jìn)行有效分析是當(dāng)前重要的話題之一［1］。2012年，美國耗資2億美元用于“大數(shù)據(jù)研究與發(fā)展計劃”，將大數(shù)據(jù)納入到國家戰(zhàn)略標(biāo)準(zhǔn)。2015年，我國國務(wù)院頒布“促進(jìn)大數(shù)據(jù)發(fā)展行動綱要”，明確提倡對大數(shù)據(jù)關(guān)鍵應(yīng)用技術(shù)的研究和分析［2］。

滾動軸承是旋轉(zhuǎn)機(jī)械中最基礎(chǔ)、最常用的零部件之一，其工作狀態(tài)事關(guān)整個機(jī)械設(shè)備的健康狀況。統(tǒng)計表明：在使用滾動軸承的旋轉(zhuǎn)機(jī)械中，大約有30%的機(jī)械故障是滾動軸承引起的，感應(yīng)電機(jī)故障中的滾動軸承故障占電機(jī)故障的40%左右，齒輪箱各類故障中的軸承故障率僅次于齒輪，約占20%。因此，研究滾動軸承的故障診斷具有重要意義［3-4］。

隨著世界邁入大數(shù)據(jù)時代，機(jī)械領(lǐng)域也不例外。而傳統(tǒng)的方法不善于處理數(shù)據(jù)量較多的問題，因此，將善于處理大數(shù)據(jù)的深度學(xué)習(xí)，應(yīng)用到機(jī)械的故障診斷中，為解決滾動軸承故障診斷問題開辟了一條新途徑。

當(dāng)前人工智能最熱門的就是卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）深度學(xué)習(xí)，受到人們關(guān)注的一個重要原因就是Alex等實(shí)現(xiàn)的深度卷積神經(jīng)網(wǎng)絡(luò)（Alex Net）在LSVRC-2010 ImageNet比賽中，取得了非常好的成績。CNN利用了空間網(wǎng)絡(luò)，擅長處理圖像數(shù)據(jù)，在計算機(jī)視覺方面取得了重大的成就，并且在自然語言處理上也有應(yīng)用。CNN有著強(qiáng)大的特征提取能力，并且滾動軸承的工作環(huán)境通常存在著大量的噪聲，早期故障特征非常微弱［5］，因此CNN適合于做滾動軸承的故障診斷。彭丹丹［6］利用CNN對滾動軸承的故障進(jìn)行了診斷識別。王麗華等［7］、張安安等［8］利用CNN的圖像特征提取能力對信號的時頻圖進(jìn)行分類識別，基于CNN的故障診斷模型研究已見成效，但是存在著模型復(fù)雜、計算量龐大、分類能力有限等問題。

極端梯度提升（eXtreme Gradient Boosting，XGBoost）是一種提升樹模型，屬于Boosting算法的一種。XGBoost將許多樹模型集成在一起，是一種提升樹模型，它能夠利用CPU的多線程進(jìn)行并行運(yùn)算，運(yùn)算速度快且能夠提升模型的準(zhǔn)確度，常被用于各大機(jī)器學(xué)習(xí)競賽中，能顯著提升算法的準(zhǔn)確率，被稱為“機(jī)器學(xué)習(xí)大殺器”。

本文將CNN和XGBoost結(jié)合，使用德國帕德博恩大學(xué)滾動軸承數(shù)據(jù)進(jìn)行實(shí)驗(yàn)，結(jié)果表明，故障分類準(zhǔn)確率可達(dá)99.2%，優(yōu)于僅使用CNN、SVM、XGBoost以及三層神經(jīng)網(wǎng)絡(luò)，具有一定的優(yōu)越性。

1 CNN及XGboost原理

1.1 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)（CNN）是一種前饋型神經(jīng)網(wǎng)絡(luò)，層與層之間采用局部連接方式，由一個或多個卷積層和頂端的全連接層組成，同時也包括關(guān)聯(lián)權(quán)重和池化層等。

卷積層是卷積神經(jīng)網(wǎng)絡(luò)的核心，而卷積（Convolution）又為卷積層的核心。在卷積操作中，輸入和卷積核均為張量（Tensor），張量是一個多維的數(shù)據(jù)存儲形式，卷積運(yùn)算即使用卷積核（Kernel）分別乘以輸入張量中對應(yīng)的元素，再輸出代表每個輸入信息的張量。卷積核又被稱為權(quán)重過濾器，卷積層最顯著的一個特點(diǎn)就是權(quán)重共享，也即一個卷積核以固定的步幅（Strides）遍歷一次輸入，由于權(quán)重共享使得CNN相較于其他深度學(xué)習(xí)結(jié)構(gòu)使用更少的參數(shù)，避免了參數(shù)過多所導(dǎo)致的過擬合［15］，從而使得CNN獲得更好的性能。具體的卷積層運(yùn)算為

式中：K l(j')i為第l層第i個卷積核的第j'個權(quán)值；x l(r j+j')為第l層第j+j'個局部域；W為卷積核的寬度。

池化（Pooling）又稱下采樣。理論上，數(shù)據(jù)輸入到卷積層獲得特征之后，可以直接利用這些特征訓(xùn)練分類器，但是這會產(chǎn)生非常大的計算量，同時又容易帶來過擬合的問題，池化層進(jìn)行的是降采樣操作，目的是減少網(wǎng)絡(luò)訓(xùn)練的參數(shù)和降低模型的過擬合程度，還相當(dāng)于一個模糊濾波器，進(jìn)行二次特征提?。?］。池化的方式通常有兩種，最大值池化（Max Pooling）和均值池化（Mean Pooling）。最大值池化是輸出感知域中的神經(jīng)元的最大值，均值池化是輸出感知域中神經(jīng)元的均值，兩者的計算式如下：

式中：al(i，t)為第l層第i幀第t個神經(jīng)元的激活值；W為池化區(qū)域的寬度；p l(i，j)為池化區(qū)域的寬度。

卷積層、池化層的作用是將原始數(shù)據(jù)映射到樣本空間中，全連接層用于將提取出的特征進(jìn)行分類，映射到樣本的標(biāo)記空間中。將最后一個池化層的輸出鋪平（Flatten）為一維的特征向量，連接輸入與輸出。

1.2 極端梯度提升（XGBoost）

XGBoost由陳天奇和Carlos Guestrin于2011年提出，能夠利用CPU多線程進(jìn)行并行運(yùn)算，提升模型的分類準(zhǔn)確率。假設(shè)共有K顆樹，F(xiàn)代表基本的樹模型為

式中：右邊第1項為損失函數(shù)，代表預(yù)測值和真實(shí)值的差距；第2項為正則化函數(shù)，用于防止過擬合，

式中：T為每棵樹的葉子數(shù)量；ω為葉子權(quán)重。

最終的目標(biāo)函數(shù)為

式中：為了防止過擬合現(xiàn)象的產(chǎn)生，添加了一個γ，當(dāng)且僅當(dāng)信息增益大于γ時才允許葉子分裂［10］。

2 CNN特征提取模型的搭建

所建立的CNN滾動軸承故障診斷模型如圖1所示。共搭建了兩層網(wǎng)絡(luò)，共包括兩個卷積層和兩個池化層，池化層為最大值池化；進(jìn)行完最后一次池化操作后，為提高程序的運(yùn)行速度，只設(shè)置了一個全連接層，并在最后連接SoftMax分類器進(jìn)行分類；模型訓(xùn)練過程中需要根據(jù)預(yù)測值和實(shí)際值的損失進(jìn)行優(yōu)化，因此，損失函數(shù)的選擇非常重要，使用交叉熵（Cross Entropy）作為損失函數(shù)，交叉熵用以計算目標(biāo)與預(yù)測值之間的差值，同時，為了防止過擬合現(xiàn)象的產(chǎn)生在每層后都添加了Dropout。

圖1 CNN軸承故障診斷模型Fig.1 Convolution neural network bearing fault diagnosis model

所建立的表CNN故障診斷模型初始參數(shù)如表1所示。

表1 CNN模型初始參數(shù)Tab.1 Initial parameters of CNN

3 實(shí)驗(yàn)驗(yàn)證

CNN-XGBoost故障診斷流程如圖2所示。使用原始數(shù)據(jù)對初始CNN模型進(jìn)行循環(huán)調(diào)參，再保存調(diào)參完成的模型；將原始數(shù)據(jù)送入保存好的模型，提取最后一個全連接層的輸出作為XGBoost分類模型的輸入進(jìn)行循環(huán)調(diào)參，完成調(diào)參之后進(jìn)行交叉驗(yàn)證評估模型，最后進(jìn)行數(shù)據(jù)集的故障分類。

圖2 CNN-XGBoost模型流程圖Fig.2 flow chart of CNN-XGBoost model

使用的數(shù)據(jù)為德國帕德博恩大學(xué)滾動軸承數(shù)據(jù)，使用軸承壽命加速試驗(yàn)臺制造軸承損傷，實(shí)驗(yàn)裝置如圖3所示。數(shù)據(jù)集包括2 850個訓(xùn)練集、722個驗(yàn)證集和1 000個測試集，其中，測試集用于評估模型。

圖3 軸承壽命加速試驗(yàn)臺Fig.3 Bearing life acceleration test stand

在Anaconda3 5.1.0環(huán)境下的Spyder使用Python 3.6進(jìn)行軟件的編寫，深度學(xué)習(xí)框架為Keras 2.2.4，以TensorFlow 1.12.0作為后端，程序運(yùn)行的硬件以及軟件環(huán)境如表2所示。

表2 程序運(yùn)行環(huán)境Tab.2 Progr am envir onment

故障類型的劃分如表3所示。

表3 故障類型劃分Tab.3 Fault classification

3.1 CNN模型調(diào)參

批尺寸（Batch Size）是機(jī)器學(xué)習(xí)的一個重要參數(shù)，它首先決定的是下降方向。適當(dāng)?shù)卦龃笈叽缬兄谔岣邤?shù)據(jù)的處理速度，并且下降的方向越準(zhǔn)確，引起的訓(xùn)練震蕩越??；但如果盲目增大，批尺寸增大到一定程度時，其確定下降的方向已基本不再變化，達(dá)到相同精度所需的時間更長，且會給計算機(jī)帶來巨大的負(fù)擔(dān)。為確定合適的批尺寸，控制其他變量不變，在100次迭代下，批尺寸設(shè)置為32、64、128、256、400、512、600、700、800、900、1 024運(yùn)行結(jié)果，如圖4所示。從圖中可知，取64時獲得最高的準(zhǔn)確率.最終CNN模型在測試集上的準(zhǔn)確率為87.8%。

圖4 調(diào)整批尺寸運(yùn)行結(jié)果Fig.4 Results of adjusting batch size

3.2 XGBoost模型調(diào)參及驗(yàn)證

為使XGBoost模型在未知數(shù)據(jù)集上有較好的泛化能力，以泛化誤差作為指標(biāo)，對模型的性能進(jìn)行評估。泛化誤差是用來衡量模型在未知數(shù)據(jù)上準(zhǔn)確率的指標(biāo)，一個集成模型f在未知數(shù)據(jù)集D上的泛化誤差為

式中：E(f；D)為泛化誤差；b為偏差（Bias）；v為方差（Var）；ε為噪聲。

以往會取學(xué)習(xí)曲線最高的點(diǎn)，即偏差最小的點(diǎn)作為指標(biāo)，但是往往模型極度不穩(wěn)定，所以不僅要考慮偏差，還要考慮方差的影響，故使用泛化誤差作為衡量指標(biāo)對XGBoost模型的生成樹的最大數(shù)目（nestimators）、學(xué)習(xí)率（learning rate）、樹的最大深度（max depth）、一個子集的所有觀察值的最小權(quán)重和（min child weight）進(jìn)行調(diào)參。

首先對樹的最大數(shù)目10~960，以50為步長進(jìn)行調(diào)整，其他均使用模型的默認(rèn)參數(shù)，運(yùn)行結(jié)果如圖5所示。由圖5（a）可以看出，在100~200之間取得了較小的泛化誤差，再繼續(xù)增大并無明顯變化，反而會增加程序的運(yùn)行成本，將步長設(shè)置為10進(jìn)一步分析，運(yùn)行結(jié)果如圖5（b）所示。在160時出現(xiàn)了大幅度的降低，在此之后無明顯變化，故取160。

圖5 調(diào)整n estimators運(yùn)行結(jié)果Fig.5 Results of adjusting n estimators

將nestimators設(shè)置為160之后，同樣的方法對學(xué)習(xí)率、樹的最大深度、一個子集的所有觀察值的最小權(quán)重和依次進(jìn)行調(diào)整，運(yùn)行結(jié)果如圖6~圖8所示。

從圖6可知，學(xué)習(xí)率曲線在0.08~0.10之間出現(xiàn)了最小值，進(jìn)一步縮小范圍發(fā)現(xiàn)在0.09時，已經(jīng)出現(xiàn)了較好的結(jié)果，學(xué)習(xí)率是指導(dǎo)如何通過損失函數(shù)的梯度調(diào)整網(wǎng)絡(luò)權(quán)重的超參數(shù)，學(xué)習(xí)率越低，損失函數(shù)的變化也就越慢。較低的學(xué)習(xí)率可以避免錯過局部極小值，所以選取0.09作為學(xué)習(xí)率。圖7中在max depth為2時泛化誤差較小。圖8中可以看出，在min child weight在38處取得了最優(yōu)解，繼續(xù)增大，泛化誤差呈現(xiàn)了增大的趨勢，故取38。

圖6 調(diào)整學(xué)習(xí)率運(yùn)行結(jié)果Fig.6 Results of adjusting learning rate

圖7 調(diào)整max depth運(yùn)行結(jié)果Fig.7 Results of adjusting max depth

圖8 調(diào)整min child weight運(yùn)行結(jié)果Fig.8 Results of adjusting min child weight

通過上述步驟完成了XGBoost分類模型的參數(shù)調(diào)整，使用十折交叉驗(yàn)證得分對模型的性能進(jìn)行評估，學(xué)習(xí)曲線如圖9所示。交叉驗(yàn)證得分將接近滿分，說明所建立的分類模型效果很好。

圖9 學(xué)習(xí)曲線Fig.9 Learning curve

最后將測試集數(shù)據(jù)送入建立好的CNNXGBoost故障診斷模型中，在測試集上的準(zhǔn)確率為99.2%，相較于CNN準(zhǔn)確率有較為明顯的提高，CNN-XGBoost、CNN、XGBoost、SVM、三層神經(jīng)網(wǎng)絡(luò)的準(zhǔn)確率對比如表4所示?？梢钥闯?，通過模型結(jié)合，準(zhǔn)確率有較為顯著的提升，說明本文所建立模型具有一定的優(yōu)越性。

表4 模型對比Tab.4 Comparison of models

4 結(jié)語

通過建立CNN-XGBoost模型實(shí)現(xiàn)了對滾動軸承的故障診斷，經(jīng)過實(shí)驗(yàn)調(diào)參使模型達(dá)到理想狀態(tài)。使用德國帕德博恩大學(xué)滾動軸承數(shù)據(jù)驗(yàn)證，在測試集上準(zhǔn)確率達(dá)到99.2%，結(jié)果表明，經(jīng)過模型結(jié)合明顯提高了準(zhǔn)確率，優(yōu)于僅僅使用CNN、XGBoost、SVM以及三層神經(jīng)網(wǎng)絡(luò)，證明所建立的方法具有一定的優(yōu)越性。