深度稀疏最小二乘支持向量機(jī)故障診斷方法研究

張瑞 李可 宿磊 李文瑞

摘要：提出一種結(jié)合多層結(jié)構(gòu)和稀疏最小二乘支持向量機(jī)（Sparse Least Squares Support Vector Machine，SLSS-VM）的機(jī)械故障診斷方法。該方法構(gòu)建了多層支持向量機(jī)（Support Vector Machine，SVM）結(jié)構(gòu)，首先在輸入層利用支持向量機(jī)對信號進(jìn)行訓(xùn)練，學(xué)習(xí)信號的淺層特征，利用“降維公式”生成樣本新的表示，并作為隱藏層的輸入，隱藏層支持向量機(jī)對新樣本訓(xùn)練并提取信號的深層特征，逐層學(xué)習(xí)，最終在輸出層輸出診斷結(jié)果。針對因多層結(jié)構(gòu)帶來算法的復(fù)雜度以及運(yùn)行時間增加的問題，采用最小二乘支持向量機(jī)（Least Squares Support Vector Machine，LSSVM）技術(shù)，并將稀疏化理論與最小二乘支持向量機(jī)結(jié)合，通過構(gòu)造特征空間近似最大線性無關(guān)向量組對樣本進(jìn)行稀疏表示并依此獲得分類判別函數(shù)，有效解決了最小二乘支持向量機(jī)稀疏性缺乏的問題。最后，通過滾動軸承故障診斷實(shí)驗(yàn)驗(yàn)證了該方法的有效性。

關(guān)鍵詞：故障診斷;滾動軸承;多層結(jié)構(gòu);支持向量機(jī);稀疏化

中圖分類號：TH165+.3;TH133. 33

文獻(xiàn)標(biāo)志碼：A

文章編號：1004-4523（ 2019） 06-1104-10

DOI：10. 16 385/j. cnki. issn. 1004-4523. 2019. 06. 020

引言

隨著人工智能技術(shù)迅猛發(fā)展，智能故障診斷方法受到越來越多研究者的重視。邵繼業(yè)等[1]提出一種改進(jìn)BP神經(jīng)網(wǎng)絡(luò)并用于壓縮機(jī)氣閥故障的診斷，實(shí)驗(yàn)結(jié)果驗(yàn)證了該方法的可行性與有效性。崔江等[2]結(jié)合參數(shù)優(yōu)化算法與極限學(xué)習(xí)機(jī)方法，在對航空發(fā)電機(jī)旋轉(zhuǎn)整流器的故障診斷實(shí)驗(yàn)中獲得了良好的診斷性能與較高的分類速度。支持向量機(jī)在解決小樣本、非線性以及高維模式中表現(xiàn)出許多特有的優(yōu)勢，并且具有良好的泛化能力[3]。李永波等[4]利用層次模糊熵與改進(jìn)支持向量機(jī)實(shí)現(xiàn)了軸承不同故障類型和故障程度的準(zhǔn)確識別。吐松江等[5]結(jié)合支持向量機(jī)與遺傳算法，提出一種新的電力變壓器故障診斷方法，實(shí)驗(yàn)結(jié)果證明該方法能準(zhǔn)確、有效地診斷變壓器故障。王新等[6]針對滾動軸承振動信號的非平穩(wěn)特征與故障樣本數(shù)量較少的情況，提出一種結(jié)合支持向量機(jī)與變模態(tài)分解的診斷方法，結(jié)果顯示該方法能有效對軸承的故障類型與工作狀態(tài)進(jìn)行分類。然而當(dāng)故障信號包含強(qiáng)于實(shí)際故障信號的噪聲，狀態(tài)監(jiān)測和故障診斷的振動信號的特征參數(shù)值不明確，傳統(tǒng)SVM難以表征設(shè)備健康狀況與被測信號之間的復(fù)雜映射關(guān)系，并且對于機(jī)械系統(tǒng)故障診斷采集系統(tǒng)所采集的大量數(shù)據(jù)，會面臨維數(shù)災(zāi)難等問題，因此很難獲得較高的故障診斷準(zhǔn)確率。

在多數(shù)領(lǐng)域中，多層結(jié)構(gòu)目前已經(jīng)被證明是更加有效的學(xué)習(xí)方式，并且在故障診斷領(lǐng)域得到成功應(yīng)用。數(shù)據(jù)的淺層特征在底層得以學(xué)習(xí)，之后被輸入到下一層，形成輸入數(shù)據(jù)更復(fù)雜的表示，數(shù)據(jù)的深層特征得以在深層結(jié)構(gòu)學(xué)習(xí)[7]。Tamilselvan等[8]第一次將深度信念網(wǎng)絡(luò)應(yīng)用到飛機(jī)發(fā)動機(jī)故障診斷;Tran等[9]將Teager-Kaiser能量算子與DBN算法結(jié)合，在對往復(fù)式壓縮機(jī)閥門故障診斷中獲得了更高的故障診斷正確率;Shao等[10]將DBN與粒子群優(yōu)化算法結(jié)合，在缺少旋轉(zhuǎn)軸承先驗(yàn)故障信息的情況下獲得了較好的識別率;Jia等[11]利用深度神經(jīng)網(wǎng)絡(luò)對軸承的頻域信號進(jìn)行特征提取與識別，獲得了較好的分類效果。雖然利用深度學(xué)習(xí)的智能故障診斷技術(shù)已經(jīng)有了良好發(fā)展，但常用深度學(xué)習(xí)方法仍存在一些挑戰(zhàn)性問題亟待解決，如計(jì)算復(fù)雜度高、訓(xùn)練時間長、易陷入局部最優(yōu)等[12]。

根據(jù)以上分析，提出一種多層結(jié)構(gòu)和稀疏最小二乘支持向量機(jī)的機(jī)械故障診斷方法。首先構(gòu)建深度支持向量機(jī)（Deep Support VectorMachine，DS-VM），在輸入層利用SVM對故障信號進(jìn)行訓(xùn)練，數(shù)據(jù)的淺層特征得到學(xué)習(xí)，然后利用隱藏層SVM獲得數(shù)據(jù)的復(fù)雜表示，學(xué)習(xí)數(shù)據(jù)的深層特征，經(jīng)過多層學(xué)習(xí)，最終在輸出層得到診斷結(jié)果。為解決因多層結(jié)構(gòu)引起的算法用時長、計(jì)算復(fù)雜度增加等問題，采用最小二乘支持向量機(jī)方法，但LSSVM的分類判別函數(shù)由所有訓(xùn)練樣本決定，缺乏稀疏性，因此通過尋找高維特征空間中樣本近似最大線性無關(guān)向量組的方法對LSSVM進(jìn)行稀疏處理，提出深度稀疏最小二乘支持向量機(jī)（Deep Sparse Least SquaresSupport VectorMachine，DSLSSVM）診斷模型。最后，將該方法用于滾動軸承故障診斷實(shí)驗(yàn)，診斷結(jié)果表明：本文所提出的診斷方法在診斷效率和準(zhǔn)確率上均具有良好的表現(xiàn)。

1 深度支持向量機(jī)

1.1 支持向量機(jī)

對于N組數(shù)據(jù)組成的訓(xùn)練樣本集D={（xi，yi）}Ni=1，，其中，xi∈RM是第i個訓(xùn)練樣本，yi∈{1，-1}為樣本標(biāo)簽。

SVM的優(yōu)化目標(biāo)為分類超平面ωT x+b=O，根據(jù)拉格朗日對偶性變換為求解拉格朗日因子a的優(yōu)化問題。考慮對誤差的寬容程度，引入懲罰因子C。針對數(shù)據(jù)線性不可分的情況，選擇合適的核函數(shù)K（·，·）實(shí)現(xiàn)樣本高維特征空間的線性可分，目標(biāo)函數(shù)為

根據(jù)最小最優(yōu)化原則求得優(yōu)化目標(biāo)a，可以得到分類函數(shù)[13]

1.2 深度支持向量機(jī)的網(wǎng)絡(luò)結(jié)構(gòu)

多層結(jié)構(gòu)的特征提取方法是通過在訓(xùn)練過程中學(xué)習(xí)多個特征體系結(jié)構(gòu)來獲取高級特征抽象。DS-VM的網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。該結(jié)構(gòu)由輸入層、ι個中間層及輸出層構(gòu)成，每層均為一個標(biāo)準(zhǔn)的支持向量機(jī)。訓(xùn)練樣本經(jīng)輸入層訓(xùn)練后，根據(jù)訓(xùn)練得到的支持向量，利用相關(guān)公式建立與下一層的聯(lián)系，從而構(gòu)建新一層的訓(xùn)練模型[14-15]。

對于訓(xùn)練樣本集D={（xi，Yi）}Ni=ι，訓(xùn)練樣本經(jīng)過輸入層的訓(xùn)練，得到以拉格朗日因子為元素的向量aι×N、 量為Q的支持向量以及支持向量所對應(yīng)的拉格朗日因子a1，a2，…，aQ，輸入層的權(quán)值ω和偏置b可由aι×N得到。根據(jù)輸入層訓(xùn)練后得到的拉格朗日因子倪與支持向量Svl，SV2，…，sv Q，采用“降維公式”對訓(xùn)練樣本進(jìn)行處理，“降維公式”的定義為式中 Svi為支持向量，ai為支持向量對應(yīng)的拉格朗日因子，ysv為支持向量對應(yīng)的標(biāo)簽，b為偏置。

如圖2所示，對訓(xùn)練樣本xi∈RM，i=1，2，…，N，輸入層Xi經(jīng)“降維公式”處理后得到樣本新的表示Xi2nd為依次對每個訓(xùn)練樣本做相同處理得到N個新的訓(xùn)練樣本X 2nd，X2nd，X2nd，…，xNand，通過輸入層的特征提取，原始數(shù)據(jù)x∈RM被轉(zhuǎn)換為x2nd∈RQ，輸入層到中間層的權(quán)值訓(xùn)練完成，新的訓(xùn)練樣本對應(yīng)的標(biāo)簽y1，y2，y3，…，yN沒有改變。將新的訓(xùn)練樣本置人中間層訓(xùn)練，同理逐層按照相同方法至輸出層。

對于測試樣本x，按照“降維公式”逐層對其進(jìn)行映射，最后一層為輸出層，分類判別函數(shù)為式中 Svi為輸出層第i個支持向量，ι為輸出層支持向量的個數(shù)，0（x）表示測試樣本x經(jīng)過中間層映射后的特征，b為輸出層的偏置。

對于線性可分問題，采用支持向量與輸入樣本的線性內(nèi)積來解決。對于線性不可分問題，通過選擇合適的核函數(shù)來解決。DSVM所使用的核函數(shù)類型與相關(guān)參數(shù)根據(jù)具體情況選擇，以達(dá)到最優(yōu)分類結(jié)果。

2 深度稀疏最小二乘支持向量機(jī)

DSVM方法相較于傳統(tǒng)的SVM方法，雖然能獲得更高的分類準(zhǔn)確率，然而由于層數(shù)增加，訓(xùn)練所需要的時間也會高于傳統(tǒng)的SVM，本節(jié)將討論如何在保證分類準(zhǔn)確率的同時減少耗時，提高效率。

相較于標(biāo)準(zhǔn)支持向量機(jī)，最小二乘支持向量機(jī)將不等式約束轉(zhuǎn)化為等式約束，降低了解的復(fù)雜性，減少了計(jì)算成本。但是，由于每個樣本都會對分類函數(shù)起作用，缺少了稀疏性[16-17]。因此，本節(jié)利用求解訓(xùn)練樣本高維特征空間近似最大線性無關(guān)向量組的方法對LSSVM進(jìn)行稀疏處理，得到稀疏最小二乘支持向量機(jī)，結(jié)合深度支持向量機(jī)理論，提出一種深度稀疏最小二乘支持向量機(jī)網(wǎng)絡(luò)模型。與DS-VM相比，在保證分類準(zhǔn)確率的同時，增加了訓(xùn)練樣本的稀疏性，減少了運(yùn)算復(fù)雜度與運(yùn)行時間。

2.1 最小二乘支持向量機(jī)的稀疏化方法

對于訓(xùn)練樣本集D={（xi，Yz）}Ni-1，最小二乘支持向量機(jī)在高維特征空間中的分類判別函數(shù)為式中 ω為權(quán)值向量，φ（·）為樣本從輸入空間到高維特征空間的非線性映射。

LSSVM分類可描述為求解以下二次規(guī)劃問題獲得判別函數(shù)式中 ei為誤差變量。

為求解上述優(yōu)化問題，引入拉格朗日函數(shù)，將約束優(yōu)化問題轉(zhuǎn)化為無約束優(yōu)化問題，并根據(jù)KKT（ Karush-Kuhn-Tucher）條件求得分類判別函數(shù)為[18]

在此基礎(chǔ)上，通過兩個步驟完成對LSSVM的稀疏化處理：

1）尋找高維特征空間的一組近似線性無關(guān)向量，構(gòu)造特征空間的最大線性無關(guān)向量組對所有訓(xùn)練樣本進(jìn)行稀疏表示。

第一步的目標(biāo)是尋找訓(xùn)練樣本的特征子集B={（xj，Yj）}j∈s[D，m=|s |≤N，使得訓(xùn)練樣本中的任意樣本在特征空間的映射能夠表示成該特征子集在特征空間的線性組合，即因此有相應(yīng)地，分類判別函數(shù)只需特征子集B中的訓(xùn)練樣本表示

本文通過選擇參數(shù)v來剔除特征空間中近似線性相關(guān)的向量，參數(shù)v用來控制向量子集B與被線性表示的樣本的逼近程度，稀疏化流程如圖3所示。

具體步驟如下：

首先設(shè)特征向量集B為空集，然后隨機(jī)將訓(xùn)練樣本中的一個樣本放到B中，接下來對于剩余的每個訓(xùn)練樣本，檢查其是否能夠在特征空間內(nèi)被集合B中的樣本線性表示。理論上如果存在系數(shù)向量η使得φ（xi）=Σηjφ（xj）成立，則新樣本可以被當(dāng)前子集線性表示。然而，實(shí)際上由于訓(xùn)練樣本存在數(shù)值復(fù)雜無序、維度高等特點(diǎn)，這樣的系數(shù)向量η可能并不存在，因此需要設(shè)定一個“閾值”u，使得訓(xùn)練樣本可以在一定范圍內(nèi)被集合B近似線性表示。因此，系數(shù)η可以通過下式求解式中 u為控制稀疏程度的參數(shù)。如果式（12）成立，則φ（x）可以由當(dāng)前向量子集B近似線性表示。下面求解最優(yōu)系數(shù)η。將式（12）展開

對于訓(xùn)練樣本（x，y），若δ*>u，即不能被當(dāng)前向量子集線性表示，則擴(kuò)展為當(dāng)前子集B=B U{（x，y）}。

2）利用稀疏樣本求解最優(yōu)分類判別函數(shù)。

將式（7）中約束條件里的松弛變量和式（10），（11）代入目標(biāo)函數(shù)，得到無約束優(yōu)化問題對角矩陣，（Kmm）i，j∈s=K（Xz，xj）=φ（xj）Tφ（xj），Km（xj）=[K（xi，xSl），K（Xi，xs2），…，K（Xz，XSm ）]T，yN =[Yi，y2，…，yN ∈RN，D（yN）為以yN為對角元素構(gòu)成的對角矩陣，KNM=[Km（x1），km（X2），…，km （XN ）]T。1為元素全為1的單位列向量。

式（16）是關(guān)于β和b的凸二次規(guī)劃問題，因此最優(yōu)解可以通過以下條件獲得式中 D（yN）D（yN）=I，YTYN=N。整理后得到關(guān)于β和b的方程組，寫成矩陣形式為

2.2 深度稀疏最小二乘支持向量機(jī)

DSLSSVM是將SLSSVM應(yīng)用到深度支持向量機(jī)的網(wǎng)絡(luò)結(jié)構(gòu)中，將深度支持向量機(jī)的每一層替換為SLSSVM，實(shí)現(xiàn)多層SLSSVM的疊加。訓(xùn)練過程與DSVM相同，首先在輸入層利用SLSSVM對原始樣本進(jìn)行訓(xùn)練，得到線性無關(guān)向量組B和系數(shù)β，然后利用“降維公式”對第一層輸出結(jié)果進(jìn)行處理，得到第二層的輸入。需要注意的是，與SVM經(jīng)訓(xùn)練得到支持向量sv與拉格朗日因子a不同的是，DSLSSVM利用SLSSVM的系數(shù)β與向量組B構(gòu)造新的“降維公式”，相較于式（3），這里“降維公式”變?yōu)榻酉聛韺⑿碌妮斎敕湃氲诙覵LSSVM中訓(xùn)練，之后逐層訓(xùn)練，直至得到輸出結(jié)果。通過DSLSSVM的多層結(jié)構(gòu)對訓(xùn)練樣本不同表示進(jìn)行訓(xùn)練，學(xué)習(xí)樣本的深層特征，一方面保證了良好的分類準(zhǔn)確率，另一方面也減少了計(jì)算復(fù)雜度與運(yùn)行時間，同時不失良好的魯棒性。

3 實(shí)驗(yàn)驗(yàn)證

為了驗(yàn)證本文所提方法的性能，分別在幾組UCI數(shù)據(jù)集[19]和滾動軸承故障診斷實(shí)驗(yàn)平臺采集的實(shí)驗(yàn)數(shù)據(jù)進(jìn)行測試。

3.1 UCI數(shù)據(jù)集驗(yàn)證

本文選擇UCI數(shù)據(jù)集中Breast Cancer數(shù)據(jù)集與Balance-scale數(shù)據(jù)集進(jìn)行分類驗(yàn)證。BreastCancer數(shù)據(jù)集共683個樣本，每個樣本有10個屬性，共2類，其中A類444個樣本，B類239個樣本。分別隨機(jī)從A類選擇100個樣本、B類選擇8 0個樣本作訓(xùn)練集，剩余503個樣本作測試集。Balance-scale數(shù)據(jù)集共576個樣本，每個樣本有4個屬性，分為2類，每類各288個樣本。分別從2類中截取1 00個樣本作訓(xùn)練集，剩余共376個樣本作測試集。在MATLAB環(huán)境下使用SVM，SLSSVM和兩層DSVM及兩層DSLSSVM進(jìn)行分類。

為了更好地對分類結(jié)果進(jìn)行可視化，采用PCA算法對2個數(shù)據(jù)集進(jìn)行降維，其中Breast Cancer數(shù)據(jù)提取出其前兩個PC，對數(shù)據(jù)進(jìn)行二維可視化。Balance-scale 據(jù)提取出其前3個PC，對數(shù)據(jù)進(jìn)行三維可視化。各個數(shù)據(jù)的分類結(jié)果如圖4，5所示，其中標(biāo)記重合的點(diǎn)即分類錯誤點(diǎn)。分類準(zhǔn)確率與用時如表1，2所示。

由圖4，5以及表1可知，對于Breast Cancer數(shù)據(jù)，SVM分類錯誤的點(diǎn)共15個，識別準(zhǔn)確率為97. 02%;SLSSVM分類錯誤的點(diǎn)共1 6個，識別準(zhǔn)確率為96. 8%;DSVM分類錯誤的點(diǎn)減少到8個，識別準(zhǔn)確率為98. 4%;而DSLSSVM分類錯誤的點(diǎn)也下降到8個，識別準(zhǔn)確率為98. 4%。對于Balance- scale數(shù)據(jù)，SVM的識別準(zhǔn)確率80. 05%;SLSSVM的識別準(zhǔn)確率80. 31%;DSVM識別準(zhǔn)確率為85. 64%;DSLSS-VM的識別準(zhǔn)確率為88. 03%。

此外，由表2可知，DSVM在Breast Cancer數(shù)據(jù)集與Balance-scale數(shù)據(jù)集的訓(xùn)練用時分別為10. 42與12. 56 s，DSLSSVM則分別為5.89與6. 82 s，對于兩組數(shù)據(jù)，DSLSSVM均明顯獲得了比DSVM更少的用時。

根據(jù)實(shí)驗(yàn)結(jié)果可知，DSLSSVM不僅獲得了比SVM與SLSSVM更高的分類準(zhǔn)確率，與DSVM相比，對Breast Cancer數(shù)據(jù)集有相同分類準(zhǔn)確率，而在Balance-scale數(shù)據(jù)集上則表現(xiàn)更好，且在用時上也比DSVM顯著減少。因此，DSLSSVM具有良好的綜合性能。

3.2 滾動軸承故障診斷實(shí)驗(yàn)

為進(jìn)一步驗(yàn)證本文所提診斷方法在實(shí)際機(jī)械故障診斷中的性能，將該方法應(yīng)用于風(fēng)機(jī)的滾動軸承故障診斷實(shí)驗(yàn)中。算法驗(yàn)證框架如圖6所示。本文實(shí)驗(yàn)數(shù)據(jù)采集于如圖7所示風(fēng)機(jī)實(shí)驗(yàn)平臺，加速度傳感器型號為PCBMA352A60，輸出帶寬為5-60Hz，靈敏度為10 mV/（m·S-2），測點(diǎn)在垂直方向。采集的信號通過傳感器信號調(diào)節(jié)器（PCB ICO Model480C02）放大后傳輸至信號記錄儀（Scope CoderDL750）。軸承轉(zhuǎn)速分為6 00，8 00，1000 r/min，采樣頻率50 kHz，軸承的各項(xiàng)參數(shù)如表3所示。軸承的故障是人為通過線切割技術(shù)分別在軸承內(nèi)圈、外圈、滾動體上加工出微小傷痕，如圖8所示。傷痕尺寸有0. 25 mm×0.3 mm（寬×深）與O.l mm×0.3mm（寬×深）兩種。

實(shí)驗(yàn)在不同條件下采集了表4所示的3組數(shù)據(jù)，每種條件下采集的數(shù)據(jù)包含軸承正常、外圈故障、內(nèi)圈故障及滾動體故障4種工作狀態(tài)，每種工作狀態(tài)的采樣時間均為55 s。選取每種工作狀態(tài)數(shù)據(jù)的前2750000個數(shù)據(jù)點(diǎn)作為實(shí)驗(yàn)數(shù)據(jù)，將每種工作狀態(tài)數(shù)據(jù)分為1375個樣本，每個樣本2000個數(shù)據(jù)點(diǎn)。各狀態(tài)分別隨機(jī)取1 2 5個樣本作為訓(xùn)練數(shù)據(jù)，剩余1250個樣本均分為10組用作測試。

對上述3組數(shù)據(jù)，在MATLAB環(huán)境下分別采用SVM、SLSSVM、深度卷積神經(jīng)網(wǎng)絡(luò)（CNN）方法、DSVM及DSLSSVM方法進(jìn)行狀態(tài)識別與診斷。實(shí)驗(yàn)中核函數(shù)類型均為高斯核函數(shù)，懲罰因子C與核函數(shù)參數(shù)σ利用交叉驗(yàn)證方法確定，DSVM與DSLSSVM均為2層結(jié)構(gòu)，其中DSVM第1層參數(shù)與SVM相同，DSLSSVM第1層參數(shù)與LSSVM相同，稀疏化參數(shù)v在確保訓(xùn)練準(zhǔn)確率的同時取較大值，以保證更好的稀疏效果。各方法具體參數(shù)如表5所示。

記錄各方法對10組測試樣本的平均診斷準(zhǔn)確率與方差如表6所示，各方法的結(jié)果對比如圖9所示。同時，記錄CNN，DSVM與DSLSSVM方法的訓(xùn)練用時如表7所示，各方法對比如圖10所示。對比表6中的診斷準(zhǔn)確率，對于3組數(shù)據(jù)，單層結(jié)構(gòu)的SVM與SLSSVM的平均診斷準(zhǔn)確率分別為86. 05%，86. 13%，均小于多層結(jié)構(gòu)DSVM，DSLSSVM和CNN的準(zhǔn)確率，三者的平均診斷準(zhǔn)確率分別為95. 27%，97. 57%，94. 49%，而DSLSSVM的平均診斷準(zhǔn)確率又高于DSVM與CNN。另外，根據(jù)診斷準(zhǔn)確率的方差可以看出，與其他幾種方法相比，DSLSSVM同樣具有良好的穩(wěn)定性。從訓(xùn)練用時來看，由表7可知CNN，DSVM與DSLSSVM的平均用時分別為399. 11，139. 71與73. 11 s，在獲得高準(zhǔn)確率的同時，DSVM與CNN明顯需要比DSLSSVM更多的時間。圖1 0也顯示每組數(shù)據(jù)上DSLSSVM的用時均為最少。因此可知采用稀疏理論的DSLSSVM有效地減少了因多層結(jié)構(gòu)帶來的用時增加問題。

綜合準(zhǔn)確率與診斷效率，DSLSSVM比其他幾種方法具有更優(yōu)的診斷性能。

以上實(shí)驗(yàn)使用了兩層結(jié)構(gòu)的DSLSLSVM，下面討論3層及以上結(jié)構(gòu)對診斷結(jié)果的影響。利用3層與4層DSLSSVM對3組軸承數(shù)據(jù)進(jìn)行訓(xùn)練與診斷，并對比不同層數(shù)DSLSSVM的診斷結(jié)果與時間如圖1 1所示。

由圖11（a）可知，3層DSLSSVM對數(shù)據(jù)1-3中1 0組測試樣本的平均診斷準(zhǔn)確率分別為96. 39%，97. 12%，99. 2%，與兩層DSLSSVM準(zhǔn)確率幾乎相同。4層DSLSSVM對數(shù)據(jù)1-3的平均診斷準(zhǔn)確率分別為96. 4%，97. 13%，99. 24%，與2層結(jié)構(gòu)相比同樣幾乎沒有變化，3層與4層網(wǎng)絡(luò)結(jié)構(gòu)繼續(xù)保持了良好的診斷效果;但由ll（b）可以看出，3層結(jié)構(gòu)的訓(xùn)練用時分別為90. 52，94. 12，96. 42 s，4層結(jié)構(gòu)用時分別為118. 72，12 7.68，134. 64 s，診斷用時會隨層數(shù)的增加而遞增。因此，綜合診斷效率與準(zhǔn)確率可知，相比3層及以上DSLSSVM，2層DSLSS-VM是更優(yōu)的診斷模型。

4 結(jié) 論

提出了一種多層結(jié)構(gòu)和稀疏最小二乘支持向量機(jī)的機(jī)械故障診斷方法。主要結(jié)論有：

1）提出一種新的深度支持向量機(jī)結(jié)構(gòu)。通過多層支持向量機(jī)的堆疊建立多層網(wǎng)絡(luò)結(jié)構(gòu)，利用支持向量與相關(guān)參數(shù)生成樣本的復(fù)雜表示并逐層訓(xùn)練，學(xué)習(xí)樣本深層特征，直至在輸出層得到分類結(jié)果。

2）為減少計(jì)算復(fù)雜度，采用最小二乘支持向量機(jī)方法，并結(jié)合在高維特征空間尋找樣本近似最大線性無關(guān)集合的稀疏理論，獲得樣本的稀疏性，依此構(gòu)建深度稀疏最小二乘支持向量機(jī)網(wǎng)絡(luò)，提高了診斷效率，并保證了良好的診斷結(jié)果。

3）將提出的方法分別用于風(fēng)機(jī)軸承故障診斷以及兩組UCI數(shù)據(jù)集的分類，并對比SVM，SLSS-VM，DSVM，DSLSSVM和卷積神經(jīng)網(wǎng)絡(luò)CNN等方法，診斷結(jié)果表明，綜合考慮準(zhǔn)確率和診斷效率，所提出的方法相對于其他的幾種方法性能更佳。

4）針對3層及以上DSLSSVM做了進(jìn)一步討論。對風(fēng)機(jī)軸承故障診斷的診斷結(jié)果表明，3層及以上網(wǎng)絡(luò)仍然具有良好的診斷結(jié)果，但由于層數(shù)增加，診斷效率不可避免地有所下降。

參考文獻(xiàn)：

[1] 邵繼業(yè)，謝昭靈，楊 瑞，基于GA-PSO優(yōu)化BP神經(jīng)網(wǎng)絡(luò)的壓縮機(jī)氣閥故障診斷[J].電子科技大學(xué)學(xué)報，2018， 47（05）：781-787，

Shao Jiye， Xie Zhaoling， Yang Rui. Fault diagnosis ofcompressor gas valve based on BP neural network of aparticle swarm genetic algorithm[J]. Journal of Uni-versity of Electronic Science and Technology of China，2018， 47（05）：781-787.

[2] 崔 江，唐軍祥，張卓然，等，基于極限學(xué)習(xí)機(jī)的航空發(fā)電機(jī)旋轉(zhuǎn)整流器快速故障分類方法研究[J].中國電機(jī)工程學(xué)報，2018，38（08）：2458-2466.

Cui Jiang， Tang Junxiang， Zhang Zhuoran， et al.Fastfault classification method research of aircraft genera-tor rotating rectifier based on extreme learning ma-chine[J]. Proceedings of the CSEE， 2018， 38（08）：2458-2466.

[3] 王文濤，深度學(xué)習(xí)結(jié)合支持向量機(jī)在人臉表情識別中的應(yīng)用研究[D].西安：長安大學(xué).2016.

Wang Wentao. Studies on application of deep learningcombined with support vector machine in facial expres-sion recognition[D]. Xi' an： Chang' an University，2016.

[4] 李永波，徐敏強(qiáng)，趙海洋，等，基于層次模糊熵和改進(jìn)支持向量機(jī)的軸承診斷方法研究[J].振動工程學(xué)報，2016，29（01）：184-192.

Li Yongbo， Xu Minqiang， Zhao Haiyang， et al. Astudy on rolling bearing fault diagnosis method basedon hierarchical fuzzy entropy and ISVM-BT[J]. Jour-nal of Vibration Engineering， 2016，29（01）：184-192.

[5] 吐松江·卡日，高文勝，張紫薇，等，基于支持向量機(jī)和遺傳算法的變壓器故障診斷[J].清華大學(xué)學(xué)報（自然科學(xué)版），2018， （7）：623-629.

Kari.Tusongjiang， Gao Wensheng， Zhang Ziwei， eta1. Power transformer fault diagnosis based on a sup-port vector machine and a genetic algorithm[J]. Jour-nal of Tsinghua University （Science and Technology），2018，（7）：623-629.

[6] 王 新，閆文源，基于變分模態(tài)分解和SVM的滾動軸承故障診斷[J].振動與沖擊，2017，36 （18）：252-256.

Wang Xin， Yan Wenyuan. Fault diagnosis of rollerbearings based on the variational mode decompositionand SVM[J]. Journal of Vibration and Shock， 2017，36 （18）：252-256.

[7] Abdullah A， Veltkamp R C， Wiering M A.An en-semble of deep support vector machines for image cat-egorization[C]. International Conference of IEEE SoftComputing and Pattern Recognition， SOCPAR' 09，2009：301-306.

[8] Tamilselvan P， Wang P. Failure diagnosis using deepbelief learning based health state classification[J]. Re-liability Engineering&Systems Safety， 2013，115（7）：124-135.

[9] Tran V T， AIThobiani F， Ball A. An approach tofault diagnosis of reciprocating compressor valves u—sing Teager-Kaiser energy operator and deep beliefnetworks[J]. Expert Systems with Applications，2014， 41（9）：4113-4122.

[10] Shao H， Jiang H， Zhang X，et al.Rolling bearing faultdiagnosis using an optimization deep belief network[J]. Measurement Science and Technology， 2015， 26（11）：115002-115018.

[11] Jia F， Lei Y G，Lin J，et al.Deep neural networks：Apromising tool for fault characteristic mining and intel-ligent diagnosis of rotating machinery with massive da-to[J]. Mechanical Systems and Signal Processing，2015，2：303-315.

[12]焦李成，趙 進(jìn)，楊淑媛，等，深度學(xué)習(xí)、優(yōu)化與識別[M].北京：清華大學(xué)出版社，2017：116-117.

Jiao Licheng， Zhao Jin， Yang Shuyuan， et al. DeepLearning， Optimization and Recognition[M]. Beijing：Tsinghua University Press， 2017：116-117.

[13] July.支持向量機(jī)通俗導(dǎo)論[EB/OL]. https：//blog.csdn.net/macyanglarticleldetailsl38782399/. 2014.

[14] Hinton G E， Osindero S，Teh Y W.A fast learningalgorithm for deep belief nets[J]. Neural Computa-tion， 2006， 18（7）：1527-1554.

[15] Wiering M A， Schomaker L R B.Multi-Layer SupportVector Machines[M]. Regularization， Optimization，Kernels， and Support Vector Machines. Chapman&H a11，2 014.

[16]陳圣磊，陳 耿，薛 暉，最小二乘支持向量機(jī)分類的稀疏化方法研究[J].計(jì)算機(jī)工程，2011， 37（22）：14 5-147.

Chen Shenglei， Chen Geng， Xue Hui. Research onsparsification approach for least squares support vectormachine classification[J]. Computer Engineering，2011，37（22）：145-147.

[17]甘良志，孫宗海，孫優(yōu)賢，稀疏最小二乘支持向量機(jī)[J].浙江大學(xué)學(xué)報（工學(xué)版），2007，（02）：245-248.

Gan Liangzhi， Sun Zonghai， Sun Youxian. Sparseleast squares support vector machine[J]. Journal ofZhejiang University（Engineering Science）， 2007，（02）：245-248.

[18]陳 昌，湯寶平，呂中亮，基于威布爾分布及最小二乘支持向量機(jī)的滾動軸承退化趨勢預(yù)測[J].振動與沖擊，2014， 33（20）：52-56.

Chen Chang， Tang Baoping， Lv Zhongliang. Degrada-tion trend prediction of rolling bearings based onWeibull distribution and least squares support vectormachine[J]. Journal of Vibration and Shock， 2014， 33（20）：52-56.

[19] UCI Machine Learning Repository[EB/OL]. https：//arehive. ies.uei.edu/ml/index.php.2018.05.08.