面向類不均衡數據的多任務博弈概率分類向量機*

潘海洋,李丙新,鄭近德,童靳于

(安徽工業(yè)大學 機械工程學院,安徽 馬鞍山 243032)

0 引 言

滾動軸承作為機械設備不可或缺的組成部分之一,被廣泛應用于工業(yè)領域中。由于很多滾動軸承處于高速、重載等復雜工況下,致使其成為最易發(fā)生故障的零件之一。根據CERRADA M等人的統計,滾動軸承故障在旋轉機械總故障中占比40%左右[1-3]。因此,開展?jié)L動軸承狀態(tài)監(jiān)測與診斷對提高機械設備的可靠性與安全性具有重要意義。

近年來,基于數據驅動的智能故障診斷方法在滾動軸承故障診斷中得到廣泛應用[4-5],如人工神經網絡(artificial neural network,ANN)算法、支持向量機(support vector machine,SVM)、相關向量機(relevance vector machine,RVM)等方法。人工神經網絡是一種基于人體大腦神經的復雜網絡系統,擁有較強的容錯性和判斷能力,被廣泛應用于故障診斷領域。但是,ANN及其改進算法基于經驗風險最小化建立優(yōu)化目標,容易陷入局部最優(yōu)。SVM不同于神經網絡算法,其基于結構風險最小化原則,通過求解凸優(yōu)化問題可以獲得全局唯一解,從而解決了局部最優(yōu)問題[6]。

由于SVM具有優(yōu)越的分類能力,相關學者提出了多種SVM演生算法,如,LI Yan-meng等人[7]提出了一種孿生支持向量機(twin support vector machine,TWSVM)方法,其通過構造一對非平行超平面,解決了SVM中計算復雜度過高的問題;但處理大規(guī)模數據集時,TWSVM存在耗時的問題。CHEN Su-gen等人[8]提出了一種基于最小二乘支持向量機的故障診斷模型,其采用免疫算法克服了易陷入局部最優(yōu)的不足;但其對離群點仍較為敏感,導致模型泛化性能下降。此外,SVM及其改進算法易受Mercer定理的限制,且預測結果缺少后驗概率,使其不具統計意義,制約著算法的進一步發(fā)展。

在理想情況下,研究者通常希望模型能夠用于估計條件分布,以更好地捕捉預測中的不確定性。但是,SVM提供的是“硬”的二元決策,只能給出明確的分類結果,難以利用結果觀測獲得分類的理想準確度[9-11]。基于此,相關學者提出了一種基于貝葉斯理論的統計學分類算法,即相關向量機[12]。RVM既可以實現概率性預測,也不受制于Mercer定理,且稀疏性和泛化能力明顯優(yōu)于SVM;但RVM仍存在一些不足[13],如大量樣本下訓練時間過長,使得模型訓練學習速度下降;噪聲對模型構建造成影響,降低分類精度,使得模型魯棒性變差;使用單一核函數對全部數據進行映射時存在局限性等。

為了解決上述問題,YANG Zheng-rong[14]提出了一種快速訓練方法,其采用Gram-Schmidt算法剔除一些依賴性點以減少訓練樣本的數量,解決了RVM在大規(guī)模訓練集上訓練時間過長的問題;但易受數據集影響而導致分類性能下降。王波等人[15]提出了一種基于多核多分類相關向量機的多特征融合智能故障診斷方法,其采用加權求和融合多種特征信息的方法,解決了不同特征直接融合導致的維數增高的問題;但其迭代運行時間較長,時效性有待提高。此外,RVM及其改進算法仍存在使用零均值高斯分布導致基樣本不可靠的問題,增加了模型的不穩(wěn)定性[16]。針對上述問題,CHEN Huan-huan等人[17]進一步提出了概率分類向量機(probabilistic classification vector machine,PCVM),采用了截斷高斯先驗方法,不僅使得樣本參數的正負與對應的標簽信息相同,而且使權重向量產生稀疏估計,降低了模型的復雜性。因此,相比于SVM和RVM,PCVM的輸出結果不僅具有概率統計意義,而且還具有稀疏性和穩(wěn)定性;但面對數據不平衡分類問題時,PCVM的分類性能表現欠佳。

工程實際中,機器運行大多處于正常工作狀態(tài),故障樣本的獲取極為困難,呈現出不均衡特點。由于SVM、RVM和PCVM方法在建模時沒有考慮類不均衡分類問題,致使其建立的模型出現偏向性,即分類傾向于多數類樣本[18-20]。

針對上述問題,基于稀疏貝葉斯理論、模糊隸屬度等理論,筆者提出一種MGPCVM模型。

通過在目標函數中構建博弈約束項,基于樣本質心和樣本不平衡比等信息,給出一系列不同樣本質心敏感值,使不同類別的樣本點具有不同的樣本質心敏感值;并利用兩個不同的滾動軸承故障數據集進行實驗分析,最后對MGPCVM方法的故障診斷分類性能進行驗證。

1 多任務博弈概率分類向量機

MGPCVM是一種基于稀疏貝葉斯理論的核函數學習方法,其通過引入截斷高斯先驗、模糊隸屬理論等使模型實現稀疏性,并為不同類樣本點賦予不同的樣本質心敏感值,消除了數據不平衡對模型構建造成的影響。

(1)

式中:Φθ(x)為基函數(核函數)向量,表達式為Φθ(x)=(φ1,θ(x),…,φN,θ(x));ω為模型權重向量,ω=(ω1,…,ωi)T,每個元素ωi均服從截斷高斯先驗;b為偏置,服從零均值高斯先驗。表達式如下:

(2)

對上式進一步化簡可得:

(3)

式中:α為截斷高斯分布的逆方差;β為標準高斯分布的逆方差。

筆者采用高斯核函數作為基函數,其一般形式表示如下:

(4)

式中:θ為基函數(核函數)的參數。

為了使數值輸出轉化為概率輸出,MGPCVM使用了標準高斯累積分布函數作為概率鏈接函數,將實數映射到[0,1]之間。其公式表示如下:

(5)

在概率模型中,筆者在稀疏預測模型Φθ(x)ω+b附加一個噪聲ξ～N(0,1),以增強模型魯棒性。模型hθ=Φθ(x)ω+b+ξ≥0時,樣本屬于正類的概率大于樣本屬于負類的概率,即樣本屬于正類的概率大于0.5;若hθ<0,則樣本屬于負類的概率大于0.5。由于ξ為一個觀測不到的變量,故hθ為隱變量。

關于Hθ的似然函數表示如下:

p(Hθ|ω,b)=

(6)

式中:I為元素全為1的N維向量;sn為樣本質心敏感值;sn(Hθ-(Φθω+bI))為博弈約束項。

其中:Φθ(xi)=(φθ(x1,xi),…,φθ(xN,xi)),Φθ=(Φθ(x1)T,…,Φθ(xN)T)T,Hθ=(hθ(x1),…,hθ(xN))T。

(7)

式中:IR為負類樣本數與正類樣本數的比值,表示不平衡比;d1為樣本點與正類(少數類)樣本質心的歐氏距離;d2為樣本點與負類(多數類)樣本質心的歐氏距離;d為兩類樣本質心之間的歐氏距離;r2為負類樣本與其同類樣本質心之間的最大距離;C0為一個常數,決定了指數函數的尺度。

由式(7)可以看出:根據負類樣本點相對于兩類樣本質心的位置,負類樣本質心敏感值取值范圍為1/(1+IR)到1,大小與IR有關;當d2=0時,負類樣本質心敏感值等于1,這使得d1=d;當樣本點最接近正類樣本質心時,即d1=0,導致d=r2,且離負類樣本質心最遠時,即d2=r2,負類數據點的樣本質心敏感值等于1/(1+IR)。

為了獲得完整的后驗分布,將α和β視為隱變量,此時存在hθ,α,β三個隱變量,則參數ω和b的后驗分布表達式表示如下:

(8)

取后驗分布的對數形式,公式表示如下:

logp(ω,b|y,Hθ,α,β)∝logp(Hθ|ω,b)+

logp(ω|α)+logp(b|β)∝-[sn(Hθ-(Φθω+

bI))]2-ωTAω-βb2

(9)

式中:A為對角矩陣,A=diag(α1,…,αN)。

為了求解參數ω和b的極大后驗估計,筆者采用期望最大化算法求解參數ω和b的后驗概率估計,并在此過程中使用共軛梯度法獲得最優(yōu)θ值。

因此,得到Q函數表示如下:

Q(ω,b|ωold,bold)=EHθ,α,β[logp(ω,b|y,Hθ,α,β)|y,

(10)

進一步獲得Q函數的偏導,表示如下:

(11)

(12)

(13)

式中:⊙為元素的哈達瑪矩陣乘法符號,表示矩陣對應位置的元素相乘。

令式(11)和式(12)等于0,求解得到的ω和b更新式表示如下:

(14)

ITdiag(s2)Φθω]

(15)

(16)

2 MGPCVM方法分類流程

為驗證MGPCVM方法的有效性,筆者將滾動軸承故障振動信號作為具體的研究對象。

MGPCVM方法分類流程圖如圖1所示。

圖1 MGPCVM方法分類流程圖

診斷過程可以分為以下幾個環(huán)節(jié):

1)滾動軸承振動信號由傳感器進行測量,并由數據采集系統進行采集;

2)對數據進行特征提取后,隨機分為訓練樣本和測試樣本;

3)對訓練樣本采用“一對一”策略完成多分類模型的構建,然后利用測試樣本驗證模型準確性,并給出診斷結果。

3 實驗與結果分析

筆者采用兩種不同的實驗臺獲得實驗數據:1)湖南大學錐齒輪-滾動軸承實驗平臺數據集;2)安徽工業(yè)大學滾動軸承故障模擬實驗臺數據。

筆者在滾動軸承正常、內圈故障、外圈故障和保持架故障(滾動體故障)4種類型中選取6種不同狀態(tài)進行實驗驗證。

兩種實驗臺的滾動軸承數據信息如表1所示。

表1 滾動軸承數據信息

3.1 湖南大學軸承故障實驗

為了驗證MGPCVM方法的優(yōu)越性,筆者首先采用湖南大學滾動軸承故障實驗數據集進行驗證。

湖南大學錐齒輪-滾動軸承實驗臺如圖2所示。

圖2 湖南大學錐齒輪-滾動軸承實驗臺

湖南大學滾動軸承數據集如表2所示。

表2 湖南大學滾動軸承數據集

滾動軸承每種運行狀態(tài)有150組數據,筆者將數據按2∶1劃分為訓練集和測試集。

為避免診斷結果的偶然性,筆者采取隨機選取訓練集的策略,在每種故障類型的150組樣本中,隨機抽取100組樣本作為訓練集,50組樣本作為測試集。

湖南大學軸承數據IR設置如表3所示。

表3 湖南大學軸承數據IR設置

為了客觀評價MGPCVM方法的性能,筆者將MGPCVM與SVM、TWSVM和PCVM進行了對比,并選擇準確率、F1-score、Kappa、Precision、Recall等評價指標來綜合評價模型的分類性能。在不同IR下進行5次實驗,并取平均值。

4種分類方法在不同評價指標下的對比如圖3所示。

圖3 4種分類方法在不同評價指標下的對比

從圖3(a)～圖3(e)可以看出:在5個模型評價指標下,IR值較大時,SVM、TWSVM和PCVM均未達到理想效果,而在樣本失衡時,MGPCVM仍具有較高的識別率。在不同IR實驗條件下,MGPCVM方法的分類性能均表現最好,優(yōu)于其他對比方法。其中,不平衡比最大時,即IR為10時,MGPCVM相較其他方法的效果最為顯著,MGPCVM平均分類準確率達到96.534%,而SVM、TWSVM和PCVM分類準確率為89.800%、92.066%和89.532%,分別提升了6.734%、4.468%和7.002%。隨著IR的降低,即類間平衡度提高,總體呈現上升趨勢,且4種分類方法分類性能的差距逐漸減小。

產生上述結果的原因在于:MGPCVM模型考慮到了每個樣本對樣本質心的敏感度,并使用基于距離的博弈約束項,對樣本賦予不同的樣本質心敏感值,少數類樣本敏感值為1,而多數類樣本綜合考慮其與同類樣本質心的距離以及異類樣本質心的距離,然后賦予不同的敏感值,進而能夠考慮并改善不平衡樣本對分類模型構建產生的影響。SVM、TWSVM和PCVM三種方法默認對所有樣本設置為1的敏感值,并未考慮到樣本的數量和距離等因素,使分類器的性能更偏向于多數類,降低了分類效果。

因此,實驗結果表明,該MGPCVM方法在樣本不均衡條件下的效果更加明顯。

3.2 安徽工業(yè)大學軸承故障模擬實驗

為了再次驗證MGPCVM方法的有效性,筆者擬選擇安徽工業(yè)大學滾動軸承故障模擬實驗數據進行實驗。

安徽工業(yè)大學滾動軸承故障模擬實驗臺如圖4所示。

圖4 安徽工業(yè)大學滾動軸承故障模擬實驗臺

安徽工業(yè)大學滾動軸承數據集描述如表4所示。

表4 安徽工業(yè)大學滾動軸承數據集描述

在每種故障類型的150組實驗數據樣本中,筆者隨機抽取100組樣本作為訓練集,50組樣本作為測試集。

安徽工業(yè)大學軸承數據IR設置如表5所示。

表5 安徽工業(yè)大學軸承數據IR設置

SVM、TWSVM、PCVM和MGPCVM 4種方法在不同IR下分類準確率如圖5所示。

圖5 4種方法在不同IR分類準確率

從圖5可以明顯看出:在不同的IR下,MGPCVM方法分類準確率保持在95%以上。當IR=10時,MGPCVM方法效果最為明顯,隨著IR降低,4種分類方法的準確率均呈現上升趨勢,且4種方法的準確率值之差逐漸縮小。

為了對MGPCVM方法進行綜合評價,筆者仍選擇準確率、F1-score、Kappa、Precision、Recall等評價指標評價的分類性能。

4種方法對比結果如表6所示。

表6列出了4種分類器在不同評價標準下的對比結果。

由表6可以看出:當IR=10時,MGPCVM平均分類準確率為95.868%,SVM、TWSVM和PCVM分類準確率為90.800%、91.800%和89.534%,分別提升了5.068%、4.068%和6.334%。

在F1-score、Kappa、Precision、Recall等評價指標下,PCVM的分類性能在4種方法中的表現最差,面對不平衡數據分類時,PCVM難以建立具有平衡性的預測模型,進而制約著分類性能;SVM的表現次之,其最優(yōu)超平面更加偏向于少數類,使得分類結果表現一般;TWSVM方法構造了兩個非平行的超平面,其優(yōu)化問題是使每個超平面更接近自己的類別而遠離另一個類別,故處理不平衡數據時,分類性能要優(yōu)于SVM,但忽略了不平衡樣本質心敏感值;MGPCVM模型綜合考慮樣本質心距離和不平衡比等信息,賦予不同樣本以不同的樣本質心敏感值,故分類表現理想且均為最優(yōu)。

綜上所述,在不同指標下,SVM、TWSVM、PCVM和MGPCVM的準確識別率均呈現上升趨勢,并且MGPCVM在不同的IR下表現最好,顯著優(yōu)于其他三種對比方法。

因此,通過以上兩個實驗分析,分析結果證明了MGPCVM分類方法的可行性和優(yōu)越性。

4 結束語

針對傳統分類模型對不平衡樣本數據分類難以達到理想效果的問題,筆者提出了MGPCVM模型,通過設計樣本質心博弈約束項,綜合考慮了樣本點距離及不平衡度等信息;為了驗證MGPCVM模型的有效性,針對湖南大學和安徽工業(yè)大學兩個軸承實驗臺數據進行了實驗。

研究結論如下:

1)MGPCVM模型通過賦予各類樣本不同的樣本質心敏感值,充分利用樣本間質心博弈信息,解決了傳統分類器針對不平衡數據集較弱的問題;

2)在貝葉斯推理過程中使用截斷高斯先驗,不僅可以獲得概率輸出結果,同時確保了樣本參數正負與標簽保持一致,且使樣本質心敏感值具備了稀疏性;

3)通過兩種實驗臺的滾動軸承故障數據實驗分析,在F1-score、Kappa、Precision、Recall等評價指標下,MGPCVM方法分類性能保持在95%～99%,優(yōu)于SVM、TWSVM和PCVM分類方法,有效地提高了非平衡數據分類精度。

然而,該模型存在訓練較長等不足之處,在后續(xù)的研究方向中,筆者將針對該模型的時間成本等問題進行研究,進一步提升分類模型的效率。