深度概率優(yōu)化的VAE軸承狀態(tài)評估

尹愛軍，陳小敏，譚 建，王 昱

(1.重慶大學(xué) 機(jī)械傳動國家重點(diǎn)實(shí)驗(yàn)室，機(jī)械工程學(xué)院，重慶 4000442.中國石油西南油氣田分公司重慶氣礦，重慶 400021)

軸承是通用機(jī)械中最常用的組件之一[1]，其工作狀態(tài)影響了各領(lǐng)域機(jī)械的壽命、性能、可靠性等。研究軸承的性能退化特征，建立其狀態(tài)評估模型是提升機(jī)械設(shè)備可靠性的關(guān)鍵。針對軸承狀態(tài)評估模型的建立，目前已有不少研究方法[2-6]。劉國增等[7]將小波包AR能量熵與平滑樣條方法相結(jié)合用于判定軸承的退化狀況。張小強(qiáng)等[8]基于人工免疫算法優(yōu)化離散隱馬爾科夫模型，以提高故障診斷精度。劉美芳等[9]融合貝葉斯推論和自組織映射，提出了基于負(fù)對數(shù)似然概率的軸承性能退化評估指標(biāo)。Pavle等[10]提出了一種基于Renyi熵的軸承故障預(yù)測方法。在現(xiàn)有的軸承狀態(tài)評估方法中，基于振動信號分析的評估模型需人為提取特征，但由于噪聲及非監(jiān)測部位的干擾，所提取的特征往往不夠全面；基于數(shù)據(jù)驅(qū)動機(jī)器學(xué)習(xí)的狀態(tài)評估模型存在著評估效果依賴模型參數(shù)程度高、對軸承早期故障不敏感、過度擬合等問題。

變分自編碼器(variational auto-encoder，VAE)提出的優(yōu)化算法及易優(yōu)化的隨機(jī)梯度評估器使其在訓(xùn)練小批量樣本上具備高效性，且無需人為提取數(shù)據(jù)特征。目前，VAE已經(jīng)成為最流行的無監(jiān)督學(xué)習(xí)方法之一[11]，被廣泛應(yīng)用在人臉圖像生成[12]、手寫數(shù)字生成[13]、語義分割[14]等方面。在機(jī)械故障檢測中，馬波等[15]以VAE變分證據(jù)下界表征出壓縮機(jī)組振動信號特征的分布模型，實(shí)現(xiàn)壓縮機(jī)組的故障預(yù)警，但當(dāng)樣本容量大于600組時，該方法對壓縮機(jī)組異常狀態(tài)的敏感性降低。由于VAE后驗(yàn)分布的簡化高斯假設(shè)以及通過優(yōu)化變分證據(jù)下界(evidence lower bound,ELBO)實(shí)現(xiàn)最大化邊緣概率密度，導(dǎo)致邊緣概率分布的估算值與真實(shí)值之間存在一定誤差，且當(dāng)樣本容量過大時，對異常數(shù)據(jù)的敏感度較低。

構(gòu)造豐富靈活的近似后驗(yàn)分布有助于提高模型性能以及提供可靠的置信區(qū)間。已經(jīng)嘗試通過使用自回歸將近似后驗(yàn)視為條件分布鏈分解的方法來改善近似后驗(yàn)分布[16]。但由于真實(shí)后驗(yàn)分布的復(fù)雜度，上述方法仍具有局限性?；谏疃雀怕蕛?yōu)化(deep probability optimization，DPO)，考慮將分布變換引入VAE，通過構(gòu)造靈活復(fù)雜的近似后驗(yàn)分布來逼近真實(shí)后驗(yàn)分布。本文采用標(biāo)準(zhǔn)化流(normalizing flows，NF)完成分布變換過程，標(biāo)準(zhǔn)化流利用一系列可優(yōu)化的可逆映射，將原始分布轉(zhuǎn)換為任意復(fù)雜分布，可用于強(qiáng)化學(xué)習(xí)、變分推斷、生成模型等。如Salman等[17]提出了深度微分同態(tài)標(biāo)準(zhǔn)化流模型，能有效實(shí)現(xiàn)似然評估和靈活的密度估計。通過Normalizing Flows改進(jìn)VAE，很大程度上能捕獲真實(shí)后驗(yàn)分布。但VAE的邊緣概率密度值仍難以直接準(zhǔn)確估算，一般通過對數(shù)似然估計器核密度估計法(Kernel Density Estimation，KDE)來實(shí)現(xiàn)。但KDE由于先驗(yàn)分布和真實(shí)后驗(yàn)分布有著較大差異，在高維數(shù)據(jù)中估計的準(zhǔn)確率較低?？紤]通過優(yōu)化采樣算法優(yōu)化邊緣概率密度計算過程，其中退火重要性采樣(annealed importance sampling，AIS)在估計基于解碼的生成模型的概率分布中，有著較高的準(zhǔn)確率，主要應(yīng)用在估計狀態(tài)期望以及歸一化常數(shù)等方面[18],如Wu等[19]基于AIS實(shí)現(xiàn)手寫數(shù)字圖像的識別。

本文將分布變換引入到VAE中并融合優(yōu)化采樣算法，提出面向振動信號頻譜特性的VAE-DPO軸承健康狀態(tài)評估模型，該模型以頻譜的邊緣概率密度作為軸承健康評價指標(biāo)。基于深度概率優(yōu)化，針對VAE后驗(yàn)分布的簡化高斯假設(shè)，利用分布變換優(yōu)化近似后驗(yàn)分布，并通過Normalizing Flows實(shí)現(xiàn)，NF運(yùn)用可優(yōu)化的雙射變換來構(gòu)造豐富靈活的近似后驗(yàn)分布，最后利用優(yōu)化采樣算法中的AIS實(shí)現(xiàn)邊緣概率密度的優(yōu)化計算。通過滾動軸承狀態(tài)評估實(shí)例驗(yàn)證了該模型在軸承狀態(tài)評估中的有效性及良好的早期敏感性。

1 VAE

VAE有向概率圖如圖1所示。實(shí)線為生成模型pθ(z)pθ(x(j)|z)，虛線表示近似后驗(yàn)分布qφ(z|x(j))到真實(shí)后驗(yàn)分布pθ(z|x(j))，N表示推斷的次數(shù)。

圖1 VAE有向概率圖Fig.1 Directed probability chart of VAE

VAE試圖通過訓(xùn)練將生成的每個x(j)的概率最大化x(j)，即極大化概率密度函數(shù)pθ(x(j))的似然概率：

(1)

式中：指定先驗(yàn)分布pθ(z)=N(z;0,I)，I為單元陣，Ez～pθ(z)[pθ(x(j)|z)]表示pθ(x(j)|z)的期望。VAE利用衡量兩分布之間差異程度的KL散度，將優(yōu)化目標(biāo)極大化lgpθ(x(j))轉(zhuǎn)為極大化變分證據(jù)下界函數(shù)L(θ,φ;x(j))：

L(θ,φ;x(j))=Εz～qφ(z|x(j))[lgpθ(x(j)|z)]-DKL[qφ(z|x(j))‖pθ(z)]

(2)

式中：-Εz～qφ(z|x(j))[lgpθ(x(j)|z)]表示重構(gòu)誤差，DKL[qφ(z|x(j))‖pθ(z)]為KL散度損失，且qφ(z|x(j))=N(z;μ(j),(σ(j))2)。為解決參數(shù)φ在L(θ,φ;x(j))中不便于梯度計算的問題，VAE用輔助噪聲變量ε～N(0,I)實(shí)現(xiàn)重參數(shù)化技巧，即z=μ+σε。

2 基于VAE-DPO的軸承健康評估

2.1 深度優(yōu)化VAE近似后驗(yàn)分布

VAE變分推斷中，近似后驗(yàn)分布簡化為高斯分布，一般的高斯分布無法擬合足夠復(fù)雜的后驗(yàn)分布。通過分布變換構(gòu)造復(fù)雜靈活的VAE近似后驗(yàn)分布，改進(jìn)后的VAE有向概率圖如圖2。經(jīng)過一系列鏈?zhǔn)椒植甲儞Q，初始近似后驗(yàn)分布變換的更加復(fù)雜，能有效逼近真實(shí)后驗(yàn)分布，初始分布下的隱變量Z0被映射為Zk。其余部分與圖1概念相同。

圖2 VAE近似后驗(yàn)分布深度優(yōu)化后有向概率圖Fig.2 Directed probability chart after deep optimization of VAE approximate posterior distribution

本文應(yīng)用Normalizing Flows完成分布變換過程，標(biāo)準(zhǔn)化流通過參數(shù)化的可逆變換構(gòu)造復(fù)雜靈活分布。

經(jīng)由K次鏈?zhǔn)椒蔷€性變換序列f(z)=z+uh(wTz+b)，任意初始分布q0(z0)轉(zhuǎn)化為任意復(fù)雜連續(xù)分布qK(zK)：

zK=fK°…°f2f1(z0)

(3)

其中λ={w∈d,u∈d,b∈d}是需要學(xué)習(xí)的自由參數(shù)，h(·)是連續(xù)的非線性映射[20]。初始隨機(jī)變量z0變換為最終變量zK。

將Normalizing Flows運(yùn)用于變分推斷，使用長度為K鏈?zhǔn)接成鋐(z)，近似后驗(yàn)分布qφ(z|x(j))變換為更靈活的qK(zK)。初始分布q0(z0)=q0(z0|x(j))仍是簡單高斯分布N(z;μ(j),(σ(j))2)，利用深度神經(jīng)網(wǎng)絡(luò)建立從觀測數(shù)據(jù)X到初始分布q0(z0)的參數(shù)以及λ參數(shù)的映射。Normalizing Flows改寫式(2)變分證據(jù)下界，且轉(zhuǎn)換為在初始分布q0(z0)上的期望：

L(θ,φ;x(j))=Eqφ(z|x(j))[lgpθ(x(j),z)-lgqφ(z|x(j))]=

(4)

Normalizing Flows改進(jìn)VAE，獲得靈活豐富的近似后驗(yàn)分布，且僅需要對VAE做極小修改。

2.2 基于AIS的VAE邊緣概率密度評價指標(biāo)

由于邊緣概率密度p(x)難以直接計算，因此基于變分自編碼器的機(jī)械設(shè)備狀態(tài)評估方法通常將變分證據(jù)下界L(θ,φ;x(j))作為機(jī)械設(shè)備健康狀態(tài)指標(biāo)。然而直接以變分證據(jù)下界為優(yōu)化目標(biāo)，模型性能不理想，且可能造成優(yōu)化前后的先驗(yàn)分布差異較大。為優(yōu)化觀測數(shù)據(jù)x邊緣概率密度的計算，利用KDE、AIS等方法。但KDE無一系列中間過渡分布，在高維數(shù)據(jù)估計中準(zhǔn)確率較低。AIS將一系列中間分布逐漸轉(zhuǎn)變?yōu)槟繕?biāo)分布，通過馬爾科夫鏈躍遷進(jìn)行退火序列，定義重要性采樣，獲得后驗(yàn)分布樣本，實(shí)現(xiàn)對邊緣概率密度的優(yōu)化計算。

基于退火算法，設(shè)r0(z)=p(x,z)為目標(biāo)分布，VAE先驗(yàn)分布p(z)為AIS初始采樣分布ri(z)，定義中間分布：

ri(z)=p(z)p(x|z)βi

(5)

式中：0=βn<βn-1<…<β1<β0=1，βi單調(diào)遞增。設(shè)一系列分布gn，…g0，gi與ri成比例，且從gn采樣能生成一系列獨(dú)立的點(diǎn)。指定可逆馬爾可夫蒙特卡洛(MCMC)狀態(tài)轉(zhuǎn)移矩陣Ai(z,z′)，要求保持gi不變?；贏IS的p(x)估計從初始分布gn采樣一個初始狀態(tài)zn-1，并利用狀態(tài)轉(zhuǎn)移矩陣Ai不斷采樣下一個狀態(tài)，采樣的狀態(tài)zi服從中間分布ri。根據(jù)馬爾科夫鏈性質(zhì)，一系列平滑的采樣產(chǎn)生一系列點(diǎn)zn-1，zn-2，…z1，z0，從而得到權(quán)重:

(6)

(7)

2.3 VAE-DPO軸承狀態(tài)評估模型

人為提取振動信號特征會造成信息量的損失，而信號頻域幅值譜在歐式空間具有更為穩(wěn)定的概率分布，本文采用振動信號幅值譜作為觀測數(shù)據(jù)。所提出的基于深度概率優(yōu)化的評估模型通過建立振動信號頻譜的貝葉斯概率推斷模型并利用分布變換優(yōu)化分布，通過優(yōu)化采樣算法對振動信號頻譜高維空間中真實(shí)復(fù)雜概率分布的精確逼近，實(shí)現(xiàn)對振動信號狀態(tài)的定量評估。

VAE-DPO軸承健康狀態(tài)評估模型流程如圖3所示。

圖3 VAE-DPO軸承健康狀態(tài)評估流程Fig.3 VAE-DPO bearing condition evaluation process

1)為降低原始信號數(shù)據(jù)規(guī)模，并避免信息量的損失，將振動信號時域信號轉(zhuǎn)換為頻域信號X(f)。根據(jù)軸承退化規(guī)律，軸承服役過程為緩慢退化過程，在運(yùn)行初期其振動特性基本不變[21-22]。因?qū)颖緮?shù)據(jù)前期階段作為訓(xùn)練集用于學(xué)習(xí)健康狀態(tài)模型，測試集為所有樣本數(shù)據(jù)。

2)輸入訓(xùn)練集數(shù)據(jù)XA(f)，訓(xùn)練并優(yōu)化VAE模型參數(shù)，其中利用Normalizing Flows優(yōu)化近似后驗(yàn)分布。

3)輸入測試數(shù)據(jù)集振動信號全頻譜X(f)，傳入訓(xùn)練完畢且分布優(yōu)化后的VAE，并保存p(z)、p(x|z)參數(shù)。

4)接著AIS從p(z)中采樣初始值，利用接受-拒絕采樣方法實(shí)現(xiàn)中間分布樣本采樣，通過一系列中間分布過渡到目標(biāo)分布。由AIS權(quán)重期望值優(yōu)化計算軸承健康評價指標(biāo)p(x)，實(shí)現(xiàn)軸承健康狀態(tài)評估。

在運(yùn)行的前期階段軸承處于正常狀態(tài)，如圖3中x振動信號頻譜圖A階段。因此，A階段振動信號頻譜作為訓(xùn)練集，學(xué)習(xí)建立健康狀態(tài)模型。即輸入XA(f)后，使用Adam梯度優(yōu)化算法獲取軸承健康狀態(tài)下引入分布變換后VAE的最優(yōu)參數(shù)。在測試階段，將數(shù)據(jù)X(f)輸入改進(jìn)后的VAE模型，并保存相關(guān)參數(shù)后，AIS利用Metropolis-Hastings采樣樣本并同時以幾何平均形式的轉(zhuǎn)移中間分布過渡到目標(biāo)分布。計算權(quán)重的期望從而精確估計健康評價指標(biāo)p(x)，完成優(yōu)化計算過程，實(shí)現(xiàn)軸承健康狀態(tài)定量評估。

3 對比實(shí)驗(yàn)

為驗(yàn)證VAE-DPO模型及所提健康評估指標(biāo)對軸承狀態(tài)評估的有效性，采用Cincinnati大學(xué)IMS實(shí)驗(yàn)室開源滾動軸承加速退化實(shí)驗(yàn)的實(shí)驗(yàn)數(shù)據(jù)進(jìn)行對比實(shí)驗(yàn)[23]。試驗(yàn)臺轉(zhuǎn)速恒為2000RPM。采用加速度傳感器分別采集4個軸承振動信號數(shù)據(jù)，其中采樣頻率為20 kHz，每隔10 min采集一次。歷時9 840 min，軸承1出現(xiàn)故障，停止試驗(yàn)。VAE模型具體參數(shù)設(shè)置如表1。

表1 VAE模型參數(shù)設(shè)置Tab.1 Parameters setting up of VAE

軸承1在運(yùn)行9 840 min后出現(xiàn)外圈故障，利用其全壽命數(shù)據(jù)驗(yàn)證所提方法的有效性。軸承振動信號時域特征隨時間變化趨勢及與VAE-DPO模型對比如圖4。為使評估結(jié)果對比清晰，利用1減去歸一化處理后的評估指標(biāo)值。由時域特征退化曲線知，在軸承前期階段曲線保持穩(wěn)定，可以認(rèn)為軸承在前4 500 min未出現(xiàn)退化。因此，在模型訓(xùn)練階段采用前1 000 min數(shù)據(jù)，利用VAE學(xué)習(xí)建立軸承健康狀態(tài)模型；振動信號全頻譜數(shù)據(jù)為測試集，由此得到基于VAE-DPO模型的健康評估結(jié)果。

由圖4可以看出，VAE-DPO狀態(tài)評估趨勢與振動信號有效值、方根幅值一致，表明該模型的準(zhǔn)確性，能很好的表征出滾動軸承退化狀況的規(guī)律。相對有效值、方根幅值，VAE-DPO提早1 800 min產(chǎn)生變化，在約5 190 min時，曲線發(fā)生明顯上升走向。表明VAE-DPO相對傳統(tǒng)特征參數(shù)，能更早發(fā)現(xiàn)軸承早期退化狀態(tài)。

圖4 VAE-DPO與傳統(tǒng)健康模型評估結(jié)果對比Fig.4 Comparison of VAE-DPO and traditional health model evaluation results

為驗(yàn)證分布變換后的VAE近似后驗(yàn)分布更加靈活復(fù)雜，能表征真實(shí)的隱變量空間，比較Normalizing Flows改進(jìn)VAE模型前后的變分證據(jù)下界[24]。由軸承1時域特征變化趨勢，將軸承運(yùn)行全過程前4 200 min設(shè)為健康狀態(tài)，并取ELBO均值，退化時期選取5 190 min時刻對比，如表2。其中FVAE表示NF優(yōu)化后的VAE模型。

表2 變分證據(jù)下界比較Tab.2 Comparison of the evidence lower bound

VAE在健康狀態(tài)時ELBO值越大模型性能越好，在退化時期隱變量逐漸偏離原始分布，ELBO值降低。表2所示，F(xiàn)VAE的變分證據(jù)下界值在健康狀態(tài)時高于VAE，而在退化時期低于VAE。說明將分布變換引入VAE后，通過優(yōu)化分布改善了模型性能，能更有效的通過隱變量學(xué)習(xí)軸承振動信號頻譜潛在特征。

VAE-DPO、FVAE-KDE、VAE和VAE-AIS狀態(tài)評估方法效果對比如圖5所示。深度信念網(wǎng)絡(luò)DBN(Deep Belief Networks)、隱馬爾科夫HMM(Hidden Markov Model)、長短期記憶網(wǎng)絡(luò)LSTM(Long Short-Term Memory)[25]與VAE-DPO模型評估結(jié)果如圖6所示。

圖5 VAE-DPO、FVAE-KDE、VAE和VAE-AIS狀態(tài)評估結(jié)果對比Fig.5 Comparison of VAE-DPO、FVAE-KDE、VAE and VAE-AIS evaluation results

圖6 VAE-DPO、HMM、DBN和LSTM狀態(tài)評估結(jié)果對比Fig.6 Comparison of VAE-DPO、HMM、DBN and LSTM evaluation results

為量化各模型對軸承早期故障的檢測性能，利用原則分別計算各模型軸承退化狀態(tài)在前4 200 min的健康狀態(tài)評估指標(biāo)上界，超過此值即認(rèn)為軸承進(jìn)入早期退化時期，由此確定各模型發(fā)現(xiàn)軸承初始退化狀態(tài)時的時間，如表3所示。

表3 各模型早期退化狀態(tài)評估性能Tab.3 Early degradation state assessment performance of each model

圖5、圖6及表3表明，VAE在5 310 min時產(chǎn)生輕微變化，上升趨勢較平穩(wěn)，說明VAE模型直接以變分下界為評估指標(biāo)對軸承異常工況的敏感度較低。FVAE-KDE評估曲線在5 360 min時才發(fā)生突變，對軸承退化狀態(tài)較不敏感，尤其是軸承早期故障。說明AIS比KDE方法更能準(zhǔn)確估計邊緣概率密度。VAE-DPO比VAE-AIS模型早10分鐘進(jìn)入早期退化時期，且在軸承由健康狀態(tài)進(jìn)入早期退化階段曲線表現(xiàn)出明顯突變。表明NF通過優(yōu)化近似后驗(yàn)分布達(dá)到改進(jìn)VAE模型的目的。HMM和LSTM分別在5 320 min和5 370 min時才緩慢出現(xiàn)上升，雖然DBN在5 310 min時有較明顯的上升趨勢，但VAE-DPO在5 190 min便出現(xiàn)突變，曲線變化率明顯高于各個模型。表明VAE-DPO對于軸承早期退化狀態(tài)的敏感性均強(qiáng)于FVAE-KDE、VAE-AIS、VAE、HMM、DBN、LSTM。

圖7、圖8分別為軸承2、軸承4的退化對比實(shí)驗(yàn)圖，各模型量化的初始退化時間如圖9所示。

圖7 軸承2的VAE-DPO、HMM、DBN和LSTM狀態(tài)評估結(jié)果對比Fig.7 Comparison of VAE-DPO、HMM、DBN and LSTM evaluation results of bearing 2

圖8 軸承4的VAE-DPO、HMM、DBN和LSTM狀態(tài)評估結(jié)果對比Fig.8 Comparison of VAE-DPO、HMM、DBN and LSTM evaluation results of bearing 4

圖9 軸承2、4的各模型早期退化狀態(tài)評估性能Fig.9 Early degradation state assessment performance of each model of bearing 2 and 4

由圖7～圖9可知，對軸承2和軸承4，VAE-DPO模型同樣對其早期退化狀態(tài)更為敏感，且其曲線變化趨勢更清晰的說明軸承退化過程。

4 結(jié) 論

盡早發(fā)現(xiàn)軸承退化狀態(tài)，更易了解軸承故障的根本原因，有利于避免機(jī)械設(shè)備發(fā)生突發(fā)故障。本文基于深度概率優(yōu)化，引入分布變換到VAE中并結(jié)合優(yōu)化采樣算法AIS構(gòu)造VAE-DPO模型用于軸承健康狀態(tài)評估，進(jìn)而提出基于邊緣概率密度的健康評價指標(biāo)。VAE通過隱變量學(xué)習(xí)軸承振動信號頻譜數(shù)據(jù)的概率分布，但因?yàn)楹篁?yàn)分布的簡化假設(shè)，限制模型的表達(dá)能力。采用分布變換，通過Normalizing Flows使用一系列可逆映射變換，使近似后驗(yàn)分布足夠逼近真實(shí)后驗(yàn)分布，改善模型性能。由于邊緣概率密度的計算復(fù)雜性，本文利用優(yōu)化采樣算法中的AIS優(yōu)化計算振動信號邊緣概率密度，實(shí)現(xiàn)軸承健康狀態(tài)的評估。軸承退化對比實(shí)驗(yàn)表明，該模型充分發(fā)揮了VAE在提取振動信號頻譜概率分布特征方面、Normalizing Flows構(gòu)造靈活分布以及AIS通過采樣估計函數(shù)期望和逼近目標(biāo)分布的優(yōu)勢；且VAE-DPO模型無需人為提取特征及相關(guān)復(fù)雜參數(shù)的設(shè)置，避免提取特征時原始信號信息的損失，對早期退化也更為敏感，有效實(shí)現(xiàn)軸承退化狀態(tài)的定量評估。

本文研究分布變換優(yōu)化VAE近似后驗(yàn)分布，并采用標(biāo)準(zhǔn)化流實(shí)現(xiàn)；利用AIS獲得后驗(yàn)分布樣本，完成p(x)優(yōu)化計算。選取的方法過于局限，后續(xù)研究將著重考慮更多的流式結(jié)構(gòu)或網(wǎng)絡(luò)結(jié)構(gòu)應(yīng)用在優(yōu)化VAE近似后驗(yàn)分布中，以及其余似然估計方法用于p(x)的優(yōu)化計算。