基于aRVM的電子設備狀態(tài)在線預測方法

高明哲,許愛強，許 晴

(1.海軍航空工程學院 科研部, 山東 煙臺 264001； 2. 91635部隊， 北京 102200)

【信息科學與控制工程】

基于aRVM的電子設備狀態(tài)在線預測方法

高明哲1,許愛強1，許 晴2

(1.海軍航空工程學院 科研部, 山東 煙臺 264001； 2. 91635部隊， 北京 102200)

針對電子設備的狀態(tài)預測問題，提出一種基于自適應核學習相關(guān)向量機的在線狀態(tài)預測方法。所提方法將電子設備的狀態(tài)預測視為一個有監(jiān)督回歸問題。首先通過設備離線數(shù)據(jù)的后驗概率選擇最適合預測問題的基函數(shù)，然后采用離線數(shù)據(jù)訓練aRVM預測模型，最后在預測過程中通過對在線數(shù)據(jù)的增樣學習來動態(tài)更新模型參數(shù)。仿真預測實例與實例預測實驗的結(jié)果表明：所提方法相比傳統(tǒng)方法顯著提高了預測精度和在線訓練效率。

電子設備；狀態(tài)預測；相關(guān)向量機；在線訓練；自適應核學習

電子設備在使用期間伴隨著組成部件性能的退化往往會導致設備功能的下降、失效，甚至引起災難性后果。這類退化過程通常具有內(nèi)在的規(guī)律性，可通過預測方法對其健康狀態(tài)進行預測從而實現(xiàn)對設備的視情維修，這對減少故障損失、降低維修費用具有重大意義[1]?，F(xiàn)階段一種有效的預測方法是通過對設備歷史數(shù)據(jù)的時間序列進行趨勢外推，從而得到未來時刻設備的健康狀態(tài)[2]，這對數(shù)據(jù)序列的預測方法具有很高要求。文獻[2-8]分別將隱馬爾可夫鏈、灰色模型、最小二乘支持向量機、超限學習機和相關(guān)向量機等方法應用到電子設備的狀態(tài)預測中，其中基于相關(guān)向量機(relevance vector machine,RVM)的預測方法不但在小樣本訓練下?lián)碛袇?shù)設置簡單、預測精度高的優(yōu)勢，并且能夠給出預測結(jié)果的置信區(qū)間，具有廣闊的應用前景[8]，近年來在諸多預測領(lǐng)域中獲得了廣泛關(guān)注[10-12]。然而現(xiàn)實中的電子設備是一個時變系統(tǒng)，傳統(tǒng)RVM預測方法得到卻的是一個參數(shù)恒定的離線預測模型[13]，這導致了預測精度會隨著時間推移不斷降低。面對不斷更新的在線樣本，傳統(tǒng)RVM只能重新訓練預測模型以保持動態(tài)預測能力，極大的降低了預測效率。

自適應核學習相關(guān)向量機(relevance vector machine with adaptive kernel learning,aRVM)是Tzikas等[14]在增量學習方法[15]和平滑稀疏度先驗[16]的基礎(chǔ)上提出的一種改進的RVM建模方法，相比傳統(tǒng)RVM其主要改進在于：以增量學習的方式向模型中逐個添加訓練樣本，優(yōu)化計算復雜度；各相關(guān)向量對應的核參數(shù)可取不同的值以適應數(shù)據(jù)的局部特征，模型的靈活更強。aRVM采用的增量學習方法能夠在新樣本加入時在原有模型的基礎(chǔ)上快速更新模型參數(shù)，使得aRVM能夠拓展到在線預測中。

由于在線預測對預測精度以及實時性都具有較高的要求，影響相關(guān)向量機預測精度的主要因素之一是預測模型所采用的基函數(shù)類型以及基函數(shù)中核參數(shù)的取值。雖然aRVM能夠自適應求取最優(yōu)核參數(shù)，但對基函數(shù)類型的選擇缺乏明確的依據(jù)。鑒于此，本文對aRVM進行了改進，并提出一種基于aRVM的電子設備在線狀態(tài)預測方法。所提方法首先補充了aRVM模型基函數(shù)的選擇方法，在訓練前根據(jù)離線樣本的后驗概率自適應選擇最優(yōu)基函數(shù)。然后在訓練中針對在線樣本進行快速的增樣、減樣學習來自適應更新核參數(shù)，在保持模型稀疏型的同時提高動態(tài)預測能力。最后以雷達發(fā)射機狀態(tài)預測的仿真實驗和音頻放大器的實例預測實驗對該方法的性能進行驗證。

1 aRVM回歸原理

1.1 aRVM的模型

aRVM的基本模型如下[14]：

φ(x;θi)

(1)

式(1)中：φ(x;θi)為基函數(shù)；ω=(ω1,…,ωN)T為基函數(shù)的權(quán)值；θi為基函數(shù)的核參數(shù)。區(qū)別于傳統(tǒng)RVM，aRVM中各核參數(shù)θi可獨立選取不同的值。

訓練的目標是求得式(1)中各參數(shù)的值。由于訓練后的權(quán)值ω大部分為零，因此，aRVM模型最終是由少數(shù)權(quán)值為非零的相關(guān)向量(relevant vectors,RV)組成的一個稀疏模型。

p(t|ω,β)=N(t|Φω,B-1)

(2)

式(2)中：Φ=[φ1,φ2,…,φN]T，為N×(N+1)維基函數(shù)矩陣，φi=[1,φ(xi;θ1),φ(xi;θ2),…,φ(xi;θN)]T；B=βI。

為防止過擬合，針對每個權(quán)值ω，aRVM賦予其對應超參數(shù)α=(α1,…,αN)T作為先驗來控制模型的復雜度，二者滿足高斯分布：

(3)

根據(jù)貝葉斯定理可得ω的后驗概率滿足高斯分布：

(4)

式(4)中：μ=ΣΦTBt，Σ=(ΦTBΦ+A)-1，A=diag(α)。

超參數(shù)先驗概率p(t|α,β)的對數(shù)為：

L=logp(t|α,β)=

-1/2[Nlog2π+log|C|+tTC-1t]

(5)

式(5)中：C=B+ΦA(chǔ)-1ΦT。

aRVM對超參數(shù)α和β引入稀疏度先驗p(α|β)來控制模型有效參數(shù)的個數(shù)以防止過擬合[14]：

p(α|β)=∝exp(-ctrace(S))

(6)

式(6)中：S=ΦΣΦTB稱為平滑矩陣，矩陣S的跡trace(S)稱為S的自由度，用以表示模型參數(shù)的有效個數(shù)；c為稀疏度參數(shù)，本文中取log(N)/2。

RVM將權(quán)值ω邊緣化，從而使得模型的訓練問題簡化為求后驗概率p(α,β|t)關(guān)于參數(shù)α、β及θi最大值的問題。由于p(α,β|t)∝p(t|α,β)p(α|β)p(β)，則根據(jù)式(5)、(6)可得到超參數(shù)后驗概率p(α,β|t)的對數(shù)：

(7)

最終模型訓練的結(jié)果便是求得使LS最大的最優(yōu)超參數(shù)值[αMP,βMP,θMP]。

1.2 aRVM的訓練

為優(yōu)化計算復雜度， aRVM在訓練前將模型中所有的超參數(shù)初始化為α→∞，β取var(t)×0.1作為初始值，核參數(shù)θ在分布區(qū)間內(nèi)隨機選取初始值。此時模型內(nèi)參與運算的基函數(shù)集F為空。訓練開始后，針對每個樣本點，將其超參數(shù)αi設為[15]

(8)

(9)

核參數(shù)θi的最優(yōu)值為LS(αi)對其偏導數(shù)為零的解，可通過擬牛頓法中的BFGS(Broyden Fletcher Goldfarb Shanno )方法來獲得。

(10)

θi的更新值取θi=?LS/?φ(θi)=Dni，其中

D=B[(t-Φμ)μT-ΦΣ]+2cBΦΣAΣ

(11)

β則取偏導數(shù)

βctrace(ΣΦTΦ)

(12)

為零的數(shù)值解來更新[14]。

若更新后的出現(xiàn)αgt;1012的樣本點，則由式(3)的先驗約束可知該樣本點對于預測模型的貢獻趨于0，將其從F中剔除。遍歷所有的離線樣本之后，模型收斂得到一個稀疏的預測模型。

1.3aRVM的預測結(jié)果

模型訓練完成后，得到超參數(shù)的最優(yōu)值[αMP,βMP,θMP]。則對于新的輸入x*，模型輸出其目標值t*服從高斯分布：

(13)

其均值和方差分別為：

y*=μTφ(x*;θMP)

(14)

(15)

2 aRVM的改進

雖然aRVM本身依然是一種面向固定樣本的離線學習算法，但為減少訓練的計算復雜度而采用的增量學習方式使得 aRVM能夠拓展到在線訓練。由于影響RVM預測精度的主要因素是基函數(shù)的類型以及核參數(shù)的值，而aRVM卻缺乏相關(guān)的基函數(shù)選擇方法，因此本文對aRVM作出兩點改進：一方面通過在訓練前根據(jù)離線樣本的特點預先選擇預測模型的基函數(shù)類型；另一方面通過對在線樣本的增樣、減樣訓練來自適應更新模型參數(shù)和核參數(shù)。

2.1 基函數(shù)的選取

在核方法中，不同的核函數(shù)具有的特性并不相同，使得在不同的應用場合，核函數(shù)的性能表現(xiàn)差異很大[18]。因此，基函數(shù)的選擇是否合理對RVM的預測性能有直接影響。然而aRVM并沒有給出基函數(shù)的選擇方案，文獻[14]人為設定了基函數(shù)的類型，實際應用中不具備推廣性，而文獻[19]采用了5折交叉驗證方法確定基函數(shù)類型，極大的增加了模型的訓練時間。

(16)

式(16)中：K為計算Monte-Carlo平均時的采樣數(shù)；超參數(shù)在區(qū)間α∈[10-12,1012]、β∈[10-4,100]內(nèi)均勻取值。

在得到各類基函數(shù)的后驗概率LB后，取令LB最大的基函數(shù)作為訓練基函數(shù)φMP，并將LB最大時基函數(shù)對應的核參數(shù)值作為迭代初始時的核參數(shù)值θini?；陔x線樣本后驗概率的基函數(shù)選擇方法無需反復進行測試，相比交叉驗證方法能夠大幅度減少計算復雜度。

2.2 在線參數(shù)更新

(17)

(18)

若滿足學習條件：

(19)

則向當前模型的F中添加樣本(xm+i,tm+i)對應基函數(shù)，并按照式(10)～式(12)來更新參數(shù)α、θ、β。

之后以減樣的方式刪除超參數(shù)αgt;1012對應的基函數(shù)，保持模型稀疏性并得提高預測性能。

若不滿足式(19)的學習條件，則保持原有模型不變。當在線樣本序貫加入時，重復上述學習過程，在模型收斂后得到各參數(shù)的最優(yōu)值[αMP,βMP,θMP]，從而完成aRVM的在線訓練。

在線訓練的計算復雜度主要取決于過程變量Σ=(ΦTBΦ+A)-1中的求逆運算，傳統(tǒng)RVM起始迭代時的計算復雜度為O(N3)，N為所有離線和在線訓練樣本的總數(shù)，而在線aRVM在參數(shù)更新時每步迭代的計算復雜度為O(M3)，M為參與運算的基函數(shù)集F中的樣本數(shù)量，由于Mlt;lt;N，因此相比傳統(tǒng)RVM，aRVM在線訓練的計算復雜度大大降低。

3 電子設備的在線狀態(tài)預測

反映電子設備運行狀態(tài)的特征參量主要有電阻值、漏電流、輸出電壓、輸出電流等[1]。采用aRVM對電子設備進行在線狀態(tài)預測首先需要對特征參量序列進行相空間重構(gòu)，構(gòu)建輸入樣本與目標值的對應關(guān)系。

假設采集到的特征參數(shù)為一組隨時間變化的序列{s(t)|t=1,2,…,l}(l∈R)，根據(jù)Takens定理[8]，可在一個高維相空間上恢復該序列的后續(xù)演化規(guī)律，即存在一個非線性映射f:Rd→R，使得

s(n)=f([s(n-1),s(n-2),…,s(n-d)])

(20)

式(20)中：d為相空間嵌入維數(shù)。

由此可構(gòu)建aRVM訓練的輸入樣本和目標值：

(21)

(22)

式(21)中：X為aRVM的輸入樣本；t為對應的目標值。利用該樣本訓練aRVM，使預測模型逼近非線性映射f，從而對后續(xù)數(shù)據(jù){s(l+1),s(l+2),…}進行預測?；赼RVM的電子設備狀態(tài)在線預測流程如下：

步驟1 離線采集設備的狀態(tài)參量數(shù)據(jù)并按時間順序進行相空間重構(gòu)，生成aRVM的初始離線訓練樣本集；

步驟2 計算離線訓練樣本相對于各類基函數(shù)的后驗概率，選擇后驗概率值最大的基函數(shù)作為訓練基函數(shù)；

步驟3 將離線訓練樣本集輸入到aRVM，訓練后得到aRVM的初始離線預測模型；

步驟4 利用當前模型預測后續(xù)時刻的特征參量值，并將采集到的新數(shù)據(jù)輸入到預測模型中判斷是否滿足在線學習條件；

步驟5 對于滿足學習條件的新數(shù)據(jù)對其進行在線學習更新預測模型參數(shù)；

步驟6 根據(jù)預測模型得到狀態(tài)參量最新的動態(tài)預測結(jié)果，從而判斷被測設備后續(xù)的健康狀況。

4 仿真實驗

高壓電源作為雷達發(fā)射機的核心部件，其運行狀態(tài)直接關(guān)系到雷達發(fā)射機的可靠性。本文的仿真預測實驗以某型雷達發(fā)射機的高壓電源為對象，實驗數(shù)據(jù)源于文獻[1]中在雷達維修廠對該雷達發(fā)射機高壓電源等時間間隔采樣得到的40組紋波電壓數(shù)據(jù)，見表1。

表1 紋波電壓數(shù)據(jù)

由于電子設備采樣數(shù)據(jù)間隔較大，在短期預測的研究上已有文獻的研究成果主要集中于電子設備狀態(tài)的一步預測[2,4-8]，因此本文實驗也只針對一步預測。將aRVM的在線預測結(jié)果與基于優(yōu)化算法的傳統(tǒng)RVM[8]的預測結(jié)果進行對比，仿真實驗在CPU為Intel Xeon E3-1230v3，16G內(nèi)存的PC機上運行。相空間嵌入維數(shù)取5，重構(gòu)后生成樣本35組，將前15組作為離線訓練樣本。傳統(tǒng)RVM采用高斯核作為基函數(shù)[8]， 本文方法從一階多項式核(Poly1)、二階多項式核(Poly2)、高斯核(Gauss)和Morlet小波核四類基函數(shù)中自適應選擇基函數(shù)。四類基函數(shù)對應的后驗概率如表2所示，同時給出采用5折交叉驗證計算的四類基函數(shù)預測誤差作為參照。從表中可以看出，后驗概率的大小和預測誤差有直接的關(guān)系，本次實驗選擇了后驗概率最大的二階多項式核作為預測模型的基函數(shù)。

表2 基函數(shù)對應的交叉驗證誤差及后驗概率

圖1給出了兩種方法的預測結(jié)果。可以看出，本文所提方法的預測結(jié)果明顯優(yōu)于傳統(tǒng)RVM的離線預測結(jié)果，并且隨著時間推移，傳統(tǒng)RVM的預測曲線偏離實際值曲線的幅度越來越大，而本文方法依然保持了較高的預測精度，這是由于隨著時間的推移高壓電源的狀態(tài)也不斷發(fā)生變化，傳統(tǒng)RVM一成不變的預測模型已不能準確反映高壓電源的變化情況，因此導致了預測精度逐漸下降，而本文方法通過不斷更新模型參數(shù)來保持模型的動態(tài)預測能力，使得預測曲線更接近真實情況。表3給出了兩種方法的數(shù)據(jù)對比，從20個樣本均方根誤差的對比可以看出，本文方法的預測誤差僅為傳統(tǒng)RVM離線預測誤差的13.55%，預測精度大幅度高于傳統(tǒng)RVM。在模型的訓練時間上，雖然本文方法的總體訓練時間長于傳統(tǒng)RVM，但每次在線更新參數(shù)的平均訓練時間為2.38 ms，僅為傳統(tǒng)RVM訓練時間的16.7%。

圖1 預測結(jié)果

表3 兩種方法的性能對比

5 實例預測實驗

為驗證所提方法在實際應用中的性能，本文以50倍音頻放大器作為實驗對象設計了實例預測實驗，實驗環(huán)境如圖2所示。對于給定的激勵信號，該音頻放大器對其進行放大輸出，示波器在固定時間間隔下采集并記錄放大器的輸出電壓，溫度傳感器則監(jiān)控實驗過程中的設備溫度，防止設備過熱受損并分析溫度對輸出的影響。由于電子設備的可靠性較為穩(wěn)定，在無退化情況下輸出電壓的變化范圍十分微小，故本次實驗以緩慢變化的正弦信號作為激勵，模擬輸出電壓的漂移。實驗中采樣間隔取60 s，相空間重構(gòu)的嵌入維數(shù)取5，實驗過程共生成400組樣本，將前100組作為離線樣本對余下300個數(shù)據(jù)進行在線學習和預測，其他參數(shù)設置同第4節(jié)的仿真預測實驗相同。

圖2 實驗環(huán)境

本文預測方法和傳統(tǒng)RVM離線預測方法的預測曲線如圖3所示，可以看出，在實際應用中由于各類噪聲及測試設備誤差的影響，輸出信號存在一定的隨機波動，輸出電壓的實際值并不是一條平滑的曲線，傳統(tǒng)RVM的離線式預測隨著時間的推移仍然存在著預測誤差不斷變大的現(xiàn)象，而本文提出的預測方法則保持了較高的預測精度，預測曲線更接近真實值。表4給出了兩種方法的性能指標，在實際應用中，本文方法誤差僅為傳統(tǒng)RVM離線預測誤差的30.64%，并且本文方法在線更新參數(shù)的平均訓練時間僅為7.18 ms，大大小于傳統(tǒng)RVM的離線訓練時間。此外，本文方法自適應選擇了二階多項式核作為基函數(shù)，相比高斯核，二階多項式核的局部學習能力較弱而全局學習能力更強，在本次實例預測實驗中樣本帶有明顯的噪聲，高斯核較強的局部學習能力使得預測模型在訓練時傾向于對噪聲也進行解釋，更容易產(chǎn)生過擬合現(xiàn)象，故本文自適應選擇二階多項式核作為基函數(shù)使得預測模型具有更好的魯棒性。

圖3 預測結(jié)果

表4 兩種方法的性能對比

6 結(jié)論

本文提出一種基于aRVM的電子設備在線狀態(tài)預測方法，經(jīng)仿真實驗和實例實驗驗證表明：

1) 所提方法能夠根據(jù)離線樣本結(jié)構(gòu)自適應選擇最優(yōu)基函數(shù)，提高預測模型對樣本數(shù)據(jù)的表述能力；

2) 所提方法能夠在新樣本輸入時快速實現(xiàn)模型參數(shù)的在線更新，使模型保持動態(tài)預測的能力，進一步提高整體預測精度；

3) 所提方法在實際應用中對噪聲具有較好的魯棒性，保持了較高的預測精度，具有一定的實際應用價值。

[1] 許麗佳.電子系統(tǒng)的故障預測與健康管理技術(shù)研究[D].成都：電子科技大學,2009.

[2] 劉震,王厚軍,龍兵,等.一種基于加權(quán)隱馬爾可夫的自回歸狀態(tài)預測模型[J].電子學報,2009,37(10):2113-2118.

[3] 趙建忠,歐陽中輝,張磊,等.基于多智能體遺傳算法優(yōu)化的航空電子設備狀態(tài)組合預測[J].兵工學報,2016,37(4):727-734.

[4] 黃大榮,黃麗芬.灰色系統(tǒng)理論在故障預測中的應用現(xiàn)狀及其發(fā)展趨勢[J].火炮發(fā)射與控制學報,2009(3):88-92.

[5] 張弦,王宏力,張金生,等.狀態(tài)時間序列預測的貝葉斯最小二乘支持向量機方法[J].西安交通大學學報,2010,44(10):42-46.

[6] 趙玉剛,鞠建波,張經(jīng)偉.基于LIB-SVM的電子設備故障預測方法研究[J].計算機測量與控制,2015,23(6):1888-1891.

[7] 張弦,王宏力.局域極端學習機及其在狀態(tài)在線監(jiān)測中的應用[J].上海交通大學學報,2011,45(2):236-240.

[8] 范庚,馬登武,張繼軍,等.基于自適應RVM的電子裝備緩變故障預測方法[J].北京航空航天大學學報,2013,39(10):1319-1324.

[9] 湯巍,景博,黃以鋒,等.振動載荷下面向電子設備PHM的板級封裝潛在故障分析方法[J].電子學報,2016,44(4):944-951.

[10] 雷亞國,陳吳,李乃鵬,等.自適應多核組合相關(guān)向量機預測方法及其在機械設備剩余壽命預測中的應用[J].機械工程學報,2016,52(1):87-93.

[11] 張磊,李行善,于勁松,等.基于關(guān)聯(lián)向量機回歸的故障預測算法[J].系統(tǒng)工程與電子技術(shù),2010,32(7):1540-1543.

[12] 黃帥棟,衛(wèi)志農(nóng),高宗和,等.基于非負矩陣分解的相關(guān)向量機短期負荷預測模型[J].電力系統(tǒng)自動化,2012,36(11):62-66.

[13] TIPPING M E.Sparse bayesian learning and the relevance vector machine[J].Journal of Machine Learning Research,2001,1(3):211-244.

[14] TZIKAS D G,LIKAS A C,GALATSANOS N P.Sparse bayesian modeling with adaptive kernel learning[J].IEEE Transactions on Neural Networks,2009,20(6):926-37.

[15] TIPPING M E,FAUL A C.Fast Marginal Likelihood Maximisation for Sparse Bayesian Models[C]//International Workshop on Artificial Intelligence and Statistics,Key West,Florida,USA,2003:3-6.

[16] SCHMOLCK A,EVERSON R.Smooth relevance vector machine:a smoothness prior extension of the RVM[J].Machine Learning,2007,68(2):107-135(29).

[17] FAUL A C.Analysis of sparse bayesian learning[C]//Advances in Neural Information Processing Systems,Vancouver,British Columbia,Canada,2001:383-389.

[18] 汪洪橋,孫富春,蔡艷寧,等.多核學習方法[J].自動化學報,2010,36(8):1037-1050.

[19] 姚暢,陳后金,Yang,等.基于自適應核學習相關(guān)向量機的乳腺X線圖像微鈣化點簇處理方法研究[J].物理學報,2013,62(8):88702-088702.

[20] MACKAY D J C.Information theory,inference,and learning algorithms[J].Kybernetes,1972,50(10):640.

[21] TIPPING M E.Bayesian inference:an introduction to principles and practice in machine learning[J].Lecture Notes in Computer Science,2004,3176:41-62.

(責任編輯楊繼森)

OnlineConditionPredictionofElectronicEquipmentBasedonRelevanceVectorMachinewithAdaptiveKernelLearning

GAO Mingzhe1， XU Aiqiang1， XU Qing2

(1.Department of Scientific Research, Naval Aeronautical and Astronautical University, Yantai 264001, China; 2.The No. 91635thTroop of PLA, Beijing 102200, China)

Aimed at the condition prediction of electronic equipment, an online prediction method based on relevance vector machine with adaptive kernel learning(aRVM) is proposed. In the proposed method, the condition prediction of electronic equipment is formulated as a supervised-learning problem. Firstly, the basis function which is most suitable for prediction problem is selected according to the posterior probability of equipment offline data. Then the prediction model based on aRVM is trained by offline data. Finally, the parameters of the model are updated dynamically through incremental training of online samples in the prediction process. Experimental results of both simulation experiment and practical experiment indicate that the proposed method obviously outperforms the traditional one in both prediction accuracy and online training efficiency.

electronic equipment; status prediction; relevance vector machine; online training; adaptive kernel

2017-07-25；

2017-08-30

裝備預研基金資助項目(9140A27020214JB14435)

高明哲(1988—)，男，博士研究生，主要從事電子裝備的測試與故障診斷技術(shù)研究。

10.11809/scbgxb2017.11.024

本文引用格式：高明哲,許愛強，許晴.基于aRVM的電子設備狀態(tài)在線預測方法[J].兵器裝備工程學報，2017(11):108-113.

formatGAO Mingzhe，XU Aiqiang，XU Qing.Online Condition Prediction of Electronic Equipment Based on Relevance Vector Machine with Adaptive Kernel Learning[J].Journal of Ordnance Equipment Engineering,2017(11):108-113.

TP206

A

2096-2304(2017)11-0108-06