改進(jìn)RVM的裝備退化狀態(tài)預(yù)測(cè)方法*

逯程，徐廷學(xué)，張海軍，王天然

(海軍航空工程學(xué)院 兵器科學(xué)與技術(shù)系,山東 煙臺(tái) 264001)

0 引言

作為一種預(yù)測(cè)式的維修技術(shù)，視情維修(condition based maintenance, CBM)是未來維修保障方式發(fā)展的新趨勢(shì)[1]。末制導(dǎo)雷達(dá)是實(shí)現(xiàn)導(dǎo)彈精確制導(dǎo)的關(guān)鍵裝備，其性能退化狀態(tài)優(yōu)劣直接影響到作戰(zhàn)任務(wù)的完成，因此，裝備退化狀態(tài)預(yù)測(cè)研究對(duì)于CBM工作的開展具有十分重要的意義。

近年來，裝備退化狀態(tài)預(yù)測(cè)研究主要集中灰色理論、人工神經(jīng)網(wǎng)絡(luò)、云理論及相關(guān)向量機(jī)等技術(shù)領(lǐng)域[2-5]，但是裝備歷史測(cè)試數(shù)據(jù)往往存在小樣本、非線性及動(dòng)態(tài)不確定性等特點(diǎn)，傳統(tǒng)理論方法存在一定的局限性。相關(guān)向量機(jī)[6-7](relevance vector machine,RVM)是TIPPING于2001年提出的一種基于稀疏Bayes學(xué)習(xí)理論的機(jī)器學(xué)習(xí)新算法。與支持向量機(jī)(support vector machine,SVM)相比，其核函數(shù)不受Mercer條件的限制，選取更加靈活;參數(shù)設(shè)置簡(jiǎn)單，避免了復(fù)雜的附加參數(shù);解的稀疏性也遠(yuǎn)高于SVM，具有較好的泛化能力。

基于以上分析，為進(jìn)一步提高相關(guān)向量機(jī)模型的預(yù)測(cè)精度，提出了一種改進(jìn)RVM的裝備退化狀態(tài)預(yù)測(cè)方法。首先，通過構(gòu)建一種方差高斯核函數(shù)(variance Gauss kernel function,VGKF)來提高核函數(shù)的全局性能和泛化能力;然后通過借鑒混沌序列局域預(yù)測(cè)法中鄰近點(diǎn)個(gè)數(shù)的選取方法，利用H-Q準(zhǔn)則(Hannan-Quinn rule)對(duì)訓(xùn)練空間預(yù)測(cè)嵌入維數(shù)進(jìn)行優(yōu)化，避免了主觀選取的盲目性;最后提出一種線性搜索算法，優(yōu)化確定核參數(shù)值。通過末制導(dǎo)雷達(dá)裝備的預(yù)測(cè)實(shí)例對(duì)改進(jìn)RVM的預(yù)測(cè)性能進(jìn)行驗(yàn)證。

1 RVM 預(yù)測(cè)模型

RVM是一種非線性稀疏貝葉斯學(xué)習(xí)理論，其良好的泛化性能和較少的相關(guān)向量使其在預(yù)測(cè)領(lǐng)域取得了較好的應(yīng)用，其回歸模型原理如下：

ti=y(xi,ω)+εi,

(1)

式中：樣本Gaussian噪聲εi～N(0,σ2)。類似于SVM的表達(dá)式，將式(1)用一系列核函數(shù)可以表示為

(2)

式中：ω=(ω0，ω1，…,ωN)T為權(quán)參數(shù)向量;K(,)為核函數(shù)。

因此可以推斷出p(ti|xi)=N(ti|y(xi,ω),σ2)，即ti滿足ti～N(y(xi,ω),σ2)。為方便表達(dá)，引入一個(gè)超參數(shù)β=σ-2，則整個(gè)訓(xùn)練樣本數(shù)據(jù)組的似然函數(shù)表示為

(3)

式中：t=(t1,t2,…,tN)T;Φ∈RN×(N+1)為設(shè)計(jì)矩陣，定義為Φ=(φ(x1),φ(x2),…,φ(xN))T，基函數(shù)向量為φ(xi)=(1,K(xi,x1),…,K(xi,xN))T,i=1,2,…,N。

(4)

式中:在超參數(shù)α=(α1,α2,…,αN)中的每個(gè)αj都相互獨(dú)立且只與對(duì)應(yīng)的權(quán)值ωj相關(guān)。利用式(3)和式(4)，根據(jù)貝葉斯公式即可得到ω后驗(yàn)分布的表達(dá)式：

(5)

由于p(t|ω,β)和p(ω|α)均為Gaussian分布，二者乘積也同樣滿足該分布;而p(t|α,β)不含ω，可視作歸一化系數(shù)，式(5)改寫為

p(ω|t,α,β)=N(ω|μ,Σ),

(6)

均值矩陣μ和協(xié)方差矩陣Σ分別為

Σ=(βΦTΦ+A)-1，

(7)

μ=βΣΦTt，

(8)

式中：A=diag(α0,α1,…,αN)。

若要得到ω的后驗(yàn)分布，必須對(duì)2個(gè)影響參數(shù)β和αj進(jìn)行優(yōu)化，具體方法為最大化邊緣似然函數(shù)p(t|α,β)。對(duì)p(t|α,β)等號(hào)兩邊取對(duì)數(shù)得到目標(biāo)函數(shù)后，再根據(jù)目標(biāo)函數(shù)分別對(duì)αj和β求偏導(dǎo)并令導(dǎo)數(shù)為0，得到2個(gè)參數(shù)的迭代計(jì)算公式：

(9)

(10)

γj=1-αjΣjj,

(11)

式中：μj為μ的第j個(gè)元素；Σjj為協(xié)方差矩陣Σ第j個(gè)對(duì)角元。

對(duì)RVM模型進(jìn)行訓(xùn)練就是通過迭代計(jì)算不斷更新μ和Σ，直至參數(shù)收斂或達(dá)到最大迭代次數(shù)。

噪聲方差σ2也通過迭代算法求得

(12)

在超參數(shù)估計(jì)的收斂過程中，通過最大似然法得到αMP和σMP。若給定新的輸入值x*，則相應(yīng)預(yù)測(cè)輸出的概率分布服從Gaussian分布：

(13)

y*=μTφ(x*),

(14)

(15)

2 RVM回歸模型參數(shù)優(yōu)化

2.1 高斯核函數(shù)的改進(jìn)

通過在SVM基礎(chǔ)上把基于高斯過程中的Bayesian推理應(yīng)用到核理論上，RVM算法在先驗(yàn)參數(shù)的結(jié)構(gòu)下利用自相關(guān)判定理論(automatic relevance determination, ARD)移除不相關(guān)的樣本點(diǎn)，從而實(shí)現(xiàn)了模型的稀疏化[8]。雖然與SVM相比，RVM的核函數(shù)由于稀疏、較少的超參數(shù)而計(jì)算量大減，且脫離了Mercer條件的限制，但是預(yù)先確定的核函數(shù)性能依然會(huì)直接影響到RVM回歸預(yù)測(cè)的精度。

目前常用的核函數(shù)有高斯核函數(shù)、Laplace核函數(shù)、Cauchy核函數(shù)等。而高斯基核函數(shù)是目前應(yīng)用最廣泛的一種核函數(shù)，其標(biāo)準(zhǔn)形式定義為

式中：b為核寬度；N為訓(xùn)練樣本數(shù)。

作為一種基于距離方程的核函數(shù)，高斯核函數(shù)的測(cè)試點(diǎn)在由源空間映射到高維特征空間后往往會(huì)變得稀疏。只有當(dāng)核函數(shù)不僅能在測(cè)試點(diǎn)保持較快的衰減，而且在無限遠(yuǎn)處也能保持一定的衰減時(shí)，上述情況才能得到改變。然而高斯核函數(shù)只滿足前者，所以它是一種典型的局部核函數(shù)。近些年，很多學(xué)者通過構(gòu)造高斯核函數(shù)與全局性核函數(shù)組成的混合核來提高核函數(shù)的性能[9-11]，但在這個(gè)過程中又引入了多個(gè)參數(shù)變量，大大增加了RVM的計(jì)算復(fù)雜度。本文在高斯核函數(shù)的基礎(chǔ)上，通過構(gòu)造一種改進(jìn)的方差高斯核函數(shù)來提高RVM的性能。

可以觀察到在高斯核函數(shù)的標(biāo)準(zhǔn)形式里，所有的特征元素都利用相同的尺度因子來衡量，這一特性也使得具有大數(shù)值尺度范圍的特征要更占優(yōu)勢(shì)，這一局限性也嚴(yán)重影響了其在實(shí)用中的性能。為克服這一問題，我們使各特征元素進(jìn)行零均值歸一化并將其標(biāo)為單位標(biāo)準(zhǔn)差形式：

(16)

式中：μi和σi為特征向量的均值與標(biāo)準(zhǔn)差。將式(16)代入標(biāo)準(zhǔn)形式，將得到的結(jié)果改寫成核函數(shù)的形式，就產(chǎn)生了一個(gè)新的核函數(shù)，即

(17)

(18)

這樣構(gòu)造的核函數(shù)不僅滿足前文提到的2個(gè)條件，而且成功避免了未知參數(shù)的引入，另外在模型數(shù)據(jù)的輸入前也不需要數(shù)據(jù)的歸一化過程。

2.2 訓(xùn)練樣本空間維數(shù)的優(yōu)化

實(shí)現(xiàn)時(shí)間序列{x1,x2,…,xn}預(yù)測(cè)的關(guān)鍵在于尋找到滑動(dòng)時(shí)間窗口Xt={xt-1,xt-2,…,xt-m}與輸出Yt={Xt}之間的準(zhǔn)確映射f:Rm→R，t=m+1,m+2,…,n，m為預(yù)測(cè)嵌入維數(shù)。因此，參數(shù)m的確定對(duì)于預(yù)測(cè)建模的準(zhǔn)確性至關(guān)重要。為了克服m選取的主觀盲目性，本文基于混沌時(shí)序的局域預(yù)測(cè)法[12]中鄰近點(diǎn)個(gè)數(shù)選取的思想，對(duì)RVM的訓(xùn)練樣本空間最優(yōu)嵌入維數(shù)進(jìn)行了優(yōu)化，該方法適合小數(shù)據(jù)量的情況，具有計(jì)算簡(jiǎn)單和精度高的特點(diǎn)。

在鄰近點(diǎn)個(gè)數(shù)的確定過程中，本文基于Hannan-Quinn準(zhǔn)則[15]，過程如下：

首先對(duì)d給定一個(gè)寬泛的范圍d∈[dmin,dmax]，依次計(jì)算每個(gè)d值下的H-Q準(zhǔn)則值：

(19)

(20)

這一過程通過明確m=dopt將訓(xùn)練樣本的空間維數(shù)進(jìn)行了優(yōu)化，克服了以往僅憑主觀經(jīng)驗(yàn)和FPE準(zhǔn)則進(jìn)行回歸訓(xùn)練的不足，具有一定參考性和實(shí)用價(jià)值。

2.3 核參數(shù)優(yōu)化選擇

從2.1節(jié)改進(jìn)的高斯核函數(shù)中可以看出，核寬度b是唯一的核參數(shù)，而核參數(shù)核函數(shù)靈敏度關(guān)系密切，因此，對(duì)核參數(shù)進(jìn)行優(yōu)化確定具有重要意義。借鑒SVM核參數(shù)網(wǎng)格搜索優(yōu)化算法[16]的思想，本文提出一種更為快速簡(jiǎn)潔的RVM核參數(shù)線性搜索算法，具體過程如下：

(1) 考慮b的一個(gè)線性空間，令b∈{2-4，2-3，…，25}。

(2) 針對(duì)搜索空間的每一個(gè)b值，在訓(xùn)練數(shù)據(jù)集上通過k折交叉驗(yàn)證法對(duì)RVM進(jìn)行訓(xùn)練和測(cè)試，記錄每一個(gè)b值訓(xùn)練模型下的平均精度和平均相關(guān)向量數(shù)。

(3) 依據(jù)如下標(biāo)準(zhǔn)確定優(yōu)化核參數(shù)值：①選擇交叉驗(yàn)證平均精度最高情況下對(duì)應(yīng)的核參數(shù)值;②若選擇的參數(shù)值不唯一，則選擇出現(xiàn)最小平均相關(guān)向量數(shù)時(shí)對(duì)應(yīng)的核參數(shù)值;③若參數(shù)值仍不唯一，則選擇最大的參數(shù)值。

3 預(yù)測(cè)實(shí)例及分析

以某岸導(dǎo)部隊(duì)處于貯存狀態(tài)的導(dǎo)彈為例，從2009年初至2016年底，每季度進(jìn)行末制導(dǎo)雷達(dá)單元測(cè)試，獲得2個(gè)關(guān)鍵參數(shù)的32組測(cè)試數(shù)據(jù)，如表1所示，并以此為基礎(chǔ)驗(yàn)證本文改進(jìn)RVM模型的有效性。

表1 關(guān)鍵指標(biāo)參數(shù)測(cè)試數(shù)據(jù)

以前25組數(shù)據(jù)作為RVM的訓(xùn)練數(shù)據(jù)，后7組數(shù)據(jù)用來檢驗(yàn)?zāi)Ｐ偷念A(yù)測(cè)效果。通過H-Q準(zhǔn)則確定嵌入維數(shù)m=dopt=4，則相空間重構(gòu)后利用21個(gè)訓(xùn)練樣本進(jìn)行RVM的學(xué)習(xí)，進(jìn)一步比較VGKF核參數(shù)值與預(yù)測(cè)精度之間的關(guān)系，如圖1所示。從圖1中可以看出，RVM的性能受核參數(shù)值的影響，常規(guī)人為設(shè)置核寬度的方法會(huì)帶來較大的誤差，因此有必要優(yōu)化核參數(shù)值以提高預(yù)測(cè)精度。

確定2個(gè)參數(shù)對(duì)應(yīng)的核參數(shù)值分別為8和4，利用改進(jìn)RVM和標(biāo)準(zhǔn)RVM模型(高斯核寬度設(shè)置為1)對(duì)2個(gè)性能參數(shù)進(jìn)行預(yù)測(cè)，結(jié)果如圖2和圖3所示。

由表2可以看出，改進(jìn)RVM的預(yù)測(cè)MAPE要低于標(biāo)準(zhǔn)RVM模型，相關(guān)向量數(shù)也有所減少，說明其具有更好的預(yù)測(cè)性能，從而驗(yàn)證了本文方法的有效性和優(yōu)越性。

預(yù)測(cè)方法c1c2MAPE(%)nRVMAPE(%)nRVRVM1．8160．635改進(jìn)RVM0．7540．244

4 結(jié)束語

作為導(dǎo)彈裝備的核心組成部件，末制導(dǎo)雷達(dá)的退化狀態(tài)預(yù)測(cè)是導(dǎo)彈CBM工作的重要內(nèi)容。為了進(jìn)一步提高裝備退化狀態(tài)預(yù)測(cè)精度，實(shí)現(xiàn)精確化保障目標(biāo)，本文對(duì)RVM模型進(jìn)行了改進(jìn)，通過構(gòu)建方差高斯核函數(shù)來提高核函數(shù)的全局性能和泛化能力;然后利用H-Q準(zhǔn)則對(duì)訓(xùn)練空間預(yù)測(cè)嵌入維數(shù)進(jìn)行優(yōu)化，避免了其主觀選取的盲目性;并提出一種線性搜索算法，優(yōu)化確定核參數(shù)值。末制導(dǎo)雷達(dá)性能參數(shù)預(yù)測(cè)實(shí)例證明了改進(jìn)RVM具有更高的預(yù)測(cè)精度，且計(jì)算簡(jiǎn)便，具有不錯(cuò)的工程應(yīng)用前景。

參考文獻(xiàn)：

[1] 馬颯颯,賈希勝,夏良華.軍隊(duì)裝備維修工程CBM綜述[J].裝備學(xué)院學(xué)報(bào),2008,19(2):111-116.

MA Sa-sa,JIA Xi-sheng,XIA Liang-hua.Military Equipment Maintenance Engineering Review CBM[J].Journal of Institute of Equipment,2008,19(2):111-116.

[2] 李穎峰.改進(jìn)灰色模型在電力負(fù)荷預(yù)測(cè)中的應(yīng)用[J].電網(wǎng)與清潔能源,2009,25(3):10-11.

LI Ying-feng.The Application of Improved Grey Model in Power System Load Forecast[J].Power System and Clean Energy,2009,25(3):10-11.

[3] LI Dong-qin.Application of Support Vector Machine Regression Method in Prediction of Ship's Price Index[J].Ship & Ocean Engineering,2009,38(2):104-106.

[4] 朱建平.神經(jīng)網(wǎng)絡(luò)在電力負(fù)荷預(yù)測(cè)中的應(yīng)用研究[J].科技資訊,2015,13(23):32-32.

自我校引進(jìn)了數(shù)碼互動(dòng)系統(tǒng)應(yīng)用于形態(tài)實(shí)驗(yàn)學(xué)教學(xué)，對(duì)以下幾方面進(jìn)行了改革。建立六個(gè)顯微數(shù)碼互動(dòng)教室，建立大體標(biāo)本圖片庫，建立形態(tài)學(xué)考試題庫。六個(gè)數(shù)碼互動(dòng)教室中每間教室都配置40臺(tái)顯微鏡和40臺(tái)電腦，教師機(jī)總體操控投影儀，學(xué)生機(jī)和數(shù)碼顯微系統(tǒng)。

ZHU Jian-ping.Research on Application of Neural Network in Power Load Forecasting[J].Science and Technology Information,2015,13(23):32-32.

[5] 趙文邦,王少華,蒲膺中,等.基于云理論的裝備技術(shù)狀態(tài)預(yù)測(cè)[J].火力與指揮控制,2013,38(7):62-65.

ZHAO Wen-bang,WANG Shao-hua,PU Ying-zhong,et al.Research of Technical Condition Prediction of Equipment Based on Cloud Theory[J].Fire Control & Command Control,2013,38(7):62-65.

[6] TIPPING M E.Sparse Bayesian Learning and Relevance Vector Machine[J].Journal of Machine Learning Research,2001,1(3):211-244.

[7] SAMUI P,DIXON B.Application of Support Vector Machine and Relevance Vector Machine to Determine Evaporative Losses in Reservoirs[J].Hydrological Processes,2012,26(9):1361-1369.

[8] 周建寶.基于 RVM 的鋰離子電池剩余壽命預(yù)測(cè)方法研究[D].哈爾濱:哈爾濱工業(yè)大學(xué),2013.

ZHOU Jian-bao.Research on Prediction Method of Remaining Life of Lithiumion Battery Based on RVM[D].Harbin:Harbin Institute of Technology,2013.

[9] YU J.A Nonlinear Kernel Gaussian Mixture Model Based Inferential Monitoring Approach for Fault Detection and Diagnosis of Chemical Processes[J].Chemical Engineering Science,2012,68(1):506-519.

[10] WEI L,WEI B,WANG B.Text Classification Using Support Vector Machine with Mixture of Kernel[J].Journal of Software Engineering and Applications,2013,5(12):55.

[11] 段青,趙建國,馬艷.優(yōu)化組合核函數(shù)相關(guān)向量機(jī)電力負(fù)荷預(yù)測(cè)模型[J].電機(jī)與控制學(xué)報(bào),2010,14(6):33-38.

DUAN Qing,ZHAO Jian-guo,MA Yan.Optimized Combination Kernel Function Correlation Vector Machine Power Load Forecasting Model[J].Proceedings of the World’s Electric Power and Control,2010,14(6):33-38.

[12] 杜杰,曹一家,劉志堅(jiān),等.混沌時(shí)間序列的局域高階 Volterra 濾波器多步預(yù)測(cè)模型[J].物理學(xué)報(bào),2009,58(9):5997-6005.

DU Jie,CAO Yi-jia,LIU Zhi-jian,et al.A Multi-Step Prediction Model of Local High Order Volterra Filters with Chaotic Time Series[J].Acta Phys Sinica,2009,58(9):5997-6005.

[13] MENG Qing-fang,CHEN Yue-hui,PENG Yu-hua.Small-Time Scale Network Traffic Prediction Based on a Local Support Vector Machine Regression Model[J].Chinese Physics B,2009,18(6):2194-2199.

[14] BING Q,GONG B,YANG Z,et al.A Short-Term Traffic Flow Local Prediction Method of Combined Kernel Function Relevance Vector Machine[J].Journal of Harbin Institute of Technology,2017,49(3):144-149.

[15] HANNAN E J,QUINN B G.The Determination of the Order of an Autoregression[J].Journal of the Royal Statistical Society,1979,41(2):190-195.

[16] 劉祥樓,賈東旭,李輝,等.說話人識(shí)別中支持向量機(jī)核函數(shù)參數(shù)優(yōu)化研究[J].科學(xué)技術(shù)與工程,2010,10(7):1669-1673.

LIU Xiang-lou,JIA Dong-xu,LI Hui,et al.Research on Kernel Parameter Optimization of Support Vector Machine in Speaker Recognition[J].Science Technology & Engineering,2010,10(7):1669-1673.