張丹丹
(中國民航大學(xué)電子信息與自動化學(xué)院 天津 300300)
淺談RVM核函數(shù)優(yōu)化算法比較
張丹丹
(中國民航大學(xué)電子信息與自動化學(xué)院 天津 300300)
相關(guān)向量機(RVM)預(yù)測模型是在2000年Tipped博士首次提出的基于貝葉斯框架構(gòu)建學(xué)習(xí)機的一種概率稀疏模型,而且RVM還能處理回歸以及分類問題。本文總結(jié)了相關(guān)向量機的基本原理及主要應(yīng)用領(lǐng)域,并詳細(xì)闡述了三種相關(guān)向量機核函數(shù)的優(yōu)化模型,而且說明了每一種RVM核函數(shù)優(yōu)化算法的優(yōu)點以及缺點,并作出比較。希望對研究者今后的研究有所啟發(fā),以促進(jìn)該領(lǐng)域的發(fā)展。
相關(guān)向量機;核函數(shù);優(yōu)化算法
RVM的訓(xùn)練是在貝葉斯框架下進(jìn)行的,可以用它進(jìn)行回歸及分類模式分析。RVM克服SVM缺點:RVM的關(guān)聯(lián)向量數(shù)要低于SVM,擁有更優(yōu)的泛化性能;能夠獲取點估計以及區(qū)間估計;不需要經(jīng)過多次的驗算獲得最優(yōu)的和C或ε類似的主觀設(shè)置值。與SVM類似的是RVM也利用核方法,把自變量映射到一個高維空間里面,獲得因變量和自變量線性回歸的稀疏解,然而核函數(shù)參數(shù)對RVM的性能會有很大的影響,怎樣方便快速地找到綜合性能最優(yōu)的核函數(shù)參數(shù)到現(xiàn)在依舊沒有解析解理論指導(dǎo),因為RVM的分類功能建立在回歸的基礎(chǔ)之上,本文嘗試使用了幾種算法獲取回歸綜合性能比較好的核參數(shù)數(shù)值解。
2.1 RVM核參數(shù)優(yōu)化的遺傳算法
遺傳算法是一類隨機優(yōu)化算法,模擬了自然選擇和遺傳中發(fā)生的復(fù)制、交叉和變異等現(xiàn)象,從任一初始種群出發(fā),通過隨機選擇、交叉和變異操作,得到一群更適應(yīng)環(huán)境的個體,使群體進(jìn)化到搜索空間中越來越好的區(qū)域,這樣不斷繁衍進(jìn)化,最后收斂到一群最適應(yīng)環(huán)境的個體,求得問題的最優(yōu)解。
以實驗Sinc的訓(xùn)練及測試數(shù)據(jù)為基礎(chǔ),使用Gauss核函數(shù),改進(jìn)Tipping的RVM實驗程序,以σ為自變量,test RMS作為因變量構(gòu)造適應(yīng)度函數(shù),利用Matlab7遺傳算法工具箱,通過實驗可以得到σ以較高的概率收斂在最優(yōu)值附近,采用多次計算或依據(jù)較優(yōu)解確定初始范圍的辦法,可以更準(zhǔn)確地獲取最優(yōu)解。
2.2 QPSO核函數(shù)優(yōu)化算法
受粒子群算法和量子力學(xué)的啟發(fā),Sun博士等人在2004年提出基于量子δ勢阱的粒子群模型的QPSO算法,該算法把量子行為引入到PSO算法里面,擁有全局收斂性,控制參數(shù)少,收斂速度快和尋優(yōu)能力強這些優(yōu)點。
采用高斯徑向基函數(shù)核函數(shù)作為RVM預(yù)測模型的核函數(shù),該核函數(shù)具有較強的非線性處理能力,定義為K(x,y)=exp(-(x-y)2/2γ2),γ為核寬度,其對預(yù)測模型具有很大的影響,QPSO優(yōu)化RVM預(yù)測模型核函數(shù)的大致步驟為:第一步初始化粒子初始位置、速度、粒子數(shù)量、尋優(yōu)范圍、迭代次數(shù)、學(xué)習(xí)因子;接下來根據(jù)公式計算每個粒子的fitness,得出每個粒子的最優(yōu)位置以及全局最優(yōu)位置;在得出mbest;對粒子位置進(jìn)行更新;然后判斷終止條件是否滿足條件,若不滿足,則繼續(xù)計算粒子的最優(yōu)位置以及全局最優(yōu)位置;若滿足條件則輸出尋優(yōu)得到的RVM核函數(shù)最佳核寬度因子γ。
通過實驗可以得出不同的核寬度因子對組合模型的預(yù)測影響。通過與真實值的比較可以發(fā)現(xiàn),不同的γ對數(shù)據(jù)預(yù)測的準(zhǔn)確性有很大的差異,當(dāng)是最佳值時,預(yù)測值非常逼近真實值,而隨著γ增大,預(yù)測曲線與真實曲線產(chǎn)生了更大的偏差,從而說明核參數(shù)優(yōu)化的重要性。
2.3 基于QGA優(yōu)化RVM核函數(shù)
選用高斯徑向基核函數(shù)作為RVM的基函數(shù)。QGA是在傳統(tǒng)GA中引入量子計算的概率以及機制形成的新型算法,充分使用量子計算具有天然的并行性,極大地加快了處理信息的速度。與傳統(tǒng)GA不同的是,QGA中的染色體用量子比特取代GA中的二進(jìn)制串,采用量子比特編碼,使得一個染色體可以同時表達(dá)多個量子態(tài)的疊加,即僅通過一個小數(shù)量種群的量子個體來代替?zhèn)鹘y(tǒng)數(shù)量較大的個體。此外,量子門操作這一獨特的處理步驟,使得QGA擁有良好的全局尋優(yōu)能力。QGA擁有更好的多樣性特征以及更佳的收斂性。因此,采用GA的改進(jìn)算法QGA自適應(yīng)地選取最優(yōu)核參數(shù)。
基于QGA優(yōu)化RVM核函數(shù)的步驟為:第一步初始化參數(shù)(種群數(shù)量、代數(shù)等);第二步核函數(shù)參數(shù)的量子比特編碼形成初始種群P(t);第三步:測量種群P(t)的各個個體形成二進(jìn)制種群Q(t);第四步:交叉驗證訓(xùn)練RVM;第五步:計算各個個體(待選參數(shù)值)的適應(yīng)度;第六步:保留最優(yōu)個體及對應(yīng)的適應(yīng)度為進(jìn)化目標(biāo);接下來判斷是否滿足終止條件,若不滿足則返回到第四步,若滿足則輸出RVM最優(yōu)核參數(shù)。
利用QGA優(yōu)化RVM的好處是為了能夠得到最好的分類準(zhǔn)確率。通過實驗可以表明QGA算法在測試過程中每次都能自動的選取到最好的核函數(shù)參數(shù),說明了QGA算法在優(yōu)化RVM過程中并行計算的優(yōu)勢。
RVM是貝葉斯框架下的新興統(tǒng)計學(xué)習(xí)方法,擁有一部分SVM所沒有的優(yōu)點。RVM使用核函數(shù)將回歸線性化,求得稀疏解,在現(xiàn)有核函數(shù)下避免過擬合,實驗表明核函數(shù)的參數(shù)對RVM回歸的綜合性能造成很大影響。介紹的三種優(yōu)化核函數(shù)的算法中,遺傳算法是一類隨機優(yōu)化算法,模擬了自然選擇和遺傳中發(fā)生的復(fù)制、交叉和變異等現(xiàn)象,經(jīng)過迭代進(jìn)化,最后收斂到一群最適應(yīng)環(huán)境的個體,自動但不茫然,高效率地求得問題的最優(yōu)解;QPSO算法將量子行為引入到PSO算法中,具有全局收斂性,控制參數(shù)少,收斂速度快以及尋優(yōu)能力強這些特點;QGA具有很好的全局尋優(yōu)能力、多樣性特征以及更好的收斂性。
[1]范庚,馬登武,張繼軍,等.基于自適應(yīng)RVM的電子系統(tǒng)緩變故障預(yù)測方法[J].北京航空航天大學(xué)學(xué)報,2013,39(10):1319~1324.
[2]Michael E.Tipping.The Relevance Vector Machine[J].Advances in Neural Information Processing Systems 12,652~658.Cambridge,Mass:MIT Press.
[3]白霜.基于PSO優(yōu)化混合RVM模型的進(jìn)出口貿(mào)易預(yù)測算法[J].計算機與自動化,2014,24(8):1006~2475.
[4]王波,劉樹林,蔣超,張宏利.基于量子遺傳算法優(yōu)化RVM的滾動軸承智能故障診斷振動與沖擊學(xué)報,2015,34(17):923~928.
[5]Wu Z,Guang N E.Ensemble empirical mode decomposition:A noise-assisted data analysis method[J].Advances inAdaptive Data Analysis,20091(1): 1~41.
P332.8
A
1004-7344(2016)20-0306-01
2016-7-1
張丹丹(1991-),女,河南人,碩士研究生,研究方向為故障檢測與診斷。