最小二乘支持向量機(jī)在線(xiàn)建模在預(yù)測(cè)控制中的應(yīng)用*

洪 洲

(廣州城市職業(yè)學(xué)院信息技術(shù)系，廣州510405)

最小二乘支持向量機(jī)在線(xiàn)建模在預(yù)測(cè)控制中的應(yīng)用*

洪 洲*

(廣州城市職業(yè)學(xué)院信息技術(shù)系，廣州510405)

針對(duì)智能預(yù)測(cè)控制中的預(yù)測(cè)模型，提出了最小二乘支持向量機(jī)(LS-SVM)在線(xiàn)模型的遞推算法，減少了矩陣求逆計(jì)算。當(dāng)模型達(dá)到較高的精度后，每次迭代過(guò)程中當(dāng)一個(gè)新的數(shù)據(jù)點(diǎn)加入到數(shù)據(jù)集，則把具有最小|αi|的數(shù)據(jù)點(diǎn)刪除。不但解決了數(shù)據(jù)集規(guī)模的問(wèn)題，而且提高了預(yù)測(cè)模型的精確性。通過(guò)仿真驗(yàn)證了基于在線(xiàn)LS-SVM模型的預(yù)測(cè)控制可以使系統(tǒng)快速、準(zhǔn)確地跟蹤期望輸出，達(dá)到預(yù)期的控制效果。

LS-SVM;在線(xiàn)建模;預(yù)測(cè)控制;預(yù)測(cè)模型

預(yù)測(cè)模型在工業(yè)過(guò)程的預(yù)測(cè)控制中起到舉足輕重的作用，模型的精確度越精確，優(yōu)化控制質(zhì)量就越高。:實(shí)際過(guò)程中，由于系統(tǒng)工作域的遷移，使得離線(xiàn)數(shù)據(jù)樣本所建立的模型并不能準(zhǔn)確描述系統(tǒng)的實(shí)際狀況.為了使模型能夠準(zhǔn)確反應(yīng)系統(tǒng)的當(dāng)前狀態(tài)，應(yīng)不斷利用所獲得的最新數(shù)據(jù)建立能夠反映系統(tǒng)當(dāng)前狀況的新模型.即采用在線(xiàn)建模的方法。

1 LS-SVM在線(xiàn)建模遞推算法

在LS-SVM中，用

來(lái)表示對(duì)象的模型，α和b是待定參數(shù)，求解方法是根據(jù)結(jié)構(gòu)風(fēng)險(xiǎn)最小化原則，并使樣本擬合誤差最小化，把約束優(yōu)化問(wèn)題變成無(wú)約束優(yōu)化問(wèn)題，建立Lagrange函數(shù)，根據(jù)KKT條件，可得到線(xiàn)性方程組:

其中γ為調(diào)整參數(shù)因子。

K(xi，xj)是滿(mǎn)足Mercer條件的核函數(shù)，常用的是徑向基函數(shù)。

通過(guò)訓(xùn)練數(shù)據(jù)集{(xi，yi)}Ni=1，求解方程(3)來(lái)確定參數(shù)α和b。

就在線(xiàn)建模而言，需要不間斷的增添新的數(shù)據(jù)到訓(xùn)練集中去，模型才可以實(shí)時(shí)的得以校正來(lái)適應(yīng)新的對(duì)象特性改變，所以訓(xùn)練數(shù)據(jù)會(huì)被增加。LSSVM需要計(jì)算矩陣Φ-1，該矩陣的維數(shù)與訓(xùn)練數(shù)據(jù)量相等，在線(xiàn)建模過(guò)程中，Φ維數(shù)必然隨著訓(xùn)練數(shù)據(jù)的增加而增長(zhǎng)，矩陣求逆計(jì)算量非常大，所以不適用于在線(xiàn)建模［1］。

為了LS-SVM應(yīng)用于在線(xiàn)建模，可采用一種遞推最小二乘支持向量機(jī)回歸算法:當(dāng)訓(xùn)練數(shù)據(jù)增加時(shí)，可采用上次計(jì)算得到的參數(shù)遞推得加入新數(shù)據(jù)后的參數(shù)，可以減少矩陣求逆計(jì)算［2］。具體算法如下:

假設(shè)數(shù)據(jù)集大小為N時(shí)得到的模型參考矩陣為ΘN=［b α］T，令PN=Φ-1N，當(dāng)一個(gè)新的數(shù)據(jù)點(diǎn){xN+1，yN+1}加入到數(shù)據(jù)集時(shí)

遞推LS-SVM算法避免了大矩陣求逆，節(jié)省了計(jì)算時(shí)間［3］。但模型參數(shù)維數(shù)是隨著訓(xùn)練數(shù)據(jù)線(xiàn)性增長(zhǎng)，同時(shí)要保存所有的訓(xùn)練數(shù)據(jù)和Φ-1N。對(duì)于連續(xù)運(yùn)行的對(duì)象，在線(xiàn)建模要進(jìn)行下去，關(guān)鍵的問(wèn)題是解決數(shù)據(jù)集規(guī)模的問(wèn)題［4］。

經(jīng)過(guò)一定量的遞推計(jì)算后，訓(xùn)練后的模型達(dá)到較高的精度后，建模過(guò)程應(yīng)保持訓(xùn)練數(shù)據(jù)集大小不變。即如果一個(gè)新的數(shù)據(jù)點(diǎn)加入到數(shù)據(jù)集，則同時(shí)刪除原數(shù)據(jù)集中的一個(gè)數(shù)據(jù)，數(shù)據(jù)集總量保持不變。數(shù)據(jù)集中對(duì)于建模的重要程度可通過(guò)Lagrange乘子絕度值的大小|αi|反映出來(lái)，|αi|越小，對(duì)建模越無(wú)關(guān)緊要。因此在每次迭代過(guò)程中，把具有最小|αi|的數(shù)據(jù)點(diǎn)刪除［5］。具體算法如下:

假定當(dāng)前的數(shù)據(jù)集為{(xi，yi)}Ni=1，令

當(dāng)數(shù)據(jù)集中最后一組數(shù)據(jù){xN+1，yN+1}被刪除時(shí)，

其算法實(shí)際是增加數(shù)據(jù)點(diǎn)推算法的逆過(guò)程［6］。

2 在線(xiàn)LS-SVMM建模的方法

(1)選取恰當(dāng)?shù)暮撕瘮?shù)與相應(yīng)的參數(shù)，確定輸入階數(shù)nu和輸出階數(shù)ny與采樣周期T0以及訓(xùn)練數(shù)據(jù)集的最大維數(shù)Nmax，還有性能指標(biāo)中的參數(shù)γ和核函數(shù)的參數(shù)。

(2)對(duì)系統(tǒng)施加輸入u，采樣Nmax組輸入輸出數(shù)據(jù){yk，xk}Nmaxk=1，構(gòu)造初始的回歸向量xk(k=1，2，…，Nmax)，形成初始訓(xùn)練集{yk，xk}Nmaxk=1，根據(jù)式(2)和式(3)分別計(jì)算得出模型的參數(shù)值PNmax與ΘNmax。

(3)新采樣時(shí)刻k+1采樣輸入輸出數(shù)據(jù){yk+1，uk+1}構(gòu)造新的回歸向量xk+1得到新的訓(xùn)練數(shù)據(jù)。

(4)把PNmax和核函數(shù)代入式(6)～式(8)計(jì)算ψN+1，ζN+1和 ηN+1，根據(jù)式(4)、式(5)計(jì)算新的ΘN+1和PN+1。

(5)從上次運(yùn)算獲得的Lagrange乘子里找出最小|αi|相對(duì)應(yīng)的序數(shù)I，在α中刪除αi在數(shù)據(jù)集里刪除(yi，xi)，設(shè)P11是矩陣PN+1除掉p11以后的方陣，P12是矩陣PN+1第I列除掉p11后列向量，P21是矩陣PN+1第I行除掉p11后的行向量，P22=p11，根據(jù)式(10)、式(11)計(jì)算Φ-1N，確定當(dāng)前模型。轉(zhuǎn)步驟(3)。

為檢驗(yàn)在線(xiàn)建模與離線(xiàn)建模模型的精確性，以簡(jiǎn)單的非線(xiàn)性函數(shù)y=x sin(3πx)，x∈［1，10］作為建模對(duì)象，隨機(jī)取該函數(shù)的400組數(shù)據(jù)。對(duì)于離線(xiàn)建模取其中200組數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)，最后100組數(shù)據(jù)作為測(cè)試數(shù)據(jù)。在線(xiàn)建模采用300組數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)，按照上述方法保持向量機(jī)的維數(shù)200不變，用相同的100組數(shù)作為測(cè)試數(shù)據(jù)。兩種模型預(yù)測(cè)誤差如下圖1所示。表明在線(xiàn)模型能更好的預(yù)測(cè)輸出，其精度大于離線(xiàn)模型，這種算法是有效的。

圖1 預(yù)測(cè)誤差

3 基于在線(xiàn)LS-SVM模型的廣義預(yù)測(cè)控制仿真

預(yù)測(cè)控制源于工業(yè)實(shí)踐，并在實(shí)踐中發(fā)展和完善起來(lái)的一類(lèi)計(jì)算機(jī)控制算法，具有鮮明的特征，是一種基于預(yù)測(cè)模型、滾動(dòng)優(yōu)化并結(jié)合反饋校正的優(yōu)化控制算法［7］，其基本結(jié)構(gòu)如圖2所示。

圖2 預(yù)測(cè)控制的基本結(jié)構(gòu)

預(yù)測(cè)控制中作為基礎(chǔ)的預(yù)測(cè)模型，是對(duì)象動(dòng)態(tài)特性的粗略描述，實(shí)際中不可能獲得精確的數(shù)學(xué)模型，因?yàn)閷?shí)際系統(tǒng)存在的非線(xiàn)性、時(shí)變、模型適配和干擾等不確定因素，基于不變模型的預(yù)測(cè)不可能準(zhǔn)確地與實(shí)際情況完全符合，這就需要對(duì)基礎(chǔ)模型進(jìn)行在線(xiàn)修正。本文利用LS-SVM在線(xiàn)建模作為預(yù)測(cè)模型，提高預(yù)測(cè)模型的精度。

假設(shè)被控對(duì)象的CARMA模型為:

式中y(k)、u(k)和ξ(k)分別表示輸出、控制量和白噪聲，d為純延時(shí)，n=2，m=5，i=1，其他各個(gè)參數(shù)未知。采用廣義預(yù)測(cè)控制自適應(yīng)算法，利用 LSSVM在線(xiàn)建模作為預(yù)測(cè)模型。訓(xùn)練數(shù)據(jù)集最大維數(shù)為200，核函數(shù)采用徑向基函數(shù)，參數(shù)σ=1.77，γ =5，控制參數(shù)N=8，控制加權(quán)矩陣為單位陣I5×5，輸出柔化系數(shù)α=0.7;期望輸出ω(k)為幅值為10的方波信號(hào)，仿真結(jié)果如圖3所示。

從圖3我們能夠看出，基于在線(xiàn)LS-SVM模型的預(yù)測(cè)控制，系統(tǒng)能夠準(zhǔn)確、快速地跟蹤期望輸出。

4 結(jié)論

LS-SVM模型參數(shù)的遞推計(jì)算方法，可以使當(dāng)前時(shí)刻的模型非?？斓匕凑丈弦粫r(shí)刻的結(jié)果計(jì)算獲得，可以應(yīng)用到工業(yè)對(duì)象的在線(xiàn)建模。然而因?yàn)樾碌男畔⑦B續(xù)不斷加入到訓(xùn)練數(shù)據(jù)集，這樣就使在線(xiàn)模型的精確性比離線(xiàn)算法高。將其運(yùn)用至廣義預(yù)測(cè)控制里可以解決其中的非線(xiàn)性建模問(wèn)題和提高控制質(zhì)量。

圖3 在線(xiàn)建模預(yù)測(cè)控制效果

［1］劉毅，王海清，李平.局部最小二乘支持向量機(jī)回歸在線(xiàn)建模方法及其在間歇過(guò)程的應(yīng)用［J］.化工學(xué)報(bào)，2007，11:2846 -2851.

［2］張浩然，汪曉東.回歸最小二乘支持向量機(jī)的增量和在線(xiàn)學(xué)習(xí)算法［J］.計(jì)算機(jī)學(xué)報(bào)，2006，29:400-406.

［3］Goethals I，Pelckmans K，Suykens JA.Identification ofmimohammersteinmodels using least squares support vectormachine［J］.Automatica，2005，41:1263-1272.

［4］Ke Y，Yiyu C.Discriminating the Genuinenessof Chinese Medicines Using Least Surares Support Vector Machines［J］.Chinese Uournal of Analytical Chemistry，2006，34(4):561-564.

［5］Comak E，Polat K，Gunes S.A New Medical Decision Making System:Least Square Support Vector Machine(LSSVM)with Fuzzy Weighting Preprocessing［J］.Expert Systems with Applications，2007，32:409-414.

［6］張英，蘇宏業(yè).基于模糊最小二乘支持向量機(jī)的軟測(cè)量建模［J］.控制與決策，2005，20(6):621-624.

［7］龐中華，金元郁.基于誤差校正的預(yù)測(cè)控制算法［J］.化工自動(dòng)化及儀表，2005，32(2):1-4.

Application of LS-SVM On-Line M odeling in Predictive Control*

Hong Zhou*
(Department of Information Technology，Guangzhou City Polytechnic，Guangzhou 510405，China)

Aiming at the predictionmodel in intelligent predictive control，the recursive algorithm of LS-SVM on-line modeling was put forward.which reducing the calculation of inversematrix.After the onlinemodel achieved to high accuracy，it removed with the smallest|αi|data pointwhen a new data pointare added to the data set in each iteration process，Itwas not only solved the problem of the size of the data set but also improved the accuracy of prediction model.The simulate result shows that the predictive control based on LS-SVM on-linemodeling could tracking the expected output rapidly and stably，and achieving anticipated control effect.

LS-SVM;on-linemodeling;predictive control;prediction model

10.3969/j.issn.1005-9490.2014.01.037

TP18 文獻(xiàn)標(biāo)識(shí)碼:A 文章編號(hào):1005-9490(2014)01-0154-03

項(xiàng)目來(lái)源:廣東省哲學(xué)社會(huì)科學(xué)“十二五”規(guī)劃項(xiàng)目(GD11YJY01);廣州市教育局資助廣州市教育科學(xué)“十二五”規(guī)劃項(xiàng)目(11B016)

2013-04-21修改日期:2013-05-22

EEACC:7210

洪 洲(1979-)，男，漢族，江西東鄉(xiāng)人，碩士，副教授，主要研究方向?yàn)锳-gent軟件技術(shù)、計(jì)算虛擬化、人工智能。