基于自優(yōu)化的多屬性高斯核函數(shù)相關(guān)向量機(jī)方法*

許玉格 劉莉 羅飛

(華南理工大學(xué) 自動化科學(xué)與工程學(xué)院, 廣東 廣州 510640)

基于自優(yōu)化的多屬性高斯核函數(shù)相關(guān)向量機(jī)方法*

許玉格 劉莉 羅飛

(華南理工大學(xué) 自動化科學(xué)與工程學(xué)院, 廣東 廣州 510640)

在相關(guān)向量機(jī)的預(yù)測模型中,核函數(shù)的選擇和核參數(shù)的取值對模型預(yù)測性能影響很大.針對這一問題,文中采用多屬性高斯核函數(shù)建立相關(guān)向量機(jī)預(yù)測模型,提出了一種自優(yōu)化的核參數(shù)學(xué)習(xí)方法進(jìn)行參數(shù)優(yōu)化,并將該模型用于二維標(biāo)準(zhǔn)函數(shù)預(yù)測和污水處理系統(tǒng)出水水質(zhì)預(yù)測,與不同核函數(shù)下的相關(guān)向量機(jī)模型以及不同參數(shù)優(yōu)化方法下獲得的預(yù)測模型進(jìn)行了對比實(shí)驗.結(jié)果表明,基于自優(yōu)化的多屬性高斯核相關(guān)向量機(jī)模型對低維數(shù)據(jù)的參數(shù)敏感度較低,對高維數(shù)據(jù)有良好的輸出精度和稀疏性,在污水出水水質(zhì)預(yù)測中獲得比較滿意的結(jié)果.

相關(guān)向量機(jī);多屬性;高斯核函數(shù);自優(yōu)化方法;污水處理

軟測量和模型預(yù)測可將不易實(shí)際測量或測量成本過高的變量作為主變量,選取相關(guān)輔助變量,通過構(gòu)造變量間的映射關(guān)系實(shí)現(xiàn)對主變量的估計和預(yù)測,作為一種經(jīng)濟(jì)、可靠和快速的測量方法,它已被廣泛應(yīng)用到各個工業(yè)領(lǐng)域[1-3].

人工神經(jīng)網(wǎng)絡(luò)、支持向量機(jī)和相關(guān)向量機(jī)是常用的軟測量和模型預(yù)測學(xué)習(xí)方法,并取得了一定的成果[4-8].但神經(jīng)網(wǎng)絡(luò)存在局部極小、泛化能力有限等缺陷,使其在應(yīng)用中受到約束.支持向量機(jī)的核函數(shù)選擇受限于Mercer條件,對懲罰參數(shù)過于敏感[9].相關(guān)向量機(jī)(RVM)是基于統(tǒng)計理論貝葉斯框架下的稀疏性學(xué)習(xí)方法,屬于監(jiān)督機(jī)器學(xué)習(xí)算法,具有解更稀疏、核函數(shù)選擇自由、泛化能力強(qiáng)、魯棒性好等優(yōu)點(diǎn)[10],但RVM模型的輸出結(jié)果受核函數(shù)的影響,核函數(shù)的選擇和核參數(shù)的確定影響相關(guān)向量機(jī)模型的預(yù)測性能,因此,為相關(guān)向量機(jī)選擇合適的核函數(shù)并進(jìn)行核函數(shù)參數(shù)優(yōu)化,對相關(guān)向量機(jī)的性能至關(guān)重要.

在相關(guān)向量機(jī)的核函數(shù)中,高斯核函數(shù)最為常見[7-8].單一高斯核函數(shù)缺乏靈活性,對復(fù)雜映射關(guān)系的描述能力有限.對此,不少學(xué)者將由多個函數(shù)構(gòu)成的核函數(shù)應(yīng)用于相關(guān)向量機(jī).組合核函數(shù)、多樣本的高斯核函數(shù)(MSG)、多屬性高斯核函數(shù)(MAG)均屬于多核函數(shù),文獻(xiàn)[11-12]將基本核函數(shù)進(jìn)行加權(quán)組合,模型在一定程度上比單核好,但該組合核函數(shù)對初始參數(shù)比較敏感[14].文獻(xiàn)[13-14]使用多樣本高斯核,該核函數(shù)的性能優(yōu)于單核,但核參數(shù)個數(shù)與訓(xùn)練樣本數(shù)相等,并且隨著訓(xùn)練樣本的增多而增大,使模型學(xué)習(xí)變得困難.多屬性高斯核[15]比較靈活,其在各個屬性上使用不同的核參數(shù),具有較好的學(xué)習(xí)能力和泛化能力,核參數(shù)個數(shù)也比較少.另外,核參數(shù)的取值對預(yù)測模型性能的影響很大,因此研究適合于多屬性高斯核函數(shù)相關(guān)向量機(jī)的參數(shù)優(yōu)化方法非常必要.

基于上述分析,文中采用多屬性高斯核函數(shù)建立相關(guān)向量機(jī)預(yù)測模型,提出了一種自優(yōu)化的核參數(shù)學(xué)習(xí)方法進(jìn)行核參數(shù)優(yōu)化,以降低參數(shù)敏感度,提高預(yù)測精度;將該模型應(yīng)用于二維標(biāo)準(zhǔn)函數(shù)預(yù)測和污水處理系統(tǒng)出水水質(zhì)預(yù)測,并與不同核函數(shù)下的相關(guān)向量機(jī)模型進(jìn)行了對比實(shí)驗,以驗證文中提出的多屬性高斯核函數(shù)的自優(yōu)化參數(shù)優(yōu)化方法的有效性.

1 基于自優(yōu)化的多屬性高斯核函數(shù)相關(guān)向量機(jī)建模

1.1 多屬性高斯核函數(shù)

多屬性高斯核的形式如下[15]:

(1)

令φ(xn)=[1,k(xn,x1),k(xn,x2),…,k(xn,xN)]T,它為(N+1)×1維矩陣,N為樣本個數(shù),則MAG核構(gòu)成的貝葉斯矩陣可表示為Φ=[φ(x1),φ(x2),…,φ(xN)]T,它是N×(N+1)維矩陣.1.2 多屬性高斯核相關(guān)向量機(jī)建模原理

tn=y(xn,w)+εn

(2)

式中：w=[w0,w1,…,wN]T,是模型的權(quán)值向量；y(xn,w)可由核函數(shù)的加權(quán)模型表示,

(3)

若tn服從獨(dú)立分布,則數(shù)據(jù)集的似然估計概率為

(4)

(5)

根據(jù)先驗概率分布和似然估計分布,可得權(quán)重的后驗概率分布:

(6)

其后驗均值u和協(xié)方差矩陣Σ分別為

u=β-1ΣΦTt

(7)

Σ=(β-1ΦTΦ+A)-1

(8)

(9)

式中,C=(σ2I+ΦA(chǔ)-1ΦT)-1.

(10)

通過期望最大化算法(EM)迭代估計,獲得使每代對數(shù)似然函數(shù)最大化的超參數(shù)更新公式:

(11)

其中，γi=1-αiΣii,Σii為Σ的第i個對角元素.

1.3 多屬性高斯核參數(shù)自優(yōu)化學(xué)習(xí)

參數(shù)的取值會影響模型性能,為了獲得良好的模型性能,需要對模型參數(shù)進(jìn)行學(xué)習(xí),選取最優(yōu)參數(shù)[16].

多屬性高斯核函數(shù)中有d個核參數(shù)需要學(xué)習(xí).由函數(shù)定義可知,核參數(shù)ηk的取值必須大于0,由于訓(xùn)練樣本的多樣性和不確定性,若不對參數(shù)學(xué)習(xí)過程中可能出現(xiàn)的ηk為0或負(fù)值情況加以處理,將導(dǎo)致核參數(shù)的學(xué)習(xí)失敗.另外,在對核參數(shù)尋優(yōu)的實(shí)驗中發(fā)現(xiàn):在單一高斯核函數(shù)的參數(shù)學(xué)習(xí)中,似然函數(shù)的更新呈現(xiàn)單調(diào)性,使得優(yōu)化過程單調(diào)地快速收斂于最優(yōu)值;在多高斯核函數(shù)的參數(shù)優(yōu)化過程中,似然函數(shù)不一定呈現(xiàn)單調(diào)遞增.針對以上問題,文中推導(dǎo)出一套多屬性高斯核參數(shù)的自優(yōu)化學(xué)習(xí)方法,將d個核參數(shù)轉(zhuǎn)換成核參數(shù)幾何平均值h,并引入?yún)?shù)ρ,保證在學(xué)習(xí)過程中核參數(shù)始終大于0,而且盡可能地使似然函數(shù)的更新呈現(xiàn)單調(diào)遞增,保證核參數(shù)學(xué)習(xí)成功且最大似然估計值單調(diào)遞增,最后收斂到最優(yōu)值.具體參數(shù)更新過程如下.

設(shè)核參數(shù)幾何平均值為h,使得

(12)

似然函數(shù)可寫成如下帶有拉格朗日因子的函數(shù)形式:

(13)

該模型對核參數(shù)求導(dǎo),得

(14)

(15)

否則,為保證核參數(shù)均大于0且最大似然估計盡可能的大,梯度小于0的核參數(shù)更新公式為

ηi,new=ρηi

(16)

梯度大于0的核參數(shù)更新公式為

(17)

式中，i、j分別表示梯度小于0和梯度大于0的屬性列,p為梯度大于0的屬性列個數(shù).

為保證模型收斂,當(dāng)且僅當(dāng)核參數(shù)的變化趨向于使最大似然估計值變大,則按式(15)-(17)更新參數(shù),否則不更新核參數(shù)值.

1.4 多屬性高斯核相關(guān)向量機(jī)建模步驟

基于自優(yōu)化的多屬性高斯核相關(guān)向量機(jī)建模步驟如下:

(2)初始化模型參數(shù)α=[N-2,N-2,…,N-2]T,σ2=0.1var(t),var(·)為方差函數(shù),η=[h-2,h-2,…,h-2]T.

(3)按式(7)、(8)更新u和Σ.

(4)按式(11)更新超參數(shù)α和β.

(5)如果超參數(shù)αi大于給定的某個極大值(文中取e9),則認(rèn)為該超參數(shù)趨于無窮,從而將相應(yīng)的權(quán)值設(shè)為0,并且忽略相應(yīng)的貝葉斯矩陣;否則,定義該訓(xùn)練樣本為相關(guān)向量.

(6)如果最大似然估計值變大,則按式(15)-(17)更新核參數(shù),并更新貝葉斯矩陣Φ,否則不對核參數(shù)和貝葉斯矩陣Φ進(jìn)行更新.

(7)如果連續(xù)兩代間的超參數(shù)α的最大變化值小于某一極小值(文中取e-3),則轉(zhuǎn)步驟(8),否則轉(zhuǎn)步驟(3).

(8)輸出模型權(quán)值w、核參數(shù)η、相關(guān)向量個數(shù)Nr、噪聲方差σ2.

2 仿真實(shí)驗和結(jié)果分析

分別采用相關(guān)向量機(jī)性能測試中二維標(biāo)準(zhǔn)函數(shù)和污水處理過程的出水水質(zhì)預(yù)測對6種相關(guān)向量機(jī)(單個高斯核函數(shù)的相關(guān)向量機(jī)(RVM)[15]、多樣本高斯核函數(shù)相關(guān)向量機(jī)(MSG-RVM)[16]、組合核函數(shù)的相關(guān)向量機(jī)(C-RVM)[8,12]、基于遺傳的多屬性高斯核相關(guān)向量機(jī)(MAGE-RVM)[17]、基于梯度的多屬性高斯核相關(guān)向量機(jī)(MAGD-RVM)[15]、自優(yōu)化的多屬性高斯核相關(guān)向量機(jī)(MAGO-RVM))進(jìn)行仿真實(shí)驗.實(shí)驗參數(shù)設(shè)置如下:

1)RVM算法只有一個高斯核函數(shù),采用遺傳算法計算核參數(shù)的初始值.

2)MSG-RVM算法采用多樣本高斯核函數(shù),采用梯度下降法計算核參數(shù),用遺傳算法確定核參數(shù)的初始值.

3)C-RVM算法中核函數(shù)是由加權(quán)組合核函數(shù)k=akpoly+(1-a)kgauss構(gòu)成,加權(quán)系數(shù)為a,多項式函數(shù)設(shè)為4階.采用遺傳算法獲取初始核參數(shù)和加權(quán)系數(shù)a.

4)MAGE-RVM算法采用多屬性高斯核函數(shù),采用遺傳算法來學(xué)習(xí)全部d個核參數(shù)(η1,η2,…,ηd).

5)MAGD-RVM算法使用多屬性高斯核函數(shù),利用梯度下降法計算核參數(shù),用遺傳算法確定初始核參數(shù)幾何平均值h的取值.

6)MAGO-RVM算法采用多屬性高斯核函數(shù),采用文中提出的自優(yōu)化來計算核參數(shù),用遺傳算法確定初始核參數(shù)幾何平均值h和ρ.

將遺傳算法的個體規(guī)模設(shè)為100,遺傳代數(shù)分別設(shè)為20、50、100,6種模型中h和(η1,η2,…,ηd)的取值范圍為[0,100],α和ρ的取值范圍為[0,1].將目標(biāo)值和預(yù)測值進(jìn)行歸一化,以均方根誤差(RMSE)為目標(biāo)函數(shù).目標(biāo)函數(shù)均方根誤差公式為

(18)

相對均方根誤差為

(19)

式中,yn是預(yù)測值,Nt是測試樣本數(shù).

2.1 二維標(biāo)準(zhǔn)函數(shù)實(shí)驗

表1 6種模型的預(yù)測性能比較

從表1可知,6種模型的平均輸出精度和稀疏性非常接近,多屬性高斯核函數(shù)在低維數(shù)據(jù)下的性能沒有太大優(yōu)勢.

文中從建模成功率和初始核參數(shù)的有效范圍兩方面分析6種模型對參數(shù)的敏感性.參數(shù)的敏感度可以理解為:在相同個體規(guī)模下使得建模失敗的無效個體占總個體數(shù)的平均百分比,敏感度數(shù)值越高表示模型對參數(shù)的敏感性越大,建模成功率越低;模型取得良好預(yù)測效果的初始核參數(shù)范圍越大,模型對參數(shù)的敏感度越低.6種模型對初始參數(shù)敏感度的對比結(jié)果如表2所示.從表中可知,基于多屬性高斯核函數(shù)的相關(guān)向量機(jī)對初始參數(shù)的敏感度較低,受初始核參數(shù)值的影響較小.

表2 6種模型的平均敏感度

在利用窮舉法確定初始核參數(shù)的情況下進(jìn)行實(shí)驗,發(fā)現(xiàn)RVM的初始核參數(shù)在[1,8]內(nèi)時預(yù)測效果較好,C-RVM合適的初始核參數(shù)范圍為[2,10],MSG-RVM的初始核參數(shù)在[1,4]內(nèi)時預(yù)測效果較好,MAGE-RVM模型的初始核參數(shù)為[1,8]、MAGD-RVM的初始核參數(shù)為[1,10]、MAGO-RVM的初始核參數(shù)為[0.01,20.00]時預(yù)測效果均較好.MAGO-RVM的初始核參數(shù)取值范圍比其他模型更廣.RVM和MAGO-RVM在初始核參數(shù)取不同值時的輸出結(jié)果如圖1所示.由圖可見,RVM在初始核參數(shù)為0.01、20.00時均無法獲得滿意的輸出效果,而MAGO-RVM在初始核參數(shù)為0.01、20.00時均可以保證輸出效果良好.

圖1 RVM和MAGO-RVM在初始核參數(shù)取不同值時的輸出結(jié)果比較

Fig.1 Comparison of output results between RVM and MAGO-RVM with different initial nuclear parameters values

2.2 污水處理系統(tǒng)的仿真實(shí)驗

污水的主要污染來自于有機(jī)物,而有機(jī)物在水中因為好氧微生物的存在而處于不斷變化中,很難運(yùn)用定量來分析.因此在水質(zhì)檢測中,利用生物需氧量BOD、化學(xué)需氧量COD等指標(biāo)來衡量污水受污染的程度[13].BOD、COD與懸浮固體的質(zhì)量濃度,進(jìn)水的化學(xué)需氧量及生物需氧量、流量、pH值等變量密切相關(guān).使用軟測量方法來預(yù)測BOD、COD等出水參數(shù),必須借助輔助變量.污水仿真實(shí)驗采用加州大學(xué)數(shù)據(jù)庫(UCI)提供的污水?dāng)?shù)據(jù)(共527組,38維),經(jīng)數(shù)據(jù)預(yù)處理后得到400組20維的數(shù)據(jù),其中包含兩個輸出屬性BOD、COD,該實(shí)驗數(shù)據(jù)屬于高維數(shù)據(jù).歸一化后的輸入數(shù)據(jù)作為模型輸入,建模所需18個輔助變量如下:輸入生物需氧量(DBO-E)、輸入化學(xué)需氧量(DQO-E)、二級沉降器輸入pH值(pH-D)、二級沉降器輸入生物需氧量(DBO-D)、二級沉降器輸入化學(xué)需氧量(DQO-D)、輸入沉淀物(SS-D)、二級沉降器輸入懸浮固體物(SED-D)、輸出pH值(pH-S)、輸出懸浮固體物(SS-S)、輸出沉淀物(SED-S)、初沉池輸入生物需氧量(RD-DBO-P)、初沉池輸入懸浮固體物(RD-SS-P)、二沉池輸入生物需氧量(RD-DBO-S)、二沉池輸入化學(xué)需氧量(RD-DQO-S)、整個污水廠生物需氧量(RD-DBO-G)、整個污水廠化學(xué)需氧量(RD-DQO-G)、整個污水廠懸浮固體濃度(RD-SS-G)、整個污水廠可降解固體濃度(RD-SED-G).

實(shí)驗時,取前200組數(shù)據(jù)作為訓(xùn)練數(shù)據(jù),后200組作為測試數(shù)據(jù),建立預(yù)測模型.除了前面6種預(yù)測模型之外,還增加了SVM預(yù)測模型進(jìn)行對比分析.在BOD預(yù)測中,SVM懲罰參數(shù)C=17.869 6,g=0.082 97;MAGO-RVM的核參數(shù)幾何平均值h=24.337 2,ρ=0.237 9.在COD預(yù)測中,SVM懲罰參數(shù)C=99.995 8,g=0.058 9,核參數(shù)幾何平均值h=80.777 5,ρ=0.099 8.7種模型對污水處理參數(shù)的預(yù)測性能如表3所示,MAGO-RVM模型對BOD、COD的預(yù)測結(jié)果與實(shí)際結(jié)果的對比如圖2所示.

從表3可知:MAGO-RVM的BOD預(yù)測誤差最小,支持向量個數(shù)也較少;在COD預(yù)測中,SVM預(yù)測誤差最小,但支持向量個數(shù)達(dá)到82個,MAGO-RVM預(yù)測誤差相對較小,相關(guān)向量個數(shù)也較少.從圖2可知,MAGO-RVM的BOD和COD污水出水預(yù)測曲線直觀地反映了MAGO-RVM對污水出水實(shí)際值的擬合情況.

表3 不同模型對污水BOD和COD的預(yù)測性能

Table 3 Prediction performance of different models for BOD and COD

模型BOD預(yù)測性能COD預(yù)測性能RMSNRRMSNNrRMSNRRMSNNrSVM0.08450.0921700.08560.098982RVM0.08020.0852100.11360.133028MSG-RVM0.07610.0797110.11210.151921C-RVM0.07470.0836510.10940.115339MAGE-RVM0.05590.0550100.13190.176311MAGD-RVM0.07830.082470.11190.143941MAGO-RVM0.05630.0566110.09990.136024

圖2 MAGO-RVM模型對BOD和COD的預(yù)測值與實(shí)際值對比

Fig.2 Comparison of BOD and COD between the predictive values and the actual values by MAGO-RVM model

3 模型收斂性和稀疏性分析

采用自優(yōu)化方法對核參數(shù)進(jìn)行學(xué)習(xí)時,僅當(dāng)核參數(shù)的變化趨向于使最大似然估計值變大時才對核參數(shù)進(jìn)行更新,否則不改變核參數(shù)值,以保證模型在EM迭代估計過程中仍然滿足最大似然估計函數(shù)單調(diào)遞增的條件,從而使模型具有收斂性.

在污水的BOD仿真實(shí)驗中,當(dāng)模型取得最小均方誤差而收斂時,6種模型收斂時的迭代次數(shù)見表4,RVM和MAGO-RVM模型的收斂曲線如圖3所示,A為MAGO-RVM收斂點(diǎn),B為RVM的收斂點(diǎn).實(shí)驗結(jié)果表明,相比于其他多核相關(guān)向量機(jī),基于自優(yōu)化的多屬性高斯核相關(guān)向量機(jī)在收斂到最優(yōu)值時需要的迭代次數(shù)最少,該結(jié)果驗證了1.3節(jié)關(guān)于似然函數(shù)單調(diào)遞增會加快收斂速度的分析.

表4 6種模型的收斂性分析

圖3 MAGO-RVM模型與RVM模型的收斂曲線

Fig.3 Convergence curves of MAGO-RVM model and RVM model

令RVM初始核參數(shù)和MAGO-RVM的核參數(shù)幾何平均值相等,即兩種模型的初始核參數(shù)取值相等.初始核參數(shù)取不同值時兩種模型的均方根誤差RMSE和相關(guān)向量個數(shù)如圖4所示.從圖中可知,文中提出的MAGO-RVM模型在提高預(yù)測精度的情況下并沒有破壞模型的稀疏性.

圖4 MAGO-RVM模型與RVM模型的RMSE和稀疏性對比

Fig.4 Comparison of RMSE and sparsity between MAGO-RVM model and RVM model

由二維標(biāo)準(zhǔn)函數(shù)和污水處理的實(shí)驗結(jié)果可知,基于自優(yōu)化的多屬性高斯核相關(guān)向量機(jī)模型對低維數(shù)據(jù)的參數(shù)敏感度較低,對高維數(shù)據(jù)在能夠保證模型稀疏性和快速收斂性的同時獲得較高的輸出精度,獲得了滿意的污水出水水質(zhì)預(yù)測結(jié)果.

4 結(jié)論

文中研究不同核函數(shù)下相關(guān)向量機(jī)的性能,針對多屬性高斯核函數(shù)的相關(guān)向量機(jī),提出了一種自優(yōu)化的參數(shù)學(xué)習(xí)方法,在保證核參數(shù)學(xué)習(xí)成功的前提下盡快滿足最大似然估計值單調(diào)遞增,從而獲得滿意的核參數(shù)值.二維標(biāo)準(zhǔn)函數(shù)和污水出水水質(zhì)預(yù)測實(shí)驗結(jié)果表明,文中提出的模型能夠獲得比較滿意的預(yù)測性能.文中提出的方法屬于靜態(tài)預(yù)測范疇,今后將在此基礎(chǔ)上開展多屬性高斯核函數(shù)相關(guān)向量機(jī)的在線軟測量研究.

[1] MCCANDLESS T C,HAUPT S E,YOUNG G S.A regime-dependent artificial neural network technique for shor-trange solar irradiance forecasting [J].Renewable Energy,2016,89:351-359.

[2] CHEN Z M,HU J.Wastewater treatment prediction based on chaos-GA optimized LS-SVM [C]∥Proceedings of the 2011 Chinese Control and Decision Conference.Mianyang:IEEE,2011:4013-4016.

[3] ELARAB M,TICLAVILCA A M,TORRES-RUA A F,et al.Estimating chlorophyll with thermal and broadband multispectral high resolution imagery from an unmanned aerial system using relevance vector machines for precision agriculture [J].International Journal of Applied Earth Observation & Geoinformation,2015,43:32-42.

[4] CIVELEKOGLU G,YIGIT N O,DIAMADOPOULOS E. Modelling of COD removal in a biological wastewater treatment plant using adaptive neuro-fuzzy inference system and artificial neural network [J].Water Science and Technology,2009,60(6):1475-1487.[5] LI G H,ZHENG H.Application of artificial neural network in wastewater treatment [C]∥Proceedings of the 2nd International Conference on Information Science and Engineering.Hangzhou:IEEE,2010:4370-4372.

[6] YANG B L,ZHAO D A,ZHANG J.Prediction system of sewage outflow COD based on LS-SVM [C]∥Procee-dings of the 2nd International Conference on Intelligent Control and Information Processing.Harbin:IEEE,2011:399-402.

[7] KHADER A I,MCKEE M.Use of a relevance vector machine for groundwater quality monitoring network design under uncertainty [J].Environmental Modelling & Software,2014,57:115-126.

[8] 許玉格,曹濤,羅飛.基于相關(guān)向量機(jī)的污水處理出水水質(zhì)預(yù)測模型 [J].華南理工大學(xué)學(xué)報(自然科學(xué)版),2014,42(5):103-108.

XU Yu-ge,CAO Tao,LUO Fei.The prediction of effluent quality of wastewater treatment based on relevancevector machine [J].Journal of South China University of Technology(Natural Science Edition),2014,42(5):103-108.

[9] 柳長源.相關(guān)向量機(jī)多分類算法的研究與應(yīng)用 [D].哈爾濱:哈爾濱工程大學(xué),2003.

[10] 楊樹仁,沈洪遠(yuǎn).基于相關(guān)向量機(jī)的機(jī)器學(xué)習(xí)算法研究與應(yīng)用 [J].計算技術(shù)與自動化,2010,29(1):43-47. YANG Shu-ren,SHEN Hong-yuan.The research and application of machine learning based on relevance vector machine [J].Computing Technology and Automation,2010,29(1):43-47.

[11] WU B,ZHANG W Q,LIANG J H.A genetic multiple kernel relevance vector regression approach [C]∥Proceedings of the Second International Workshop on Education Technology and Computer Science.Wuhan:IEEE,2010:52-55.

[12] ZHAO L,SU Y D,QIN H.Study of multiple-kernel relevance vector machine based on kernel alignment [J].Applied Mechanics & Materials,2012,50(6):1308-1312.

[13] MOHSENZADEH Y,SHEIKHZADEH H.Gaussian kernel width optimization for sparse Bayesian learning [J].IEEE Transactions on Neural Networks & Learning Systems,2015,26(4):1-6.

[14] YUAN J,BO L,WANG K.Adaptive spherical Gaussian kernel in sparse Bayesian learning framework for nonli-near regression [J].Expert Systems with Applications,2009,36(2):3982-3989.

[15] TIPPING M E.Sparse Bayesian learning and the relevance vector [J].Journal of Machine Learning Research,2001,1(3):211-244.

[16] YUAN J,BO L F,WANG K S,et al.Adaptive spherical Gaussian kernel in sparse Bayesian learning of framework for nonlinear regression [J].Expert Systems with Applications,2009,36(2):3982-3989.

[17] 李剛,王貴龍.RVM 核參數(shù)的遺傳算法優(yōu)化方法 [J].控制工程,2010,17(3):123-126.

LI Gang,WANG Gui-long.Genetic algorithm optimization method of RVM kernel parameters [J].Control Engineering of China,2010,17(3):123-126.

A Self-Optimal Relevance Vector Machine with Multiple-Attribute Gaussian Kernel Functions

XUYu-geLIULiLUOFei

(School of Automation Science and Engineering, South China University of Technology, Guanzhou 510640, Guangdong, China)

In relevance vector machine prediction models, the selection of kernel functions and the values of kernel parameters have great influence on the prediction performance of the models. Aiming at this issue, a novel relevance vector machine prediction model is constructed on the basis of multiple-attribute Gaussian kernel functions, and a self-optimal kernel parameter-learning method is proposed to optimize the kernel parameters. Then, the constructed model is used to predict a two-dimensional standard function as well as the effluent quality of a wastewater treatment system. Finally, this model is compared with several models using different kernel functions and several models using different parameter optimization methods by simulation experiments. The results indicate that the proposed model is less sensitive to lower dimension data and has better output accuracy and sparsity in dealing with higher dimension data, and that it shows a satisfying performance in predicting the effluent quality of wastewater.

relevance vector machine; multiple attributes; Gaussian kernel function; self-optimization method; wastewater treatment

1000-565X(2017)01- 0088- 07

2015- 05- 27

廣東省科技計劃項目(2016A020221008,2016B090927007);廣州市科技計劃項目(201604010032)

Foundation items： Supported by the Science and Technology Planning Project of Guangdong Province(2016A020221008,2016B090927007)

許玉格(1978-),女,博士,副教授,主要從事數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)研究.E-mail:xuyuge@scut.edu.cn

TP 39

10.3969/j.issn.1000-565X.2017.01.013