基于集成相關(guān)向量機(jī)的水質(zhì)在線預(yù)測(cè)模型

，，

(1.華南理工大學(xué) 機(jī)械與汽車工程學(xué)院，廣東 廣州 510640；2.廣州中國科學(xué)院 沈陽自動(dòng)化研究所分所，廣東 廣州 511458)

0 引言

污水處理過程工況復(fù)雜，在線測(cè)量儀表維護(hù)成本高昂，存在著如毒性物質(zhì)濃度、化學(xué)需氧量(chemical oxygen demand, COD)、氨氮、生化需氧量(biological oxygen deman, BOD)等難以在線測(cè)量的水質(zhì)指標(biāo)，而污水處理中各設(shè)備間的自動(dòng)化控制與調(diào)度依賴于水質(zhì)的實(shí)時(shí)準(zhǔn)確測(cè)量[1]。現(xiàn)有的常用水質(zhì)測(cè)量方法有減壓庫倫法、離線分析法、活性污泥快速法、標(biāo)準(zhǔn)稀釋法等，水質(zhì)的測(cè)定周期較長，不能及時(shí)的提供污水處理的實(shí)時(shí)信息，為污水處理的實(shí)際生產(chǎn)帶來不便。預(yù)測(cè)水質(zhì)的變化趨勢(shì)對(duì)于掌握污水處理現(xiàn)狀具有重要意義，然而影響水質(zhì)變化的因素眾多，各因素間又相互影響，傳統(tǒng)方法依托建立精確的生化機(jī)理反應(yīng)模型的來預(yù)測(cè)水質(zhì)變化，難以克服各因素間的強(qiáng)非線性，預(yù)測(cè)誤差較大。面對(duì)這些特點(diǎn)，國內(nèi)外學(xué)者提出了大量基于數(shù)據(jù)驅(qū)動(dòng)的污水水質(zhì)指標(biāo)軟測(cè)量方法，該方法無需了解污水生化反應(yīng)過程中的復(fù)雜機(jī)制，根植于數(shù)據(jù)本身，極大的促進(jìn)了污水處理水質(zhì)預(yù)測(cè)的研究。文獻(xiàn)[2-3]采用神經(jīng)網(wǎng)絡(luò)建立污水水質(zhì)預(yù)測(cè)模型，文獻(xiàn)[4-5]采用支持向量機(jī)建立了污水處理過程出水水質(zhì)的軟測(cè)量模型，文獻(xiàn)[6]采用相關(guān)向量機(jī)建立了污水水質(zhì)的在線軟測(cè)量預(yù)測(cè)模型，并引入快速似然邊界算法加快了模型的更新速度。然而，神經(jīng)網(wǎng)絡(luò)容易陷入局部最小值和過擬合，存在著健忘和泛化性能較弱，權(quán)值不易在線調(diào)整等缺點(diǎn)[7]，支持向量機(jī)隨著樣本量的增加，訓(xùn)練時(shí)間會(huì)變長，支持向量增多，稀疏性降低，且核函數(shù)的選擇受到Mercer條件制約[8]，當(dāng)樣本中存在較少異常值時(shí)，相關(guān)向量機(jī)可以得到魯棒性良好的回歸模型[9]，但隨著異常值的增多，其泛化能力會(huì)下降，魯棒性漸失，同時(shí)這些缺陷均影響了污水水質(zhì)在線預(yù)測(cè)的可靠性和實(shí)時(shí)性。

根據(jù)現(xiàn)有成果與存在的問題，本文提出一種基于集成相關(guān)向量機(jī)的污水水質(zhì)在線預(yù)測(cè)模型。該模型以RVM為弱預(yù)測(cè)器，利用改進(jìn)的AdaBoost.RT算法將多個(gè)弱預(yù)測(cè)器集成為強(qiáng)預(yù)測(cè)器。RVM是建立在貝葉斯理論(Bayesian Principle)下的稀疏核機(jī)，不受Mercer定理的限制，可以任意選擇核函數(shù)，具有較好的泛化能力，但污水生化處理的過程，存在著參數(shù)時(shí)變的現(xiàn)象，隨著異常值的增多，會(huì)使RVM的預(yù)測(cè)精度下降，針對(duì)這一問題，該模型利用改進(jìn)的AdaBoost.RT算法將RVM弱預(yù)測(cè)器分層組合，使迭代的重點(diǎn)聚焦與少數(shù)異常樣本上，提高了模型的預(yù)測(cè)精度的魯棒性，同時(shí)也滿足污水水質(zhì)在線預(yù)測(cè)的實(shí)時(shí)性的要求，并通過仿真實(shí)驗(yàn)得到了驗(yàn)證。

1 基于集成相關(guān)向量機(jī)的水質(zhì)在線預(yù)測(cè)模型

1.1 相關(guān)向量機(jī)回歸模型

tn=y(xn,w)+εn

(1)

其中:權(quán)值向量w=(w0,w1,···,wn)，εn為期望為0，方差為σ2的附加高斯噪聲，即εn～N(0,σ2)。因此p(tn|x)=N(tn|y(xn),σ2)，式中y(x)定義為:

(2)

式中,K(x,xi)為核函數(shù)。其中常用的全局性核函數(shù)有多項(xiàng)式核函數(shù)，如式(3)和常用的局部性核函數(shù)有徑向基核函數(shù)，如式(4)。

K(x,y)=(xTy+c)q,q∈N,c≥0

(3)

(4)

其中:c為常數(shù)，q表示多項(xiàng)式次數(shù)，δ為核寬度。

由于tn是相互獨(dú)立的，因此訓(xùn)練樣本集的似然函數(shù)為:

(5)

其中:t=(t1,t2,···,tn)T，Φ=[φ(x1),φ(x2),···,φ(xn)]T，φ(xn)=[1,K(xn,x1),···,K(xn,xT)]T。

為避免RVM回歸模型出現(xiàn)過度擬合(over-fitting)，RVM定義一個(gè)高斯先驗(yàn)概率來約束權(quán)值向量w：

(6)

其中:超參數(shù)α=(a0,a1,…,aN)T，由式(6)可以看出每一個(gè)權(quán)值wi對(duì)應(yīng)唯一的超參數(shù)αi，參數(shù)受到先驗(yàn)分布的影響，通過對(duì)樣本集的不斷訓(xùn)練，大部分超參數(shù)αi將趨于無窮大，其對(duì)應(yīng)的權(quán)值wi會(huì)趨于0，從而確保了相關(guān)向量機(jī)的稀疏性。

根據(jù)貝葉斯準(zhǔn)則，定義了先驗(yàn)概率，可得到后驗(yàn)概率：

(7)

當(dāng)輸入一個(gè)新樣本x*，預(yù)測(cè)相應(yīng)輸出t*預(yù)測(cè)分布為:

(8)

也可以得到權(quán)重w的后驗(yàn)概率分布為:

(9)

其中后驗(yàn)協(xié)方差∑和均值μ分別為：

∑=(σ-2ΦTΦ+A)-1

(10)

μ=σ-2∑ΦTt

(11)

式中,A=diag(α0,α1,···,αN)?；谧畲笃谕瑓?shù)估計(jì)，多次迭代計(jì)算后可得：

(αi)new=γi/μi2

(12)

(13)

式中，μi為第i個(gè)后驗(yàn)平均權(quán)值；γi定義γi≡1-αi∑ii。

(14)

其中：

(15)

y*=μTΦ(x*)

(16)

式中,y*為t*的預(yù)測(cè)值。

1.2 改進(jìn)的AdaBoost.RT算法

集成算法[11]的基本思想是將多個(gè)僅比隨機(jī)猜測(cè)略好的弱預(yù)測(cè)器進(jìn)行迭代融合從而使得到的強(qiáng)預(yù)測(cè)器具有更高的預(yù)測(cè)精度和泛化能力。與傳統(tǒng)的集成算法AdaBoost相比，AdaBoost.RT算法的主要區(qū)別在于引進(jìn)了固定閾值φ，通過與訓(xùn)練誤差的對(duì)比，確定權(quán)值更新的方式，它解決了最初boosting算法在訓(xùn)練集中損失函數(shù)超過0.5便停止和不能任意設(shè)置迭代次數(shù)的缺陷。AdaBoost.RT算法的具體計(jì)算過程如下：

1)輸入：m個(gè)樣本、弱預(yù)測(cè)器算法ft、迭代次數(shù)T、閾值φ(0<φ<1)。

3)訓(xùn)練：當(dāng)t

Et=|(ft(xi)-yi)/yi|

(17)

根據(jù)式(18)計(jì)算弱預(yù)測(cè)器ft的誤差率：

(18)

(19)

式中,Zt是歸一化因子。

4) 輸出預(yù)測(cè)結(jié)果：結(jié)果T輪的訓(xùn)練后的得到的強(qiáng)預(yù)測(cè)器F由T個(gè)弱預(yù)測(cè)器根據(jù)誤差率加權(quán)平均得到，如式(20)。

(20)

由上述計(jì)算步驟可以看出，AdaBoost.RT算法性能對(duì)于閾值φ的選擇比較依賴，若閾值φ的取值過大將難以實(shí)現(xiàn)對(duì)異常數(shù)據(jù)的重點(diǎn)學(xué)習(xí)，若取值過小則無法將足夠的樣本進(jìn)行充分的學(xué)習(xí)，實(shí)際應(yīng)用中通常需要反復(fù)實(shí)驗(yàn)才能最終確定閾值φ的取值，閾值φ的取值對(duì)于模型的性能至關(guān)重要。針對(duì)這一問題，對(duì)AdaBoost.RT進(jìn)行改進(jìn)：將固定的閾值φ改為自適應(yīng)型閾值，使閾值φ在集成學(xué)習(xí)的過程中根據(jù)誤差的變化而變化，即當(dāng)誤差εt大于誤差εt-1時(shí)，增大閾值φ，當(dāng)誤差εt小于誤差εt-1時(shí)，減小閾值φ，加強(qiáng)了對(duì)難以預(yù)測(cè)的樣本的學(xué)習(xí)，最終提高了模型最終的預(yù)測(cè)精度和泛化能力。具體做法是在每次迭代計(jì)算后，計(jì)算弱預(yù)測(cè)器的均方根誤差(root mean square error, RMSE)，如式(21):

(21)

然后按式(22)對(duì)閾值φ進(jìn)行調(diào)整：

(22)

其中:α的計(jì)算公式為：

(23)

所以，樣本權(quán)重的更新公式在改進(jìn)AdaBoost.RT算法中被修改為：

(24)

文獻(xiàn)[12]指出，當(dāng)改進(jìn)的AdaBoost.RT算法的閾值φ初始設(shè)置大于0.4時(shí)，模型對(duì)閾值φ的變化十分敏感，預(yù)測(cè)誤差變化較大，模型的魯棒性不足，而當(dāng)初始閾值φ設(shè)置在(0,0.4)之間時(shí)，模型的預(yù)測(cè)誤差輸出較為穩(wěn)定，也較好地避免了模型訓(xùn)練過程中閾值φ陷入局部最優(yōu)。

1.3 建模步驟

污水處理具有復(fù)雜的生化反應(yīng)過程和非穩(wěn)態(tài)運(yùn)行等特征，不同的水質(zhì)指標(biāo)受到不同的特征的影響，本文以預(yù)測(cè)生化需氧量BOD為例，建立水質(zhì)在線預(yù)測(cè)模型。BOD定義為20℃時(shí)，污水中好氧微生物將有機(jī)污染物氧化分解時(shí)所需氧氣量，是反應(yīng)污水中可降解有機(jī)物的指標(biāo)，BOD越大則污染情況就越嚴(yán)重[13]。根據(jù)BOD的特性選擇與之相關(guān)聯(lián)的水質(zhì)特征組成數(shù)據(jù)集，為消除不同特征間幅值對(duì)預(yù)測(cè)精度的影響，對(duì)污水水質(zhì)數(shù)據(jù)進(jìn)行歸一化處理。在線仿真實(shí)驗(yàn)中模型更新時(shí)，為保持訓(xùn)練樣本集的容量不變，選擇限定記憶法來確保每次都有新的樣本增加，同時(shí)刪除最早的樣本數(shù)據(jù)。基于集成RVM的水質(zhì)預(yù)測(cè)模型流程簡圖如圖1所示。

圖1 集成RVM模型建模流程圖

2 實(shí)驗(yàn)仿真與結(jié)果分析

2.1 實(shí)驗(yàn)數(shù)據(jù)

本文所用污水處理過程數(shù)據(jù)來源于加州大學(xué)歐文分校機(jī)器學(xué)習(xí)數(shù)據(jù)庫，數(shù)據(jù)為某城市污水廠2年間實(shí)際生產(chǎn)所測(cè)得數(shù)據(jù)，采樣時(shí)間最大間隔為2天，共包含527個(gè)樣本，每個(gè)樣本具有38個(gè)特征，其中不含缺失值的樣本有380個(gè)，具有13種運(yùn)行狀態(tài)。進(jìn)行數(shù)據(jù)預(yù)處理時(shí)，將數(shù)據(jù)集中不滿足3σ原則的異常值所在樣本和具有缺失值的相鄰樣本刪除，然后對(duì)缺失值進(jìn)行拉格朗日插值填補(bǔ)。選取與BOD相關(guān)的輸入特征，分別為整個(gè)污水廠的BOD輸入、COD輸入、懸浮固體濃度和可降解固體濃度，初沉池的BOD和固體懸浮物濃度Ss，二沉池的BOD和COD，二級(jí)沉降器BOD、COD、pH、固體懸浮物濃度和可降解固體濃度以及輸出的COD、BOD、懸浮固體濃度與可降解固體濃度，最終得到420組樣本數(shù)據(jù)。

2.2 性能評(píng)價(jià)指標(biāo)

污水處理過程的水質(zhì)預(yù)測(cè)本質(zhì)是一個(gè)回歸問題，為評(píng)價(jià)各水質(zhì)預(yù)測(cè)模型的綜合性能，采用均方根誤差RMSE，平均相對(duì)誤差mean-re，最大相對(duì)誤差max-re和每次模型更新的平均用時(shí)time四個(gè)指標(biāo)作為模型綜合性能的評(píng)價(jià)標(biāo)準(zhǔn)。其中：

2.3 在線仿真實(shí)驗(yàn)

仿真實(shí)驗(yàn)中計(jì)算機(jī)環(huán)境為：Windows 10操作系統(tǒng)，Intel Core i5處理器，主頻為3.2 GHz，8 G內(nèi)存，240 G固態(tài)硬盤，采用Matlab 2016b軟件編程實(shí)現(xiàn)。選取最終得到的420組污水水質(zhì)的樣本數(shù)據(jù)，其中320組用于模型的訓(xùn)練，余下的100組作為測(cè)試集來驗(yàn)證模型的綜合性能。分別建立基于支持向量機(jī)SVM、相關(guān)向量機(jī)RVM和集成相關(guān)向量機(jī)RVM的水質(zhì)指標(biāo)BOD的在線預(yù)測(cè)模型。所建模型均采用徑向基核函數(shù)，如式(4)。SVM的懲罰參數(shù)c和核參數(shù)g1采用五折交叉驗(yàn)證和遺傳算法尋優(yōu)確定，RVM與集成RVM的核參數(shù)g2與g3亦采用五折交叉驗(yàn)證法和遺傳算法尋優(yōu)確定，g3由首次尋優(yōu)確定后，在后續(xù)弱預(yù)測(cè)器的迭代中不變，集成RVM模型的弱預(yù)測(cè)器個(gè)數(shù)設(shè)置為5個(gè)。其中，SVM模型的預(yù)設(shè)迭代次數(shù)為300次，RVM模型的預(yù)設(shè)迭代次數(shù)為500次，原因在于SVM的目標(biāo)函數(shù)是一個(gè)凸二次規(guī)劃求解問題，而RVM模型的目標(biāo)函數(shù)非凸需要更多的迭代次數(shù)，考慮到集成RVM的迭代所需為弱預(yù)測(cè)器，其迭代次數(shù)預(yù)設(shè)為300次。

進(jìn)行后續(xù)水質(zhì)在線預(yù)測(cè)時(shí)，采用同上述一樣的步驟方法以及限定記憶法對(duì)模型進(jìn)行更新。本文中各模型的仿真實(shí)驗(yàn)均進(jìn)行10次，得到的數(shù)據(jù)為10次實(shí)驗(yàn)結(jié)果的平均值，3種模型的水質(zhì)在線預(yù)測(cè)性能評(píng)價(jià)指標(biāo)如表1所示，圖2～圖4分別為BOD的實(shí)際數(shù)據(jù)與各模型的預(yù)測(cè)結(jié)果對(duì)比圖。

表1 3種模型的水質(zhì)預(yù)測(cè)結(jié)果

注：RVM-A表示集成RVM模型

從表1中可以看出，在具有強(qiáng)非線性和非穩(wěn)態(tài)和參數(shù)時(shí)變的污水處理環(huán)境中，集成RVM模型的預(yù)測(cè)精度最高，均方根誤差RMSE為1.857，平均相對(duì)誤差mean-re為0.076，最大相對(duì)誤差max-re為0.278，相較于單一預(yù)測(cè)器的RVM和SVM模型，均方根誤差RMSE分別下降了19.5%和20.9%，平均相對(duì)誤差mean-re分別下降了30.9%和26.2%，最大相對(duì)誤差max-re分別下降了52.0%和22.6%。

圖2 SVM在線預(yù)測(cè)結(jié)果

圖3 RVM在線預(yù)測(cè)結(jié)果

圖4 集成RVM在線預(yù)測(cè)結(jié)果

在3種水質(zhì)預(yù)測(cè)模型中，SVM的訓(xùn)練時(shí)間最長，原因在于SVM有懲罰系數(shù)c和核寬度g兩個(gè)參數(shù)需要尋優(yōu)確定，而RVM僅需尋優(yōu)確定核寬度一個(gè)參數(shù)，RVM的懲罰系數(shù)c會(huì)在訓(xùn)練過程中自動(dòng)生成，而在SVM中懲罰系數(shù)c是平衡經(jīng)驗(yàn)風(fēng)險(xiǎn)和置信區(qū)間的重要參數(shù)，需要人工設(shè)置，顯然一維參數(shù)比二維參數(shù)尋優(yōu)的時(shí)間復(fù)雜度要小很多[14]。由于RVM比SVM的稀疏性更好，在訓(xùn)練與預(yù)測(cè)中，RVM極大地降低了核函數(shù)的計(jì)算量，模型訓(xùn)練完成后，對(duì)于新樣本的預(yù)測(cè)所需要時(shí)間也更短。

從圖2～圖4中各模型的預(yù)測(cè)對(duì)比圖可以看出，集成RVM模型對(duì)于BOD的變化追蹤效果最好，能更好的適應(yīng)新的工況，具有最佳的模型魯棒性和泛化性能。圖5為集成RVM模型和RVM模型的預(yù)測(cè)絕對(duì)誤差對(duì)比圖，可以看出：集成RVM模型對(duì)于絕大多數(shù)測(cè)試樣本的預(yù)測(cè)誤差低于單一RVM模型，特別是對(duì)異常樣本的預(yù)測(cè)，集成RVM在多輪的迭代過程中針對(duì)異常值的重點(diǎn)學(xué)習(xí)在此情況下體現(xiàn)出了極大的優(yōu)勢(shì)。從表1可以看出，集成RVM的模型更新速度比RVM模型慢，原因在于多出了集成多個(gè)弱預(yù)測(cè)器的過程，從實(shí)際污水處理過程中對(duì)水質(zhì)在線預(yù)測(cè)的要求考慮，模型的預(yù)測(cè)精度和泛化能力的優(yōu)先級(jí)要略高于模型對(duì)時(shí)間的要求。

圖5 絕對(duì)誤差對(duì)比圖

結(jié)合以上分析，基于集成RVM的污水處理水質(zhì)在線預(yù)測(cè)模型的綜合性能優(yōu)于其他模型，滿足實(shí)際污水處理過程中對(duì)于水質(zhì)預(yù)測(cè)準(zhǔn)確性和實(shí)時(shí)性的要求。

3 結(jié)論

污水處理是一個(gè)復(fù)雜的生化反應(yīng)過程，具有強(qiáng)非線性和參數(shù)時(shí)變等特征，傳統(tǒng)的傳感器難以測(cè)量BOD等反應(yīng)水質(zhì)情況的關(guān)鍵指標(biāo)，并考慮到單一弱預(yù)測(cè)器難以在異常值增加的情況下獲得良好的預(yù)測(cè)精度和魯棒性，因此本文提出一種基于改進(jìn)AdaBoost.RT算法集成相關(guān)向量機(jī)RVM的污水處理水質(zhì)在線預(yù)測(cè)模型。通過與SVM和RVM預(yù)測(cè)模型的對(duì)比，仿真實(shí)驗(yàn)結(jié)果表明：集成RVM模型具有預(yù)測(cè)精度高，能夠很好的適應(yīng)BOD的變化，同時(shí)模型更新速度快，在異常值增多的情況下依然具有良好的魯棒性等優(yōu)點(diǎn)，較好地克服了復(fù)雜的污水處理環(huán)境帶來的困難，完全滿足水質(zhì)在線預(yù)測(cè)的實(shí)際要求。

[1] 黃道平, 劉乙奇, 李 艷. 軟測(cè)量在污水處理過程中的研究與應(yīng)用[J]. 化工學(xué)報(bào), 2011, 62(1): 1-9.

[2] 張瑞成，王 宇，李 沖. 基于NW型小世界人工神經(jīng)網(wǎng)絡(luò)的污水出水水質(zhì)預(yù)測(cè)[J]. 計(jì)算機(jī)測(cè)量與控制, 2016, 24(1): 61-63.

[3] Pai T Y, Wan T J, Hsu S T, et al. Using fuzzy inference system to improve neural network for predicting hospital wastewater treatment plant effluent[J]. Computers & Chemical Engineering, 2009, 33(7): 1272-1278.

[4] 黃銀蓉, 張紹德. MIMO最小二乘支持向量機(jī)污水處理在線軟測(cè)量研究[J]. 自動(dòng)化與儀器儀表, 2010, 30(4):15-17.

[5] Chen Z M, Hu J. Wastewater treatment prediction based on chaos-GA optimized LS-SVM[C]./Proceedings of the 2011 Chinese Control and Decision Conference. Mianyang: China Academic Journal Electronic Publishing House, 2011: 4021-4024.

[6] 許玉格, 劉 莉, 曹 濤. 基于Fast-RVM的在線軟測(cè)量預(yù)測(cè)模型[J]. 化工學(xué)報(bào), 2015, 66(11): 4540-4545.

[7] 冉維麗, 喬俊飛. 基于PCA時(shí)間延遲神經(jīng)網(wǎng)絡(luò)的BOD在線預(yù)測(cè)軟測(cè)量方法[J]. 電工技術(shù)學(xué)報(bào), 2004, 19(12): 78-82.

[8] Pani A K, Mohanta H K. Application of support vector regression, fuzzy inference and adaptive neural fuzzy inference techniques for online monitoring of cement fitness[J]. Powder Technology, 2014, 264: 484-497.

[9] 楊 飚, 周 陽. 一種改進(jìn)的相關(guān)向量機(jī)回歸方法[J]. 科學(xué)技術(shù)與工程, 2015, 15(2): 241-245.

[10] TIPPING M E. Sparse Bayesian learning and the relevance vector machine[J]. Journal of Machine Learning Research, 2001, 1(3): 211-244.

[11] 毛志忠, 田慧欣, 王 琰. 基于AdaBoost混合模型的LF爐鋼水終點(diǎn)溫度軟測(cè)量[J]. 儀器儀表學(xué)報(bào), 2008, 29(3): 662-667.

[12] Solomatine D P, Shrestha D L. AdaBoost.RT: A boosting algorithm for regression problems[C].IEEE International Joint Conference on Neural Networks, Piscataway, 2004: 1163-1168.

[13] Yu G P, Yuan M Z, Wang H. On simplified model for activated sludge wastewater treatment process and simulation based on benchmark[C].Proceedings of the 26th Chinese Control Conference, 2007: 182-186.

[14] Masuda K. Global optimization of point search by equilibrium search of gradient dynamical system [J]. Electronic and Communication in Japan, 2008, 91(1): 19-31.