基于選擇性核學(xué)習(xí)的在線軟測量建模方法?

趙成斌 陳 鵬 梁 潔

（中國人民解放軍91206部隊 青島 266108）

1 引言

軟測量技術(shù)是估計工業(yè)過程中難測變量的有效方法［1～2］。在眾多非線性建模方法中，以最小二乘支持向量機（Least Squares Support Vector Ma?chine，LSSVM）為代表的核學(xué)習(xí)方法，由于具有良好的有限樣本建模能力，且僅需求解線性方程組，較支持向量機有效提高了算法效率，因此獲得了廣泛的應(yīng)用［3～5］。然而，由于工業(yè)過程的時變特性以及周圍的環(huán)境因素，離線建立的模型性能逐漸惡化以致不能滿足要求［6］。因此，獲取到新樣本后，常采用遞推的方法在線更新軟測量模型。遞推方法通常包括兩個步驟，即前向?qū)W習(xí)和后向?qū)W習(xí)。前向?qū)W習(xí)的方法主要有相關(guān)性方法（ALD）［7］、滑動時間窗法［8］及預(yù)報誤差限法（PEB）［9］等，其中預(yù)報誤差限法由于同時考慮過程的狀態(tài)變化及變量間的映射關(guān)系，能夠有效提高模型的稀疏性［10］。在后向?qū)W習(xí)中，亦常采用滑動時間窗法，刪除最古老的樣本，然而最舊的樣本不一定不包含有用信息，因此這一做法未必合理；文獻［11］采用快速留一交叉驗證法（FLOO-CV）刪除對模型整體影響最小的樣本，但其局部預(yù)報能力不強，且易受到離群點的影響。文獻［12］采用一種基于樣本間歐式距離和夾角的相似度準(zhǔn)則刪除冗余樣本，但該方法僅考慮樣本的輸入信息，忽略了樣本的輸出信息，因此該方法可能導(dǎo)致選擇不合理的相似樣本。

為解決上述問題，在后向核學(xué)習(xí)中，本文采用一種充分利用樣本輸入輸出信息的相似度準(zhǔn)則淘汰冗余樣本。此外，由于LSSVM建立的是高維空間輸入與輸出間的映射關(guān)系，為保持空間一致性，本文推導(dǎo)出一種在高維空間計算相似度的方法。最后，采用某石化公司聚丙烯熔融指數(shù)的實際工業(yè)數(shù)據(jù)驗證本文所建軟測量模型的泛化能力。

2 LSSVM算法及其在線更新方法

2.1 LSSMV算法

LSSVM是標(biāo)準(zhǔn)支持向量機（Support Vector Ma?chine，SVM）的改進，它依然遵循結(jié)構(gòu)風(fēng)險最小化原則，但采用最小二乘線性系統(tǒng)作為損失函數(shù)，將求解二次規(guī)劃問題轉(zhuǎn)化為求解線性方程組，大大降低了計算復(fù)雜度。Suykens等提出的LSSVM［13］方法的數(shù)學(xué)描述為

其中γ為正則化參數(shù)，最小值問題（1）的Lagrange函數(shù)為

其中 α=[α1，α2，…，αN]T，為拉格朗日乘子。由式（2）的平衡條件可知：

定義核函數(shù) K(xi，xj)=＜?(xi，xj)＞ 代替非線性映射，原優(yōu)化問題可轉(zhuǎn)化為線性方程組：

通過該線性方程組可確定回歸函數(shù)的參數(shù)α，b，從而得到回歸函數(shù)：

2.2 LSSMV模型的在線更新方法

由式（4）可知，在建立LSSVM模型時，需要進行矩陣的求逆運算，在樣本較多時計算量非常大，難以滿足在線更新模型的實時性要求，因此，本文采用遞推的方式更新模型。

即求解LS-SVM的模型參數(shù)關(guān)鍵在于求。將新樣本(xN+1，yN+1)加入到模型中后，可得

根據(jù)分塊矩陣求逆公式，可得

上述推導(dǎo)過程詳見文獻［14］。

當(dāng)進行后向遞減學(xué)習(xí)，刪除LS-SVM模型中的某個支持向量(xk，yk)時，更新模型參數(shù)需要由獲取。其更新公式為［15］

式中，分別代表和的相應(yīng)位置的元素。

由式（8～9）易知，無論是前向?qū)W習(xí)還是后向?qū)W習(xí)，LSSVM的模型參數(shù)能夠以遞推的方式在線更新，而不需要重復(fù)矩陣求逆的運算，運算復(fù)雜度由原來的O(N3)減至O(N2)。

3 基于選擇性核學(xué)習(xí)的在線軟測量建模方法

3.1 特征空間的相似度計算

在進行核學(xué)習(xí)時，常采基于樣本間歐氏距離和夾角的相似度準(zhǔn)則衡量其相似性。樣本(xi，yi)，(xj，yj)在這種準(zhǔn)則下的相似度可以表示為

其中 d(xi，xj)=||xi-xj||2代表 xi，xj的歐氏距離；代表 xi，xj的夾角，通常需要對 xi，xj進行中心化；0≤αx≤1，用于權(quán)衡距離和角度的關(guān)系。這種相似度準(zhǔn)則將樣本輸出所包含的信息直接丟棄，導(dǎo)致信息不完全利用，可能會造成錯誤的相似樣本選擇。此外，由于LSSVM建立高維特征空間的輸入與輸出的映射關(guān)系，即LSS?VM：?(X)→Y ，而式（10）所示的相似度在原始空間計算。樣本在原始空間和特征空間的相似度未必一致，因此，為充分利用信息，并保持空間的一致性，本文在后向核學(xué)習(xí)中提出如下的相似度計算方法：

式中 ρ代表輸出信息的權(quán)重；S(yi，yj)代表輸出空間的相似性，可直接按式（10）計算；[S(?(xi)，?(xj))]代表高維空間輸入信息的相似性，中心化后的計算公式為

其中 d(?(xi)，?(xj))和 cosβ(?(xi)，?(xj)的計算公式，本文推導(dǎo)如下：

式中?(xl)代表特征空間中輸入數(shù)據(jù)的均值。

3.2 基于選擇性核學(xué)習(xí)的在線建模方法步驟

綜上所述，本文提出的選擇性在線建模方法包括兩個部分，即前向選擇性增加樣本及后向選擇性刪除樣本，其步驟如圖1所示。

由于過程運行于穩(wěn)態(tài)時，過程變量處于工作點附近，其變化并不是很大，若每次獲取到新樣本后都更新模型，將放大干擾及測量噪聲的影響，導(dǎo)致模型泛化能力下降，因此，根據(jù)“克萊姆剃刀”法則，僅當(dāng)模型性能下降時更新模型。本文在獲取到新樣本后，首先采用PEB準(zhǔn)則對模型性能進行評價，僅當(dāng)模型對新樣本的預(yù)報誤差e*大于設(shè)定閾值eˉ時，按照式（8）進行前向?qū)W習(xí)，將新樣本納入到模型中。

前向?qū)W習(xí)后，為保持模型樣本數(shù)量，需要進行后向?qū)W習(xí)，刪除冗余樣本。具體做法是：首先按式（11）計算新樣本與模型中每個舊樣本的相似度S1，…，SL，然后找出相似度最小的樣本的序號l，并根據(jù)式（9）進行后向?qū)W習(xí)，刪除樣本（xl，yl），通過遞推的方式更新模型參數(shù)。

在后向?qū)W習(xí)中，相似度越小，說明樣本偏離當(dāng)前工作狀態(tài)的程度越大。因此，將具有最小相似度的樣本刪除，可以有效保留與當(dāng)前工況最相似的信息，從而提高模型對后續(xù)未知輸出的樣本的預(yù)報能力。

4 應(yīng)用研究

聚丙烯（Polypropylene，PP）是一種性能良好的熱塑性材料，熔融指數(shù)（Melt Index，MI）是衡量聚丙烯產(chǎn)品質(zhì)量的關(guān)鍵指標(biāo)之一。目前MI主要靠人工離線化驗分析獲得，滯后較大，難以滿足實時質(zhì)量控制和先進控制的要求。

從某公司Spheripol-II液相本體雙環(huán)管聚丙烯反應(yīng)裝置DCS系統(tǒng)及化驗車間獲取有關(guān)MI的生產(chǎn)數(shù)據(jù)（包含7個輔助變量），經(jīng)數(shù)據(jù)預(yù)處理后，共獲得280組數(shù)據(jù)，前150組數(shù)據(jù)用于離線建立LSSVM模型，后130組用于檢驗?zāi)Ｐ偷脑诰€學(xué)習(xí)效果。采用以下幾種LSSVM方法建立MI的軟測量模型：

LSSVM-①：無在線更新的LSSVM；

LSSVM-②：滑動時間窗LSSVM；

LSSVM-③：遞推LSSVM；

LSSVM-④：選擇性后向?qū)W習(xí)，但采用式（10）刪除冗余模型；

LSSVM-⑤：本文提出的方法。

上述幾種LSSVM模型均采用FLOO-CV進行后向?qū)W習(xí)。LSSVM模型選擇高斯核函數(shù)，即以最小化預(yù)報均方根誤差RMSE為目標(biāo)，通過粒子群優(yōu)化（Particle Swarm Optimization，PSO）技術(shù)，設(shè)LSSVM的核參數(shù)σ=7.1，正則化參數(shù) γ=195.6，αx=0.998，在計算輸出信息的相似度時，由于僅有一個輸出，所以僅采用距離信息；式（11）中，ρ=0.99。

為評價不同方法的性能，以均方根誤差RMSE、相對均方根誤差RRMSE、最大絕對誤差MAE作為模型精度指標(biāo)，以模型在線更新次數(shù)up?Num作為在線學(xué)習(xí)的效率指標(biāo)，結(jié)果如表1所示。

表1 五種LSSVM模型的性能比較

從RMSE、RRMSE、MAE三列可以發(fā)現(xiàn)，無更新LSSVM（即LSSVM-1）的預(yù)報精度最低，這表明在線更新模型的必要性；遞推LSSVM（LSSVM-2）雖然預(yù)報精度較高，但其模型在線更新頻率亦高。對比LSSVM-3～LSSVM-5，可以發(fā)現(xiàn)，通過樣本相似度法刪除冗余樣本，較滑動時間窗法可以明顯降低預(yù)報誤差，這是因為最舊的樣本有可能包含當(dāng)前工作狀態(tài)的有用信息，時間窗法不加分辨地將其刪除，而相似度法則可以有效地將這些樣本保留。進一步，通過對比LSSVM-4和LSSVM-5，可以發(fā)現(xiàn)，本文提出的方法由于充分利用了輸入和輸出信息，并考慮到空間的一致性，因此較單純在原始空間使用輸入信息的相似度準(zhǔn)則能夠有效判別冗余樣本，從而提高模型的預(yù)報能力。此外，最后一列可以看出，由于在前向?qū)W習(xí)中采用了PEB準(zhǔn)則選擇性的前向?qū)W習(xí)，因此，本文提出的方法能夠在提高模型性能的同時，有效降低在線更新頻率。

為直觀顯示本文所提方法對熔融指數(shù)的預(yù)報能力，將其預(yù)報結(jié)果與誤差分別繪制成圖2和圖3。

從圖2可以看出，本文所提出的方法能夠很好地跟蹤聚丙烯熔融指數(shù)的變化，對各工況樣本的估計沒有特別大的誤差，其原因前文已經(jīng)分析過了，不再贅述。而從圖3中易知，較大的預(yù)報誤差大多出現(xiàn)在工況改變處，工況平穩(wěn)后，模型的估計精度基本滿足要求，說明模型有較好的適應(yīng)工況改變的能力。

5 結(jié)語

在兩階段核學(xué)習(xí)建模方法中，為了在后向?qū)W習(xí)中更準(zhǔn)確地刪除冗余樣本，本文提出一種同時利用樣本輸入輸出信息的相似度準(zhǔn)則。同時，為了將空間一致性考慮在內(nèi)，本文推導(dǎo)出一種在高維特征空間計算相似度的公式。通過對聚丙烯熔融指數(shù)的軟測量建模研究表明，本文提出的方法較低維空間的僅利用輸入信息的相似度準(zhǔn)則，能夠更合理地判別冗余樣本，從而有效地提高了模型的預(yù)報精度。

［1］Petr Kadleca，Bogdan Gabrys，Sibylle Strandt.Data-driv?en Soft Sensors in the process industry［J］.Computers and Chemical Engineering，2009，33（4）：795-814.

［2］俞金壽，劉愛倫，張克進.軟測量技術(shù)及其在石油化工中的應(yīng)用［M］.北京：化學(xué)工業(yè)出版社，2000：1-10.

［3］Gu Yanping，Zhao Wenjie，Zhansong Wu.Online adap?tive least squares support vector machine and its applica?tion in utility boiler combustion optimization systems［J］.Journal of Process Control，2011，21（7）：1040-1048.

［4］ Cui Wentong，Yan Xuefeng.Adaptive weighted least square support vector machine regression integrated with outlier detection and its application in QSAR［J］.Chemo?metrics and Intelligent Laboratory System，2009，98（2）：130-135.

［5］Chen Kun，Ji Jun，Wang Haiqing，Song Zhihuan.Adap?tive local kernel-based learning for soft sensor modeling of nonlinear processes［J］.Chemical Engineering Re?search and Design，2011，89（10）：2117-2124.

［6］Petr Kadlec，Ratko Grbic，Bogdan Gabrys.Review of ad?aptation mechanisms for data-driven soft sensors［J］.Computers and Chemical Engineering［J］，2011，35（1）：1-24.

［7］Tang Jian，Chai Tianyou，Yu Wen，Zhao Lijie，Modified recursive partial least squares algorithm with application to modeling parameters of ball mill load［C］//Proceeding of the 30thChinese Control Conference，China，Yantai，2011：5277-5282.

［8］Wang Haiqing，Li Ping，Gao Furong，Song Zhihuan，etc.Kernel classifier with adaptive structure and fixed memory for process diagnosis［J］.AIChE，2006，52（10）：3515-3531.

［9］Liu Yi，Wang Haiqing，Yu Jiang，et al.Selective recur?sive kernel learning for online identification of nonlinear systems with NARX form［J］.Journal of Process Control，2010，1（20）：181-194.

［10］陳坤.在線核學(xué)習(xí)建模算法及其應(yīng)用研究［D］.杭州：浙江大學(xué)，2011：27-28.

［11］Liu Yi，Hu Naiping，Wang Haiqing，et al.Soft Chemi?cal Analyzer Development Using Adaptive Least Squares Support Vector Regression with Selective Pruning and Variable Moving Window Size［J］.Industrial and Engi?neering Chemistry Research，2009，48：5731-5741

［12］王平，田華閣，田學(xué)民，黃德先.一種基于增量式SVR學(xué)習(xí)的在線自適應(yīng)建模方法［J］.化工學(xué)報，2010，61（8）：2040-2045.

［13］Johan A.K.Suykens，Tony Van Gestel，Jos De Braban?ter，etc.Least Squares Support Vector Machines［D］.Singapore：World Scientific Press，2002：71-73.

［14］Liu Jianghua，Chen Jiapin，Jiang Shan，Cheng Junshi.Online LS-SVM for function estimation and classifica?tion［J］.Journal of University of Science and Technolo?gy Beijing，2003，10（5）：73-77.

［15］Gene H.Golub，Charles F.Van Load.Matrix Computa?tion［M］.Baltimore and London：The Johns Hopkins University Press，1996：24-33.