用于水泥熟料fCaO預(yù)測(cè)的多核最小二乘支持向量機(jī)模型

趙朋程，劉彬，高偉，趙志彪，王美琪（燕山大學(xué)信息科學(xué)與工程學(xué)院，河北 秦皇島 066004；河北省特種光纖與光纖傳感重點(diǎn)實(shí)驗(yàn)室，河北 秦皇島 066004；燕山大學(xué)電氣工程學(xué)院，河北 秦皇島 066004）

?

用于水泥熟料fCaO預(yù)測(cè)的多核最小二乘支持向量機(jī)模型

趙朋程1,2，劉彬1,2，高偉3，趙志彪1,2，王美琪1,2
（1燕山大學(xué)信息科學(xué)與工程學(xué)院，河北 秦皇島 066004；2河北省特種光纖與光纖傳感重點(diǎn)實(shí)驗(yàn)室，河北 秦皇島 066004；3燕山大學(xué)電氣工程學(xué)院，河北 秦皇島 066004）

摘要：針對(duì)水泥熟料游離氧化鈣（fCaO）含量預(yù)測(cè)模型辨識(shí)的問題，考慮到單一核函數(shù)無法顯著提高模型精度，采用多項(xiàng)式核函數(shù)、指數(shù)徑向基核函數(shù)和高斯徑向基核函數(shù)組合構(gòu)建等價(jià)核的方法，建立了多核最小二乘支持向量機(jī)水泥熟料fCaO預(yù)測(cè)模型。同時(shí)，利用改進(jìn)的粒子群優(yōu)化算法對(duì)多核最小二乘支持向量機(jī)模型的6個(gè)待確定參數(shù)進(jìn)行迭代尋優(yōu)，避免了模型參數(shù)人工選取的盲目性。最后將基于改進(jìn)粒子群的多核最小二乘支持向量機(jī)模型應(yīng)用于熟料fCaO含量的實(shí)例仿真。結(jié)果表明，建立的水泥熟料fCaO含量預(yù)測(cè)模型精度高、泛化能力強(qiáng)。

關(guān)鍵詞：多核學(xué)習(xí)；最小二乘支持向量機(jī)；模型；優(yōu)化；算法；隨機(jī)擾動(dòng)

2015-10-21收到初稿，2016-03-01收到修改稿。

聯(lián)系人：劉彬。第一作者：趙朋程（1990—），男，博士研究生。

Received date: 2015-10-21.

Foundation item: supported by the Natural Science Foundation of Hebei Province (F2016203354).

引　言

在水泥生產(chǎn)過程中，水泥熟料游離氧化鈣（free calcium oxide in cement clinker，fCaO）是熟料質(zhì)量的一項(xiàng)重要指標(biāo)[1-2]，其含量的高低直接影響水泥的安定性以及生產(chǎn)能耗。目前，國外部分水泥生產(chǎn)企業(yè)使用在線分析儀測(cè)量水泥熟料fCaO含量，但設(shè)備維護(hù)成本較大，并且測(cè)量結(jié)果的準(zhǔn)確性受到現(xiàn)場(chǎng)煙塵和工況的影響。國內(nèi)大部分水泥生產(chǎn)企業(yè)的熟料fCaO值仍需每隔1～2 h現(xiàn)場(chǎng)取樣離線化驗(yàn)得到，由于生料加工成熟料過程具有較大延時(shí)，離線獲得的測(cè)量結(jié)果對(duì)于燒成系統(tǒng)的生產(chǎn)指導(dǎo)具有一定滯后性[3]。隨著模型辨識(shí)技術(shù)的興起，水泥熟料fCaO含量預(yù)測(cè)模型辨識(shí)方法的研究成為一個(gè)重要課題。

由于神經(jīng)網(wǎng)絡(luò)訓(xùn)練遵循經(jīng)驗(yàn)最小化原則[4]，存在過擬合現(xiàn)象，并且網(wǎng)絡(luò)訓(xùn)練復(fù)雜度隨著樣本數(shù)目的增加而增加。因此，Vapnik[5]基于統(tǒng)計(jì)理論提出了支持向量機(jī)（support vector machine，SVM）方法，但SVM的訓(xùn)練需要求解二次規(guī)劃問題，影響了SVM的求解速度。Suykens等[6-7]提出了最小二乘支持向量機(jī)（least square support vector machine，LSSVM）的方法，利用最小二乘的方法將SVM的學(xué)習(xí)轉(zhuǎn)化為求解線性方程組問題。近來，LSSVM及其改進(jìn)形式被用于建立回歸模型中[8-11]。但是，單一核函數(shù)LSSVM方法無法顯著提高所建模型的精度，并且非線性學(xué)習(xí)能力有限。因此，文獻(xiàn)[12-13]提出了多核學(xué)習(xí)的思想，為解決單一核函數(shù)對(duì)模型精度影響的問題提供了解決方向；文獻(xiàn)[14-15]將多核學(xué)習(xí)的思想分別用于支持向量機(jī)和極端學(xué)習(xí)機(jī)中，提高了模型的精度，然而文獻(xiàn)中模型的精度仍依賴于核參數(shù)的人工選取。為了避免模型參數(shù)的選取對(duì)模型精度的影響，粒子群(particle swarm optimization，PSO)算法被應(yīng)用到模型參數(shù)尋優(yōu)過程中[16-18]。

為了降低單一核函數(shù)及其參數(shù)選擇對(duì)SVM建模精度的影響，本文首先結(jié)合不同核函數(shù)性質(zhì)選取3種核函數(shù)構(gòu)建等價(jià)核，用構(gòu)建的等價(jià)核代替?zhèn)鹘y(tǒng)單一核函數(shù)，建立多核最小二乘支持向量機(jī)（multiple kernel least square support vector machine，MKLSSVM）模型；然后針對(duì)PSO算法搜索精度低、全局搜索能力差的缺點(diǎn)進(jìn)行改進(jìn)，提出一種帶隨機(jī)擾動(dòng)的混沌粒子群（random perturbed chaos particle swarm optimization，RPCPSO）算法，并給出了RPCPSO算法優(yōu)化MKLSSVM模型參數(shù)的步驟；最后將建立的MKLSSVM模型應(yīng)用于水泥熟料fCaO含量預(yù)測(cè)建模中進(jìn)行仿真實(shí)驗(yàn)。

1　多核最小二乘支持向量機(jī)

1.1MKLSSVM建模

MKLSSVM的核函數(shù)是通過G個(gè)不同類型的核函數(shù)線性加權(quán)組合得到的。假設(shè)訓(xùn)練樣本數(shù)據(jù)集為，其中，N為訓(xùn)練樣本數(shù)；xi∈ RN為輸入矢量，RN為輸入空間；yi∈ R為相應(yīng)的期望輸出，R為實(shí)數(shù)集，i=1,2, L ,N 。RN通過非線性函數(shù)?( xi)被映射到高維特征空間Z，高維特征空間采用式（1）來估計(jì)未知非線性函數(shù)。

式中，wk∈Z 為?k(?)的權(quán)值，λk≥0為第k個(gè)核函數(shù)的系數(shù)，k=1,2, L ,G，b∈R為常值偏差矩陣。

根據(jù)結(jié)構(gòu)風(fēng)險(xiǎn)最小化原則，將求解式（1）轉(zhuǎn)化為求解如下最小值優(yōu)化問題，其目標(biāo)函數(shù)為

上述目標(biāo)函數(shù)滿足約束條件

式（2）中正則化系數(shù)γ代表模型泛化能力及精度間的匹配參數(shù)，ei為第i個(gè)數(shù)據(jù)實(shí)際輸出和期望輸出間的誤差。

采用Lagrange乘子法建立式（2）Lagrange函數(shù)

式中，αi∈ R和βi∈ R為L(zhǎng)agrange因子。

分別求取式（4）關(guān)于各變量的偏微分

因此，消去變量wk、ei和iβ，得yi表達(dá)式為

式（6）矩陣表達(dá)式為

因此，將式（5）中wk表達(dá)式代入式（1），化簡(jiǎn)得到MKLSSVM對(duì)偶空間的表達(dá)式為

另，由于MKLSSVM的非線性映射能力是由核函數(shù)決定的[19]，因此選取合適的核函數(shù)將提高所建立模型的精度和泛化能力。

1.2核函數(shù)選取及待優(yōu)化參數(shù)確定

在綜合常用核函數(shù)特性并權(quán)衡模型精度與計(jì)算復(fù)雜度的基礎(chǔ)上，選用三階多項(xiàng)式、指數(shù)型徑向基和高斯徑向基3種核函數(shù)進(jìn)行加權(quán)組合，構(gòu)建等價(jià)核。三階多項(xiàng)式核函數(shù)常用來表示非線性特征映射，C為其參數(shù)；指數(shù)型徑向基核函數(shù)應(yīng)用于離散回歸問題時(shí)可產(chǎn)生線性分段解，參數(shù)σ′為其核寬度；高斯徑向基核函數(shù)常用來表示非線性特性，參數(shù)σ為其核寬度。因此，用于MKLSSVM中的等價(jià)核函數(shù)可表示為

式中，1λ、2λ、3λ分別為其對(duì)應(yīng)核函數(shù)系數(shù)，表示各個(gè)核函數(shù)所占比重。

根據(jù)式（3）的約束條件知λ3=1? λ1? λ2，另將所選3種核函數(shù)表達(dá)式代入式（10），MKLSSVM對(duì)偶空間的可表示為

參數(shù)b及α是關(guān)于γ、C、σ′、σ、λ的參量，由式（9）求解得出。因此，上述包含3種核函數(shù)的MKLSSVM精度受到參數(shù)γ、1λ、2λ、C、σ′以及σ共計(jì)6個(gè)參數(shù)的影響。為避免人工選擇參數(shù)的盲目性，本文利用帶隨機(jī)擾動(dòng)的混沌粒子群算法對(duì)MKLSSVM待確定參數(shù)進(jìn)行迭代尋優(yōu)。

2　基于RPCPSO算法的MKLSSVM參數(shù)尋優(yōu)

2.1RPCPSO算法建立

針對(duì)傳統(tǒng)PSO算法收斂速度慢、全局尋優(yōu)能力差以及搜索精度低的缺點(diǎn)，提出采用混沌映射保持粒子種群多樣性，并且當(dāng)尋優(yōu)過程后期出現(xiàn)“聚集”現(xiàn)象時(shí)，在粒子速度更新公式加隨機(jī)擾動(dòng)的方法，既增加了粒子發(fā)現(xiàn)更優(yōu)解的概率，又避免了算法后期陷入局部最優(yōu)解，增加了搜索精度。

在RPCPSO算法中，假設(shè)搜索空間為D維，粒子個(gè)數(shù)為M，每個(gè)粒子被視為搜索空間中一點(diǎn)，并以一定速度飛行，則為粒子當(dāng)前位置，為粒子當(dāng)前速度，個(gè)體極值為，種群全局極值為。首先根據(jù)混沌序列初始化xi，先隨機(jī)產(chǎn)生一個(gè)各分量在[0,1]之間的D維向量，由任意初值z(mì)1∈ [0,1]根據(jù)式（13）所示的Logistic混沌系統(tǒng)經(jīng)過M?1次迭代產(chǎn)生一個(gè)混沌序列。

式中，i=1,2,L ,M? 1，取μ=4時(shí)，式（13）所示的系統(tǒng)處于完全混沌狀態(tài)。

將各個(gè)分量根據(jù)式（14）載波到待優(yōu)化變量的取值范圍，得到RPCPSO算法的初始位置。

式中，i=1,2, L ,M ，d=1,2, L ,D ，xid∈(ad, bd)，ad和bd為待優(yōu)化變量的取值范圍。

當(dāng)尋優(yōu)過程后期出現(xiàn)“聚集”現(xiàn)象時(shí)，在粒子的速度更新公式中對(duì)個(gè)體極值iP和全局極值Pg加隨機(jī)擾動(dòng)，使所有粒子分散飛向不同的新的位置，經(jīng)歷新的搜索路徑，增加粒子發(fā)現(xiàn)更優(yōu)解的概率。以進(jìn)化代數(shù)作為擾動(dòng)的觸發(fā)條件，設(shè)定隨機(jī)擾動(dòng)觸發(fā)條件為L(zhǎng)t。

當(dāng)進(jìn)化代數(shù)l＜ Lt時(shí)，RPCPSO算法按照式（15）和式（16）更新粒子速度和位置。

式中，l表示當(dāng)前迭代次數(shù)，ω稱為慣性權(quán)重，c1和c2為學(xué)習(xí)因子，1r和r2為分布于[0,1]之間的隨機(jī)數(shù)。

當(dāng)進(jìn)化代數(shù)l≥ Lt時(shí)，RPCPSO就分別按照式（17）和式（18）更新速度和位置

式中，r3和r4是在[α , β ]間的隨機(jī)數(shù)，[α , β ]? [0,1]為用戶根據(jù)具體問題設(shè)置的隨機(jī)擾動(dòng)范圍。

2.2RPCPSO優(yōu)化MKLSSVM參數(shù)

采用RPCPSO算法對(duì)MKLSSVM模型待確定參數(shù)進(jìn)行迭代尋優(yōu)，避免模型參數(shù)選擇的盲目性，減少其對(duì)建模精度的影響。根據(jù)式(12)可將MKLSSVM建模過程的尋優(yōu)問題表示為

下面結(jié)合尋優(yōu)問題式（19）給出RPCPSO算法優(yōu)化MKLSSVM參數(shù)尋優(yōu)步驟。

（1）初始化算法參數(shù)：維數(shù)D、粒子總數(shù)M、學(xué)習(xí)因子c1和c2、慣性權(quán)重ωmax、ωmin、最大迭代次數(shù)lmax、隨機(jī)擾動(dòng)觸發(fā)迭代次數(shù)Lt等。

（2）根據(jù)混沌序列初始化粒子群位置，隨機(jī)初始化粒子速度。

（3）MKLSSVM模型辨識(shí)，計(jì)算每個(gè)粒子的適應(yīng)度值Fit，全局極值點(diǎn)pg和個(gè)體極值點(diǎn)pi為

（4）檢查是否滿足結(jié)束條件：l≥ lmax，如果滿足則跳轉(zhuǎn)到步驟（10），否則運(yùn)行步驟（5）。

（5）由式（21）計(jì)算慣性權(quán)重，判斷l(xiāng)＞ Lt是否成立，否則跳轉(zhuǎn)至步驟（6）；是則跳轉(zhuǎn)至步驟（7）。

（8）計(jì)算混沌變量每一個(gè)可行解的適應(yīng)度值Fit，并根據(jù)以下規(guī)則更新粒子全局極值點(diǎn)pg和個(gè)體極值點(diǎn)pi：若Fit(xi)＜ Fit( pi)，則pi= xi，否則pi不變；若Fit(pi)＜ Fit( pg)，則pg= pi，否則pg不變。

（9）迭代次數(shù)加1，跳轉(zhuǎn)到步驟（4）。

（10）輸出全局最優(yōu)位置pg，pg為待尋優(yōu)參數(shù)γ，C，σ′，σ，1λ，2λ組成的向量。

（11）采用已優(yōu)化的參數(shù)γ，C，σ′，σ，1λ，2λ建立MKLSSVM模型，算法結(jié)束。

3　仿真分析

3.1RPCPSO算法驗(yàn)證

為了驗(yàn)證所提出的RPCPSO算法的有效性，選取Sphere(f1)、Ackley(f2)和Rastrigin(f3)3個(gè)常用Benchmark函數(shù)[20]進(jìn)行算法性能測(cè)試，并將其與CPSO[21]、QPSO[22]以及PSO 3種算法進(jìn)行對(duì)比。相關(guān)參數(shù)的設(shè)置情況為：Benchmark函數(shù)的維數(shù)D分別設(shè)置為10和20，其搜索范圍和表達(dá)式如表1所示；CPSO和QPSO算法除了種群規(guī)模和最大迭代次數(shù)，其他參數(shù)設(shè)置同原文獻(xiàn)；PSO中慣性權(quán)重設(shè)為0.9；RPCPSO中慣性權(quán)重ωmax= 0.9、ωmin= 0.2，隨機(jī)擾動(dòng)觸發(fā)的迭代次數(shù)Lt設(shè)為800；種群規(guī)模M依次為50、100，最大迭代次數(shù)lmax均設(shè)置為2000。為了消除隨機(jī)性的影響，每個(gè)算法均獨(dú)立重復(fù)運(yùn)行50次，其最優(yōu)適應(yīng)度函數(shù)平均值（mean fitness function value，MFFV）以及達(dá)到指定尋優(yōu)精度所需的迭代次數(shù)平均值（mean iterations requested，MIR）分別如表2和表3所示。

表1　標(biāo)準(zhǔn)Benchmark測(cè)試函數(shù)Table 1　Benchmark test functions

由表2中MFFV數(shù)據(jù)比較可知，對(duì)于不同維度的測(cè)試函數(shù)，RPCPSO算法尋優(yōu)精度均高于對(duì)比算法。比較表3中MIR數(shù)據(jù)可知，在函數(shù)f1和f2維數(shù)為10時(shí)，RPCPSO收斂速度不如QPSO算法；其他情況下，RPCPSO算法收斂速度均優(yōu)于對(duì)比算法。因此，RPCPSO算法在求解高維復(fù)雜優(yōu)化問題時(shí)具有較高的搜索精度以及較快的收斂速度。

表2　對(duì)3種Benchmark函數(shù)尋優(yōu)結(jié)果的MFFVTable 2　MFFV of optimization result on three Benchmark functions

表3　對(duì)3種Benchmark函數(shù)尋優(yōu)結(jié)果的MIRTable 3　MIR of optimization result on three Benchmark functions

3.2應(yīng)用實(shí)例

由水泥生產(chǎn)機(jī)理可知，熟料fCaO含量高低主c1= c2= 2、慣性權(quán)重ωmax= 0.9、ωmin= 0.2、最大迭代次數(shù)lmax= 85、隨機(jī)擾動(dòng)觸發(fā)迭代次數(shù)Lt=50。

LSSVM和MKLSSVM的模型參數(shù)在式(19)的約束范圍內(nèi)人工選取確定；PSO-MKLSSVM和要取決于生料的組成成分和生料的煅燒情況。在新型干法水泥生產(chǎn)工藝中，生料是經(jīng)過成分配比、粉磨和均化后再進(jìn)入煅燒系統(tǒng)，生料的組成成分相對(duì)穩(wěn)定。因此，本應(yīng)用實(shí)例建立的水泥熟料fCaO含量預(yù)測(cè)模型輸入變量不考慮生料的組成成分的變化，只選取反映生料煅燒情況的相關(guān)變量作為模型的輸入，包括分解爐出口溫度、煙室NOx含量、窯主機(jī)電流、煙室溫度和二次風(fēng)溫，選取水泥熟料fCaO含量化驗(yàn)室測(cè)量值作為模型輸出。

從某水泥廠生產(chǎn)線DCS系統(tǒng)和化驗(yàn)室歷史記錄中共獲得樣本數(shù)據(jù)165組，隨機(jī)選擇其中的100組數(shù)據(jù)作為訓(xùn)練樣本，其余的65組數(shù)據(jù)作為測(cè)試樣本。為對(duì)比驗(yàn)證本文提出建模方法的有效性，分別采用LSSVM、MKLSSVM、PSO-MKLSSVM和RPCPSO-MKLSSVM 4種方法建立水泥熟料fCaO含量預(yù)測(cè)模型，其中LSSVM使用高斯徑向基核函數(shù)，MKLSSVM均采用形如式（12）的等價(jià)核函數(shù)。

優(yōu)化算法初始化參數(shù)如下：PSO算法中維數(shù)D =6，粒子總數(shù)為M =30，學(xué)習(xí)因子c1= c2= 2，慣性權(quán)重ω=0.9，最大迭代次數(shù)lmax= 85；RPCPSO算法中維數(shù)D =6、粒子總數(shù)M =30、學(xué)習(xí)因子RPCPSO-MKLSSVM的模型參數(shù)分別采用PSO算法和RPCPSO算法在式（19）的約束范圍內(nèi)尋優(yōu)。表4為4種方法獲得的模型參數(shù)。

表4　4種方法建立的水泥熟料fCaO模型參數(shù)Table 4　Parameters of cement clinker fCaO models

由圖1可以看出，采用RPCPSO算法訓(xùn)練過程中MSE達(dá)到1.37×10?4時(shí)，迭代次數(shù)為18次，并且當(dāng)?shù)螖?shù)達(dá)到隨機(jī)擾動(dòng)觸發(fā)迭代次數(shù)后，算法跳出局部最優(yōu)點(diǎn)，使均方誤差降低為1.30×10?4，而采用標(biāo)準(zhǔn)PSO算法經(jīng)過41次訓(xùn)練，均方誤差只達(dá)到1.73×10?4并保持不變。仿真結(jié)果表明RPCPSO算法的收斂速度和精度均優(yōu)于標(biāo)準(zhǔn)PSO算法。

圖1　PSO和RPCPSO算法均方誤差比較曲線Fig.1　MSE curve of PSO and RPCPSO algorithm

仿真實(shí)驗(yàn)所用的4種建模方法預(yù)測(cè)熟料fCaO含量仿真結(jié)果對(duì)比如圖2所示。

圖2　4種方法預(yù)測(cè)水泥熟料fCaO含量仿真效果Fig.2　Simulation results of prediction cement clinker fCaO content by four methods

比較4種方法水泥熟料fCaO含量預(yù)測(cè)效果圖可知，無參數(shù)優(yōu)化的LSSVM和MKLSSVM方法建立的水泥熟料fCaO含量模型中真實(shí)值和預(yù)測(cè)值擬合程度相對(duì)有參數(shù)優(yōu)化建立的模型較差，而且MKLSSVM方法建立的模型真實(shí)值和預(yù)測(cè)值擬合度強(qiáng)于單一核函數(shù)LSSVM方法建立的模型擬合度，表明本文給出的組合核函數(shù)MKLSSVM方法的建立的模型精度較高。另外比較PSO算法和RPCPSO算法優(yōu)化的MKLSSVM仿真結(jié)果，RPCPSO算法優(yōu)化MKLSSVM的仿真曲線擬合度比PSO算法優(yōu)化MKLSSVM的曲線擬合度好，表明改進(jìn)的RPCPSO算法具有更強(qiáng)的尋優(yōu)能力。

為進(jìn)一步比較本仿真實(shí)驗(yàn)所使用的4種方法建立的模型質(zhì)量，采用可表示模型質(zhì)量指標(biāo)的最大絕對(duì)誤差、平均絕對(duì)誤差以及均方誤差MSE作為評(píng)判指標(biāo)。4種方法建立的水泥熟料fCaO含量預(yù)測(cè)模型性能指標(biāo)如表5所示。

表5　4種模型性能統(tǒng)計(jì)Table 5　Performance comparison of four models

通過比較表5中數(shù)據(jù)可知，手動(dòng)選取參數(shù)建立的LSSVM和MKLSSVM模型各項(xiàng)性能指標(biāo)較差，模型精度較低，但MKLSSVM模型性能比LSSVM模型較好。通過比較尋優(yōu)方法得到參數(shù)的兩種建模方法可知，RPCPSO-MKLSSVM模型的各項(xiàng)性能指標(biāo)均優(yōu)于PSO-MKLSSVM模型，說明本文通過RPCPSO算法優(yōu)化MKLSSVM模型參數(shù)建立的模型精度更高、泛化能力更強(qiáng)。

由表6[1]中fCaO含量與水泥安定性的關(guān)系可知，當(dāng)fCaO含量超過一定值后，水泥安定性不合格，使用安定性不合格的水泥對(duì)建筑物壽命有較大影響。另外，由熟料fCaO的產(chǎn)生機(jī)理[3,8]可知，過低的fCaO值需要消耗大量的能源。因此，可采用本文提出的模型對(duì)熟料fCaO進(jìn)行預(yù)測(cè)，使現(xiàn)場(chǎng)操作人員及工程師可根據(jù)fCaO值結(jié)合安定性和能耗對(duì)生產(chǎn)過程參數(shù)進(jìn)行調(diào)整，以達(dá)到在保證安定性合格的基礎(chǔ)上盡可能降低生產(chǎn)能耗的目的。由此可見，水泥熟料fCaO預(yù)測(cè)模型的研究對(duì)于水泥生產(chǎn)具有較大的指導(dǎo)意義。

表6　fCaO含量與水泥安定性的關(guān)系[1]Table 6　Relationship between cement soundness and fCaO content[1]

4　結(jié)　論

本文采用3種不同類型的核函數(shù)線性加權(quán)構(gòu)建等價(jià)核，給出了一種MKLSSVM建模方法，并利用改進(jìn)的RPCPSO算法針對(duì)MKLSSVM的6個(gè)待確定參數(shù)進(jìn)行迭代尋優(yōu)，提高了模型精度，避免了參數(shù)選取的盲目性。仿真分析結(jié)果表明，提出的RPCPSO算法搜索精度和收斂速度均優(yōu)于對(duì)比算法，采用RPCPSO-MKLSSVM方法建立的水泥熟料fCaO預(yù)測(cè)模型的精度和泛化能力均高于其他3種對(duì)比方法。準(zhǔn)確地預(yù)測(cè)熟料fCaO含量值不僅可以使操作人員和工程師根據(jù)fCaO值調(diào)整生產(chǎn)參數(shù)，為水泥生產(chǎn)提供指導(dǎo)，也為后續(xù)水泥生產(chǎn)過程優(yōu)化操作以及智能控制提供了先決條件。

符號(hào)說明

b——MKLSSVM算法中常值偏差矩陣

C——多項(xiàng)式核函數(shù)參數(shù)

c——RPCPSO算法中學(xué)習(xí)因子

D——RPCPSO算法中待優(yōu)化問題維度

ei——MKLSSVM算法的誤差項(xiàng)

Lt——RPCPSO算法隨機(jī)擾動(dòng)觸發(fā)條件

l——RPCPSO算法的進(jìn)化代數(shù)

M——RPCPSO算法的粒子數(shù)量

pg，pi——分別為RPCPSO算法搜尋到的種群最優(yōu)解和個(gè)體最優(yōu)解

v——RPCPSO算法的粒子飛行速度

w——MKLSSVM算法中權(quán)值矩陣

z——一個(gè)混沌時(shí)間序列

αi，βi——MKLSSVM算法的拉格朗日乘子

γ——MKLSSVM算法中正則化系數(shù)

λ——MKLSSVM算法中核函數(shù)系數(shù)

σ——高斯徑向基核函數(shù)核寬度參數(shù)

σ′——指數(shù)型核函數(shù)核寬度參數(shù)

ω——RPCPSO算法中慣性權(quán)重

下角標(biāo)

i——輸入、輸出樣本所屬類別標(biāo)記

References

[1]KAEWMANEE K, KRAMMART P, SUMRANWANICH T, et al. Effect of free lime content on properties of cement-fly ash mixtures [J]. Construction and Building Materials, 2013, 38: 829-836. DOI: 10.1016/j.conbuildmat.2012.09.035.

[2]王秀蓮, 孫旭晨, 王卓, 等. 基于局部PSO-LSSVM的水泥f-CaO測(cè)量方法研究 [J]. 控制工程, 2014, 21 (6): 807-811. DOI: 10.3969/j.issn.1671-7848.2014.06.003. WANG X L, SUN X C, WANG Z, et al. Measurement method research for cement f-CaO based on local PSO-LSSVM [J]. Contorl Engineering of China, 2014, 21 (6): 807-811. DOI: 10.3969/j.issn.1671-7848.2014.06.003.

[3]LI W T, WANG D H, ZHOU X J, et al. An improved multi-source based soft sensor for measuring cement free lime content [J]. Information Sciences, 2015, 323: 94-105. DOI: 10.1016/j.ins.2015.06.035.

[4]李大字, 劉方, 靳其兵. 自增長(zhǎng)混合神經(jīng)網(wǎng)絡(luò)及其在燃料電池建模中的應(yīng)用 [J]. 化工學(xué)報(bào), 2015, 66 (1): 333-337. DOI: 10.11949/j.issn.0438-1157.20141431. LI D Z, LIU F, JIN Q B. Self-growing hybrid neural network and its application for fuel cell modelling [J]. CIESC Journal, 2015, 66 (1): 333-337. DOI: 10.11949/j.issn.0438-1157.20141431.

[5]VAPNIK V N. An overview of statistical learning theory [J]. IEEE Trans. on Neural Networks, 1999, 10 (5): 988-999. DOI: 10.1109/72.788640.

[6]SUYKENS J A K, VANDEWALLE J. Least squares support vector machines classifiers [J]. Neural Network Letters, 1999, 19 (3): 293-300. DOI: 10.1023/A:1018628609742.

[7]SUYKENS J A K, VANDEWALLE J. Recurrent least squares support vector machines [J]. IEEE Trans. on Circuits and Systems, 2000, 47 (7): 1109-1114. DOI: 10.1109/81.855471.

[8]ZHENG P P, FENG J, LI Z, et al. A novel SVD and LS-SVM combination algorithm for blind watermarking [J]. Neurocomputing, 2014, 142: 520-528. DOI: 10.1016/j.neucom.2014.04.005.

[9]馮凱, 盧建剛, 陳金水. 基于最小二乘支持向量機(jī)的MIMO線性參數(shù)變化模型辨識(shí)及預(yù)測(cè)控制 [J]. 化工學(xué)報(bào), 2015, 66 (1): 197-205. DOI: 10.11949/j.issn.0438-1157.20141636. FENG K, LU J G, CHEN J S. Identification and model predictive control of LPV models based on LS-SVM for MIMO system [J]. CIESC Journal, 2015, 66 (1): 197-205. DOI: 10.11949/j.issn.0438-1157.20141636.

[10]CHEN T T, LEE S J. A weighted LS-SVM based learning system for time series forecasting [J]. Information Sciences, 2015, 299: 99-116. DOI: 10.1016/j.ins.2014.12.031.

[11]劉瑞蘭, 徐艷, 戎舟. 基于稀疏最小二乘支持向量機(jī)的軟測(cè)量建模 [J]. 化工學(xué)報(bào), 2015, 66 (4): 1402-1406. DOI: 10.11949/j.issn.0438-1157.20141392. LIU R L, XU Y, RONG Z. Modeling soft sensor based on sparse least square support vector machine [J]. CIESC Journal, 2015, 66 (4): 1402-1406. DOI: 10.11949/j.issn.0438-1157.20141392.

[12]AIOLLI F, DONINI M. EasyMKL: a scalable multiple kernel learning algorithm [J]. Neurocomputing, 2015, 169: 215-224. DOI: 10.1016/ j.neucom.2014.11.078.

[13]汪洪橋, 孫富春, 蔡艷寧, 等. 多核學(xué)習(xí)方法 [J]. 自動(dòng)化學(xué)報(bào), 2010, 36 (8): 1037-1050. DOI: 10.3724/SP.J.1004.2010.01037. WANG H Q, SUN F C, CAI Y N, et al. On multiple kernel learning methods [J]. Acta Automatica Sinica, 2010, 36 (8): 1037-1050. DOI: 10.3724/SP.J.1004.2010.01037.

[14]陳強(qiáng), 任雪梅. 基于多核最小二乘支持向量機(jī)的永磁同步電機(jī)混沌建模及其實(shí)時(shí)在線預(yù)測(cè) [J]. 物理學(xué)報(bào), 2010, 59 (4): 2310-2318. DOI: 10.7498/aps.59.2310. CHEN Q, REN X M. Chaos modeling and real-time online prediction of permanent magnet synchronous motor based on multiple kernel least squares support vector machine [J]. Acta Physica Sinica, 2010, 59 (4): 2310-2318. DOI: 10.7498/aps.59.2310.

[15]FOSSACECA J M, MAZZUCHI T A, SARKANI S. MARK-ELM: application of a novel multiple kernel learning framework for improving the robustness of network intrusion detection [J]. Expert Systems with Applications, 2015, 42 (8): 4062-4080. DOI: 10.1016/ j.eswa.2014.12.040.

[16]安劍奇, 陳易斐, 吳敏. 基于改進(jìn)支持向量機(jī)的高爐一氧化碳利用率預(yù)測(cè)方法 [J]. 化工學(xué)報(bào), 2015, 66 (1): 206-214. DOI: 10.11949/j.issn.0438-1157.20141482. AN J Q, CHEN Y F, WU M. A prediction method for carbon monoxide utilization ratio of blast furnace based on improved support vector regression [J]. CIESC Journal, 2015, 66 (1): 206-214. DOI: 10.11949/j.issn.0438-1157.20141482.

[17]何巧樂, 崔國民, 許海珠. 基于新策略粒子群算法優(yōu)化換熱網(wǎng)絡(luò)[J]. 化工學(xué)報(bào), 2014, 65 (S1): 391-397. DOI: 10.3939/j.issn.0438-1157.2014.zl.063. HE Q L, CUI G M, XU H Z. Particle swarm optimization with two new strategies for heat exchangers network synthesis [J]. CIESC Journal, 2014, 65 (S1): 391-397. DOI: 10.3939/j.issn.0438-1157.2014.zl.063.

[18]NICKABADI A, EBADZADEH M M, SAFABAKHSH R. A novel particle swarm optimization algorithm with adaptive inertia weight [J]. Applied Soft Computing, 2011, 11 (4): 3658-3670. DOI: 10.1016/j.asoc.2011.01.037.

[19]田中大, 高憲文, 石彤. 用于混沌時(shí)間序列預(yù)測(cè)的組合核函數(shù)最小二乘支持向量機(jī) [J]. 物理學(xué)報(bào), 2014, 63 (16): 70-80. DOI: 10.7498/aps.64.030506. TIAN Z D, GAO X W, SHI T. Combination kernel function least squares support vector machine for chaotic time series prediction [J]. Acta Physica Sinica, 2014, 63 (16): 70-80. DOI: 10.7498/aps.64.030506.

[20]YAO X, LIU Y, LIN G M. Evolutionary programming made faster [J]. IEEE Trans. on Evolutionary Computation, 1999, 3 (2): 82-102. DOI: 10.1109/4235.771163.

[21]YANG C H, TSAI S W, CHUANG L Y, et al. An improved particle swarm optimization with double-bottom chaotic maps for numerical optimization [J]. Applied Mathematics and Computation, 2012, 219 (1): 260-279. DOI: 10.1016/j.amc.2012.06.015.

[22]SUN J, FANG W, PALADE V, et al. Quantum-behaved particle swarm optimization with Gaussian distributed local attractor point [J]. Applied Mathematics and Computation, 2011, 218 (7): 3763-3775. DOI: 10.1016/j.amc.2011.09.021.

Multiple kernel least square support vector machine model for prediction of cement clinker lime content

ZHAO Pengcheng1,2, LIU Bin1,2, GAO Wei3, ZHAO Zhibiao1,2, WANG Meiqi1,2
(1Institute of Information Science and Engineering, Yanshan University, Qinhuangdao 066004, Hebei, China;2Key Laboratory for Special Fiber and Fiber Sensor of Hebei Province, Qinhuangdao 066004, Hebei, China;3Institute of Electrical Engineering, Yanshan University, Qinhuangdao 066004, Hebei, China)

Abstract:Aiming at the problem of how to accurately predict the cement clinker fCaO content, the traditional single kernel least squares support vector machine (LSSVM) is difficult to show the complex non-linear relation between the clinker fCaO content and corresponding variables exactly. Thus, the multiple kernel least square support vector machine (MKLSSVM) containing three kernel function is presented based on multiple kernel learning to avoid the influence of the single kernel function on the model accuracy. As a result of artificial selection the parameters of MKLSSVM is blindness and uncertainty. The random perturbation chaos particle swarm optimization (RPCPSO) algorithm is presented to get the best parameters of MKLSSVM. The cement clinker fCaO content model is built by using the RPCPSO algorithm to optimize the parameters of MKLSSVM. Simulation results indicated that the RPCPSO algorithm had a fast convergence speed, and the model had high precision and strong ability of power generalization. Thus, the model was valuable for practical application.

Key words:multiple kernel learning; least square support vector machine; model; optimization; algorithm; random perturbation

中圖分類號(hào)：TP 183

文獻(xiàn)標(biāo)志碼：A

文章編號(hào)：0438—1157（2016）06—2480—08

DOI：10.11949/j.issn.0438-1157.20151598

基金項(xiàng)目：河北省自然科學(xué)基金項(xiàng)目（F2016203354）。

Corresponding author:Prof. LIU Bin, liubin@ysu.edu.cn