基于最大相關(guān)熵準(zhǔn)則的多尺度高斯核極端學(xué)習(xí)機(jī)

劉兆倫，武 尤，王衛(wèi)濤，張春蘭，劉 彬

(1.燕山大學(xué) 河北省特種光纖與光纖傳感重點(diǎn)實(shí)驗(yàn)室，河北 秦皇島 066004；2.燕山大學(xué) 信息科學(xué)與工程學(xué)院，河北 秦皇島 066004；3.燕山大學(xué) 電氣工程學(xué)院，河北 秦皇島 066004)

1 引 言

針對(duì)傳統(tǒng)前饋神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)速度慢的問題，黃廣斌等人提出了極端學(xué)習(xí)機(jī)(extreme learning machine，ELM)[1]，但通過人為試湊法設(shè)定的隱含層節(jié)點(diǎn)個(gè)數(shù)以及隱含層激活函數(shù)的選擇對(duì)ELM的學(xué)習(xí)效率和魯棒性有很大的影響[2]。針對(duì)這些問題，有學(xué)者利用Mercer理論將具有良好的非線性映射能力的核函數(shù)引入ELM中形成核ELM[3]，不但避免了隱含層節(jié)點(diǎn)個(gè)數(shù)的設(shè)定和隱含層激活函數(shù)的選擇，又提高了ELM的非線性映射能力。不同核函數(shù)所具備的性能不同，因此對(duì)于不同的特點(diǎn)的數(shù)據(jù)，同一個(gè)核函數(shù)的表現(xiàn)差異較大，單個(gè)核函數(shù)對(duì)輸入數(shù)據(jù)進(jìn)行映射的處理將不再合理。針對(duì)這個(gè)問題，學(xué)者們開始對(duì)多核ELM進(jìn)行研究[4,5]。

隨著多尺度分析和小波理論的發(fā)展，多尺度核學(xué)習(xí)作為多核學(xué)習(xí)的一種特殊形式[6]，因與合成核相比更具泛化能力和靈活性而被廣泛應(yīng)用。Liu等人將多尺度核ELM應(yīng)用于腦電圖信號(hào)(EEG)特征分類問題[6]；Chang等人利用多尺度核ELM解決相對(duì)磁導(dǎo)率曲線的計(jì)算問題[7]；王新迎等人將多尺度核ELM用于對(duì)多元混沌時(shí)間序列的建模預(yù)測(cè)[8]；Chen等人利用多尺度核ELM對(duì)電路系統(tǒng)輸電線路進(jìn)行故障診斷[9]。但是以上文獻(xiàn)中現(xiàn)有的核函數(shù)多尺度化方法存在著計(jì)算復(fù)雜的問題，且大量的計(jì)算使得網(wǎng)絡(luò)學(xué)習(xí)時(shí)間變長(zhǎng)。

現(xiàn)有的多尺度核ELM均是采用最小二乘法的思想，基于最小均方差(minimum mean square error，MMSE)準(zhǔn)則構(gòu)建的[10]，對(duì)粗差數(shù)據(jù)十分敏感且往往存在過擬合的現(xiàn)象，在難免存在噪聲的實(shí)際應(yīng)用過程中，逐漸顯示出其弊端。而近年來(lái)，作為一種新的隨機(jī)變量局部相似性的度量，相關(guān)熵受到廣泛關(guān)注[11,12]。最大相關(guān)熵準(zhǔn)則(maximum correntropy criterion，MCC)從M-estimate框架來(lái)看，等價(jià)于加權(quán)最小二乘法[13]，相比于MMSE準(zhǔn)則具備更優(yōu)的抑制噪聲的作用和更好的魯棒性[14]，能有效地處理噪聲數(shù)據(jù)。張金鳳等人采用MCC準(zhǔn)則對(duì)投影近似子空間跟蹤算法的目標(biāo)函數(shù)進(jìn)行修正，推導(dǎo)出適用于噪聲環(huán)境的新算法[15]；Wang等人利用MCC準(zhǔn)則抑制混沌時(shí)間序列預(yù)測(cè)中脈沖噪聲干擾的影響[16]；Wang等人將MCC準(zhǔn)則引入核回歸中提出了一種基于MCC準(zhǔn)則的核回歸脈沖星輪廓去噪方法[17]；Su等人用MCC準(zhǔn)則代替基于高斯混合模型的圖像恢復(fù)方法中的MMSE準(zhǔn)則，避免了MMSE準(zhǔn)則對(duì)異常值敏感的問題[18]。

針對(duì)上述多尺度核ELM現(xiàn)存的問題，本文采用MCC準(zhǔn)則代替?zhèn)鹘y(tǒng)的多尺度核ELM算法中的MMSE準(zhǔn)則構(gòu)建目標(biāo)函數(shù)使之適用于高斯噪聲環(huán)境，并且基于按訓(xùn)練樣本數(shù)量隨機(jī)生成尺度因子的新型多尺度化方法，采用拉格朗日乘子法推導(dǎo)出基于MCC準(zhǔn)則的多尺度核ELM算法(MCC-MKELM)，并對(duì)其進(jìn)行收斂性與計(jì)算復(fù)雜度分析。針對(duì)3種對(duì)比算法在基準(zhǔn)回歸數(shù)據(jù)集與高斯噪聲數(shù)據(jù)集上進(jìn)行對(duì)比實(shí)驗(yàn)來(lái)驗(yàn)證其性能。最后將其應(yīng)用于對(duì)水泥熟料f-CaO含量的預(yù)測(cè)以評(píng)估其實(shí)用性。

2 基于最大相關(guān)熵準(zhǔn)則的多尺度高斯核極端學(xué)習(xí)機(jī)

2.1 最大相關(guān)熵準(zhǔn)則

相關(guān)熵是一種用來(lái)衡量特征向量之間相似性的相關(guān)函數(shù)，對(duì)于任意給定的2個(gè)變量A、B可以定義為：

V(A,B)=E[k(A,B)]

(1)

式中：E(·)表示對(duì)兩個(gè)變量A、B之差進(jìn)行高斯變換后的函數(shù)期望[15]；k(·)為滿足Mercer條件的高斯核函數(shù)[16]。但在實(shí)際問題中，變量A、B的聯(lián)合概率密度往往未知，因此式(1)中的期望用訓(xùn)練樣本估計(jì)量近似表示，設(shè)樣本總數(shù)為S，ai、bi表示第i個(gè)樣本在矩陣A、B中對(duì)應(yīng)的元素，同時(shí)代入高斯核函數(shù)并用σ表示尺度因子，得到最大相關(guān)熵(MCC)準(zhǔn)則表達(dá)式為：

(2)

2.2 基于最大相關(guān)熵準(zhǔn)則的核極端學(xué)習(xí)機(jī)

使用MCC準(zhǔn)則代替ELM中的MMSE準(zhǔn)則并加入正則化項(xiàng)，得到求解ELM輸出權(quán)重矩陣的新目標(biāo)函數(shù)：

(3)

針對(duì)此非線性優(yōu)化問題，半二次優(yōu)化技術(shù)利用訓(xùn)練樣本對(duì)輸出權(quán)重進(jìn)行迭代尋優(yōu)得到的結(jié)果可能并不是最優(yōu)解，因此本文使用拉格朗日乘子法進(jìn)行求解。

目標(biāo)函數(shù)：

約束條件：

εi=ti-yi=ti-hiβ(i=1,…,S)

(4)

式中:hi表示第 個(gè)訓(xùn)練樣本經(jīng)過ELM隱含層映射得到的特征向量；εi為第i組訓(xùn)練樣本的訓(xùn)練誤差。

運(yùn)用式(4)構(gòu)造拉格朗日函數(shù)：

(5)

式中ei表示第i個(gè)訓(xùn)練樣本對(duì)應(yīng)的拉格朗日乘積因子。對(duì)式(5)進(jìn)行求導(dǎo)得到：

(6a)

(6b)

(6c)

(7)

將變換后的求導(dǎo)結(jié)果進(jìn)一步寫成矩陣形式為：

(8)

式中:H表示全部訓(xùn)練樣本通過ELM隱含層映射得到的特征矩陣；E表示由S個(gè)訓(xùn)練樣本對(duì)應(yīng)的ei所構(gòu)成的向量。由式(8)求得輸出權(quán)重β的表達(dá)式：

(9)

則最終網(wǎng)絡(luò)輸出可表示為：

(j=1,…,N)

(10)

式中：f(xj)表示第j個(gè)測(cè)試數(shù)據(jù)的預(yù)測(cè)輸出；N為測(cè)試樣本數(shù)目；h(xj)表示第j個(gè)測(cè)試數(shù)據(jù)的隱含層輸出矩陣,h(xj)=[h1j,h2j,h3j,…,hMj]。用核函數(shù)取代式(10)中的內(nèi)積計(jì)算便可得到基于MCC準(zhǔn)則的核極端學(xué)習(xí)機(jī)為：

(11)

(12)

2.3 基于最大相關(guān)熵的多尺度高斯核極端學(xué)習(xí)機(jī)

高斯核函數(shù)是典型的可多尺度化核函數(shù)，傳統(tǒng)的多尺度高斯核有兩種形式: 一種是多尺度合成核[6]，如式(13)所示，不同尺度的核函數(shù)相加合成一個(gè)核; 另一種是大小尺度疊加核[4]，如式(14)所示，先用大尺度核處理平緩變化的數(shù)據(jù)，再用小尺度核處理劇烈變化的樣本，最后使多個(gè)尺度得到的結(jié)果相加。用R表示尺度個(gè)數(shù)。

(13)

f(x)=f(k1)+f(k2)+…+f(kR)

(14)

(15)

(16)

由此，得到一種基于最大相關(guān)熵準(zhǔn)則的新型多尺度核ELM：

(17)

3 算法收斂性與復(fù)雜度分析

3.1 收斂性分析

在文獻(xiàn)[1]中，Huang G B從非線性逼近能力和統(tǒng)計(jì)學(xué)習(xí)理論方面給出了ELM算法收斂的理論依據(jù)。本文提出的MCC-MKELM算法在基本ELM的基礎(chǔ)上引入的多尺度核只是改變了計(jì)算方式，且每個(gè)核都是單一尺度的高斯函數(shù)，滿足ELM的收斂條件，對(duì)ELM的收斂性并無(wú)影響。此外由拉格朗日乘子法理論可知，只有在目標(biāo)函數(shù)是凸函數(shù)的情況下，才能保證求解得到的結(jié)果為所求解問題的最優(yōu)解。本文引入的相關(guān)熵準(zhǔn)則，使用高斯核函數(shù)保證了目標(biāo)函數(shù)是凸的，從而確保了全局收斂，因此MCC-MKELM算法是收斂的。同時(shí)，MCC-MKELM算法保持了ELM的一次性學(xué)習(xí)特性，隨機(jī)產(chǎn)生輸入權(quán)重和隱含層閾值后不再需要迭代優(yōu)化，因此MCC-MKELM算法也具有良好的收斂速度。

3.2 復(fù)雜度分析

2L3+2S2L+SL(m+n)+1

(18)

對(duì)于采用式(13)所示多尺度化形式的，基于MMSE準(zhǔn)則的多尺度核ELM，最終對(duì)應(yīng)的計(jì)算復(fù)雜度為：

L3+2RS2L+RSL(m+n)

(19)

對(duì)于采用式(14)所示多尺度化形式的，基于MMSE準(zhǔn)則的多尺度核ELM，最終對(duì)應(yīng)的計(jì)算復(fù)雜度為：

R[L3+2S2L+SL(m+n)]

(20)

比較式(18)、式(19)與式(20)可以看出，本文提出的MCC-MKELM算法與傳統(tǒng)多尺度核ELM算法相比，避免了尺度個(gè)數(shù)對(duì)計(jì)算復(fù)雜度的影響。在新多尺度化方法中R=S=L，使3種多尺度核ELM的隱含層神經(jīng)元個(gè)數(shù)一致，則2種傳統(tǒng)多尺度核ELM的計(jì)算復(fù)雜度明顯大于MCC-MKELM算法。

4 性能驗(yàn)證

將MCC-MKELM算法與2種傳統(tǒng)的ELM算法以及1種實(shí)驗(yàn)對(duì)比ELM算法在3種UCI基準(zhǔn)數(shù)據(jù)集上進(jìn)行性能對(duì)比，4種ELM算法如表1所示。其中算法2是為了驗(yàn)證MCC準(zhǔn)則與MMSE準(zhǔn)則的抗噪性能差異而設(shè)置的算法，只將算法1中的MCC準(zhǔn)則替換為MMSE準(zhǔn)則，而其他方面均保持不變，并沒有文獻(xiàn)出處。仿真實(shí)驗(yàn)均是基于Intel(R)Core(TM)i3-4150處理器、3.50 GHz CPU主頻、4.00 GB內(nèi)存和Windows7 32位操作系統(tǒng)的計(jì)算機(jī)，使用Matlab R2007b仿真軟件進(jìn)行的。

表1 4種ELM算法Tab.1 Four ELM algorithms

在數(shù)據(jù)集模型訓(xùn)練過程中，本文采用Hold-out方法，隨機(jī)將各數(shù)據(jù)集的3/4作為訓(xùn)練數(shù)據(jù)，1/4作為測(cè)試數(shù)據(jù)。每組實(shí)驗(yàn)均重復(fù)運(yùn)行50次，并將4種ELM在每組數(shù)據(jù)集上運(yùn)行的時(shí)間平均值、測(cè)試樣本數(shù)據(jù)的均方差平均值以及相關(guān)熵平均值進(jìn)行統(tǒng)計(jì)。

4.1 對(duì)預(yù)測(cè)精度與學(xué)習(xí)速度的驗(yàn)證

為了全面地驗(yàn)證4種算法的性能，選取不同數(shù)量不同維度的3個(gè)典型的基準(zhǔn)數(shù)據(jù)集進(jìn)行性能驗(yàn)證，3個(gè)數(shù)據(jù)集均來(lái)自UCI機(jī)器學(xué)習(xí)數(shù)據(jù)庫(kù)[19]，分別為：MachineCPU、AutoMPG、BostonHousing。算法1中τ=0.5，3個(gè)基準(zhǔn)數(shù)據(jù)集上尺度因子隨機(jī)生成的范圍依次是：[0,0.001]、[0,0.015]、[0,0.035]。算法2中的所有參數(shù)包括尺度因子均與算法1保持一致。算法3中隱含層激活函數(shù)采用sigmoid函數(shù)，最大迭代次數(shù)設(shè)置為k=2 000。算法3與算法4中的正則化因子設(shè)置為C=20。算法4中的傳統(tǒng)多尺度化方法采用應(yīng)用更普遍且更具魯棒性的式(14)的形式。仿真結(jié)果如圖1～圖3所示。

圖1 4種ELM在MachineCPU數(shù)據(jù)集上的回歸效果對(duì)比Fig.1 Comparison of the regression effects of four ELMs on the MachineCPU dataset

圖1～圖3分別為4種ELM算法在MachineCPU、AutoMPG和BostonHousing數(shù)據(jù)集上的回歸效果對(duì)比圖。以圖2中AutoMPG數(shù)據(jù)集上的回歸結(jié)果為例：圖2(a)顯示出算法3的回歸效果相對(duì)最差，圖2(b)可以更加直觀地顯示出算法1的回歸誤差曲線最穩(wěn)定地貼近于0值且波動(dòng)最弱，其次為算法2，最次為算法4。在其他2個(gè)數(shù)據(jù)集上，4種算法的對(duì)比結(jié)果與在AutoMPG數(shù)據(jù)集上基本一致。具體預(yù)測(cè)性能數(shù)據(jù)如表2所示。

圖2 4種ELM在AutoMPG數(shù)據(jù)集上的回歸效果對(duì)比Fig.2 Comparison of regression effects of four ELMs on AutoMPG datasets

表2 4種算法在UCI回歸數(shù)據(jù)集上的性能統(tǒng)計(jì)Tab.2 Performance statistics of four algorithms on UCI regression dataset

圖3 4種ELM在BostonHousing數(shù)據(jù)集上的回歸效果對(duì)比Fig.3 Comparison of regression effects of four ELMs on the BostonHousing dataset

從預(yù)測(cè)精度來(lái)看，仍以AutoMPG數(shù)據(jù)集為例：算法1均方根誤差值為0.009 8，將預(yù)測(cè)精度較算法2提高9.26%，較算法3提高67%，較算法4提高30.98%。其中，算法1的預(yù)測(cè)精度明顯優(yōu)于算法3是由于:針對(duì)基于MCC準(zhǔn)則對(duì)非線性優(yōu)化問題的求解，相比于現(xiàn)有的半二次優(yōu)化技術(shù)，拉格朗日乘子法可以得到更準(zhǔn)確的最優(yōu)值。算法1使用的多尺度高斯核與算法4使用的多尺度小波核相比，高維特征空間的維度更高，因此區(qū)分?jǐn)?shù)據(jù)差異的能力也優(yōu)于算法4。算法2與算法1除了構(gòu)造目標(biāo)函數(shù)依據(jù)的準(zhǔn)則不同之外，兩者的核函數(shù)、多尺度化方法、非線性問題的求解方法均相同，因此兩者預(yù)測(cè)性能差別不大。

從3個(gè)數(shù)據(jù)集來(lái)看，算法2、算法3、算法4均存在均方差值隨數(shù)據(jù)集數(shù)據(jù)量的增加而逐漸增大的趨勢(shì)，而算法1在三個(gè)不同類型的數(shù)據(jù)集上的均方差數(shù)值依次為：0.010 1、0.009 8、0.011 4，可見算法1的泛化性能優(yōu)于其他對(duì)比算法。同時(shí)，相比于傳統(tǒng)多尺度核極端學(xué)習(xí)機(jī)的算法4，算法1在3個(gè)基準(zhǔn)數(shù)據(jù)集上將預(yù)測(cè)精度平均提升30.30%。

針對(duì)學(xué)習(xí)速度而言，算法1的學(xué)習(xí)時(shí)間在3個(gè)基準(zhǔn)數(shù)據(jù)集上均優(yōu)于算法3與算法4。這是由于，算法2與算法4相比，在同樣采用MMSE準(zhǔn)則的前提下，采用新多尺度化方法，在不影響預(yù)測(cè)精度的情況下大大縮短了多尺度核的學(xué)習(xí)時(shí)間，明顯提高了學(xué)習(xí)速度。而算法1不但采用了與算法2相同的多尺度化方法，還使用拉格朗日乘子法求解非線性問題避免了算法3中耗時(shí)的迭代過程。同樣，由于算法1與算法2的核函數(shù)、多尺度化方法、非線性問題的求解方法均相同，因此兩者的學(xué)習(xí)速度也相當(dāng)。所以，整體來(lái)說算法1的學(xué)習(xí)速度是可取的。

4.2 抗噪性能驗(yàn)證

在第4.1節(jié)的實(shí)驗(yàn)中，算法1與算法2在基準(zhǔn)數(shù)據(jù)集上都具有良好的預(yù)測(cè)精度和較優(yōu)的學(xué)習(xí)速度。由于實(shí)際獲取的數(shù)據(jù)往往含有噪聲，因此在噪聲數(shù)據(jù)集上對(duì)2種準(zhǔn)則下的多尺度高斯核ELM進(jìn)行實(shí)驗(yàn)。

圖4 兩種準(zhǔn)則下的多尺度核ELM抗噪性能對(duì)比Fig.4 Comparison of multi-scale nuclear ELM anti-noise performance under two criteria

圖4是在4種不同信噪比的高斯噪聲環(huán)境下，采用MMSE準(zhǔn)則的算法2與采用MCC準(zhǔn)則的算法1的抗噪效果對(duì)比圖。圖4(a)顯示在信噪比為25的高斯噪聲下算法2與算法1相比回歸精度稍差但差距不大；圖4(b)顯示在信噪比為20的高斯噪聲下算法2開始出現(xiàn)輕微的過擬合現(xiàn)象，而算法1仍可以保持良好的回歸精度；圖4(c)顯示在信噪比為15的高斯噪聲下算法2的過擬合現(xiàn)象加劇，而算法1的回歸精度略微下降但仍明顯優(yōu)于算法2；圖4(d)顯示在信噪比為10的高斯噪聲下雖然兩種算法的回歸效果均變差，但是算法1仍能維持較好的sinc曲線形狀且與算法2相比回歸精度優(yōu)勢(shì)更加明顯。

具體實(shí)驗(yàn)數(shù)據(jù)如表3所示。

表3 基于兩準(zhǔn)則下的多尺度核ELM在高斯噪聲數(shù)據(jù)集上的性能統(tǒng)計(jì)Tab.3 Performance statistics of multi-scale kernel ELMbased on two criterias on Gaussian noise dataset

由實(shí)驗(yàn)數(shù)據(jù)分析得出：相比于算法2，在不同信噪比的高斯噪聲環(huán)境中，算法1具有更強(qiáng)的抗高斯噪聲的能力和魯棒性。在信噪比為25的數(shù)據(jù)集上

將精度提高26.27%；在信噪比為20的數(shù)據(jù)集上將精度提高36.04%；在信噪比為15的數(shù)據(jù)集上將精度提高47.00%；在信噪比為10的數(shù)據(jù)集上將精度提高51.34%。實(shí)驗(yàn)數(shù)據(jù)驗(yàn)證了，使用MMSE準(zhǔn)則的算法2在高斯噪聲的環(huán)境下容易發(fā)生過擬合，而使用MCC準(zhǔn)則在高斯噪聲環(huán)境中的預(yù)測(cè)結(jié)果更可靠，特別是在信噪比小的環(huán)境中，本文所提出的算法1魯棒性的優(yōu)勢(shì)更加明顯。但本文所提出的算法1抑制高斯噪聲的能力并非無(wú)限，隨著信噪比的增強(qiáng)，精度相應(yīng)變差。從學(xué)習(xí)速度來(lái)看，由于式(17)中存在2次求逆運(yùn)算而使算法1的學(xué)習(xí)時(shí)間整體略高于算法2，但是權(quán)衡算法1在精度與魯棒性上的提高，學(xué)習(xí)時(shí)間的犧牲是可以接受的，因此與算法2相比算法1具有更佳的性能。

5 應(yīng)用案例

在水泥生產(chǎn)過程中，水泥熟料中游離氧化鈣(free lime in cement clinker，f-CaO)含量是水泥熟料質(zhì)量的一項(xiàng)重要指標(biāo)，生產(chǎn)操作人員需及時(shí)掌握熟料f-CaO含量以調(diào)整生產(chǎn)操作[25,26]。

通過對(duì)水泥熟料生產(chǎn)工藝的分析，選取水泥熟料f-CaO含量預(yù)測(cè)算法的相關(guān)輸入變量為：煙室氮氧化物含量(×10-6)、分解爐出口溫度(℃)、二次風(fēng)溫度(℃)、煙室氧氣含量(%)、煙室溫度(℃)以及窯主機(jī)電流(A)，輸出變量為水泥熟料f-CaO含量(%)[27]。

本文的實(shí)際數(shù)據(jù)來(lái)自某水泥廠生產(chǎn)線DCS系統(tǒng)和水泥熟料f-CaO含量化驗(yàn)室的歷史記錄，在最終獲得的245組實(shí)驗(yàn)樣中采用隨機(jī)子抽樣驗(yàn)證的方法，隨機(jī)選取155組樣本數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)，剩余的90組數(shù)據(jù)作為訓(xùn)練驗(yàn)證數(shù)據(jù)。與第3節(jié)性能驗(yàn)證部分相同，采用計(jì)算時(shí)間、均方誤差值、相關(guān)熵值作為水泥熟料f-CaO含量預(yù)測(cè)算法的性能評(píng)估指標(biāo)，其他參數(shù)設(shè)置均與第4.1節(jié)中相同。實(shí)驗(yàn)仿真結(jié)果如圖5所示。

圖5 4種ELM的水泥熟料f-CaO含量預(yù)測(cè)效果對(duì)比Fig.5 Comparison of prediction effects of f-CaO content of cement clinker with four ELMs

圖5顯示了4種ELM算法應(yīng)用于水泥熟料游離氧化鈣含量預(yù)測(cè)的結(jié)果，可以看出算法1預(yù)測(cè)結(jié)果最貼近于對(duì)應(yīng)的測(cè)試輸出值，算法2與算法4次之，而算法3的預(yù)測(cè)結(jié)果與測(cè)試輸出的擬合度最低。具體預(yù)測(cè)性能數(shù)據(jù)統(tǒng)計(jì)如表4。

表4 4種ELM對(duì)水泥熟料游離氧化鈣含量的預(yù)測(cè)性能統(tǒng)計(jì)Tab.4 Predictive performance statistics of f-CaOcontent of cement clinker by four ELMs

由表4中的實(shí)驗(yàn)數(shù)據(jù)可以得出：由于算法1與算法2中既沒有算法3中的迭代，也沒有算法4中復(fù)雜的多尺度計(jì)算，算法1與算法2所需的運(yùn)行時(shí)間明顯少于算法3與算法4。4種ELM算法的預(yù)測(cè)均方差值分別為：0.009 9, 0.011 2, 0.030 6, 0.013 0。算法1的預(yù)測(cè)精度相對(duì)于算法2提高11.6%，相對(duì)于算法3提高67.6%，相對(duì)于算法4(傳統(tǒng)多尺度核極端學(xué)習(xí)機(jī))提高23.8%。綜上所述，在4種ELM算法中算法1的預(yù)測(cè)精度最高且運(yùn)算時(shí)間短，將其應(yīng)用于水泥熟料游離氧化鈣含量預(yù)測(cè)更具適用性和時(shí)效性。

6 結(jié) 論

本文構(gòu)建了一種基于最大相關(guān)熵準(zhǔn)則的多尺度高斯核極端學(xué)習(xí)機(jī)算法—MCC-MKELM。利用MCC準(zhǔn)則建立目標(biāo)函數(shù)，避免了多尺度核ELM中傳統(tǒng)的MMSE準(zhǔn)則對(duì)噪聲敏感的問題，提高了多尺度核ELM在高斯噪聲環(huán)境中的預(yù)測(cè)精度和魯棒性。提出了一種新的針對(duì)核ELM的多尺度化方法，避免了傳統(tǒng)多尺度化方法因計(jì)算量大而出現(xiàn)學(xué)習(xí)速度慢的現(xiàn)象，大大縮短了多尺度核ELM的學(xué)習(xí)時(shí)間。使用拉格朗日乘子法對(duì)非線性問題進(jìn)行求解，避免了半二次優(yōu)化技術(shù)中復(fù)雜的迭代，提高了求解輸出層權(quán)值矩陣的速度和網(wǎng)絡(luò)預(yù)測(cè)精度；同時(shí)保留了傳統(tǒng)多尺度核ELM泛化能力強(qiáng)的優(yōu)點(diǎn)并實(shí)現(xiàn)了對(duì)泛化性能的進(jìn)一步優(yōu)化。實(shí)驗(yàn)結(jié)果表明，本文提出的MCC-MKELM算法能快速準(zhǔn)確地對(duì)水泥熟料f-CaO含量進(jìn)行預(yù)測(cè)，為生產(chǎn)操作提供指導(dǎo)，具有重要的實(shí)際意義。

[參考文獻(xiàn)]

[1] Huang G B, Zhu Q Y, Siwe C. Extreme learning machine: Theory and applications [J].Neurocomputing, 2006, 70(1): 489-501.

[2] Huang G B, Zhou H M, Ding X J,etal. Extreme learning machine for regression and multiclass classification [J].IEEETransactionsonSystems,Man,andCyberneticsPartB:Cybernetics, 2012, 42(2): 513- 529.

[3] 曾啟明, 紀(jì)震, 李琰, 等, 基于ELM和MA的微型四頻天線設(shè)計(jì) [J]. 電子學(xué)報(bào), 2014, 42(9): 1693-1698.

Zeng Q M, Ji Z, Li Y,etal. A Miniature Four-Band Antenna Design Using ELM and MA [J].ActaElectronicaSinica, 2014, 42(9): 1693-1698.

[4] 汪洪橋, 孫富春, 蔡艷寧, 等. 多核學(xué)習(xí)方法 [J]. 自動(dòng)化學(xué)報(bào)，2010, 36(8): 1037-1050.

Wang H Q, Sun F C, Cai Y N,etal. On Multiple Kernel Learning Methods [J].ActaAutomaticaSinica, 2010, 36(8): 1037-1050.

[5] Liu X W, Wang L, Huang G B,etal. Multiple kernel extreme learning machine [J].Neurocomputing, 2015, 149(Part A): 253-264.

[6] Liu Q, Zhao X G, Hou Z G,etal. Multi-scale wavelet kernel extreme learning machine for EEG feature classification [C]// IEEE. IEEE International Conference on Cyber Technology in Automation, Control, and Intelligent Systems. 2015: 1546-1551.

[7] Chang P, Li S R, Ge Y L,etal. Computation of reservoir relative permeability curve based on multi-scale wavelet kernel extreme learning machine [C]// IEEE. Control Conference. 2016: 7179-7184.

[8] 王新迎, 韓敏. 多元混沌時(shí)間序列的多核極端學(xué)習(xí)機(jī)建模預(yù)測(cè) [J]. 物理學(xué)報(bào), 2015, 64(7): 129-135.

Wang Y X, Han M. Multivariate chaotic time series prediction using multiple kernel extreme learning machine[J].ActaPhysicaSinica, 2015, 64(7): 129-135.

[9] Chen Y Q, Fink O, Sansavini G. Combined Fault Location and Classification for Power Transmission Lines Fault Diagnosis with Integrated Feature Extraction [J].IEEETransac-tionsonIndustrialElectronics, 2018, 65(1): 561- 569.

[10] 牛培峰, 史春見, 劉楠, 等. 基于GSA-PELM的鍋爐NOx預(yù)測(cè)模型 [J]. 計(jì)量學(xué)報(bào), 2018, 39(5): 741-746.

Niu P F, Shi C J, Liu N,etal.Optimization for NOxPrediction Model from Boilers Based on GSA-PELM[J].ActaMetrologicaSinica, 2018, 39(5): 741-746.

[11] Santamaria I, Pokharel P P, Principe J C. Generalized correlation function: Definition, properties, and application to blind equalization [J].IEEETransactionsonSignalProcessing, 2006, 54(6): 2187-2197.

[12] Xing H J, Wang X M. Training extreme learning machine via regularized correntropy criterion[J].NeuralComput&Applic, 2013, 23(7-8): 1977-1986.

[13] 唐哲, 雷迎科. 基于最大相關(guān)熵的通信輻射源個(gè)體識(shí)別方法 [J]. 通信學(xué)報(bào), 2016, 37(12): 171-175.

Tang Z, Lei Y K. Method of individual communication transmitter identification based on maximum correntropy [J].JournalonCommunications, 2016, 37(12): 171-175.

[14] Chen B D, Wang X, Lu N,etal. Mixture Correntropy for Robust Learning [J].PatternRecognition, 2018, 79: 318-327.

[15] 張金鳳, 邱天爽, 李森. 沖激噪聲環(huán)境下基于最大相關(guān)熵準(zhǔn)則的韌性子空間跟蹤新算法 [J]. 電子學(xué)報(bào), 2015, 43(3): 483-488.

Zhang J F, Qiu T S, Li S,etalA Robust PAST Algorithm Based on Maximum Correntropy Criterion for Impulsive Noise Environments [J].ActaElectronicaSinica, 2015, 43(3): 483-488.

[16] 王世元, 史春芬, 錢國(guó)兵,等. 基于分?jǐn)?shù)階最大相關(guān)熵算法的混沌時(shí)間序列預(yù)測(cè) [J]. 物理學(xué)報(bào), 2018, 67(1): 283-290.

Wang S Y, Shi C F, Qian G B,etal. Prediction of chaotic time series based on the fractional-order maximum correntropy criterion algorithm [J].ActaPhysicaSinica, 2018, 67(1): 283-290.

[17] Wang Y D, Zheng W, Zhang D P,etal. Pulsar profile denoising using kernel regression based on maximum correntropy criterion [J].Optik-InternationalJournalforLightandElectronOptics, 2017, 130:757-764.

[18] Su Z M, Yang L, Zhu S M,etal. Gaussian mixture image restoration based on maximum correntropy criterion [J].ElectronicsLetters, 2017, 53(11): 715-716.

[19] Asuncion A, Newman D. UCI Machine learning repository [EB/OL]. (2018-09-24). http://archiveics.uci edu/ml/datasets.html.

[20] Chuang C C, Su S F, Jeng J T,etal. Robust support vector regression networks for function approximation with outliers [J].IEEETransactionsonNeuralNetworks, 2002, 13(6): 1322-1330.

[21] Abrarov S M, Quine B M. Sampling by incomplete cosine expansion of the sinc function: Application to the Voigt/complex error function [J].AppliedMathematics&Computation, 2015, 258(C): 425-435.

[22] Xu Y, Ye L L, Qun X Z. Improved dynamic recurrent-based ELM neural network for fault prediction [J].ControlandDecision, 2015,30(4): 623-629.

[23] Abrarov S M, Quine B M. Sampling by incomplete cosine expansion of the sinc function: Application to the Voigt/complex error function[J].AppliedMathematicsandComputation, 2015, 258: 425-435.

[24] 李凡軍, 韓紅桂, 喬俊飛. 基于靈敏度分析法的ELM剪枝算法 [J]. 控制與決策, 2014,(6): 1003-1008.

Li F J, Han H G, Qiao J F. Pruning algorithm for extreme learning machine based on sensitivity analysis [J].ControlandDecision, 2014,(6):1003-1008.

[25] 趙朋程, 劉彬, 孫超, 等. 基于IQPSO優(yōu)化ELM的熟料質(zhì)量指標(biāo)軟測(cè)量研究 [J]. 儀器儀表學(xué)報(bào), 2016, 37(10): 2243-2250.

Zhao P C, Liu B, Sun C,etal.Soft sensor for cement clinker quality indicator based on IQPSO optimize ELM [J]ChineseJournalofScientificInstrument, 2016, 37(10): 2243-2250.

[26] 趙彥濤，何永強(qiáng)，賈利穎，等. 基于時(shí)間序列單維卷積神經(jīng)網(wǎng)絡(luò)的水泥熟料游離鈣軟測(cè)量方法[J]. 計(jì)量學(xué)報(bào), 2020, 41(9): 1152-1162.

Zhao Y T, He Y Q, Jia L Y,etal.Soft Measurement Method for Cement Clinker f-CaO Based on Time Series Single-dimensional Convolutional Neural Network[J].ActaMetrologicaSinica, 2020, 41(9): 1152-1162.

[27] 劉彬, 趙朋程, 高偉, 等. 基于粒子群算法與連續(xù)型深度信念網(wǎng)絡(luò)的水泥熟料游離氧化鈣預(yù)測(cè) [J]. 計(jì)量學(xué)報(bào), 2018, 39(3): 420-424.

Liu B, Zhao P C, Gao W,etal.Prediction of Cement f-CaO Based on Particle Swarm Optimization and Continuous Deep Belief Network[J].ActaMetrologicaSinica, 2018, 39(3): 420-424.