基于魯棒極端學(xué)習(xí)機(jī)的混沌時(shí)間序列建模預(yù)測?

沈力華 陳吉紅 曾志剛 金健?

1)(華中科技大學(xué)機(jī)械科學(xué)與工程學(xué)院,武漢 430074)

2)(華中科技大學(xué)自動(dòng)化學(xué)院,武漢 430074)

1 引 言

混沌是發(fā)生在自然界確定系統(tǒng)中貌似不規(guī)則、類似隨機(jī)的運(yùn)動(dòng)[1?3].從實(shí)際系統(tǒng)中獲得的具有混沌特性的時(shí)間序列種類和數(shù)量越來越多,如大氣環(huán)流、氣溫、降雨量、太陽黑子、黃河流量等[4?6].近年來,針對混沌時(shí)間序列的預(yù)測與分析已成為當(dāng)今科學(xué)研究領(lǐng)域的一個(gè)研究熱點(diǎn)[7?9].由于神經(jīng)網(wǎng)絡(luò)和支持向量機(jī)較強(qiáng)的非線性逼近能力,其已被廣泛應(yīng)用于混沌時(shí)間序列建模預(yù)測中,如:多層感知器[10]、回聲狀態(tài)網(wǎng)絡(luò)[11]、正則化回聲狀態(tài)網(wǎng)絡(luò)(RESN)[12]及魯棒回聲狀態(tài)網(wǎng)絡(luò)[4]、模糊神經(jīng)網(wǎng)絡(luò)[13]、極端學(xué)習(xí)機(jī)[14]、貝葉斯極端學(xué)習(xí)機(jī)(BELM)[15]、支持向量極端學(xué)習(xí)機(jī)(SVELM)[16]、遞歸預(yù)測器神經(jīng)網(wǎng)絡(luò)(RPNN)[17]等,都在混沌時(shí)間序列的預(yù)測中取得了快速的發(fā)展.

上述方法中,極端學(xué)習(xí)機(jī)由于其具有結(jié)構(gòu)簡單、學(xué)習(xí)效率高且能得到全局最優(yōu)解等優(yōu)點(diǎn)而得到廣泛應(yīng)用.極端學(xué)習(xí)機(jī)隨機(jī)初始化輸入權(quán)值,在訓(xùn)練過程中只調(diào)整輸出權(quán)值,從而可以得到全局最優(yōu)解,且具有更快的收斂速度,克服了梯度消失等缺點(diǎn).由于上述優(yōu)點(diǎn),近年來針對極端學(xué)習(xí)機(jī)的改進(jìn)算法得到了快速的發(fā)展,如:有學(xué)者提出多核極端學(xué)習(xí)機(jī)(MKELM),以充分表達(dá)被學(xué)習(xí)數(shù)據(jù)集的信息[5,18],基于智能優(yōu)化算法的極端學(xué)習(xí)機(jī)[19]通過優(yōu)化核參數(shù)及模型其他全局參數(shù)來提升算法的預(yù)測性能,基于在線學(xué)習(xí)的極端學(xué)習(xí)機(jī)[20]以及面向深度學(xué)習(xí)的極端學(xué)習(xí)機(jī)[21].

極端學(xué)習(xí)機(jī)通過將輸入變量映射到高維空間,使數(shù)據(jù)在高維空間中具有線性特性,再對高維空間中的數(shù)據(jù)進(jìn)行處理.目前,極端學(xué)習(xí)機(jī)最常采用的訓(xùn)練方法為偽逆法.偽逆法雖然簡單易于實(shí)現(xiàn),但其在實(shí)際應(yīng)用中容易產(chǎn)生病態(tài)解,即出現(xiàn)輸出權(quán)值很大的情況,導(dǎo)致模型的泛化能力很弱.為解決病態(tài)解問題,文獻(xiàn)[22]提出正則化極端學(xué)習(xí)機(jī)(RELM),在極端學(xué)習(xí)機(jī)優(yōu)化目標(biāo)函數(shù)中引入正則項(xiàng),通過選取合適的正則化參數(shù),提高模型泛化性能,避免了病態(tài)解問題.但是正則化參數(shù)的確定往往采用交叉驗(yàn)證方法,而交叉驗(yàn)證方法計(jì)算量較大且非常耗時(shí).BELM不需要采用交叉驗(yàn)證方法便可自動(dòng)實(shí)現(xiàn)模型參數(shù)的估計(jì),同時(shí)能夠提供模型參數(shù)的概率預(yù)測,進(jìn)而得到預(yù)測的置信區(qū)間.但BELM假設(shè)模型輸出似然函數(shù)為高斯分布,這一假設(shè)使得模型對于含有異常點(diǎn)的時(shí)間序列非常敏感,當(dāng)訓(xùn)練數(shù)據(jù)中含有異常點(diǎn)時(shí),模型預(yù)測精度會(huì)受到很大影響.而在實(shí)際應(yīng)用中,由于數(shù)據(jù)受多種噪聲共同影響,數(shù)據(jù)中往往存在異常點(diǎn).因此,建立一種對噪聲和異常點(diǎn)不敏感的魯棒極端學(xué)習(xí)機(jī)(Robust-ELM)預(yù)測模型在實(shí)際應(yīng)用中具有重要意義.

采用重尾分布的模型輸出似然函數(shù),使模型對異常點(diǎn)具有較強(qiáng)的魯棒性,高斯混合分布作為一種近似Student-t分布,對異常點(diǎn)仍具有魯棒性[23].以單變量分布為例,在不含有和含有異常點(diǎn)兩種情況下,高斯分布以及高斯混合分布的概率密度曲線如圖1和圖2所示.取自高斯分布的300個(gè)整數(shù)點(diǎn)的直方圖分布,及其基于高斯分布和高斯混合分布的最大似然估計(jì)曲線如圖1所示.將26個(gè)異常點(diǎn)加入到上述數(shù)據(jù)集中產(chǎn)生的相應(yīng)直方圖分布及基于不同分布的最大似然估計(jì)曲線如圖2所示.從圖2可以看出,高斯分布對異常點(diǎn)非常敏感,而高斯混合分布具有較強(qiáng)的魯棒性,不易受異常點(diǎn)的影響.因此,本文采用高斯混合分布作為模型輸出似然函數(shù).

圖1 無異常點(diǎn)時(shí)不同分布概率密度曲線Fig.1.Probability density curves of different distribution without outliers.

將高斯混合分布作為模型輸出似然函數(shù),使得模型輸出邊緣似然函數(shù)變成難以解析處理的形式,因此,引入變分近似推理對模型參數(shù)進(jìn)行估計(jì),實(shí)現(xiàn)模型的訓(xùn)練,從而得到一種Robust-ELM.所提模型不但具有極端學(xué)習(xí)機(jī)的非線性逼近能力和BELM自動(dòng)學(xué)習(xí)模型參數(shù)的能力,同時(shí)對異常點(diǎn)具有較強(qiáng)的魯棒性.與統(tǒng)計(jì)物理學(xué)采用的方法相似,本文同樣采用概率統(tǒng)計(jì)的方法來實(shí)現(xiàn)物理量的分析.在含有噪聲和異常點(diǎn)的情況下,將所提模型應(yīng)用于大氣環(huán)流模擬模型方程Lorenz序列、Rossler序列以及太陽黑子混沌時(shí)間序列等物理量的預(yù)測中,通過仿真實(shí)驗(yàn)分析,證明了所提模型對于解決含有噪聲和異常點(diǎn)的時(shí)間序列物理量預(yù)測問題,具有一定的價(jià)值和意義.

圖2 含異常點(diǎn)時(shí)不同分布概率密度曲線Fig.2.Probability density curves of different distribution with outliers.

2 極端學(xué)習(xí)機(jī)

2.1 極端學(xué)習(xí)機(jī)預(yù)測模型

極端學(xué)習(xí)機(jī)是一種單隱層前饋神經(jīng)網(wǎng)絡(luò),它由三層結(jié)構(gòu)組成,分別為輸入層、隱層及輸出層,其結(jié)構(gòu)如圖3所示.其中,輸入層和中間層、中間層和輸出層分別由輸入權(quán)值和輸出權(quán)值連接,輸入權(quán)值隨機(jī)產(chǎn)生,在網(wǎng)絡(luò)學(xué)習(xí)過程中不進(jìn)行調(diào)整.極端學(xué)習(xí)機(jī)通過隱層將輸入變量映射到高維空間,使輸入變量在高維空間中具有線性特性,再通過學(xué)習(xí)輸出權(quán)值,對高維空間狀態(tài)進(jìn)行線性表示,最終逼近輸出變量.

對于任意給定的N個(gè)不同樣本(xi,ti),其中為樣本輸入,ti為樣本目標(biāo)輸出,為樣本目標(biāo)輸出變量,設(shè)隱層節(jié)點(diǎn)個(gè)數(shù)為n,隱層激活函數(shù)為g(x),一般為sigmoid函數(shù).圖3極端學(xué)習(xí)機(jī)輸入輸出公式如下:

式中,oj為預(yù)測輸出;為第i個(gè)隱層節(jié)點(diǎn)與輸入層節(jié)點(diǎn)之間的連接權(quán)值,在網(wǎng)絡(luò)訓(xùn)練之前隨機(jī)產(chǎn)生;為第i個(gè)隱層節(jié)點(diǎn)與輸出節(jié)點(diǎn)間的連接權(quán)值;表示點(diǎn)積運(yùn)算.當(dāng)有樣本輸入到網(wǎng)絡(luò)中時(shí),采用激活函數(shù)和連接權(quán)值逼近N個(gè)樣本的目標(biāo)值,則可得到下式:

式中,

其中,

當(dāng)HHT或HTH非奇異時(shí),輸出權(quán)值w通過下式求取,

H?表示H的偽逆,當(dāng)rank(H)=N時(shí),H?=HT(HHT)?1; 當(dāng)rank(H)= n 時(shí),H?=(HTH)?1HT.當(dāng)HHT或HTH奇異時(shí),可通過奇異值分解法求得w.

圖3 極端學(xué)習(xí)機(jī)結(jié)構(gòu)Fig.3.Structure of extreme learning machine.

在實(shí)際應(yīng)用中偽逆法容易產(chǎn)生病態(tài)解,即出現(xiàn)輸出權(quán)值很大的情況,導(dǎo)致模型的泛化能力很弱.解決上述問題的正則化方法在網(wǎng)絡(luò)優(yōu)化目標(biāo)函數(shù)中引入正則項(xiàng),通過最小化如下目標(biāo)函數(shù)求得網(wǎng)絡(luò)權(quán)值w:

通過將問題轉(zhuǎn)化為拉格朗日對偶優(yōu)化問題,得到的網(wǎng)絡(luò)輸出權(quán)值為

其中I為n×n的單位矩陣,C為正則化參數(shù).正則化參數(shù)C的確定通常采用交叉驗(yàn)證的方法,計(jì)算量較大,且不易得到最優(yōu)值.

2.2 BELM

BELM可以通過自動(dòng)遞歸求得輸出權(quán)值,不需要采用交叉驗(yàn)證方法確定正則化參數(shù),同時(shí)能避免偽逆法容易產(chǎn)生病態(tài)解的問題.該方法假設(shè)學(xué)習(xí)誤差獨(dú)立且服從零均值高斯分布,即訓(xùn)練數(shù)據(jù)似然函數(shù)服從如下高斯分布:

網(wǎng)絡(luò)輸出權(quán)值的先驗(yàn)分布設(shè)為

w的相應(yīng)后驗(yàn)分布同樣為高斯分布,其均值和方差矩陣分別為mN和SN:

通過證據(jù)近似法確定β和α的值,計(jì)算公式如下:

其中,λi為βHTH的特征值.首先初始化參數(shù)β和α,再利用初始化后的β和α計(jì)算mN和SN,如(9)式所示,再利用估計(jì)的mN和SN,按照(10)和(11)式重新計(jì)算β和α的值,如此重復(fù)計(jì)算直到算法收斂.

3 Robust-ELM

上述基于貝葉斯回歸的極端學(xué)習(xí)機(jī),實(shí)現(xiàn)了網(wǎng)絡(luò)參數(shù)的自動(dòng)學(xué)習(xí),不需要通過交叉驗(yàn)證確定正則化參數(shù),但是貝葉斯回歸假設(shè)網(wǎng)絡(luò)學(xué)習(xí)誤差獨(dú)立且服從零均值高斯分布,該模型對異常點(diǎn)不具有魯棒性,當(dāng)數(shù)據(jù)中存在異常點(diǎn)時(shí),會(huì)使得模型的預(yù)測精度受到很大影響,因此本文在貝葉斯學(xué)習(xí)框架下,提出一種具有魯棒性的極端學(xué)習(xí)機(jī)預(yù)測模型.

3.1 Robust-ELM推理與參數(shù)估計(jì)

Robust-ELM將訓(xùn)練樣本輸出似然函數(shù)設(shè)置為高斯混合分布,如(13)式所示.高斯混合分布也是一種重尾分布,它是Student-t分布的一種近似形式,具有對異常點(diǎn)不敏感的特性,對于任意一個(gè)訓(xùn)練樣本,具體形式如下:

其中p1(T)如(7)式所示,p0(T)如下:

對于所有訓(xùn)練樣本輸出似然函數(shù)可寫成

其中,hk為H的行向量,隱變量z的概率分布為

不同于BELM,在Robust-ELM中,將w的先驗(yàn)概率分布設(shè)置為

式中,αh和wh分別為α和w的第h個(gè)元素,極端學(xué)習(xí)機(jī)隱層節(jié)點(diǎn)數(shù).先驗(yàn)分布的設(shè)置類似于相關(guān)向量機(jī)中將α設(shè)置為由不同值組成的對角陣,而非一個(gè)標(biāo)量,使得模型輸出權(quán)值具有稀疏解,提高了模型的泛化性能[24].

模型輸出的邊緣似然函數(shù)可表示為

由于(18)式是難以解析處理的,因此采用變分法近似推理,得到隱變量z和網(wǎng)絡(luò)輸出權(quán)值w的后驗(yàn)概率分布.利用變分推理方法[25],求得網(wǎng)絡(luò)輸出權(quán)值w的近似后驗(yàn)概率分布為高斯分布,其協(xié)方差矩陣和均值分別為Σ和μ.

其中,Ez(zk)為zk關(guān)于分布z的期望,

隱變量z的概率分布為

式中,

其中,

為更快速地更新各參數(shù)值[25],參數(shù)更新公式如下:

其中,μh和Σhh分別為μ和Σ的第h個(gè)元素.

3.2 Robust-ELM實(shí)現(xiàn)步驟

Robust-ELM預(yù)測模型首先將輸入變量映射到高維空間,進(jìn)行魯棒貝葉斯推理,再利用變分近似推理法求得網(wǎng)絡(luò)輸出權(quán)值w.

模型具體實(shí)現(xiàn)過程如下.

第一步,隨機(jī)初始化極端學(xué)習(xí)機(jī)輸入權(quán)值矩陣win,并選擇適當(dāng)?shù)碾[層節(jié)點(diǎn)數(shù)n,得到高維序列矩陣H.

第二步,將極端學(xué)習(xí)機(jī)輸出矩陣w作為待估參數(shù),設(shè)其先驗(yàn)概率分布為(17)式,極端學(xué)習(xí)機(jī)輸出似然函數(shù)為(15)式,隱變量z的概率分布為(16)式.

第三步,基于變分推理方法,對Robust-ELM網(wǎng)絡(luò)輸出權(quán)值進(jìn)行估計(jì):

1) 初始化αh(h=1,2,···,r),β,β0,η及qzk(zk),初始化后,將以下步驟2和步驟3執(zhí)行υ1次,υ1為主更新次數(shù);

2)采用上述初始化后的各參數(shù)值,利用(19)式計(jì)算協(xié)方差矩陣Σ,再利用求得的Σ ,通過(20)式計(jì)算均值μ,獲得μ后再繼續(xù)利用計(jì)算協(xié)方差矩陣Σ,如此循環(huán)υ0次,υ0為子更新次數(shù);

3)利用(27),(29)和(30)式實(shí)現(xiàn)參數(shù)αh,β及η的更新,參數(shù)更新法收斂.

第四步,將第三步估計(jì)得到的μ作為Robust-ELM網(wǎng)絡(luò)的輸出權(quán)值w,當(dāng)有新樣本需要預(yù)測時(shí),將新樣本通過第一步極端學(xué)習(xí)機(jī)隱層映射到高維空間,并利用(2)式得到其預(yù)測值.

上述實(shí)現(xiàn)步驟可通過圖4表示.

圖4 Robust-ELM實(shí)現(xiàn)流程Fig.4.Implementing flow of Robust-ELM.

4 仿真實(shí)驗(yàn)

為驗(yàn)證所提模型的有效性,將其應(yīng)用于加入噪聲和異常點(diǎn)的大氣環(huán)流模擬模型Lorenz混沌時(shí)間序列預(yù)測、Rossler混沌時(shí)間序列和太陽黑子時(shí)間序列預(yù)測中,并采用均方根誤差(root mean square error,RMSE)定量評價(jià)所提模型的性能,其中oi為第i個(gè)樣本的預(yù)測值,ti為第i個(gè)樣本的實(shí)際值.

為驗(yàn)證所提Robust-ELM的有效性,在三組仿真實(shí)驗(yàn)中,通過向時(shí)間序列加入不同比例的噪聲和異常點(diǎn)來進(jìn)行仿真實(shí)驗(yàn).加入噪聲和異常點(diǎn)的方式分為6種:方式A為只加入數(shù)量為訓(xùn)練樣本1%的10倍異常點(diǎn),不加入高斯噪聲;方式B為只加入10%水平的高斯噪聲,不加入異常點(diǎn);方式C為加入10%水平的高斯噪聲和訓(xùn)練樣本2%數(shù)量的10倍異常點(diǎn);方式D為加入20%水平的高斯噪聲和訓(xùn)練樣本5%數(shù)量的20倍異常點(diǎn);方式E為加入30%水平的高斯噪聲和訓(xùn)練樣本8%數(shù)量的30倍異常點(diǎn);方式F為加入40%水平的高斯噪聲和訓(xùn)練樣本10%數(shù)量的40倍異常點(diǎn).具體加入噪聲和異常點(diǎn)的方式為:在訓(xùn)練數(shù)據(jù)集的目標(biāo)變量中加入一定水平的高斯噪聲,并隨機(jī)選擇一定比例的訓(xùn)練樣本,再將選擇到的訓(xùn)練樣本原值通過相應(yīng)比例的放大以加入異常點(diǎn).以加入方式D為例;加入20%水平的高斯噪聲和5%的20倍異常點(diǎn)是指加入20%水平的高斯噪聲的同時(shí),再從訓(xùn)練樣本中隨機(jī)選擇Noutlier(Noutlier為訓(xùn)練樣本總數(shù)乘以5%經(jīng)四舍五入后取整)個(gè)樣本,將這Noutlier個(gè)樣本的值放大20倍.

將Lorenz,Rossler和太陽黑子-黃河流量時(shí)間序列加入噪聲和異常點(diǎn)后,將其與RELM[21],RESN[12],BELM[15],SVELM[16],MKELM[18]和基于改進(jìn)微粒群算法的核極端學(xué)習(xí)機(jī)(APSOKELM)[19]等方法的預(yù)測結(jié)果進(jìn)行比較.并選取訓(xùn)練集20%的數(shù)據(jù)作為驗(yàn)證集,以確定各模型的全局最優(yōu)參數(shù)值.在三組仿真實(shí)驗(yàn)中,Robust-ELM方法的主要參數(shù)設(shè)置如表1所列.

表1 Robust-ELM模型的主要參數(shù)設(shè)置Table 1.Parameters setting of Robust-ELM.

4.1 Lorenz混沌時(shí)間序列仿真分析

Lorenz系統(tǒng)是美國氣象學(xué)家Lorenz模擬大氣環(huán)流模型建立的三元一階常微分方程組[2],Lorenz混沌方程如下

隨機(jī)選擇初始值,舍棄瞬態(tài)后產(chǎn)生訓(xùn)練集和測試集,將得到具有混沌特性的時(shí)間序列.為使得相關(guān)算法在同等條件下進(jìn)行比較,將初始值設(shè)置為a=10,b=8/3,c=28,x(0)=y(0)=z(0)=1.0.利用四階Runge-Kutta法產(chǎn)生2500組混沌時(shí)間序列.將x(t),y(t),z(t)作為輸入序列,x(t+1)作為待預(yù)測序列,選擇前1800組作為訓(xùn)練樣本,后700組作為測試樣本,Lorenz時(shí)間序列如圖5所示.

圖5 Lorenz混沌時(shí)間序列(a)Lorenz-x(t)時(shí)間序列;(b)Lorenz-y(t)時(shí)間序列;(c)Lorenz-z(t)時(shí)間序列Fig.5.Lorenz chaotic time series:(a)Lorenz-x(t)time series;(b)Lorenz-y(t)time series;(c)Lorenz-z(t)time series.

表2 含不同比例噪聲和異常點(diǎn)的各模型預(yù)測誤差(Lorenz序列)Table 2.Prediction errors of different models for data with different ratios of noise and outliers(Lorenz time series).

加入不同比例的噪聲和異常點(diǎn)后各模型的預(yù)測誤差如表2所列.從表2可以看出,當(dāng)數(shù)據(jù)中包含異常點(diǎn)時(shí),各模型預(yù)測精度都受到一定的影響,與SVELM和Robust-ELM相比,RELM,RESN,MKELM,APSO-KELM和BELM受異常點(diǎn)的影響更大.主要是因?yàn)镾VELM通過松弛因子能夠減小一部分噪聲和異常點(diǎn)的影響,而Robust-ELM通過采用高斯混合分布作為模型輸出似然函數(shù),提高了模型的魯棒性,從而獲得了更高的預(yù)測精度.

以方式D為例,將訓(xùn)練數(shù)據(jù)集中的目標(biāo)輸出序列中加入20%水平的高斯噪聲和5%(90個(gè))的20倍異常點(diǎn).加入噪聲和異常點(diǎn)后的Robust-ELM預(yù)測曲線和相應(yīng)的預(yù)測誤差曲線如圖6所示,從圖6可以看出,即使加入了大量噪聲和異常點(diǎn),所提模型仍具有較高的預(yù)測精度.

圖6 含噪聲和異常點(diǎn)的Lorenz序列x(t)預(yù)測結(jié)果(a)Robust-ELM預(yù)測Lorenz-x(t)曲線;(b)Robust-ELM預(yù)測誤差曲線Fig.6.Prediction results of Lorenz series x(t)with noise and outliers:(a)Prediction curves of Robust-ELM for Lorenz-x(t)time series;(b)prediction error of Robust-ELM for Lorenz-x(t)time series.

4.2 Rossler混沌時(shí)間序列仿真分析

為更進(jìn)一步的比較各算法的預(yù)測性能,另一組實(shí)驗(yàn)為Rossler混沌時(shí)間序列的仿真分析,Rossler時(shí)間序列方程如下所示:

同樣利用四階Runge-Kutta法產(chǎn)生4000組混沌時(shí)間序列.將x(t),y(t),z(t)作為輸入序列,x(t+1)作為待預(yù)測序列,選擇前2000組作為訓(xùn)練樣本,后2000組作為測試樣本.為驗(yàn)證模型的有效性,同樣采用6種方式加入不同水平的噪聲和不同比例的異常點(diǎn),加入噪聲和異常點(diǎn)后不同模型的預(yù)測結(jié)果如表3所列.

從表3可以看出,采用方式B僅加入10%水平的高斯噪聲時(shí),APSO-KELM取得了最好的預(yù)測結(jié)果,主要是因?yàn)锳PSO-KELM通過改進(jìn)的微粒群算法對核參數(shù)及其他全局參數(shù)進(jìn)行優(yōu)化,使得模型的預(yù)測精度有了較大提升,但當(dāng)模型中加入異常點(diǎn)或同時(shí)加入異常點(diǎn)和噪聲時(shí),其預(yù)測精度受到了很大的影響,而所提模型只在方式B下預(yù)測精度僅次于APSO-KELM,在其他5種加入噪聲和異常點(diǎn)的方式下,所提模型的預(yù)測結(jié)果都優(yōu)于其他方法.從表3也可以看出,所提模型對高斯噪聲和異常點(diǎn)均有較好的抗干擾能力,而對于異常點(diǎn)的抗干擾能力相對更強(qiáng).以方式E為例,將訓(xùn)練數(shù)據(jù)集中的目標(biāo)輸出序列中加入30%水平的高斯噪聲和8%(160個(gè))的30倍異常點(diǎn).加入噪聲和異常點(diǎn)后的Robust-ELM預(yù)測曲線和相應(yīng)的預(yù)測誤差曲線如圖7所示,從圖中可以看出,即使加入了大量噪聲和異常點(diǎn),所提模型仍能較好地預(yù)測該時(shí)間序列值.

表3 含不同比例噪聲和異常點(diǎn)的各模型預(yù)測誤差(Rossler序列)Table 3.Prediction errors of different models for data with different ratios of noise and outliers(Rossler time series).

圖7 含噪聲和異常點(diǎn)的Rossler序列x(t)預(yù)測結(jié)果(a)Robust-ELM預(yù)測Rossler-x(t)曲線;(b)Robust-ELM預(yù)測誤差曲線Fig.7.Prediction results of Rossler series x(t)with noise and outliers:(a)Prediction curves of Robust-ELM for Rossler-x(t)time series;(b)prediction error of Robust-ELM for Rossler-x(t)time series.

4.3 太陽黑子-黃河徑流混沌時(shí)間序列仿真分析

為進(jìn)一步驗(yàn)證所提模型的有效性,將其應(yīng)用于太陽黑子和黃河徑流二元混沌時(shí)間序列預(yù)測中,輸入變量為太陽黑子和黃河徑流量,待預(yù)測變量為下一年太陽黑子.選擇樣本區(qū)間為1700年至2003年太陽黑子和黃河徑流量混沌時(shí)間序列.經(jīng)相空間重構(gòu)后,產(chǎn)生299組數(shù)據(jù),選擇前200組作為訓(xùn)練樣本,后99組作為測試樣本.

將訓(xùn)練數(shù)據(jù)集中的目標(biāo)輸出序列中加入異常點(diǎn)和噪聲前后的太陽黑子時(shí)間序列如圖8所示.

圖8 含異常點(diǎn)和噪聲的太陽黑子混沌時(shí)間序列Fig.8.Sunspot chaotic time series with outliers and noise.

表4 含異常點(diǎn)和噪聲數(shù)據(jù)的不同模型預(yù)測誤差(太陽黑子序列)Table 4.Prediction errors of different models for data with outliers and noise(Sunspot time series).

加入不同比例異常點(diǎn)和噪聲后各模型預(yù)測誤差如表4所列.從表4可以看出,當(dāng)加入大量噪聲和異常點(diǎn)后,RELM,RESN,BELM和MKELM的預(yù)測精度受到了嚴(yán)重的影響,所提模型相比于其他方法仍具有更高的預(yù)測精度.從表4也可以看出加入噪聲和異常點(diǎn)后所提模型預(yù)測值只產(chǎn)生了微小波動(dòng),具有較強(qiáng)的魯棒性,能較好地描繪太陽黑子-黃河流量時(shí)間序列的動(dòng)力學(xué)特性.

4.4 算法計(jì)算復(fù)雜度和收斂性分析

極端學(xué)習(xí)機(jī)模型對隱層狀態(tài)矩陣HN×n直接求偽逆,計(jì)算復(fù)雜度為O(n2N+n3),其中N為訓(xùn)練樣本數(shù),n為極端學(xué)習(xí)機(jī)隱層節(jié)點(diǎn)數(shù).所提Robust-ELM模型主更新次數(shù)為υ1,子更新次數(shù)為υ0,根據(jù)算法實(shí)現(xiàn)程序,執(zhí)行υ1次迭代的時(shí)間復(fù)雜度為O(υ1υ0(Nn+Nn2+Nn3)), 括號中的Nn+Nn2+Nn3為執(zhí)行一次子更新需要的向量與矩陣以及向量與向量相乘所需的總步數(shù).

在實(shí)際應(yīng)用中,訓(xùn)練樣本數(shù)N一般大于隱層節(jié)點(diǎn)數(shù)n,因此,即使ELM時(shí)間復(fù)雜度與Robust-ELM均可表示為O(N),但在實(shí)際應(yīng)用中,由于隱層節(jié)點(diǎn)數(shù)n的作用,Robust-ELM運(yùn)行效率通常低于ELM.但在時(shí)間復(fù)雜度均為O(N)的情況下,Robust-ELM從算法的魯棒性方面對已有算法進(jìn)行改進(jìn)和優(yōu)化.其采用高斯混合分布作為模型輸出似然函數(shù),得到一種對異常點(diǎn)和噪聲更具魯棒性的預(yù)測模型.同時(shí)在三組仿真實(shí)驗(yàn)中,通過向時(shí)間序列加入不同比例的噪聲和異常點(diǎn)來進(jìn)行仿真實(shí)驗(yàn)分析,可看出Robust-ELM的預(yù)測性能遠(yuǎn)優(yōu)于極端學(xué)習(xí)機(jī),具有較強(qiáng)的魯棒性.且在實(shí)際應(yīng)用中,時(shí)間序列往往受到噪聲和異常點(diǎn)的影響,因此,提高預(yù)測模型的魯棒性,減小噪聲和異常點(diǎn)對模型的影響對于提高模型預(yù)測精度具有重要的意義.

本文基于貝葉斯框架提出Robust-ELM,首先通過將輸入樣本映射到高維空間中,并將極端學(xué)習(xí)機(jī)的輸出權(quán)值作為待估計(jì)參數(shù),將具有重尾分布特性的高斯混合分布作為模型輸出似然函數(shù),再采用變分方法實(shí)現(xiàn)模型參數(shù)的估計(jì).所提方法本質(zhì)是基于變分貝葉斯推理估計(jì)模型參數(shù),獲得模型參數(shù)的后驗(yàn)概率分布.因此,其收斂性與變分貝葉斯估計(jì)相同,變分貝葉斯估計(jì)的收斂性在文獻(xiàn)[26]中得到了詳細(xì)的證明,詳細(xì)的證明過程見文獻(xiàn)[26]的附錄A至附錄F.與期望最大化迭代算法相似,所提方法采用設(shè)定閾值的方法確定最大迭代次數(shù).在模型訓(xùn)練過程中,若當(dāng)前次訓(xùn)練誤差比上一次迭代時(shí)的訓(xùn)練誤差之差小于該閾值時(shí),說明算法已收斂.在三組仿真實(shí)驗(yàn)中,Lorenz序列的最大主更新次數(shù)為6,子更新次數(shù)為6;Rossler序列的最大主更新次數(shù)為7,子更新次數(shù)為5;太陽黑子序列的最大主更新次數(shù)為8,子新次數(shù)為6.以Lorenz序列為例,選擇有代表性的方式D(加入20%水平的高斯噪聲和訓(xùn)練樣本5%數(shù)量的20倍異常點(diǎn))、方式E(加入30%水平的高斯噪聲和訓(xùn)練樣本8%數(shù)量的30倍異常點(diǎn))、方式F(加入40%水平的高斯噪聲和訓(xùn)練樣本10%數(shù)量的40倍異常點(diǎn))向時(shí)間序列中加入噪聲和異常點(diǎn).在以上三種情況下,Robust-ELM算法的收斂曲線如圖9所示,從圖中可以看出,當(dāng)主更新次數(shù)為4,即總的迭代次數(shù)為24次時(shí),算法均已收斂,對于Lorenz序列的其他加入噪聲和異常點(diǎn)的方式以及Rossler和太陽黑子序列情況,算法收斂情況類似.

圖9 以Lorenz序列為例,Robust-ELM收斂曲線Fig.9.Convergence curves of Robust-ELM for Lorenz chaotic time series.

5 結(jié) 論

本文在貝葉斯框架下提出Robust-ELM預(yù)測模型,所提模型不但具備了基于貝葉斯學(xué)習(xí)方法的模型參數(shù)自動(dòng)學(xué)習(xí)能力,避免了交叉驗(yàn)證選取正則化參數(shù)過程,同時(shí)所提模型將混合高斯模型作為極端學(xué)習(xí)機(jī)輸出似然函數(shù),提高了模型的魯棒性,且由于學(xué)習(xí)得到的輸出權(quán)值具有稀疏性,提高了模型的泛化能力和預(yù)測精度.通過將所提模型應(yīng)用于含有噪聲和異常點(diǎn)的大氣環(huán)流模型方程、Rossler混沌時(shí)間序列以及太陽黑子時(shí)間序列的預(yù)測中,證明了所提模型對于解決含有噪聲和異常點(diǎn)的時(shí)間序列物理量預(yù)測問題,具有一定的實(shí)際應(yīng)用價(jià)值.

[1]Xiu C B,Xu M 2010 Acta Phys.Sin.59 7650(in Chinese)[修春波,徐勐 2010物理學(xué)報(bào) 59 7650]

[2]Han M,Xu M L 2013 Acta Phys.Sin.62 120510(in Chinese)[韓敏,許美玲 2013物理學(xué)報(bào)62 120510]

[3]Zhang J S,Xiao X C 2000 Acta Phys.Sin.49 403(in Chinese)[張家樹,肖先賜 2000物理學(xué)報(bào) 49 403]

[4]Li D C,Han M,Wang J 2012 IEEE Trans.Neural Netw.Learn.Syst.23 787

[5]Wang X Y,Han M 2015 Acta Phys.Sin.64 070504(in Chinese)[王新迎,韓敏 2015物理學(xué)報(bào)64 070504]

[6]Li R G,Zhang H L,Fan W H,Wang Y 2015 Acta Phys.Sin.64 200506(in Chinese)[李瑞國,張宏立,范文慧,王雅2015物理學(xué)報(bào)64 200506]

[7]Chandra R,Ong Y S,Goh C K 2017 Neurocomputing 243 21

[8]Politi A 2017 Phys.Rev.Lett.118 144101

[9]Ye B,Chen J,Ju C 2017 Comput.Nonlin.Scien.Num.Simul.44 284

[10]Koskela T,Lehtokangas M,Saarinen J,Kask K 1996 Proceedings of the World Congress on Neural Networks(San Diego:INNS Press)p491

[11]Jaeger H,Haas H 2004 Science 304 78

[12]Dutoit X,Schrauwen B,van Campenhout J 2009 Neurocomputing 72 1534

[13]Ma Q L,Zheng Q L,Peng H,Tan J W 2009 Acta Phys.Sin.58 1410(in Chinese)[馬千里,鄭啟倫,彭宏,覃姜維2009物理學(xué)報(bào)58 1410]

[14]Huang G B,Zhu Q Y,Siew C K 2006 Neurocomputing 70 489

[15]Soria-Olivas E,Gomez-Sanchis J,Martin J D 2011 IEEE Trans.Neural Netw.22 505

[16]Huang G B,Wang D H,Lan Y 2011 Int.J.Mach.Learn.Cybern.2 107

[17]Han M,Xi J,Xu S 2004 IEEE Trans.Sig.Proc.52 3409

[18]Liu X,Wang L,Huang G B 2015 Neurocomputing 149 253

[19]Lu H,Du B,Liu J 2017 Memet.Comput.9 121

[20]Wang X,Han M 2015 Engin.Appl.Artif.Intell.40 28

[21]Tang J,Deng C,Huang G B 2016 IEEE Trans.Neural Netw.Learn.Syst.27 809

[22]Huang G B,Zhou H,Ding X 2012 IEEE Trans.Syst.Man Cybern.B 42 513

[23]Tipping M E,Lawrence N D 2005 Neurocomputing 69 123

[24]Tipping M E 2001 J.Mach.Learn.Res.1 211

[25]Faul A C,Tipping M E 2001 International Conference on Arti ficial Neural Networks Vienna,Austria,August 21–25,2001 p95

[26]Wang B,Titterington D M 2006 Bayes.Analys.1 625