基于改進(jìn)ESN的時間序列數(shù)據(jù)預(yù)測及誤差分析

王　悅，　付娉娉，2

(1．黑龍江科技大學(xué) 管理學(xué)院， 哈爾濱 150022； 2．哈爾濱工業(yè)大學(xué) 經(jīng)濟(jì)管理學(xué)院， 哈爾濱 150080)

?

基于改進(jìn)ESN的時間序列數(shù)據(jù)預(yù)測及誤差分析

王悅1，付娉娉1，2

(1．黑龍江科技大學(xué) 管理學(xué)院， 哈爾濱 150022； 2．哈爾濱工業(yè)大學(xué) 經(jīng)濟(jì)管理學(xué)院， 哈爾濱 150080)

為了解決時間序列數(shù)據(jù)的預(yù)測問題，傳統(tǒng)ESN預(yù)測方法對關(guān)鍵參數(shù)的設(shè)置采取經(jīng)驗(yàn)法和測試法，不能達(dá)到全局最優(yōu)，因此，提出一種改進(jìn)的ESN預(yù)測方法。該方法映射了關(guān)鍵參數(shù)的譜半徑，設(shè)置優(yōu)化目標(biāo)，采用隨機(jī)梯度下降法進(jìn)行優(yōu)化計(jì)算。實(shí)驗(yàn)結(jié)果表明，改進(jìn)ESN方法的預(yù)測誤差小，可以實(shí)現(xiàn)預(yù)測值對真實(shí)值的理想逼近。

ESN； 時間序列數(shù)據(jù)； 預(yù)測； 誤差分析

0　引　言

在工業(yè)和經(jīng)濟(jì)領(lǐng)域中，不同問題間是否存在關(guān)聯(lián)性和因果關(guān)系，很難直接從表面現(xiàn)象中獲得發(fā)現(xiàn)。借助不同問題所對應(yīng)的表征變量，分析其時間序列數(shù)據(jù)上的關(guān)聯(lián)性和因果關(guān)系，往往成為最終結(jié)論的有力佐證。目前，時間序列數(shù)據(jù)的分析和預(yù)測，已經(jīng)成為解決工業(yè)技術(shù)和經(jīng)濟(jì)管理問題的重要方法[1-2]。

時間序列數(shù)據(jù)的分析與預(yù)測，是用統(tǒng)計(jì)的方法將待研究問題抽象出一組時間維度上的表征數(shù)據(jù)，進(jìn)而構(gòu)建一個適用于這種時間序列排布的分析模型，這個模型可以用于對歷史數(shù)據(jù)的分析，也可以用于對未來數(shù)據(jù)的預(yù)測[3]。在實(shí)際應(yīng)用中，時間序列數(shù)據(jù)的分析與預(yù)測，也可以采用曲線擬合法加以實(shí)現(xiàn)。根據(jù)研究對象的歷史數(shù)據(jù)擬合出一條隨時間變化的曲線，可以更加直觀地分析其變化規(guī)律，繼而在未來時間段上進(jìn)行曲線延伸，就形成了對未來數(shù)據(jù)的預(yù)測。近年來，各種時間序列數(shù)據(jù)的預(yù)測方法被提取出來，根據(jù)規(guī)劃模型的不同,可以分為基于支持向量機(jī)的預(yù)測方法，基于自組織特征映射的預(yù)測方法，基于擴(kuò)展卡爾曼濾波的預(yù)測方法，基于人工神經(jīng)網(wǎng)絡(luò)的預(yù)測方法[4-7]。

無論是工業(yè)技術(shù)問題還是經(jīng)濟(jì)管理問題，大都存在一定程度的非線性。人工神經(jīng)網(wǎng)絡(luò)的優(yōu)秀性能在于，即便是非線性很嚴(yán)重的系統(tǒng)，也能找到合適的神經(jīng)網(wǎng)絡(luò)對其進(jìn)行逼近。Echo State Network(狀態(tài)回聲網(wǎng)絡(luò)，簡稱ESN)，是一種新型結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)。相比于BP等經(jīng)典神經(jīng)網(wǎng)絡(luò)，ESN的迭代過程具有更好的穩(wěn)定性，ESN的逼近效果更加接近最優(yōu)。尤其是，ESN不會像經(jīng)典神經(jīng)網(wǎng)絡(luò)方法那樣陷入局部極小值[8]。此外，ESN訓(xùn)練過程簡便快捷，更容易在復(fù)雜關(guān)系的求解上使用。

ESN方法自出現(xiàn)以后，在很多領(lǐng)域中得到了應(yīng)用，但是它也存在一些問題。ESN在實(shí)際應(yīng)用中，其性能優(yōu)劣主要取決關(guān)鍵參數(shù)的配置。從現(xiàn)有的情況，ESN的參數(shù)配置主要依靠經(jīng)驗(yàn)法和測試法，不僅存在效率問題還很難達(dá)到最優(yōu)。為此，筆者提出改進(jìn)方法，提升ESN在時間序列數(shù)據(jù)預(yù)測中的適用效果。

1　改進(jìn)ESN預(yù)測方法

1.1ESN預(yù)測模型結(jié)構(gòu)

從結(jié)構(gòu)上看，ESN和經(jīng)典神經(jīng)網(wǎng)絡(luò)一樣，也包含輸入層、輸出層和隱含層,如圖1所示。三個層次的神經(jīng)元向量表達(dá)為

(1)式(1)中，I(k)代表輸入層，共含有l(wèi)個神經(jīng)元；O(k)代表輸出層，共含有m個神經(jīng)元；C(k)代表隱含層，共含有n個神經(jīng)元；k代表網(wǎng)絡(luò)訓(xùn)練過程的迭代步進(jìn)。

ESN中，輸入層和隱含層之間的關(guān)系用權(quán)值矩陣Φic表示；隱含層和輸出層之間的關(guān)系用權(quán)值矩陣Φco表示；輸出層和隱含層之間的反饋關(guān)系用權(quán)值矩陣Φoc表示；隱含層內(nèi)部各神經(jīng)元之間的關(guān)系用權(quán)值矩陣Φcc來表示。ESN和經(jīng)典神經(jīng)網(wǎng)絡(luò)的最大不同之處，就在于其隱含層的配置。ESN的隱含層含有規(guī)模龐大的神經(jīng)元，并且這些神經(jīng)元以稀疏的方式連接在一起。這使得ESN對輸入-輸出之間的各種復(fù)雜關(guān)系具有更強(qiáng)的逼近能力，并且有極大的靈活性和短時記憶功能。

圖1　ESN的網(wǎng)絡(luò)結(jié)構(gòu)

1.2ESN預(yù)測流程

設(shè)定訓(xùn)練ESN的過程中可以使用M個樣本，包括M個輸入數(shù)據(jù)樣本I(k)、M個輸出數(shù)據(jù)樣本O(k)，那么，訓(xùn)練ESN的過程：

第一步，對整個ESN網(wǎng)絡(luò)進(jìn)行初始化。這一初始化工作包括對隱含層神經(jīng)元向量初始化，形成C(0)；還包括對各連接矩陣進(jìn)行初始化，形成Φic(0)、Φoc(0)、Φcc(0)。需要指出的是，Φco(0)最后通過計(jì)算得出，不必進(jìn)行初始化。

第二步，更新迭代操作。借助輸入數(shù)據(jù)樣本I(k)和輸出數(shù)據(jù)樣本O(k)，不斷迭代更新隱含層的狀態(tài)C(k)，更新迭代操作如式(2)所示：

C(k+1)=f(ΦicI(k+1)+ΦccC(k)+ΦocO(K)),

(2)

式(2)中，f(·)代表了一個非線性函數(shù)，它使得ESN具有對非線性的強(qiáng)逼近能力。

第三步，向量數(shù)據(jù)整理。等待ESN進(jìn)入平穩(wěn)狀態(tài)后，整理隱含層神經(jīng)元向量和輸入層神經(jīng)元向量，從而形成狀態(tài)矩陣：

(3)式(3)中，Cnew(M)=[C(M)；I(M)]T表達(dá)了輸入層神經(jīng)元向量和隱含層神經(jīng)元向量構(gòu)成的向量對；M0代表ESN進(jìn)入平穩(wěn)狀態(tài)后的某一個迭代步進(jìn)。

同理，整理輸出矩陣為

這里，T=M-M0+1。

第四步，計(jì)算連接矩陣Φco。采用矩陣的偽逆求法，計(jì)算公式為

(Φco)T=(STS)-1STD。

第五步，利用ESN完成預(yù)測。經(jīng)過訓(xùn)練確定ESN的各個參數(shù)、連接權(quán)值矩陣之后，就可以根據(jù)輸入數(shù)據(jù)對輸出進(jìn)行預(yù)測：

C(k)=f(ΦicI(1)+ΦccC(k-1)+ΦocO(K-1))，

O′(k)=Φco[C(k)；I(k)]，

(4)

式(4)中，O′(k)是預(yù)測結(jié)果，可以通過和實(shí)際結(jié)果O(k)的比較來計(jì)算出預(yù)測誤差，進(jìn)而通過誤差分析來判斷ESN預(yù)測效果的優(yōu)劣。

1.3改進(jìn)方法

根據(jù)上述流程可知，ESN預(yù)測結(jié)果的好壞與Φic、Φoc、Φcc、Φco這四個矩陣密切相關(guān)。Φic、Φoc、Φcc是先初始化再執(zhí)行ESN訓(xùn)練得到的，而Φco是在確定Φic、Φoc、Φcc之后計(jì)算出來的。這其中，Φic、Φoc、Φcc的初始化，往往依賴于經(jīng)驗(yàn)法和測試法。如果這些初始化的值選擇的不好，會導(dǎo)致執(zhí)行訓(xùn)練效率降低，同時訓(xùn)練出的結(jié)果很難達(dá)到最優(yōu)。針對這種情況，提出兩點(diǎn)改進(jìn)措施。

1.3.1Φic、Φcc、Φoc的優(yōu)化

C(k+1)=f(sicΦ′icI(k+1)+ρΦ′ccC(k)+

socΦ′ocO(k)),

Φic、Φcc、Φoc的譜半徑都是1，通過sic、ρ、soc的調(diào)節(jié)，就可以形成滿足譜半徑要求的Φic、Φcc、Φoc。這樣，Φic、Φcc、Φoc的優(yōu)化問題，就轉(zhuǎn)變成了對sic、ρ、soc的優(yōu)化。

三個矩陣的最優(yōu)配置效果，就是使得預(yù)測結(jié)果和實(shí)際結(jié)果的誤差盡可能的小。為此，設(shè)定如下兩個優(yōu)化目標(biāo)判別式：

ε(k)=O(k)-O′(k),

E(k)=‖ε(k)‖2/2。

接下來，采用隨機(jī)梯度下降法來對sic、ρ、soc這三個參數(shù)進(jìn)行優(yōu)化，它們可以使用一個統(tǒng)一的公式：

p(k+1)=p(k)+η?E(k)/?p，

(5)

式(5)中，p可以取sic、ρ、soc這三個參數(shù)中的任意一個，η則代表更新速度。

這樣，通過樣本訓(xùn)練最終確定的Φic、Φcc、Φoc，是符合預(yù)期要求的最優(yōu)結(jié)果。

1.3.2Φco的計(jì)算

Φco的最終確定，仍然采用隨機(jī)梯度下降法進(jìn)行計(jì)算，其迭代更新策略為

Φco(k+1)=Φco(k)+λ?E(k)/?Φco,

(6)

式(6)中，λ表示更新速度。因?yàn)?E(k)/?Φco=-ε(k)[C(k)；I(k)]T，所以式(6)可以改寫為

Φco(k+1)=Φco(k)-λε(k)[C(k)；I(k)]T,

至此，Φic、Φcc、Φoc、Φco就全部確定了。相比于傳統(tǒng)的經(jīng)驗(yàn)法或測試法，這種改進(jìn)措施確定的四個矩陣參數(shù)具有最優(yōu)特性，并且對于不同的樣本數(shù)據(jù)都具有較強(qiáng)的適應(yīng)性。

2　改進(jìn)ESN預(yù)測結(jié)果與誤差分析

2.1實(shí)驗(yàn)數(shù)據(jù)

為了驗(yàn)證提出的改進(jìn)ESN預(yù)測方法的有效性，選取兩組時間序列變量數(shù)據(jù)的關(guān)系作為研究對象。一組是2005—2014年的通貨膨脹率CPI月度數(shù)據(jù)，作為改進(jìn)ESN方法的輸入；另一組是2005—2014年的廣義貨幣量M2月度數(shù)據(jù)，作為改進(jìn)ESN方法的輸出。兩組數(shù)據(jù)的絕對值表達(dá)存在較大的幅度差異，因此，取兩組數(shù)據(jù)的對數(shù)表達(dá)作為實(shí)驗(yàn)數(shù)據(jù)，如表1所示。

表1　實(shí)驗(yàn)數(shù)據(jù)

2.2預(yù)測結(jié)果

從表1的40組數(shù)據(jù)中，首先，選取20組數(shù)據(jù)對ESN進(jìn)行訓(xùn)練，按照改進(jìn)ESN方法獲得ESN的各個關(guān)鍵矩陣參數(shù)，從而可以確定出針對此兩組實(shí)驗(yàn)數(shù)據(jù)的最佳ESN結(jié)構(gòu)。然后，將40個L(CPI)數(shù)據(jù)作為輸入代入ESN，可以根據(jù)ESN獲得40個L(M2)的預(yù)測值。將L(M2)的預(yù)測值和L(M2)的真實(shí)值繪制成曲線，形成的對比結(jié)果，如圖2所示。

圖2　L(M2)的預(yù)測值與真實(shí)值對比曲線

Fig. 2Comparison curves of L(M2) prediction values and real values

從圖2中的結(jié)果可以看出，L(M2)的預(yù)測值在開始與L(M2)的真實(shí)值有很大偏差，但在ESN的逼近能力下，迅速調(diào)整到和L(M2)的真實(shí)值比較吻合的狀態(tài)，并一直保持非常好的逼近效果。在40個數(shù)據(jù)以后，ESN進(jìn)一步預(yù)測出未來時間范圍內(nèi)的20個數(shù)據(jù)，這個延伸的預(yù)測結(jié)果可以對輸入和輸出的未來關(guān)系問題提供統(tǒng)計(jì)學(xué)上的判據(jù)。圖2中的結(jié)果，直觀地證實(shí)了文中提出的改進(jìn)ESN方法，對于時間序列數(shù)據(jù)預(yù)測的有效性。

2.3誤差分析

為了形成所提出的方法和傳統(tǒng)ESN方法的橫向?qū)Ρ?，進(jìn)一步執(zhí)行預(yù)測誤差分析。時間序列數(shù)據(jù)的預(yù)測領(lǐng)域，一般通過四類誤差指標(biāo)來評價預(yù)測效果，即均方根誤差指標(biāo)、平均絕對誤差指標(biāo)、平均絕對百分比誤差指標(biāo)、標(biāo)準(zhǔn)均方根誤差指標(biāo)。

均方根誤差指標(biāo)的數(shù)學(xué)形式：

(7)

平均絕對誤差指標(biāo)的數(shù)學(xué)形式為

平均絕對百分比誤差指標(biāo)的數(shù)學(xué)形式：

標(biāo)準(zhǔn)均方根誤差指標(biāo)的數(shù)學(xué)形式為

這里，σ2表示時間序列數(shù)據(jù)的方差。

根據(jù)2.1節(jié)的實(shí)驗(yàn)對象，分別執(zhí)行傳統(tǒng)ESN預(yù)測和提出的改進(jìn)ESN預(yù)測，兩種方法的預(yù)測誤差比較結(jié)果如表2所示。

表2　兩種方法的預(yù)測誤差比較Table 2　Comparison of prediction error between two methods

從表2中的結(jié)果可以看出，改進(jìn)ESN方法的預(yù)測效果要大大優(yōu)于傳統(tǒng)ESN方法，四項(xiàng)預(yù)測誤差的評價指標(biāo)都遠(yuǎn)遠(yuǎn)低于傳統(tǒng)ESN方法。

3　結(jié)束語

改進(jìn)的ESN預(yù)測方法能夠獲得高精度的預(yù)測結(jié)果。該方法針對時間序列數(shù)據(jù)預(yù)測問題，在傳統(tǒng)ESN預(yù)測的基礎(chǔ)上，對ESN的關(guān)鍵參數(shù)進(jìn)行了優(yōu)化。優(yōu)化過程重新映射了關(guān)鍵參數(shù)的譜半徑，在優(yōu)化目標(biāo)的引導(dǎo)下，采用隨機(jī)梯度下降法完成優(yōu)化計(jì)算。改進(jìn)ESN方法避免了關(guān)鍵參數(shù)的經(jīng)驗(yàn)給定和多組測試，使得ESN具有最優(yōu)的逼近特性。針對時間序列數(shù)據(jù)展開實(shí)驗(yàn)研究，實(shí)驗(yàn)結(jié)果直觀地證實(shí)了改進(jìn)ESN方法可以獲得高精度的預(yù)測結(jié)果，預(yù)測值曲線和真實(shí)值曲線的吻合程度非常高。

[1]NAND R， CHANDRA R. Reverse neuron level decomposition for cooperative neuro-evolution of feedforward networks for time series prediction[C]//Australasian Conference on Artificial Life and Computational Intelligence, Canberra, ACT, Australia: ACALCI, 2016, 9592: 171-182.

[2]劉鳳朝, 孫玉濤. 我國科技政策向創(chuàng)新政策演變的過程、趨勢與建議——基于我國289項(xiàng)創(chuàng)新城則的實(shí)證分析[J]. 中國軟科學(xué), 2007, 5: 34-42.

[3]SALEEM A, HIGUCHI K. Globalization and ICT innovation policy: absorption capacity in developing countries[C]// International Conference on Advanced Communication Technology, Pyeongchang, Korea(South): ICACT, 2014: 409-417.

[4]MINA A, BASCAVUSOGLU E, HUGHES A. Open service innovation and the firms search for external knowledge[J]. Research Policy, 2014, 43(5): 853-866.

[5]吳莎. Volterra 核函數(shù)在齒輪裂紋故障識別上的應(yīng)用[J]. 河北科技大學(xué)學(xué)報, 2010, 31(6): 112-114.

[6]王永生. 基于最小二乘支持向量回歸的混沌時間序列預(yù)測研究[J]. 海軍航空工程學(xué)院學(xué)報, 2009,(3): 88-92.

[7]趙嵐. 微分進(jìn)化算法在單樁極限承載力灰色優(yōu)化預(yù)測中的應(yīng)用[D]. 合肥: 合肥工業(yè)大學(xué), 2009.

[8]GUNE S, GUNDUZ O, CATATEPE Z. Link prediction using time series of neighborhood-based node similarity scores[J]. Data Mining and Knowledge Discovery, 2016, 30(1): 147-180.

(編輯徐巖)

Prediction and error analysis of time series data based on improved ESN

WANGYue1,FUPingping1，2

(1.School of Management, Heilongjiang University of Science & Technology, Harbin 150022, China;2.School of Management, Harbin Institute of Technology, Harbin 150080, China)

This paper seeks to find a solution to the forecasting of time series data and proposes an improved ESN prediction method as an alternative to the conventional ESN prediction method incapable of the global optimum due to adopting the experience method and the test method for the setting of the key parameters. This novel method mapping the spectral radius of the key parameters works by optimizing the calculation by setting the optimization goal and using the stochastic gradient descent method. The results show that the improved ESN method working with a smaller prediction error is capable of ideal approximation of prediction value to the true value.

ESN; time series data; prediction; error analysis

2016-06-01

王悅(1977-)，女，黑龍江省哈爾濱人，講師，碩士，研究方向：管理科技術(shù)與方法、公共政策，E-mail：82265694@qq.com。

10.3969/j.issn.2095-7262.2016.04.021

TP183

2095-7262(2016)04-0458-05

A