一種新的具有多個(gè)儲(chǔ)備池的回聲狀態(tài)網(wǎng)

王 茜，倫淑嫻

（1.渤海大學(xué) 數(shù)理學(xué)院，遼寧 錦州121013；2.渤海大學(xué) 工學(xué)院，遼寧 錦州121013）

0 引言

回聲狀態(tài)網(wǎng)（ESN）是由Jaeger教授于2001年提出的一種新型遞歸神經(jīng)網(wǎng)絡(luò)模型.回聲狀態(tài)網(wǎng)由隨機(jī)稀疏連接的神經(jīng)元組成儲(chǔ)備池，代替遞歸神經(jīng)網(wǎng)絡(luò)的隱含層［1-2］.近年來，許多學(xué)者致力于提高ESN的性能，并成功的在許多輸入驅(qū)動(dòng)中得到了應(yīng)用.例如時(shí)間序列預(yù)測(cè)和分類［3-4］、動(dòng)態(tài)模式識(shí)別［5］，系統(tǒng)建?；蜃R(shí)別［6-8］等.文獻(xiàn)［9］指出，一個(gè)具有單儲(chǔ)備池的ESN，可以很好地被訓(xùn)練生成一個(gè)正弦發(fā)生器，但在面臨實(shí)現(xiàn)多個(gè)正弦函數(shù)疊加（MSO）的任務(wù)時(shí)，其性能就變差了.究其原因，可能是因?yàn)樵谕粌?chǔ)備池內(nèi)的神經(jīng)元是耦合連接的，而任務(wù)是需要存在多個(gè)不耦合連接的神經(jīng)元［10］.為了解決MSO問題，自然就考慮到建立一個(gè)具有多個(gè)儲(chǔ)備池的回聲狀態(tài)網(wǎng)，每個(gè)儲(chǔ)備池可以具有不同規(guī)模，不同的拓?fù)浣Y(jié)構(gòu)，不同的譜半徑，這樣就可以產(chǎn)生多個(gè)不同頻率的正弦波疊加的發(fā)生器.但實(shí)際仿真表明，ESN的儲(chǔ)備池神經(jīng)元被分成多個(gè)不同的子儲(chǔ)備池時(shí)，沒有提升其解決MSO問題的能力，與單個(gè)儲(chǔ)備池差別不大，擬合性能不是很好，這可能是由于每個(gè)子儲(chǔ)備池之間沒有耦合的緣故.因此有學(xué)者開始研究含有多個(gè)儲(chǔ)備池的回聲狀態(tài)網(wǎng)結(jié)構(gòu)［11-12］.文獻(xiàn)［11］提出一種生長型回聲狀態(tài)網(wǎng)絡(luò)（GESN），能夠自動(dòng)生成儲(chǔ)備池的拓?fù)浣Y(jié)構(gòu)和大小，可以在一定程度上，避免過擬合問題.但是，GESN只是通過增加子儲(chǔ)備池的數(shù)量來改變網(wǎng)絡(luò)整體的結(jié)構(gòu)和性能.文獻(xiàn)［12］提出利用側(cè)抑制作用設(shè)計(jì)一個(gè)新型多儲(chǔ)備池回聲狀態(tài)網(wǎng)（DESN）.DESN在增加自由參數(shù)條件下實(shí)現(xiàn)了令人滿意的網(wǎng)絡(luò)的可能性.但是，DESN的各個(gè)子儲(chǔ)備池之間的連接還不夠隨機(jī)稀疏性.在此背景下，本文對(duì)子儲(chǔ)備池之間的連接方式進(jìn)行了改進(jìn)，提出新的具有多儲(chǔ)備池的回聲狀態(tài)網(wǎng)結(jié)構(gòu)（MLESN）.

1 泄漏積分型回聲狀態(tài)網(wǎng)（Leaky-ESN）

2 多儲(chǔ)備池回聲狀態(tài)網(wǎng)（MLESN）

2.1 MLESN 模型

為保證回聲狀態(tài)網(wǎng)的神經(jīng)元具有相異性，論文提出由泄露積分型神經(jīng)元構(gòu)建一種新型的多儲(chǔ)備池回聲狀態(tài)網(wǎng)，稱為多儲(chǔ)備池泄露積分回聲狀態(tài)網(wǎng)（MLESN）.MLESN是采用由頂向下和由底向上相結(jié)合的思路構(gòu)建回聲狀態(tài)網(wǎng).具體思路如下：

首先采用由頂向下的思路構(gòu)建回聲狀態(tài)網(wǎng).針對(duì)Leaky-ESN網(wǎng)絡(luò)，假設(shè)其儲(chǔ)備池由P類相異神經(jīng)元構(gòu)成.每一類神經(jīng)元的群體將構(gòu)成一個(gè)子儲(chǔ)備池.那么將構(gòu)成P個(gè)子儲(chǔ)備池，即MLESN網(wǎng)絡(luò)的儲(chǔ)備池是由P個(gè)子儲(chǔ)備池構(gòu)成.

然后采用由底向上方式構(gòu)建回聲狀態(tài)網(wǎng).首先確定P類相異神經(jīng)元，生成P個(gè)子儲(chǔ)備池.在這里相異神經(jīng)元指的是它們的狀態(tài)相異，同類神經(jīng)元是指它們彼此狀態(tài)相同或相近.假設(shè)同類神經(jīng)元的代表，稱為中心神經(jīng)元，即中心神經(jīng)元與其它同類神經(jīng)元之間的歐氏距離近似相同.那么，為了生成P類相異神經(jīng)元就轉(zhuǎn)換成了生成P個(gè)中心神經(jīng)元，且這P個(gè)中心神經(jīng)元大于一定的歐氏距離，來保證中心神經(jīng)元之間的相異性.當(dāng)中心神經(jīng)元一旦確定，其對(duì)應(yīng)的子儲(chǔ)備池就確定了.子儲(chǔ)備池的神經(jīng)元狀態(tài)與其中心神經(jīng)元狀態(tài)相同或相近.

儲(chǔ)備池狀態(tài)更新過程，仍需保持各子儲(chǔ)備池內(nèi)部神經(jīng)元之間的差異性小，不同子儲(chǔ)備池神經(jīng)元狀態(tài)之間的差異性大.

儲(chǔ)備池神經(jīng)元之間的連接權(quán)矩陣W產(chǎn)生方式仍與單儲(chǔ)備池神經(jīng)元連接權(quán)矩陣相同.

得到MLESN更新方程式為：

2.2 MLESN 回聲特性

2.3 MLESN 的參數(shù)選取與優(yōu)化

MLESN模型在這里為了保證穩(wěn)定性令Wfb= 0.因此最終需要優(yōu)化的MLESN模型如下：

在方程（6）中，需要優(yōu)化三個(gè)全局參數(shù)，分別是：a，ρ，Sin，我們采用隨機(jī)梯度下降法來優(yōu)化以上三個(gè)參數(shù).首先，在這里我們提出誤差與平方差公式

2.4 MLESN 網(wǎng)絡(luò)的實(shí)現(xiàn)過程

MLESN網(wǎng)絡(luò)的實(shí)現(xiàn)步驟如下：

1）假設(shè)MLESN的儲(chǔ)備池是由P類神經(jīng)元構(gòu)成，每一類神經(jīng)元構(gòu)成一個(gè)子儲(chǔ)備池，第i個(gè)儲(chǔ)備池的神經(jīng)元個(gè)數(shù)為di，那么儲(chǔ)備池總神經(jīng)元總數(shù)為

2）參數(shù)初始化，包括稀疏度、運(yùn)行步長、連接權(quán)矩陣W，Win和Wfb，待優(yōu)化參數(shù)a，ρ，Sin等；

3）P個(gè)子儲(chǔ)備池的中心神經(jīng)元構(gòu)成了虛擬的子儲(chǔ)備池，其對(duì)應(yīng)的連接權(quán)值為Wˉ；Wˉ是隨機(jī)生成的，具有一定的稀疏度，分別生成了P個(gè)初始狀態(tài)；

4）P個(gè)子儲(chǔ)備池的初始狀態(tài)由P個(gè)中心神經(jīng)元初始狀態(tài)決定，每個(gè)子儲(chǔ)備池的所有神經(jīng)元初始狀態(tài)與其對(duì)應(yīng)的中心神經(jīng)元初始狀態(tài)一致；

5）在第2）中隨機(jī)生成的具有一定稀疏度的W，對(duì)應(yīng)所有的儲(chǔ)備池神經(jīng)元；

6）更新系統(tǒng)的儲(chǔ)備池狀態(tài)；

7）仍然按照中心神經(jīng)元的狀態(tài)值，修正其所屬子儲(chǔ)備池其他神經(jīng)元的狀態(tài)，保證同一子儲(chǔ)備池狀態(tài)更新后仍一致；

8）優(yōu)化參數(shù)，訓(xùn)練結(jié)束獲得最優(yōu)參數(shù)和Wout；

9）測(cè)試網(wǎng)絡(luò)性能.

3 仿真和結(jié)果分析

仿真運(yùn)行結(jié)果如圖2、圖3和圖4所示.圖2與圖3分別是Leaky-ESN模型與MLESN模型的預(yù)測(cè)結(jié)果.圖4分別顯示了Leaky-ESN模型與MLESN模型的預(yù)測(cè)誤差.由圖2、圖3和圖4所示，本文提出的改進(jìn)的MLESN模型預(yù)測(cè)結(jié)果與真實(shí)數(shù)據(jù)更加接近，MLESN模型的預(yù)測(cè)誤差相對(duì)穩(wěn)定，而Leaky-ESN模型的各個(gè)序列預(yù)測(cè)誤差值波動(dòng)較大，這表明本文提出的MLESN模型預(yù)測(cè)精度和穩(wěn)定性方面都要優(yōu)于Leaky-ESN模型.

4 結(jié)論

本文提出了一種新型的多儲(chǔ)備池回聲狀態(tài)網(wǎng)絡(luò)MLESN，該模型的儲(chǔ)備池網(wǎng)絡(luò)結(jié)構(gòu)是由多個(gè)子儲(chǔ)備池構(gòu)成，每個(gè)子儲(chǔ)備池中的神經(jīng)元屬于同一類神經(jīng)元，其狀態(tài)可以由中心神經(jīng)元代表，這些中心神經(jīng)元之間通過隨機(jī)稀疏連接構(gòu)成了一個(gè)新的虛擬子儲(chǔ)備池，可以通過減小網(wǎng)絡(luò)的儲(chǔ)備池神經(jīng)元數(shù)來保證網(wǎng)絡(luò)的性能，具有很高的預(yù)測(cè)精度和預(yù)測(cè)穩(wěn)定性.