深度回聲狀態(tài)網(wǎng)絡(luò)概述

程國(guó)建，魏珺潔

(西安石油大學(xué) 研究生院，陜西 西安 710065)

遞歸神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network，RNN)作為一種動(dòng)態(tài)神經(jīng)網(wǎng)絡(luò)[1]，因?yàn)槠溆?xùn)練算法太過復(fù)雜、計(jì)算量大、訓(xùn)練網(wǎng)絡(luò)需要大量的時(shí)間，所以在實(shí)際的應(yīng)用中仍然存在很多問題[2]。2001年，Jaeger提出了一種新型的遞歸神經(jīng)網(wǎng)絡(luò)[3]——回聲狀態(tài)網(wǎng)絡(luò)(Echo State Network，ESN)，該網(wǎng)絡(luò)能夠更好的解決時(shí)序相關(guān)的動(dòng)態(tài)問題。ESN的計(jì)算量小，訓(xùn)練簡(jiǎn)單，使用過程中只需要訓(xùn)練網(wǎng)絡(luò)的輸出權(quán)值，而且僅通過線性回歸就可以完成訓(xùn)練[4]。現(xiàn)在ESN已經(jīng)應(yīng)用在許多方面，例如預(yù)測(cè)太陽黑子數(shù)量的時(shí)間序列和城市共享單車數(shù)量[5]、變風(fēng)量空調(diào)內(nèi)?？刂芠6]、網(wǎng)絡(luò)流量預(yù)測(cè)[7]、化工故障檢測(cè)[8]、非線性衛(wèi)星信道盲均衡[9]以及電力負(fù)荷預(yù)測(cè)[10-11]等。然而ESN也有不足，即當(dāng)輸入數(shù)據(jù)用儲(chǔ)備池中的回聲狀態(tài)來表示時(shí)，由于儲(chǔ)備池通常是一個(gè)大的隨機(jī)稀疏連接的遞歸神經(jīng)網(wǎng)絡(luò)，所以可能會(huì)存在多余的回聲狀態(tài)。這就是ESN的共線性問題。

有許多研究人員嘗試對(duì)ESN進(jìn)行優(yōu)化及改進(jìn)[12-15]，黃文華在其研究中將改進(jìn)的ESN作為熱點(diǎn)話題預(yù)測(cè)模型[16]，張寧致等人將改進(jìn)的ESN應(yīng)用在股價(jià)預(yù)測(cè)等實(shí)際問題中[17-18]。深度回聲狀態(tài)網(wǎng)絡(luò)(Deep-Echo State Network，Deep-ESN)也是一種改進(jìn)的ESN，論文所介紹的Deep-ESN模型是Qianli Ma、Lifeng Shen等人在2017年提出的一種分層儲(chǔ)備池計(jì)算框架[19]，為了融合每個(gè)儲(chǔ)備池獲得的多尺度表示，該網(wǎng)絡(luò)添加了從每個(gè)編碼器到最后一個(gè)輸出層的連接。一些時(shí)間序列的實(shí)驗(yàn)結(jié)果表明，Deep-ESN可以捕獲多尺度動(dòng)力學(xué)，并且優(yōu)于標(biāo)準(zhǔn)的淺層ESN。

1 回聲狀態(tài)網(wǎng)絡(luò)

1.1 網(wǎng)絡(luò)模型

ESN是一種結(jié)構(gòu)簡(jiǎn)單的新型RNN，它僅由輸入層、儲(chǔ)備池和輸出層組成[20]，如圖1。其中輸入層、儲(chǔ)備池和輸出層所包含的神經(jīng)元數(shù)分別為D，N和L，在t時(shí)刻的輸入向量，儲(chǔ)備狀態(tài)向量和輸出向量分別用u(t)、x(t)和y(t)表示。Win是輸入層與儲(chǔ)備池之間的一個(gè)N×D維的權(quán)值矩陣，它是從均勻分布[-1,1]中隨機(jī)初始化的一個(gè)值。Wres是儲(chǔ)備池內(nèi)部神經(jīng)元之間的一個(gè)N×N維權(quán)值矩陣，它通過儲(chǔ)備池的參數(shù)——儲(chǔ)備池譜半徑(Spectral Radius，SR)來計(jì)算。Wout是將從輸入層到輸出層的直接連接和從儲(chǔ)備池到輸出層的連接串聯(lián)起來的一個(gè)L×(D+N)維權(quán)值矩陣，它是ESN中唯一一個(gè)需要訓(xùn)練的權(quán)值矩陣。

ESN利用儲(chǔ)備池中隨機(jī)連接的神經(jīng)元來生成一個(gè)復(fù)雜的狀態(tài)空間，左側(cè)的輸入數(shù)據(jù)經(jīng)過狀態(tài)空間的線性組合得到右側(cè)的輸入數(shù)據(jù)。這里的ESN與傳統(tǒng)的RNN主要有以下不同：(1)ESN采用隨機(jī)高維投影方法捕捉輸入的動(dòng)態(tài)性；(2)儲(chǔ)備池是整個(gè)系統(tǒng)的核心，它由大量(通常為100～1 000D)稀疏連接的神經(jīng)元組成；(3)輸出信號(hào)是儲(chǔ)備池中回聲狀態(tài)的線性組合，通過簡(jiǎn)單的線性回歸就可以計(jì)算輸出權(quán)值。

圖1 ESN的基本結(jié)構(gòu)

1.2 儲(chǔ)備池

儲(chǔ)備池內(nèi)部包含大量隨機(jī)連接的神經(jīng)元[21]，如圖2所示，儲(chǔ)備池中神經(jīng)元的個(gè)數(shù)決定了儲(chǔ)備池的規(guī)模[22-23]，這些隨機(jī)連接的神經(jīng)元構(gòu)成了復(fù)雜的狀態(tài)空間。儲(chǔ)備池內(nèi)部的計(jì)算過程與支持向量機(jī)(Support Vector Machine，SVM)的核方法類似[24]，基本思想都是把低維空間中的輸入信號(hào)映射到高維空間。

圖2 儲(chǔ)備池

ESN的核心就是儲(chǔ)備池，因此ESN的穩(wěn)定性和復(fù)雜度等性能就由儲(chǔ)備池的參數(shù)決定。儲(chǔ)備池主要有以下4個(gè)參數(shù)：(1)規(guī)模(神經(jīng)元個(gè)數(shù))；(2)稀疏程度；(3)譜半徑SR；(4)輸入尺度因子(Input Scaling，IS)

2 深度回聲狀態(tài)網(wǎng)絡(luò)

2.1 網(wǎng)絡(luò)模型

論文介紹的Deep-ESN是一種多投影編碼分層框架，最顯著特點(diǎn)是它在分層框架中交替使用儲(chǔ)備池和編碼器，如圖3所示。

圖3 Deep-ESN的基本結(jié)構(gòu)

2.2 學(xué)習(xí)過程

在Deep-ESN中，當(dāng)輸入時(shí)間序列被投影到儲(chǔ)備池的回聲狀態(tài)空間時(shí)，隨后的編碼器接收前一個(gè)儲(chǔ)備池的回聲狀態(tài)作為輸入，并且編碼高維度的回聲狀態(tài)表示再進(jìn)入較低維度。然后，這些低維表示再次被投影到下一個(gè)儲(chǔ)備池的高維空間中，如此循環(huán)。

(1)

計(jì)算出前一個(gè)儲(chǔ)備池的狀態(tài)之后，可以利用無監(jiān)督降維技術(shù)對(duì)它們進(jìn)行編碼并產(chǎn)生編碼特征。第j個(gè)編碼器的編碼過程可以表示為

(2)

其中，fenc(·)是編碼器的激活函數(shù)，當(dāng)fenc(·)為恒等函數(shù)時(shí)，左側(cè)的函數(shù)是一種線性降維技術(shù)。

綜上所述，最后一個(gè)儲(chǔ)備池的狀態(tài)表示為

Hj=tj°Fj

(3)

(4)

Deep-ESN將附加的編碼器層的編碼特征合并到最后的輸出層中，得到如下輸出

Y=fout(WoutM)

(5)

(6)

整個(gè)Deep-ESN的平方誤差損失為

(7)

此時(shí)，參數(shù)Wout的優(yōu)化仍然是一個(gè)簡(jiǎn)單的回歸問題。由于時(shí)間序列維持著一個(gè)高維度的形式，所以這個(gè)問題需要用Tikhonov正則化進(jìn)行嶺回歸[25]來解決。

2.3 應(yīng)用

ESN自從提出以來，就產(chǎn)生了很大的影響，可以應(yīng)用在預(yù)測(cè)太陽黑子數(shù)量的時(shí)間序列和城市共享單車數(shù)量、變風(fēng)量空調(diào)內(nèi)?？刂啤⒕W(wǎng)絡(luò)流量預(yù)測(cè)以電力負(fù)荷預(yù)測(cè)等問題中。近幾年，也有許多研究學(xué)者提出了一些基于ESN的優(yōu)化模型，并將這些模型應(yīng)用于疾病診斷、趨勢(shì)預(yù)測(cè)[26-27]等問題中。

論文所介紹的Deep-ESN是由Qianli Ma等人在2017年發(fā)表的《A Multiple Projection-encoding Hierarchical Reservoir Computing Framework》中提出的。該論文對(duì)兩個(gè)混沌系統(tǒng)和兩個(gè)真實(shí)世界時(shí)間序列進(jìn)行了基于Deep-ESN的綜合實(shí)驗(yàn)分析，這些時(shí)間序列有麥基玻璃系統(tǒng)、NARMA系統(tǒng)、每月太陽黑子系列和每日最低溫度系列等。該論文通過實(shí)驗(yàn)證明了Deep-ESN在4個(gè)時(shí)間序列(兩個(gè)混沌系統(tǒng)和兩個(gè)現(xiàn)實(shí)世界的時(shí)間序列)上超越了一些其他多尺度ESN的方法。

2.4 與其他方法的對(duì)比

相比于其他的方法，Deep-ESN有如下幾點(diǎn)特征(詳見表1)：(1)多投影編碼。Deep-ESN不是直接堆疊多個(gè)ESN，而是在儲(chǔ)備池之間使用編碼器，充分利用高維投影來獲得豐富的多尺度輸入動(dòng)態(tài)表達(dá)；(2)多尺度特征融合。為了更好地融合每個(gè)儲(chǔ)備池捕獲的多尺度動(dòng)態(tài)表示，添加了從每個(gè)編碼器到最后一個(gè)輸出層的連接，即特征鏈接；(3)簡(jiǎn)化訓(xùn)練。與以前的一些基于層次的ESN模型不同，Deep-ESN唯一可訓(xùn)練的層是最后一個(gè)輸出層，它保留了儲(chǔ)備池計(jì)算的高效計(jì)算而不依賴于梯度傳播算法。

表1 各種方法的對(duì)比

3 結(jié)束語

論文綜合了眾多學(xué)者的研究，在理解了ESN的結(jié)構(gòu)框架的基礎(chǔ)上，給出了ESN的概括性介紹。不難發(fā)現(xiàn)，ESN在應(yīng)用到實(shí)際問題中時(shí)存在著一些不足，并且已經(jīng)有許多學(xué)者嘗試對(duì)其改進(jìn)。論文在研究了眾多改進(jìn)的ESN結(jié)構(gòu)之后，選擇了Qianli Ma、Lifeng Shen等人在2017年提出的Deep-ESN進(jìn)行學(xué)習(xí)研究，論文對(duì)其學(xué)習(xí)過程和網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行了介紹。在作者研究的過程中，發(fā)現(xiàn)了一些與Deep-ESN有相似應(yīng)用的方法，文中也給出了這些方法的對(duì)比。

論文通過對(duì)ESN和Deep-ESN的研究，發(fā)現(xiàn)Deep-ESN不僅引入了一種編碼器對(duì)來自儲(chǔ)備池的數(shù)據(jù)進(jìn)行降維編碼。同時(shí)，該網(wǎng)絡(luò)循環(huán)交替使用儲(chǔ)備池和編碼器，增加了網(wǎng)絡(luò)的深度，使得Deep-ESN的整體性能要優(yōu)于傳統(tǒng)的ESN。

盡管Deep-ESN具有許多優(yōu)勢(shì)，儲(chǔ)備池的優(yōu)化仍然是Deep-ESN需要解決的一個(gè)主要問題?，F(xiàn)在也有許多研究人員從事這方面的研究，相信將來這個(gè)問題定會(huì)得到很好的解決。由于論文所介紹的Deep-ESN是一種新型的網(wǎng)絡(luò)模型，現(xiàn)階段的應(yīng)用與研究非常少。但是Deep-ESN訓(xùn)練過程簡(jiǎn)單、利用分層投影編碼的特點(diǎn)，會(huì)使它在將來受到廣泛的關(guān)注，并逐漸應(yīng)用到實(shí)際問題中去。