憶阻Hopfield神經(jīng)網(wǎng)絡(luò)的混沌特性研究

蔣 欣，王光義，周 瑋

(杭州電子科技大學(xué)現(xiàn)代電路與智能信息研究所，浙江 杭州 310018)

0 引 言

Hopfield神經(jīng)網(wǎng)絡(luò)(Hopfield Neural Network, HNN)是一種反饋型神經(jīng)網(wǎng)絡(luò)[1]，越來越多的證據(jù)表明大腦中存在復(fù)雜的混沌動(dòng)力學(xué)[2]，HNN能較好地模擬大腦中的混沌行為，為理解人類大腦活動(dòng)和記憶行為提供重要模型。相關(guān)研究發(fā)現(xiàn)一些復(fù)雜的混沌現(xiàn)象[3]。大腦的神經(jīng)活動(dòng)可以從混沌狀態(tài)轉(zhuǎn)為周期狀態(tài)，混沌狀態(tài)對(duì)應(yīng)大腦的正常運(yùn)作狀態(tài)，周期性狀態(tài)對(duì)應(yīng)癲癇發(fā)作等病理狀態(tài)[4]。雙曲型HNN[5]可簡(jiǎn)化連接的拓?fù)浣Y(jié)構(gòu)，出現(xiàn)不同種類吸引子的共存行為[6]。在HNN模型中，將神經(jīng)元激活梯度作為可調(diào)控參數(shù)時(shí)，可產(chǎn)生共存周期和混沌振蕩[7]。三次磁控憶阻器也可實(shí)現(xiàn)憶阻HNN，出現(xiàn)準(zhǔn)周期、混沌及超混沌現(xiàn)象[8]。Danca等[9]研究簡(jiǎn)化型三元HNN，通過數(shù)值分析和仿真實(shí)驗(yàn)發(fā)現(xiàn)2個(gè)穩(wěn)定周期吸引子外，還發(fā)現(xiàn)隱藏的混沌吸引子和瞬態(tài)混沌吸引子。憶阻器具有納米結(jié)構(gòu)、阻值連續(xù)可調(diào)和記憶特性[10-13]，選擇憶阻器作為突觸可提高神經(jīng)網(wǎng)絡(luò)處理不同問題的靈活性，還可實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)突觸的可編程性[14]。隨著HNN在科學(xué)和工程領(lǐng)域的廣泛應(yīng)用，憶阻器已成為新型神經(jīng)形態(tài)計(jì)算的最佳候選器件之一[15]。本文將憶阻器模型引入神經(jīng)網(wǎng)絡(luò)，設(shè)計(jì)一種四元憶阻Hopfield神經(jīng)網(wǎng)絡(luò)。

1 四元憶阻Hopfield神經(jīng)網(wǎng)絡(luò)數(shù)學(xué)模型

憶阻器是一個(gè)具有記憶性的非線性電阻，其具有納米結(jié)構(gòu)、低功耗和阻值可調(diào)等特性，非常適合模擬神經(jīng)突觸和神經(jīng)元。憶阻器有荷控(流控)和磁控(壓控)兩種類型[16]，神經(jīng)元激活函數(shù)是單調(diào)可微且上下有界的，通常采用雙曲正切函數(shù)作為神經(jīng)元的激活函數(shù)。本文采用雙曲正切型憶阻器來模擬神經(jīng)元突觸，其模型為：

(1)

式中，vm和im分別為憶阻器的輸入電壓和電流，W(φ)=a-btanh(φ)為磁控憶阻器的憶導(dǎo)，其中，a，b均為正實(shí)數(shù)，為了便于計(jì)算分析，令a=1，b為可調(diào)參數(shù)。

“突觸權(quán)重”代表神經(jīng)元之間的連接強(qiáng)度，本文引入憶阻器來取代第4個(gè)神經(jīng)元的自連接突觸權(quán)重W44，設(shè)計(jì)的四元憶阻Hopfield神經(jīng)網(wǎng)絡(luò)的拓?fù)溥B接如圖1所示。

圖1 四元憶阻Hopfield神經(jīng)網(wǎng)絡(luò)拓?fù)溥B接

圖1中，W11，W22，W33和W44分別為4個(gè)神經(jīng)元的自連接權(quán)重，W12，W21，W13，W31，W23，W32，W24，W42分別為4個(gè)神經(jīng)元的互連接權(quán)重。

常用雙曲正切函數(shù)tanh(xn)(n=1,2,3)作為從第n個(gè)神經(jīng)元電壓輸入的神經(jīng)元激活函數(shù)，其系數(shù)表示2個(gè)相鄰神經(jīng)元之間的連接突觸權(quán)重，Hopfield神經(jīng)元的電路方程為：

(2)

式中，Ci，Ri和xi為神經(jīng)元i細(xì)胞膜內(nèi)外的電容、電阻和電壓，tanh(xi)為神經(jīng)元激活函數(shù)，Wij為描述神經(jīng)元i與神經(jīng)元j之間連接強(qiáng)度的突觸權(quán)重，W11，W22，W33和W44分別為4個(gè)神經(jīng)元的自連接權(quán)重，Ii為偏置電流，通常等于0。

憶阻器的憶導(dǎo)或憶阻隨其電流改變的特性與人腦突觸極為相似，用憶阻器模擬神經(jīng)元突觸更符合生物學(xué)特性。本文通過多次仿真實(shí)驗(yàn)，得到如下突觸矩陣：

(3)

式中，W24和W42為神經(jīng)元2和神經(jīng)元4之間的互連接突觸，W′44為系統(tǒng)參數(shù)，是一個(gè)常數(shù)，根據(jù)式(3)和圖1得到如下憶阻HNN數(shù)學(xué)模型：

(4)

式中，x，y，z，u，w為神經(jīng)網(wǎng)絡(luò)的狀態(tài)變量，適當(dāng)?shù)膮?shù)使得該神經(jīng)網(wǎng)絡(luò)產(chǎn)生混沌現(xiàn)象。選取系統(tǒng)參數(shù)W24=3.8，W42=1.0,W′44=-1.5，憶阻器內(nèi)部參數(shù)b=0.3，產(chǎn)生的混沌波形和x-u平面的吸引子相圖如圖2所示。

圖2 四元憶阻器Hopfield神經(jīng)網(wǎng)絡(luò)的混沌特性

從圖2可以看出，振蕩波形是非周期、偽隨機(jī)的，神經(jīng)網(wǎng)絡(luò)產(chǎn)生了雙渦卷混沌吸引子。

2 四元憶阻器Hopfield神經(jīng)網(wǎng)絡(luò)的平衡點(diǎn)和穩(wěn)定性分析

(5)

(6)

當(dāng)憶阻器內(nèi)部參數(shù)b=0.3時(shí)，平衡點(diǎn)P0，P1和P2的特征值和穩(wěn)定性如表1所示，其中i表示復(fù)數(shù)的虛部單位。

表1 b=0.3時(shí)平衡點(diǎn)及其特征值和穩(wěn)定性

(7)

3 關(guān)鍵參數(shù)對(duì)四元憶阻Hopfield神經(jīng)網(wǎng)絡(luò)動(dòng)力學(xué)特性的影響

3.1 憶阻器內(nèi)部參數(shù)b對(duì)神經(jīng)網(wǎng)絡(luò)動(dòng)力學(xué)的影響

當(dāng)憶阻器內(nèi)部參數(shù)b在[0,3.0]區(qū)間變化時(shí)，四元憶阻Hopfield神經(jīng)網(wǎng)絡(luò)的分岔圖及Lyapunov指數(shù)譜如圖3所示，為了便于觀察，第4條和第5條Lyapunov指數(shù)譜未展示，其值恒為更小的負(fù)值。

圖3 四元憶阻Hopfield神經(jīng)網(wǎng)絡(luò)隨參數(shù)b變化的情況

從圖3可以看出，隨著憶阻內(nèi)部參數(shù)b的增大，除中間出現(xiàn)的短暫周期窗口外，該神經(jīng)網(wǎng)絡(luò)基本處于混沌狀態(tài)，最終進(jìn)入穩(wěn)定狀態(tài)。

當(dāng)參數(shù)b的取值分別為0.3，0.7，1.6，1.8時(shí)，四元憶阻Hopfield神經(jīng)網(wǎng)絡(luò)的相圖如圖4所示。

圖4 四元憶阻Hopfield神經(jīng)網(wǎng)絡(luò)隨參數(shù)b變化的相圖

從圖4可以看出，隨著參數(shù)b的變化，神經(jīng)網(wǎng)絡(luò)產(chǎn)生了2種不同類型的混沌吸引子，即雙渦卷和單渦卷混沌吸引子。由圖3和圖4可知，憶阻參數(shù)b的影響較大，隨著b的變化，神經(jīng)網(wǎng)絡(luò)呈現(xiàn)不同的狀態(tài)，包括周期吸引子、單渦卷混沌吸引子及雙渦卷混沌吸引子。

3.2 串?dāng)_參數(shù)對(duì)神經(jīng)網(wǎng)絡(luò)動(dòng)力學(xué)的影響

文獻(xiàn)[17]研究表明，神經(jīng)元突觸間存在突觸串?dāng)_的現(xiàn)象。突觸的串?dāng)_行為影響神經(jīng)元之間的連接強(qiáng)度，憶阻參數(shù)b的變化控制著神經(jīng)元4的自連接突觸權(quán)重，突觸串?dāng)_引起其他突觸權(quán)重W24，W42及W′44的變化。本文將W24，W42及W′44定義為神經(jīng)元的串?dāng)_參數(shù)，以串?dāng)_參數(shù)W24為例進(jìn)行分析。

四元憶阻Hopfield神經(jīng)網(wǎng)絡(luò)隨串?dāng)_參數(shù)W24變化的分岔圖及指數(shù)譜如圖5所示。

圖5 四元憶阻Hopfield神經(jīng)網(wǎng)絡(luò)隨參數(shù)W24變化情況

從圖5可以看出，當(dāng)W24在[2.5,5.0]內(nèi)變化時(shí)，神經(jīng)網(wǎng)絡(luò)反復(fù)出現(xiàn)倍周期分岔和逆倍周期分岔狀態(tài)，最后，通過倍周期分岔切換到混沌軌道。W24的取值分別為3.65，3.75，3.80和4.60時(shí)，Hopfield神經(jīng)網(wǎng)絡(luò)產(chǎn)生了4種不同類型的混沌吸引子相圖如圖6所示。

圖6 四元憶阻Hopfield神經(jīng)網(wǎng)絡(luò)隨參數(shù)W24變化的相圖

從圖6可以看出，隨著W24的變化，神經(jīng)網(wǎng)絡(luò)呈現(xiàn)復(fù)雜的混沌狀態(tài)，包括不同類型的單渦卷混沌吸引子和雙渦卷混沌吸引子，說明串?dāng)_參數(shù)W24對(duì)四元憶阻神經(jīng)網(wǎng)絡(luò)產(chǎn)生了較大的影響。

4 仿真實(shí)驗(yàn)與分析

四元憶阻Hopfield神經(jīng)網(wǎng)絡(luò)的主電路如圖7(a)所示，參數(shù)W′44=-1.5，W42=1.0，b=0.1，取RC的時(shí)間常數(shù)為1 ms，即R=10 kΩ，C=1 μF，串?dāng)_參數(shù)W24的值由可變電阻R24控制，電路中其它元件參數(shù)分別根據(jù)Rij=R/Wij計(jì)算。圖7(b)為憶阻突觸等效電路，其中各元件參數(shù)為：R54=R/W54=10.00 kΩ，Ra=R/(a×W′44)=6.67 kΩ，Rb=gR/(b×W′44)=66.67 kΩ。

圖7 四元憶阻Hopfield神經(jīng)網(wǎng)絡(luò)的Pspice電路實(shí)現(xiàn)圖

固定參數(shù)W′44=-1.5,W42=1.0，b=0.1，改變串?dāng)_參數(shù)W24的值，R24取值分別為2.78 kΩ，2.60 kΩ，2.63 kΩ和2.11 kΩ時(shí)，得到Pspice系統(tǒng)仿真電路的相圖如圖8所示。

圖8 四元憶阻Hopfield神經(jīng)網(wǎng)絡(luò)隨參數(shù)W24變化的Pspice仿真相軌圖

對(duì)比圖8與圖6可知，電路仿真結(jié)果與數(shù)值分析結(jié)果基本一致，表明本文所設(shè)計(jì)的四元憶阻Hopfield神經(jīng)網(wǎng)絡(luò)具有可實(shí)現(xiàn)性。

5 結(jié)束語

根據(jù)憶阻器阻值的可調(diào)特性，本文設(shè)計(jì)了一種四元憶阻Hopfield神經(jīng)網(wǎng)絡(luò)。數(shù)學(xué)模型分析及Pspice電路仿真實(shí)驗(yàn)發(fā)現(xiàn)，神經(jīng)元的串?dāng)_行為對(duì)神經(jīng)元的活動(dòng)產(chǎn)生不可忽略的影響，使神經(jīng)網(wǎng)絡(luò)產(chǎn)生一系列復(fù)雜動(dòng)力學(xué)行為，表明憶阻Hopfield神經(jīng)網(wǎng)絡(luò)在模擬大腦神經(jīng)活動(dòng)和記憶行為等方面具有良好的前景。另外，激活函數(shù)的選擇對(duì)Hopfield神經(jīng)網(wǎng)絡(luò)性能的影響不容忽視，選擇何種更好的激活函數(shù)以提高神經(jīng)網(wǎng)絡(luò)的性能是下一步研究重點(diǎn)。