大規(guī)模超環(huán)神經(jīng)網(wǎng)絡(luò)分岔動力學(xué)

張躍中 肖 敏 王 璐 徐豐羽

眾所周知,神經(jīng)網(wǎng)絡(luò)在信號處理、自動控制、聯(lián)想記憶、人工智能[1]、生物醫(yī)學(xué)治療等領(lǐng)域有著廣闊的應(yīng)用前景,這些基本應(yīng)用在很大程度上依賴于神經(jīng)網(wǎng)絡(luò)的動力學(xué)特性.由于神經(jīng)網(wǎng)絡(luò)動力學(xué)是生物生理學(xué)和非線性動力學(xué)的交叉學(xué)科,研究其穩(wěn)定性、振蕩、分岔、混沌和同步等多種動力學(xué)行為具有生物學(xué)和動力學(xué)意義[2].一般來說,神經(jīng)網(wǎng)絡(luò)具有大規(guī)模的非線性動力學(xué)性質(zhì)和復(fù)雜的行為,為進一步把握神經(jīng)網(wǎng)絡(luò)的動力學(xué)本質(zhì),大批研究者將研究重點放在簡單的神經(jīng)網(wǎng)絡(luò)模型上[3-5],為尋求大型復(fù)雜神經(jīng)網(wǎng)絡(luò)的研究方案做鋪墊.例如,在文獻[3]中,作者提出了3 個神經(jīng)元的神經(jīng)網(wǎng)絡(luò)模型;文獻[4]研究了7 個神經(jīng)元的神經(jīng)網(wǎng)絡(luò)模型;文獻[5]研究了具有雙向聯(lián)想記憶五維神經(jīng)網(wǎng)絡(luò).顯然,如果僅僅研究一個簡單的網(wǎng)絡(luò),一些復(fù)雜問題可能會被忽略,并且在現(xiàn)實生物學(xué)中神經(jīng)網(wǎng)絡(luò)以及網(wǎng)絡(luò)的構(gòu)建模型都是錯綜復(fù)雜,多種多樣的.因此,本文提出一類大型神經(jīng)網(wǎng)絡(luò)的研究是極具理論價值和實踐價值.

在如神經(jīng)網(wǎng)絡(luò)、生物模型和進化生態(tài)學(xué)等大多數(shù)實際的動態(tài)網(wǎng)絡(luò)中,時間延遲的存在是難以避免的.然而,由于時滯的存在,系統(tǒng)可能變得不穩(wěn)定,系統(tǒng)的動態(tài)行為變得更加復(fù)雜.在神經(jīng)網(wǎng)絡(luò)中,由于突觸中信號傳播速度和處理時間的有限性,不同相鄰神經(jīng)元之間的通信存在時滯差異.人們對研究具有時延的神經(jīng)網(wǎng)絡(luò)的動力學(xué)越來越感興趣,理論成果也相繼發(fā)表.因此,以時滯(離散時滯[6]、分布式時滯[7]、多時滯[8]、泄露時滯[9-11]等)作為研究對象,分析神經(jīng)網(wǎng)絡(luò)的特性和動力學(xué)以及控制時滯系統(tǒng)的動態(tài)行為是十分必要和重要的.

在動力系統(tǒng)中,可通過分岔方法獲得某些豐富的動力特性,這是無可爭辯的.分岔方法的優(yōu)越性在于能捕捉復(fù)雜系統(tǒng)的內(nèi)在性質(zhì),涉及振蕩行為出現(xiàn)的分岔可以幫助理解網(wǎng)絡(luò)中觀察到的參數(shù)敏感性,并提供有利于網(wǎng)絡(luò)的信息[12-14].例如,對于帶有抑制的環(huán)結(jié)構(gòu)遺傳模型,其漸近行為得到廣泛的檢驗.大腸桿菌循環(huán)抑制網(wǎng)絡(luò)模型的建立[15]就是很好的體現(xiàn).分岔的種類也有很多種,其中隨著參數(shù)的變化,系統(tǒng)在穩(wěn)定與不穩(wěn)定之間切換的平衡點被稱為Hopf 分岔點[16].近年來,對神經(jīng)網(wǎng)絡(luò)有關(guān)Hopf分岔分析進行了大量的數(shù)學(xué)研究,人們可以通過Hopf 分岔的深入而清晰的認(rèn)識某個網(wǎng)絡(luò),可以提供有用的網(wǎng)絡(luò)信息,為網(wǎng)絡(luò)的應(yīng)用提供更多的可能性.因此,研究神經(jīng)網(wǎng)絡(luò)的Hopf 分岔具有重要意義.此外,Hopf 分岔可以由延遲誘導(dǎo)的生物系統(tǒng)是如何表現(xiàn)出周期性響應(yīng),更準(zhǔn)確地說,由時間延遲引起的Hopf 分岔可以得到一些有趣的結(jié)果,如延遲與振蕩幅度的關(guān)系.還有研究表明,這些Hopf 分岔分析有助于生物視覺信息的快速處理,并可用于預(yù)測大腦的病理狀態(tài).

顯然,具有時滯依賴的高維神經(jīng)網(wǎng)絡(luò)的動力學(xué)特性是值得研究的,但影響其動力學(xué)的因素很多,其中網(wǎng)絡(luò)結(jié)構(gòu)也是關(guān)注的因素之一.眾所周知,約有1 000 億個神經(jīng)細(xì)胞組成了人的大腦,每個神經(jīng)細(xì)胞可長出2 000 至數(shù)萬個樹突與其他神經(jīng)細(xì)胞連接.然而人腦的開發(fā)僅有1%,倘若能進一步的開發(fā)或者未來通過人工神經(jīng)網(wǎng)絡(luò)來學(xué)習(xí)生物神經(jīng)網(wǎng)絡(luò)將是極具意義和價值的.在人腦和脊柱中,大量的神經(jīng)元構(gòu)成一個大型的復(fù)雜神經(jīng)網(wǎng)絡(luò),通過網(wǎng)絡(luò)的結(jié)構(gòu)特性也可以簡單地剖析成放射狀網(wǎng)絡(luò)、鏈狀網(wǎng)絡(luò)和環(huán)狀網(wǎng)絡(luò)等.因此,以結(jié)構(gòu)作為研究點是極具代表性和研究價值的.例如Xiao 等[17]提出了具有輻射狀的神經(jīng)網(wǎng)絡(luò)模型;Bootan 等[7]和Huang 等[18]研究了具有單環(huán)狀的神經(jīng)網(wǎng)絡(luò)模型.其次,科研者更多提出的是形式單一且結(jié)構(gòu)簡單的網(wǎng)絡(luò),依舊缺少具有多類網(wǎng)絡(luò)結(jié)構(gòu)組合的大型網(wǎng)絡(luò).為此,本文提出一類融合多種結(jié)構(gòu)的超環(huán)神經(jīng)網(wǎng)絡(luò)模型.如圖1示,由超多環(huán)形網(wǎng)絡(luò)組合的大型神經(jīng)網(wǎng)絡(luò)圖,即體現(xiàn)了神經(jīng)網(wǎng)絡(luò)的環(huán)狀、輻射狀,也可簡化到鏈狀形態(tài).此外,研究這些簡化的連通性結(jié)構(gòu)的目的是進一步理解具有更復(fù)雜連通性的遞歸網(wǎng)絡(luò)行為的機制,以及研究復(fù)雜網(wǎng)絡(luò)中相互連接的模式,即網(wǎng)絡(luò)基序[19],對于了解整個網(wǎng)絡(luò)的動態(tài)行為是非常重要的.

在上述研究基礎(chǔ)上,本文提出一類基于時滯誘導(dǎo)且融合了多種結(jié)構(gòu)和高維性的超環(huán)神經(jīng)網(wǎng)絡(luò),對該類網(wǎng)絡(luò)的穩(wěn)定分析及分岔現(xiàn)象問題進行研究.本文的主要貢獻如下:

1)提出一類高維超環(huán)神經(jīng)網(wǎng)絡(luò),該網(wǎng)絡(luò)不僅融合了多類結(jié)構(gòu),也體現(xiàn)了一般性.

2)針對大型神經(jīng)網(wǎng)絡(luò),選用離散時滯作為分岔參數(shù),討論其網(wǎng)絡(luò)所帶來的新型穩(wěn)定性及分岔理論.

3)引用矩陣與線性方程組的圖解法,解決一類規(guī)則性高維復(fù)雜網(wǎng)絡(luò)模型的特征方程問題.

1 建立結(jié)構(gòu)型高維神經(jīng)網(wǎng)絡(luò)模型

本文研究了多時滯誘導(dǎo)的具有n2個神經(jīng)元組成的一類復(fù)雜的神經(jīng)網(wǎng)絡(luò).針對該網(wǎng)絡(luò),首先繪制出簡化的神經(jīng)網(wǎng)絡(luò)模型圖(見圖1),對應(yīng)的數(shù)學(xué)表達式如下:

圖1 一類融合多種結(jié)構(gòu)的超環(huán)神經(jīng)網(wǎng)絡(luò)模型圖Fig.1 Model diagram of a class of super multi ring neural network fused with multiple structures

注 1.生物神經(jīng)網(wǎng)絡(luò)具有多姿多態(tài)、復(fù)雜多變的特性,僅對輻射狀或環(huán)狀網(wǎng)絡(luò)模型的研究與實際神經(jīng)網(wǎng)絡(luò)還有一定差距.因此,有必要構(gòu)建一類有機復(fù)合多種結(jié)構(gòu)的一般性網(wǎng)絡(luò).網(wǎng)絡(luò)(1)的提出融合了環(huán)型和輻射狀的結(jié)構(gòu),并將低維擴展到高維,使其能更準(zhǔn)確地描述真實神經(jīng)網(wǎng)絡(luò).

本文主要研究大型神經(jīng)網(wǎng)絡(luò)(1)的穩(wěn)定性和分岔問題.建立網(wǎng)絡(luò)(1)的分岔條件,并討論時滯、結(jié)構(gòu)對網(wǎng)絡(luò)(1)分岔的影響.為推論出網(wǎng)絡(luò)(1)的有關(guān)穩(wěn)定性和分岔現(xiàn)象的基本結(jié)果,需要并可以作以下假設(shè).

假設(shè) 1.

顯然,由假設(shè)1 可得,網(wǎng)絡(luò)(1) 具有平衡點O(0,0,···,0)1×n2.

注 2.網(wǎng)絡(luò)(1)是高維多時滯系統(tǒng),擁有不唯一的平衡點.即,除了平凡平衡點O(0,0,···,0)1×n2外,可能還有其他平衡點.本文重點研究原點O(0,0,···,0)1×n2鄰近的局部動力學(xué)行為,比如局部穩(wěn)定性和Hopf 分岔.關(guān)于其他平衡點的動態(tài)演化行為,可以通過坐標(biāo)變換將平衡點平移到原點,之后的處理方法類似.因此,僅討論原點的局部動力學(xué)特征是具有代表性的.

假設(shè) 2.

注 3.由于神經(jīng)元間連接強度、突觸等因素的影響,信息傳輸?shù)臅r間延遲不同.網(wǎng)絡(luò)(1)很好地體現(xiàn)了信息傳輸時滯的相異性.本文重點研究神經(jīng)網(wǎng)絡(luò)的環(huán)狀結(jié)構(gòu).因此,假設(shè)2 展現(xiàn)了外環(huán)和中心環(huán)的時滯和是相等的.這樣既可以簡化模型分析,又可以很好地保留環(huán)狀特性.

2 局部穩(wěn)定性和Hopf 分岔

本節(jié)研究時滯對網(wǎng)絡(luò)(1) 穩(wěn)定性和分岔的影響,并從數(shù)值分析上準(zhǔn)確地確定分岔點與時滯的關(guān)系式.針對網(wǎng)絡(luò)(1),基于假設(shè)1 可得到在平衡點處線性化模型為

注 4.已知系統(tǒng)的局部穩(wěn)定性和Hopf 分岔閾值取決于系統(tǒng)的一次項部分.因此,對網(wǎng)絡(luò)(1)進行線性化處理,期望得到其穩(wěn)定性條件和分岔判據(jù).

針對該雅可比矩陣,利用矩陣與線性方程組的圖解法[20]并給出如下引理.

2.1 無時滯狀態(tài)

當(dāng)τ=0 時為無時滯狀態(tài),在此狀態(tài)下判斷系統(tǒng)的初始穩(wěn)定情況.因此,特征方程(3)可退化為:

引理 2.當(dāng)滿足條件ΔI ＞0,(I=1,2,···,n2)時,式(5)的所有根都分布在坐標(biāo)軸的左半平面.

證明.由赫爾維茨判據(jù)[21]可知,若某特征方程各項系數(shù)所構(gòu)成的主行列式及其順序主子式都為正,則該特征方程的解都是具有負(fù)實部的解.因此,利用赫爾維茨判據(jù),由 ΔI ＞0,(I=1,2,···,n2)易得式(5)的所有根都分布在坐標(biāo)軸的左半平面.

2.2 有時滯狀態(tài)

由第2.1 節(jié)可知,在無時滯狀態(tài)下可以判斷出網(wǎng)絡(luò)的初始狀態(tài)是否穩(wěn)定,進而隨著時滯的引入,分析總結(jié)出網(wǎng)絡(luò)穩(wěn)定性及分岔的條件.首先,在時滯狀態(tài)下令ξ(λ)=(λ+ρ)neλτ對式(4)進行簡化,可得:

由于ξ(λ)前的系數(shù)是已知常數(shù),所以可定義ξj(λ),j=1,2,···,n為式(7)所對應(yīng)的n個解.其次,為尋找臨界值(分岔點),需找取式(7) 的純虛根,進而假設(shè)λ=iω.令ξj(λ)=αj+iβj,?j=1,2,···,n代入式(7),整理可得:

顯然,式(8)是一個ω的復(fù)值等式,為了解決未知變量ω和τ的問題,可以將式(8)分解成實部部分和虛部部分,拆分的等式如下:

針對式(9),利用克拉默法則容易推得:

由 cos2(ωτ)+sin2(ωτ)=1 可推得:

取ε=ω2,對式(11)進行展開整理得:

其中,Ak,?k=1,2,···,n-1 為式(11)展開式有關(guān)ε的系數(shù).在此,定義h(·)函數(shù) :

3 數(shù)值算例與仿真

本節(jié)使用一個數(shù)值例子來仿真驗證所得到的理論推導(dǎo).神經(jīng)網(wǎng)絡(luò)中激活函數(shù)常用 t anh(·)表示.考慮以下系統(tǒng):

然后,給出數(shù)值仿真所需的初始參數(shù)(見表1).

表1 網(wǎng)絡(luò)(15)的初始參數(shù)設(shè)定表Table 1 Initial parameter setting table for network (15)

本節(jié)討論時滯對網(wǎng)絡(luò)(15)穩(wěn)定性和分岔的影響.首先,根據(jù)第2 節(jié)理論推導(dǎo)出分岔點τ0=3.22 s,其次,驗證無時滯時網(wǎng)絡(luò)(15) 的特征方程子行列式的值是滿足引理1 的假設(shè).最后,根據(jù)定理1可知,當(dāng)選取時滯為τ=3.15 s＜τ0時,網(wǎng)絡(luò)(15)是穩(wěn)定的,顯然圖2 的仿真圖是對應(yīng)的,可以看到網(wǎng)絡(luò)在平衡點附近是漸近穩(wěn)定的.當(dāng)τ=3.3 s＞τ0時,仿真結(jié)果見圖3,網(wǎng)絡(luò)的平衡點不穩(wěn)定,并且明顯地可以觀測到相圖中出現(xiàn)了極限環(huán).顯然,數(shù)值仿真的結(jié)果本文的結(jié)論是相統(tǒng)一.說明所得的分岔結(jié)果是非常精確和有效的.

圖2 當(dāng) τ=3.15 s ＜ τ0時,網(wǎng)絡(luò)(15)漸近穩(wěn)定Fig.2 When τ=3.15 s ＜ τ0,network (15)is asymptotically stable

圖3 當(dāng) τ=3.3 s ＞ τ0 時,網(wǎng)絡(luò)(15)失穩(wěn)Fig.3 Network (15)is unstable when τ=3.3 s ＞ τ0

本文研究大規(guī)模超環(huán)神經(jīng)網(wǎng)絡(luò)的動力學(xué)演化行為.進一步,通過數(shù)值仿真給出環(huán)的個數(shù)和神經(jīng)元數(shù)量對神經(jīng)網(wǎng)絡(luò)分岔的影響規(guī)律.選取表1 中的自反饋系數(shù)ρ和耦合連接權(quán)重,并假設(shè)外環(huán)神經(jīng)元個數(shù)為3.表2 展現(xiàn)了網(wǎng)絡(luò)結(jié)構(gòu)對穩(wěn)定性和分岔的影響.顯然,隨著環(huán)數(shù)和神經(jīng)元數(shù)量的增加,分岔點逐漸減小,即穩(wěn)定閾值變小,Hopf分岔將提前發(fā)生.這意味著網(wǎng)絡(luò)規(guī)模越大,環(huán)狀結(jié)構(gòu)越多,系統(tǒng)的穩(wěn)定性越差.

表2 結(jié)構(gòu)變化影響分岔點位置情況表Table 2 Table of the influence of structural change on the location of bifurcation points

4 結(jié)論

本文選取時滯作分岔參數(shù),研究了一類大規(guī)模超環(huán)神經(jīng)網(wǎng)絡(luò)的穩(wěn)定性與分岔動力學(xué).研究重點主要包括以下3 個方面:1)將簡單的單環(huán)神經(jīng)網(wǎng)絡(luò)模型推廣到一般的大規(guī)模多環(huán)網(wǎng)絡(luò)模型;2)通過分析特征方程根的分布情況,給出了網(wǎng)絡(luò)的穩(wěn)定性及產(chǎn)生分岔現(xiàn)象的條件;3)揭示了網(wǎng)絡(luò)規(guī)模和環(huán)的個數(shù)對網(wǎng)絡(luò)動力學(xué)的影響規(guī)律.

超環(huán)神經(jīng)網(wǎng)絡(luò)模型的提出及研究是具有前瞻性的,此外,未來研究工作的延伸和方向性的指導(dǎo)將更有助于實際神經(jīng)網(wǎng)絡(luò)的應(yīng)用.為此,后續(xù)將開展以下工作:1)考慮雙向連接及多類型時滯融合的大規(guī)模神經(jīng)網(wǎng)絡(luò)的分岔動力學(xué);2)將整數(shù)階神經(jīng)網(wǎng)絡(luò)推廣到分?jǐn)?shù)階神經(jīng)網(wǎng)絡(luò),研究階次對動力學(xué)的影響;3)設(shè)計可行控制策略,優(yōu)化神經(jīng)網(wǎng)絡(luò)的動態(tài)演化過程.