神經(jīng)網(wǎng)絡(luò)的非脆弱狀態(tài)估計(jì)

楊帆 董宏麗 李佳慧 安杏杏 邵曉光

幾十年來(lái),由于其自適應(yīng)學(xué)習(xí)和逼近非線性函數(shù)的能力,遞歸神經(jīng)網(wǎng)絡(luò)(RNNs)已經(jīng)成為研究焦點(diǎn).到目前為止,各種遞歸神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)以及學(xué)習(xí)方案已經(jīng)被用于分類、模式識(shí)別、回歸和優(yōu)化問(wèn)題及許多實(shí)際應(yīng)用領(lǐng)域,如系統(tǒng)的識(shí)別和控制,軌跡預(yù)測(cè),決策和醫(yī)療診斷[1?2].另一方面,由于電子神經(jīng)網(wǎng)絡(luò)中放大器的有限開關(guān)速度和其他原因,通常使信號(hào)傳輸時(shí)產(chǎn)生時(shí)滯是不可避免的.如果沒(méi)有適當(dāng)?shù)目紤],時(shí)滯將會(huì)引起系統(tǒng)振蕩甚至不穩(wěn)定.在過(guò)去的十年里,對(duì)于各種神經(jīng)網(wǎng)絡(luò)和其他網(wǎng)絡(luò)時(shí)滯現(xiàn)象在動(dòng)力學(xué)分析問(wèn)題中得到了大量的研究關(guān)注[3?9].

對(duì)于神經(jīng)網(wǎng)絡(luò)的成功應(yīng)用,往往是先了解可用于優(yōu)化或控制的神經(jīng)元狀態(tài)的實(shí)際信息.然而,由于資源物理上可利用的限制,通常只有部分神經(jīng)元狀態(tài)信息可通過(guò)網(wǎng)絡(luò)輸出,尤其是大規(guī)模神經(jīng)網(wǎng)絡(luò).因此,當(dāng)務(wù)之急是通過(guò)可用的網(wǎng)絡(luò)輸出盡可能準(zhǔn)確地估計(jì)神經(jīng)元狀態(tài)[10],由此產(chǎn)生的神經(jīng)網(wǎng)絡(luò)狀態(tài)估計(jì)問(wèn)題在過(guò)去的幾十年中已經(jīng)引起了廣泛興趣,已經(jīng)有大量文章發(fā)表[11?16].例如文獻(xiàn)[17]中設(shè)計(jì)的狀態(tài)估計(jì)器是針對(duì)帶有馬爾可夫跳參數(shù)和時(shí)變時(shí)滯的離散神經(jīng)網(wǎng)絡(luò).

在控制器/估計(jì)器應(yīng)用過(guò)程中,通常情況下由于各種原因,例如數(shù)值舍入誤差、計(jì)算機(jī)的有限字長(zhǎng)和模數(shù)轉(zhuǎn)換精度,實(shí)際執(zhí)行的參數(shù)與期望的會(huì)略有不同.眾所周知,即使是估計(jì)器的漂移、濾波器/控制器參數(shù)微小的變化都可能會(huì)導(dǎo)致整體動(dòng)態(tài)系統(tǒng)發(fā)生巨大變化(如性能下降,甚至最終不穩(wěn)定)[18?19],這種現(xiàn)象被稱為是脆弱的.在過(guò)去的幾年中,對(duì)于控制器/估計(jì)器在可接受的執(zhí)行誤差范圍內(nèi),非脆弱性在保證所需系統(tǒng)性能方面已經(jīng)成為一個(gè)越來(lái)越重要的性能指標(biāo)[20?22].例如,文獻(xiàn)[22]對(duì)于一類同時(shí)帶有隨機(jī)發(fā)生增益變化(ROGVs)和信道衰落的離散T-S模糊系統(tǒng),設(shè)計(jì)了一個(gè)非脆弱H∞濾波器.

在神經(jīng)網(wǎng)絡(luò)非脆弱狀態(tài)估計(jì)的背景下,一些初步的結(jié)果已經(jīng)出現(xiàn)在文獻(xiàn)中.例如,文獻(xiàn)[23]對(duì)于帶有混合時(shí)變時(shí)滯和馬爾可夫跳參數(shù)的神經(jīng)網(wǎng)絡(luò),設(shè)計(jì)了一個(gè)非脆弱觀測(cè)器.很明顯在文獻(xiàn)[23–24]中設(shè)計(jì)的估計(jì)器/觀測(cè)器的結(jié)構(gòu)已經(jīng)被假定類似于基礎(chǔ)神經(jīng)網(wǎng)絡(luò),以便隨后的動(dòng)力學(xué)分析.然而這樣的假設(shè)意味著,為了估計(jì)器/觀測(cè)器的應(yīng)用具有實(shí)際意義,時(shí)變時(shí)滯和激勵(lì)函數(shù)必須是完全已知的.遺憾的是,利用這種復(fù)雜的估計(jì)器/觀測(cè)器是相當(dāng)不方便的,因?yàn)樵趨?shù)識(shí)別和工程實(shí)現(xiàn)時(shí)的限制很多.因此,我們通常的想法是在保證估計(jì)性能的前提下,設(shè)計(jì)一個(gè)結(jié)構(gòu)簡(jiǎn)單、適用于實(shí)際應(yīng)用的狀態(tài)估計(jì)器,這也是本文研究的主要目的.

1 問(wèn)題描述

考慮如下時(shí)滯神經(jīng)網(wǎng)絡(luò)系統(tǒng):

其中,x(·)=[x1(·),x2(·),···,xn(·)]T∈Rn是神經(jīng)元狀態(tài)向量,g(x(·))=?g1(x1(·)),g2(x2(·)),···,gn(xn(·))?T∈Rn是初始條件為g(0)=0的非線性激勵(lì)函數(shù),C=diag{c1,c2,...,cn}是正定對(duì)角矩陣,A,B,Cd分別是連接權(quán)矩陣、時(shí)滯連接權(quán)矩陣和常數(shù)實(shí)矩陣.h(t)和h1(t)分別是時(shí)變時(shí)滯和狀態(tài)時(shí)滯.它們滿足

其中,h,h1,μ,d是常數(shù).

假設(shè)1.對(duì)于任意的 α1,α2∈R,α1, α2,激勵(lì)函數(shù)g(·)滿足:

神經(jīng)網(wǎng)絡(luò)的測(cè)量輸出表示為如下形式:

其中,y(t)∈Rm是測(cè)量輸出,D∈Rm×n是已知常數(shù)矩陣.f(t,x(t))是作用在網(wǎng)絡(luò)輸出的初始條件為f(0,0)=0的神經(jīng)元狀態(tài)依賴非線性擾動(dòng).f(t,x(t))滿足如下的Lipschitz條件:

其中,F=diag{f1,f2,...,fn}是已知的常數(shù)矩陣.

全階非脆弱狀態(tài)估計(jì)器的形式如下:

其中,HA,HB,EA和EB是已知適當(dāng)維數(shù)矩陣,FA(t)和FB(t)是未知矩陣滿足和

為了便于分析,定義如下:

結(jié)合式(1)～式(7)式及式(9),可以得到如下增廣系統(tǒng):

其中

從式(6)和式(8)可以得到

定義1.如果滿足下列式子,則增廣系統(tǒng)式(12)漸近穩(wěn)定:

本文的目的是為連續(xù)神經(jīng)網(wǎng)絡(luò)式(1)設(shè)計(jì)一個(gè)非脆弱估計(jì)器,使增廣系統(tǒng)式(12)漸近穩(wěn)定.

2 主要結(jié)果

引理1[26].令M=MT,U和V是適當(dāng)維數(shù)實(shí)矩陣,并且V滿足VTV≤I,只要存在一個(gè)正定標(biāo)量ε使M+εUUT+ε?1WTW<0或

成立,則M+UVW+WTVTUT<0成立.

引理 2[2]. 假設(shè)Z= diag{β1,β2,...,βn} 是半正定對(duì)角矩陣,令x=[x1,x2,···,xn]T∈Rn,O(x)=[o1(x1),o2(x2),···,on(xn)]T是連續(xù)非線性函數(shù)且滿足

或者xTZL1x?2xTZL2O(x)+OT(x)Z O(x)≤0,其中

引理3[27].對(duì)于任意的正定矩陣R>0,常數(shù)h>0,如果存在向量函數(shù)x(t):[0,h]→Rn,使得積分有定義,則下面的不等式成立

現(xiàn)在開始進(jìn)行增廣系統(tǒng)式(12)的穩(wěn)定性分析.

定理1.考慮連續(xù)神經(jīng)網(wǎng)絡(luò)式(1)～式(7),其包含時(shí)變時(shí)滯,非線性擾動(dòng)和增益變量.估計(jì)器參數(shù)AF和BF已知.如果存在正定矩陣P>0,K>0,矩陣正標(biāo)量ε1和4個(gè)對(duì)角矩陣L>0,H>0,J>0,Y>0,滿足下列線性矩陣不等式(LMI):

則增廣系統(tǒng)式(12)漸近穩(wěn)定,其中

證明:構(gòu)建如下Lyapunov函數(shù):

其中,V1(η(t))= ηT(t)Pη(t)

沿式 (12)的軌跡計(jì)算式 (30)中Vi(η(t))(i=1,2,...,7)的導(dǎo)數(shù)得(η(t))=2ηT(t)P(t)

令m=h1(t)/h1,可以得到

令上述不等式中n=2,同時(shí)利用引理3可以得到

對(duì)適當(dāng)維數(shù)的矩陣M和N利用Leibniz-Newton公式,可以得到如下等式:

然后由假設(shè)1和引理2得到由式(33)～式(36)進(jìn)一步得到

此外,根據(jù)條件式(15),對(duì)于正標(biāo)量ε1推斷出

對(duì)任意適當(dāng)維數(shù)的矩陣X=XT可以得到

將式(31)～式(32)、式(37)～式(40)的右側(cè)加到Vi(η(t))(i=1,2,...,7)的導(dǎo)數(shù)中,得到

其中

觀察到(P?Z)TZ?1(P?Z)=PZ?1P?2P+Z>0,推出PZ?1P≥2P?Z.然后由(17)式得到(43)式成立.令然后得到α0<0并且滿足下式

兩邊取0到T(T>0)積分,得到

因?yàn)閨η(t)|2是收斂的,從而得出結(jié)論

根據(jù)定理1的研究結(jié)果,下面設(shè)計(jì)時(shí)滯神經(jīng)網(wǎng)絡(luò)系統(tǒng)式(1)的狀態(tài)估計(jì)器.

定理2.考慮連續(xù)神經(jīng)網(wǎng)絡(luò)式(1)和估計(jì)器增益變量式(9).如果存在正標(biāo)量ε1>0和ε>0,正定矩陣Z>0,S>0,O1>0,E>0,K>0,矩陣N=4個(gè)對(duì)角矩陣L>0,H>0,J>0,Y>0,ZA和ZB同時(shí)滿足式(18),式(19)和下面不等式:

則增廣系統(tǒng)式(12)漸近穩(wěn)定,其中

并且 Φ12,Φ22,Φ142,Φ27,Φ44,Φ45,Φ55,Φ66和Φ77分別在式(21)～式(29)式中已定義.形如式(9)的估計(jì)器增益可以通過(guò)求出.

證明:根據(jù)定理1,為了證明系統(tǒng)式(12)的漸近穩(wěn)定性,式(48)足以代替式(17).所以用式(12)中定義的A,B,C,D,E和F代替式(17)中的?Φ,從而得到

其中

另一方面令ZA=P2AF和ZB=P2BF.然后,?Ξ可被拆分成:

到目前為止,可以將式(17)重新寫成如下形式:

根據(jù)引理1如果存在一個(gè)正標(biāo)量ε使

成立,則式(17)成立.根據(jù)Schur Complement引理,當(dāng)且僅當(dāng)式(48)成立時(shí),式(52)成立.最后,可以得出這樣的結(jié)論:由式(48)可以得到式(17)成立,根據(jù)定理1可以得出系統(tǒng)式(12)漸近穩(wěn)定.此外,估計(jì)器增益可以從ZA=P2AF和ZB=P2BF中求得.

注釋:定理2的研究結(jié)果中包含系統(tǒng)中的全部物理參數(shù),如時(shí)滯邊界、刻畫增益不確定的矩陣等.通過(guò)求解不等式(18)、式(19)和式(48)的可行解,可以計(jì)算出期望估計(jì)器的增益.

3 數(shù)值仿真

給定時(shí)滯神經(jīng)網(wǎng)絡(luò)系統(tǒng)式(1)的參數(shù)如下:

h(t)=4,h1(t)=0.5,G=0.5I.

網(wǎng)絡(luò)測(cè)量輸出式(7)中參數(shù)為D=I,F=0.4I,估計(jì)器增益變量中的參數(shù)為:

選取的激勵(lì)函數(shù)為:g1(x1(t))=?tanh(0.4x1(t))

g2(x2(t))=0.2tanh(x2(t))

g3(x3(t))=tanh(0.6x3(t))

與神經(jīng)元狀態(tài)相關(guān)的非線性擾動(dòng)為f(t,x(t))=0.0004cos(x(t)).

利用MATLAB軟件,經(jīng)過(guò)運(yùn)算,求解出估計(jì)器增益矩陣如下:

仿真結(jié)果如圖1～圖4.圖1～圖3分別描述的是神經(jīng)網(wǎng)絡(luò)的狀態(tài)向量x1(t),x2(t),x3(t)和它們的估計(jì)向量x1(t),x2(t),x3(t).圖4描述的是狀態(tài)向量與估計(jì)向量之間的誤差.通過(guò)仿真結(jié)果驗(yàn)證了增廣系統(tǒng)的漸近穩(wěn)定性.

圖1 狀態(tài)向量x1(t)和它的估計(jì)x1(t)

圖2 狀態(tài)向量x2(t)和它的估計(jì)x2(t)

4 結(jié)論

本文研究了帶時(shí)變時(shí)滯和非線性擾動(dòng)的神經(jīng)網(wǎng)絡(luò)的狀態(tài)估計(jì)問(wèn)題.通過(guò)李雅普諾夫穩(wěn)定性理論和求解幾個(gè)LMI得到估計(jì)器增益矩陣,進(jìn)而得出保證增廣系統(tǒng)漸近穩(wěn)定的充分條件.最后通過(guò)數(shù)值仿真證明了該方法的有效性.值得期待的是我們的主要結(jié)論可以推廣到更普遍或?qū)嶋H的系統(tǒng)中,例如It?o型隨機(jī)系統(tǒng)[28],非線性馬爾可夫跳系統(tǒng)[29?30],航天器姿態(tài)控制系統(tǒng)[31],不確定隨機(jī)系統(tǒng)[32],采樣數(shù)據(jù)系統(tǒng)[33],有限時(shí)域非線性系統(tǒng)[34?35],并且在不久的將來(lái)會(huì)出現(xiàn)與其相應(yīng)的結(jié)果.此外,這里的方法可以進(jìn)一步處理故障檢測(cè)問(wèn)題[36],以及更復(fù)雜的神經(jīng)網(wǎng)絡(luò)非脆弱狀態(tài)估計(jì)問(wèn)題,如具有測(cè)量衰減[37?39]和不完全測(cè)量[40?41]的神經(jīng)網(wǎng)絡(luò).

圖3 狀態(tài)向量x3(t)和它的估計(jì)x3(t)

圖4 狀態(tài)向量和它的估計(jì)之間的誤差