非高斯噪聲驅(qū)動的耗散動力系統(tǒng)的信息熵演化*

郭永峰 趙小山 譚建國

(1．天津工業(yè)大學(xué)理學(xué)院，天津 300387)(2．天津職業(yè)技術(shù)師范大學(xué)理學(xué)院，天津 300222)

非高斯噪聲驅(qū)動的耗散動力系統(tǒng)的信息熵演化*

郭永峰1?趙小山2譚建國1

(1．天津工業(yè)大學(xué)理學(xué)院，天津 300387)(2．天津職業(yè)技術(shù)師范大學(xué)理學(xué)院，天津 300222)

熵在描述隨機(jī)系統(tǒng)的演變、不穩(wěn)定性、無序性或混亂程度以及信息傳遞方面起著重要的作用．本文對非高斯噪聲驅(qū)動的一類耗散動力系統(tǒng)的信息熵演化進(jìn)行了研究，文中通過線性變換的方法簡化了所研究系統(tǒng)的FPK方程，然后根據(jù)Shannon信息熵定義推導(dǎo)出了該耗散動力系統(tǒng)隨時間演化信息熵的精確表達(dá)式，最后分析了非高斯噪聲和系統(tǒng)耗散參數(shù)對系統(tǒng)信息熵的影響．

信息熵， 非高斯噪聲， 耗散動力系統(tǒng)， Fokker－Planck方程

引言

熵的概念是針對孤立系統(tǒng)準(zhǔn)靜態(tài)自然演變的定量描述而引入的，它在描述隨機(jī)系統(tǒng)的演變、不穩(wěn)定性、無序性或混亂程度以及信息傳遞方面起著重要的作用．1948 年，Shannon［1－2］將物理學(xué)中的數(shù)學(xué)統(tǒng)計(jì)方法移植到通信領(lǐng)域提出了信息熵的概念．信息熵的提出使熵的應(yīng)用范圍也有了迅速而廣泛的發(fā)展，已經(jīng)遠(yuǎn)遠(yuǎn)超出了熱力學(xué)和統(tǒng)計(jì)物理學(xué)的范疇，熵在數(shù)學(xué)、化學(xué)、宇宙學(xué)、生物學(xué)、信息論、控制論、經(jīng)濟(jì)學(xué)、社會學(xué)及各種工程科學(xué)等領(lǐng)域中發(fā)揮出越來越重要的作用．人們可借助對宏觀系統(tǒng)熵的研究來更好的了解系統(tǒng)的微觀變化狀態(tài)．

實(shí)際上，無論從信息傳遞的角度還是從動力學(xué)系統(tǒng)有序度和無序度的角度來看，信息和信息熵總是隨時空過程變化的［3－4］．熵作為表征不可逆過程自發(fā)趨勢的限度，表現(xiàn)為在一定條件下具有某種極值性質(zhì)．從動力系統(tǒng)的角度看，信息熵的動態(tài)性是客觀的，非平衡信息熵隨時間的演化規(guī)律及噪聲性質(zhì)對其影響的研究備受關(guān)注［3－15］．D．Daems和 G．Nicolis［5］研究了高斯白噪聲驅(qū)動的動力學(xué)系統(tǒng)中信息熵產(chǎn)生與相空間體積收縮的關(guān)系．Bag等［6－11］探討了高斯色噪聲或關(guān)聯(lián)高斯白噪聲驅(qū)動的動力學(xué)系統(tǒng)中噪聲性質(zhì)及系統(tǒng)的耗散參數(shù)對Shannon信息熵流、熵產(chǎn)生和熵變化率上界的影響，并考慮了經(jīng)變換后Fokker－Planck(FPK)方程可精確求解的幾類典型動力學(xué)系統(tǒng)，得到了Shannon信息熵流、熵產(chǎn)生和熵變上界隨時間演化的精確表達(dá)式．文獻(xiàn)［12－14］對準(zhǔn)單色噪聲及色噪聲驅(qū)動的一類動力系統(tǒng)的信息熵演化、熵流與熵產(chǎn)生和熵變化率上界等現(xiàn)象進(jìn)行了相關(guān)探討．

由于噪聲的性質(zhì)對系統(tǒng)的信息熵演化、熵流與熵產(chǎn)生以及熵變化率上界有著顯著的影響，因此研究由不同性質(zhì)的噪聲對其所驅(qū)動的動力系統(tǒng)的影響有著十分重要的意義．然而，在上述的研究中人們主要考慮的是高斯噪聲，非高斯噪聲所驅(qū)動的動力系統(tǒng)的信息熵演化現(xiàn)象值得進(jìn)一步研究．文獻(xiàn)［15－21］分別對非高斯噪聲驅(qū)動的動力系統(tǒng)的熵流與熵產(chǎn)生、穩(wěn)態(tài)概率密度、隨機(jī)共振等相關(guān)問題進(jìn)行了探討．那么非高斯噪聲對其所驅(qū)動的耗散動力系統(tǒng)信息熵演化的影響將會是怎樣的呢?本文將在已有的研究基礎(chǔ)上對這一問題進(jìn)行探討．

1 非高斯噪聲驅(qū)動的隨機(jī)耗散動力系統(tǒng)

考慮下述非高斯噪聲驅(qū)動的隨機(jī)耗散動力學(xué)系統(tǒng)，其 Langevin 方程為［15］:

這里，η為非高斯噪聲，ξ為高斯白噪聲，其統(tǒng)計(jì)性質(zhì)為

其中，參數(shù)q表示η偏離高斯分布的程度．

根據(jù)文獻(xiàn)［16－21］可知方程(2)式的穩(wěn)態(tài)概率密度為

當(dāng)?1 時，由路徑積分近似［16－21］，可得

這里，τeff為有效噪聲關(guān)聯(lián)時間，滿足

并且有效噪聲強(qiáng)度為

顯然，當(dāng)q→1時，有 τeff→τ且Deff→D，方程(1)退化為由色噪聲驅(qū)動的情形．

通過以上近似，(2)式就可以簡化為標(biāo)準(zhǔn)的Ornstein－Uhlenbeck 過程，即

并且〈ξ(t) ξ(t') 〉=2Deffδ(t－t')．

令X1=X，X2=η，并結(jié)合(10)式可將方程(1)等效化為［15］

由上式可得到系統(tǒng)的等效FPK方程:

其中 ρ(X1，X2，t)為擴(kuò)維后相空間的概率分布函數(shù)．

2 系統(tǒng)隨時間演化的信息熵表達(dá)式

上式中，

這里，λ和a是待定常數(shù)．把U=aX1+X2代入(15)式可得到

將FPK方程(13)式寫成下述形式

其中，▽U表示相空間的散度，

根據(jù)信息熵定義，取具有連續(xù)概率分布ρ(U，t)的 Shannon信息熵為

由上述Shannon信息熵定義以及(5)式和(6)式得信息熵S隨時間演化的方程為

對上式右邊進(jìn)行部分積分，并利用邊界條件［23］j=0可得

根據(jù)文獻(xiàn)［6－12］的方法，方程(13)式解的形式可設(shè)為

根據(jù)初始條件

并將(22)式和(24)式進(jìn)行對比可得

接下來將(22)式代入(13)式可得到

進(jìn)一步求解方程(26)可得

將(22)，(23)以及(27)式代入(21)式可得

最后對(28)式求解可得信息熵表達(dá)式為［6－12］

3 耗散參數(shù)及非高斯噪聲對系統(tǒng)信息熵的影響

下面我們分析系統(tǒng)耗散參數(shù)γ及非高斯噪聲對系統(tǒng)信息熵的影響(所有計(jì)算值均為無量綱)．選取S(0)=0．0，n(0)=0．1．圖1 我們給出了信息熵S隨時間t的變化情況．從圖1可見，S先是隨著時間的增加而單調(diào)增加，但時間較大時，S最終趨向于一有限定值，系統(tǒng)的熵變化速度減緩，這表明系統(tǒng)內(nèi)部各種因素的相互作用將最終使系統(tǒng)從非平衡態(tài)達(dá)到平衡態(tài)．圖2我們給出了信息熵S隨耗散參數(shù)γ的變化情況，從圖2中可以看出，S隨γ的增加而單調(diào)減?。畧D3我們給出了信息熵S隨關(guān)聯(lián)時間τ的變化．從圖3中可以看出，S隨關(guān)聯(lián)時間τ的增加亦單調(diào)減少．圖4我們給出了信息熵S隨噪聲強(qiáng)度D的變化情況，從圖4中可以看出，S隨噪聲強(qiáng)度D的增加而單調(diào)增加．以上現(xiàn)象表明耗散參數(shù)γ與關(guān)聯(lián)時間τ對系統(tǒng)信息熵的增加起到了抑制作用，即耗散參數(shù)γ與關(guān)聯(lián)時間τ的增加有利于系統(tǒng)從非平衡態(tài)達(dá)到平衡態(tài);而噪聲強(qiáng)度D對系統(tǒng)信息熵的增加起到了促進(jìn)作用，這使得系統(tǒng)從非平衡態(tài)達(dá)到平衡態(tài)的速度變緩．

圖1 信息熵S在D=0．5，γ=1．0，τ=2．0時隨時間t的變化曲線Fig．1 Plot of S as a function of t at D=0．5，γ =1．0，τ=2．0

圖2 信息熵 S 在 t=2．0，D=0．5，τ=2．0 時隨耗散參數(shù)γ的變化曲線Fig．2 Plot of S as a function of γ at t=2．0，D=0．5，τ =2．0

圖3 信息熵 S 在 t=2．0，D=0．5，γ =1．0 時隨關(guān)聯(lián)時間τ的變化曲線Fig．3 Plot of S as a function of τ at t=2．0，D=0．5，γ =1．0

圖4 信息熵S在t=2．0，γ=1．0，τ=2．0時隨噪聲強(qiáng)度D的變化曲線Fig．4 Plot of S as a function of D at t=2．0，γ =1．0，τ =2．0

4 結(jié)論

本文研究了一類由非高斯噪聲驅(qū)動的耗散動力學(xué)系統(tǒng)的信息熵演化現(xiàn)象，文中首先通過路徑積分法得到了系統(tǒng)的近似FPK方程，然后結(jié)合Shannon信息熵定義推導(dǎo)了該系統(tǒng)隨時間演化的信息熵表達(dá)式．并進(jìn)一步并分析了非高斯噪聲及耗散參數(shù)對系統(tǒng)的信息熵演化的影響．通過數(shù)值計(jì)算發(fā)現(xiàn)，耗散參數(shù)γ與關(guān)聯(lián)時間τ對系統(tǒng)信息熵的增加起到了抑制作用，而噪聲強(qiáng)度D對系統(tǒng)信息熵的增加起到了促進(jìn)作用．

1 Shannon C E．A mathematical theory of communication．Bell System Technical Journal，1948，27:379 ～423，623 ～656

2 Shannon C E．Communication in the presence of noise．Proceedings of the IRE，1949，37:10～21

3 邢修三．熵產(chǎn)生率公式及其應(yīng)用．物理學(xué)報(bào)，2003，52(12):2969～2976(Xing X S．On the formula for entropy production rate．Acta Physics Sinica，2003，52(12):2969～2976(in Chinese))

4 邢修三．非平衡統(tǒng)計(jì)信息理論．物理學(xué)報(bào)，2004，53:2852 ～2863(Xing X S．Nonequilibrium statistical information theory．Acta Physics Sinica，2004，53:2852 ～2863(in Chinese))

5 Daems D，Nicolis G．Entropy production and phase space volume contraction．Physical Review E，1999，59:4000 ～4006

6 Bag B C，Chaudhuri J R，Ray D S，Chaos and information entropy production．Journal of Physics A:Mathematical and Genernal，2000，33:8331 ～8350

7 Bag B C，Banik S K，Ray D S．Noise properties of stochastic processes and entropy production．Physical Review E，2001，64，026110:1 ～7

8 Bag B C．Nonequilibrium stochastic processes:time dependence of entropy flux and entropy production．Physical Review E，2002，66，026122:1～12

9 Bag B C．Upper bound for the time derivative of entropy for nonequilibrium stochastic processes．Physical Review E，2002，65，046118:1 ～6

10 Goswami G，Mukherjee B，Bag B C．Coloured thermal noise－driven dynamical system:upper bound of time derivative of information entropy．Journal of Physics A:Mathematical and Genernal，2005，38:1659 ～1666

11 Goswami G，Mukherjee B，Bag B C．Colored thermal noise driven dynamical system in the presence and absence of non－equilibrium constraint:time dependence of information entropy flux and entropy production．Chemical Physics，2005，312:47 ～53

12 郭永峰，徐偉，李東喜等．準(zhǔn)單色噪聲驅(qū)動的耗散動力系統(tǒng)的信息熵演化．物理學(xué)報(bào)，2010，59:2235～2239(Guo Y F，Xu W，Li D X，et al．Time dependence of information entropy of a dynamical system driven by quasimonochromatic noise．Acta Physics Sinica，2010，59:2235～2239(in Chinese))

13 Xie W X，Xu W，Cai L．Time dependence of entropy flux and entropy production for a dynamical system driven by noises with coloured cross－correlation．Chinese Physics，2007，16:42 ～46

14 Xu W，Xie W X，Cai L，et al．Information entropy of a dynamical system driven by quasimonochromatic noise．Physica A，2007，384:273 ～277

15 Guo Y F，Xu W，Li D X，et al．Time dependence of entropy flux and entropy production of a dissipative dynamical system driven by non－Gaussian noise．Communications in Theoretical Physics，2008 49:1561 ～1566

16 Fuentes M A，Toral R，Wio H S．Enhancement of stochastic resonance:the role of non Gaussian noises．Physica A，2001，295:114 ～122

17 Fuentes M A，Wio H S．Toral R，Effective Markovian approximation for non－Gaussian noises:a path integral approach．Physica A，2002，303:91 ～104

18 Wio H S，Toral R．Effect of non－Gaussian noise sources in a noise－induced transition．Physica D，2004，193:161～168

19 Bouzat S，Wio H S．New aspects on current enhancement in Brownian motors driven by non－Gaussian noises．Physica A，2005，351:69～78

20 Wu D，Zhu S Q．Stochastic resonance in a bistable system with time－delayed feedback and non－Gaussian noise．Physics letters A，2007，363:202 ～212

21 Wu D，Luo X Q，Zhu S Q．Stochastic system with coupling between non－Gaussian and Gaussian noise terms．Physica A，2007，373:203 ～214

22 Kramers H A．Brownian motion in a field of force and the diffusion theory of chemical reactions．Physica，1940，7:284～304

23 Brody D，Meister B．An upper bound for entropy production．Physics Letters A，1995，204:93～98

*The project supported by the National Natural Science Foundation of China(11102132、11002110)

? Corresponding author E－mail:guoyongfeng@mail．nwpu．edu．cn

THE INFORMATION ENTROPY OF A DISSIPATIVE DYNAMICAL SYSTEM DRIVEN BY NON-GAUSSIAN NOISE*

Guo Yongfeng1?Zhao Xiaoshan2Tan Jianguo1
(1．School of Science，Tianjin Polytechnic University，Tianjin300387，China)(2．School of Science，Tianjin University of Technology and Education，Tianjin300222，China)

Entropy plays an important role in describing the evolution，instability，disorder or confusion and information transmission of stochastic systems．This paper investigated the time derivative of entropy for a dissipative dynamical system driven by non－Gaussian noise．The dimension of Fokker－Planck equation was reduced by the way of linear transformation．Based on the definition of Shannon＇s information entropy，the exact time dependence of the entropy was calculated．The relationship between the properties of non－Gaussian noise and dissipative parameters and their effect on the information entropy were also discussed．

information entropy， non－gaussian noise， dissipative dynamical system， Fokker－Planck equation

30 January 2013，

2 July 2013．

10．6052/1672－6553－2013－084

2013－01－30 收到第 1 稿，2013－07－02 收到修改稿．

*國家自然科學(xué)基金資助項(xiàng)目(11102132、11002110)

E－mail:guoyongfeng@mail．nwpu．edu．cn