多智能體一致性的隨機(jī)鎮(zhèn)定研究

羅 琦，施力力，李鎮(zhèn)東

(1.南京信息工程大學(xué)信息與控制學(xué)院，江蘇 南京，210044；2.江蘇省氣象能源利用與控制工程技術(shù)研究中心，江蘇 南京，210044；3.大氣環(huán)境與裝備技術(shù)協(xié)同創(chuàng)新中心，江蘇 南京，210044)

多智能體一致性的隨機(jī)鎮(zhèn)定研究

羅 琦，施力力，李鎮(zhèn)東

(1.南京信息工程大學(xué)信息與控制學(xué)院，江蘇 南京，210044；2.江蘇省氣象能源利用與控制工程技術(shù)研究中心，江蘇 南京，210044；3.大氣環(huán)境與裝備技術(shù)協(xié)同創(chuàng)新中心，江蘇 南京，210044)

本文給出多智能體隨機(jī)一致性的數(shù)學(xué)描述，模擬了環(huán)境噪聲對(duì)多智能體系統(tǒng)一致性的影響，并提出一種運(yùn)用隨機(jī)噪聲控制多智能體系統(tǒng)的方法。仿真結(jié)果表明，添加滿足一定條件的隨機(jī)噪聲控制可以令在沒有噪聲干擾情況下非一致性的多智能體系統(tǒng)達(dá)到隨機(jī)一致性鎮(zhèn)定。最后對(duì)多智能體的隨機(jī)一致性鎮(zhèn)定進(jìn)行理論分析，并得到滿足控制要求的隨機(jī)噪聲強(qiáng)度的大致下界。所提出的多智能體協(xié)調(diào)控制方法具有系統(tǒng)能耗小、控制性能更佳的特點(diǎn)。

多智能體；多智能體系統(tǒng)；一致性；隨機(jī)噪聲；隨機(jī)鎮(zhèn)定；協(xié)調(diào)控制

一致性問題是多智能體協(xié)調(diào)控制領(lǐng)域一個(gè)基礎(chǔ)而又重要的研究課題。早在1995年，Vicsek等[1]就提出一個(gè)能模擬一群粒子產(chǎn)生方向一致性現(xiàn)象的模型。2004年，Olfati-Saber等[2]提出了多智能體動(dòng)態(tài)網(wǎng)絡(luò)系統(tǒng)的一致性問題和一致性協(xié)議的理論框架。目前，對(duì)于多智能體一致性問題的研究已有很多成果[3-8]，但其中大多數(shù)研究都是基于理想情況，而較少考慮環(huán)境噪聲或者機(jī)械設(shè)備自身的熱噪聲等對(duì)系統(tǒng)的干擾。在少數(shù)考慮了噪聲對(duì)多智能體系統(tǒng)影響的研究中，所采取的對(duì)策一般是通過人為控制來增強(qiáng)系統(tǒng)自身的魯棒性和增加能量以消除噪聲影響，使得系統(tǒng)達(dá)到一致，但這些方法都增加了系統(tǒng)的能耗。

為此，本文首先給出多智能體隨機(jī)一致性的數(shù)學(xué)描述，然后通過仿真實(shí)驗(yàn)來分析環(huán)境噪聲對(duì)多智能體一致性的影響，并提出一種添加滿足一定條件的隨機(jī)噪聲的多智能體控制方法，最后給出多智能體系統(tǒng)隨機(jī)一致性鎮(zhèn)定的理論證明，同時(shí)得到滿足多智能體一致性控制要求的隨機(jī)噪聲的大致條件。

1 多智能體隨機(jī)一致性的數(shù)學(xué)描述

在理想情況下，多智能體跟隨領(lǐng)導(dǎo)節(jié)點(diǎn)的一致性算法如下：

ki(xi(t)-rd(t))

(1)

式中：N為跟隨領(lǐng)導(dǎo)節(jié)點(diǎn)的智能體數(shù)量；xi(t)∈Rn(i∈[1,N])為智能體i的狀態(tài)量；aij為鄰接矩陣A的元素，表示各個(gè)智能體之間的通信拓?fù)潢P(guān)系；ki為智能體i趨向領(lǐng)導(dǎo)節(jié)點(diǎn)的速度；rd(t)∈Rn為領(lǐng)導(dǎo)節(jié)點(diǎn)的狀態(tài)量。

在實(shí)際生活中，外界環(huán)境噪聲干擾隨處可見，因此有必要考慮含有隨機(jī)噪聲的多智能體工作環(huán)境。假設(shè)智能體i接收到相鄰智能體j的狀態(tài)信息yij(t)以及接收到領(lǐng)導(dǎo)節(jié)點(diǎn)的狀態(tài)信息ri(t)分別為：

yij(t)dt=xj(t)dt+αij(t)dωij(t)，j∈Ni

(2)

ri(t)dt=rd(t)dt+βi(t)dvi(t)

(3)

式中：Ni為智能體i的相鄰智能體集合；αij(t)和βi(t)分別為智能體i接收智能體j和領(lǐng)導(dǎo)節(jié)點(diǎn)狀態(tài)信息時(shí)的噪聲干擾密度函數(shù)；ωij(t)和vi(t)均表示一維布朗運(yùn)動(dòng)。此處所加噪聲與智能體的位移狀態(tài)無關(guān)。

結(jié)合式(1)～式(3)可以得到一階多智能體跟隨領(lǐng)導(dǎo)節(jié)點(diǎn)的隨機(jī)一致性算法：

ckiβi(t)dvi(t)

(4)

式中：系數(shù)c為耦合強(qiáng)度,且c>1。令ei=xi-rd為位移狀態(tài)誤差，有

(5)

參照文獻(xiàn)[12]給出多智能體隨機(jī)一致性的定義。

定義1 如果xi(t)滿足式(4)的隨機(jī)一致算法，且有

i=1,2,…,N；γ為正常數(shù),

則稱多智能體系統(tǒng)實(shí)現(xiàn)隨機(jī)一致性。

2 環(huán)境噪聲對(duì)多智能體一致性的 影響

首先通過仿真實(shí)驗(yàn)來分析環(huán)境噪聲對(duì)多智能體一致性的影響。設(shè)多智能體系統(tǒng)中有一個(gè)領(lǐng)導(dǎo)者，跟隨者個(gè)數(shù)N=4。4個(gè)智能體之間的拓?fù)潢P(guān)系如圖1所示，則鄰接矩陣A=[0 1 1 0，1 0 0 1，1 0 0 1，0 1 1 0]。領(lǐng)導(dǎo)者起始位置rd(0)=0，并沿直線rd(t)=10t運(yùn)動(dòng)，4個(gè)跟隨者起始位置為[102，98，103，97]。4個(gè)跟隨者中智能體1、2和3能夠接受到領(lǐng)導(dǎo)者的位置信息，且智能體趨向領(lǐng)導(dǎo)者的速度k1=k2=k3=2、k4=0，耦合強(qiáng)度c=3。

在沒有噪聲的理想情況下，多智能體系統(tǒng)仿真結(jié)果如圖2所示。從圖2可以看出，4個(gè)智能體都能很好地跟隨領(lǐng)導(dǎo)者的運(yùn)動(dòng)軌跡，故此多智能體系統(tǒng)可實(shí)現(xiàn)一致性。

下面在控制函數(shù)中加入環(huán)境噪聲(此處為通信噪聲)。當(dāng)環(huán)境噪聲強(qiáng)度較低(αij(t)=15，βi(t)=10)時(shí)，多智能體系統(tǒng)仿真結(jié)果如圖3所示；當(dāng)環(huán)境噪聲強(qiáng)度較高(αij(t)=30，βi(t)=20)時(shí)，多智能體系統(tǒng)仿真結(jié)果如圖4所示。

Fig.2 Simulation results of multi-agent system without noise interference(1)

Fig.3 Simulation results of multi-agent system in the environment of lower intensity noise

Fig.4 Simulation results of multi-agent system in the environment of higher intensity noise

比較圖2與圖3可以發(fā)現(xiàn)，當(dāng)環(huán)境噪聲強(qiáng)度較低時(shí)，4個(gè)智能體的運(yùn)動(dòng)軌跡都出現(xiàn)了較小幅度的振蕩，但它們能夠跟隨領(lǐng)導(dǎo)者，不會(huì)出現(xiàn)脫群現(xiàn)象，系統(tǒng)可實(shí)現(xiàn)隨機(jī)一致性。環(huán)境噪聲對(duì)多智能體的一致性起著阻礙作用，由于其強(qiáng)度較低，只是使智能體在跟隨領(lǐng)導(dǎo)者的過程中位移出現(xiàn)些許偏差，位移誤差并不會(huì)發(fā)散以至于智能體完全偏離領(lǐng)導(dǎo)者。在實(shí)際工程中，通常需要消耗一部分能源來抵消環(huán)境噪聲對(duì)多智能體一致性的阻礙作用，這樣就造成系統(tǒng)能耗增加。

比較圖2與圖4可以發(fā)現(xiàn)，當(dāng)環(huán)境噪聲強(qiáng)度較高時(shí)，4個(gè)智能體的運(yùn)動(dòng)軌跡都出現(xiàn)了較大幅度的振蕩，但總的來說它們?nèi)匀荒軌蚋S領(lǐng)導(dǎo)者，沒有出現(xiàn)脫群現(xiàn)象，系統(tǒng)最終還是能夠?qū)崿F(xiàn)隨機(jī)一致性。只不過在這種情況下，智能體與領(lǐng)導(dǎo)者的距離時(shí)近時(shí)遠(yuǎn)，這也使得在某些時(shí)間段里，多智能體對(duì)領(lǐng)導(dǎo)者的跟隨效果要好于原系統(tǒng)。在實(shí)際工程中，如果能有效利用這部分環(huán)境噪聲對(duì)多智能體一致性的有利影響，再使用一部分能源來抵消環(huán)境噪聲對(duì)多智能體一致性的阻礙作用，這樣就可以有效利用環(huán)境噪聲，在一定程度上減少系統(tǒng)能耗。

3 運(yùn)用隨機(jī)噪聲控制多智能體的一致性

如上所述，環(huán)境噪聲對(duì)多智能體的一致性同時(shí)存在著有利和不利的影響。由于產(chǎn)生隨機(jī)噪聲較一般的人為控制所消耗的能源要少，因此可以在控制函數(shù)中添加一定的隨機(jī)噪聲控制，以較少的能耗使多智能體達(dá)到更好的一致性效果。

在多智能體系統(tǒng)中加入一定的隨機(jī)噪聲控制后，式(4)變化為：

(6)

式中：[W1(t),…,Wm(t)]T為m維的單位布朗運(yùn)動(dòng)；Bki(1≤k≤m)為噪聲強(qiáng)度，Bki∈R。式(5)變化為：

(7)

參照文獻(xiàn)[12]給出多智能體隨機(jī)一致性鎮(zhèn)定的定義。

定義2 如果xi(t)滿足式(6)的隨機(jī)一致性算法，且有

i=1,2,…,N；γ為正常數(shù),

則稱多智能體系統(tǒng)達(dá)到隨機(jī)一致性鎮(zhèn)定。

仍然通過仿真實(shí)驗(yàn)來分析添加的隨機(jī)噪聲控制對(duì)多智能體一致性的影響。設(shè)多智能體系統(tǒng)中有一個(gè)領(lǐng)導(dǎo)者，跟隨者個(gè)數(shù)N=4。4個(gè)智能體之間的拓?fù)潢P(guān)系如圖5所示，則鄰接矩陣A=[0001，0011，0101，1110]。領(lǐng)導(dǎo)者起始位置為rd(0)=0，并沿直線rd(t)=10t運(yùn)動(dòng)，4個(gè)跟隨者起始位置為[102，98，103，97]。4個(gè)跟隨者中只有智能體1能夠接受到領(lǐng)導(dǎo)者的位置信息，即k2=k3=k4=0，設(shè)智能體1趨向領(lǐng)導(dǎo)者的速度k1=2。系統(tǒng)環(huán)境噪聲參數(shù)αij(t)=1、βi(t)=1，耦合強(qiáng)度c=3。

在不加噪聲控制的情況下，多智能體系統(tǒng)仿真結(jié)果如圖6所示，其中智能體2和智能體3的曲線基本重疊。由圖6可以看出，4個(gè)智能體的位移狀態(tài)誤差隨著時(shí)間的推移越來越大，即智能體會(huì)遠(yuǎn)離領(lǐng)導(dǎo)者，故這種情況下該多智能體系統(tǒng)無法實(shí)現(xiàn)隨機(jī)一致性。

Fig.6 Simulation result of multi-agent system without noise control(2)

通過大量的仿真實(shí)驗(yàn)發(fā)現(xiàn)，當(dāng)添加的隨機(jī)噪聲控制的噪聲強(qiáng)度與智能體的位移狀態(tài)誤差相關(guān)時(shí)，其起到的控制作用非常明顯。這也是所加隨機(jī)噪聲與環(huán)境噪聲的一個(gè)區(qū)別。根據(jù)這一特點(diǎn)，式(6)和式(7)可改寫成：

ki(xi(t)-rd(t))]dt+

rd(t))dWk(t)

(8)

(9)

為了進(jìn)一步分析隨機(jī)噪聲強(qiáng)度對(duì)多智能體一致性的影響，在多智能體系統(tǒng)控制函數(shù)中分別添加噪聲強(qiáng)度Bki為智能體位移狀態(tài)誤差ei(t)的2、10、15倍的隨機(jī)噪聲，得到多智能體系統(tǒng)仿真結(jié)果如圖7所示。

圖7 加入不同強(qiáng)度隨機(jī)噪聲控制的多智能體系統(tǒng)仿真結(jié)果

Fig.7 Simulation results of multi-agent system controlled by stochastic noises with different intensities

由圖7(a)可以看出，4個(gè)智能體的位移狀態(tài)誤差曲線出現(xiàn)小的振蕩，但它們的運(yùn)動(dòng)軌跡大致不變，最終仍是偏離領(lǐng)導(dǎo)者，多智能體系統(tǒng)無法達(dá)到隨機(jī)一致性鎮(zhèn)定。由此可見，當(dāng)添加的隨機(jī)噪聲強(qiáng)度較低時(shí)，多智能體的狀態(tài)不會(huì)發(fā)生大的改變，原來不能實(shí)現(xiàn)一致性的多智能體系統(tǒng)仍然無法達(dá)到隨機(jī)一致性鎮(zhèn)定。

由圖7(b)和圖7(c)可以看出，4個(gè)智能體的位移狀態(tài)誤差曲線振蕩幅度較大，但它們都能在一定程度上跟隨領(lǐng)導(dǎo)者，不會(huì)出現(xiàn)完全偏離領(lǐng)導(dǎo)者的現(xiàn)象，而且隨著時(shí)間的推移，多智能體會(huì)慢慢地靠近領(lǐng)導(dǎo)者。因此，當(dāng)控制函數(shù)中添加的隨機(jī)噪聲強(qiáng)度較高時(shí)，原來不能實(shí)現(xiàn)一致性的多智能體系統(tǒng)可以達(dá)到隨機(jī)一致性鎮(zhèn)定，這里就體現(xiàn)出了隨機(jī)噪聲控制的價(jià)值。

4 多智能體隨機(jī)一致性鎮(zhèn)定的理論分析

仿真實(shí)驗(yàn)表明，在多智能體系統(tǒng)的控制器中加入一定強(qiáng)度的隨機(jī)噪聲后，可以使系統(tǒng)達(dá)到隨機(jī)一致性鎮(zhèn)定。那么，確定所添加的隨機(jī)噪聲需要滿足的條件就顯得十分重要，如果能夠求出其大致的條件范圍，才會(huì)產(chǎn)生實(shí)際應(yīng)用價(jià)值。

4.1 定理及證明

定理 設(shè)fi:R×R+→R、αij:R×R+→R、βij:R×R+→R是局部Lipschitz連續(xù)函數(shù)，滿足:

(10)

式中：K1>0,K2>0,K3>0。設(shè)對(duì)于任意的ei(t)∈R，有

(11)

則有

證明[12]：使用It公式，取Lyapunov函數(shù)為V(t)=|ei(t)|2，則有

d(|ei(t)|2)=[2ei(t)fi(ei,t)+

故

log(|ei(t)|2)=log(|ei(0)|2)+M(t)+

2|ei(s)caijαij(s)|2]ds+

2|ei(s)ckiβi(s)|2]ds+

2|ei(s)Bkiei(s)|2]ds

根據(jù)式(10)和式(11)，可以得到：

log(|ei(t)|2)≤log(|ei(0)|2)+M(t)+

N(t)+P(t)+(2K1+λ-2ρ)t

(12)

參照文獻(xiàn) [13-14]可知，當(dāng)t→∞時(shí)，M(t)/t→0、N(t)/t→0、P(t)/t→0幾乎必然成立。故有

即

證畢。

因此，當(dāng)滿足下式時(shí)，

(13)

多智能體系統(tǒng)能夠達(dá)到隨機(jī)一致性鎮(zhèn)定。

接下來通過前面的3個(gè)仿真實(shí)例來驗(yàn)證所得到的隨機(jī)噪聲強(qiáng)度條件的正確性。

4.2 推論

當(dāng)不考慮環(huán)境噪聲時(shí)，式(1)為理想狀態(tài)下的多智能體系統(tǒng)模型，在式(1)中添加隨機(jī)噪聲控制，有

(14)

(15)

將針對(duì)系統(tǒng)模型式(8)的主要結(jié)論應(yīng)用到式(14)，得到如下推論。

推論 設(shè)fi∶R×R+→R、αij∶R×R+→R、βij∶R×R+→R是局部Lipschitz連續(xù)函數(shù)，滿足:

(16)

(17)

則有

4.3 可行性分析

要使本文提出的隨機(jī)噪聲控制方法具有可行性，必須能夠求出滿足式(13)的隨機(jī)噪聲的噪聲強(qiáng)度Bki。

將式(10)和式(11)代入式(13)，得：

(18)

則有：

(19)

式(19)即給出所添加的隨機(jī)噪聲控制強(qiáng)度的大致下界。只要隨機(jī)噪聲強(qiáng)度大于該下界，就能使多智能體系統(tǒng)達(dá)到隨機(jī)一致性鎮(zhèn)定，但由于產(chǎn)生隨機(jī)噪聲也是要消耗能源的，故其強(qiáng)度應(yīng)盡可能取滿足條件下的最小值。

5 結(jié)語

本文研究了環(huán)境噪聲對(duì)多智能體系統(tǒng)一致性的影響，并提出一種運(yùn)用隨機(jī)噪聲控制多智能體一致性的方法。通過仿真實(shí)驗(yàn)發(fā)現(xiàn)，添加滿足一定條件的隨機(jī)噪聲控制甚至可以令在沒有環(huán)境噪聲干擾的理想情況下非一致性的多智能體系統(tǒng)達(dá)到隨機(jī)一致性鎮(zhèn)定。最后，本文給出多智能體系統(tǒng)隨機(jī)一致性鎮(zhèn)定的理論證明，同時(shí)得到了滿足控制要求的隨機(jī)噪聲強(qiáng)度的大致下界。文中提出的多智能體控制方法具有系統(tǒng)能耗小、控制性能更佳的特點(diǎn)。

[1]VicsekT,CzirókA,Ben-JacobE,etal.Noveltypeofphasetransitioninasystemofself-drivenparticles[J].PhysicalReviewLetters,1995,75(6):1226-1229.

[2]Olfati-SaberR,MurrayRM.Consensusproblemsinnetworksofagentswithswitchingtopologyandtime-delays[J].IEEETransactionsonAutomaticControl, 2004,49(9):1520-1533.

[3]HongYiguang,HuJiangping,GaoLinxin.Trackingcontrolformulti-agentconsensuswithanactiveleaderandvariabletopology[J].Automatica,2006,42(7): 1177-1182.

[4]TopazCM,BertozziAL.Swarmingpatternsinatwo-dimensionalkinematicmodelforbiologicalgroups[J].SIAMJournalonAppliedMathematics,2004,65(1):152-174.

[5]LuXiaoqing,AustinF,ChenShihua.Flockinginmulti-agentsystemswithactivevirtualleaderandtime-varyingdelayscoupling[J].CommunicationsinNonlinearScienceandNumericalSimulation,2011, 16(2): 1014-1026.

[6] 李韜.不確定環(huán)境下多自主體系統(tǒng)的分布式趨同控制與博弈[D].北京: 中國科學(xué)院數(shù)學(xué)與系統(tǒng)科學(xué)研究院,2009.

[7] 苗國英.線性多智能體系統(tǒng)一致性問題研究[D].南京:南京理工大學(xué)，2013.

[8] 呂淑玲,侍紅軍,劉峰.主從多智能體網(wǎng)絡(luò)快速隨機(jī)一致性[J].山東大學(xué)學(xué)報(bào)：理學(xué)版, 2014,49(1):65-70.

[9]KhasminskiiRZ.Stochasticstabilityofdifferentialequations[M].AlphenaandenRijn，Netherlands:SijthoffandNoordhoff,1980:134-141.

[10]ArnoldL,CrauelH,WihstutzV.Stabilizationoflinearsystemsbynoise[J].SIAMJournalonControlandOptimization，1983, 21(3):451-461.

[11]MaoXuerong.Stochasticstabilizationanddestabilization[J].SystemsandControlLetters, 1994,23(4): 279-290.

[12]胡適耕,黃乘明,吳付科.隨機(jī)微分方程[M].北京:科學(xué)出版社,2008:62-64.

[13]LiptserR.Astronglawoflargenumbersforlocalmartingales[J].Stochastics， 1980，3：217-228.

[14]MétivierM.Semimartingales[M].Amsterdam:WalterdeGruyter,1982:78-83.

[責(zé)任編輯 尚 晶]

Stochastic stabilization of multi-agent consensus

LuoQi,ShiLili,LiZhendong

(1.School of Information and Control, Nanjing University of Information Science and Technology，Nanjing 210044，China；2.Jiangsu Engineering Research Center on Meteorological Energy Using and Control，Nanjing 210044，China；3.Collaborative Innovation Center on Atmospheric Environment and Equipment Technology, Nanjing 210044，China)

This paper provides the mathematical description of multi-agent stochastic consensus, simulates the effect of environmental noise on the consensus of multi-agent system, and puts forward a control method for multi-agent by using stochastic noise. The simulation results show that the multi-agent system which has no concerted actions in the environment without noise interference can reach stochastic stabilization by adding proper stochastic noise control. Finally, theoretical analysis of stochastic stabilization of multi-agent consensus is carried out and the general minimum of noise intensity meeting the control requirement is achieved. The proposed coordination control methodfor multi-agent uses less system energy and has better control performance.

multi-agent; multi-agent system; consensus; stochastic noise; stochastic stabilization; coordination control

2015-09-29

國家自然科學(xué)基金資助項(xiàng)目(61174077，61573193).

羅 琦(1958-)，男，南京信息工程大學(xué)教授，博士生導(dǎo)師.E-mail: hgy2-503@163.com

TP273

A

1674-3644(2015)06-0469-06