隨機(jī)多智能體系統(tǒng)的多率協(xié)同控制

張?jiān)魄?，馮江濤，范曉宇，謝云飛

(山西大學(xué) 自動(dòng)化與軟件學(xué)院，太原 030031)

0 引言

近幾十年，多智能體系統(tǒng)因其有著廣泛的應(yīng)用，受到了眾多學(xué)者的關(guān)注和研究，如生物集群行為，社交網(wǎng)絡(luò)[1]、多機(jī)器人協(xié)同工作[2-3]、航天器姿態(tài)控制[4]、多區(qū)域電網(wǎng)的經(jīng)濟(jì)調(diào)度[5]等。而一致性作為多智能體系統(tǒng)的基本問(wèn)題，其多樣性已經(jīng)從理論和應(yīng)用的角度得到了廣泛的研究。一致性控制是指通過(guò)設(shè)計(jì)一個(gè)合適的控制協(xié)議，使得多智能體系統(tǒng)中所有的智能體的狀態(tài)或輸出在有限時(shí)間內(nèi)收斂至目標(biāo)值。目前，一階、二階乃至高階的線性動(dòng)力學(xué)系統(tǒng)已經(jīng)得到了廣泛的研究[6-11]。此外，部分學(xué)者還針對(duì)系統(tǒng)可能會(huì)受到自身固有的非線性動(dòng)力學(xué)以及外部干擾的影響，研究了更為一般的隨機(jī)多智能體系統(tǒng)的一致性[12-15]。

在連續(xù)時(shí)間下，多智能體系統(tǒng)能夠?qū)崿F(xiàn)一致性的前提條件是每個(gè)智能體都能與自己的鄰居智能體持續(xù)通信。然而與鄰居智能體持續(xù)通信將消耗大量的網(wǎng)絡(luò)資源，并且對(duì)網(wǎng)絡(luò)環(huán)境也提出了相當(dāng)高的要求。因?yàn)橐坏┩ㄐ哦氯蜁?huì)不可避免地造成網(wǎng)絡(luò)時(shí)延、進(jìn)而產(chǎn)生丟包現(xiàn)象，最終將破壞多智能體系統(tǒng)的一致性。所以這僅僅在理論上可以實(shí)現(xiàn)。使用采樣控制方法，可以將連續(xù)信息變?yōu)殡x散信號(hào)，減少每個(gè)智能體的計(jì)算負(fù)擔(dān)以及節(jié)省網(wǎng)絡(luò)通信資源，進(jìn)而減少控制器的更新頻率和執(zhí)行器的動(dòng)作次數(shù)，延長(zhǎng)設(shè)備的使用壽命，同時(shí)確保期望的系統(tǒng)性能。

在過(guò)去的時(shí)間里，采樣控制方法已經(jīng)得到了廣泛研究。至今，針對(duì)多智能體系統(tǒng)使用恰當(dāng)?shù)牟蓸訖C(jī)制來(lái)設(shè)計(jì)通信協(xié)議，在保證系統(tǒng)理想性能的前提下節(jié)省通信資源仍是熱點(diǎn)話題。在現(xiàn)有的有關(guān)多智能體系統(tǒng)的研究成果中，有兩種采樣控制方法得到了廣泛應(yīng)用，即同步采樣機(jī)制[16-17]和異步采樣機(jī)制[18-20]。同步采樣機(jī)制指的是多智能體系統(tǒng)中所有智能體的所有狀態(tài)都使用相同的采樣器進(jìn)行采樣，即采樣周期相同。而異步采樣機(jī)制指的是不同的智能體使用不同采樣周期的采樣器進(jìn)行采樣，即采樣周期不盡相同。但不管是同步采樣還是異步采樣，針對(duì)單個(gè)智能體而言，他們都假設(shè)其狀態(tài)分量或者輸出分量是以相同的采樣周期T進(jìn)行采樣。該種采樣方式又稱為單率采樣。然而，在實(shí)際中，單個(gè)智能體的狀態(tài)量或輸出量往往包含著多組分量，且不同的分量一般表示著不同的物理特性。此時(shí)若以相同的采樣周期來(lái)對(duì)所有分量進(jìn)行采樣，不僅很難確定采樣周期，同時(shí)也不符合實(shí)際應(yīng)用。因此應(yīng)該根據(jù)實(shí)際情況，針對(duì)具體的物理特性以恰當(dāng)?shù)牟蓸又芷谶M(jìn)行采樣，即狀態(tài)分量或輸出分量不同，采樣周期不盡相同。該種采樣機(jī)制又稱為多率采樣。顯然，相比較于單率采樣，多率采樣由于針對(duì)不同物理特性進(jìn)行采樣，采樣器更具有針對(duì)性，采樣數(shù)據(jù)更及時(shí)更精確，控制器更新也更加高效，從而可以實(shí)現(xiàn)更好的控制性能。

文獻(xiàn)[21]針對(duì)不同的系統(tǒng)研究了多率采樣機(jī)制下的網(wǎng)絡(luò)化控制問(wèn)題；文獻(xiàn)[22]研究了在欺騙網(wǎng)絡(luò)攻擊下，多智能體系統(tǒng)基于多率采樣機(jī)制的安全一致性控制問(wèn)題；文獻(xiàn)[23]研究了多智能體系統(tǒng)在多率采樣機(jī)制下的二分一致性控制問(wèn)題。然而，在多智能體系統(tǒng)領(lǐng)域中，關(guān)于多率采樣機(jī)制的研究才剛剛起步，還有很大的發(fā)展空間，這也是本文研究的動(dòng)機(jī)所在。

在多智能體系統(tǒng)中，智能體的采樣信息將通過(guò)無(wú)線傳感網(wǎng)絡(luò)進(jìn)行傳輸。然而在實(shí)際應(yīng)用中，每個(gè)智能體的計(jì)算資源以及智能體之間的通信網(wǎng)絡(luò)帶寬都是有限的。因此，如何設(shè)計(jì)合適的大規(guī)模分布式控制方案，在保證理想控制性能的前提下，又能節(jié)省通信和計(jì)算資源是近幾十年來(lái)的熱點(diǎn)話題。事件觸發(fā)方案因其比時(shí)間觸發(fā)方案在減少對(duì)有限的通信和計(jì)算資源的使用方面更有優(yōu)勢(shì)而受到人們的青睞，尤其是在帶寬有限的網(wǎng)絡(luò)環(huán)境中，該方法的優(yōu)勢(shì)更為明顯。與傳統(tǒng)的采樣傳輸方法相比較，基于采樣的事件觸發(fā)控制方案的顯著特征是，應(yīng)當(dāng)執(zhí)行傳輸動(dòng)作和控制更新的時(shí)刻由與系統(tǒng)測(cè)量(例如，系統(tǒng)狀態(tài)或輸出)或性能水平密切相關(guān)的預(yù)定義事件觸發(fā)條件確定[24]。該傳輸方案的核心思想是事件檢測(cè)僅在每個(gè)采樣時(shí)刻進(jìn)行，而不是連續(xù)進(jìn)行。因此，每次進(jìn)行事件檢測(cè)的時(shí)間間隔本質(zhì)上是一個(gè)采樣周期的下界，這意味著該方案能夠絕對(duì)排除芝諾行為[25]。文獻(xiàn)[26]首次提出了一種用于多智能體系統(tǒng)的事件觸發(fā)控制協(xié)議，它通過(guò)將鄰居之間的連續(xù)通信改為離散通信來(lái)減少通信負(fù)擔(dān)。然后，文獻(xiàn)[27-29]中提出了用于更普遍的n階線性多智能體系統(tǒng)的事件觸發(fā)控制協(xié)議。此外，文獻(xiàn)[30]針對(duì)帶有非線性動(dòng)力學(xué)和外部干擾的隨機(jī)多智能體系統(tǒng)研究了事件觸發(fā)一致性控制問(wèn)題。

然而，以上所研究的事件觸發(fā)方案都是在某個(gè)智能體滿足觸發(fā)條件后，該智能體將自身的信息廣播給所有的鄰居智能體。這種廣播式的傳輸方式難免會(huì)造成一些資源浪費(fèi)。因?yàn)樵诙嘀悄荏w一致性控制過(guò)程中，有時(shí)可能僅有某幾個(gè)鄰居智能體狀態(tài)偏離較大，需要獲得新的鄰居信息來(lái)更新控制器，而其余智能體已經(jīng)達(dá)到了理想的位置狀態(tài)?；诖?，有學(xué)者提出了一種基于邊的事件觸發(fā)控制協(xié)議[31-32]，該協(xié)議是在相鄰的兩個(gè)智能體之間設(shè)計(jì)觸發(fā)函數(shù)，當(dāng)兩個(gè)相鄰的智能體之間的狀態(tài)誤差信息滿足了一定的觸發(fā)條件后，有且僅有這兩個(gè)智能體互相傳輸信息。相比較一般的廣播式的事件觸發(fā)傳輸機(jī)制，該機(jī)制對(duì)具體鄰居信息的誤差更為敏感，控制調(diào)節(jié)更為及時(shí)。此外，傳統(tǒng)的事件觸發(fā)控制協(xié)議需要同時(shí)與所有鄰居進(jìn)行通信，因此需要在鄰居之間保持時(shí)鐘同步，這意味著需要消耗更多的通信資源，而基于邊的事件觸發(fā)控制協(xié)議因?yàn)橹会槍?duì)與具體邊相連的兩個(gè)智能體設(shè)計(jì)而非某個(gè)智能體的所有鄰居智能體，因此不需要保證所有的鄰居智能體之間時(shí)鐘同步，而且智能體之間的通信是非周期性且異步的，可以大大降低通信成本，這在文獻(xiàn)[31-32]中的仿真結(jié)果中都有很好地體現(xiàn)。文獻(xiàn)[33]分別針對(duì)安全的網(wǎng)絡(luò)環(huán)境和遭受重放攻擊的網(wǎng)絡(luò)環(huán)境，利用邊事件觸發(fā)方案設(shè)計(jì)了彈性控制協(xié)議，使得多智能體系統(tǒng)在實(shí)現(xiàn)一致性目標(biāo)的前提下，能夠節(jié)省大量通信資源。

受上述討論的啟發(fā)，本文針對(duì)帶有非線性動(dòng)力學(xué)的隨機(jī)多智能體系統(tǒng)研究多率采樣機(jī)制下基于邊事件觸發(fā)機(jī)制的一致性控制問(wèn)題。主要貢獻(xiàn)點(diǎn)總結(jié)如下：

1)針對(duì)帶有非線性動(dòng)力學(xué)的隨機(jī)多智能體系統(tǒng)引入多率采樣機(jī)制，采用不同的傳感器組對(duì)智能體的不同狀態(tài)變量進(jìn)行采樣，使得采樣數(shù)據(jù)能夠更符合實(shí)際應(yīng)用。

2)設(shè)計(jì)了一種新的邊事件觸發(fā)傳輸機(jī)制和相應(yīng)的控制協(xié)議以實(shí)現(xiàn)對(duì)隨機(jī)多智能體系統(tǒng)的均方一致性控制，同時(shí)排除了芝諾行為。

3)通過(guò)數(shù)值仿真實(shí)例對(duì)同步采樣、異步采樣以及多率采樣對(duì)系統(tǒng)性能的影響做了比較。充分說(shuō)明了采用多率采樣機(jī)制和邊事件觸發(fā)機(jī)制可以獲得很好的系統(tǒng)性能。

1 預(yù)備知識(shí)和問(wèn)題描述

1.1 預(yù)備知識(shí)

引理1：如果G是一個(gè)無(wú)向圖，那么

1.2 問(wèn)題描述

考慮由N個(gè)智能體組成的帶有非線性動(dòng)力學(xué)的隨機(jī)多智能體系統(tǒng)，每個(gè)智能體的動(dòng)力學(xué)表示如下：

dxi(t)=[f(xi(t))+ui(t)]dt+

g(x(t))dω(t)

(1)

其中：i=1，…N。xi(t)∈Rn×1、f(xi(t))∈Rn×1、ui(t)∈Rn×1和g(xi(t))∈Rn×m分別表示智能體i的狀態(tài)、固有的非線性動(dòng)力學(xué)、控制輸入以及隨機(jī)擾動(dòng)。ω(t)=[ω1(t)，…，ωm(t)]Τ∈Rn×m表示m維的布朗運(yùn)動(dòng)且滿足E[dω(t)]=0，E[dω2(t)]=dt。對(duì)于所有的i≠j，i，j=1，…，N都有ωi(t)獨(dú)立于ωj(t)。

考慮每個(gè)智能體狀態(tài)x(t)是通過(guò)多率采樣機(jī)制進(jìn)行采樣的。具體而言，第i個(gè)智能體的狀態(tài)xi(t)的n個(gè)元素被相應(yīng)的傳感器組分成r個(gè)子向量，即：

xi(t)= [xi1Τ(t)，xi2Τ(t)，…，xirΤ(t)]Τ

不同傳感器組將采樣后的數(shù)據(jù)傳給緩存器，并在緩存器中對(duì)這些采樣時(shí)刻以先后順序進(jìn)行重排。我們以兩組傳感器組為例，對(duì)照?qǐng)D1進(jìn)行說(shuō)明。

圖1 多率采樣機(jī)制下多智能體系統(tǒng)的結(jié)構(gòu)

xi(τih)= [xi1Τ(ki1Ti1)，xi2Τ(ki2Ti2)]Τ

(2)

(3)

本文的目的是構(gòu)建一個(gè)合適的控制協(xié)議，使得經(jīng)過(guò)多率采樣后的隨機(jī)多智能體系統(tǒng)可以指數(shù)地實(shí)現(xiàn)均方一致性，即對(duì)于任意給定的初值，所有智能體的狀態(tài)都可以實(shí)現(xiàn)：

(4)

其中：i，j=1，…，N。為了實(shí)現(xiàn)控制目標(biāo)，首先給出如下假設(shè)。

假設(shè)1：對(duì)于時(shí)間t≥0，存在一個(gè)非負(fù)常數(shù)ρ使得下式成立：

‖f(x1(t))-f(x2(t))‖≤

ρ‖x1(t)-x2(t)‖，?x1(t)，x2(t)∈Rn×1

假設(shè)2：對(duì)于時(shí)間t≥0，存在一個(gè)非負(fù)常數(shù)θ使得下式成立：

trace{[g(z1(t))-g(z2(t))]Τ·[g(z3(t))-g(z1(t))]}≤

θ(‖z2(t)-z1(t)‖2+‖z3(t)-z1(t)‖2)

注1：假設(shè)1和假設(shè)2是隨機(jī)近似中常用的標(biāo)準(zhǔn)假設(shè)，文獻(xiàn)[34]提出該假設(shè)后，通過(guò)一個(gè)滿足正態(tài)分布的協(xié)議來(lái)實(shí)現(xiàn)對(duì)具有狀態(tài)依賴的噪聲干擾和可修復(fù)的故障執(zhí)行器的非線性多智能體系統(tǒng)的一致性控制。

2 多率采樣機(jī)制下隨機(jī)多智能體系統(tǒng)的控制設(shè)計(jì)

(5)

g(xi(t)，t)dω(t)=[f(xi(t)，t)-

(6)

進(jìn)一步，提出如下的邊事件觸發(fā)條件：

(7)

(8)

假設(shè)3：G是一個(gè)包含有向生成樹(shù)的平衡圖。

引理2：針對(duì)下述非線性隨機(jī)微分方程：

dx(t)=φ(x(t))dt+ψ(x(t))dω(t)，

t∈[t0，∞)，x(t0)=x0

(9)

針對(duì)基于多率采樣機(jī)制下的隨機(jī)多智能體系統(tǒng)，提出定理一來(lái)解決其均方一致性問(wèn)題。

定理一：如果隨機(jī)多智能體系統(tǒng)滿足假設(shè)1，2和3，并且存在標(biāo)量α使得

(10)

dy(t)=Mdx(t)=

[Mf(x(t))-αM(L?In)(x(t)+e(t))]dt+

Mg(x(t))dω(t)=

[Mf(x(t))-αM(L?In)y(t)-αM(L?In)e(t)]dt+

Mg(x(t))dω(t)

(11)

選擇Lyapunov函數(shù)如下：

(12)

αyΤ(t)M(L?In)e(t)+

(13)

(14)

(15)

根據(jù)假設(shè)1，可得：

(16)

進(jìn)一步可得：

-yΤ(t)M[L?In]e(t)=-yΤ(t)[L?In]e(t)=

(17)

-yΤ(t)M[L?In]e(t)=

(18)

-yΤ(t)M[L?In]e(t)≤

(19)

根據(jù)假設(shè)2，可以推出：

trace[gΤ(x(t))MΤMg(x(t))]=

[g(xi(t))-g(xk(t))]}=

(20)

根據(jù)引理一，可得：

(21)

根據(jù)表達(dá)式(14)和(16)～(20)，可得：

(22)

最后根據(jù)邊事件觸發(fā)條件，可以推出：

yΤ(t)y(t)≤κV

(23)

注2：當(dāng)智能體i在時(shí)刻t滿足有向邊(i，j)∈E的事件觸發(fā)條件時(shí)，智能體i將更新自己控制器的控制輸入信號(hào)，并把自身的狀態(tài)信息定向發(fā)送給智能體j。智能體j將在時(shí)刻t收集智能體i狀態(tài)信息用于自身的事件觸發(fā)判斷并在下一次智能體j滿足事件觸發(fā)條件時(shí)用于控制器的更新。如果邊(i，j)∈E且邊(j，i)∈E，則邊(i，j)∈E是無(wú)向的。當(dāng)在時(shí)刻t無(wú)向邊(i，j)∈E滿足事件觸發(fā)條件時(shí)，智能體i和智能體j將分別收集彼此在時(shí)刻t的狀態(tài)信息，并通過(guò)無(wú)向邊(i，j)∈E相互傳輸其狀態(tài)信息。

注3：雖然智能體i有著多個(gè)鄰居，但當(dāng)智能體i滿足事件觸發(fā)條件即每次控制器更新時(shí)，有且僅有一條邊(i，j)∈E會(huì)有信息傳輸，所以本文的事件觸發(fā)傳輸方案比傳統(tǒng)的基于節(jié)點(diǎn)的廣播式傳輸方案(在智能體i滿足事件觸發(fā)條件時(shí)所有的(i，j)∈E都會(huì)發(fā)生信息傳輸)更能節(jié)省通信資源。此外，由于使用零階保持器將離散的控制輸入信號(hào)保持為連續(xù)的信號(hào)，所以控制輸入僅在智能體的事件觸發(fā)時(shí)刻才會(huì)發(fā)生變化。因此所設(shè)計(jì)的控制方案可以減少控制器的更新頻率，延長(zhǎng)控制器的使用壽命。

3 仿真結(jié)果與分析

為了說(shuō)明所提出的邊事件觸發(fā)機(jī)制(5)和(7)可以實(shí)現(xiàn)系統(tǒng)的均方一致性以及多率采樣機(jī)制可以獲得更好的系統(tǒng)性能，給出以下的數(shù)值仿真例子。在實(shí)際中，智能體本身可能具有復(fù)雜多樣的非線性動(dòng)力學(xué)，而復(fù)雜多變的狀態(tài)又會(huì)受到不同的干擾。這里選取典型的非線性函數(shù)——正弦函數(shù)作為智能體的動(dòng)力學(xué)模型。

考慮一個(gè)包含4個(gè)多智能體的隨機(jī)多智能體系統(tǒng)，其通訊拓?fù)鋱D如圖2所示。每個(gè)智能體都根據(jù)不同的邊事件觸發(fā)條件異步地向自己的兩個(gè)鄰居智能體發(fā)送信息。

圖2 通訊拓?fù)浣Y(jié)構(gòu)

由圖2知，系統(tǒng)的鄰接矩陣A和Laplacian矩陣L分別如下：

顯然Laplacian矩陣L滿足假設(shè)3。

將系統(tǒng)固有的非線性函數(shù)選取為：

相應(yīng)的，與狀態(tài)相關(guān)的隨機(jī)干擾g(xi(t))選取為：

通過(guò)計(jì)算，可得到λ2(L)=2。以二維空間為例，4個(gè)智能體的初始狀態(tài)(橫向位置狀態(tài)和縱向位置狀態(tài))坐標(biāo)分別選擇如下：

圖3表示在多率采樣機(jī)制和邊事件觸發(fā)機(jī)制下系統(tǒng)的狀態(tài)響應(yīng)曲線。智能體的橫向位置狀態(tài)在0.5秒時(shí)就已經(jīng)實(shí)現(xiàn)了一致性，縱向位置狀態(tài)大致在1.8秒左右實(shí)現(xiàn)一致性。圖4表示在異步采樣機(jī)制和邊事件觸發(fā)機(jī)制下系統(tǒng)的狀態(tài)響應(yīng)曲線。從圖中可以看出，智能體的橫向位置狀態(tài)在1.8秒左右才實(shí)現(xiàn)一致性，比多率采樣慢了1.3秒左右，而縱向位置狀態(tài)變化曲線與圖3并無(wú)明顯區(qū)別，都是在1.8秒左右實(shí)現(xiàn)一致性。圖5表示在同步采樣機(jī)制和邊事件觸發(fā)機(jī)制下系統(tǒng)的狀態(tài)響應(yīng)曲線。圖中顯示，智能體的橫向位置狀態(tài)在2.2秒實(shí)現(xiàn)一致性，比多率采樣慢了1.7秒，比異步采樣慢了0.4秒。而縱向位置狀態(tài)在3秒后才實(shí)現(xiàn)一致性，比多率采樣和異步采樣慢了1.2秒。

圖3 多率采樣機(jī)制下智能體的運(yùn)動(dòng)狀態(tài)軌跡

從曲線的振蕩次數(shù)和衰減速度角度來(lái)看，圖3的振蕩次數(shù)最少，衰減速度最快，說(shuō)明控制更及時(shí)，控制效果也更好。圖4比圖3總體來(lái)說(shuō)振蕩次數(shù)更多，衰減更慢，控制效果略差。圖5的振蕩次數(shù)最多，衰減速度最慢，控制效果最差。

結(jié)果表明，不管系統(tǒng)以何種方式采樣，所設(shè)計(jì)的邊事件觸發(fā)機(jī)制 (5)和(7)都可以保證系統(tǒng)最終實(shí)現(xiàn)一致性。但不同的采樣周期對(duì)系統(tǒng)的狀態(tài)響應(yīng)很大的影響。在同步采樣下，系統(tǒng)一致性的收斂速度最慢，狀態(tài)響應(yīng)也最差，異步采樣其次，多率采樣最快，并且所表現(xiàn)出的系統(tǒng)性能也最好。

圖4 異步采樣機(jī)制下智能體的運(yùn)動(dòng)狀態(tài)軌跡

圖5 同步采樣機(jī)制下智能體的運(yùn)動(dòng)狀態(tài)軌跡

4 結(jié)束語(yǔ)

本文針對(duì)具有非線性動(dòng)力學(xué)的隨機(jī)多智能體系統(tǒng)研究了一致性控制問(wèn)題。在對(duì)被控對(duì)象采集信息時(shí)引入了多率采樣機(jī)制。通過(guò)利用多率采樣的數(shù)據(jù)設(shè)計(jì)了基于邊的事件觸發(fā)控制協(xié)議。該協(xié)議避免了智能體之間的同步通信，使得系統(tǒng)可靈活地調(diào)度每條邊上的信息，從而減少了網(wǎng)絡(luò)通信資源。通過(guò)李亞普諾夫穩(wěn)定性理論，證明了在所提出的邊事件觸發(fā)機(jī)制下，隨機(jī)多智能體系統(tǒng)可以指數(shù)地實(shí)現(xiàn)均方一致性。此外，通過(guò)數(shù)值仿真例子驗(yàn)證了在所提出的邊事件觸發(fā)機(jī)制下，隨機(jī)多智能體系統(tǒng)可以很好地實(shí)現(xiàn)一致性。并通過(guò)比較在多率采樣機(jī)制、異步采樣機(jī)制和同步采樣機(jī)制下系統(tǒng)的狀態(tài)響應(yīng)曲線，分析了不同采樣機(jī)制對(duì)曲線的震蕩次數(shù)，衰減速度和收斂速度的影響，充分說(shuō)明在多率采樣機(jī)制下，系統(tǒng)會(huì)有更好的響應(yīng)。在未來(lái)，我們將針對(duì)更為一般的或受到網(wǎng)絡(luò)攻擊的隨機(jī)多智能體系統(tǒng)研究在多率采樣機(jī)制下完全分布式的邊事件觸發(fā)控制協(xié)議，并從理論的角度證明其優(yōu)勢(shì)。