多智能體編隊問題的研究

高熾揚　湯雅婷　徐海波

【摘要】? ? 無人機(jī)或無人車等裝備是軍工領(lǐng)域中常見的現(xiàn)代作戰(zhàn)裝備之一。然而在很多作戰(zhàn)環(huán)境下單一的無人作戰(zhàn)裝備難以完成復(fù)雜的軍事任務(wù)，因此提出了多智能體協(xié)同作戰(zhàn)的理念。多智能體在執(zhí)行任務(wù)時往往需要實現(xiàn)不同的預(yù)設(shè)編隊，進(jìn)而實現(xiàn)避障、減小雷達(dá)反射截面積等任務(wù)，因此多智能體編隊控制問題便成為需要解決的核心問題。多智能體編隊控制問題有固定編隊及時變編隊等問題，時變編隊顯然更具有實際的工程意義。多智能體編隊分布式控制算法可以有效解決上述問題。本文對基于二階積分器模型的多智能體系統(tǒng)進(jìn)行研究，通過設(shè)計分布式控制器實現(xiàn)了對多智能體時變編隊的控制，并利用數(shù)值仿真驗證了控制器的有效性。

【關(guān)鍵詞】? ? 多智能體;時變編隊? ? 分布式? ? 無人武器裝備

Abstract： Equipment such as unmanned aerial vehicles or unmanned vehicles is one of the common modern combat equipment in the military industry. However， in many combat environments， it is difficult for a single unmanned combat equipment to complete complex military tasks， so the concept of multi-agent cooperative combat is proposed. Multi-agents often need to implement different preset formations when performing tasks， so as to achieve obstacle avoidance， reduce radar reflection cross-sectional area and other tasks， so the multi-agent formation control problem has become a core problem that needs to be solved. Multi-agent formation control problems include fixed formations and time-varying formations. Time-varying formations obviously have more practical engineering significance. The distributed control algorithm of multi-agent formation can effectively solve the above problems. This paper studies the multi-agent system based on the second-order integrator model. By designing a distributed controller， the control of the time-varying formation of multi-agents is realized， and the effectiveness of the controller is verified by numerical simulation.

Key Words： Multi-agents;time-varying formation;distributed;Unmanned weaponry;

引言：

多智能體的協(xié)同在很多工程中具有廣泛應(yīng)用背景，如區(qū)域搜索、戰(zhàn)場環(huán)境偵察、多戰(zhàn)機(jī)協(xié)同作戰(zhàn)、艦隊協(xié)同作戰(zhàn)、導(dǎo)彈突防、目標(biāo)多點跟蹤等[1]。在執(zhí)行不同的任務(wù)時，需要依據(jù)不同的場景實現(xiàn)不同的編隊形態(tài)，既能夠?qū)崿F(xiàn)既定任務(wù)，又能夠保證協(xié)同作戰(zhàn)時的靈活性。因此，對于多智能體的編隊問題研究對于多智能體協(xié)同執(zhí)行任務(wù)是有較大的意義的。多智能體編隊問題包括固定編隊控制和時變編隊控制，其中固定編隊控制是時變編隊控制的特例。由于在實際問題中多智能體編隊往往需要針對不同的任務(wù)場景采用不同的編隊形式，如導(dǎo)彈突防時多智能體需要采用間距較小的編隊形式，而在巡航階段需要采用間距較大的編隊形式，所以可以看出多智能體的時變編隊研究具有更高的實用意義?；谏鲜龅亩嘀悄荏w時變編隊的優(yōu)點，本文重點研究多智能體時變編隊的控制問題。

一、多智能體編隊控制的現(xiàn)狀和當(dāng)前存在的問題

針對多智能體編隊的研究，目前對于固定編隊的研究方法較為成熟，且研究成果較多。比較常見的一種方法是基于人工勢場方法的編隊保持策略，即系統(tǒng)建立多智能體之間的人工勢場，通過感知勢場梯度的變化來給單個智能體的控制器一個控制量，進(jìn)而給出單個智能體的運動方向和運動速度。該方法要求多智能體系統(tǒng)之間具有通信能力，至少應(yīng)該保證系統(tǒng)的通信拓?fù)淠軌蛏梢粋€以圖論語言描述的有向生成樹。簡單來說就是任何一個智能體的狀態(tài)信息發(fā)生變化時都可以通過通信網(wǎng)絡(luò)將信息傳遞至整個多智能體網(wǎng)絡(luò)。該方法被廣泛的應(yīng)用于“領(lǐng)導(dǎo)-跟隨者”、“虛擬領(lǐng)航者”以及智能體避碰、避障等編隊問題研究[2]。

但是人工勢場法的建模方式過于理想，在實際場景中很難建立起較為理想的人工勢場來實現(xiàn)多智能體編隊，因此基于人工勢場法的多智能體編隊問題研究很難在實際工程中得到應(yīng)用。因此目前的多智能體編隊研究問題多數(shù)已經(jīng)不再使用人工勢場方法，而是基于成熟的傳感器來對智能體之間的通信進(jìn)行描述，進(jìn)而建立起多智能體編隊控制的控制模型。如基于圖像傳感器和雷達(dá)測距的數(shù)學(xué)模型建立，以及考慮極端條件下，難以直接獲取全部狀態(tài)參數(shù)時，引入狀態(tài)觀測器的方法來實現(xiàn)數(shù)學(xué)模型的建立等方法。上述方法具有較高的使用價值，是當(dāng)前研究的熱點。但基于圖論和一致性等理論的分布式多智能體控制研究還是基于固定編隊為研究目標(biāo)的較多，對于更有軍事實用意義的時變編隊研究還有很多的問題。

1.1研究背景及意義

目前基于一階積分器模型的多智能體時變編隊控制的研究成果較多，但是一階積分器模型在實際的工程應(yīng)用中難以直接得到應(yīng)用。二階積分器模型能夠更加接近實際的描述多智能體的動力學(xué)模型，但現(xiàn)有的基于一階積分器模型設(shè)計的時變編隊控制器難以直接擴(kuò)展為二階積分器模型的時變編隊控制器。此外，在實際的系統(tǒng)中，往往采用分布式計算方法，系統(tǒng)中沒有進(jìn)行集中解算的主機(jī)。這是因為單個智能體有可能會出現(xiàn)故障，若是主機(jī)出現(xiàn)問題會給整個系統(tǒng)的通信造成影響，導(dǎo)致整個編隊失控，因此采用分布式計算的多智能體編隊的魯棒性要更加優(yōu)秀。多智能體時變編隊具有更廣的工程應(yīng)用背景，因此，本文以具有實用意義的二階積分器模型的多智能體時變編隊為研究目標(biāo)，以圖論為理論基礎(chǔ)對多智能體之間的通訊進(jìn)行描述，研究多智能體時變編隊的收斂性問題。

多智能體編隊在實際的場景下，往往需要對期望的軌跡進(jìn)行跟蹤以實現(xiàn)任務(wù)目標(biāo)。分布式計算式的多智能體時變編隊控制對于提高智能體對期望軌跡的跟蹤精度，具有較高的研究價值。

1.2預(yù)備知識與問題描述

1.2.1圖論基礎(chǔ)概念

令G={V，E，W}表示包含N個節(jié)點的帶權(quán)重有向圖，其中V={v1，v2，…，vN}表示圖中節(jié)點集，每個點代表一個智能體。E={（vi，vj）：vi，vj∈V，i≠j}表示圖中的邊的集合，W=[wij]∈RN×N表示圖的鄰接矩陣，將eij=（vi，vj）記為圖G的邊。鄰接矩陣中的變量W是非負(fù)的，也就是說，對于任意的i，j∈{1，2，…，N}，當(dāng)且僅當(dāng)eij∈E時wji>0，否則wji=0。令Ni={vj∈V：eji∈E}為vi的相鄰節(jié)點集。將D=diag{degin（vi），i=1，2，…，N}定義為G的階次矩陣。圖G的拉普拉斯矩陣可以定義為L=D-W。對于圖G，存在有向生成樹意味著信息可以傳遞至圖中的任意節(jié)點[3]。

1.2.2問題描述

考慮一個由N個智能體組成的二階群智能系統(tǒng)，系統(tǒng)的動力學(xué)模型為：

其中 ，分別代表智能體 的位置狀態(tài)，速度狀態(tài)和控制輸入量， 與均為已知的常數(shù)。N個智能體之間的通信拓?fù)淇梢杂脠D論的知識來進(jìn)行描述。既當(dāng)智能體i與j之間的通信用圖的邊eij的取值來進(jìn)行描述，也就是當(dāng)智能體之間無通訊時eij=0，有通訊時eij≠0，在本問題中不將邊的權(quán)值作為考慮因素，因此當(dāng)有通訊時eij=1，此時鄰接矩陣中對應(yīng)位置上的元素為1。由此可知，鄰接矩陣中的元素均是由0或1構(gòu)成。

為了描述上述二階系統(tǒng)多智能體的編隊形狀，這里引入 等參量，其中 為分段連續(xù)的可微向量。令 ，該向量用于表征智能體相對編隊形狀某一個參考點的偏移量。

由上述的條件與假設(shè)，可以得到以下數(shù)學(xué)模型：

其中，用于表征編隊在空間中的位置，可以看作是編隊形狀參考點的位置，當(dāng)發(fā)生變化時編隊整體會在空間中發(fā)生移動，這期間會伴隨著編隊形狀的變化，這也是時變編隊在宏觀上的最直觀體現(xiàn)。由式（2）可知，若編隊能夠收斂到期望形狀，則之間的殘差應(yīng)能隨著時間的推進(jìn)逐漸收斂至0。這也成為式（1）中的控制器的設(shè)計依據(jù)，既通過設(shè)計合適的控制器輸入可以使得多智能體編隊收斂至期望形狀和位置。

圖 1說明了由上述變量描述的時變編隊，以由4個智能體組成的多智能體系統(tǒng)為例， 為編隊在空間中的位置表征量， 是以為基準(zhǔn)的編隊形狀表征量， 為二者之差。當(dāng)編隊是固定的時候為常數(shù)，而對于時變編隊為一個變量。因此為了實現(xiàn)對時變編隊隊形的跟蹤，需要式（2）所示的條件來保證隊形的收斂。

此外，本文中所有的問題均可以通過矩陣的克洛內(nèi)克積運算擴(kuò)展至高維問題，為了簡化問題的描述，這里不再考慮更高維度的情況。

二、多智能體時變編隊控制器

基于上述的理論基礎(chǔ)，可以知道我們需要基于（1）式設(shè)計一個分布式控制器來實現(xiàn)（2）式中的收斂條件。實際的多智能體系統(tǒng)中，智能體之間的相鄰?fù)ㄐ殴?jié)點往往是變化的，因此，考慮基于變化通信拓?fù)鋱D的分布式控制器如下：

式中 為常數(shù)增益矩陣，實際計算中會對其進(jìn)行定義。令 。由于式（3）為控制器的定義表達(dá)式，為了實現(xiàn)與系統(tǒng)維度的匹配，進(jìn)行克洛內(nèi)科積矩陣乘法，系統(tǒng)的維度匹配后將（3）帶入（1）中可以得到此時系統(tǒng)整體的表達(dá)式為：

在（3）中的控制器條件下，系統(tǒng)的狀態(tài)空間方程如（4）所示，式中的表示克洛內(nèi)科積，不對狀態(tài)轉(zhuǎn)換產(chǎn)生影響，只起到維度匹配的作用。在上述的分布式控制器作用下，多智能體可以實現(xiàn)時變編隊的跟蹤控制。

三、結(jié)果

為了驗證上述控制器對時變編隊的控制效果，對（1）式中的多智能體動力學(xué)系統(tǒng)進(jìn)行建模并進(jìn)行數(shù)值仿真計算，觀察仿真條件下多智能體系統(tǒng)對指定時變編隊隊形的跟蹤情況。以Matlab為仿真環(huán)境進(jìn)行建模與計算[4]，并將計算結(jié)果可視化輸出。在進(jìn)行數(shù)值計算之前先對計算所需的參量以及前提條件進(jìn)行定義。

考慮在平面坐標(biāo)系（XY坐標(biāo)系）下，由8個智能體組成的多智能體系統(tǒng)。每個智能體的動力學(xué)模型都可以由式（1）來描述，其中。每個智能體裝備的距離探測器的極限探測距離為12，智能體的最大運動速度為40。

3.1通信拓?fù)鋱D

由于計算中考慮智能體之間的通信不是固定的通訊模式，因此考慮設(shè)定三種隨機(jī)的通信拓?fù)洌诰庩犨^程中隨機(jī)進(jìn)行切換，驗證在此狀態(tài)下多智能體系統(tǒng)是否能夠收斂到期望隊形。設(shè)定的三種通信拓?fù)鋱D如圖2所示

3.2編隊隊形

編隊在空間中處于時變運動狀態(tài)，無人機(jī)中較為常見的是一種圍繞形狀中心進(jìn)行旋轉(zhuǎn)運動的環(huán)航編隊。該隊形運動狀態(tài)較為簡單，容易實現(xiàn)，并且能夠驗證多智能體系統(tǒng)時變編隊控制器的控制效果。由表征的環(huán)航時變編隊隊形由式（5）所示。

3.3仿真計算與結(jié)果分析

動力學(xué)方程、控制器以及編隊參數(shù)給定后，開始進(jìn)行數(shù)值仿真計算。計算中智能體的初始位置隨機(jī)生成，觀察最終是否能收斂到指定的編隊形狀。

仿真結(jié)果如圖3～圖4所示，圖3表示式（3）的控制器能夠?qū)ζ谕庩犘螤钆c軌跡進(jìn)行跟蹤。智能體隨機(jī)生成的位置是在坐標(biāo)系中的一個較小范圍內(nèi)的區(qū)域中，而隨著迭代進(jìn)行，智能體能夠迅速對期望軌跡進(jìn)行跟蹤，圖3表示智能體能夠?qū)崿F(xiàn)時變編隊的指定形狀，但是實際形狀與期望形狀的編隊中心并不重合，有一定的誤差，但總體上實現(xiàn)了對期望編隊形狀的跟蹤。

四、總結(jié)與展望

4.1本文所做工作的總結(jié)

本文對二階積分器模型多智能體系統(tǒng)的時變編隊問題進(jìn)行研究，依靠設(shè)計的分布式計算控制器對多智能體進(jìn)行控制，實現(xiàn)了多智能體對動態(tài)時變期望編隊軌跡和形狀的跟蹤。文中考慮了通信拓?fù)潆S機(jī)變化的狀態(tài)下多智能體系統(tǒng)編隊的收斂性，同時由于是基于更有實用意義的二階系統(tǒng)，因此該方法更容易推廣至實際的場景當(dāng)中。文中最后對一個含有8個智能體的系統(tǒng)進(jìn)行了數(shù)值仿真，驗證了多智能體系統(tǒng)對期望編隊形狀的跟蹤性，表明該控制器的有效性。

4.2存在的不足

根據(jù)最終的仿真結(jié)果可知，多智能體編隊雖然能夠?qū)崿F(xiàn)期望的編隊形狀，但是對期望隊形的位置跟蹤誤差較大，反映了控制器的不足。因此在后續(xù)的工作中仍需對控制器進(jìn)行改進(jìn)以實現(xiàn)編隊形狀和位置的跟蹤，并盡量減小跟蹤誤差。此外，理論部分做了很多的理想化假設(shè)，例如并未考慮外界干擾的影響，通訊拓?fù)涞目赡芮闆r考慮并不特別充分等問題。最后，實際的系統(tǒng)多為非線性系統(tǒng)，而這里只考慮了二階積分器模型，該模型為線性系統(tǒng)，針對非線性系統(tǒng)的控制器設(shè)計要更加復(fù)雜，也更具有實際工程意義。上述問題都是本文可以進(jìn)行改進(jìn)的方向，可以作為后續(xù)工作的切入點。

參? 考? 文? 獻(xiàn)

[1]YU J， DONG X， LI Q， et al. Cooperative integrated practical time-varying formation tracking and control for multiple missiles system[J]. Aerospace Science and Technology， 2019，93： 105300.

[2]陳杰等. 多智能體系統(tǒng)的協(xié)同群集運動控制[M]. 科學(xué)出版社， 2017.

[3]等 美. 哈拉里 F. HARARY. 圖論[M]. 上?？茖W(xué)技術(shù)出版社， 1980.

[4]陳杰等. MATLAB寶典[M]. 電子工業(yè)出版社， 2011.