不確定環(huán)境下融合語義的無人機(jī)編隊(duì)協(xié)同控制研究

戚 茜

(西北工業(yè)大學(xué)航海學(xué)院 陜西 西安 710072)

0 引 言

無人機(jī)編隊(duì)作業(yè)可以完成單個(gè)無人機(jī)難以勝任的復(fù)雜任務(wù)，在地質(zhì)勘測、應(yīng)急救援、情報(bào)偵察、航海情景探測、文藝表演等領(lǐng)域應(yīng)用廣泛[1]。無人機(jī)編隊(duì)在高空環(huán)境下受到氣象狀況、地理空間信息及通信系統(tǒng)狀態(tài)等不確定性因素影響，隨著編隊(duì)規(guī)模以及編隊(duì)重構(gòu)復(fù)雜性的增長，無人機(jī)編隊(duì)飛行軌跡和成員位置較難被描述和預(yù)測。求解不確定環(huán)境下智能體編隊(duì)協(xié)同控制問題的傳統(tǒng)方法一般從整體角度出發(fā)[2]，對系統(tǒng)中所有成員進(jìn)行統(tǒng)一建模，建立編隊(duì)控制系統(tǒng)，通過協(xié)調(diào)并行的方式求解整體控制決策問題，進(jìn)而將已求解的結(jié)果分配給個(gè)體成員，這種方法可以較好地解決系統(tǒng)的穩(wěn)定性，但隨著無人機(jī)數(shù)量的增加容易形成空間連續(xù)最優(yōu)求解問題[3]。解決這類問題的方法大都采用基于多Agent的控制模型[4]，通過競爭與合作的方法解決編隊(duì)成員之間的協(xié)同行為，從而規(guī)劃無人機(jī)系統(tǒng)的一致性和整體性，但這種方法會(huì)使信息共享機(jī)制在不確定因素影響下受到阻礙，使系統(tǒng)成員的差異性更加突出。

針對信息輸入的不確定性和動(dòng)態(tài)變化性，學(xué)者們提出了許多方法。文獻(xiàn)[5]在基于貝葉斯框架的基礎(chǔ)上提出基于狼群優(yōu)化的無人機(jī)協(xié)同優(yōu)化控制系統(tǒng)，融合貝葉斯概網(wǎng)絡(luò)和值函數(shù)推理不確定信息的輸入，實(shí)現(xiàn)最佳軌跡規(guī)劃功能。文獻(xiàn)[6]采用蟻群算法研究無人機(jī)編隊(duì)在最小時(shí)間內(nèi)搜索丟失目標(biāo)問題，在不確定環(huán)境下重構(gòu)編隊(duì)的軌跡形成和關(guān)鍵點(diǎn)可達(dá)。文獻(xiàn)[7]模擬蝗蟲響應(yīng)內(nèi)外部動(dòng)力的自主力和彈性行為研究無人機(jī)編隊(duì)的任務(wù)分配問題，通過成員間運(yùn)行狀態(tài)和任務(wù)參數(shù)動(dòng)態(tài)調(diào)整平均完成時(shí)間及持續(xù)穩(wěn)定性能。文獻(xiàn)[8]在考慮外界環(huán)境因素情形下，建立無人機(jī)縱向動(dòng)力學(xué)模型和非定常氣動(dòng)力模型，并對編隊(duì)速度、平尾偏角、矢量舵偏角及俯仰等進(jìn)行特征分析，實(shí)現(xiàn)編隊(duì)構(gòu)建和重構(gòu)控制的方法。文獻(xiàn)[9]針對無人機(jī)編隊(duì)飛行過程中的突風(fēng)及客觀因素的影響，設(shè)計(jì)了一種基于萊維飛行鴿群優(yōu)化的仿雁群無人機(jī)編隊(duì)控制器，以增加作戰(zhàn)半徑。以上方法較好地解決了不確定信息處理在編隊(duì)控制的問題，但回避了對不確定抽象信息實(shí)體的語義建模，缺乏無人機(jī)計(jì)算更容易理解的語義知識(shí)，在一定程度上影響無人機(jī)系統(tǒng)對外部信息的有效識(shí)別。

綜合考慮以上問題，從信息處理的角度出發(fā)提出了一種融合語義的無人機(jī)編隊(duì)協(xié)同控制方法。該方法構(gòu)建了一個(gè)具有不確定態(tài)勢檢測、不確定行為識(shí)別和語義策略本體模型的編隊(duì)協(xié)同控制框架；在此框架的基礎(chǔ)上，利用本體和貝葉斯網(wǎng)絡(luò)推理實(shí)現(xiàn)態(tài)勢檢測，提出基于個(gè)體激活期望值的強(qiáng)化學(xué)習(xí)方法，將學(xué)習(xí)到的知識(shí)遷移到相似新任務(wù)中，更新語義本體模型；采用netlogo仿真平臺(tái)驗(yàn)證本文方法的有效性。

1 協(xié)同控制模型

1.1 協(xié)同控制框架

針對無人機(jī)編隊(duì)在不確定環(huán)境下行為控制的背景約束和信息感知過程中不確定數(shù)據(jù)的流向特點(diǎn)，將協(xié)同控制框架分為不確定態(tài)勢檢測模塊、不確定行為識(shí)別模塊和語義策略本體模型。

不確定態(tài)勢檢測模塊可以計(jì)算各類事件發(fā)生的概率，結(jié)合語義策略本體模型觸發(fā)基于貝葉斯網(wǎng)絡(luò)推理的態(tài)勢檢測，其功能主要包括環(huán)境感知模塊、任務(wù)執(zhí)行檢測模塊和系統(tǒng)狀態(tài)檢測模塊。環(huán)境感知模塊用于檢測影響當(dāng)前無人機(jī)編隊(duì)行為控制的周邊環(huán)境信息；任務(wù)執(zhí)行模塊用于檢測無人機(jī)編隊(duì)任務(wù)規(guī)劃執(zhí)行情況；系統(tǒng)狀態(tài)模塊用于檢測無人機(jī)系統(tǒng)的引擎控制、位置控制、姿態(tài)控制等狀態(tài)。

不確定行為識(shí)別模塊用于分析不確定檢測模型所檢測到的信息，通過基于個(gè)體激活期望值的強(qiáng)化學(xué)習(xí)方法，將該狀態(tài)下學(xué)習(xí)到的知識(shí)遷移到相似新任務(wù)中，并更新不確定任務(wù)本體模型。

語義策略本體模型是一種基于OWL[10]的知識(shí)庫，用于存儲(chǔ)具有語義功能的地圖、環(huán)境、任務(wù)和狀態(tài)，其功能包括規(guī)則推理、行為任務(wù)更新、實(shí)時(shí)維護(hù)等。如圖1所示，它是整個(gè)協(xié)同控制系統(tǒng)的底層框架。

圖1 無人機(jī)編隊(duì)協(xié)同控制框架

無人機(jī)編隊(duì)通過傳感器獲得的外部不確定信息進(jìn)行感知，生成不確定行為發(fā)生的概率和對行為控制的影響，并與策略規(guī)劃知識(shí)共同作為語義本體模型信息，為無人機(jī)行為識(shí)別模塊提供統(tǒng)一的規(guī)范化數(shù)據(jù)支持；感知行為、系統(tǒng)狀態(tài)和任務(wù)策略共同觸發(fā)協(xié)同控制條件；可視化界面用于操作人員與無人機(jī)之間的實(shí)時(shí)交互，更好地判斷無人機(jī)協(xié)同控制的系統(tǒng)狀態(tài)和參數(shù)信息；本體作為知識(shí)形式化表示的工具，能夠?yàn)楸尘爸R(shí)提供有效的概念和實(shí)例描述，實(shí)現(xiàn)融合語義的協(xié)同控制服務(wù)。

1.2 語義策略本體模型實(shí)現(xiàn)

語義策略本體的建模過程為：通過獲取傳感器的原始信息，生成無人機(jī)編隊(duì)環(huán)境感知本體、任務(wù)執(zhí)行本體和系統(tǒng)狀態(tài)本體，構(gòu)建相關(guān)概念、屬性、實(shí)例。模型如圖2所示。

圖2 語義策略本體模型

語義策略本體模型中，行為狀態(tài)本體描述無人機(jī)系統(tǒng)狀態(tài)，包括引擎狀態(tài)、位置狀態(tài)、姿態(tài)調(diào)整、速度調(diào)整等，通過實(shí)例關(guān)系獲取動(dòng)力學(xué)模型中的平尾偏角、矢量舵偏角及俯仰角、中心角等參數(shù)；環(huán)境本體是由傳感器及可視化地理信息系統(tǒng)結(jié)合所獲取的數(shù)據(jù)，主要針對地理環(huán)境的概念、實(shí)例和關(guān)系，包括氣象環(huán)境、地圖概念，其實(shí)例包含了從點(diǎn)、線、面到復(fù)雜地圖的環(huán)境現(xiàn)象的數(shù)據(jù)；任務(wù)策略本體針對當(dāng)前用戶指令智能判斷飛行策略，包括GPS導(dǎo)航、地圖搜索、飛行障礙物、飛行關(guān)鍵點(diǎn)、飛行目標(biāo)點(diǎn)等實(shí)例。

2 基于本體推理的態(tài)勢檢測方法

2.1 本體推理機(jī)制

通過Apache Jena API[11]獲取所有語義策略本體中的相關(guān)概念和實(shí)例，將基于OWL的語義策略本體模型轉(zhuǎn)化為貝葉斯網(wǎng)絡(luò)圖結(jié)構(gòu)，利用貝葉斯推理將檢測到的信息進(jìn)行綜合分析，生成可識(shí)別的數(shù)據(jù)交換格式，其代碼片段如下：

< MotorControl rdf : ID=“MotorControl _1”/>

< propulsion rdf: ID=“propulsion_1”>

0.855

< filtering rdf: ID=“filtering_1”>

0.519

0.365

0.736

其中：MotorControl_1表示單個(gè)無人機(jī)引擎狀態(tài)的實(shí)例，propulsion_1表示當(dāng)前狀態(tài)推進(jìn)力正常系數(shù)，0.855為正常系數(shù)概率；AttitudeControl_1表示姿態(tài)可達(dá)的實(shí)例，filtering表示卡爾曼濾波觀測數(shù)據(jù)，0.519為當(dāng)前系統(tǒng)的噪聲影響因素；PositionControl表示當(dāng)前系統(tǒng)的位置，Collocation表示共位參數(shù)，0.365表示位置共位的參數(shù)量值；Situation_1表示當(dāng)前時(shí)刻的態(tài)勢信息，0.736表示三種控制對感知的影響程度。

對于上述數(shù)據(jù)格式片段，設(shè)無人機(jī)A1的狀態(tài)推進(jìn)系數(shù)propulsion_1借助自定義規(guī)則connect_fact連接與其關(guān)聯(lián)的無人機(jī)A2，生成一個(gè)擴(kuò)展事實(shí)庫con_link。

String rule=“Construct{?p:relatesTo:Cryptography}

Where ”+“{{: propulsion_1?p: propulsion_2}union{: propulsion_2?p: propulsion_1}}” %將具有相連關(guān)系的事件逐項(xiàng)存儲(chǔ)

Repository repo=new SailRepository(new CustomGraphQueryInferencer(new MemoryStore(),QueryLanguage.SPARQL,rule, “”))

其中：con_link描述了將OWL文件轉(zhuǎn)化單個(gè)無人機(jī)在一個(gè)狀態(tài)參數(shù)下的關(guān)系，通過Jena推理引擎遍歷所有結(jié)點(diǎn)，對于簡單的事件則采用規(guī)則性推理，Jena推理引擎可以較好保證語義策略本體的完備性和有效性。而針對多無人機(jī)協(xié)同控制中的差異性和復(fù)雜性問題，則采用帶有條件概率分布的貝葉斯網(wǎng)絡(luò)的推理方法。

2.2 基于貝葉斯網(wǎng)絡(luò)的推理方法

貝葉斯網(wǎng)絡(luò)系統(tǒng)的主要功能是對語義策略本體的概念和實(shí)例進(jìn)行解析，通過構(gòu)建規(guī)則生成節(jié)點(diǎn)、邊和條件概率表，其步驟為：

第一步采用拉普拉斯平滑方法對檢測到的當(dāng)前事件數(shù)據(jù)進(jìn)行預(yù)處理，通過Jena API從任務(wù)策略本體中選擇與預(yù)處理后的當(dāng)前事件相匹配的概念節(jié)點(diǎn)x。

第二步根據(jù)獲取的信息更新擴(kuò)展該節(jié)點(diǎn)為x=(x1,x2,…,xn)并生成父節(jié)點(diǎn)C，

第三步通過OWL的實(shí)例關(guān)系生成因果關(guān)系邊，并形成條件概率分布文件(Conditional Probability Distribution, CPD)，如表1所示。

表1 條件概率分布表

由表1可知，F(xiàn)iltering存在f0、f1和 f2三種取值情況，即系統(tǒng)噪聲的卡爾曼濾波觀測值在完備、適合和不適合三種情況下影響多個(gè)無人機(jī)姿態(tài)可達(dá)、一般適應(yīng)、不可達(dá)三種結(jié)果；Collocation存在c0、c1和 c2三種取值情況，即共位參數(shù)在基于0.500的中間值影響多個(gè)無人機(jī)節(jié)點(diǎn)的位置，并使得無人機(jī)有影響較高、一般和較低三種結(jié)果。同理，Propulsion代表無人機(jī)推進(jìn)力影響因素的結(jié)果。采用貝葉斯網(wǎng)絡(luò)對不確定的感知信息進(jìn)行檢測，網(wǎng)絡(luò)中的結(jié)點(diǎn)代表感知的不確定信息對當(dāng)前任務(wù)和狀態(tài)的影響程度，對于當(dāng)前不確定信息的集合，采用貝葉斯網(wǎng)絡(luò)的方法可以檢測出當(dāng)前事件的概率，并更新語義策略本體模型。

3 基于個(gè)體激活期望的強(qiáng)化學(xué)習(xí)

為識(shí)別行為檢測模塊所檢測到的不確定性數(shù)據(jù)，使編隊(duì)不斷地向成員發(fā)送隊(duì)形變換及周邊信息，更新當(dāng)前行為狀態(tài)，提出基于個(gè)體激活期望值的強(qiáng)化學(xué)習(xí)方法?；舅悸肥菍?dāng)前無人機(jī)編隊(duì)系統(tǒng)作為學(xué)習(xí)網(wǎng)絡(luò)Ginti，語義策略本體模型作為指導(dǎo)網(wǎng)絡(luò)S，單個(gè)無人機(jī)成員作為Ginti中的一個(gè)結(jié)點(diǎn)，通過結(jié)點(diǎn)和邊對系統(tǒng)的期望值生成關(guān)于Ginti的最大化期望網(wǎng)絡(luò)Gmax，并強(qiáng)制學(xué)習(xí)指導(dǎo)網(wǎng)絡(luò)S在每個(gè)狀態(tài)下的行為，最后將學(xué)習(xí)到的知識(shí)遷移到相似的新任務(wù)中，實(shí)時(shí)更新具有概率擴(kuò)展的指導(dǎo)網(wǎng)絡(luò)S。

3.1 個(gè)體激活期望值計(jì)算

設(shè)任意一臺(tái)無人機(jī)的期望位置的閾值向量為δv，每臺(tái)無人機(jī)為學(xué)習(xí)網(wǎng)絡(luò)Ginti中的一個(gè)結(jié)點(diǎn)，根據(jù)結(jié)點(diǎn)間的激活期望估算和貝葉斯網(wǎng)絡(luò)中的聯(lián)合分布概率的權(quán)重計(jì)算最大化期望程度。

定義1(邊激活期望值計(jì)算)：設(shè)v為無人機(jī)學(xué)習(xí)網(wǎng)絡(luò)Ginti中任意處于未激活的單個(gè)無人機(jī)結(jié)點(diǎn)。IN(v)為v的處于激活狀態(tài)的入鄰居結(jié)點(diǎn)集合。設(shè)u是v的任意處于未激活的入結(jié)點(diǎn)。則結(jié)點(diǎn)u通過邊e(u,v)對v的期望值計(jì)算記為GH(u,v)：

(1)

定義2(結(jié)點(diǎn)激活期望值計(jì)算)：設(shè)OUT(v)為結(jié)點(diǎn)v的出邊鄰居集合，v的l步期望貢獻(xiàn)值為GHl(v)(l≥2)，計(jì)算為：

(2)

3.2 強(qiáng)化學(xué)習(xí)方法

當(dāng)網(wǎng)絡(luò)中結(jié)點(diǎn)和邊激活，得到了最大期望程度的網(wǎng)絡(luò)Gmax={G1,G2,…,GN}后，可以通過輸出Q值波爾茲曼分布將指導(dǎo)網(wǎng)絡(luò)S={S1,S2,…,SN}，即本體網(wǎng)絡(luò)轉(zhuǎn)換成為一個(gè)策略網(wǎng)絡(luò)。

(3)

式中：τ表示影響因子，ASi表示指導(dǎo)網(wǎng)絡(luò)Si的動(dòng)作空間，對于最大期望網(wǎng)絡(luò)Gmax中的每一個(gè)狀態(tài)，根據(jù)學(xué)習(xí)網(wǎng)絡(luò)策略和指導(dǎo)網(wǎng)絡(luò)策略之間的交叉熵定義一個(gè)策略回歸目標(biāo)函數(shù)。

(4)

式中：πAMN(a|Gmax;θ)表示用于指導(dǎo)當(dāng)前學(xué)習(xí)網(wǎng)絡(luò)Gmax的行為，指導(dǎo)網(wǎng)絡(luò)的輸出策略為一個(gè)穩(wěn)定的監(jiān)督訓(xùn)練信號，不斷指導(dǎo)當(dāng)前網(wǎng)絡(luò)的行為向指導(dǎo)網(wǎng)絡(luò)的行為靠攏。

3.3 算法實(shí)現(xiàn)

輸入：網(wǎng)絡(luò)Ginti(V,E)，關(guān)聯(lián)初始化集合長度k

輸出：更新后的語義策略本體S和Gmax

1.由隨機(jī)期望閾值向量δ確定網(wǎng)路實(shí)例g(v,e(u,v))∈G，Gmax←φ

2.for eachg∈Gdo

3.以g作為任意一個(gè)初始化待被期望激活的集合，對于g中每一個(gè)結(jié)點(diǎn)v∈V，從貝葉斯概率分布表中獲取其入邊權(quán)重wu,v。

4.end for

5.while(|gi|

6.通過式(1)計(jì)算邊激活期望值GH(u,v)

7.通過式(2)計(jì)算結(jié)點(diǎn)激活期望值GHl(v)

8.end for

9.forv∈Vdo

11.end for

12.v←argmaxv∈V/SiEGH(v) 獲取最大期望結(jié)點(diǎn)

13.Gmax←Gmax∪{v}求解最大期望網(wǎng)絡(luò)Gmax

14. end while

15.通過式(3)將指導(dǎo)網(wǎng)絡(luò)S轉(zhuǎn)換成策略網(wǎng)絡(luò)

16.求解策略回歸目標(biāo)函數(shù)式(4)

17.更新當(dāng)前的任務(wù)策略本體模型S

18.returnS,Gmax

以上算法首先隨機(jī)選擇未被期望激活的結(jié)點(diǎn)v1，當(dāng)步長l=2時(shí)，根據(jù)式(1)和式(2)可得GH2(v1)=0.347，GH2(v2)=1.252，GH2(v3)=0.548，GH2(v4)=0.378，GH2(v5)=0.195，此時(shí)選取激活期望值最大的結(jié)點(diǎn)v2作為激活期望結(jié)點(diǎn)，由于v2對v3和v4具有影響，當(dāng)v2激活后，其指向v3和v4的有向邊激活期望值發(fā)生了改變。因此重新計(jì)算這些邊和未激活結(jié)點(diǎn)的期望值，并取期望值最大的結(jié)點(diǎn)作為激活結(jié)點(diǎn)，形成一個(gè)最大期望網(wǎng)絡(luò)Gmax。最后，通過式(3)和式(4)，求解策略回歸目標(biāo)函數(shù)，更新當(dāng)前的任務(wù)本體S。

4 仿真結(jié)果與分析

仿真實(shí)驗(yàn)在netlogo平臺(tái)上驗(yàn)證所提出方法的有效性，應(yīng)用4臺(tái)無人機(jī)在高度為200米，背景在不確定海洋環(huán)境下，增加風(fēng)雨?duì)顟B(tài)進(jìn)行仿真，仿真時(shí)間為60秒，每隔采樣周期為5秒。

實(shí)驗(yàn)數(shù)據(jù)來源于某船舶自動(dòng)識(shí)別系統(tǒng)(Automatic identification System , AIS)，由岸基設(shè)備和船載設(shè)備數(shù)據(jù)構(gòu)成，包括風(fēng)雨場景的各項(xiàng)已有真實(shí)數(shù)據(jù)。與真實(shí)場景相比其區(qū)別在于該實(shí)驗(yàn)可以對場景進(jìn)行隨機(jī)布置，減少實(shí)驗(yàn)平衡狀態(tài)的仿真時(shí)間。實(shí)驗(yàn)中，由于網(wǎng)絡(luò)中存在數(shù)據(jù)不平衡等問題，應(yīng)對超出預(yù)測范圍的特征干擾，即策略本體庫中沒有出現(xiàn)的實(shí)例，直接采用隨機(jī)方式會(huì)嚴(yán)重影響控制效果。為此，采用拉普拉斯平滑方法對檢測到的當(dāng)前事件數(shù)據(jù)進(jìn)行預(yù)處理。另外，為提高仿真實(shí)驗(yàn)的實(shí)用性和合理性，消除數(shù)據(jù)檢測隨機(jī)誤差的影響，實(shí)驗(yàn)重復(fù)10次后取平均值作為最終結(jié)果。

4.1 關(guān)鍵點(diǎn)可達(dá)控制分析

4臺(tái)無人機(jī)初始位置隨機(jī)設(shè)置，每臺(tái)無人機(jī)接收到飛行信息后，根據(jù)設(shè)定的目標(biāo)關(guān)鍵點(diǎn)進(jìn)行期望位置飛行。圖3(a)中4臺(tái)無人機(jī)從任意位置開始，由語義策略本體引導(dǎo)成員向目標(biāo)關(guān)鍵點(diǎn)飛行，通過傳感器獲取不確定信息進(jìn)行感知，生成行為發(fā)生的概率為行為識(shí)別提供統(tǒng)一格式的數(shù)據(jù)。圖3(b)中的箭頭即為個(gè)體成員激活期望值所生成的期望方向，并最終形成一個(gè)菱形編隊(duì)，實(shí)現(xiàn)關(guān)鍵目標(biāo)點(diǎn)可達(dá)的效果。

圖3 編隊(duì)控制過程

由圖4(a)可知，通過融合語義的編隊(duì)協(xié)同控制方法，4臺(tái)無人機(jī)相對距離誤差逐漸減小。在25秒之前，無人機(jī)1保持飛行速度大于無人機(jī)2、3、4的狀態(tài)；直到25秒后，4臺(tái)無人機(jī)系統(tǒng)趨于穩(wěn)定，同時(shí)以相同的姿態(tài)和位置漸進(jìn)飛行。圖4(b)進(jìn)一步描述了編隊(duì)成員之間變化情況，任意兩臺(tái)無人機(jī)成員之間的距離能夠快速收斂并趨于穩(wěn)定值，且形成菱形編隊(duì)穩(wěn)定距離值。這是由于當(dāng)編隊(duì)系統(tǒng)在生成OWL語義策略本體后實(shí)時(shí)轉(zhuǎn)化為貝葉斯網(wǎng)絡(luò)分析判斷編隊(duì)運(yùn)行狀態(tài)，并對整個(gè)系統(tǒng)的協(xié)作狀態(tài)進(jìn)行觸發(fā)糾正。在實(shí)際工程應(yīng)用中，當(dāng)1臺(tái)無人機(jī)飛行狀態(tài)因外界或內(nèi)部因素偏離時(shí)，通過結(jié)點(diǎn)和邊激活期望值的計(jì)算激活當(dāng)前成員，強(qiáng)制學(xué)習(xí)當(dāng)前指導(dǎo)網(wǎng)絡(luò)的期望目標(biāo)，并實(shí)時(shí)更新語義策略本體的實(shí)例庫。

(a) 各機(jī)與目標(biāo)關(guān)鍵點(diǎn)距離

(b) 各機(jī)之間的距離

4.2 障礙物規(guī)避控制

如圖5所示，無人機(jī)編隊(duì)可以有效規(guī)避障礙威脅，并且飛行軌跡彎曲較小、過渡平滑，成員之間操作靈活，等障礙物解除后，又迅速恢復(fù)到原有編隊(duì)形態(tài)。這是因?yàn)楦兄牟淮_定信息經(jīng)過貝葉斯網(wǎng)絡(luò)的推理及個(gè)體期望貢獻(xiàn)強(qiáng)化學(xué)習(xí)算法應(yīng)用，更新了具有概率擴(kuò)展的語義策略本體，可以在較短的時(shí)間內(nèi)檢測不確定數(shù)據(jù)，實(shí)現(xiàn)障礙物規(guī)避并保持編隊(duì)飛行控制的穩(wěn)定性。表2給出了不確定環(huán)境下編隊(duì)協(xié)同控制輸出結(jié)果。

圖5 無人機(jī)編隊(duì)障礙物規(guī)避控制

表2 不確定環(huán)境下無人機(jī)編隊(duì)協(xié)同控制輸出結(jié)果

表2顯示系統(tǒng)的關(guān)鍵目標(biāo)點(diǎn)是否可達(dá)事件在第60秒開始發(fā)生，v3、v1結(jié)點(diǎn)的無人機(jī)發(fā)生關(guān)鍵點(diǎn)不可達(dá)的概率為0.46，經(jīng)過本文方法計(jì)算GH值形成一個(gè)最大期望網(wǎng)絡(luò)并更新本體模型。同時(shí)，從工程實(shí)用性角度來說，本文算法每隔5秒獲取一次輸出結(jié)果，對于相似的任務(wù)可以由任務(wù)策略本體直接觸發(fā)，從而減少計(jì)算量，保證數(shù)據(jù)的合理性和科學(xué)性。

4.3 比較分析

采用代價(jià)函數(shù)(Cost Function)[13]進(jìn)一步說明無人機(jī)編隊(duì)協(xié)同控制性能，它是通過進(jìn)化曲線測量無人機(jī)編隊(duì)協(xié)同控制性能的重要指標(biāo)。將本文方法與鴿群算法[14-15]、multi-agent算法[3]進(jìn)行比較，結(jié)果如圖6所示。由圖6可以發(fā)現(xiàn)本文方法收斂速度較快，在第6代時(shí)達(dá)到了收斂，得到最優(yōu)的目標(biāo)解。這是由于在個(gè)體激活期望值計(jì)算時(shí)，學(xué)習(xí)網(wǎng)絡(luò)策略和指導(dǎo)網(wǎng)絡(luò)策略之間的交叉嫡定義了策略回歸目標(biāo)函數(shù)，輸出了一個(gè)穩(wěn)定的監(jiān)督訓(xùn)練信號，各個(gè)體之間可以在工程實(shí)際應(yīng)用中趨于穩(wěn)定一致的狀態(tài)；而鴿群算法在第30代才達(dá)到收斂穩(wěn)定，沒有本文方法效果好；multi-angent算法系統(tǒng)性地解決了局部最優(yōu)的問題，但隨著迭代次數(shù)的增加陷入了不穩(wěn)定狀態(tài)。

圖6 基于代價(jià)函數(shù)的編隊(duì)控制進(jìn)化曲線

5 結(jié) 語

本文針對無人機(jī)編隊(duì)感知行為、系統(tǒng)狀態(tài)和任務(wù)規(guī)劃等不確定性問題，從信息處理的角度出發(fā)提出了一種具有不確定環(huán)境檢測、不確定行為識(shí)別和語義策略本體模型的無人機(jī)編隊(duì)協(xié)同控制框架，實(shí)現(xiàn)了基于本體推理的態(tài)勢檢測方法和基于個(gè)體激活期望值的強(qiáng)化學(xué)習(xí)方法。該方法不僅可以使任意兩臺(tái)無人機(jī)相對距離收斂穩(wěn)定，還可以判斷關(guān)鍵點(diǎn)可達(dá)和障礙物規(guī)避，對于復(fù)雜海洋環(huán)境下的目標(biāo)搜索、搶險(xiǎn)救援有著重要意義。下一步將考慮更多無人機(jī)數(shù)量進(jìn)行仿真，進(jìn)一步優(yōu)化無人機(jī)網(wǎng)絡(luò)的學(xué)習(xí)算法，結(jié)合云計(jì)算和大數(shù)據(jù)平臺(tái)優(yōu)化編隊(duì)控制性能，以提高協(xié)同控制的效率。