多無(wú)人機(jī)協(xié)同空戰(zhàn)任務(wù)規(guī)劃仿真系統(tǒng)

王國(guó)強(qiáng),陳宇軒,馬瀅瀅,蔣儒浩,王浩丞,羅 賀

(1.合肥工業(yè)大學(xué)管理學(xué)院,合肥 230009;2.過(guò)程優(yōu)化與智能決策教育部重點(diǎn)實(shí)驗(yàn)室,合肥 230009;3.智能互聯(lián)系統(tǒng)安徽省實(shí)驗(yàn)室,合肥 230009)

0 引言

隨著無(wú)人機(jī)性能的提升,利用多架無(wú)人機(jī)相互協(xié)同執(zhí)行無(wú)人機(jī)對(duì)抗無(wú)人機(jī)、無(wú)人機(jī)對(duì)抗有人機(jī)等復(fù)雜空戰(zhàn)任務(wù)已得到各國(guó)軍方的關(guān)注[1-2]。任務(wù)規(guī)劃方法是多無(wú)人機(jī)協(xié)同空戰(zhàn)過(guò)程中的核心關(guān)鍵技術(shù)之一,有效的任務(wù)規(guī)劃方法能夠使多無(wú)人機(jī)形成有效的戰(zhàn)術(shù)戰(zhàn)法[3]、采取合理的目標(biāo)分配方案[4],從而提高多無(wú)人機(jī)協(xié)同的整體作戰(zhàn)效能。

為驗(yàn)證多無(wú)人機(jī)協(xié)同空戰(zhàn)任務(wù)規(guī)劃算法的有效性,若采用真實(shí)無(wú)人機(jī)用于任務(wù)規(guī)劃算法的演練與驗(yàn)證,將會(huì)面臨維護(hù)費(fèi)用高、運(yùn)行風(fēng)險(xiǎn)大、保障措施復(fù)雜等一系列問(wèn)題[5],對(duì)此,研究人員主要通過(guò)數(shù)值實(shí)驗(yàn)方式對(duì)運(yùn)籌優(yōu)化[6-7]、博弈決策[8]、強(qiáng)化學(xué)習(xí)[9-11]等不同類型的多無(wú)人機(jī)協(xié)同空戰(zhàn)任務(wù)規(guī)劃算法進(jìn)行有效性驗(yàn)證。然而,上述數(shù)值實(shí)驗(yàn)的驗(yàn)證方式對(duì)無(wú)人機(jī)的飛控、火控模型做出了較大簡(jiǎn)化,難以精細(xì)模擬多架無(wú)人機(jī)協(xié)同空戰(zhàn)的實(shí)際過(guò)程。因此,研發(fā)多無(wú)人機(jī)協(xié)同空戰(zhàn)任務(wù)規(guī)劃仿真系統(tǒng),在虛擬的空戰(zhàn)環(huán)境中構(gòu)建交戰(zhàn)雙方的飛機(jī)、武器等實(shí)體,模擬多無(wú)人機(jī)的協(xié)同飛行、戰(zhàn)術(shù)執(zhí)行和目標(biāo)分配等空戰(zhàn)過(guò)程,對(duì)節(jié)約研究成本、有效驗(yàn)證任務(wù)規(guī)劃算法具有重要意義。

目前已有一些針對(duì)空戰(zhàn)仿真系統(tǒng)的研究。在有人機(jī)空戰(zhàn)仿真系統(tǒng)研究方面,王領(lǐng)等[12]基于開源仿真軟件FlightGear和通用仿真軟件Matlab,研發(fā)了一種空戰(zhàn)任務(wù)可視化仿真系統(tǒng),通過(guò)網(wǎng)絡(luò)將各模擬座艙連接,能夠?qū)崿F(xiàn)多架有人機(jī)的對(duì)抗仿真。Gosse等[13]研發(fā)了一種嵌入式訓(xùn)練空戰(zhàn)仿真系統(tǒng),該系統(tǒng)能夠采集飛行員的操作信號(hào)并輸入到各種航電設(shè)備,最后反饋給仿真環(huán)境,使飛行員能夠通過(guò)對(duì)抗多類虛擬部隊(duì)進(jìn)行空戰(zhàn)訓(xùn)練。在無(wú)人機(jī)對(duì)抗有人機(jī)的空戰(zhàn)仿真系統(tǒng)研究方面,Shin等[14]在商用飛行模擬器X-Plane基礎(chǔ)上進(jìn)行二次開發(fā),實(shí)現(xiàn)了1架無(wú)人機(jī)對(duì)抗1架有人機(jī)的空戰(zhàn)仿真。Yuan等[15]研發(fā)了空戰(zhàn)戰(zhàn)術(shù)決策仿真系統(tǒng),該系統(tǒng)包含多種戰(zhàn)術(shù)機(jī)動(dòng)、火控模型,能夠?qū)崿F(xiàn)1架無(wú)人機(jī)對(duì)抗1架有人機(jī)的空戰(zhàn)戰(zhàn)術(shù)機(jī)動(dòng)仿真。在無(wú)人機(jī)空戰(zhàn)仿真系統(tǒng)研究方面,盧銳軒等[16]在傳統(tǒng)空戰(zhàn)仿真系統(tǒng)基礎(chǔ)上,通過(guò)改造智能體與仿真平臺(tái)的交互接口,構(gòu)建了1對(duì)1的無(wú)人機(jī)空戰(zhàn)智能自博弈平臺(tái),能夠支持對(duì)基于人工智能的機(jī)動(dòng)決策算法的訓(xùn)練和驗(yàn)證。王國(guó)強(qiáng)等[17]基于VR-Forces仿真引擎,構(gòu)建了一種分布式的無(wú)人機(jī)編隊(duì)協(xié)同任務(wù)規(guī)劃仿真系統(tǒng),能夠仿真無(wú)人機(jī)對(duì)抗無(wú)人機(jī)的協(xié)同空戰(zhàn)任務(wù)規(guī)劃過(guò)程,支持多類的任務(wù)規(guī)劃算法的驗(yàn)證,并提供仿真過(guò)程的二維場(chǎng)景展示。

然而,上述空戰(zhàn)仿真系統(tǒng)的用途相對(duì)比較聚焦、功能相對(duì)有限,難以滿足多種復(fù)雜場(chǎng)景下的多無(wú)人機(jī)協(xié)同空戰(zhàn)任務(wù)規(guī)劃仿真需求,例如:既能支持無(wú)人機(jī)對(duì)抗無(wú)人機(jī)、又能支持無(wú)人機(jī)對(duì)抗有人機(jī);既能支持不同語(yǔ)言開發(fā)的任務(wù)規(guī)劃算法的驗(yàn)證,又能支持基于人工智能的任務(wù)規(guī)劃算法的訓(xùn)練。對(duì)此,基于VR-Forces仿真引擎,設(shè)計(jì)了一種通用的多無(wú)人機(jī)協(xié)同空戰(zhàn)任務(wù)規(guī)劃仿真系統(tǒng),主要?jiǎng)?chuàng)新點(diǎn)如下:

1) 設(shè)計(jì)并開發(fā)了算法庫(kù)模塊,能夠?qū)Χ囝悺⒍喾N算法進(jìn)行統(tǒng)一管理,可以兼容多種編程語(yǔ)言實(shí)現(xiàn)的算法,具備算法的封裝、調(diào)用、添加和修改等功能。

2) 在紅、藍(lán)、白三方子系統(tǒng)的基礎(chǔ)上,設(shè)計(jì)并開發(fā)了強(qiáng)化學(xué)習(xí)算法子系統(tǒng),建立了強(qiáng)化學(xué)習(xí)算法子系統(tǒng)與紅方/藍(lán)方子系統(tǒng)間的數(shù)據(jù)交互機(jī)制,能夠支持基于強(qiáng)化學(xué)習(xí)的多無(wú)人機(jī)協(xié)同空戰(zhàn)任務(wù)分配算法的訓(xùn)練與驗(yàn)證。

3) 提出了人機(jī)交互關(guān)鍵技術(shù),實(shí)現(xiàn)了使用模擬座艙物理連接的人在環(huán)路仿真,能夠真實(shí)有效地模擬飛行員操控有人機(jī)飛行和攻擊目標(biāo),從而支持無(wú)人機(jī)對(duì)抗有人機(jī)的空戰(zhàn)模式。

1 多無(wú)人機(jī)協(xié)同空戰(zhàn)任務(wù)規(guī)劃過(guò)程分析

多無(wú)人機(jī)協(xié)同空戰(zhàn)是一個(gè)復(fù)雜的博弈過(guò)程,中間涉及到多個(gè)決策環(huán)節(jié),包括戰(zhàn)術(shù)決策、目標(biāo)分配和重決策等等。記紅方為R方,藍(lán)方為B方,R方有m個(gè)無(wú)人機(jī),B方有n個(gè)無(wú)人機(jī),具體任務(wù)規(guī)劃過(guò)程分析如下。

1.1 多無(wú)人機(jī)協(xié)同空戰(zhàn)戰(zhàn)術(shù)決策過(guò)程分析

戰(zhàn)術(shù)決策是多無(wú)人機(jī)協(xié)同空戰(zhàn)中重要的宏觀性決策環(huán)節(jié),一般發(fā)生于目標(biāo)分配之前。在戰(zhàn)術(shù)決策時(shí),需要在對(duì)整個(gè)空戰(zhàn)態(tài)勢(shì)深入分析和對(duì)作戰(zhàn)對(duì)象威脅程度充分理解的前提下,采取如包夾攻擊、誘敵等戰(zhàn)術(shù)策略以保證我方無(wú)人機(jī)安全、高效地完成作戰(zhàn)任務(wù)[7,18]?；诓┺牡乃枷?將多無(wú)人機(jī)協(xié)同空戰(zhàn)戰(zhàn)術(shù)決策問(wèn)題構(gòu)建為一個(gè)博弈模型G=(SR,SB,U),具體如下:

1.2 多無(wú)人機(jī)協(xié)同空戰(zhàn)目標(biāo)分配過(guò)程分析

當(dāng)對(duì)抗雙方執(zhí)行所決策的戰(zhàn)術(shù)方案進(jìn)入彼此的探測(cè)范圍后,紅方無(wú)人機(jī)需要通過(guò)解析對(duì)抗過(guò)程中獲取到的數(shù)據(jù),計(jì)算敵我雙方空戰(zhàn)態(tài)勢(shì),在此基礎(chǔ)上,制定紅方無(wú)人機(jī)的目標(biāo)分配方案,以指導(dǎo)每個(gè)無(wú)人機(jī)在后續(xù)對(duì)抗過(guò)程中對(duì)抗相應(yīng)的目標(biāo)[19-22]?；诩{什均衡博弈的思想,將R方和B方作為博弈的參與人,將多無(wú)人機(jī)協(xié)同空戰(zhàn)目標(biāo)分配問(wèn)題建模為雙矩陣博弈模型G=(SR,SB,U),具體如下:

1.3 多無(wú)人機(jī)協(xié)同空戰(zhàn)重決策過(guò)程分析

由于多無(wú)人機(jī)協(xié)同空戰(zhàn)環(huán)境中存在大量的動(dòng)態(tài)性和不確定性,導(dǎo)致先前制定好的決策方案可能隨著對(duì)抗的進(jìn)行不再適用當(dāng)前環(huán)境,需要根據(jù)復(fù)雜的戰(zhàn)場(chǎng)環(huán)境找準(zhǔn)改變當(dāng)前決策的關(guān)鍵時(shí)機(jī)點(diǎn)T,在T時(shí)刻進(jìn)行重決策并進(jìn)行后續(xù)對(duì)抗,從而在對(duì)抗過(guò)程中占據(jù)優(yōu)勢(shì),重復(fù)上述過(guò)程直至對(duì)抗結(jié)束[23-25]?；隈R爾可夫決策過(guò)程理論,將多無(wú)人機(jī)協(xié)同空戰(zhàn)重決策問(wèn)題建模為馬爾可夫決策模型M=〈S,A,Ps,a,F〉,具體如下:

①S:為無(wú)人機(jī)狀態(tài)空間,包含了所有可能達(dá)到的狀態(tài)s∈S,其中s=(sR1,sR2,…,sRm,sB1,sB2,…,sBn),由m個(gè)紅方無(wú)人機(jī)狀態(tài)數(shù)據(jù)和n個(gè)藍(lán)方無(wú)人機(jī)狀態(tài)數(shù)據(jù)組成。

②A:為重決策動(dòng)作空間,包含了可能采取的重決策動(dòng)作a∈A,其中a=1表示進(jìn)行重決策,a=0表示不進(jìn)行重決策,即保持當(dāng)前決策方案不變。

③Ps,a:為執(zhí)行動(dòng)作a時(shí)由當(dāng)前狀態(tài)s轉(zhuǎn)移到下一狀態(tài)s′的概率。

④F:為當(dāng)前狀態(tài)s下采取某個(gè)重決策動(dòng)作a后的期望獎(jiǎng)勵(lì)回報(bào)E[F|s,a]。

2 總體設(shè)計(jì)

VR-Forces仿真引擎是美國(guó)MAK公司開發(fā)的國(guó)際領(lǐng)先仿真工具,具備簡(jiǎn)單易用的圖形接口、大量仿真實(shí)體模型和一套面向?qū)ο蟮腁PI程序接口,并且支持分布式交互仿真;同時(shí),自帶成熟的地形建模工具,可以根據(jù)需求靈活創(chuàng)建仿真場(chǎng)景,為多無(wú)人機(jī)協(xié)同空戰(zhàn)仿真提供了有力支持[26]。針對(duì)多無(wú)人機(jī)協(xié)同空戰(zhàn)任務(wù)規(guī)劃仿真系統(tǒng)的實(shí)際需求,本研究結(jié)合VR-Forces仿真引擎特點(diǎn),設(shè)計(jì)了多無(wú)人機(jī)協(xié)同空戰(zhàn)任務(wù)規(guī)劃仿真系統(tǒng)體系架構(gòu),如圖1所示。

圖1 多無(wú)人機(jī)協(xié)同空戰(zhàn)任務(wù)規(guī)劃仿真系統(tǒng)的體系架構(gòu)

該系統(tǒng)架構(gòu)由紅方子系統(tǒng)、藍(lán)方子系統(tǒng)、白方子系統(tǒng)以及強(qiáng)化學(xué)習(xí)算法訓(xùn)練子系統(tǒng)等4部分構(gòu)成,支持無(wú)人機(jī)對(duì)抗無(wú)人機(jī)、無(wú)人機(jī)對(duì)抗有人機(jī)等多種空戰(zhàn)模式。其中,紅方子系統(tǒng)和藍(lán)方子系統(tǒng)擁有相同的架構(gòu),可以根據(jù)空戰(zhàn)模式靈活配置,所有子系統(tǒng)采用分布式架構(gòu)在同一局域網(wǎng)下進(jìn)行通信。

2.1 紅方/藍(lán)方子系統(tǒng)

紅方/藍(lán)方子系統(tǒng)負(fù)責(zé)對(duì)己方無(wú)人機(jī)或有人機(jī)的仿真,其內(nèi)部模塊具體內(nèi)容如下:

1) VR-Forces仿真引擎:作為仿真系統(tǒng)的核心基礎(chǔ)組件,負(fù)責(zé)無(wú)人機(jī)/有人機(jī)的動(dòng)力學(xué)、感知、毀傷等模型的仿真,仿真時(shí)間同步以及子系統(tǒng)間的網(wǎng)絡(luò)通信。

2) 紅方/藍(lán)方視景展示模塊:以紅方/藍(lán)方的視角,展示雙方無(wú)人機(jī)/有人機(jī)的狀態(tài)信息以及雙方對(duì)抗過(guò)程。

3) 算法庫(kù):支持對(duì)任務(wù)規(guī)劃算法的封裝、選擇、調(diào)用以及新算法的添加,現(xiàn)有任務(wù)規(guī)劃算法包括戰(zhàn)術(shù)決策、目標(biāo)分配和重決策等算法。

4) 戰(zhàn)術(shù)決策模塊:通過(guò)調(diào)用算法庫(kù)中的戰(zhàn)術(shù)決策算法,得到相應(yīng)的戰(zhàn)術(shù)方案,并發(fā)送給VR-Forces仿真引擎去執(zhí)行。

5) 目標(biāo)分配模塊:通過(guò)調(diào)用算法庫(kù)中的目標(biāo)分配算法,得到相應(yīng)的目標(biāo)分配方案,并發(fā)送給VR-Forces仿真引擎去執(zhí)行。

6) 重決策模塊:調(diào)用算法庫(kù)中的重決策算法,確定戰(zhàn)術(shù)決策、目標(biāo)分配等模塊的調(diào)用時(shí)機(jī)。

7) 人機(jī)交互模塊:通過(guò)屏幕和VR眼鏡,以駕駛艙第一視角的方式向操作員展示有人機(jī)自身、友機(jī)與敵機(jī)的狀態(tài)信息;同時(shí),通過(guò)油門桿、駕駛桿、觸摸屏等輸入設(shè)備,操作員可以實(shí)時(shí)地對(duì)仿真系統(tǒng)中的有人機(jī)進(jìn)行飛行控制、選擇目標(biāo)進(jìn)行攻擊等操作。

2.2 白方子系統(tǒng)

白方子系統(tǒng)負(fù)責(zé)仿真的全局配置和展示,通過(guò)運(yùn)行VR-Forces仿真引擎和系統(tǒng)內(nèi)部模塊實(shí)現(xiàn)對(duì)紅藍(lán)雙方對(duì)抗全過(guò)程的仿真。白方子系統(tǒng)內(nèi)部模塊的具體內(nèi)容如下:

1) 白方視景展示模塊:在仿真過(guò)程中,以二維或者三維的方式實(shí)時(shí)展示紅藍(lán)雙方對(duì)抗過(guò)程,同時(shí)可以查看雙方有人機(jī)/無(wú)人機(jī)的全部信息。

2) 場(chǎng)景管理模塊:負(fù)責(zé)對(duì)任務(wù)場(chǎng)景的創(chuàng)建、加載、修改以及保存。針對(duì)不同任務(wù)需求創(chuàng)建不同的任務(wù)場(chǎng)景文件,以實(shí)現(xiàn)對(duì)多無(wú)人機(jī)協(xié)同空戰(zhàn)進(jìn)行仿真。每個(gè)場(chǎng)景文件包括仿真地形、紅藍(lán)雙方實(shí)體狀態(tài)等信息。

3) 批處理模塊:通過(guò)設(shè)置任務(wù)場(chǎng)景、仿真次數(shù)以及單局對(duì)抗時(shí)間,可以實(shí)現(xiàn)在無(wú)人工干預(yù)的情況下,多次對(duì)同一場(chǎng)景進(jìn)行仿真。通過(guò)與強(qiáng)化學(xué)習(xí)算法訓(xùn)練子系統(tǒng)搭配使用可以實(shí)現(xiàn)對(duì)強(qiáng)化學(xué)習(xí)算法進(jìn)行大批量的訓(xùn)練學(xué)習(xí)。同時(shí),批處理模塊包含日志回放功能,可以實(shí)現(xiàn)對(duì)仿真過(guò)程的數(shù)據(jù)記錄及回放。

4) 仿真控制模塊:可以控制仿真的開始、暫停和退出,也可以控制仿真的加速和減速,支持在0.5倍速至16倍速間的仿真。

5) VR-Forces仿真引擎:根據(jù)場(chǎng)景管理、批處理和仿真控制等模塊中的參數(shù)配置對(duì)仿真過(guò)程進(jìn)行管理;獲取無(wú)人機(jī)、有人機(jī)的狀態(tài)信息;驅(qū)動(dòng)白方視景展示模塊展示仿真對(duì)抗全過(guò)程。

2.3 強(qiáng)化學(xué)習(xí)算法訓(xùn)練子系統(tǒng)

強(qiáng)化學(xué)習(xí)算法訓(xùn)練子系統(tǒng)基于python語(yǔ)言開發(fā),負(fù)責(zé)對(duì)強(qiáng)化學(xué)習(xí)算法進(jìn)行訓(xùn)練與學(xué)習(xí),并集成了TensorFlow、PyTorch等工具。該子系統(tǒng)由以下5個(gè)模塊組成:

1) 數(shù)據(jù)接收模塊:接收紅方/藍(lán)方子系統(tǒng)發(fā)送的數(shù)據(jù),提取數(shù)據(jù)并進(jìn)行格式轉(zhuǎn)換。

2) 數(shù)據(jù)預(yù)處理模塊:對(duì)數(shù)據(jù)進(jìn)行預(yù)處理,包括數(shù)據(jù)過(guò)濾、數(shù)據(jù)歸一化和數(shù)據(jù)補(bǔ)全等功能,處理后的數(shù)據(jù)作為強(qiáng)化學(xué)習(xí)算法模塊的輸入。

3) 獎(jiǎng)勵(lì)計(jì)算模塊:對(duì)獲取數(shù)據(jù)進(jìn)行解析,采用預(yù)設(shè)的獎(jiǎng)勵(lì)計(jì)算方法得到獎(jiǎng)勵(lì)回報(bào)值,用于對(duì)強(qiáng)化學(xué)習(xí)算法參數(shù)的迭代更新。

4) 強(qiáng)化學(xué)習(xí)算法模塊:加載待訓(xùn)練的強(qiáng)化學(xué)習(xí)算法,通過(guò)切換不同算法實(shí)現(xiàn)對(duì)多個(gè)強(qiáng)化學(xué)習(xí)算法的訓(xùn)練學(xué)習(xí),負(fù)責(zé)輸出決策方案到數(shù)據(jù)發(fā)送模塊以及算法的迭代更新等。

5) 數(shù)據(jù)發(fā)送模塊:將數(shù)據(jù)進(jìn)行格式轉(zhuǎn)換,并發(fā)送到紅方/藍(lán)方子系統(tǒng)中。

3 關(guān)鍵技術(shù)

本研究中設(shè)計(jì)的多無(wú)人機(jī)協(xié)同空戰(zhàn)任務(wù)規(guī)劃仿真系統(tǒng)中主要包括3個(gè)關(guān)鍵技術(shù),具體介紹如下。

3.1 算法庫(kù)設(shè)計(jì)

為了便于大量算法的統(tǒng)一管理以及新算法的添加,在紅方/藍(lán)方子系統(tǒng)中設(shè)計(jì)了一種具有多層邏輯架構(gòu)的算法庫(kù),如圖2所示。

圖2 算法庫(kù)的多層邏輯架構(gòu)示意圖

多無(wú)人機(jī)協(xié)同空戰(zhàn)任務(wù)規(guī)劃仿真系統(tǒng)算法庫(kù)中的算法在邏輯架構(gòu)上分為4層。其中,第1層為算法庫(kù)的入口;第2層為解決空戰(zhàn)過(guò)程中某個(gè)關(guān)鍵決策問(wèn)題的算法;第3層為求解相應(yīng)關(guān)鍵決策問(wèn)題的不同種類的算法;第4層為某個(gè)類型算法下的多個(gè)具體算法。其中,第4層中相同類型的算法具有統(tǒng)一的輸入輸出接口,可直接進(jìn)行相互替換,例如,在圖2中,LH算法、GA算法和PSO算法的輸入均為博弈雙矩陣,輸出為目標(biāo)分配方案的編號(hào)。

為了對(duì)算法進(jìn)行統(tǒng)一管理以及方便戰(zhàn)術(shù)決策、目標(biāo)分配等模塊的調(diào)用,在對(duì)算法庫(kù)進(jìn)行實(shí)現(xiàn)時(shí),針對(duì)圖2中第3層的每類算法,設(shè)計(jì)了相應(yīng)的算法原型,定義了該類算法的輸入和輸出規(guī)范。例如,基于優(yōu)化方法的目標(biāo)分配算法原型、基于雙矩陣博弈的目標(biāo)分配算法原型。第4層的算法則可以根據(jù)相應(yīng)的算法原型進(jìn)行實(shí)現(xiàn)和封裝。其中,在實(shí)現(xiàn)具體的算法時(shí),除了算法的實(shí)現(xiàn)接口,還定義了算法類型、名稱、初始化等多個(gè)管理接口,以便算法庫(kù)管理。圖3給出了算法庫(kù)的實(shí)現(xiàn)架構(gòu)示意圖。

圖3 算法庫(kù)的實(shí)現(xiàn)架構(gòu)示意圖

在圖3中,將LH算法、GA算法和PSO算法添加到算法庫(kù)時(shí),只需要根據(jù)基于雙矩陣博弈的目標(biāo)分配算法原型封裝成相應(yīng)的動(dòng)態(tài)鏈接庫(kù),再將其添加到指定文件夾即可。同時(shí),若要添加新的算法類型,例如添加基于貝葉斯博弈的戰(zhàn)術(shù)決策算法,則直接定義該類型的算法原型,并封裝成動(dòng)態(tài)鏈接庫(kù),再將其添加到指定文件即可。并且,LH算法、GA算法和PSO算法的動(dòng)態(tài)鏈接庫(kù)的具體實(shí)現(xiàn)過(guò)程中,可以采用 C/C++/Python/Matlab等多種編程語(yǔ)言進(jìn)行,具有很好的兼容性。

上述算法庫(kù)的多層邏輯架構(gòu)和實(shí)現(xiàn)架構(gòu)可以減少算法與具體決策問(wèn)題之間的耦合性,增強(qiáng)算法的復(fù)用性,避免仿真系統(tǒng)中算法的冗余,提高仿真系統(tǒng)的運(yùn)行效率。同時(shí),可以根據(jù)需要向算法庫(kù)中添加某類或某種算法,擴(kuò)展仿真系統(tǒng)的功能。在該架構(gòu)下,多無(wú)人機(jī)協(xié)同空戰(zhàn)任務(wù)規(guī)劃仿真系統(tǒng)的算法庫(kù)具備對(duì)算法的封裝、選擇、調(diào)用和添加等功能。

3.2 強(qiáng)化學(xué)習(xí)算法訓(xùn)練技術(shù)

為了支持對(duì)基于強(qiáng)化學(xué)習(xí)的多無(wú)人機(jī)協(xié)同空戰(zhàn)任務(wù)規(guī)劃算法的訓(xùn)練,在上述仿真系統(tǒng)體系架構(gòu)的基礎(chǔ)上,本文提出了一種強(qiáng)化學(xué)習(xí)算法訓(xùn)練技術(shù)。訓(xùn)練時(shí)紅方/藍(lán)方子系統(tǒng)將無(wú)人機(jī)狀態(tài)信息以特定數(shù)據(jù)格式傳輸給強(qiáng)化學(xué)習(xí)算法訓(xùn)練子系統(tǒng),在強(qiáng)化學(xué)習(xí)算法訓(xùn)練子系統(tǒng)中進(jìn)行解算將決策信息返回到紅方/藍(lán)方子系統(tǒng)中,進(jìn)行仿真對(duì)抗。在仿真系統(tǒng)中經(jīng)過(guò)大量訓(xùn)練后,可以使算法的性能穩(wěn)定提升。以訓(xùn)練紅方的重決策算法為例,該強(qiáng)化學(xué)習(xí)算法訓(xùn)練技術(shù)的框架如圖4所示。

圖4 強(qiáng)化學(xué)習(xí)算法訓(xùn)練技術(shù)框架

在此框架下,訓(xùn)練的基本步驟如下:

步驟1：在白方子系統(tǒng)的場(chǎng)景管理模塊中創(chuàng)建或者加載任務(wù)場(chǎng)景,在白方子系統(tǒng)的批處理模塊中設(shè)置仿真時(shí)長(zhǎng)、仿真次數(shù)等參數(shù),然后發(fā)送給紅方子系統(tǒng)。

步驟2：根據(jù)當(dāng)前對(duì)抗情況,紅方子系統(tǒng)中的VR-Forces仿真引擎將無(wú)人機(jī)的狀態(tài)信息以JSON格式發(fā)送到強(qiáng)化學(xué)習(xí)算法訓(xùn)練子系統(tǒng)的數(shù)據(jù)接收模塊中。

步驟3：強(qiáng)化學(xué)習(xí)算法訓(xùn)練子系統(tǒng)的數(shù)據(jù)接收模塊提取無(wú)人機(jī)狀態(tài)信息并發(fā)送到數(shù)據(jù)預(yù)處理模塊中;數(shù)據(jù)預(yù)處理模塊對(duì)無(wú)人機(jī)狀態(tài)信息進(jìn)行數(shù)據(jù)篩選、數(shù)據(jù)歸一化、數(shù)據(jù)補(bǔ)齊等處理后發(fā)送到獎(jiǎng)勵(lì)計(jì)算模塊和強(qiáng)化學(xué)習(xí)算法模塊中。

步驟4：強(qiáng)化學(xué)習(xí)算法訓(xùn)練子系統(tǒng)的獎(jiǎng)勵(lì)計(jì)算模塊將無(wú)人機(jī)狀態(tài)信息作為輸入,根據(jù)獎(jiǎng)勵(lì)函數(shù)得到獎(jiǎng)勵(lì)回報(bào)值發(fā)送到強(qiáng)化學(xué)習(xí)算法模塊中;強(qiáng)化學(xué)習(xí)算法模塊一方面將無(wú)人機(jī)狀態(tài)信息作為神經(jīng)網(wǎng)絡(luò)輸入得到重決策結(jié)果,另一方面根據(jù)獎(jiǎng)勵(lì)回報(bào)值的大小對(duì)網(wǎng)絡(luò)參數(shù)進(jìn)行迭代更新。

步驟5：強(qiáng)化學(xué)習(xí)算法訓(xùn)練子系統(tǒng)的數(shù)據(jù)發(fā)送模塊將重決策結(jié)果轉(zhuǎn)換成JSON格式發(fā)送到紅方子系統(tǒng)的目標(biāo)分配模塊或戰(zhàn)術(shù)決策模塊中,相應(yīng)模塊調(diào)用算法庫(kù)中的算法得到?jīng)Q策方案。

步驟6：紅方子系統(tǒng)的VR-Forces仿真引擎根據(jù)決策方案進(jìn)行仿真對(duì)抗,同時(shí)將實(shí)時(shí)的無(wú)人機(jī)狀態(tài)信息發(fā)送給白方子系統(tǒng),白方子系統(tǒng)的視景展示模塊進(jìn)行仿真過(guò)程的實(shí)時(shí)展示。

步驟7：重復(fù)步驟2—步驟6,直至達(dá)到預(yù)設(shè)仿真次數(shù),白方子系統(tǒng)的仿真控制模塊控制整個(gè)仿真結(jié)束。

3.3 人機(jī)交互技術(shù)

為了真實(shí)有效地模擬飛行員操控有人機(jī),實(shí)現(xiàn)無(wú)人機(jī)對(duì)抗有人機(jī)的空戰(zhàn)模式,結(jié)合VR-Forces仿真引擎的特點(diǎn),提出了一種人機(jī)交互技術(shù),基本框架如圖5所示。

圖5 人機(jī)交互技術(shù)框架

在仿真過(guò)程中,人機(jī)交互模塊實(shí)時(shí)解析操作員通過(guò)油門桿和駕駛桿發(fā)送的速度控制信息、姿態(tài)控制信息以及火力控制信息,并發(fā)送到VR-Forces仿真引擎中實(shí)現(xiàn)對(duì)有人機(jī)的控制。同時(shí),人機(jī)交互模塊還需要解析由VR-Forces仿真引擎發(fā)送的狀態(tài)信息,并分類同步展示在3個(gè)不同的屏幕中。下面從人機(jī)交互模塊接收的信息和發(fā)送的信息兩方面進(jìn)行詳細(xì)說(shuō)明:

1) 人機(jī)交互模塊接收的信息

人機(jī)交互模塊接收的信息具體包括狀態(tài)信息、速度控制信息、姿態(tài)控制信息和火力控制信息。

① 狀態(tài)信息:由自身狀態(tài)信息、友機(jī)狀態(tài)信息和敵機(jī)狀態(tài)信息3部分組成。自身狀態(tài)信息和友機(jī)狀態(tài)信息包括位置坐標(biāo)、速度、角度、余彈和油量等基本信息;敵機(jī)狀態(tài)信息包括位置坐標(biāo)、速度和角度等基本信息。

② 速度控制信息:通過(guò)速度控制信息可以調(diào)整有人機(jī)的飛行速度。在仿真過(guò)程中,人機(jī)交互模塊實(shí)時(shí)監(jiān)測(cè)油門桿的控制方向,當(dāng)操作員調(diào)整油門桿方向時(shí),人機(jī)交互模塊會(huì)接收到相應(yīng)的速度控制信息。

③ 姿態(tài)控制信息:通過(guò)姿態(tài)控制信息可以調(diào)整有人機(jī)的飛行方向。在仿真過(guò)程中,人機(jī)交互模塊實(shí)時(shí)監(jiān)測(cè)駕駛桿的控制方向,當(dāng)操作員調(diào)整駕駛桿方向時(shí),人機(jī)交互模塊會(huì)接收到相應(yīng)的姿態(tài)控制信息。

④ 火力控制信息:通過(guò)火力控制信息可以控制有人機(jī)對(duì)選定目標(biāo)發(fā)射導(dǎo)彈。在仿真過(guò)程中,人機(jī)交互模塊實(shí)時(shí)監(jiān)測(cè)駕駛桿的控制按鍵,當(dāng)操作員按下目標(biāo)選擇按鍵或發(fā)射導(dǎo)彈按鍵時(shí),人機(jī)交互模塊會(huì)接收到相應(yīng)的火力控制信息。

2) 人機(jī)交互模塊發(fā)送的信息

人機(jī)交互模塊發(fā)送的信息包括決策信息、控制信息、待決策信息、第一視角信息和相對(duì)態(tài)勢(shì)信息。

① 決策信息:當(dāng)人機(jī)交互模塊接收到火力控制信息后,會(huì)將該信息轉(zhuǎn)換為有人機(jī)需要執(zhí)行的決策信息,包括對(duì)目標(biāo)的選擇以及發(fā)射導(dǎo)彈等,并將決策信息發(fā)送到VR-Forces仿真引擎中,實(shí)現(xiàn)對(duì)有人機(jī)的目標(biāo)選擇以及發(fā)射導(dǎo)彈控制。

② 控制信息:當(dāng)人機(jī)交互模塊接收到速度控制信息和姿態(tài)控制信息后,會(huì)將該信息轉(zhuǎn)換為有人機(jī)需要執(zhí)行的控制信息,包括對(duì)速度的控制和方向的控制等,并將控制信息發(fā)送到VR-Forces仿真引擎中,實(shí)現(xiàn)對(duì)有人機(jī)的飛行控制。

③ 待決策信息:待決策信息包括自身的剩余導(dǎo)彈信息和目標(biāo)選擇信息。在仿真過(guò)程中,屏幕一中將同步顯示本機(jī)的剩余導(dǎo)彈數(shù)量;當(dāng)敵機(jī)進(jìn)入我方攻擊范圍時(shí),敵機(jī)的編號(hào)將進(jìn)入目標(biāo)選擇信息欄中,此時(shí)操作員可以通過(guò)駕駛桿上的目標(biāo)選擇按鍵選擇需要攻擊的敵機(jī),并通過(guò)駕駛桿上的發(fā)射導(dǎo)彈按鍵向該敵機(jī)發(fā)射導(dǎo)彈。

④ 第一視角信息:在仿真過(guò)程中,人機(jī)交互模塊會(huì)將把本機(jī)狀態(tài)信息轉(zhuǎn)換為第一視角信息在屏幕二中同步顯示,以模擬有人機(jī)飛行員在真實(shí)空戰(zhàn)中所能看到的畫面。同時(shí),當(dāng)敵機(jī)進(jìn)入我方探測(cè)范圍時(shí),還會(huì)顯示敵機(jī)的相對(duì)方位信息。

⑤ 相對(duì)態(tài)勢(shì)信息:在仿真過(guò)程中,人機(jī)交互模塊會(huì)根據(jù)VR-Forces仿真引擎中的自身狀態(tài)信息、友機(jī)狀態(tài)信息和探測(cè)到的敵機(jī)信息,轉(zhuǎn)換得到相對(duì)態(tài)勢(shì)信息,并同步展示在屏幕三中。

4 系統(tǒng)實(shí)現(xiàn)

圍繞上述提出的算法庫(kù)、強(qiáng)化學(xué)習(xí)算法訓(xùn)練以及人機(jī)交互等關(guān)鍵技術(shù),結(jié)合本文中設(shè)計(jì)的系統(tǒng)體系架構(gòu),開發(fā)實(shí)現(xiàn)了多無(wú)人機(jī)協(xié)同空戰(zhàn)任務(wù)規(guī)劃仿真系統(tǒng)。本仿真系統(tǒng)可以靈活支持無(wú)人機(jī)對(duì)抗無(wú)人機(jī)、無(wú)人機(jī)對(duì)抗有人機(jī)等多種空戰(zhàn)模式?，F(xiàn)以無(wú)人機(jī)對(duì)抗有人機(jī)的空戰(zhàn)模式為例,介紹本仿真系統(tǒng)。

圖6展示了本仿真系統(tǒng)的實(shí)物圖。圖中的右邊為多架無(wú)人機(jī)構(gòu)成的紅方子系統(tǒng)和強(qiáng)化學(xué)習(xí)算法訓(xùn)練子系統(tǒng),左邊為兩架有人機(jī)構(gòu)成的藍(lán)方子系統(tǒng),中間為白方子系統(tǒng)。

圖6 多無(wú)人機(jī)協(xié)同空戰(zhàn)任務(wù)規(guī)劃仿真系統(tǒng)實(shí)驗(yàn)環(huán)境

紅方子系統(tǒng)的軟件界面如圖7所示。其中,算法庫(kù)的算法參數(shù)配置界面如圖7(a)所示,其中包括戰(zhàn)術(shù)決策、目標(biāo)分配和重決策3類算法,同時(shí)展示了具體算法的名稱、描述和參數(shù);算法庫(kù)的算法選擇如圖7(b)所示,其中顯示了紅方無(wú)人機(jī)的戰(zhàn)術(shù)決策算法、目標(biāo)分配算法以及重決策算法的具體選擇情況。

圖7 紅方子系統(tǒng)的軟件界面

白方子系統(tǒng)的軟件界面如圖8所示。其中,包括場(chǎng)景管理、仿真控制和狀態(tài)查看等功能,同時(shí)還能實(shí)時(shí)展示了仿真對(duì)抗的二維界面。

圖8 白方子系統(tǒng)的軟件界面

藍(lán)方子系統(tǒng)的軟件界面分別展示在3塊顯示屏上,如圖9所示。其中,屏幕一用于展示待決策信息,包括有人機(jī)自身的剩余導(dǎo)彈數(shù)量以及當(dāng)前可以攻擊的敵方目標(biāo)信息,如圖9(a)所示;屏幕二用于展示操作員可以看到的第一視角信息,包括有人機(jī)座艙中的各種儀表信息以及探測(cè)范圍內(nèi)的敵方目標(biāo)方位信息,如圖9(b)所示;屏幕三用于展示相對(duì)態(tài)勢(shì)信息,包括友機(jī)的狀態(tài)信息,探測(cè)到的敵機(jī)信息,如圖9(c)所示。

圖9 藍(lán)方子系統(tǒng)的軟件界面

藍(lán)方子系統(tǒng)主要通過(guò)油門桿和駕駛桿實(shí)現(xiàn)對(duì)有人機(jī)的控制,如圖10所示。

圖10 基于油門桿和駕駛桿的有人機(jī)控制

仿真過(guò)程中,操作員使用駕駛桿的前后方向①、左右方向②和按鍵③分別控制有人機(jī)的俯仰角、航向角和滾轉(zhuǎn)角,使用油門桿的前后方向④控制有人機(jī)的飛行速度;若對(duì)方飛機(jī)進(jìn)入我方探測(cè)范圍內(nèi),屏幕一中的待決策信息列表將出現(xiàn)被探測(cè)到的敵機(jī)編號(hào)(如圖9(a)所示),操作員可使用駕駛桿上的按鍵⑤選擇需要攻擊的目標(biāo),目標(biāo)確定后可使用按鍵⑥對(duì)目標(biāo)發(fā)射導(dǎo)彈。

5 應(yīng)用實(shí)例

本文所研發(fā)的多無(wú)人機(jī)協(xié)同空戰(zhàn)任務(wù)規(guī)劃仿真系統(tǒng)能夠根據(jù)不同的實(shí)驗(yàn)需求,通過(guò)自定義參數(shù)配置生成相應(yīng)的空戰(zhàn)任務(wù)場(chǎng)景,并通過(guò)加載不同的多無(wú)人機(jī)協(xié)同空戰(zhàn)任務(wù)規(guī)劃算法對(duì)算法的性能進(jìn)行測(cè)試,同時(shí)能夠?qū)趶?qiáng)化學(xué)習(xí)的多無(wú)人機(jī)協(xié)同空戰(zhàn)任務(wù)規(guī)劃算法進(jìn)行訓(xùn)練。接下來(lái),通過(guò)2個(gè)應(yīng)用實(shí)例進(jìn)行進(jìn)一步的說(shuō)明。

5.1 多無(wú)人機(jī)協(xié)同空戰(zhàn)目標(biāo)分配算法測(cè)試

為對(duì)多無(wú)人機(jī)協(xié)同空戰(zhàn)目標(biāo)分配算法進(jìn)行測(cè)試,本文中設(shè)置了3種仿真場(chǎng)景,每個(gè)仿真場(chǎng)景中均包含2架紅方無(wú)人機(jī),2架藍(lán)方無(wú)人機(jī),每架無(wú)人機(jī)具有相同的毀傷概率且搭載4枚空對(duì)空導(dǎo)彈。紅藍(lán)雙方的戰(zhàn)術(shù)決策算法和重決策算法均使用算法庫(kù)中的相應(yīng)規(guī)則類算法,藍(lán)方的目標(biāo)分配算法使用算法庫(kù)中的LH算法,紅方的目標(biāo)分配算法先使用算法庫(kù)中的LH算法進(jìn)行200次仿真,再使用算法庫(kù)中的GA算法進(jìn)行200次仿真。具體的測(cè)試流程如下:

步驟1：分別啟動(dòng)紅方子系統(tǒng)、藍(lán)方子系統(tǒng)和白方子系統(tǒng)。

步驟2：在白方子系統(tǒng)的批處理模塊中設(shè)置仿真時(shí)長(zhǎng)為3 min,仿真次數(shù)為200次。

步驟3：在白方子系統(tǒng)中加載仿真場(chǎng)景。

步驟4：在紅方子系統(tǒng)中配置紅方使用的戰(zhàn)術(shù)決策算法、目標(biāo)分配算法和重決策算法。

步驟5：在藍(lán)方子系統(tǒng)中配置藍(lán)方使用的戰(zhàn)術(shù)決策算法、目標(biāo)分配算法和重決策算法。

步驟6：在白方子系統(tǒng)中開始仿真,仿真過(guò)程中的數(shù)據(jù)自動(dòng)保存到數(shù)據(jù)庫(kù)中。

步驟7：仿真結(jié)束后,對(duì)數(shù)據(jù)庫(kù)中保存的仿真過(guò)程數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析。

其中,保存仿真過(guò)程數(shù)據(jù)的數(shù)據(jù)庫(kù)界面如圖11所示。其中,可以查看每局對(duì)抗的各種數(shù)據(jù)文件,并可以根據(jù)數(shù)據(jù)篩選需求對(duì)數(shù)據(jù)進(jìn)行篩選。

圖11 仿真結(jié)果的統(tǒng)計(jì)界面

基于仿真過(guò)程數(shù)據(jù),還可以進(jìn)一步對(duì)比分析LH或GA算法的求解時(shí)間、求得解的收益值,以及每個(gè)仿真場(chǎng)景下紅方和藍(lán)方獲勝的次數(shù)、失敗的次數(shù)、平均的次數(shù)以及摧毀的目標(biāo)數(shù)量和損耗的無(wú)人機(jī)數(shù)量等。例如,在每種場(chǎng)景下,紅方使用LH算法和GA算法進(jìn)行目標(biāo)分配取得的勝率如圖12所示。

圖12 不同場(chǎng)景下的獲勝率對(duì)比

5.2 多無(wú)人機(jī)協(xié)同空戰(zhàn)重決策算法訓(xùn)練

在5.1節(jié)的仿真場(chǎng)景的基礎(chǔ)上,對(duì)基于強(qiáng)化學(xué)習(xí)的多無(wú)人機(jī)協(xié)同空戰(zhàn)重決策算法進(jìn)行訓(xùn)練。在每種仿真場(chǎng)景下,紅藍(lán)雙方的戰(zhàn)術(shù)決策算法和目標(biāo)分配算法均使用算法庫(kù)中的相應(yīng)規(guī)則類算法,藍(lán)方的重決策算法使用算法庫(kù)中的規(guī)則類算法,紅方的重決策算法使用Actor-Critic算法(一種強(qiáng)化學(xué)習(xí)算法)。分別在不同仿真場(chǎng)景下各進(jìn)行400次仿真對(duì)抗,具體的訓(xùn)練流程如下:

步驟1：依次開啟紅方子系統(tǒng)、藍(lán)方子系統(tǒng)、白方子系統(tǒng)和強(qiáng)化學(xué)習(xí)算法訓(xùn)練子系統(tǒng)。

步驟2：在白方子系統(tǒng)的批處理模塊中設(shè)置仿真時(shí)長(zhǎng)為 3 min、仿真次數(shù)為400次,在白方子系統(tǒng)的仿真控制模塊中設(shè)置仿真速度為1。

步驟3：在白方子系統(tǒng)中加載仿真場(chǎng)景。

步驟4：在紅方子系統(tǒng)中配置紅方使用的戰(zhàn)術(shù)決策算法、目標(biāo)分配算法。

步驟5：在強(qiáng)化學(xué)習(xí)算法訓(xùn)練子系統(tǒng)中加載Actor-Critic算法作為紅方的重決策算法,并配置算法學(xué)習(xí)率,本次實(shí)驗(yàn)學(xué)習(xí)率取0.1、0.01、0.001、0.000 1和0.000 01。

步驟5：在藍(lán)方子系統(tǒng)中配置藍(lán)方使用的戰(zhàn)術(shù)決策算法、目標(biāo)分配算法和重決策算法。

步驟6：在白方子系統(tǒng)中開始訓(xùn)練,訓(xùn)練過(guò)程中的數(shù)據(jù)自動(dòng)保存到數(shù)據(jù)庫(kù)中。

步驟7：訓(xùn)練結(jié)束后,對(duì)數(shù)據(jù)庫(kù)中保存的仿真過(guò)程數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析。

訓(xùn)練結(jié)束后,對(duì)保存在數(shù)據(jù)庫(kù)中的訓(xùn)練過(guò)程數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析,結(jié)果如圖13所示。

圖13 重決策算法的訓(xùn)練結(jié)果

圖13(a)展示了重決策算法在不同學(xué)習(xí)率下的對(duì)抗結(jié)果,通過(guò)分析采取不同學(xué)習(xí)率對(duì)獲勝率、平局率和失敗率的影響,能夠?yàn)橹貨Q策算法確定合適的學(xué)習(xí)率;圖13(b)展示了紅方在3種仿真場(chǎng)景下的獲勝場(chǎng)數(shù)、失敗場(chǎng)數(shù)和平局場(chǎng)數(shù),通過(guò)分析重決策算法在不同仿真場(chǎng)景下的獲勝、失敗和平局場(chǎng)數(shù)變化,可以驗(yàn)證重決策算法的有效性;圖13(c)展示了在3種仿真場(chǎng)景下,隨著訓(xùn)練次數(shù)的增加,紅方獲勝率的變化情況,通過(guò)分析獲勝率的變化趨勢(shì),可以驗(yàn)證重決策算法的穩(wěn)定性、收斂性。當(dāng)算法訓(xùn)練完成后,符合預(yù)期效果的強(qiáng)化學(xué)習(xí)算法可以添加到算法庫(kù)中。

6 結(jié)論

本文中基于VR-Forces仿真引擎,設(shè)計(jì)和實(shí)現(xiàn)了一種分布式的多無(wú)人機(jī)協(xié)同空戰(zhàn)任務(wù)規(guī)劃仿真系統(tǒng)。該系統(tǒng)由紅方/藍(lán)方子系統(tǒng)、白方子系統(tǒng)和強(qiáng)化學(xué)習(xí)算法訓(xùn)練子系統(tǒng)構(gòu)成,并集成了算法庫(kù)、強(qiáng)化學(xué)習(xí)訓(xùn)練和人機(jī)交互等多個(gè)關(guān)鍵技術(shù)。該系統(tǒng)能夠支持無(wú)人機(jī)對(duì)抗無(wú)人機(jī)、無(wú)人機(jī)對(duì)抗有人機(jī)等多種空戰(zhàn)模式,支持基于強(qiáng)化學(xué)習(xí)的任務(wù)規(guī)劃算法的訓(xùn)練,支持多語(yǔ)言多種類任務(wù)規(guī)劃算法的管理和測(cè)試,并能實(shí)時(shí)展示空戰(zhàn)對(duì)抗過(guò)程,仿真展示度高。在后續(xù)工作中,將進(jìn)一步研發(fā)人機(jī)交互、算法輔助決策等模塊,實(shí)現(xiàn)有人機(jī)無(wú)人機(jī)協(xié)同對(duì)抗的空戰(zhàn)模式,以支持有人機(jī)無(wú)人機(jī)協(xié)同空戰(zhàn)任務(wù)規(guī)劃方法的測(cè)試和驗(yàn)證。