OODA-L模式下的智能無人集群作戰(zhàn)仿真建模框架

鄒立巖，張明智，柏俊汝

(國防大學(xué) 聯(lián)合作戰(zhàn)學(xué)院， 北京 100091)

隨著人工智能(Artificial Intelligence, AI)技術(shù)的不斷發(fā)展，智能無人裝備將成為未來智能化戰(zhàn)爭中的新興作戰(zhàn)力量。與此同時(shí)，隨著分布式作戰(zhàn)概念的提出和發(fā)展[1]，以一定數(shù)量的智能無人裝備組成無人集群來遂行特定的作戰(zhàn)任務(wù)，被認(rèn)為是未來智能化戰(zhàn)爭的典型作戰(zhàn)樣式，也是當(dāng)前軍事理論研究的前沿和熱點(diǎn)問題。由于目前智能無人集群作戰(zhàn)尚處于概念研究階段，因此采用建模仿真方法率先對這一新型作戰(zhàn)樣式進(jìn)行前瞻性和探索性研究，可以為未來智能無人集群作戰(zhàn)力量的發(fā)展和運(yùn)用提供理論支撐，具有重要的現(xiàn)實(shí)意義。本文首先分析了智能無人仿真實(shí)體的智能特性需求，在此基礎(chǔ)上提出一種將學(xué)習(xí)過程顯性化的OODA-L模式及其擴(kuò)展形式；然后給出了智能無人仿真實(shí)體的總體描述；最后提出智能無人集群協(xié)同作戰(zhàn)建模的體系結(jié)構(gòu)。上述內(nèi)容，旨在從高層上探討如何對具有較高自主能力的智能無人集群進(jìn)行作戰(zhàn)建模與仿真的理論和方法。

1 智能無人集群作戰(zhàn)的相關(guān)概念

1.1 無人系統(tǒng)及無人集群

無人系統(tǒng)(unmanned systems)[2-3]是指在陸、海、空、天各作戰(zhàn)域內(nèi)執(zhí)行任務(wù)的戰(zhàn)場機(jī)器人系統(tǒng)，如無人車、無人艇、無人潛航器、無人機(jī)等無人裝備。智能無人系統(tǒng)(intelligent unmanned systems)是指具備一定感知、判斷、決策以及自主行為能力的無人系統(tǒng)。無人集群(unmanned swarms)是指由一定數(shù)量的無人系統(tǒng)組成的集群，具有網(wǎng)絡(luò)化溝通、自適應(yīng)協(xié)同和集群智能三大基本特征[4]，在接到指令后能夠自主完成任務(wù)，因此也稱為智能無人集群。無人集群在內(nèi)涵上與機(jī)器人集群(robotic swarms)[5]、集群機(jī)器人(swarm robotics)[6-7]、智能集群(intelligent swarms)[5，8]以及群化武器[9]等概念相似，可以認(rèn)為是同一概念在不同研究視角和不同發(fā)展時(shí)期的不同表述方式。

1.2 集群作戰(zhàn)及智能無人集群作戰(zhàn)

一般而言，集群作戰(zhàn)(swarming)具有下列特點(diǎn)[10]：一是以破壞對手的戰(zhàn)斗力聚合為主要作戰(zhàn)目的；二是作戰(zhàn)單元主要以小型化、分散化、能互聯(lián)、具有自主或半自主能力的機(jī)動(dòng)單元為主，且作戰(zhàn)單元之間能夠互相協(xié)作；三是要求集成指揮、控制、通信、情報(bào)、監(jiān)視、偵察等能力，并具備待命、包圍并發(fā)動(dòng)持續(xù)的脈沖式攻擊的能力；四是強(qiáng)調(diào)采取分布式的隊(duì)形，以靈活的協(xié)同方式和精心設(shè)計(jì)的組織架構(gòu)，采取中心化的戰(zhàn)略和去中心化的戰(zhàn)術(shù)，從多個(gè)方向?qū)ψ鲬?zhàn)目標(biāo)發(fā)起全面攻擊。

根據(jù)上述集群作戰(zhàn)的特點(diǎn)，將其延伸到以智能無人系統(tǒng)為主要作戰(zhàn)單元的集群當(dāng)中，便可演繹出智能無人集群作戰(zhàn)的概念，其主要優(yōu)勢體現(xiàn)在：經(jīng)濟(jì)優(yōu)勢、數(shù)量優(yōu)勢、協(xié)同與情報(bào)優(yōu)勢[11]、速度優(yōu)勢等方面。

2 OODA-L模式的提出

在智能無人集群作戰(zhàn)仿真建模中，對智能無人仿真實(shí)體建模的重點(diǎn)和難點(diǎn)是其較高的智能水平，而傳統(tǒng)的無人集群作戰(zhàn)模型中經(jīng)常采用的自上而下的集中控制思想通常難以表達(dá)智能無人仿真實(shí)體高度智能化的戰(zhàn)場適應(yīng)能力和協(xié)同能力。為此，提出一種具有學(xué)習(xí)、進(jìn)化特征的智能無人仿真實(shí)體的智能特性表達(dá)模式——觀察-判斷-決策-行動(dòng)-學(xué)習(xí)(Observe, Orient, Decide, Act and Learning, OODA-L)模式。

2.1 智能無人仿真實(shí)體的智能特性需求

智能無人仿真實(shí)體的顯著特征是擁有較高的自主能力和適應(yīng)能力，低級別智能區(qū)別于高級別智能的標(biāo)志在于智能體是否具有感知、理解、決策和學(xué)習(xí)等能力[10]。自主能力表現(xiàn)在：智能無人仿真實(shí)體能夠感知不斷變化的自身性能、任務(wù)目標(biāo)、限制條件以及所處的戰(zhàn)場環(huán)境，及時(shí)地做出新的行為規(guī)劃或?qū)υ瓉淼囊?guī)劃進(jìn)行重規(guī)劃。同時(shí)，在涉及集群作戰(zhàn)時(shí)，行為規(guī)劃和執(zhí)行是一個(gè)協(xié)同處理的過程，智能作戰(zhàn)仿真實(shí)體不僅要具有自主規(guī)劃能力，而且要能夠推斷自身決策對其他仿真實(shí)體產(chǎn)生的影響[8]，從而衡量自身決策的正確與否。適應(yīng)能力表現(xiàn)在：智能無人仿真實(shí)體具備能夠與環(huán)境以及其他仿真實(shí)體進(jìn)行交互作用的一種能力。在這種持續(xù)的交互作用過程中，主體不斷學(xué)習(xí)或積累經(jīng)驗(yàn)，并根據(jù)學(xué)到的經(jīng)驗(yàn)改變自身的結(jié)構(gòu)和行為方式[12]，其核心是學(xué)習(xí)能力。

自主能力與適應(yīng)能力之間是相輔相成、循環(huán)演進(jìn)的關(guān)系，這是復(fù)雜適應(yīng)系統(tǒng)(Complex Adaptive System, CAS)的重要特征。在作戰(zhàn)仿真建模中，智能問題通常以規(guī)則為基礎(chǔ)，以各種適合規(guī)則的方法表達(dá)，很多情況下是用“If-then-else”的形式表示[13]。因此，基于規(guī)則的智能特性主要表現(xiàn)為：智能無人仿真實(shí)體通過對當(dāng)前環(huán)境的感知，從現(xiàn)有規(guī)則集中選擇某一自主行為去執(zhí)行，而后通過與環(huán)境的交互作用，學(xué)習(xí)產(chǎn)生新的規(guī)則并對原有規(guī)則集進(jìn)行更新，進(jìn)而調(diào)整自身行為，這一過程循環(huán)往復(fù)進(jìn)行，如圖1所示。

圖1 自主能力與適應(yīng)能力的相互作用Fig.1 Interactions between autonomous capability and adaptive capability

2.2 智能無人仿真實(shí)體的智能特性表達(dá)

由2.1節(jié)可知，智能特性表達(dá)應(yīng)當(dāng)著重反映自主能力和適應(yīng)能力，兩種能力都是在與作戰(zhàn)環(huán)境的互動(dòng)過程中不斷進(jìn)化的。但傳統(tǒng)的作戰(zhàn)仿真實(shí)體建模，大多是基于預(yù)先、固定的規(guī)則來表達(dá)智能問題，難以體現(xiàn)“智能”的學(xué)習(xí)及進(jìn)化特征。為解決這一問題，提出一種將OODA循環(huán)與學(xué)習(xí)過程相融合的智能特性表達(dá)模式，簡稱OODA-L模式。OODA循環(huán)之所以可以用于表達(dá)上述智能特性，是由于OODA循環(huán)描述的作戰(zhàn)過程本身與CAS產(chǎn)生適應(yīng)性的過程具有相似性。實(shí)際上，OODA循環(huán)的提出者博伊德也是CAS理論的堅(jiān)定支持者，OODA循環(huán)的概念不僅被用于說明戰(zhàn)爭的勝利往往取決于更快地完成OODA循環(huán)的能力，同樣也與CAS模式的作用、進(jìn)化及適應(yīng)過程有緊密聯(lián)系[14]。OODA循環(huán)中的“觀察”等同于智能無人仿真實(shí)體對環(huán)境的感知；“判斷”等同于將感知到的信息進(jìn)行處理并與規(guī)則集進(jìn)行匹配的過程；“決策”等同于根據(jù)所匹配的規(guī)則選擇自主行為的過程；“行動(dòng)”等同于決策之后對自主行為的執(zhí)行過程。OODA循環(huán)還隱含了一個(gè)十分重要的步驟，即“學(xué)習(xí)”的過程。學(xué)到的經(jīng)驗(yàn)將會(huì)對“判斷”和“決策”產(chǎn)生指導(dǎo)作用，這也是戰(zhàn)爭系統(tǒng)能夠產(chǎn)生適應(yīng)性以及智能無人仿真實(shí)體產(chǎn)生“智能”的根本原因。其中，“學(xué)習(xí)”的方式包括無人干預(yù)的學(xué)習(xí)即完全自主產(chǎn)生新的規(guī)則，有人干預(yù)的學(xué)習(xí)即由人類總結(jié)新規(guī)則并納入規(guī)則集，以及兩者相結(jié)合的方式。在OODA-L模式下，通過將“學(xué)習(xí)”過程顯性化，可以表示智能無人仿真實(shí)體的智能特性演進(jìn)的完整過程，如圖2所示。

圖2 OODA-L循環(huán)與智能特性的演進(jìn)過程Fig.2 Evolution of OODA-L cycles and intelligent features

值得注意的是，OODA-L模式下的智能特性，不再是一種靜態(tài)屬性，而是一個(gè)不斷發(fā)展變化的動(dòng)態(tài)過程?！爸悄堋睉?yīng)當(dāng)視為在周期過程中逐漸演進(jìn)的一種特性，而非固定不變的特性。OODA-L模式下的智能特性如圖3所示，智能無人仿真實(shí)體在初始階段僅具備一定的初始自主能力，但是隨著OODA-L循環(huán)的大量迭代運(yùn)行，其自主能力不斷提升，適應(yīng)能力不斷增強(qiáng)。最終，無人仿真實(shí)體的智能特性體現(xiàn)為一個(gè)非線性的上升過程，其智能水平在逐漸加強(qiáng)過程中趨于收斂。

圖3 OODA-L模式下的智能特性Fig.3 Intelligent features under OODA-L pattern

2.3 智能無人仿真實(shí)體的集群協(xié)同模式

集群行為在本質(zhì)上是一種自組織活動(dòng)，它是由一定數(shù)量的相對簡單的個(gè)體通過相互關(guān)聯(lián)、互相協(xié)作而形成的有機(jī)整體，能夠在宏觀層面涌現(xiàn)出群體智能(swarm intelligence)[18]，從而具備更高級、多樣化的功能，進(jìn)而完成更加綜合、復(fù)雜的任務(wù)。這里的“簡單”是相對整體而言，并不排除個(gè)體本身具有一定的復(fù)雜性，需要視具體的集群類型而定。傳統(tǒng)上的集群行為建模主要受到生物集群的啟發(fā)，并從中抽象出相應(yīng)的自組織行為規(guī)則。典型代表如Reynolds[19]等提出的“類鳥群”模型，每個(gè)“類鳥”通過感知鄰居行為以作出反應(yīng)，在遵循凝聚性(cohesion)、分離性(seperation)和對齊性(alignment)三條基本規(guī)則的前提下，整個(gè)類鳥群將展現(xiàn)出如同真實(shí)鳥群一般的一致行為。將上述思想用于集群作戰(zhàn)仿真建模，一般需要預(yù)先對集群個(gè)體的行為能力和行為規(guī)則作出適當(dāng)?shù)暮喕?、抽象和假設(shè)。例如在作戰(zhàn)仿真平臺ISSAC[20]和EINSTein[21]中，驅(qū)動(dòng)Agent運(yùn)行的局部感知和交互機(jī)制，就是受到類鳥群行為的啟發(fā)擴(kuò)展而來的[22]。這一建模方法在后來出現(xiàn)的許多更加復(fù)雜的基于Agent的作戰(zhàn)仿真平臺如MANA[23]、WISDOMⅡ[24]、SEAS[25]中均被廣泛地應(yīng)用于集群作戰(zhàn)行為涌現(xiàn)機(jī)理的研究。

然而，這種依據(jù)“簡單”規(guī)則的集群行為建模方法，本身較難適用于復(fù)雜多變的戰(zhàn)場環(huán)境，且隨著AI技術(shù)的進(jìn)步，更難以體現(xiàn)智能無人集群作戰(zhàn)的高度自主協(xié)同特點(diǎn)。因此，在2.2節(jié)的基礎(chǔ)上，進(jìn)一步將OODA-L模式擴(kuò)展為Co-OODA-L(Cooperative OODA-L)模式，用于描述智能無人仿真實(shí)體的集群協(xié)同模式，如圖4所示。

在圖4中，智能無人Agent代表一個(gè)智能無人仿真實(shí)體，集群之間存在協(xié)同觀察、協(xié)同判斷、協(xié)同決策、協(xié)同行動(dòng)、協(xié)同學(xué)習(xí)的交互性關(guān)系。將智能無人集群視為一個(gè)整體，相當(dāng)于形成一個(gè)具有全局視角的虛擬全局智能體，它存在于每個(gè)智能無人Agent的本地，與集群內(nèi)其他Agent之間通過數(shù)據(jù)鏈共享信息。全局智能體在觀察、判斷、決策和行動(dòng)過程中，以全局為中心，在集群整體的角度進(jìn)行綜合權(quán)衡和協(xié)調(diào)，如圖5所示[26]。其最終在集群個(gè)體的作戰(zhàn)行為產(chǎn)生的效果不一定最優(yōu)，但集群整體作戰(zhàn)行為產(chǎn)生的效果卻為最佳，相當(dāng)于具有了群體智能。

圖4 智能無人集群的Co-OODA-L循環(huán)Fig.4 Co-OODA-L cycle of intelligent unmanned swarm

值得注意的是，虛擬全局智能體區(qū)別于自上而下的全局控制，其職能是輔助集群內(nèi)的個(gè)體獲取和處理全局信息，并在集群內(nèi)進(jìn)行溝通和協(xié)調(diào)，并非如自上而下的全局控制一般要取代個(gè)體作出決策，其具體的行為決策還是由智能無人Agent自行作出，只不過這種決策在虛擬全局智能體的輔助下更具宏觀視角。

3 智能無人仿真實(shí)體的總體描述

3.1 智能無人仿真實(shí)體的數(shù)學(xué)抽象

將智能無人仿真實(shí)體統(tǒng)一抽象為智能體Agent，則Agent的作戰(zhàn)活動(dòng)可以表示為馬爾可夫決策過程(Markov Decision Process, MDP)[15-16]，每個(gè)Agent用四元組〈S,A,T,R〉[10]表示，其中：

S表示Agent的狀態(tài)空間，包括智能無人仿真實(shí)體所能感知到的自身狀態(tài)信息和環(huán)境狀態(tài)信息，對應(yīng)于OODA-L模式中的“觀察”和“判斷”環(huán)節(jié)。

A表示Agent的動(dòng)作空間，包括智能無人仿真實(shí)體可以采取的各種動(dòng)作(作戰(zhàn)行為)，對應(yīng)于OODA-L模式中的“行動(dòng)”環(huán)節(jié)。

T為S×A×S→[0,1]，表示Agent的狀態(tài)轉(zhuǎn)移函數(shù)，是智能無人仿真實(shí)體從一個(gè)狀態(tài)轉(zhuǎn)移到另一個(gè)狀態(tài)的概率。

R為S×A→，表示Agent的獎(jiǎng)勵(lì)函數(shù)，是智能無人仿真實(shí)體在每個(gè)狀態(tài)上采取某個(gè)作戰(zhàn)行為之后，作戰(zhàn)仿真環(huán)境給予的反饋值。

在MDP中，Agent的目標(biāo)是找到一個(gè)最優(yōu)的作戰(zhàn)行為策略π*，使它在任意狀態(tài)s和任意時(shí)間步t下的長期累積折扣獎(jiǎng)勵(lì)和最大。

(1)

式中：π為S×A→[0,1]，表示Agent的作戰(zhàn)行為策略，對應(yīng)于OODA-L模式中的“決策”環(huán)節(jié)，是Agent用于決策的“大腦”；Eπ表示策略π下的期望值；γ∈[0,1]為折扣率；k為未來某一時(shí)刻的時(shí)間步序號；rt+k為Agent在時(shí)間步t+k上獲得的即時(shí)獎(jiǎng)勵(lì)。式(1)代表智能無人仿真實(shí)體在作戰(zhàn)仿真環(huán)境中進(jìn)行學(xué)習(xí)的目標(biāo)，可等價(jià)地表示為：

(2)

式中，Q*(s,a)表示“狀態(tài)-動(dòng)作”對(s,a)在最優(yōu)策略下所獲得的長期累積折扣獎(jiǎng)勵(lì)。式(1)中的V*(s)和式(2)中的Q*(s,a)分別稱為MDP的最優(yōu)狀態(tài)值函數(shù)和最優(yōu)動(dòng)作值函數(shù)，而最優(yōu)策略π*則可以通過計(jì)算V*(s)或Q*(s,a)得到。

智能無人仿真實(shí)體的動(dòng)作尋優(yōu)原理如圖6所示。從某一初始值函數(shù)V和初始策略π出發(fā)，智能無人仿真實(shí)體通過策略評估學(xué)習(xí)到π的狀態(tài)值函數(shù)Vπ并賦值給V，而后根據(jù)V的值取貪心策略后，又可以通過策略改進(jìn)得到新的π，每次迭代的過程對應(yīng)于OODA-L模式中的“學(xué)習(xí)”環(huán)節(jié)。經(jīng)過多次迭代，V和π將最終收斂到最優(yōu)值V*和π*，從而得到智能無人仿真實(shí)體的最優(yōu)作戰(zhàn)行為策略。

3.2 智能無人仿真實(shí)體的組成結(jié)構(gòu)

傳統(tǒng)上，作戰(zhàn)仿真建模中的Agent具有如圖7所示結(jié)構(gòu)。

圖7 Agent的一般結(jié)構(gòu)Fig.7 General structure of Agent

在圖7中，Agent的智能特性表達(dá)是通過知識庫、推理機(jī)和學(xué)習(xí)模塊組成的專家系統(tǒng)構(gòu)成，屬于人工智能中符號主義學(xué)派[17]的觀點(diǎn)即知識表示，但該結(jié)構(gòu)中的知識庫構(gòu)建一般較為困難。而OODA-L模式，屬于人工智能中行為主義學(xué)派[17]的觀點(diǎn)，無須構(gòu)建過于復(fù)雜的知識庫和推理機(jī)。同時(shí)，借鑒CAS理論中的“開放”理念，強(qiáng)調(diào)將Agent視為一個(gè)開放的子系統(tǒng)，其智能特性是在與外界復(fù)雜環(huán)境建立起“觀察-判斷-決策-行動(dòng)”的高級行為機(jī)制基礎(chǔ)上，通過Agent不斷地與仿真環(huán)境交互迭代，以此進(jìn)化出“智能”的作戰(zhàn)行為。

為實(shí)現(xiàn)OODA-L模式，提出智能無人Agent建模的四個(gè)基本思路：①智能無人Agent所具有的基本行為能力，應(yīng)當(dāng)依據(jù)現(xiàn)實(shí)中無人作戰(zhàn)裝備的基本組成結(jié)構(gòu)和功能配置，進(jìn)一步抽象而來。②智能無人Agent應(yīng)當(dāng)由相互分離的底層技能模型、中層行為模型和高層智能模型組成。③智能無人Agent的某一具體行為可由單個(gè)或多個(gè)技能模型組成，智能模型可視為Agent在時(shí)序范圍內(nèi)，依據(jù)策略對作戰(zhàn)行為的選擇和運(yùn)用。④智能無人Agent應(yīng)當(dāng)是一種開放、可擴(kuò)展的模型，可以根據(jù)需要對技能模型、行為模型進(jìn)行擴(kuò)充?；谏鲜鏊狞c(diǎn)，構(gòu)建智能無人Agent的三域分層結(jié)構(gòu)，如圖8所示。

圖8 智能無人Agent的三域分層結(jié)構(gòu)Fig.8 Three-domain hierarchical structure of intelligent unmanned Agent

在圖8中：①智能模型對應(yīng)于認(rèn)知域，該模型主要是根據(jù)上級指控信息、預(yù)定的作戰(zhàn)任務(wù)以及對作戰(zhàn)態(tài)勢的認(rèn)知，對下一步應(yīng)當(dāng)采取的作戰(zhàn)行為作出決策。同時(shí)，智能無人Agent的狀態(tài)在執(zhí)行某一行為時(shí)，也隨之改變。②行為模型對應(yīng)于信息域，該模型主要描述智能無人Agent的行為能力，這里將行為模型視為信息行為，主要是因?yàn)樾畔⒂虺洚?dāng)了認(rèn)知域與物理域之間的媒介，起著“黏合劑”的作用，如圖8左側(cè)的圖例所示。從建模角度，行為模型承擔(dān)的功能是將物理域模型的輸出值進(jìn)行綜合并以信息交互的方式反饋給智能模型，從作用的本質(zhì)上看，它是將OODA循環(huán)的各個(gè)環(huán)節(jié)連接起來的中介，仍然是一種信息行為。另外，由于通信行為和感知行為屬于智能無人Agent的常態(tài)行為，比較特殊，故單獨(dú)列出，以區(qū)別于其他行為。③技能模型對應(yīng)于物理域，該模型更加貼近于裝備的硬件層面，強(qiáng)調(diào)對物理實(shí)體功能的描述，是能夠直接與外界環(huán)境或其他Agent發(fā)生交互的物理仿真模型，如雷達(dá)的探測模型、導(dǎo)彈的毀傷模型、飛機(jī)的空氣動(dòng)力模型、武器的控制模型等。技能模型比行為模型粒度更細(xì)，一個(gè)行為模型包含一定量的先驗(yàn)知識，可以看作某個(gè)行為對基礎(chǔ)技能的一種調(diào)用，它由多個(gè)技能的序列、算法或規(guī)則集組成。

綜上所述，可以將智能無人Agent的組成結(jié)構(gòu)特點(diǎn)總結(jié)為：智能模型是學(xué)習(xí)出來的，行為模型是抽象或規(guī)劃出來的，技能模型是相對固定的。智能模型決定智能無人Agent該“做”什么，行為模型決定“做”的具體內(nèi)容和方式，技能模型負(fù)責(zé)將“做”貫徹落實(shí)。

4 智能無人集群協(xié)同作戰(zhàn)建模的體系結(jié)構(gòu)

協(xié)同行為是智能無人集群作戰(zhàn)仿真建模的關(guān)鍵所在，結(jié)合2.3節(jié)提出的Co-OODA-L模式，提出智能無人集群協(xié)同作戰(zhàn)建模的體系結(jié)構(gòu)，如圖9所示。

在圖9中，設(shè)定智能無人集群采用分布式集群架構(gòu)，各Agent之間相互獨(dú)立，集群內(nèi)部可通過數(shù)據(jù)鏈實(shí)現(xiàn)信息共享。該體系結(jié)構(gòu)的運(yùn)行過程為：①智能無人Agent通過協(xié)同感知外部環(huán)境，使全局戰(zhàn)場狀態(tài)信息在集群內(nèi)部共享。②各智能無人Agent結(jié)合自身視角，利用人工神經(jīng)網(wǎng)絡(luò)(Artificial Neural Network, ANN)構(gòu)成的態(tài)勢認(rèn)知網(wǎng)絡(luò)，對全局戰(zhàn)場狀態(tài)進(jìn)行協(xié)同“思考”。③各智能無人Agent將“思考”后的信息，通過通信層/集群作戰(zhàn)協(xié)調(diào)層(兼虛擬全局智能體)，進(jìn)行充分的溝通和協(xié)調(diào)，該層也由ANN構(gòu)成，在具體實(shí)現(xiàn)上可采用循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network, RNN)及其變體或替代形式。④將溝通和協(xié)調(diào)后的信息反饋給同樣由ANN構(gòu)成的策略網(wǎng)絡(luò)，各Agent按照策略網(wǎng)絡(luò)的輸出選擇相應(yīng)的作戰(zhàn)行為，并在作戰(zhàn)仿真環(huán)境中具體執(zhí)行。⑤智能模型對協(xié)同作戰(zhàn)行為的執(zhí)行效果進(jìn)行綜合評估，并改進(jìn)和優(yōu)化智能無人Agent的作戰(zhàn)行為選擇。上述過程，將通過人不在回路的作戰(zhàn)仿真環(huán)境進(jìn)行大量迭代運(yùn)行，直至智能無人Agent學(xué)習(xí)到滿足要求的智能模型。相比傳統(tǒng)的集群行為建模方法，該體系結(jié)構(gòu)具有下列特點(diǎn)：

圖9 智能無人集群協(xié)同作戰(zhàn)建模的體系結(jié)構(gòu)Fig.9 Architecture of cooperative operation modeling of intelligent unmanned swarm

1)各智能無人Agent共用相同的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)(包括態(tài)勢認(rèn)知網(wǎng)絡(luò)、策略網(wǎng)絡(luò)和通信網(wǎng)絡(luò))及參數(shù)，可適用于可變Agent數(shù)量的集群；另外，由于采用了分布式結(jié)構(gòu)，可同時(shí)適用于同構(gòu)或異構(gòu)集群的建模，在經(jīng)過充分的訓(xùn)練和學(xué)習(xí)后，智能無人Agent將會(huì)產(chǎn)生高度自主的集群協(xié)同作戰(zhàn)能力。

2)各智能無人Agent的行為決策，并非簡單的“If-then-else”式結(jié)構(gòu)，不單純追求集群行為的一致性，而是通過對外部環(huán)境的感知和思考，同時(shí)兼顧其他Agent可能采取的行為，進(jìn)而推理出自身的行為決策，從而使智能無人Agent個(gè)體具有了一種全局思維能力。

3)智能無人Agent的策略網(wǎng)絡(luò)經(jīng)過作戰(zhàn)仿真環(huán)境的訓(xùn)練而不斷優(yōu)化，因而每個(gè)Agent都具有自學(xué)習(xí)和自成長特性，相比基于固定規(guī)則的Agent而言，具有更好的適應(yīng)能力和泛化性能，能夠應(yīng)對未知環(huán)境的不確定性，后續(xù)還能夠通過不斷地自我學(xué)習(xí)來進(jìn)一步提升自身的智能水平。

5 結(jié)論

建?？蚣苁菑母邔訉Ψ抡娼；顒?dòng)提供的方法指導(dǎo)。本文針對智能無人仿真實(shí)體的智能特性需求，提出一種能夠反映智能無人仿真實(shí)體自主能力和適應(yīng)能力的OODA-L模式，并將其擴(kuò)展為適用于集群做的Co-OODA-L模式。在OODA-L模式下，采用MDP對智能無人Agent進(jìn)行數(shù)學(xué)描述，并給出智能無人Agent的三域分層結(jié)構(gòu)描述。在Co-OODA-L模式下，探討了分布式體系結(jié)構(gòu)下智能無人集群協(xié)同作戰(zhàn)建模的(神經(jīng))網(wǎng)絡(luò)結(jié)構(gòu)及其特點(diǎn)。下一步，將根據(jù)所提建?？蚣?，重點(diǎn)結(jié)合具體的智能無人集群作戰(zhàn)任務(wù)背景，搭建仿真實(shí)驗(yàn)環(huán)境和智能無人Agent模型，構(gòu)建相關(guān)算法，開展細(xì)化研究。