多要素多目標(biāo)武器裝備協(xié)同規(guī)劃系統(tǒng)?

史繼筠 張 馳 連賀揚(yáng) 陳杰浩 張美慧

（1.北京理工大學(xué)計(jì)算機(jī)學(xué)院 北京 100081）（2.中國工業(yè)互聯(lián)網(wǎng)研究院 北京 100016）

1 引言

隨著信息化技術(shù)的快速發(fā)展，未來戰(zhàn)爭的作戰(zhàn)形式將會(huì)發(fā)生巨大變革。單一作戰(zhàn)已經(jīng)無法適用復(fù)雜多變戰(zhàn)場態(tài)勢，多軍兵種聯(lián)合作戰(zhàn)將成為未來戰(zhàn)場的主要作戰(zhàn)形式［1］。為了達(dá)成聯(lián)合作戰(zhàn)目標(biāo)，需要根據(jù)戰(zhàn)場態(tài)勢對武器裝備進(jìn)行實(shí)時(shí)協(xié)同規(guī)劃。武器裝備協(xié)同規(guī)劃是指根據(jù)戰(zhàn)場環(huán)境、武器及作戰(zhàn)平臺(tái)狀態(tài)等多種限制元素，將指揮系統(tǒng)下達(dá)的作戰(zhàn)任務(wù)通過智能決策分解至各個(gè)可調(diào)配的任務(wù)執(zhí)行單元，依據(jù)火力卡片為各發(fā)射平臺(tái)及保障資源制定任務(wù)準(zhǔn)備-機(jī)動(dòng)-待機(jī)隱蔽-發(fā)射-波次轉(zhuǎn)換等全流程的行動(dòng)規(guī)劃，縮短作戰(zhàn)單元暴露時(shí)間，降低敵方探測和打擊風(fēng)險(xiǎn)。當(dāng)前如遺傳算法［2］、蟻群算法［3］、整數(shù)規(guī)劃［4］等傳統(tǒng)算法已經(jīng)廣泛應(yīng)用于武器裝備協(xié)同規(guī)劃任務(wù)中，但是存在一定缺陷和不足。例如，遺傳算法運(yùn)行時(shí)間過長、容易陷入局部最優(yōu)解；整數(shù)規(guī)劃只能處理小規(guī)模問題；傳統(tǒng)神經(jīng)網(wǎng)絡(luò)算法依賴于訓(xùn)練數(shù)據(jù)，容易受到噪聲和干擾的影響，導(dǎo)致預(yù)測結(jié)果不準(zhǔn)確。

隨著強(qiáng)化學(xué)習(xí)［5］的飛速發(fā)展與應(yīng)用，為武器裝備的協(xié)同規(guī)劃問題提出了新的解決方案。強(qiáng)化學(xué)習(xí)相比于傳統(tǒng)算法更具有自主學(xué)習(xí)能力和適應(yīng)性，通過選擇動(dòng)作與環(huán)境進(jìn)行交互獲得反饋，以最小化誤差和代價(jià)函數(shù)為目標(biāo)從而實(shí)現(xiàn)更加高效的決策制定。綜上所述，針對當(dāng)前武器裝備領(lǐng)域協(xié)同規(guī)劃問題現(xiàn)存缺陷，提出了一套基于強(qiáng)化學(xué)習(xí)的多要素多目標(biāo)武器裝備協(xié)同規(guī)劃方案，通過基于深度強(qiáng)化學(xué)習(xí)的武器裝備調(diào)度算法和基于注意力機(jī)制的多車輛全局路徑規(guī)劃算法，實(shí)現(xiàn)導(dǎo)彈發(fā)射場景下的武器裝備協(xié)同控制。

2 問題描述

以導(dǎo)彈裝備的部署發(fā)射作為主要的實(shí)驗(yàn)場景，導(dǎo)彈裝備在進(jìn)行發(fā)射任務(wù)之前，都會(huì)在各自的戰(zhàn)略隱蔽點(diǎn)進(jìn)行待命準(zhǔn)備，當(dāng)指揮系統(tǒng)收到導(dǎo)彈發(fā)射的任務(wù)和指令之后，指揮系統(tǒng)會(huì)根據(jù)任務(wù)需要的導(dǎo)彈種類、導(dǎo)彈數(shù)量、任務(wù)優(yōu)先級(jí)等要素信息，對整個(gè)戰(zhàn)區(qū)的戰(zhàn)備導(dǎo)彈進(jìn)行全局調(diào)度，趕往任務(wù)地點(diǎn)進(jìn)行導(dǎo)彈發(fā)射。在這個(gè)過程中我們需要盡可能地縮短暴露時(shí)間，減少路徑?jīng)_突，因此要對作戰(zhàn)單元進(jìn)行全方位的協(xié)同規(guī)劃。因?yàn)檎麄€(gè)作戰(zhàn)場景過于復(fù)雜，優(yōu)化目標(biāo)多樣，直接對整個(gè)問題進(jìn)行建模和最優(yōu)方案求解，往往使得算法無法很好收斂。因此我們對整個(gè)場景進(jìn)行兩階段求解，先根據(jù)預(yù)儲(chǔ)的導(dǎo)彈資源，戰(zhàn)備位置，任務(wù)需求等要素，對戰(zhàn)備導(dǎo)彈資源和導(dǎo)彈發(fā)射任務(wù)進(jìn)行全局分配調(diào)度，再根據(jù)整體的分配情況，對所有車輛進(jìn)行一個(gè)全局路徑規(guī)劃減少路徑?jīng)_突，進(jìn)而形成一整套的協(xié)同規(guī)劃方案。

3 基于SAC的武器裝備調(diào)度算法

本章將重點(diǎn)介紹武器裝備調(diào)度分配階段的算法內(nèi)容。詳細(xì)介紹了強(qiáng)化學(xué)習(xí)中狀態(tài)空間、動(dòng)作空間、獎(jiǎng)勵(lì)函數(shù)、決策網(wǎng)絡(luò)模型以及算法訓(xùn)練過程等重要內(nèi)容。

3.1 馬爾可夫決策建模

3.1.1 狀態(tài)空間

在基于SAC（Soft Actor Critic）［9］的集中式武器裝備調(diào)度算法中，由于將整個(gè)中央決策中心當(dāng)作一個(gè)智能體進(jìn)行訓(xùn)練，因此觀測到的狀態(tài)空間應(yīng)該是包括全局所有武器裝備狀態(tài)以及目標(biāo)任務(wù)等狀態(tài)的空間。那么通過上文問題定義可以確定，整個(gè)狀態(tài)空間由三部分組成其中，Otc表示所有武器裝備的相關(guān)狀態(tài)信息，Otr表示所有目標(biāo)任務(wù)的相關(guān)狀態(tài)信息，Ot d表示所以資源補(bǔ)給點(diǎn)的相關(guān)狀態(tài)信息。對于單個(gè)武器裝備所具有的屬性包括：經(jīng)度屬性，維度屬性，攜帶資源分布屬性，發(fā)射成功率屬性，剩余油儲(chǔ)量；對于單個(gè)目標(biāo)任務(wù)所具有的屬性包括：經(jīng)度屬性，維度屬性，需求資源分布屬性，任務(wù)的重要程度；最后是資源補(bǔ)給點(diǎn)的相關(guān)屬性主要包括經(jīng)度屬性和維度屬性。

3.1.2 動(dòng)作空間

首先，對于一個(gè)武器裝備執(zhí)行單元來說，能夠進(jìn)行方案選擇有：任務(wù)出派、隱蔽待敵、資源補(bǔ)給。而任務(wù)出派的目標(biāo)則有m個(gè)任務(wù)目標(biāo)可以選擇，資源補(bǔ)給也有k個(gè)資源補(bǔ)給點(diǎn)可以選擇，再加上原地隱蔽待敵，因此總共有m+k+1 中選擇，因此對于一個(gè)武器裝備來說其動(dòng)作空間是一個(gè)大小為m+k+1 的離散動(dòng)作空間。其次，由于本算法是將整個(gè)中央決策系統(tǒng)當(dāng)作一整個(gè)智能體，其輸出應(yīng)該是全局武器裝備的整體決策方案，因此對于N個(gè)武器裝備來說，中央決策中心智能體的動(dòng)作選擇空間應(yīng)該是一個(gè)多維離散動(dòng)作空間，其表示如式（1）所示：

3.1.3 獎(jiǎng)勵(lì)函數(shù)

最后一部分是方案分配的最大距離懲罰q如式（4）所示，表示的是方案分配中最遠(yuǎn)的武器裝備到目標(biāo)地點(diǎn)的距離，這個(gè)指標(biāo)影響著整個(gè)方案的最終響應(yīng)時(shí)間。

因此，最終的一個(gè)單步獎(jiǎng)勵(lì)rt如式（5）所示，其中α,ω為超參數(shù)，用于平衡各個(gè)獎(jiǎng)勵(lì)目標(biāo)和懲罰目標(biāo)之間的權(quán)重。

3.2 Actor-Critic模型設(shè)計(jì)

該算法的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)主要有兩個(gè)分別是Q-Critic網(wǎng)絡(luò)和Actor策略網(wǎng)絡(luò)。在該網(wǎng)絡(luò)結(jié)構(gòu)中，Actor 網(wǎng)絡(luò)和Q-Critic 網(wǎng)路共用一個(gè)狀態(tài)特征提取層。特征提取層操作很簡單，將執(zhí)行單元和任務(wù)單元分別進(jìn)行一個(gè)線性變化獲得基礎(chǔ)編碼，再將整個(gè)狀態(tài)編碼展開為一個(gè)一維向量，在多要素多目標(biāo)武器裝備調(diào)度問題中，其輸出是一個(gè)15360 維的一維向量。整體結(jié)構(gòu)如下圖1所示。

圖1 網(wǎng)絡(luò)結(jié)構(gòu)圖

3.3 SAC算法訓(xùn)練

SAC 算法訓(xùn)練過程中，首先初始化并設(shè)置策略網(wǎng)絡(luò)、Q 網(wǎng)絡(luò)和目標(biāo)函數(shù)網(wǎng)絡(luò)參數(shù)。為了增強(qiáng)訓(xùn)練效果，引入熵［10］正則化項(xiàng)鼓勵(lì)策略保持多樣性，避免局部最優(yōu)問題，同時(shí)使用自適應(yīng)溫度參數(shù)平衡探索和利用。在收集樣本階段，使用當(dāng)前策略從環(huán)境中收集經(jīng)驗(yàn)樣本，并存儲(chǔ)到回放緩沖器中。在訓(xùn)練過程中，隨機(jī)抽取并重要性采樣樣本來更新策略網(wǎng)絡(luò)和Q網(wǎng)絡(luò)，并可以動(dòng)態(tài)調(diào)整學(xué)習(xí)率。策略遷移可在學(xué)習(xí)到的策略網(wǎng)絡(luò)上探索新狀態(tài)并繼續(xù)訓(xùn)練。訓(xùn)練會(huì)在達(dá)到預(yù)設(shè)的停止條件時(shí)停止。

4 基于注意力機(jī)制的全局路徑規(guī)劃算法

本章介紹了基于注意力機(jī)制［6］的全局路徑規(guī)劃算法的設(shè)計(jì)過程，包括獎(jiǎng)勵(lì)函數(shù)、多頭注意力模型、貪婪滾動(dòng)基線訓(xùn)練等各個(gè)強(qiáng)化學(xué)習(xí)訓(xùn)練模塊。

4.1 馬爾可夫決策建模

4.1.1 狀態(tài)空間

在這個(gè)全局路徑規(guī)劃問題中，狀態(tài)空間由三部分組成：全局節(jié)點(diǎn)集合狀態(tài)、多車輛初始節(jié)點(diǎn)狀態(tài)、當(dāng)前所在節(jié)點(diǎn)狀態(tài)、目標(biāo)節(jié)點(diǎn)狀態(tài)。具體表現(xiàn)如式（6）所示，其中vN={v1,v2,v3…,vN}表示整個(gè)戰(zhàn)場道路網(wǎng)絡(luò)分布及路口車流量特征，vM={v1,v2,v3…,vM}表示所以執(zhí)行單元初始位置分布特征，vi表示當(dāng)前規(guī)劃路徑的車輛起始節(jié)點(diǎn)i，vj表示當(dāng)前規(guī)劃路徑的車輛目標(biāo)地節(jié)點(diǎn)j。

4.1.2 動(dòng)作空間

在路徑規(guī)劃問題中常用地圖節(jié)點(diǎn)集合當(dāng)作動(dòng)作空間，這種方式被稱為節(jié)點(diǎn)選擇問題。這種節(jié)點(diǎn)選擇問題的動(dòng)作空間，因?yàn)楣?jié)點(diǎn)的數(shù)量很大，在進(jìn)行動(dòng)作選擇時(shí)，通過還需要屏蔽機(jī)制（Mask），限制節(jié)點(diǎn)的數(shù)量，以確保智能體只能選擇與當(dāng)前節(jié)點(diǎn)存在地圖道路的下一個(gè)節(jié)點(diǎn)。通過不斷地選擇下一個(gè)節(jié)點(diǎn)，最終就能形成由一組地圖節(jié)點(diǎn)所組成的行駛路徑。

4.1.3 獎(jiǎng)勵(lì)函數(shù)

獎(jiǎng)勵(lì)函數(shù)用于評估代理執(zhí)行一個(gè)動(dòng)作的好壞。在路徑規(guī)劃問題中，為了找到最短路徑，可以定義獎(jiǎng)勵(lì)函數(shù)為選擇的節(jié)點(diǎn)到當(dāng)前節(jié)點(diǎn)路徑長度的相反數(shù)。同時(shí)通過設(shè)置一個(gè)懲罰因子，對智能體選擇過于擁擠的節(jié)點(diǎn)進(jìn)行懲罰，來指導(dǎo)智能體做出更好的決策。具體的獎(jiǎng)勵(lì)函數(shù)表示如式（8）所示：

rt=-path_length-penalty*invalid_action（8）

其中，pat?_lengt? 表示路徑長度，penalty是一個(gè)懲罰因子，用于懲罰智能體選擇擁擠的節(jié)點(diǎn)，懲罰因子的大小隨著擁擠程度的提升而提升，而invalid_action是一個(gè)指示函數(shù)，如果智能體選擇的節(jié)點(diǎn)不符合要求，則為1，否則為0。

4.2 注意力模型設(shè)計(jì)

本章方法的模型結(jié)構(gòu)源于傳統(tǒng)的Encoder-Decoder 結(jié)構(gòu)。在這個(gè)路勁規(guī)劃問題中，每一個(gè)輸入Xi都是一個(gè)維度為2 的向量。編碼器首先會(huì)通過一個(gè)線性變化將每個(gè)xi編碼為維度是128 的特征向量（node embeding），表示為?0i。接著會(huì)經(jīng)過一個(gè)循環(huán)N層的網(wǎng)絡(luò)結(jié)構(gòu)，每一層里面都由一個(gè)多頭注意力機(jī)制層（multi-head attention）和一個(gè)前饋反饋層（feed forward）兩個(gè)子層組成，每一個(gè)子層會(huì)經(jīng)過一個(gè)殘差網(wǎng)絡(luò)［7］進(jìn)行傳播，其結(jié)構(gòu)如圖2所示。

圖2 編碼器結(jié)構(gòu)

解碼器結(jié)構(gòu)主要由兩個(gè)部分組成，一部分同樣是一個(gè)多頭注意力機(jī)制，用于將解碼器輸出的圖特征編碼以及其他特征進(jìn)行融合，變成一個(gè)整體上下文特征編碼。接著是另一部分，是一個(gè)基于單注意力機(jī)制的概率計(jì)算層，通過計(jì)算每個(gè)節(jié)點(diǎn)對上一層輸出的上下文特征編碼的重要程度，再將其轉(zhuǎn)化為概率值。根據(jù)概率值，就可以根據(jù)不同的策略來選取下一個(gè)節(jié)點(diǎn)，重復(fù)多次這個(gè)過程，就可以得到智能體的路徑規(guī)劃。具體的解碼器結(jié)構(gòu)如圖3所示。

圖3 解碼器結(jié)構(gòu)

4.3 REINFORCE算法訓(xùn)練

模型采用REINFORCE［8］算法訓(xùn)練，同時(shí)采用貪戀基線進(jìn)行更新。該思想?yún)⒖剂薉QN 算法中Target 網(wǎng)絡(luò)的思想。創(chuàng)建兩個(gè)結(jié)構(gòu)完全一樣的網(wǎng)絡(luò)，一套擁有最新的參數(shù)，一套則固定為老的參數(shù)。在每個(gè)epoch 結(jié)束后，對比兩個(gè)當(dāng)前策略和基線策略的結(jié)果，如果當(dāng)前策略的累計(jì)獎(jiǎng)勵(lì)期望比基線策略有顯著的提升時(shí)，將當(dāng)前策略參數(shù)復(fù)制給基線策略，以此不斷提升當(dāng)前策略網(wǎng)絡(luò)的效果。

5 實(shí)驗(yàn)

5.1 實(shí)驗(yàn)設(shè)計(jì)

為了驗(yàn)證算法的有效性和先進(jìn)性，我們進(jìn)行了以下三個(gè)方面的實(shí)驗(yàn)設(shè)置：環(huán)境設(shè)置、武器裝備調(diào)度實(shí)驗(yàn)、全局路徑規(guī)劃實(shí)驗(yàn)。

5.1.1 實(shí)驗(yàn)環(huán)境

本課題采用PyCharm 作為開發(fā)工具，使用的語言為python3.9，采用了pytorch 深度學(xué)習(xí)框架構(gòu)建深度強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)。實(shí)驗(yàn)的運(yùn)行環(huán)境及軟硬件配置如表1所示。

表1 實(shí)驗(yàn)運(yùn)行環(huán)境及軟硬件設(shè)置

5.1.2 仿真環(huán)境

本節(jié)針對武器裝備調(diào)度問題和多車輛路徑規(guī)劃問題，構(gòu)建戰(zhàn)場仿真環(huán)境以便訓(xùn)練DRL 算法。整個(gè)仿真環(huán)境是城市地理環(huán)境，以廣州大學(xué)為中心，作戰(zhàn)區(qū)域?yàn)?000km2，其中北緯23.0985 以北為備戰(zhàn)區(qū)域，北緯22.0575 以南為發(fā)射區(qū)域。本實(shí)驗(yàn)包含三個(gè)不同規(guī)模的仿真環(huán)境：env20、env50、env100。env20 為20 個(gè)執(zhí)行單元和4 個(gè)任務(wù)單元，env50為50個(gè)執(zhí)行單元和10個(gè)任務(wù)單元，env100為100 個(gè)執(zhí)行單元和20 個(gè)任務(wù)單元。其他仿真環(huán)境的參數(shù)如表2所示。

表2 仿真環(huán)境參數(shù)設(shè)置

5.2 武器裝備調(diào)度實(shí)驗(yàn)

5.2.1 評價(jià)指標(biāo)

本小節(jié)重點(diǎn)介紹在多要素多目標(biāo)武器裝備調(diào)度實(shí)驗(yàn)中用到的性能評價(jià)指標(biāo)如表3 所示。這些指標(biāo)由合作單位某航天研究院提供，通過任務(wù)完成度表示戰(zhàn)備資源分配效果；最大行駛距離和平均行駛距離表示部隊(duì)響應(yīng)速度；算法時(shí)間復(fù)雜度表示部隊(duì)調(diào)度的實(shí)時(shí)性和敏捷性。

表3 武器裝備調(diào)度實(shí)驗(yàn)評價(jià)指標(biāo)

5.2.2 收斂性實(shí)驗(yàn)

本節(jié)所有的實(shí)驗(yàn)結(jié)果是基于上一小節(jié)中env100的環(huán)境進(jìn)行訓(xùn)練，具體的累計(jì)獎(jiǎng)勵(lì)曲線和損失曲線如圖4 所示。從累計(jì)獎(jiǎng)勵(lì)曲線可以看出算法在60000 步的時(shí)候開始進(jìn)入穩(wěn)定期，算法開始收斂，最終每輪訓(xùn)練的平均累計(jì)獎(jiǎng)勵(lì)穩(wěn)定在80 上下（理論累計(jì)獎(jiǎng)勵(lì)最大值為200）。這些實(shí)驗(yàn)結(jié)果說明該算法最終都能夠成功收斂。

圖4 基于SAC的武器裝備調(diào)度算法結(jié)果圖

5.2.3 對比試驗(yàn)

對于多要素多目標(biāo)武器裝備調(diào)度問題，其主要的評價(jià)指標(biāo)有四個(gè)，分別是：任務(wù)完成度、最大行駛距離、平均行駛距離和以及算法時(shí)間復(fù)雜度。進(jìn)行對比的算法有四種：隨機(jī)選擇、貪心算法、最優(yōu)強(qiáng)化學(xué)習(xí)算法、遺傳算法。其中隨機(jī)選擇算法通過完全隨機(jī)的方式生成決策方案，這個(gè)算法作為基礎(chǔ)參照指標(biāo)。貪心算法則是對任務(wù)進(jìn)行重要程度排序，優(yōu)先完成重要程度高的任務(wù)，同時(shí)對執(zhí)行單元的距離進(jìn)行排序，優(yōu)先調(diào)度最近的執(zhí)行單元前去完成任務(wù)。最優(yōu)強(qiáng)化學(xué)習(xí)算法，則是調(diào)度算法經(jīng)過調(diào)參訓(xùn)練后的最優(yōu)模型。遺傳算法則是根據(jù)遺傳規(guī)律，以啟發(fā)式搜索的形式在解空間中搜索出一個(gè)相對最優(yōu)解。最終這四種算法關(guān)于四個(gè)指標(biāo)在不同規(guī)模數(shù)據(jù)集上的表現(xiàn)如圖5 所示。從結(jié)果可以看出，隨著問題規(guī)模的增加，該調(diào)度算法在任務(wù)完成度、算法時(shí)間復(fù)雜度上的優(yōu)勢越來越明顯。同時(shí)在最長行駛距離和平均行駛距離與貪心算法的差距也在不斷變小。

圖5 多種武器裝備調(diào)度算法對比結(jié)果圖

在任務(wù)完成度方面，因?yàn)樵趩栴}規(guī)模較小的時(shí)候，遺傳搜索算法能夠在較小的解空間中找出優(yōu)秀的解，但隨著問題規(guī)模增大，在有限時(shí)間內(nèi)搜索出一個(gè)優(yōu)秀解就越來越困難，而強(qiáng)化學(xué)習(xí)基于概率的特性在數(shù)據(jù)規(guī)模大的時(shí)候就逐漸顯現(xiàn)出優(yōu)勢。在路徑長度方面，貪心算法以最短路徑為貪心目標(biāo)，所以在路徑方面具備優(yōu)勢，強(qiáng)化學(xué)習(xí)算法則更具綜合優(yōu)勢。在算法時(shí)間復(fù)雜度，其他算法隨著問題規(guī)模的增長而增長，但強(qiáng)化學(xué)習(xí)則基本穩(wěn)定不變。

5.3 全局路徑規(guī)劃實(shí)驗(yàn)

5.3.1 評價(jià)指標(biāo)

本節(jié)重點(diǎn)介紹在多車輛全局路徑規(guī)劃實(shí)驗(yàn)中用到的性能評價(jià)指標(biāo)。路徑?jīng)_突次數(shù)、最大行駛時(shí)間、平均行駛時(shí)間、算法時(shí)間復(fù)雜度指標(biāo)將在對比試驗(yàn)作為主要的對比指標(biāo)，證明所提出算法的先進(jìn)性。這些指標(biāo)同樣由合作單位給出，路徑?jīng)_突次數(shù)表示全局規(guī)劃的平衡性；最大行駛時(shí)間和平均行駛時(shí)間表示路徑規(guī)劃的先進(jìn)性；算法時(shí)間復(fù)雜度表示規(guī)劃的實(shí)時(shí)性和敏捷性。具體介紹如表4所示。

表4 全局路徑規(guī)劃實(shí)驗(yàn)評價(jià)指標(biāo)

5.3.2 收斂性實(shí)驗(yàn)

本節(jié)所有的實(shí)驗(yàn)結(jié)果是基于上一小節(jié)中env100的環(huán)境進(jìn)行訓(xùn)練，具體的累計(jì)獎(jiǎng)勵(lì)曲線和損失曲線如圖6 所示。因?yàn)槁窂揭?guī)劃中獎(jiǎng)勵(lì)函數(shù)都是懲罰機(jī)制，最終的結(jié)果是最小化懲罰，所以平均累計(jì)獎(jiǎng)勵(lì)為負(fù)值。從實(shí)驗(yàn)結(jié)果可以看到最終在500000 步的時(shí)候，累計(jì)獎(jiǎng)勵(lì)穩(wěn)定到了-60 的位置，證明了該算法最終可以成功收斂。

圖6 基于注意力機(jī)制的全局路徑規(guī)劃算法結(jié)果圖

5.3.3 對比試驗(yàn)

對于全局多車輛路徑規(guī)劃問題，其主要的評價(jià)指標(biāo)有四個(gè)，分別是：平均行駛時(shí)間、最長行駛時(shí)間按、路徑?jīng)_突次數(shù)、算法時(shí)間復(fù)雜度。進(jìn)行對比的算法有兩種：注意力模型、Dijkstra。其中注意力模型算法是基于注意力模型的路徑規(guī)劃算法；Dijkstra 是單源最短路徑算法。最終這兩種算法關(guān)于四個(gè)指標(biāo)在不同規(guī)模數(shù)據(jù)集上的表現(xiàn)如圖7 所示。整體來看，隨著問題規(guī)模的增加，Dijkstra 算法的路徑?jīng)_突次數(shù)急劇上升，導(dǎo)致，進(jìn)而導(dǎo)致行駛時(shí)間急劇上升，表現(xiàn)越來越差。而基于注意力機(jī)制的路徑規(guī)劃算法則表現(xiàn)越來越好，且在算法時(shí)間復(fù)雜度上，也優(yōu)于傳統(tǒng)算法。

圖7 多種全局路徑規(guī)劃算法對比結(jié)果圖

6 結(jié)語

該研究通過強(qiáng)化學(xué)習(xí)的方法設(shè)計(jì)了一套多要素多目標(biāo)武器裝備協(xié)同規(guī)劃算法。希望通過協(xié)同規(guī)劃算法能夠輔助我軍指揮官更好的進(jìn)行科學(xué)有效的規(guī)劃決策，適應(yīng)信息化聯(lián)合作戰(zhàn)趨勢。研究將該問題分解為了兩個(gè)子問題：多要素多目標(biāo)武器裝備調(diào)度問題和多車輛全局路徑規(guī)劃問題。并針對兩個(gè)階段的問題分別提出了基于SAC 的武器裝備調(diào)度算法和基于注意力機(jī)制的全局路徑規(guī)劃算法。最后通過和傳統(tǒng)算法的對比試驗(yàn)，證明了提出方法的有效性和先進(jìn)性。這項(xiàng)研究為武器裝備協(xié)同規(guī)劃問題提供了新的思路和解決方案，也為算法的優(yōu)化和改進(jìn)提供了有益的參考。相信這些算法的思路有很大的潛力在未來的應(yīng)用中會(huì)繼續(xù)得到完善和發(fā)展。