基于強(qiáng)化學(xué)習(xí)的通信受限環(huán)境多無(wú)人機(jī)協(xié)同策略

鄧麗敏，陳蓓蓓，劉 慧

（南京鐵道職業(yè)技術(shù)學(xué)院，江蘇 南京 210031）

1 通信受限環(huán)境中的多無(wú)人機(jī)協(xié)同架構(gòu)

通信受限環(huán)境中的多無(wú)人機(jī)協(xié)同架構(gòu)是指在通信受限的環(huán)境，無(wú)人機(jī)之間如何進(jìn)行信息交互和協(xié)同作業(yè)的方式。這種架構(gòu)通常會(huì)考慮無(wú)人機(jī)之間的通信方式、信息傳輸速率和可靠性等因素。常見(jiàn)的通信方式包括Wi-Fi、藍(lán)牙、移動(dòng)數(shù)據(jù)傳輸?shù)?。在通信受限環(huán)境中，無(wú)人機(jī)需要選擇適合自己的通信方式，并確保信息傳輸?shù)目煽啃?。在信息交互方面，無(wú)人機(jī)需要通過(guò)無(wú)線通信網(wǎng)絡(luò)進(jìn)行信息交互，以實(shí)現(xiàn)彼此之間的協(xié)同作業(yè)。這種架構(gòu)通常包括基站、無(wú)人機(jī)和移動(dòng)終端等組成部分。在基站之間，無(wú)人機(jī)需要通過(guò)無(wú)線通信網(wǎng)絡(luò)將數(shù)據(jù)傳輸?shù)交?，再由基站轉(zhuǎn)發(fā)給其他無(wú)人機(jī)。總體來(lái)說(shuō)，通信受限環(huán)境中的多無(wú)人機(jī)協(xié)同架構(gòu)需要考慮各種因素，以確保無(wú)人機(jī)之間的信息交互和協(xié)同作業(yè)的可靠性和安全性。

2 通信連接需求

多無(wú)人機(jī)協(xié)同通信是指多架無(wú)人機(jī)通過(guò)通信技術(shù)實(shí)現(xiàn)協(xié)同合作，提高通信效率和可靠性的過(guò)程。多無(wú)人機(jī)協(xié)同通信需求主要有以下幾種。①大帶寬：無(wú)人機(jī)之間需要實(shí)現(xiàn)高速的數(shù)據(jù)傳輸和同步，以保證信息的及時(shí)傳遞和任務(wù)的順利完成。②高精度：無(wú)人機(jī)需要具備高精度的定位和路徑規(guī)劃能力，以保證其在執(zhí)行任務(wù)時(shí)的安全性和可靠性。③強(qiáng)信號(hào)覆蓋：無(wú)人機(jī)需要在惡劣的環(huán)境中保持一定的信號(hào)覆蓋，以保證信息的傳達(dá)和接收。④多用戶認(rèn)證：為了保證用戶之間的通信安全，無(wú)人機(jī)需要具備多用戶認(rèn)證功能，以確保只有授權(quán)用戶才能進(jìn)行通信。⑤自主決策和控制：無(wú)人機(jī)需要具備自主決策和控制能力，以實(shí)現(xiàn)任務(wù)的自主執(zhí)行和任務(wù)的調(diào)整。這些需求都需要通過(guò)多無(wú)人機(jī)協(xié)同通信技術(shù)來(lái)實(shí)現(xiàn)。

3 基于強(qiáng)化學(xué)習(xí)的通信受限環(huán)境中多無(wú)人機(jī)協(xié)同策略

3.1 層級(jí)通信網(wǎng)絡(luò)

近年來(lái)，隨著人工智能技術(shù)的快速發(fā)展，基于智能體的機(jī)器學(xué)習(xí)在控制領(lǐng)域中得到了廣泛的應(yīng)用。使用智能體來(lái)進(jìn)行建模，可以解決傳統(tǒng)機(jī)器學(xué)習(xí)方法中存在的一些問(wèn)題。

強(qiáng)化學(xué)習(xí)是一種人工智能方法，其目的是通過(guò)訓(xùn)練算法來(lái)自主地學(xué)習(xí)最優(yōu)策略?；趶?qiáng)化學(xué)習(xí)的多無(wú)人機(jī)協(xié)同策略層級(jí)通信網(wǎng)絡(luò)可以通過(guò)建立多無(wú)人機(jī)之間的通信關(guān)系，實(shí)現(xiàn)對(duì)環(huán)境的感知、任務(wù)分配、通信協(xié)調(diào)等功能[1]。在該網(wǎng)絡(luò)中，每個(gè)無(wú)人機(jī)都有一個(gè)狀態(tài)和一個(gè)動(dòng)作。狀態(tài)是指無(wú)人機(jī)當(dāng)前所處的位置和狀態(tài)之間的關(guān)系，動(dòng)作是指無(wú)人機(jī)根據(jù)環(huán)境信息和自身狀態(tài)做出的決策。通信網(wǎng)絡(luò)則是一種將各個(gè)無(wú)人機(jī)連接起來(lái)的協(xié)議，它將狀態(tài)和動(dòng)作傳遞給其他無(wú)人機(jī)，從而實(shí)現(xiàn)多無(wú)人機(jī)之間的通信。

多無(wú)人機(jī)協(xié)同層級(jí)網(wǎng)絡(luò)通信的關(guān)鍵技術(shù)主要有以下幾種。①數(shù)據(jù)共享：多架無(wú)人機(jī)之間需要互相傳遞信息，因此需要在彼此之間進(jìn)行數(shù)據(jù)共享。這種技術(shù)可以通過(guò)文本、圖像、語(yǔ)音等方式進(jìn)行。多架無(wú)人機(jī)需要互相傳遞信號(hào)，因此需要使用合適的通信技術(shù)。②帶寬管理：多架無(wú)人機(jī)需要在不同的地區(qū)和時(shí)間傳輸不同的信息，因此需要選擇合適的帶寬管理技術(shù)。③安全保障：多架無(wú)人機(jī)之間需要進(jìn)行安全保障，以確保信息的安全性和可靠性。④數(shù)據(jù)壓縮：多架無(wú)人機(jī)需要進(jìn)行數(shù)據(jù)壓縮，以節(jié)省帶寬和時(shí)間。⑤智能決策：多架無(wú)人機(jī)需要進(jìn)行智能決策，以確定下一步該往哪里傳信息?？傊酂o(wú)人機(jī)協(xié)同層級(jí)網(wǎng)絡(luò)通信技術(shù)是一種復(fù)雜的技術(shù)，需要考慮到多個(gè)方面的因素，包括數(shù)據(jù)共享、帶寬管理、安全保障等。通過(guò)優(yōu)化和協(xié)同工作，多架無(wú)人機(jī)可以提高通信效率和網(wǎng)絡(luò)性能，實(shí)現(xiàn)更好的通信效果[2]。

3.2 連續(xù)連接探索

多無(wú)人機(jī)協(xié)同連續(xù)連接策略（Multi-UAV CONNECTION Connected Connectivity，MUSC）是一種基于多無(wú)人機(jī)智能協(xié)作的策略，它將多架無(wú)人機(jī)連接到一起，以實(shí)現(xiàn)更高效的任務(wù)執(zhí)行。MUSC通常由一個(gè)管理者或指揮官來(lái)管理，以確保所有無(wú)人機(jī)的目標(biāo)一致，同時(shí)協(xié)調(diào)無(wú)人機(jī)之間的連接和協(xié)作。MUSC的優(yōu)勢(shì)在于可以提高任務(wù)完成效率，同時(shí)降低任務(wù)執(zhí)行成本。MUSC的連接方式通常分為以下幾個(gè)步驟。①建立連接：需要建立一個(gè)初始連接，以確保所有無(wú)人機(jī)之間的信息交流和溝通。該連接可以通過(guò)無(wú)線電或衛(wèi)星通信等方式實(shí)現(xiàn)。②分配任務(wù)：根據(jù)不同無(wú)人機(jī)的任務(wù)需求，將監(jiān)測(cè)環(huán)境、監(jiān)視目標(biāo)等任務(wù)分配給它們。③協(xié)作：在完成任務(wù)后，無(wú)人機(jī)之間需要相互協(xié)作，以更高效地執(zhí)行任務(wù)。這種協(xié)作可以通過(guò)連續(xù)連接來(lái)實(shí)現(xiàn)。④連續(xù)連接：當(dāng)所有無(wú)人機(jī)完成任務(wù)后，可以通過(guò)無(wú)線通信或衛(wèi)星通信等方式將任務(wù)結(jié)果返回給管理者或指揮官。管理者或指揮官可以根據(jù)實(shí)際情況，選擇合適的連接方式來(lái)實(shí)現(xiàn)MUSC的連續(xù)連接。

3.3 循環(huán)連接

無(wú)人機(jī)在執(zhí)行任務(wù)時(shí)，往往需要面對(duì)通信受限、通信時(shí)延、任務(wù)切換等問(wèn)題。在傳統(tǒng)的多機(jī)協(xié)同中，由于每個(gè)無(wú)人機(jī)之間的通信距離較遠(yuǎn)，通信時(shí)延較大，導(dǎo)致任務(wù)執(zhí)行的效率較低。為了提高協(xié)同效率，研究者們提出了很多基于強(qiáng)化學(xué)習(xí)的網(wǎng)絡(luò)協(xié)同訓(xùn)練方法，但這些方法大多只考慮了單一無(wú)人機(jī)的局部狀態(tài)和局部動(dòng)作，缺乏對(duì)多機(jī)協(xié)同關(guān)系的考慮[3]。

以下是多無(wú)人機(jī)協(xié)同策略循環(huán)連接分析的一些關(guān)鍵步驟。①確定任務(wù)需求：確定需要實(shí)現(xiàn)的任務(wù)需求，這需要根據(jù)具體任務(wù)需求進(jìn)行分析和建模。②建立通信連接：需要建立多個(gè)無(wú)人機(jī)之間的通信連接，以確保每個(gè)無(wú)人機(jī)都能夠接收到來(lái)自其他無(wú)人機(jī)的信息，并將這些信息傳達(dá)給它們。③確定最佳策略：在建立了通信連接后，需要確定最佳的協(xié)同策略。這需要考慮每個(gè)無(wú)人機(jī)的性能、任務(wù)需求和環(huán)境因素等因素，最終確定最佳的協(xié)同策略，確保任務(wù)能夠得到有效完成。④協(xié)調(diào)行動(dòng)：在完成協(xié)同任務(wù)后，需要協(xié)調(diào)所有無(wú)人機(jī)的行動(dòng)，以實(shí)現(xiàn)整體任務(wù)目標(biāo)。這需要通過(guò)制定決策和規(guī)劃來(lái)實(shí)現(xiàn)。⑤監(jiān)測(cè)任務(wù)進(jìn)展：需要監(jiān)測(cè)所有無(wú)人機(jī)的任務(wù)進(jìn)展情況，并根據(jù)需要進(jìn)行調(diào)整和決策。這需要對(duì)無(wú)人機(jī)之間的通信連接、執(zhí)行任務(wù)過(guò)程中的狀態(tài)和結(jié)果等進(jìn)行實(shí)時(shí)監(jiān)測(cè)和分析。

3.4 場(chǎng)景特征提取

多無(wú)人機(jī)協(xié)同場(chǎng)景特征提取是指將多個(gè)無(wú)人機(jī)分別拍攝同一地點(diǎn)的圖像，并從圖像中提取出場(chǎng)景的特征，如建筑物、道路、植被等。提取的特征可以用來(lái)進(jìn)行場(chǎng)景建模、三維重建、目標(biāo)檢測(cè)等應(yīng)用。以下是一些常見(jiàn)的多無(wú)人機(jī)協(xié)同場(chǎng)景特征提取方法。①建筑物特征提?。航ㄖ锸嵌酂o(wú)人機(jī)協(xié)同場(chǎng)景中最常用的特征之一。在圖像中，可以通過(guò)提取圖像中建筑物的輪廓、色彩、形狀等信息，為后續(xù)的三維重建和目標(biāo)檢測(cè)等應(yīng)用提供支持。②道路特征提取：道路是多無(wú)人機(jī)協(xié)同場(chǎng)景中另一個(gè)常見(jiàn)的特征。在圖像中，可以將圖像轉(zhuǎn)換為數(shù)字圖像，然后通過(guò)邊緣檢測(cè)、Canny邊緣檢測(cè)等算法提取出圖像中的道路邊緣信息。三維重建是多無(wú)人機(jī)協(xié)同場(chǎng)景中另一個(gè)常用的應(yīng)用。在圖像中，可以將圖像轉(zhuǎn)換為數(shù)字3D模型，然后通過(guò)立體匹配、定位與導(dǎo)航等算法實(shí)現(xiàn)3D模型到二維平面圖的投影，從而提取出場(chǎng)景的三維信息。

3.5 網(wǎng)絡(luò)訓(xùn)練

基于強(qiáng)化學(xué)習(xí)的多機(jī)協(xié)同訓(xùn)練方法，可以在通信受限環(huán)境中，實(shí)現(xiàn)對(duì)無(wú)人機(jī)間通信距離、任務(wù)切換等問(wèn)題的解決。該方法首先利用多智能體系統(tǒng)（Multi-Agent System，MAS）模型對(duì)無(wú)人機(jī)進(jìn)行建模，然后基于馬爾可夫決策過(guò)程（Markov Decision Process，MDP）建立多無(wú)人機(jī)協(xié)同網(wǎng)絡(luò)模型，最后根據(jù)每個(gè)無(wú)人機(jī)與其他無(wú)人機(jī)間的通信距離以及任務(wù)切換等情況進(jìn)行網(wǎng)絡(luò)訓(xùn)練，從而實(shí)現(xiàn)多機(jī)間協(xié)同。

多無(wú)人機(jī)協(xié)同網(wǎng)絡(luò)模型包括兩個(gè)部分，即無(wú)人機(jī)之間的通信關(guān)系和任務(wù)切換關(guān)系。對(duì)于每架無(wú)人機(jī)而言，其狀態(tài)包括飛行狀態(tài)和交互狀態(tài)兩個(gè)部分。飛行狀態(tài)描述了每架無(wú)人機(jī)在飛行過(guò)程中的飛行動(dòng)作，而交互狀態(tài)描述了每個(gè)無(wú)人機(jī)與其他無(wú)人機(jī)的交互動(dòng)作[4]。其中通信關(guān)系與任務(wù)切換關(guān)系分別用矩陣形式來(lái)表示。其中，在多無(wú)人機(jī)協(xié)同網(wǎng)絡(luò)模型中，通信關(guān)系可以用一個(gè)矩陣表示。假設(shè)有N個(gè)無(wú)人機(jī)，通信關(guān)系矩陣C的元素C[i][j]表示第i個(gè)無(wú)人機(jī)與第j個(gè)無(wú)人機(jī)是否能夠進(jìn)行直接通信。如果能夠進(jìn)行直接通信，則C[i][j]=1；否則，C[i][j]=0。例如，若某個(gè)位置上的無(wú)人機(jī)A和B可以建立直接通信，則C[AB]=1。

類似地，任務(wù)切換關(guān)系也可以用一個(gè)矩陣表示。假設(shè)每個(gè)無(wú)人機(jī)有M個(gè)任務(wù)可供切換，任務(wù)切換關(guān)系矩陣T的元素T[i][j]表示第i個(gè)無(wú)人機(jī)是否可以切換到第j個(gè)任務(wù)上執(zhí)行。如果可以切換，則T[i][j]=1；否則，T[i][j]=0。例如，在某種情況下，若無(wú)人機(jī)A和B可以相互切換任務(wù)，則t[AB]=1。

在該部分，可以采用來(lái)自AIRS的飛行數(shù)據(jù)，對(duì)所提出的算法進(jìn)行實(shí)驗(yàn)驗(yàn)證。AIRS是一個(gè)用于分析無(wú)人機(jī)在飛行過(guò)程中各種性能指標(biāo)的開(kāi)源工具，它由美國(guó)國(guó)家航空航天局（NASA）發(fā)布，是美國(guó)宇航局用于飛行測(cè)試與評(píng)估的重要工具。該數(shù)據(jù)集包括P-8A、P-9A、P-10A和P-8B四個(gè)飛機(jī)型號(hào)，可在不同的訓(xùn)練環(huán)境中對(duì)所提出算法進(jìn)行驗(yàn)證，包括無(wú)人偵察機(jī)、固定翼無(wú)人機(jī)和旋翼無(wú)人機(jī)。實(shí)驗(yàn)環(huán)境包括大氣湍流、風(fēng)和云、地形起伏以及干擾情況等。本節(jié)中，主要使用了人工數(shù)據(jù)集和真實(shí)飛行數(shù)據(jù)集來(lái)驗(yàn)證本文提出算法的性能，并將驗(yàn)證結(jié)果與其他基于強(qiáng)化學(xué)習(xí)的多機(jī)協(xié)同算法進(jìn)行比較。還可以用三種不同的訓(xùn)練方法來(lái)測(cè)試算法的性能。最后以平均絕對(duì)誤差、平均誤差標(biāo)準(zhǔn)差、平均絕對(duì)誤差方差和平均絕對(duì)誤差百分比四個(gè)指標(biāo)來(lái)衡量算法的性能。

3.6 控制系統(tǒng)框架

可設(shè)計(jì)一個(gè)基于馬爾可夫決策過(guò)程的多無(wú)人機(jī)協(xié)同控制系統(tǒng)框架，其中控制器可以對(duì)多無(wú)人機(jī)進(jìn)行協(xié)調(diào)和管理，包括任務(wù)分配、編隊(duì)管理、航跡規(guī)劃等方面。在任務(wù)分配方面，通過(guò)對(duì)環(huán)境進(jìn)行建模，將任務(wù)分為簡(jiǎn)單任務(wù)和復(fù)雜任務(wù)兩類。在編隊(duì)管理方面，通過(guò)對(duì)無(wú)人機(jī)之間的協(xié)同行為進(jìn)行建模，實(shí)現(xiàn)對(duì)無(wú)人機(jī)之間的動(dòng)態(tài)協(xié)作和控制。

基于馬爾可夫決策過(guò)程的多無(wú)人機(jī)協(xié)同控制系統(tǒng)框架是一種用于多無(wú)人機(jī)協(xié)同控制的技術(shù)，它將無(wú)人機(jī)看作是一個(gè)馬爾可夫決策過(guò)程的參與者，通過(guò)制定協(xié)同控制策略，實(shí)現(xiàn)無(wú)人機(jī)之間的通信和協(xié)調(diào)，以完成預(yù)定的任務(wù)。該框架主要由以下幾個(gè)模塊組成。①狀態(tài)模塊：該模塊用于收集和存儲(chǔ)無(wú)人機(jī)之間的交互信息，包括無(wú)人機(jī)的位置、狀態(tài)、速度、加速度等信息。②決策模塊：該模塊使用馬爾可夫決策過(guò)程來(lái)分析和解決問(wèn)題，通過(guò)對(duì)無(wú)人機(jī)之間的交互行為進(jìn)行分析，尋找最優(yōu)解[5]。③行動(dòng)模塊：該模塊根據(jù)決策結(jié)果，選擇最優(yōu)的行動(dòng)方案，并將行動(dòng)方案?jìng)鬟f給無(wú)人機(jī)。④評(píng)價(jià)模塊：該模塊使用狀態(tài)轉(zhuǎn)移矩陣和獎(jiǎng)勵(lì)函數(shù)來(lái)評(píng)估行動(dòng)方案的優(yōu)劣，并將結(jié)果反饋給無(wú)人機(jī)。⑤通信模塊：該模塊使用無(wú)線通信技術(shù)將數(shù)據(jù)傳輸給無(wú)人機(jī)，以保證無(wú)人機(jī)之間的實(shí)時(shí)通信。⑥控制模塊：該模塊使用狀態(tài)轉(zhuǎn)移矩陣和獎(jiǎng)勵(lì)函數(shù)來(lái)控制無(wú)人機(jī)之間的通信和協(xié)同動(dòng)作，并將行動(dòng)方案轉(zhuǎn)化為數(shù)字信號(hào)傳遞給無(wú)人機(jī)。⑦輸出模塊：該模塊使用控制指令來(lái)控制無(wú)人機(jī)完成預(yù)定任務(wù)，并將結(jié)果反饋給用戶。以上框架的設(shè)計(jì)和實(shí)現(xiàn)，實(shí)現(xiàn)了多無(wú)人機(jī)之間的協(xié)同控制，提高系統(tǒng)的效率和精度，同時(shí)也為研究多無(wú)人機(jī)協(xié)同控制提供了一種新的思路和方法。

4 結(jié)束語(yǔ)

基于強(qiáng)化學(xué)習(xí)的通信環(huán)境受限下的多無(wú)人機(jī)協(xié)同策略通過(guò)加強(qiáng)其通信功能，實(shí)現(xiàn)通信模塊性能的優(yōu)化。本文同時(shí)基于馬爾科夫決策進(jìn)行協(xié)同策略的設(shè)計(jì)，建造出多無(wú)人機(jī)協(xié)同模型，對(duì)其進(jìn)行網(wǎng)絡(luò)訓(xùn)練，以提高多無(wú)人機(jī)協(xié)同的精準(zhǔn)度，進(jìn)而在強(qiáng)化學(xué)習(xí)的基礎(chǔ)上實(shí)現(xiàn)多無(wú)人機(jī)的協(xié)同運(yùn)行。