• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于強(qiáng)化學(xué)習(xí)的通信受限環(huán)境多無(wú)人機(jī)協(xié)同策略

    2024-01-29 15:26:14鄧麗敏陳蓓蓓
    數(shù)字通信世界 2023年12期
    關(guān)鍵詞:決策協(xié)同狀態(tài)

    鄧麗敏,陳蓓蓓,劉 慧

    (南京鐵道職業(yè)技術(shù)學(xué)院,江蘇 南京 210031)

    1 通信受限環(huán)境中的多無(wú)人機(jī)協(xié)同架構(gòu)

    通信受限環(huán)境中的多無(wú)人機(jī)協(xié)同架構(gòu)是指在通信受限的環(huán)境,無(wú)人機(jī)之間如何進(jìn)行信息交互和協(xié)同作業(yè)的方式。這種架構(gòu)通常會(huì)考慮無(wú)人機(jī)之間的通信方式、信息傳輸速率和可靠性等因素。常見(jiàn)的通信方式包括Wi-Fi、藍(lán)牙、移動(dòng)數(shù)據(jù)傳輸?shù)?。在通信受限環(huán)境中,無(wú)人機(jī)需要選擇適合自己的通信方式,并確保信息傳輸?shù)目煽啃?。在信息交互方面,無(wú)人機(jī)需要通過(guò)無(wú)線通信網(wǎng)絡(luò)進(jìn)行信息交互,以實(shí)現(xiàn)彼此之間的協(xié)同作業(yè)。這種架構(gòu)通常包括基站、無(wú)人機(jī)和移動(dòng)終端等組成部分。在基站之間,無(wú)人機(jī)需要通過(guò)無(wú)線通信網(wǎng)絡(luò)將數(shù)據(jù)傳輸?shù)交?,再由基站轉(zhuǎn)發(fā)給其他無(wú)人機(jī)。總體來(lái)說(shuō),通信受限環(huán)境中的多無(wú)人機(jī)協(xié)同架構(gòu)需要考慮各種因素,以確保無(wú)人機(jī)之間的信息交互和協(xié)同作業(yè)的可靠性和安全性。

    2 通信連接需求

    多無(wú)人機(jī)協(xié)同通信是指多架無(wú)人機(jī)通過(guò)通信技術(shù)實(shí)現(xiàn)協(xié)同合作,提高通信效率和可靠性的過(guò)程。多無(wú)人機(jī)協(xié)同通信需求主要有以下幾種。①大帶寬:無(wú)人機(jī)之間需要實(shí)現(xiàn)高速的數(shù)據(jù)傳輸和同步,以保證信息的及時(shí)傳遞和任務(wù)的順利完成。②高精度:無(wú)人機(jī)需要具備高精度的定位和路徑規(guī)劃能力,以保證其在執(zhí)行任務(wù)時(shí)的安全性和可靠性。③強(qiáng)信號(hào)覆蓋:無(wú)人機(jī)需要在惡劣的環(huán)境中保持一定的信號(hào)覆蓋,以保證信息的傳達(dá)和接收。④多用戶認(rèn)證:為了保證用戶之間的通信安全,無(wú)人機(jī)需要具備多用戶認(rèn)證功能,以確保只有授權(quán)用戶才能進(jìn)行通信。⑤自主決策和控制:無(wú)人機(jī)需要具備自主決策和控制能力,以實(shí)現(xiàn)任務(wù)的自主執(zhí)行和任務(wù)的調(diào)整。這些需求都需要通過(guò)多無(wú)人機(jī)協(xié)同通信技術(shù)來(lái)實(shí)現(xiàn)。

    3 基于強(qiáng)化學(xué)習(xí)的通信受限環(huán)境中多無(wú)人機(jī)協(xié)同策略

    3.1 層級(jí)通信網(wǎng)絡(luò)

    近年來(lái),隨著人工智能技術(shù)的快速發(fā)展,基于智能體的機(jī)器學(xué)習(xí)在控制領(lǐng)域中得到了廣泛的應(yīng)用。使用智能體來(lái)進(jìn)行建模,可以解決傳統(tǒng)機(jī)器學(xué)習(xí)方法中存在的一些問(wèn)題。

    強(qiáng)化學(xué)習(xí)是一種人工智能方法,其目的是通過(guò)訓(xùn)練算法來(lái)自主地學(xué)習(xí)最優(yōu)策略?;趶?qiáng)化學(xué)習(xí)的多無(wú)人機(jī)協(xié)同策略層級(jí)通信網(wǎng)絡(luò)可以通過(guò)建立多無(wú)人機(jī)之間的通信關(guān)系,實(shí)現(xiàn)對(duì)環(huán)境的感知、任務(wù)分配、通信協(xié)調(diào)等功能[1]。在該網(wǎng)絡(luò)中,每個(gè)無(wú)人機(jī)都有一個(gè)狀態(tài)和一個(gè)動(dòng)作。狀態(tài)是指無(wú)人機(jī)當(dāng)前所處的位置和狀態(tài)之間的關(guān)系,動(dòng)作是指無(wú)人機(jī)根據(jù)環(huán)境信息和自身狀態(tài)做出的決策。通信網(wǎng)絡(luò)則是一種將各個(gè)無(wú)人機(jī)連接起來(lái)的協(xié)議,它將狀態(tài)和動(dòng)作傳遞給其他無(wú)人機(jī),從而實(shí)現(xiàn)多無(wú)人機(jī)之間的通信。

    多無(wú)人機(jī)協(xié)同層級(jí)網(wǎng)絡(luò)通信的關(guān)鍵技術(shù)主要有以下幾種。①數(shù)據(jù)共享:多架無(wú)人機(jī)之間需要互相傳遞信息,因此需要在彼此之間進(jìn)行數(shù)據(jù)共享。這種技術(shù)可以通過(guò)文本、圖像、語(yǔ)音等方式進(jìn)行。多架無(wú)人機(jī)需要互相傳遞信號(hào),因此需要使用合適的通信技術(shù)。②帶寬管理:多架無(wú)人機(jī)需要在不同的地區(qū)和時(shí)間傳輸不同的信息,因此需要選擇合適的帶寬管理技術(shù)。③安全保障:多架無(wú)人機(jī)之間需要進(jìn)行安全保障,以確保信息的安全性和可靠性。④數(shù)據(jù)壓縮:多架無(wú)人機(jī)需要進(jìn)行數(shù)據(jù)壓縮,以節(jié)省帶寬和時(shí)間。⑤智能決策:多架無(wú)人機(jī)需要進(jìn)行智能決策,以確定下一步該往哪里傳信息??傊酂o(wú)人機(jī)協(xié)同層級(jí)網(wǎng)絡(luò)通信技術(shù)是一種復(fù)雜的技術(shù),需要考慮到多個(gè)方面的因素,包括數(shù)據(jù)共享、帶寬管理、安全保障等。通過(guò)優(yōu)化和協(xié)同工作,多架無(wú)人機(jī)可以提高通信效率和網(wǎng)絡(luò)性能,實(shí)現(xiàn)更好的通信效果[2]。

    3.2 連續(xù)連接探索

    多無(wú)人機(jī)協(xié)同連續(xù)連接策略(Multi-UAV CONNECTION Connected Connectivity,MUSC)是一種基于多無(wú)人機(jī)智能協(xié)作的策略,它將多架無(wú)人機(jī)連接到一起,以實(shí)現(xiàn)更高效的任務(wù)執(zhí)行。MUSC通常由一個(gè)管理者或指揮官來(lái)管理,以確保所有無(wú)人機(jī)的目標(biāo)一致,同時(shí)協(xié)調(diào)無(wú)人機(jī)之間的連接和協(xié)作。MUSC的優(yōu)勢(shì)在于可以提高任務(wù)完成效率,同時(shí)降低任務(wù)執(zhí)行成本。MUSC的連接方式通常分為以下幾個(gè)步驟。①建立連接:需要建立一個(gè)初始連接,以確保所有無(wú)人機(jī)之間的信息交流和溝通。該連接可以通過(guò)無(wú)線電或衛(wèi)星通信等方式實(shí)現(xiàn)。②分配任務(wù):根據(jù)不同無(wú)人機(jī)的任務(wù)需求,將監(jiān)測(cè)環(huán)境、監(jiān)視目標(biāo)等任務(wù)分配給它們。③協(xié)作:在完成任務(wù)后,無(wú)人機(jī)之間需要相互協(xié)作,以更高效地執(zhí)行任務(wù)。這種協(xié)作可以通過(guò)連續(xù)連接來(lái)實(shí)現(xiàn)。④連續(xù)連接:當(dāng)所有無(wú)人機(jī)完成任務(wù)后,可以通過(guò)無(wú)線通信或衛(wèi)星通信等方式將任務(wù)結(jié)果返回給管理者或指揮官。管理者或指揮官可以根據(jù)實(shí)際情況,選擇合適的連接方式來(lái)實(shí)現(xiàn)MUSC的連續(xù)連接。

    3.3 循環(huán)連接

    無(wú)人機(jī)在執(zhí)行任務(wù)時(shí),往往需要面對(duì)通信受限、通信時(shí)延、任務(wù)切換等問(wèn)題。在傳統(tǒng)的多機(jī)協(xié)同中,由于每個(gè)無(wú)人機(jī)之間的通信距離較遠(yuǎn),通信時(shí)延較大,導(dǎo)致任務(wù)執(zhí)行的效率較低。為了提高協(xié)同效率,研究者們提出了很多基于強(qiáng)化學(xué)習(xí)的網(wǎng)絡(luò)協(xié)同訓(xùn)練方法,但這些方法大多只考慮了單一無(wú)人機(jī)的局部狀態(tài)和局部動(dòng)作,缺乏對(duì)多機(jī)協(xié)同關(guān)系的考慮[3]。

    以下是多無(wú)人機(jī)協(xié)同策略循環(huán)連接分析的一些關(guān)鍵步驟。①確定任務(wù)需求:確定需要實(shí)現(xiàn)的任務(wù)需求,這需要根據(jù)具體任務(wù)需求進(jìn)行分析和建模。②建立通信連接:需要建立多個(gè)無(wú)人機(jī)之間的通信連接,以確保每個(gè)無(wú)人機(jī)都能夠接收到來(lái)自其他無(wú)人機(jī)的信息,并將這些信息傳達(dá)給它們。③確定最佳策略:在建立了通信連接后,需要確定最佳的協(xié)同策略。這需要考慮每個(gè)無(wú)人機(jī)的性能、任務(wù)需求和環(huán)境因素等因素,最終確定最佳的協(xié)同策略,確保任務(wù)能夠得到有效完成。④協(xié)調(diào)行動(dòng):在完成協(xié)同任務(wù)后,需要協(xié)調(diào)所有無(wú)人機(jī)的行動(dòng),以實(shí)現(xiàn)整體任務(wù)目標(biāo)。這需要通過(guò)制定決策和規(guī)劃來(lái)實(shí)現(xiàn)。⑤監(jiān)測(cè)任務(wù)進(jìn)展:需要監(jiān)測(cè)所有無(wú)人機(jī)的任務(wù)進(jìn)展情況,并根據(jù)需要進(jìn)行調(diào)整和決策。這需要對(duì)無(wú)人機(jī)之間的通信連接、執(zhí)行任務(wù)過(guò)程中的狀態(tài)和結(jié)果等進(jìn)行實(shí)時(shí)監(jiān)測(cè)和分析。

    3.4 場(chǎng)景特征提取

    多無(wú)人機(jī)協(xié)同場(chǎng)景特征提取是指將多個(gè)無(wú)人機(jī)分別拍攝同一地點(diǎn)的圖像,并從圖像中提取出場(chǎng)景的特征,如建筑物、道路、植被等。提取的特征可以用來(lái)進(jìn)行場(chǎng)景建模、三維重建、目標(biāo)檢測(cè)等應(yīng)用。以下是一些常見(jiàn)的多無(wú)人機(jī)協(xié)同場(chǎng)景特征提取方法。①建筑物特征提?。航ㄖ锸嵌酂o(wú)人機(jī)協(xié)同場(chǎng)景中最常用的特征之一。在圖像中,可以通過(guò)提取圖像中建筑物的輪廓、色彩、形狀等信息,為后續(xù)的三維重建和目標(biāo)檢測(cè)等應(yīng)用提供支持。②道路特征提取:道路是多無(wú)人機(jī)協(xié)同場(chǎng)景中另一個(gè)常見(jiàn)的特征。在圖像中,可以將圖像轉(zhuǎn)換為數(shù)字圖像,然后通過(guò)邊緣檢測(cè)、Canny邊緣檢測(cè)等算法提取出圖像中的道路邊緣信息。三維重建是多無(wú)人機(jī)協(xié)同場(chǎng)景中另一個(gè)常用的應(yīng)用。在圖像中,可以將圖像轉(zhuǎn)換為數(shù)字3D模型,然后通過(guò)立體匹配、定位與導(dǎo)航等算法實(shí)現(xiàn)3D模型到二維平面圖的投影,從而提取出場(chǎng)景的三維信息。

    3.5 網(wǎng)絡(luò)訓(xùn)練

    基于強(qiáng)化學(xué)習(xí)的多機(jī)協(xié)同訓(xùn)練方法,可以在通信受限環(huán)境中,實(shí)現(xiàn)對(duì)無(wú)人機(jī)間通信距離、任務(wù)切換等問(wèn)題的解決。該方法首先利用多智能體系統(tǒng)(Multi-Agent System,MAS)模型對(duì)無(wú)人機(jī)進(jìn)行建模,然后基于馬爾可夫決策過(guò)程(Markov Decision Process,MDP)建立多無(wú)人機(jī)協(xié)同網(wǎng)絡(luò)模型,最后根據(jù)每個(gè)無(wú)人機(jī)與其他無(wú)人機(jī)間的通信距離以及任務(wù)切換等情況進(jìn)行網(wǎng)絡(luò)訓(xùn)練,從而實(shí)現(xiàn)多機(jī)間協(xié)同。

    多無(wú)人機(jī)協(xié)同網(wǎng)絡(luò)模型包括兩個(gè)部分,即無(wú)人機(jī)之間的通信關(guān)系和任務(wù)切換關(guān)系。對(duì)于每架無(wú)人機(jī)而言,其狀態(tài)包括飛行狀態(tài)和交互狀態(tài)兩個(gè)部分。飛行狀態(tài)描述了每架無(wú)人機(jī)在飛行過(guò)程中的飛行動(dòng)作,而交互狀態(tài)描述了每個(gè)無(wú)人機(jī)與其他無(wú)人機(jī)的交互動(dòng)作[4]。其中通信關(guān)系與任務(wù)切換關(guān)系分別用矩陣形式來(lái)表示。其中,在多無(wú)人機(jī)協(xié)同網(wǎng)絡(luò)模型中,通信關(guān)系可以用一個(gè)矩陣表示。假設(shè)有N個(gè)無(wú)人機(jī),通信關(guān)系矩陣C的元素C[i][j]表示第i個(gè)無(wú)人機(jī)與第j個(gè)無(wú)人機(jī)是否能夠進(jìn)行直接通信。如果能夠進(jìn)行直接通信,則C[i][j]=1;否則,C[i][j]=0。例如,若某個(gè)位置上的無(wú)人機(jī)A和B可以建立直接通信,則C[AB]=1。

    類似地,任務(wù)切換關(guān)系也可以用一個(gè)矩陣表示。假設(shè)每個(gè)無(wú)人機(jī)有M個(gè)任務(wù)可供切換,任務(wù)切換關(guān)系矩陣T的元素T[i][j]表示第i個(gè)無(wú)人機(jī)是否可以切換到第j個(gè)任務(wù)上執(zhí)行。如果可以切換,則T[i][j]=1;否則,T[i][j]=0。例如,在某種情況下,若無(wú)人機(jī)A和B可以相互切換任務(wù),則t[AB]=1。

    在該部分,可以采用來(lái)自AIRS的飛行數(shù)據(jù),對(duì)所提出的算法進(jìn)行實(shí)驗(yàn)驗(yàn)證。AIRS是一個(gè)用于分析無(wú)人機(jī)在飛行過(guò)程中各種性能指標(biāo)的開(kāi)源工具,它由美國(guó)國(guó)家航空航天局(NASA)發(fā)布,是美國(guó)宇航局用于飛行測(cè)試與評(píng)估的重要工具。該數(shù)據(jù)集包括P-8A、P-9A、P-10A和P-8B四個(gè)飛機(jī)型號(hào),可在不同的訓(xùn)練環(huán)境中對(duì)所提出算法進(jìn)行驗(yàn)證,包括無(wú)人偵察機(jī)、固定翼無(wú)人機(jī)和旋翼無(wú)人機(jī)。實(shí)驗(yàn)環(huán)境包括大氣湍流、風(fēng)和云、地形起伏以及干擾情況等。本節(jié)中,主要使用了人工數(shù)據(jù)集和真實(shí)飛行數(shù)據(jù)集來(lái)驗(yàn)證本文提出算法的性能,并將驗(yàn)證結(jié)果與其他基于強(qiáng)化學(xué)習(xí)的多機(jī)協(xié)同算法進(jìn)行比較。還可以用三種不同的訓(xùn)練方法來(lái)測(cè)試算法的性能。最后以平均絕對(duì)誤差、平均誤差標(biāo)準(zhǔn)差、平均絕對(duì)誤差方差和平均絕對(duì)誤差百分比四個(gè)指標(biāo)來(lái)衡量算法的性能。

    3.6 控制系統(tǒng)框架

    可設(shè)計(jì)一個(gè)基于馬爾可夫決策過(guò)程的多無(wú)人機(jī)協(xié)同控制系統(tǒng)框架,其中控制器可以對(duì)多無(wú)人機(jī)進(jìn)行協(xié)調(diào)和管理,包括任務(wù)分配、編隊(duì)管理、航跡規(guī)劃等方面。在任務(wù)分配方面,通過(guò)對(duì)環(huán)境進(jìn)行建模,將任務(wù)分為簡(jiǎn)單任務(wù)和復(fù)雜任務(wù)兩類。在編隊(duì)管理方面,通過(guò)對(duì)無(wú)人機(jī)之間的協(xié)同行為進(jìn)行建模,實(shí)現(xiàn)對(duì)無(wú)人機(jī)之間的動(dòng)態(tài)協(xié)作和控制。

    基于馬爾可夫決策過(guò)程的多無(wú)人機(jī)協(xié)同控制系統(tǒng)框架是一種用于多無(wú)人機(jī)協(xié)同控制的技術(shù),它將無(wú)人機(jī)看作是一個(gè)馬爾可夫決策過(guò)程的參與者,通過(guò)制定協(xié)同控制策略,實(shí)現(xiàn)無(wú)人機(jī)之間的通信和協(xié)調(diào),以完成預(yù)定的任務(wù)。該框架主要由以下幾個(gè)模塊組成。①狀態(tài)模塊:該模塊用于收集和存儲(chǔ)無(wú)人機(jī)之間的交互信息,包括無(wú)人機(jī)的位置、狀態(tài)、速度、加速度等信息。②決策模塊:該模塊使用馬爾可夫決策過(guò)程來(lái)分析和解決問(wèn)題,通過(guò)對(duì)無(wú)人機(jī)之間的交互行為進(jìn)行分析,尋找最優(yōu)解[5]。③行動(dòng)模塊:該模塊根據(jù)決策結(jié)果,選擇最優(yōu)的行動(dòng)方案,并將行動(dòng)方案?jìng)鬟f給無(wú)人機(jī)。④評(píng)價(jià)模塊:該模塊使用狀態(tài)轉(zhuǎn)移矩陣和獎(jiǎng)勵(lì)函數(shù)來(lái)評(píng)估行動(dòng)方案的優(yōu)劣,并將結(jié)果反饋給無(wú)人機(jī)。⑤通信模塊:該模塊使用無(wú)線通信技術(shù)將數(shù)據(jù)傳輸給無(wú)人機(jī),以保證無(wú)人機(jī)之間的實(shí)時(shí)通信。⑥控制模塊:該模塊使用狀態(tài)轉(zhuǎn)移矩陣和獎(jiǎng)勵(lì)函數(shù)來(lái)控制無(wú)人機(jī)之間的通信和協(xié)同動(dòng)作,并將行動(dòng)方案轉(zhuǎn)化為數(shù)字信號(hào)傳遞給無(wú)人機(jī)。⑦輸出模塊:該模塊使用控制指令來(lái)控制無(wú)人機(jī)完成預(yù)定任務(wù),并將結(jié)果反饋給用戶。以上框架的設(shè)計(jì)和實(shí)現(xiàn),實(shí)現(xiàn)了多無(wú)人機(jī)之間的協(xié)同控制,提高系統(tǒng)的效率和精度,同時(shí)也為研究多無(wú)人機(jī)協(xié)同控制提供了一種新的思路和方法。

    4 結(jié)束語(yǔ)

    基于強(qiáng)化學(xué)習(xí)的通信環(huán)境受限下的多無(wú)人機(jī)協(xié)同策略通過(guò)加強(qiáng)其通信功能,實(shí)現(xiàn)通信模塊性能的優(yōu)化。本文同時(shí)基于馬爾科夫決策進(jìn)行協(xié)同策略的設(shè)計(jì),建造出多無(wú)人機(jī)協(xié)同模型,對(duì)其進(jìn)行網(wǎng)絡(luò)訓(xùn)練,以提高多無(wú)人機(jī)協(xié)同的精準(zhǔn)度,進(jìn)而在強(qiáng)化學(xué)習(xí)的基礎(chǔ)上實(shí)現(xiàn)多無(wú)人機(jī)的協(xié)同運(yùn)行。

    猜你喜歡
    決策協(xié)同狀態(tài)
    為可持續(xù)決策提供依據(jù)
    蜀道難:車與路的協(xié)同進(jìn)化
    狀態(tài)聯(lián)想
    決策為什么失誤了
    “四化”協(xié)同才有出路
    汽車觀察(2019年2期)2019-03-15 06:00:50
    生命的另一種狀態(tài)
    三醫(yī)聯(lián)動(dòng) 協(xié)同創(chuàng)新
    熱圖
    家庭百事通(2016年3期)2016-03-14 08:07:17
    堅(jiān)持是成功前的狀態(tài)
    山東青年(2016年3期)2016-02-28 14:25:52
    協(xié)同進(jìn)化
    云和县| 三河市| 五河县| 和龙市| 全州县| 铁岭市| 长岭县| 凉山| 长沙县| 嘉鱼县| 万宁市| 弋阳县| 金乡县| 肇州县| 体育| 五华县| 东丰县| 财经| 万源市| 多伦县| 靖远县| 沁阳市| 石嘴山市| 新密市| 交口县| 溆浦县| 大姚县| 商都县| 阿坝县| 章丘市| 喀什市| 五台县| 白山市| 桦南县| 休宁县| 河西区| 黑山县| 临猗县| 玉龙| 白水县| 纳雍县|