• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于深度確定性策略梯度算法的四旋翼控制器自主導(dǎo)航方法研究

    2022-11-27 10:36:40闞亞雄趙飛
    機(jī)電工程技術(shù) 2022年10期
    關(guān)鍵詞:確定性旋翼障礙物

    闞亞雄,趙飛

    (1.鎮(zhèn)江高等專(zhuān)科學(xué)校現(xiàn)代裝備制造學(xué)院,江蘇鎮(zhèn)江 212028;2.鎮(zhèn)江高等專(zhuān)科學(xué)校電氣與信息學(xué)院,江蘇鎮(zhèn)江 212028)

    0 引言

    四旋翼無(wú)人機(jī)(Quadrotor UAV)作為一種復(fù)雜的無(wú)人技術(shù)設(shè)備,相對(duì)于常見(jiàn)的固定翼飛行器四旋翼無(wú)人機(jī)具有重量尺寸小、機(jī)動(dòng)性能高和智能集成化程度高等優(yōu)點(diǎn),具備可以垂直起降在多種地形地貌地區(qū),目前已經(jīng)在軍事、搜救、運(yùn)輸?shù)刃袠I(yè)得到了廣泛的應(yīng)用[1]。

    目前國(guó)內(nèi)外關(guān)于四旋翼無(wú)人機(jī)自主導(dǎo)航相關(guān)控制算法的研究如下:目前諸多研究者將深度學(xué)習(xí)與強(qiáng)化學(xué)習(xí)相結(jié)合,作為無(wú)人機(jī)器人系統(tǒng)的路徑規(guī)劃算法,得到了很大成就,使得無(wú)人機(jī)器人系統(tǒng)具備了面對(duì)復(fù)雜環(huán)境下快速反應(yīng)快速變化導(dǎo)航策略的能力。王雷等[2]提出中小型無(wú)人機(jī)采用改進(jìn)的自抗擾控制算法作為無(wú)人機(jī)自主飛行姿態(tài)解耦控制器的核心算法,計(jì)算機(jī)模擬實(shí)驗(yàn)證明了該算法在二維模擬仿真環(huán)境下具有可行性,在環(huán)境擾動(dòng)干擾大小不確定或者環(huán)境干擾幅度較大情況下具有一定抗干擾優(yōu)勢(shì)。ZHOU L H等[3]提出采用串級(jí)PID算法作為四旋翼無(wú)人機(jī)二維軌跡姿態(tài)跟蹤控制方法,控制系統(tǒng)的輸入為期望的飛行二維軌跡和期望速度,通過(guò)串級(jí)PID算法輸出四旋翼無(wú)人機(jī)的俯仰通道、滾轉(zhuǎn)通道和偏航通道加速度的方法實(shí)現(xiàn)四旋翼無(wú)人機(jī)對(duì)復(fù)雜任務(wù)軌跡的軌跡跟蹤。萬(wàn)惠、陳運(yùn)劍等[4-5]討論的DDPG算法具有多為特征提取功能,同時(shí)在未知環(huán)境下的依然可以保證避碰策略的準(zhǔn)確性。張仕充、高敬鵬等[6-7]中優(yōu)化了傳統(tǒng)DDPG算法的訓(xùn)練速度,提高了算法中有關(guān)數(shù)據(jù)學(xué)習(xí)的效率。

    基于上述文獻(xiàn)啟發(fā),本文提出了一種基于改進(jìn)的深度確定性策略梯度算法的四旋翼控制器設(shè)計(jì)方法,闡述了基于改進(jìn)的深度確定性策略梯度算法的四旋翼無(wú)人機(jī)自主飛行控制器的整體框架,完善了算法中關(guān)于動(dòng)作探索策略的設(shè)計(jì)并改進(jìn)了與人工勢(shì)場(chǎng)法相結(jié)合的獎(jiǎng)勵(lì)函數(shù),最后在軟件中模擬了四旋翼無(wú)人機(jī)自主導(dǎo)航仿真和位置跟蹤仿真,實(shí)驗(yàn)中實(shí)現(xiàn)了四旋翼無(wú)人機(jī)在二維和三維環(huán)境下的自主導(dǎo)航路徑規(guī)劃、跟蹤和避障功能。

    1 四旋翼無(wú)人機(jī)經(jīng)典控制模型

    根據(jù)相關(guān)資料[2],由經(jīng)典N(xiāo)ewton-Euler方程對(duì)四旋翼無(wú)人機(jī)建立六自由度的動(dòng)力學(xué)模型為:

    其中四旋翼無(wú)人機(jī)在空間中的位置坐標(biāo)為( x,y,z);φ為滾轉(zhuǎn)角;θ為俯仰角;ψ為偏航角;l為四旋翼無(wú)人機(jī)旋翼末端到質(zhì)心的直線(xiàn)距離;m為四旋翼無(wú)人機(jī)負(fù)載總質(zhì)量;Ii為轉(zhuǎn)動(dòng)慣量;U1、U2、U3、U4為計(jì)算得到的中間控制輸入,定義為:

    2 四旋翼無(wú)人機(jī)控制器自主導(dǎo)航算法設(shè)計(jì)

    2.1 深度確定性策略梯度算法DDPG的基本流程

    深度確定性策略梯度算法DDPG由深度神經(jīng)網(wǎng)絡(luò)和策略梯度算法DPG融合而成,并根據(jù)表演家-評(píng)論家算法提出了一個(gè)機(jī)器強(qiáng)化學(xué)習(xí)算法[8-9]。對(duì)于四旋翼控制器自主導(dǎo)航問(wèn)題,主要目標(biāo)是找到合適的自主導(dǎo)航算法以快速且穩(wěn)定的方式將四旋翼從初始狀態(tài)驅(qū)動(dòng)到目標(biāo)位置并懸停其上。在以上自主導(dǎo)航過(guò)程中需要自主導(dǎo)航算法不斷連續(xù)處理高維數(shù)據(jù),深度確定性策略梯度算法相較于傳統(tǒng)智能算法可以處理高維且連續(xù)的動(dòng)作,解決了其他智能算法只能處理低維度離散數(shù)據(jù)的不足。傳統(tǒng)深度確定性策略梯度算法DDPG迭代步驟如下:

    STEP1:算法將首先初始化表演家策略在線(xiàn)網(wǎng)絡(luò)μ(s,θμ)和評(píng)論家評(píng)價(jià)網(wǎng)絡(luò)Q(s,a;θQ),初始化參數(shù)θμ和θQ。初始化目標(biāo)網(wǎng)絡(luò)種的Q′:θQ‘←θQ和μ′:θμ‘←θμ,同時(shí)初始化經(jīng)驗(yàn)池R。表演家策略在線(xiàn)網(wǎng)絡(luò)根據(jù)策略模式選取一個(gè)動(dòng)作at。其中行為策略根據(jù)當(dāng)前在線(xiàn)策略網(wǎng)絡(luò)μ和隨機(jī)噪聲N生成的隨機(jī)過(guò)程,并從該隨機(jī)過(guò)程進(jìn)行采樣獲得動(dòng)作值at=μ(st|θQ)+Nt。

    STEP2:上一步中的輸出動(dòng)作at在被系統(tǒng)執(zhí)行后返回獎(jiǎng)勵(lì)回報(bào)參數(shù)rt和下一個(gè)新的狀態(tài)st+1。

    STEP3:將系統(tǒng)狀態(tài)量、輸出動(dòng)作、反饋獎(jiǎng)勵(lì)函數(shù)和下一步新的狀態(tài)量(st,at,rt,st+1)儲(chǔ)存在經(jīng)驗(yàn)池R中,隨后計(jì)算目標(biāo)Q值targetQ=ri+γQ′(si+1,μ′(si+1|θμ)|θQ′)。通 過(guò)損失 函數(shù)的更新評(píng)論家網(wǎng)絡(luò)的梯度,其中Q的損失函數(shù)使用均方差誤差:

    STEP4:更新在線(xiàn)價(jià)值網(wǎng)絡(luò)Q及其參數(shù)θQ。更新目標(biāo)網(wǎng)絡(luò)使用隨機(jī)梯度下降算法更新表演家策略在線(xiàn)網(wǎng)絡(luò)參數(shù)θμ’,反復(fù)迭代計(jì)算更新評(píng)論家評(píng)價(jià)網(wǎng)絡(luò)θQ‘。

    如上述算法流程所示,深度確定性策略梯度算法DDPG在網(wǎng)絡(luò)結(jié)構(gòu)上和表演家-評(píng)論家算法基本相同,分為表演家網(wǎng)絡(luò)和評(píng)論家網(wǎng)絡(luò)。表演家網(wǎng)絡(luò)的參數(shù)θμ可以理解為四旋翼無(wú)人機(jī)從位姿或位置狀態(tài)到控制旋翼電機(jī)轉(zhuǎn)速動(dòng)作的映射。鏈?zhǔn)礁路绞綖椋?/p>

    式(4)中?θμJ為 策 略 梯 度,評(píng) 論 家 網(wǎng) 絡(luò) 的 參 數(shù) 為Q(si,ai;θQ),采用貝爾曼方程求解。此外,DDPG算法中通常還將平方差用損失函數(shù)L表示,損失函數(shù)L為:

    式中:ri為構(gòu)造回報(bào)參數(shù);γ為折扣因子,最后式通過(guò)將L降低至最小的方式,更新評(píng)論家網(wǎng)絡(luò)參數(shù)Q;表演家和評(píng)論家網(wǎng)絡(luò)的更新版本分別為μ‘(s,θμ’)和Q‘(s,a;θQ‘)用于計(jì)算更新目標(biāo)控制值。

    2.2 基于改進(jìn)后DDPG算法的四旋翼無(wú)人機(jī)自主飛行控制器設(shè)計(jì)

    圖1所示為本文基于改進(jìn)后DDPG算法的四旋翼無(wú)人機(jī)自主飛行控制器的整體框架圖。由圖1可知,控制器由兩部分組成,其中四旋翼無(wú)人機(jī)的仿真環(huán)境包括無(wú)人機(jī)的實(shí)時(shí)狀態(tài)量,包括無(wú)人機(jī)3個(gè)方向的軸加速度和角速度,以上狀態(tài)量由仿真環(huán)境輸入給策略網(wǎng)絡(luò)。而四旋翼無(wú)人機(jī)的4個(gè)旋翼上電機(jī)的轉(zhuǎn)速作為控制器反饋回?zé)o人機(jī)仿真環(huán)境的輸出量或動(dòng)作量以實(shí)時(shí)調(diào)節(jié)無(wú)人機(jī)的位姿及路徑。

    圖1 基于改進(jìn)后DDPG算法四旋翼無(wú)人機(jī)自主飛行控制器整體框架

    控制器另外一部分由兩個(gè)策略網(wǎng)絡(luò)構(gòu)成,分別為控制器表演家網(wǎng)絡(luò)和評(píng)論家網(wǎng)絡(luò)??刂破鞯妮斎霠顟B(tài)量(3個(gè)方向的軸加速度和角速度)為s0,輸出(4個(gè)旋翼上電機(jī)的轉(zhuǎn)速)為a0;四旋翼無(wú)人機(jī)的旋翼電機(jī)按照控制的輸出轉(zhuǎn)速a0動(dòng)作后進(jìn)入下一步s1,并將動(dòng)作a0送回給控制器評(píng)論家網(wǎng)絡(luò)作為回報(bào)r0。然后控制器評(píng)論家網(wǎng)絡(luò)根據(jù)四旋翼無(wú)人機(jī)返回下一步中的狀態(tài)值s1和獎(jiǎng)勵(lì)值r1,更新旋翼電機(jī)的轉(zhuǎn)速,并運(yùn)用更新后的策略輸出新的動(dòng)作,重復(fù)上述過(guò)程直至四旋翼無(wú)人機(jī)最終達(dá)到控制目標(biāo)。然后在傳統(tǒng)DDPG算法的演算過(guò)程中,如果某些控制參數(shù)設(shè)計(jì)不當(dāng)或控制器中的預(yù)期控制目標(biāo)與系統(tǒng)實(shí)際狀態(tài)之間誤差過(guò)大會(huì)造成控制器策略網(wǎng)絡(luò)模型的復(fù)雜程度急劇提高,導(dǎo)致過(guò)擬合或欠擬合的現(xiàn)象。為了解決深度確定性梯度策略算法中可能存在的過(guò)擬合問(wèn)題,本文在傳統(tǒng)DDPG算法的基礎(chǔ)上做出了一些改進(jìn),包括如下設(shè)計(jì)。

    (1)動(dòng)作探索策略設(shè)計(jì)

    二十世紀(jì)初的中國(guó),社會(huì)矛盾重重,東方文化與西方文化交匯,傳統(tǒng)意識(shí)與現(xiàn)代觀念發(fā)生碰撞。在這樣特殊的社會(huì)背景下,木蘭除了從父母那里接受傳統(tǒng)儒道文化的浸染,還接受了現(xiàn)代教育,她從十幾歲時(shí)就開(kāi)始思考“男人與女人的分別這件事”,也經(jīng)常和父親談?wù)摗靶聲r(shí)代的女子”的話(huà)題,是一個(gè)“新式的女孩子”?!澳咎m有幾種女人所沒(méi)有的本領(lǐng):第一,她會(huì)吹口哨兒;第二,她會(huì)唱京戲;第三,她收集古董,而且能鑒賞?!盵1]60可見(jiàn),木蘭稱(chēng)得上是東西方文化交融下,集傳統(tǒng)美德與現(xiàn)代性于一身的奇女子。

    傳統(tǒng)DDPG算法中,系統(tǒng)在第一個(gè)狀態(tài)s0時(shí)更新旋翼電機(jī)的轉(zhuǎn)速a0后,送回初始獎(jiǎng)勵(lì)r0,控制器評(píng)論家網(wǎng)絡(luò)獲得送回后的獎(jiǎng)勵(lì)r0后,有一定概率會(huì)判斷當(dāng)前旋翼電機(jī)的轉(zhuǎn)速執(zhí)行動(dòng)作足夠好,而不去探索更匹配的轉(zhuǎn)速執(zhí)行策略來(lái)獲得更大的r0′,使得系統(tǒng)無(wú)法達(dá)到需要的控制目標(biāo)無(wú)法計(jì)算到全局最優(yōu)解,只能計(jì)算到局部最優(yōu)解。為了解決以上問(wèn)題,可以借用εgreedy(貪心算法)動(dòng)作探索策略解決。四旋翼無(wú)人機(jī)以ε的概率選擇一種旋翼電機(jī)的轉(zhuǎn)速動(dòng)作a,以1-ε的方式選擇平均獎(jiǎng)勵(lì)最高的旋翼電機(jī)的轉(zhuǎn)速動(dòng)作r0′,以這樣的方式得到概率最大的最佳旋翼電機(jī)的轉(zhuǎn)速動(dòng)作,通過(guò)完成最佳旋翼電機(jī)的轉(zhuǎn)速動(dòng)作四旋翼無(wú)人機(jī)就可以進(jìn)入下個(gè)狀態(tài)s1。本文設(shè)計(jì)的動(dòng)作探索策略為:

    其中,N為噪聲,是方差為σ的正態(tài)分布;k?[0,1)為εgreedy算法中的衰減系數(shù)。

    (2)與人工勢(shì)場(chǎng)法相結(jié)合的獎(jiǎng)勵(lì)函數(shù)設(shè)計(jì)

    當(dāng)四旋翼無(wú)人機(jī)自主飛行控制器在狀態(tài)s0下采取動(dòng)作a0時(shí),返回獎(jiǎng)勵(lì)函數(shù)r0的參數(shù)設(shè)計(jì)直接決定控制器的迭代計(jì)算時(shí)間和次數(shù)多少,并最終決定能否在迭代后最終求出全局最優(yōu)解。神經(jīng)元網(wǎng)絡(luò)根據(jù)四旋翼無(wú)人機(jī)的狀態(tài)值做出具體決策,環(huán)境根據(jù)送回的獎(jiǎng)勵(lì)值更新網(wǎng)絡(luò)參數(shù),使控制器評(píng)論家網(wǎng)絡(luò)在下個(gè)狀態(tài)s1計(jì)算旋翼電機(jī)的轉(zhuǎn)速時(shí)能夠做出最匹配的決策。獎(jiǎng)勵(lì)函數(shù)設(shè)計(jì)如下:

    式中:d(t )為四旋翼無(wú)人機(jī)當(dāng)前時(shí)刻下距離控制目標(biāo)終點(diǎn)的實(shí)時(shí)距離;d( t-1)為四旋翼無(wú)人機(jī)上一個(gè)時(shí)刻距離控制目標(biāo)點(diǎn)的實(shí)時(shí)距離;do為四旋翼無(wú)人機(jī)是否碰撞到規(guī)劃路徑中障礙物的安全距離,當(dāng)安全距離小于零時(shí)代表四旋翼無(wú)人機(jī)已經(jīng)和障礙物發(fā)生碰撞,影響四旋翼無(wú)人機(jī)的飛行安全;dg為四旋翼無(wú)人機(jī)距離目標(biāo)終點(diǎn)的閾值,小于該值即認(rèn)為到達(dá)目標(biāo)終點(diǎn);dn為四旋翼無(wú)人機(jī)距離目標(biāo)終點(diǎn)的距離,當(dāng)四旋翼到達(dá)該范圍內(nèi)控制器將給予獎(jiǎng)勵(lì)+1,正向獎(jiǎng)勵(lì)可以促使四旋翼無(wú)人機(jī)更快到達(dá)目標(biāo)終點(diǎn)。當(dāng)機(jī)器人所處位置碰撞到障礙物時(shí),控制器將給予獎(jiǎng)勵(lì)-100,負(fù)向獎(jiǎng)勵(lì)可以促使四旋翼無(wú)人機(jī)更快避開(kāi)障礙物;當(dāng)四旋翼無(wú)人機(jī)懸停時(shí),則為-1的副獎(jiǎng)勵(lì);其他情況則為-2作為負(fù)獎(jiǎng)勵(lì),通過(guò)正負(fù)獎(jiǎng)勵(lì)的不同回報(bào)值來(lái)幫助四旋翼無(wú)人機(jī)最終靠近及到達(dá)目標(biāo)點(diǎn)。

    3 仿真結(jié)果與分析

    3.1 四旋翼實(shí)驗(yàn)環(huán)境建模

    為了驗(yàn)證基于改進(jìn)的深度確定性策略梯度算法的可行性,仿真環(huán)境采用柵格法進(jìn)行場(chǎng)景的二維及三維環(huán)境建模,在不同環(huán)境下進(jìn)行了經(jīng)典PID算法和改進(jìn)后深度確定性策略算法的對(duì)比實(shí)驗(yàn)。表1所示為本文選用小型四旋翼無(wú)人機(jī)動(dòng)力學(xué)模型相關(guān)參數(shù)。

    表1 模型參數(shù)以及仿真初始化參數(shù)

    仿真實(shí)驗(yàn)在Windows系統(tǒng)下運(yùn)行,系統(tǒng)采用Matlab2019b搭建四旋翼無(wú)人機(jī)的運(yùn)動(dòng)環(huán)境,該四旋翼無(wú)人機(jī)仿真使用M語(yǔ)言進(jìn)行編程。實(shí)驗(yàn)分為簡(jiǎn)單二維柵格地圖和三維地圖。仿真中涉及的基于改進(jìn)的深度確定性策略梯度DDPG算法仿真初始化參數(shù)如表2中所示。

    表2 算法仿真初始化參數(shù)

    3.2 仿真實(shí)驗(yàn)結(jié)果

    (1)二維環(huán)境仿真結(jié)果

    如圖2所示,本文采用Matlab2019b構(gòu)建大小在100×100的二維柵格地圖,柵格地圖中包括大小不一的二維方塊障礙物和圓形障礙物。目前地圖中只存在靜態(tài)障礙物,靜態(tài)障礙物占總面積的20%~30%。圖中起始點(diǎn)坐標(biāo)為(0,0),黑色方格表示障礙物,其余為安全可飛行區(qū)域。目標(biāo)點(diǎn)坐標(biāo)為(100,100)。圖2中紅色實(shí)心路線(xiàn)和黑色虛線(xiàn)路線(xiàn)分別為四旋翼無(wú)人機(jī)在經(jīng)典PID和改進(jìn)的深度確定性策略梯度算法迭代200次后計(jì)算所獲得的路徑,可以看出經(jīng)過(guò)改進(jìn)的深度確定性策略梯度算法在避開(kāi)障礙物前提下為從起點(diǎn)到目標(biāo)點(diǎn)的最短路徑。PID算法也可引導(dǎo)四旋翼無(wú)人機(jī)到達(dá)指定目標(biāo)地,不過(guò)PID算法所規(guī)劃路線(xiàn)與圓型障礙物發(fā)生碰撞,總體與改進(jìn)的深度確定性策略梯度算法規(guī)劃路線(xiàn)相比距離較長(zhǎng),且所規(guī)劃路線(xiàn)在(75,40)和(70,70)等計(jì)算點(diǎn)上需要四旋翼無(wú)人機(jī)做出較大機(jī)動(dòng)動(dòng)作改變航向,不利于四旋翼無(wú)人機(jī)保持飛行姿態(tài)的穩(wěn)定性。如圖2~3所示,說(shuō)明在二維仿真空間下,通過(guò)改進(jìn)的深度確定性策略梯度算法不斷迭代計(jì)算,可以讓四旋翼無(wú)人機(jī)能夠躲避二維空間中的不規(guī)則障礙物,并進(jìn)行良好的路徑規(guī)劃和航跡跟蹤。

    圖2 四旋翼無(wú)人機(jī)二維空間自主導(dǎo)航路徑

    圖3 四旋翼無(wú)人機(jī)自主飛行控制器算法迭代次數(shù)變化曲線(xiàn)

    (2)三維環(huán)境下仿真結(jié)果

    如圖4所示,本文采用Matlab2019b在三維環(huán)境下構(gòu)建的仿真環(huán)境設(shè)置為20 m×5 m×6 m的區(qū)域,在空間中依次布置7個(gè)的長(zhǎng)方體障礙物,這7個(gè)障礙物大小為1 m×4 m×5 m。在上述仿真環(huán)境下四旋翼無(wú)人機(jī)從起點(diǎn)(18,3,5)飛至終點(diǎn)(6,4,5)?;诟倪M(jìn)的深度確定性策略梯度算法的四旋翼無(wú)人機(jī)控制器仿真目標(biāo)是通過(guò)算法的不斷迭代計(jì)算出最優(yōu)自主導(dǎo)航路徑,全程避開(kāi)障礙物,到達(dá)目標(biāo)點(diǎn)區(qū)域,由于三維場(chǎng)景復(fù)雜,傳統(tǒng)PID算法已經(jīng)無(wú)法有效規(guī)劃導(dǎo)航路徑,三維環(huán)境下僅采用改進(jìn)的深度確定性策略梯度算法測(cè)試算法有效性。

    圖4 四旋翼無(wú)人機(jī)位置軌跡跟蹤曲線(xiàn)

    仿真實(shí)驗(yàn)開(kāi)始后,改進(jìn)的深度確定性策略梯度算法控制器的三維空間位置自主導(dǎo)航結(jié)果如圖5~6所示。由圖可以看出基于改進(jìn)的深度確定性策略梯度算法控制器計(jì)算出最優(yōu)導(dǎo)航路徑相較于起點(diǎn)到終點(diǎn)的理想路徑而言,路線(xiàn)更加平滑穩(wěn)定且對(duì)三維障礙物依舊有著良好的避障效果。跟蹤過(guò)程中,四旋翼無(wú)人機(jī)在X、Y、Z軸上的距離誤差不超過(guò)±0.5 m。

    圖5 四旋翼無(wú)人機(jī)位置軌跡跟蹤誤差曲線(xiàn)

    綜合考慮后可以得出結(jié)論:二維環(huán)境仿真下,改進(jìn)的深度確定性策略梯度算法相較于傳統(tǒng)PID算法提高了四旋翼的自主導(dǎo)航規(guī)劃路線(xiàn)能力,三維環(huán)境仿真下改進(jìn)的深度確定性策略梯度算法可以有效地實(shí)現(xiàn)較復(fù)雜三維真實(shí)飛行環(huán)境的自主導(dǎo)航和障礙物避障。

    4 結(jié)束語(yǔ)

    本文針對(duì)四旋翼無(wú)人機(jī)設(shè)計(jì)了一種改進(jìn)的深度確定性策略梯度算法,通過(guò)設(shè)計(jì)新的動(dòng)作探索策略并利用人工勢(shì)場(chǎng)法選擇更加有效的最優(yōu)動(dòng)作,保證了四旋翼無(wú)人機(jī)快速準(zhǔn)確識(shí)別最優(yōu)行動(dòng)方向。仿真四旋翼無(wú)人機(jī)在二維和三維空間內(nèi)被障礙物所阻擋從而降低自主飛行效率。仿真實(shí)驗(yàn)對(duì)比了傳統(tǒng)PID算法和改進(jìn)的深度確定性策略梯度算法,結(jié)果表明改進(jìn)的深度確定性策略梯度算法提高了四旋翼的自主導(dǎo)航規(guī)劃路線(xiàn)能力。后續(xù)將進(jìn)一步開(kāi)展所設(shè)計(jì)算法的改進(jìn)工作,繼續(xù)提高系統(tǒng)的響應(yīng)時(shí)間和魯棒性。

    猜你喜歡
    確定性旋翼障礙物
    論中國(guó)訓(xùn)詁學(xué)與經(jīng)典闡釋的確定性
    論法律解釋的確定性
    法律方法(2022年1期)2022-07-21 09:18:56
    含混還是明證:梅洛-龐蒂論確定性
    改進(jìn)型自抗擾四旋翼無(wú)人機(jī)控制系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)
    大載重長(zhǎng)航時(shí)油動(dòng)多旋翼無(wú)人機(jī)
    高低翻越
    SelTrac?CBTC系統(tǒng)中非通信障礙物的設(shè)計(jì)和處理
    基于STM32的四旋翼飛行器的設(shè)計(jì)
    電子制作(2019年9期)2019-05-30 09:41:48
    四旋翼無(wú)人機(jī)動(dòng)態(tài)面控制
    法律確定性的統(tǒng)合理性根據(jù)與法治實(shí)施
    边亲边吃奶的免费视频| 一级片'在线观看视频| av网站免费在线观看视频| 欧美激情极品国产一区二区三区 | 日韩亚洲欧美综合| 日本av手机在线免费观看| 久久国产精品大桥未久av| 天堂俺去俺来也www色官网| 亚洲婷婷狠狠爱综合网| 久久97久久精品| 制服人妻中文乱码| 我的老师免费观看完整版| 一级毛片aaaaaa免费看小| 韩国高清视频一区二区三区| 蜜桃国产av成人99| 国产精品99久久99久久久不卡 | 日韩精品免费视频一区二区三区 | 免费高清在线观看视频在线观看| 少妇被粗大的猛进出69影院 | 久久久久视频综合| 亚洲av欧美aⅴ国产| 日韩成人伦理影院| 九九爱精品视频在线观看| 精品久久久精品久久久| 在线观看三级黄色| 亚洲精品久久久久久婷婷小说| 久久久久久久久久成人| av线在线观看网站| 五月天丁香电影| 狂野欧美激情性xxxx在线观看| 成人黄色视频免费在线看| 永久网站在线| 国产免费现黄频在线看| 国产成人精品福利久久| 99热这里只有精品一区| 久久精品夜色国产| 亚洲欧美日韩另类电影网站| 大码成人一级视频| 亚洲精品日韩av片在线观看| 制服诱惑二区| 欧美日韩成人在线一区二区| 久久人妻熟女aⅴ| h视频一区二区三区| 在线观看人妻少妇| 中文乱码字字幕精品一区二区三区| 久久国产亚洲av麻豆专区| a级毛片免费高清观看在线播放| 少妇的逼好多水| 亚洲av中文av极速乱| 亚洲,欧美,日韩| 国产日韩欧美亚洲二区| 精品一区二区三区视频在线| 校园人妻丝袜中文字幕| 一级毛片 在线播放| 大香蕉久久成人网| 精品少妇黑人巨大在线播放| 高清在线视频一区二区三区| av在线老鸭窝| 亚洲少妇的诱惑av| 国产一区有黄有色的免费视频| 精品视频人人做人人爽| 久热这里只有精品99| av视频免费观看在线观看| 精品99又大又爽又粗少妇毛片| 最近手机中文字幕大全| 嫩草影院入口| 中文字幕精品免费在线观看视频 | 久久久久久伊人网av| 22中文网久久字幕| 亚洲成人av在线免费| a级片在线免费高清观看视频| 亚洲av综合色区一区| 亚洲欧美一区二区三区国产| 久久99热6这里只有精品| 精品人妻偷拍中文字幕| √禁漫天堂资源中文www| 免费看光身美女| 日韩亚洲欧美综合| 午夜av观看不卡| 黑人巨大精品欧美一区二区蜜桃 | 少妇的逼水好多| 久久 成人 亚洲| 亚洲精品aⅴ在线观看| 嘟嘟电影网在线观看| 一本—道久久a久久精品蜜桃钙片| av视频免费观看在线观看| 国产精品久久久久久av不卡| 超色免费av| 18禁观看日本| 天美传媒精品一区二区| 少妇丰满av| 精品久久久久久电影网| 成人国语在线视频| 18禁裸乳无遮挡动漫免费视频| av.在线天堂| 永久免费av网站大全| 亚洲av二区三区四区| 黄色配什么色好看| 久久精品国产亚洲av涩爱| av有码第一页| 夜夜看夜夜爽夜夜摸| 精品少妇黑人巨大在线播放| 日韩成人伦理影院| 高清视频免费观看一区二区| 夜夜爽夜夜爽视频| 亚洲av在线观看美女高潮| 老熟女久久久| 国产亚洲av片在线观看秒播厂| 亚洲国产毛片av蜜桃av| 亚洲国产精品成人久久小说| 精品少妇久久久久久888优播| 一级片'在线观看视频| 视频区图区小说| 欧美日韩成人在线一区二区| 日本黄大片高清| 亚洲第一区二区三区不卡| 少妇被粗大的猛进出69影院 | 国产免费一区二区三区四区乱码| 99久久精品国产国产毛片| 丝袜脚勾引网站| 国产乱来视频区| 中文字幕制服av| 精品一区二区三卡| 久热久热在线精品观看| 欧美丝袜亚洲另类| 久久精品国产亚洲av天美| 亚洲欧美色中文字幕在线| 午夜免费男女啪啪视频观看| 免费人成在线观看视频色| 在线观看人妻少妇| 两个人免费观看高清视频| av在线app专区| 涩涩av久久男人的天堂| 精品久久久噜噜| 日韩欧美一区视频在线观看| 亚洲精华国产精华液的使用体验| 国产色婷婷99| av黄色大香蕉| 人妻少妇偷人精品九色| 精品一区二区免费观看| 成人国产av品久久久| 伊人亚洲综合成人网| 97超碰精品成人国产| 成年av动漫网址| 亚洲国产精品成人久久小说| 狂野欧美激情性xxxx在线观看| 美女大奶头黄色视频| 麻豆成人av视频| 秋霞伦理黄片| 韩国av在线不卡| 国产成人av激情在线播放 | 午夜av观看不卡| 亚洲无线观看免费| 国产精品久久久久久精品古装| 欧美日韩国产mv在线观看视频| 免费高清在线观看视频在线观看| 欧美激情 高清一区二区三区| 久久鲁丝午夜福利片| 人妻制服诱惑在线中文字幕| .国产精品久久| 18+在线观看网站| 日韩欧美一区视频在线观看| 久久狼人影院| 国产淫语在线视频| 久久精品熟女亚洲av麻豆精品| 大又大粗又爽又黄少妇毛片口| 国产一区有黄有色的免费视频| 丝袜喷水一区| 午夜福利视频在线观看免费| 国产亚洲av片在线观看秒播厂| 夜夜爽夜夜爽视频| 麻豆乱淫一区二区| 人妻系列 视频| 亚洲av在线观看美女高潮| 久久久欧美国产精品| 色94色欧美一区二区| 久久热精品热| 亚洲美女视频黄频| 成人影院久久| 99久久综合免费| 能在线免费看毛片的网站| 女性被躁到高潮视频| 黄色视频在线播放观看不卡| 久久人人爽人人片av| 97在线人人人人妻| videos熟女内射| 丁香六月天网| 赤兔流量卡办理| 国产毛片在线视频| 老司机影院毛片| 成人毛片60女人毛片免费| 亚洲熟女精品中文字幕| 中国三级夫妇交换| 91久久精品国产一区二区成人| 久久99热这里只频精品6学生| xxxhd国产人妻xxx| 一区二区三区四区激情视频| 国产免费视频播放在线视频| 久久精品久久精品一区二区三区| 啦啦啦中文免费视频观看日本| 91精品国产国语对白视频| 18禁在线无遮挡免费观看视频| 午夜福利影视在线免费观看| 老司机影院成人| 人妻少妇偷人精品九色| 久久精品国产亚洲网站| 久热久热在线精品观看| 高清毛片免费看| 亚洲国产毛片av蜜桃av| 久热这里只有精品99| 人妻一区二区av| 日本黄大片高清| 久久人妻熟女aⅴ| 日韩av不卡免费在线播放| 极品人妻少妇av视频| 日本av手机在线免费观看| 最近的中文字幕免费完整| 亚洲av成人精品一区久久| 欧美激情极品国产一区二区三区 | 岛国毛片在线播放| 国产精品一区二区在线观看99| 亚洲精品aⅴ在线观看| 成人手机av| 免费av中文字幕在线| 夜夜骑夜夜射夜夜干| 久热久热在线精品观看| 不卡视频在线观看欧美| 超碰97精品在线观看| 久久人人爽人人片av| 老熟女久久久| 麻豆乱淫一区二区| 中文字幕制服av| 国产精品麻豆人妻色哟哟久久| 少妇的逼水好多| 久久鲁丝午夜福利片| 国产免费一级a男人的天堂| 天堂中文最新版在线下载| 亚洲av国产av综合av卡| 免费不卡的大黄色大毛片视频在线观看| 观看美女的网站| 99热6这里只有精品| 久久久久久久亚洲中文字幕| 欧美最新免费一区二区三区| 午夜av观看不卡| 男女国产视频网站| 久久国产亚洲av麻豆专区| 中文字幕av电影在线播放| 曰老女人黄片| 中文字幕免费在线视频6| 成人综合一区亚洲| 成人亚洲欧美一区二区av| 婷婷色综合大香蕉| 欧美日韩视频高清一区二区三区二| 精品久久久精品久久久| 亚洲国产欧美日韩在线播放| 亚洲丝袜综合中文字幕| 一级毛片黄色毛片免费观看视频| 人妻夜夜爽99麻豆av| 国产欧美日韩综合在线一区二区| 久久久精品94久久精品| 午夜福利影视在线免费观看| 欧美成人精品欧美一级黄| 中文字幕人妻熟人妻熟丝袜美| 久久狼人影院| 国产成人freesex在线| 国产成人精品久久久久久| 91aial.com中文字幕在线观看| av免费在线看不卡| 国产日韩一区二区三区精品不卡 | 欧美 亚洲 国产 日韩一| 秋霞在线观看毛片| 精品人妻一区二区三区麻豆| 日日摸夜夜添夜夜添av毛片| 国产成人精品久久久久久| 国产精品偷伦视频观看了| av免费在线看不卡| 99久国产av精品国产电影| 免费少妇av软件| 满18在线观看网站| 我的女老师完整版在线观看| 国产免费一区二区三区四区乱码| 亚洲精品乱码久久久v下载方式| 性高湖久久久久久久久免费观看| 免费观看a级毛片全部| av又黄又爽大尺度在线免费看| 国产av国产精品国产| 国产视频内射| 欧美人与善性xxx| 欧美精品亚洲一区二区| 国产av一区二区精品久久| 亚洲精品,欧美精品| 一级毛片电影观看| 最近的中文字幕免费完整| 久久久国产欧美日韩av| 高清视频免费观看一区二区| 国产永久视频网站| 精品一区二区免费观看| 亚洲精品av麻豆狂野| 亚洲av综合色区一区| 麻豆成人av视频| 免费高清在线观看视频在线观看| 国产片内射在线| 日本欧美国产在线视频| 亚洲精品中文字幕在线视频| 青春草视频在线免费观看| 亚洲中文av在线| 久久久午夜欧美精品| 黑人高潮一二区| 一二三四中文在线观看免费高清| 少妇人妻精品综合一区二区| 久久久a久久爽久久v久久| 精品酒店卫生间| 国产精品国产三级专区第一集| 五月玫瑰六月丁香| 久久国产亚洲av麻豆专区| a级毛色黄片| 美女中出高潮动态图| 国产av精品麻豆| 亚洲精品日韩av片在线观看| 欧美国产精品一级二级三级| 国产成人免费无遮挡视频| 婷婷色综合www| 亚洲精品乱码久久久v下载方式| 久久久久久久久久久免费av| 亚洲伊人久久精品综合| 美女内射精品一级片tv| 老女人水多毛片| 人成视频在线观看免费观看| 丰满乱子伦码专区| 国产无遮挡羞羞视频在线观看| 国产成人一区二区在线| 亚洲精品日韩在线中文字幕| 国产精品国产三级国产av玫瑰| 啦啦啦中文免费视频观看日本| 免费黄网站久久成人精品| 欧美日韩综合久久久久久| www.色视频.com| 最近手机中文字幕大全| 99国产精品免费福利视频| 成人黄色视频免费在线看| 91久久精品国产一区二区成人| 免费看av在线观看网站| 国产精品99久久久久久久久| 欧美bdsm另类| 免费观看的影片在线观看| 欧美一级a爱片免费观看看| 制服丝袜香蕉在线| 欧美精品国产亚洲| 毛片一级片免费看久久久久| 国产一级毛片在线| 高清视频免费观看一区二区| 汤姆久久久久久久影院中文字幕| √禁漫天堂资源中文www| 久久久久网色| 久久久久久久亚洲中文字幕| 精品国产露脸久久av麻豆| 亚洲国产av新网站| 国产精品久久久久久av不卡| 午夜精品国产一区二区电影| 伊人久久精品亚洲午夜| 亚洲精品,欧美精品| 中国国产av一级| 天堂俺去俺来也www色官网| 赤兔流量卡办理| 久久久久久久久久成人| 亚洲成人av在线免费| 日韩大片免费观看网站| 国产 精品1| 国产成人一区二区在线| 永久网站在线| 18禁裸乳无遮挡动漫免费视频| 久久韩国三级中文字幕| 在线免费观看不下载黄p国产| 国产探花极品一区二区| 日日撸夜夜添| 最近的中文字幕免费完整| 亚洲国产日韩一区二区| 我的女老师完整版在线观看| 丰满少妇做爰视频| 国产亚洲av片在线观看秒播厂| 成人毛片60女人毛片免费| 青春草亚洲视频在线观看| 国产爽快片一区二区三区| 老司机影院毛片| 一级片'在线观看视频| 简卡轻食公司| 80岁老熟妇乱子伦牲交| av在线观看视频网站免费| av卡一久久| 亚洲少妇的诱惑av| 制服丝袜香蕉在线| 午夜久久久在线观看| 丰满饥渴人妻一区二区三| 国产免费现黄频在线看| 久久人人爽人人爽人人片va| 最近的中文字幕免费完整| 国产淫语在线视频| 女人久久www免费人成看片| 少妇丰满av| av国产久精品久网站免费入址| av线在线观看网站| 全区人妻精品视频| 爱豆传媒免费全集在线观看| 五月天丁香电影| 亚洲精品久久成人aⅴ小说 | 久久99精品国语久久久| 视频中文字幕在线观看| 中文字幕亚洲精品专区| 国产精品.久久久| 日日撸夜夜添| 2021少妇久久久久久久久久久| av在线老鸭窝| 纵有疾风起免费观看全集完整版| 国产片内射在线| 嘟嘟电影网在线观看| 精品少妇黑人巨大在线播放| 成人国产麻豆网| 国产精品一区www在线观看| 一级毛片电影观看| 亚洲五月色婷婷综合| 不卡视频在线观看欧美| 一本—道久久a久久精品蜜桃钙片| 亚洲五月色婷婷综合| 一个人看视频在线观看www免费| 七月丁香在线播放| 三级国产精品片| 熟女电影av网| 高清av免费在线| 麻豆乱淫一区二区| 熟女电影av网| 欧美另类一区| 在线观看www视频免费| 插逼视频在线观看| 国产综合精华液| 国产精品麻豆人妻色哟哟久久| 亚洲精品,欧美精品| av电影中文网址| 午夜免费观看性视频| 制服诱惑二区| 色婷婷久久久亚洲欧美| 亚洲精品美女久久av网站| 成人国产av品久久久| 免费观看av网站的网址| 18禁在线播放成人免费| 亚洲精品国产av蜜桃| 在线天堂最新版资源| 欧美国产精品一级二级三级| 亚洲精品中文字幕在线视频| 欧美最新免费一区二区三区| 高清av免费在线| 另类精品久久| 国产女主播在线喷水免费视频网站| 一级二级三级毛片免费看| 欧美亚洲日本最大视频资源| 国产成人免费观看mmmm| 丝袜美足系列| 日韩成人伦理影院| 少妇人妻久久综合中文| 亚洲欧美中文字幕日韩二区| 女人久久www免费人成看片| 欧美少妇被猛烈插入视频| 内地一区二区视频在线| 两个人的视频大全免费| 国产高清有码在线观看视频| 日韩欧美一区视频在线观看| 欧美bdsm另类| 99久久精品国产国产毛片| 国产精品人妻久久久久久| 亚洲欧美成人综合另类久久久| 老司机影院成人| 十八禁网站网址无遮挡| 各种免费的搞黄视频| 国产亚洲一区二区精品| 精品国产一区二区三区久久久樱花| 国产亚洲午夜精品一区二区久久| 国产视频内射| 99精国产麻豆久久婷婷| 狂野欧美激情性xxxx在线观看| 欧美成人午夜免费资源| 久久免费观看电影| 毛片一级片免费看久久久久| h视频一区二区三区| 最新中文字幕久久久久| 下体分泌物呈黄色| www.av在线官网国产| 啦啦啦在线观看免费高清www| 在线免费观看不下载黄p国产| 夜夜爽夜夜爽视频| 午夜日本视频在线| 热re99久久国产66热| 久久久欧美国产精品| 国产亚洲欧美精品永久| 日本黄色片子视频| 亚洲中文av在线| 在线观看国产h片| 午夜精品国产一区二区电影| 成年人免费黄色播放视频| 午夜激情久久久久久久| av黄色大香蕉| 五月伊人婷婷丁香| 少妇 在线观看| 日本-黄色视频高清免费观看| 99久久综合免费| 99国产精品免费福利视频| 91久久精品国产一区二区三区| 亚洲欧美色中文字幕在线| 精品国产一区二区久久| 蜜桃国产av成人99| 久久久午夜欧美精品| 国产亚洲精品久久久com| 久久久久久久久久成人| 午夜激情久久久久久久| 日本黄色片子视频| 精品人妻偷拍中文字幕| 五月天丁香电影| 人体艺术视频欧美日本| 一二三四中文在线观看免费高清| 欧美激情 高清一区二区三区| 国产成人精品婷婷| 欧美日韩亚洲高清精品| 91久久精品电影网| 最后的刺客免费高清国语| 看免费成人av毛片| 久久综合国产亚洲精品| 欧美97在线视频| 日韩精品有码人妻一区| 久久99热6这里只有精品| 交换朋友夫妻互换小说| 我要看黄色一级片免费的| 性高湖久久久久久久久免费观看| 黑人欧美特级aaaaaa片| 欧美变态另类bdsm刘玥| 国产欧美另类精品又又久久亚洲欧美| 女的被弄到高潮叫床怎么办| 母亲3免费完整高清在线观看 | 大香蕉97超碰在线| 岛国毛片在线播放| 黑人猛操日本美女一级片| 极品少妇高潮喷水抽搐| 欧美日韩视频精品一区| 九色亚洲精品在线播放| 全区人妻精品视频| 黄色毛片三级朝国网站| 亚洲精华国产精华液的使用体验| 亚洲精品色激情综合| 99热这里只有精品一区| 超色免费av| 最近的中文字幕免费完整| 欧美xxⅹ黑人| 18禁在线无遮挡免费观看视频| 久久国产精品大桥未久av| 高清不卡的av网站| kizo精华| 精品久久久久久久久av| 十八禁高潮呻吟视频| 美女主播在线视频| 麻豆乱淫一区二区| 在线看a的网站| 插阴视频在线观看视频| 五月开心婷婷网| 免费大片18禁| 午夜免费男女啪啪视频观看| 日韩av免费高清视频| 久久久国产欧美日韩av| 搡女人真爽免费视频火全软件| 亚洲精品456在线播放app| 亚洲精品视频女| 亚洲国产精品成人久久小说| 国产免费一级a男人的天堂| 一本久久精品| 亚洲成人av在线免费| 99久久精品国产国产毛片| 熟女电影av网| 国产亚洲精品久久久com| 国产免费福利视频在线观看| 最近手机中文字幕大全| 两个人免费观看高清视频| 免费不卡的大黄色大毛片视频在线观看| 欧美成人午夜免费资源| 亚洲国产av新网站| av线在线观看网站| 亚洲国产av新网站| 精品亚洲成a人片在线观看| 国产一区二区在线观看av| 亚洲精品一区蜜桃| 国产成人91sexporn| 国产日韩欧美亚洲二区| 18禁裸乳无遮挡动漫免费视频| 久久久国产欧美日韩av| 国产欧美另类精品又又久久亚洲欧美| 中文字幕亚洲精品专区| 亚洲美女黄色视频免费看| 欧美3d第一页| 男人操女人黄网站| 欧美 日韩 精品 国产| 又大又黄又爽视频免费| 久久久久久人妻| 亚洲综合色惰| 日本91视频免费播放| 国产男人的电影天堂91| 一区二区日韩欧美中文字幕 | 午夜免费男女啪啪视频观看| 91久久精品国产一区二区三区| 久久久精品免费免费高清| 男女高潮啪啪啪动态图| 日韩欧美一区视频在线观看| 免费av中文字幕在线| 国产不卡av网站在线观看| 国产片内射在线| 久久久欧美国产精品| 伦理电影免费视频| 麻豆成人av视频| 国产成人a∨麻豆精品| 亚洲成人av在线免费| 人妻夜夜爽99麻豆av|