• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于DDPG策略的四旋翼飛行器目標(biāo)高度控制

    2021-12-01 05:54:58劉安林時(shí)正華
    關(guān)鍵詞:越界旋翼飛行器

    劉安林,時(shí)正華

    (河海大學(xué) 理學(xué)院,江蘇 南京 211100)

    0 引言

    四旋翼飛行器作為一種復(fù)雜的無人技術(shù)設(shè)備,憑借其質(zhì)量輕、體積小、成本低、靈活機(jī)動(dòng)的特點(diǎn),在農(nóng)業(yè)植保[1]、工業(yè)監(jiān)測(cè)[2]、航空運(yùn)輸[3]、軍事領(lǐng)域[4]等方面發(fā)揮廣泛效用.為保證飛行器能高效完成任務(wù),控制策略的設(shè)計(jì)至關(guān)重要.因此,許多研究著眼于對(duì)無人飛行系統(tǒng)進(jìn)行智能化技術(shù)訓(xùn)練.

    四旋翼飛行器是一種高度非線性、互相強(qiáng)耦聯(lián)的欠驅(qū)動(dòng)系統(tǒng)[5].此外,加上實(shí)際飛行環(huán)境中的外部干擾,如何設(shè)計(jì)控制策略變得尤為復(fù)雜.為解決上述困難,當(dāng)前的研究提出了眾多控制策略.經(jīng)典的比例-積分-微分(PID)控制器[6]是根據(jù)系統(tǒng)誤差進(jìn)行負(fù)反饋的過程,在穩(wěn)定的環(huán)境中已成功運(yùn)用于四旋翼飛行器定高懸停、姿態(tài)控制等任務(wù).然而,PID算法忽略了系統(tǒng)中的非線性因素,具有超調(diào)量大、易受外部干擾等缺點(diǎn),并且采用試錯(cuò)法人工整定PID系數(shù)難以滿足控制性能的要求.為解決模型的非線性問題,增強(qiáng)抗干擾能力,涌現(xiàn)了眾多非線性控制策略,例如滑模控制[7]、反步法[8]、自適應(yīng)控制[9]等.有些研究將上述幾種方法整合以提升控制策略的魯棒性[10,11],但是這些方法各有優(yōu)缺,并且模型的復(fù)雜性會(huì)加大控制策略的復(fù)雜度,不利于實(shí)施.

    在過去幾十年中,人工智能的蓬勃發(fā)展也擴(kuò)展到控制領(lǐng)域,許多研究學(xué)者基于神經(jīng)網(wǎng)絡(luò)、深度強(qiáng)化學(xué)習(xí)算法設(shè)計(jì)控制策略.具有強(qiáng)化學(xué)習(xí)功能的控制策略最早可以追溯到2005年,Waslande等[12]采用標(biāo)準(zhǔn)策略迭代方法實(shí)現(xiàn)了四旋翼飛行器的精準(zhǔn)跟蹤.近年來,Koch等[13]開發(fā)了高保真的仿真平臺(tái)用于測(cè)試飛行性能,同時(shí)使用深度確定性策略梯度(DDPG)、信賴域策略優(yōu)化(TRPO)以及近端策略優(yōu)化(PPO)算法進(jìn)行內(nèi)環(huán)姿態(tài)控制,取得了比PID算法更優(yōu)的效果.Wang等[14]以及Hu等[15]分別使用DDPG、PPO算法對(duì)四旋翼飛行器進(jìn)行速度控制,表明該算法在質(zhì)量和臂長方面的泛化能力優(yōu)于PID算法.然而,現(xiàn)有的強(qiáng)化學(xué)習(xí)控制策略大多集中在姿態(tài)和速度控制,位置控制相對(duì)較少.Tiwari等[16]利用增強(qiáng)隨機(jī)搜索(ARS)算法實(shí)現(xiàn)了對(duì)四旋翼飛行器的目標(biāo)位置控制.

    基于上述文獻(xiàn)的啟發(fā),本文使用DDPG算法對(duì)四旋翼飛行器進(jìn)行目標(biāo)高度及懸??刂?強(qiáng)化學(xué)習(xí)算法可以使智能體直接與環(huán)境進(jìn)行交互,從神經(jīng)網(wǎng)絡(luò)中直接學(xué)習(xí)控制策略且無須對(duì)動(dòng)力學(xué)模型進(jìn)行假設(shè)和簡化.同時(shí),DDPG算法控制策略使模型具有泛化能力.基于上述原因,本文使用DDPG算法對(duì)四旋翼飛行器進(jìn)行目標(biāo)高度及懸??刂?為達(dá)到目標(biāo)高度控制效果,本文基于reward shaping理論設(shè)計(jì)了新穎的體現(xiàn)越界懲罰的獎(jiǎng)勵(lì)函數(shù).由于智能體難以探索到最終目標(biāo),稀疏獎(jiǎng)勵(lì)很難達(dá)到效果,本文設(shè)置多個(gè)獎(jiǎng)勵(lì)引導(dǎo)智能體逐步到達(dá)目標(biāo).該函數(shù)設(shè)計(jì)越界懲罰,若智能體越界,將給出-10的懲罰并終止回合,解決了智能體易陷于環(huán)境邊界問題.仿真結(jié)果表明,本文的目標(biāo)高度控制策略的響應(yīng)速度比PID算法更快;在穩(wěn)態(tài)誤差性能指標(biāo)方面優(yōu)于增強(qiáng)隨機(jī)搜索(ARS)方法;在質(zhì)量、臂長方面具有泛化能力.本文的主要內(nèi)容安排如下:第一節(jié)建立了四旋翼飛行器的動(dòng)力學(xué)模型,第二節(jié)主要介紹了所提出的基于深度確定性策略梯度的四旋翼飛行器的目標(biāo)高度控制,第三節(jié)介紹了仿真實(shí)驗(yàn)的過程以及結(jié)果討論,驗(yàn)證了DDPG控制器的有效性.第四節(jié)為全文結(jié)論.

    1 四旋翼的動(dòng)力學(xué)模型

    本節(jié)將給出四旋翼飛行器的動(dòng)力學(xué)模型的創(chuàng)建過程.四旋翼飛行器的基本結(jié)構(gòu)如圖1所示.

    圖1 四旋翼飛行器及機(jī)體坐標(biāo)系

    為描述四旋翼飛行器的位置和姿態(tài),建立了兩個(gè)坐標(biāo)系統(tǒng):地球固連坐標(biāo)系和機(jī)體坐標(biāo)系.四旋翼動(dòng)力學(xué)模型主要根據(jù)牛頓第二運(yùn)動(dòng)定律建立,有

    (1)

    1.1 旋轉(zhuǎn)運(yùn)動(dòng)

    對(duì)于四旋翼飛行器的旋轉(zhuǎn)運(yùn)動(dòng),依據(jù)動(dòng)量矩方程建立模型.四旋翼飛行器由四個(gè)螺旋槳提供升力,升力方向始終與機(jī)體軸z軸的方向一致,四個(gè)旋翼分布在距質(zhì)心L的位置上.作用在機(jī)體上的總升力f為:

    (2)

    式(2)中:Ti(i=1,2,3,4)為不同螺旋槳提供的升力;ωi(i=1,2,3,4)表示螺旋槳轉(zhuǎn)速;cT為系數(shù).

    通過分析由扭矩驅(qū)動(dòng)的旋轉(zhuǎn)運(yùn)動(dòng)和由升力驅(qū)動(dòng)的平移運(yùn)動(dòng)的動(dòng)力學(xué)方程來建立模型.針對(duì)旋轉(zhuǎn)運(yùn)動(dòng)建立姿態(tài)動(dòng)力學(xué)模型,將歐拉旋轉(zhuǎn)方程應(yīng)用于機(jī)體坐標(biāo)系,則施加到四旋翼飛行器上的合外力矩M可以表示為

    (3)

    (4)

    1.2 平移運(yùn)動(dòng)

    對(duì)于平移運(yùn)動(dòng),在地球固連坐標(biāo)系中應(yīng)用牛頓第二運(yùn)動(dòng)定律

    (5)

    (6)

    式(6)中:S{·},C{·}分別表示sin(·),cos(·).最終,聯(lián)立旋轉(zhuǎn)運(yùn)動(dòng)和平移運(yùn)動(dòng)的動(dòng)力學(xué)方程,可將四旋翼動(dòng)力學(xué)表示為以下非線性微分方程:

    2 深度確定性策略梯度(DDPG)算法

    對(duì)于四旋翼位姿控制問題,主要目標(biāo)是找到合適的控制策略以快速且穩(wěn)定的方式將四旋翼從初始狀態(tài)驅(qū)動(dòng)到目標(biāo)狀態(tài)并懸停.基于策略梯度的算法最適合求解這類連續(xù)動(dòng)作與連續(xù)狀態(tài)的問題.通常使用基于期望回報(bào)的梯度來調(diào)整參數(shù),尋找每一步的最佳動(dòng)作,即策略梯度定理:

    (7)

    式(7)中:J(Aμ)為期望回報(bào),ρAμ為策略Aμ的狀態(tài)分布,QAμ(s,a)為實(shí)際狀態(tài)價(jià)值函數(shù).

    深度確定性策略梯度(DDPG)算法是一種策略學(xué)習(xí)方法,在策略梯度算法中引入神經(jīng)網(wǎng)絡(luò)模型.本節(jié)將給出使用DDPG算法對(duì)四旋翼飛行器進(jìn)行目標(biāo)高度控制,并實(shí)現(xiàn)定點(diǎn)懸停的任務(wù).確定性策略是一種將每個(gè)狀態(tài)映射到最大概率的動(dòng)作的策略,該動(dòng)作是唯一確定的.因此,DDPG選擇給動(dòng)作空間添加擾動(dòng)量以實(shí)現(xiàn)探索,本文使用的是OU噪聲.

    (8)

    δt+1=rt+γQw(st+1,μ(st+1))-Qw(st,at)

    (9)

    式(9)中:rt為t時(shí)刻的獎(jiǎng)勵(lì);γ為折扣率;Qw(st,at)為critic目標(biāo)網(wǎng)絡(luò)Q值.

    critic網(wǎng)絡(luò)通過最小化損失函數(shù)來更新參數(shù):

    Qw(si,ai))2

    (10)

    wt+1=wt+αwwL(w)

    (11)

    式(10)~(11)中:L為損失函數(shù),N為批采樣尺寸,w為critic網(wǎng)絡(luò)參數(shù),αw為critic網(wǎng)絡(luò)學(xué)習(xí)率.

    actor網(wǎng)絡(luò)的目標(biāo)是選出最佳動(dòng)作,按DPG定理進(jìn)行更新,更新方向?yàn)樽畲蠡疩值方向,actor網(wǎng)絡(luò)更新方式如下:

    (12)

    μt+1=μt+αμμJ(μ)

    (13)

    式(12)~(13)中:J(μ)為期望回報(bào);μ為actor網(wǎng)絡(luò)參數(shù);Aμ(s)為表征actor網(wǎng)絡(luò)的策略;αμ為actor網(wǎng)絡(luò)學(xué)習(xí)率.

    四旋翼飛行器目標(biāo)高度控制的確定性策略梯度算法的actor-critic網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示.

    圖2 四旋翼控制的DDPG算法的AC框架

    此外,DDPG為增加學(xué)習(xí)過程的穩(wěn)定性,分別創(chuàng)建目標(biāo)actor網(wǎng)絡(luò)、目標(biāo)critic網(wǎng)絡(luò),在訓(xùn)練完經(jīng)驗(yàn)回放的數(shù)據(jù)之后,通過梯度下降法更新當(dāng)前網(wǎng)絡(luò)參數(shù),之后采用軟更新方法更新目標(biāo)網(wǎng)絡(luò)參數(shù).

    w′←τw+(1-τ)w′

    (14)

    μ′←τμ+(1-τ)μ′

    (15)

    式(14)~(15)中:w′,μ′分別為目標(biāo)critic網(wǎng)絡(luò)參數(shù)及目標(biāo)actor網(wǎng)絡(luò)參數(shù);τ為目標(biāo)網(wǎng)絡(luò)的學(xué)習(xí)率.使用DDPG對(duì)四旋翼進(jìn)行目標(biāo)高度控制的算法流程如下:

    算法1 DDPG進(jìn)行四旋翼目標(biāo)高度控制隨機(jī)初始化動(dòng)作網(wǎng)絡(luò)的權(quán)重Aμ隨機(jī)初始化批評(píng)網(wǎng)絡(luò)的權(quán)重Qw初始化經(jīng)驗(yàn)回放池D加載簡化的四旋翼動(dòng)力學(xué)模型forepisode=1toMaxEpisodedo 初始化OU噪聲以實(shí)現(xiàn)動(dòng)作探索 觀測(cè)初始四旋翼狀態(tài) fortimestep=1toMaxStepdo 選擇動(dòng)作at=Aμ(st)+nt 根據(jù)控制信號(hào)at來運(yùn)行動(dòng)力學(xué)模型 獲得獎(jiǎng)勵(lì)rt并到達(dá)下一狀態(tài)st+1 將經(jīng)驗(yàn)(st,at,rt,st+1)存儲(chǔ)到經(jīng)驗(yàn)回放池中 從回放池中隨機(jī)采樣經(jīng)驗(yàn) 根據(jù)公式(10)(11)更新批評(píng)網(wǎng)絡(luò) 根據(jù)公式(12)(13)更新動(dòng)作網(wǎng)絡(luò) 根據(jù)公式(14)(15)更新目標(biāo)網(wǎng)絡(luò) if超出安全范圍then break endif endforendfor

    3 實(shí)驗(yàn)與結(jié)果分析

    3.1 實(shí)驗(yàn)說明

    本實(shí)驗(yàn)使用深度確定性策略梯度算法對(duì)四旋翼飛行器進(jìn)行位姿訓(xùn)練,使飛行器到達(dá)目標(biāo)高度并懸停.使用第二節(jié)的動(dòng)力學(xué)模型進(jìn)行建模.基本的四旋翼參數(shù)如質(zhì)量、尺寸、轉(zhuǎn)動(dòng)慣量展示如表1所示.

    表1 四旋翼飛行器參數(shù)

    本實(shí)驗(yàn)是在Windows操作系統(tǒng)上運(yùn)行,處理器為Intel Core i7-9700CPU@3.00GHz.該無人機(jī)仿真使用Python進(jìn)行編程.對(duì)于網(wǎng)絡(luò)訓(xùn)練優(yōu)化,本文使用的是內(nèi)置Adam優(yōu)化器.深度確定性策略梯度算法的網(wǎng)絡(luò)訓(xùn)練參數(shù)設(shè)置如表2所示.

    表2 DDPG算法訓(xùn)練參數(shù)

    本實(shí)驗(yàn)的任務(wù)是利用深度確定性策略梯度算法將四旋翼飛行器從初始位置處垂直驅(qū)動(dòng)至目標(biāo)高度位置處懸停.首先初始位置是[0,0,0],設(shè)置目標(biāo)高度為[0,0,10].本實(shí)驗(yàn)共進(jìn)行1 200回合,每回合的最長運(yùn)行時(shí)間為10秒,智能體每隔一個(gè)時(shí)間步長進(jìn)行一次采樣,時(shí)間間隔為0.1秒.

    為保證四旋翼飛行過程中的安全,實(shí)驗(yàn)設(shè)置了安全范圍,對(duì)于位置x,y,范圍為[-150,150],對(duì)于高度z,范圍為[0,300].出于安全考慮,實(shí)驗(yàn)的停止條件有兩個(gè),一是越過安全范圍,二是超出回合最大運(yùn)行時(shí)間.

    3.2 目標(biāo)高度控制任務(wù)

    獎(jiǎng)勵(lì)函數(shù)作為強(qiáng)化學(xué)習(xí)中的核心部分,它引導(dǎo)智能體的期望行為,是強(qiáng)化學(xué)習(xí)的學(xué)習(xí)目標(biāo).針對(duì)四旋翼飛行器易陷入環(huán)境邊界的問題,本文基于回報(bào)函數(shù)塑造(rewardshaping)理論,設(shè)計(jì)了一個(gè)新穎的體現(xiàn)越界懲罰的獎(jiǎng)勵(lì)函數(shù),引導(dǎo)智能體在邊界內(nèi)運(yùn)動(dòng).本文所設(shè)計(jì)的獎(jiǎng)勵(lì)函數(shù)為:

    (16)

    式(16)中:xe,ye,ze分別為當(dāng)前坐標(biāo)位置與目標(biāo)坐標(biāo)位置之間的差值,t為越界符號(hào),未越界用0表示,越界用1表示.

    本文基于reward shaping理論設(shè)計(jì)回報(bào)函數(shù),由于智能體難以探索到最終目標(biāo),稀疏獎(jiǎng)勵(lì)很難達(dá)到效果.通過多個(gè)獎(jiǎng)勵(lì)設(shè)置引導(dǎo)智能體逐步到達(dá)目標(biāo).每個(gè)時(shí)間步長給基礎(chǔ)獎(jiǎng)勵(lì)1,克服保守行為,鼓勵(lì)智能體運(yùn)動(dòng).以當(dāng)前位置與目標(biāo)位置之間的距離作為懲罰項(xiàng).設(shè)計(jì)越界懲罰,如果智能體越界將給出-10的懲罰,并終止回合.

    在獎(jiǎng)勵(lì)函數(shù)設(shè)計(jì)中,本文的一個(gè)新穎的體現(xiàn)越界懲罰的獎(jiǎng)勵(lì)函數(shù),不體現(xiàn)越界懲罰的獎(jiǎng)勵(lì)函數(shù)為:

    (17)

    文獻(xiàn)[17]中使用Soft Actor-Critic (SAC)算法進(jìn)行四旋翼飛行器的位姿控制,將文獻(xiàn)[17]中的獎(jiǎng)勵(lì)函數(shù)用于本文的DDPG框架中,所設(shè)計(jì)的獎(jiǎng)勵(lì)函數(shù)為:

    (18)

    本文將所設(shè)計(jì)的新穎的體現(xiàn)越界懲罰的獎(jiǎng)勵(lì)函數(shù)公式(16)與公式(17)以及公式(18)中的獎(jiǎng)勵(lì)函數(shù)進(jìn)行試驗(yàn)對(duì)比,通過兩個(gè)指標(biāo)衡量任務(wù)的訓(xùn)練效果,一是累計(jì)獎(jiǎng)勵(lì),二是穩(wěn)態(tài)誤差.本任務(wù)為目標(biāo)高度控制,因此穩(wěn)態(tài)誤差計(jì)算的是每回合實(shí)際高度與目標(biāo)高度之間的差值.在每回合中,較高的累計(jì)獎(jiǎng)勵(lì)意味著較低的穩(wěn)態(tài)誤差,越接近目標(biāo)高度.訓(xùn)練過程中每回合的累計(jì)獎(jiǎng)勵(lì)以及穩(wěn)態(tài)誤差對(duì)比如圖3~4所示.

    從實(shí)驗(yàn)對(duì)比圖可以看出,本文所設(shè)計(jì)的新穎的體現(xiàn)越界懲罰的獎(jiǎng)勵(lì)函數(shù)(公式(16))在訓(xùn)練后期收斂,且獎(jiǎng)勵(lì)值保持在一個(gè)很高的水平,而將文獻(xiàn)[17]中的獎(jiǎng)勵(lì)函數(shù)用在DDPG算法中(公式(18))以及不體現(xiàn)越界懲罰的獎(jiǎng)勵(lì)函數(shù)(公式(17))進(jìn)行實(shí)驗(yàn),累計(jì)獎(jiǎng)勵(lì)一直在波動(dòng),并未收斂.從誤差角度,本文所設(shè)計(jì)的獎(jiǎng)勵(lì)函數(shù)使得誤差保持在一個(gè)較低的水平,訓(xùn)練后期逐步趨于0,而文獻(xiàn)[17]中的獎(jiǎng)勵(lì)函數(shù)以及不體現(xiàn)越界懲罰的獎(jiǎng)勵(lì)函數(shù)誤差還一直較高,說明本文所設(shè)計(jì)的新穎的獎(jiǎng)勵(lì)函數(shù)的有效性.

    (a)累計(jì)獎(jiǎng)勵(lì)對(duì)比

    (a)累計(jì)獎(jiǎng)勵(lì)對(duì)比

    使用本文所設(shè)計(jì)的獎(jiǎng)勵(lì)函數(shù)的DDPG算法在訓(xùn)練的初期,沒有收斂,因此獎(jiǎng)勵(lì)值很低并且波動(dòng)較大,同時(shí)穩(wěn)態(tài)誤差很高.在750回合往后,獎(jiǎng)勵(lì)值逐漸升高,并且獎(jiǎng)勵(lì)值維持在一個(gè)較高的水平,說明訓(xùn)練效果較好且穩(wěn)定.使用深度確定性策略梯度算法對(duì)四旋翼飛行器進(jìn)行目標(biāo)高度控制能夠使穩(wěn)態(tài)誤差保持在一個(gè)很低的水平,進(jìn)一步說明了該算法在四旋翼飛行器目標(biāo)高度控制方面的有效性.為表明訓(xùn)練后期結(jié)果的穩(wěn)定性,本文展示最后100回合的累計(jì)獎(jiǎng)勵(lì)和穩(wěn)態(tài)誤差的描述性統(tǒng)計(jì),如表3所示.

    表3 累計(jì)獎(jiǎng)勵(lì)、穩(wěn)態(tài)誤差描述性統(tǒng)計(jì)

    在訓(xùn)練的最后100回合中,獎(jiǎng)勵(lì)值一直保持在一個(gè)很高的水平,且波動(dòng)小,標(biāo)準(zhǔn)差為4.292 9,而穩(wěn)態(tài)誤差值同時(shí)保持很低的水平,標(biāo)準(zhǔn)差為0.943 5,說明訓(xùn)練效果穩(wěn)定.

    為測(cè)試算法的穩(wěn)定性,使用DDPG算法進(jìn)行目標(biāo)高度的控制任務(wù),將四旋翼由初始位置[0,0,0]驅(qū)動(dòng)到[0,0,10]處懸停,并與整定良好的PID控制器進(jìn)行對(duì)比,PID控制器參數(shù)設(shè)置為比例系數(shù)為15,積分系數(shù)為1,微分系數(shù)為15.結(jié)果如圖5所示.從圖5可以看出,在相同控制任務(wù)下,DDPG策略能夠更快的到達(dá)目標(biāo)高度,并在目標(biāo)高度10 m處懸停,稍有抖動(dòng),而PID需要5秒左右才能到達(dá)目標(biāo)高度懸停.

    圖5 DDPG策略和PID控制器的位置控制響應(yīng)性能

    為驗(yàn)證控制系統(tǒng)的有效性,本文設(shè)置了兩個(gè)不同的目標(biāo)高度進(jìn)行測(cè)試.其余的任務(wù)設(shè)置保持不變,目標(biāo)高度分別為[0,0,20]、[0,0,30].仿真結(jié)果表明,在不同的目標(biāo)高度下,飛行器均能快速到達(dá)指定高度并保持懸停.高度通道的響應(yīng)曲線如圖6所示.

    (a)目標(biāo)高度為20 m

    與其他強(qiáng)化學(xué)習(xí)算法相比,本文所提出的目標(biāo)高度控制DDPG方法在穩(wěn)態(tài)誤差性能指標(biāo)方面優(yōu)于Tiwari等[16]提出的增強(qiáng)隨機(jī)搜索(ARS)方法.分別使用兩種算法設(shè)置相同的任務(wù),初始位置[0,0,10],目標(biāo)位置[0,0,150],目標(biāo)高度控制性能對(duì)比如表4所示.由表4可得,在相同控制任務(wù)下,本文所使用的DDPG算法在進(jìn)行目標(biāo)高度控制時(shí),高度的穩(wěn)態(tài)誤差更小.

    表4 控制器性能分析

    3.3 訓(xùn)練結(jié)果泛化能力測(cè)試

    四旋翼飛行器的位姿控制最終是要將控制策略運(yùn)用于真機(jī)飛行.因此,模型的泛化能力和魯棒性尤為重要.本節(jié)主要研究對(duì)于不同質(zhì)量以及不同臂長的四旋翼控制策略的泛化能力.使用目標(biāo)高度控制任務(wù)進(jìn)行模型泛化能力測(cè)試,將四旋翼從初始位置[0,0,0]驅(qū)動(dòng)到目標(biāo)高度[0,0,10]處并懸停.

    質(zhì)量對(duì)四旋翼飛行器的影響尤為顯著,因?yàn)樵趯?shí)際飛行中,經(jīng)常會(huì)給四旋翼飛行器加負(fù)載,如添加攝像頭等.本文通過逐步給四旋翼飛行器加負(fù)載的方式探究控制策略對(duì)于質(zhì)量的泛化能力.在固定其他參數(shù)不變的前提下,分別對(duì)整體質(zhì)量為0.958 kg、1 kg、1.1 kg的四旋翼進(jìn)行目標(biāo)高度測(cè)試.不同負(fù)載的四旋翼飛行器訓(xùn)練效果如圖7所示.

    在固定其他參數(shù)不變的情況下,對(duì)臂長進(jìn)行泛化能力測(cè)試.將四旋翼的臂長L分別增大和減小25%對(duì)四旋翼飛行器進(jìn)行目標(biāo)高度控制任務(wù),四旋翼飛行器的臂長分別為0.3 m、0.4 m、0.5m.不同臂長的四旋翼飛行器的目標(biāo)高度控制如圖8所示.

    圖7 四旋翼飛行器質(zhì)量泛化能力測(cè)試

    圖8 四旋翼飛行器臂長泛化能力測(cè)試

    從圖7~8可以看出,在固定其他參數(shù),僅改變四旋翼飛行器質(zhì)量參數(shù)以及臂長參數(shù)的情況下,各通道的響應(yīng)曲線沒有太大變化,控制策略始終能完成四旋翼飛行器的目標(biāo)高度控制任務(wù),并實(shí)現(xiàn)懸停.通過對(duì)質(zhì)量、臂長的泛化能力測(cè)試,說明深度確定性策略梯度算法在四旋翼飛行器目標(biāo)高度控制方面具有魯棒性.

    4 結(jié)論

    (1)本文基于回報(bào)函數(shù)塑造(reward shaping)理論,設(shè)計(jì)了一個(gè)新穎的體現(xiàn)越界懲罰的獎(jiǎng)勵(lì)函數(shù),解決了飛行器易陷于環(huán)境邊界的問題.利用深度確定性策略梯度算法實(shí)現(xiàn)了四旋翼飛行器的目標(biāo)高度及懸??刂?該策略響應(yīng)速度快于PID算法.與增強(qiáng)隨機(jī)搜索(ARS)算法相比,該策略在高度上的穩(wěn)態(tài)誤差更小.

    (2)在質(zhì)量、臂長方面對(duì)本文的控制策略進(jìn)行了泛化能力測(cè)試,驗(yàn)證了該策略的有效性與魯棒性.

    猜你喜歡
    越界旋翼飛行器
    高超聲速飛行器
    越界·互換·融合——中國化爵士樂的生成路線與認(rèn)同政治
    改進(jìn)型自抗擾四旋翼無人機(jī)控制系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)
    大載重長航時(shí)油動(dòng)多旋翼無人機(jī)
    基于STM32的四旋翼飛行器的設(shè)計(jì)
    電子制作(2019年9期)2019-05-30 09:41:48
    復(fù)雜飛行器的容錯(cuò)控制
    電子制作(2018年2期)2018-04-18 07:13:25
    四旋翼無人機(jī)動(dòng)態(tài)面控制
    陣列方向圖綜合中PSO算法粒子越界處理研究
    沒有炊煙的城市(選章)
    詩歌月刊(2015年11期)2015-12-23 23:17:12
    神秘的飛行器
    亚洲av成人不卡在线观看播放网 | 亚洲精品久久午夜乱码| 美女大奶头黄色视频| 久久久国产欧美日韩av| 岛国在线观看网站| 国产伦人伦偷精品视频| 国产亚洲av高清不卡| 欧美性长视频在线观看| 久久青草综合色| 免费不卡黄色视频| 中文欧美无线码| 交换朋友夫妻互换小说| 国产免费现黄频在线看| 深夜精品福利| 精品国产一区二区三区四区第35| 国产在线一区二区三区精| 国产日韩欧美视频二区| 免费在线观看视频国产中文字幕亚洲 | av一本久久久久| 久久久久久亚洲精品国产蜜桃av| 久久性视频一级片| 丝袜美腿诱惑在线| 岛国毛片在线播放| 热99久久久久精品小说推荐| 巨乳人妻的诱惑在线观看| 国产亚洲精品第一综合不卡| 成年av动漫网址| 91字幕亚洲| 久久久久久人人人人人| 欧美亚洲日本最大视频资源| 激情视频va一区二区三区| 精品少妇一区二区三区视频日本电影| 亚洲国产精品成人久久小说| a级毛片黄视频| 国产精品熟女久久久久浪| 亚洲中文日韩欧美视频| 50天的宝宝边吃奶边哭怎么回事| svipshipincom国产片| 国产精品免费大片| 国产精品免费大片| 日韩欧美一区二区三区在线观看 | 欧美午夜高清在线| 久久久精品免费免费高清| 日韩精品免费视频一区二区三区| 男女午夜视频在线观看| 日韩欧美国产一区二区入口| 12—13女人毛片做爰片一| 久久久精品区二区三区| 超碰97精品在线观看| 丰满饥渴人妻一区二区三| 亚洲成人免费电影在线观看| 久久人人爽人人片av| 久久久久国产精品人妻一区二区| 99国产精品一区二区三区| 日韩免费高清中文字幕av| 中文字幕精品免费在线观看视频| 国产av国产精品国产| 日本撒尿小便嘘嘘汇集6| 日韩大码丰满熟妇| 麻豆av在线久日| 汤姆久久久久久久影院中文字幕| 国产成人影院久久av| 在线观看免费日韩欧美大片| 人人妻人人澡人人看| 性少妇av在线| 一级片免费观看大全| 久久99一区二区三区| 99国产精品一区二区蜜桃av | 老司机影院成人| 欧美精品啪啪一区二区三区 | 新久久久久国产一级毛片| 日韩欧美国产一区二区入口| 午夜福利视频在线观看免费| av在线老鸭窝| 日韩视频在线欧美| 久久精品熟女亚洲av麻豆精品| 一区福利在线观看| 欧美黑人精品巨大| 欧美黑人精品巨大| 亚洲精品一二三| 一本一本久久a久久精品综合妖精| 国产精品二区激情视频| kizo精华| 精品少妇黑人巨大在线播放| 啦啦啦 在线观看视频| 久久久久精品人妻al黑| 五月开心婷婷网| 成人免费观看视频高清| 欧美精品一区二区大全| 国产av精品麻豆| 最近最新免费中文字幕在线| 别揉我奶头~嗯~啊~动态视频 | 亚洲精品乱久久久久久| 伊人亚洲综合成人网| 精品人妻在线不人妻| 秋霞在线观看毛片| 50天的宝宝边吃奶边哭怎么回事| 精品熟女少妇八av免费久了| 国产精品一区二区在线观看99| 涩涩av久久男人的天堂| 9热在线视频观看99| 欧美另类一区| 国产欧美日韩综合在线一区二区| 一级,二级,三级黄色视频| 亚洲人成77777在线视频| 91麻豆精品激情在线观看国产 | 女人被躁到高潮嗷嗷叫费观| 九色亚洲精品在线播放| 热re99久久国产66热| 精品国产乱子伦一区二区三区 | 日韩精品免费视频一区二区三区| 精品亚洲乱码少妇综合久久| 女人被躁到高潮嗷嗷叫费观| 亚洲成人免费电影在线观看| 五月天丁香电影| 91九色精品人成在线观看| 免费在线观看日本一区| 国产片内射在线| 国产精品亚洲av一区麻豆| 午夜精品久久久久久毛片777| 桃红色精品国产亚洲av| 免费女性裸体啪啪无遮挡网站| 久久女婷五月综合色啪小说| 亚洲久久久国产精品| 国产av一区二区精品久久| 欧美av亚洲av综合av国产av| 欧美+亚洲+日韩+国产| 欧美日韩黄片免| 久久精品久久久久久噜噜老黄| 十八禁人妻一区二区| 交换朋友夫妻互换小说| 成年美女黄网站色视频大全免费| 国产免费现黄频在线看| 欧美日本中文国产一区发布| 另类亚洲欧美激情| 免费黄频网站在线观看国产| 国产欧美日韩一区二区三区在线| 啦啦啦啦在线视频资源| av免费在线观看网站| 亚洲av片天天在线观看| 亚洲国产精品一区三区| 欧美日韩亚洲国产一区二区在线观看 | 中文字幕人妻丝袜制服| 国产精品.久久久| 一本一本久久a久久精品综合妖精| 久热这里只有精品99| 丝袜喷水一区| 精品亚洲乱码少妇综合久久| 天天躁夜夜躁狠狠躁躁| 日本欧美视频一区| 丁香六月天网| 老司机靠b影院| 久久久久网色| 久久久久久久精品精品| 欧美大码av| 欧美另类一区| 久久久精品94久久精品| 一级片'在线观看视频| 一本—道久久a久久精品蜜桃钙片| 久久久精品国产亚洲av高清涩受| 日本撒尿小便嘘嘘汇集6| 亚洲国产av新网站| 国产成人一区二区三区免费视频网站| 国产国语露脸激情在线看| 亚洲欧美成人综合另类久久久| 视频区图区小说| 精品久久久久久电影网| 一本—道久久a久久精品蜜桃钙片| 777米奇影视久久| 欧美另类亚洲清纯唯美| √禁漫天堂资源中文www| 男女国产视频网站| 亚洲av电影在线观看一区二区三区| 欧美久久黑人一区二区| 50天的宝宝边吃奶边哭怎么回事| 丁香六月欧美| 丰满饥渴人妻一区二区三| 欧美激情 高清一区二区三区| 国产色视频综合| 老司机福利观看| 国产男女内射视频| 亚洲avbb在线观看| 777米奇影视久久| 午夜久久久在线观看| 在线av久久热| 亚洲综合色网址| 亚洲avbb在线观看| 高清在线国产一区| 欧美久久黑人一区二区| 精品国产乱子伦一区二区三区 | 午夜福利乱码中文字幕| 另类亚洲欧美激情| 宅男免费午夜| 午夜福利一区二区在线看| 99国产极品粉嫩在线观看| 国产亚洲一区二区精品| 亚洲五月色婷婷综合| 久久国产精品人妻蜜桃| 18禁黄网站禁片午夜丰满| 国产成人精品久久二区二区91| 性色av一级| 我要看黄色一级片免费的| 国产日韩一区二区三区精品不卡| 99热国产这里只有精品6| 男女之事视频高清在线观看| 精品国产一区二区三区久久久樱花| 国产在线一区二区三区精| 日韩欧美一区二区三区在线观看 | 欧美精品高潮呻吟av久久| 97在线人人人人妻| 亚洲五月色婷婷综合| av电影中文网址| 丰满迷人的少妇在线观看| 国产精品欧美亚洲77777| svipshipincom国产片| 久久精品成人免费网站| 久久精品人人爽人人爽视色| 一区二区三区激情视频| 久久精品国产综合久久久| kizo精华| 亚洲少妇的诱惑av| 激情视频va一区二区三区| 一区二区三区乱码不卡18| 青青草视频在线视频观看| 成人国产av品久久久| 久热爱精品视频在线9| 超碰成人久久| 一本久久精品| 精品高清国产在线一区| 黑人欧美特级aaaaaa片| 国产高清国产精品国产三级| 国产精品免费大片| 色婷婷av一区二区三区视频| 99热国产这里只有精品6| 精品国产乱码久久久久久小说| 中亚洲国语对白在线视频| 狠狠狠狠99中文字幕| 午夜福利在线免费观看网站| 亚洲国产日韩一区二区| 亚洲精品一二三| 久热这里只有精品99| 少妇被粗大的猛进出69影院| 久久久水蜜桃国产精品网| 欧美变态另类bdsm刘玥| 啦啦啦免费观看视频1| 日本欧美视频一区| 国产精品麻豆人妻色哟哟久久| videos熟女内射| 在线观看人妻少妇| 国产日韩欧美亚洲二区| 老熟女久久久| 人人妻,人人澡人人爽秒播| 韩国精品一区二区三区| 成年av动漫网址| 999久久久国产精品视频| 亚洲精品中文字幕在线视频| 黄色 视频免费看| 好男人电影高清在线观看| 嫩草影视91久久| 老熟女久久久| 伊人久久大香线蕉亚洲五| 丝袜在线中文字幕| 丰满饥渴人妻一区二区三| 一边摸一边做爽爽视频免费| 无遮挡黄片免费观看| 老汉色av国产亚洲站长工具| 黄色视频,在线免费观看| 在线观看免费日韩欧美大片| 亚洲国产av影院在线观看| 老司机福利观看| av天堂久久9| 黄色a级毛片大全视频| 黄色怎么调成土黄色| 久久 成人 亚洲| 一本久久精品| 在线观看舔阴道视频| 中文字幕精品免费在线观看视频| 亚洲午夜精品一区,二区,三区| 日韩中文字幕欧美一区二区| 999久久久精品免费观看国产| 亚洲精品国产区一区二| 精品亚洲乱码少妇综合久久| 日本欧美视频一区| 宅男免费午夜| 精品少妇黑人巨大在线播放| 国产在线免费精品| 久久中文字幕一级| 亚洲一码二码三码区别大吗| 国产成人精品久久二区二区91| 满18在线观看网站| 两性夫妻黄色片| 欧美精品一区二区免费开放| 国产一区二区三区av在线| 国产成人av教育| 各种免费的搞黄视频| 2018国产大陆天天弄谢| 国产高清videossex| 中文字幕av电影在线播放| 91九色精品人成在线观看| 久久久久久久精品精品| 精品少妇内射三级| 亚洲精品国产av成人精品| 亚洲午夜精品一区,二区,三区| 国产精品一二三区在线看| av在线老鸭窝| 美女高潮喷水抽搐中文字幕| 91精品三级在线观看| 叶爱在线成人免费视频播放| 亚洲一区二区三区欧美精品| 国产极品粉嫩免费观看在线| 亚洲国产欧美在线一区| 久久ye,这里只有精品| 色播在线永久视频| 色婷婷久久久亚洲欧美| 国产精品一二三区在线看| 亚洲少妇的诱惑av| 国产伦理片在线播放av一区| 午夜福利免费观看在线| 叶爱在线成人免费视频播放| 中亚洲国语对白在线视频| a级毛片在线看网站| 中文字幕另类日韩欧美亚洲嫩草| 久久人妻熟女aⅴ| 亚洲av欧美aⅴ国产| 一区二区三区精品91| 午夜老司机福利片| 777米奇影视久久| 中国国产av一级| 91九色精品人成在线观看| 日韩 亚洲 欧美在线| 日韩欧美国产一区二区入口| 国产免费av片在线观看野外av| 日韩三级视频一区二区三区| 国产伦人伦偷精品视频| 亚洲熟女精品中文字幕| 少妇人妻久久综合中文| 欧美大码av| 久久国产亚洲av麻豆专区| 亚洲精品av麻豆狂野| 五月天丁香电影| 一边摸一边做爽爽视频免费| 天天躁夜夜躁狠狠躁躁| av欧美777| 欧美日本中文国产一区发布| 中文字幕人妻丝袜制服| 最新的欧美精品一区二区| 性少妇av在线| www.熟女人妻精品国产| 97人妻天天添夜夜摸| 好男人电影高清在线观看| 久久亚洲国产成人精品v| 麻豆av在线久日| 日本撒尿小便嘘嘘汇集6| 国产日韩一区二区三区精品不卡| 在线观看舔阴道视频| 亚洲精品国产区一区二| 青春草视频在线免费观看| 日韩,欧美,国产一区二区三区| 亚洲国产日韩一区二区| 老鸭窝网址在线观看| 色婷婷av一区二区三区视频| 国产一区二区 视频在线| 欧美久久黑人一区二区| 午夜日韩欧美国产| 午夜激情av网站| 黑人巨大精品欧美一区二区蜜桃| 在线观看免费视频网站a站| 女人久久www免费人成看片| 国产精品久久久久久人妻精品电影 | 99久久精品国产亚洲精品| 精品第一国产精品| 高清欧美精品videossex| 国产精品一二三区在线看| 丁香六月天网| 欧美黑人欧美精品刺激| 性色av乱码一区二区三区2| 久9热在线精品视频| 欧美日韩亚洲国产一区二区在线观看 | 亚洲全国av大片| 午夜福利,免费看| 亚洲九九香蕉| 制服诱惑二区| 大片电影免费在线观看免费| 一区二区三区四区激情视频| 99国产精品一区二区三区| 久久久久久免费高清国产稀缺| 欧美97在线视频| 啦啦啦 在线观看视频| 久久99一区二区三区| 黄色片一级片一级黄色片| 久久久久精品国产欧美久久久 | 国产片内射在线| 亚洲国产欧美网| 久热爱精品视频在线9| 日本欧美视频一区| 大香蕉久久网| 亚洲精品日韩在线中文字幕| 爱豆传媒免费全集在线观看| 亚洲欧美日韩高清在线视频 | 日韩制服骚丝袜av| 男女国产视频网站| 女人爽到高潮嗷嗷叫在线视频| 一边摸一边做爽爽视频免费| 国产在线观看jvid| 成人免费观看视频高清| 亚洲人成电影观看| 精品欧美一区二区三区在线| 热re99久久国产66热| 999久久久精品免费观看国产| 久久狼人影院| 黄频高清免费视频| 日本av免费视频播放| 日本撒尿小便嘘嘘汇集6| 国产成人一区二区三区免费视频网站| 亚洲伊人久久精品综合| 国产成人免费观看mmmm| 国产av国产精品国产| 久久久久国产精品人妻一区二区| avwww免费| 性色av乱码一区二区三区2| av福利片在线| √禁漫天堂资源中文www| 99久久99久久久精品蜜桃| 老熟妇仑乱视频hdxx| 老汉色av国产亚洲站长工具| 欧美精品一区二区免费开放| 夫妻午夜视频| 女人爽到高潮嗷嗷叫在线视频| 9热在线视频观看99| 亚洲av成人不卡在线观看播放网 | 亚洲美女黄色视频免费看| 黑人猛操日本美女一级片| 日日摸夜夜添夜夜添小说| 国产亚洲一区二区精品| 80岁老熟妇乱子伦牲交| 天天操日日干夜夜撸| 日韩大片免费观看网站| 中文字幕av电影在线播放| 不卡一级毛片| 深夜精品福利| 亚洲av国产av综合av卡| 国产一区二区在线观看av| 黄片播放在线免费| a级毛片黄视频| 婷婷成人精品国产| 国产成人系列免费观看| 女人久久www免费人成看片| 国产av又大| 国产片内射在线| 国产成+人综合+亚洲专区| 啦啦啦啦在线视频资源| 精品少妇黑人巨大在线播放| 最新的欧美精品一区二区| 精品久久蜜臀av无| 国产1区2区3区精品| 桃花免费在线播放| 亚洲成国产人片在线观看| 脱女人内裤的视频| 热re99久久精品国产66热6| 一区二区日韩欧美中文字幕| 亚洲一码二码三码区别大吗| 女人精品久久久久毛片| 脱女人内裤的视频| 亚洲全国av大片| 91精品三级在线观看| 大香蕉久久成人网| 欧美中文综合在线视频| 色播在线永久视频| 亚洲精品国产av蜜桃| 啦啦啦 在线观看视频| av网站免费在线观看视频| 国产成人一区二区三区免费视频网站| 亚洲精品国产色婷婷电影| 超碰成人久久| 欧美+亚洲+日韩+国产| 在线天堂中文资源库| 免费人妻精品一区二区三区视频| 男女高潮啪啪啪动态图| 国产免费一区二区三区四区乱码| 天堂俺去俺来也www色官网| tube8黄色片| 亚洲性夜色夜夜综合| 欧美日韩视频精品一区| 国产男女内射视频| 人妻人人澡人人爽人人| 日韩欧美国产一区二区入口| 国产一区二区激情短视频 | 免费高清在线观看视频在线观看| 亚洲第一欧美日韩一区二区三区 | 亚洲欧洲精品一区二区精品久久久| 亚洲欧美清纯卡通| 无遮挡黄片免费观看| 90打野战视频偷拍视频| 国产色视频综合| 91老司机精品| 国产亚洲一区二区精品| 久久亚洲国产成人精品v| 大香蕉久久成人网| 看免费av毛片| 黄色 视频免费看| 一区二区日韩欧美中文字幕| 亚洲国产欧美一区二区综合| 黄色怎么调成土黄色| 免费在线观看影片大全网站| 欧美黑人欧美精品刺激| av福利片在线| www.熟女人妻精品国产| 超碰成人久久| 成年动漫av网址| a在线观看视频网站| 亚洲精品久久午夜乱码| 国产精品免费视频内射| 亚洲第一青青草原| 99热国产这里只有精品6| 在线观看舔阴道视频| 国产亚洲精品第一综合不卡| 狠狠婷婷综合久久久久久88av| 高清av免费在线| 97精品久久久久久久久久精品| 国产野战对白在线观看| 国产成人精品无人区| 精品一区在线观看国产| 动漫黄色视频在线观看| 人人妻人人澡人人爽人人夜夜| 日韩大片免费观看网站| 97精品久久久久久久久久精品| 国产精品香港三级国产av潘金莲| 欧美亚洲 丝袜 人妻 在线| 国产99久久九九免费精品| 亚洲精品一区蜜桃| 老鸭窝网址在线观看| 成人三级做爰电影| 啦啦啦啦在线视频资源| 日韩视频一区二区在线观看| 婷婷丁香在线五月| 大片免费播放器 马上看| tube8黄色片| 午夜福利在线观看吧| 天堂8中文在线网| 每晚都被弄得嗷嗷叫到高潮| 国产精品一区二区在线观看99| 高清黄色对白视频在线免费看| 十分钟在线观看高清视频www| 午夜视频精品福利| 欧美日韩亚洲综合一区二区三区_| 国产亚洲欧美精品永久| 一区二区三区激情视频| 女人久久www免费人成看片| 亚洲免费av在线视频| 亚洲精品第二区| 十八禁网站网址无遮挡| 波多野结衣一区麻豆| 黑人操中国人逼视频| 午夜免费观看性视频| 国产有黄有色有爽视频| 欧美黄色淫秽网站| 狂野欧美激情性bbbbbb| 欧美日本中文国产一区发布| 欧美精品一区二区免费开放| av天堂久久9| 精品国产乱码久久久久久小说| 12—13女人毛片做爰片一| 日本av免费视频播放| 妹子高潮喷水视频| 别揉我奶头~嗯~啊~动态视频 | 久久精品人人爽人人爽视色| 午夜日韩欧美国产| 一个人免费在线观看的高清视频 | 在线亚洲精品国产二区图片欧美| 69精品国产乱码久久久| 王馨瑶露胸无遮挡在线观看| 黄片小视频在线播放| 亚洲国产欧美在线一区| 天天躁夜夜躁狠狠躁躁| 天天操日日干夜夜撸| 精品第一国产精品| 亚洲欧美色中文字幕在线| 欧美人与性动交α欧美精品济南到| 9191精品国产免费久久| 99国产极品粉嫩在线观看| 欧美精品一区二区大全| 少妇猛男粗大的猛烈进出视频| 日韩欧美一区二区三区在线观看 | 久久天堂一区二区三区四区| 久9热在线精品视频| 精品国产国语对白av| 精品人妻在线不人妻| 亚洲欧美成人综合另类久久久| 亚洲国产精品成人久久小说| 亚洲人成77777在线视频| 久久影院123| 国产野战对白在线观看| 免费看十八禁软件| 欧美日韩国产mv在线观看视频| 久久亚洲国产成人精品v| 少妇的丰满在线观看| 91字幕亚洲| 免费高清在线观看视频在线观看| 免费一级毛片在线播放高清视频 | 亚洲欧美日韩高清在线视频 | 搡老乐熟女国产| 最近最新免费中文字幕在线| 午夜福利影视在线免费观看| 亚洲视频免费观看视频| 各种免费的搞黄视频| 三上悠亚av全集在线观看| 亚洲国产欧美一区二区综合| 午夜日韩欧美国产| 两个人免费观看高清视频| 国产一区二区在线观看av| 妹子高潮喷水视频| 国产有黄有色有爽视频| 精品少妇久久久久久888优播| 男女无遮挡免费网站观看| 亚洲精品自拍成人|