基于高斯過程建模的移動機(jī)器人學(xué)習(xí)預(yù)測控制方法

伍瑞卓,張興龍,徐 昕,張昌昕

(國防科技大學(xué)智能科學(xué)學(xué)院,湖南長沙 410073)

1 引言

近年來,地面機(jī)器人廣泛地應(yīng)用在工業(yè)、服務(wù)業(yè)、醫(yī)療業(yè)和特殊危險行業(yè),應(yīng)用環(huán)境表現(xiàn)出多樣化和復(fù)雜化的特征.相比于結(jié)構(gòu)化道路環(huán)境,機(jī)器人在植被覆蓋、鋪有沙礫、結(jié)冰或高低起伏的地面上運(yùn)動時,其底層動力學(xué)會因道路變化而發(fā)生變化,使得機(jī)器人跟蹤控制面臨環(huán)境不確定性和模型不確定性的挑戰(zhàn),因此,機(jī)器人在不同地形條件下的運(yùn)動控制成為了一個重要研究問題.

強(qiáng)化學(xué)習(xí)作為一類能夠求解序貫決策優(yōu)化問題的機(jī)器學(xué)習(xí)方法,受到了廣泛的關(guān)注和研究[1-3],研究人員通過算法設(shè)計使得智能體在環(huán)境中進(jìn)行主動探索,并且獲得“獎勵”或“懲罰”,以此來學(xué)習(xí)和優(yōu)化智能體在當(dāng)前不確定環(huán)境中的運(yùn)動策略.因為維數(shù)災(zāi)難問題,近年的強(qiáng)化學(xué)習(xí)工作主要圍繞大規(guī)模連續(xù)空間MDP(Markov decision process)的值函數(shù)與策略逼近方法展開,可以分為基于值函數(shù)逼近的強(qiáng)化學(xué)習(xí)算法、基于策略梯度的強(qiáng)化學(xué)習(xí)算法和基于執(zhí)行器-評價器的強(qiáng)化學(xué)習(xí)算法,其中基于執(zhí)行器-評價器的強(qiáng)化學(xué)習(xí)算法,被用于求解連續(xù)空間中的最優(yōu)控制問題[4].

基于執(zhí)行器-評價器的強(qiáng)化學(xué)習(xí)算法通過構(gòu)建執(zhí)行器和評價器結(jié)構(gòu),并利用函數(shù)近似這兩種結(jié)構(gòu),逼近動態(tài)規(guī)劃方程中的性能指標(biāo)函數(shù)和控制策略以滿足最優(yōu)性原理.Werbos[5]提出了兩種經(jīng)典的基于執(zhí)行器-評價器的強(qiáng)化學(xué)習(xí)方法算法,分別是啟發(fā)式動態(tài)規(guī)劃(heuristic dynamic programming,HDP)和對偶啟發(fā)式規(guī)劃(dual heuristic programming,DHP).Xu 等人[6-7]在DHP 的基礎(chǔ)上,提出了滾動時域強(qiáng)化學(xué)習(xí)算法(receding horizon reinforcement learning,RHRL),將無限時域下的優(yōu)化問題轉(zhuǎn)換為多個有限時域下的優(yōu)化問題,該方法結(jié)合了強(qiáng)化學(xué)習(xí)和模型預(yù)測控制方法的優(yōu)勢,相比模型預(yù)測控制,滾動時域強(qiáng)化學(xué)習(xí)能獲得優(yōu)化策略的顯式表達(dá)式,相鄰預(yù)測時域的策略學(xué)習(xí)具有連續(xù)性;相比無限時域強(qiáng)化學(xué)習(xí),滾動時域強(qiáng)化學(xué)習(xí)在復(fù)雜非線性系統(tǒng)優(yōu)化控制問題上的求解效率高,可以實現(xiàn)在線優(yōu)化.但由于要求已知系統(tǒng)模型信息,所以準(zhǔn)確的系統(tǒng)模型是滾動時域強(qiáng)化學(xué)習(xí)算法保證性能穩(wěn)定的關(guān)鍵.

近年來,學(xué)者們針對滾動時域強(qiáng)化學(xué)習(xí)算法開展了許多研究.文獻(xiàn)[8]針對離散非線性系統(tǒng)設(shè)計基于滾動時域強(qiáng)化學(xué)習(xí)的控制器,將其用于求解非線性最優(yōu)控制問題,有效降低計算代價.針對連續(xù)時間系統(tǒng),文獻(xiàn)[9]在預(yù)測時域內(nèi)設(shè)計了一組與時間相關(guān)的執(zhí)行器和評價器用于學(xué)習(xí)隨狀態(tài)改變的值函數(shù)和策略,有效提升優(yōu)化控制性能.針對未知模型帶約束的非線性系統(tǒng)優(yōu)化控制問題,有學(xué)者提出了一種魯棒的滾動時域強(qiáng)化學(xué)習(xí)方法以完成在線優(yōu)化求解,并從理論上分析了該方法的收斂性和迭代可行性,以及閉環(huán)系統(tǒng)的魯棒性和漸近穩(wěn)定性,在仿真和實驗中驗證了有效性和優(yōu)越性[10].文獻(xiàn)[11]將滾動時域強(qiáng)化學(xué)習(xí)應(yīng)用在智能車輛跟蹤控制中,在城市測試道路和鄉(xiāng)村起伏砂石道路中進(jìn)行了實車實驗,充分驗證了該方法的有效性和適應(yīng)能力.目前基于滾動時域強(qiáng)化學(xué)習(xí)的控制算法主要考慮在結(jié)構(gòu)化道路上的情況,而在復(fù)雜地形條件下,移動機(jī)器人的運(yùn)動控制會受到環(huán)境不確定性的影響,使得移動機(jī)器人的高精度控制仍然面臨挑戰(zhàn).

高斯過程回歸(Gaussian process regression,GPR)在基于模型的學(xué)習(xí)預(yù)測控制中也是一種常用的機(jī)器學(xué)習(xí)方法,可以用于設(shè)計機(jī)器人運(yùn)動控制的預(yù)測控制器,例如地面移動輪式機(jī)器人[12]、小型飛艇[13]等,以提升機(jī)器人對不確定環(huán)境的自適應(yīng)能力.目前在學(xué)習(xí)預(yù)測控制領(lǐng)域內(nèi),大多數(shù)研究是將高斯過程回歸建模方法與MPC(model predictive control)方法結(jié)合.Kocijan等人[14]最早將高斯過程回歸引入預(yù)測控制中,辨識完整的動力學(xué)系統(tǒng),并使用MPC方法進(jìn)行預(yù)測控制;Ostafew 等人[12,15]利用高斯過程回歸和機(jī)器人非線性先驗?zāi)Ｐ凸餐平鎸嵞Ｐ?以實現(xiàn)基于學(xué)習(xí)的MPC方法,并在復(fù)雜地形條件下完成機(jī)器人控制實驗驗證,有效的驗證了所提方法在環(huán)境不確定條件下的學(xué)習(xí)能力.高斯過程也被應(yīng)用在強(qiáng)化學(xué)習(xí)中,包括基于值函數(shù)逼近的強(qiáng)化學(xué)習(xí)方法[16]和基于策略梯度的強(qiáng)化學(xué)習(xí)算法[17-19].此外,Chua等人[20]將高斯過程與神經(jīng)網(wǎng)絡(luò)結(jié)合,將其用于有模型的深度強(qiáng)化學(xué)習(xí)中,以提高樣本的利用率.目前還沒有高斯過程在基于執(zhí)行器-評價器的強(qiáng)化學(xué)習(xí)算法中的相關(guān)研究.

本文針對復(fù)雜地形條件下機(jī)器人高精度控制受到環(huán)境和模型不確定性影響的問題,提出了基于高斯過程建模的學(xué)習(xí)預(yù)測控制方法,所提方法能夠在復(fù)雜地形條件下實時學(xué)習(xí)環(huán)境和模型不確定性,不需要精確的機(jī)器人模型,并可以在線學(xué)習(xí)最優(yōu)控制策略,有效提升移動機(jī)器人在復(fù)雜地形條件下的適應(yīng)能力.該方法結(jié)合了高斯過程建模泛化能力強(qiáng)、計算效率高和滾動時域強(qiáng)化學(xué)習(xí)算法求解效率高的優(yōu)勢,利用高斯過程建立機(jī)器人系統(tǒng)誤差狀態(tài)模型,以學(xué)習(xí)得到環(huán)境和模型不確定性的表征,并將其用于滾動時域強(qiáng)化學(xué)習(xí)中,通過在線迭代優(yōu)化學(xué)習(xí)在該環(huán)境下的最優(yōu)策略,從而減小環(huán)境和模型不確定性對機(jī)器人運(yùn)動控制的影響,有效提升控制性能.

2 問題描述

本文的研究對象為輪式機(jī)器人,定義狀態(tài)向量為x=[x y θ]T,x ∈Rn;輸入向量為u=[v w]T,u∈Rm;當(dāng)前時刻為k;?為采樣間隔.移動機(jī)器人運(yùn)動學(xué)模型為

因為移動機(jī)器人底層動力學(xué)會隨著外部環(huán)境的變化而產(chǎn)生變化,以及移動機(jī)器人系統(tǒng)具有非線性性,所以導(dǎo)致機(jī)器人運(yùn)動過程中實際狀態(tài)與理想狀態(tài)之間存在偏差,可以用?表示該偏差,?=[εxεyεθ]T,由此得到實際狀態(tài)的表達(dá)式為

除去擾動部分,參考軌跡與上述運(yùn)動學(xué)模型具有相同的形式,定義參考狀態(tài)向量為xr=[xryrθr]T,參考控制量為ur=[vrwr]T,由此得到參考軌跡的狀態(tài)方程為

輪式機(jī)器人及其與參考軌跡的關(guān)系如圖1所示,由于本文針對側(cè)向控制問題,所以令速度v=vr.根據(jù)文獻(xiàn)[21],定義誤差xe=[xeyeθe]T,其滿足

圖1 輪式機(jī)器人和參考軌跡示意圖Fig.1 Diagram of wheeled robot and reference trajectory

通過式(4)旋轉(zhuǎn)坐標(biāo)框架得到誤差狀態(tài)模型為

中間部分化簡時令θe(k)+εθ(k)近似等于θe(k).

輪式機(jī)器人的運(yùn)動學(xué)模型(1)在參考軌跡點的誤差狀態(tài)方程為

可以發(fā)現(xiàn)實際誤差狀態(tài)方程(5)與運(yùn)動學(xué)模型得出的誤差狀態(tài)方程(6)僅相差擾動項.將坐標(biāo)旋轉(zhuǎn)矩陣記為D(k),即

將式(6)代入式(5)得到

定義誤差狀態(tài)擾動為?e=[εexεeyεeθ]T,那么?e與狀態(tài)擾動ε的關(guān)系為

在已知k時刻的狀態(tài)擾動?(k)后,即可通過式(9)計算得到k時刻的誤差狀態(tài)的擾動?e(k),則式(8)可化簡為

誤差狀態(tài)模型可以拆分為標(biāo)稱誤差狀態(tài)模型和擾動模型兩個部分,標(biāo)稱誤差狀態(tài)模型是考慮擾動不存在的理想模型,擾動模型是根據(jù)實際的環(huán)境建立得到的模型.該混合模型既考慮了機(jī)器人固有的先驗?zāi)Ｐ?避免了構(gòu)建純數(shù)據(jù)驅(qū)動建模的黑箱模型,又引入擾動模型以考慮環(huán)境和模型不確定性對機(jī)器人動力學(xué)的影響.并且在運(yùn)動過程中,通過不斷更新數(shù)據(jù)集樣本的方式,可以完成擾動模型的實時學(xué)習(xí),從而適應(yīng)復(fù)雜地形.

而后,在預(yù)測時域內(nèi)采用該誤差狀態(tài)模型學(xué)習(xí)近似最優(yōu)策略.

3 基于高斯建模的移動機(jī)器人學(xué)習(xí)預(yù)測控制

3.1 整體框架

本文提出的基于高斯建模的移動機(jī)器人學(xué)習(xí)預(yù)測控制方法的整體框架如圖2所示,該方法分成模型學(xué)習(xí)和策略學(xué)習(xí)兩個部分.

圖2 高斯-RHRL方法框架Fig.2 The framework of GP-RHRL

記當(dāng)前時刻為k,預(yù)測時域的長度為N,N ∈N+,數(shù)據(jù)集DP中的樣本是由真實模型在過去時刻產(chǎn)生的.在模型學(xué)習(xí)中,首先將當(dāng)前時刻k下的狀態(tài)a*(k)與數(shù)據(jù)集DP中的數(shù)據(jù)進(jìn)行相似性度量,相似度高的數(shù)據(jù)組成Dq,相似度較低的放入數(shù)據(jù)集DP中以更新樣本池.而后在每一步策略學(xué)習(xí)前通過高斯過程回歸建立公式(10)中的擾動模型,得到擾動預(yù)測量;在策略學(xué)習(xí)中,采用滾動時域強(qiáng)化學(xué)習(xí)求解優(yōu)化控制問題,在預(yù)測時域[k,k+N]內(nèi)進(jìn)行策略優(yōu)化和策略評估,通過迭代優(yōu)化以實現(xiàn)在線近似最優(yōu)策略的學(xué)習(xí),從而獲取預(yù)測時域內(nèi)的控制序列將第1個控制量u(k)作為輸入施加到真實模型中,得到的下一時刻狀態(tài)x(k+1)用于學(xué)習(xí)下一預(yù)測時域內(nèi)的控制策略,以此類推實現(xiàn)在線滾動優(yōu)化機(jī)制.

3.2 基于高斯過程的移動機(jī)器人建模

假設(shè)數(shù)據(jù)集DP中g(shù)(ai)都源于一個零均值的高斯過程,如式(13)所示:

其中s(·,·)為核函數(shù),本文使用多元二次核函數(shù),如式(14)所示,因為多元二次核不僅是各階可微分的,滿足了后續(xù)對高斯過程求偏導(dǎo)數(shù)的要求,并且計算代價小于高斯核函數(shù),可以提升算法速度,即

其中:S ∈Rp×p為協(xié)方差矩陣;(S)ij=s(ai,aj).

記超參數(shù)為Ψ=[σp σn σm ?]T,基于已有數(shù)據(jù)集的似然函數(shù)為

最優(yōu)超參數(shù)可以通過最大化似然函數(shù)得到,即

將待預(yù)測的輸入向量定義為a*,對應(yīng)的預(yù)測輸出定義為g(a*).下一步將構(gòu)建訓(xùn)練樣本a,g(a)和預(yù)測樣本a*的聯(lián)合高斯先驗分布為

根據(jù)文獻(xiàn)[22-23]的第9.4小節(jié)可知,在微分線性算子的作用下,高斯過程的微分依然是高斯過程,可以獲得其偏導(dǎo)數(shù).因為滾動時域強(qiáng)化學(xué)習(xí)僅需要下一時刻誤差狀態(tài)對當(dāng)前時刻誤差狀態(tài)和動作的偏導(dǎo)數(shù),所以只計算高斯過程回歸預(yù)測分布的均值μ對預(yù)測樣本a*的偏導(dǎo)數(shù),不考慮方差的偏導(dǎo)數(shù).

則有均值對誤差狀態(tài)的偏導(dǎo)數(shù)為

其中:i ∈{n+1,2n},j ∈{1,n},以及均值對動作的偏導(dǎo)數(shù)為

其中:i=2n+m,j ∈{1,n}.因為微分是線性算子,故有

又因為本文中使用的多元二次核函數(shù)是可微的,所以可以得到?s(a*,ai),如公式(24)所示:

將?s(a*,ai)代入式(23)后,便可以計算出均值對預(yù)測樣本的偏導(dǎo)數(shù)?μ,再根據(jù)式(21)-(22)分別得到均值對誤差狀態(tài)和動作的偏導(dǎo)數(shù).

高斯過程建模中涉及核矩陣的求逆計算,完整的高斯過程回歸時間復(fù)雜度為O(p3),這導(dǎo)致完整高斯過程回歸在實時性要求較高的問題中難以得到應(yīng)用.為了減小計算量,目前衍生出多種可延展高斯過程回歸方法,可以分為全局近似和局部近似兩種類型[24].數(shù)據(jù)子集法屬于全局近似方法,其思想是利用訓(xùn)練數(shù)據(jù)的一個子集(子集中數(shù)據(jù)量為q)來近似整個高斯過程,其優(yōu)勢是將時間復(fù)雜度從O(p3)降為O(q3),且原理簡單易實現(xiàn).所以本文采用數(shù)據(jù)子集法進(jìn)行高斯過程回歸預(yù)測.

將對預(yù)測樣本a*和數(shù)據(jù)集中的樣本ai進(jìn)行相似性度量來完成數(shù)據(jù)子集的提取.根據(jù)文獻(xiàn)[25]可知,針對高維數(shù)據(jù),采用距離和角度度量能更加有效的區(qū)分樣本,如式(25)所示:

通過高斯過程回歸建模得到誤差狀態(tài)模型后,便可以采用學(xué)習(xí)預(yù)測控制算法在線迭代優(yōu)化得到控制量,下一小節(jié)將詳細(xì)介紹基于滾動時域強(qiáng)化學(xué)習(xí)的預(yù)測控制算法.

3.3 基于滾動時域強(qiáng)化學(xué)習(xí)的預(yù)測控制算法

為了研究第2小節(jié)中的控制問題,需要將其轉(zhuǎn)化為優(yōu)化問題.定義目標(biāo)函數(shù)為

根據(jù)貝爾曼方程可知當(dāng)前狀態(tài)的值函數(shù)取決于下一個狀態(tài)的值函數(shù)以及當(dāng)前狀態(tài)采取的動作所得到的即時獎勵,式(26)可寫成如下形式:

定義代價函數(shù)為

其中:R ∈R+為正數(shù);Um為控制量的最大值;ρ=UmR,H是一類連續(xù)可微單調(diào)遞增的奇函數(shù),且滿足‖H(·)‖2≤1;H-1為其反函數(shù),該式可對系統(tǒng)輸入進(jìn)行軟約束,本文采用雙曲正切函數(shù),H(·)=tanh(·).定義終端代價函數(shù)為

其中P為正定矩陣.

由此,有限時域滾動優(yōu)化求解最優(yōu)策略可以描述為

下一時刻狀態(tài)對當(dāng)前時刻動作偏導(dǎo)數(shù)記作d(u(τ)),即

假設(shè)瞬時代價r(τ)只與當(dāng)前狀態(tài)a(τ)和動作u(τ)相關(guān),與下一狀態(tài)無關(guān),同時根據(jù)Bellman最優(yōu)原理,最優(yōu)值函數(shù)作V*(τ)在策略π滿足如下離散HJB方程:

最優(yōu)動作u*(τ)滿足

對最優(yōu)狀態(tài)值函數(shù)求取最優(yōu)動作的偏導(dǎo),使其等于零可以得到最優(yōu)動作解析表達(dá)式為

為了提升求解效率,引入Actor-Critic結(jié)構(gòu)與值函數(shù)逼近進(jìn)行預(yù)測時域的策略學(xué)習(xí).在預(yù)測時域τ ∈Ω內(nèi),值函數(shù)和策略是根據(jù)當(dāng)前狀態(tài)改變的,所以采用N組時間相關(guān)的神經(jīng)網(wǎng)絡(luò)逼近預(yù)測時域內(nèi)的Actor-Critic,如圖3所示,網(wǎng)絡(luò)結(jié)構(gòu)為采用3層的反向傳播神經(jīng)網(wǎng)絡(luò),表示為Critic網(wǎng)絡(luò)逼近最優(yōu)狀態(tài)值函數(shù)的協(xié)狀態(tài)λ*(τ),可以將其命名為Critic(k),Critic(k+1),···,Critic(k+N-1),Actor 網(wǎng)絡(luò)逼近最優(yōu)動作u*(k),可以將其命名為Actor(k),Actor(k+1),···,Actor(k+N-1).

圖3 滾動時域強(qiáng)化學(xué)習(xí)算法結(jié)構(gòu)Fig.3 The structure of receding horizon reinforcement learning algorithm

記i ∈N+為預(yù)測時域內(nèi)在線學(xué)習(xí)的迭代次數(shù),在第i次迭代中,將當(dāng)前策略下的值函數(shù)記作V(i)(τ),網(wǎng)絡(luò)輸出的協(xié)狀態(tài)和動作記作λ(i)(τ)和u(i)(τ).

網(wǎng)絡(luò)Critic(τ)的學(xué)習(xí)目標(biāo)為極小化如下時域差分誤差:

采用時域差分算法更新每次迭代的評價器網(wǎng)絡(luò)權(quán)值,其更新規(guī)則可以表示為

網(wǎng)絡(luò)Actor(τ)的學(xué)習(xí)目標(biāo)為極小化如下誤差函數(shù):

在實際應(yīng)用中,由于計算機(jī)算力的限制和應(yīng)用中系統(tǒng)實時性的要求,迭代次數(shù)數(shù)i →∞一般難以實現(xiàn),所以提出策略學(xué)習(xí)終止的判別條件.

收斂條件1網(wǎng)絡(luò)權(quán)值收斂.

收斂條件2預(yù)測時域內(nèi)性能指標(biāo)收斂.

其中ΔW和ΔV是判斷評價器和執(zhí)行器網(wǎng)絡(luò)收斂的閾值.收斂條件1和2可以同時使用,也可以根據(jù)實際情況選擇任一收斂條件.

4 仿真驗證

為驗證本文所提出的基于高斯過程建模學(xué)習(xí)預(yù)測控制方法(Gaussian process RHRL,GP-RHRL)的有效性,本節(jié)以輪式機(jī)器人為例,采用Webots-MATLAB聯(lián)合仿真進(jìn)行跟蹤軌跡為橢圓形和8字形的側(cè)向跟蹤控制仿真,并與未采用擾動模型的滾動時域強(qiáng)化學(xué)習(xí)方法(RHRL)、未采用擾動模型的非線性模型預(yù)測控制方法(nonlinear model predictive control,NMPC)和采用擾動模型的非線性模型預(yù)測控制方法(Gaussian process NMPC,GP-NMPC)進(jìn)行對比,進(jìn)一步驗證了所提方法的優(yōu)越性.GP-RHRL和GP-NMPC均采用高斯過程回歸預(yù)測擾動,但不同的是,GP-RHRL還在迭代優(yōu)化的過程中考慮了預(yù)測擾動對誤差狀態(tài)的偏導(dǎo)數(shù)和對動作的偏導(dǎo)數(shù)影響,而GP-NMPC僅將誤差狀態(tài)擾動的預(yù)測值與當(dāng)前誤差狀態(tài)相加,如式(11)所示,并沒有在模型中使用偏導(dǎo)數(shù)信息.

4.1 典型場景搭建與數(shù)據(jù)采集

在Webots 中可以通過其給出的物理模塊節(jié)點(uneven terrain)生成一片不平坦地面,其大小為12 m×12 m,高度分布是基于Perlin梯度噪聲生成的大小為50×50的矩陣,其可視化如圖4所示.而后選擇該物理模塊的表面紋理為沙地(Sandyground),由此得到一片模擬戶外環(huán)境的地面.

圖4 地形圖Fig.4 Topographic map

機(jī)器人則采用多功能戶外先鋒機(jī)器人(Pioneer 3-AT)行進(jìn)最大速度為0.7 m/s.圖5展示了的部分參數(shù).機(jī)器人的位姿數(shù)據(jù)通過仿真環(huán)境中的位置節(jié)點獲得,分別是位置信息[PxPyPz]和以軸角表示的姿態(tài)信息[AxAyAzAangle].

圖5 Pioneer 3-AT尺寸圖Fig.5 Dimension figure of Pioneer 3-AT

4.2 橢圓軌跡

橢圓軌跡的半長軸a=5,半短軸b=2,長度單位為m,其期望速率變化如圖6所示.NMPC,GP-NMPC,RHRL 和GP-RHRL 的控制參數(shù)相同,控制時域長度N=6,Q=diag{10,800,30},R=1,P=Q,采樣間隔?=0.05 s.在初始時刻,數(shù)據(jù)集DP中的樣本對數(shù)量為30個,而后將每一時刻生成的樣本放入DP中,以實時更新DP,如果樣本數(shù)量達(dá)到最大值600,則從第1個樣本開始舍棄,使得DP中樣本總量始終保持為600個,相似性度量后得到的數(shù)據(jù)集Dq中的樣本對數(shù)量為30個.

圖6 橢圓參考軌跡和期望速度示意圖Fig.6 Diagram of reference trajectory and expected speed in an elliptic trajectory

橢圓軌跡中機(jī)器人Pioneer進(jìn)行過程中的俯仰角和翻滾角的變化如圖7所示.機(jī)器人從標(biāo)識①出發(fā),以逆時針方向行進(jìn).標(biāo)識①至④處的俯仰角和翻滾角由黑色實線指出.整段橢圓軌跡中,俯仰角在-30°～12°間,翻滾角在-30°～30°間.

擾動的預(yù)測情況如圖8所示.在該環(huán)境下擾動的變化曲線并不平滑且無規(guī)律,更多呈現(xiàn)出的鋸齒波和脈沖波形狀.但高斯的預(yù)測基本符合實際情況,航向角誤差和縱向誤差預(yù)測基本與真值重合,側(cè)向誤差的預(yù)測均較為準(zhǔn)確.

圖8 Webots中橢圓軌跡下擾動?和?e的預(yù)測結(jié)果Fig.8 Prediction of disturbance ? and ?e in an elliptic trajectory in Webots

表1展示了4種方法的性能指標(biāo)對比,其中GP-RHRL方法獲取了最低的性能指標(biāo)Jx,表明所提方法相比其他對比方法能有效降低跟蹤誤差,而在性能指標(biāo)Ju上GP-RHRL所取得的數(shù)值是最大的,表明在復(fù)雜地形條件下機(jī)器人受到外界影響后,所需的控制器介入量更大,才能有效對跟蹤性能進(jìn)行改善.在側(cè)向誤差的均方根指標(biāo)上,GP-RHRL相較RHRL性能提升19.9%,較NMPC提升35.7%,較GP-NMPC提升25.0%.

表1 Webots中橢圓軌跡性能指標(biāo)對比Table 1 Comparison of performance indexes of elliptic trajectory in Webots

圖9進(jìn)一步展示了側(cè)向誤差ye和航向誤差θe的變化情況,可以明顯看出,GP-RHRL在側(cè)向誤差上優(yōu)于其他3種方法,GP-NMPC方法在側(cè)向誤差快速增大時,對其的修正過程更加遲緩,此外NMPC方法的航向誤差也常常大于RHRL,說明RHRL對不確定性的適應(yīng)能力更強(qiáng).后而在航向角誤差上,雖然4種方法的區(qū)別不明顯,仍然可以從時間步600至800這段曲線中看出GP-RHRL對于航向角誤差的改善效果更好.

圖9 Webots中橢圓軌跡跟蹤側(cè)向誤差ye和航向誤差θe示意圖Fig.9 Diagram of lateral error ye and heading error θe for elliptic trajectory tracking in Webots

4.3 8字形軌跡

8字形軌跡的的期望速率如圖10所示.NMPC,GPNMPC,RHRL和GP-RHRL的控制參數(shù)相同,控制時域長度為N=6,Q=diag{10,600,30},R=1,P=Q,采樣間隔?=0.05 s.數(shù)據(jù)集DP中的樣本更新規(guī)則與上一小節(jié)相同.

圖10 8字形參考軌跡和期望速度示意圖Fig.10 Diagram of reference trajectory and expectedtrajectory speed in an eight-shaped

在該軌跡中Pioneer的俯仰角和翻滾角的變化如圖11所示.機(jī)器人從標(biāo)識①出發(fā),先以逆時針方向行進(jìn),到達(dá)標(biāo)識④處后以順時針方向行進(jìn).標(biāo)識①至⑤處的俯仰角和翻滾角由黑色實線指出.整段8字形軌跡中,俯仰角在-30°～30°間,翻滾角在-32°～35°間,機(jī)器人的姿態(tài)變化相較橢圓軌跡更加復(fù)雜.

圖11 Webots中8字形軌跡下俯仰角和翻滾角的變化曲線圖Fig.11 Variation curve of roll angle and pitch angle in an eight-shaped trajectory in Webots

擾動預(yù)測情況如圖12所示.側(cè)向誤差中,在時間步1600至2000間未能將部分脈沖狀噪聲有效預(yù)測,同時航向角誤差和縱向誤差預(yù)測則更加準(zhǔn)確.表2展示了4種方法的性能指標(biāo)對比,GP-RHRL方法在關(guān)鍵指標(biāo)Jx上相比其他3個方法最小,可以看出在降低跟蹤誤差上GP-RHRL也最有效.在表4中的側(cè)向誤差在側(cè)向誤差的均方根指標(biāo)中,GP-RHRL相較RHRL性能提升12.6%,較NMPC 提升28.0%,較GP-NMPC 提升20.5%.

表2 Webots中8字形軌跡性能指標(biāo)對比Table 2 Comparison of performance indexes of eight-shaped trajectory in Webots

圖13展示了軌跡跟蹤的側(cè)向誤差ye和航向誤差θe.可以看出GP-RHRL 方法在側(cè)向誤差上的性能表現(xiàn)均優(yōu)于其他3種方法.比較特殊的情況出現(xiàn)在時間步1600至2000,此時Pioneer機(jī)器人移動至圖10中(5,5)位置附近,采用高斯建模預(yù)測不確定的方法(GPRHRL和GP-NMPC)較未改進(jìn)方法(RHRL和NMPC)反而出現(xiàn)更大的側(cè)向誤差.在該時間段中,狀態(tài)中的擾動ye呈現(xiàn)較急劇的波動,從而對擾動的預(yù)測準(zhǔn)確度降低,所以造成了側(cè)向誤差變大的情況.在非常極端的環(huán)境下,如果高斯建模不準(zhǔn)確,也可能會對機(jī)器人的運(yùn)動造成負(fù)面影響.

圖13 Webots中8字形軌跡跟蹤側(cè)向誤差ye和航向誤差θe示意圖Fig.13 Diagram of lateral error ye and heading error θe for eight-shaped trajectory tracking in Webots

由此可知,在未對該地形進(jìn)行數(shù)據(jù)采集時,僅憑機(jī)器人運(yùn)動中實時采集的少量數(shù)據(jù)難以對變化劇烈的擾動進(jìn)行準(zhǔn)確預(yù)測.所以本文所提方法在運(yùn)用少量實時數(shù)據(jù)的情況下,無法解決強(qiáng)不確定性帶來的性能退化問題.針對這個問題,在后續(xù)研究中也將考慮機(jī)器人在相同或類似環(huán)境下進(jìn)行重復(fù)運(yùn)動時,進(jìn)行多輪數(shù)據(jù)采集,學(xué)習(xí)該類環(huán)境的特征和參數(shù),并將之用于高斯過程建模中,從而使得高斯過程預(yù)測更加準(zhǔn)確,提升算法性能.

仿真驗證中所使用的處理器為英特爾酷睿i7-11700K@3.60 GHz,操作系統(tǒng)為Windows 11,顯卡為英偉達(dá)3060Ti,算法通過MATLAB 2020a 進(jìn)行計算,虛擬環(huán)境和物理引擎由Webots 2021b提供.在求解時間上,NMPC 方法的單步平均求解時間為24.6 ms,RHRL方法的單步平均求解時間為4.9 ms,GPNMPC單步平均求解時間為460.2 ms,GP-RHRL單步平均求解時間為42.9 ms,小于50 ms的采樣間隔,滿足實時性要求.可以看出相比MPC,采用強(qiáng)化學(xué)習(xí)進(jìn)行迭代求解可以節(jié)省大量計算時間.同時GP-NMPC所需的求解時間遠(yuǎn)高于GP-RHRL,是因為NMPC采用的模型不斷變化,使得優(yōu)化過程非常耗時.

5 結(jié)論

本文提出了基于高斯過程回歸建模的學(xué)習(xí)預(yù)測控制方法,首先,利用實時采集的狀態(tài)擾動樣本,通過高斯過程回歸建模方法對環(huán)境和模型的不確定性進(jìn)行建模.其次,根據(jù)狀態(tài)和誤差狀態(tài)的關(guān)系推導(dǎo)得出誤差狀態(tài)模型.而后,在滾動時域強(qiáng)化學(xué)習(xí)中采用該模型進(jìn)行迭代優(yōu)化,以學(xué)習(xí)得到考慮環(huán)境和模型不確定性的近似最優(yōu)策略,從而改善控制器性能.最后,以橢圓軌跡和8字形軌跡的側(cè)向跟蹤為例驗證了該方法的有效性.在后續(xù)的工作中,可進(jìn)一步在建模中充分利用先驗信息,提高建模準(zhǔn)確性和控制性能,并在實際平臺開展控制方法驗證.