基于RBF網(wǎng)絡(luò)Q學(xué)習(xí)的AUV路徑跟蹤控制方法

李澤宇, 劉衛(wèi)東, 李樂, 張文博, 郭利偉

(西北工業(yè)大學(xué) 航海學(xué)院, 陜西 西安 710072)

水下回收技術(shù)極大地提高了AUV續(xù)航能力，路徑精確跟蹤是實(shí)現(xiàn)水下回收的關(guān)鍵[1]。欠驅(qū)動(dòng)AUV通過速度和姿態(tài)角耦合控制調(diào)整自身航行位置，從而實(shí)現(xiàn)路徑跟蹤控制。在回收的不同階段，AUV的實(shí)際航行速度會(huì)產(chǎn)生較大變化，為路徑精確跟蹤帶來困難[2-3]。

許多傳統(tǒng)控制算法都曾被應(yīng)用到AUV路徑跟蹤控制問題當(dāng)中，Min等[4]設(shè)計(jì)了AUV路徑點(diǎn)跟蹤PD控制器，魯棒性較差；張磊[5]采用遺傳算法對(duì)模糊跟蹤控制器進(jìn)行了優(yōu)化，算法性能對(duì)專家知識(shí)依賴較大；王宏健等[6]采用二階濾波避免了反步法解析求導(dǎo)的復(fù)雜過程，能夠?qū)崿F(xiàn)AUV路徑的精確跟蹤，但系統(tǒng)魯棒性較弱；王金強(qiáng)等[7-8]針對(duì)一種新型飛翼式AUV的位置跟蹤問題，采用自適應(yīng)神經(jīng)網(wǎng)絡(luò)對(duì)滑?？刂破鬟M(jìn)行優(yōu)化補(bǔ)償，但未考慮AUV航速變化對(duì)路徑跟蹤控制的影響，且一組控制參數(shù)難以滿足不同航行工況的控制需求。近年來隨著相關(guān)技術(shù)進(jìn)步，模型預(yù)測(cè)和強(qiáng)化學(xué)習(xí)等基于數(shù)據(jù)的算法同樣被應(yīng)用到AUV的跟蹤控制當(dāng)中。Shen等[9]采用滾動(dòng)優(yōu)化方法對(duì)AUV進(jìn)行了路徑優(yōu)化與跟蹤控制一體化設(shè)計(jì)；Sun等[10]采用深度強(qiáng)化學(xué)習(xí)方法設(shè)計(jì)了AUV三維路徑跟蹤控制器；Shi等[11]采用多逆?zhèn)蜵學(xué)習(xí)算法設(shè)計(jì)了軌跡跟蹤控制算法；姚緒梁等[12]采用模型預(yù)測(cè)控制與滑?？刂品椒▽?duì)AUV直線路徑進(jìn)行了仿真跟蹤。這些方法對(duì)AUV模型準(zhǔn)確性依賴較低，對(duì)外干擾也具有良好的魯棒性，但算法結(jié)構(gòu)復(fù)雜，經(jīng)大量運(yùn)算才能得到最優(yōu)控制律，難以直接應(yīng)用到工程實(shí)踐。若將傳統(tǒng)算法與學(xué)習(xí)網(wǎng)絡(luò)相結(jié)合，對(duì)多種航行工況進(jìn)行離線訓(xùn)練，將訓(xùn)練后的學(xué)習(xí)參數(shù)應(yīng)用于在線控制，可降低AUV實(shí)時(shí)優(yōu)化的運(yùn)算量，加快實(shí)時(shí)運(yùn)動(dòng)控制收斂速度，提高AUV在不同航速及外擾動(dòng)下的路徑跟蹤性能。

1 跟蹤導(dǎo)引律及姿態(tài)控制器設(shè)計(jì)

欠驅(qū)動(dòng)AUV具有左右對(duì)稱性,AUV與水下回收裝置處在同一深度上,有利于AUV回收對(duì)接。AUV水平面路徑跟蹤控制原理如圖1所示,已知一條AUV全局回收路徑曲線S[3],離散化路徑點(diǎn)序列為P(p1,p2,…,pn),其中pi(ξi,ζ0,ηi),i=1,2,…,n,路徑點(diǎn)深度ζ0保持不變。AUV路徑跟蹤控制轉(zhuǎn)化以下2個(gè)子問題組合控制:即調(diào)整目標(biāo)路徑航向ψcmd的導(dǎo)引控制,以及對(duì)ψcmd的航向角跟蹤控制。

圖1 欠驅(qū)動(dòng)AUV水平面路徑跟蹤控制原理圖

為實(shí)現(xiàn)水平面路徑跟蹤,AUV需要保持在指令深度ζ0處航行,控制原理如圖2所示。

圖2 AUV深度控制原理圖

1.1 AUV路徑跟蹤導(dǎo)引律

圖3 AUV路徑跟蹤示意圖

εe=

(1)

ψcmd=

(2)

1.2 AUV航向滑模控制律

AUV航向?qū)б?2)給出了AUV跟蹤期望路徑所需要的指令航向角度,而對(duì)指令航向角的精確穩(wěn)定跟蹤是實(shí)現(xiàn)AUV全局路徑跟蹤的關(guān)鍵。AUV水平面偏航運(yùn)動(dòng)方程如(3)式所示：

(3)

定義滑模面函數(shù)如(4)式,其中cψ>0,ψe=ψd-ψ,ψd表示航向控制指令,與(2)式中ψcmd數(shù)值大小相同。取航向跟蹤控制律如(5)式所示,則AUV航向跟蹤誤差ψe在有限時(shí)間內(nèi)漸進(jìn)收斂。

(4)

(5)

(6)

恒成立,因此,根據(jù)Barbalat引理,對(duì)于運(yùn)動(dòng)方程(3)式、滑模切換面(4)式以及控制律(5)式組成的閉環(huán)系統(tǒng),系統(tǒng)具有漸進(jìn)穩(wěn)定性,誤差在有限時(shí)間內(nèi)收斂。

1.3 AUV俯仰跟蹤控制律

(7)

式中

AUV回收路徑指令深度為ζ0,深度誤差ζe=ζ0-ζ,選取理想深度動(dòng)態(tài)偏差特性為

(8)

(9)

(10)

記俯仰角誤差θe=θd-θ,滑模面如(11)式所示,取俯仰跟蹤控制律如(12)式所示,則俯仰角誤差θe在有限時(shí)間內(nèi)收斂。

(11)

δe=

(12)

(13)

與航向角控制同理,AUV艉部舵面無法直接實(shí)現(xiàn)深度控制,只有通過圖2中的雙回路,在實(shí)現(xiàn)俯仰角指令θd的跟蹤前提下,實(shí)現(xiàn)深度控制,因而θd也被認(rèn)為是常值。根據(jù)Barbalat引理,對(duì)于運(yùn)動(dòng)方程式(7)、滑模切換面式(11)以及控制律式(12)組成的閉環(huán)系統(tǒng),系統(tǒng)具有漸進(jìn)穩(wěn)定性,誤差在有限時(shí)間內(nèi)收斂。

2 RBF網(wǎng)絡(luò)Q學(xué)習(xí)參數(shù)優(yōu)化

由航向及俯仰運(yùn)動(dòng)方程(3)式和(7)式可知,當(dāng)航速保持恒定時(shí),AUV運(yùn)動(dòng)狀態(tài)的響應(yīng)特性主要與舵角δr和δe變化有關(guān),舵角控制律(5)式和(12)式中,除AUV自身狀態(tài)變量ψ,wy,θ,wz等外,滑?？刂茀?shù)c(·),k(·),τ(·)的取值直接影響舵角變化過程,參數(shù)的選取決定了系統(tǒng)控制特性。

在AUV回收對(duì)接中,受轉(zhuǎn)速指令、轉(zhuǎn)向、浮潛運(yùn)動(dòng)以及時(shí)變擾流等影響,AUV航速難以保持穩(wěn)定狀態(tài),傳統(tǒng)方法中同一組滑?？刂茀?shù)不利于保證AUV全局路徑跟蹤控制性能。本節(jié)采用學(xué)習(xí)算法,根據(jù)AUV航行狀態(tài)反饋,實(shí)時(shí)優(yōu)化滑?？刂茀?shù),提高系統(tǒng)性能。

2.1 Q學(xué)習(xí)算法參數(shù)定義

(14)

Qt+1(s,a)=

(15)

(16)

(17)

2.2 姿態(tài)控制參數(shù)優(yōu)化過程

圖4 RBF-Q學(xué)習(xí)參數(shù)優(yōu)化控制原理圖

3 仿真驗(yàn)證

建立數(shù)值仿真環(huán)境,依次進(jìn)行AUV不同航速下的定深、定向控制仿真,以及全局路徑跟蹤控制仿真,將RBF-Q學(xué)習(xí)參數(shù)優(yōu)化控制方法與傳統(tǒng)滑?？刂?SMC)方法進(jìn)行對(duì)比,分析算法特點(diǎn)。

仿真中采用了某AUV空間六自由度非線性模型,舵角δr和δe限幅均為±15°,AUV航速區(qū)間為3.5～11 kn,外部擾動(dòng)主要體現(xiàn)在AUV速度分量vx,vy,vz上的噪聲擾動(dòng)。算法主要參數(shù)取值如下:學(xué)習(xí)率α=0.5,折扣系數(shù)γ=0.9,航向及俯仰控制參數(shù)c(·),k(·)和τ(·)的取值個(gè)數(shù)為10,綜合考慮超調(diào)量、穩(wěn)態(tài)誤差及響應(yīng)速度,AUV航速為8 kn時(shí),滑模控制律(5)式和(12)式中的最優(yōu)參數(shù)取值如表1所示,其中Δ表示取值間隔。RBF-Q學(xué)習(xí)算法需要對(duì)AUV不同航速、航向角度指令和俯仰角度指令進(jìn)行離線學(xué)習(xí)訓(xùn)練,表2給出了RBF-Q學(xué)習(xí)網(wǎng)絡(luò)訓(xùn)練的取值范圍,為避免過擬合,AUV航速增加了一定幅值的隨機(jī)噪聲。

表1 AUV航向及俯仰控制參數(shù)取值

表2 RBF-Q學(xué)習(xí)離線訓(xùn)練樣本取值

3.1 AUV多航速定深、定向控制

在回收過程中,AUV存在不同航速下的定深、定向航行狀態(tài),選取工況為:航向角ψ由0°定向30°,深度ζ由175 m定深160 m,無外擾動(dòng)條件下,選取AUV航速vx為8 kn和6 kn進(jìn)行對(duì)比,結(jié)果如圖5和圖6所示;在6 kn航速下考慮時(shí)變擾動(dòng),航向及深度指令不變,仿真結(jié)果如圖7所示。

從圖5可以看到,2種算法下AUV定向、定深響應(yīng)曲線近似重合,航向角ψ、俯仰角θ及深度ζ響應(yīng)均具有較小的超調(diào)量和穩(wěn)態(tài)誤差,表明在8 kn航速下,RBF-Q學(xué)習(xí)算法對(duì)滑?？刂破鞯母纳菩Ч苄　５?dāng)AUV航速變化為6 kn時(shí),AUV艉部舵效下降,傳統(tǒng)滑?？刂破鞯纳疃软憫?yīng)曲線出現(xiàn)超調(diào)量約16.7%,如圖6所示,RBF-Q學(xué)習(xí)算法將深度響應(yīng)的超調(diào)量降低至6.6%,在航向角響應(yīng)中,RBF-Q學(xué)習(xí)算法比傳統(tǒng)滑模算法響應(yīng)時(shí)間縮短了10 s,控制效果改善顯著。隨著外部擾動(dòng)的增加,如圖7所示,RBF-Q學(xué)習(xí)控制器在穩(wěn)態(tài)精度、響應(yīng)速度和超調(diào)量方面,均比傳統(tǒng)滑模算法具有更好的表現(xiàn),二者在航向穩(wěn)態(tài)誤差相差了約5.5°,深度誤差相差了約2 m,但這些控制效果的改善存在一定的代價(jià),即RBF-Q學(xué)習(xí)算法根據(jù)AUV航速、跟蹤誤差及其變化率持續(xù)優(yōu)化滑?？刂破鲄?shù)。在8 kn無擾動(dòng)條件下,控制參數(shù)基本無變化,初始參數(shù)即在最優(yōu)解附近。當(dāng)航速減小為6 kn,算法對(duì)控制器進(jìn)行了短暫優(yōu)化,之后隨著誤差收斂?jī)?yōu)化過程結(jié)束,達(dá)到穩(wěn)定,而擾動(dòng)的增加,使RBF-Q學(xué)習(xí)網(wǎng)絡(luò)持續(xù)對(duì)參數(shù)進(jìn)行優(yōu)化,以降低擾動(dòng)影響。

圖5 無擾動(dòng)8 kn航速下AUV定向定深控制響應(yīng) 圖6 無擾動(dòng)6 kn航速下AUV定向定深控制響應(yīng)

圖7 時(shí)變擾流,6 kn航速下AUV定向定深控制響應(yīng)

3.2 AUV全局路徑跟蹤控制仿真

為分析2種算法在AUV路徑跟蹤控制中的性能,本節(jié)對(duì)先前研究成果[3]中的路徑進(jìn)行跟蹤仿真,該路徑為水平面內(nèi)的避障回收路徑,離散路徑點(diǎn)個(gè)數(shù)為100,航行深度設(shè)定為ζ0=120 m,根據(jù)本文(1)式和(2)式進(jìn)行跟蹤導(dǎo)引,依次采用傳統(tǒng)滑模控制方法和RBF-Q學(xué)習(xí)參數(shù)優(yōu)化控制方法對(duì)路徑進(jìn)行跟蹤仿真,結(jié)果如圖8和圖9所示。

圖8給出了AUV在E-ξη平面內(nèi)的航行軌跡,AUV的起點(diǎn)與規(guī)劃路徑起點(diǎn)不重合,回收路徑上存在多個(gè)障礙物,外部擾動(dòng)為時(shí)變海流。在路徑的起始階段,傳統(tǒng)滑?？刂扑惴ㄏ碌腁UV軌跡更加接近期望軌跡,隨著學(xué)習(xí)網(wǎng)絡(luò)的持續(xù)優(yōu)化,在路徑中后段,RBF-Q學(xué)習(xí)算法控制下的AUV軌跡與期望軌跡基本重合,而傳統(tǒng)滑?？刂扑惴ㄏ碌腁UV軌跡始終與期望軌跡存在偏差。圖9給出了AUV跟蹤過程中航向角和深度響應(yīng)曲線。為避開水中障礙并到達(dá)路徑終點(diǎn),AUV進(jìn)行了多次轉(zhuǎn)向運(yùn)動(dòng),RBF-Q學(xué)習(xí)算法對(duì)時(shí)變航向指令具有準(zhǔn)、更快的響應(yīng)效果,而且在深度保持控制中,RBF-Q學(xué)習(xí)算法的振蕩幅值更小,穩(wěn)態(tài)控制精度更高。

圖9 AUV路徑跟蹤航向及深度控制響應(yīng)

4 結(jié) 論

AUV水下回收對(duì)接過程中,航行速度受推進(jìn)器轉(zhuǎn)速、姿態(tài)變化以及時(shí)變擾流等因素影響難以保持穩(wěn)定,使艉部舵面的操縱性能發(fā)生改變,導(dǎo)致同一組控制參數(shù)無法滿足復(fù)雜環(huán)境下的姿態(tài)控制和路徑跟蹤控制性能要求。針對(duì)上述問題,本文采用RBF網(wǎng)絡(luò)Q學(xué)習(xí)算法對(duì)傳統(tǒng)滑模控制參數(shù)進(jìn)行優(yōu)化,根據(jù)AUV當(dāng)前航速、指令誤差及其變化律選擇相應(yīng)的控制參數(shù),經(jīng)過大量離線訓(xùn)練獲取學(xué)習(xí)網(wǎng)絡(luò)權(quán)重參數(shù),將其應(yīng)用到在線控制當(dāng)中,仿真結(jié)果表明RBF-Q學(xué)習(xí)算法能夠有效改善AUV姿態(tài)控制和路徑跟蹤控制的性能,在相同條件下,RBF-Q學(xué)算法比傳統(tǒng)滑模算法具有更小的超調(diào)量和穩(wěn)態(tài)誤差,響應(yīng)速度更快。在后續(xù)研究中,針對(duì)舵角控制輸入中出現(xiàn)的非線性抖動(dòng)問題作進(jìn)一步優(yōu)化,逐步進(jìn)行AUV路徑跟蹤控制的實(shí)航試驗(yàn)研究。