深度學(xué)習(xí)方法 十二分鐘教會(huì)飛行器全天候飛行

“Neural-Fly較有意思的應(yīng)用是飛行汽車或城市空中交通。隨著空中交通密度的增大，人類必將需要更精準(zhǔn)、更智能、更安全、適應(yīng)性更強(qiáng)的決策方法?，F(xiàn)在我們正把Neural-Fly應(yīng)用在四旋翼以外的無(wú)人機(jī)系統(tǒng)上，尤其是能夠垂直起降的電動(dòng)無(wú)人機(jī)。其他應(yīng)用場(chǎng)景包括無(wú)人機(jī)運(yùn)貨、飛行救護(hù)車等?！奔磳⒂?023年入職卡內(nèi)基梅隆大學(xué)機(jī)器人研究所擔(dān)任助理教授的石冠亞表示。

石冠亞在調(diào)試位于加州理工學(xué)院CAST實(shí)驗(yàn)室的風(fēng)墻

近日，他研發(fā)出一個(gè)名為Neural-Fly的基于深度學(xué)習(xí)的機(jī)器人控制方法。Neural-Fly的方法論和理論部分，并不局限于飛行機(jī)器人，而是適用于所有可以由歐拉-拉格朗日方程描述的機(jī)器人系統(tǒng)。目前，該團(tuán)隊(duì)正考慮將方法擴(kuò)展到足式機(jī)器人上，并取得了一定進(jìn)展。

相關(guān)論文以《Neural-Fly能夠在強(qiáng)風(fēng)中快速學(xué)習(xí)敏捷飛行》為題發(fā)表。石冠亞擔(dān)任共同第一作者（首字母順序），加州理工學(xué)院工程與應(yīng)用科學(xué)系教授Soon-Jo Chung擔(dān)任通訊作者。

相關(guān)論文

01 立項(xiàng)動(dòng)機(jī)和研發(fā)過(guò)程

這項(xiàng)研究開(kāi)始于2019年末，最初立項(xiàng)是因?yàn)殡m然該團(tuán)隊(duì)之前的工作“Neural-Lander”很好解決了單一環(huán)境下學(xué)習(xí)空氣動(dòng)力學(xué)的問(wèn)題，但是它并不能在動(dòng)態(tài)環(huán)境中進(jìn)行在線自適應(yīng)。

另一個(gè)立項(xiàng)動(dòng)機(jī)是，2017年開(kāi)始加州理工學(xué)院建立了機(jī)器人與自動(dòng)化中心。令石冠亞非常激動(dòng)的是，該中心引入了可以即時(shí)控制風(fēng)況的風(fēng)墻。不同于傳統(tǒng)風(fēng)洞，研究人員能在這個(gè)風(fēng)墻前面飛行無(wú)人機(jī)，而傳統(tǒng)風(fēng)洞通常需要把飛行器固定住。

因此，他很自然地產(chǎn)生了如下想法：為什么不能從多個(gè)風(fēng)況中收集數(shù)據(jù)，用深度學(xué)習(xí)的工具從這些數(shù)據(jù)中“學(xué)習(xí)規(guī)律”，然后做在線自適應(yīng)控制呢？

風(fēng)墻

很快，他們將想法付諸行動(dòng)。項(xiàng)目第一步便是收集數(shù)據(jù)，最后收集了6組不同風(fēng)況下、累計(jì)12分鐘的飛行數(shù)據(jù)。

數(shù)據(jù)收集

收集數(shù)據(jù)后，課題組開(kāi)發(fā)出一種元學(xué)習(xí)算法DAIML，來(lái)學(xué)習(xí)一組能代表所有風(fēng)況的基函數(shù)，這組基函數(shù)由一個(gè)深度神經(jīng)網(wǎng)絡(luò)表征。本質(zhì)上，DAIML近似地解決了一個(gè)帶有對(duì)抗性判別器的雙層優(yōu)化問(wèn)題。

得到這組基函數(shù)后，他們又開(kāi)發(fā)出與之匹配的非線性自適應(yīng)控制算法，來(lái)進(jìn)行在線權(quán)重更新。具體來(lái)講，所開(kāi)發(fā)的自適應(yīng)控制算法基于復(fù)合自適應(yīng)控制，并引入了譜歸一化和L2正則化來(lái)保證指數(shù)穩(wěn)定性和魯棒性。

算法開(kāi)發(fā)完畢后，下一步便是測(cè)試。課題組首先在風(fēng)墻中測(cè)試了Neural-Fly的控制精度，并與其他一些自適應(yīng)控制算法進(jìn)行了橫向?qū)Ρ取Ｖ档米⒁獾氖?，他們測(cè)試的最高風(fēng)速為1 2米/秒，而數(shù)據(jù)收集過(guò)程只包括了0米/秒～6米/秒的風(fēng)速。也就是說(shuō)，其開(kāi)發(fā)的DAIML算法所學(xué)到的基函數(shù)，有著很強(qiáng)的泛化能力。

同時(shí)，他們還測(cè)試了Neural-Fly在戶外飛行的表現(xiàn)。結(jié)果發(fā)現(xiàn)，即便沒(méi)有室內(nèi)定位系統(tǒng)，Neural-Fly在室外的表現(xiàn)也非常優(yōu)異和魯棒。

完成算法開(kāi)發(fā)和實(shí)驗(yàn)后，接下來(lái)就是一些有意思的“秀肌肉”的場(chǎng)景。比如，無(wú)人機(jī)在風(fēng)中精準(zhǔn)穿越障礙物等演示。

當(dāng)然，研究過(guò)程也絕非一帆風(fēng)順。從立項(xiàng)到論文發(fā)表，課題組先后損壞了兩架無(wú)人機(jī)和27個(gè)旋翼。這再一次說(shuō)明，如果想在無(wú)人機(jī)等對(duì)安全性要求極高的系統(tǒng)中應(yīng)用基于深度學(xué)習(xí)的方法，必須慎之又慎。

另一個(gè)比較有意思的事發(fā)生在該團(tuán)隊(duì)接受一家外媒采訪時(shí)。采訪當(dāng)天，他們買了一把印有Caltech logo的雨傘，結(jié)果發(fā)現(xiàn)測(cè)試的風(fēng)速能夠輕易吹壞雨傘，而無(wú)人機(jī)可以穩(wěn)定保持位置和姿態(tài)，誤差僅在1厘米左右。

損壞的旋翼圖片

02 技術(shù)內(nèi)核：在變化的強(qiáng)風(fēng)中保持穩(wěn)定和精準(zhǔn)飛行

就相關(guān)技術(shù)內(nèi)核來(lái)說(shuō)，該團(tuán)隊(duì)感興趣的問(wèn)題是，機(jī)器人如何在一個(gè)未知且動(dòng)態(tài)的環(huán)境中，可以快速、可靠地在線自適應(yīng)學(xué)習(xí)。比如，其希望一個(gè)足式機(jī)器人能夠適應(yīng)復(fù)雜的地表環(huán)境，從而在不同地面上都能健步如飛；以及希望一個(gè)無(wú)人機(jī)能夠在線適應(yīng)復(fù)雜的空氣動(dòng)力學(xué)，從而在變化的強(qiáng)風(fēng)中保持穩(wěn)定和精準(zhǔn)飛行。

這個(gè)問(wèn)題的挑戰(zhàn)性來(lái)自于3個(gè)方面：

（1）復(fù)雜的動(dòng)態(tài)環(huán)境決定了機(jī)器人的動(dòng)力學(xué)方程，是高度非線性并且時(shí)變的，這就要求機(jī)器人的控制算法能夠進(jìn)行快速在線自適應(yīng)。

（2）對(duì)于無(wú)人機(jī)等機(jī)器人系統(tǒng)，可靠性非常重要，該團(tuán)隊(duì)需要保證控制算法在理論上是魯棒的、穩(wěn)定的、安全的。

（3）機(jī)器人可在線調(diào)動(dòng)的計(jì)算資源是有限的，比如此次項(xiàng)目?jī)H僅使用了樹(shù)莓派，因此課題組需要設(shè)計(jì)高效且可行的控制算法。

鑒于深度神經(jīng)網(wǎng)絡(luò)對(duì)于復(fù)雜模型的強(qiáng)大學(xué)習(xí)能力，基于深度學(xué)習(xí)的控制算法在很多問(wèn)題上都取得了進(jìn)展。然而，純粹基于深度學(xué)習(xí)的方法并不滿足上述要求。

一方面來(lái)講，即便遷移學(xué)習(xí)、元學(xué)習(xí)、表征學(xué)習(xí)等方法，能對(duì)學(xué)到的模型進(jìn)行一定程度上的微調(diào)和自適應(yīng)。但通常來(lái)講，研究人員不可能只利用機(jī)載資源對(duì)一個(gè)多層神經(jīng)網(wǎng)絡(luò)模型進(jìn)行高頻微調(diào)。

比如，在此次項(xiàng)目中，課題組需要比50赫茲更快的模型更新頻率，來(lái)應(yīng)對(duì)快速變化的空氣動(dòng)力學(xué)，這個(gè)頻率遠(yuǎn)遠(yuǎn)超過(guò)神經(jīng)網(wǎng)絡(luò)的在線更新速度上限。另一方面，由于模型的黑箱屬性，基于深度學(xué)習(xí)的控制算法通常很難保證閉環(huán)系統(tǒng)的安全性、魯棒性和穩(wěn)定性。

在控制理論中，自適應(yīng)控制關(guān)注的問(wèn)題，在于如何設(shè)計(jì)控制器來(lái)適應(yīng)未知的動(dòng)力學(xué)模型。其中，最有代表性的框架，被稱為模型參考自適應(yīng)控制。

不同于基于深度學(xué)習(xí)的方法，模型參考自適應(yīng)控制首先對(duì)動(dòng)力系統(tǒng)進(jìn)行建模，模型中有一些參數(shù)是未知的比如無(wú)人機(jī)的負(fù)載重量。然后，模型參考自適應(yīng)控制會(huì)基于這些未知參數(shù)，設(shè)計(jì)一個(gè)控制法則和一個(gè)自適應(yīng)法則來(lái)更新未知參數(shù)，從而實(shí)現(xiàn)閉環(huán)系統(tǒng)的收斂性和李雅普諾夫穩(wěn)定性。

但是，傳統(tǒng)自適應(yīng)控制只能解決參數(shù)化不確定性問(wèn)題，也就是說(shuō)它必須知道動(dòng)力學(xué)模型不確定性的“結(jié)構(gòu)”或者“形式”。另外，傳統(tǒng)自適應(yīng)控制很難從離線數(shù)據(jù)中學(xué)習(xí)規(guī)律來(lái)優(yōu)化在線自適應(yīng)過(guò)程。

而Neural-Fly融合了模型參考自適應(yīng)控制的哲學(xué)和現(xiàn)代深度學(xué)習(xí)的方法論。具體來(lái)講，該團(tuán)隊(duì)提出了一種新的自適應(yīng)控制框架：元自適應(yīng)控制。

其核心思想如下。首先，該團(tuán)隊(duì)收集多個(gè)不同風(fēng)況下的飛行數(shù)據(jù)。之后，他們開(kāi)發(fā)了一種元學(xué)習(xí)算法（DAIML）去優(yōu)化一組能代表所有風(fēng)況的基函數(shù)，這組基函數(shù)由一個(gè)深度神經(jīng)網(wǎng)絡(luò)表征。

再后，其又開(kāi)發(fā)了與之匹配的非線性自適應(yīng)控制算法，來(lái)進(jìn)行在線權(quán)重更新。換言之，處于離線階段的Neural-Fly，學(xué)習(xí)了能表示不同風(fēng)況下空氣動(dòng)力學(xué)的一組基函數(shù)，然后在在線階段通過(guò)模型參考自適應(yīng)控制的框架重新組合這組基函數(shù)。

值得注意的有兩點(diǎn)：其一，該團(tuán)隊(duì)并未學(xué)習(xí)全部的動(dòng)力學(xué)模型，而是專注于去掉相對(duì)簡(jiǎn)單的剛體動(dòng)力學(xué)之后的殘差空氣動(dòng)力學(xué)。這種基于模型的殘差學(xué)習(xí)的主要優(yōu)點(diǎn)是，它極大提高了數(shù)據(jù)利用效率，并能提供自適應(yīng)控制器的基本結(jié)構(gòu)。其二，受益于模型參考自適應(yīng)控制的框架，該團(tuán)隊(duì)的方法有嚴(yán)格的李雅普諾夫穩(wěn)定性和魯棒性保證。

這樣的研究也得到了審稿人的好評(píng)，他們一致認(rèn)為該團(tuán)隊(duì)的工作提出了一套新穎的、基于深度學(xué)習(xí)的自適應(yīng)控制框架。

其主要優(yōu)勢(shì)有：一方面數(shù)據(jù)效率和計(jì)算效率很高，只需12分鐘數(shù)據(jù)，且可以在機(jī)載微型計(jì)算機(jī)上運(yùn)行；另一方面還有安全可靠的理論保障；最后，該研究的控制效果遠(yuǎn)好于一眾基線方法。