智能水下機器人路徑規(guī)劃研究現(xiàn)狀與展望

孫玉山， 冉祥瑞， 張國成， 王力鋒， 王建

(1.哈爾濱工程大學 水下機器人技術重點實驗室，黑龍江 哈爾濱 150001；2.中國船舶及海洋工程設計研究院，上海 200011)

智能水下機器人(autonomous underwater vehicles，AUV)是集成人工智能、目標探測與識別、數(shù)據(jù)融合、智能控制以及導航通信等多系統(tǒng)的水下無人平臺，在海洋開發(fā)、水下作業(yè)、深海探測、援潛救生等領域有廣泛的應用前景[1-3]。 路徑規(guī)劃技術是智能水下機器人的關鍵技術之一，是指為了到達某個目標或完成某個任務，對所規(guī)劃設備的航行方向、航行路線等進行預先計算、設定、優(yōu)化的過程。路徑規(guī)劃技術在一定程度上標志著水下機器人智能化程度的高低[4-5]。AUV的路徑規(guī)劃過程分為5個步驟：環(huán)境信息采集、水下環(huán)境建模、全局路徑規(guī)劃、水下態(tài)勢感知以及局部路徑規(guī)劃。利用已有的海圖和采集到的環(huán)境信息建立水下環(huán)境模型；利用路徑規(guī)劃方法基于環(huán)境模型在經(jīng)濟性、安全性、隱蔽性等多約束條件下搜尋最優(yōu)路徑；規(guī)劃系統(tǒng)基于最優(yōu)路徑結算目標指令發(fā)送至控制系統(tǒng)，控制AUV跟隨最優(yōu)路徑航行；在航行過程中，AUV利用其所搭載的傳感器探測水下環(huán)境及威脅；利用局部路徑規(guī)劃方法實現(xiàn)AUV對突發(fā)態(tài)勢進行躲避。

本文對AUV的規(guī)劃方法進行了分類，介紹了各個方法的優(yōu)缺點；當前AUV路徑規(guī)劃所面臨的問題；AUV路徑規(guī)劃的研究現(xiàn)狀及應用情況并總結了AUV路徑規(guī)劃的研究重點和發(fā)展方向。

1 路徑規(guī)劃方法分類

路徑規(guī)劃在AUV技術領域的獲得了廣泛的研究，規(guī)劃方法也種類繁多，可以將這些方法分成3類：幾何模型搜索、虛擬勢場以及人工智能。

1.1 基于幾何模型搜索方法

將幾何模型搜索方法需要建立環(huán)境模型，然后按照策略搜索路徑。建模方法包括：可視圖、Voronoi 圖、單元分解法等，常用的搜索策略有A*搜索算法、D*搜索算法等。

1)可視圖法：將AUV看作質(zhì)點，將障礙物簡化為多邊形，并將起點、終點以及多邊形的頂點連接，且連線不與多邊形的邊相交，即得到可視圖[6-7]。該方法簡單，但障礙物較多時，規(guī)劃時間會大幅增加，且不夠靈活難以適用于三維空間；

2)Voronoi圖法：不同于可視圖，Voronoi圖法是將整個平面分解為多邊形進行規(guī)劃，其優(yōu)點是能夠保持路徑距離障礙物足夠遠，但是也會導致航行路徑過長；

3)單元分解法：基于路線圖構建的方法描述簡單便于實現(xiàn)，但通常適用于低維度空間的規(guī)劃問題。目前路徑規(guī)劃技術對機器人環(huán)境模型的要求越來越高，路線圖構建法無法描述復雜的水下環(huán)境信息?；趩卧纸獾姆椒軌蛲ㄟ^將環(huán)境空間分解為子單元，通過附加單元屬性信息，從而表達更完整的環(huán)境信息；

4)A*和D*算法：常見的啟發(fā)式搜索法，通過建立節(jié)點與目標位置的估值函數(shù)，A*算法搜索最優(yōu)路徑節(jié)點形成路徑，該方法比較適合靜態(tài)路徑規(guī)劃[8]。在規(guī)劃空間范圍較大時，A*算法的搜索效率有些不足。D*算法被看作是動態(tài)的A*算法，比較適用于進行動態(tài)路徑規(guī)劃[9]。

1.2 基于虛擬勢場的方法

人工勢場法由Khatib等提出[10-11]，是路徑規(guī)劃領域常用的方法，思想是建立虛擬勢場，在障礙物與AUV之間建立斥力場，在目標點與AUV之間建立引力場，斥力與引力的合力視為AUV的控制力，控制AUV避開障礙物抵達目標位置。勢場法的優(yōu)勢在于算法簡單、效率高，但是也面臨局部最小值、路徑擺動大以及相近障礙物路徑不易搜索等缺點。

1.3 基于人工智能及其改進的方法

人工智能算法是將參考自然界的動物行為設計建立的尋優(yōu)方法，可應用于AUV的路徑尋優(yōu)。粒子群算法、蟻群算法、進化計算、遺傳算法、自組織神經(jīng)網(wǎng)絡等是目前主流的人工智能算法。采用智能算法規(guī)劃AUV水下路徑時，不需要細致的環(huán)境模型，搜索能力強且能夠穩(wěn)定收斂，易得到全局最優(yōu)解。

1.3.1 基于群體智能的方法

1) 遺傳算法：由Holland[12]提出，借鑒了自然遺傳的思想。算法具有強大的搜索能力，但是易陷入局部最優(yōu)，容易過早收斂。學者通過各種方法的結合對算法進行了改進，徐玉如等[13]將粒子群算法與遺傳算法結合對海流影響下的AUV進行了全局規(guī)劃，思想是在遺傳算法中利用粒子群優(yōu)化特殊算子，使得收斂速度和效率得到提高。

2) 蟻群算法：由Marco等提出[14]，是一種以概率為基礎的算法，借鑒了螞蟻尋找食物是的探索路徑行為，能夠較好的解決旅行商和作業(yè)調(diào)度問題。蟻群算法較廣泛的應用于路徑規(guī)劃，王宏健等[15]提出利用切割算子和差點算子解決蟻群算法在規(guī)劃路徑時的不平滑問題，實現(xiàn)了AUV平面路徑規(guī)劃。另外，基于群體智能的方法還有螢火蟲算法和生物地理學優(yōu)化算法等。

1.3.2 基于機器學習的方法

多數(shù)AUV規(guī)劃方法是將問題轉化為搜索或能量最優(yōu)問題。群智能算法非常適用于全局規(guī)劃，但是在實時規(guī)劃方面有待提高。而機器學習可以將路徑規(guī)劃問題看作馬爾科夫決策的過程，以學習訓練的方式規(guī)劃AUV的航行路徑，能夠縮短規(guī)劃時間，不依賴環(huán)境模型，適用于實時動態(tài)規(guī)劃。

1) 神經(jīng)網(wǎng)絡：是人工智能的大腦，在AUV規(guī)劃過程中，將傳感器感知到的環(huán)境數(shù)據(jù)輸入網(wǎng)絡，輸出AUV的行為和動作，訓練神經(jīng)網(wǎng)絡權值參數(shù)以得到網(wǎng)絡模型[16]，實現(xiàn)輸入到輸出的映射。規(guī)劃時利用該映射，根據(jù)當前的環(huán)境輸入計算行為動作輸出得到路徑。朱大奇[17]重點研究了突發(fā)障礙物情況，利用環(huán)境變化導致神經(jīng)元激勵和活性輸出值變化，從而輸出無碰撞路徑點。

2) 強化學習：把學習看作試探評價的過程[18-20]，如圖1所示為強化學習過程，AUV產(chǎn)生動作試探環(huán)境，環(huán)境產(chǎn)生相應的強化信號，AUV判斷信號的好壞再基于當前狀態(tài)產(chǎn)生下一動作，使得累計獎勵最大。這種通過與環(huán)境的交互進行學習的方式，不需要提前準備帶有標簽的數(shù)據(jù)，更加方便，適用于未知環(huán)境下的AUV路徑規(guī)劃。冉祥瑞[21]將分層強化學習應用于AUV的路徑規(guī)劃任務中，基于分層思想并結合強化學習理論對AUV系統(tǒng)進行全局及局部路徑規(guī)劃設計，提高AUV在動態(tài)復雜海洋環(huán)境下的自適應性和自主作業(yè)能力。孫玉山等[22]提出一種基于強化學習的AUV三維路徑規(guī)劃方法，以學習訓練的方式實現(xiàn)了機器人路徑的尋優(yōu)和避障。

圖1 強化學習Fig.1 Reinforcement learning

3) 深度強化學習：強化學習訓練策略解決問題，而深度學習可以提取數(shù)據(jù)的特征，不需要再利用矩陣儲存數(shù)據(jù)，適合解決大范圍環(huán)境下的規(guī)劃問題。孫玉山等[23]采用深度強化學習方法實現(xiàn)了大范圍三維環(huán)境下的AUV全局路徑規(guī)劃。

2 水下機器人路徑規(guī)劃研究現(xiàn)狀

近年來，對AUV路徑規(guī)劃的研究層出不窮，包括多AUV路徑規(guī)劃、精細路徑規(guī)劃、大范圍路徑規(guī)劃等。Eichhorn等[24]提出了“SLOCUM Glider”AUV的最優(yōu)路徑規(guī)劃的幾個重要的面向?qū)嵺`的要求，以及基于快速圖的算法的解決方案。文章根據(jù)紐芬蘭和拉布拉多大陸架實際任務的要求規(guī)劃了最優(yōu)航行路徑。Zhu等[25]提出了一種基于生物啟發(fā)的集成自組織映射算法，用于AUV系統(tǒng)在三維水下避障環(huán)境下的任務分配和路徑規(guī)劃。該算法將生物啟發(fā)神經(jīng)網(wǎng)絡(bio-inspired neural network，BINN)，嵌入到自組織映射(self-organizing map，SOM)神經(jīng)網(wǎng)絡中，安排多個AUV探測所有指定的目標位置，利用BINN更新SOM網(wǎng)絡的權值，實現(xiàn)AUV路徑規(guī)劃和有效導航。

Yu等[26]提出了三維大規(guī)模戰(zhàn)場環(huán)境下AUV路徑規(guī)劃的快速行進方法，解決了AUV被發(fā)現(xiàn)概率高、導航安全、油耗低等問題。其綜合考慮障礙物與地雷碰撞風險、探測概率、航行深度和航路長度等因素，同時考慮了AUV的機動約束條件，包括安全深度和轉彎半徑等因素，利用快速搜索(fast marching，F(xiàn)M)方法實現(xiàn)AUV的路徑規(guī)劃。Sun等[27]提出了三維AUV路徑規(guī)劃的優(yōu)化模糊控制算法。該模型可用于復雜水下環(huán)境下的路徑規(guī)劃。建立了基于水平面上和垂直面上布置的2個聲吶的路徑規(guī)劃，利用聲吶采集的環(huán)境信息，通過帶加速/制動模塊的模糊系統(tǒng)，可以獲得AUV在三維空間的虛擬加速度和速度，使AUV能夠自動避開動態(tài)障礙物?？紤]到模糊邊界選擇具有較大的主觀性，生成的路徑不能保證是最優(yōu)的。因此，為了解決這一問題，將2種優(yōu)化方法進行比較，對模糊集進行了優(yōu)化。文獻[28]針對AUV全覆蓋路徑規(guī)劃問題，提出了一種基于GBNN算法(glasius bio-inspired neural network)的離散集中規(guī)劃新策略,該算法是一種計算量小、效率高的新開發(fā)工具。針對單臺AUV大航程全覆蓋任務難度大的問題，提出了基于GBNN算法的多臺AUV全覆蓋離散集中規(guī)劃方法。

考慮到由于AUV水下動力學特性，AUV跟蹤最短路徑到達目標位置是不切實際的。Gore等[29]提出一種有效的動態(tài)估計目標路徑的算法，使AUV能夠根據(jù)估計的最短路徑重新調(diào)整運動狀態(tài)。其使用了一種本地搜索方法，結合圖像采集和分割，易于實現(xiàn)。在動態(tài)水下場景中，該算法也可以有效地重新規(guī)劃路徑。Pan等[30]針對三維空間環(huán)境下路徑規(guī)劃中搜索最優(yōu)解效率低、搜索時間長等問題，提出了遺傳-螞蟻混合算法，設計了分區(qū)劃分方法以減小種群搜索范圍。在此基礎上，提出了一種提高集成效率的優(yōu)化集成策略，并根據(jù)安全性的原則確定了評價函數(shù)。Li等[31]針對多自主水下機器人分布式任務規(guī)劃模型，提出了一種渦旋時域量子人工蜂群優(yōu)化算法來求解多AUV最優(yōu)任務規(guī)劃方案。在不確定海洋環(huán)境下，采用滾動時域控制技術實現(xiàn)了在較窄的時間范圍內(nèi)的數(shù)值優(yōu)化以減少計算量，實現(xiàn)AUV動態(tài)、環(huán)境和成本之間的權衡，并通過仿真實驗對渦旋時域量子蜂群優(yōu)化算法的分布式任務規(guī)劃性能進行了評估。Ramos等[32]根據(jù)海洋流場復雜的時空結構基于動力系統(tǒng)規(guī)劃了一條優(yōu)化科學收益和導航效率的路徑，通過對2016-04—2017-03穿越北大西洋的Silbo號水下滑翔機的實時導航策略的實現(xiàn)，論證了動力系統(tǒng)理論實現(xiàn)這一目標的能力。

Lin等[33]為了更有效地實現(xiàn)動態(tài)路徑規(guī)劃，將基于粒子群優(yōu)化的動態(tài)路由算法、自整定模糊控制器、立體視覺檢測技術和6自由度數(shù)學模型集成到自主水下航行器檢測系統(tǒng)中。采用多目標粒子群優(yōu)化的思想對基于粒子群算法的動態(tài)路由算法進行了改進，該算法能夠并行處理不同權重的目標。

Mahmoudzadeh等[34]提出了一種AUV在不同海域航行時任務分配與管理的混合路徑規(guī)劃模型。定義了分布在大尺度地形中的若干優(yōu)先級任務；考慮到任務時間、車輛電池、潛在操作領域的不確定性和可變性的限制，進行適當?shù)娜蝿諘r間和能量管理。采用差分進化和螢火蟲優(yōu)化算法相結合的方法，對任務分配路徑和路徑規(guī)劃的同步過程進行了仿真，該混合模型在充分利用電流提供的最小能量和控制相應的任務時間的同時，能夠有效地完成分配的最大任務數(shù)。文獻[35]為水下機器人在不確定的水下環(huán)境下，在有限的時間內(nèi)完成任務分配過程設計了一個分層動態(tài)任務規(guī)劃框架；為任務優(yōu)先級分配，引導AUV朝向感興趣的目標，并管理按時完成任務，開發(fā)了一個高級反應性任務規(guī)劃器。設計了一種低層運動規(guī)劃器，通過重新生成最優(yōu)軌跡處理動態(tài)地形的意外變化?；谏锏乩韺W的優(yōu)化算法根據(jù)任務/地形更新重新安排任務。

孫玉山等[36]提出一種基于輔助決策系統(tǒng)的水下潛器路徑規(guī)劃方法，綜合考慮潛器航行路徑的隱蔽性、經(jīng)濟性和安全性問題，基于強化學習方法，結合潛艇的聲隱身指標，考慮到水下復雜的動態(tài)環(huán)境，建立態(tài)勢評估系統(tǒng)、水下路徑規(guī)劃系統(tǒng)以及隱身輔助決策系統(tǒng)：利用聲隱身態(tài)勢評估系統(tǒng)計算當前海域的敵方探測聲吶對潛艇的威脅范圍，利用規(guī)劃系統(tǒng)規(guī)劃出一條避開威脅范圍的安全、經(jīng)濟、隱蔽的航路，同時潛艇實時探測當前海域情況，輔助決策系統(tǒng)進行實時的仿真推演，給出相應的隱身方案。

通過對當前AUV的研究現(xiàn)狀進行分析可以發(fā)現(xiàn)，水下規(guī)劃的額算法越來越趨向于智能化，規(guī)劃區(qū)域也向大范圍寬廣水域發(fā)展。無論是對作戰(zhàn)任務還是探測任務的規(guī)劃，研究者們都進行了一定的討論。但是對于水下干擾、水下環(huán)境感知、水下避障等問題還需深入研究。

3 水下機器人規(guī)劃的技術問題及研究方向

AUV的規(guī)劃技術發(fā)展至今已經(jīng)攻克了很多難題，包括：水下大范圍的三維空間環(huán)境；水下環(huán)境信息獲取難度較大；水下定位、通訊難度較大；水流對AUV的影響增大了規(guī)劃的難度；對AUV運動的多約束條件：安全性、經(jīng)濟型、隱蔽性等。但是隨著AUV智能水平及人們對其要求的逐漸提高，許多新的技術難點及研究熱點涌現(xiàn)，從目前的研究現(xiàn)狀和水下機器人未來的發(fā)展需求來看，AUV規(guī)劃技術的研究主要集中在以下幾個方面：

1)路徑規(guī)劃方法的優(yōu)化及開發(fā)。

開發(fā)及改進路徑規(guī)劃方法是AUV路徑規(guī)劃技術的重要內(nèi)容。為了彌補現(xiàn)有方法的缺點及不足，目前的主要研究方向是結合現(xiàn)代科技的發(fā)展，如：深度學習、強化學習等計算機智能技術，開發(fā)易于實現(xiàn)、能夠彌補其他算法不足的最優(yōu)方法。另外，各種規(guī)劃方法的結合也是目前AUV路徑規(guī)劃技術的研究方向，將多種方法相結合以相互協(xié)作彌補單個方法的不足。

2)局部路徑規(guī)劃的研究。

由于水下環(huán)境復雜多變、環(huán)境信息不易獲取，對于AUV來說，其作業(yè)環(huán)境有許多未知因素，所以局部規(guī)劃是AUV路徑規(guī)劃技術的研究重點。水下多用光學傳感器協(xié)助聲學傳感器感知水下環(huán)境，對未知環(huán)境的探索是實現(xiàn)局部路徑規(guī)劃的關鍵。所以水下目標的識別與檢測、濾波算法、信息融合等技術也是目前規(guī)劃領域的研究方向。

3)多機器人協(xié)同規(guī)劃。

隨著AUV的智能性及水下任務的復雜程度逐漸提高，對多AUV協(xié)同規(guī)劃的研究逐漸火熱起來。多AUV所具備的性能優(yōu)勢遠遠勝過單艘AUV，尤其是應用于某些大規(guī)模區(qū)域的水文信息采集、目標搜索、應急救援、多異構平臺協(xié)同任務等領域。該復雜的多約束多目標優(yōu)化問題，主要研究在滿足各類約束條件下，合理的將任務分配給有能力的AUV，再根據(jù)分配的任務進行路勁規(guī)劃。多AUV協(xié)同規(guī)劃任務對環(huán)境及任務建模、規(guī)劃方法都有很高的要求。所以，對多AUV進行編隊、任務分配、路徑規(guī)劃等以規(guī)劃多個機器人共同完成復雜作業(yè)任務成為了當前的研究熱點。

4)多平臺協(xié)同規(guī)劃。

隨著科學技術的發(fā)展，目前的作戰(zhàn)體系由原來的單平臺作戰(zhàn)逐漸演變?yōu)殛懞？仗於嗥脚_協(xié)同作戰(zhàn)。這種作戰(zhàn)方式打破軍種、領域的界限，將各種力量要素融合起來，實現(xiàn)全方位、立體、同步作戰(zhàn)，對各個平臺的規(guī)劃要求極高。信息數(shù)據(jù)交換系統(tǒng)是多平臺協(xié)同規(guī)劃的關鍵技術之一，如何實現(xiàn)地理信息數(shù)據(jù)的集成與共享是實現(xiàn)陸?？仗煲惑w化協(xié)同作戰(zhàn)規(guī)劃必須要解決的問題。在多平臺協(xié)同作戰(zhàn)情況下的智能決策規(guī)劃方面，現(xiàn)有方法基本都為針對特定具體任務設計，通用性和智能程度都很低。而當今，隨著通用人工智能技術的發(fā)展，未來無人作戰(zhàn)平臺智能決策規(guī)劃方法也必將朝著通用化、智能化的方向發(fā)展。未來的每一種無人作戰(zhàn)平臺都搭載一個智能體，在作戰(zhàn)任務指令下自主執(zhí)行任務。

4 結論

1)就目前的研究成果來看，A*搜索算法、人工勢場法及蟻群算法等因其算法實現(xiàn)簡單、規(guī)劃效果良好等優(yōu)點而被廣泛的應用于AUV的路徑規(guī)劃。隨著計算機智能技術的發(fā)展，使智能機器人具有自學習能力成為各領域廣泛研究的熱點，強化學習被認為是比較適合于在未知的動態(tài)環(huán)境下進行機器人避障和路徑規(guī)劃的學習方法，所以目前更多的研究者們致力于將強化學習算法更好的應用于AUV的規(guī)劃任務中。

2)水下規(guī)劃不同于陸地，具有一定的特殊性，三維規(guī)劃、水下感知、水下干擾、水下協(xié)同是當前水下規(guī)劃亟需解決的問題。

3)隨著智能化水平的提高，AUV需要完成的任務越來越復雜以至于單個AUV很難完成，所以多AUV甚至多無人平臺的協(xié)同規(guī)劃技術逐漸成為水下規(guī)劃領域的研究熱點。