基于深度學(xué)習(xí)的三維感知算法在船舶自主靠泊場景中的應(yīng)用

謝涵清，鄧乃銘

(上海交通大學(xué)高新船舶與深海開發(fā)裝備協(xié)同創(chuàng)新中心，上海200240)

0 引言

2018年，中國船級(jí)社發(fā)布了《自主貨物運(yùn)輸船舶指南》[1]，指出了自主貨物運(yùn)輸船的構(gòu)造以及船舶各系統(tǒng)的目標(biāo)和功能要求，其中就包括船舶自主靠離泊這一操作場景，規(guī)定了其場景感知等相關(guān)技術(shù)要求。感知技術(shù)是保證船舶自主系統(tǒng)的核心功能模塊，是自主靠泊的前提和決策控制的重要依據(jù)。本文以船舶自主靠泊感知算法為核心問題展開研究。

船舶領(lǐng)域常用的感知設(shè)備有攝像頭、雷達(dá)和激光雷達(dá)等。攝像頭具有特征稠密、顏色信息豐富等優(yōu)點(diǎn)，但難以獲得空間信息。雷達(dá)和激光雷達(dá)能夠精準(zhǔn)地獲取距離信息，但存在數(shù)據(jù)稀疏，特征不足等缺陷。近年來的研究基本可以分為基于點(diǎn)云的探測技術(shù)[2]，基于圖像的檢測技術(shù)[3]和基于多傳感器數(shù)據(jù)的檢測技術(shù)[4]，這些方法大多通過人工定義目標(biāo)特征，泛化能力和精度都比較差。隨著人工智能的發(fā)展，深度學(xué)習(xí)技術(shù)逐步應(yīng)用在無人船感知算法中，以圖像檢測為例，如文獻(xiàn)[5]將深度網(wǎng)絡(luò)Fast-RCNN應(yīng)用在海上艦船目標(biāo)檢測中，檢測的準(zhǔn)確率和速度都有一定的提升。但是目前基于深度學(xué)習(xí)的多傳感器融合技術(shù)在船舶領(lǐng)域還未被實(shí)現(xiàn)與應(yīng)用，而國內(nèi)外這方面的技術(shù)已經(jīng)在其他領(lǐng)域[6]取得不錯(cuò)成果。

本文根據(jù)《指南》對(duì)船舶靠泊探測范圍和測量精度的要求，選擇攝像頭和激光雷達(dá)作為船舶自主靠泊的感知設(shè)備，設(shè)計(jì)并實(shí)現(xiàn)了基于深度學(xué)習(xí)的三維感知算法，使用卷積神經(jīng)網(wǎng)絡(luò)提取點(diǎn)云與圖像的特征，利用空間連續(xù)卷積網(wǎng)絡(luò)將兩者特征進(jìn)行深度融合，并在融合兩者優(yōu)勢的特征圖上檢測三維目標(biāo)。然后搭建了一個(gè)基于虛擬物理引擎的船舶靠泊仿真系統(tǒng)，實(shí)現(xiàn)以低成本創(chuàng)建船舶靠泊場景數(shù)據(jù)集。最后構(gòu)建基于GNC框架的自主靠泊系統(tǒng)，進(jìn)行靠泊仿真試驗(yàn)，對(duì)算法性能進(jìn)行驗(yàn)證。

1 感知算法設(shè)計(jì)與實(shí)現(xiàn)

1.1 感知算法架構(gòu)

本文采用攝像頭和激光雷達(dá)作為靠泊感知設(shè)備，構(gòu)建基于深度學(xué)習(xí)的三維感知算法，框架如圖1所示。算法由3個(gè)核心網(wǎng)絡(luò)組成，用于特征提取的卷積神經(jīng)網(wǎng)絡(luò)，用于特征融合的空間連續(xù)卷積網(wǎng)絡(luò)和用于目標(biāo)識(shí)別與定位的檢測生成網(wǎng)絡(luò)。首先對(duì)點(diǎn)云進(jìn)行預(yù)處理，生成卷積神經(jīng)網(wǎng)絡(luò)能處理的數(shù)據(jù)格式。卷積神經(jīng)網(wǎng)絡(luò)將處理后的點(diǎn)云或圖像作為輸入，輸出高語義的特征圖?？臻g連續(xù)卷積網(wǎng)絡(luò)將輸出的圖像特征融入點(diǎn)云卷積神經(jīng)網(wǎng)絡(luò)的多層特征圖中。檢測生成網(wǎng)絡(luò)可以預(yù)測檢測框的類別和回歸檢測框的邊界。由于網(wǎng)絡(luò)比較復(fù)雜，若單單靠三維檢測流的損失函數(shù)進(jìn)行模型訓(xùn)練，圖像卷積神經(jīng)網(wǎng)絡(luò)經(jīng)過過長的反向傳播鏈，參數(shù)已經(jīng)難以優(yōu)化。為此，本文額外增加了以圖像為主的二維檢測生成網(wǎng)絡(luò)，通過二維檢測和三維檢測的聯(lián)合訓(xùn)練，輔助模型參數(shù)更新，提高三維檢測的精度。

圖1 感知算法架構(gòu)Fig.1 Perception algorithm framework

1.2 點(diǎn)云數(shù)據(jù)預(yù)處理

點(diǎn)云數(shù)據(jù)處理是對(duì)不規(guī)則且無序的點(diǎn)云進(jìn)行規(guī)整化處理，盡可能保留靠泊場景的空間信息，將點(diǎn)云轉(zhuǎn)換成卷積神經(jīng)網(wǎng)絡(luò)能使用的數(shù)據(jù)形式，降低了數(shù)據(jù)的空間復(fù)雜度，并加快計(jì)算效率。本文根據(jù)鳥瞰圖處理法（BEV）[7]，按0.1m的分辨率劃分點(diǎn)云的探測空間，將點(diǎn)云的高度和強(qiáng)度信息作為特征通道，生成點(diǎn)云映射到水平面上的多特征通道網(wǎng)格圖。若存在掃描點(diǎn)落在某網(wǎng)格單元的某高度空間范圍內(nèi)，則該網(wǎng)格單元在該高度的特征值記為1，反之為0。網(wǎng)格單元的強(qiáng)度特征值為該位置豎直方向上的所有掃描點(diǎn)的強(qiáng)度平均值。

1.3 基于卷積神經(jīng)網(wǎng)絡(luò)的特征提取

卷積神經(jīng)網(wǎng)絡(luò)（CNN）是深度學(xué)習(xí)特征提取常用的方法，其具有表征學(xué)習(xí)的能力，利用卷積、池化等操作不斷提取和學(xué)習(xí)高層次的特征。本文選擇殘差網(wǎng)絡(luò)[8]作為點(diǎn)云和圖像特征提取的基礎(chǔ)，并在此基礎(chǔ)上進(jìn)行優(yōu)化，結(jié)構(gòu)如圖2所示。殘差網(wǎng)絡(luò)是一種易于訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)，由多個(gè)殘差塊組成。由于靠泊場景存在較多目標(biāo)與本船距離較遠(yuǎn)的情況，后續(xù)算法很難從殘差網(wǎng)絡(luò)輸出的低分辨率特征圖中提取豐富的信息。因此，本文結(jié)合殘差的思想在網(wǎng)絡(luò)尾部新增上采樣操作，增大輸出特征圖分辨率，并使用網(wǎng)絡(luò)中間的高分辨率特征圖恢復(fù)細(xì)節(jié)特征，用于后續(xù)特征融合和目標(biāo)檢測使用。

圖2 殘差網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 Resnet structure

1.4 基于空間連續(xù)卷積網(wǎng)絡(luò)的特征融合

為了利用點(diǎn)云和圖像各自的優(yōu)勢，需要將兩者的特征圖進(jìn)行深度融合，以提高目標(biāo)檢測識(shí)別和定位的精度。本文基于空間信息和多層感知器（M LP），提出了一種改進(jìn)的空間連續(xù)卷積網(wǎng)絡(luò)[9]，將圖像卷積神經(jīng)網(wǎng)絡(luò)提取的特征數(shù)據(jù)和點(diǎn)云空間信息，融入點(diǎn)云卷積神經(jīng)網(wǎng)絡(luò)的多層特征圖中，構(gòu)建更加稠密的點(diǎn)云特征圖，如圖3所示。若要計(jì)算點(diǎn)云特征圖中某網(wǎng)格單元（方塊1）待融合的特征，首先基于最鄰近算法找到與該網(wǎng)格單元距離最近的若干掃描點(diǎn)（灰黑色圓點(diǎn)），根據(jù)感知設(shè)備的空間幾何模型將這些掃描點(diǎn)映射到圖像的像素空間中，利用插值法找到對(duì)應(yīng)的圖像特征（方塊2），最后將這些圖像特征和掃描點(diǎn)距離該網(wǎng)格單元中心的三維偏移量拼接在一起，使用多層感知器計(jì)算出該網(wǎng)格單元待融合的特征，最終與原始特征相加完成特征融合。

1.5 基于檢測生成網(wǎng)絡(luò)的目標(biāo)識(shí)別與定位

圖3 空間連續(xù)卷積原理圖Fig.3 Spatial continuous convolution schematic

目標(biāo)識(shí)別與定位是自主靠泊感知算法最終的結(jié)果輸出。本文提出一種基于全卷積的檢測生成網(wǎng)絡(luò)，使用卷積操作取代普通檢測網(wǎng)絡(luò)的全連接層，直接預(yù)測靠泊場景中各類目標(biāo)的類別和回歸目標(biāo)的邊界。二維與三維的檢測生成算法原理和步驟基本一致，文中以三維為例。該方法通過權(quán)值共享的方式重復(fù)利用參數(shù)，使檢測生成網(wǎng)絡(luò)更加高效。檢測生成網(wǎng)絡(luò)根據(jù)功能分為識(shí)別模塊和定位模塊。識(shí)別模塊能預(yù)測特征圖中每個(gè)網(wǎng)格單元可能存在的三維檢測框的各類別置信度，將概率最高的類別設(shè)為該檢測框的類別，其中背景也視為一種特殊的類別。定位模塊對(duì)三維檢測框的邊界進(jìn)行回歸，得到能夠準(zhǔn)確的三維檢測框。對(duì)于邊框回歸值，選擇簡化的中心點(diǎn)編碼，只需6個(gè)參數(shù)就可以確定三維檢測框的唯一位置，如圖4所示。相比八角編碼，需要學(xué)習(xí)的參數(shù)量更少，更容易訓(xùn)練。在模型訓(xùn)練時(shí)，計(jì)算檢測生成網(wǎng)絡(luò)輸出的結(jié)果與真實(shí)標(biāo)簽的偏差，作為損失函數(shù)指導(dǎo)整個(gè)感知網(wǎng)絡(luò)的優(yōu)化，尋找參數(shù)最優(yōu)解。其中檢測框分類損失函數(shù)Lcls如式（1），回歸邊界的損失函數(shù)Lreg如式（2）和式（3），p與t分別為某網(wǎng)格單元對(duì)應(yīng)的預(yù)測值與真實(shí)值，c為物體類別，i為邊界值。

圖4 中心點(diǎn)編碼原理圖Fig.4 Center point coding schematic

2 船舶靠泊仿真系統(tǒng)

2.1 仿真系統(tǒng)架構(gòu)

為低成本獲取模型訓(xùn)練數(shù)據(jù)集以及驗(yàn)證算法在自主靠泊場景中的效果，本文將基于ROS和Gazebo建立自主靠泊仿真系統(tǒng)，模擬靠泊場景，框架如圖5所示。ROS是斯坦福大學(xué)人工智能實(shí)驗(yàn)室主導(dǎo)開發(fā)的分布式機(jī)器人軟件框架，Gazebo是一個(gè)能夠與ROS完美兼容的仿真平臺(tái)。本文設(shè)計(jì)與實(shí)現(xiàn)了基于Gazebo多種物理引擎的靠泊仿真場景，定義光線環(huán)境，導(dǎo)入三維建模軟件設(shè)計(jì)的湖泊、碼頭標(biāo)志物等模型，還原真實(shí)靠泊環(huán)境?；贔OSSEN[10]提出的船舶控制方程，構(gòu)建無人船六自由度仿真模型，賦予無人船運(yùn)動(dòng)學(xué)和動(dòng)力學(xué)性能，結(jié)合激光雷達(dá)、攝像頭、GPS、IMU等多種仿真?zhèn)鞲衅?，賦予無人船自由航行和環(huán)境感知等能力，其中考慮到靠泊的具體情況，將攝像頭布置在無人船的一側(cè)。此外，將自主靠泊等算法模塊包裝成ROS節(jié)點(diǎn)，在仿真系統(tǒng)中運(yùn)行，并利用RVIZ工具實(shí)現(xiàn)數(shù)據(jù)可視化。

圖5 仿真系統(tǒng)架構(gòu)Fig.5 Simulation system structure

2.2 靠泊場景數(shù)據(jù)采集與訓(xùn)練

目前國內(nèi)外還沒有可以應(yīng)用在真實(shí)航運(yùn)或靠泊場景中的公開多傳感器數(shù)據(jù)集，故本文基于仿真系統(tǒng)創(chuàng)建靠泊場景數(shù)據(jù)集，如表1所示。在靠泊仿真系統(tǒng)中遙控?zé)o人船，多角度多距離觀測靠泊目標(biāo)，包括碼頭標(biāo)志物和被補(bǔ)給船，采集激光雷達(dá)、攝像頭、GPS和IMU的傳感器數(shù)據(jù)，同時(shí)記錄多種靠泊目標(biāo)的姿態(tài)和位置信息。通過坐標(biāo)變換，計(jì)算靠泊目標(biāo)與無人船的相對(duì)位置關(guān)系，結(jié)合靠泊目標(biāo)的主尺度數(shù)據(jù)，獲得二維和三維邊界框，作為數(shù)據(jù)集的真實(shí)標(biāo)簽（G round True），并按常用的KITTI格式[11]記錄。

表1 靠泊場景數(shù)據(jù)集Tab.1 Berthing scene dataset

以端到端的方式訓(xùn)練感知網(wǎng)絡(luò)，使用小批量梯度下降法（MBGD），按序以0.01，0.001和0.0001的學(xué)習(xí)率，分別訓(xùn)練迭代80000，40000和40000次。在靠泊場景數(shù)據(jù)集的測試集上測試，準(zhǔn)確率達(dá)到94.6%，檢測效果較為優(yōu)秀，基本滿足靠泊仿真要求。本文的訓(xùn)練和測試過程均基于深度學(xué)習(xí)框架Pytorch，計(jì)算機(jī)的配置為Intel i5處理器、16 G內(nèi)存和NVIDIA 1080ti顯卡。

3 自主靠泊仿真結(jié)果

3.1 自主靠泊系統(tǒng)

根據(jù)“決策-觀測-控制”邏輯完整構(gòu)建自主靠泊系統(tǒng)架構(gòu)，如圖6所示。觀測部分基于本文設(shè)計(jì)的三維感知算法，使用仿真?zhèn)鞲衅鞑杉狞c(diǎn)云和圖像數(shù)據(jù)，實(shí)現(xiàn)對(duì)靠泊目標(biāo)的實(shí)時(shí)檢測；決策與控制部分使用較成熟的靠泊決策和控制算法，根據(jù)指定的靠泊目標(biāo)計(jì)算虛擬泊位區(qū)域或?qū)崟r(shí)補(bǔ)給靠泊點(diǎn)坐標(biāo)，使用ANN靠泊路徑規(guī)劃算法[12]確定靠泊路徑，使用LOS循跡算法[13]計(jì)算目標(biāo)航向航速控制量，輸出控制指令到推進(jìn)系統(tǒng)中，實(shí)現(xiàn)靠泊動(dòng)作。

圖6 自主靠泊系統(tǒng)架構(gòu)Fig.6 Autonomous berthing system framework

3.2 仿真試驗(yàn)內(nèi)容

為了驗(yàn)證感知算法的有效性，本文針對(duì)指定的靠泊目標(biāo)，完成碼頭靠泊仿真試驗(yàn)和補(bǔ)給靠泊仿真試驗(yàn)。碼頭標(biāo)志物保持靜止，被補(bǔ)給船保持往返勻速直線運(yùn)動(dòng)。黑白色雙體船作為本船，當(dāng)系統(tǒng)檢測到任務(wù)指定的靠泊目標(biāo)時(shí)，執(zhí)行自主靠泊任務(wù)。無人船通過感知算法完成對(duì)靠泊目標(biāo)的探測工作，通過決策控制算法實(shí)現(xiàn)靠泊動(dòng)作，其中感知算法運(yùn)行頻率為1 Hz，決策控制算法運(yùn)行頻率為5Hz。

3.3 仿真試驗(yàn)結(jié)果

圖7 碼頭靠泊仿真試驗(yàn)結(jié)果Fig.7 Dock berthing simulation experiment result

碼頭靠泊仿真試驗(yàn)比對(duì)結(jié)果如圖7所示，補(bǔ)給靠泊仿真試驗(yàn)比對(duì)結(jié)果如圖8所示。結(jié)果圖左側(cè)是軌跡圖，中間是x和y方向位移的時(shí)歷曲線，右側(cè)是首向和航速的時(shí)歷曲線。分析碼頭靠泊仿真試驗(yàn)數(shù)據(jù)，碼頭標(biāo)志物和探測結(jié)果基本一致，且無人船最終停靠在算法推算出來的虛擬泊位中，首向和航速符合靠泊要求，表明感知算法能成功識(shí)別碼頭標(biāo)志物并給出精確的坐標(biāo)，且較為成功地完成碼頭靠泊動(dòng)作。分析補(bǔ)給靠泊仿真試驗(yàn)數(shù)據(jù)，被補(bǔ)給船和探測結(jié)果基本一致，無人船最終與目標(biāo)保持2m距離平行航行，穩(wěn)定后的首向和航速基本一致，表明感知算法對(duì)被補(bǔ)給船的檢測精度符合預(yù)期，且擁有良好的補(bǔ)給靠泊效果。但是感知算法在部分時(shí)間還存在一定的誤差，其原因是感知算法運(yùn)行頻率較低，傳感器數(shù)據(jù)沒有根據(jù)時(shí)間戳完全匹配，這種誤差在無人船做回轉(zhuǎn)運(yùn)動(dòng)時(shí)會(huì)被放大。

圖8 補(bǔ)給靠泊仿真試驗(yàn)結(jié)果Fig.8 Supply berthing simulation experiment result

4 結(jié)語

本文針對(duì)船舶自主靠泊場景，構(gòu)建基于深度學(xué)習(xí)的三維感知系統(tǒng)，通過卷積神經(jīng)網(wǎng)絡(luò)和空間連續(xù)卷積網(wǎng)絡(luò)對(duì)點(diǎn)云與圖像進(jìn)行特征提取和特征融合，通過檢測生成網(wǎng)絡(luò)生成三維檢測框的類別和邊界，實(shí)現(xiàn)對(duì)靠泊目標(biāo)的識(shí)別與定位。通過自建船舶仿真系統(tǒng)，創(chuàng)建靠泊場景數(shù)據(jù)集，完成自主靠泊感知網(wǎng)絡(luò)的訓(xùn)練，并測試達(dá)到預(yù)期的檢測精度。最后結(jié)合成熟的靠泊決策和控制算法，構(gòu)建了基于GNC的自主靠泊系統(tǒng)，在仿真系統(tǒng)中完成自主靠泊試驗(yàn)，驗(yàn)證了算法的有效性，為實(shí)船自主靠泊應(yīng)用提供了一種新的研究思路。但是本文設(shè)計(jì)的三維感知算法在運(yùn)行速率方面仍有較大提升空間，有待未來進(jìn)一步研究。