移動(dòng)機(jī)器人視覺里程計(jì)綜述與研究展望

文/王威 滕紹光 鄭璐

一、引言

在移動(dòng)機(jī)器人系統(tǒng)中，要進(jìn)行目標(biāo)探測(cè)和定位，對(duì)于自身位姿的估計(jì)非常重要。傳統(tǒng)的里程計(jì)，如輪式里程計(jì)因?yàn)檩喿哟蚧辙D(zhuǎn)而容易導(dǎo)致漂移；精確的激光傳感器價(jià)格昂貴；慣性傳感器雖然可以測(cè)量傳感器瞬時(shí)精確的角速度和線速度，但是隨著時(shí)間的推移，測(cè)量值有著明顯的漂移，使得計(jì)算得到的位姿信息不可靠等。而視覺里程計(jì)（Visual Odometry，VO）由于視覺傳感器低廉的成本和長(zhǎng)距離較為精準(zhǔn)的定位在眾多傳統(tǒng)里程計(jì)中脫穎而出。

世界頂級(jí)的視覺傳感器（工業(yè)相機(jī)）產(chǎn)品售價(jià)約為人民幣3000元，是同等級(jí)的激光雷達(dá)產(chǎn)品售價(jià)的10%～20%。而較低的制造成本意味著較低的產(chǎn)品價(jià)格，對(duì)提升企業(yè)產(chǎn)品競(jìng)爭(zhēng)力或終端客戶投資回報(bào)周期都更加利好。

二、視覺里程計(jì)發(fā)展簡(jiǎn)述

所謂視覺里程計(jì)，就是從一系列圖像流中恢復(fù)出相機(jī)的運(yùn)動(dòng)位姿，這一思想最早是由Moravec等人[1]提出的，他們首次提出了單獨(dú)利用視覺輸入的方法估計(jì)運(yùn)動(dòng)，并給出了一種最早期的角點(diǎn)檢測(cè)算法，將其應(yīng)用在行星探測(cè)車上，這體現(xiàn)了現(xiàn)階段視覺里程計(jì)的雛形，包括特征點(diǎn)檢測(cè)及匹配、外點(diǎn)排除、位姿估計(jì)三大塊，使得視覺里程計(jì)從提出問(wèn)題階段過(guò)渡到了構(gòu)建算法階段。

Nister等[2]在CVPR上發(fā)表的論文中提出了一種利用單目或立體視覺相機(jī)來(lái)獲取圖像的視覺里程計(jì)系統(tǒng)，宣告VO技術(shù)進(jìn)入了優(yōu)化算法階段。隨著ORBSLAM[3]的問(wèn)世，VO作為SLAM的前端成為了研究熱潮，也代表著主流基于特征點(diǎn)法VO的一個(gè)高峰。Engle等[4]提出的LSD-SLAM則成功地把直接法的視覺里程計(jì)應(yīng)用在了半稠密單目SLAM中。

近年來(lái)涌現(xiàn)了各類新穎視覺里程計(jì)系統(tǒng)，例如VINS-Mono[5]是香港科技大學(xué)開源的一個(gè)視覺慣性里程計(jì)（Visual Inertial Odometry, VIO）算法，通過(guò)單目與IMU緊耦合恢復(fù)出尺度信息，效果較佳，已經(jīng)被成功應(yīng)用于小規(guī)模AR場(chǎng)景、中型無(wú)人機(jī)導(dǎo)航和大規(guī)模狀態(tài)估計(jì)任務(wù)中。

三、視覺里程計(jì)的方法分類

傳統(tǒng)的VO方法是基于模型的系統(tǒng)，按照采用的傳感器類型可以分為單目（Monocular）、雙目（Stereo）和深度相機(jī)（RGB-D）三個(gè)大類，而按照對(duì)圖像的處理方法可以分為特征點(diǎn)法和直接法，此外還有新興的基于深度學(xué)習(xí)方法的VO。

1.按傳感器類型

只使用一個(gè)攝像頭的VO系統(tǒng)稱為單目VO系統(tǒng)，單目相機(jī)有著結(jié)構(gòu)簡(jiǎn)單、成本低的特點(diǎn)，受到眾多研究者的關(guān)注，常用的單目VO系統(tǒng)有PTAM[6]、SVO[7]、DSO[8]等。

雙目相機(jī)和深度相機(jī)可以測(cè)量物體與相機(jī)的距離，從而克服單目相機(jī)無(wú)法測(cè)量距離的缺點(diǎn)。有了距離，場(chǎng)景的三維結(jié)構(gòu)就可以通過(guò)圖像恢復(fù)出來(lái)，也消除了尺度的不確定性。雙目相機(jī)是由兩個(gè)單目相機(jī)組成的，常用的雙目VO系統(tǒng)有ORB-SLAM3[9]、RTAB-MAP[10]。深度相機(jī)主要利用紅外結(jié)構(gòu)光或者飛行時(shí)間差（Time-of-Flight, ToF）原理，通過(guò)物理測(cè)量手段獲取距離參數(shù)，相比于雙目相機(jī)可節(jié)省計(jì)算資源，常用的基于深度的VO系統(tǒng)有DVO[11]、RGB-D-SLAM-V2[12]等，但是深度相機(jī)有著易受光照影響、無(wú)法測(cè)量投射材質(zhì)等不足，且主要用于室內(nèi)測(cè)量，目前仍難在室外廣泛應(yīng)用。

2.按圖像處理方法

根據(jù)VO系統(tǒng)是否對(duì)圖像進(jìn)行特征提取及匹配，可分為特征點(diǎn)法VO和直接法VO。

對(duì)于特征點(diǎn)法，在各幀圖像中盡可能找到相同位置的點(diǎn)，再基于這些點(diǎn)計(jì)算位姿。常用特征如SIFT[13]、SURF[14]、ORB[15]等，這些特征相對(duì)于早期的特征有著更穩(wěn)定更高效的優(yōu)勢(shì)，因而基于這些特征描述子衍生出了很多算法，如MonoSLAM[16]、PTAM[6]、ORB-SLAM3[9]等。楊冬冬[17]等人基于SIFT特征提出了一種基于局部和全局優(yōu)化的雙目VO，在滿足實(shí)時(shí)性的基礎(chǔ)上能夠提高精度。

對(duì)于直接法，只對(duì)圖像提取關(guān)鍵點(diǎn)，跳過(guò)描述子的計(jì)算，直接基于灰度不變等強(qiáng)假設(shè)根據(jù)像素灰度信息來(lái)計(jì)算相機(jī)的運(yùn)動(dòng)，因此可用于構(gòu)建稠密地圖。常用的基于直接法的VO系統(tǒng)有DTAM[18]、DSO[8]、DVO[11]等。

兩種方法的優(yōu)缺點(diǎn)對(duì)比如表1所示。

表1 直接法與特征點(diǎn)法優(yōu)缺點(diǎn)對(duì)比

為了更加直觀清晰地對(duì)比各個(gè)方法之間的區(qū)別與特性，表2列出了常用的基于傳統(tǒng)方法的VO系統(tǒng)。

表2 基于傳統(tǒng)方法的VO研究成果及其分類

3.基于深度學(xué)習(xí)的VO系統(tǒng)

近幾年來(lái)，深度學(xué)習(xí)的發(fā)展極大地促進(jìn)了計(jì)算機(jī)視覺的相關(guān)科研工作?；谏疃葘W(xué)習(xí)的VO系統(tǒng)在視覺相關(guān)任務(wù)的準(zhǔn)確率、魯棒性，以及執(zhí)行效率方面相比于傳統(tǒng)方法都展現(xiàn)出了非凡的效果。不同于傳統(tǒng)的VO系統(tǒng)那樣通過(guò)嚴(yán)格的幾何理論方法實(shí)現(xiàn)，基于深度學(xué)習(xí)的VO是通過(guò)尋找數(shù)據(jù)規(guī)律與目標(biāo)任務(wù)之間的函數(shù)關(guān)系來(lái)完成同樣的工作。在基于深度學(xué)習(xí)的VO中，主要分為有監(jiān)督、無(wú)監(jiān)督和半監(jiān)督三種學(xué)習(xí)方法，其中具有代表性的VO方案有DeepVO[19]、GeoNet[20]、CNN-SLAM[21]等。

通過(guò)使用視覺技術(shù)在移動(dòng)機(jī)器人上的應(yīng)用，拓展了移動(dòng)機(jī)器人的應(yīng)用領(lǐng)域，增強(qiáng)了移動(dòng)機(jī)器人的可靠性，推動(dòng)了移動(dòng)機(jī)器人產(chǎn)業(yè)的發(fā)展。

四、視覺里程計(jì)在物流移動(dòng)機(jī)器人中的應(yīng)用

SLAM同步定位與地圖構(gòu)建技術(shù)（Simultaneous localization and mapping）可在未知的環(huán)境中實(shí)時(shí)定位移動(dòng)機(jī)器人自身的位置，并同時(shí)構(gòu)建環(huán)境三維地圖。目前激光SLAM技術(shù)已發(fā)展較為成熟，視覺SLAM技術(shù)也在近幾年得到快速發(fā)展，由于視覺SLAM使用的視覺傳感器的成本較低，并且在某些場(chǎng)景下視覺SLAM是激光SLAM的有力補(bǔ)充，因此，視覺SLAM尤其是視覺里程計(jì)與激光SLAM相融合的技術(shù)是目前物流移動(dòng)機(jī)器人導(dǎo)航技術(shù)的趨勢(shì)，在移動(dòng)抓取機(jī)器人、AMR、巡檢機(jī)器人等移動(dòng)機(jī)器人行業(yè)有著廣泛應(yīng)用。

1.融合視覺里程計(jì)的激光SLAM技術(shù)在實(shí)驗(yàn)室的測(cè)試驗(yàn)證

下面將融合視覺里程計(jì)與激光SLAM技術(shù)的物流機(jī)器人的具體實(shí)現(xiàn)方式及應(yīng)用做一描述，我們使用實(shí)驗(yàn)室的移動(dòng)機(jī)器人平臺(tái)進(jìn)行了相關(guān)算法的驗(yàn)證，移動(dòng)機(jī)器人平臺(tái)如圖1所示。

圖1 基于激光和視覺SLAM導(dǎo)航的移動(dòng)機(jī)器人

驗(yàn)證的方法及過(guò)程如下：首先說(shuō)明視覺里程計(jì)的信息獲取方法，主要是通過(guò)雙目相機(jī)獲取環(huán)境的RGB彩色圖像，并利用SIFT關(guān)鍵點(diǎn)檢測(cè)的ORB算法對(duì)每一張連續(xù)圖像關(guān)鍵幀進(jìn)行特征點(diǎn)檢測(cè)，為后續(xù)計(jì)算提供更精確的特征點(diǎn)，隨后使用對(duì)極幾何和三角化的方法計(jì)算得出特征點(diǎn)的三維坐標(biāo)，并依此計(jì)算出相機(jī)的位姿變化，再根據(jù)相機(jī)與移動(dòng)機(jī)器人參考點(diǎn)的相對(duì)位置關(guān)系可計(jì)算出移動(dòng)機(jī)器人參考點(diǎn)的位姿變化，最終得到移動(dòng)機(jī)器人的視覺里程計(jì)的信息，將此數(shù)據(jù)與IMU信息及移動(dòng)機(jī)器人驅(qū)動(dòng)編碼器里程計(jì)信息使用擴(kuò)展卡爾曼濾波進(jìn)行數(shù)據(jù)融合，為激光雷達(dá)SLAM提供前端的預(yù)估初始位置的輸入信息，提高了激光雷達(dá)SLAM前端數(shù)據(jù)的初始匹配精度，并通過(guò)激光SLAM后端的優(yōu)化及回環(huán)檢測(cè)對(duì)累計(jì)誤差的消除，經(jīng)過(guò)激光SLAM的建圖模塊，最終得到了精確的環(huán)境電子地圖，并同時(shí)可為移動(dòng)機(jī)器人的導(dǎo)航系統(tǒng)提供移動(dòng)機(jī)器人參考點(diǎn)的運(yùn)動(dòng)軌跡信息，通過(guò)此方法所構(gòu)建的實(shí)驗(yàn)室的精確環(huán)境地圖如圖2所示。

圖2 融合視覺里程計(jì)的激光SLAM所建立的環(huán)境地圖

通過(guò)實(shí)驗(yàn)室移動(dòng)機(jī)器人平臺(tái)的測(cè)試驗(yàn)證，最終使移動(dòng)機(jī)器人的定位精度達(dá)到±10mm，實(shí)現(xiàn)了預(yù)期的目標(biāo)。

2.融合視覺、激光等多種傳感器的SLAM技術(shù)的實(shí)際應(yīng)用

許多物流移動(dòng)機(jī)器人的本體廠商均使用了融合多種傳感器的信息進(jìn)行物流移動(dòng)機(jī)器人的導(dǎo)航定位和自主決策，如北京極智嘉科技股份有限公司的搬運(yùn)系統(tǒng)產(chǎn)品在導(dǎo)航方式中使用了視覺SLAM方式，在障礙物檢測(cè)方式上也使用了視覺組件進(jìn)行視覺避障，它們生產(chǎn)的物流移動(dòng)機(jī)器人具體產(chǎn)品（M200C）如圖3所示。

圖3 頂升搬運(yùn)式M200C移動(dòng)機(jī)器人

靈動(dòng)科技（北京）有限公司生產(chǎn)的AMR系列物流移動(dòng)機(jī)器人，采用基于視覺數(shù)據(jù)，融合激光雷達(dá)、慣性導(dǎo)航和電機(jī)編碼器里程計(jì)等多種感知信息，實(shí)現(xiàn)自動(dòng)建圖、定位和導(dǎo)航等功能，它們的輥筒搬運(yùn)式產(chǎn)品Max300如圖4所示。

圖4 輥筒搬運(yùn)式Max300移動(dòng)機(jī)器人

目前，這些公司使用融合視覺、激光等多種傳感器的物流機(jī)器人產(chǎn)品已經(jīng)在實(shí)際項(xiàng)目中得到應(yīng)用，如靈動(dòng)科技使用頂升式Max300移動(dòng)機(jī)器人在TCL工廠的26條產(chǎn)線上完成了原材料的搬運(yùn)任務(wù)。

隨著技術(shù)的發(fā)展和各類產(chǎn)業(yè)的智能化升級(jí)，為了增強(qiáng)移動(dòng)機(jī)器人導(dǎo)航的精度和魯棒性，使用融合視覺、IMU、激光雷達(dá)等多種傳感器信息的導(dǎo)航定位技術(shù)正在物流移動(dòng)機(jī)器人行業(yè)得到更加廣泛的應(yīng)用。

視覺傳感器除了在物流移動(dòng)機(jī)器人的導(dǎo)航定位方面起重要的作用外，它在移動(dòng)機(jī)器人對(duì)目標(biāo)物的識(shí)別及定位方面也起到了關(guān)鍵的作用，當(dāng)移動(dòng)機(jī)器人到達(dá)目標(biāo)物附近時(shí)，通過(guò)視覺傳感器識(shí)別出目標(biāo)物相對(duì)移動(dòng)機(jī)器人的位姿，從而使移動(dòng)機(jī)器人根據(jù)目標(biāo)物的姿態(tài)調(diào)整移動(dòng)機(jī)器人的運(yùn)行軌跡，使移動(dòng)機(jī)器人能更準(zhǔn)確地與目標(biāo)物進(jìn)行對(duì)接操作。通過(guò)使用視覺技術(shù)在移動(dòng)機(jī)器人上的應(yīng)用，拓展了移動(dòng)機(jī)器人的應(yīng)用領(lǐng)域，增強(qiáng)了移動(dòng)機(jī)器人的可靠性，推動(dòng)了移動(dòng)機(jī)器人產(chǎn)業(yè)的發(fā)展。

五、視覺里程計(jì)的未來(lái)研究展望

VO在移動(dòng)機(jī)器人上的應(yīng)用已經(jīng)發(fā)展多年，在很多方面取得重大進(jìn)展，但目前仍舊有一些問(wèn)題等待解決，本文在總結(jié)現(xiàn)有方案的基礎(chǔ)上提出了以下兩個(gè)值得探索的研究方向。

（1）結(jié)合語(yǔ)義地圖的視覺里程計(jì)系統(tǒng)。

由于環(huán)境中普遍存在動(dòng)態(tài)場(chǎng)景造成的實(shí)際樣本和檢測(cè)樣本之間的誤差，降低了目前大部分的算法模型的位姿估計(jì)和軌跡的精度。通過(guò)結(jié)合語(yǔ)義地圖的方式將從幾何和語(yǔ)義兩個(gè)方面來(lái)感知場(chǎng)景，使得應(yīng)用對(duì)象對(duì)環(huán)境內(nèi)容有抽象理解，獲取更多的信息，能夠減小動(dòng)態(tài)場(chǎng)景帶來(lái)的誤差，還可以為SLAM中的回環(huán)檢測(cè)帶來(lái)更多信息從而提高精度。適合通過(guò)高性能的計(jì)算設(shè)備用于實(shí)現(xiàn)精密地圖構(gòu)建、場(chǎng)景理解等功能的場(chǎng)合。

（2）多機(jī)器人協(xié)同的視覺里程計(jì)系統(tǒng)。

單個(gè)機(jī)器人可能無(wú)法快速熟悉環(huán)境特征及其相對(duì)于環(huán)境特征的位置，此外單個(gè)機(jī)器人在執(zhí)行任務(wù)的過(guò)程中會(huì)出現(xiàn)損壞的情況，要達(dá)到穩(wěn)定的精準(zhǔn)導(dǎo)航，開發(fā)分布式系統(tǒng)來(lái)實(shí)現(xiàn)視覺里程計(jì)將是一個(gè)發(fā)展方向。使用多個(gè)機(jī)器人可以有很多優(yōu)點(diǎn)，例如可以減少探索一個(gè)環(huán)境所需的時(shí)間、不同的信息來(lái)源將提供更多的信息、分布式系統(tǒng)對(duì)故障更魯棒等。