視覺(jué)SLAM系統(tǒng)分析

揭云飛　王峰　智凱旋　熊超偉　李學(xué)易

摘要：SLAM（Simultaneous Localization and Mapping）同時(shí)定位與地圖構(gòu)建，是指在未知環(huán)境下，搭建在機(jī)器人上的傳感器，不斷的感知周圍信息，從而創(chuàng)建周邊環(huán)境地圖，同時(shí)利用創(chuàng)建的地圖實(shí)現(xiàn)自主定位?！耙曈X(jué)SLAM”是指相機(jī)作為主要傳感器。該文首先介紹了視覺(jué)SLAM的總體框架和應(yīng)用，然后對(duì)一些經(jīng)典的視覺(jué)SLAM系統(tǒng)進(jìn)行分類并介紹，同時(shí)總結(jié)了視覺(jué)SLAM中出現(xiàn)的關(guān)鍵性問(wèn)題。最后，針對(duì)視覺(jué)SLAM的未來(lái)發(fā)展方向進(jìn)行了闡述。

關(guān)鍵詞：同時(shí)定位與地圖構(gòu)建； 視覺(jué)；相機(jī)；SLAM

中圖分類號(hào)：TP391 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1009-3044（2018）19-0221-03

Abstract： SLAM （Simultaneous Localization and Mapping） simultaneous localization and mapping， refers to sensors built on robots in an unknown environment， constantly sensing surrounding information to create a map of the surrounding environment， and using the created map to achieve autonomous positioning. "Visual SLAM" refers to the camera as the main sensor. This paper first introduces the overall framework and application of visual SLAM， then classifies and introduces some classic visual SLAM systems， and summarizes the key issues that arise in visual SLAM. Finally， it elaborates on the future development direction of visual SLAM.

Key words： simultaneous localization and mapping； vision； camera； SLAM

1 視覺(jué)SLAM系統(tǒng)及應(yīng)用

由于圖象含有豐富的信息量，加上相機(jī)價(jià)格便宜，易于集成到其他硬件平臺(tái)上，采用相機(jī)作為傳感器的視覺(jué)SLAM得到了巨大的發(fā)展，從理論和實(shí)踐上都有了巨大的轉(zhuǎn)變和突破，目前在市場(chǎng)上的應(yīng)用也越來(lái)越廣。

1.1 視覺(jué)SLAM系統(tǒng)框架

總體來(lái)說(shuō)，一個(gè)經(jīng)典的視覺(jué)SLAM框架，可以大致的分為五個(gè)模塊，如下圖所示：

1） 傳感器數(shù)據(jù)信息讀取。在視覺(jué)SLAM中主要是相機(jī)圖像信息的數(shù)據(jù)讀取。

2） 視覺(jué)里程計(jì)（Visual Odometry，VO）。VO被定義為通過(guò)觀察其環(huán)境的一系列圖像來(lái)估計(jì)機(jī)器人的運(yùn)動(dòng)（相對(duì)于參考框架的平移和旋轉(zhuǎn)）的過(guò)程。VO是一種被稱為運(yùn)動(dòng)結(jié)構(gòu)（SFM）的技術(shù)的一個(gè)特例，它解決了環(huán)境結(jié)構(gòu)和攝像機(jī)從順序排列到無(wú)序排列的圖像集三維重建問(wèn)題。

3） 后端優(yōu)化（Optimization）。后端優(yōu)化主要指采用擴(kuò)展卡爾曼濾波器（Extended Kalman Filter，EKF）或其他濾波器處理SLAM過(guò)程中噪聲的問(wèn)題。還可以采用稀疏的光束平差法（Bundle Adjustment，BA）進(jìn)行優(yōu)化，從而得到全局一致的軌跡和地圖。

4） 回環(huán)檢測(cè)（Loop Closing）。當(dāng)相機(jī)在空間中運(yùn)動(dòng)的時(shí)候，很有可能出現(xiàn)相機(jī)到達(dá)之前到過(guò)的某個(gè)點(diǎn)。此時(shí)表明發(fā)生了回環(huán)，后端對(duì)得到的信息進(jìn)行優(yōu)化處理。

5） 建圖（Mapping）。根據(jù)不同的應(yīng)用場(chǎng)景，構(gòu)建不同的地圖。包括二維和三維地圖，柵格地圖和拓?fù)涞貓D。

1.2 視覺(jué)SLAM的應(yīng)用

視覺(jué)SLAM可以定位相機(jī)在空間中的位置，同時(shí)創(chuàng)建周邊的環(huán)境地圖，作為當(dāng)今最為前沿的技術(shù)之一，在新興領(lǐng)域，如AR/VR、移動(dòng)機(jī)器人、無(wú)人駕駛、無(wú)人機(jī)的應(yīng)用主要有如下幾點(diǎn)：

1） 在AR/VR領(lǐng)域，可以利用產(chǎn)生的圖像信息，實(shí)時(shí)快速地進(jìn)行跟蹤處理，同時(shí)構(gòu)建地圖和當(dāng)前視角進(jìn)行比對(duì)，渲染虛擬物體使其看起來(lái)更具真實(shí)感。

2） 在移動(dòng)機(jī)器人領(lǐng)域，機(jī)器人可以根據(jù)SLAM基于采集圖像生成的地圖，自動(dòng)執(zhí)行路徑規(guī)劃、導(dǎo)航等任務(wù)。

3） 在無(wú)人駕駛領(lǐng)域，主要使用視覺(jué)SLAM的視覺(jué)里程計(jì)功能，然后跟其他的定位方式融合。

4） 在無(wú)人機(jī)領(lǐng)域，視覺(jué)SLAM根據(jù)無(wú)人機(jī)采集的圖像，生成環(huán)境局部地圖，對(duì)無(wú)人機(jī)的路徑規(guī)劃、壁障等進(jìn)行輔助。

2 經(jīng)典的視覺(jué)SLAM系統(tǒng)

根據(jù)使用的視覺(jué)傳感器不同，視覺(jué)SLAM系統(tǒng)可以劃分為單目SLAM、雙目SLAM和RGB-D SLAM系統(tǒng)。其中，單目SLAM只有一個(gè)相機(jī)，結(jié)構(gòu)較為簡(jiǎn)單。雙目相機(jī)由兩個(gè)單目相機(jī)組成，這兩個(gè)單目之間的距離稱為基線。深度攝像頭不僅可以采集圖像信息，還能同時(shí)獲取圖像的深度信息。

視覺(jué)SLAM系統(tǒng)還可以依據(jù)對(duì)圖像的處理方式，分為基于圖像的直接法和基于圖像特征的非直接法。依據(jù)構(gòu)建地圖的稀疏程度，分為稀疏和稠密兩種。

下面看看視覺(jué)SLAM發(fā)展史上一些經(jīng)典的系統(tǒng)。

2.1 MonoSLAM

提到視覺(jué)SLAM系統(tǒng)就不得不提Andrew Davison 教授在2007年提出的MonoSLAM[1]。

MonoSLAM系統(tǒng)是SLAM方法單目相機(jī)移動(dòng)機(jī)器人“純視覺(jué)”領(lǐng)域的第一個(gè)成功應(yīng)用，相比較于SFM（Structure From Motion），更具有實(shí)時(shí)性。該方法的核心是在概率框架內(nèi)在線創(chuàng)建稀疏但持久的自然標(biāo)記地圖。

主要貢獻(xiàn)包括積極的繪圖和測(cè)量方法，使用一般運(yùn)動(dòng)模型來(lái)平滑相機(jī)移動(dòng)，以及單眼特征初始化和特征方向估計(jì)的解決方案。

2.2 PTAM

2007年，Klein等人提出了PTAM[2]，是視覺(jué)SLAM發(fā)展中重要的里程碑。PTAM根據(jù)圖像上的特征點(diǎn)檢測(cè)出平面，基于平面建立三維坐標(biāo)。將跟蹤與建圖兩個(gè)過(guò)程并行化處理，采取非線性優(yōu)化方案，并分離前后端。

但是PTAM的應(yīng)用場(chǎng)景小，跟蹤容易丟失。

2.3 ORB-SLAM

2015年，Raul Mur-Artal等人提出ORB-SLAM[3]，ORB-SLAM系統(tǒng)完全圍繞ORB特征點(diǎn)進(jìn)行計(jì)算平衡了效率和精度兩者的關(guān)系。在PTAM的基礎(chǔ)上，增加了地圖初始化和閉環(huán)檢測(cè)的功能，對(duì)于關(guān)鍵幀的選取和地圖構(gòu)建，都進(jìn)行了優(yōu)化。顯著提升了處理速度和追蹤效果，同時(shí)提高了地圖的精度。ORB-SLAM是基于單目相機(jī)的，同時(shí)要注意ORB-SLAM構(gòu)建的地圖是稀疏的。

該系統(tǒng)可以在標(biāo)準(zhǔn)CPU中實(shí)時(shí)工作，適用于各種環(huán)境，從小型手持室內(nèi)場(chǎng)景到工業(yè)環(huán)境中的無(wú)人駕駛飛機(jī)以及在城市中駕駛的汽車。 基于單眼和立體觀測(cè)的BA算法（Bundle Adjustment）的后端可以進(jìn)行準(zhǔn)確的軌跡估計(jì)。

2016年，ORB-SLAM的作者又推出了ORB-SLAM2，增加了ORB-SLAM系統(tǒng)的應(yīng)用范圍，新增了雙目和RGB-D兩種模式。

2.4 LSD-SLAM

2014年，J. Engle等人提出了LSD-SLAM[4]系統(tǒng)。LSD-SLAM系統(tǒng)提出了一種直接（無(wú)特征）單目SLAM算法，與當(dāng)前最先進(jìn)的直接方法相比，它允許構(gòu)建大規(guī)模，一致的環(huán)境地圖。 除了基于直接圖像對(duì)齊的高度準(zhǔn)確的姿態(tài)估計(jì)之外，還能將三維環(huán)境實(shí)時(shí)重建為具有關(guān)聯(lián)的半稠密地圖。

LSD-SLAM系統(tǒng)在回環(huán)檢測(cè)這一環(huán)節(jié)，依然依賴于對(duì)特征點(diǎn)的計(jì)算。

2.5 DSO

2016年，J. Engle等人提出了DSO（Direct Sparse Odometry）[5]。在SLAM領(lǐng)域，DSO屬于稀疏直接法，它將完全直接的概率模型（最小化光度誤差）與所有模型參數(shù)（包括幾何參數(shù) - 表示為參考幀中的反向深度）和相機(jī)運(yùn)動(dòng)的一致性聯(lián)合優(yōu)化相結(jié)合。實(shí)驗(yàn)表明，在跟蹤精度和穩(wěn)健性方面，DSO在各種現(xiàn)實(shí)環(huán)境中顯著優(yōu)于其他的直接和間接方法。本方法不需要使用復(fù)雜而且耗時(shí)的特征提取，而在光強(qiáng)梯度大的區(qū)域自動(dòng)選定特征點(diǎn)。通常這樣的特征點(diǎn)比目前ORB-SLAM的特征點(diǎn)多很多，從而得到更高的精度。DSO方法能達(dá)到傳統(tǒng)特征點(diǎn)法的五倍速度，并保持同等或更高精度。它的另外一個(gè)優(yōu)勢(shì)是可以構(gòu)建半稠密甚至稠密的特征點(diǎn)，用于語(yǔ)義（semantic）SLAM，提高智能機(jī)器人對(duì)環(huán)境的認(rèn)知。

3 視覺(jué)SLAM中的關(guān)鍵性問(wèn)題

3.1 特征點(diǎn)檢測(cè)與匹配

點(diǎn)特征法是視覺(jué)SLAM中常用的特征點(diǎn)檢測(cè)方法。常見(jiàn)的特征點(diǎn)提取算法，包括SIFT（Scale invariant feature transform）[6]、SURF（Speeded up robust features）[7]和ORB（oriented fast and rotated BRIEF）[8]特征，其中SIFT具有較好的可辨識(shí)性，SURF具有較好的旋轉(zhuǎn)不變性和尺度不變性，而且比SIFT的速度更快，ORB具有旋轉(zhuǎn)不變性而不具有尺度不變性，在計(jì)算速度方面，顯著優(yōu)于SIFT和SURF特征。檢測(cè)出特征點(diǎn)后，在視覺(jué)里程計(jì)中根據(jù)特征點(diǎn)進(jìn)行匹配，將相鄰圖像中的特征點(diǎn)對(duì)應(yīng)起來(lái)，從而計(jì)算出相機(jī)的位姿。

3.2 關(guān)鍵幀的選擇

由于估計(jì)相機(jī)位姿過(guò)程中，幀與幀之間的對(duì)準(zhǔn)會(huì)產(chǎn)生較多的誤差，因此采用關(guān)鍵幀進(jìn)行建圖和定位，這樣還能減少計(jì)算量，同時(shí)降低內(nèi)存損耗。

不同的SLAM系統(tǒng)選取關(guān)鍵幀的時(shí)刻都有所差異。在單目SLAM中，通常新的關(guān)鍵幀需要跟上一個(gè)關(guān)鍵幀有足夠的視差，在跟蹤的特征點(diǎn)數(shù)量低于某個(gè)數(shù)值時(shí)，也會(huì)重新選取新的關(guān)鍵幀。ORB-SLAM系統(tǒng)中，新的關(guān)鍵幀出現(xiàn)在當(dāng)前跟蹤失敗，本地建圖空閑狀態(tài)等情況下。對(duì)關(guān)鍵幀的選取方法上，較為常用的方法是依據(jù)幀間相對(duì)運(yùn)動(dòng)距離來(lái)選擇關(guān)鍵幀。

3.3 閉環(huán)檢測(cè)

在對(duì)相機(jī)當(dāng)前的位置進(jìn)行識(shí)別，判斷之前是否到達(dá)過(guò)該位置，如果到達(dá)過(guò)，則檢測(cè)出閉環(huán)并進(jìn)行優(yōu)化，消除誤差。對(duì)相機(jī)位置識(shí)別的方法主要有三種，分別是地圖到地圖，圖像到圖像，圖像到地圖[9]。地圖到地圖是采用在兩個(gè)子地圖中的特征之間尋找對(duì)應(yīng)關(guān)系，同時(shí)考慮其外觀和相對(duì)位置。圖像到圖像的方法是在相機(jī)的最新圖像和以前看到的圖像之間尋找對(duì)應(yīng)關(guān)系。而圖像到地圖是在相機(jī)的最新幀和地圖中的要素之間尋找對(duì)應(yīng)關(guān)系。文獻(xiàn)9最終得出圖像對(duì)圖像的匹配精度更高。

3.4 地圖優(yōu)化

視覺(jué)SLAM視覺(jué)里程計(jì)部分，首先是構(gòu)建圖，采取機(jī)器人位姿作為圖的定點(diǎn)，位姿關(guān)系作為圖的邊線。位姿可以通過(guò)編碼器數(shù)據(jù)計(jì)算或者閉環(huán)檢測(cè)等方法得出，將得到的位姿加入地圖中，進(jìn)行圖優(yōu)化。

圖優(yōu)化處理部分，可以采用圖優(yōu)化框架g2o（general graph optimization）[10]里的LM（Levenberg Marquardt）算法。

4 視覺(jué)SLAM的發(fā)展方向

在不遠(yuǎn)的將來(lái)，視覺(jué)SLAM的發(fā)展將朝向兩個(gè)主要的方面：首先是利用高性能的計(jì)算器，實(shí)現(xiàn)高精密三維重建。其次是考慮到計(jì)算量上的限制，往嵌入式設(shè)備，例如手機(jī)等移動(dòng)終端方向的發(fā)展，這一塊主要是小型輕量級(jí)。

當(dāng)前的視覺(jué)SLAM研究熱點(diǎn)主要包括：相機(jī)傳感器和慣性傳感器（IMU）的結(jié)合，也就是視覺(jué)慣性里程計(jì)（VIO），相機(jī)在短時(shí)間內(nèi)的快速移動(dòng)上，精度不夠，而IMU在這一點(diǎn)上能很好的進(jìn)行很好的位姿估計(jì)。

隨著深度學(xué)習(xí)的火熱，雖然SLAM的傳統(tǒng)幾何方法依然不可撼動(dòng)，但是將SLAM和深度學(xué)習(xí)結(jié)合起來(lái)處理圖像也成為了一種趨勢(shì)，SLAM中的各個(gè)環(huán)節(jié)分別運(yùn)用深度學(xué)習(xí)技術(shù)，能夠提高精度和魯棒性。

還可以將語(yǔ)義分割應(yīng)用到SLAM中，我們通過(guò)深度學(xué)習(xí)技術(shù)從圖像中獲取大量的語(yǔ)義信息，應(yīng)用到SLAM中，輔助推斷關(guān)于環(huán)境的幾何信息，能夠起到不錯(cuò)的效果。

未來(lái)的視覺(jué)SLAM系統(tǒng)肯定會(huì)在原有的框架下做出進(jìn)一步的改善，使視覺(jué)SLAM系統(tǒng)能夠適應(yīng)不同的環(huán)境，同時(shí)應(yīng)付各種復(fù)雜環(huán)境下的挑戰(zhàn)。感謝SLAM技術(shù)的研究者們，是他們的不懈努力推動(dòng)著SLAM技術(shù)的不斷發(fā)展。

參考文獻(xiàn)：

[1] DAVISONA J， REID I D， N. MOLTON N D，et al. MonoSLAM： Real-time single camera SLAM[J]. IEEE transactions on Pattern Analysis and Machine Intelligence， 2007，29（6）：1052-1067.

[2] KLEIN G， MURRAY D. Parallel Tracking and Mapping for Small AR Workspaces[C]//IEEE and ACM International Symposium on Mixed and Augmented Reality. Nara，Japan，2007： 225-234.

[3] MUR-ARTAL R， MONTIEL J M M， Tardós J D. ORB-SLAM： A Versatile and Accurate Monocular SLAM System[J]. IEEE Transactions on Robotics， 2015， 31（5）：1147-1163.

[4] ENGEL J， SCH?PS T， CREMERS D. LSD-SLAM： Large-Scale Direct Monocular SLAM[M]// Computer Vision – ECCV 2014. Springer International Publishing， 2014：834-849.

[5] ENGEL J，Koltun V， Cremers D.Direct Sparse Odometry[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，2017，1（12）： 611-625.

[6] Lowe D G. Distinctive Image Features from Scale-Invariant Keypoints[M]. Kluwer Academic Publishers， 2004.

[7] Bay H， Tuytelaars T， Gool L V. SURF： Speeded Up Robust Features[M]// Computer Vision-ECCV 2006. Springer Berlin Heidelberg， 2006：404-417.

[8] Rublee E， Rabaud V， Konolige K， et al. ORB： An efficient alternative to SIFT or SURF[C]// IEEE International Conference on Computer Vision. IEEE， 2012：2564-2571.

[9] Williams B， Cummins M， Neira J， et al. A comparison of loop closing techniques in monocular SLAM[J]. Robotics & Autonomous Systems， 2009， 57（12）：1188-1197.

[10] Kümmerle R， Grisetti G， Strasdat H， et al. G2o： A general framework for graph optimization[C]// IEEE International Conference on Robotics and Automation. IEEE， 2011：e43478.