多旋翼無人機(jī)單目V-SLAM研究綜述

趙良玉　朱葉青　金瑞

摘要：? ? ? ?視覺同時(shí)定位與地圖構(gòu)建（V-SLAM）方法是保證多旋翼無人機(jī)在環(huán)境先驗(yàn)信息未知情況下正常工作的有效途徑， 對(duì)于多旋翼無人機(jī)的定位、 導(dǎo)航和路徑規(guī)劃等具有重要意義。 針對(duì)多旋翼無人機(jī)V-SLAM方法的國(guó)內(nèi)外最新研究成果進(jìn)行綜述。 首先， 在簡(jiǎn)述V-SLAM分類及發(fā)展歷程的基礎(chǔ)上， 綜述了國(guó)內(nèi)外具有代表性的基于濾波、 基于優(yōu)化、 基于直接法及融合IMU數(shù)據(jù)的單目V-SLAM系統(tǒng)核心思想及特點(diǎn); 然后， 分析了單目V-SLAM系統(tǒng)應(yīng)用于多旋翼無人機(jī)的可行性， 介紹了國(guó)內(nèi)外若干從事多旋翼無人機(jī)單目V-SLAM研究的團(tuán)隊(duì)及其主要研究成果; 最后， 討論了近年來V-SLAM的研究熱點(diǎn)和發(fā)展趨勢(shì)。

關(guān)鍵詞：? ? ?多旋翼無人機(jī); 視覺同時(shí)定位與地圖構(gòu)建; 單目視覺; 優(yōu)化; 濾波; 慣性測(cè)量單元

中圖分類號(hào)：? ? TJ765; V279? 文獻(xiàn)標(biāo)識(shí)碼：? ? A文章編號(hào)：? ? ?1673-5048（2020）02-0001-140

引言

近年來， 無人機(jī)[1]（Unmanned Aerial Vehicles， UAV）技術(shù)得到飛速發(fā)展， 其中多旋翼無人機(jī)（Multi-Rotor UAV）因具有空中懸停[2]、 垂直起降、 操作靈活等優(yōu)點(diǎn)， 在軍事偵察[3]、 災(zāi)難救援、 工程測(cè)繪、 空間數(shù)據(jù)采集、 地理探測(cè)、 動(dòng)物保護(hù)等諸多領(lǐng)域得到了廣泛應(yīng)用。 同時(shí)定位與地圖構(gòu)建[4]（Simultaneous Localization and Mapping， SLAM）方法由Smith和Cheeseman于1986年提出[5]， 最早應(yīng)用于移動(dòng)機(jī)器人領(lǐng)域， 指在環(huán)境先驗(yàn)信息未知情況下， 裝有特定傳感器的載體于運(yùn)動(dòng)過程中構(gòu)建環(huán)境模型， 同時(shí)估計(jì)自身的狀態(tài)和位置信息， 從而實(shí)現(xiàn)自主定位與導(dǎo)航。 視覺同時(shí)定位與地圖構(gòu)建（Visual Simultaneous Localization and Mapping， V-SLAM）方法以其小范圍內(nèi)定位精度高、 無需任何環(huán)境先驗(yàn)信息、 硬件成本低廉、 不易受外界干擾（僅需一個(gè)普通攝像頭）及信息量獲取豐富等優(yōu)點(diǎn)， 成為近年來的熱門研究方向。 其中， 單目相機(jī)功耗低、 質(zhì)量輕， 一方面較雙目相機(jī)節(jié)省計(jì)算資源， 另一方面比深度相機(jī)測(cè)距范圍更廣， 可適用于室內(nèi)外等多場(chǎng)景， 使得單目V-SLAM系統(tǒng)與無人機(jī)平臺(tái)的結(jié)合有著先天優(yōu)勢(shì)。

SLAM技術(shù)自提出以來， 出現(xiàn)了一些相關(guān)的教程[6-8]及針對(duì)其原理和常用模塊的總結(jié)[9-11]， 如國(guó)內(nèi)外專家對(duì)基于濾波的SLAM[12]、 基于圖優(yōu)化的SLAM[13]、 基于深度學(xué)習(xí)的SLAM[14-15]、 典型V-SLAM方法[16-18]、 視覺慣性SLAM[19]、 SLAM后端優(yōu)化方法[20]和面向無人車的V-SLAM[21]等進(jìn)行了綜述。 目前， 能夠檢索到的關(guān)于無人機(jī)V-SLAM的文獻(xiàn)綜述發(fā)表時(shí)間相對(duì)較早[22-23]， 盡管多旋翼無人機(jī)的V-SLAM技術(shù)已逐漸引起國(guó)內(nèi)外學(xué)者的研究興趣， 但對(duì)其系統(tǒng)性的介紹還比較少， 如文獻(xiàn)[24]也僅僅只是提到了V-SLAM算法在UAV中的應(yīng)用問題。 鑒于此， 本文將重點(diǎn)介紹近年來單目V-SLAM技術(shù)取得的標(biāo)志性研究成果， 對(duì)具有代表性的V-SLAM系統(tǒng)框架和結(jié)構(gòu)進(jìn)行分析和比較， 同時(shí)針對(duì)多旋翼無人機(jī)V-SLAM最新研究熱點(diǎn)和發(fā)展趨勢(shì)進(jìn)行討論、 總結(jié)和展望。

航空兵器2020年第27卷第2期趙良玉， 等： 多旋翼無人機(jī)單目V-SLAM研究綜述1V-SLAM架構(gòu)及其數(shù)學(xué)描述

如圖1所示， 經(jīng)典V-SLAM系統(tǒng)主要分為兩大部分， 前端進(jìn)行特征提取和數(shù)據(jù)關(guān)聯(lián)（包括特征跟蹤和閉環(huán)檢測(cè)）， 用于估計(jì)相鄰圖像間相機(jī)的運(yùn)動(dòng)以及局部地圖， 后端進(jìn)行優(yōu)化， 用于建立全局一致的軌跡和地圖， 消除運(yùn)行中的累計(jì)誤差[25]。

可通過最小二乘法求解式（10）的最優(yōu)解， 得到狀態(tài)變量χ的最大似然估計(jì)值。 由于噪聲的存在， 所估計(jì)的位姿與地圖在代入SLAM的運(yùn)動(dòng)方程、 觀測(cè)方程中并不一定成立， 通過不斷優(yōu)化狀態(tài)估計(jì)值， 從而使系統(tǒng)整體誤差下降到一個(gè)極小值， 便認(rèn)為得到較為準(zhǔn)確的無人機(jī)位姿x及地圖點(diǎn)y。

2代表性的單目V-SLAM系統(tǒng)

SLAM的發(fā)展按時(shí)間線可大致分為三個(gè)階段[6]： 第一個(gè)階段是1986～2004年， 稱為經(jīng)典時(shí)代， 該階段主要提出了V-SLAM的概念， 并將其轉(zhuǎn)換為一個(gè)狀態(tài)估計(jì)問題， 后端以基于濾波的形式占據(jù)主流， 針對(duì)前端數(shù)據(jù)關(guān)聯(lián)的效率及魯棒性進(jìn)行了深入研究; 第二個(gè)階段是2004～2015年， 稱為算法分析時(shí)代， 該階段發(fā)現(xiàn)在使用非線性優(yōu)化求解V-SLAM問題過程中， 可利用矩陣的稀疏性加速計(jì)算， 至此以非線性優(yōu)化的形式占據(jù)主流， 逐漸出現(xiàn)了多種開源的SLAM框架， 針對(duì)SLAM的可觀測(cè)性、 收斂性以及一致性進(jìn)行了深入研究; 第三個(gè)階段從2015年至今， 稱為魯棒感知時(shí)代， 研究重點(diǎn)主要使算法具有自主調(diào)參能力， 以適應(yīng)各種環(huán)境和長(zhǎng)時(shí)間有效運(yùn)行， 并在更高層次理解環(huán)境信息生成自適應(yīng)地圖。 本節(jié)重點(diǎn)介紹幾類具有代表性的單目V-SLAM系統(tǒng)。

2.1基于濾波的V-SLAM

Davison第一個(gè)提出了稱為MonoSLAM[27]的純視覺單目實(shí)時(shí)SLAM系統(tǒng)。 該系統(tǒng)利用擴(kuò)展卡爾曼濾波（Extended Kalman Filter， EKF）來實(shí)現(xiàn)室內(nèi)場(chǎng)景下的同時(shí)定位與地圖構(gòu)建。 該V-SLAM系統(tǒng)可實(shí)時(shí)復(fù)現(xiàn)單目相機(jī)在未知場(chǎng)景里隨機(jī)運(yùn)動(dòng)的3D運(yùn)動(dòng)軌跡。 由于MonoSLAM系統(tǒng)使用具有恒定線性速度和角速度的運(yùn)動(dòng)模型， 使得其無法正確處理相機(jī)的突然移動(dòng)， 限制了其應(yīng)用范圍。 Gee等人[28]在考慮相機(jī)加速運(yùn)行時(shí)線速度和角速度變化的情況下進(jìn)行了改進(jìn)， 運(yùn)行頻率可達(dá)200 Hz。 但該算法由于地圖規(guī)模、 計(jì)算量增長(zhǎng)過快， 實(shí)時(shí)性能只能維持幾秒鐘的時(shí)間。 Montemerlo等[29]在Rao-Blackwellized粒子濾波（Particle Filter）[30]框架的基礎(chǔ)上， 提出一種FastSLAM方法以解決SLAM的實(shí)時(shí)性問題。 該方法將SLAM分解為一個(gè)定位問題、 一個(gè)建圖問題， 使用粒子濾波估計(jì)相機(jī)位姿， 使用EKF估計(jì)地圖中地標(biāo)點(diǎn)的位置。

2.2基于優(yōu)化的V-SLAM

PTAM（Parallel Tracking and Mapping）是Klein[31]于2007年提出并開源的。 作為第一個(gè)提出使用多線程的V-SLAM算法， 其核心思想是將跟蹤和建圖作為兩個(gè)獨(dú)立任務(wù)， 并使用兩個(gè)線程并行處理。 跟蹤線程中使用極限特征搜索的方式初始化特征信息， 通過三角化恢復(fù)場(chǎng)景點(diǎn)三維位置; 同時(shí)， PTAM還是第一個(gè)使用Buddle Adjustment（BA）非線性優(yōu)化作為后端處理方案的算法。 PTAM具有的里程碑意義在于， V-SLAM后端算法由傳統(tǒng)的使用濾波器向使用非線性優(yōu)化轉(zhuǎn)變。 不過， PTAM作為早期應(yīng)用于增強(qiáng)現(xiàn)實(shí)技術(shù)（Augment Reality， AR）[31-32]的SLAM方法， 也具有自身的缺陷， 如跟蹤易丟失、 需要使用5點(diǎn)法手動(dòng)初始化地圖、 應(yīng)用場(chǎng)景比較小等。 目前， PTAM多應(yīng)用于AR領(lǐng)域中， 實(shí)際應(yīng)用到多旋翼無人機(jī)中仍然具有一定的難度。

ORB-SLAM由Murartal等[33-34]于2015年提出， 被認(rèn)為是目前比較完善的一種V-SLAM系統(tǒng)。 ORB-SLAM基于PTAM 的兩線程并行運(yùn)算框架， 融合了Galvez-Lopez和Tardos[35]的地點(diǎn)識(shí)別算法、 Strasdat等[36]提出的閉環(huán)檢測(cè)算法以及文獻(xiàn)[37-38]中的大場(chǎng)景操作方法， 創(chuàng)新性地采用了三線程并行運(yùn)算框架。 文獻(xiàn)[39]對(duì)單目視覺SLAM閉環(huán)檢測(cè)方法進(jìn)行改善， 通過減少需要比較的特征量來加速算法， 通過圖像檢測(cè)的優(yōu)化以及建立的立體約束使建圖更加準(zhǔn)確， 與ORB-SLAM和LSD-SLAM對(duì)比， 結(jié)果顯示出該方法運(yùn)算更加高效， 可用于多旋翼無人機(jī)自主導(dǎo)航。 文獻(xiàn)[40]利用ORB-SLAM2[34]稀疏特征點(diǎn)構(gòu)建用于無人機(jī)自主導(dǎo)航的地圖， 系統(tǒng)由增量的SLAM、 實(shí)時(shí)稠密地圖創(chuàng)建和自由空間提取三個(gè)部分組成， 獲得的自由空間體積可以作為運(yùn)動(dòng)規(guī)劃的常規(guī)幾何約束。

2.3基于直接法的V-SLAM

LSD-SLAM（Large-Scale Direct Monocular SLAM）由Engel等[41]在2014年提出， 該方法將直接圖像匹配的方法應(yīng)用于高精度位姿估計(jì)， 實(shí)時(shí)重建關(guān)鍵幀位姿圖和半稠密深度地圖。 該系統(tǒng)的優(yōu)勢(shì)在于： （1）在大尺度場(chǎng)景下實(shí)時(shí)運(yùn)行， 使用相似變換群表達(dá)尺度的漂移; （2）只考慮灰度梯度明顯區(qū)域的像素位置以實(shí)現(xiàn)半稠密場(chǎng)景的重建， 有效地節(jié)省了計(jì)算量。 文獻(xiàn)[42]在LSD-SLAM基礎(chǔ)上創(chuàng)建無人機(jī)視覺導(dǎo)航系統(tǒng)， 實(shí)時(shí)估計(jì)無人機(jī)的軌跡和重建真實(shí)場(chǎng)景的半稠密地圖， 提出使用障礙物重建和探索的方法， 克服了LSD-SLAM僅確定高梯度像素深度， 忽略紋理較少區(qū)域的弊端。

SVO（Semi-direct Visual Odometry）是由Forster等[43]在2014年提出的“半直接”視覺里程計(jì)法。 SVO是直接法與特征法的混合， 特征提取只是在初始化新的3D點(diǎn)時(shí)使用， 之后利用像素強(qiáng)度對(duì)比， 以及小的圖像塊匹配對(duì)相機(jī)位姿進(jìn)行估計(jì)。 即使在高幀率的運(yùn)行狀態(tài)下， SVO在處理紋理重復(fù)及重疊區(qū)域時(shí)仍然顯示了較好的收斂性， 產(chǎn)生極少的3D外點(diǎn)。 SVO[43]無需提取每幀的特征值， 可大大提高運(yùn)算速度， 應(yīng)用于無人機(jī)機(jī)載嵌入式模塊時(shí)處理幀速達(dá)55 幀/秒。 SVO也存在一些問題， 如為了強(qiáng)調(diào)速度和輕量化未建立全局一致性環(huán)境地圖， 摒棄了回環(huán)檢測(cè)以及后端優(yōu)化部分， 導(dǎo)致位姿估計(jì)依然存在著累積誤差等不足。 文獻(xiàn)[44]結(jié)合SVO算法提出一種基于單目的無人機(jī)實(shí)時(shí)三維重建[45]和自主著陸系統(tǒng)， 圖2描述了該文獻(xiàn)中無人機(jī)室內(nèi)避障飛行真實(shí)場(chǎng)景圖以及無人機(jī)實(shí)時(shí)重建三維場(chǎng)景圖和著陸過程。

2.4融合IMU的V-SLAM

單目V-SLAM自身框架存在一些固有問題， 如： （1）由于單目相機(jī)無法獲取環(huán)境的深度信息， 即使單目V-SLAM估計(jì)出的運(yùn)動(dòng)軌跡形狀跟實(shí)際運(yùn)行軌跡相同， 但其尺寸大小仍然不是真實(shí)尺寸; （2）當(dāng)相機(jī)運(yùn)動(dòng)近似純旋轉(zhuǎn)， 即沒有明顯的相對(duì)平移運(yùn)動(dòng)時(shí)， 無法使運(yùn)動(dòng)軌跡和地圖收斂， 與慣性測(cè)量單元（Inertial Measurement Unit， IMU）融合可以有效地解決上述問題。 Qin等[46]提出的單目VINS-Mono（Visual-Inertial System）狀態(tài)估計(jì)算法， 可以提供完整的俯仰角和滾轉(zhuǎn)角信息， 即僅在x， y， z三個(gè)方向以及偏航角上具有累計(jì)漂移， 因此只針對(duì)位姿圖的上述4個(gè)自由度進(jìn)行優(yōu)化， 降低了計(jì)算復(fù)雜度， 有效提高了算法的時(shí)效性。 圖3所示為VINS-Mono算法在多旋翼無人機(jī)飛行過程中生成的軌跡及構(gòu)建的稠密地圖， 其中紅色表示新生成的軌跡， 綠色表示無人機(jī)已經(jīng)執(zhí)行的軌跡， 周圍障礙物的高度用不同的顏色塊表示。

SVO[43]+MSF[47]以松耦合的方式通過擴(kuò)展卡爾曼濾波器， 將視覺里程計(jì)得到的位姿估計(jì)與IMU信息融合， 可以達(dá)到較高的計(jì)算效率， 缺點(diǎn)是需要手動(dòng)初始化尺度信息。 SVO+GTSAM[48]前端視覺里程計(jì)采用SVO， 后端使用iSAM2[49]完成在線因子圖優(yōu)化， 前端和后端分開使得幀處理的時(shí)間較短。 但由于三角化效果不佳， 會(huì)引起數(shù)值不穩(wěn)從而導(dǎo)致后端失效， 實(shí)驗(yàn)表明該方法不適用于無人機(jī)。

MSCKF[50]以EKF為后端緊耦合的視覺慣性里程計(jì)， 其狀態(tài)向量中只保留了多幀相機(jī)姿態(tài)， 利用滑動(dòng)窗口的方法優(yōu)化多幀圖像重投影誤差。 該方法沒有回環(huán)檢測(cè)， 使其計(jì)算復(fù)雜度較低， 運(yùn)行效率高， 且算法精度不受無人機(jī)硬件平臺(tái)的影響[51]。 ROVIO[52]是基于EKF的視覺/慣性測(cè)量單元融合的狀態(tài)估計(jì)算法， 通過將路標(biāo)點(diǎn)表示為方位向量和逆深度參數(shù)來減少初始化的延遲。 同等條件下應(yīng)用于無人機(jī)平臺(tái)[51]， ROVIO的精度要高于SVO+MSF， 同時(shí)資源占用要低于VINS-Mono。 為便于對(duì)比各類單目V-SLAM系統(tǒng)的組成與優(yōu)缺點(diǎn)， 對(duì)其應(yīng)用于多旋翼無人機(jī)的可行性進(jìn)行分析， 匯總列于表1。

國(guó)內(nèi)對(duì)多旋翼無人機(jī)V-SLAM的研究同樣取得了不少成果。 北京理工大學(xué)無人飛行器自主控制研究所圍繞無人機(jī)復(fù)雜環(huán)境下的目標(biāo)探測(cè)與自主定位、 協(xié)同控制等關(guān)鍵技術(shù)開展研究， 設(shè)計(jì)了垂直起降無人機(jī)自主著艦的輔助系統(tǒng)[65]。 北京航空航天大學(xué)可靠飛行控制研究組利用搭載單目相機(jī)的AR Drone 無人機(jī)進(jìn)行信息融合算法研究， 實(shí)現(xiàn)了魯棒姿態(tài)估計(jì)等[66]。 上海交通大學(xué)鄒丹平教授等提出了基于線特征的StructSLAM[67]以及多相機(jī)協(xié)作的CoSLAM[68]。 香港科技大學(xué)沈劭劼教授針對(duì)飛行器V-SLAM和IMU融合策略進(jìn)行研究， 提出了VINS-Mono[46]算法， 以及針對(duì)單目深度估計(jì)的MVDepthNet[69]算法等。

針對(duì)V-SLAM前端， 如數(shù)據(jù)關(guān)聯(lián)以及初始化等方面， 海軍航空工程學(xué)院的王希彬等[70]建立了利用相機(jī)和慣性傳感器組合的無人機(jī)V-SLAM算法模型， 提出了一種改進(jìn)的延遲地表初始化方法， 簡(jiǎn)化了系統(tǒng)狀態(tài)和方差陣的結(jié)構(gòu)， 減少了存儲(chǔ)和計(jì)算量， 但該方法的初始化條件需要依賴經(jīng)驗(yàn)獲取。 王希彬等[71]還針對(duì)SLAM數(shù)據(jù)關(guān)聯(lián)問題， 提出一種基于禁忌搜索的混沌蟻群算法， 利用該算法擴(kuò)大解的搜索空間， 從而得到了全局最優(yōu)解。 該方法將SLAM數(shù)據(jù)關(guān)聯(lián)問題轉(zhuǎn)化為組合優(yōu)化問題， 有效克服了單純蟻群算法容易陷入局部極限的缺陷， 提高了數(shù)據(jù)關(guān)聯(lián)率， 但是運(yùn)行時(shí)間要長(zhǎng)于單純的蟻群算法。 需要說明的是， 上述兩種算法均在無人機(jī)SLAM仿真環(huán)境中驗(yàn)證了其有效性。

針對(duì)V-SLAM后端， 如實(shí)施三維環(huán)境重建及點(diǎn)云匹配等問題， 中國(guó)科學(xué)院的呂科等[72]提出一種適用于微型無人機(jī)的V-SLAM方法， 使用Point-plane ICP點(diǎn)云匹配算法實(shí)現(xiàn)視覺自主定位， 利用機(jī)載處理器與地面站協(xié)同計(jì)算， 以滿足無人機(jī)控制的實(shí)時(shí)性要求。 該算法將視覺SLAM系統(tǒng)與IMU傳感器融合， 進(jìn)一步提升了自主定位和建圖精度， 但由于該算法使用RGB-D相機(jī)作為傳感器， 受其作用距離限制， 只適合在較小范圍的場(chǎng)景中應(yīng)用， 未來可考慮采用多傳感器融合的方式拓展其觀測(cè)距離并提高其實(shí)用性。 清華大學(xué)自動(dòng)化系的陳寶華等[73]提出了一種基于即時(shí)稠密三維重構(gòu)的無人機(jī)視覺定位方法， 通過多深度圖協(xié)同去噪與優(yōu)化方法構(gòu)建高質(zhì)量稠密點(diǎn)云， 并將其與衛(wèi)星圖像匹配以實(shí)現(xiàn)無人機(jī)定位， 這種基于虛擬視圖的地理定位算法， 其定位精度和定位準(zhǔn)確性均高于單張圖像匹配的方法。 深圳大學(xué)的蒙山等[74]提出一種多維幾何特征的單目視覺三維環(huán)境建模方法， 其思路是將線和面特征引入單目SLAM的三維地圖構(gòu)建過程， 以提高系統(tǒng)三維空間建模的搜索速度和穩(wěn)定性， 通過點(diǎn)線特征結(jié)合以及直線增強(qiáng)的J-Linkage算法提高特征平面的聚類速度和穩(wěn)定性， 減少系統(tǒng)三維空間表達(dá)的冗余信息， 但該方法更適合于點(diǎn)和線特征豐富的環(huán)境， 在紋理較弱的場(chǎng)景中效果欠佳。

在V-SLAM系統(tǒng)整體框架方面， 裝甲兵工程學(xué)院的劉峰等[75]基于ORB-SLAM算法設(shè)計(jì)搭建自主導(dǎo)航無人機(jī)平臺(tái)， 提出了一種ROS框架下在板運(yùn)行單目V-SLAM算法的自主無人機(jī)方案。 實(shí)驗(yàn)表明， 飛行器成功完成了設(shè)定的室內(nèi)導(dǎo)航飛行任務(wù)， 導(dǎo)航精度在±0.2 m以內(nèi)， 共構(gòu)建5 722個(gè)環(huán)境地圖點(diǎn)， 包含131幀關(guān)鍵幀， 平均每幀圖像跟蹤約150個(gè)特征點(diǎn)。 南京航空航天大學(xué)的叢楚瀅等[76]提出了一種小型無人機(jī)的FastSLAM算法， 并建立了其數(shù)學(xué)模型， 其思路是將無人機(jī)的SLAM問題分解成路徑估計(jì)與環(huán)境地標(biāo)估計(jì)兩部分， 采用M個(gè)粒子的粒子濾波器（Particle Filter）估計(jì)無人機(jī)軌跡， 對(duì)于地圖中每個(gè)獨(dú)立的地標(biāo)， 則采用一個(gè)單獨(dú)的EKF進(jìn)行估計(jì)。

可以看出， 國(guó)內(nèi)外專家和學(xué)者針對(duì)V-SLAM系統(tǒng)在多旋翼無人機(jī)領(lǐng)域的應(yīng)用已經(jīng)做了大量的研究和探索， 越來越多的開源系統(tǒng)成為推動(dòng)V-SLAM技術(shù)日新月異發(fā)展的重要因素。 然而， 目前多數(shù)研究成果與實(shí)驗(yàn)是在較理想的實(shí)驗(yàn)室環(huán)境下進(jìn)行的， 在實(shí)際工程應(yīng)用中， 尚有諸多現(xiàn)實(shí)問題需要克服， 如缺少紋理等復(fù)雜環(huán)境中的特征提取、 大場(chǎng)景的三維環(huán)境重建、 兼顧精度與時(shí)效性的算法、 高速運(yùn)動(dòng)狀態(tài)下算法的穩(wěn)定性等方面， 對(duì)國(guó)內(nèi)外廣大研究者和學(xué)者來說依然具有較大的挑戰(zhàn)性。

4V-SLAM研究熱點(diǎn)及發(fā)展趨勢(shì)

4.1V-SLAM與深度學(xué)習(xí)的結(jié)合

深度學(xué)習(xí)在計(jì)算機(jī)視覺等領(lǐng)域的應(yīng)用已經(jīng)取得了顯著效果， 目前越來越多的研究者將深度學(xué)習(xí)與SLAM相結(jié)合（與SLAM前端相結(jié)合可處理傳感器得到的信息[77]， 與后端相結(jié)合可用于幾何特征的優(yōu)化[78]， 與閉環(huán)檢測(cè)相結(jié)合進(jìn)行重定位）， 甚至可以將深度學(xué)習(xí)應(yīng)用到語義SLAM， 通過物體識(shí)別、 目標(biāo)檢測(cè)以及語義分割獲得環(huán)境中獨(dú)立的個(gè)體， 以更加智能的方式完成指定任務(wù)[65]， 如無人機(jī)的路徑規(guī)劃及避障等。

Li等[79]將卷積神經(jīng)網(wǎng)絡(luò)（CNN）與LSD-SLAM相結(jié)合， 利用單目相機(jī)構(gòu)建半稠密三維地圖， 首先訓(xùn)練CNN模型實(shí)現(xiàn)二維語義分割， 然后實(shí)現(xiàn)相鄰關(guān)鍵幀的空間一致性對(duì)應(yīng)， 完成二維語義信息到三維建圖的轉(zhuǎn)換， 最后利用正則化去除地圖外點(diǎn)。 McCormac等[80]利用SLAM系統(tǒng)ElasticFusion[81]得到空間幾何信息， 將二維幀對(duì)應(yīng)到全局一致的三維地圖， 利用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行語義分割， 將多視點(diǎn)概率融合成帶有語義信息的稠密地圖。 Weerasekera等[82]通過訓(xùn)練深度卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)平面法線作為先驗(yàn)信息， 優(yōu)化重建效果， 克服了三維稠密地圖重建過程中地圖過于稀疏及需要手工輸入先驗(yàn)信息等問題。 DeepMind團(tuán)隊(duì)Silver等[83]通過深度神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)了超越先驗(yàn)知識(shí)局限性的機(jī)器自主監(jiān)督強(qiáng)化學(xué)習(xí)， 賦予機(jī)器完全自主學(xué)習(xí)和創(chuàng)新的能力， 使無法提供大量先驗(yàn)信息的訓(xùn)練具備了可行性。

目前深度學(xué)習(xí)與V-SLAM的結(jié)合仍僅限于某個(gè)單一模塊， 如特征提取、 圖像匹配以及回環(huán)檢測(cè)等， 深度學(xué)習(xí)在對(duì)大量數(shù)據(jù)訓(xùn)練方面具有明顯優(yōu)勢(shì)[84-85]， 但是其訓(xùn)練時(shí)間較長(zhǎng)， 所以將其應(yīng)用于無人機(jī)依然具有挑戰(zhàn)性。

4.2多傳感器信息融合

單一傳感器具有局限性， 如僅使用相機(jī)的V-SLAM過于依賴環(huán)境的紋理信息、 IMU具有誤差累計(jì)、 GPS室內(nèi)使用效果較差等， 因此， 多傳感器信息融合是V-SLAM研究的發(fā)展趨勢(shì)之一。

Tornqvist等[86]提出一種V-SLAM粒子濾波算法， 將RMAX航空器裝載的IMU和相機(jī)信息進(jìn)行融合， 采用粒子濾波器估計(jì)航空器姿態(tài)， 采用卡爾曼濾波器完成建圖。 Min等[87]利用卡爾曼濾波和無跡卡爾曼濾波將無人機(jī)GPS數(shù)據(jù)與三維模型的幾何信息和投影點(diǎn)進(jìn)行融合， 在GPS不可用區(qū)域， 采用相機(jī)得到的視覺信息， 確保目標(biāo)模型和非目標(biāo)區(qū)域的高精度定位與環(huán)境感知。 Chowdhary等[88]提出了一種利用信任指數(shù)更新特征列表的數(shù)據(jù)庫管理算法。 該算法采用Harris[89]角點(diǎn)檢測(cè)器進(jìn)行特征定位， 通過特征對(duì)應(yīng)法對(duì)數(shù)據(jù)庫進(jìn)行更新， 并通過EKF將相機(jī)、 IMU和聲吶傳感器相融合， 以測(cè)量和估計(jì)飛行器狀態(tài)。 Huh等[90]提出了一種標(biāo)定相機(jī)和激光傳感器的方法以及基于EKF的實(shí)時(shí)V-SLAM導(dǎo)航算法， 將相機(jī)、 激光掃描儀和IMU融合用于無人機(jī)姿態(tài)估計(jì)和建圖。

Yang等[91]提出一種實(shí)時(shí)單目稠密地圖構(gòu)建算法， 其中無人機(jī)掛載的傳感器為單目相機(jī)和IMU， 構(gòu)建的全局圖可用于無人機(jī)避障和導(dǎo)航。 Urzua等[92]提出一種無GPS定位信息狀態(tài)下的無人機(jī)狀態(tài)估計(jì)算法， 通過EKF融合IMU、 相機(jī)、 二維激光雷達(dá)傳感器信息得到精準(zhǔn)定位。

新型傳感器的不斷涌現(xiàn)為多傳感器信息融合提供了新的機(jī)遇和挑戰(zhàn)， 同時(shí)也為V-SLAM在多旋翼無人機(jī)領(lǐng)域的應(yīng)用提供了更多智能和實(shí)用選擇。 如蘇黎世大學(xué)的Davide Scaramuzza實(shí)驗(yàn)室于2016年首次在四旋翼無人機(jī)上使用了動(dòng)態(tài)視覺傳感器Event Camera。 該傳感器較傳統(tǒng)相機(jī)最大不同點(diǎn)是， 其記錄的不是周圍環(huán)境的單一場(chǎng)景而是場(chǎng)景之間的變化， 在無人機(jī)狀態(tài)估計(jì)以及躲避移動(dòng)物體等任務(wù)中的表現(xiàn)明顯優(yōu)于傳統(tǒng)相機(jī)。

4.3多無人機(jī)協(xié)同中的V-SLAM

隨著無人機(jī)技術(shù)的飛速發(fā)展， 多架無人機(jī)協(xié)同工作以其特有的優(yōu)勢(shì)[93-97]， 打破了單架無人機(jī)的局限性， 成為無人機(jī)技術(shù)發(fā)展的重要趨勢(shì)之一。 如何將V-SLAM應(yīng)用到多無人機(jī)協(xié)同工作場(chǎng)景下成為研究的重要方向之一。

Riazuelo等[98]描述了一種基于分布式云架構(gòu)的協(xié)同跟蹤和建圖的V-SLAM系統(tǒng)， 將計(jì)算量較大的地圖優(yōu)化及存儲(chǔ)過程放到云端進(jìn)行。 該系統(tǒng)提供地圖數(shù)據(jù)接口， 確保每個(gè)載體均可獨(dú)立建圖， 已存儲(chǔ)的地圖可被別的載體重復(fù)使用， 也可通過無線連接實(shí)現(xiàn)在線融合， 圖4描述了在線估計(jì)得到的A周圍地圖與存儲(chǔ)的B周圍地圖相融合得到更完整地圖的過程。 另外， 單個(gè)載體在檢測(cè)到遮擋時(shí)， 可根據(jù)評(píng)估將多個(gè)地圖融合在一起， 進(jìn)一步提升地圖的完整度和準(zhǔn)確性。

為了克服多機(jī)器人協(xié)同工作中網(wǎng)絡(luò)延遲以及帶寬限制的問題， Cieslewski等[99]提出一種分布式后端并發(fā)的構(gòu)圖方法， 通過版本控制系統(tǒng)允許多機(jī)器人并發(fā)地對(duì)地圖數(shù)據(jù)訪問， 使用異步更新的方式在多機(jī)器人之間共享歷史數(shù)據(jù)。 隨后， 為降低多機(jī)器人之間數(shù)據(jù)傳輸?shù)膹?fù)雜度， Cieslewski等[100]提出了一種高效數(shù)據(jù)關(guān)聯(lián)的方法， 將全圖描述符和位姿估計(jì)所需數(shù)據(jù)精準(zhǔn)地發(fā)送給單個(gè)機(jī)器人， 對(duì)位姿圖進(jìn)行分布式優(yōu)化， 使機(jī)器人之間的數(shù)據(jù)關(guān)聯(lián)及線性擴(kuò)展更加緊湊。

顯然， 多無人機(jī)協(xié)同環(huán)境下的V-SLAM系統(tǒng)具有更好的容錯(cuò)能力， 未來若能夠有效解決多機(jī)之間的網(wǎng)絡(luò)延遲、 帶寬限制， 以及數(shù)據(jù)傳輸復(fù)雜度等問題， 將可以使地圖融合、 任務(wù)規(guī)劃與調(diào)度、 通信拓?fù)涞热蝿?wù)更加高效， 魯棒性更好。

4.4動(dòng)態(tài)及復(fù)雜環(huán)境中V-SLAM

傳統(tǒng)SLAM算法研究的場(chǎng)景多為靜止?fàn)顟B(tài)， 而實(shí)際應(yīng)用多為動(dòng)態(tài)場(chǎng)景， 如存在由于光照等外界環(huán)境變化引起的紋理特征差異， 以及移動(dòng)物體的干擾等。

Tan等[101]提出一種單目V-SLAM在動(dòng)態(tài)環(huán)境下工作的算法， 通過自適應(yīng)隨機(jī)抽樣一致算法（Random Sample Consensus， RANSAC）去除外點(diǎn)， 確保在較復(fù)雜的環(huán)境中準(zhǔn)確地估計(jì)出相機(jī)位姿。 在有較大場(chǎng)景變化的區(qū)域， 該算法使用在線關(guān)鍵幀表示和更新方法， 達(dá)到自適應(yīng)周圍動(dòng)態(tài)環(huán)境的效果。 Yang等[102]在缺少紋理信息的情況下使用單目實(shí)時(shí)語義SLAM算法， 基于TUM數(shù)據(jù)集生成稠密語義三維模型， 存在的像素深度誤差僅為6.2 cm， 指出對(duì)場(chǎng)景的理解可以改進(jìn)狀態(tài)估計(jì)和稠密地圖構(gòu)建的精度。 Caccamo等[103]提出了一種同時(shí)對(duì)場(chǎng)景中的靜態(tài)區(qū)域及動(dòng)態(tài)物體進(jìn)行三維重建的方法。

針對(duì)飛行器在超高層建筑之間或幽深峽谷等環(huán)境中飛行時(shí)， 存在傳統(tǒng)狀態(tài)估計(jì)方法效果較差或者無法使用的問題， Qiu等[104]將單目魚眼相機(jī)和IMU兩者的測(cè)量值與3D模型相結(jié)合， 在二維圖像到三維模型的轉(zhuǎn)換過程中使用邊緣對(duì)齊的方法， 有效適應(yīng)照明條件和相機(jī)特性的強(qiáng)烈變化。 Fehr等[105]提出了一種基于擴(kuò)展TSDF的方法， 可對(duì)環(huán)境中動(dòng)態(tài)目標(biāo)進(jìn)行三維重建并細(xì)化靜態(tài)地圖。

4.5討論

（1） 現(xiàn)階段視覺SLAM系統(tǒng)， 在面對(duì)真實(shí)工作條件下的復(fù)雜場(chǎng)景時(shí)（如相機(jī)的快速運(yùn)動(dòng)和大角度旋轉(zhuǎn)、 低紋理非結(jié)構(gòu)化的自然場(chǎng)景及復(fù)雜的光照條件， 亦或是大規(guī)模不確定的自然環(huán)境等）， 如何平衡SLAM系統(tǒng)實(shí)時(shí)性和準(zhǔn)確性， 確保系統(tǒng)的高魯棒性和適應(yīng)性， 提升故障的自我檢測(cè)和修復(fù)能力， 仍有待探索。

（2） 多傳感器間的優(yōu)勢(shì)互補(bǔ)可在很大程度上提高SLAM系統(tǒng)的綜合能力。 然而， 成熟的SLAM系統(tǒng)若集成多種傳感器， 一方面要考慮成本和平臺(tái)負(fù)載能力， 另一方面則要考慮因不同傳感器具有的不同數(shù)據(jù)類型、 誤差模型、 時(shí)間戳和坐標(biāo)系表示等導(dǎo)致的計(jì)算量過大問題。 如何應(yīng)對(duì)不同傳感器間的信息融合， 盡早地實(shí)現(xiàn)多傳感器下的微型化和低成本化， 將是未來的一個(gè)研究熱點(diǎn)。

（3） 深度學(xué)習(xí)已經(jīng)改進(jìn)或應(yīng)用于視覺SLAM的某一部分， 如圖像特征提取與匹配以及回環(huán)檢測(cè)等。 由于人類識(shí)別物體運(yùn)動(dòng)的基礎(chǔ)是感知而非圖像特征， 以類人化的發(fā)展進(jìn)程去展望未來， 用深度學(xué)習(xí)來重建并理解場(chǎng)景， 必將是未來SLAM的一個(gè)發(fā)展方向， 而端到端的學(xué)習(xí)方法是否會(huì)占據(jù)未來的主導(dǎo)地位仍是一個(gè)開放性話題。

（4） SLAM是軟硬件相結(jié)合的復(fù)雜系統(tǒng)， 軟件算法的突破， 離不開硬件基礎(chǔ)的革新， 兩者相輔相成。 未來， 隨著軟硬件技術(shù)的同步創(chuàng)新， SLAM將不僅存在于高性能計(jì)算平臺(tái)， 智能手機(jī)、 VR眼鏡和各類嵌入式平臺(tái)（如無人機(jī)、 移動(dòng)小車）都將是其的載體。 隨著大流量、 低延時(shí)的5G網(wǎng)絡(luò)興起， SLAM算法的突破， 將取決于網(wǎng)絡(luò)的覆蓋能力是否健全和系統(tǒng)算力是否得到根本性提升。

此外， 單目V-SLAM也具有自身的不足， 其最大的問題就是無法直接得到深度信息， 必須通過移動(dòng)相機(jī)視角并借助對(duì)極幾何和三角測(cè)量等方法來間接獲得深度信息。 雙目相機(jī)和RGB-D相機(jī)的出現(xiàn)， 大幅簡(jiǎn)化了V-SLAM中的深度計(jì)算部分， 讓系統(tǒng)魯棒性更好。 基于雙目相機(jī)和RGB-D相機(jī)的V-SLAM， 均已經(jīng)在無人機(jī)避障和機(jī)器人等領(lǐng)域獲得了應(yīng)用， 如大疆精靈4 Pro和Mavic系列產(chǎn)品。 這兩種SLAM系統(tǒng)， 可參見文獻(xiàn)[106-108]。

5結(jié)束語

近年來， 多旋翼無人機(jī)軟硬件平臺(tái)均取得了突破性的研究成果， 在軍事和民用領(lǐng)域發(fā)揮著越來越重要的作用， 單目相機(jī)等視覺傳感器的發(fā)展和普及也促使V-SLAM迅猛發(fā)展。 然而目前多旋翼無人機(jī)依然存在著負(fù)載能力有限、 應(yīng)用環(huán)境復(fù)雜、 飛行姿態(tài)不夠穩(wěn)定等諸多問題， 使得V-SLAM在無人機(jī)的實(shí)際應(yīng)用中還有許多理論以及工程問題尚未解決。

V-SLAM系統(tǒng)為順應(yīng)多旋翼無人機(jī)輕量化及小型化的發(fā)展趨勢(shì)， 為解決機(jī)載傳感器及計(jì)算處理單元等硬件設(shè)備性能受限等問題， 必須提高系統(tǒng)的魯棒性和計(jì)算能力， 同時(shí)降低質(zhì)量和能耗。 在未來的研究中， 只有能高效應(yīng)對(duì)各種復(fù)雜情況的V-SLAM系統(tǒng)才能夠滿足現(xiàn)實(shí)應(yīng)用的需求， 也才會(huì)成為國(guó)內(nèi)外專家學(xué)者的研究重點(diǎn)和研究熱點(diǎn)。

參考文獻(xiàn)：

[1] 夏進(jìn)， 姜子木， 王成華， 等. 基于Matlab的無人機(jī)通信信道模型的設(shè)計(jì)[J]. 航空兵器， 2019， 26（5）： 69-76.

Xia Jin， Jiang Zimu， Wang Chenghua， et al. Design of UAV Communication Channel Model Based on Matlab[J]. Aero Weaponry， 2019， 26（5）： 69-76. （in Chinese）

[2] 雷瑤， 林容釗， 吳智泉. 小型多旋翼飛行器懸停效率分析[J]. 兵工學(xué)報(bào)， 2019， 40（6）： 1323-1328.

Lei Yao， Lin Rongzhao， Wu Zhiquan. Experimental Study on the Aerodynamic Arrangement of Small MultiRotor Aircraft with High Capacity Payload[J]. Acta Armamentarii， 2019， 40（6）： 1323-1328. （in Chinese）

[3] 杜梓冰， 張立豐， 陳敬志， 等. 有人/無人機(jī)協(xié)同作戰(zhàn)演示驗(yàn)證試飛關(guān)鍵技術(shù)[J]. 航空兵器， 2019， 26（4）： 75-81.

Du Zibing， Zhang Lifeng， Chen Jingzhi， et al. Critical Technologies of Demonstration Flight Test of Cooperative Operation for Manned/Unmanned Aerial Vehicles[J]. Aero Weaponry， 2019， 26（4）： 75-81. （in Chinese）

[4] 劉浩敏， 章國(guó)鋒， 鮑虎軍. 基于單目視覺的同時(shí)定位與地圖構(gòu)建方法綜述[J]. 計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)， 2016， 28（6）： 855-868.

Liu Haomin， Zhang Guofeng， Bao Hujun. A Survey of Monocular Simultaneous Localization and Mapping[J]. Journal of ComputerAided Design & Computer Graphics， 2016， 28（6）： 855-868. （in Chinese）

[5] Smith R C， Cheeseman P. On the Representation and Estimation of Spatial Uncertainty[J]. The International Journal of Robotics Research， 1987， 5（4）： 56-68.

[6] Cadena C， Carlone L， Carrillo H， et al. Past， Present， and Future of Simultaneous Localization and Mapping： Toward the RobustPerception Age[J]. IEEE Transactions on Robotics， 2016， 32（6）： 1309-1332.

[7] DurrantWhyte H， Bailey T. Simultaneous Localization and Mapping： Part I [J]. IEEE Robotics & Automation Magazine， 2006， 13（2）： 99-110.

[8] Bailey T， DurrantWhyte H. Simultaneous Localization and Mapping （SLAM）： Part II[J]. IEEE Robotics & Automation Magazine， 2006， 13（3）： 108-117.

[9] Aulinas J， Petillot Y R， Salvi J， et al. The SLAM Problem： A Survey[C]∥ The 11th International Conference of the Catalan Association for Artificial Intelligence （CCIA）， Spain， 2008， 184（1）： 363-371.

[10] 何俊學(xué)， 李戰(zhàn)明. 基于視覺的同時(shí)定位與地圖構(gòu)建方法綜述[J]. 計(jì)算機(jī)應(yīng)用研究， 2010， 27（8）： 2839-2843.

He Junxue， Li Zhanming. Survey of VisionBased Approach to Simultaneous Localization and Mapping [J]. Application Research of Computer， 2010， 27（8）： 2839-2843. （in Chinese）

[11] Huang? S D， Dissanayake G. A Critique of Current Developments in Simultaneous Localization and Mapping[J]. International Journal of Advanced Robotic Systems， 2016， 13（5）： 1-13.

[12] Strasdat H， Montiel J M M， Davison A J， et al. Editors Choice Article： Visual SLAM： Why Filter[J]. Image and Vision Computing， 2012， 30（2）： 65-77.

[13] 梁明杰， 閔華清， 羅榮華. 基于圖優(yōu)化的同時(shí)定位與地圖創(chuàng)建綜述[J]. 機(jī)器人， 2013， 35（4）： 500-512.

Liang Mingjie， Min Huaqing， Luo Ronghua. GraphBased SLAM： A Survey[J]. Robot， 2013， 35（4）： 500-512. （in Chinese）

[14] 趙洋， 劉國(guó)良， 田國(guó)會(huì)， 等. 基于深度學(xué)習(xí)的視覺SLAM綜述[J]. 機(jī)器人， 2017， 39（6）： 889-896.

Zhao Yang， Liu Guoliang， Tian Guohui， et al. A Survey of Visual SLAM Based on Deep Learning[J]. Robot， 2017， 39（6）： 889-896. （in Chinese）

[15] 李少朋， 張濤. 深度學(xué)習(xí)在視覺SLAM中應(yīng)用綜述[J]. 空間控制技術(shù)與應(yīng)用， 2019， 45（2）： 1-10.

Li Shaopeng， Zhang Tao. A Survey of Deep Learning Application in Visual SLAM[J]. Aerospace Control and Application， 2019， 45（2）： 1-10. （in Chinese）

[16] Fuentespacheco J， Ruizascencio J， Rendonmancha J M， et al. Visual Simultaneous Localization and Mapping： A Survey[J]. Artificial Intelligence Review， 2015， 43（1）： 55-81.

[17] Huang B C， Zhao J， Liu J B. A Survey of Simultaneous Localization and Mapping [EB/OL]. （2019-10-12）[2020-01-14]. https：∥arxiv.org/abs/1909.05214.

[18] 權(quán)美香， 樸松昊， 李國(guó). 視覺SLAM綜述[J]. 智能系統(tǒng)學(xué)報(bào)， 2016， 11（6）： 768-776.

Quan Meixiang， Piao Songhao， Li Guo. An Overview of Visual SLAM[J]. CAAI Transaction on Intelligent Systems， 2016， 11（6）： 768-776. （in Chinese）

[19] Huang G. VisualInertial Navigation： A Concise Review[C]∥ International Conference on Robotics and Automation（ICRA）， Montreal， Canada， 2019： 9572-9582.

[20] Huang S. A Review of Optimization Strategies Used in Simultaneous Localization and Mapping[J]. Journal of Control and Decision， 2019， 6（1）： 61-74.

[21] Ros G， Sappa A， Ponsa D， et al. Visual SLAM for Driver Less Cars： A Brief Survey[C]∥Proceedings of IEEE Workshop on Navigation， Perception， Accurate Positioning and Mapping for Intelligent Vehicles， Los Alamitos， 2012： 1-6.

[22] 吳顯亮， 石宗英， 鐘宜生. 無人機(jī)視覺導(dǎo)航研究綜述[J]. 系統(tǒng)仿真學(xué)報(bào)， 2010， 22（1）： 62-65.

Wu Xianliang， Shi Zongying， Zhong Yisheng. An Overview of VisionBased UAV Navigation[J]. Journal of System Simulation， 2010， 22（1）： 62-65. （in Chinese）

[23] 王希彬， 趙國(guó)榮， 潘爽. 無人機(jī)視覺同時(shí)定位與地圖創(chuàng)建技術(shù)綜述[C]∥第30屆中國(guó)控制會(huì)議， 煙臺(tái)， 2011： 3913-3918.

Wang Xibin， Zhao Guorong， Pan Shuang. Overview on Simultaneous Localization and Mapping for Uninhabited Aerial Vehicle Vision[C]∥Proceedings of the 30th Chinese Control Conference， Yantai， China， 2011： 3913-3918. （in Chinese）

[24] AIKaff A， Gomez D M， Garcia F， et al. Survey of Computer Vision Algorithms and Applications for Unmanned Aerial Vehicles[J]. Expert System with Applications， 2018， 92： 447-463.

[25] Thrun S， Burard W， Fox D. Probabilistic Robotics[M]. New York： The MIT Press， 2005： 245-248.

[26] 高翔， 張濤， 劉毅. 視覺SLAM十四講： 從理論到實(shí)踐[M]. 北京： 電子工業(yè)出版社， 2017： 105-109.

Gao Xiang， Zhang Tao， Liu Yi. 14 Lessons of Visual SLAM： From Theory to Practice[M]. Beijing： Publishing House of Electronics Industry， 2017： 105-109. （in Chinese）

[27] Davison A J， Reid I， Molton N D， et al. MonoSLAM： RealTime Single Camera SLAM[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2007， 29（6）： 1052-1067.

[28] Gee A P， Chekhlov D， Calway A， et al. Discovering Higher Level Structure in Visual SLAM[J]. IEEE Transactions on Robotics， 2008， 24（5）： 980-990.

[29] Montemerlo M， Thrun S， Koller D， et al. FastSLAM： A Factored Solution to the Simultaneous Localization and Mapping Problem[C]∥The Eighteenth National Conference on Artificial Intelligence and Fourteenth Conference on Innovative Applications （AAAI/IAAI）， Edmonton， Canada， 2002： 593-598.

[30] Doucet A， Freitas N， Murphy K， et al. RaoBlackwellised Particle Filtering for Dynamic Bayesian Networks[C]∥ Proceedings of the Sixteenth Conference on Uncertainty in Artificial Intelligence， 2000： 176-183 .

[31] Klein G， Murray D. Parallel Tracking and Mapping for Small AR Workspaces[C]∥Proceedings of 6th IEEE and ACM International Symposium on Mixed and Augmented Reality， Los Alamitos， 2007： 225-234.

[32] Klein G， Murray D. Parallel Tracking and Mapping on a Camera Phone[C]∥Proceedings of 8th IEEE? International Symposium on Mixed and Augmented Reality， Orlando， USA， 2009： 83-86.

[33] Murartal R， Montiel J M， Tardos J D， et al. ORBSLAM： A Versatile and Accurate Monocular SLAM System[J]. IEEE Transactions on Robotics， 2015， 31（5）： 1147-1163.

[34] Murartal R， Tardos J D. ORBSLAM2： An OpenSource SLAM System for Monocular， Stereo and RGBD Cameras[J]. IEEE Transactions on Robotics， 2017， 33（5）： 1255-1262.

[35] GalvezLopez D， Tardos J D. Bags of Binary Words for Fast Place Recognition in Image Sequences[J]. IEEE Transactions on Robotics， 2012， 28（5）： 1188-1197.

[36]? Strasdat H， Montiel J M， Davison A J， et al. Scale DriftAware Large Scale Monocular SLAM[C]∥Robotics： Science and Systems （RSS）， Zaragoza， Spain， 2010.

[37] Strasdat H， Davison A J， Montiel J M， et al. Double Window Optimisation for Constant Time Visual SLAM[C]∥IEEE International Conference on Computer Vision （ICCV）， Barcelona， Spain， 2011： 2352-2359.

[38] Mei C， Sibley G， Newman P， et al. Closing Loops Without Places[C]∥IEEE/RSJ International Conference on Intelligent Robots and Systems （IROS）， Taipei， China， 2010： 3738-3744.

[39] Bokovoy A， Yakovlev K. Original LoopClosure Detection Algorithm for Monocular vSLAM[C]∥ International Conference on Analysis of Images， Social Networks and Texts， 2017： 210-220.

[40] Ling Y G， Shen S J. Building Maps for Autonomous Navigation Using Sparse Visual SLAM Features[C]∥ IEEE/RSJ International Conference on Intelligent Robots and Systems （IROS）， Vancouver， Canada， 2017： 1374-1381.

[41] Engel J， Schops T， Cremers D， et al. LSDSLAM： LargeScale Direct Monocular SLAM[C]∥European Conference on Computer Vision， 2014： 834-849.

[42] Von Stumberg L， Usenko V， Eegel J， et al. From Monocular SLAM to Autonomous Drone Exploration[C]∥ European Conference on Mobile Robots， Paris， France， 2017： 1-8.

[43] Forster C， Pizzoli M， Scaramuzza D. SVO： Fast SemiDirect Monocular Visual Odometry[C]∥IEEE International Conference on Robotics and Automation （ICRA）， Hong Kong， China， 2014： 15-22.

[44] Forster C， Faessler M， Fontana F， et al. Continuous OnBoard MonocularVisionBased Elevation Mapping Applied to Autonomous Landing of Micro Aerial Vehicles[C]∥IEEE International Conference on Robotics and Automation （ICRA）， Seattle， USA， 2015： 111-118.

[45] Pizzoli M， Forster C， Scaramuzza D. Remode： Probabilistic， Monocular Dense Reconstruction in Real Time[C]∥IEEE International Conference on Robotics and Automation （ICRA）， Hong Kong， China， 2014： 2609-2616.

[46] Qin T， Li P L， Shen S J. VINSMono： A Robust and Versatile Monocular VisualInertial State Estimator[J]. IEEE Transactions on Robotics， 2018， 34（4）： 1004-1020.

[47] Lynen S， Achtelik? M W， Weiss S， et al. A Robust and Modular MultiSensor Fusion Approach Applied to MAV Navigation[C]∥ IEEE/RSJ International Conference on? Intelligent Robots and Systems， Tokyo， Japan， 2013： 3923-3929.

[48] Forster C， Carlone L， Dellaert F， et al. OnManifold Preintegration for RealTime VisualInertial Odometry[J]. IEEE Transactions on Robotics， 2015， 33（1）：1-21.

[49] Kaess M， Johannsson H， Robberts R， et al. iSAM2： Incremental Smoothing and Mapping Using the Bayes Tree[J]. The International Journal of Robotics Research， 2012， 31（2）： 216-235.

[50] Mourikis A， Roumeliotis S. A MultiState Constraint Kalman Filter for VisionAided Inertial Navigation[C]∥ IEEE International Conference on Robotics and Automation （ICRA）， 2007.

[51] Jeffrey D， Davide S. A Benchmark Comparison of Monocular VisualInertial Odometry Algorithms for Flying Robots[C]∥ IEEE International Conference on Robotics and Automation （ICRA）， Brisbane， Australia， 2018： 2502-2509.

[52] Bloesch M， Omari S， Hutter M， et al. Robust Visual Inertial Odometry Using a Direct EKFBased Approach[C]∥IEEE/RSJ International Conference on Intelligent Robots and Systems， Hamburg， Germany， 2015： 298-304.

[53] Engel J， Koltun V， Cremers D. Direct Sparse Odometry[J]. IEEE Transaction on Pattern Analysis and Machine Intelligence， 2018， 40（3）： 611-625.

[54] Shen S， Mulgaokar Y， Michael N， et al. MultiSensor Fusion for Robust Autonomous Flight in Indoor and Outdoor Environments with a Rotorcraft MAV[C]∥ IEEE International Conference on Robotics and Automation （ICRA）， Hong Kong， China， 2014： 4974-4981.

[55] Mueller M W， Hamer M， Andrea R. Fusing UltraWideband Range Measurements with Accelerometers and Rate Gyroscopes for Quadrocopter State Estimation [C]∥IEEE International Conference on Robotics and Automation（ICRA）， Seattle， USA， 2015： 1730-1736.

[56] Engel J， Sturm J， Cremers D. CameraBased Navigation of a LowCost Quadrocopter[C]∥IEEE/RSJ International Conference on Intelligent Robots and Systems（IROS）， VilamouraAlgarve， Portugal， 2012： 2815-2821.

[57] Nemra A， Aouf N. Robust Cooperative UAV Visual SLAM[C]∥IEEE 9th International Conference on Cybernetic Intelligent Systems （CIS）， Reading， UK， 2010： 1-6.

[58] Loianno G， Thomas J， Kumar V. Cooperative Localization and Mapping of MAVs Using RGBD Sensors[C]∥IEEE International Conference on Robotics and Automation （ICRA）， Seattle， USA， 2015： 4021-4028.

[59] Piasco N， Marzat J， Sanfourche M， et al. Collaborative Localization and Formation Flying Using Distributed StereoVision[C]∥IEEE International Conference on Robotics and Automation（ICRA）， Stockholm， Sweden， 2016： 1202-1207.

[60] Wang F， Cui J Q， Chen B M， et al. A Comprehensive UAV Indoor Navigation System Based on Vision Optical Flow and Laser FastSLAM[J]. Acta Automatica Sinica， 2013， 39（11）： 1889-1900.

[61] Bryson M， Sukkarieh S. Building a Robust Implementation of BearingOnly Inertial SLAM for a UAV[J]. Journal of Field Robotics， 2007， 24（1-2）： 113-143.

[62] Kim J， Sukkarieh S. RealTime Implementation of Airborne InertialSLAM[J]. Robotics & Autonomous Systems， 2007， 55（1）： 62-71.

[63] Gandhi D， Pinto L， Gupta A， et al. Learning to Fly by Crashing[C]∥IEEE/RSJ International Conference on Intelligent Robots and Systems （IROS），Vancouver，? Canada， 2017： 3948-3955.

[64] Pinto L， Gupta A. Supersizing SelfSupervision： Learning to Grasp from 50k Tries and 700 Robot Hours[C]∥IEEE International Conference on Robotics and Automation （ICRA）， Stockholm， Sweden， 2016： 1544-1551.

[65] 王輝， 林德福， 何紹溟， 等. 垂直起降無人機(jī)自主著艦的輔助系統(tǒng)： CN201620633396.8 [P]. 2016-12-07.

Wang Hui， Lin Defu， He Shaoming， et al. Vertical TakeOff and Landing UAV Autonomous Auxiliary System：? CN201620633396.8 [P]. 2016-12-07. （in Chinese）

[66] Fu Q， Quan Q， Cai K Y， et al. Robust Pose Estimation for Multirotor UAVs Using OffBoard Monocular Vision [J]. IEEE Transactions on Industrial Electronics， 2017， 64 （10）： 7942-7951.

[67] Zhou H Z， Zou D P， Pei L， et al. StructSLAM： Visual SLAM with Building Structure Lines [J]. IEEE Transactions on Vehicular Technology， 2015， 64（4）： 1364-1375.

[68] Zou D P， Tan P. CoSLAM： Collaborative Visual SLAM in Dynamic Environments [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， Italy，? 2013， 35（2）： 354-366.

[69] Wang? K X， Shen S J. MVDepthNet： RealTime Multiview Depth Estimation Neural Network[C]∥International Conference on 3D Vision （3DV）， Verona， Italy， 2018： 248-257.

[70] 王希彬， 趙國(guó)榮， 寇昆湖. 無人機(jī)視覺SLAM算法及仿真[J]. 紅外與激光工程， 2012， 41（6）： 1653-1658.

Wang Xibin， Zhao Guorong， Kou Kunhu. UAV Vision SLAM Algorithm and Simulation[J]. Infrared and Laser Engineering， 2012， 41（6）： 1653-1658. （in Chinese）

[71] 王希彬， 趙國(guó)榮， 李海君. 基于禁忌搜索的混沌蟻群算法在SLAM數(shù)據(jù)關(guān)聯(lián)中的應(yīng)用[J]. 北京理工大學(xué)學(xué)報(bào)， 2012， 32（7）： 725-728.

Wang Xibin， Zhao Guorong， Li Haijun. Chaos Ant Colony Algorithm Based on Tabu Search for Data Association of SLAM[J]. Transactions of Beijing Institute of Technology， 2012， 32（7）： 725-728. （in Chinese）

[72] 呂科， 施澤南， 李一鵬. 微型無人機(jī)視覺定位與環(huán)境建模研究[J]. 電子科技大學(xué)學(xué)報(bào)， 2017， 46（3）： 543-548.

Lü Ke， Shi Zenan， Li Yipeng. Visual Localization and Environment Mapping for Micro Aerial Vehicles[J]. Journal of University of Electronic Science and Technology of China， 2017， 46（3）： 543-548. （in Chinese）

[73] 陳寶華， 鄧?yán)冢?陳志祥， 等. 基于即時(shí)稠密三維重構(gòu)的無人機(jī)視覺定位[J]. 電子學(xué)報(bào)， 2017， 45（6）： 1294-1300.

Chen Baohua， Deng Lei， Chen Zhixiang， et al. Instant Dense 3D ReconstructionBased UAV Vision Localization[J]. Acta Electronica Sinica， 2017， 45（6）： 1294-1300. （in Chinese）

[74] 蒙山， 唐文名. 單目SLAM直線匹配增強(qiáng)平面發(fā)現(xiàn)方法[J]. 北京航空航天大學(xué)學(xué)報(bào)， 2017， 23（4）： 660-666.

Meng Shan， Tang Wenming. Monocular SLAM Plane Discovery Method Enhanced by Line Segments Matching[J]. Journal of Beijing University of Aeronautics and Astronautics， 2017， 23（4）： 660-666. （in Chinese）

[75] 劉峰， 呂強(qiáng)， 郭峰， 等. 基于ROS的自主無人VSLAM研究[J]. 現(xiàn)代防御技術(shù)， 2016， 44（6）： 61-66.

Liu Feng， Lü Qiang， Guo Feng， et al. VSLAM of Autonomous UAV Based on ROS[J]. Modern Defense Technology， 2016， 44（6）： 61-66. （in Chinese）

[76] 叢楚瀅， 王從慶， 丁臻極， 等. 一種小型無人機(jī)的FastSLAM算法[J]. 華中科技大學(xué)學(xué)報(bào)： 自然科學(xué)版，? 2015， 43（S1）： 420-427.

Cong Chuying， Wang Congqing， Ding Zhenji， et al. A Fast SLAM Algorithm for Small Unmanned Aerial Vehicle[J]. Journal of Huazhong University of Science and Technology： Natural Science Edition， 2015， 43（S1）： 420-427. （in Chinese）

[77] Tateno K， Tombari F， Laina I， et al. CNNSLAM： RealTime Dense Monocular SLAM with Learned Depth Prediction[C]∥IEEE? Computer Society Conference on Computer Vision and Pattern Recognition （CVPR）， Honolulu， USA， 2017： 6243-6252.

[78] Zhou T H， Brown M， Snavely N， et al. Unsupervised Learning of Depth and EgoMotion from Video[C]∥IEEE? Computer Society Conference on Computer Vision and Pattern Recognition （CVPR）， Honolulu， USA， 2017： 1851-1858.

[79] Li X P， Belaroussi R. SemiDense 3D Semantic Mapping from Monocular SLAM[EB/OL]. （2016-11-13）[2020-01-14]. https：∥arxiv.org/pdf/1611.04-144.pdf.

[80] McCormac J，Handa A， Davison A， et al. SemanticFusion： Dense 3D Semantic Mapping with Convolutional Neural Networks[C]∥IEEE International Conference on Robotics and Automation （ICRA）， Singapore， 2017： 4628-4635.

[81] Whelan T， Leutenegger S， Salasmoreno R F， et al. ElasticFusion： Dense SLAM Without a Pose Graph[C]∥Robotics： Science and Systems （RSS）， Rome， Italy， 2015.

[82] Weerasekera C S， Latif Y， Garg R， et al. Dense Monocular Reconstruction Using Surface Normals[C]∥ IEEE International Conference on Robotics and Automation（ICRA）， Singapore， 2017： 2524-2531.

[83] Silver D， Schrittwieser J， Simonyan K， et al. Mastering the Game of Go Without Human Knowledge[J]. Nature， 2017， 550（7676）： 354-359.

[84] Mnih V， Kavukcuoglu K， Silver D， et al. HumanLevel Control Through Deep Reinforcement Learning[J]. Nature， 2015， 518（7540）： 529.

[85] Krizhevsky A， Sutskever I， Hinton G. ImageNet Classification with Deep Convolutional Neural Networks[C]∥International Conference on Neutral Information Processing Systems （NIPS）， Lake Tahoe， USA， 2012： 1097-1105.

[86] Tornqvist D， Schon T B， Karlsson R， et al. Particle Filter SLAM with High Dimensional Vehicle Model[J]. Journal of Intelligent & Robot System， 2009（4-5）： 249-266.

[87] Min J， Jeong Y， Kweon I S. Robust Visual Lockon and Simultaneous Localization for an Unmanned Aerial Vehicle[C]∥IEEE/RSJ International Conference on Intelligent Robots and Systems （IROS）， Taipei， China， 2010： 93-100.

[88] Chowdhary G， Johnson E N， Magree D， et al. GPSDenied Indoor and Outdoor Monocular Vision Aided Navigation and Control of Unmanned Aircraft[J]. Journal of Field Robotics， 2013， 30（3）： 415-438.

[89] Harris C， Stephens M. A Combined Corner and Edge Detector[C]∥Alvey Vision Conference， Manchester， 1988： 147-151.

[90] Huh S， Shim D H， Kim J. Integrated Navigation Sys tem Using Camera and Gimbaled Laser Scanner for Indoor and Outdoor Autonomous Flight of UAVs[C]∥IEEE/RSJ International Conference on Intelligent Robots and Systems （IROS）， Tokyo， Japan， 2013： 3158-3163.

[91] Yang Z F， Gao F， Shen S J. RealTime Monocular Dense Mapping on Aerial Robots Using VisualInertial Fusion[C]∥IEEE International Conference on Robotics and Automation （ICRA）， Singapore， 2017： 4552-4559.

[92] Urzua S， Munguia R， Grau A， et al. VisionBased SLAM System for MAVs in GPSDenied Environments[J]. International Journal of Micro Air Vehicles， 2017， 9（4）： 1-14.

[93]? 薛瑞彬， 宋建梅， 張民強(qiáng). 具有時(shí)延及聯(lián)合連通拓?fù)涞亩囡w行器分布式協(xié)同編隊(duì)飛行控制研究[J]. 兵工學(xué)報(bào)， 2015， 36（3）： 492-502.

Xue Ruibin， Song Jianmei， Zhang Minqiang. Research on Distributed MultiVehicle Coordinated Formation Flight Control with Coupling TimeDelay and JointlyConnected Topologies[J]. Acta Armamentarii， 2015， 36（3）： 492-502. （in Chinese）

[94] 周思全， 化永朝， 董希旺， 等. 面向空地協(xié)同作戰(zhàn)的無人機(jī)-無人車異構(gòu)時(shí)變編隊(duì)跟蹤控制[J]. 航空兵器， 2019， 26（4）： 54-59.

Zhou Siquan， Hua Yongchao， Dong Xiwang， et al. AirGround Time Varying Formation Tracking Control for Heterogeneous UAVUGV Swarm System[J]. Aero Weaponry， 2019， 26（4）： 54-59. （in Chinese）

[95] 張夢(mèng)穎， 王蒙一， 王曉東， 等. 基于改進(jìn)合同網(wǎng)的無人機(jī)群協(xié)同實(shí)時(shí)任務(wù)分配問題研究[J]. 航空兵器， 2019， 26（4）： 38-46.

Zhang Mengying， Wang Mengyi， Wang Xiaodong， et al. Cooperative RealTime Task Assignment of UAV Group Based on Improved Contract Net[J]. Aero Weaponry， 2019， 26（4）： 38-46. （in Chinese）

[96] 謝啟龍， 宋龍， 魯浩， 等. 協(xié)同導(dǎo)航技術(shù)研究綜述[J]. 航空兵器， 2019， 26（4）： 23-30.

Xie Qilong， Song Long， Lu Hao， et al. Review of Collaborative Navigation Technology[J]. Aero Weaponry， 2019， 26（4）： 23-30. （in Chinese）

[97] 岳源， 屈高敏. 分布式多無人機(jī)協(xié)同偵察目標(biāo)分配研究[J]. 兵器裝備工程學(xué)報(bào)， 2018（3）： 57-61， 82.

Yue Yuan， Qu Gaomin. Research on Distributed Multi UAV Cooperative Reconnaissance Task Allocation[J]. Journal of Ordnance Equipment Engineering， 2018（3）： 57-61， 82. （in Chinese）

[98] Riazuelo L， Civera J， Montiel J M. C2TAM： A Cloud Framework for Cooperative Tracking and Mapping[J]. Robotics and Autonomous Systems， 2014， 62（4）： 401-413.

[99] Cieslewski T， Lynen S， Dymczyk M， et al. Map APIScalable Decentralized Map Building for Robots[C]∥IEEE International Conference on Robotics and Automation （ICRA）， Seattle， USA， 2015： 6241-6247.

[100] Cieslewski T， Choudhary S， Scaramuzz D， et al. DataEfficient Decentralized Visual SLAM[C]∥IEEE International Conference on Robotics and Automation （ICRA）， Brisbane， Australia， 2018.

[101] Tan W， Liu H M， Dong Z L， et al. Robust Monocular SLAM in Dynamic Environments[C]∥IEEE International Symposium on Mixed and Augmented Reality， Adelaide， Australia， 2013： 209-218.

[102] Yang S? C， Song Y， Kaess M， et al. Popup SLAM： Semantic Monocular Plane SLAM for LowTexture Environments[C]∥IEEE/RSJ International Conference on Intelligent Robots and Systems （IROS）， Daejeon， Korea， 2016： 1222-1229.

[103] Caccamo S， Ataercansizoglu E， Taguchi Y. Joint 3D Reconstruction of a Static Scene and Moving Objects[C]∥ International Conference on 3D Vision （3DV）， Qingdao， China， 2017： 677-685.

[104] Qiu K J， Liu T B， Shen S J. ModelBased Global Localization for Aerial Robots Using Edge Alignment[J]. IEEE Robotics and Automation Letter， 2017， 2（3）： 1256-1263.

[105] Fehr M， Furrer F， Dryanovski I， et al. TSDFBased Change Detection for Consistent LongTerm Dense Reconstruction and Dynamic Object Discovery[C]∥ IEEE International Conference on Robotics and Automation（ICRA）， Singapore， 2017： 5237-524.

[106] 王旒軍， 陳家斌， 余歡， 等. RGB-D SLAM綜述[J].導(dǎo)航定位與授時(shí)， 2017， 4 （6）： 9-18.

Wang Liujun， Chen Jiabin， Yu Huan， et al. An Overview of RGBD SLAM[J]. Navigation Positioning and Timing， 2017， 4 （6）： 9-18. （in Chinese）

[107] Jurgen S， Engelhard N， Endres F， et al. A Benchmark for the Evaluation of RGBD SLAM Systems[C]∥2012 IEEE/RSJ International Conference on Intelligent Robots and Systems， Vilamoura， Portugal， 2012.

[108] Cvisic I， Cesic J， Markovic I， et al. SOFTSLAM： Computationally Efficient Stereo Visual Simultaneous Localization and Mapping for Autonomous Unmanned Aerial Vehicles[J]. Journal of Field Robotics， 2018， 35（4）： 578-595.

Abstract： The visual simultaneous localization and mapping （VSLAM） is an effective approach to solve the problem encountered in the works of multirotor unmanned aerial vehicle （UAV） under unknown environment， which is very useful for the location， navigation and path planning of multirotor UAV. The main research achievements and the latest progresses of monocular VSLAM for multirotor UAV are collected. Firstly，? the classification and history of VSLAM are briefly described，? the principle and characteristics of several representative monocular VSLAM methods? based on filtering， optimization， direct method and IMU fusion are summarized. Secondly，? the feasibilities? of monocular VSLAM for multirotor UAV are analyzed， and the overseas and domestic research teams of monocular VSLAM for multirotor UAV are also summarized. Finally， several promising research directions for further investigation are discussed.

Key words： multirotor UAV; visual simultaneous localization and mapping; monocular vision; optimization; filter; IMU