基于語(yǔ)義先驗(yàn)和幾何約束的動(dòng)態(tài)場(chǎng)景SLAM算法

張皓誠(chéng)，王曉華，王文杰

（西安工程大學(xué) 電子信息學(xué)院，陜西 西安 710048）

引言

將特征點(diǎn)的實(shí)時(shí)單目同步定位與地圖構(gòu)建(oriented fast and rotated BRIEF-simultaneous localization and mapping，ORB-SLAM)算法應(yīng)用于真實(shí)的動(dòng)態(tài)場(chǎng)景時(shí)，存在例如行人、車輛、動(dòng)物等運(yùn)動(dòng)物體，也存在如行人攜帶的書包等移動(dòng)性物體，該類運(yùn)動(dòng)物體和移動(dòng)性物體的特征點(diǎn)會(huì)導(dǎo)致SLAM前端的幀間無(wú)法正常匹配，易出現(xiàn)特征跟蹤丟失、運(yùn)行軌跡漂移等問(wèn)題[1-3]，影響系統(tǒng)的定位精度以及魯棒性，使得構(gòu)建的環(huán)境地圖的精度大大降低。同時(shí)，在高動(dòng)態(tài)場(chǎng)景中，物體的快速運(yùn)動(dòng)會(huì)導(dǎo)致圖像區(qū)域模糊，低質(zhì)量的特征點(diǎn)在相鄰幀間不穩(wěn)定。因此，如何提取高質(zhì)量圖像特征點(diǎn)以及如何區(qū)分動(dòng)、靜態(tài)點(diǎn)和剔除動(dòng)態(tài)特征點(diǎn)，成為高精度SLAM 要解決的問(wèn)題。

方琪[4]等針對(duì)快速魯棒特征算法的描述符運(yùn)算時(shí)間較長(zhǎng)、匹配準(zhǔn)確率低的問(wèn)題，提出一種基于網(wǎng)格運(yùn)動(dòng)統(tǒng)計(jì)的改進(jìn)快速魯棒特征圖像提取與匹配算法。在動(dòng)、靜態(tài)特征點(diǎn)區(qū)分方面，Tan 等[5]對(duì)關(guān)鍵幀和當(dāng)前幀進(jìn)行比較，將特征變化大的關(guān)鍵幀替換成新選擇的關(guān)鍵幀，消除動(dòng)態(tài)物體對(duì)SLAM系統(tǒng)的影響，但并未對(duì)動(dòng)點(diǎn)處理，計(jì)算出來(lái)的相機(jī)位姿和實(shí)際位姿還是有較大偏差。Klappstein 等人[6]通過(guò)計(jì)算特征點(diǎn)是否違背光流法灰度不變假設(shè)為依據(jù)，判斷是否為動(dòng)態(tài)特征點(diǎn)，但通過(guò)圖像分割理論只能粗略分割物體的輪廓，實(shí)際效果不佳。林付春等人[7]通過(guò)德洛內(nèi)三角對(duì)動(dòng)態(tài)和靜態(tài)特征點(diǎn)進(jìn)行分割，并利用幾何約束計(jì)算出明顯的外點(diǎn)，但由于受到環(huán)境中物體的紋理、亮度等因素影響，并不能完整地分割出運(yùn)動(dòng)物體的整體輪廓。Emanuele[8]等人將RGB-D 相機(jī)采集到動(dòng)靜態(tài)特征點(diǎn)信息映射到三維空間，依據(jù)顯式建模來(lái)檢測(cè)動(dòng)態(tài)物體，使用顏色信息編碼對(duì)相機(jī)進(jìn)行位姿估計(jì)，并構(gòu)建全局地圖，但當(dāng)運(yùn)動(dòng)特征點(diǎn)較多時(shí)，系統(tǒng)無(wú)法區(qū)分運(yùn)動(dòng)和靜止的特征點(diǎn)，位姿估計(jì)會(huì)有極大誤差。

語(yǔ)義分割方法[9]能夠提取出動(dòng)態(tài)物體的輪廓，可作為機(jī)器人識(shí)別環(huán)境中動(dòng)態(tài)特征點(diǎn)的先驗(yàn)信息。Zhang[10]等人以O(shè)RB-SLAM2算法為基礎(chǔ)，使用YOLO[11]（you only look once）算法對(duì)檢測(cè)到的關(guān)鍵幀進(jìn)行語(yǔ)義分割，同時(shí)剔除位于動(dòng)態(tài)物體區(qū)域的特征點(diǎn)，以適應(yīng)動(dòng)態(tài)環(huán)境，但在檢測(cè)目標(biāo)時(shí)，由于YOLO算法給出的邊界框含有大量的背景信息，會(huì)對(duì)算法的正常運(yùn)行產(chǎn)生干擾。Yu 等人[12]提出DS-SLAM（dynamic environments-SLAM），該算法以O(shè)RB-SLAM 為框架，依據(jù)光流法對(duì)原始RGB圖像進(jìn)行運(yùn)動(dòng)一致性檢測(cè)的同時(shí)，采用SegNet（segmentation network）[13]網(wǎng)絡(luò)對(duì)該原始RGB 圖像進(jìn)行語(yǔ)義分割，然后刪除異常值并估計(jì)位姿，在獨(dú)立線程中構(gòu)建語(yǔ)義八叉樹地圖。SegNet網(wǎng)絡(luò)對(duì)物體的邊緣輪廓分割較差，對(duì)于人體等存在局部運(yùn)動(dòng)現(xiàn)象。Berta 等人于2018年提出Dyna-SLAM（dynamic-SLAM）[14]算法，該算法結(jié)合實(shí)例分割網(wǎng)絡(luò)Mask-RCNN（mask-region convolutional neural networks）[15]以及多視圖幾何對(duì)系統(tǒng)運(yùn)行場(chǎng)景中的動(dòng)態(tài)特征點(diǎn)進(jìn)行篩選，對(duì)圖像靜態(tài)部分提取ORB（oriented fast and rotated BRIEF）特征，進(jìn)行場(chǎng)景恢復(fù)和建圖。將動(dòng)態(tài)物體去掉之后檢測(cè)到的特征點(diǎn)會(huì)處于較遠(yuǎn)或紋理較弱的區(qū)域，會(huì)導(dǎo)致跟蹤精度下降，同時(shí)，Dyna-SLAM 時(shí)間開銷比較大。不斷有學(xué)者提出新的語(yǔ)義分割網(wǎng)絡(luò)，力圖兼顧分割的精度和運(yùn)行速度，以便在實(shí)際應(yīng)用中達(dá)到理想的效果。姜昊辰等人[16]使用輕量級(jí)的Light-weight RefineNet[17]語(yǔ)義分割網(wǎng)絡(luò)作為獨(dú)立線程，和ORBSLAM2[18]框架相結(jié)合，采用語(yǔ)義先驗(yàn)的加權(quán)極線和深度約束的運(yùn)動(dòng)一致性檢測(cè)與動(dòng)態(tài)特征點(diǎn)剔除的方法，雖然減少了位姿估計(jì)的誤差，但語(yǔ)義分割對(duì)于動(dòng)態(tài)物體邊緣的感知效果較差，會(huì)對(duì)構(gòu)建靜態(tài)地圖造成重影等影響。精度高且實(shí)時(shí)性能較好的語(yǔ)義分割網(wǎng)絡(luò)以及高質(zhì)量的靜態(tài)特征點(diǎn)提取，為相機(jī)位姿估計(jì)和建圖打下良好基礎(chǔ)，也是動(dòng)態(tài)SLAM 技術(shù)要解決的首要問(wèn)題。

本文以BiseNet（bilateral segmentation network）[19]實(shí)時(shí)輕量級(jí)雙邊語(yǔ)義分割網(wǎng)絡(luò)為基礎(chǔ)，設(shè)計(jì)了基于分支空洞卷積的實(shí)時(shí)輕量級(jí)雙邊語(yǔ)義分割網(wǎng)絡(luò)，對(duì)環(huán)境中的潛在運(yùn)動(dòng)區(qū)域和靜態(tài)區(qū)域進(jìn)行分割，作為語(yǔ)義先驗(yàn)信息。同時(shí)對(duì)ORB算法中圖像金子塔各層網(wǎng)絡(luò)進(jìn)行網(wǎng)格劃分，使得特征均勻化分布，解決環(huán)境中特征點(diǎn)在部分區(qū)域過(guò)于集中、部分區(qū)域過(guò)于分散而導(dǎo)致的圖像局部特征信息丟失和動(dòng)態(tài)物體剔除后紋理較弱區(qū)域缺乏特征點(diǎn)而跟蹤精度下降問(wèn)題；應(yīng)用幾何約束運(yùn)動(dòng)一致性檢測(cè)算法，采用對(duì)潛在運(yùn)動(dòng)區(qū)域像素塊間相似度判斷的策略，對(duì)動(dòng)態(tài)特征點(diǎn)剔除，進(jìn)而應(yīng)用靜態(tài)特征點(diǎn)估計(jì)系統(tǒng)的位姿，更新環(huán)境地圖。

1 動(dòng)態(tài)環(huán)境下基于語(yǔ)義先驗(yàn)的SLAM系統(tǒng)

1.1 ORB 圖像的特征點(diǎn)均勻化

物體的快速運(yùn)動(dòng)導(dǎo)致圖像像素點(diǎn)間灰度差較小，圖像特征的質(zhì)量不高。本文將圖像的每層金字塔圖像劃分為K個(gè)區(qū)域，在每個(gè)區(qū)域內(nèi)進(jìn)行ORB特征點(diǎn)提取和檢測(cè)，對(duì)于檢測(cè)不到特征點(diǎn)的區(qū)域，調(diào)整閾值，使得ORB 圖像特征在各個(gè)區(qū)域可以均勻分布，改變由動(dòng)態(tài)物體去掉之后特征點(diǎn)處于較遠(yuǎn)或紋理較弱的區(qū)域而導(dǎo)致的跟蹤精度下降的現(xiàn)象。對(duì)于機(jī)器人實(shí)時(shí)采集的環(huán)境圖像，采用ORB算法提取特征點(diǎn)，圖像金字塔各層的縮放尺度表達(dá)式為

式中：n為 圖像金子塔層數(shù)；α是金子塔各層的尺度因子；Si是第i層圖像的縮放尺度。

若圖像中能夠提取的特征點(diǎn)總數(shù)為N，則每層金字塔圖像需要提取的特征點(diǎn)數(shù)目為

式中：Ni是第i層所需的特征點(diǎn)數(shù)目；1/Si是尺度因子的倒數(shù)。

對(duì)每層金字塔圖像進(jìn)行區(qū)域劃分，定義Sirow為第i層圖像的行分割數(shù)，Sicol為 第i層圖像的列分割數(shù)，設(shè)定預(yù)提取的數(shù)目為

在劃分區(qū)域中，設(shè)置提取特征點(diǎn)的初始化閾值Tini=25，記提取的數(shù)目為Nini。判斷Nini與預(yù)期提取的特征點(diǎn)數(shù)目的大小，若判定此時(shí)有區(qū)域提取的特征點(diǎn)為空，調(diào)整閾值Tmin，完成區(qū)域內(nèi)特征點(diǎn)的提取，保證特征點(diǎn)分布均勻。改進(jìn)前后的ORB算法特征提取效果如圖1所示。

由圖1 可以看出，圖像特征點(diǎn)均勻化改進(jìn)后，極大地改善了ORB-SLAM 原算法中圖像特征點(diǎn)過(guò)于集中的情況，改進(jìn)算法保證了每幀圖像中特征信息的完整性，有助于相機(jī)位姿估計(jì)和地圖精度的提升。

1.2 輕量級(jí)高精度語(yǔ)義分割及運(yùn)動(dòng)先驗(yàn)

SLAM 系統(tǒng)增加語(yǔ)義分割線程，會(huì)增加實(shí)際運(yùn)行的時(shí)間，因此設(shè)計(jì)輕量級(jí)高分割精度的網(wǎng)絡(luò)尤為重要。BiseNet 網(wǎng)絡(luò)精度高，在大目標(biāo)的分割上較為精準(zhǔn)，缺點(diǎn)是網(wǎng)絡(luò)感受野大，造會(huì)成圖像中部分物體的空間信息丟失，致使網(wǎng)絡(luò)高精度的優(yōu)勢(shì)不復(fù)存在。因此，本文改進(jìn)BiseNet 結(jié)構(gòu)，設(shè)計(jì)了基于分支空洞卷積的雙邊語(yǔ)義分割網(wǎng)絡(luò)，結(jié)構(gòu)如圖2所示。

在原有的主干分支上下文路徑后添加分支空洞卷積為3 次3×3的深度可分離卷積提取特征，并設(shè)置6、12、18 不同比例的空洞卷積擴(kuò)張率，調(diào)節(jié)網(wǎng)絡(luò)感受野，獲取上下文特征信息。

在圖中原有的Xception 模型中添加多尺度特征融合模塊，為了避免Xception 提取特征冗余或?qū)е履Ｐ瓦^(guò)擬合，將重復(fù)殘差結(jié)構(gòu)的數(shù)量調(diào)整為2（即stride=2）。將不同分辨率分支提取的特征先經(jīng)過(guò)3×3卷積，其次融合2 倍上采樣特征，再經(jīng)過(guò)1×1卷積進(jìn)行多尺度融合，實(shí)現(xiàn)特征的反復(fù)提取與交換，豐富上下文信息。

將上下文路徑獲取的融合特征與原BiseNet 空間路徑獲取的特征使用雙邊引導(dǎo)的聚合層進(jìn)行融合，通過(guò)不同的尺度去指導(dǎo)捕獲那些層次不同且固定編碼的特征，使得圖像分割效果更好。圖3 顯示了語(yǔ)義分割算法結(jié)果。

室內(nèi)場(chǎng)景中每個(gè)物體的運(yùn)動(dòng)可能性的先驗(yàn)是不同的，針對(duì)PASCALVOC2012 數(shù)據(jù)集中的20 類物體，將人、動(dòng)物、自行車作為潛在運(yùn)動(dòng)物體，椅子等為靜態(tài)物體，應(yīng)用改進(jìn)BiseNet 語(yǔ)義分割網(wǎng)絡(luò)，獲得圖像的運(yùn)動(dòng)掩膜，即物體的運(yùn)動(dòng)先驗(yàn)。

1.3 運(yùn)動(dòng)一致性檢測(cè)

地圖中不能存在運(yùn)動(dòng)的人或動(dòng)物等，真實(shí)環(huán)境中會(huì)存在沒(méi)有先驗(yàn)動(dòng)態(tài)標(biāo)記而具有移動(dòng)性的物體（如人手里拿著的書），因此需要進(jìn)一步判定靜態(tài)區(qū)域物體是否真正靜態(tài)，本文結(jié)合圖像的幾何約束進(jìn)行靜態(tài)特征的判斷。空間中的點(diǎn)P，在雙目視覺(jué)中，滿足如圖4所示的幾何約束。

圖中：O1和O2表示相機(jī)的光心；空間點(diǎn)P在Image1 和Image2 中的投影點(diǎn)用P1和P2表示，歸一化坐標(biāo)分別為p1=[u1,v1,1]和p2=[u2,v2,1]；極線l1和l2用平面方程Ax+By+C=0表示，則P1到極線l2的映射為

式中F為基礎(chǔ)矩陣。

根據(jù)點(diǎn)P2和極線l2的關(guān)系，可判斷特征點(diǎn)狀態(tài)。當(dāng)特征點(diǎn)P2不在極線l2上，空間點(diǎn)P可能為動(dòng)態(tài)特征點(diǎn)，但也不排除靜態(tài)點(diǎn)的系統(tǒng)誤差原因。因而，計(jì)算點(diǎn)到直線之間的距離D：

如果距離D的數(shù)值大于經(jīng)過(guò)實(shí)驗(yàn)和統(tǒng)計(jì)分析得到的距離設(shè)定值ds，則將這些特征點(diǎn)確定為動(dòng)態(tài)特征點(diǎn)。

若點(diǎn)P2在極線l2上，也并不能確定點(diǎn)P2為靜態(tài)點(diǎn)，該點(diǎn)可能來(lái)自潛在運(yùn)動(dòng)區(qū)域（如該點(diǎn)提取自人手中的書本）。由于對(duì)極約束和運(yùn)動(dòng)一致性檢測(cè)比較耗時(shí)，只需對(duì)當(dāng)前幀與關(guān)鍵幀進(jìn)行檢測(cè)，即取P1和P2周圍5×5大小的像素塊進(jìn)行塊匹配，使用去均值的歸一化互相關(guān)（normalized cross correlation，NCC）計(jì)算像素塊之間的相似度ρ。

式中：F、T分別表示特征點(diǎn)P1和P2周邊5×5的像素塊；、分別表示特征點(diǎn)P1和P2周邊5×5像素塊的均值。

若像素塊間相似度|ρ|≥0.9，就認(rèn)為這些特征點(diǎn)是靜態(tài)特征點(diǎn)；否則是動(dòng)態(tài)特征點(diǎn)。通過(guò)對(duì)特征點(diǎn)與極線關(guān)系的判斷，確定動(dòng)態(tài)特征點(diǎn)并剔除，圖5所示為動(dòng)態(tài)點(diǎn)剔除效果圖。

對(duì)得到的當(dāng)前幀中靜態(tài)特征點(diǎn)與參考幀靜態(tài)特征點(diǎn)進(jìn)行關(guān)聯(lián)，通過(guò)最小化誤差函數(shù)可以獲取相機(jī)的最優(yōu)位姿估計(jì)，然后對(duì)相鄰關(guān)鍵幀所有靜態(tài)特征點(diǎn)構(gòu)建最小二乘，從而得到系統(tǒng)位姿，并根據(jù)語(yǔ)義分割網(wǎng)絡(luò)提取的語(yǔ)義信息剔除動(dòng)態(tài)特征點(diǎn)，對(duì)剩余的靜態(tài)特征點(diǎn)結(jié)合深度信息構(gòu)建三維靜態(tài)環(huán)境地圖。

2 實(shí)驗(yàn)結(jié)果與分析

2.1 數(shù)據(jù)集實(shí)驗(yàn)

TUM[20]數(shù)據(jù)集有大量的室內(nèi)環(huán)境圖像。為了驗(yàn)證本文算法在動(dòng)態(tài)環(huán)境下的魯棒性和定位精度，基于上述數(shù)據(jù)集對(duì)提出的算法在特征點(diǎn)的均勻度、語(yǔ)義分割的效果、相機(jī)軌跡誤差以及建圖效果方面進(jìn)行實(shí)驗(yàn)評(píng)估。針對(duì)測(cè)試實(shí)驗(yàn)的計(jì)算機(jī)配置如表1所示，實(shí)驗(yàn)所需環(huán)境中設(shè)計(jì)的視覺(jué)SLAM系統(tǒng)使用C++語(yǔ)言。

表1 實(shí)驗(yàn)計(jì)算機(jī)所需配置Table 1 Required configuration of experimental computer

2.1.1 圖像特征點(diǎn)提取測(cè)試

特征點(diǎn)提取的時(shí)間決定了系統(tǒng)能否滿足實(shí)時(shí)性的需求。采用牛津大學(xué)VGG（visual geometry group）標(biāo)準(zhǔn)數(shù)據(jù)測(cè)試各算法在不同實(shí)驗(yàn)場(chǎng)景特征點(diǎn)提取，表2 給出了分別使用本文提出的特征點(diǎn)提取算法與SIFT(scale-invariant feature transform)、SURF(speeded up robust features)、ORB 和AKAZE(accelerated-KAZE)算法對(duì)標(biāo)準(zhǔn)數(shù)據(jù)集進(jìn)行特征點(diǎn)提取的用時(shí)比較。

表2 特征點(diǎn)提取用時(shí)比較Table 2 Comparison of feature point extraction time ms

從表2 可以看出，ORB算法提取特征點(diǎn)用時(shí)最短，SIFT算法提取特征點(diǎn)所需時(shí)間最長(zhǎng)。本文ORB 特征均勻化方法帶來(lái)的耗時(shí)與原ORB算法基本相當(dāng)，對(duì)ORB-SLAM2算法的實(shí)時(shí)性能不會(huì)產(chǎn)生本質(zhì)影響。

2.1.2 各語(yǔ)義分割算法分割效果測(cè)試

為了驗(yàn)證改進(jìn)的語(yǔ)義分割網(wǎng)絡(luò)具有高效的分割性能，選擇Nyu-V2 數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)，并與當(dāng)前常提及的語(yǔ)義分割算法進(jìn)行比較，實(shí)驗(yàn)結(jié)果如圖6所示。

如圖6所示，第1 列為原始圖，第2 列到第5列分別為SegNet、Mask-RCNN、BiseNet 和本文提出算法在Nyu-V2 數(shù)據(jù)集上的分割效果圖。可知SegNet算法對(duì)于門和櫥柜等大目標(biāo)的分割出現(xiàn)了混淆，分割效果不佳。雖然Mask-RCNN、BiseNet在大目標(biāo)的分割上較為精準(zhǔn)，但物體邊緣細(xì)節(jié)和遮擋處的分割不夠準(zhǔn)確。

為了更好地評(píng)估算法性能，各語(yǔ)義分割算法在Nyu-V2 數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)，得到平均像素準(zhǔn)確率（MPA）和平均交并比（MIoU），結(jié)果如表3所示。

表3 各算法在Nyu-V2 的平均像素準(zhǔn)確率（MPA）和平均交并比（MIoU）Table 3 MPA and MIoU of each algorithm in Nyu-V2

可見，相比于其他3 種語(yǔ)義分割算法，本文算法的平均像素準(zhǔn)確率達(dá)到了74.83%，平均交并比達(dá)到了74.91%。這是因?yàn)樵谏舷挛穆窂侥Ｐ椭斜疚乃惴ㄊ紫炔捎蒙疃染矸e神經(jīng)網(wǎng)絡(luò)提取圖像的初始特征，然后在該模型后添加分支空洞卷積模型，與此同時(shí)嵌入多尺度融合增強(qiáng)網(wǎng)絡(luò)，充分保存高分辨率信息，使物體邊緣分割更加細(xì)致，有效提高了圖像語(yǔ)義分割的精度。

在跟蹤線程中，由于本文算法采用多線程并行操作，因此實(shí)際的系統(tǒng)消耗時(shí)間大致由系統(tǒng)時(shí)間消耗最長(zhǎng)的線程決定。本文中語(yǔ)義分割線程的平均耗時(shí)為49 ms。另外，本文算法還增加了對(duì)動(dòng)態(tài)區(qū)域的判定與剔除（平均耗時(shí)5 ms），最終跟蹤線程中每幀的平均運(yùn)行時(shí)間為54 ms，即系統(tǒng)整體上能達(dá)到15 幀/s 的圖像處理速度，對(duì)改進(jìn)前的BiseNet分割的實(shí)時(shí)性影響較小，能夠滿足算法的實(shí)時(shí)性要求。

2.1.3 各算法相機(jī)軌跡誤差實(shí)驗(yàn)

TUM 數(shù)據(jù)集中的fr3 系列是典型的動(dòng)態(tài)場(chǎng)景序列集。數(shù)據(jù)集提供了應(yīng)用KinectV1 相機(jī)拍攝的RGB 圖像以及真實(shí)運(yùn)動(dòng)軌跡（ground truth）。其中，walking 序列是人在桌子旁邊走動(dòng)的場(chǎng)景圖像。為體現(xiàn)本文算法在動(dòng)態(tài)場(chǎng)景下的定位效果，通過(guò)TUM數(shù)據(jù)集中的walking_rpy 序列進(jìn)行實(shí)驗(yàn)對(duì)比不同算法，采用相機(jī)運(yùn)動(dòng)軌跡和真實(shí)值之間的絕對(duì)軌跡誤差（absolute trajectory error，ATE）進(jìn)行系統(tǒng)性能評(píng)價(jià)。對(duì)比的目標(biāo)包括ORB-SLAM2算法、DSSLAM算法以及Dyna-SLAM算法，實(shí)驗(yàn)結(jié)果如圖7所示。

從圖7 可以看出，在walking 系列數(shù)據(jù)集的高動(dòng)態(tài)場(chǎng)景下，ORB-SLAM2算法由于應(yīng)用大量動(dòng)態(tài)特征點(diǎn)進(jìn)行位姿優(yōu)化，因而系統(tǒng)誤差偏大。DSSLAM 中使用了語(yǔ)義分割網(wǎng)絡(luò)SegNet，其對(duì)物體的邊緣輪廓分割較差，因而存在人體等非剛性物體的局部運(yùn)動(dòng)特征點(diǎn)，這些動(dòng)態(tài)點(diǎn)沒(méi)有徹底刪除而造成位姿估計(jì)精度不高。DynaSLAM算法中語(yǔ)義分割網(wǎng)絡(luò)Mask-RCNN 性能好于SegNet，但靜態(tài)特征點(diǎn)分布不均勻，導(dǎo)致跟蹤精度和位姿估計(jì)下降。相較于其他3 種算法，本文算法中的語(yǔ)義分割網(wǎng)絡(luò)分割精度高，且特征點(diǎn)均勻分布，因而，軌跡誤差最小，位姿估計(jì)更精確。

2.1.4 各算法構(gòu)建地圖的效果對(duì)比

為了驗(yàn)證提出算法在動(dòng)態(tài)環(huán)境中的建圖效果，仍采用fr3 數(shù)據(jù)集中的高動(dòng)態(tài)walking_rpy 序列構(gòu)建環(huán)境地圖，實(shí)驗(yàn)結(jié)果如圖8所示。

從圖8 可以看出，ORB-SLAM2算法構(gòu)建的地圖會(huì)有很多重影。DynaSLAM 中，語(yǔ)義分割網(wǎng)絡(luò)分割效果不及本文改進(jìn)的基于分支空洞卷積的雙邊語(yǔ)義分割網(wǎng)絡(luò)，同時(shí)特征點(diǎn)分布不均勻，部分區(qū)域中靜態(tài)特征點(diǎn)的稀疏性最終影響了填補(bǔ)效果。

2.2 實(shí)際場(chǎng)景實(shí)驗(yàn)

2.2.1 稀疏點(diǎn)云地圖構(gòu)建

在實(shí)驗(yàn)室環(huán)境中，應(yīng)用ORB-SLAM2算法和本文算法建立稀疏點(diǎn)云圖，圖9 為建圖效果，其中下方藍(lán)色四棱錐代表關(guān)鍵幀位姿。

在圖9(a)中，由于ORB-SLAM2算法不分辨特征點(diǎn)的運(yùn)動(dòng)狀態(tài)，引起位姿計(jì)算錯(cuò)誤，進(jìn)而導(dǎo)致3D 坐標(biāo)計(jì)算錯(cuò)誤，最終地圖點(diǎn)疊加在一塊區(qū)域中，無(wú)法區(qū)分。圖9(b)中，動(dòng)態(tài)物體被檢測(cè)到，剔除后建立靜態(tài)環(huán)境地圖。

2.2.2 稠密點(diǎn)云地圖構(gòu)建

取出人在視野內(nèi)變化的2 幀圖像，使用本文算法計(jì)算相機(jī)位姿，基于TUM 提供的稠密點(diǎn)云生成腳本，利用RGB-D 圖像和對(duì)應(yīng)的相機(jī)位姿拼接成稠密三維點(diǎn)云，應(yīng)用常見算法與本文算法構(gòu)建稠密地圖，結(jié)果如圖10所示。

從圖10 可以看出，本文算法建立的點(diǎn)云圖幾乎不包含動(dòng)態(tài)點(diǎn)，可以更好地表現(xiàn)靜態(tài)場(chǎng)景。

3 結(jié)論

針對(duì)現(xiàn)有視覺(jué)SLAM 系統(tǒng)在動(dòng)態(tài)環(huán)境下定位精度不足或?qū)崟r(shí)性較差的問(wèn)題，本文基于ORBSLAM2 進(jìn)行改進(jìn)，增加一個(gè)語(yǔ)義分割線程。通過(guò)設(shè)計(jì)分支空洞卷積的雙邊語(yǔ)義分割網(wǎng)絡(luò)獲取圖像的語(yǔ)義信息，與運(yùn)動(dòng)一致性檢測(cè)方法相結(jié)合，確定運(yùn)動(dòng)物體，剔除對(duì)應(yīng)動(dòng)態(tài)區(qū)域的特征點(diǎn)，使用處理后的靜態(tài)特征點(diǎn)進(jìn)行幀間匹配和位姿估計(jì)。在公開數(shù)據(jù)集上進(jìn)行的實(shí)驗(yàn)結(jié)果表明，改進(jìn)后的算法能大幅度提高SLAM 系統(tǒng)在動(dòng)態(tài)環(huán)境下的精度和魯棒性，且能保證實(shí)時(shí)性。但本文算法仍存在局限性，當(dāng)相機(jī)移動(dòng)過(guò)快或潛在運(yùn)動(dòng)物體出現(xiàn)突發(fā)的不連續(xù)運(yùn)動(dòng)時(shí)，會(huì)出現(xiàn)跟蹤丟失的情況，導(dǎo)致定位建圖失敗。在未來(lái)的工作中將考慮與慣性測(cè)量單元（inertial measurement unit，IMU）融合，增強(qiáng)系統(tǒng)在極端環(huán)境下的魯棒性，使系統(tǒng)具有更強(qiáng)的適用性。