基于點線特征的幀間匹配流視覺里程計研究

錢潘優(yōu) 甘屹

摘 要：針對機器人快速運動時視覺里程計精度嚴(yán)重下降問題，提出基于點線特征的幀間匹配流視覺里程計（Point and line of frame math，PL-FM）算法，以提高機器人在快速運動情形下的定位精度。PL-FM算法通過對圖像的預(yù)處理去噪，在特征點提取時引入灰度值權(quán)重，從而降低快速運動時光照的影響。將特征點匹配問題轉(zhuǎn)化為向量計算，從而減少匹配時間，在幀間匹配流則采用衰減關(guān)鍵幀計算位姿，從而提高關(guān)鍵幀利用率。通過4組實驗對比，證明PL-FM算法誤差精度提高70%，時間效率提高75%，保證了移動機器人的定位實時性，實現(xiàn)了低誤匹配率及較高的定位精度。

關(guān)鍵詞：預(yù)處理去噪;灰度值權(quán)重;幀間匹配流

DOI：10. 11907/rjdk. 192559 開放科學(xué)（資源服務(wù)）標(biāo)識碼（OSID）：

中圖分類號：TP301 文獻標(biāo)識碼：A 文章編號：1672-7800（2020）005-0001-08

0 引言

在移動機器人定位領(lǐng)域，提升視覺里程計的定位精度是研究熱點[1-6]。通常，相機安裝于機器人上，視覺里程計指通過相機輸出的連續(xù)圖像初步估計相機的位姿和局部地圖，又稱為前端[7]。在計算位姿過程中，有基于特征法和直接法的前端。特征法又分為基于特征點和特征線的方法。特征點法有提取特征點冗余度高和計算量大的缺點，特征線相比特征點法信息量更豐富，室內(nèi)環(huán)境中特征線數(shù)量一般也多于特征點數(shù)量，特征線對光照強弱的影響也更魯棒[8]。直接法是通過最小化光度誤差求取相機位姿，實時性較高，但對光照敏感，應(yīng)用局限于室內(nèi)環(huán)境。本文對快速運動下提高室內(nèi)機器人前端定位精度進行研究。前端定位精度受許多因素影響，諸如環(huán)境中光照強弱、移動機器人運動快慢、環(huán)境中紋理強弱、視頻流中突然出現(xiàn)動態(tài)物體對相機進行遮擋、特征點誤匹配、位姿漂移、位姿重定位等。文獻[9]使用LSD（Line Segment Detector）進行特征線提取與匹配并計算位姿，但圖像遇到遮擋、局部模糊等情況時，提取到的特征線被割裂且不連續(xù)，嚴(yán)重影響定位精度;文獻[10]使用直接法結(jié)合輪式里程計計算位姿，避免了特征點提取，不會遭遇特征點過少問題。但是直接法適用于幀間較小運動情況，且對光照機極為敏感;文獻[11]提出補充區(qū)域特征點計算位姿，但增加了計算量，系統(tǒng)實時性不強;文獻[12]使用深度圖中點云數(shù)據(jù)直接求取機器人位姿，避免了特征點提取步驟，但點云規(guī)模通常非常大，不但增加了存儲量，且計算量大，實時性低;文獻[13]提出點線面聯(lián)合的視覺里程計系統(tǒng)，但提取的是SIFT特征，計算量過大。在快速運動場景下提升視覺里程計定位精度方法上，文獻[9]沒有發(fā)揮出特征線比特征點更魯棒的特性，所以定位精度不高;文獻[10]使用直接法計算定位，只能在室內(nèi)使用，局限性較大;文獻[10]-[13]雖然在一定程度上提升了定位精度，但存在計算量過大問題。

本文提出基于點線特征的幀間匹配流視覺里程計（Point and line of frame math，PL-FM）算法。首先采用鄰域半徑多尺度RANSAC直線擬合算法提取特征線，從不同簇中以斜率的變化迭代出最優(yōu)直線，避免了文獻[9]中直線割裂問題，以提高特征線提取精度;然后采用k-余弦灰度值加權(quán)平均多尺度空間曲率特征點提取算法，從特征線中提取特征點，由于機器人快速運動，光照變化的影響會變得顯著，故引入灰度值權(quán)重的概念解決文獻[10]中光照變化在機器人快速運動中的影響;使用余弦描述子和多尺度協(xié)方差描述子進行特征點匹配，余弦描述子和協(xié)方差描述子將許多特征點的同時匹配問題映射為向量計算，相比文獻[11]中的補充特征點區(qū)域和文獻[12]中的點云直接匹配，有效減少了計算量;最后采用幀間匹配流算法，從不斷衰減的關(guān)鍵幀中迭代出最優(yōu)關(guān)鍵幀流，用以計算最優(yōu)位姿。

1 前端預(yù)處理

前端預(yù)處理分為RGB圖像和點云預(yù)處理。從相機直接獲取的每一幀圖像都包含大量噪聲，必須先進行圖像預(yù)處理。預(yù)處理可以有效消除圖像中無關(guān)信息，增強有關(guān)信息可檢測性，從而為后續(xù)的特征提取、位姿求取提供基礎(chǔ)。

本文將RGB圖像預(yù)處理分為圖像濾波和圖像增強兩步。設(shè)[f]是原相機提取的RGB圖像，[f]為濾波后的圖像，（x，y）為圖像中某像素的坐標(biāo)，[G（x，y）]為高斯核函數(shù)，[A]為高斯核函數(shù)系數(shù)，使用公式（1）進行濾波。

點云相比RGB圖像更容易受到噪聲影響，由于環(huán)境因素的影響，有些像素深度值穩(wěn)定性差，通常有3類情況：①像素處于物體邊緣處;②被孤立的像素;③深度值超出量程的像素。針對這3種情況，首先剔除邊緣點和孤立點，其次限定像素深度值的選取范圍在0.6m～4.6m之間，最后使用[5×5]高斯核濾波器平滑深度圖像。

2 點、特征線提取與匹配

2.1 特征線提取

對比文獻[9]中LSD算法，經(jīng)典隨機抽樣一致性算法 （RANSAC）[14]適用于在含有大量噪聲的數(shù)據(jù)中提取特定模型，面對圖像像素灰度值突變時提取出的直線不會斷開，能夠生成連續(xù)完整的特征線。由于機器人運動快速，圖像紋理變化豐富時使用經(jīng)典RANSAC算法提取特征線，會造成迭代周期較長或結(jié)果發(fā)散，原因是算法搜索整個圖像區(qū)域時間代價高，碰到異常像素值容易引起結(jié)果發(fā)散。

針對以上問題，PL-FM算法采用鄰域半徑多尺度RANSAC直線擬合算法（multi-scale RANSAC neighborhood radius straight line fitting algorithm，MRNRS-LFA）用于機器人快速運動時的特征線提取。先使用聚類方法減少圖像搜索區(qū)域，再使用斜率為依據(jù)提取特征線，避免了像素異常值干擾。該算法對光照不敏感，具有存儲量小和計算量小的特點。將公式（3）中輸出的圖像[f]輸入MRNRS-LFA，經(jīng)過迭代得到特征線[lrn]，具體步驟如下：①以鄰域半徑為尺度參數(shù)[ri]，使用密度聚類算法將已有點集[Γ]劃分為一個個簇[Θn];②隨機抽取某個簇[Θn]，在簇[Θn]中使用經(jīng)典RANSAC算法擬合出直線[lri]，并求取直線[lri]的斜率[ki];③遍歷每個簇中的直線斜率[ki]，如果兩個簇中直線斜率之差小于閾值[ψ]，則標(biāo)記這兩條直線屬于同一條直線，并加入標(biāo)記池[Ω]中，不同范圍斜率直線加入對應(yīng)的標(biāo)記池（[Ω1，Ω2，Ωn]）中，并記錄每個標(biāo)記池中的直線數(shù)量[n];④循環(huán)步驟②、步驟③，將各個標(biāo)記池中的直線進行拼接形成完整的最終特征線[lrn]，取[n]最大的那個標(biāo)記池，輸出此標(biāo)記池中的特征線[lrn]。