基于Harris-SIFT的移動(dòng)機(jī)器人視覺(jué)定位*

袁 亮

(新疆大學(xué) 機(jī)械工程學(xué)院，烏魯木齊 830047)

基于Harris-SIFT的移動(dòng)機(jī)器人視覺(jué)定位*

袁 亮

(新疆大學(xué) 機(jī)械工程學(xué)院，烏魯木齊 830047)

目標(biāo)識(shí)別和深度估計(jì)是移動(dòng)機(jī)器人視覺(jué)定位的兩個(gè)難點(diǎn)問(wèn)題。針對(duì)這兩個(gè)問(wèn)題，文章提出了Harris-SIFT特征提取算法和基于尺度空間的深度估計(jì)算法。Harris-SIFT結(jié)合了SIFT(Scale Invariant Feature Transform)算法和Harris角點(diǎn)檢測(cè)器，去除SIFT得到的不具有顯著角點(diǎn)特征的特征點(diǎn)，以提高SIFT特征點(diǎn)集合的整體顯著性，從而改善匹配和識(shí)別效果。此外，Harris-SIFT只需要為部分SIFT特征點(diǎn)生成特征描述，縮短了計(jì)算時(shí)間，適合實(shí)時(shí)應(yīng)用場(chǎng)合。基于尺度空間的深度估計(jì)算法通過(guò)計(jì)算參考圖和目標(biāo)圖的特征尺度比，得到圖像中同一目標(biāo)的近似尺寸比例，再結(jié)合參考圖中目標(biāo)的深度信息，便可恢復(fù)出目標(biāo)圖中目標(biāo)的深度信息。實(shí)驗(yàn)表明，在移動(dòng)機(jī)器人自主導(dǎo)航過(guò)程中，基于Harris-SIFT的目標(biāo)識(shí)別體系可以準(zhǔn)確而有效地識(shí)別目標(biāo)，同時(shí)尺度空間深度估計(jì)算法也能較準(zhǔn)確地定位目標(biāo)。結(jié)合Harris-SIFT和尺度空間深度估計(jì)算法可以很好地完成移動(dòng)機(jī)器人視覺(jué)定位。

Harris-SIFT；尺度空間；深度估計(jì)；視覺(jué)定位

0 引言

在導(dǎo)航過(guò)程中，移動(dòng)機(jī)器人需要精確知道自己(或障礙物)的當(dāng)前位置，以完成局部實(shí)時(shí)避障或是全局規(guī)劃，這就是定位問(wèn)題。自主移動(dòng)機(jī)器人定位系統(tǒng)已有廣泛研究，一般應(yīng)用傳感器感知的信息實(shí)現(xiàn)可靠的定位。近年來(lái)越來(lái)越多的定位系統(tǒng)使用了視覺(jué)傳感器，這是因?yàn)橐曈X(jué)圖像包含了目標(biāo)的豐富信息，如顏色、紋理、形狀。借助計(jì)算機(jī)視覺(jué)理論，視覺(jué)系統(tǒng)可以準(zhǔn)確識(shí)別目標(biāo)，估計(jì)自身位姿。因此視覺(jué)定位系統(tǒng)對(duì)于自主移動(dòng)機(jī)器人有著重要的研究意義和應(yīng)用價(jià)值。但是，視覺(jué)定位的難點(diǎn)是：當(dāng)視角、光照發(fā)生變化或存在遮擋時(shí)，如何從圖像中識(shí)別目標(biāo)，提取有用信息；另外實(shí)時(shí)視頻圖像數(shù)據(jù)量很大，要求系統(tǒng)有較高的實(shí)時(shí)數(shù)據(jù)處理能力。

最近幾年，不變特征在目標(biāo)識(shí)別和圖像匹配等應(yīng)用領(lǐng)域上取得了巨大成功。Schmid和Mohr提出一種旋轉(zhuǎn)不變性特征檢測(cè)器用來(lái)解決一般的圖像識(shí)別問(wèn)題[1]。Mikolajczyk和Schmid擴(kuò)展了該思想，提出了具有尺度不變性的Harris-Laplace檢測(cè)器[2-3]。它先從固定尺度空間提取Harris角點(diǎn)，再使用Laplace尺度函數(shù)判斷角點(diǎn)的尺度是否為鄰域極大值。Harris-Laplace特征點(diǎn)具有比較好的尺度、仿射不變性，且實(shí)時(shí)性比較高，已成功應(yīng)用于目標(biāo)識(shí)別等領(lǐng)域。Jensfelt使用Harris-Laplace和SIFT描述特征進(jìn)行目標(biāo)識(shí)別，在室內(nèi)環(huán)境下的vSLAM實(shí)驗(yàn)中取得了比較好的結(jié)果[4]。David Lowe提出的SIFT(尺度不變特征變換)是目前比較流行且很成功的局部特征提取算法[5-6]。SIFT從尺度空間檢測(cè)特征點(diǎn)，再利用梯度塊構(gòu)建特征描述。算法可以分為四部分：①尺度空間極值檢測(cè)；②特征點(diǎn)定位；③為特征點(diǎn)選擇主方向；④建立特征描述。研究表明[7-8]，SIFT提取的特征點(diǎn)位置準(zhǔn)確，具有良好的仿射、光照不變性，實(shí)時(shí)性較高，總體性能高于其它局部特征提取算子。目前SIFT已經(jīng)成功應(yīng)用于目標(biāo)識(shí)別、圖像視頻檢索、全景拼接。此后一些學(xué)者對(duì)SIFT進(jìn)行了改進(jìn)。Ke和Sukthankar提出了PCA-SIFT[9]：對(duì)梯度圖像塊進(jìn)行PCA變換后，將產(chǎn)生36維的向量作為特征描述，代替原來(lái)的SIFT描述。實(shí)驗(yàn)表明，PCA-SIFT在特征匹配時(shí)速度比SIFT快，但特征不如SIFT顯著，且PCA計(jì)算量比較大[7]。Andrew Stein將目標(biāo)背景信息加入SIFT的特征描述，以提高匹配的精度[10]。Michael使用積分圖像和積分直方圖實(shí)現(xiàn)SIFT，以提高SIFT的實(shí)時(shí)性[11]。Mikolajczyk提出的GLOH是SIFT特征描述的一種變體，具有比較好的顯著性，但計(jì)算量比較大。

本文提出一種SIFT的改進(jìn)算法—Haris-SIFT。它使用Harris算子計(jì)算SIFT特征點(diǎn)的角點(diǎn)特征值，保留具有顯著角點(diǎn)特征的特征點(diǎn)，以提高SIFT特征點(diǎn)集合的整體顯著性，從而提高了匹配的準(zhǔn)確性。實(shí)驗(yàn)表明，Harris-SIFT的匹配分?jǐn)?shù)高于SIFT和Harris-Laplace。另一方面，SIFT特征的計(jì)算復(fù)雜度比較高，且與特征點(diǎn)數(shù)量成正比，因此去除”不顯著”的特征點(diǎn)后，縮短了計(jì)算時(shí)間，提高了算法的實(shí)時(shí)性。

本文還提出了一種基于尺度空間的深度估計(jì)算法。它使用特征提取算子(如SIFT、Harris-Laplace等)從尺度空間提取特征點(diǎn)，每個(gè)特征點(diǎn)都賦予一個(gè)特征尺度，反映了目標(biāo)的尺寸信息。通過(guò)匹配目標(biāo)圖與參考圖，尋找匹配特征點(diǎn)對(duì)，計(jì)算相應(yīng)的特征尺度比例，就可以得到目標(biāo)的近似尺寸比例，從而估計(jì)出深度信息。與其它深度估計(jì)算法相比，如基于多視幾何的三角測(cè)量法、基于圖像結(jié)構(gòu)的深度估計(jì)，本算法快速方便，具有較高的準(zhǔn)確性，且只需要單目攝像頭。實(shí)驗(yàn)表明，Harris-SIFT和尺度空間深度估計(jì)算法在室內(nèi)機(jī)器人定位與導(dǎo)航實(shí)驗(yàn)中應(yīng)用得很成功，識(shí)別準(zhǔn)確，定位可靠。

本文結(jié)構(gòu)安排如下：第2部分介紹Harris-SIFT和基于尺度空間距離的估計(jì)算法；第3部分分析基于運(yùn)動(dòng)和結(jié)構(gòu)的三維重建方法在機(jī)器人定位中的應(yīng)用；第4部分介紹機(jī)器人定位與導(dǎo)航系統(tǒng)框架；并給出實(shí)驗(yàn)結(jié)果和分析。最后，第5部分對(duì)本文提出的算法作出整體的評(píng)價(jià)和展望。

1 Harris-SIFT和尺度空間

1.1 Harris-SIFT

SIFT算法可以從圖像中有效地提取很多尺度不變特征點(diǎn)。對(duì)于一幅320×240的圖像，大約可以提取出400～1000個(gè)特征點(diǎn)。當(dāng)圖像存在部分遮擋時(shí)，這些局部特征點(diǎn)可以有效識(shí)別目標(biāo)。但特征點(diǎn)越多，計(jì)算量越大，不適合實(shí)時(shí)應(yīng)用。另外，圖像發(fā)生較大的仿射形變時(shí)，匹配方法找到的特征點(diǎn)只是眾多SIFT特征點(diǎn)中的一小部分，或者說(shuō)很大一部分SIFT特征點(diǎn)在實(shí)際匹配過(guò)程中不起作用，這是因?yàn)檫@些特征點(diǎn)不具備足夠的顯著性。它們一方面增加了生成特征點(diǎn)的計(jì)算量，另一方面也增加了特征點(diǎn)數(shù)據(jù)庫(kù)的容量和匹配復(fù)雜度，制約了算法的實(shí)時(shí)性。

上述問(wèn)題與SIFT的尋找特征點(diǎn)的方法相關(guān)。SIFT從DoG中尋找特征點(diǎn)。Mikolajczyk的實(shí)驗(yàn)表明，DoG生成的特征尺度不如Laplacian準(zhǔn)確[2]。另一方面，DoG抑制了邊緣，適合提取blob結(jié)構(gòu)，但邊緣和角點(diǎn)也具有豐富的信息，可以加以利用。Harris-Laplace算子正是結(jié)合了Harris角點(diǎn)和Laplacian尺度函數(shù)，得到比較可靠的特征點(diǎn)。不過(guò)，SIFT特征點(diǎn)的位置比Harris-Laplace精確，因?yàn)镾IFT特征點(diǎn)為尺度空間鄰域內(nèi)的極值點(diǎn)，且通過(guò)二次插值更為精確地修正了位置和特征尺寸。根據(jù)Lindeberg的尺度自動(dòng)選擇理論[12]:尺度空間的極值點(diǎn)為穩(wěn)定的特征點(diǎn)。因此SIFT特征點(diǎn)定位比較準(zhǔn)確。而Harris角點(diǎn)與尺度空間的極值點(diǎn)不一定吻合，所以Harris-Laplace特征點(diǎn)定位不夠準(zhǔn)確。Mikolajczyk提取一種迭代算法以改善Harris-Laplace的定位精確，但計(jì)算量會(huì)顯著提高[7]。

基于上述分析，本文提出的Harris-SIFT結(jié)合了Harris角點(diǎn)特征和SIFT特征點(diǎn)的優(yōu)點(diǎn)，其目的是為了尋找具有顯著角點(diǎn)特征的SIFT特征點(diǎn)，以改善特征點(diǎn)集合的顯著性，提高匹配效果和算法實(shí)時(shí)性。與SIFT相同，算法首先尋找DoG中的極值點(diǎn)作為候選特征點(diǎn)，然后使用尺度空間自適應(yīng)Harris算子計(jì)算候選特征點(diǎn)鄰域內(nèi)各點(diǎn)的角點(diǎn)特征值(cornerness)[13]。公式如下：

(1)

cornerness=det(μ(x,σI,σD))-αtrace2(μ(x,σI,σD))

(2)

其中μ為尺度自適應(yīng)的二階矩矩陣，σI為積分尺度，σD差分尺度，Lα為梯度算子。

如果候選特征點(diǎn)鄰域內(nèi)最大角點(diǎn)特征值高于某個(gè)閾值，則認(rèn)為該候選點(diǎn)具有顯著角點(diǎn)特征，是顯著的SIFT特征點(diǎn)，再為其生成SIFT特征描述，否則放棄該候選點(diǎn)?？疾猷徲虻睦碛稍谟冢篠IFT從以候選點(diǎn)為中心的梯度塊生成特征向量，充分包含了鄰域信息。若鄰域內(nèi)存在顯著的角點(diǎn)特征，那么這些角點(diǎn)信息也會(huì)被引入SIFT特征描述。另一方面，Harris角點(diǎn)與DoG極值點(diǎn)可能不重合，只計(jì)算候選特征點(diǎn)的角點(diǎn)特征值就會(huì)丟失鄰域內(nèi)的角點(diǎn)，從而丟失大量顯著特征點(diǎn)。選擇合適的鄰域半徑是個(gè)比較重要的問(wèn)題，半徑過(guò)大，特征點(diǎn)顯著性降低，半徑過(guò)小，可能會(huì)丟失顯著特征點(diǎn)。實(shí)驗(yàn)結(jié)果表明，半徑取2或3比較合適。

1.2 尺度空間深度估計(jì)

移動(dòng)機(jī)器人視覺(jué)定位需要得到目標(biāo)深度和位置信息，進(jìn)而計(jì)算自身的位姿。傳統(tǒng)的多視幾何和極線幾何理論估計(jì)深度算法比較復(fù)雜，且容易引入誤差。本文提出的深度估計(jì)算法，在圖像發(fā)生較大的仿射形變、光照變化，或存在部分遮擋時(shí)，仍能較準(zhǔn)確地得到目標(biāo)圖像的深度信息，計(jì)算速度較快，且只需要單目攝像頭。

該算法基于Lindeberg的尺度自動(dòng)選擇理論[12]。它的思想是為圖像中的結(jié)構(gòu)選擇一個(gè)特征尺度，它由某個(gè)以尺度為自變量的函數(shù)確定，如LoG：

(3)

特征尺度與圖像的分辨率無(wú)關(guān)，只與圖像的結(jié)構(gòu)相關(guān)，反映了結(jié)構(gòu)在圖像中的尺寸。因此不同圖像中同一結(jié)構(gòu)特征尺度的比例就近似反映了該結(jié)構(gòu)圖像尺寸的比例。結(jié)構(gòu)尺寸比例由深度變化引起，代表了深度比例，由此可以通過(guò)特征尺度估計(jì)深度信息。

深度估計(jì)的準(zhǔn)確性，取決于特征點(diǎn)提取算法和匹配算法的有效性和可靠性。可以選擇Harris-SIFT(或SIFT)提取特征點(diǎn)，然后采用Lowe提出的匹配框架[5]：使用最近鄰居距離比原則選擇最佳匹配，再通過(guò)Hough變換檢測(cè)幾何一致性以去除誤匹配。如果特征點(diǎn)比較多，還可以為特征點(diǎn)集合建立kd-tree，再搜索最近鄰居，以加快匹配速度。

2 運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)和三維重建

利用多個(gè)視圖間的對(duì)應(yīng)關(guān)系可以恢復(fù)出場(chǎng)景結(jié)構(gòu)以及攝像機(jī)的運(yùn)動(dòng)軌跡，這便是運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)的問(wèn)題。通過(guò)運(yùn)動(dòng)和結(jié)構(gòu)分析還可以進(jìn)一步得到場(chǎng)景中各個(gè)三維點(diǎn)的真實(shí)坐標(biāo)，即三維重建。

三維重建的算法框架如下：

①?gòu)膱D像中提取特征點(diǎn)；

②多幅圖像特征匹配；

③估計(jì)基礎(chǔ)矩陣；

④估計(jì)本征矩陣；

⑤三角測(cè)量法恢復(fù)3D坐標(biāo)。

2.1 特征提取和匹配

特征提取和匹配是三維重建中的難點(diǎn)，一般提取角點(diǎn)再通過(guò)關(guān)聯(lián)搜索尋找匹配點(diǎn)對(duì)，但是角點(diǎn)仍不顯著，特別是不具有尺度不變性，Mikolajczyk提出的尺度自適應(yīng)的角點(diǎn)算法可以提高角點(diǎn)的顯著性；另外，關(guān)聯(lián)搜索與窗口大小高度相關(guān)，且易受尺度變化、光照、仿射變換等因素的影響，從而產(chǎn)生誤匹配，對(duì)后續(xù)的基礎(chǔ)矩陣求解有很大的影響。本文使用Harris-SIFT算法提取特征點(diǎn)，再通過(guò)kd-tree和BBF算法快速搜索匹配點(diǎn)對(duì)，最后通過(guò)Hash Hough檢測(cè)一致性，去除誤匹配。實(shí)驗(yàn)結(jié)果表明，這個(gè)算法流程得到的誤匹配點(diǎn)極少，誤匹配率低于5%，從而可以顯著提高基于RANSAC和MLE算法估計(jì)基礎(chǔ)矩陣的精確性和實(shí)時(shí)性。

2.2 基礎(chǔ)矩陣和本征矩陣

圖1 極線幾何：與Π中點(diǎn)p關(guān)聯(lián)的Π′中的 點(diǎn)p′必定在極線l′上

基礎(chǔ)矩陣將兩幅圖像的對(duì)應(yīng)點(diǎn)聯(lián)系起來(lái)，包含了攝像機(jī)在不同位置成像時(shí)的運(yùn)動(dòng)信息。如圖1所示，p和p′通過(guò)極線l和l′關(guān)聯(lián)，其中e和e′為極點(diǎn)，o和o′為光心，x′和x分別為p和p′的圖像坐標(biāo)。由此可以得極線約束方程(基礎(chǔ)矩陣方程)：

x′TFx= 0

(4)

基礎(chǔ)矩陣F為秩為2的3×3矩陣，可以通過(guò)匹配點(diǎn)對(duì)求解，一般至少需要7對(duì)匹配點(diǎn)。由于可能存在誤匹配點(diǎn)對(duì)，匹配點(diǎn)對(duì)的坐標(biāo)受噪聲干擾也有誤差，因此一般需要更多的匹配點(diǎn)對(duì)。借助魯棒的算法，如MAPSAC(MLESAC),RANSAC等方法可以求解出比較準(zhǔn)確的F，基礎(chǔ)矩陣F與本征矩陣E的關(guān)系為：

F=C′-TEC-1

(5)

其中C,C′分別為攝像機(jī)內(nèi)參數(shù)矩陣。若攝像機(jī)已標(biāo)定，則C和C′已知，否則必須通過(guò)自標(biāo)定估計(jì)C和C′，本文使用P.Sturm提出的算法進(jìn)行自標(biāo)定。

本征矩陣E可進(jìn)一步分解為：

(6)

其中R為旋轉(zhuǎn)矩陣，t為光心平移向量，因此通過(guò)本征矩陣可以得到攝像機(jī)的全部運(yùn)動(dòng)參數(shù)。

2.3 三角測(cè)量法

經(jīng)過(guò)前面幾步處理后，可以得到基礎(chǔ)矩陣和本征矩陣，從而可以計(jì)算射影攝像機(jī)的成像矩陣，關(guān)系如下：

x=PXandx′=P′X

(7)

令

(8)

其中c為任意常數(shù)，b為任意向量。結(jié)合公式(4)(7)(8)便可以使用三角測(cè)量法計(jì)算點(diǎn)X的三維坐標(biāo)。

令p1-3為P的三行，p′1-3為P′的三行，可以得到如下方程組：

xp3TX-p1X=0

yp3TX-p2X=0

xp2TX-yp1X=0

(9)

將(9)式整理成

AX=0

(10)

其中

(11)

式(10)可以通過(guò)SVD分解或數(shù)值迭代方法求解。

3 實(shí)驗(yàn)

本文提出的自主移動(dòng)機(jī)器人視覺(jué)導(dǎo)航定位系統(tǒng)框架如圖2所示。里程計(jì)為系統(tǒng)提供實(shí)時(shí)位姿信息，攝像頭為系統(tǒng)提供實(shí)時(shí)圖像。導(dǎo)航系統(tǒng)從目標(biāo)識(shí)別和深度估計(jì)模塊得到目標(biāo)位置信息，進(jìn)而規(guī)劃?rùn)C(jī)器人的運(yùn)動(dòng)。目標(biāo)模型數(shù)據(jù)庫(kù)是視覺(jué)導(dǎo)航系統(tǒng)的基礎(chǔ)。數(shù)據(jù)庫(kù)中的每個(gè)模型對(duì)應(yīng)于一幅包含某個(gè)目標(biāo)的圖像，用Harris-SIFT特征點(diǎn)集合表示，同時(shí)它還包含了模型深度信息。數(shù)據(jù)庫(kù)可以在系統(tǒng)運(yùn)行之前創(chuàng)建，然后加載，也可以在導(dǎo)航過(guò)程中動(dòng)態(tài)創(chuàng)建?；贖arris-SIFT的目標(biāo)識(shí)別是整個(gè)導(dǎo)航系統(tǒng)的核心，本文采用了DavidLowe提出的識(shí)別體系[5-6]，如圖3所示。首先Harris-SIFT為新得到的圖像提取特征點(diǎn)集合，接著采用最近鄰居搜索算法找到模型數(shù)據(jù)庫(kù)中的匹配特征點(diǎn)，然后通過(guò)Hough變換檢驗(yàn)特征點(diǎn)的幾何一致性，去除誤匹配，最后對(duì)保留下的匹配點(diǎn)對(duì)進(jìn)行評(píng)估打分，判斷是否滿足識(shí)別要求，如果匹配成功，則返回?cái)?shù)據(jù)庫(kù)中的匹配模型。

3.1 實(shí)驗(yàn)平臺(tái)與設(shè)計(jì)

圖2 Frontier-II移動(dòng)機(jī)器人

實(shí)驗(yàn)平臺(tái)為Frontier-II移動(dòng)機(jī)器人，如圖2所示。Frontier-II使用了威盛的嵌入式主板，CPU主頻1.5GHz，配有512M DDR2內(nèi)存，使用Windows XP操作系統(tǒng)。Frontier-II采用雙輪差速電機(jī)，安裝了八個(gè)紅外傳感器，可以完成避障測(cè)距功能；外接的Logitech Quickcam USB攝像頭可以以24幀/s采集320×240分辨率圖像；通過(guò)Cisco的Linksys Wireless-G USB無(wú)線網(wǎng)卡可以很方便地與其它計(jì)算機(jī)進(jìn)行通訊。實(shí)驗(yàn)在封閉環(huán)境中進(jìn)行，過(guò)程如下：

①2.6m×4.3m的封閉室內(nèi)場(chǎng)地中任意擺放路標(biāo)和其它物品。本實(shí)驗(yàn)在場(chǎng)地四個(gè)角落和中心處各放一個(gè)路標(biāo)，共5個(gè)；

②實(shí)驗(yàn)前手動(dòng)采集路標(biāo)，記錄下采集時(shí)的距離信息，由Harris-SIFT提取特征點(diǎn)，保存為數(shù)據(jù)庫(kù)。本實(shí)驗(yàn)中所用路標(biāo)如圖3所示；

圖3 路標(biāo)

③實(shí)驗(yàn)過(guò)程中，F(xiàn)rontier-II在場(chǎng)地中漫游，通過(guò)紅外傳感器自動(dòng)避障。視覺(jué)系統(tǒng)通過(guò)Logitech Quickcam采集實(shí)時(shí)圖像(320×240)，由目標(biāo)識(shí)別模塊識(shí)別目標(biāo)。運(yùn)動(dòng)規(guī)劃系統(tǒng)定時(shí)記錄里程計(jì)數(shù)據(jù)和已識(shí)別目標(biāo)的信息(估計(jì)深度和相對(duì)偏向角)；

④根據(jù)③中記錄的里程計(jì)和被識(shí)別目標(biāo)信息，繪制機(jī)器人運(yùn)動(dòng)軌跡圖，描出目標(biāo)位置。再與實(shí)際環(huán)境中目標(biāo)的準(zhǔn)確位置比較，分析實(shí)驗(yàn)結(jié)果，評(píng)價(jià)算法與導(dǎo)航系統(tǒng)的性能。

3.2 實(shí)驗(yàn)結(jié)果與分析

本文通過(guò)5組實(shí)驗(yàn)分析，驗(yàn)證了本文提出的算法的性能。

(1)實(shí)驗(yàn)1：重復(fù)率和匹配分?jǐn)?shù)

圖4 Graffiti圖像集，視角依次為00, 200, 400, 600

圖5 Harris-Laplace、SIFT、Harris-SIFT特征點(diǎn)在 40% overlap error的重復(fù)率和匹配分?jǐn)?shù)

實(shí)驗(yàn)1采用Mikolajczyk提出的評(píng)價(jià)體系[7-8]，比較了Harris-Laplace(使用SIFT特征描述)、SIFT、Harris-SIFT特征點(diǎn)的重復(fù)率和匹配分?jǐn)?shù)。圖4為實(shí)驗(yàn)所用測(cè)試圖，拍攝視角從00每隔200變化到600。圖5為Mikolajczyk評(píng)價(jià)體系得到的結(jié)果，其中SIFT和Harris-SIFT使用的是David Lowe的代碼。結(jié)果表明:三種算法的重復(fù)率大致相同，SIFT的匹配分?jǐn)?shù)明顯高于Harris-Laplace，其中又以Harris-SIFT的分?jǐn)?shù)為最高。這說(shuō)明通過(guò)保留SIFT特征點(diǎn)集合中的顯著部分，Harris-SIFT保持了SIFT定位準(zhǔn)確的特點(diǎn)，同時(shí)提高了匹配分?jǐn)?shù)，性能優(yōu)于SIFT。圖7的匹配分?jǐn)?shù)圖也反映Harris-Laplace特征位置不如SIFT準(zhǔn)確，原因如前所述。

(2)實(shí)驗(yàn)2：算法復(fù)雜度

實(shí)驗(yàn)2對(duì)比了SIFT和Harris-SIFT提取和匹配特征點(diǎn)的時(shí)間，以反映算法復(fù)雜度差異。表1使用了Graffiti和Bark系列圖像測(cè)試了Harris-SIFT和SIFT提取和匹配特征的算法復(fù)雜度。Harris-SIFT通過(guò)去掉原始SIFT得到的大部分不具有顯著角點(diǎn)特征的特征點(diǎn)，縮短了生成特征描述和匹配的時(shí)間。對(duì)于Bark圖像，Harris-SIFT提取特征點(diǎn)的時(shí)間是SIFT的一半，匹配時(shí)間僅為SIFT的1/13。

值得一提的是，Harris-SIFT對(duì)于角點(diǎn)比較敏感，室內(nèi)環(huán)境一般比較復(fù)雜，角點(diǎn)比較多，Harris-SIFT可以找到足夠多的匹配對(duì)以完成目標(biāo)識(shí)別。因此Harris-SIFT對(duì)于室內(nèi)環(huán)境下的目標(biāo)識(shí)別具有較大意義，如機(jī)器人導(dǎo)航、地圖創(chuàng)建和定位等。

表1 SIFT、Harris-SIFT(HSIFT)提取特征和匹配的平均 時(shí)間(s)(使用的是未經(jīng)優(yōu)化的C++算法實(shí)現(xiàn))

(3)實(shí)驗(yàn)3：三維重建

圖6 特征匹配和極線幾何

實(shí)驗(yàn)3給出了三維重建的部分結(jié)果。本文使用第三部分介紹的算法進(jìn)行三維重建。圖6所示為特征匹配后得到31對(duì)匹配點(diǎn)對(duì)，沒(méi)有誤匹配點(diǎn)對(duì)，再通過(guò)MLESAC算法計(jì)算F，得到的平方誤差為1.11438，比較精確。

(4)實(shí)驗(yàn)4：深度估計(jì)

實(shí)驗(yàn)4利用包含同一目標(biāo)的尺度變化圖像組，測(cè)試了深度估計(jì)算法的性能。圖7為深度估計(jì)算法的測(cè)試圖。圖8是通過(guò)Harris-SIFT和SIFT提取并匹配特征后得到的尺度比例?？梢钥吹剑烙?jì)結(jié)果與實(shí)際尺度基本吻合。由于SIFT特征點(diǎn)具有尺度、仿射、光照等不變性，在圖像發(fā)生部分遮擋，或是視角發(fā)生變化時(shí)，也能可靠匹配，得到比較準(zhǔn)確的尺度比例和深度信息。

圖7 尺度隨拍攝距離不同的cbook系列圖。 (從左到右拍攝距離依次為100、50、75、150、200、300、400個(gè)圖像單位。其中100圖像單位為參考圖，其余為對(duì)比測(cè)試圖)

圖8 實(shí)際尺度和估計(jì)尺度比例

(5)實(shí)驗(yàn)5：視覺(jué)導(dǎo)航定位

實(shí)驗(yàn)5在Frontier-II自主移動(dòng)機(jī)器人上應(yīng)用第四部分提到的導(dǎo)航定位系統(tǒng)，完成了機(jī)器人導(dǎo)航和定位。本文擬定以下指標(biāo)來(lái)評(píng)價(jià)導(dǎo)航定位算法的性能：①實(shí)時(shí)性：目標(biāo)識(shí)別時(shí)間；②識(shí)別率：誤識(shí)別率和漏識(shí)別率；③識(shí)別能力：識(shí)別距離和角度范圍；④定位精度：距離估計(jì)的可信度。

實(shí)時(shí)性：實(shí)驗(yàn)中目標(biāo)識(shí)別模塊使用的是未經(jīng)優(yōu)化的c++代碼，在Frontier-II上運(yùn)行時(shí)，識(shí)別一幀平均需3.4s，CPU占用率為100%。這主要與硬件有關(guān)，在Intel奔騰處理器上，識(shí)別一幀只需1.2s。另外，Harris-SIFT所用時(shí)間僅是SIFT的1/3～1/2。

識(shí)別率：圖9描述了Frontier-II運(yùn)動(dòng)軌跡和目標(biāo)定位情況。紅色實(shí)心圓點(diǎn)代表識(shí)別出路標(biāo)時(shí)機(jī)器人位置。在整個(gè)漫游過(guò)程中，共識(shí)別出目標(biāo)43次，并且每次都識(shí)別出正確的目標(biāo)，所以誤識(shí)別率為0。因?yàn)槊看巫R(shí)別時(shí)間都差不多(平均3.4s)，因此連續(xù)兩次識(shí)別過(guò)程中機(jī)器人的運(yùn)動(dòng)距離比較接近。圖中機(jī)器人的識(shí)別位置(圓點(diǎn))大致等距分布，說(shuō)明當(dāng)目標(biāo)在機(jī)器人視野中時(shí)，一般都能被正確識(shí)別出，即漏識(shí)別率比較低。

識(shí)別能力：本實(shí)驗(yàn)中路標(biāo)相對(duì)機(jī)器人視角較小(最大不超過(guò)150)，相對(duì)距離較近(最遠(yuǎn)3m)。在這種情況下，機(jī)器人看到的路標(biāo)沒(méi)有發(fā)生顯著的幾何形變，因此識(shí)別成功率比較高。通過(guò)對(duì)目標(biāo)識(shí)別模塊的單獨(dú)測(cè)試，我們發(fā)現(xiàn)：當(dāng)視角發(fā)生300變化，距離路標(biāo)3～5倍采集距離時(shí)，仍能準(zhǔn)確識(shí)別目標(biāo)。

定位精度：圖9中同一目標(biāo)的估計(jì)位置(“+”)分布得比較集中(水平和垂直方向上最大分布間距均不超過(guò)0.8m)，估計(jì)位置均分布在真實(shí)位置附近(同一目標(biāo)的估計(jì)位置均落在以目標(biāo)為中心、半徑為0.5m的圓內(nèi)，且大多數(shù)更是落在半徑為0.2m的圓內(nèi))。這已經(jīng)可以滿足一些對(duì)精度要求不是特別高的應(yīng)用場(chǎng)合。

需要指出的是：里程計(jì)誤差會(huì)顯著影響定位結(jié)果。本實(shí)驗(yàn)中，深度估計(jì)模塊只能得到目標(biāo)相對(duì)機(jī)器人的位置，需要疊加里程計(jì)信息才能得到目標(biāo)在真實(shí)環(huán)境中的絕對(duì)位置。長(zhǎng)時(shí)間運(yùn)行過(guò)程中，里程計(jì)誤差會(huì)逐漸累積增加，從而影響定位精度。圖9中目標(biāo)估計(jì)位置一般都沿逆時(shí)針?lè)较蚱x真實(shí)目標(biāo)一定角度，該偏差便是由里程計(jì)的累積誤差造成。實(shí)驗(yàn)結(jié)果表明，機(jī)器人沿場(chǎng)地運(yùn)行兩圈后，里程計(jì)角度誤差達(dá)160。

圖9 Frontier-II運(yùn)動(dòng)軌跡及目標(biāo)定位圖

4 結(jié)論

本文提出的Harris-SIFT算法，結(jié)合了Harris 角點(diǎn)算子和SIFT的優(yōu)點(diǎn)，提高了SIFT的匹配準(zhǔn)確率，降低了SIFT算法復(fù)雜度，適合實(shí)時(shí)目標(biāo)識(shí)別應(yīng)用。本文提出的基于尺度空間的深度估計(jì)算法準(zhǔn)確、方便、快速。移動(dòng)機(jī)器人自主導(dǎo)航和定位實(shí)驗(yàn)表明，結(jié)合Harris-SIFT和尺度空間深度估計(jì)，可以準(zhǔn)確識(shí)別目標(biāo)，可靠定位。因此這兩個(gè)算法對(duì)于移動(dòng)機(jī)器人視覺(jué)定位具有較大的意義和較高的應(yīng)用價(jià)值。

[1] Shmid.C. and R. Mohr.Local greyvalue invariants for image retrieval[J]. IEEE Trans. Pattern Anal. Mach. Intell,1997,19(5):530-534.

[2] K. Mikoljczyk and C. Schmid, Indexing based on scale-invariant features, in Proc. Int. Conf. Computer Vision, 2001:525-531.

[3] K. Mikolajczyk and C. Schmid. Scale & Affine Invariant Interest Point Detectors[J]. In International Journal on Computer Vision, 60(1):63-86, 2004.

[4] P. Jensfelt, D. Kragic, J. Folkesson and M. Bj¨orkman. A Framework for Vision Based Bearing Only 3D SLAM.ICRA,2006.

[5] D. G. Lowe. Object recognition from local scale-invariant features [C]. In Proc. of the International Conference on Computer Vision, 1999(9):1150-57.

[6] D. G. Lowe. Distinctive image features from scale-invariant keypoints [J]. International Journal on Computer Vision, 2004,60(2):91-110.

[7] K. Mikolajczyk and C. Schmid. A performance evaluation of local descriptors[J]. In IEEE Transactions on Pattern Analysis and Machine Intelligence, to appear, 2005.

[8] K. Mikolajzyk, Tinne Tuytelaars, Cordelia Schmid, et all. A comparison of affine region detectors and descriptors[J]. International journal on computer vision 2005.

[9] Ke, Y., Sukthankar, R. PCA-SIFT. A more distinctive representation for local image descriptors. In CVPR . 2004:506-513.

[10]Andrew Stein, Martial Hebert. Incorporating Background Invariance into Feature-Based Object Recognition [C]. WACV/MOTION 2005: 37-44.

[11]Michael Grabner, Helmut Grabner, Horst Bischof. Fast Approximated SIFT[C]. ACCV ,2006.

[12]Lindeberg, T. Feature detection with automatic scale selection[J]. International Journal of Computer Vision, 1998,30(2):79-116.

[13]K.Mikolajczyk, A. Zisserman, and C. Schmid. Shape recognition with edge-based features[J]. In BMVC, 2003,779-788.

(編輯 趙蓉)

Visual Localization for Mobile Robot with Harris-SIFT

YUAN Liang

(School of Mechanical Engineering, Xinjiang University, Urumqi 830047, China)

Object recognition and depth estimaiton are the two key problems in visual localization for mobile robot.To solve these prolbems, this paper presents a feature extraction algorithm called as Harris-SIFT and depth estimation algorithm using scale space. The Harris-SIFT algorithm is combined with the SIFT (Scale Invariant Feature Transform) algorithm and Harris corner dectector. It gets rid of some feature points with non-remarkable corner features in order to improve the whole significance in SIFT feature point collection and better the match and recognition performance. In addition, Harris-SIFT can be used in the real-time cases because it only take case of some of SIFT feature points and the computation time is decreased. The depth estimation algorithm based on scale space achieves the approximated dimensional scale by computing feature dimensional scale in a refernce image and objective image. Then the objective deption information in the objective images can be achieved by combining the objective depth information in the reference image. Experiments show that Harris-SIFT can accurately and quickly recognize the object in the navigation of the mobile robot. Meanwhile, the depth estimaiton algorithm in space scale also can localize the object accurately. Therefore, the visual localization for mobile robot can be improve by combining the Harris-SIFT and the depth estimaiton algorithm in the space scale.

Harris-SIFT; scale space; depth estimation; visual localization

1001-2265(2014)06-0019-06

10.13462/j.cnki.mmtamt.2014.06.006

2013-10-03；

2013-11-03

國(guó)家自然科學(xué)基金(61262059)；新疆優(yōu)秀青年科技創(chuàng)新人才培養(yǎng)項(xiàng)目；新疆大學(xué)博士啟動(dòng)基金

袁亮(1972—)，男，山東鄆城人，新疆大學(xué)副教授，博士，研究領(lǐng)域?yàn)闄C(jī)器人控制計(jì)算機(jī)視覺(jué)與圖像處理，(E-mail)ylhap@163.com。

TH166;TG65

A