光流特征聚類的車載全景序列影像匹配方法

張正鵬,江萬(wàn)壽,張 靖

1.遼寧工程技術(shù)大學(xué)測(cè)繪與地理科學(xué)學(xué)院,遼寧阜新 123000;2.武漢大學(xué)測(cè)繪遙感信息工程國(guó)家重點(diǎn)實(shí)驗(yàn)室,湖北武漢 430079

光流特征聚類的車載全景序列影像匹配方法

張正鵬1,2,江萬(wàn)壽2,張 靖2

1.遼寧工程技術(shù)大學(xué)測(cè)繪與地理科學(xué)學(xué)院,遼寧阜新 123000;2.武漢大學(xué)測(cè)繪遙感信息工程國(guó)家重點(diǎn)實(shí)驗(yàn)室,湖北武漢 430079

提出一種光流特征聚類的車載全景序列影像匹配方法。采用非參數(shù)化的均值漂移特征聚類思想,以SlFT多尺度特征匹配點(diǎn)的位置量和光流矢量,構(gòu)建了影像特征空間的空域和值域;利用特征空間中對(duì)應(yīng)的顯著圖像光流特征為聚類條件,實(shí)現(xiàn)了全景序列影像的匹配;最后以全景極線幾何約束為條件進(jìn)行粗差的剔除。通過(guò)相同、不同內(nèi)點(diǎn)率以及不同數(shù)據(jù)的試驗(yàn)對(duì)比分析,本文方法在匹配正確點(diǎn)數(shù)和正確率方面要優(yōu)于經(jīng)典的Ransac法和金字塔Lucas-Kanade光流法,尤其在場(chǎng)景復(fù)雜造成的低內(nèi)點(diǎn)率情況下,算法表現(xiàn)較為穩(wěn)定,并可較好地剔除由重復(fù)紋理、運(yùn)動(dòng)物體、尺度變化等產(chǎn)生的匹配點(diǎn)粗差。

車載全景影像;光流聚類;均值漂移;SlFT特征

1 引 言

搭載全景相機(jī)傳感器的車載移動(dòng)測(cè)量系統(tǒng),可完成沿道路360°場(chǎng)景的全景影像數(shù)據(jù)采集。由于立體模型較好地保持了平面影像特征,且可方便地引入經(jīng)典的圖像處理方法,因此采用立體模型構(gòu)建全景影像,較容易進(jìn)行影像匹配、提取與識(shí)別等應(yīng)用[1]。

立體全景序列影像的匹配,目前主要采用SIFT多尺度特征匹配的方法[2],利用5點(diǎn)求解算法[3]并結(jié)合Ransac方法[4-5],估計(jì)立體全景影像的極線幾何模型,通過(guò)極線幾何模型約束來(lái)控制粗差[1]。這種匹配策略在近景和航空航天影像中已廣泛應(yīng)用[6-11]。區(qū)別于針孔影像,全景帶來(lái)了全視角的影像信息,但增加了場(chǎng)景的復(fù)雜性, SIFT特征匹配后仍存在大量的重復(fù)紋理、運(yùn)動(dòng)物體和尺度變化等粗差,造成低內(nèi)點(diǎn)率下Ransac極線幾何模型估計(jì)不準(zhǔn)確,這也是目前全景影像匹配的主要問(wèn)題所在[12-14]。如果考慮全景序列影像間的運(yùn)動(dòng)關(guān)系來(lái)約束匹配,可以借鑒視頻跟蹤領(lǐng)域的光流特征匹配法,如基于光流特征的金字塔匹配方法[15]。但實(shí)際應(yīng)用中發(fā)現(xiàn),在車載全景影像的重復(fù)紋理區(qū)域、運(yùn)動(dòng)物體邊界周圍、深度不連續(xù)處,光流會(huì)發(fā)生劇烈的變化,不滿足亮度恒定性假設(shè),匹配結(jié)果往往仍存在大量的粗差。

綜上,采用SIFT和光流匹配方法,已經(jīng)不能完全解決車載全景影像的匹配問(wèn)題。如何控制匹配過(guò)程中的重復(fù)紋理、運(yùn)動(dòng)物體、尺度變化等粗差是匹配的關(guān)鍵。

2 光流特征聚類的影像匹配方法

2.1 光流特征聚類算法

車載全景序列影像采樣間隔短,一般可認(rèn)為滿足視頻序列影像特征,可以采用光流法實(shí)現(xiàn)影像間的特征匹配[15]。但該方法受重復(fù)紋理特征和搜索窗口的影響,在匹配亮度差最優(yōu)求解中快速收斂于最鄰近的相似紋理特征,產(chǎn)生重復(fù)紋理的匹配粗差,而全景影像中的場(chǎng)景運(yùn)動(dòng)關(guān)系復(fù)雜,尤其受車輛等運(yùn)動(dòng)物體影響,光流呈現(xiàn)整體的不規(guī)律性,因此僅采用亮度守恒度量顯然無(wú)法提高匹配的可靠性。首先采用“Classic＋NL-Fast”全局光流匹配算法[16]來(lái)分析車載立方體全景序列影像間的光流特征,分別得到光流場(chǎng)彩色編碼圖1(a)和光流場(chǎng)矢量分布圖1(b)(數(shù)據(jù)見(jiàn)圖2(a))。由圖1可知,影像間不同物體滿足不同的運(yùn)動(dòng)關(guān)系。對(duì)于建筑物、道路、運(yùn)動(dòng)物體等呈現(xiàn)出不同的光流運(yùn)動(dòng)矢量,并且隨深度方向的變化而變化。主要特征如下:①建筑物區(qū)域反映出較強(qiáng)的光流場(chǎng),并與深度方向成反比,而光流方向滿足局部的一致性;②受道路相似性紋理影響,光流表現(xiàn)為靜止運(yùn)動(dòng),因此強(qiáng)度很弱,且滿足光流方向的一致性;③測(cè)量車體本身為相對(duì)靜止運(yùn)動(dòng),光流強(qiáng)度很弱,且滿足光流方向的一致性;④場(chǎng)景中的運(yùn)動(dòng)物體,光流場(chǎng)表現(xiàn)復(fù)雜,隨運(yùn)動(dòng)物體與測(cè)量車產(chǎn)生的相對(duì)運(yùn)動(dòng)大小而變化,并與深度方向有關(guān),但運(yùn)動(dòng)物體破壞了光流連續(xù)性,表現(xiàn)為局部光流異常變化的特征。

圖1 全景序列影像的全局光流場(chǎng)分析Fig.1 Global optical flow field analysis for vehicle-borne panoramic images

綜上,全景影像的光流強(qiáng)度和方向滿足局部一致性,且與空間分布相關(guān),因此可以充分利用局部光流的統(tǒng)一性,來(lái)區(qū)別不同場(chǎng)景中的重復(fù)紋理和運(yùn)動(dòng)物體目標(biāo)。這種局部光流的統(tǒng)一性,可以表達(dá)為特征匹配結(jié)果在影像空間中的顯著光流特征的聚類。采用非參數(shù)化的均值漂移特征聚類思想[17-19],以SIFT多尺度特征匹配點(diǎn)的位置量和光流矢量,構(gòu)建影像特征空間的空域和值域,利用特征空間中對(duì)應(yīng)的顯著圖像光流特征為聚類條件,實(shí)現(xiàn)全景序列影像的匹配,算法描述如下。

2.1.1 光流聚類定義

在d維空間Rd中,給定n個(gè)數(shù)據(jù)點(diǎn)xi,則點(diǎn)x處的多變量核密度估計(jì)器(x)的計(jì)算由式(1)給出,其中K(x)是核函數(shù),h是核的大小[17]

由均值漂移算法可知,影像的特征空間可以表達(dá)為空-值聯(lián)合域的形式,由此產(chǎn)生的聯(lián)合域核函數(shù)Khs,hr(x)由兩個(gè)徑向?qū)ΨQ核組成[18],見(jiàn)式(2)

式中,hs、hr分別代表空域和值域的核大小(帶寬閾值);p、d表示空間維度;xs、xr是特征向量的空域和值域部分;k x()是在兩域中共同的核輪廓函數(shù);c是規(guī)范化常數(shù)。

采用SIFT多尺度特征匹配點(diǎn)的位置坐標(biāo)和光流矢量,構(gòu)建影像特征空間的空域和值域。已知SIFT匹配點(diǎn)對(duì)的位置坐標(biāo)為(u,v)、(u′,v′),表達(dá)為四維特征向量[w1u w2v w3δu w4δv],定義如下:

(1)空域xs,由SIFT匹配點(diǎn)的位置坐標(biāo)定義為(u,v)。

(2)值域xr,由SIFT匹配點(diǎn)的光流矢量定義為(δu,δv),見(jiàn)式(3)

(3)w1、w2、w3、w4定義空域與值域的權(quán)值大小。

2.1.2 四維特征向量權(quán)的確定

以顯著光流特征為聚類條件,光流矢量的權(quán)值在聚類中的貢獻(xiàn)比重更大,如定義初始權(quán)(w1, w2,w3,w4)為(1,1,10,10)。另外具有相同SIFT尺度特征的匹配點(diǎn)表現(xiàn)為物方上的尺度相似性,匹配點(diǎn)滿足尺度上的相似性條件,可有效避免尺度空間內(nèi)不穩(wěn)定的匹配點(diǎn),因此可以通過(guò)尺度特征進(jìn)一步確權(quán)。已知SIFT初始匹配點(diǎn)個(gè)數(shù)為n,匹配點(diǎn)的特征尺度為,均值漂移搜索帶寬半徑內(nèi)匹配點(diǎn)的平均尺度比例值為ˉS,定義尺度比例值大于3倍中誤差RMSE為尺度不一致的匹配點(diǎn),設(shè)置權(quán)值為極大值,尺度的定義如下

2.1.3 帶寬閾值的估計(jì)

光流聚類的帶寬hs,hr估計(jì)可以用特征光流的幅度大小來(lái)定義,受相機(jī)與物體間的運(yùn)動(dòng)影響,也受場(chǎng)景中物體的遠(yuǎn)近影響。對(duì)于場(chǎng)景中的“重要地物”,如建筑物的特征光流,一般滿足一定的幅度變化,而這個(gè)幅度范圍與相機(jī)間運(yùn)動(dòng)距離、影像幅寬和建筑物遠(yuǎn)近相關(guān),可以通過(guò)統(tǒng)計(jì)光流幅度直方圖近似獲得,本文試驗(yàn)數(shù)據(jù)幅度大小主要在0～300個(gè)像素范圍內(nèi)。

2.1.4 光流聚類匹配

將上面定義的加權(quán)四維特征向量代入式(1)、式(2)中,采用均值漂移解法實(shí)現(xiàn)匹配特征點(diǎn)的聚類[18]。聚類結(jié)果表現(xiàn)為局部光流一致性的點(diǎn)被聚類到一起,通常為大樣本點(diǎn),而光流異常點(diǎn)(通常表現(xiàn)為重復(fù)紋理和運(yùn)動(dòng)目標(biāo)產(chǎn)生的光流異常點(diǎn))也被聚類到一起,往往為小樣本點(diǎn),即某個(gè)聚類包含了極少的匹配點(diǎn)(見(jiàn)圖2(d))。另外,場(chǎng)景中的相對(duì)靜止匹配點(diǎn)或光流變化的極值點(diǎn),表現(xiàn)為光流幅度變化滿足一定的閾值范圍。因此定義光流聚類匹配的條件為滿足聚類點(diǎn)數(shù)giseg大于一個(gè)閾值σ1,且光流幅度mag滿足一個(gè)閾值范圍[ε1,ε2],見(jiàn)式(5)

2.2 算法流程

匹配方法基于零假設(shè)H0,序列影像對(duì)I和I′有隨機(jī)獨(dú)立匹配點(diǎn)mi∈I,m′i∈I′,則具體算法流程如下:

(1)采用SIFT特征匹配方法,獲取全景影像尺度空間上的初始匹配點(diǎn)。

(2)由尺度空間的初始匹配點(diǎn),定義四維特征向量(w1u,w2v,w3δu,w4δv),設(shè)置初始權(quán)(w1,w2,w3,w4)為(1,1,10,10),由式(4)定義尺度不一致的向量權(quán)值為極大值。

(3)以步驟(2)中定義的加權(quán)四維特征向量為影像特征空間的空域和值域,帶寬閾值由光流幅度的大小定義,代入式(1)—式(2)求解均值漂移向量,得到光流特征的初始聚類。利用式(5)對(duì)初始聚類結(jié)果進(jìn)行篩選,完成光流聚類匹配。

(4)最后對(duì)光流聚類匹配的結(jié)果,利用全景極線幾何約束匹配[1-3]。

3 試驗(yàn)及其結(jié)果分析

試驗(yàn)數(shù)據(jù)為拓普康IP-S2車載移動(dòng)測(cè)量系統(tǒng)獲取的全景序列影像。首先將球面全景映射為立體模型全景影像[20],由于上下視圖為天空和地面,信息量很小,所以僅保留左、前、右、后4個(gè)視圖,影像的寬高大小為5400像素×1350像素。采用正確匹配點(diǎn)數(shù)、正確匹配率和計(jì)算時(shí)間3個(gè)指標(biāo)評(píng)價(jià)結(jié)果,選擇Ransac方法[1]、金字塔Lucas-Kanade光流法[15](以下簡(jiǎn)稱OFPLK)和本文方法做比較,分別進(jìn)行相同內(nèi)點(diǎn)率、不同內(nèi)點(diǎn)率、不同數(shù)據(jù)的對(duì)比試驗(yàn)。無(wú)特殊說(shuō)明,試驗(yàn)參數(shù)統(tǒng)一設(shè)置為(單位為像素):極線幾何約束的投影差閾值為1[5],均值漂移算法中的帶寬閾值hs＝hr＝250,光流聚類閾值σ1＝12,光流幅度閾值ε1＝10、ε2＝500。OFPLK方法中的搜索窗口為30,跟蹤誤差閾值為10。

3.1 相同內(nèi)點(diǎn)率的對(duì)比試驗(yàn)

試驗(yàn)采用測(cè)試數(shù)據(jù)1,見(jiàn)圖2(a)。首先利用SIFT進(jìn)行初始特征匹配,SIFT最近鄰比例因子為0.7。試驗(yàn)結(jié)果如表1和圖2所示。

圖2 相同內(nèi)點(diǎn)率匹配對(duì)比試驗(yàn)(左為匹配點(diǎn)、線,右為匹配點(diǎn)線局部放大圖)Fig.2 Match results on same inlier ratio(left:match point/line,right:partial enlarged view)

表1 相同內(nèi)點(diǎn)率的對(duì)比試驗(yàn)結(jié)果Tab.1 Experiment result on same inlier ratio

由表1可知,本文方法能較好地控制粗差,在正確匹配點(diǎn)數(shù)和正確匹配率方面均高于Ransac和OFPLK方法,達(dá)到了0.987正確匹配率,獲取104個(gè)初始聚類,經(jīng)過(guò)光流聚類匹配后剩余12個(gè)聚類,見(jiàn)圖2(d)、圖2(e)。而在計(jì)算時(shí)間上Ransac和OFPLK方法更優(yōu),本文方法在聚類匹配過(guò)程中耗費(fèi)了更多的時(shí)間。

圖2(a)顯示經(jīng)過(guò)SIFT初始匹配后,仍含有大量的粗差?；颈憩F(xiàn)為由建筑物和道路紋理重復(fù)性造成的粗差、車體本身相對(duì)靜止粗差以及運(yùn)動(dòng)物體粗差。另外,深度方向的遠(yuǎn)處場(chǎng)景中存在大量的匹配點(diǎn),但由于其交會(huì)角很小而且分辨率低,所以匹配精度也很低。圖2(b)為Ransac方法極線幾何約束后的匹配結(jié)果。從圖中標(biāo)識(shí)的區(qū)域可以看出仍存在明顯的粗差:區(qū)域“A”為運(yùn)動(dòng)物體粗差,區(qū)域“B”表現(xiàn)為受整體模型估計(jì)不準(zhǔn)確誤刪除的大量正確匹配點(diǎn),區(qū)域“C”為無(wú)法剔除的低精度遠(yuǎn)處匹配點(diǎn),區(qū)域“E”為相似紋理粗差。區(qū)域“C”局部放大圖中可以清晰地看出仍存在遠(yuǎn)端低精度匹配點(diǎn)和道路相似性紋理的匹配粗差等。圖2(c)為OFPLK方法的匹配結(jié)果,對(duì)比Ransac方法可以看出,區(qū)域“A”仍存在運(yùn)動(dòng)物體粗差,區(qū)域“B”獲取了相對(duì)多的正確匹配點(diǎn),區(qū)域“C”正確匹配點(diǎn)減少,區(qū)域“D”為采集車自身由于相對(duì)靜止產(chǎn)生的粗差。圖2(d)為本文方法光流聚類的結(jié)果,總計(jì)104個(gè)類別用不同的顏色顯示。從匹配線的聚類結(jié)果可以看出,相同的顏色聚類代表光流矢量的一致性,而這種聚類呈現(xiàn)出局部的平面特征,并且正確的匹配點(diǎn)表現(xiàn)為大的類別。對(duì)于粗差點(diǎn)往往被聚類到小類別中,光流矢量表現(xiàn)為與周邊異?，F(xiàn)象(見(jiàn)右側(cè)局部放大圖)。圖2(e)為本文方法匹配后的聚類結(jié)果,剩余12個(gè)類別用不同的顏色顯示。試驗(yàn)結(jié)果可以證明,正確的光流匹配結(jié)果往往集中在大的類別中,因此本文光流聚類的方法,對(duì)于小類別表現(xiàn)為粗差的概率很高。與圖2(b)中對(duì)應(yīng)的標(biāo)識(shí)區(qū)域進(jìn)行對(duì)比分析可得,本文方法可以較好地保留建筑物正確匹配點(diǎn),對(duì)于運(yùn)動(dòng)物體、道路相似紋理粗差以及遠(yuǎn)距離低精度匹配點(diǎn)具有較好的約束效果。表1的統(tǒng)計(jì)結(jié)果顯示本文方法約束后粗差點(diǎn)數(shù)為22,仍存在部分粗差點(diǎn)無(wú)法完全清除。觀察發(fā)現(xiàn)這些粗差主要表現(xiàn)為部分運(yùn)動(dòng)物體粗差和天空粗差點(diǎn),尤其當(dāng)場(chǎng)景中運(yùn)動(dòng)物體大量存在的情況下,無(wú)法通過(guò)光流聚類來(lái)區(qū)別粗差點(diǎn),而天空點(diǎn)主要表現(xiàn)為距離建筑物的邊緣3個(gè)像素左右的點(diǎn),實(shí)際觀察紋理和位置為正確匹配,但由于沒(méi)有附著在地物上,這種匹配點(diǎn)實(shí)際是無(wú)效的。

3.2 不同內(nèi)點(diǎn)率的對(duì)比試驗(yàn)

采用測(cè)試數(shù)據(jù)1,利用SIFT最近鄰比例因子“SIFT_Ratio”來(lái)生成不同內(nèi)點(diǎn)率的初始匹配數(shù)據(jù), SIFT_Ratio值越大代表粗差率越高,即內(nèi)點(diǎn)率越低。

圖3(a)與圖3(b)顯示不同內(nèi)點(diǎn)率下的試驗(yàn)結(jié)果?？梢钥闯鲭S著內(nèi)點(diǎn)率的降低,尤其在低內(nèi)點(diǎn)率SIFT_Ratio取0.95和0.98情況下Ransac方法正確匹配點(diǎn)數(shù)很低,而且匹配率下降到67.6%和61.2%,驗(yàn)證了Ransac方法在內(nèi)點(diǎn)率極低的情況下模型估計(jì)十分不穩(wěn)定。而OFPLK方法正確匹配點(diǎn)數(shù)整體優(yōu)于Ransac方法,正確匹配率與Ransac方法近似,尤其在SIFT_Ratio為0.9～0.98之間時(shí)獲得了優(yōu)于本文方法的正確匹配點(diǎn)數(shù),但其正確匹配率卻遠(yuǎn)遠(yuǎn)低于本文方法。觀察圖3(a)、圖3(b),可以看出本文方法在不同內(nèi)點(diǎn)率試驗(yàn)中表現(xiàn)十分穩(wěn)定,正確匹配率均在92%以上,高于Ransac和OFPLK方法。圖3(c)顯示隨著內(nèi)點(diǎn)率的降低,3種方法計(jì)算效率逐漸下降,但Ransac和OFPLK方法計(jì)算效率更高。本文方法主要受聚類算法的影響,內(nèi)點(diǎn)率越低聚類數(shù)越大,導(dǎo)致計(jì)算效率下降。

圖3 不同內(nèi)點(diǎn)率的對(duì)比試驗(yàn)折線圖Fig.3 Line chart experiment results on different inlier ratio

3.3 不同數(shù)據(jù)的對(duì)比試驗(yàn)

采用16組不同場(chǎng)景的測(cè)試影像評(píng)價(jià)本文算法的穩(wěn)定性,SIFT最近鄰比例因子SIFT_Ratio＝0.7,其中5組數(shù)據(jù)統(tǒng)計(jì)值見(jiàn)表2,圖4為16組數(shù)據(jù)的試驗(yàn)對(duì)比柱狀圖。

由圖4(a)可知,本文方法的正確匹配點(diǎn)數(shù)整體上優(yōu)于Ransac方法,部分?jǐn)?shù)據(jù)略低于OFPLK方法。但在正確匹配率方面,均優(yōu)于其他兩種方法,并且大部分情況下在90%以上。計(jì)算時(shí)間方面Ransac和OFPLK方法有明顯的優(yōu)勢(shì)。

表2中的第10組數(shù)據(jù)選擇為空曠場(chǎng)景,由于特征地物稀少,場(chǎng)景中基本都是相似性紋理。SIFT初始匹配含有極大的粗差點(diǎn),Ransac正確匹配79個(gè)點(diǎn),OFPLK正確匹配105個(gè)點(diǎn),本文方法正確匹配129個(gè)點(diǎn)。在正確匹配率方面, Ransac方法為56.4%,OFPLK方法為24.2%,本文方法為73.7%,雖然3種方法的正確匹配率都較低,但本文方法還是有明顯的優(yōu)勢(shì)。觀察匹配數(shù)據(jù)可以發(fā)現(xiàn),在特征不明顯的區(qū)域,且數(shù)據(jù)質(zhì)量不清晰情況下,算法表現(xiàn)出一定的穩(wěn)定性,但仍然含有一定的粗差,此類粗差為場(chǎng)景中出現(xiàn)的大量車流導(dǎo)致,其運(yùn)動(dòng)規(guī)律表現(xiàn)為統(tǒng)一的運(yùn)動(dòng)速度和方向,滿足光流的顯著性聚類條件,因此本文方法也很難檢測(cè)出來(lái)。

表2 5組不同數(shù)據(jù)的對(duì)比試驗(yàn)結(jié)果表Tab.2 Experiment results on five sets of data

圖4 16組數(shù)據(jù)的對(duì)比試驗(yàn)柱狀圖Fig.4 Histogram experiment results on sixteen sets of data

4 結(jié) 論

本文研究了一種光流特征聚類的車載全景序列影像匹配方法。通過(guò)不同參數(shù)的對(duì)比試驗(yàn),結(jié)果表明對(duì)于街景復(fù)雜、內(nèi)點(diǎn)率較低的情況下,該算法表現(xiàn)出極好的穩(wěn)定性,可以在一定程度上控制重復(fù)紋理粗差、尺度變化粗差和區(qū)分部分運(yùn)動(dòng)粗差,有效提高了正確匹配點(diǎn)數(shù)和匹配率,但由于引入了均值漂移的光流聚類方法,因此在計(jì)算效率上要低于Ransac和OFPLK方法。另外受相關(guān)閾值影響,如何面對(duì)不同場(chǎng)景,研究自適應(yīng)的閾值進(jìn)一步提高聚類的精度,將有助于粗差的檢測(cè)。同時(shí)發(fā)現(xiàn)該方法仍然存在一定的粗差無(wú)法檢測(cè)問(wèn)題,尤其在低內(nèi)點(diǎn)率的空曠場(chǎng)景或車流密集場(chǎng)景,這些粗差均滿足光流和極線幾何的約束,研究增加其他幾何約束條件來(lái)進(jìn)一步控制此類粗差是下一步研究的方向。

[1] KANGNI F,LAGANIERE R.Epipolar Geometry for the Rectification of Cubic Panoramas[C]∥Proceedings of the 3rd Canadian Conference on Computer and Robot Vision. Halifax:IEEE,2006,70-70.

[2] LOWE D G.Distinctive Image Features from Scale-invariant Keypoints[J].International Journal of Computer Vision, 2004,60(2):91-110.

[3] NISTéR D.An Efficient Solution to the Five-point Relative Pose Problem[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2004,26(6):756-770.

[4] FISCHLER M A,BOLLES R C.Random Sample Consensus: A Paradigm for Model Fitting with Applications to Image Analysis and Automated Cartography[J].Communications of the ACM,1981,24(6):381-395.

[5] HARTLEY R,ZISSERMAN A.Multiple View Geometry in Computer Vision[M].2nd ed.Cambridge:Cambridge University Press,2003.

[6] JIANG Wanshou,ZHENG Shunyi,ZHANG Zuxun,et al.Feature-based Image Matching for Aerial Images[J].Geomatics and Information Science of Wuhan University, 2003,28(5):510-513.(江萬(wàn)壽,鄭順義,張祖勛,等.航空影像特征匹配研究[J].武漢大學(xué)學(xué)報(bào):信息科學(xué)版, 2003,28(5):510-513.)

[7] LI Xiaoming,ZHENG Lian,HU Zhanyi.SIFT Based Automatic Registration of Remotely-sensed Imagery[J].Journal of Remote Sensing,2006,10(6):885-892.(李曉明,鄭鏈,胡占義.基于SIFT特征的遙感影像自動(dòng)配準(zhǔn)[J].遙感學(xué)報(bào),2006,10(6):885-892.)

[8] LIANG Dong,TONG Qiang,QU Lei,et al.Algorithm for Images Matching Based on Epipolar and Homography Constraints[J].Journal of System Simulation,2006,18 (1):44-46.(梁棟,童強(qiáng),屈磊,等.一種基于極幾何和單應(yīng)約束的圖像匹配算法[J].系統(tǒng)仿真學(xué)報(bào),2006,18(1): 44-46.)

[9] LüJinjian,WEN Gongjian,LI Deren,et al.A New Method Based on Spatial Relations for Feature Matching[J].Acta Geodaetica et Cartographica Sinica,2008,37(3),367-373.(呂金建,文貢堅(jiān),李德仁,等.一種新的基于空間關(guān)系的特征匹配方法[J].測(cè)繪學(xué)報(bào),2008,37(3), 367-373.)

[10] ZHANG Ka,SHENG Yehua,YE Chun.Digital Close-range Stereo Image Matching Based on Digital Parallax Model and Improved SIFT Feature[J].Acta Geodaetica et Cartographica Sinica,2010,39(6):624-630.(張卡,盛業(yè)華,葉春.基于數(shù)字視差模型和改進(jìn)SIFT特征的數(shù)字近景立體影像匹配[J].測(cè)繪學(xué)報(bào),2010,39(6):624-630.)

[11] ZHAO Xian,CHEN Zhixue,LüJingguo,et al.The Scale and Rotating Invariant Auto Stereo Matching[J].Acta Geodaetica et Cartographica Sinica,2012,41(1): 81-86.(趙西安,陳志學(xué),呂京國(guó),等.具有尺度與旋轉(zhuǎn)不變性的立體影像自動(dòng)匹配研究[J].測(cè)繪學(xué)報(bào),2012,41 (1):81-86.)

[12] SATO T,PAJDLA T,YOKOYA N.Epipolar Geometry Estimation for Wide-baseline Omnidirectional Street View Images[C]∥Proceedings of 2011 IEEE InternationalConference on Computer Vision Workshops.Barcelona: IEEE,2011:56-63.

[13] NI K,JIN H L,DELLAERT F.GroupSAC:Efficient Consensus in the Presence of Groupings[C]∥Proceedings of IEEE 12th International Conference on Computer Vision.Kyoto:IEEE,2009:2193-2200.

[14] MICUSIK B,KOSECKA J.Piecewise Planar City 3D Modeling from Street View Panoramic Sequences[C]∥Proceedings of 2009 IEEE Conference on Computer Vision and Pattern Recognition.Miami:IEEE,2009:2906-2912.

[15] BOUGUET J Y.Pyramidal Implementation of the Lucas Kanade Feature Tracker:Description of the Algorithm [R].California:Intel Corporation Microprocessor Research Labs,2002.

[16] SUN D,ROTH S,BLACK M J,et al.Secrets of Optical Flow Estimation and Their Principles[C]∥Proceedings of 2010 IEEE Conference on Computer Vision and Pattern Recognition.San Francisco:IEEE,2010:2432-2439.

[17] FUKUNAGA K,HOSTETLER L.The Estimation of the Gradient of a Density Function,with Applications in Pattern Recognition[J].IEEE Transactions on Information Theory,1975,21(1):32-40.

[18] COMANICIU D,MEER P.Mean Shift:A Robust Approach toward Feature Space Analysis[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2002,24(5): 603-619.

[19] CHRISTOUDIAS C M,GEORGESCU B,MEER P.Synergism in Low Level Vision[C]∥Proceedings of 16th International Conference on Pattern Recognition.Quebec: [s.n.],2002:150-155.

[20] TANG Jin.Omnidirectional Image Based on IBR[D].Changsha: Central South University,2002.(唐琎.基于IBR的全方位全景圖像[D].長(zhǎng)沙:中南大學(xué),2002.)

(責(zé)任編輯:叢樹平)

An lmage Match Method Based on Optical Flow Feature Clustering for Vehicleborne Panoramic lmage Sequence

ZHANG Zhengpeng1,2,JlANG Wanshou2,ZHANG Jing2
1.School of Geomatics,Liaoning Technical University,Fuxin 123000,China;2.State Key Laboratory of lnformation Engineering in Surveying,Mapping and Remote Sensing,Wuhan University,Wuhan 430079,China

An image match method based on optical flow feature clustering is presented for vehicle-borne panoramic image sequence.The spatial domain and range domain of image feature space are built by the coordinates of SlFT multi-scale feature matching point and optical flow vector,then the panoramic image match is finished by Mean Shift attached to the optical flow clustering constraint condition in image feature space.Finally,panoramic geometric constraint of Ransac method is used for gross error detection.Several panoramic images are selected and used for experiment.The experiments of analysis and comparison were carried out in the conditions of the same inlier ratio,different inlier ratio and different data.The results show that the proposed method in the number and accuracy of correct matching points are superior to classic Ransac method and Pyramid Lucas-Kanade method,especially in the complex scene in low inlier ratio cases,the algorithm performance is relatively stable,and have better constraint effect for the gross error usually caused by repeat texture,moving objects and scale change.

vehicle-borne panoramic image;optical flow clustering;mean shift;SlFT feature

ZHANG Zhengpeng(1981—),male,lecturer, PhD candidate,majors in vehicle-borne mobile surveying technology.

JlANG Wanshou

P237

A

1001-1595(2014)12-1266-08

國(guó)家973計(jì)劃(2012CB719904);國(guó)家自然科學(xué)基金(41101452);高等學(xué)校博士學(xué)科點(diǎn)專項(xiàng)科研基金(20122121120003);測(cè)繪地理信息公益性行業(yè)科研專項(xiàng)(201412007)

ZHANG Zhengpeng,JIANG Wanshou,ZHANG Jing.An Image Match Method Based on Optical Flow Feature Clustering for Vehicle-borne Panoramic Image Sequence[J].Acta Geodaetica et Cartographica Sinica,2014,43(12):1266-1273.(張正鵬,江萬(wàn)壽,張靖.光流特征聚類的車載全景序列影像匹配方法[J].測(cè)繪學(xué)報(bào),2014,43(12):1266-1273.)

10.13485/j.cnki.11-2089.2014.0172

2013-04-12

張正鵬(1981—),男,講師,博士生,研究方向?yàn)檐囕d移動(dòng)測(cè)量技術(shù)。

E-mail:zhangzhengpeng2004＠126.com

江萬(wàn)壽

E-mail:jws＠lmars.whu.edu.cn

修回日期:2014-07-09