顧及拓?fù)潢P(guān)系的立體影像直線特征可靠匹配算法

王競(jìng)雪，朱 慶，王偉璽

1.西南交通大學(xué)地球科學(xué)與環(huán)境工程學(xué)院，四川 成都 611756；2.遼寧工程技術(shù)大學(xué)測(cè)繪與地理科學(xué)學(xué)院，遼寧 阜新 123000；3.深圳大學(xué)智慧城市研究院，廣東 深圳 518060

顧及拓?fù)潢P(guān)系的立體影像直線特征可靠匹配算法

王競(jìng)雪1,2，朱 慶1，王偉璽3

1.西南交通大學(xué)地球科學(xué)與環(huán)境工程學(xué)院，四川 成都 611756；2.遼寧工程技術(shù)大學(xué)測(cè)繪與地理科學(xué)學(xué)院，遼寧 阜新 123000；3.深圳大學(xué)智慧城市研究院，廣東 深圳 518060

針對(duì)單直線匹配過(guò)程中缺乏考慮鄰近直線特征之間關(guān)系，紋理斷裂處單一直線描述符的弱可靠性，提出了一種顧及拓?fù)潢P(guān)系的立體影像直線特征可靠匹配算法。該算法首先根據(jù)直線間距離、角度等基本拓?fù)潢P(guān)系對(duì)參考影像、搜索影像上提取的直線進(jìn)行編組；然后將編組得到的直線組作為匹配基元，充分利用直線特征組內(nèi)的拓?fù)潢P(guān)系，依次采用核線約束、單應(yīng)矩陣約束、象限約束、不規(guī)則三角形區(qū)域灰度相關(guān)約束對(duì)其進(jìn)行匹配；最后將同名直線組分裂為兩對(duì)同名單直線、并對(duì)分裂后的結(jié)果進(jìn)行整合、擬合、檢核等后處理，得到“一對(duì)一”的同名直線。選取典型紋理特征的航空影像和近景影像進(jìn)行參數(shù)分析及直線匹配試驗(yàn)，結(jié)果表明，本文算法能獲取可靠的直線匹配結(jié)果。

直線匹配；直線組匹配；拓?fù)潢P(guān)系；核線約束；單應(yīng)矩陣

直線特征是人類視覺信息中最顯著、最直觀、最具有代表性的特征。城區(qū)建筑物輪廓邊緣、屋頂和立面都蘊(yùn)含著大量的直線特征，包含豐富的語(yǔ)言信息和幾何意義，能夠較好地表達(dá)建筑物結(jié)構(gòu)特征，因此，將直線特征作為匹配基元并實(shí)現(xiàn)其可靠匹配是基于影像精細(xì)三維建模的基礎(chǔ)[1-4]。目前，攝影測(cè)量和計(jì)算機(jī)視覺領(lǐng)域?qū)χ本€匹配進(jìn)行了大量的卓有成效的研究。現(xiàn)有的直線匹配方法可以分為單直線匹配和組直線匹配兩類。

單直線匹配方法主要利用單一直線的幾何屬性信息(如斜率、長(zhǎng)度、位置、重疊度、距離等)或鄰域灰度信息的特征相似性，結(jié)合一定的幾何約束對(duì)直線逐一進(jìn)行匹配。文獻(xiàn)[5]采用分層次直線符號(hào)法，利用直線段的長(zhǎng)度、方向、位置和強(qiáng)度、對(duì)比度等特征進(jìn)行直線的相似性匹配；結(jié)合核線約束，文獻(xiàn)[6]利用直線鄰域灰度相關(guān)實(shí)現(xiàn)直線匹配；結(jié)合同名三角網(wǎng)約束，文獻(xiàn)[7—8]提出移動(dòng)窗口的自適應(yīng)直線相關(guān)方法，有效解決位于紋理斷裂處的直線匹配問(wèn)題；結(jié)合同名點(diǎn)約束，文獻(xiàn)[9]通過(guò)窗口行向量平均化計(jì)算相似性；文獻(xiàn)[10]利用物方平面約束，通過(guò)計(jì)算參考直線和候選直線間重疊距離和垂直距離，確定同名直線；文獻(xiàn)[11]將待匹配線及與其共面的同名點(diǎn)作為整體進(jìn)行描述及匹配；在無(wú)任何約束條件下，文獻(xiàn)[12—13]提出了MSLD均值-標(biāo)準(zhǔn)差直線描述子(mean-standard deviation line descriptor,MSLD)，該描述子通過(guò)統(tǒng)計(jì)像素支撐域內(nèi)每個(gè)子區(qū)域4個(gè)方向的梯度向量構(gòu)建描述子矩陣，提高描述子的可區(qū)分性及穩(wěn)健性。目前單直線匹配研究取得了一定的進(jìn)展[14-18]，但受限于單一直線描述符，匹配過(guò)程中沒有考慮鄰近直線特征之間關(guān)系，匹配結(jié)果模糊性一直存在。

組直線匹配多利用滿足一定條件的直線組作為匹配基元進(jìn)行匹配。文獻(xiàn)[19]將定義的干線對(duì)作為匹配基元，采用全局最優(yōu)化思想完成異源圖像的匹配及配準(zhǔn)；文獻(xiàn)[20]根據(jù)幾何特性、灰度特性為直線分配可信度，以組直線為匹配單元，利用馬氏距離計(jì)算組直線之間的特征相似性進(jìn)行匹配；文獻(xiàn)[21—23]提出了一種組直線匹配方法，首先參考影像上的直線組需滿足距離、角度、半鄰域灰度相似性3個(gè)條件，綜合利用核線約束、幾何屬性約束、空間直方圖、灰度相關(guān)等約束條件確定搜索影像上的同名直線組。研究結(jié)合Daisy描述符、匹配結(jié)果冗余及成對(duì)質(zhì)量檢核3個(gè)方面對(duì)匹配結(jié)果進(jìn)行后處理，減少匹配結(jié)果不確定性；文獻(xiàn)[24]將三維空間共面的直線組作為匹配基元，根據(jù)拓?fù)潢P(guān)系確定直線組，對(duì)直線組交點(diǎn)構(gòu)建描述符，根據(jù)標(biāo)準(zhǔn)互相關(guān)函數(shù)確定同名直線組，該方法對(duì)紋理匱乏區(qū)域均能取得較好的匹配結(jié)果，但對(duì)于拍攝傾角變化較大的立體影像還需進(jìn)一步完善。在現(xiàn)有組直線匹配方法的基礎(chǔ)上，本文提出一種顧及拓?fù)潢P(guān)系的立體影像直線特征可靠匹配算法。該算法將滿足一定拓?fù)潢P(guān)系的直線組作為匹配基元，充分利用直線組間幾何信息、拓?fù)潢P(guān)系等多重約束對(duì)直線組進(jìn)行匹配，并通過(guò)對(duì)同名直線組分裂、匹配結(jié)果后處理獲取可靠的直線匹配結(jié)果。

1 原 理

在已有LSD直線提取結(jié)果和漸進(jìn)三角網(wǎng)約束點(diǎn)密集匹配結(jié)果的基礎(chǔ)上，本文提出的顧及拓?fù)潢P(guān)系的立體影像直線特征可靠匹配算法分為特征直線組提取、直線組匹配和匹配結(jié)果后處理3個(gè)階段。第1階段，根據(jù)直線間距離、角度等拓?fù)潢P(guān)系對(duì)參考影像、搜索影像提取的直線分別進(jìn)行特征編組，提取滿足預(yù)設(shè)條件的特征直線組；第2階段，充分利用直線組間拓?fù)潢P(guān)系，依次采用核線約束、單應(yīng)矩陣約束、象限約束和三角形區(qū)域灰度相關(guān)約束對(duì)參考影像、搜索影像上提取的直線組進(jìn)行匹配，得到兩張影像上的同名直線組；第3階段，將匹配得到的同名直線組分解為同名單直線，并對(duì)結(jié)果進(jìn)行后處理，主要包括對(duì)結(jié)果中“一對(duì)多”“多對(duì)一”“多對(duì)多”匹配結(jié)果進(jìn)行整合，剔除錯(cuò)誤的“多”直線匹配結(jié)果，并對(duì)正確的“多”直線進(jìn)行擬合，最終得到“一對(duì)一”的同名單直線。

1.1 拓?fù)潢P(guān)系約束的直線編組

采用LSD算法[25]對(duì)參考影像、搜索影像分別進(jìn)行直線提取，結(jié)果表示為L(zhǎng)={l1,l2,…,lI}，R={r1,r2,…,rJ}，I、J分別為參考影像、搜索影像上提取直線的數(shù)目。對(duì)參考影像、搜索影像提取的直線分別進(jìn)行編組，得到特征直線組。對(duì)影像上任一直線段li，兩端點(diǎn)分別為a和b，長(zhǎng)度為len，將其作為目標(biāo)直線，直線{li+1,li+2,…,lI}為待編組的直線，具體編組過(guò)程如下：

(1) 以目標(biāo)直線li為中心建立矩形窗口作為目標(biāo)直線鄰域窗口。如圖1所示，沿目標(biāo)直線兩端及垂直直線方向的兩側(cè)，分別擴(kuò)展d個(gè)像素長(zhǎng)度，得到大小為(2d+1)×(len+2d)的矩形窗口為目標(biāo)直線的鄰域窗口。

(2) 依次判斷待編組的直線與目標(biāo)直線鄰域窗口關(guān)系，如某一待編組直線li′在目標(biāo)直線鄰域窗口內(nèi)或與鄰域窗口相交，且與目標(biāo)直線li的夾角θ在一定的角度范圍內(nèi)，則該直線li′與目標(biāo)直線li構(gòu)成一特征直線組，記為PL(li,li′,CL)，CL為特征直線組的交點(diǎn)坐標(biāo)。

(3) 分別選擇li和li′端點(diǎn)中與交點(diǎn)CL距離較近的點(diǎn)作為li和li′的起點(diǎn)，與點(diǎn)CL距離較遠(yuǎn)的點(diǎn)作為直線li和li′的終點(diǎn)。如圖1所示，b、e分別為兩直線的起點(diǎn)，a、c分別為兩直線的終點(diǎn)。

圖1 直線編組Fig.1 Finding intersection line pairs

圖2 參考影像、搜索影像上編組得到的直線組Fig.2 Grouped line pairs from two images

1.2 顧及拓?fù)潢P(guān)系的直線組匹配

以參考參考、搜索影像上編組得到的直線組作為匹配基元進(jìn)行匹配，匹配過(guò)程中依次采用核線約束、單應(yīng)矩陣約束、象限約束、不規(guī)則三角形區(qū)域灰度相關(guān)約束。對(duì)參考影像上任一直線組，確定搜索影像上滿足上述四種約束條件的特征直線組為其同名直線組。

1.2.1 核線約束

圖3 多重約束示意圖Fig.3 Diagram of multiple constraints

1.2.2 單應(yīng)矩陣約束

單應(yīng)矩陣表示兩個(gè)平面之間的可逆齊次變換，同一平面上的點(diǎn)，在兩張影像上成像的同名點(diǎn)坐標(biāo)記為u=[xL,yL]T，v=[xR,yR]T，則u點(diǎn)可通過(guò)式(1)變換到v點(diǎn)

(1)

1.2.3 象限約束

1.2.4 不規(guī)則三角形區(qū)域灰度相關(guān)約束

對(duì)滿上述3個(gè)約束的候選直線組，采用不規(guī)則三角形區(qū)域灰度相關(guān)約束確定最終同名直線組。

1.2.4.1 建立單直線對(duì)應(yīng)關(guān)系

1.2.4.2 對(duì)應(yīng)三角形區(qū)域提取

如圖3(b)所示，分別計(jì)算參考直線組起始邊終點(diǎn)a、終止邊終點(diǎn)c在搜索影像上的核線Ha、Hc，分別計(jì)算Ha、Hc與候選直線組中起始邊和終止邊的交點(diǎn)，記為a′和c′。搜索影像上以候選直線組交點(diǎn)、a′點(diǎn)和c′點(diǎn)構(gòu)成三角形所包含的區(qū)域作為灰度相關(guān)區(qū)域。

利用參考影像、搜索影像灰度相關(guān)區(qū)域的3個(gè)頂點(diǎn)坐標(biāo)，根據(jù)式(2)計(jì)算兩灰度相關(guān)區(qū)域仿射變換參數(shù)

(2)

式中，a0、a1、a2、b0、b1、b2表示仿射變換的6參數(shù)；x和y表示參考影像上灰度相關(guān)區(qū)域頂點(diǎn)坐標(biāo)，x′和y′表示搜索影像上對(duì)應(yīng)的灰度相關(guān)區(qū)域?qū)?yīng)頂點(diǎn)坐標(biāo)。

1.2.4.3 灰度相關(guān)計(jì)算

根據(jù)相關(guān)系數(shù)式(3)計(jì)算參考影像、搜索影像灰度相關(guān)區(qū)域的灰度相關(guān)系數(shù)ρ

(3)

1.3 匹配結(jié)果后處理

根據(jù)直線組中單直線應(yīng)關(guān)系將匹配得到的每對(duì)同名直線組分裂為兩對(duì)同名單直線，由于直線編組過(guò)程中同一直線可能出現(xiàn)在多個(gè)直線組中，參與多次匹配，會(huì)得到多次匹配結(jié)果。同時(shí)由于直線提取結(jié)果斷裂和錯(cuò)誤匹配，匹配結(jié)果中存在“一對(duì)多”“多對(duì)一”“多對(duì)多”匹配情況，因此需要對(duì)匹配結(jié)果進(jìn)行后處理。在確保匹配結(jié)果中對(duì)應(yīng)關(guān)系唯一性的基礎(chǔ)上，對(duì)結(jié)果中非“一對(duì)一”的“多”直線進(jìn)行檢核，剔除錯(cuò)誤的“多”直線匹配結(jié)果，并對(duì)正確的“多”直線進(jìn)行擬合，最終得到“一對(duì)一”的同名單直線。

首先，根據(jù)文獻(xiàn)[10]中匹配結(jié)果整合算法對(duì)分裂得到的同名單直線依次實(shí)現(xiàn)從左到右，再?gòu)挠业阶蟮摹耙粚?duì)多”匹配結(jié)果整合。然后，對(duì)整合后同名直線對(duì)應(yīng)關(guān)系中“一對(duì)多”“多對(duì)一”“多對(duì)多”結(jié)果中的“多”直線進(jìn)行擬合，如果擬合直線斜率與原有的多條直線斜率均一致且“多”直線間重疊度為0，則用擬合直線代替原有的“多”直線，否則將該組匹配結(jié)果刪除。最終得到參考影像上與搜索影像上“一對(duì)一”的同名直線。

2 試驗(yàn)與分析

為了驗(yàn)證本文算法的有效性，共采用一組航空影像、兩組近景影像用于直線匹配試驗(yàn)。第1組為圖4(a)所示的DMC數(shù)字航空影像的子影像對(duì)，影像集中在人工建筑物密集區(qū)域，提取的直線特征多為建筑物邊緣，影像大小分別為499×463像素、487×450像素；第2組為圖4(b)所示存在尺度變化的近景影像對(duì)，兩張影像之間尺度比約為1∶1.5，影像大小均為600×800像素；第3組為圖4(c)所示存在旋轉(zhuǎn)的近景影像對(duì)，兩張影像旋轉(zhuǎn)角度約為40°，影像上地物細(xì)節(jié)信息較為豐富。試驗(yàn)過(guò)程中，首先對(duì)圖4所示3組影像實(shí)現(xiàn)漸進(jìn)三角網(wǎng)約束點(diǎn)密集匹配及LSD直線提取，然后在此基礎(chǔ)上進(jìn)行直線匹配。匹配過(guò)程中參數(shù)閾值設(shè)置如下：Td=5，Th=20，Tρ=0.7。

圖4 影像數(shù)據(jù)Fig.4 Test images

2.1 直線編組參數(shù)選取

本文采用直線組作為匹配基元進(jìn)行直線匹配，而直線編組結(jié)果對(duì)直線匹配結(jié)果產(chǎn)生直接的影響。本文編組過(guò)程中共包含直線鄰域擴(kuò)展長(zhǎng)度d和直線夾角θ角度范圍兩個(gè)參數(shù)，因此本文采用第1組航空影像數(shù)據(jù)，在d和θ取不同值的情況下進(jìn)行直線編組及匹配試驗(yàn)，分析編組過(guò)程中不同參數(shù)值對(duì)編組的影響，進(jìn)而研究其對(duì)匹配結(jié)果的影響，通過(guò)對(duì)比分析確定編組參數(shù)用于后續(xù)匹配。

在匹配參數(shù)一致的條件下，本文對(duì)θ∈[45°,135°]、θ∈[30°,150°]、θ∈[15°,165°]3個(gè)取值范圍及d分別取5、10、15、20、25值的情況下進(jìn)行匹配試驗(yàn)，結(jié)果分別如表1、表2、表3所示。其中，第1列為d的取值；第2、3列為參考影像、搜索影像上編組得到的直線組的數(shù)目；第4列為匹配得到的同名直線組的數(shù)目；第5列為同名直線組分裂后得到同名直線的數(shù)目。但是由于匹配結(jié)果中存在“一對(duì)多”“多對(duì)一”“多對(duì)多”對(duì)應(yīng)關(guān)系，因此結(jié)果中包含參考影像、搜索影像上直線數(shù)目不相同，第6、7列為匹配結(jié)果中分別包含的參考影像、搜索影像上提取直線的數(shù)目；第8列為經(jīng)過(guò)對(duì)“一對(duì)多”“多對(duì)一”“多對(duì)多”結(jié)果整合、擬合、檢核后得到的最終的同名直線數(shù)；第9列為正確匹配的數(shù)目，第10列為匹配的正確率。

圖4(a)兩張影像上提取直線的數(shù)目分別為398條、406條。一方面，由于一條直線可能存在多個(gè)組中，因此編組得到的直線組數(shù)會(huì)多于直線提取的數(shù)目；另一方面，由于夾角和鄰域范圍的設(shè)定，會(huì)存在一些直線未被編組，因此編組得到直線組數(shù)也會(huì)少于直線提取的數(shù)目。

表1 θ∈[45°,135°]的直線匹配結(jié)果Tab.1 Line matching results by different parameter d and θ∈[45°,135°]

表2 θ∈[30°,150°]的直線匹配結(jié)果Tab.2 Line matching results by different parameter d and θ∈[30°,150°]

表3 θ∈[15°,165°]的直線匹配結(jié)果Tab.3 Line matching results by different parameter d and θ∈[15°,165°]

從表1、表2、表3中可以看出隨著θ角度范圍增大、d值增大，參考影像、搜索影像上編組得到的直線組數(shù)目越多，匹配得到的同名直線組數(shù)目越多，對(duì)應(yīng)分裂后同名單直線數(shù)目越多，且包含參考影像、搜索影像上直線數(shù)目越多。但是隨著結(jié)果中“一對(duì)多”“多對(duì)一”“多對(duì)多”對(duì)應(yīng)關(guān)系增多，匹配后處理后得到的同名直線的數(shù)目并沒有因此而增多。這是由于本文在對(duì)“多”結(jié)果的擬合和檢核的過(guò)程中采用了“一刀切”的方法，導(dǎo)致部分正確的匹配結(jié)果也被刪除掉，影響最終同名直線的數(shù)目。尤其在誤匹配較多的情況下，同名直線數(shù)目會(huì)大幅度的減小，例如，當(dāng)d=25時(shí)，參考影像、搜索影像上編組后得到直線組的重復(fù)率較小，直線組匹配正確率不高，錯(cuò)誤匹配較多，最終同名直線數(shù)目較小。后續(xù)將針對(duì)后處理中合并和檢核過(guò)程進(jìn)行針對(duì)性的研究。此外，針對(duì)圖4(a)所示影像，匹配結(jié)果中誤匹配多發(fā)生在人字形的屋頂處，主要是由于不同視角產(chǎn)生的直線投影不同導(dǎo)致直線提取結(jié)果的不同而引起的錯(cuò)誤匹配。

2.2 本文算法匹配結(jié)果及不同方法對(duì)比分析

通過(guò)2.1節(jié)不同參數(shù)對(duì)比分析試驗(yàn)，本文選取參數(shù)θ∈[30°,150°]，d=20對(duì)圖4所示影像進(jìn)行直線匹配試驗(yàn)。為了與本文算法進(jìn)行更加客觀的對(duì)比分析，在初始同名點(diǎn)及直線提取結(jié)果相同的條件下，本文實(shí)現(xiàn)了文獻(xiàn)[13]中基于MSLD描述子的直線匹配方法，實(shí)現(xiàn)過(guò)程中在原文獻(xiàn)描述子基礎(chǔ)上，增加了利用同名三角約束匹配候選直線，對(duì)其結(jié)果也采用本文的后處理算法進(jìn)行處理。文獻(xiàn)[13]根據(jù)最小歐氏距離與次最小歐氏距離的比值小于閾值TN確定同名直線，TN=0.8。兩種方法直線匹配結(jié)果顯示如圖5—圖7所示，人工目視判讀直線匹配結(jié)果是否正確，其中紅色線為正確匹配直線，藍(lán)色線為錯(cuò)誤匹配直線。兩種算法直線匹配結(jié)果統(tǒng)計(jì)如表4所示，其中第1列為試驗(yàn)影像，第2、3列為參考影像、搜索影像上提取直線的數(shù)目，第4列為采用的算法，第5列為匹配得到同名直線的數(shù)目，后5列表示的含義與表1所述含義一致。從中可以看出對(duì)于圖4(a)航空影像和圖4(b)存在尺度變化影像，本文算法取得較好的結(jié)果。航空影像上特征線多位于建筑物邊緣，而不同影像上同一建筑物兩側(cè)紋理信息的一致性較弱，MSLD構(gòu)建描述子過(guò)程中同時(shí)考慮直線兩側(cè)信息，這對(duì)不同影像上同一建筑物邊緣相似性的計(jì)算會(huì)產(chǎn)生影響，而本文算法利用直線組構(gòu)建相關(guān)區(qū)域，對(duì)于位于同一屋頂面上的直線組不會(huì)受紋理斷裂的影響；對(duì)于尺度變化影像，主要是因?yàn)镸SLD描述子本身沒有考慮尺度變化，而本文算法在確定三角形灰度相關(guān)區(qū)域時(shí)用到仿射變換，因此對(duì)于小尺度變化的影像具有一定的適應(yīng)性；但對(duì)于圖4(c)所示紋理豐富，細(xì)節(jié)較多的影像，MSLD的結(jié)果要好于本文算法。這是由于MSLD描述子利用梯度特征，其穩(wěn)健性強(qiáng)于單純基于區(qū)域的灰度相關(guān)，尤其對(duì)于細(xì)節(jié)信息豐富的影像，MSLD能產(chǎn)生較好的匹配效果，產(chǎn)生較少的錯(cuò)誤匹配。而本文單純基于區(qū)域灰度相關(guān)的匹配結(jié)果可靠性較弱，初始匹配會(huì)產(chǎn)生較多的錯(cuò)誤匹配，后處理后刪除掉大部分錯(cuò)誤匹配，但是同名直線的數(shù)目也大幅度減小。后續(xù)研究將會(huì)考慮用基于梯度的描述子代替?zhèn)鹘y(tǒng)的灰度相關(guān)。

圖5 圖4(a)所示影像不同算法的直線匹配結(jié)果Fig.5 Line matching results by different algorithms for figure 4(a)

圖6 圖4(b)所示影像不同算法的直線匹配結(jié)果Fig.6 Line matching results by different algorithms for figure 4(b)

圖7 圖4(c)所示影像不同算法的直線匹配結(jié)果Fig.7 Line matching results by different algorithms for figure 4(c)

此外，匹配過(guò)程中涉及3個(gè)參數(shù)閾值Td、Th、Tρ的設(shè)定。其中，Td和Th主要用于核線約束和單應(yīng)矩陣約束匹配候選，在本文算法匹配過(guò)程中這兩種約束較為寬泛，在一定范圍內(nèi)受閾值影響較小，后續(xù)象限約束較為嚴(yán)格。相關(guān)系數(shù)閾值采用經(jīng)驗(yàn)化閾值，取為0.7。

表4 不同算法直線匹配結(jié)果Tab.4 Line matching results by different algorithms

3 結(jié) 論

本文探索了一種顧及拓?fù)潢P(guān)系的立體影像直線特征可靠匹配算法。該算法主要特點(diǎn)表現(xiàn)在以下幾個(gè)方面：①在已有單應(yīng)矩陣的基礎(chǔ)上，提出了象限約束，使得特征編組具有任意性，不用考慮任何對(duì)應(yīng)關(guān)系，簡(jiǎn)化了編組過(guò)程；②對(duì)位于同一面片上的直線組，能有效避免紋理斷裂對(duì)匹配產(chǎn)生的影響，提高匹配的可靠性，同時(shí)，三角形灰度區(qū)域建立過(guò)程中引入的仿射變換使得該方法適用于存在一定尺度變化的影像；③對(duì)“一對(duì)多”“多對(duì)一”“多對(duì)多”的匹配結(jié)果進(jìn)行整合，并對(duì)整合結(jié)果中的“多”直線進(jìn)行檢核，對(duì)正確的“多”直線進(jìn)行擬合，剔除錯(cuò)誤的“多”直線匹配結(jié)果，得到“一對(duì)一”的同名直線。此算法一方面解決了直線提取過(guò)程中產(chǎn)生的斷裂，另一方面提高了匹配的正確率。

下一步研究工作：①目前算法沒有充分利用匹配結(jié)果中的冗余信息，同時(shí)匹配結(jié)果后處理過(guò)程中，采用“一刀切”政策，部分正確的匹配結(jié)果被刪除，使得匹配直線數(shù)目大大減少，后續(xù)將重點(diǎn)研究充分利用冗余信息提高后處理的高效性及有效性；②現(xiàn)有研究是基礎(chǔ)性和探索性的，后續(xù)將現(xiàn)有算法中基于灰度的描述符替換成基于梯度信息的描述符，提高描述符的穩(wěn)定性和可靠性；③進(jìn)一步將考慮未被編組的直線，使其加入匹配。

[1] ZHANG Li.Automatic Digital Surface Model(DSM)Generation from Linear Array Images[D].Zurich：Institute of Geodesy and Photogrammetry，2005.

[2] 江萬(wàn)壽.航空影像多視匹配與規(guī)則建筑物自動(dòng)提取方法研究[D].武漢：武漢大學(xué)，2004.

JIANG Wanshou.Multiple Aerial Image Matching and Automatic Building Detection[D].Wuhan：Wuhan University，2004.

[3] 文貢堅(jiān).一種基于特征編組的直線立體匹配全局算法[J].軟件學(xué)報(bào)，2006，17(12)：2471-2484.

WEN Gongjian.A Global Algorithm for Straight Line Stereo Matching Based on Feature Grouping[J].Journal of Software，2006，17(12)：2471-2484.

[4] ZHANG Lilian，KOCH R.An Efficient and Robust Line Segment Matching Approach Based on LBD Descriptor and Pairwise Geometric Consistency[J].Journal of Visual Communication and Image Representation，2013，24(7)：794-805.

[5] 席學(xué)強(qiáng)，王潤(rùn)生.基于直線特征的圖像-模型匹配算法[J].國(guó)防科技大學(xué)學(xué)報(bào)，2000，22(6)：70-74.

XI Xueqiang，WANG Runsheng.An Algorithm of Image-model Matching Based on Straight Line Features[J].Journal of National University of Defense Technology，2000，22(6)：70-74.

[6] SCHMID C，ZISSERMAN A.Automatic Line Matching Across Views[C]∥Proceedings of the 2013 IEEE Conference on Computer Vision and Pattern Recognition.San Juan，Puerto Rico：IEEE，1997：666-671.

[7] 張?jiān)粕?，朱慶，吳波，等.一種基于三角網(wǎng)約束的立體影像線特征多級(jí)匹配方法[J].武漢大學(xué)學(xué)報(bào)(信息科學(xué)版)，2013，38(5)：522-527.

ZHANG Yunsheng，ZHU Qing，WU Bo，et al.A Hierarchical Stereo Line Matching Method Based on a Triangle Constraint[J].Geomatics and Information Science of Wuhan University，2013，38(5)：522-527.

[8] WU Bo，ZHANG Yunsheng，ZHU Qing.Integrated Point and Edge Matching on Poor Textural Images Constrained by Self-adaptive Triangulations[J].ISPRS Journal of Photogrammetry and Remote Sensing，2012，68(1)：40-55.

[9] 梁艷，盛業(yè)華，張卡，等.利用局部仿射不變及核線約束的近景影像直線特征匹配[J].武漢大學(xué)學(xué)報(bào)(信息科學(xué)版)，2014，39(2)：229-233.

LIANG Yan，SHENG Yehua，ZHANG Ka，et al.Linear Feature Matching Method Based on Local Affine Invariant and Epipolar Constraint for Close-range Images[J].Geomatics and Information Science of Wuhan University，2014，39(2)：229-233.

[10] 王競(jìng)雪，宋偉東，王偉璽.同名點(diǎn)及高程平面約束的航空影像直線匹配算法[J].測(cè)繪學(xué)報(bào)，2016，45(1)：87-95.DOI：10.11947/j.AGCS.2016.20140527.

WANG Jingxue，SONG Weidong，WANG Weixi.Line Matching Algorithm for Aerial Image Based on Corresponding Points and Z-plane Constraints[J].Acta Geodaetica et Cartographica Sinica，2016，45(1)：87-95.DOI：10.11947/j.AGCS.2016.20140527.

[11] FAN Bin，WU Fuchao，HU Zhanyi.Line Matching Leveraged By Point Correspondences[C]∥Proceedings of 2010 IEEE Conference on Computer Vision and Pattern Recognition.San Francisco：IEEE，2010：390-397.

[12] 王志衡，吳福朝.均值-標(biāo)準(zhǔn)差描述子與直線匹配[J].模式識(shí)別與人工智能，2009，22(1)：32-39.

WANG Zhiheng，WU Fuchao.Mean-standard Deviation Descriptor and Line Matching[J].Pattern Recognition and Artificial Intelligence，2009，22(1)：32-39.

[13] WANG Zhiheng，WU Fuchao，HU Zhanyi.MSLD：A Robust Descriptor for Line Matching[J].Pattern Recognition，2009，42(5)：941-953.

[14] AL-SHAHRI M，YILMAZ A.Line Matching in Wide-Baseline Stereo：A Top-down Approach[J].IEEE Transactions on Image Processing，2014，23(9)：4199-4210.

[15] WANG Jingxue，WANG Weixi，LI Xiaoming，et al.Line Matching Algorithm for Aerial Image Combining Image and Object Space Similarity Constraints[C]∥International Archives of the Photogrammetry，Remote Sensing and Spatial Information Sciences：XLI-B3.Prague，Czech Republic：ISPRS，2016：783-788.

[16] 繆君，儲(chǔ)珺，張桂梅.一種仿射不變的直線描述子與直線匹配[J].電子學(xué)報(bào)，2015，43(12)：2505-2512.

MIAO Jun，CHU Jun，ZHANG Guimei.An Affine Invariant Line Descriptor and Line Matching[J].Acta Electronica Sinica，2015，43(12)：2505-2512.

[17] 宋偉東，朱紅，王競(jìng)雪，等.多重約束下的近景影像線特征匹配方法[J].中國(guó)圖象圖形學(xué)報(bào)，2016，21(6)：764-770.

SONG Weidong，ZHU Hong，WANG Jingxue，et al.Line Feature Matching Method based on Multiple Constraints for Close-range Images[J].Journal of Image and Graphics，2016，21(6)：764-770.

[18] 張躍強(qiáng)，蘇昂，朱遵尚，等.結(jié)合局部描述和拓?fù)浼s束的直線段匹配算法[J].國(guó)防科技大學(xué)學(xué)報(bào)，2014，36(6)：25-30.

ZHANG Yueqiang，SU Ang，ZHU Zunshang，et al.A Line Matching Algorithm Combining Local Description with Topological Constraint[J].Journal of National University of Defense Technology，2014，36(6)：25-30.

[19] 高峰，文貢堅(jiān)，呂金建.基于干線對(duì)的紅外與可見光最優(yōu)圖像配準(zhǔn)算法[J].計(jì)算機(jī)學(xué)報(bào)，2007，30(6)：1014-1021.

GAO Feng，WEN Gongjian，Lü Jinjian.An Optimal Algorithm for IR/Visual Image Registration Based on Main-line-pairs[J].Chinese Journal of Computers，2007，30(6)：1014-1021.

[20] 張浩，才輝，張光新，等.一種新的基于邊緣擬合的圖像配準(zhǔn)方法[J].光電子·激光，2009，20(1)：103-107.

ZHANG Hao，CAI Hui，ZHANG Guangxin，et al.A Novel Image Registration Method Based on Edge Fitting[J].Journal of Optoelectronics·Laser，2009，20(1)：103-107.

[21] OK A O，WEGNER J D，HEIPKE C，et al.Matching of Straight Line Segments from Aerial Stereo Images of Urban Areas[J].ISPRS Journal of Photogrammetry and Remote Sensing，2012，74(1)：133-152.

[22] OK A ?，WEGNER J D，HEIPKE C，et al.A Stereo Line Matching Technique for Aerial Images Based on a Pair-wise Relation Approach[C]∥Proceedings of the Istanbul Workshop 2010 on Modeling of Optical Airborne and Space borne Sensors：XXXVIII-1/W17.Istanbul，Turkey：ISPRS，2010.

[23] OK A ?，WEGNER J D，HEIPKE C，et al.A New Straight Line Reconstruction Methodology from Multi-spectral Stereo Aerial Images[C]//PAPARODITIS N，PIERROT-DESEILLIGNY M，MALLET C，et al.IAPRS，Vol.XXXVIII.Saint-Mandé，F(xiàn)rance：ISPRS，2010：25-30.

[24] KIM H，LEE S.Simultaneous Line Matching And Epipolar Geometry Estimation Based on the Intersection Context of Coplanar Line Pairs[J].Pattern Recognition Letters，2012，33(10)：1349-1363.

[25] VON DIOI R G，JAKUBOWICZ J，MOREL J M，et al.LSD：A Fast Line Segment Detector with a False Detection Control[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2010，32(4)：722-732.

Reliable Line Matching Algorithm for Stereo Images with Topological Relationship

WANG Jingxue1,2，ZHU Qing1,WANG Weixi3

1.Faculty of Geosciences and Environmental Engineering，Southwest Jiaotong University，Chengdu 611756，China；2.School of Geomatics，Liaoning Technical University，F(xiàn)uxin 123000，China；3.Research Institute for Smart Cities，Shenzhen University，Shenzhen 518060，China

Because of the lack of relationships between matching line and adjacent lines in the process of individual line matching, and the weak reliability of the individual line descriptor facing on discontinue texture, this paper presents a reliable line matching algorithm for stereo images with topological relationship.The algorithm firstly generates grouped line pairs from lines extracted from the reference image and searching image according to the basic topological relationships such as distance and angle between the lines.Then it takes the grouped line pairs as matching primitives, and matches these grouped line pairs by using epipolar constraint, homography constraint, quadrant constraint and gray correlation constraint of irregular triangle in order.And finally, it resolves the corresponding line pairs into two pairs of corresponding individual lines, and obtains one to one matching results after the post-processing of integrating, fitting, and checking.This paper adopts digital aerial images and close-range images with typical texture features to deal with the parameter analysis and line matching, and the experiment results demonstrate that the proposed algorithm in this paper can obtain reliable line matching results.

line matching; pair-wise line matching; topological relations; epipolar constraint; homography

The National Natural Science Foundation of China(Nos.41631174;41101452); General Scientific Research Project Supported by Liaoning Provincial Education Department (No.LJYL010)

WANG Jingxue(1981—)，female，PhD，associate professor，majors in digital image matching.

ZHU Qing

王競(jìng)雪，朱慶，王偉璽.顧及拓?fù)潢P(guān)系的立體影像直線特征可靠匹配算法[J].測(cè)繪學(xué)報(bào)，2017,46(11)：1850-1858.

10.11947/j.AGCS.2017.20170162.

WANG Jingxue，ZHU Qing,WANG Weixi.Reliable Line Matching Algorithm for Stereo Images with Topological Relationship[J].Acta Geodaetica et Cartographica Sinica,2017,46(11):1850-1858.DOI:10.11947/j.AGCS.2017.20170162.

P237

A

1001-1595(2017)11-1850-09

國(guó)家自然科學(xué)基金(41631174;41101452);遼寧省教育廳科學(xué)研究一般項(xiàng)目(LJYL010)

(責(zé)任編輯：張艷玲)

2017-04-06

修回日期：2017-09-19

王競(jìng)雪(1981—)，女，博士，副教授，研究方向?yàn)閿?shù)字影像匹配。

E-mail：xiaoxue1861@163.com

朱慶

E-mail：zhuq66@263.net