基于相對(duì)定向的圖像拼接算法

趙臥龍, 黃婷婷

(1. 深圳大學(xué) 計(jì)算機(jī)與軟件學(xué)院，廣東 深圳 518060； 2. 深圳中青寶互動(dòng)網(wǎng)絡(luò)股份有限公司，廣東 深圳518060)

基于相對(duì)定向的圖像拼接算法

趙臥龍1,2, 黃婷婷1

(1. 深圳大學(xué) 計(jì)算機(jī)與軟件學(xué)院，廣東 深圳 518060； 2. 深圳中青寶互動(dòng)網(wǎng)絡(luò)股份有限公司，廣東 深圳518060)

針對(duì)在現(xiàn)有多張圖像拼接過程中，存在匹配誤差較大、圖像畸形等問題，引入攝影測(cè)量學(xué)三維相對(duì)定向方法，通過解析立體像對(duì)進(jìn)行標(biāo)定進(jìn)而求解定向參數(shù)，進(jìn)而生成模型理想像對(duì)，再利用視差均值方法對(duì)理想像對(duì)進(jìn)行一維配準(zhǔn)校準(zhǔn)，實(shí)現(xiàn)了基于理想像對(duì)模型拼接算法。經(jīng)大量實(shí)驗(yàn)結(jié)果顯示，該算法可有效地減小配準(zhǔn)誤差和圖像配準(zhǔn)的計(jì)算量，并降低三維物體在二維平面上的圖像拼接難度?？梢娫诙S圖像拼接中引入該算法是有效的。

圖像拼接；相對(duì)定向；視差均值；配準(zhǔn)誤差；理想像對(duì)

多張圖像拼接融合技術(shù)在現(xiàn)代數(shù)字圖像處理領(lǐng)域中占據(jù)重要位置，將多張有重疊區(qū)域的不同圖像經(jīng)過提取特征、融合等處理后，可以獲得一大張廣闊的圖像[1]。圖像拼接技術(shù)在現(xiàn)實(shí)生活多個(gè)領(lǐng)域都發(fā)揮重要作用，如視頻監(jiān)控、虛擬現(xiàn)實(shí)、遙感技術(shù)及醫(yī)學(xué)等。通常情況下多張圖像拼接主要有以下步驟:預(yù)處理、變換模型的建立、統(tǒng)一坐標(biāo)變換、區(qū)域配準(zhǔn)，融合。而圖像配準(zhǔn)是圖像拼接最關(guān)鍵的技術(shù)[2]。由于原始圖像拍攝的角度、光的強(qiáng)度、相機(jī)分辨率等諸多因素不同，使得待拼接的圖像中存在透視變形、旋轉(zhuǎn)、有偏移量等差異。將待拼接圖像中找出同名像點(diǎn)進(jìn)行一一對(duì)應(yīng)，進(jìn)而轉(zhuǎn)換映射相對(duì)關(guān)系模型是圖像配準(zhǔn)的主要工作。目前圖像配準(zhǔn)的算法大致可以分為三類：基于灰度信息的圖像配準(zhǔn)方法[3]、基于特征的圖像配準(zhǔn)方法[4]、基于變換域的圖像配準(zhǔn)方法[5]。目前存在的二維圖像拼接算法，有其成功之處但也都存在著配準(zhǔn)誤差較大的缺點(diǎn)。

本文根據(jù)攝影成像的原理對(duì)圖像拼接進(jìn)行分析，認(rèn)為配準(zhǔn)誤差產(chǎn)生的根本原因是拍攝圖像時(shí)產(chǎn)生的上下視差(同名像點(diǎn)的縱坐標(biāo)之差)和左右視差(同名像點(diǎn)的橫坐標(biāo)之差)，提出將攝影測(cè)量學(xué)中的相對(duì)定向模型應(yīng)用于圖像拼接。新的算法基于變換模型理想像對(duì)進(jìn)行算法設(shè)計(jì)，提出了一種利用左右視差均值進(jìn)行圖像配準(zhǔn)的方法。首先利用相對(duì)定向技術(shù)生成理想像對(duì)，然后將生成的理想像對(duì)在一維的基礎(chǔ)上進(jìn)行同名像點(diǎn)匹配，進(jìn)一步消除待拼接像對(duì)的左右視差[6-7]。實(shí)驗(yàn)結(jié)果表明，本文提出的算法可以有效減小圖像之間的配準(zhǔn)誤差。

1算法基礎(chǔ)

1.1 特征匹配

特征匹配的目標(biāo)是找出序列圖像中具有共同像點(diǎn)或者區(qū)域，進(jìn)而通過相應(yīng)匹配方法取得匹配點(diǎn)，最后建立兩幅圖像之間的變換關(guān)系。本文采用特征匹配算法中的雙向匹配與最次鄰近比算法[8-9]。

匹配過程為：

(1)選取圖像A的特征點(diǎn)PL，完全遍歷圖像B的特征點(diǎn)，尋找與PL距離最近點(diǎn)PR與距離次近點(diǎn)PR1；

(2)若PR/PR1的值小于所設(shè)定的閾值，將PR作為PL的候選匹配點(diǎn)，進(jìn)入步驟(3)，否則認(rèn)為PL在圖像B中無對(duì)應(yīng)的匹配點(diǎn)；

(3)再以PR為對(duì)應(yīng)點(diǎn)，完全遍歷圖像A的特征點(diǎn)，尋找與PR最近的點(diǎn)PL′與次近點(diǎn)PL1′ ，如果PL′ /PL1′ 的值小于所設(shè)定閾值，進(jìn)入步驟(4)；

(4)判斷PL與PL′是否為同一個(gè)點(diǎn)，若是，則記錄PL與PR為匹配點(diǎn)對(duì)，否則PL在圖像B中無對(duì)應(yīng)的匹配點(diǎn),完全遍歷圖像A特征點(diǎn)，匹配算法結(jié)束。

1.2 相對(duì)定向

相對(duì)定向是構(gòu)建本文變換模型理想像對(duì)的基礎(chǔ)。相對(duì)定向是通過不斷地重構(gòu)左右兩圖像的攝影光束，使得兩者的同名光線相交，從而獲得與物體模型成比例的幾何模型[10-11]。以攝影基線作為空間輔助坐標(biāo)系的軸，采用兩幅圖像之間的角元素運(yùn)動(dòng)進(jìn)而實(shí)現(xiàn)相對(duì)定向，令兩張序列圖像的投影中心作轉(zhuǎn)軸運(yùn)動(dòng)，恢復(fù)兩張序列圖像攝影成像相對(duì)關(guān)系。單獨(dú)相對(duì)定向有6個(gè)角參數(shù)：ω1，φ1，κ1,ω1，φ1，它們是左右圖像為了使同名光線相交而需要旋轉(zhuǎn)的角度?？臻g輔助坐標(biāo)系的X軸為攝影基線，故ω1=0。為求解參數(shù)，必須滿足兩個(gè)攝影點(diǎn)S1，S2與物點(diǎn)A在左右圖像上的像點(diǎn)G1(x1，y1)、G2(x2，y2)之間的連線與兩投影像素點(diǎn)之間連線必須在同一平面上。設(shè)a1、a2點(diǎn)的空間輔助坐標(biāo)分別為(x1,y1,z1)、(x2,y2,z2) ，其共面條件方程為：

(1)

利用泰勒公式對(duì)式(1)進(jìn)行線性化展開處理，并經(jīng)過推導(dǎo)，可得解算方程式 (2)：

(2)

其中5個(gè)是待求解參數(shù)可知道,當(dāng)有6個(gè)同及以上名匹配點(diǎn)時(shí)，可由最小二乘法原理求解，進(jìn)而迭代計(jì)算出定向需要的5個(gè)參數(shù)。

1.3 理想像對(duì)

立體像對(duì)水平且攝影基線(兩攝站點(diǎn)之間的連線)水平的像對(duì)稱為理想像對(duì)(也稱核線影像), 理想像對(duì)是一組不存在上下視差但存在左右視差的像對(duì)[7-12]。在理想像對(duì)上，無論是否存在物體高差，所有同名像點(diǎn)的縱坐標(biāo)總相等，即其上下視差總為零(如圖1所示)。

假設(shè)有一張待拼接的原始圖像為P，和相對(duì)于攝影基線水平的理想像對(duì)為P′，在原始傾斜圖像P上有像點(diǎn)A的坐標(biāo)為(x,y)，像點(diǎn)A在水平理想像對(duì)P′上的坐標(biāo)系為(u,v)，則:像點(diǎn)A在P、P′ 對(duì)應(yīng)關(guān)系可表示為：

圖1 理想像對(duì)示意圖

(3)

由于理想像對(duì)的上下視差總為零，將理想像對(duì)作為變換模型引入圖像拼接可有效消除待拼接圖像的上下視差，簡(jiǎn)化圖像的配準(zhǔn)工作，同時(shí)也可降低圖像配準(zhǔn)的誤差指數(shù)。

2 基于相對(duì)定向的圖像拼接算法

利用攝影成像的原理將單獨(dú)相對(duì)定向技術(shù)引入圖像拼接。算法通過重建像對(duì)之間攝影光束的約束關(guān)系，將待拼接圖像轉(zhuǎn)化成理想像對(duì)，利用左右視差均值進(jìn)行圖像配準(zhǔn)。

2.1 生成理想像對(duì)

待拼接圖像的特征點(diǎn)檢測(cè)使用目前常用SURF算法[13]，然后利用改進(jìn)的雙向匹配算法進(jìn)行特征點(diǎn)匹配，得到初始匹配點(diǎn)對(duì)，對(duì)誤配點(diǎn)對(duì)進(jìn)行剔除利用RANSAC算法[14]，得到正確的匹配點(diǎn)對(duì)。取其中6對(duì)同名像點(diǎn)，利用式(2)進(jìn)行迭代求解，可求得5個(gè)相對(duì)定向的參數(shù)：φ1，κ1，ω2，φ2，κ2。

根據(jù)相對(duì)定向的參數(shù)可以求得變換模型的旋轉(zhuǎn)矩陣R為:

根據(jù)單獨(dú)定向的特性，經(jīng)過單獨(dú)像對(duì)定向后，兩張圖像所在的圖像平面都平行于攝影基線，最后形成了理想的水平像對(duì)。由此根據(jù)相對(duì)定向參數(shù)，可組成的圖像旋轉(zhuǎn)矩陣，可以對(duì)原始序列影像進(jìn)行重采樣，得原始圖像P坐標(biāo)(x,y)，利用式(3)可以得到水平坐標(biāo)(u,v)。

2.2 利用左右視差均值進(jìn)行理想像對(duì)配準(zhǔn)

生成相對(duì)理想像對(duì)后，需要對(duì)同名像點(diǎn)進(jìn)行一維配準(zhǔn)。在實(shí)際應(yīng)用中，高差位移所引起的左右視差并不明顯，尤其是生成相對(duì)理想像對(duì)后，進(jìn)一步地削弱了高差位移對(duì)左右視差的影響。為此，本文提出利用左右視差均值作為待拼接圖像序列的整體左右視差值進(jìn)行圖像配準(zhǔn)，其步驟如下：

(1)得到相對(duì)視差均值Dis，根據(jù)原始圖像匹配像素點(diǎn)左邊計(jì)算出水平像素點(diǎn)坐標(biāo)，根據(jù)多個(gè)求值，找出左右視差值的最大值和最小值并且減去，進(jìn)而求出視差均值。

(2)取左右視差均值所在的平面為基準(zhǔn)面，即左右視差值與左右視差均值相同的匹配點(diǎn)對(duì)所組成的平面，根據(jù)左右視差均值確定待拼接圖像的重疊區(qū)域。

(3)對(duì)理想像對(duì)進(jìn)行位移操作即可完成理想像對(duì)的配準(zhǔn)。

設(shè)在相對(duì)理想像對(duì)中，同名像點(diǎn)的左圖像坐標(biāo)為P(lx,ly)，右圖像坐標(biāo)為P(rx,ry)，左右視差值為Dis_t=lx-rx，此匹配點(diǎn)對(duì)的配準(zhǔn)誤差為Dis_t-Dis。將所有匹配點(diǎn)對(duì)的配準(zhǔn)誤差相加后取平均可以得到總體的配準(zhǔn)誤差，其實(shí)質(zhì)為左右視差的加權(quán)平均，即：

(4)

判斷是否可采用左右視差均值對(duì)理想像對(duì)進(jìn)行拼接的標(biāo)準(zhǔn)在于像對(duì)之間的最大配準(zhǔn)誤差是否超過設(shè)定的閾值T(根據(jù)實(shí)際情況設(shè)定)，如max(Dis,ti-Dis)≤τ,即肉眼無法進(jìn)行識(shí)別的像素范圍之內(nèi)的值。

2.3 配準(zhǔn)誤差衡量標(biāo)準(zhǔn)

在理想像對(duì)上，同名像點(diǎn)的縱坐標(biāo)總是相等的，上下視差為零，左右視差仍然存在。設(shè)物點(diǎn)A在待匹配序列圖像上的像點(diǎn)坐標(biāo)分別為al，ar，另一物點(diǎn)A0在待匹配序列圖像上的像點(diǎn)坐標(biāo)分別為a0l，a0r?，F(xiàn)將al,ar,a0l,a0r化為直角坐標(biāo)系后，可得：

(5)

式中：h為高程；HT為物點(diǎn)到拍攝中心的距離。兩式相減后，可得：

(6)

同名像點(diǎn)的橫坐標(biāo)之差稱為左右視差p：

p=xl-xr

存在高差位移的像點(diǎn)之間的左右視差較Δp：

Δp=(xl-xr)-(x0l-x0r)

則式(6)可表示為：

(7)

可見，當(dāng)所拍攝的物體為三維物體時(shí)，物體上不同高程的點(diǎn)在理想像對(duì)上的左右視差不一致，其左右視差較大小由高程所決定，這是高差位移在理想像對(duì)上的體現(xiàn)。當(dāng)理想像對(duì)上同名像點(diǎn)的最大左右視差超過一定范圍時(shí)，意味著理想像對(duì)上的配準(zhǔn)誤差將超過一定范圍，此時(shí)理想像對(duì)將無法進(jìn)行拼接。因此，可以采用左右視差較衡量配準(zhǔn)誤差，對(duì)圖像配準(zhǔn)誤差進(jìn)行定量分析。

3 實(shí)驗(yàn)與分析

3.1 實(shí)驗(yàn)過程

選取圖2進(jìn)行拼接實(shí)驗(yàn)，檢驗(yàn)提出的基于相對(duì)定向的圖像拼接算法的正確性。

圖2待拼接圖像圖3理想像對(duì)

在特征點(diǎn)選取階段，采用SURF-64算法，左邊特征點(diǎn)640個(gè)，右邊600個(gè)，采用本文改進(jìn)的特征提取算法得到162對(duì)理想的匹配點(diǎn)，再經(jīng)剔除誤配點(diǎn)后，最終獲取157對(duì)匹配點(diǎn)對(duì)。利用獲得的157對(duì)匹配點(diǎn)對(duì)，根據(jù)單獨(dú)相對(duì)定向參數(shù)的求解步驟，得到左右圖像的旋轉(zhuǎn)矩陣，最終得到相對(duì)理想像對(duì)，如圖3所示。

得到理想像對(duì)后，采用左右視差均值的方法對(duì)理想像對(duì)進(jìn)行拼接。由于篇幅限制，這里僅給出部分匹配點(diǎn)對(duì)的坐標(biāo)值及其左右視差值，見表1。

表1 部分匹配點(diǎn)對(duì)的坐標(biāo)值

根據(jù)左右視差均值的計(jì)算方法可得匹配點(diǎn)對(duì)集合的左右視差均值Dis=323 pixel，即取編號(hào)為36、48、92的物點(diǎn)所組成的平面為基準(zhǔn)面。實(shí)驗(yàn)中，選取左右視差均值323 pixel作為像對(duì)之間的位移量進(jìn)行圖像配準(zhǔn)，配準(zhǔn)效果如圖4所示。

3.2 實(shí)驗(yàn)分析

匹配點(diǎn)對(duì)配準(zhǔn)誤差如表2所示，從表2可看出，實(shí)驗(yàn)中157對(duì)匹配點(diǎn)所獲取的左右視差均值其總體配準(zhǔn)誤差在1～2 pixel。在生成的理想像對(duì)上同名像點(diǎn)的最小左右視差值和最大左右視差值分別為318 pixel和326 pixel，而左右視差均值的取值范圍在322～324 pixel，所以理想像對(duì)之間可能存在的最大配準(zhǔn)誤差為6 pixel，滿足采用左右視差均值進(jìn)行拼接的誤差范圍。

圖4 配準(zhǔn)效果

為突出接縫處邊緣，圖4在重疊區(qū)域內(nèi)各選取左右圖像的一半進(jìn)行顯示。由于兩幅圖像存在明顯的亮度差異，可直觀地分辨接縫處邊緣的位置。細(xì)看接縫處邊緣，未出現(xiàn)任何錯(cuò)位或失真等現(xiàn)象，這也驗(yàn)證了在特定情況下，新算法不僅取得了較好的拼接效果，而且降低拼接算法的計(jì)算量。

表2 匹配點(diǎn)對(duì)配準(zhǔn)誤差

單獨(dú)相對(duì)定向方法的配準(zhǔn)誤差主要來自物體的高差位移所引起的左右視差較，使得無法將重疊區(qū)域內(nèi)所有同名像對(duì)都進(jìn)行配準(zhǔn)。為了分析新算法的配準(zhǔn)誤差，本文對(duì)8對(duì)經(jīng)過單獨(dú)相對(duì)定向的同名像點(diǎn)進(jìn)行數(shù)據(jù)采集，在基線水平的情況下(即分量By=0、Bz=0，分量Bx、角度w取不同的值)計(jì)算它們的最大左右視差較。本文實(shí)驗(yàn)設(shè)f為固定焦距，H為攝影中心到基準(zhǔn)面的距離，h為高差，f/H、Bx/H、h/H分別為攝影焦距、Bx分量、高差與H的比值，f/H=0.02，在不同攝影參數(shù)情況下同名像點(diǎn)的左右視差較值如表3所示。

表3 不同參數(shù)下同名像點(diǎn)配準(zhǔn)誤差

表4 透視投影與理想像對(duì)模型左右視差比較

由表3可知：角度w與左右視差較呈正比關(guān)系。隨著角度w的增加，左右視差較也相應(yīng)增大。 當(dāng)原圖像的角度w較大時(shí)，同名像對(duì)在水平圖像上的左右視差較將被放大，尤其是當(dāng)高差位移比較明顯時(shí)，更加無法忽視像對(duì)之間的左右視差較。同時(shí)，上述實(shí)驗(yàn)數(shù)據(jù)再次驗(yàn)證了高差位移是導(dǎo)致左右視差較產(chǎn)生的基本原因，隨著比值h/H的減小，左右視差較也隨之減小。當(dāng)h/H小于一定值時(shí)，左右視差較的大小幾乎可忽略。由此也可以得到單獨(dú)相對(duì)定向方法僅僅受高差位移的限制，而其他的平面拼接方法還受到了上下視差的限制，本文所提出的拼接方法具有一定優(yōu)勢(shì)。

將本文提出的方法與透視投影變換模型[15]進(jìn)行配準(zhǔn)效果比較，設(shè)f/H =0.05，攝影方位角分別取-0.2、-0.3、0.2，實(shí)驗(yàn)采集的數(shù)據(jù)如表4所示。

從表4可以看出：在相同攝影條件下，本文模型左右視差和采用傳統(tǒng)的透視投影變換模型相比明顯較小，并且透視投影變換模型仍然存在上下視差。

4 結(jié)論

本文對(duì)圖像配準(zhǔn)中的變換模型進(jìn)行了深入研究，提出了將攝影測(cè)量學(xué)中的相對(duì)定向模型應(yīng)用到圖像拼接中。利用相對(duì)定向模型生成理想像對(duì)后，消除了待拼接像對(duì)的上下視差，對(duì)生成的理想像對(duì)在一維的基礎(chǔ)上進(jìn)行同名像點(diǎn)匹配，得到圖像接縫處高度契合的拼接圖像。實(shí)驗(yàn)表明，該方法在配準(zhǔn)誤差、算法計(jì)算量等方面都優(yōu)于目前現(xiàn)有的算法。由于相對(duì)定向方法并未完全消除左右視差對(duì)圖像拼接的影響，下一步將對(duì)消除左右視差進(jìn)行深入探討。

[1] 李志剛.邊界重疊圖像的一種快速拼接算法[J].計(jì)算機(jī)工程,2000,26(5):37-38.

[2] 王娟,師軍,吳憲祥.圖像拼接技術(shù)綜述[J].計(jì)算機(jī)應(yīng)用研究,2008,25(7):1940-1944.

[3] 嚴(yán)大勤，孫鑫.一種基于區(qū)域匹配的圖像拼接算法[J].儀器儀表學(xué)報(bào),2007, 27(6):749-751.

[4] 劉小軍,周越等.基于輪廓特征的SAR圖像自動(dòng)配準(zhǔn)[J].計(jì)算機(jī)工程,2007,33(4):176-178.

[5]Kuglin,Hines.ThePhaseCorrelationImageAlignmentMethod[C].IEEEInternationalConferenceonCinematieandSociety1975:163-165.

[6] 左森,郭曉松,萬 敬,楊必武.寬基線視差圖像的拼接算法[J].計(jì)算機(jī)工程, 2007,33(10):175-177.

[7] 袁修孝,吳珍麗.基于POS數(shù)據(jù)的核線影像生成方法[J].武漢大學(xué)學(xué)報(bào),2008, 33(6):560-564.

[8]騫 森,朱劍英.基于改進(jìn)的SIFT特征的圖像雙向匹配算法[J].機(jī)械科學(xué)與技術(shù), 2007,26(9) :1179-1182.

[9]LOWEDG.Distinctiveimagefeaturesfromscaleinvariant-keypoints[J].Internationaljournalofcomputervision, 2004,60(2):91-110.

[10]SMIHTMJ,PARKDWG.TowardsaNewApproachforAbsoluteandExteriorOrientation[J].PhotogrammetricRecord, 1999, 16(94) : 617-623.

[11]張永軍,胡丙華.基于多種同名特征的相對(duì)定向方法研究[J].測(cè)繪學(xué)報(bào),2011,40(2):194-199.

[12]李華光.基于數(shù)字糾正的核線影像生成方法[J].山東建筑工程學(xué)院學(xué)報(bào), 2004,19(4) :45-48.

[13]HBay,TTuytelaars,LVanGool.SURF:Speededuprobustfeatures[C].ProceedingsoftheEuropeanConferenceonComputerVision,2006:404-407.

[14]MAFischler,RCBolles.Randomsampleconsensus:aparadigmformodelfittingwithapplicationstoimageanalysisandautomatedcartography[J].CommunicationsoftheACM, 1981(3)：381-395.

[15] 鐘韜,袁威,左煒亮.系統(tǒng)標(biāo)定中的透視投影模型[J].兵工自動(dòng)化, 2011,30(3):30-35.

Imagemosaicalgorithmbasedonrelativeorientation

ZHAO Wo-long1,2, HUANG Ting-ting1

(1.SchoolofComputerScienceandsoftwareengineering,ShenzhenUniversity，Shenzhen, 518060,China; 2.ShenzhenZhongqingbaoInteractiveNetworkCo.,Ltd.,Shenzhen, 518060,China)

Aiming at the problems of large matching error and image deformity in the existing multi-image splicing process, a three-dimensional photogrammetry relative orientation method is introduced to solve the three-dimensional relative orientation of the photogrammetry. Then the parallax average method is used to align and calibrate the ideal image pair, and the ideal image pair model stitching algorithm is realized. The experimental results show that this algorithm can effectively reduce the registration error and the amount of image registration, and reduce the difficulty of the three-dimensional object in the two-dimensional plane image splicing. It is shown that it is effective to introduce the algorithm in two-dimensional image mosaic.

image mosaic; relative orientation; parallax mean; registration error; ideal image pair

2017-07-25

國(guó)家語委“十二五”科研規(guī)劃2014年度重點(diǎn)項(xiàng)目(ZDI123-23)

趙臥龍(1988-)，男，河南鄧州人，碩士研究生。

1674-7046(2017)05-0086-07

10.14140/j.cnki.hncjxb.2017.05.016

TP391.41

A