基于特征分塊的視差圖像拼接算法

張晶晶,翟東海,2,黃莉芝,喻 強(qiáng)

(1.西南交通大學(xué) 信息科學(xué)與技術(shù)學(xué)院,成都 611756; 2.西藏大學(xué) 工學(xué)院,拉薩 850000)

0 概述

圖像拼接一直是計(jì)算機(jī)視覺(jué)和圖形圖像領(lǐng)域研究的熱點(diǎn)和難點(diǎn)[1-2],圖像拼接就是把同一場(chǎng)景下不同時(shí)間、不同視角或不同傳感器獲取的一組相互間有重疊部分的圖像序列進(jìn)行圖像配準(zhǔn),經(jīng)重采樣和融合后形成一幅包含各圖像序列信息的寬視角場(chǎng)景的、完整的、高清晰的新圖像的技術(shù)[3]。圖像拼接技術(shù)被廣泛地應(yīng)用于環(huán)境監(jiān)測(cè)、天氣預(yù)報(bào)、攝影測(cè)量學(xué)、遙感圖像處理[4]、虛擬環(huán)境重建、計(jì)算機(jī)視覺(jué)等領(lǐng)域[5]。

目前,圖像拼接領(lǐng)域最為流行的算法是基于尺度不變特征(SIFT)算法[6],該算法具有尺度不變性和旋轉(zhuǎn)不變性。但是,這種基于單應(yīng)性矩陣的方法只有在輸入圖像視差很小的情況下才可以很好地工作,當(dāng)輸入圖像有很大的視差時(shí)就會(huì)產(chǎn)生重影。文獻(xiàn)[7]提出DHW(Dual Homography Warps)雙平面變形算法,該算法將圖像分為back plan 和ground plan 2個(gè)平面,采用2個(gè)單應(yīng)性矩陣對(duì)2個(gè)平面進(jìn)行投影變換,但當(dāng)場(chǎng)景中出現(xiàn)大結(jié)構(gòu)物體時(shí)該算法的拼接結(jié)果很不理想。文獻(xiàn)[8]提出了CPW(Content Preserving Warps)算法,該算法采用位置變換約束和形狀扭曲約束對(duì)目標(biāo)圖像進(jìn)行逼近相似變換,這樣可以將配準(zhǔn)誤差降至最低并保留場(chǎng)景的剛度,但是當(dāng)原圖像與目標(biāo)圖像之間存在較大的平移和旋轉(zhuǎn)時(shí)由于剛性約束的限制,該算法的拼接效果會(huì)大大降低,出現(xiàn)模糊和重影。文獻(xiàn)[9]提出一種改進(jìn)的SIFT配準(zhǔn)算法,采用一種自適應(yīng)的混合線性算法對(duì)重合區(qū)域圖像變換至HIS顏色空間進(jìn)行圖像拼接,該算法可以提高配準(zhǔn)的精度,但它仍然不適合處理大視差圖像拼接。文獻(xiàn)[10]提出基于AP聚類(lèi)圖像分塊的角點(diǎn)檢測(cè)改進(jìn)算法,當(dāng)聚類(lèi)中心點(diǎn)和尺度參數(shù)沒(méi)選好時(shí)會(huì)影響角點(diǎn)檢測(cè)的精度。文獻(xiàn)[11]提出一種APAP(As-Projective-As-Possible)變換模型,該模型用全局單應(yīng)性矩陣代替基本單應(yīng)性矩陣,強(qiáng)調(diào)全局投影特性,同時(shí)允許局部非投影偏差,在一定程度上緩解了視差造成的拼接誤差。但是當(dāng)處理兩幅大視差圖像時(shí)單應(yīng)性矩陣不能處理視差,還需要借用其他技術(shù)來(lái)消除視差造成的重影和結(jié)構(gòu)扭曲。文獻(xiàn)[12]提出基于3點(diǎn)匹配的圖像拼接算法,用6參數(shù)仿射矩陣來(lái)簡(jiǎn)化圖像的轉(zhuǎn)換關(guān)系,計(jì)算速度快,但是不能處理視差圖像的拼接。

本文針對(duì)上述問(wèn)題,提出一種基于特征分塊的視差圖像拼接算法,通過(guò)特征分塊快速確定圖像之間的特征匹配塊,求出全局單應(yīng)性矩陣,進(jìn)行局部?jī)?yōu)化消除拼接過(guò)程中的重影和形狀扭曲,以實(shí)現(xiàn)大視差圖像拼接。

1 視差圖像拼接算法框架

圖像拼接主要包含以下4步:相機(jī)標(biāo)定,圖像預(yù)處理,圖像配準(zhǔn),圖像融合,其中最關(guān)鍵的步驟是圖像配準(zhǔn)。

具體步驟如下:

1)采用張正友相機(jī)標(biāo)定法[13]求出相機(jī)的內(nèi)參、外參和畸變系數(shù),對(duì)相機(jī)進(jìn)行矯正。

2)圖像預(yù)處理,進(jìn)行圖像去噪、圖像增強(qiáng)和顏色空間變換,然后采用圖割算法[14]將參考圖像I1和目標(biāo)圖像I2分割成若干個(gè)具有獨(dú)特性質(zhì)的圖像塊,并將圖像塊編號(hào)。

3)圖像配準(zhǔn),用SIFT算法對(duì)圖像進(jìn)行特征提取,在特征描述子中加入特征點(diǎn)的圖像塊信息,確定目標(biāo)圖像與參考圖像之間的特征匹配圖像塊,根據(jù)特征匹配塊確定圖像之間的重疊區(qū)域和非重疊區(qū)域。

本文的視差圖像拼接流程如圖1所示。

圖1 基于特征點(diǎn)的圖像拼接流程

2 基于特征分塊的視差圖像拼接

2.1 特征分塊的必要性

進(jìn)行特征分塊的原因主要有以下3點(diǎn):

1)現(xiàn)有的算法在進(jìn)行圖像拼接時(shí)都是隨機(jī)地從特征匹配點(diǎn)集合中挑選特征匹配點(diǎn)來(lái)計(jì)算單應(yīng)性矩陣;然后判斷是否絕大多數(shù)特征點(diǎn)都滿足所求的單應(yīng)性變換模型,如果滿足則用所求的單應(yīng)性矩陣對(duì)圖像進(jìn)行配準(zhǔn),如果不滿足則需要重新挑選匹配特征點(diǎn)來(lái)計(jì)算單應(yīng)性變換模型,迭代進(jìn)行上述步驟直到絕大多數(shù)點(diǎn)都滿足單應(yīng)性變換模型。但是,這種隨機(jī)挑選特征匹配點(diǎn)的算法會(huì)出現(xiàn)挑選的特征點(diǎn)過(guò)于集中的情況,在這種情況下計(jì)算得到的單應(yīng)性矩陣不具有全局性,只有少數(shù)點(diǎn)滿足單應(yīng)性變換模型,會(huì)增加算法的迭代次數(shù)。通過(guò)對(duì)參考圖像I1和目標(biāo)圖像I2進(jìn)行特征分塊可以實(shí)現(xiàn):計(jì)算全局單應(yīng)性矩陣時(shí),如果每次分別從各個(gè)塊中都選取匹配點(diǎn)可以使求出的單應(yīng)性矩陣更具有全局性的特性,使盡可能多的點(diǎn)滿足變換模型H,提高H的配準(zhǔn)質(zhì)量減少迭代次數(shù)。

2)文獻(xiàn)[15]指出SIFT算法中全圖像域特征點(diǎn)的檢測(cè)與描述和特征點(diǎn)的匹配是2個(gè)最消耗時(shí)間的步驟。然而,在實(shí)際圖像匹配過(guò)程中,正確的特征點(diǎn)匹配對(duì)僅集中分布在圖像間的重疊區(qū)域內(nèi),非重疊區(qū)域內(nèi)特征點(diǎn)不存在正確的匹配點(diǎn)對(duì),即為無(wú)效區(qū)域。文獻(xiàn)[16]提出只有分布在重疊區(qū)域的特征點(diǎn)才是用于匹配的有用特征點(diǎn)。所以,圖像匹配具有區(qū)域性,通過(guò)特征分塊可以快速地確定圖像間的重疊區(qū)域和非重疊區(qū)域,避免非重疊區(qū)域的干擾,提高匹配的效率和準(zhǔn)確率。

2.2 參考圖像和目標(biāo)圖像之間的特征匹配圖像塊

確定特征匹配圖像塊過(guò)程如下:

1)用圖割算法將參考圖像和目標(biāo)圖像分割成圖像塊,對(duì)每一個(gè)圖像塊進(jìn)行編號(hào),如圖2所示。

圖2 特征匹配圖像塊

2)運(yùn)用SIFT算法對(duì)圖像進(jìn)行特征提取,在進(jìn)行特征描述時(shí)加入特征點(diǎn)所屬的圖像塊信息,沒(méi)加圖像塊信息時(shí)每個(gè)特征點(diǎn)的特征描述子是一個(gè)128維的向量S(s1,s2,…,s128);加入圖像塊信息后每個(gè)特征點(diǎn)有129維信息S(s1,s2,…,s129),s129表示特征點(diǎn)所屬的圖像塊。但是在對(duì)描述子進(jìn)行匹配時(shí)只計(jì)算前128維信息之間的匹配程度,圖像塊信息s129將在后面確定圖像塊匹配時(shí)用到。

3)分別找出參考圖像的各個(gè)圖像塊的特征匹配塊,如圖3所示,I1的圖像塊2和I2的圖像塊1′是匹配塊,I1的圖像塊4和I2的圖像塊3′是匹配塊。確定圖像匹配塊的方法詳見(jiàn)步驟4)。

圖3 全局單應(yīng)性矩陣Hi的匹配質(zhì)量

4)以參考圖像I1中的圖像塊2為例,求圖像塊2的匹配圖像塊步驟如下:

(1)找出參考圖像的圖像塊2的特征點(diǎn)集合,記為P2j(j=1,2,…,N2,表示特征點(diǎn)集合中總共有N2個(gè)特征點(diǎn),j表示第j個(gè)特征點(diǎn))。

按上述方法求出參考圖像I1中各個(gè)圖像塊對(duì)應(yīng)的特征匹配塊,其中非重疊區(qū)域沒(méi)有匹配的特征點(diǎn)對(duì),所以沒(méi)有對(duì)應(yīng)的特征匹配塊,如參考圖像I1中的圖像塊1和圖像塊3沒(méi)有特征匹配塊。

2.3 全局單應(yīng)性矩陣

特征分塊法計(jì)算單應(yīng)性矩陣的步驟如下:

1)找出參考圖像和目標(biāo)圖像之間對(duì)應(yīng)的特征匹配塊區(qū)域I1i和I2i′(I1i表示參考圖像I1的第i個(gè)圖像塊,I2i′表示目標(biāo)圖像I2的第i′個(gè)圖像塊)。

2)根據(jù)特征匹配塊,將圖像的特征匹配點(diǎn)的集合P分成M個(gè)子集P=∑Pi(i=1,2,…,M)。

3)分別從不同的特征匹配塊對(duì)應(yīng)的特征匹配點(diǎn)子集Pi中挑選特征匹配點(diǎn)求單應(yīng)性矩陣Hi,這樣可以避免隨機(jī)抽選特征點(diǎn)過(guò)于集中的情況,保證計(jì)算出的單應(yīng)性矩陣的全局性。

本文算法根據(jù)特征匹配塊,確定參考圖像I1與目標(biāo)圖像I2之間的重疊圖像塊,刪除非重疊區(qū)域,只計(jì)算重疊圖像塊的配準(zhǔn)質(zhì)量。而且可以分別計(jì)算每個(gè)特征匹配塊的配準(zhǔn)質(zhì)量,如圖3所示,分別計(jì)算<1,1′>、<2,2′>、<3,3′>、<4,4′>特征匹配塊的配準(zhǔn)質(zhì)量,這樣不僅可以提高計(jì)算速度還可以提高計(jì)算精度。因?yàn)?只和1′是匹配的圖像塊,本文算法避免了計(jì)算圖像塊1和2′,1和3′,1和4′之間的匹配質(zhì)量,這樣可以減少計(jì)算量和誤差。

3 重影消除與扭曲的局部?jī)?yōu)化

用最優(yōu)全局單應(yīng)性矩陣對(duì)參考圖像和目標(biāo)圖像進(jìn)行預(yù)配準(zhǔn)之后,還需要對(duì)重疊區(qū)域進(jìn)行局部?jī)?yōu)化消除視差造成的重影和形狀扭曲。本文給重疊區(qū)域的每對(duì)圖像塊加入形狀扭曲約束和圖像網(wǎng)格塊鏈接約束,可以較好地消除重影和形狀扭曲。

3.1 形狀扭曲約束

(1)

(2)

圖4 三角形2個(gè)頂點(diǎn)組成的局部坐標(biāo)系

3.2 網(wǎng)格塊鏈接約束

圖5 參照?qǐng)D像和局部?jī)?yōu)化圖像之間的圖像塊鏈接約束

(3)

同理,根據(jù)圖5(e)、圖5(f)獲得了網(wǎng)格塊之間的垂直鏈接約束公式:

(4)

同理,根據(jù)圖5(g)和圖5(h)獲得了網(wǎng)格塊之間的對(duì)角鏈接約束公式:

(5)

所以,網(wǎng)格塊之間的鏈接約束可以表示為:

El=El1+El2+El3

(6)

將形狀扭曲約束和網(wǎng)格塊鏈接約束的能量公式合并,得到如式(7)所示的總的能量公式,通過(guò)求能量公式的最小值實(shí)現(xiàn)局部?jī)?yōu)化。

E=αEs+βEl

(7)

其中,α、β是權(quán)重值,α=0.4、β=0.6上述最小值問(wèn)題是二次方程問(wèn)題,通過(guò)求解一個(gè)稀疏的線性方程可以得到最小化的結(jié)果。

對(duì)局部?jī)?yōu)化后的結(jié)果進(jìn)行圖像融合得到最終的消除重影的扭曲的拼接圖像。

4 實(shí)驗(yàn)結(jié)果與分析

本文實(shí)驗(yàn)在Matlab環(huán)境下運(yùn)行,實(shí)驗(yàn)在已有的圖像庫(kù)中隨機(jī)抽出了大量的標(biāo)準(zhǔn)圖像來(lái)進(jìn)行實(shí)驗(yàn),將本文算法與CPW[8]算法和APAP[11]算法進(jìn)行對(duì)比。實(shí)驗(yàn)都為大小為1 000×740像素的自然圖像。實(shí)驗(yàn)結(jié)果如圖6～圖8所示。觀察實(shí)驗(yàn)結(jié)果可以發(fā)現(xiàn),CPW算法[8]只使用了位置變化約束和形狀扭曲約束對(duì)圖像進(jìn)行變換,由于剛性變換的限制導(dǎo)致拼接結(jié)果中出現(xiàn)重影(圖中用圓圈圈出)。APAP算法[11]在局部?jī)?yōu)化時(shí),使用移動(dòng)直接線性變換(moving DLT)對(duì)圖像進(jìn)行盡可能配準(zhǔn),該算法嘗試將2幅圖像的重疊區(qū)域盡可能地對(duì)齊導(dǎo)致拼接結(jié)果出現(xiàn)形狀扭曲(圖中用圓圈圈出),本文算法可以較好地消除重影和形狀扭曲。

圖6 3種算法得到的拼接結(jié)果比較1

圖7 3種算法得到的拼接結(jié)果比較2

圖8 3種算法得到的拼接結(jié)果比較3

為定量比較各個(gè)算法的拼接效果,通過(guò)計(jì)算參考圖像I1、單應(yīng)性變換后圖像I2的重疊區(qū)域之間的均方根誤差RMSE和拼接耗時(shí)來(lái)衡量算法的拼接性能。對(duì)于一幅M×N大小的圖像而言,參考圖像I1的重疊區(qū)域與單應(yīng)性變換后圖像I2的重疊區(qū)域之間的均方根誤差RMSE的公式如式(8)所示。

(8)

其中,I1(x,y)為參考圖像,I2(x,y)為單應(yīng)性變換后圖像,RMSE代表了兩者的差異,RMSE值越小,表明圖像拼接的結(jié)果越好。

表1給出了對(duì)3組視差圖像拼接的均方根誤差RMSE和拼接耗時(shí)數(shù)值結(jié)果。對(duì)比表1可以發(fā)現(xiàn),CPW算法的拼接效果比較差,雖然耗時(shí)最短但是均方根誤差RMSE最大。APAP算法與CPW算法相比RMSE明顯減小,但拼接耗時(shí)明顯增加。本文算法與CPW算法相比雖然拼接耗時(shí)有所增加,但RMSE值減小較多,本文算法與APAP算法相比RMSE值和拼接耗時(shí)都減少很多。綜上所述,本文算法在拼接效果上占優(yōu)勢(shì),本文算法在大幅改進(jìn)拼接效果的同時(shí),運(yùn)算時(shí)間比APAP少,比CPW的運(yùn)算時(shí)間只高了一點(diǎn),所以通過(guò)綜合比較,本文算法較有優(yōu)勢(shì)。

表1 不同拼接算法的RMSE和耗時(shí)比較

5 結(jié)束語(yǔ)

[1] PANG S,SUN M,HU X,et al.SGM-based seamline determination for urban orthophoto mosaicking[J].ISPRS Journal of Photogrammetry and Remote Sensing,2016,112:1-12.

[2] 江 鐵,朱桂斌,孫 奧.全景圖像拼接技術(shù)研究現(xiàn)狀綜述[J].重慶工商大學(xué)學(xué)報(bào)(自然科學(xué)版),2012,29(12):60-71.

[3] 蓋進(jìn)偉.一種基于特征點(diǎn)的圖像拼接技術(shù)研究[D].太原:中北大學(xué),2012.

[4] LI X,HUI N,SHEN H,et al.A robust mosaicking procedure for high spatial resolution remote sensing images[J].ISPRS Journal of Photogrammetry and Remote Sensing,2015,109:108-125.

[5] 劉志文,劉定生,劉 鵬.應(yīng)用尺度不變特征變換的多源遙感圖像特征點(diǎn)匹配[J].光學(xué)精密工程,2013,21(8):2146-2153.

[6] LOWE D G.Distinctive image features from scale-invariant key points[J].International Journal of Computer Vision,2004,60(2):91-110.

[7] GAO J,KIM S J,BROWN M S.Constructing image panoramas using dual-homography warping[C]//Proceedings of 2011 IEEE Conference on Computer Vision and Pattern Recognition.Washington D.C.,USA:IEEE Press,2011:49-56.

[8] LIU F,GLEICHER M,JIN H,et al.Content-preserving warps for 3D video stabilization[J].ACM Transactions on Graphics,2009,28(3):44.

[9] 張永梅,張晨希,郭 莎.基于SIFT特征的彩色圖像拼接方法研究[J].計(jì)算機(jī)測(cè)量與控制,2016,24(8):236-239.

[10] 劉文進(jìn),張 蕾,孫勁光.基于AP聚類(lèi)圖像分塊的角點(diǎn)檢測(cè)改進(jìn)方法[J].計(jì)算機(jī)工程,2015,41(4):217-221.

[11] ZARAGOZA J,CHIN T J,BROWN M S,et al.As-projective-as-possible image stitching with moving DLT[C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition.Washington D.C.,USA:IEEE Press,2013:2339-2346.

[12] 劉德連,張建奇.基于3點(diǎn)匹配的圖像拼接算法[J].計(jì)算機(jī)工程,2006,32(13):203-205.

[13] ZHANG Z.A flexible new technique for camera calibration[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2000,22(11):1330-1334.

[14] van de SSNDE K E A,UIJLINGS J R R,GEVERS T,et al.Segmentation as selective search for object recognition[C]//Proceedings of 2011 IEEE International Conference on Computer Vision.Washington D.C.,USA:IEEE Press,2011:1879-1886.

[15] 李玉峰,李廣澤,谷紹湖,等.基于區(qū)域分塊與尺度不變特征變換的圖像拼接算法[J].光學(xué)精密工程,2016,24(5):1197-1205.

[16] 杜京義,胡益民,劉宇程.基于區(qū)域分塊的SIFT圖像匹配技術(shù)研究與實(shí)現(xiàn)[J].光電工程,2013,40(8):52-58.

[17] 韓 冰,王永明.基于一種快速歸一化積相關(guān)算法的圖像匹配研究[J].兵工學(xué)報(bào),2010,31(2):160-165.