一種快速魯棒性的視差圖像拼接方法

張望成，楊建永，胡 炎，2*

(1.中國(guó)電子科技集團(tuán)公司第五十四研究所，河北 石家莊 050081；2.北京航空航天大學(xué) 自動(dòng)化科學(xué)與電氣工程學(xué)院，北京 100083)

0 引言

圖像拼接[1]是計(jì)算機(jī)視覺領(lǐng)域的一項(xiàng)基礎(chǔ)研究,其將從不同位置和方向捕獲的多個(gè)圖像組合成一個(gè)具有更廣視野的全景圖。這項(xiàng)技術(shù)被廣泛應(yīng)用于輔助駕駛、增強(qiáng)現(xiàn)實(shí)、視頻監(jiān)控[2]、移動(dòng)娛樂以及其他實(shí)際應(yīng)用中。目前基于全局單應(yīng)性的拼接算法已經(jīng)相對(duì)成熟,相關(guān)的商業(yè)產(chǎn)品也應(yīng)運(yùn)而生,如Adobe Photoshop PhotoMerge、Microsoft Image Composite Editor、PTGUI和AutoStitch[3]。圖像拼接的一般過程包括以下幾個(gè)步驟:首先進(jìn)行特征點(diǎn)檢測(cè)和匹配,使用尺度不變特征轉(zhuǎn)換(Scale-Invariant Feature Transform,SIFT)[4]或加速穩(wěn)健特征(Speeded-Up Robust Features,SURF)[5]等特征點(diǎn)檢測(cè)器提取參考圖和目標(biāo)圖的特征點(diǎn)集,通過最近鄰匹配方法完成特征點(diǎn)的配準(zhǔn),并使用RANSAC方法過濾錯(cuò)誤匹配,得到提純后的特征點(diǎn)匹配對(duì);其次進(jìn)行投影關(guān)系估計(jì),采用直接線性變換(Direct Linear Transformation,DLT)算法[6]估計(jì)匹配點(diǎn)對(duì)之間的投影關(guān)系,并將目標(biāo)圖像投影到參考圖像坐標(biāo)系下,獲得投影圖;最后進(jìn)行無縫融合,通常采用加權(quán)融合方法對(duì)參考圖和投影圖進(jìn)行無縫融合。加權(quán)融合方法根據(jù)像素在重疊區(qū)域中的重要性進(jìn)行像素值的加權(quán)平均,以獲得自然、無縫的拼接結(jié)果。

然而,在實(shí)際拼接場(chǎng)景中,由于相機(jī)抖動(dòng)、短基線、相機(jī)的相對(duì)運(yùn)動(dòng)、光照變化和光學(xué)畸變等因素的影響,拼接場(chǎng)景往往不是平面的。當(dāng)場(chǎng)景中的物體深度差異較大時(shí),基于全局單應(yīng)性的扭曲模型可能導(dǎo)致全景圖中出現(xiàn)偽影。因此,實(shí)現(xiàn)一個(gè)沒有偽影的自然全景圖在實(shí)踐中是一個(gè)具有挑戰(zhàn)性的任務(wù)。用于克服偽影問題的方法可分為以下3類。

第1類是基于多波段融合的方法,將圖像分成多個(gè)頻段,每個(gè)頻段使用不同融合權(quán)重。由Brown等[3]提出的AutoStitch是最經(jīng)典的一種圖像拼接算法,利用SIFT特征匹配關(guān)系計(jì)算圖像的初始變換參數(shù),并使用光照補(bǔ)償和多波段融合實(shí)現(xiàn)無縫拼接。該算法要求待拼接圖像的內(nèi)容近似處于一個(gè)平面,否則會(huì)產(chǎn)生偽影,因此具有一定的局限性。Gao等[7]在AutoStitch框架的基礎(chǔ)上,將圖像內(nèi)容分為前景和背景并分別計(jì)算投影矩陣,通過加權(quán)融合得到了具有一定的視差處理能力的改進(jìn)算法。然而,當(dāng)圖像無法進(jìn)行前景和背景劃分時(shí),該方法會(huì)失效。

第2類方法是在圖像融合之前選擇最佳的拼接縫,通常與多頻帶融合方法或局部單應(yīng)性方法相結(jié)合。Gao等[8]提出了一種拼接縫損失的衡量方法,用于評(píng)估變形圖像與參考圖像之間的不連續(xù)性。使用RANSAC估計(jì)多個(gè)單應(yīng)性矩陣,并選擇具有最小拼接縫損失的單應(yīng)性矩陣來縫合變形圖像和參考圖像。Zhang等[9]提出了估計(jì)局部單應(yīng)性矩陣的方法,僅對(duì)圖像的特定區(qū)域進(jìn)行對(duì)齊,并應(yīng)用內(nèi)容保持變形來進(jìn)一步改善對(duì)齊。Lin等[10]改進(jìn)了拼接性能,通過使用迭代變形和拼接縫估計(jì)的方法。基于最佳拼接縫的方法通常僅對(duì)特定局部圖像區(qū)域進(jìn)行對(duì)齊,以提供視覺上令人滿意的拼接結(jié)果,但可能在整個(gè)圖像區(qū)域上沒有幾何上的準(zhǔn)確性。

第3類是基于局部自適應(yīng)變形的方法,利用整個(gè)目標(biāo)圖像上的平滑拼接場(chǎng)來進(jìn)行更精細(xì)的調(diào)整。Zaragoza等[11]提出了APAP算法,通過移動(dòng)直線變換(Moving Direct Linear Transformation,MDLT)方法求解平滑投影場(chǎng),并被廣泛應(yīng)用[12-17]。Lin等[12]提出了AANAP(Adaptive As-Natural-As-Possible),使用局部單應(yīng)性和全局相似性變換的組合,通過線性化單應(yīng)性并慢慢將其更改為全局相似性來減輕非重疊區(qū)域中的透視失真。Lee等[13]首先估計(jì)多個(gè)單應(yīng)性,然后找到2個(gè)圖像之間的內(nèi)在特征匹配,利用形變殘差評(píng)估每個(gè)特征匹配,并對(duì)輸入圖像進(jìn)行超像素劃分,通過最小化由形變殘差加權(quán)的特征匹配誤差自適應(yīng)地形變每個(gè)超像素以減輕視差偽影。Herrmann等[14]提出將重疊區(qū)域劃分成多個(gè)子區(qū)域,分別進(jìn)行局部形變建模。趙光遠(yuǎn)[15]提出了一種改進(jìn)MDLT的圖像配準(zhǔn)和最佳縫合線融合的新方法,通過引入特征點(diǎn)聚類方式對(duì)圖像內(nèi)的特征點(diǎn)進(jìn)行聚類分析,并改進(jìn)了基于圖割的最佳縫合線搜索算法中能量函數(shù)所包含的參數(shù)項(xiàng),提高了局部形變的拼接質(zhì)量。崔志遠(yuǎn)[16]通過SIFT和LSD算法檢測(cè)匹配點(diǎn)和直線段,對(duì)圖像劃分規(guī)則網(wǎng)格,基于薄板樣條估計(jì)網(wǎng)格的最終形變位置,提高局部形變拼接算法的直線保持能力。Li等[18]提出了健壯視差容忍圖像拼接算法REW,采用貝葉斯特征細(xì)化模型自適應(yīng)去除不正確的局部匹配,并構(gòu)造解析變形函數(shù)消除視差錯(cuò)誤。然而,大多數(shù)局部變形拼接模型存在計(jì)算效率不高的問題,比如AANAP使用CPU拼接2幅800 pixel×600 pixel的圖像通常需要20～30 s。

為了解決當(dāng)前局部形變拼接方法效率低的問題,提出了一種新穎的快速魯棒性的視差圖像拼接方法,可通過GPU并行計(jì)算框架大幅度提高計(jì)算效率,同時(shí)確保重疊區(qū)域到非重疊區(qū)域過渡的平滑性和自然性。

1 MDLT方法回顧

DLT用于估計(jì)圖像IM×N和JM×N之間的K個(gè)匹配特征點(diǎn)對(duì)之間的最優(yōu)全局扭曲變換H的矩陣參數(shù)。如果存在匹配點(diǎn)對(duì)x=[x,y, 1]T∈I,x′= [x′,y′, 1]T∈J,則有:

(1)

由x′與Hx之間叉積為0,可得:

(2)

式中:h=[h0h1h2h3h4h5h6h7h8]T。根據(jù)式(2)可得優(yōu)化目標(biāo):

(3)

基于DLT的全局扭曲變換與基于MDLT的“網(wǎng)格化”局部扭曲變換如圖1所示。

“網(wǎng)格化”形變場(chǎng)建模是一種經(jīng)典的局部自適應(yīng)形變方法,利用稠密投影來構(gòu)建視差圖像之間的幾何關(guān)系,并采用MDLT方法來求解每個(gè)小網(wǎng)格的投影矩陣參數(shù)。MDLT方法將平面劃分成密集網(wǎng)格,以i個(gè)網(wǎng)格左上角點(diǎn)為中心點(diǎn)Oi,計(jì)算所有特征點(diǎn)p到Oi的空間距離作為權(quán)重,并對(duì)式(3)進(jìn)行適應(yīng)性改造,得到:

(4)

式中:

(5)

wi,k為Oi與第k個(gè)特征點(diǎn)之間的距離權(quán)重,σ為距離方差,γ為常數(shù),表示最小取值。由式(4)和式(5)可以看出,MDLT在構(gòu)建超定方程時(shí)考慮了所有特征點(diǎn)貢獻(xiàn)的大小,距離網(wǎng)格頂點(diǎn)越近,特征點(diǎn)的貢獻(xiàn)越大;反之亦然。

2 提出的方法

針對(duì)當(dāng)前局部變形拼接計(jì)算效率低的問題,提出一種快速魯棒性的視差圖像拼接算法,算法框架如圖2所示。所提出的算法包括匹配對(duì)獲取、局部形變場(chǎng)建模和圖像融合拼接3個(gè)環(huán)節(jié)。

2.1 匹配對(duì)提取

SURF是一種快速且具有魯棒性的特征點(diǎn)檢測(cè)和描述算法,2006年由Bay等[5]提出,是一種對(duì)尺度和旋轉(zhuǎn)變化具有不變性的特征點(diǎn)算法,在實(shí)時(shí)或大規(guī)模圖像處理中具有較高的效率。RANSAC是一種基于隨機(jī)采樣的迭代算法,用于擬合數(shù)據(jù)中的模型并過濾掉外點(diǎn)[17]。RANSAC能夠有效處理帶有噪聲和異常值的數(shù)據(jù)集,廣泛應(yīng)用于計(jì)算機(jī)視覺、幾何估計(jì)和數(shù)據(jù)擬合等領(lǐng)域。當(dāng)小型旋翼無人機(jī)在超低空飛行時(shí),由于相機(jī)視點(diǎn)過低,導(dǎo)致3D場(chǎng)景中物體的投影不再符合同一2D投影模型,從不同位置和不同視角拍攝的2幅圖像中會(huì)存在多種投影關(guān)系,稱為多幾何結(jié)構(gòu)。由于RANSAC擬合的模型為全局投影模型,因此在處理多幾何結(jié)構(gòu)場(chǎng)景時(shí)會(huì)失效。

針對(duì)超低空?qǐng)鼍皥D像存在多幾何結(jié)構(gòu)問題,文獻(xiàn)[19]已經(jīng)進(jìn)行了深入研究,并提出了一種適用于多幾何結(jié)構(gòu)圖像的深度稠密投影(Deep Dense Projection, Deep-DP)估計(jì)器。Deep-DP是基于仿射變換構(gòu)建,由23個(gè)級(jí)聯(lián)層組成,包括13個(gè)降采樣隨機(jī)抽樣層、7個(gè)隨機(jī)/半隨機(jī)抽樣層、1個(gè)異常匹配過濾層和2個(gè)結(jié)構(gòu)視差抑制層。為配合級(jí)聯(lián)估計(jì)器的高效執(zhí)行需求,設(shè)計(jì)了一個(gè)GPU并行計(jì)算框架,確保Deep-DP在魯棒性、準(zhǔn)確性、實(shí)時(shí)性和故障率方面實(shí)現(xiàn)更出色的表現(xiàn),如圖3所示。

在匹配對(duì)提取環(huán)節(jié)主要采用SURF檢測(cè)器進(jìn)行特征點(diǎn)提取,然后采用Deep-DP獲取提純點(diǎn)對(duì)。相關(guān)算法流程,本文不再贅述。下面將重點(diǎn)闡述基于Deep-DP的局部形變場(chǎng)建模和基于局部形變場(chǎng)的圖像融合拼接。

2.2 局部形變場(chǎng)建模

(6)

式(6)為代入法求解仿射變換的參數(shù)表達(dá)式,其本質(zhì)上是由3對(duì)點(diǎn)求得局部仿射變換模型的一個(gè)特殊解。由于特征點(diǎn)對(duì)中存在噪聲和視差,特解會(huì)使形變場(chǎng)不光滑,甚至產(chǎn)生較大的畸變。針對(duì)上述問題,提出一種半隨機(jī)抽樣一致性(Semi-RANSAC)方法來克服形變場(chǎng)不光滑的問題。借鑒MDLT工作原理,一方面,采用目標(biāo)點(diǎn)周圍16鄰域點(diǎn),而非全部特征點(diǎn)。MDLT與提出算法構(gòu)造距離權(quán)值的原理如圖4所示。

圖4 MDLT與提出算法構(gòu)造距離權(quán)值的原理Fig.4 Principles of constructing distance weights of MDLT and the proposed method

MDLT構(gòu)造的距離權(quán)值矩陣是采用指數(shù)函數(shù)構(gòu)造,當(dāng)距離較遠(yuǎn)時(shí),特征點(diǎn)的貢獻(xiàn)很小。又因特征點(diǎn)是稀疏分布的,16鄰域以外的特征點(diǎn)對(duì)計(jì)算目標(biāo)點(diǎn)處的形變參數(shù)貢獻(xiàn)已非常小。因此,采用目標(biāo)周圍16鄰域點(diǎn)對(duì)計(jì)算局部投影參數(shù)的精度損失很小,可以有效加速計(jì)算。另一方面,采取半隨機(jī)抽樣計(jì)算目標(biāo)點(diǎn)處的形變模型參數(shù),具體描述如下。

令pk表示目標(biāo)點(diǎn),C16(pk)表示pk的16鄰域。每次選定pk作為固定點(diǎn),然后從C16(pk)中隨機(jī)抽取2個(gè)點(diǎn),帶入式(6)得到一個(gè)特殊解hl。重復(fù)L次半隨機(jī)抽樣,可以得到一組候選模型解集φ(pk)={hl|l=1,2,3,…,L}。在φ(pk)中每一個(gè)hl都滿足式(1),但仍可能存在噪聲,需要對(duì)φ(pk)集合進(jìn)行去噪處理。令hG表示全局估計(jì)模型,hG可以利用式(3)求得。定義模型偏差:

(7)

如果ξ(hl) >σ,則表示hl為噪聲。其中,σ表示模型偏差閾值,ξ(hl)表示旋轉(zhuǎn)縮放參數(shù)的偏差,σ根據(jù)經(jīng)驗(yàn)可以取3。濾除噪聲后,φ(pk)元素?cái)?shù)量記為C,可以得到pk點(diǎn)處的局部平滑解h*(pk),表達(dá)式如下:

(8)

令xi表示圖像I中任意一個(gè)像素點(diǎn),構(gòu)建距離權(quán)值函數(shù)wik,表示第i個(gè)像素點(diǎn)到第k個(gè)特征點(diǎn)之間的距離權(quán)重:

(9)

則圖像I的形變場(chǎng)表示為:

(10)

式(8)中,h*(pk)是建立在解集φ(pk)上的計(jì)算結(jié)果,因此,h*(pk)可以保持精確性;另一方面采用加權(quán)計(jì)算可以保持h*(pk)的平滑性。式(10)在計(jì)算投影場(chǎng)時(shí),也采用了局部加權(quán)平滑策略,由此可以確保最終投影場(chǎng)的平滑性,如圖5所示。

圖5 形變場(chǎng)示意Fig.5 Schematic diagram of warp field

此外,式(6)～式(8)的計(jì)算過程對(duì)每個(gè)特征點(diǎn)是完全獨(dú)立的,式(9)和式(10)的計(jì)算過程對(duì)每個(gè)像素點(diǎn)是也完全獨(dú)立的。因此,在設(shè)計(jì)GPU并行計(jì)算框架時(shí),可以取K×R個(gè)GPU線程執(zhí)行式(6)～式(8)的計(jì)算,R表示半隨機(jī)抽樣的次數(shù);同理,可以取M×N個(gè)GPU線程執(zhí)行式(9)、式(10)的計(jì)算過程。獲取圖像形變場(chǎng)后,利用形變場(chǎng)逐像素對(duì)原圖進(jìn)行坐標(biāo)轉(zhuǎn)換,獲得轉(zhuǎn)換圖像后再與底圖進(jìn)行融合以獲得最終的拼接圖。

圖5將每個(gè)像素點(diǎn)處的變換矩陣的旋轉(zhuǎn)參數(shù)hl2以熱力圖形式展現(xiàn)出來,可以反映出大視差場(chǎng)景下“旋轉(zhuǎn)”的漸變情況?？梢钥闯?遠(yuǎn)處立體建筑和鐵路線鋪設(shè)區(qū)域出現(xiàn)了明顯的分區(qū),說明局部投影場(chǎng)準(zhǔn)確地?cái)M合了圖像立體內(nèi)容和平面內(nèi)容,克服了傳統(tǒng)全局投影在非平面場(chǎng)景下失效的缺陷;重疊區(qū)域內(nèi)部顏色變化波動(dòng)較大,說明局部投影場(chǎng)建模精度高,對(duì)細(xì)節(jié)擬合準(zhǔn)確;重疊區(qū)域邊緣顏色呈漸變過渡,說明局部投影場(chǎng)形變過渡平滑。

2.3 圖像融合

首先將目標(biāo)圖像素按照投影場(chǎng)進(jìn)行逐像素投影,得到:

(11)

3 實(shí)驗(yàn)和分析

本文算法與AutoStitching算法拼接效果對(duì)比試驗(yàn)如圖6所示。在火車站場(chǎng)景中,2幅圖像存在拍攝角度差異、圖像遠(yuǎn)近分辨率變化、圖像細(xì)節(jié)復(fù)雜。采用當(dāng)前手機(jī)等移動(dòng)設(shè)備廣泛使用的AutoStitching算法進(jìn)行對(duì)比測(cè)試?？梢钥闯?圖中紅色框內(nèi)AutoStitching算法出現(xiàn)了嚴(yán)重的畸變失真,而本文算法實(shí)現(xiàn)了精準(zhǔn)無縫拼接。

圖6 本文算法與AutoStitching算法拼接效果對(duì)比試驗(yàn)Fig 6 Comparative experiment of the stitching effect between the proposed algorithm and the Auto- Stitching algorithm

此外,采用結(jié)構(gòu)相似性(Structural Similarity Index Measure,SSIM)[18]指標(biāo)進(jìn)行了圖像對(duì)齊的定量比較,如圖7所示。SSIM是一種用于評(píng)估圖像質(zhì)量的指標(biāo),它測(cè)量了2幅圖像在結(jié)構(gòu)上的相似性。SSIM指標(biāo)的取值為0～1,數(shù)值越大表示結(jié)構(gòu)相似度越高。APAP[11]、AANAP[12]和REW(Robust Elastic Warp)[21]是近期較為先進(jìn)的3種局部投影拼接方法。數(shù)據(jù)集來自文獻(xiàn)[11-12,18],共計(jì)27對(duì),分辨率從500 pixel×375 pixel到2 160 pixel×1 440 pixel的升序排列。

(a)SSIM

(b)運(yùn)行時(shí)間

從圖7(a)可以看出,REW、APAP和AANAP的平均SSIM分別為0.727、0.678和0.671。所提出的算法的平均SSIM得分為0.667,但該得分與APAP和AANAP非常接近。圖7(b)顯示了4種算法的主循環(huán)消耗的時(shí)間,從特征匹配后立即開始,直到圖像融合之前結(jié)束。REW、APAP、AANAP的平均運(yùn)行時(shí)間分別為1.187、1.367、2.660 s。然而,所提出的算法實(shí)現(xiàn)了最低的平均運(yùn)行時(shí)間0.203 s,顯著優(yōu)于其他算法。

4 結(jié)束語(yǔ)

本文提出了一種適用于GPU高效計(jì)算的平滑形變場(chǎng)計(jì)算框架,極大地提高了平滑形變場(chǎng)建模的計(jì)算效率。使用半隨機(jī)抽樣策略結(jié)合加權(quán)平均來估計(jì)局部最優(yōu)模型,可以兼顧投影場(chǎng)的平滑度和局部形變模型的精度。由于本文的去噪策略采用的是常數(shù)閾值模型,自適應(yīng)能力較弱。由SSIM對(duì)比實(shí)驗(yàn)可以看出,該方法在對(duì)齊精度方面有一定的提高空間。此外,當(dāng)圖像中出現(xiàn)較大的結(jié)構(gòu)視差時(shí),比如靜態(tài)物體因視角變化出現(xiàn)視覺錯(cuò)位,在圖像融合時(shí)必須借助拼接縫來隱藏偽影。在未來的研究中,將繼續(xù)開展優(yōu)化工作,在GPU高效計(jì)算框架中融合自適應(yīng)濾波模塊、拼接縫查找模塊,進(jìn)一步提高算法的實(shí)時(shí)性和拼接質(zhì)量。