圖像拼接中鬼影消除算法研究*

潘恒輝

(空軍雷達學院 武漢 430019)

1 引言

全景圖和超寬視角的圖像在現(xiàn)實生活中有著廣泛的應用,在虛擬現(xiàn)實領域中,利用全景圖像表示實景可代替復雜的3D場景建模和繪制[1]。利用廣角鏡頭可得到寬視角的圖像,但廣角鏡頭的邊緣會產(chǎn)生難以避免的扭曲變形。隨著計算機和圖像處理技術的發(fā)展,圖像拼接技術為得到全景圖提供了很好的解決方案。

全景圖像的拼接是指利用相鄰的部分重疊的圖像樣本,生成一個較大的甚至360°的全方位圖像的場景繪制方法。換句話說,就是給定某個真實場景的一組部分重疊的局部圖像,然后對這一組圖像進行拼接,生成包含這組局部圖像的新視圖[2]。全景圖中的鬼影,指的是在新視圖中存在的或深、或淺的虛影。鬼影分為配準鬼影和合成鬼影兩種,前者是由于沒有準確配準計算而造成的,后者則是由于運動物體而造成的[3]。當相鄰的圖像進行拼接時,需要綜合考慮相鄰圖像重疊區(qū)域的信息以實現(xiàn)圖像間的平滑過渡,即拼接圖像中重疊區(qū)域某點的像素值由相鄰圖像中相對應的點的像素值融合得到;比如在重疊區(qū)域相對應的區(qū)域,一幅圖像中為一輛運動的汽車,另外一幅圖像中卻是背景,采用傳統(tǒng)方法就會形成一個類似鬼影的汽車[4,7～8]。前人在配準求精方面已做了大量工作,已可以較好地解決配準鬼影問題[1,5～6],但是對于合成鬼影卻沒有什么較好地解決方法。本文在基于精確配準的基礎上,采用對拼接圖像中運動物體區(qū)域只采用一幅圖像信息的方法,在確定運動物體區(qū)域的基礎上,提出了運動物體區(qū)域重疊即相關,形成以運動區(qū)域單元為單位進行圖像信息源的選擇。針對容易造成的物體的不連續(xù),設置了運動區(qū)域單元與重疊區(qū)邊緣是否相接的權重系數(shù)來進行拼接圖像信息源的選擇。

2 運動物體區(qū)域信息的確定

確定重疊區(qū)運動物體區(qū)域的位置步驟如圖1所示。

圖1 確定位置步驟圖

這里以圖2所示的最簡單的相鄰兩幅圖像之間的拼接為例。具體的計算步驟如下:

1)針對圖2(a)、(b)兩幅圖進行精確配準,得到兩幅圖像透視變換參數(shù);

2)計算兩幅圖像重疊區(qū)域灰度圖之間的絕對差分:D=|C(a)-C(b)|;

3)由于樹葉擺動及攝像機本身的原因,絕對差分圖像中存在著噪點,消除噪點的常用方法是數(shù)學形態(tài)學中的腐蝕與膨脹算法[9],這里選取4×4的模板作為結構元素,首先進行腐蝕運算消除小于結構元素的明亮區(qū)域,去除孤立噪聲點和邊界上不平滑的凸出部分,然后進行膨脹運算將與目標物體接觸的所有背景點合并到物體中的過程,以填補空洞和形成連同域以及填平圖像邊界上不平滑的凹陷部分;

4)重疊區(qū)域中可能存在兩個或者多個運動物體,這里選擇最大類間方差法(Otsu法)選取合適的閾值T[11],對上面的差分灰度圖像進行二值化,提取出其中的運動物體區(qū)域。

圖2 確定運動區(qū)域的步驟

圖2(f)所標示的即為獲得的圖2(a)中存在運動物體的區(qū)域,在這里運動物體存在的區(qū)域的意思是在相鄰兩幅圖之間這個區(qū)域有物體發(fā)生了移動,在圖2(b)相對應的位置同樣的標志所存在的卻是背景,清晰地說明了這點。這里是最基本的兩幅圖相鄰的情況,比較復雜的是一幅圖與其他多幅圖都有重疊,但首先第一步需要做的仍然是計算出各圖之間存在運動物體的區(qū)域。

3 運動物體區(qū)域圖像信息源的選擇

3.1 運動區(qū)域單元

一幅圖像可能與多幅圖像之間存在重疊,如圖3(a)所示,互相重疊的三幅圖像,其中矩形代表圖A中的運動物體,圓形代表圖B中的運動物體,三角形代表圖C中的運動物體。經(jīng)過計算,得到如圖3(b)所示的圖像A與圖像B中的運動區(qū)域RAB,圖3(c)所示的圖像B與圖像C中的運動區(qū)域RBC,如果將圖3(b)與圖3(c)分開來進行考慮,產(chǎn)生的情況就是B圖像中右半圓區(qū)域圖像信息的重復選擇,將導致合成鬼影。

圖3 多幅圖像存在重疊的情況

為了完全消除合成鬼影,將存在運動物體的重疊區(qū)域統(tǒng)一考慮,即運動區(qū)域重疊(或相關),通過區(qū)域延伸將相關的運動區(qū)域合并為一個整體,并將其定義為一個運動區(qū)域單元。例如圖3(a)中由矩形、圓形、三角形合在一起以后的區(qū)域。

對于運動區(qū)域是否重疊,采取對每個運動區(qū)域計算其x,y軸的取值范圍,如果兩個運動區(qū)域在 x軸的取值范圍與在y軸的取值范圍都相交時,即判斷為相關。以圖3為例,假設運動區(qū)域RAB的x軸取值范圍為[x1,x2],y軸取值范圍為[y1,y2],運動區(qū)域RBC的x軸取值范圍為[x3,x4],y軸取值范圍為[y3,y4],它們相交的充分必要條件為(x1-x4)(x2-x3)≦0并且(y1-y4)(y2-y3)≦0。

3.2 圖像信息源的選擇

確定好運動區(qū)域單元及其存在的區(qū)域以后,接下來要做的就是運動區(qū)域單元選擇哪幅圖像的信息。在圖2中相對應的位置,一幅圖像中為運動物體的點,在另外一幅圖像中可能是背景點,不論采用哪幅圖像的信息,一個運動區(qū)域單元只需做出一次選擇,都不會產(chǎn)生鬼影,但如果選擇左圖作為信息源,就會導致物體的不連續(xù),所以必須設置一定的權重系數(shù)進行運動物體區(qū)域單元圖像信息源的選擇。這里物體的不連續(xù),產(chǎn)生于運動區(qū)域單元圖像信息源的選擇以及重疊區(qū)邊緣兩邊的圖像信息,所以本文提出了運動區(qū)域單元與重疊區(qū)左右兩邊哪邊的邊緣相接,哪邊的圖像優(yōu)先的權重系數(shù)。

在進行配準得到圖像的變換參數(shù)后,利用變換參數(shù)可以得到重疊區(qū)域邊緣在 x,y軸的取值范圍[x5,x6]、[y5,y6],假設此時得到的運動區(qū)域單元的x,y軸的取值范圍為[x7,x8]、[y7,y8],這里同樣的以(x5-x8)(x6-x7)≦0并且(y5-y8)(y6-y7)≦0作為判斷它們相接的充分必要條件。各圖像的初始優(yōu)先級均設置為1,1代表采用該圖像的信息,如果判斷出運動區(qū)域單元與該重疊區(qū)邊緣相接,則將該重疊區(qū)邊緣與左右兩幅圖像的x軸取值范圍進行比較,得到該邊緣隸屬于哪副圖像,并將該圖像的優(yōu)先級設為0,其他圖像的優(yōu)先級不變;不相接,則不進行任何操作。

圖4 運動區(qū)域單元

大多數(shù)情況下,運動區(qū)域單元與各重疊區(qū)域邊緣并不相接,即經(jīng)過比較最后各圖像的優(yōu)先級都是1,這種情況下,此時任取一副圖像的信息都可以消除鬼影且不存在物體的不連續(xù)。

從圖3中也容易得到這種方法的合理性,圖3中一共有四條重疊區(qū)域邊緣,將運動區(qū)域單元依次與這四條重疊區(qū)域邊緣進行比較,得到如下結果:1)不相接,無任何操作;2)相接,歸屬C,C的優(yōu)先級置0;3)相接,歸屬A,A的優(yōu)先級置0;4)不相接,無任何操作。最后可以看到只有B還保持著初始優(yōu)先級1,即取B作為運動區(qū)域單元的信息源,事實也證明了選取圖B作為運動區(qū)域單元的信息源是最合適的。還有一種可能,也就是運動區(qū)域單元,屬于圖3所示的情況,同樣的,將運動區(qū)域單元依次與這四條重疊區(qū)域邊緣進行比較,得到如下結果:1)相接,歸屬B,B的優(yōu)先級置0;2)相接,歸屬C,C的優(yōu)先級置0;3)相接,歸屬A,A的優(yōu)先級置0;4)不相接,無任何操作。此時,三副圖像的優(yōu)先級都為0,沒有辦法做出正確的選擇,但是可以看到,因為圖B中運動物體的存在才導致了這種情況,所以其時需要的是舍棄圖B中的信息,而僅僅對圖A和圖C重疊區(qū)的運動區(qū)域單元進行考慮,這種可能性比較小,但是這里還是進行提及。

4 實驗結果

本文采用Matlab對各種情況進行了仿真處理。圖5(a)為采用傳統(tǒng)算法形成的有鬼影的拼接圖像,圖5(b)對運動區(qū)域采用一幅圖像的信息,但是不采用運動區(qū)域單元的概念或者設置上述權重可能造成的現(xiàn)象,可以很清楚的看到,如果不使用運動區(qū)域單元的概念或者用上述條件設置權重時,雖然可以解決鬼影問題,但是很可能造成的后果就是同一物體的不連續(xù)性,圖5(c)顯示了按照本文的方法所得到的拼接圖像,得到的圖像不僅解決了鬼影問題,同時也不存在同一物體的不連續(xù)。圖 6(a)顯示了多圖相交采用傳統(tǒng)方法所形成的全景圖,圖中存在的是三個物體的鬼影,圖6(b)則采用的本文中方法得到的結果。通過實驗結果的比較,不難看出本文方法的優(yōu)越性。

5 結語

本文在引入了運動物體區(qū)域只采取單一圖像信息的基礎上,提出了運動區(qū)域單元的概念,根據(jù)運動區(qū)域單元與重疊區(qū)邊緣的相關性設置的權重系數(shù),更加有利于拼接圖像運動區(qū)域信息源的選擇,通過Matlab仿真試驗,證明能夠較好地解決在獲取全景圖像時所造成的鬼影以及物體的不連續(xù),獲得較高質量的拼接圖像,具有一定的實用價值。運動區(qū)域單元概念的提出更加有利于運動物體區(qū)域圖像信息源的選擇,它將以單一的、不相關的運動區(qū)域單元為單位與以一幅圖像的整體運動區(qū)域信息為單位很好地區(qū)分開來。

[1]Szeliskir,Shumh.Creating full view panoramic image mosaics and environment maps[C]//Proceedings of SIGGRAPH.Los Angeles:[sn],1997:251～258

[2]方賢勇,張明敏,潘志庚,等.基于圖切割的圖像拼接技術研究[J].中國圖象圖形學報,2007,12(12)

[3]王仲訓,丁挺,丁曉丹,等.一種全景圖像拼接算法的實現(xiàn)[J].工程圖學學報,2006(2)

[4]Matthew Uyttendaele,Ashley Eden,Richard Szeliski.Eliminating ghosting and exposure artifacts in image mosaics[C]//Proceedings of IEEE Computer Society Conference on Computer Vision and Pattern Recognition.Hawaii,2001:509～516

[5]Szeliski R.Image Alignment and Stitching[R].Technical Report,MSR-TR-2004-92,Preliminary draft,2005

[6]Brown M,Lowe D.Recognising panorama[C]//Proceedings of 9th International Conference on Computer Vision,Nice,France,2003:1218～1225

[7]Davis J.Mosaics of scenes with moving objects[C]//Proceedings of 1998 IEEE Computer Society Conference on ComputerVision and Pattern Recognition,Santa Barbara,CA,USA,1998:354～360

[8]Duplaquet M L.Building large image mosaics with invisible seamlines[C]//Proceedings of SPIE Visual Information Processing VII,Orlando,USA,1998:369～377

[9]Rafael C,Gonzalez,Richard E.Digital Image Processing[M].阮秋琦,阮宇智,譯.北京:電子工業(yè)出版社,2003:420～454

[10]周昌,陳耀武,Kwei Jay Lin.一種智能攝像機網(wǎng)絡中重疊區(qū)域的快速探測方法[J].儀器儀表學報,2007(7)

[11]王磊,段會川.Otsu方法在多閾值圖像分割中的應用[J].計算機工程與設計,2008(11)