一種基于膨脹的漸進漸出圖像融合算法

陳為龍，郭 黎

(1.四川師范大學可視化計算與虛擬現(xiàn)實四川省重點實驗室，四川 成都 610068;2.四川師范大學數(shù)字媒體系，四川 成都 610068;3.湖北民族學院信息工程學院，湖北 恩施 445000)

1 引言

數(shù)字圖像拼接通常是指將具有重疊區(qū)的多幅數(shù)字圖像或多幀視頻圖像進行拼接處理，獲得一幅寬視場圖像或者動態(tài)全景圖。該技術(shù)主要包括兩個步驟：圖像配準[1]和圖像融合[2～4]。圖像配準的目的是能夠找到一個中間變換，使數(shù)字圖像序列之間相互重疊部分的坐標點能夠?qū)?。各幅圖像配準后，就可以進行圖像的拼接。但由于灰度差異等原因，拼接后的圖像很容易出現(xiàn)拼接接縫和亮度差異，所以在圖像拼接后要進行圖像融合。

目前，數(shù)字圖像拼接技術(shù)已被廣泛應(yīng)用于軍事和民用領(lǐng)域(虛擬現(xiàn)實、衛(wèi)星遙感、視頻監(jiān)控等)，受到國內(nèi)外越來越多的關(guān)注。邵向鑫等[5]提出了一種基于邊緣擴展相位相關(guān)的圖像拼接算法，可以簡化圖像拼接中的計算復雜度。張琳等[6]提出一種全局拼接算法，該算法應(yīng)用于航拍圖像的拼接，可以有效地提高拼接效果。余宏生等[7]對數(shù)字圖像拼接以及融合方法及其研究進展做了全面的介紹。Szeliski R[8]提出了加權(quán)平均法對圖像進行融合，取得了較好的效果?？傮w來說，為了滿足視覺需要，拼接后的圖像應(yīng)該滿足一些基本條件，如色度和亮度一致、無明顯拼接痕跡、沒有由于運動物體引起的“鬼影”等。

本文主要針對多幅圖像不同區(qū)域進行拼接的情況，對拼接過程中的圖像融合問題進行了分析，并由此提出了改進的圖像融合算法。本文第1節(jié)主要討論了對多幅圖像不同區(qū)域進行拼接存在的問題；第2節(jié)針對第1節(jié)中的問題提出了“基于膨脹的漸進漸出”圖像融合算法；第3節(jié)對提出的融合算法進行了實驗；第4節(jié)對全文進行了總結(jié)。

2 圖像拼接以及存在的問題

2.1 多幅圖像相同區(qū)域的拼接

多幅圖像相同區(qū)域的拼接主要包括圖像配準和圖像融合兩個部分。首先，通過圖像配準得到兩幅圖像重疊區(qū)域的位置和范圍，由此進行圖像拼接。但此時，因為兩幅圖像重疊區(qū)域的不同(色度、亮度等的不一致)以及拼接痕跡的存在，需要對拼接后圖像的重疊區(qū)域進行融合處理，使得兩幅拼接圖像在重疊區(qū)域過渡更加自然平滑，拼接后的圖像更像一個整體。

2.2 多幅圖像不同區(qū)域的拼接

如上所述是對多幅圖像的相同區(qū)域進行拼接，在很多情況下，也需要對多幅圖像的不同區(qū)域進行拼接，如圖1所示。

Figure 1 Three frames of a low-resolution video圖1 視頻中的前后三幀圖像

圖1展現(xiàn)的是一個視頻的前后三幀，小球是運動物體(被一根木棍帶動)。從視頻中可以看出，在每幀視頻中都存在運動物體的“鬼影”現(xiàn)象(箭頭所指區(qū)域)，嚴重影響了觀看效果。為了消除“鬼影”現(xiàn)象，可以使用如下的圖像拼接的方法：(1)對圖像中的運動物體(小球)進行分割，得到運動的小球(不包含鬼影部分)；(2)對多幀圖像進行差分得到靜止的背景圖像；(3)將得到的運動小球與靜止背景進行拼接(包括融合處理)，得到一幅不包含鬼影的圖像。

此例需要對多幅圖像的不同區(qū)域進行拼接。其中，“鬼影”現(xiàn)象是由于時間超分辨率重建所引起，影響運動物體觀賞效果不局限于“鬼影”現(xiàn)象，也可以是其它形變以及噪聲等現(xiàn)象，處理方法相同，不影響討論。

3 圖像融合算法及其改進

3.1 傳統(tǒng)的漸進漸出圖像融合方法

在對多幅圖像進行拼接時，拼接邊緣通常會產(chǎn)生明顯的拼接痕跡，給人一種假象的感覺。為了使拼接區(qū)域平滑而且沒有縫合線，可以采用“漸進漸出”算法對拼接后的圖像進行融合處理[2～4]，使顏色逐漸過渡，且避免圖像模糊和縫合線。該方法的主要思想是：在兩幅拼接圖像的重疊區(qū)域緩慢過渡，即將圖像重疊的區(qū)域的像素值按一定的權(quán)值相加合成新的圖像。在圖2中，兩幅圖像a、b在區(qū)間[X1,X2]上重疊，令加權(quán)系數(shù)為σ=i/(X2-X1)，其中0 ≤i≤X2-X1，X2-X1為重疊區(qū)域的寬度。

Figure 2 Overlapping area and weighted graduation圖2 重疊區(qū)域及加權(quán)漸變

假設(shè)I1(x，y)、I2(x，y)、I(x，y)分別表示變換后的第一幅圖像、第二幅圖像、融合圖像在點(x，y)處的像素值，則融合圖像中的各點的像素值可按下式確定：

其中，R1表示第一幅圖像中去掉重疊部分剩下的圖像區(qū)域?qū)?yīng)像素值；R3表示第一幅圖像和第二幅圖像重疊的圖像區(qū)域?qū)?yīng)像素值；R2表示第二幅圖像中去掉重疊部分剩下的圖像區(qū)域?qū)?yīng)像素值。

3.2 基于膨脹的漸進漸出融合算法

在2.2節(jié)提到的拼接方法中，也涉及到圖像融合，但面對的情況與3.1節(jié)所述的融合算法有些不同，如圖3所示。

圖3中，五邊形圖形是運動物體，長方形是背景。我們的目的是將運動物體拼接在背景上，在運動物體與背景交界的邊緣，通常會產(chǎn)生明顯的拼接痕跡，我們想采用“漸進漸出”的方法進行融合處理，使它們的邊界部分過渡更為平滑。但此時有個問題，運動物體已經(jīng)分割出來，它和背景之間沒有重疊區(qū)域，就不能用之前介紹的漸進漸出的方法。為了解決該問題，我們針對實際情況，提出了一種“基于膨脹的漸進漸出”融合方法。

Figure 3 Illustration of image mosaic圖3 圖像拼接示意圖

此時的物體是不規(guī)則的形狀，為了進行各個方向的漸進漸出處理，我們提出了如下方法:

(1)找出膨脹之前的物體沿垂直方向的最大點Y2和最小點Y1；

(2)找出膨脹之前的物體沿水平方向的最大點X2和最小點X1；

(3)如果一個重疊點位于Y2和Y1之間，也同時位于X2和X1之間的，對該點進行水平和垂直方向的漸進漸出處理；

(4)如果一個重疊點位于Y2和Y1之間，但不位于X2和X1之間的，對該點進行水平方向的漸進漸出處理；

(5)如果一個重疊點位于X2和X1之間，但不位于Y2和Y1之間的，對該點進行垂直方向的漸進漸出處理；

(6)其它重疊點不作處理(在采用我們的方法處理后，仍然有一些點未被處理，這些點既不位于X2和X1之間，也不位于Y2和Y1之間)。

通過以上方法，我們基本能對所有的重疊點進行融合處理。當然，此時可能還剩余一些點沒做處理，但不管目標是什么形狀，未被處理的點都是極少數(shù)，可以忽略不計，并不影響總體效果，原因如下：對于被處理到的點，不管圖形是什么形狀，采用的融合處理方法都一樣(漸進漸出方法)，所以不同之處僅在于未被處理到的點?？紤]到在實際處理中，膨脹算子一般都不會很大，在此情況下，不管是什么形狀，未被處理的點的數(shù)量都是很少的，為了實現(xiàn)的簡便，我們忽略這些點，不會影響實際效果。

Figure 4 Illustration of our improved fade-in and fade-out image mosaic method based on expansion圖4 改進的漸進漸出算法示意圖

4 實驗

為了進一步驗證本文所提出算法的有效性，我們進行了如下實驗來說明。

4.1 實驗1

為了消除圖1中“鬼影”現(xiàn)象以及帶動球運動的木棍，我們需要對這多幀圖像進行拼接。圖5a是對圖1a的運動部分進行分割并與背景拼接的結(jié)果。此時沒進行漸進漸出融合處理?？梢钥闯?，此時存在兩個主要問題：(1)乒乓球有殘缺(分割過度所致)；(2)球和背景有明顯的拼接痕跡，感覺不是一個自然的整體，而像是貼上去的，這是由于在球和背景的交接處，灰度變化太大，過度不自然導致的。圖5b是在圖5a的拼接基礎(chǔ)上，同時進行漸進漸出融合處理的情況，可以看到此時已經(jīng)能得到較好的效果。但因為在融合處理的過程中，需要進行膨脹操作,所以球右下方的一部分影子以及右上方的一小段木棍被包含了進來。但從總體上分析，我們提出的融合算法確實能取得更好的拼接效果。

Figure 5 Comparison of the two reconstruction effect圖5 拼接效果圖

為了進一步驗證本文所提出算法的有效性，對實驗結(jié)果進行了峰值信噪比PSNR對比，未進行融合的結(jié)果和本文方法融合結(jié)果分別與原始圖片進行PSNR計算，未進行融合處理的PSNR值為31.01，使用本文的漸進漸出法融合后的圖像PSNR值為32.09。從PSNR的對比可以看出本文算法對效果的提升。但是，因為運動物體體積偏小，所以PSNR的提升不是很明顯，在后面實驗二中會看到PSNR更明顯的提升。

4.2 實驗2

圖6a是包含目標物體和噪聲的圖像，圖像的左半部分被噪聲污染；圖6b是純背景圖像，我們的目的是將圖6a中的目標物與圖6b拼接，由此得到一幅無噪聲的圖像；圖6c是拼接后的效果圖，此時沒有進行漸進漸出融合處理；圖6d是使用我們提出的漸進漸出方法融合后的拼接圖像。

Figure 6 Effect of image mosaicing圖6 圖像拼接效果

在圖6c中，存在明顯的拼接痕跡，這是因為在分割的時候?qū)驹诒尘吧袭a(chǎn)生的部分陰影也包含進去了(圖6a中紅色箭頭所指區(qū)域)，而純背景圖像并沒有陰影，這就導致了拼接圖像灰度的跳變，使得拼接后的圖像有明顯的拼接痕跡。而從圖6d可以看到，采用我們提出的方法融合后的圖像更自然，效果更好。

同樣，對實驗結(jié)果進行了PSNR對比，未進行融合的結(jié)果和本文方法融合結(jié)果分別與原始圖片進行PSNR計算，未進行融合處理的PSNR值為31.36，使用本文的漸進漸出法融合后的圖像PSNR值為33.12。從PSNR的對比可以看出本文算法對效果的提升。

5 結(jié)束語

在對多幅圖像的不同區(qū)域進行拼接時，需要涉及到圖像分割、配準以及圖像融合等方法。本文以場景中的目標物體和背景區(qū)域作為拼接對象，當目標物體分割出來后，它和背景之間就沒有了重疊區(qū)域，不能用傳統(tǒng)的“漸進漸出”方法進行融合。為了解決此問題，文中提出了一種“基于膨脹的漸進漸出”圖像融合算法，該算法在對圖像融合時結(jié)合形態(tài)學方法，大幅度提高了拼接圖像的效果。文中實驗也表明了本文所提出的算法能大大提高圖像的拼接質(zhì)量。

[1] Zitova B, J Flusser. Image registration methods:A survey[J]. Image and Vision Computing, 2003, 21(10):977-1000.

[2] Zhang Chao-wei, Zhou Yan, Wu Si-li. Automatic mosaic of surveillance images based on SIFT feature matching[J].Computer Applications, 2008, 28(1):191-194. (in Chinese)

[3] Yao Wei, Hu Mao-hai, Qin Xuan. Improved image mosaic algorithm based on feature point matching[J]. Infrared Technology, 2010, 32 (5):288-290. (in Chinese)

[4] Zhang Wei, Liu Wei, Pu Jie-xin. An image mosaic method based on SIFT and region selecting[J]. Microelectronics & Computer, 2010, 27(6):205-207. (in Chinese)

[5] Shao Xiang-xin, Guo Shu-xu, Wang Lang. Image mosaic algorithm based on extended phase correlation of edge[J]. Journal of Jilin University(Information Science Edition), 2010, 28(1):95-99. (in Chinese)

[6] Zhang Lin, Chu Long-xian. Aerial image mosaic algorithms research based on global mosaic[J]. Computer Simulation, 2012, 29(4):282-286. (in Chinese)

[7] Yu Hong-sheng, Jin Wei-qi. Evolvement of research on digital image mosaics methods[J]. Infrared Technology, 2009, 31(6):348-353. (in Chinese)

[8] Szeliski R. Video mosaics for virtual environment[J]. IEEE Computer Graphics and Applications, 1996, 16(2):22-30.

附中文參考文獻：

[2] 張朝偉, 周焰, 吳思勵. 基于SIFT特征匹配的監(jiān)控圖像自動拼接[J]. 計算機應(yīng)用, 2008, 28(1):191-194.

[3] 姚偉, 胡茂海, 秦晅. 改進的基于特征點匹配的圖像拼接算法[J]. 紅外技術(shù), 2010, 32 (5):288-290.

[4] 張煒, 劉偉, 普杰信. 一種基于SIFT和區(qū)域選擇的圖像拼接方法[J]. 微電子學與計算機, 2010, 27(6):205-207.

[5] 邵向鑫, 郭樹旭, 王朗. 基于邊緣擴展相位相關(guān)的圖像拼接算法[J]. 吉林大學學報(信息科學版), 2010, 28(1):95-99.

[6] 張琳,褚龍現(xiàn). 基于全局拼接的航拍圖像拼接算法研究[J]. 計算機仿真, 2012, 29(4):282-286.

[7] 余宏生, 金偉其. 數(shù)字圖像拼接方法研究進展[J]. 紅外技術(shù), 2009, 31(6):348-353.