基于邊緣圖的梯度域圖像融合方法研究

基于邊緣圖的梯度域圖像融合方法研究*

楊 輝 軍

(安徽國際商務(wù)職業(yè)學(xué)院 信息服務(wù)系,合肥 230051)

摘要：梯度域圖像融合通過最小化融合圖像的梯度場與融合梯度場之間距離求得融合圖像，融合梯度場的準確性直接決定融合圖像質(zhì)量；由于源圖像信息之間存在互補性，基于結(jié)構(gòu)張量的梯度融合方法得到的融合梯度場的準確性不高，為保證融合圖像質(zhì)量，重構(gòu)時需要添加其它感知項進行校正；提出了一種基于邊緣圖的梯度場融合方法，在邊緣像素處以梯度值為權(quán)重進行加權(quán)融合，在非邊緣像素處采用梯度值取大規(guī)則進行融合;實驗結(jié)果表明：梯度場融合方法得到的融合梯度場準確性高，重構(gòu)的融合圖像具有滿意的視覺質(zhì)量和客觀評價成績。

關(guān)鍵詞：圖像融合；梯度場；結(jié)構(gòu)張量；邊緣圖；感知項

doi:10.16055/j.issn.1672-058X.2015.0012.003

收稿日期：2015-02-20；修回日期：2015-04-20.

基金項目：*安徽省2014年度教育振興計劃高職專業(yè)帶頭人資助項目；安徽省2014年度重大教學(xué)改革研究項目(2014zdjy177).

作者簡介：楊輝軍(1973-),男,安徽岳西人,副教授，博士研究生,從事圖像處理、智慧學(xué)習(xí)環(huán)境研究.

中圖分類號：TP391.4文獻標志碼：A

梯度域圖像處理技術(shù)首先修改已知圖像的梯度場得到一個新的梯度場，然后強制目標圖像的梯度場逼近新的梯度場以重構(gòu)目標圖像。與空間域和變換域處理技術(shù)相比，梯度域圖像處理技術(shù)能得到更好的處理效果，在圖像編輯[1]、陰影去除[2]、圖像摳圖[3]等圖像處理任務(wù)中得到廣泛應(yīng)用，這些應(yīng)用處理單幅圖像，已有學(xué)者在梯度域開展圖像融合研究[4,5]，研究采用基于結(jié)構(gòu)張量的方式計算融合梯度場，由于計算方式未能充分考慮源圖像之間的互補性，導(dǎo)致其融合梯度場準確性低，在重構(gòu)融合圖像時需要增加視覺感知項進行校正，融合圖像的重構(gòu)演變?yōu)樽钚』ň嚯x項(融合梯度場與融合圖像的梯度場之間的距離)和視覺感知項的能量泛函，在求解融合圖像需要通過實驗方式確定時間步長等相關(guān)參數(shù)，參數(shù)設(shè)置是否合理對融合圖像質(zhì)量有著直接的影響，另外，通過實驗方式確定的參數(shù)缺乏自適應(yīng)性，在實際應(yīng)用中還需要針對源圖像調(diào)整參數(shù)。為此，設(shè)計一種基于邊緣圖的梯度場直接融合方法，方法在邊緣圖的引導(dǎo)下，直接融合源圖像的梯度場得到融合梯度場，提高了融合梯度場的準確性，可直接求解泊松方程得到融合圖像，避免了在變分框架下最小化能量泛函時難以確定最佳參數(shù)的問題。

1梯度域圖像融合

1.1梯度域圖像融合流程

如圖1所示，在梯度域進行圖像融合需要經(jīng)歷計算、融合、重構(gòu)。計算是求源圖像的梯度場；圖像融合采用一定的融合規(guī)則組合源圖像梯度場得到融合梯度場；重構(gòu)是利用融合梯度場，采用特定算法求解融合圖像。

圖1　梯度域圖像融合

在融合梯度場上重構(gòu)融合圖像，需要求解式所示的最小化問題。

(1)

(2)

從上述的梯度域融合過程可以看出融合梯度場V的準確性直接決定最終的融合結(jié)果的好壞，因此，梯度場的融合方法至關(guān)重要。

1.2梯度場融合方法

1.2.1基于結(jié)構(gòu)張量的梯度場融合

將源圖像作為多通道圖像I的分量圖像，如果有N幅源圖像Ik(k=1,2，…,N)，則I可表示為

(3)

然后在(x,y)處按照式(3)計算其結(jié)構(gòu)張量[6]:

(4)

用λ1,λ2(λ1>λ2)表示矩陣A的特征值，λ1,λ2分別表征圖像I在(x,y)處的最大和最小變化率，其對應(yīng)的特征向量分別表示變化方向?；诮Y(jié)構(gòu)張量的梯度場融合方法取λ1對應(yīng)的特征向量作為(x,y)處的融合梯度:

(5)

1.2.2基于邊緣圖的梯度融合

上述基于結(jié)構(gòu)張量的梯度融合方法充分利用了多幅圖像之間的相關(guān)性，而多源傳感器圖像之間往往存在很強的互補性，采用基于結(jié)構(gòu)張量的融合方式淡化了這種互補性，導(dǎo)致融合的梯度場準確性不高，通過式重構(gòu)融合圖像時，需要添加視覺感知項進行校正以保障融合圖像質(zhì)量，為此，采用直接組合源圖像梯度場的方式得到融合梯度場V，其組合粒度可以是像素或圖像，為提高融合梯度場的準確性，在邊緣圖的指導(dǎo)下進行梯度融合，首先計算所有源圖像的邊緣圖ei(i=1,2，…,N)，N為源圖像數(shù)量，在多數(shù)情況下N=2，然后按照如下規(guī)則以像素單位融合梯度場：

(1) 在像素位置(x,y)處，若像素在多個邊緣圖中是邊緣點，則按照式計算融合梯度：

(6)

這里采用加權(quán)融合可以防止像素點在一個源圖像中是邊緣點，而在其他源圖像中不是邊緣點的情況下，在融合圖像中出現(xiàn)假邊緣現(xiàn)象，如果位置像素在多幅源圖像中均為邊緣點，則可以保證像素在融合圖像中也是邊緣點。

(2) 在位置(x,y)處，像素在所有邊緣圖中為非邊緣點，則按照式和計算融合梯度：

(7)

(8)

式(7)中max_index返回具有最大梯度模值的圖像索引。融合規(guī)則實質(zhì)是梯度模取大，將梯度模最大的梯度保留到融合梯度場中，采用規(guī)則可以將源圖像平滑區(qū)域中的微小細節(jié)保留到融合圖像中。

2實驗仿真

2.1實驗設(shè)置

衡量融合圖像質(zhì)量，需要從主觀視覺質(zhì)量和客觀指標值兩個方面進行比較，主觀視覺質(zhì)量評價主要從圖像的亮度范圍、清晰度和對比度等方面比較融合圖像質(zhì)量，客觀指標值則可以排除主觀因素，量化融合圖像質(zhì)量，選用5個客觀評價指標：通用圖像質(zhì)量指標(Universal Image Quality Index，UIQI)[7]，加權(quán)融合質(zhì)量指標(Weighted Fusion Quality Index, WFQI)[7]，邊緣融合質(zhì)量指標(Edge-dependent Fusion Quality Index, EFQI)[7]，互信息(Mutual Information, MI)[8]，視覺信息保真度(Visual Information Fidelity, VIF)[9]作為客觀評價指標，這些指標均為高優(yōu)指標，從不同方面衡量融合圖像質(zhì)量。

為檢驗融合方法的有效性，需要將方法的融合結(jié)果和其它方法的融合結(jié)果進行比較，選用基于多分辨率分析的融合方法作為被比較的方法，包括離散小波變換(Discrete Wavelet Transfrom, DWT)[10]，雙樹復(fù)小波變換(Dual-tree Complex Wavelet Transform, DTCWT)[11]，曲波變換(Curvelet Transform, CVT)[12]，非下采樣輪廓波變換(Non-sampled contourlet Transform, NSCT)[13]。這些被比較的方法設(shè)置分解層數(shù)L=3，采用平均融合規(guī)則融合最粗尺度系數(shù)，采用絕對值取大規(guī)則進行融合較細尺度系數(shù)。對CVT和NSCT方法而言，各層的方向數(shù)分別為4,4,8。

2.2實驗結(jié)果

實驗1

源圖像為可見光和紅外圖像，圖2顯示了各種方法的融合結(jié)果。從圖2(d)可以看到：融合圖像在紅外目標處，只有初略的目標輪廓，完全丟失了源圖像中的目標亮度信息，可見光圖像中的樹叢，柵欄在融合圖像也完全丟失。圖2(c)的亮度范圍，對比度非常接近于圖2(a)，說明方法很好地保留了可見光圖像的細節(jié)信息，也可看到圖2(c)中的紅外目標輪廓清晰，只是目標亮度比源圖像中目標亮度稍低，圖2(c)和圖2(d)的視覺質(zhì)量差異說明：梯度場融合方法與基于結(jié)構(gòu)張量的融合方法相比，得到的融合梯度場更準確，無需在式中添加其他視覺感知項進行校正。比較方法與其他融合方法(圖2(e)-(h))的融合結(jié)果，可以看出：方法的紅外目標亮度最接近紅外圖像，山丘上樹叢也最接近可見光圖像，說明方法在保留可見光圖像的細節(jié)信息和紅外目標信息方面均優(yōu)于其它方法；另外，方法融合的紅外目標周圍沒有黑色鬼影，而在DWT，DTCWT，NSCT方法融合的紅外目標周圍存在不同程度的黑色鬼影，說明梯度域融合方法能消除變換域方法在目標邊界過渡不自然的現(xiàn)象，改善了融合圖像的視覺質(zhì)量。進一步的客觀評價見表1，從表1中可以看出方法在各項指標上都高于其它方法，這和主觀視覺感知效果一致。

圖2　實驗1融合結(jié)果

MethodUIQIWFQIEFQIVIFMIDWT0.53320.55020.36900.18840.7741DTCWT0.56340.58470.40300.21220.8133NSCT0.57590.59940.41520.21400.8157CVT0.58980.61800.42500.20240.8231方法0.60210.65780.45730.23940.9267

實驗2

源圖像為醫(yī)學(xué)圖像，圖3展示了各種方法的融合結(jié)果。與實驗一結(jié)果類似，基于結(jié)構(gòu)張量的融合梯度場得到的融合圖像質(zhì)量明顯低于方法。方法的融合結(jié)果與其它基于多分辨率分析的融合方法的結(jié)果相比，在保持MRI圖像的明亮部分方面占優(yōu)勢，從而圖像的整體對比度更好。融合質(zhì)量的客觀評價見表2，在表2中可以看出方法除了在MI指標上比CVT方法略低一點以外，在其它指標上都明顯好于其它方法。

分析提出的融合方案、比較實驗結(jié)果，可以看到的基于邊緣圖的梯度場融合方法：能得到準確的融合梯度場，重構(gòu)融合圖像時無需額外的校正處理，在一定程度上降低計算量；能有效融合互補信息的梯度，從而保證源圖像的顯著信息成功轉(zhuǎn)移到融合圖像；消除基于多分辨率分析的融合方法存在的鬼影效應(yīng)，實現(xiàn)無縫融合。

圖3　實驗2融合結(jié)果

3結(jié)束語

在梯度域設(shè)計了一種圖像融合方法，充分考慮源圖像信息之間的互補性，在邊緣圖的指導(dǎo)下融合源圖像的梯度場，然后從融合梯度場重構(gòu)融合圖像。實驗結(jié)果表明：提出的融合方法能得到滿意的融合結(jié)果，間接證實了梯度場融合方法能得到高準確性的融合梯度場。在今后的研究工作中，可改進梯度場的融合規(guī)則，進一步提高融合梯度場的準確性。

參考文獻：

[1] PEREZ P，GANGNET M，BLAKE A.Poisson Image Editing[J].ACM Transactions on Graphics-Proceedings of Acm Siggraph，2003，22(3):313-318

[2] FINLAYSON G，HORDLEY S，DREW M S.Removing Shadows from Images：Proccedings of 7th European Conference on Computer Vision，Copenhagen，Denmark，2002[C]∥Springer，2002: 823-836

[3] SUN J，TANG J，SHUM H Y.Poisson Matting[J].ACM Transactions on Graphics-Proceedings of ACM SIGGRAPH，2004，23(3):315-321

[4] SOCOLINSKY D A，WOLFF L B.MultisPectral Image Visualization Through First-order Fusion[J].IEEE Transactions on Image Processing，2002，11(8):923-931

[5] CHAO W，ZHONG F Y.Perceptual Contrast-Based Image Fusion:A Variational Approach[J].Acta Automatica Sinica，2007，33(2):132-137

[6] ZENZO S D.A Note On the Gradient of A Multi-image[J].Computer Vision，Graphics and Image Processing，1986，33(1):116-125

[7] PIELLA G，HEIJMANS HA.New Quality Metric for Image Fusion[C]∥proccedings of 2003 International Conference on Image Processing，2003

[8] QU GUIHONG，ZHANG DALI，YAN PINGFAN.Information Measure for Performance of Image Fusion[J].Electronics Letters,2002，38(7): 313-315

[9] SHEIKH H R，BOVIK A C.IMage Information and Visual Quality[J].IEEE Transactions on Image Processing，2006，15(2): 430-444

[10] LI H B，MANJUNATH S M.Multisensor Image Fusion Using the Wavelet Transform[J].Graphical Models and Image Processing，1995,57(3):235 -245

[11] IOANNIDOU S，KARATHANASSI V.Investigation of the Dual-Tree Complex and Shift-Invariant Discrete Wavelet Transforms on Quickbird Image Fusion[J].IEEE Geoscience and Remote Sensing Letters，2007，4(1):166-170

[12] NENCINI F，GARZELLI A，BARONTI S.Remote Sensing Image Fusion Using the Curvelet Transform[J].Information Fusion，2007，8(2):143-156

[13] YANG X H，JIAO L C.Fusion Algorithm for Remote Sensing Images Based on Nonsubsampled Contourlet Transform[J].Acta Automatica Sinica，2008，34(3):274-281

Research on Edge-Map Based Image Fusion Method in Gradient Domain

YANG Hui-jun

(Department of Information Service，Anhui Institute of International Business，Anhui Hefei 230051，China)

Abstract：Fusion image is solved by gradient image fusion via minimizing the distance between the gradient field and fusion gradient field of fusion image，therefore，the accuracy of fusion gradient field directly determines the quality of fusion image.Because there is the complementarity between the information of source images，the accuracy of the structure tensor based gradient field is not high.In order to ensure the quality of fusion image，other perception terms are needed to be added to correct while reconstruction.Thus，this paper advocates an edge map based gradient field fusion method，weighting fusion is processed at edge pixel by the weight of gradient value while maximum modules are fused at non-edge pixel.Experiment result indicates that the accuracy of the gradient field by the gradient field fusion is high and that the reconstructed fusion images have satisfactory visual quality and objective assessment quality.

Key words： image fusion; gradient field; structure tensor; edge image; perception term