基于Contourlet的圖像融合方法?

王　建，王必寧，侯維剛

（1．西安航空學(xué)院計(jì)算機(jī)學(xué)院，西安710077；2．西安熱工研究院有限公司，西安710032）

·微機(jī)軟件·

基于Contourlet的圖像融合方法?

王建1，王必寧2，侯維剛1

（1．西安航空學(xué)院計(jì)算機(jī)學(xué)院，西安710077；2．西安熱工研究院有限公司，西安710032）

針對(duì)兩幅嚴(yán)格配準(zhǔn)的同一場(chǎng)景左聚焦和右聚焦圖像融合問(wèn)題，設(shè)計(jì)了一種基于Contourlet變換的多聚焦圖像融合方法。應(yīng)用Contourlet變換對(duì)源圖像進(jìn)行多尺度、多方向分解，分別采用主成分分析法和區(qū)域結(jié)構(gòu)相似度的融合規(guī)則得到融合圖像的低通子帶系數(shù)和帶通方向子帶系數(shù)，經(jīng)過(guò)Contourlet逆變換得到融合圖像。實(shí)驗(yàn)結(jié)果和定量分析結(jié)果表明，融合成為一幅清晰的單一聚焦圖像，且將熵提高2．64%～3．15%，相關(guān)系數(shù)提高0．11%～0．57%，平均梯度提高4．44%～51．4%。

多聚焦圖像；Contourlet變換；主成分分析；結(jié)構(gòu)相似度；圖像融合；融合規(guī)則

1　引　言

圖像融合技術(shù)已經(jīng)在計(jì)算機(jī)視覺(jué)、機(jī)器人、自動(dòng)目標(biāo)識(shí)別等方面進(jìn)行了研究，其應(yīng)用領(lǐng)域非常廣闊。多聚焦圖像的產(chǎn)生是由于光學(xué)成像系統(tǒng)聚焦范圍的限制，在相同焦距下無(wú)法獲得遠(yuǎn)近不同或距離不同的多個(gè)目標(biāo)都清晰的圖像，必須分別采取不同的焦距以獲得各自清晰的多幅圖像［1］。

圖像融合的主要方法是基于金字塔變換和基于小波變換的方法［2－3］。由于，金字塔分解結(jié)構(gòu)中不同層次的分辨率細(xì)節(jié)彼此相關(guān)，融合方法的穩(wěn)定性差；小波變換雖然提高了金字塔融合方法的穩(wěn)定性，但其只具有3個(gè)方向的分解，只能反映點(diǎn)奇異性，不能較好地表達(dá)圖像中的線、面奇異性。因此，提出了多尺度幾何分析方法Contourlet變換，該變換具有各向異性和多方向性的特點(diǎn)，與小波變換相比具有更好的稀疏表達(dá)能力，能更好地描述圖像方向的奇異性特征［4－5］。

在以上方法的基礎(chǔ)之上進(jìn)行了深入研究，給出了一種基于Contourlet變換的多聚焦圖像融合方法。首先對(duì)待融合圖像進(jìn)行Contourlet變換，分解成低通子帶和帶通方向子帶；然后采用PCA的融合規(guī)則和區(qū)域結(jié)構(gòu)相似度的融合規(guī)則來(lái)獲取相應(yīng)的系數(shù)；再對(duì)其進(jìn)行Contourlet的反變換以得到最終融合圖像；最后采用客觀評(píng)價(jià)對(duì)融合方法的性能進(jìn)行定量分析和比較。實(shí)驗(yàn)結(jié)果和定量分析比較的結(jié)果均說(shuō)明該融合方法法具有較好的優(yōu)越性。

2　Contourlet變換

M．N．Do和M．Vetterli于二十一以世紀(jì)初提出一種二維圖像稀疏表達(dá)方法即Contourlet變換，該方法主要解決了小波變換無(wú)法識(shí)別數(shù)字圖像中固有的線面奇異和方向性信息差的缺點(diǎn)，采用類(lèi)似于輪廓段（Contour Segment）的光滑結(jié)構(gòu)來(lái)逼近圖像，其支撐區(qū)間是“長(zhǎng)條形”結(jié)構(gòu)且具備隨尺度變化長(zhǎng)寬比例［6－7］。Contourlet變換除了擁有小波變換的多尺度、時(shí)域和頻域局部特性之外，還具有良好的多分辨率、局部化、各向異性和多方向特性，能夠?qū)饣€采用比較少的系數(shù)來(lái)表達(dá)，以便更好地捕捉圖像的邊緣信息。

Contourlet變換利用雙重濾波器組結(jié)構(gòu)實(shí)現(xiàn)一種多尺度、多方向的圖像表示方法。第一步，二維圖像采用拉普拉斯金字塔（Laplacian Pyramid，LP）變換進(jìn)行分解，產(chǎn)生一個(gè)下采樣的原始圖像一半的低通子帶和一個(gè)與原始圖像分辨率相同的高通子帶。再次采用拉普拉斯金字塔變換對(duì)低通子帶圖像進(jìn)行迭代分解，以便將原始圖像分解為一系列不同尺度上的高通和低通子帶圖像。第二步，高通子帶圖像采用方向?yàn)V波器組（Directional Filter Bank，DFB）進(jìn)行多方向分解，對(duì)拉普拉斯金字塔分解所得到的每層高通子帶圖像都進(jìn)行多方向分解，以便將分布在同方向的奇異點(diǎn)合成一個(gè)系數(shù)。方向?yàn)V波器組包括兩個(gè)模塊：第一個(gè)模塊是兩通道的Quincunx梅花扇形濾波器組，用扇形濾波器將2－D光譜分解成垂直和水平兩個(gè)主要方向。第二個(gè)模塊是Shearing平移操作，其作用是旋轉(zhuǎn)重采樣并且寬度變?yōu)樵瓉?lái)的兩倍，以實(shí)現(xiàn)圖像信息在其余方向的分析，捕獲圖像的線和面的奇異性。最終目標(biāo)是將高通子帶圖像信息的頻域劃分成2的n次方個(gè)楔形區(qū)域［7］。Contourlet變換原理結(jié)構(gòu)框圖如圖1所示。

圖1　Contourlet變換原理結(jié)構(gòu)框圖

Contourlet變換之后的系數(shù)分布由塔式方向?yàn)V波器組（Pyramidal Directional Filter Bank，PDFB）分解時(shí)所給定的參數(shù)numlevs決定。numlevs為一維向量，numlevs向量中的每一個(gè)值對(duì)應(yīng)每一級(jí)塔式方向?yàn)V波器組分解級(jí)數(shù)的系數(shù)。在金字塔分解的過(guò)程中，如果方向?yàn)V波器組分解級(jí)數(shù)的系數(shù)為0，則必須嚴(yán)格采用二維小波分解來(lái)處理；如果分解級(jí)數(shù)的系數(shù)為K，則該層級(jí)上方向?yàn)V波器組分解的級(jí)數(shù)為2K個(gè)方向。Contourlet變換之后的系數(shù)coeffs與分解參數(shù)numlevs相對(duì)應(yīng)，變換所得到的系數(shù)coeffs是一個(gè)多維向量組，向量組的長(zhǎng)度Length是向量numlevs的長(zhǎng)度加1。其中coeffs｛1｝是低通子帶圖像，coeffs｛i｝（i＝2，…，Length）代表金字塔第i層級(jí)上DFB分解所得到的方向子帶圖像。當(dāng)numlevs為［0，3，4］時(shí)，待融合圖像大小為512×512，待融合圖像的3級(jí)Contourlet變換示意圖如圖2所示。由圖2可知，Contourlet分解的最上層是低通子帶系數(shù)，中間層和最下層都是帶通方向子帶系數(shù)，且中間層分解的級(jí)數(shù)為8個(gè)方向，最下層分解的級(jí)數(shù)為16個(gè)方向。

3　融合方法

在圖像融合之前，待融合的多聚焦圖像A和B已經(jīng)過(guò)嚴(yán)格的空間配準(zhǔn)?；贑ontourlet變換的多聚焦圖像融合步驟如下：

（1）對(duì)源圖像A和B分別采用Contourlet變換進(jìn)行J層（J＝3）分解，得到不同尺度和方向子帶系數(shù)。其中，和為低通子帶，和為帶通方向子帶，k＝1，2，．．．，2nj，j＝1，2，…J。J代表分解的最大層次，2nj代表每一層分解的方向數(shù)目。

（2）對(duì)源圖像A和B的低通子帶系數(shù)采用PCA融合規(guī)則，帶通方向子帶系數(shù)采用SSIM融合規(guī)則，以得到融合圖像F的Contourlet系數(shù)。

（3）對(duì)融合后的系數(shù)進(jìn)行Contourlet逆變換，以產(chǎn)生最終的融合圖像F。

圖2　Contourlet變換示意圖

3．1低通子帶系數(shù)融合規(guī)則

Karhunen和Loeve首次提出主成分分析（principal component analysis，PCA），又名K－L變換。其數(shù)學(xué)過(guò)程是將許多個(gè)相關(guān)的變量經(jīng)過(guò)一系列數(shù)學(xué)計(jì)算轉(zhuǎn)換為少數(shù)幾個(gè)不相關(guān)變量，這些不相關(guān)的變量稱(chēng)為主元成分［1，8］。主成分分析的目標(biāo)是降低維數(shù)，將原來(lái)的R維空間投影到M維空間（R＞M），并且在降低維數(shù)之后保存了原始數(shù)據(jù)中的主要信息。圖像的近似和平均特性主要由圖像的低通子帶描述，低通子帶不但包含圖像的主要能量，而且決定圖像的輪廓。由于主成分分析能夠很好地結(jié)合待融合源圖像A和B相應(yīng)的低通子帶中的最主要信息，因此，采用二維主成分分析法進(jìn)行低通子帶系數(shù)融合。低通子帶系數(shù)融合算法流程如下：

和一杭分手后，雪螢發(fā)現(xiàn)被人跟蹤。她看了看那個(gè)戴墨鏡的男子，不動(dòng)聲色地跨上一輛公交車(chē)。當(dāng)她選擇一個(gè)相對(duì)寬松的位置站好時(shí)，那個(gè)男子也上了車(chē)。他朝雪螢瞥了一眼，又把目光移開(kāi)，鉆到密集的人群中，消失了作為個(gè)體的特征，成為無(wú)數(shù)灰色背影中的一個(gè)。

（1）將待融合圖像的低通子帶系數(shù)矩陣以列為主序轉(zhuǎn)化為一維向量X1和X2，構(gòu)造數(shù)據(jù)矩陣X＝（X1X2）。

（2）計(jì)算數(shù)據(jù)矩陣X的協(xié)方差矩陣C。

xi為第i個(gè)向量的平均值。

（3）計(jì)算協(xié)方差矩陣C的特征值λi和相應(yīng)的特征向量ξi，其中i＝1，．．．，m。

（4）確定加權(quán)系數(shù)ωi：

（5）計(jì)算融合圖像F的低通子帶系數(shù)。

3．2帶通方向子帶系數(shù)融合規(guī)則

帶通方向子帶描述了圖像的亮度突變特性，圖像的細(xì)節(jié)和邊緣信息將受其融合效果的影響。由于帶通方向子帶系數(shù)與其周?chē)?個(gè)相鄰系數(shù)之間存在很大的相關(guān)性，是由區(qū)域內(nèi)的多個(gè)系數(shù)共同表征和體現(xiàn)的。因此，提出基于區(qū)域結(jié)構(gòu)相似度的帶通方向子帶系數(shù)融合規(guī)則，避免了單一特征量對(duì)融合結(jié)果的影響，帶通方向子帶系數(shù)融合算法包含以下三個(gè)步驟。

第一步：定義圖像A和圖像B的結(jié)構(gòu)相似度（structural similarity，SSIM）［9－10］為：

其中，L（A，B）表示圖像A和B的亮度比較，C（A，B）表示圖像A和B的對(duì)比度比較，S（A，B）表示圖像A和B的結(jié)構(gòu)比較。μA和μB是圖像A和B的均值，和是圖像A和B的方差，σA和σB是圖像A和B的標(biāo)準(zhǔn)差，σAB是圖像A和B的協(xié)方差，C1，C2和C3為非常小的正常數(shù)。

第二步：定義基于區(qū)域的結(jié)構(gòu)相似度，在上一步的基礎(chǔ)之上需要定義基于區(qū)域的均值、方差、標(biāo)準(zhǔn)差和協(xié)方差，實(shí)現(xiàn)以各個(gè)像素為中心的區(qū)域多尺度結(jié)構(gòu)相似度，其定義為：

4　實(shí)驗(yàn)結(jié)果及分析

其中，num為將圖像劃分成區(qū)域的總數(shù)；w標(biāo)識(shí)區(qū)域窗口函數(shù)，區(qū)域?yàn)镹×N的窗口，其值之和為1；A為區(qū)域所對(duì)應(yīng)圖像的像素值。

第三步：定義區(qū)域結(jié)構(gòu)相似度臨界值為α，則融合圖像F的帶通方向子帶系數(shù)為：

若SSIM＜α，則采用區(qū)域方差比較大的系數(shù)為融合之后的帶通方向子帶在此區(qū)域中心位置上的系數(shù)；

若SSIM≥α，則采用如下加權(quán)方法確定融合之后的帶通方向子帶在此區(qū)域中心位置上的系數(shù)。

圖像融合方法以Windows 7操作系統(tǒng)為平臺(tái)，以Matlab為設(shè)計(jì)語(yǔ)言，針對(duì)左聚焦圖像和右聚焦圖像進(jìn)行融合實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如圖3所示。在融合實(shí)驗(yàn)之前，對(duì)源圖像已進(jìn)行了嚴(yán)格的空間配準(zhǔn)，圖像大小是512×512，灰度總級(jí)數(shù)為256。圖3（a）是左聚焦圖像，圖3（b）是右聚焦圖像，采用不同的融合方法得到的實(shí)驗(yàn)結(jié)果見(jiàn)圖3（c）－圖3（f）。通過(guò)觀察融合實(shí)驗(yàn)后的結(jié)果可知，圖3（f）比圖3（c）－圖3（e）表達(dá)的圖像更加清楚，圖像信息更加豐富，完全能夠?qū)⒆缶劢箞D像和右聚焦圖像融合成一幅左右兩邊均清晰的單一聚焦圖像。

圖3　多聚焦圖像的融合

為了表明融合方法的有效性和正確性，將此方法與其他三種圖像融合方法進(jìn)行定量比較，并采用信息熵、相關(guān)系數(shù)和平均梯度三個(gè)客觀評(píng)價(jià)標(biāo)準(zhǔn)作為定量比較的依據(jù)［11－13］。與其他融合方法相比較，該融合方法能夠?qū)㈧靥岣?．64%～3．15%，相關(guān)系數(shù)提高0．11%～0．57%，平均梯度提高4．44%～51．4%。比較結(jié)果見(jiàn)表1，表1的定量比較結(jié)果和圖3的結(jié)論是一致的，說(shuō)明融合方法是有效的，融合結(jié)果是正確的。

5　結(jié)束語(yǔ)

設(shè)計(jì)了一種基于Contourlet的多聚焦圖像融合方法。首先分別對(duì)左聚焦和右聚焦圖像采用Contourlet變換進(jìn)行分解，得到低通子帶系數(shù)和帶通方向子帶系數(shù)，然后分別對(duì)各個(gè)子帶選用PCA的融合規(guī)則或SSIM的融合規(guī)則，最后進(jìn)行Contourlet逆變換得到一幅融合圖像。實(shí)驗(yàn)結(jié)果表明，融合方法能夠?qū)⒍鄠€(gè)目標(biāo)的左聚焦和右聚焦圖像進(jìn)行融合從而生成同一目標(biāo)的單一聚焦融合圖像。依據(jù)客觀評(píng)價(jià)標(biāo)準(zhǔn)的定量分析，融合方法在熵、相關(guān)系數(shù)和平均梯度等方面均有較為明顯的改善，無(wú)論視覺(jué)效果還是客觀評(píng)價(jià)均具有較好的優(yōu)越性。

表1　融合方法的性能比較

［1］王玲，李紅松，周浩，等．基于非向下采樣Contourlet變換的多聚焦圖像融合［J］．計(jì)算機(jī)應(yīng)用與軟件，2011，28（4）：196－198．Wang Ling，Li Hongsong，Zhou Hao，et al．MULTIFOCUS IMAGE FUSION BASED ON NON－SUBSAMPLEDCONTOURLETTRANSFORM［J］．Computer Applications and Software，2011，28（4）：196－198．

［2］馬先喜，彭力，徐紅．基于PCA的拉普拉斯金字塔變換融合算法研究［J］．計(jì)算機(jī)工程與應(yīng)用，2012，48（8）：211－213．MA Xianxi，PENG Li，XU Hong．PCA－based Laplacian pyramid in image fusion［J］．Computer Engineering and Applications，2012，48（8）：211－213．

［3］郭雷，程塨，趙天云．基于小波變換和鄰域特征的多聚焦圖像融合算法［J］．西北工業(yè)大學(xué)學(xué)報(bào)，2011，29（3）：454－458．

Guo Li，Cheng Gng，Zhao Tanyuni．A New and Effective Multi－Focus Image Fusion Algorithm Based on Wavelet Transforms and Neighborhood Features［J］．Journal of Northwestern Polytechnical University，2011，29（3）：454－458．

［4］朱康，賀新光．基于形態(tài)學(xué)和Contourlet系數(shù)區(qū)域特征的遙感圖像融合方法［J］．計(jì)算機(jī)科學(xué)，2013，40（4）：301－305．GHU Kung，HF Xin－guang．Remote Sensing Images Fusion MethodBasedonMorphologyandRegional Feature of Contourlet Coefficients［J］．Computer Science，2013，40（4）：301－305．

［5］張瑩，李言俊，張科，等．基于NSCT的紅外與可見(jiàn)光圖像融合［J］．計(jì)算機(jī)工程與應(yīng)用，2011，47（3）：196－198．ZHANG Ying，LI Yanjun，ZHANG Ke，et al．Fusion of infrared and visible images based on nonsubsampled Contourlet transform［J］．Computer Engineering and Applications，2011，47（3）：196－198．

［6］Do M N，Vetter li M．The Contourlet Transform：An Efficient Directional Multiresolution Image Representation［J］．IEEE Transaction on Image Processing，2005，14（12）：2091－2106．

［7］Starck J L，Candes E，Donoho D L．The Curvelet Transform for Image Denoising［J］．IEEE Transaction on Image Processing，2002，11（6）：670－684．

［8］EMMANUELJ．CANDES，XIAODONGLI．Robust Principal Component Analysis［J］．Journal of the ACM，2011，58（3）：11．1－11．37．

［9］Sourav Pramanik，Swagatika Prusty，Debotosh Bhattacharjee，et al．A Region－to－Pixel Based Multi－sensor Image Fusion［J］．International Conference on Computational Intelligence：Modeling，Techniques and Applications，2013，10：654－662．

［10］Ashirbani Saha，Gaurav Bhatnagar，Q．M．，et al．Mutual spectral residual approach for multifocus image fusion［J］．Digital Signal Processing，2013，23：1121－1135．

［11］王建，劉肖，王國(guó)琿．基于梯度變換的多傳感器圖像融合算法［J］．重慶理工大學(xué)學(xué)報(bào)（自然科學(xué)），2012，26（10）：62－65．WANG Jian，Liu Xiao，WANG Guo－h(huán)ui．Multi－Sensor Image Fusion Algorithm Based on Gradient Transform［J］．Journal of Chongqing University of Technology（Natural Science），2012，26（10）：62－65．

［12］王建，劉肖，王國(guó)琿．基于區(qū)域能量的多聚焦圖像融合算法［J］．陜西理工學(xué)院學(xué)報(bào)（自然科學(xué)版），2012，28（5）：39－43．WANG Jian，LIU Xiao，WANG Guo－h(huán)ui．Multi－focus image fusion algorithm based on regional energy［J］．Journal of Shaanxi University of Technology（Natural Science Edition），2012，28（5）：39－43．

［13］王建，王必寧，楊根善，等．基于形態(tài)學(xué)金字塔的醫(yī)學(xué)圖像融合技術(shù)［J］．兵工自動(dòng)化，2014，33（1）：82－84．Wang Jian，Wang Bining，Yang Genshan，et al．Fusion Technology of Medical Image Based on Morphological Pyramid［J］．Ordnance Industry Automation，2014，33（1）：82－84．

Approach of Image Fusion Based on Contourlet Transform

Wang Jian1，Wang Bining2，Hou Weigang1
（1．School of Computer Science，Xi'an Aeronautical University，Xi'an 710077，China；2．Xi'an Thermal Power Research Institute Co．，Ltd．，Xi'an 710032，China）

Focusing on the problem of the fusion of the left－focus image and right－focus image from the same scene，a novel multi－focus image fusion approach based on contourlet transform is designed．Firstly，the contourlet transform is used to perform the multiscale and multidirection decomposition of the source images．Secondly，low frequency subband coefficients and bandpass directional subband coefficients of the fused image can be obtained by the fusion rules based on principal component analysis（PCA）and region structural similarity．Finally，the fused image is reconstructed by performing the inverse contourlet transform on the combined coefficients．The results of experiment and quantitative analysis demonstrate that the proposed algorithm can fuse into a clear single focus image，and the proposed algorithm is superior with entropy improvement from 2．64%to 3．15%，correlation coefficient enhancement from 0．11%to 0．57%and average gradient improvement from 4．44%to 51．4%．

Multi－focus images；Contourlet transform；Principal Component Analysis（PCA）；Structural similarity；Image fusion；Fusion rules

10．3969／j．issn．1002－2279．2016．05．011

TP39

A

1002－2279（2016）05－0043－05

?陜西省光電測(cè)試與儀器技術(shù)重點(diǎn)實(shí)驗(yàn)室開(kāi)放基金資助（ZSKJ201408）

王建（1976－），男，陜西省渭南市人，碩士研究生，講師，主研方向：圖像融合、計(jì)算機(jī)視覺(jué)等方面的研究。

2016－03－21