基于離散Tchebichef變換的多聚焦圖像融合方法

　肖 斌 姜彥君 李偉生 王國胤

?

基于離散Tchebichef變換的多聚焦圖像融合方法

肖 斌*姜彥君 李偉生 王國胤

(重慶郵電大學計算智能重慶市重點實驗室 重慶 400065)

基于變換技術的圖像融合是多聚焦圖像融合中常采用的方法，其過程是將圖像轉換到變換域按照一定的融合規(guī)則進行融合后再反變換回來，具有較強的抗噪能力，融合效果明顯。該文提出一種基于離散Tchebichef正交多項式變換的多聚焦圖像融合方法，首次將離散正交多項式變換應用到多聚焦圖像融合領域。該方法成功地利用了圖像的空間頻率與其離散Tchebichef正交多項式變換系數(shù)之間的關系，通過離散正交多項式變換系數(shù)直接得到空間頻率值，避免了將離散多項式變換系數(shù)變換到空域計算的過程。所提方法節(jié)省了融合時間，并提高了融合效果。

多聚焦圖像融合；離散正交多項式變換；空間頻率

1 引言

多聚焦圖像融合是圖像融合的主要研究領域之一，是針對同一場景下聚焦情況不同的多幅圖像融合成一幅對場景中所有景物都聚焦的圖像的過程，其目的是通過融合不同聚焦區(qū)域的方法增加景深。自適應圖像深度的融合方法[1]是通過多聚焦圖像自適應圖像的深度，并校準圖像清晰度指標進行融合。因此多聚焦圖像融合在很多不同的領域扮演著重要的角色，如：生物醫(yī)學成像[2]和無線傳感網(wǎng)絡[3]等。

根據(jù)多聚焦圖像融合技術融合圖像階段的不同，將多聚焦圖像融合分成3個層次：像素級圖像融合、特征級圖像融合和決策級圖像融合[4]。像素級圖像融合[4]是最基礎的信息融合技術，也是當前研究和實際應用中廣泛采用的圖像融合方法。它的思路是：預處理原始圖像，然后直接對各個傳感器獲取的信號進行分析處理。特征級圖像融合[4]是屬于中間層次的信息融合。它的思路是：預處理原始圖像并進行特征提取，然后對獲得的特征信息(如：邊緣、角、紋理、相似亮度或景深區(qū)域等)作進一步的分析處理。決策級圖像融合[4]屬于最高層次的信息融合。它的思路是：先對各個原始圖像分別進行預處理、特征提取和特征分類，對同一目標建立初步的決策，然后根據(jù)相應的融合規(guī)則對從各個傳感器獲得的決策進行融合，從而獲得最終的聯(lián)合決策。

這3個層次的圖像融合方法彼此相互獨立，又有密切的關聯(lián)。像素級圖像融合由于是最基礎的融合方法，直接對各個傳感器獲取的信號進行分析，融合規(guī)則相對簡單，得到了廣泛的應用。像素級的圖像融合又可以細分為基于空間域的融合算法和基于變換域[5]的融合算法以及新型的基于耦合神經(jīng)網(wǎng)絡的融合算法。基于空間域的算法比較早，融合過程簡單。該類算法一般只需要在圖像的像素空間上進行處理，不需要變換和逆變換，但是融合效果一般，經(jīng)典算法如：密集尺度不變特征變換法(DSIFT)[6]和脈沖耦合神經(jīng)網(wǎng)絡法(PCNN)[7]。圖像變換作為圖像處理技術領域的一項重要基礎理論，是圖像視頻處理中的研究熱點，因此被廣泛應用到圖像處理中的各個領域?；谧儞Q域的圖像融合算法近年來發(fā)展迅速，其融合效果得到了很大的提升，但是大多數(shù)的基于變換域的圖像融合方法計算比較復雜，時間復雜度比較高。典型的算法有基于離散余弦變換(DCT)的圖像融合方法[8]。其算法原理是將圖像由空域轉換到變換域中，然后直接對變換域系數(shù)進行處理，按照均值最大法、頻帶對比度最大法等各種規(guī)則將圖像進行融合，最后對融合后的變換域系數(shù)進行逆變換得到融合后的圖像。

離散Tchebichef正交多項式變換[9](簡稱離散Tchebichef變換，DTT)是一種典型的圖像變換技術，其變換核函數(shù)由不同階數(shù)的離散Tchebichef正交多項式組成。DTT具有很高的去相關性、快速迭代計算、無數(shù)值近似、極強的圖像重構能力等優(yōu)點，并且DTT可以整數(shù)實現(xiàn)，相比于DCT更有優(yōu)勢，因此被廣泛地應用于圖像分析與壓縮中?？臻g頻率(Spatial Frequency, SF)[10]是一種有效的評價圖像質(zhì)量的方法，被廣泛應用到圖像融合中，如基于脈沖耦合神經(jīng)網(wǎng)絡的圖像融合方法[11]就是將空間頻率與脈沖耦合神經(jīng)網(wǎng)絡相結合的方法。本文提出一種基于DTT的多聚焦圖像融合算法，利用空間頻率與DTT系數(shù)之間的關系，直接從DTT系數(shù)得到每一個塊的空間頻率大小。然后根據(jù)空間頻率最大的規(guī)則融合圖像。最后，將處理過的圖像進行一致性驗證，得到最終融合后的圖像。DTT是屬于圖像正交變換，利用部分DTT系數(shù)即可逼近計算每一個塊的空間頻率。因此，相較于傳統(tǒng)的多聚焦圖像融合方法，該方法將圖像的空間頻率與DTT系數(shù)建立了聯(lián)系，節(jié)省了融合的時間，有效地改善了圖像的融合效果。與在空域上直接計算空間頻率進行多聚焦圖像融合的方法相比具有很好的抗噪能力。

本文將在第2節(jié)介紹DTT以及空間頻率與DTT系數(shù)之間的聯(lián)系，并闡述本文算法的具體融合過程。第3節(jié)通過與經(jīng)典融合方法的對比實驗分析本文方法的實驗結果。最后在第4節(jié)中做出總結。

2 基于DTT的多聚焦融合算法

2.1 離散Tchebichef變換(DTT)

逆變換為

(2)

其中，

(4)

式(1)和式(2)所示的DTT正變換和逆變換可用矩陣的形式表示：

2.2 空間頻率(SF)與DTT系數(shù)的聯(lián)系

在多聚焦圖像中，聚焦區(qū)域有著更多的細節(jié)和信息，這些細節(jié)清晰的區(qū)域通常伴隨著更高的方差值。在圖像處理的應用中，方差通常被用作計算圖像的對比度[12]。但是，計算方差作為圖像的對比度更傾向于描述圖像的明暗差異程度。雖然，在現(xiàn)有的生物技術中很難完全理解人類視覺系統(tǒng)的工作原理，但是空間頻率[10]用作有效的計算對比度的標準可以更好地表示圖像細節(jié)的清晰程度[13]。

空間頻率(SF)定義為行頻率(Row Frequency, RF)與列頻率(Column Frequency, CF)的平方和：

(7)

根據(jù)式(6)中SF的定義，可以得到SF與DTT系數(shù)之間的關系如下：

可以得到式(9)關系：

(9)

根據(jù)式(9)，式(7)中行頻率和列頻率的定義可重新表示為

(11)

那么空間頻率(SF)也可重新表示為

(13)

式(13)導出了圖像塊的空間頻率和DTT系數(shù)之間的關系，其中為圖像塊的DTT系數(shù)，為對應的加權系數(shù)。

(15)

2.3 基于DTT的多聚焦圖像融合算法流程

2.2節(jié)給出了空間頻率與DTT系數(shù)之間的聯(lián)系，在此基礎上，利用空間頻率最大的原則，可以直接利用DTT系數(shù)進行多聚焦圖像融合。圖1給出了基于DTT的多聚焦圖像融合的框架。為了簡單起見，本文僅考慮只有兩幅源圖像和的圖像融合，關于多幅多聚焦圖像可以此類似推廣。具體融合過程的步驟如下：

(1)首先對需要融合的兩幅圖像分別進行分塊處理，得到個的圖像塊。在位置處對應的塊分別記作和；

(2)通過式(5)分別計算對應塊的DTT系數(shù)；

(3)利用空間頻率與DTT系數(shù)之間的推導關系式(13)分別計算對應塊的空間頻率大小，然后將和對應的空間頻率大小分別記作和；

(4)比較計算后的對應圖像塊的空間頻率值，創(chuàng)建一個決策圖記錄特征比較結果如式(16)：

(5)應用一致性驗證[14]處理來提高輸出圖像的質(zhì)量。一致性驗證應用多數(shù)篩選法，即如果合成圖像中的某個系數(shù)來自于圖像，而這個系數(shù)鄰域內(nèi)的其他系數(shù)以來自于圖像的居多，則將其修正為來自圖像。本文采用的濾波器來獲得最終的決策圖：

(17)

(6)最終根據(jù)決策圖進行融合，融合規(guī)則如式(18)：

3 實驗結果和分析

3.1 客觀評價指標

為了準確客觀地評價融合后的圖像質(zhì)量，本文選取結構相似性(SSIM)、均方根誤差(RMSE)、互信息(MI)、信噪比(SNR)等評價指標來驗證融合后圖像的質(zhì)量，其中SSIM[15], RMSE[15], SNR[15]為有參考圖像的評價指標，MI[15],[16],[16],[16]為無參考圖像的評價指標。在這些客觀評價參數(shù)中，SSIM, MI,,,值越大，代表融合效果越好，RMSE越小，表示融合效果越好。

3.2 實驗結果與分析

為了證明本文方法的適用性，實驗中將提出的融合方法分別應用于灰度圖像和彩色圖像，并分別從有理想?yún)⒖紙D像和無理想?yún)⒖紙D像[17]兩種情況去分析融合后圖像和對比評價指標，并進行抗噪能力實驗對比。為驗證本文方法的性能，將本文方法分別與密集尺度不變特征變換法(DSIFT)[6]、脈沖耦合神經(jīng)網(wǎng)絡法(PCNN)[7]、基于離散余弦變換的對比度融合方法(DCT+C+CV)[8]等典型的多聚焦圖像融合方法進行實驗對比，并與直接在空域上計算空間頻率融合的方法進行實驗對比驗證在抗噪能力上的表現(xiàn)。另外，為驗證各種多聚焦圖像融合算法的運行效率，本文從運行時間上進行了對比。實驗運行環(huán)境為CPU: Intel(R) Core(TM) i5-4590 3.30 GHz，內(nèi)存：8 GB，操作系統(tǒng)：Windows7，軟件：MATLAB2014b。每種方法運行20次，最后將運行時間平均值作為該方法的運行時間。

圖1 基于DTT的圖像融合流程

3.2.1有參考圖像的實驗分析 在實際應用中，很難產(chǎn)生理想的參考圖像，有參考圖像的實驗分析是為了從理論上分析實驗方法的有效性。這里，本文用如下方法構造如下4組實驗中理想的參考圖像：首先選取清晰的圖像作為理想的參考圖像，如圖2(c)，分別將參考圖像按不同區(qū)域進行一定的乘性模糊處理作為待融合的原始圖像圖2(a)和圖2(b)。

實驗1 輸入為圖像融合領域經(jīng)典的圖像“時鐘”，從圖2中可以看出，基于DTT的融合方法得到的圖像非常逼近于理想圖像。為進一步對比各種融合方法的性能，表1給出了實驗1的5種融合方法融合效果的質(zhì)量評價指標。從表1中可以看出，對于圖像“時鐘”的各種融合方法中，本文提出的基于DTT的DTT+S+CV融合方法在SSIM, RMSE, MI, SNR,5種指標中均達到了最優(yōu)的結果。這說明本文方法的融合圖像最接近理想?yún)⒖紙D像的融合效果，融合圖像信息更完整，在融合效果以及時間復雜度上體現(xiàn)出明顯的優(yōu)勢。

3.2.2無參考圖像的實驗分析 這部分實驗沒有理想中的參考圖像，原始圖像是經(jīng)照相機分別針對同一場景中不同景物聚焦情況不同得到的原始圖像圖3(a)和圖3(b)，這里采用的評價指標是無參考圖像的評價指標MI,,,和。

表1基于原始灰度圖像“時鐘”的5種融合圖像的評價指標

SSIMRMSEMISNRT(s) DSIFT1.00000.00094.7065110.065236.31 PCNN0.99970.00324.1969 98.1102 3.20 DCT+C+CV0.99980.00314.2327 98.4339 1.51 DTT+S+CV10.00084.7065110.0652 0.44

實驗2 輸入為灰度圖像“熱氣球”，從局部放大圖可以看出，DCT+C+CV的融合效果有明顯的塊效應影響，其他方法從視覺上的效果差別不是很明顯。表2給出了實驗2的5種融合圖像的無參考圖像質(zhì)量評價指標。從表2中可以看出，在MI,,,,5種指標中本文方法均達到了最優(yōu)的效果，這說明本文方法的融合圖像具有更加豐富的信息和顯著性特征，說明本文方法的融合效果在整體上具有更大的優(yōu)勢。

實驗3 輸入為彩色圖像“報紙”，如圖4所示。從局部放大圖像中明顯可以看出，本文方法和DSIFT方法的融合效果具有明顯的優(yōu)勢，報紙的文字部分都是清晰的，細節(jié)部分比較充足，文字清晰可辨。而其他各種融合方法得到的融合效果在視覺效果上都存在不同程度的模糊現(xiàn)象，文字存在不同程度的重疊，融合結果沒有達到預期的效果。表3給出了實驗3的5種融合圖像的無參考圖像質(zhì)量評價指標。從表中可以看出，在MI,,3種指標中本文方法均達到了最優(yōu)的效果，其他兩種指標,取得最佳效果的是拉普拉斯金字塔法。但是，在這3種指標中本文方法效果依舊處于比較靠前的位置，并且在時間復雜度上具有明顯優(yōu)勢，這說明本文方法的融合效果在整體上具有更大的優(yōu)勢，融合效果更好。

圖2 實驗1的融合結果

圖3 實驗2的融合結果

圖4 實驗3的融合結果

表2基于原始灰度圖像“熱氣球”的5種融合圖像的評價指標

MIT(s) DSIFT3.87630.94280.81530.953128.83 PCNN3.85780.92320.78050.9498 3.21 DCT+C+CV3.30790.93440.77070.9498 1.77 DTT+S+CV3.87650.94290.81540.9532 0.56

3.2.3抗噪能力的實驗分析 為了驗證本文提出的DTT與SF結合的多聚焦圖像方法相較于直接基于空域上SF的多聚焦圖像融合方法在抗噪能力上的優(yōu)勢，本實驗中將待融合圖像感染噪聲，然后利用本文方法和直接基于空域上SF的融合方法進行對比。

表3基于原始彩色圖像“報紙”的5種融合圖像的評價指標

MIT(s) DSIFT2.10080.67900.65720.73452.62 PCNN2.11730.63060.42090.69150.73 DCT+C+CV0.70350.66390.39320.71090.71 DTT+S+CV2.42960.67920.66400.74400.24

表4基于原始彩色圖像“花與花盆”的5種融合圖像的評價指標

DTT+S+CVSF MI1.29861.2364 0.51350.4301 0.39700.2802 0.82040.7345 T(s)2.54860.4933

4 總結

本文提出了一種基于DTT的多聚焦圖像融合方法，首次將DTT應用到多聚焦圖像融合領域，并巧妙地利用了空間頻率與DTT系數(shù)間的關系，直接通過DTT系數(shù)得到空間頻率的大小，依據(jù)空間頻率最大的原則進行融合并引入了一致性驗證，為多聚焦圖像融合的過程節(jié)省了時間，并有效提高了融合效果。本文分別通過對灰度圖像和彩色圖像進行的實驗，分別比較無參考圖像和有參考圖像的實驗結果，實驗結果表明，本文提出的基于DTT的多聚焦圖像融合方法與一些經(jīng)典算法相比，融合后的圖像在互信息、均方根誤差、結構相似性、信噪比等方面均取得了更好的效果，同時，在圖像的顯著性、對比度和邊緣信息轉換等方面也體現(xiàn)出了優(yōu)勢，尤其在時間復雜度和抗噪能力上優(yōu)勢明顯。多組實驗充分證明了本文方法的適用性和有效性。

[1] GUO D, YAN J, and QU X. High quality multi-focus image fusion using self-similarity and depth information[J]., 2015, 338: 138-144.

[2] LI T and WANG Y. Biological image fusion using a NSCT based variable-weight method[J]., 2011, 12(2): 85-92.

[3] Thomas C, Ranchin T, Wald L,. Synthesis of Multispectral images to high spatial resolution: A critical review of fusion methods based on remote sensing physics[J].&, 2008, 46(5): 1301-1312.

[4] GARG R, GUPTA P, and KAUR H. Survey on multi-focus image fusion algorithms[C]. IEEE Engineering and Computational Sciences, Chengdu, China, 2014: 1-5.

[5] WEI Chunyu, ZHOU Bingyin, and GUO Wei. Novel fusion rules for transform-domain image fusion methods[C]. International Conference on Mechatronics and Industrial Informatics, Paris, France, 2015: 846-850.doi: 10.2991/ icmii-15.2015.147.

[6] LIU Yu, LIU Shuping, and WANG Zengfu. Multi-focus image fusion with dense SIFT[J]., 2015, 23: 139-155. doi: 10.1016/j.inffus.2014.05.004.

[7] WANG Zhaobin, MA Yide, and GU Jason. Multi-focus image fusion using PCNN[J]., 2010, 43(6): 2003-2016. doi: 10.1016/j.patcog.2010.01.011.

[8] TANG J. A contrast based image fusion technique in the DCT domain[J]., 2004, 14(3): 218-226. doi: 10.1016/j.dsp.2003.06.001.

[9] 陸剛, 肖斌, 王國胤. 基于離散Tchebichef矩和軟決策化的圖像壓縮[J]. 計算機科學, 2016, 43(11): 304-308.

LU Gang, XIAO Bin, and WANG Guoyin. Image compression based on discrete Tchebichef and soft decision[J]., 2016, 43(11): 304-308.

[10] LI Shutao and YANG Bin. Multifocus image fusion using region segmentation and spatial frequency[J].&, 2008, 26(7): 971-979. doi: 10.1016/j.imavis.2007. 10.012.

[11] QU Xiaobo, YAN Jingwen, and XIAO Hongzhi. Image fusion algotithm based on spatial frequency-motivatie pulse coupled neural networks in nonsubsampled contourlet transform domain[J]., 2008, 34(12): 1508-1514.

[12] PHAMILA Y A V and AMUTHA R. Discrete cosine transform based fusion of multi-focus images for visual sensor networks[J]., 2014, 95(2): 161-170. doi:10.1016/j.sigpro.2013.09.001.

[13] LI Shutao, KWOK J T, and WANG Y. Combination of images with diverse focuses using the spatial frequency[J]., 2001, 2(3): 169-176. doi: 10.1016/S1566- 2535(01)00038-0.

[14] 鄧艾, 吳謹, 楊莘, 等. 基于二代Curvelet變換和區(qū)域匹配度的圖像融合算法[J]. 計算機科學, 2012, 39(S1): 513-514.

DENG Ai, WU Jin, YANG Hua,Image fusion based on second generation Curvelet and regional compatibility[J],2012, 39(S1): 513-514

[15] XU Shaofan, LIU Xianfeng, and DI Hongwei. An image fusion quality assessment based on structural similarity[J]., 2007, 28(5): 470-473.

[16] PIELLA G and HEIJMANS H. A new quality metric for image fusion[C]. Proceedings of the IEEE International Conference on Image Processing, Chongqing, China, 2003, 2: III-173-6.

[17] WANG Z and ALAN C Bovik. Reduced- and no-reference image quality assessment[J]., 2011, 28(6): 29-40.

Multi-focus Image Fusion Based on Discrete Tchebichef Transform

XIAO Bin JIANG Yanjun LI Weisheng WANG Guoyin

(,,400065,)

Image fusion based on image transform technologies is always used in multi-focus image fusion. It transforms images into transform domain and fuses the transformed image according to a specific fusion rule. After that, the fused image is achieved by the inverse image transform. The transform based image fusion methods are robust to noise and the fused results are widely accepted. This paper proposes a multi-focus image fusion method based on discrete Tchebichef orthogonal polynomial transform. Discrete orthogonal polynomial transform is firstly introduced to the field of multi-focus image fusion. The proposed method combines the spatial frequency with the discrete orthogonal polynomial transform coefficients of image, and it directly achieves the value of spatial frequency by the discrete orthogonal polynomial transform coefficients of the image and avoids the process of recalculation that transforms the discrete orthogonal polynomial transform coefficients to space domain. The proposed method can reduce the fusing time in multi-focus image fusion and improves the fusion effect.

Multi-focus image fusion; Discrete orthogonal polynomial transform; Spatial frequency

TP391

A

1009-5896(2017)08-1927-07

10.11999/JEIT161217

2016-11-10；

改回日期：2017-03-01；

2017-05-02

肖斌 xiaobin@cqupt.edu.cn

國家自然科學基金(61572092)，國家自然科學基金-廣東聯(lián)合基金(U1401252)

The National Natural Science Foundation of China (61572092), The National Natural Science Foundation of China-The Mutual fund of Guangdong Province (U1401252)

肖 斌： 男，1982年生，副教授，研究方向為圖像處理、模式識別和數(shù)字水印.

姜彥君： 男，1990年生，碩士，研究方向為多聚焦圖像融合與圖像增強.

李偉生： 男，1975年生，教授，研究方向為智能信息處理與模式識別.

王國胤： 男，1970年生，教授，研究方向為粗糙集、粒計算、數(shù)據(jù)挖掘、機器學習、神經(jīng)網(wǎng)絡、認知計算、模式識別等.