基于NSST和稀疏表示的多源異類圖像融合方法

王志社，楊風暴，彭智浩

?

基于NSST和稀疏表示的多源異類圖像融合方法

王志社1,2，楊風暴1，彭智浩1

（1.中北大學信息與通信工程學院，山西 太原 030051；2.太原科技大學應用科學學院，山西 太原 030024）

針對SAR、紅外和可見光圖像的灰度差異性大，融合圖像感興趣目標不突出的問題，提出一種基于NSST和稀疏表示的多源異類圖像融合方法。首先將訓練圖像進行NSST變換，在低頻系數(shù)上構(gòu)建多尺度學習字典；對SAR、紅外和可見光圖像進行NSST變換，利用滑動窗口分解低頻系數(shù)為圖像塊序列，對圖像塊序列零均值化后再稀疏分解，采用稀疏系數(shù)絕對值取大的融合規(guī)則；高頻子帶系數(shù)采用局部方向信息熵顯著性因子取大的融合規(guī)則；最后對融合系數(shù)進行NSST逆變換得到最終的融合圖像。

圖像融合；NSST；多尺度學習字典；稀疏表示；方向信息熵

0 引言

合成孔徑雷達SAR（Synthetic Aperture Radar）、紅外和可見光傳感器由于成像波段范圍和成像方式的不同，在圖像上反映了地物光譜特征的差異性。SAR圖像通過微波反射成像，對人造目標（如金屬、建筑物）比較敏感，反映了目標的結(jié)構(gòu)信息，具有豐富的紋理特征；紅外圖像通過熱輻射成像，對熱目標比較敏感，反映了目標的輪廓信息；可見光圖像通過光反射成像，反映了地物的大致輪廓和光譜信息。因此，對SAR、紅外和可見光圖像進行融合，才能充分利用三者的互補信息，從而更加全面、準確地描述目標或場景信息，在軍事應用、遙感監(jiān)測、航空航天等領域有著重要的應用[1]。

近年來，基于多尺度變換如Ridgelet變換[2]、Curvelet變換[3]、Contourlet變換[4]、非下采樣Contourlet變換（NSCT）[5-7]和非下采樣Shearlet變換（NSST）[8-10]等被廣泛應用到圖像融合領域。其中，NSST因具有更靈活的結(jié)構(gòu)和更高的計算效率，在融合領域取得了更優(yōu)的融合結(jié)果。但是，經(jīng)過多尺度變換得到圖像低頻系數(shù)反映了圖像的近似特征，近似為零的個數(shù)很少，不能稀疏地表示圖像的低頻信息，不利于提取圖像的顯著特征。文獻[11]提出了基于NSCT和稀疏表示的紅外與可見光融合方法，但由于NSCT變換和稀疏分解的特性，其運算數(shù)據(jù)量大，計算復雜度較高；另外，考慮到SAR、紅外和可見光圖像的灰度差異性和SAR圖像斑點噪聲的影響，若直接融合，易造成圖像像素混淆，導致融合圖像感興趣目標不突出，融合效果差。

為此，本文提出一種基于NSST和稀疏表示的多源異類圖像融合方法。對SAR、紅外和可見光圖像進行NSST分解，在低頻系數(shù)上利用滑動窗口方法得到圖像塊序列，并對其進行零均值化后再稀疏分解，有效提取了低頻圖像的顯著特征并大大提高了運算效率；在高頻子帶系數(shù)上的融合，構(gòu)建了局部方向信息熵顯著性因子，有效減少了圖像噪聲的干擾，獲得了更佳的融合效果。

1 NSST原理與稀疏表示

1.1 NSST原理

文獻[10]指出，當維數(shù)＝2時，具有合成膨脹的仿射系統(tǒng)定義為：

式中：∈2(2)，和為2×2可逆矩陣，|det|＝1。如果A()具有緊框架，則A()中的元素成為合成小波。稱為各向異性膨脹矩陣，與尺度變換相關聯(lián)；為剪切矩陣，與保持面積不變的幾何變換相關聯(lián)。特別地，當＝[4 0 0 2]，＝[1 1 0 1]時，此時的合成小波成為剪切波。

NSST離散化過程分為基于非下采樣金字塔（nonsubsampled pyramid，NSP）濾波組的多尺度分解和基于改進的剪切波濾波器組（shearlet filter，SF）的多方向分解2個部分，分解原理圖如圖1所示，具體算法參見文獻[10]。

圖1 NSST分解原理圖

1.2 NSST域上的稀疏表示

對于給定的信號，其稀疏表示可以由如式(2)表示。

式中：∈R×1，∈R×（＞）為超完備字典；∈R×1，||||00表示向量中非零元素的個數(shù)；為允許偏差的精度。

上述模型的一個根本問題就是字典的選擇，本文選擇k-SVD[12]方法來構(gòu)建訓練字典，其數(shù)學優(yōu)化目標函數(shù)由式(3)所示。

式中：＝[1,2, …,y]∈R×表示訓練樣本集；∈R×表示稀疏系數(shù)矩陣，x為的第列；表示稀疏度。

為了更好地融合源圖像的顯著特征，這里，在NSST分解的低頻系數(shù)上進行字典學習。式(3)可以等價地寫成：

式中：s為變換分析算子；表示分解尺度；表示由SAR、紅外和可見光圖像構(gòu)成的圖像訓練集。

顯然，這樣構(gòu)建的多尺度學習字典，一方面使得到的字典具有NSST的多尺度分析的能力，另一方面，在NSST低頻系數(shù)的基礎上進一步稀疏，達到雙重稀疏的效果，從而使其具有更優(yōu)秀的稀疏性和特征保持性。

2 融合方法

本文提出的多源異類圖像融合過程如圖2所示。主要步驟如下：

1）隨機選取幾組SAR、紅外和可見光圖像作為訓練圖像，構(gòu)建多尺度學習字典D；

3）低頻系數(shù)融合上，采用滑動窗口把低頻系數(shù)分解成圖像塊序列，并對其零均值化后再稀疏分解，采用稀疏系數(shù)絕對值取大的融合規(guī)則；

4）高頻子帶系數(shù)采用基于局部方向信息熵顯著化因子取大的融合規(guī)則；

5）對低頻融合系數(shù)和高頻子帶融合系數(shù)進行NSST逆變換得到最終的融合圖像。

圖2 本文融合方法結(jié)構(gòu)框圖

Fig.2 The framework of the proposed image fusion method

2.1 低頻系數(shù)融合規(guī)則

不難看出，式(5)中的優(yōu)化問題是一個NP難問題，通?？紤]用近似解代替。本文采用SOMP算法[14]來求解低頻系數(shù)的稀疏表示系數(shù)。低頻系數(shù)的融合過程如下：

3）采用絕對值取大的融合規(guī)則，對SAR、紅外和可見光圖像相應圖像塊的稀疏系數(shù)x進行融合，得到融合系數(shù)x。

5）依據(jù)步驟1）的塊圖像劃分策略重構(gòu)，得到最終的低頻融合系數(shù)。

2.2 高頻子帶系數(shù)融合規(guī)則

高頻子帶系數(shù)主要反映圖像的邊緣或細節(jié)等信息，都在零值附近波動，是近似稀疏的。但由于SAR和紅外的噪聲，若直接采用絕對值取大的融合規(guī)則，容易誤作為有用信息被保留，進而會影響融合的效果。為此，本文構(gòu)建了方向信息熵顯著因子，采用取大的融合規(guī)則，減少源圖像噪聲的影響[15]。

圖像在尺度下方向上以(,)中心的區(qū)域能量為：

設V(,)表示圖像在尺度下維方向向量上位置(,)處的能量強度為：

將V(,)用局部能量歸一化，可以得到局部方向能量密度分布：

這樣，定義在尺度下位置(,)處方向信息熵DE(,)為：

在此基礎上，構(gòu)建方向信息熵顯著性因子為：

從式(10)可以看出，若|E,l(,)|值較大，同時DE(,)值較小，表明位置(,)處具有較大的能量且在各方向上較為劇烈，說明此位置具有較明顯的圖像特征；反之，表明該位置處信號趨于噪聲。

因此，對于SAR圖像s、紅外圖像i和可見光圖像v高頻系數(shù)的融合，融合規(guī)則如式(11)所示。

3 實驗結(jié)果及其分析

實驗選取3組SAR、紅外和可見光圖像（大小都為206×206）進行仿真實驗。將本文算法與以下算法進行比較：基于DWT的融合算法（DWT）、基于NSCT的融合算法（NSCT）、基于NSST的融合算法（NSST）、基于稀疏表示的融合算法（SR）、基于NSCT和稀疏表示的融合算法（NSCT_SR），這些算法均采用低頻系數(shù)取平均，高頻子帶系數(shù)取絕對值最大的融合規(guī)則。本文中NSST的分解尺度為3，方向分解依次為21、22、23，稀疏表示的字典大小為64×256，＝0.01，滑動窗口大小為8×8。

定量評價選用圖像對比度（IC）、0、W、E和Q/F5個指標進行評價。其中，IC反映了圖像的清晰程度[16]；0是一個結(jié)構(gòu)相似度圖像質(zhì)量評價指標，是從相關性丟失、亮度失真、對比度失真3個方面對圖像的失真度進行模型[17]；W是反映局部結(jié)構(gòu)相似度的融合質(zhì)量評價[18]；E和Q/F分別從局部和整體反映了融合圖像融合源圖像邊緣細節(jié)信息的情況[18-19]；0、W、E和Q/F的值均在[0, 1]之間，越接近1表明融合質(zhì)量越好。

第一組實驗圖像如圖3(a)、(b)、(c)所示，可以看出SAR圖像、紅外圖像的目標（紅色標記）比較突出，可見光的地物輪廓信息清楚，這些信息在融合結(jié)果中非常重要。從圖3(d)～(i)的融合結(jié)果來看，DWT和NSCT的融合圖像中，SAR和紅外圖像的感興趣目標模糊，對比度不高。NSST和SR的融合圖像中，SAR和紅外圖像的感興趣目標對比度有所提高，但圖像的地物輪廓模糊，特別是SR的融合結(jié)果出現(xiàn)了失真現(xiàn)象。NSCT_SR和NSST_SR的融合圖像中，感興趣目標突出，對比度高，而且圖像地物輪廓清晰，細節(jié)信息明顯。表1給出了不同方法的客觀評價指標，可以看出，NSST_SR法在指標W略低于NSCT_SR方法，其他指標都高于其他方法。

圖4是第二組實驗圖像，圖4(a)SAR圖像的飛機和建筑目標、圖4(b)紅外圖像的掩體目標（紅色標注）是融合的重要信息。從融合結(jié)果上來看，NSST的融合效果優(yōu)于DWT和NSCT的融合效果，但感興趣目標對比度不高。SR的融合圖像中背景信息丟失嚴重，細節(jié)不清楚，出現(xiàn)失真現(xiàn)象。NSCT_SR和NSST_SR的融合圖像中，感興趣目標突出，對比度高。表2給出了不同方法的客觀評價指標，可以看出，NSST_SR融合圖像的IC指標稍低于NSCT_SR的融合圖像，其他指標都高于其他方法，指標E和Q/F分別為0.1207和0.3504，說明NSST_SR融合圖像的邊緣保持性更好，細節(jié)輪廓清楚。

圖5是第三組實驗圖像結(jié)果，從主觀視覺效果上來看，NSST_SR的融合效果要優(yōu)于其他算法。表3給出了這組實驗圖像的客觀指標評價，可以看出，NSST_SR的綜合性能最優(yōu)，表明本文方法的優(yōu)越性。

表1 第一組實驗圖像的客觀指標評價

表2 第二組實驗圖像的客觀指標評價

表3 第三組實驗的客觀評價指標對比

表4給出了不同融合算法的平均CPU運算時間，從中可以看出，相比NSCT方法，NSST法的運算速度提升了接近3倍。SR、NSCT_SR和NSST_SR法的平均運行時間分別為51.15s、94.79s和34.97s，這說明，在稀疏分解時，進行滑動窗口分塊和零均值化處理，可以大大減少運算時間，表明本文方法具有更高的運算效率。

表4 不同方法的平均CPU運算時間

4 結(jié)論

本文提出了一種基于NSST和稀疏表示多源異類圖像融合方法。針對SAR、紅外和可見光圖像的灰度差異性大，直接融合容易造成圖像像素混淆，導致融合圖像感興趣目標不突出，對源圖像經(jīng)NSST變換后的低頻系數(shù)上進行稀疏表示，可以有效地提取源圖像的顯著特征；同時，利用滑動窗口把低頻系數(shù)分解成圖像塊序列，對其零均值化后再稀疏表示，可以大大提高運算效率；對于高頻子帶系數(shù)的融合，構(gòu)建了局部方向信息熵顯著性因子，可以有效地減少圖像噪聲的干擾。實驗結(jié)果表明，該方法在主觀視覺效果、客觀指標評價以及運算效率都具有顯著優(yōu)勢，說明了本文方法的優(yōu)越性。

圖3 第一組實驗結(jié)果比較

圖4 第二組實驗結(jié)果比較

圖5 第三組實驗結(jié)果比較

[1] Byun Y. A texture-based fusion scheme to integrate high-resolution satellite SAR and optical images[J]., 2014, 5(2): 103-111.

[2] M. N. Do, M. Vetterli. The finite ridgelet transform for image representation[J]., 2003, 12(1): 16-28.

[3] F. Nencini, A. Garzelli, S. Baronti, et al. Remote sensing image fusion using the curvelet transform[J]., 2007, 8(2): 143-156.

[4] M. N. Do, M. Vetterli. The contourlet transform: an efficient directional multi-resolution image representation[J]., 2005, 14(12): 2091-2106.

[5] Arthur L. Cunha, Zhou Jian-Ping, Minh N. Do. The nonsubsampled contourlet transform: theory, design, and applications[J]., 2006, 15(10): 3089-3101.

[6] Chen Yong, Xiong Jie, Liu Hua-lin, et al. Fusion method of infrared and visible images based on neighborhood characteristic and regionalization in NSCT domain[J]., 2014, 124(17): 4980-4984.

[7] Adu Jian-hua, Gan Jian-hong, Wang Yan, et al. Image fusion based on nonsubsampled contourlet transform for infrared and visible light image[J]., 2013, 61(12): 94-100.

[8] Yin Ming, Liu Wei, Zhao Xia, et al. A novel image fusion algorithm based on nonsubsampled shearlet transforms[J]., 2014, 125(10): 2274-2282.

[9] Kong Wei-wei, Zhang Long-jun, Yang Lei. Novel fusion method for visible light and infrared images based on NSST-SF-PCNN[J]., 2014, 65(7): 103-112.

[10] Easley G, Labate D, Lim W Q. Sparse directional image representations using the discrete shearlet transform[J]., 2008, 25(1): 25-46.

[11] 王珺, 彭進業(yè), 何貴青, 等. 基于非下采樣Contourlet變換和稀疏表示的紅外與可見光圖像融合方法[J]. 兵工學報, 2013, 34(7): 815-820.

Wang Jun, Peng Jin-ye, He Gui-qing et al. Fusion method for visible and infrared images based on non-subsampled contourlet transform and sparse representation [J]., 2013, 34(7): 815-820.

[12] Aharon M, Elad M, Bruckstein A. K-SVD: an algorithm for designing over complete dictionaries for sparse representation[J]., 2006, 54(11): 4311-4322.

[13] 薛模根, 劉存超, 徐國明, 等. 基于多尺度字典的紅外與微光圖像融合[J]. 紅外技術, 2013, 35(11): 696-701.

Xue Mo-gen, Liu Cun-chao, Xue Guo-ming, et al. Infrared and low light level image fusion based on multi-scale dictionary[J]., 2013, 35(11): 696-701.

[14] Yang B, Li S T. Pixel-level image fusion with simultaneous orthogonal matching pursuit [J]., 2012, 13(1): 10-19.

[15] 王志社, 楊風暴, 陳磊等. 基于紋理分割和Top-hat變換的合成孔徑雷達與可見光圖像增強融合[J]. 光學學報, 2014, 34(10): 1010002.

Wang Zhi-she, Yang Feng-bao, Chen Lei, et al. SAR and visible image enhanced fusion based on texture segmentation and top-hat transformation[J]., 2014, 34(10): 1010002.

[16] 王宇慶, 王索建. 紅外與可見光融合圖像的質(zhì)量評價[J].中國光學, 2014, 7(3): 396-401.

Wang Yu-qing, Wang Suo-jian. Quality assessment method of IR and visible fusion image[J]., 2014, 7(3):396-401.

[17] Wang Zhou, A Bovik. A universal image quality index[J]., 2002, 9(3): 81-84.

[18] G Piella, H Heijmans. A new quality metric for image fusion[J]., Barcelona, Spain, 2003: 173-176.

[19] C S Xydeas, V Petrovic. Objective image fusion performance measure[J]., 2000, 36(4): 308-309.

Multi-source Heterogeneous Image Fusion Based on NSST and Sparse Presentation

WANG Zhi-she1,2，YANG Feng-bao1，PENG Zhi-hao1

（1.，，030051，；2.,，033024，）

This paper proposes a multi-source heterogeneous image fusion method based on NSST and sparse presentation to solve the problem that the interested targets are not prominent caused by great grey difference among SAR image, infrared image and visible image. Firstly, multi-scale study dictionary is built on the low frequency coefficients through carrying on NSST for the training image. SAR image, infrared image and visible image are transformed by NSST, and the low frequency coefficients are decomposed into image block sequence with sliding window method. Sparse decomposition is used for image block sequence after zero mean processing, and the fusion rule of the low frequency coefficients is that absolute value of sparse coefficient is larger. The fusion rule of high frequency subband coefficients is that significant factor of local orientation information entropy is larger. Finally final fusion image is obtained by NSST inverse transformation for fusion coefficients.

image fusion，NSST，multi-scale study dictionary，sparse presentation，directional entropy

TP391.41

A

1001-8891(2015)03-0210-08

2014-12-02；

2015-02-09.

王志社（1982-），男，講師，博士研究生，主要研究方向多源圖像配準與融合技術。E-mail：wzs2003@163.com。

國家自然科學基金項目，編號：61171057；教育部高等學校博士學科點專項科研資助項目（博導類），編號：20121420110004。