基于HMSD和改進的顯著性檢測的圖像融合

吳陽陽，李 旭，張鵬泉

（杭州電子科技大學 電子信息學院，浙江 杭州 310018）

0 引 言

圖像融合是信息融合的一個分支。紅外傳感器抗干擾能力強，但其空間分辨率較低，缺少紋理細節(jié)。可見光圖像具有更多細節(jié)信息和高分辨率，但在光照很弱或物體被遮擋的情況下效果不好［1］。為了利用可見光和紅外圖像的互補信息，紅外和可見光圖像融合非常必要，現(xiàn)已廣泛應(yīng)用于眾多領(lǐng)域中［2］。

近年來，對可見光和紅外圖像研究人員提出了許多不同的融合方法。多尺度變換是廣泛應(yīng)用的紅外與可見光融合方法。Zuo Y等人提出了雙樹復小波變換，是傳統(tǒng)小波分解的改進，提高了計算效率［3］。劉斌等人提出了方向性對比度金字塔融合方法，得到了清晰度和分辨率更高的圖像［4］。Da Cunha A L等人提出了非下采樣輪廓波變換，具有平移不變性，突出了圖像輪廓［5］。

顯著性檢測是圖像處理領(lǐng)域的一個研究熱點。文獻［6］提出了一種頻率調(diào)諧（frequency-tuned，F(xiàn)T）方法，基于Lab空間顏色以及像素與平均像素的歐氏距離計算顯著值。Cheng M M等人提出了一種基于直方圖的對比度（histogrambased contrast，HC）法［7］。Zhai Y等人提出了基于亮度對比度（luminance contrast，LC）圖像顯著性檢測算法［8］。

本文提出了基于多尺度分解和改進的LC顯著性檢測的紅外與可見光圖像融合。采用梯度引導濾波器和高斯濾波器結(jié)合的圖像分解模型對圖像進行分解，將改進的顯著性檢測應(yīng)用到融合規(guī)則上，得到偽影少、目標突出的融合圖像。

1 相關(guān)理論

1.1 梯度引導濾波器

近年來，邊緣保留濾波器是圖像處理的一個研究熱點。邊緣保留濾波器在圖像分解過程中具有良好的邊緣保持性。常用的邊緣保留濾波器包括引導圖像濾波器、加權(quán)最小二乘濾波器和雙邊濾波器。引導圖像濾波器［9］是一種計算復雜度低的邊緣保留的局部濾波器，但其會遭受光暈偽影，所以本文使用梯度引導濾波器對圖像進行混合多尺度分解，在引導圖像濾波器中引入一階邊緣條件約束，圖像的視覺外觀更好［10］。

1.2 改進的LC顯著性檢測算法

LC顯著性檢測算法是以對比度為特征提取顯著性，保留熱輻射高和低的區(qū)域，導致融合圖像中的非目標區(qū)域產(chǎn)生高亮，所以本文修改了算法，抑制了黑暗區(qū)域，使目標區(qū)域得到良好顯示

式中 dis（Ik，Ii）＝Ik-Ii，其中，i 和k 為圖像中像素的位置，dis為灰度值距離。

圖1為改進的LC 顯著性檢測算法和LC 顯著性檢測對比。兩種方法都可以保留最顯著的對象，即2 個場景中的2個人。然而，LC方法保留了黑暗區(qū)域，如天空和窗戶。改進的LC方法可以有效地提取紅外圖像中的顯著性區(qū)域，如人物和建筑物輪廓，同時抑制非目標區(qū)域，如天空，并減少了偽影。融合后的圖像中目標得到了很好的對比度，非目標區(qū)域保持干凈。

圖1 LC算法改進前后顯著性

2 所提出的算法

2.1 多尺度分解

利用梯度引導濾波器的邊緣保持特性和高斯濾波器的平滑特性，將紅外和可見光進行多尺度分解，得到不同尺度的信息。對不同層次的圖像采用不同的融合策略。最后，組合融合后的子層級重構(gòu)融合圖像。圖2為多尺度圖像分解的算法結(jié)構(gòu)。

圖2 多尺度圖像分解結(jié)構(gòu)

用ZT和ZG表示經(jīng)過梯度引導濾波器和高斯濾波器得到的圖像。初始化輸入圖像Z并賦值給Z（0）G，圖像分解層數(shù)為3，i 為分解級別。源圖像被分解成不同層次D ＝Z-ZT，E ＝ZT-ZG。其中，D為小尺度紋理細節(jié)層，E為大尺度邊緣特征層。構(gòu)建第i 層尺度分解D（i）＝Z（i-1）G-Z（i）T，E（i）＝Z（i）T-Z（i）G。分解的基層B ＝Z（3）G

2.2 圖像融合策略

小尺度層包含源圖像的紋理細節(jié)信息，為了保留較多的紋理細節(jié)，本文采用最大值的融合策略

大尺度層包含源圖像的邊緣特征，為了盡可能將紅外信息注入融合圖像，采用加權(quán)融合策略，計算權(quán)重系數(shù)Pi

歸一化

計算紅外光的融合權(quán)重

其中，采用高斯函數(shù)gσ對權(quán)值進行平滑處理，設(shè)置σ ＝2。

大尺度層的融合結(jié)果

基層中包含了最粗尺度的信息，包含了圖像的大部分信息。為了使目標區(qū)域突出，本文使用了改進的LC 顯著性檢測。由于紅外圖像目標通常比背景更突出，只對紅外圖像進行顯著性提取，保持紅外圖像目標區(qū)域的能量。經(jīng)此處理得到的融合圖像較好地保留目標區(qū)域的對比度，獲得更好視覺效果。策略如下

式中 S為歸一化的顯著性值，BIR和BVIS分別為紅外和可見光圖像的基層。

最終重構(gòu)融合圖像

3 實驗結(jié)果

為了驗證本文算法的有效性，對已經(jīng)配準的2 組紅外與可見光圖像進行融合，評估各融合算法的效果。融合算法包括：多分辨率奇異值分解（multi-resolution singular value decomposition，MSVD）［11］、交叉雙邊濾波器（cross bilateral filter，CBF）［12］、視覺顯著映射加權(quán)最小二乘（visual saliency map weighted least square，VSMWLS）法［13］、基于引導濾波融合（guided filtering fusion，GFF）［14］、混合多尺度分解（hybrid multi-scale decomposition，HMSD）［15］。

3.1 主觀性能評價

圖3和圖4為本文方法和其他算法的實驗對比結(jié)果。從主觀性能上評價，由圖3可以看出，本文的算法人物目標突出，人和背景的對比度高，背景物體清晰可見，與其他算法相比融合效果更好。由圖4 可以看出，本文的算法其中房屋左上角天空背景的偽影少，房屋門口的目標人物清晰，利于人類觀測，融合結(jié)果更好。本文提出的算法對比度高、視覺效果優(yōu)，更符合人類視覺觀察。

圖3 第1 組實驗的融合結(jié)果

圖4 第2 組實驗的融合結(jié)果

3.2 客觀性能評價

在本文中采用平均梯度（average gradient，AG）、信息熵（entropy，EN）、互信息（mutual information，MI）、QCB幾種客觀評價標準來對融合結(jié)果進行量化評價，如表1。上述的指標越大代表相融合效果越好。

表1 2 組圖像的客觀評價對比

從表1中第1 組圖像可以看出，本文提出的方法除了QCB指標略低于HMSD算法，其他指標均高于其他算法；從第2組圖像中可以看出，本文提出的算法指標都排在第1或第2位。說明通過本文獲得的融合圖像清晰度高，信息豐富，對比度高，視覺效果好。本文提出的算法在AG、EN、MI和QCB4個客觀指標上有明顯的優(yōu)勢，是一種較為優(yōu)秀的融合方法。

4 結(jié) 論

由于可見光與紅外圖像的特點不同，使得融合圖像中會存在目標不突出、對比度低、偽影多的問題。本文提出了一種基于混合多尺度分解和改進的顯著性檢測的紅外與可見光圖像融合方法。將改進的LC顯著性算法結(jié)合到多尺度分解上，使得融合結(jié)果更加符合人類視覺，減少了偽影的產(chǎn)生，突出目標特性。由客觀評價指標也證明了本文算法的優(yōu)勢。未來將進一步優(yōu)化算法，研究差異化的融合策略在不同場景上的應(yīng)用。