基于導向濾波和小波變換的紅外可見光圖像融合改進算法研究

易圖明 王先全 袁威 何曉冬

摘? 要：針對傳統(tǒng)模型在跨模態(tài)下易產(chǎn)生光暈偽影、顏色失真等問題，提出一種基于導向濾波和小波變換的紅外可見光圖像融合改進算法。將源圖像經(jīng)由小波變換獲得二維低頻及高頻的子代系數(shù)，低頻分量采用加權(quán)平均融合，高頻分量提取權(quán)重圖后經(jīng)導向濾波獲得細節(jié)增強；再將所處理的各分量經(jīng)小波逆變換獲得融合圖像。該算法使用開源數(shù)據(jù)集TNO檢驗效果，經(jīng)過主客觀評估，得出該算法的效果明顯優(yōu)于傳統(tǒng)算法，符合研究預期。

關鍵詞：圖像融合；小波變換；導向濾波；多尺度分解；紅外可見光圖像

中圖分類號：TP391? 文獻標識碼：A? 文章編號：2096-4706（2023）06-0041-05

Research on Improved Infrared Visible Light Image Fusion Algorithm Based on Guided Filtering and Wavelet Transform

YI Tuming1， WANG Xianquan2， YUAN Wei1， HE Xiaodong1

（1.Southwest Computer Co.， Ltd.， Chongqing? 400060， China; 2.Chongqing University of Technology， Chongqing? 400054， China）

Abstract： Aiming at the problem that the traditional model is prone to produce halo artifacts and color distortion in cross-mode， an improved infrared visible light image fusion algorithm based on guided filtering and wavelet transform is proposed. The sub-generation coefficients of two-dimensional low frequency and high frequency are obtained from the source image through wavelet transform. The low frequency components are fused by weighted average， and the high frequency components are extracted from the weight map， and then the details are enhanced by guided filtering; then the processed components are transformed by inverse wavelet transform to obtain the fused image. The algorithm uses the open source data set TNO to test the effect. After subjective and objective evaluation， it is concluded that the effect of the algorithm is significantly better than the traditional algorithm， which is in line with the research expectation.

Keywords： image fusion; wavelet transform; guided filtering; multi-scale decomposition; infrared visible light image

0? 引? 言

準確獲取目標紅外圖像信息是軍事安防和醫(yī)學影像領域不可或缺的一部分。如何將紅外圖像對外部噪聲的抗干擾能力與可見光圖像豐富的表征信息相結(jié)合，彌補紅外圖像視覺效果差、對比度低的缺陷，同時加強自然光在低光照條件下的描述能力，成為該技術(shù)研究的主流方向。

針對上述跨模態(tài)圖像融合技術(shù)發(fā)展過程中遇到的難點，學者們陸續(xù)開展了對基于多尺度分解的紅外可見光圖像融合算法的研究。小波變換和金字塔變換作為變換域中經(jīng)典的跨模態(tài)融合算法，自20世紀90年代就開始進軍圖像融合領域。金字塔變換因分解過程中存在的數(shù)據(jù)冗余問題，融合效果很差；小波變換則因具有刻畫時域信號局部特征的優(yōu)勢，為此得到了廣泛的應用。但傳統(tǒng)小波變換依舊存在一個很大的問題：小波變換各方向變換相同，無法體現(xiàn)圖像的各相異性特征。因此，大量改進優(yōu)化的小波變換圖像融合算法被提出：平穩(wěn)小波變換融合算法在采樣過程中剔除了下采樣，進而克服了小波變換存在的振鈴效應和光譜失真，大大提升了圖片融合效果并具有更優(yōu)的平移不變性。雙樹復小波變換融合算法引出兩個獨立的離散小波樹作為實部和虛部，單次從行列上分解的高頻子帶較離散小波多3個方向，大大提高了重構(gòu)精度，提高了圖像分解能力及方向選擇性；可協(xié)調(diào)的經(jīng)驗小波變換通過構(gòu)造自適應的濾波器實現(xiàn)對信號的自適應分解，并改進高低頻融合規(guī)則，客觀評價指標與標準圖像最為接近。

為進一步去除融合圖像噪聲保留細節(jié)信息，近年來以導向濾波為首提出的邊緣濾波器廣受青睞?；趯驗V波（GFF）提出一種以源圖像作為引導圖重構(gòu)不同圖像權(quán)重的方案，在較好保持圖像邊緣信息的同時，可以有效緩解融合過程中高頻信號帶來的光暈、偽影等問題，達到平滑紋理，保留邊緣信息以及提取圖像細節(jié)的目的。但是導向濾波仍具有相當程度的局限性：

（1）導向濾波在處理圖像邊緣時仍然會引入部分細節(jié)“光暈”。

（2）在非高曝光條件下，易導致顏色失真，且融合結(jié)果主觀評價不及傳統(tǒng)融合方法。

（3）處理輸入圖像和引導圖像不一致時會出現(xiàn)濾波不靈敏甚至失靈的情況。

為解決上述問題，本文提出一種基于導向濾波和小波變換的紅外可見光圖像融合改進算法。首先，將紅外可見光圖像作為源圖像經(jīng)由小波變換獲得二維低頻及高頻的子代系數(shù)；其次，低頻系數(shù)處理中，我們將紅外圖像的自帶低頻進行局部對比度增強，然后經(jīng)由導向濾波加權(quán)平均；同時，對分離的高頻子帶提取權(quán)重圖后經(jīng)導向濾波獲得細節(jié)增強；最后將處理的各分量經(jīng)小波逆變換獲得融合圖像，并且通過開源數(shù)據(jù)集TNO上的測試及主客觀評價來驗證算法的優(yōu)越性。

1? 二維小波分解與重構(gòu)

二維小波變換（DWT）即一維小波變換在橫縱兩個方向上的拓展。任意二維圖像可定義為f （x， y）∈L2（R），其中x、y分別為二維圖像的橫縱坐標。定義二維小波母函數(shù)為f （x， y），伸縮、平移處理后的小波基函數(shù)為：

（1）

二維小波分別在橫縱方向上進行一維小波變換，其定義公式為：

（2）

其中，bx、by分別表示橫軸和縱軸兩個維度上的平移，其相應的二維小波逆變換重構(gòu)算法為：

（3）

其中：

（4）

當對輸入圖像進行二維離散小波變換時，依照式（1）（2）采用常用的Mallat算法，根據(jù)不同的頻帶、分辨率分解為系列子帶圖像：

（5）

其中，Hr、Hc表示高通濾波器；Gr、Gc表示低通濾波器；r、c表示行列。每層小波系數(shù)分解為水平和垂直方向低頻子帶（LL）、水平方向低頻和垂直方向高頻子帶（LH）、水平方向高頻和垂直方向低頻子帶（HL）、垂直和水平方向高頻子帶（HH），當分解層數(shù)為3層時如圖1所示。

當二維離散小波變換對紅外和可見光圖片同時進行分解時，基于Mallat的小波融合算法的具體流程如圖2所示。

2? 導向濾波

與雙邊濾波相同，導向濾波可以在高度保持圖像高頻表征的情況下達到圖像平滑的效果。但相較于傳統(tǒng)的邊緣保持濾波，導向濾波存在兩大明顯優(yōu)勢：

（1）相較于雙邊濾波器極高的計算復雜度，導向濾波僅存在線性計算復雜度，計算速度大大提高。

（2）雙邊濾波器的數(shù)學模型易導致圖像的梯度反轉(zhuǎn)進而使圖像受損，而導向濾波從線性組合出發(fā)，輸出圖片和引導圖片梯度方向一致，避免了梯度反轉(zhuǎn)的問題。

導向濾波的實現(xiàn)是利用給定的輸入圖像P，經(jīng)由導向濾波輸出圖像O，且假定引導圖像I之間存在線性變換，即：

（6）

其中，N（i）表示以像素i為中心的鄰域，在N（i）內(nèi)線性系數(shù)ai和bi為常數(shù)，由回歸計算得到。像素點i包含在相鄰的窗口N（i）內(nèi)，故式（7）中濾波輸出Oi的值會隨著窗口N（i）的改變而改變。為解決這個問題，對所有存在可能的ai和bi進行平均，得到輸出Oj，即：

（7）

其中， 和? 表示平均系數(shù)。

從濾波后呈現(xiàn)效果來看，導向濾波與雙邊濾波差距不大，但在細節(jié)處理過程中，導向濾波可以構(gòu)造出時間復雜度無關窗口大小的算法，且效率更高。

3? 本文算法

本文將二維離散小波變換和導向濾波相結(jié)合，同時采用局部對比度增強的方法進行紅外可見光圖像融合，具體流程如圖3所示。設V、I分別為可見光和紅外源圖像，該融合算法的計算步驟如下：

（1）基于二維離散小波的多尺度分解：對V、I進行小波分解，得到高頻子帶和低頻子帶系數(shù)。

（2）對I分解得到的低頻子帶進行局部對比度增強，并與V的低頻子帶一起經(jīng)由導向濾波后加權(quán)平均得到低頻融合圖。

（3）對V、I分離的高頻信號分量提取權(quán)重圖后經(jīng)導向濾波得到高頻融合圖。

（4）最后采用二維離散小波逆變換將高頻和低頻融合在一起。

3.1? 基于二維離散小波分解

運用式（1）（2）（5）對源圖像V、I進行圖像多尺度分解。實驗中，我們固定小波分解系數(shù)為3層，單次小波變換得到一個低頻子帶（LL）和三個高頻子帶（LH、HL、HH）。

3.2? 高頻子帶融合

首先，經(jīng)過小波變換得到可見光和紅外圖像的多層高頻信號Vn、In。將兩類圖像經(jīng)過均值濾波器，得到雙尺度表示：

（8）

其中，Z表示的均值濾波器通常設置為31×31，以此獲得基礎層，進而通過原高頻信號減去基礎層獲得細節(jié)層：

（9）

緊接著對兩張高頻圖的權(quán)重進行重構(gòu)，使In、Vn分別經(jīng)過3×3的拉普拉斯濾波得到高通圖像HVn、HIn：

（10）

分別對HVn、HIn取絕對值化的局部平均值，構(gòu)造相應的顯著映射SVn、SIn：

（11）

其中，g表示一個（2rg+1）×（2σg+1）的高斯低通濾波器，這里我們將rg、σg設為5，測量圖可以很好地表現(xiàn)細節(jié)特征的顯著性。對顯著性映射進行權(quán)重映射：

（12）

其中，、 為第n幅圖中的顯著性值。為避免權(quán)重圖因本身自帶噪聲且邊界不一致易造成偽影等情況，利用每張圖的權(quán)重圖進行導向濾波，將原高頻圖像作為引導圖像：

（13）

其中，r1、ε1表示導向濾波的參數(shù)，、、、 分別表示濾波后生成的權(quán)重圖。

經(jīng)過導向濾波的優(yōu)化，采用雙尺度的圖像重建進行融合。首先對所獲得的新權(quán)重圖和基礎層進行加權(quán)平均處理：

（14）

其中，k表示增強的常量，最后將兩張源圖像的高頻部分進行結(jié)合，以此得到最終的融合圖像：

（15）

3.3? 低頻融合準則

圖像的低頻信號通常表示圖像的近似特性及輪廓信息，為進一步保留源圖像中的細節(jié)信息，同時又不會產(chǎn)生過多的噪點，在加權(quán)平均前首先使用導向濾波對源圖像的低頻子帶Vn、In進行自引導，達到去除高噪聲的目的：

（16）

其中，y=13，ε=0.01，隨后，對In進行局部對比度增強，以此來突出想要保留的亮度細節(jié)：

（17）

其中，xn表示某張圖像的局部像素平均值，C表示增強常量，mxn表示單張圖像的低頻分量。

最后，我們采用像素加權(quán)平均的策略進行低頻子帶的融合：

（18）

其中，a1、a2表示加權(quán)系數(shù)，且a1+a2=1。因為紅外可見光的圖像融合中，低頻分量涵蓋信息大致相同，因此取a1=a2=0.5。

4? 實驗結(jié)果分析

隨著近年來圖像融合領域的快速發(fā)展，與不同類型融合算法相對應的評估標準也變得多樣化。圖像融合的質(zhì)量評估策略分為兩大類，即主觀評價策略和客觀評價策略。主觀評價策略就是利用肉眼對融合效果圖進行直觀評判，其優(yōu)點是簡單直接?？陀^評價策略就是利用科學量化模型給出的諸多指標來評判融合的效果。本文綜合主觀和客觀兩個方向?qū)D像融合結(jié)果進行描述，其中客觀評價指標分為兩大部分：

（1）方差、信息熵、互信息、對比度等常規(guī)無參考評估標準。

（2）brenner、laplacian、SMD、SMD2等梯度函數(shù)、方差函數(shù)、energy函數(shù)、Vallath函數(shù)、entropy函數(shù)的無參考清晰度評估模型。

4.1? 主觀評估

為驗證本文算法的優(yōu)越性，在TNO數(shù)據(jù)集中選取紅外可見光圖像作為基準，與三個經(jīng)典紅外可見光融合算法（小波變換、TIF、IHS）進行比對。圖4展示了原始紅外可見光圖像與小波變換圖像算法結(jié)果以及本文融合算法的結(jié)果。

從融合結(jié)果來看，小波融合更為柔和，其對細節(jié)輪廓等沒有做過多的處理。本文算法能夠更好地保留邊緣信息和細節(jié)信息。TIF算法和IHS算法在邊緣處理上出現(xiàn)了重影、模糊等情況。為了進行更加清晰的比較，框出部分細節(jié)進行局部比較，如圖5所示。

小波的融合結(jié)果雖然在整體上更為清晰，像素明暗因原本的加權(quán)平均融合策略相較于源圖像更為中和。但與本文算法相比，本文算法因?qū)驗V波的邊緣保持特性，對自然光圖像的細節(jié)保留更為充分，且在真實物體的輪廓細節(jié)上有所增強，更符合人眼感官。TIF算法和IHS算法在邊緣保留上存在劣勢，使得本文算法在紅外圖像的特征提取和自然光圖像細節(jié)紋理刻畫保留方面獲得了更佳的表現(xiàn)。

4.2? 客觀評價

針對融合結(jié)果的信息，本文采取兩類客觀評價標準及模型選取對本文算法進行有效的量化評價，參數(shù)如表1所示。從表1中可以看出：在第一類評價中，本文算法在均值和方差的數(shù)值上比小波變換的融合結(jié)果更大，表示灰度分級更分散，圖像質(zhì)量更好；在圖像熵的表現(xiàn)上，本文算法高于小波變換的數(shù)值表明其所涵蓋的信息量更大；在對比度的表現(xiàn)上，本文算法明顯優(yōu)于小波變換，表明圖像更清晰色彩表現(xiàn)更豐富。從四項對比來看，本文算法更為優(yōu)越；從表2的客觀評價模型來看，本文算法在無參考清晰度評估模型上的各項數(shù)值都遠遠超過小波變換的融合結(jié)果。由此可見本文算法比小波圖像融合算法更為優(yōu)越，無論是從清晰度、信息量還是主觀感受方面來看，本文算法均具有更好的預測性能和應用價值。

5? 結(jié)? 論

對于傳統(tǒng)圖像融合算法存在的噪聲、偽影和信息丟失尤其是高曝光條件下易出現(xiàn)的顏色失真等問題，本文提出一種基于導向濾波和小波變換的紅外可見光圖像融合改進算法，并通過實驗和主客觀評估模型校驗了算法的優(yōu)越性。實驗和評估量化結(jié)果表明，本文算法所得到的融合圖像，無論是信息攜帶量還是圖像清晰度上都優(yōu)于傳統(tǒng)的圖像融合算法。在紅外和可見光圖像的細節(jié)信息保留、圖像邊緣信息刻畫等方面，本文算法更是汲取了導向濾波本身對該類信息處理的優(yōu)勢，大大提高了信息提取的有效性，圖像過渡更加自然，在圖像融合、機器視覺等領域具有廣闊的前景。

參考文獻：

[1] MA J Y，MA Y，LI C. Infrared and visible image fusion methods and applications： a survey [J].Information Fusion，2019，45：153-178.

[2] LIU Y，CHEN X，WARD R K，et al. Medical image fusion via convolutional sparsity based morphological component analysis [J].IEEE Signal Processing Letters，2019，26（3）：485-489.

[3] ZHOU Z Q，WANG B，SUN L，et al. Perceptual fusion of infrared and visible images through a hybrid multi-scale decomposition with Gaussian and bilateral filters [J].Information Fusion，2016，30：15-26.

[4] CHEN X G，LI X K. Application of Uniform Design and Genetic Algorithm in Optimization of Reversed Phase Chromatographic Separation [J].Chemometrics and Intelligent Laboratory Systems，2003，68（2）：157-166.

[5] HE K M，SUN J，TANG X O. Guided image filtering [EB/OL].[2022-10-05].https：//link.springer.com/chapter/10.1007/978-3-642-15549-9_1/.

[6] XIE W，ZHOU Y Q，YOU M. Improved guided image filtering integrated with gradient information [J].Journal of Image and Graphics，2016，21（9）：1119-1126.

[7] YANG H，WU X T，HE B G，et al. Image fusion based on multiscale guided filters [J].Journal of Optoelectronics·Laser，2015，26（1）：170-176.

[8] ZHU H R，LIU Y Q，ZHANG W Y. Infrared and visible image fusion based on contrast enhancement and multi-scale edge-preserving decomposition [J].Journal of Electronics and Information Technology，2018，40（6）：1294-1300.

[9] NOEL O C，YUKIHIKO Y. Anisotropic guided filtering [J].IEEE Transactions on Image Processing，2019，29：1397-1412.

[10] JIN H Y，WANG Y Y. A Fusion Method for Visible and Infrared Images Based on Contrast Pyramid with Teaching Learning Based Optimization [J].Infrared Physics & Technology，2014（64）：134-142.

[11] LIU C H，QI Y，DING W R. Infrared and visible image fusion method based on saliency detection in sparse domain [J].Infrared Physics and Technology，2017，83：94-102.

[12] CUI G M，F(xiàn)ENG H J，XU Z H，et al. Detail preserved fusion of visible and infrared images using regional saliency extraction and multi-scale image decomposition [J].Optics Communications，2015，341：199-209.

[13] SHEN Y，CHEN X P，LIU C. Infrared and visible image fusion based on hybrid model driving [J].Control and Decision，2021，36（9）：2143-2151.

[14] 常青，楊程偉，羅彬杰，等.基于小波變換的擴散焊超聲C圖像融合算法 [J/OL].鄭州大學學報：工學版，2022：1-7[2022-10-03].https：//kns.cnki.net/kcms/detail/detail.aspx？dbcode=CAPJ&dbname=CAPJLAST&filename=ZZGY20220609002&uniplatform=NZKPT&v=0DDgriRsGa8lm2Rel30-g1NfK3xU62OPjWKiQT-kbqv9zfFR5OL3PWcQvMD08LEe.

[15] 宮睿，王小春.基于可協(xié)調(diào)經(jīng)驗小波變換的多聚焦圖像融合 [J].計算機工程與應用，2020，56（2）：201-210.

作者簡介：易圖明（1969.10—），男，漢族，四川南充人，正高級工程師，國務院政府特殊津貼專家，本科，主要研究方向：通信技術(shù)；通訊作者：王先全（1968.09—），男，漢族，四川華鎣人，教授，碩士研究生，主要研究方向：計算機軟件技術(shù)和智能儀器。

收稿日期：2022-10-26