一種基于EASSF的紅外與可見光圖像視覺保真度融合

李 威，李忠民

一種基于EASSF的紅外與可見光圖像視覺保真度融合

李 威，李忠民

（南昌航空大學(xué) 信息工程學(xué)院，江西 南昌 330063）

最近，多尺度特征提取被廣泛應(yīng)用于紅外與可見光圖像融合領(lǐng)域，但是大多數(shù)提取過程過于復(fù)雜，并且視覺效果不佳。為了提高融合結(jié)果的視覺保真度，本文提出一種基于邊緣感知平滑銳化濾波器（Edge-Aware Smoothing-Sharpening Filter，EASSF）的多尺度圖像融合模型。首先，提出一種基于EASSF的多尺度水平圖像分解方法對(duì)源圖像進(jìn)行分解，得到水平方向上的多尺度紋理成分和基礎(chǔ)成分；其次，采用最大值融合規(guī)則（Max-Fusion, MF）融合紋理成分，避免圖像細(xì)節(jié)信息的丟失；然后，通過一種感知融合規(guī)則（Perceptual-Fusion, PF）融合基礎(chǔ)成分，捕獲顯著性目標(biāo)信息；最后，通過整合融合后的多尺度紋理成分和基礎(chǔ)成分得到融合圖像。實(shí)驗(yàn)通過分析感知融合系數(shù)，對(duì)比融合結(jié)果的客觀數(shù)據(jù)得出紅外與可見光圖像融合在多尺度EASSF下較為合適的取值范圍；在該取值范圍內(nèi)，本文提出的融合模型同一些較為經(jīng)典和流行的融合方法相比，不僅解決了特征信息提取的復(fù)雜性，而且通過整合基礎(chǔ)成分的顯著性光譜信息，有效地保證了融合結(jié)果的視覺保真度。

紅外與可見光圖像融合；邊緣感知平滑濾波器；視覺保真度；感知融合

0 引言

可見光圖像在弱光條件下不能很好地顯示場(chǎng)景信息，但可以通過反射光清晰地呈現(xiàn)細(xì)節(jié)和背景；相比之下，紅外圖像中的物體可以通過熱輻射來顯示，但紅外光圖像無法顯示細(xì)節(jié)和清晰的背景。整合兩者的優(yōu)勢(shì)信息，能夠充分地描述特定場(chǎng)景的環(huán)境和背景，這對(duì)于目標(biāo)識(shí)別、目標(biāo)跟蹤和遙感遙測(cè)方面有著極為重要的作用[1-6]。

近年來，基于圖像特征信息提取技術(shù)在圖像融合領(lǐng)域取得了較為明顯的進(jìn)步。2018年，Du等人提出了一種用于融合不同分辨率的紅外與可見光圖像的融合算法（Different Resolutions Total Variation，DRTV[7]），分別利用紅外圖像的像素灰度與融合圖像在數(shù)據(jù)保真度上的相似性和可見光圖像和融合圖像在梯度上的相似性，將融合問題表述為全變差（Total Variation, TV）最小化問題；為了提高收斂速度，Zhao等人在2020年提出了一種分層Bayesian模型[8]，該模型引入TV，利用期望最大化算法對(duì)模型進(jìn)行了高效的推斷，從而將圖像融合任務(wù)轉(zhuǎn)化為回歸問題。雖然基于TV的融合方法對(duì)圖像特征提取有很大的效果，能夠保留并且整合較多的結(jié)構(gòu)特征信息，但是在視覺感知效果方面稍顯不足。

隨著神經(jīng)網(wǎng)絡(luò)的不斷發(fā)展，深度學(xué)習(xí)慢慢地成為了圖像處理領(lǐng)域較為活躍的研究工具。Li等人在2018年利用深度學(xué)習(xí)框架視覺幾何組（Visual Geometry Group，VGG[9]）整合紅外與可見光圖像的特征信息；隨后，Wu等人在2019年提出了一種基于深度學(xué)習(xí)殘差網(wǎng)絡(luò)（Residual-network, Resnet[10]）和零相位分量分析的新穎融合框架。這些深度學(xué)習(xí)網(wǎng)絡(luò)能夠很好地提高圖像視覺效果，但是由于算法過于復(fù)雜，在細(xì)節(jié)特征提取方面存在一定的人為影響。為了實(shí)現(xiàn)深度次的特征提取，Tan等人在2021年基于多尺度邊緣濾波和脈沖耦合神經(jīng)網(wǎng)絡(luò)（pulse coupled neural network，PCNN）提出了一種多模態(tài)融合方法（multi-level edge-preserving filtering，MLEPF11]），該方法雖然達(dá)到了多層次上的特征信息提取，但是受限于源圖像曝光度，容易使得融合結(jié)果形成局部斑塊。

通過上述的分析可知，紅外與可見光圖像融合目前的研究目標(biāo)主要有兩個(gè)：①提高源圖像特征信息的提取能力，同時(shí)避免算法的復(fù)雜性帶來的人為影響；②在保證融合過程的可行性的同時(shí)，進(jìn)一步優(yōu)化和鞏固融合結(jié)果的保真度，從而契合人體的視覺效果。為了實(shí)現(xiàn)上述兩個(gè)目標(biāo)，本文提出一種基于EASSF的多尺度紅外與可見光圖像融合模型，該模型通過EASSF實(shí)現(xiàn)多尺度分解，提取源圖像水平方向上的信息。

1 邊緣感知平滑銳化濾波器

平滑可以去除圖像中的噪聲干擾，而銳化可以突出圖像的邊緣。2021年3月，Deng等人提出了一種邊緣感知平滑銳化濾波器（Edge-Aware Smoothing-Sharpening Filter，EASSF[12]）用于圖像處理，EASSF通過調(diào)節(jié)平滑（銳化）參數(shù)就可以實(shí)現(xiàn)圖像特征信息的提取。圖1為可見光圖像“Road”在不同參數(shù)下的平滑銳化結(jié)果，從圖1中容易看出，當(dāng)≤1時(shí)，EASSF進(jìn)行圖像平滑；而＞1時(shí)，EASSF進(jìn)行圖像銳化。由于EASSF的簡(jiǎn)便性和通用性，一種適用于多尺度水平方向的圖像分解方法被提出并且應(yīng)用于圖像的特征提取。圖2為紅外圖像“Road”的分解示例圖，其中為輸入可見光圖像，EF為EASSF圖像平滑銳化過程，1，2和V分別是EF平滑銳化后的圖像；d1，d2和dn分別是分解后結(jié)果對(duì)數(shù)放大的紋理成分；B為輸入圖像的基礎(chǔ)成分。具體的多尺度水平分解過程可以用如下公式表示：

圖1 不同參數(shù)L的EASSF成像結(jié)果

圖2 EASSF圖像分解

d1＝－1(1)

dn＝(V－1)－V(2)

B＝EF(V－1) (3)

2 基于EASSF的紅外與可見光圖像融合

圖3為本文提出的基于EASSF的融合算法框架，其中和分別代表可見光圖像和紅外圖像；可見光圖像和紅外圖像分解過程及得到的各個(gè)成分圖像參考圖2；d1，d2和dn分別為各尺度上融合后的紋理成分；B和分別為融合后的基礎(chǔ)成分和融合圖像；Max-fusion和Perceptual-fusion分別代表最大值融合規(guī)則和感知融合規(guī)則。具體的融合模型可以細(xì)分為4部分：

1）基于EASSF的紅外與可見光圖像分解

利用EASSF分別對(duì)可見光圖像和紅外光圖像進(jìn)行分解得到分解后的紋理成分和基礎(chǔ)成分。

2）紋理成分融合

利用Max-fusion融合規(guī)則對(duì)紅外圖像的紋理成分和可見光圖像的紋理成分進(jìn)行融合，得到融合后的紋理成分d1，d2和dn。

3）基礎(chǔ)成分融合

利用Perceptual-fusion感知融合規(guī)則對(duì)紅外圖像的基礎(chǔ)成分B和可見光圖像的基礎(chǔ)成分B進(jìn)行感知融合，捕獲光譜信息，得到融合的基礎(chǔ)成分B。

4）重構(gòu)源圖像

通過疊加融合后的紋理成分和基礎(chǔ)成分實(shí)現(xiàn)源圖像的重構(gòu)，得到融合圖像。

2.1 基于EASSF的紅外與可見光圖像分解

基于EASSF的圖像分解過程可以參照第一章EASSF，其中數(shù)學(xué)公式如(1)～(3)所示。通過EASSF的多尺度水平分解分別得到對(duì)應(yīng)源圖像的紋理成分和基礎(chǔ)成分。

2.2 紋理成分融合

通過EASSF的多尺度水平分解，我們可以得到較為細(xì)膩的紋理細(xì)節(jié)信息，從圖3可以明顯地看出紋理細(xì)節(jié)信息。眾所周知，如果圖像當(dāng)中某點(diǎn)的像素較大，反映在圖像上是人體視覺感知最為明顯的一個(gè)區(qū)域或者一個(gè)位置，這也是圖像當(dāng)中較為重要的一個(gè)信息點(diǎn)。為了盡量保留較多的細(xì)節(jié)信息，Max-fusion最大值融合規(guī)則被應(yīng)用于整合紋理成分，融合后的紋理成分dn可以通過公式(4)得到：

2.3 基礎(chǔ)成分融合

基礎(chǔ)成分是源圖像的一個(gè)粗略縮寫，它大致上包含源圖像當(dāng)中的基礎(chǔ)信息，其中以顯著性光譜信息尤為突出。為了使融合圖像達(dá)到突出顯著性目標(biāo)效果，同時(shí)使得融合結(jié)果較為契合人體的視覺感知，一種稱為Perceptual-fusion的感知融合規(guī)則被應(yīng)用于對(duì)紅外圖像的基礎(chǔ)成分RB和可見光圖像的基礎(chǔ)成分VB進(jìn)行感知融合，從而得到融合的基礎(chǔ)成分FB。Perceptual-fusion的融合規(guī)則具體如下：

1）通過像素值得到初始權(quán)重值IW；

2）一種非線性函數(shù)()被引入用于調(diào)節(jié)紅外與可見光圖像融合的光譜信息：

()＝arctan()/arctan() (6)

3）利用高斯濾波器對(duì)(IW)進(jìn)行平滑，排除融合圖像數(shù)據(jù)因噪聲干擾而形成的不必要影響，得到最終的融合權(quán)重圖：

W＝Gaussian((IW)) (7)

圖3 基于EASSF的圖像融合框架

4）重構(gòu)融合后的基礎(chǔ)成分B。

B＝W*B＋(1－W)*B(8)

2.4 重構(gòu)源圖像

融合后的圖像通過公式(9)得到：

3 仿真結(jié)果分析

仿真實(shí)驗(yàn)選取的數(shù)據(jù)集都來自文獻(xiàn)[13]，我們選取了3對(duì)圖像數(shù)據(jù)進(jìn)行實(shí)驗(yàn)。所有的實(shí)驗(yàn)平臺(tái)都是基于MATLAB R2018b，電腦配置為3.6GHz AMD Ryzen 5 2600X Six-Core Processor。5種經(jīng)典并且流行的融合算法被用來驗(yàn)證本文提出的融合算法，他們分別為DRTV、Bayesian、VGG、Resnet和MLEPF，其中VGG，Resnet和MLEPF是當(dāng)前較為流行的融合算法，并且MLEPF是將多尺度與深度學(xué)習(xí)相結(jié)合的融合算法，而Bayesian和MLEPF分別在2020年和2021年被提出，所有的融合算法都是近3年內(nèi)的。為了驗(yàn)證本文基于EASSF融合算法的優(yōu)勢(shì)，首先，對(duì)EASSF下的感知融合系數(shù)進(jìn)行一定的實(shí)驗(yàn)，獲取在EASSF融合模型下的最優(yōu)融合結(jié)果；其次，基于該感知系數(shù)下，從主客觀層面對(duì)融合結(jié)果進(jìn)行有效性分析，其中在客觀定量分析方面，7種融合圖像的指標(biāo)被用于定量分析實(shí)驗(yàn)融合效果，它們分別為信息熵EN、互信息量MI、基于人為影響的度量abf[14]、基于噪音干擾的度量abf[15]、差異相關(guān)性的總和SCD[16]、基于結(jié)構(gòu)相似性的度量MS-SIM[17]和視覺保真度VIFF[1]，上述定量指標(biāo)除abf之外，數(shù)值越大表明融合結(jié)果表現(xiàn)越好[1,9]。

3.1 感知系數(shù)分析

感知融合系數(shù)用來捕獲源圖像之間的光譜信息，實(shí)現(xiàn)人體視覺效果。實(shí)驗(yàn)通過調(diào)節(jié)系數(shù)，得到的融合結(jié)果如圖4所示。其中實(shí)線方框標(biāo)記的是行人，虛線方框標(biāo)記的是指示燈。通過圖4可以很明顯地觀察到隨著值的變大，融合圖像能夠顯著性地突出行人；但是，被藍(lán)色標(biāo)記的指示燈越來越不模糊，丟失可見光圖像的紋理信息，使得融合圖像視覺效果不佳。為了實(shí)現(xiàn)最佳的視覺感知融合效果，我們分別對(duì)圖4當(dāng)中的圖像進(jìn)行了客觀定量分析，得到的定量結(jié)果如表1所示。從表1中定量數(shù)據(jù)可以清楚地看出圖4(d)和圖4(e)兩幅圖的客觀數(shù)據(jù)最佳，而隨著值的增大，除了abf指標(biāo)變差外，其他的客觀數(shù)據(jù)都在＝[10,20]能夠有較好的表現(xiàn)。為了使得融合效果最佳，從全面且綜合的角度考慮，令＝10，進(jìn)行后續(xù)分析。

3.2 主觀分析

實(shí)驗(yàn)選取的圖像是來自經(jīng)過配準(zhǔn)好的TNO圖像數(shù)據(jù)庫，在本節(jié)選擇3對(duì)圖像組進(jìn)行主客觀分析，分別是“Road”、“Kaptein_1654”和“Kaptein_1123”，它們的圖像融合結(jié)果如圖5～7所示。

圖5反映的是一個(gè)路口交通情況，選取被黑色實(shí)線方標(biāo)記的行人進(jìn)行分析，可以很明顯的看出，與Bayesian、VGG、Resnet和MLEPF得到的融合結(jié)果相比，我們的方法EASSF融合可以很明顯地突出圖像目標(biāo)人物；但是對(duì)于DRTV，我們的優(yōu)勢(shì)在于融合圖像較為細(xì)膩，圖像數(shù)據(jù)保真度較高，感知視覺效果好。圖6呈現(xiàn)的是一個(gè)工作人員進(jìn)門時(shí)的場(chǎng)景，從標(biāo)記的目標(biāo)與融合圖像的背景信息看出，我們提出的方法EASSF很好地定位了工作人員，融合效果較好。圖7展示的是一個(gè)舉傘路人路過涼亭的畫面，從圖7中我們能夠較為直觀地看出我們的融合結(jié)果最佳，能夠較為形象地描述出該特定場(chǎng)景。

圖4 不同參數(shù)l的EASSF成像結(jié)果

表1 不同感知系數(shù)下的融合定量數(shù)據(jù)

圖5 不同方法在“Road”圖像下的融合結(jié)果

圖6 不同方法在“Kaptein_1654”圖像下的融合結(jié)果

圖7 不同方法在“Kaptein_1123”圖像下的融合結(jié)果

3.3 客觀分析

客觀分析是從數(shù)據(jù)的角度定量衡量融合圖像的質(zhì)量。選取的17組實(shí)驗(yàn)圖像數(shù)據(jù)組進(jìn)行分析，我們得到的結(jié)果見表2～表4。表2～表4分別是“Road”、“Kaptein_1654”和“Kaptein_1123”的客觀評(píng)價(jià)。在表2中我們的融合方法在MI、abf、SCD、MS-SIM和VIFF數(shù)值較高，而在EN和abf方面略低于DRTV和Resnet；而在表3當(dāng)中，我們的方法EASSF在EA、MI、SCD和VIFF占據(jù)較好的優(yōu)勢(shì)，其他指標(biāo)略低于算法Bayesian和Resnet；另外在表4中，我們?cè)贛I和abf指標(biāo)上略低于MLEPF和VGG，其他的數(shù)值指標(biāo)都占優(yōu)勢(shì)。而在SCD和VIFF指標(biāo)上面，我們的融合方法都有良好的表現(xiàn)。而針對(duì)于個(gè)別如abf和abf指標(biāo)的劣勢(shì)，這主要原因在于感知系數(shù)的變化。

表2 “Road”的客觀評(píng)價(jià)數(shù)據(jù)

表3 “Kaptein_1654”的客觀評(píng)價(jià)數(shù)據(jù)

表4 “Kaptein_1123”的客觀評(píng)價(jià)數(shù)據(jù)

從表1得出，越大，abf值越大，帶入的噪音越大，使得融合效果略顯不佳；從客觀分析總體上來說，我們的方法EASSF具有一定的優(yōu)勢(shì)，能夠?qū)崿F(xiàn)紅外與可見光圖像在視覺保真度融合。

4 結(jié)論

針對(duì)圖像特征提取復(fù)雜度問題，為了實(shí)現(xiàn)圖像視覺保真度融合，本文基于EASSF提出了一種較為簡(jiǎn)易且能夠滿足視覺感知融合的紅外與可見光圖像融合模型。利用EASSF平滑銳化的簡(jiǎn)便性，實(shí)現(xiàn)了源圖像的多尺度水平特征提取，得到紋理成分和基礎(chǔ)成分；采用Max-fusion最大值融合規(guī)則實(shí)現(xiàn)了紋理成分的融合，而基礎(chǔ)成分利用Perceptual-fusion感知融合規(guī)則實(shí)現(xiàn)圖像的視覺保真度融合；最后疊加融合后的各個(gè)成分重構(gòu)源圖像。實(shí)驗(yàn)通過對(duì)感知系數(shù)的分析，得出較為合適的感知融合系數(shù)區(qū)間取值在[10,20]；通過主客觀的分析表明，本文的融合方法EASSF與現(xiàn)在較為經(jīng)典和流行的算法相比具有一定的優(yōu)勢(shì)，能夠保留源圖像數(shù)據(jù)的真實(shí)性，整合較多的源圖像信息，并且契合人體的視覺感官。

[1] MA J Y, MA Y, LI C. Infrared and visible image fusion methods and applications: a survey [J]., 2019, 45: 153-178.

[2] Singh R, Vatsa M, Noore A. Integrated multilevel image fusion and match score fusion of visible and infrared face image for robust recognition[J].. 2008, 41(3): 880-893.

[3] Reinhard E, Ashikhmin M, Gooch B, et al. Color transfer between images[J]., 2002, 21(5): 34-41.

[4] Somone G, Farina A, Morabito F C, et al. Image fusion techniques for remote sensing applications [J]., 2002, 3(1): 3-15.

[5] 陳峰, 李敏, 馬樂, 等. 基于滾動(dòng)引導(dǎo)濾波的紅外與可見光圖像融合算法[J]. 紅外技術(shù), 2020, 42(1): 54-61.

CHEN Feng, LI Min, MA Le, et al. Infrared and visible image fusion algorithm based on the rolling guidance filter[J]., 2020, 42(1): 54-61.

[6] 楊九章, 劉煒劍, 程陽. 基于對(duì)比度金字塔與雙邊濾波的非對(duì)稱紅外與可見光圖像融合[J]. 紅外技術(shù), 2021, 43(9): 840-844.

YANG Jiuzhang, LIU Weijian, CHENG Yang. A symmetric infrared and visible image fusion based on contrast pyramid and bilateral filtering [J]., 2021, 43(9): 840-844.

[7] DU Qinglei, XU Han, MA Yong, et al. Fussing infrared and visible images of different resolutions vis total variation model[J]., 2018, 18(11): 3827.

[8] ZHAO Z, XU S, ZHANG C, et al. Bayesian fusion for infrared and visible images[J]., 2020, 177: 165-168

[9] LI H, WU X, Kittler J. Infrared and visible image fusion using a deep learning framework[C]//24th(), 2018: 2705-2710.

[10] LI Hui, WU Xiaojun, Tariq S. Durrani. Infrared and visible image fusion with ResNet and zero-phase component analysis[J]., 2019, 102: 1030390.

[11] TAN Wei, Thitn William, XIANG Pei, Zhou, Huixin. Multi-modal brain image fusion based on multi-level edge-preserving filtering[J]., 2021, 64(11): 102280.

[12] DENG Guan, Galetto Fernando J, Al-Nasrawi M, et al. A guided edge-aware smoothing-sharpening filter based on patch interpolation model and generalized Gamma distribution[J]., 2021, 2: 119-135.

[13] Toet A. TNO Image Fusion Dataset[EB/OL]. [2021-10-01]. http:// figshare.com/articles/TNO_Image_Fusion_Dataset/1008029.

[14] Xydeas C S, Petrovic V. Objective image fusion performance measure[J].., 2000, 36(4): 308-309.

[15] Aslantas V, Bendes E. A new image quality metric for image fusion: the sum of the correlations of differences[J]., 2015, 69(12): 1890-1896.

[16] LI H, WU X J, Kittler J. Infrared and visible image fusion using a deep learning framework[C]//24th(ICPR), 2018: 2705-2710.

[17] YAN Huibin, LI Zhongmin. A general perceptual infrared and visible image fusion framework based on linear filter and side window filtering technology[J]., 2020, 8: 3029–3041.

Visual Fidelity Fusion of Infrared and Visible Image Using Edge-Aware Smoothing-Sharpening Filter

LI Wei，LI Zhongmin

(School of Information Engineering, Nanchang Hangkong University, Nanchang 330063, China)

Recently, multi-scale feature extraction has been widely used in the field of infrared and visible image fusion; however, most extraction processes are too complex, and the visual effect is not good. To improve the visual fidelity of the fusion result, a multi-scale horizontal image fusion model based on an edge-aware smoothing-sharpening filter (EASSF) is proposed for infrared and visible images. First, to obtain multi-scale texture components and basic components in the horizontal direction, a multi-scale horizontal image decomposition method based on the EASSF is proposed to decompose the source image. Second, the maximum fusion rule is used to merge texture components, which can avoid loss of information detail. Then, to capture salient target information, the basic components are fused via the perceptual-fusion rule. Finally, the fused image is obtained by integrating the fused multi-scale texture components and basic components. By analyzing the perceptual fusion coefficient of PF, the appropriate range of infrared and visible image fusion in the multi-scale EASSF is obtained through the objective data of the fusion results. In this range, compared with several classical and popular fusion methods, the proposed fusion model not only avoids the complexity of feature information extraction, but also effectively ensures the visual fidelity of fusion results by integrating the significant spectral information of basic components.

infrared and visible image fusion, edge-aware smoothing-sharpening filter, visual fidelity, perceptual fusion

TP391

A

1001-8891(2022)07-0686-07

2021-10-24；

2021-11-09.

李威（1997-），男，碩士，主要從事圖像融合的研究，E-mail：lv2881314@163.com。

李忠民（1975-），男，博士，副教授，主要從事圖像融合和人工智能方向的研究，E-mail：zhongmli@nchu.edu.cn。

國家自然科學(xué)基金（61263040, 61861033）；江西省自然科學(xué)基金（20202BABL202005）。