基于BEMD改進(jìn)的視覺(jué)顯著性紅外和可見(jiàn)光圖像融合

崔曉榮，沈 濤，黃建魯，王 笛

基于BEMD改進(jìn)的視覺(jué)顯著性紅外和可見(jiàn)光圖像融合

崔曉榮，沈 濤，黃建魯，王 笛

（火箭軍工程大學(xué)，陜西 西安 710025）

針對(duì)視覺(jué)顯著性融合過(guò)程中目標(biāo)對(duì)比度低，圖像不夠清晰的問(wèn)題，本文提出一種基于二維經(jīng)驗(yàn)?zāi)B(tài)分解（bidimensional empirical mode decomposition，BEMD）改進(jìn)的Frequency Tuned算法。首先利用BEMD捕獲紅外圖像的強(qiáng)點(diǎn)、輪廓信息用于指導(dǎo)生成紅外圖像的顯著性圖，然后將可見(jiàn)光圖像和增強(qiáng)后的紅外圖像進(jìn)行非下采樣輪廓波變換（nonsubsampled contourlet transform，NSCT），對(duì)低頻部分采用顯著性圖指導(dǎo)的融合規(guī)則，對(duì)高頻部分采用區(qū)域能量取大并設(shè)定閾值的融合規(guī)則，最后進(jìn)行逆NSCT變換生成融合圖像并進(jìn)行主觀視覺(jué)和客觀指標(biāo)評(píng)價(jià)，結(jié)果表明本文方法實(shí)現(xiàn)了對(duì)原圖像多層次、自適應(yīng)的分析，相較于對(duì)比的方法取得了良好的視覺(jué)效果。

圖像融合；二維經(jīng)驗(yàn)?zāi)B(tài)分解；顯著性圖；非下采樣輪廓波變換

0 引言

伴隨著傳感器技術(shù)的發(fā)展，多源圖像融合的種類(lèi)和質(zhì)量日益提高，融合后的圖像不僅要起到增強(qiáng)的目的，還需要重點(diǎn)突出關(guān)鍵信息，便于人眼和機(jī)器更好的甄別和探測(cè)。在多源圖像融合中，紅外和可見(jiàn)光圖像幾乎可以呈現(xiàn)出所有對(duì)象固有的特征，研究成果又具有代表性意義，其算法和模型往往可以作為其它多源融合的基礎(chǔ)。融合應(yīng)用的又最為廣泛，已在導(dǎo)彈制導(dǎo)、紅外夜視、海關(guān)緝私、海上救援、森林消防、資源勘探、生物醫(yī)學(xué)等[1-2]領(lǐng)域得到廣泛和深入的研究。

融合過(guò)程依賴(lài)多尺度分解對(duì)不同頻率成分進(jìn)行區(qū)分和篩選，因而推動(dòng)著多尺度分析理論的發(fā)展，愈加靈活的局部多方向性多分辨率圖像表示方法及其改進(jìn)方案層出不窮?；谳喞捌涓倪M(jìn)的非下采樣輪廓波變化[3]、基于傳統(tǒng)Shearlet變化的非下采樣剪切波變化[4]（nonsubsampled shearlet transform，NSST）、基于二維經(jīng)驗(yàn)?zāi)B(tài)分解[5]改進(jìn)的快速自適應(yīng)二維經(jīng)驗(yàn)?zāi)B(tài)分解（fast and adaptive bidimensional empirical mode decomposition，F(xiàn)ABEMD）等多尺度分析工具已經(jīng)成功應(yīng)用于圖像融合領(lǐng)域。其中NSCT不僅具有多分辨率、局部化、多方向、平移不變等優(yōu)良特性，還能夠進(jìn)行很好的稀疏表示，可降低工程應(yīng)用中對(duì)配準(zhǔn)精度的要求，特別適合應(yīng)用在傳感器信號(hào)處理中。

近年來(lái)，隨著機(jī)器學(xué)習(xí)的發(fā)展，視覺(jué)顯著性檢測(cè)逐漸成為研究熱點(diǎn)。視覺(jué)顯著性用于描述一幅圖像或一個(gè)場(chǎng)景中某些物體吸引人視覺(jué)注意的能力，這種能力差別在于其與周?chē)矬w的差異性或者觀察者的主觀經(jīng)驗(yàn)，通常由人眼注視點(diǎn)在此區(qū)域的密集程度表示[6]。視覺(jué)顯著性應(yīng)用于圖像融合，已經(jīng)取得了良好的效果。Harel等[7]提出了一種新的自下而上的視覺(jué)顯著性模型，即基于圖的視覺(jué)顯著性（graph-based visual saliency，GBVS）。它包括兩個(gè)步驟：首先在某些特征通道上形成激活圖，然后以突出顯著性并允許與其它圖結(jié)合的方式對(duì)其進(jìn)行規(guī)范化。該模型很簡(jiǎn)單，并且在自然并行化的范圍內(nèi)具有生物學(xué)上的合理性，但是提取出的特征對(duì)象邊界模糊，不能穩(wěn)固地突出顯示顯著區(qū)域，甚至遠(yuǎn)離對(duì)象邊界。Hou等[8]提出的譜殘差（spectral residual, SR）方法，試圖將圖像轉(zhuǎn)移到頻域中去掉背景信息來(lái)進(jìn)行顯著性檢測(cè)。Achanta等[9]提出的Frequency-Tuned（FT）顯著性計(jì)算方法，利用顏色和亮度輸出具有清晰定義顯著對(duì)象邊界的全分辨率顯著圖，且保留了更多的頻率內(nèi)容，但是由于使用了高斯濾波器，在平滑圖像細(xì)節(jié)的同時(shí)也使得圖像邊緣變得模糊。

傅等人[10]用引導(dǎo)濾波器改進(jìn)FT顯著性檢測(cè)算法，用圖像引導(dǎo)濾波器來(lái)代替原算法中的高斯核函數(shù)，并將其應(yīng)用到紅外圖像顯著性檢測(cè)，有效突出了紅外目標(biāo)和可見(jiàn)光背景信息。林等人[11]使用L0范數(shù)圖像平滑改進(jìn)FT算法來(lái)提取紅外圖像的顯著性圖，并對(duì)可見(jiàn)光圖像進(jìn)行對(duì)比度受限的自適應(yīng)直方圖均衡化處理，對(duì)紅外圖像進(jìn)行S型曲線(xiàn)對(duì)比度拉伸變換，最終得到細(xì)節(jié)信息更豐富，目標(biāo)區(qū)域也更為突出的融合圖像。安影等[12]對(duì)基于FT算法的最大對(duì)稱(chēng)環(huán)繞顯著性檢測(cè)（saliency detection using maximum symmetric surround，MSS）做暗抑制改進(jìn)（dim-suppressed MSS，DSMSS），將其用于基礎(chǔ)層的融合上，并結(jié)合改進(jìn)的顯著性檢測(cè)和引導(dǎo)濾波對(duì)細(xì)節(jié)層進(jìn)行融合，取得了較好的融合效果。

Nunes等[13]提出的二維經(jīng)驗(yàn)?zāi)B(tài)分解，BEMD是一維EMD[14]的二維拓展，主要用于圖像信號(hào)的多尺度分析，在圖像融合、光譜分析等方面成功運(yùn)用。通過(guò)BEMD可以獲得原始圖像多尺度的二維固態(tài)模函數(shù)（bidimensional intrinsic mode function，BIMF）。它對(duì)于圖像中的細(xì)節(jié)信息，比如輪廓，強(qiáng)點(diǎn)，具有更強(qiáng)的描述能力，已在實(shí)際圖像處理中得到成功驗(yàn)證[15]。其分解得到的多模態(tài)成分對(duì)于描述原圖像的全局和細(xì)節(jié)特性具有良好的互補(bǔ)性，算法提取的子圖像符合視覺(jué)感知的成分，具有獨(dú)特的優(yōu)勢(shì)。

針對(duì)上述問(wèn)題，本文在Frequency-tuned顯著性檢測(cè)算法的基礎(chǔ)上引入二維經(jīng)驗(yàn)?zāi)B(tài)分解對(duì)其進(jìn)行改進(jìn)，并利用灰度因子[16]來(lái)調(diào)節(jié)紅外圖像的整體質(zhì)量，最后結(jié)合NSCT分解原理進(jìn)行濾波器的選擇和參數(shù)的設(shè)置，以達(dá)到最佳的分解效果，并設(shè)計(jì)融合規(guī)則來(lái)完成系數(shù)融合和重構(gòu)過(guò)程[17]。

1 基于二維經(jīng)驗(yàn)?zāi)B(tài)分解改進(jìn)的紅外圖像顯著性檢測(cè)算法

1.1 改進(jìn)Frequency-tuned顯著性檢測(cè)模型

顯著圖依靠灰度信息將人眼對(duì)各個(gè)區(qū)域感興趣的程度進(jìn)行量化，F(xiàn)T顯著性檢測(cè)依托人的視覺(jué)處理機(jī)制，對(duì)注意力集中的自下而上的顯著性進(jìn)行處理，受到生物學(xué)概念的啟發(fā)，利用顏色特征的中央-周邊算子來(lái)得到顯著圖，從頻率角度分析圖像，轉(zhuǎn)化成低頻部分和高頻部分。低頻部分反映了圖像的整體信息，如物體的輪廓和基本的組成區(qū)域。高頻部分則反映了圖像的細(xì)節(jié)信息，如物體的紋理。顯著性區(qū)域檢測(cè)用到的更多的是低頻部分的信息，相比其他顯著性檢測(cè)原理，更加符合人的視覺(jué)體驗(yàn)。

為了保留原始圖像最佳頻率特征，F(xiàn)T算法中使用高斯差分算子DoG來(lái)進(jìn)行濾波，如下式：

式中：1和2的值決定帶通濾波器得到的空間頻率值是否合適，當(dāng)1＞2時(shí)，低頻截止由1確定，而高頻截止由2確定。文獻(xiàn)[9]中將1驅(qū)動(dòng)到無(wú)窮大，以保留所有其它頻率。為了消除高頻噪聲和背景紋理，使用5×5高斯核，最終高頻截止頻率使用給出的p/2.75。獲取圖像的顯著性公式為：

式中：是圖像平均特征向量；whc(,)是原始圖像經(jīng)過(guò)高斯模糊后對(duì)應(yīng)(,)位置像素值，而||×||是L2范數(shù)，用歐式距離計(jì)算，同時(shí)計(jì)算Lab空間下每點(diǎn)與均值的歐式距離作為顯著值。

將DoG作為卷積核在平滑圖像細(xì)節(jié)的時(shí)候不可避免帶來(lái)邊緣模糊的現(xiàn)象，將其應(yīng)用在FT顯著性檢測(cè)中，雖然依靠設(shè)置閾值突出了目標(biāo)區(qū)域，但是顯著性區(qū)域邊界和顯著性對(duì)象質(zhì)量有待進(jìn)一步提高，本文利用二維經(jīng)驗(yàn)?zāi)B(tài)分解對(duì)原圖像中輪廓、強(qiáng)點(diǎn)等較強(qiáng)的凸顯能力，對(duì)FT算法進(jìn)行了改進(jìn)：

式中：BEMD(,)是由二維經(jīng)驗(yàn)?zāi)B(tài)分解得到的內(nèi)蘊(yùn)模式函數(shù)和殘余項(xiàng)得到的。

1.2 二維經(jīng)驗(yàn)?zāi)B(tài)分解

BEMD具有二維圖像處理能力，經(jīng)過(guò)BEMD分解得到二維本征模態(tài)函數(shù)（BIMFs）和殘余分量（Residual），可設(shè)置參數(shù)實(shí)現(xiàn)對(duì)原圖像多層次、自適應(yīng)的分析。對(duì)于圖像中的特殊信息，比如輪廓、強(qiáng)點(diǎn)等具有更強(qiáng)的描述能力，經(jīng)過(guò)分解得到如下公式：

式中：c(,)代表層BIMF，≤，r(,)為最終趨勢(shì)圖像。本研究為了更好利用BEMD分解之后得到的細(xì)節(jié)信息，對(duì)圖像(,)的分解設(shè)置為以下步驟：

1）輸入圖像，分解層數(shù)設(shè)置為（代表了BIMFs的個(gè)數(shù)）；

2）殘差分量設(shè)為，令0＝(,)；

3）在圖像平面中提取局部極大、極小值，使用3×3鄰域窗口方法從中獲取局部極大值矩陣和極小值矩陣；

6）更新c(,)＝－av，利用c精度，判斷篩選過(guò)程是否滿(mǎn)足迭代停止條件。若不滿(mǎn)足精度，則令＝c，進(jìn)入篩選流程，返回步驟3）；若滿(mǎn)足精度則令R＝R-1－c，返回步驟3），繼續(xù)分解直到層。精度SD（standard deviation）[14]選取標(biāo)準(zhǔn)差準(zhǔn)則如下：

式中：原圖像大小為×，(,)為像素位置。

在二維模態(tài)分解過(guò)程中，選取中間過(guò)程得到下式：

式中：為原始圖像；表示分解層數(shù)，隨著分解尺度的增加，余量層表示的基礎(chǔ)層信息會(huì)逐漸變模糊，細(xì)節(jié)層特征也逐漸消失，所以為了更好地指導(dǎo)顯著性圖，并不適宜取得過(guò)大。本文設(shè)計(jì)如下自適應(yīng)加權(quán)規(guī)則來(lái)提取余量層和細(xì)節(jié)層信息：

式中：B為歸一化以后得到的融合信息，接著將圖像數(shù)組進(jìn)行數(shù)值類(lèi)型轉(zhuǎn)換即得到BEMD。分解得到的混合多模態(tài)成分對(duì)于描述原始圖像的全局和細(xì)節(jié)特性具有良好的互補(bǔ)性。

1.3 紅外圖像顯著性檢測(cè)

將FT算法、基于全局對(duì)比度的LC（spatial attention model contrast-LC）[18]算法和HC（histogram contrast）算法[19]、基于局部對(duì)比度的AC（achanta contrast）[20]算法、文獻(xiàn)[10]用引導(dǎo)濾波器改進(jìn)FT顯著性檢測(cè)算法、文獻(xiàn)[11]使用L0范數(shù)圖像平滑改進(jìn)的FT算法和本文算法進(jìn)行對(duì)比實(shí)驗(yàn)，并對(duì)顯著性檢測(cè)結(jié)果進(jìn)行主觀視覺(jué)評(píng)價(jià)。

原始紅外圖像選自荷蘭TNO Human Factors Research Institute拍攝的“UN camp”，如圖1所示，

對(duì)比結(jié)果如圖2所示。

圖1 原始紅外圖像

圖2 不同顯著性算法檢測(cè)結(jié)果

從視覺(jué)效果上，本文顯著性方法處理后的效果明顯優(yōu)于經(jīng)典的FT算法，LC算法，HC算法。和文獻(xiàn)[10]方法和文獻(xiàn)[11]方法處理結(jié)果對(duì)比，目標(biāo)人物輪廓更加清晰，亮度有所增加，對(duì)無(wú)用背景信息的抑制更加充分。

2 基于顯著性指導(dǎo)的NSCT融合

2.1 紅外圖像灰度因子增強(qiáng)處理

針對(duì)紅外圖像成像機(jī)理而導(dǎo)致對(duì)比度低，視覺(jué)效果模糊的問(wèn)題[21]，本文對(duì)原紅外圖像進(jìn)行NSCT分解之前先對(duì)紅外圖像進(jìn)行預(yù)處理，采用如下處理方式：

式中：，wj為第j個(gè)像素對(duì)應(yīng)的窗口，wj為圖像中第j個(gè)像素相對(duì)應(yīng)的權(quán)值；Eg為原始灰度因子值；E(x, y)為導(dǎo)向?yàn)V波后的灰度值；J為處理后圖像；I為原始圖像；Imax為原紅外圖像最大灰度值，w∈(0,1)為修正系數(shù)。

經(jīng)過(guò)灰度因子處理以后，圖3(b)有效增強(qiáng)了紅外圖像對(duì)比度，也更好地保留了細(xì)節(jié)信息，和原圖像進(jìn)行對(duì)比，可以明顯感覺(jué)到整幅圖像的“霧”明顯減少，景深更富有層次感，即紅外圖像得到增強(qiáng)。

2.2 基于NSCT的分解過(guò)程

NSCT分解由非下采樣塔式濾波器組（Nonsubsampled Pyramid Filter Bank，NSPFB）和非下采樣方向?yàn)V波器組（Nonsubsampled Directional Filter Bank，NSDFB）兩部分組成，第一步利用非下采樣金字塔（Nonsubsampled Pyramid，NSP）對(duì)圖像進(jìn)行多尺度分解以有效捕獲圖形中的奇異點(diǎn)。第二步由二通道無(wú)下采樣扇形濾波器組進(jìn)行方向分解，由二通道分解得到四通道子帶系數(shù)。NSCT獨(dú)到之處在于對(duì)相應(yīng)的濾波器進(jìn)行上采樣操作，消除了頻譜混疊現(xiàn)象，具有優(yōu)良的平移不變特性，而且分解得到的子帶圖像和原圖像大小相同。

如圖4，NSCT分解結(jié)構(gòu)示意圖，表示出了NSCT分解的完整過(guò)程。原圖像首先經(jīng)非下采樣金字塔（NSP）分解為一個(gè)低頻子帶L1和一個(gè)高頻子帶B1；高頻子帶繼續(xù)依賴(lài)非下采樣方向?yàn)V波器組得到帶通方向子系數(shù)，目標(biāo)物的輪廓和細(xì)節(jié)特征就包含在其中。

NSCT所依賴(lài)的二通道無(wú)下采樣塔形濾波器組和二通道無(wú)下采樣扇形方向?yàn)V波器組都滿(mǎn)足Bezout恒等式，如下式，保證了完全重構(gòu)（Perfect Reconstruction，PR）條件：

式中：0、1和0、1為NSPFB的分析濾波器和綜合濾波器，0、1和0、1為NSDFB的分析濾波器和綜合濾波器。對(duì)濾波器0()和1()選擇對(duì)應(yīng)的采樣矩陣進(jìn)行上采樣和濾波操作，實(shí)現(xiàn)精確方向分解，提高了方向分辨率，并且沒(méi)有增加計(jì)算復(fù)雜度。

2.3 融合規(guī)則的設(shè)計(jì)

式中：IR＋VIS＝1。IR為(,)經(jīng)過(guò)歸一化以后得到的權(quán)重圖。

式中：(,)表示某像素點(diǎn)(,)鄰域窗口能量值，局部區(qū)域×取為3×3。(,)為(,)處像素點(diǎn)的灰度值，(,)為權(quán)值且離像素點(diǎn)(,)越近則權(quán)值越大，為設(shè)定的閾值，本文根據(jù)選取局部區(qū)域的窗長(zhǎng)來(lái)確定。

3 實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證本文所提算法的有效性，選用5組不同背景的紅外和可見(jiàn)光圖像進(jìn)行對(duì)比實(shí)驗(yàn)，這5組圖像均來(lái)自荷蘭TNO Human Factors Research Institute拍攝的公開(kāi)數(shù)據(jù)集，且都經(jīng)過(guò)嚴(yán)格配準(zhǔn)。第一組圖像是UN camp，第二組圖像是Duck，第三組是Quad，第四組圖像是Road，第五組圖像是Meting。

本文方法和DWT（discrete wavelet transform）、NSCT、NSCT-FT、文獻(xiàn)[10]基于引導(dǎo)濾波、文獻(xiàn)[11]基于L0范數(shù)圖像平滑以上5種算法進(jìn)行對(duì)比實(shí)驗(yàn)，如圖6，圖7，圖8，圖9，圖10所示。為了在不同分辨率和像素下驗(yàn)證本文方法的處理效果，所選取的圖像分辨率和像素大小不同，其中Duck像素大小為246×178，UN camp像素大小為360×270，Road像素大小為505×501，Quad像素大小為632×496，Meting像素大小為768×576。

本文所有實(shí)驗(yàn)均在MATLAB R2014a上仿真完成，計(jì)算機(jī)設(shè)備為筆記本W(wǎng)in8，處理器為Intel(R) Core(TM) i5-5200U CPU @2.20GHz，內(nèi)存（RAM）4.00GB。DWT算法采用db4小波進(jìn)行4層分解，融合方法采用簡(jiǎn)單的低頻取平均值，高頻取大的融合規(guī)則，NSCT，NSCT-FT，文獻(xiàn)[10]以及文獻(xiàn)[11]融合過(guò)程中的高低頻系數(shù)同樣采用上述融合規(guī)則。BEMD分解過(guò)程中，精度SD設(shè)置為0.1，每層最大允許的迭代次數(shù)設(shè)置為3，若還是不滿(mǎn)足精度則直接跳出，使用跳出時(shí)的值，分解層數(shù)設(shè)置為3，順序統(tǒng)計(jì)濾波器的窗口大小設(shè)置為3×3。FT顯著性算法中，高斯濾波器窗口大小根據(jù)文獻(xiàn)[9]設(shè)置為5×5。文獻(xiàn)[10]方法中，引導(dǎo)濾波器參數(shù)按照原文中設(shè)置，窗口半徑＝8，修正參數(shù)eps＝100/(×)，其中×為圖像的大小。紅外圖像處理過(guò)程中，導(dǎo)向?yàn)V波器窗口半徑設(shè)置為＝2，eps＝0.12，修正系數(shù)＝0.4，用原始圖像作為引導(dǎo)圖像。本文方法中NSCT分解過(guò)程中濾波函數(shù)窗口設(shè)置3×3，閾值設(shè)置為4，設(shè)定分解層數(shù)為4，每層分解方向數(shù)為[2,3,3,4]，NSCT選擇“pyrexc”拉普拉斯濾波器，選擇方向?yàn)V波器“vk”。

圖5 基于多尺度變換的紅外與可見(jiàn)光圖像融合方案

針對(duì)不同分辨率的圖像，本文圖6～圖10(h)設(shè)置的分解和融合參數(shù)相同，其中圖6分辨率較低，圖7～圖10分辨率較高，將用于對(duì)比不同分辨率圖像處理效果。圖10像素值最大，通過(guò)改變部分參數(shù)，即調(diào)整BEMD分解過(guò)程中的精度SD，紅外圖像處理過(guò)程中導(dǎo)向?yàn)V波器窗口半徑和修正系數(shù)，將精度SD設(shè)置為0.2，導(dǎo)向?yàn)V波器窗口半徑設(shè)置為4，修正系數(shù)設(shè)置為0.6，得到融合圖像如圖10(i)所示，用來(lái)探究本文算法對(duì)像素值較大的圖像處理效果。

圖6 UN camp融合后圖像

圖7 Duck融合后圖像

圖8 Quad融合后圖像

圖9 Road融合后圖像

圖10 Meting融合后圖像

3.1 主觀質(zhì)量評(píng)價(jià)

經(jīng)過(guò)對(duì)比觀察，以上6種融合算法都成功實(shí)現(xiàn)了信息融合。圖6經(jīng)過(guò)本文算法處理以后，“人”的亮度有所增加，輪廓信息在視覺(jué)上更加清晰明亮，房子的房頂、屋檐細(xì)節(jié)信息明顯，灌木叢的融合細(xì)節(jié)層次豐富、野地富有層次感，整幅圖形具有很好的視覺(jué)效果。圖7經(jīng)過(guò)和其它5種算法對(duì)比可以發(fā)現(xiàn)，“鴨子”及周?chē)^大的植物經(jīng)過(guò)顯著性增強(qiáng)以后亮度增加，且圖像細(xì)節(jié)紋理更加豐富，紅外顯著性目標(biāo)得到很好凸顯，圖像更加清晰。圖8是在夜晚拍攝，通過(guò)對(duì)比可以發(fā)現(xiàn)行人和車(chē)輛等主要顯著性目標(biāo)明顯變的明亮，且目標(biāo)物的輪廓和細(xì)節(jié)信息偽影較少，甚至可以透過(guò)車(chē)窗看見(jiàn)車(chē)?yán)锩娴奈矬w，店門(mén)口的椅子和店鋪的門(mén)和窗戶(hù)更加清晰。圖9也是在夜間拍攝，主觀感受到整幅圖像清晰明亮，特別是路面和遠(yuǎn)處的棚頂顯著性得到凸顯，通過(guò)和其它幾種算法在細(xì)節(jié)方面對(duì)比，可以發(fā)現(xiàn)車(chē)輛的輪廓和馬路兩邊的紋理也得到充分保留，圖9和圖8共同驗(yàn)證了弱可見(jiàn)光條件下本文算法的有效性。圖10(h)房屋的輪廓和哨所的頂部較亮，較好地保持了文獻(xiàn)[10]和文獻(xiàn)[11]的顯著性效果，人的面部亮度有所增加，實(shí)現(xiàn)了對(duì)重要目標(biāo)的顯著性增強(qiáng)，左上角樹(shù)枝的顯著性保持的也較好，相比文獻(xiàn)[11]，樹(shù)枝的殘影得到有效減弱，樹(shù)枝亮度得到保持。圖10(i)相較圖10(h)在視覺(jué)感受上整體差別不大，這說(shuō)明本文算法在處理像素值較大的圖像時(shí)，處理效果趨向穩(wěn)定。

綜上，對(duì)于分辨率較高的圖7～圖10，本文算法顯著性增強(qiáng)的效果較為明顯。對(duì)于圖像分辨率較低的圖6，在保持相同的分解和融合參數(shù)下，處理效果得到部分改善，但是整幅圖像給人的視覺(jué)效果仍然欠佳，融合質(zhì)量還有待進(jìn)一步提高。本文算法在實(shí)現(xiàn)成功融合的基礎(chǔ)上，相較傳統(tǒng)的小波變化、NSCT，NSCT-FT有較大的進(jìn)步，相較文獻(xiàn)[10]，文獻(xiàn)[11]改進(jìn)的算法在部分特征和整體視覺(jué)效果上有所進(jìn)步。

3.2 客觀質(zhì)量評(píng)價(jià)

為了較全面評(píng)價(jià)本文算法在融合性能上處理效果，本文選用平均梯度[22]（Average Gradient，AG）、交叉熵（cross entropy，CE）、空間頻率[23]（Spatial Frequency，SF）、歸一化互信息[24]（normalized mutual information，NMI）、平均結(jié)構(gòu)相似度[25]（Mean Structural SI Milarity，MSSIM），AB/F[26]，信息熵[27]（Information Entropy，IE），這7項(xiàng)評(píng)價(jià)指標(biāo)來(lái)對(duì)融合過(guò)程進(jìn)行客觀評(píng)價(jià)。其中CE用來(lái)衡量圖像間的差異，值越小則差異越??；MSSIM表明源圖像和融合圖像的相似度程度，值越高融合效果越好；AB/F說(shuō)明融合圖像保留源圖像的邊緣信息情況，值越大融合效果越好。IE用來(lái)衡量信息豐富程度，熵值越大信息量越豐富；NMI體現(xiàn)了融合圖像對(duì)原始圖像信息的保持程度，值越大則獲取源圖像的信息越多；AG反映了融合圖像對(duì)微小細(xì)節(jié)反差和紋理變化的表達(dá)能力，值越大圖像越清晰；SF可度量融合圖像空間域的總體活躍度，值越大圖像越清晰。

表1、表2、表3得到了7種客觀評(píng)價(jià)指標(biāo)的數(shù)值，最優(yōu)值用黑體標(biāo)出。通過(guò)數(shù)值對(duì)比，本文方法在平均梯度、空間頻率、信息熵以及交叉熵這4個(gè)方面有所提高。5組圖像的平均梯度值和空間頻率值普遍都高，這和主觀觀察結(jié)果一致，本文方法處理過(guò)的圖像在紋理細(xì)節(jié)和清晰度方面優(yōu)于對(duì)比算法，其中第二組圖像和第三組圖像的平均梯度值變化幅度大于第一組圖像的變化幅度，從主觀視覺(jué)上看，圖6中“人”的亮度有所提升，體現(xiàn)了本文所用顯著性算法的有效性，同時(shí)因?yàn)楸尘靶畔⒕吧钸^(guò)于復(fù)雜，所以平均梯度變化幅度較小。同樣在空間頻率方面本文算法得到的值也和主觀視覺(jué)觀察到的一致，從主觀視覺(jué)上觀察，也是更清晰更舒適。在衡量圖像信息豐富程度信息熵時(shí)，本文方法并沒(méi)有在3組圖像上都表現(xiàn)最優(yōu)，表現(xiàn)最優(yōu)的兩組圖像變化幅度也不是很大，說(shuō)明本文方法在表現(xiàn)紅外和可見(jiàn)光圖像融合后整體信息豐富程度方面有缺陷，這是因?yàn)樵谟枚S經(jīng)驗(yàn)?zāi)B(tài)分解指導(dǎo)顯著圖的過(guò)程中，因?yàn)椴逯岛偷脑颍厝粫?huì)損失部分背景信息，但是本文也較好地突出了顯著性目標(biāo)，所以在信息豐富程度方面有待進(jìn)一步提高，同樣原因本文方法在MSSIM，歸一化互信息方面表現(xiàn)的都不盡如意。在交叉熵的衡量上，卻取得了很好的效果，圖6交叉熵值接近對(duì)比的算法，圖7和圖8已經(jīng)明顯小于對(duì)比算法的值。對(duì)于圖10(h)，本文算法在平均梯度、空間頻率、歸一化互信息這幾個(gè)方面仍然優(yōu)于對(duì)比算法，從客觀質(zhì)量評(píng)價(jià)角度證明本文方法對(duì)分辨率較高的圖像仍然由較好的處理效果。對(duì)圖10調(diào)整部分參數(shù)后得到客觀評(píng)價(jià)指標(biāo)如表3中(i)，通過(guò)和(h)比較可以發(fā)現(xiàn)各個(gè)評(píng)價(jià)指標(biāo)的數(shù)值比較接近，沒(méi)有出現(xiàn)某一個(gè)指標(biāo)跳變的情況，這和主觀評(píng)價(jià)指標(biāo)一致，即兩幅圖像在主觀視覺(jué)上相差不大。

表1 指標(biāo)1～4客觀評(píng)價(jià)結(jié)果

表2 指標(biāo)5～7客觀評(píng)價(jià)結(jié)果

表3 圖10客觀評(píng)價(jià)結(jié)果

4 結(jié)語(yǔ)

基于視覺(jué)顯著性的紅外和可見(jiàn)光圖像融合，符合人類(lèi)視覺(jué)系統(tǒng)（Human Visual System，HVS）的主觀感受。本文依據(jù)經(jīng)典的FT方法以及部分基于FT改進(jìn)的算法突出顯著性目標(biāo)亮度、融合圖像清晰度不足的問(wèn)題，提出依靠二維經(jīng)驗(yàn)?zāi)B(tài)分解來(lái)捕捉紅外圖像的強(qiáng)點(diǎn)和輪廓特征。最后對(duì)融合結(jié)果進(jìn)行主觀和客觀評(píng)價(jià)，主觀評(píng)價(jià)結(jié)果基本和客觀評(píng)價(jià)指標(biāo)一致，反應(yīng)了本文改進(jìn)顯著性融合算法的有效性，但是本文的部分客觀評(píng)價(jià)指標(biāo)數(shù)值有待進(jìn)一步提高，二位經(jīng)驗(yàn)?zāi)B(tài)分解過(guò)程中存在插值和迭代過(guò)程，因此算法的時(shí)間復(fù)雜度較大，后續(xù)研究中將會(huì)在改進(jìn)插值方式，提高分解效率方面開(kāi)展工作。

[1] MA C, MIAO Z, ZHANG X P, et al. A saliency prior context model for real-time object tracking[J]., 2017, 19(11): 2415-2424.

[2] HU W, YANG Y, ZHANG W, et al. Moving Object Detection Using Tensor Based Low-Rank and Saliently Fused-Sparse Decomposition[J]., 2016, 7149(c): 1-1.

[3] Da Cunha A L, ZHOU Jianping, Do M N. The nonsubsampled contourlet transform: theory, design, and applications[J]., 2006, 15(10): 3089-3101.

[4] KONG W, ZHANG L, LEI Y. Novel fusion method for visible light and infrared images based on nsst-sf-pcnn[J].2014, 65: 103-112.

[5] BHUIYANS M A , ADHAMI R R , KHAN J F. Fast and Adaptive bidimensional empirical mode decomposition using order-statistics filter based envelope estimation[J]., 2008(1): 1-18.

[6] A Toet. Computational versus psychophysical bottom-up image saliency: A comparative evaluation study[J].2011, 33(11): 2131-2146.

[7] HAREL J, KOCH C, PERONA P. Graph-based visual saliency[C]//, 2006: 545-552.

[8] HOU X, ZHANG L. Saliency detection: A spectral residual approach[C]//, 2007: 1–8.

[9] ACHANTA R, HEMAMI S, ESTRADA F, et al.Frequency-tuned salient region detection[C]//2009, 2009: 1597-1604.

[10] 傅志中, 王雪, 李曉峰, 等. 基于視覺(jué)顯著性和NSCT的紅外與可見(jiàn)光圖像融合[J]. 電子科技大學(xué)學(xué)報(bào), 2017, 46(2): 357-363.

FU Zhizhong, WANG Xue, LI Xiaofeng, et al. Infrared and Visible Image Fusion Based on Visual Saliency and NSCT[J]., 2017, 46(2): 357-363.

[11] 林子慧, 魏宇星, 張建林, 等. 基于顯著性圖的紅外與可見(jiàn)光圖像融合[J]. 紅外技術(shù), 2019, 41(7): 640-646.

LIN Zihui, WEI Yuxin, ZHANG Jianlin, et al. Image Fusion of Infrared and Visible Images Based on Saliency Map[J]., 2019, 41(7): 640-646.

[12] 安影, 范訓(xùn)禮, 陳莉, 等. 結(jié)合FABEMD 和改進(jìn)的顯著性檢測(cè)的圖像融合[J]. 系統(tǒng)工程與電子技術(shù), 2020, 42(2): 292-300.

AN Ying, FAN Xunli, CHEN Li, et al. Image fusion combining with FABEMD and improved saliency detection[J]., 2020, 42(2): 292-300.

[13] Nunes J C, Bouaoune Y, Delechelle E, et al. Image analysis by bidimensional empirical mode decomposition[J]., 2003, 21(12): 1019-1026.

[14] HUANG N E, SHEN Z, LONG S R, et al. The empirical mode de-composition and the Hilbert spectrum for nonlinear and non-stationary time series analysis[J]., 1998, 454(1971): 903-995.

[15] Bidimensional empirical model decomposition method for image processing in sensing system[J]., 2018, 68: 215 -224.

[16] 王笛, 沈濤, 孫賓賓, 等. 基于大氣灰度因子的紅外圖像增強(qiáng)算法[J]. 激光與紅外, 2019, 49(9): 1135-1140.

WANG Di, SHEN Tao, SUN Binbin, et al. Infrared image enhancement algorithm based on atmospheric gray factor[J]., 2019, 49(9): 1135-1140.

[17] MA J, ZHOU Z, WANG B, et al. Infrared and visible image fusion based on visual saliency map and weighted least square optimization[J]., 2017, 82: 8-17.

[18] ZHAI Y, SHAH M. Visual attention detection in video sequences using spatiotemporal cues[C]//14, 2006: 815-824.

[19] CHENG Mingming, Niloy J Mitra, HUANG Xiaolei,et al. Global Contrast based Salient Region Detection[J]., 2015, 37: 569-582.

[20] Achanta R, Estrada F, Wils P, et al. Salient region detection and segmentation[C]//, 2008: 66-75.

[21] 楊?lèi)?ài)萍, 王海新, 王金斌, 等. 基于透射率融合與多重導(dǎo)向?yàn)V波的單幅圖像去霧[J]. 光學(xué)學(xué)報(bào), 2019, 38(12): 104-114.

YANG Aiping, WANG Haixin, WANG Jinbin, et al. Image Dehazing Based on Transmission Fusion and Multi-Guided Filtering[J]., 2019, 38(12): 104-114.

[22] CUI G, FENG H, XU Z, et al. Detail preserved usion of visible and infrared images using regional saliency extraction and multi-scale image decomposition[J]., 2015, 341: 199-209.

[23] Piella G, Heijmans H. A new quality metric for image fusion[C]//, 2003: 173-176.

[24] QU G, ZHANG D, YAN P. Information measure for performance of image fusion[J]., 2002, 38(7): 313-315.

[25] WANG Z, A C Bovik, H R Sheikh, et al. Image quality assessment: from error visibility to structural similarity[J]., 2004, 13(4): 600-612.

[26] Xydeas CS, Petrovic V. Objective image fusion performance measure[J]., 2000, 36(4): 308-309.

[27] J W Roberts, J Van Aardt, F Ahmed. Assessment of image fusion procedures using entropy, image quality, and multispectral classification[J]., 2008, 2(1): 023522.

Infrared and Visible Image Fusion Based on BEMD and Improved Visual Saliency

CUI Xiaorong，SHEN Tao，HUANG Jianlu，WANG Di

(Rocket Force University of Engineering, Xi’an 710025, China)

Aiming at the problems of low target contrast and insufficiently clear images in the process of visual saliency fusion, this paper proposes an improved frequency Tuned algorithm based on bi-dimensional empirical mode decomposition (BEMD). First, the strong points and contour information of the infrared image captured by BEMD is used to guide the generation of saliency maps of the infrared image. Then, the visible image and the enhanced infrared image are subjected to a non-subsampled contourlet transform(NSCT). The saliency map-guided fusion rule is used for the low-frequency part. The high-frequency part is used to set the area energy to be large and rely on the threshold value rules. Finally, the inverse NSCT transform is used to generate a fused image and subjective visual and objective index evaluations are performed to it. The results show that the method in this paper achieves a multi-level and adaptive analysis of the original image, and achieves good vision compared to the contrast methods.

images fusion, bidimensional empirical mode decomposition, saliency map, nonsubsampled contourlet transform

TP391.41

A

1001-8891(2020)11-1061-11

2020-01-23；

2020-10-28.

崔曉榮（1995-），男，碩士研究生，主要從事紅外圖像處理方面研究。E-mail: cur1601645438@163.com。