基于Tetrolet變換的近紅外與彩色可見(jiàn)光圖像融合算法研究

苑玉彬，彭 靜，沈 瑜，陳小朋

〈圖像處理與仿真〉

基于Tetrolet變換的近紅外與彩色可見(jiàn)光圖像融合算法研究

苑玉彬，彭 靜，沈 瑜，陳小朋

（蘭州交通大學(xué) 電子與信息工程學(xué)院，甘肅 蘭州 730070）

針對(duì)近紅外與彩色可見(jiàn)光圖像融合后出現(xiàn)的對(duì)比度降低、細(xì)節(jié)丟失、顏色失真等問(wèn)題，提出一種基于Tetrolet變換和自適應(yīng)脈沖耦合神經(jīng)網(wǎng)絡(luò)PCNN（PCNN-Pulse Coupled Neural Network）的近紅外與彩色可見(jiàn)光圖像融合的新算法。首先將彩色可見(jiàn)光源圖像轉(zhuǎn)換到各個(gè)分量相對(duì)獨(dú)立的HSI空間（HSI-Hue Saturation Intensity)，將其亮度分量與近紅外圖像進(jìn)行Tetrolet分解，對(duì)分解后得到的低頻系數(shù)，提出一種從給定不完備數(shù)據(jù)集中尋找潛在分布最大似然估計(jì)的期望最大算法融合規(guī)則；對(duì)分解后得到的高頻系數(shù)，采用一種Sobel算子自動(dòng)調(diào)節(jié)閾值的自適應(yīng)PCNN模型作為融合規(guī)則；處理后的高低頻圖像經(jīng)Tetrolet逆變換作為融合后的亮度圖像，提出一種飽和度分量自適應(yīng)拉伸方法來(lái)解決圖像飽和度下降的問(wèn)題。處理后的各個(gè)分量反向映射到RGB空間，完成融合。將本文算法與多種高效融合算法進(jìn)行對(duì)比分析，實(shí)驗(yàn)表明，本方法取得的圖像，細(xì)節(jié)清晰，色彩對(duì)比度得到提升，在圖像飽和度、顏色恢復(fù)性能、結(jié)構(gòu)相似性和對(duì)比度等客觀評(píng)價(jià)指標(biāo)上均具有明顯的優(yōu)勢(shì)。

彩色圖像融合；Tetrolet變換；期望最大算法；自適應(yīng)脈沖耦合神經(jīng)網(wǎng)絡(luò)

0 引言

圖像融合是將多幅具有不同特征的源圖像進(jìn)行融合，得到源圖像的所有重要特征，能夠降低信息的不確定性，擴(kuò)展了圖像內(nèi)容，更適用于后續(xù)的識(shí)別處理和研究。近紅外與彩色可見(jiàn)光圖像融合技術(shù)能將近紅外傳感器獲取的人眼無(wú)法觀測(cè)到的細(xì)節(jié)信息同彩色可見(jiàn)光圖像中的場(chǎng)景信息等結(jié)合起來(lái)，因此本研究在軍事和民用領(lǐng)域具有重要意義[1-3]。

在近紅外與可見(jiàn)光圖像的融合方法探索中，基于多尺度幾何分析的方法應(yīng)用最為廣泛。2010年，Jens Krommweh[4]等提出了Tetrolet變換，它是一種具有良好的方向性結(jié)構(gòu)的稀疏圖像表示方法，能夠較好地表達(dá)圖像的高維紋理特征，并具有高稀疏性，更適合在圖像融合中作為融合框架。LIU[5]等利用凸度圖在兩幅原始圖像中檢測(cè)感興趣區(qū)域ROI（ROI-Region of interest），然后在兩幅紅外圖像上進(jìn)行多尺度變換。根據(jù)ROI檢測(cè)將變換得到的子帶系數(shù)分為4類，并對(duì)每種系數(shù)進(jìn)行了融合規(guī)則的定制。Jie[6]等應(yīng)用基于非下采樣剪切變換和熱源濃度比的融合方法，克服了方向分解的局限性，具有更好的平移不變性。通過(guò)變換將輸入分解為兩部分，在低頻部分采用熱源濃度比和空間頻率以盡可能多地保留重要信息，信息熵作為高頻融合規(guī)則。Nemalidinned[7]等對(duì)分解后的低頻分量采用PCNN進(jìn)行融合，通過(guò)拉普拉斯激勵(lì)修正神經(jīng)網(wǎng)絡(luò)經(jīng)，以保持兩個(gè)源圖像中的最大可用信息。高頻采用局部對(duì)數(shù)Gabor進(jìn)行融合。Cheng[8]等將PCNN與奇異值分解應(yīng)用到圖像融合中，使用兩種分量的圖像平均梯度分別作為刺激源。將局部結(jié)構(gòu)信息算子作為增強(qiáng)融合精度的自適應(yīng)連接強(qiáng)度，對(duì)每個(gè)源圖像進(jìn)行局部奇異值分解，自適應(yīng)地確定迭代次數(shù)。Zhang[9]等將Tetrolet分解后的低頻采用平均融合，高頻采用區(qū)域能量最大值融合分量。Zhou[10]等將Tetrolet分解后的低通子帶系數(shù)采用局部區(qū)域梯度信息方法進(jìn)行融合，具有更豐富的特征和更多的信息量。馮鑫[11]將Tetrolet分解后的低頻采用學(xué)習(xí)字典，高頻采用PCNN方法進(jìn)行融合。這些方法均取得了良好的融合結(jié)果。

本文根據(jù)HSI色彩空間中3個(gè)分量不相關(guān)的特征，提出一種新的融合方法。首先采用標(biāo)準(zhǔn)模型法將彩色可見(jiàn)光圖像轉(zhuǎn)到HSI空間，對(duì)亮度分量和近紅外圖像進(jìn)行Tetrolet分解。采用一階范數(shù)最大值進(jìn)行模板的選擇，解決了原始的Tetrolet變換降低高頻系數(shù)取值范圍的問(wèn)題，使分解后的高頻分量中包含了更多的輪廓信息。從給定不完備數(shù)據(jù)集中尋找潛在分布最大似然估計(jì)，提出了一種基于最大期望算法的低頻分量融合規(guī)則。為了更好地保留融合圖像的細(xì)節(jié)信息，在高頻分量融合時(shí)采用選取點(diǎn)火次數(shù)最多的神經(jīng)元所對(duì)應(yīng)的系數(shù)的PCNN網(wǎng)絡(luò)作為高頻分量，并利用Sobel算子自適應(yīng)地控制PCNN的閾值。經(jīng)過(guò)Tetrolet逆變換得到新的亮度分量。最后再將3個(gè)分量反向映射到RGB空間（RGB-Red Green Blue），完成處理。

1 算法思想

1.1 HSI空間映射

HSI空間為另外一種色彩描述方法，將顏色分成了如下3個(gè)特征：第一個(gè)特征是色調(diào)或色度（Hue），可表示RGB等各種顏色的種類；第二個(gè)特征是用來(lái)表示顏色的鮮艷程度的，即飽和度或彩度（Saturation）；第3個(gè)特征是用來(lái)表明明暗的，稱為明度或亮度（Intensity）。同時(shí)這3個(gè)通道具有較強(qiáng)的獨(dú)立性并且同圖像的彩色信息無(wú)關(guān)，因此這些特點(diǎn)使得HSI模型廣泛應(yīng)用于彩色圖像的特性檢測(cè)與處理[12]。

本文采用標(biāo)準(zhǔn)模型法對(duì)圖像完成空間轉(zhuǎn)換，方式具體如下：

＝＋2p, if＜0 (2)

＝Max－Min (3)

＝(Max＋Min)/2 (4)

式中：、、均為歸一化數(shù)據(jù)。

1.2 Tetrolet變換

Tetrolet變換是一種Haar類的小波變換，能夠根據(jù)圖像特征自適應(yīng)的調(diào)整四拼版的填充方式進(jìn)行分解，以達(dá)到最優(yōu)解，比傳統(tǒng)的多尺度變換能夠獲得更多的細(xì)節(jié)信息[4]。具體如下：

Step 2 采用一階范數(shù)的最大值進(jìn)行濾波替換原始的一階范數(shù)的最小值進(jìn)行濾波，以期得到更多的邊緣和輪廓信息。選擇公式為：

Step 3 將低頻系數(shù)重新排列，保留最優(yōu)模板，得到的低頻系數(shù)重新進(jìn)行Step 1，直至分解完成。

改進(jìn)前后的對(duì)比如圖1所示。由圖可知改進(jìn)的Tetrolet變換能夠保存更多的輪廓和邊緣細(xì)節(jié)，對(duì)融合處理更有利。

圖1 原始Tetrolet變換和改進(jìn)的Tetrolet變換效果對(duì)比圖

1.3 PCNN模型

PCNN由含有輸入域、調(diào)制域和脈沖產(chǎn)生器的多個(gè)神經(jīng)元構(gòu)成，圖像的每個(gè)像素同PCNN神經(jīng)元一一對(duì)應(yīng)，輸出狀態(tài)有點(diǎn)火和不點(diǎn)火2種[13]。簡(jiǎn)化模型如圖2所示。

圖2 PCNN單個(gè)神經(jīng)元簡(jiǎn)化模型圖

在PCNN的處理中，輸入域接收外界輸入S和前一級(jí)反饋輸出F，接收到的信號(hào)在調(diào)制域經(jīng)過(guò)非線性調(diào)制得到活動(dòng)信號(hào)U，脈沖產(chǎn)生器比較U與閾值的大小，U大于時(shí)，產(chǎn)生脈沖Y＝1，點(diǎn)火一次，接著快速增加，直到當(dāng)大于U時(shí)，輸出Y＝0，形成脈沖信號(hào)Y。

前期的圖像融合算法研究中通常直接設(shè)定PCNN模型的閾值為固定值，本文提出采用Sobel算子自適應(yīng)地控制PCNN的閾值[14]，具體如下：

式中：(,)為高頻子帶系數(shù)。

2 基于Tetrolet變換的近紅外與彩色可見(jiàn)光圖像融合算法

在對(duì)Tetrolet變換和自適應(yīng)PCNN模型進(jìn)行改進(jìn)的基礎(chǔ)上，并結(jié)合HSI圖像空間各個(gè)分量相互獨(dú)立的特點(diǎn)，提出了一種新的融合算法，具體步驟如下：

1）采用標(biāo)準(zhǔn)模型法將彩色可見(jiàn)光圖像VI映射到HSI空間；

2）對(duì)亮度分量b和近紅外圖像i分別進(jìn)行Tetrolet變換，低頻系數(shù)bl與il采用期望最大算法進(jìn)行融合，得到fl；對(duì)高頻系數(shù)bh與ih采用改進(jìn)的自適應(yīng)PCNN進(jìn)行融合，得到fh。對(duì)fl與fh進(jìn)行Tetrolet逆變換，得到f作為新的亮度分量；

3）對(duì)飽和度S分量進(jìn)行自適應(yīng)非線性拉伸，得到S￠作為新的飽和度分量；

4）將新的亮度分量f、拉伸后的飽和度分量S￠和原始色度分量H反向映射到RGB空間，完成處理。

本文融合流程如圖3所示。

2.1 基于期望最大算法的低頻系數(shù)融合規(guī)則

本文通過(guò)從給定不完備數(shù)據(jù)集中尋找潛在分布最大似然估計(jì)，將期望最大算法運(yùn)用到低頻系數(shù)圖像的融合中[15]。假定待融合的幅低頻圖像I,∈{1, 2, …,}來(lái)自一幅未知圖像()，說(shuō)明數(shù)據(jù)集是不完備的。l的一個(gè)通用模型為：

I(,)＝(,)()＋(,) (9)

式中：(,)∈{－1, 0, 1}為傳感器選擇性因子；(,)為位置(,)處的隨機(jī)噪聲。當(dāng)圖像不具備同樣的形態(tài)時(shí)，使用傳感器選擇性因子：

在低頻融合中，對(duì)局部噪聲(,)使用個(gè)高斯概率密度函數(shù)進(jìn)行表示：

式中：,k(,)表示局部噪聲的期望值；,k(,)表示局部噪聲的標(biāo)準(zhǔn)差。

圖3 本文算法融合流程圖

低頻系數(shù)的融合步驟如下：

Step 1 對(duì)圖像數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化和歸一化處理：

I￠(,)＝[I(,)－](12)

式中：為整幅圖像的均值；為灰度級(jí)。

Step 2 設(shè)定各參數(shù)初始值，假設(shè)融合后的圖像為()：

式中：w為待融合圖像的權(quán)系數(shù)。

像素鄰域窗口＝×的總體方差為：

混合高斯模型的初始化方差為：

Step 3 計(jì)算在參數(shù)給定情況下，混合高斯分布第項(xiàng)條件概率密度：

Step 4 更新參數(shù)，的值在{－1, 0, 1}中選擇以使式(18)的值最大：

Step 5 更新真實(shí)場(chǎng)景()：

Step 6 更新噪聲的模型參數(shù)：

2.2 基于改進(jìn)自適應(yīng)PCNN的高頻融合規(guī)則

PCNN的點(diǎn)火次數(shù)同外界刺激成正相關(guān)，表明包含細(xì)節(jié)信息的多少，因此取點(diǎn)火次數(shù)大所對(duì)應(yīng)的Tetrolet系數(shù)。當(dāng)＝時(shí)，迭代停止，取初試值為0,l(,)＝0，0,l(,)＝0，0,l(,)＝0，得到融合后的系數(shù)F為：

2.3 圖像飽和度拉伸

若將處理后的各個(gè)分量直接轉(zhuǎn)到RGB空間，將會(huì)出現(xiàn)顏色偏淡、對(duì)比降低、色彩不突出等問(wèn)題，導(dǎo)致失真。為了達(dá)到提升對(duì)比度的目的，并且能夠在不同情境下達(dá)到最優(yōu)拉伸效果，本文提出了一種自適應(yīng)對(duì)飽和度進(jìn)行非線性拉伸的方法，具體如下：

式中：Max為分量像素最大值；Min為分量像素最小值。拉伸前后效果對(duì)比圖如圖4所示。

3 實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證本文方法的效果，選取了3種高效算法與本文進(jìn)行對(duì)比，分別為低頻取均值高頻采用區(qū)域能量最大融合規(guī)則的離散小波分解方法（DWT-Discrete wavelet transform，DWT）、低頻分量采用期望最大高頻分量采用固定閾值的PCNN的非下采樣輪廓波分解方法（NSCT-Nonsampling contourlet transform，NSCT-PCNN）[16]、低頻分量采用均值高頻分量采用固定閾值的PCNN的Tetrolet分解方法（Tetrolet-PCNN）[11]。其中DWT分解層數(shù)為4層；NSCT-PCNN分解層數(shù)為4層，分解方向分別為4、8、8、16；Tetrolet-PCNN方法中分解層數(shù)設(shè)為4層，連接強(qiáng)度設(shè)為0.118，輸入衰減系數(shù)設(shè)為0.145，連接幅值設(shè)為135.5；本文方法中，Tetrolet變換的分解層數(shù)為4層。運(yùn)行環(huán)境為：Intel i7、3.2GHz六核處理器，1T硬盤，32G內(nèi)存，Windows10操作系統(tǒng)，MATLAB2018a仿真平臺(tái)。本文選取了分辨率為1024×680的多組圖像進(jìn)行比較，分別從主觀與客觀上對(duì)實(shí)驗(yàn)結(jié)果做了對(duì)比。主觀對(duì)比如圖5和圖6所示。

圖5和圖6中的圖(a)均是彩色可見(jiàn)光圖像，主要捕捉場(chǎng)景中顏色信息和空間細(xì)節(jié)，如房屋、草地等。圖(b)均為紅外光圖像，其主要關(guān)注點(diǎn)為熱源物體，比如人體。圖(c)～圖(f)分別為各種方法的融合結(jié)果。由圖5和圖6知，DWT方法邊緣較為模糊，顏色丟失最多，融合質(zhì)量最差；NSCT-PCNN方法能夠提取源圖像中的空間細(xì)節(jié)信息，但是場(chǎng)景中的人物區(qū)域邊緣還是較為模糊；Tetrolet-PCNN方法具有較好的輪廓和邊界，但是色彩對(duì)比度與本文方法相比較還有差距；通過(guò)以上比較可知，本文方法能夠更好地保留空間細(xì)節(jié)信息以及目標(biāo)邊緣信息，邊緣與房屋紋理細(xì)節(jié)最清晰，色彩對(duì)比度更適合視覺(jué)感受，綜合效果更好。

本文選用圖像信息飽和度指標(biāo)MI、盲評(píng)估指標(biāo)、圖像結(jié)構(gòu)相似性評(píng)價(jià)指標(biāo)SSIM（Structural similarity index）和圖像對(duì)比度增益g四種評(píng)價(jià)指標(biāo)對(duì)所有融合結(jié)果進(jìn)行客觀評(píng)價(jià)。MI用來(lái)衡量原始信息在最終融合圖像中的保留情況，值越大表明保留信息越多，效果越好；盲評(píng)估指標(biāo)用于評(píng)估融合算法的顏色恢復(fù)性能，越小，融合算法的效果越好；結(jié)構(gòu)相似性SSIM的范圍為0到1。圖像完全相同時(shí)，SSIM值為1；圖像對(duì)比度增益g為融合圖像和源圖像之間的平均對(duì)比度差，能夠更直觀地展示出圖像對(duì)比度差異。表1和表2給出了兩組圖像經(jīng)過(guò)各種方法對(duì)比后的指標(biāo)數(shù)據(jù)。

圖5 第一組圖像融合結(jié)果

圖6 第二組圖像融合結(jié)果

表1 第一組圖像客觀評(píng)價(jià)指標(biāo)

表2 第二組圖像客觀評(píng)價(jià)指標(biāo)

由圖5和圖6及表1和表2可知，與已有方法相比，本文方法在圖像飽和度、顏色恢復(fù)性能、結(jié)構(gòu)相似性和對(duì)比度等客觀評(píng)價(jià)指標(biāo)上均具有明顯的優(yōu)勢(shì)。

4 總結(jié)

本文提出一種新的融合算法。為了盡可能多保留顏色信息，減少顏色信息的失真，將彩色可見(jiàn)光圖像轉(zhuǎn)到3個(gè)分量互不相關(guān)的HSI色彩空間，對(duì)3個(gè)分量分開(kāi)處理。同時(shí)，改進(jìn)了Tetrolet變換的分解框架，使分解后的高低頻系數(shù)更易于處理，融合圖像的質(zhì)量得到了大幅度提升。先將亮度分量與近紅外圖像分別進(jìn)行改進(jìn)的Tetrolet分解，低頻采用期望最大方法進(jìn)行融合，高頻采用改進(jìn)的自適應(yīng)PCNN方法進(jìn)行融合，Tetrolet反變換得到的圖像作為新的亮度分量。將新的亮度分量和拉伸后的飽和度分量與原始色度分量反映射到RGB空間，完成處理。實(shí)驗(yàn)表明，本文獲得的圖像視覺(jué)效果更好，色彩對(duì)比度高，細(xì)節(jié)豐富，更有利于后續(xù)處理。

[1] Wenshan D, Duyan B, Linyuan H, et al. Infrared and visible image fusion method based on sparse features[J]., 2018, 92: 372-380.

[2] LI J, SONG M, PENG Y. Infrared and visible image fusion based on robust principal component analysis and compressed sensing[J]., 2018, 89: 129-139.

[3] LIU C H, QI Y, DING W R. Infrared and visible image fusion method based on saliency detection in sparse domain[J]., 2017, 83: 94-102.

[4] Krommweh J. Tetrolet transform: A new adaptive Haar wavelet algorithm for sparse image representation[J]., 2010, 21(4): 364-374.

[5] LIU H X, ZHU T H, ZHAO J J. Infrared and Visible Image Fusion Based on Region of Interest Detection and Nonsubsampled Contourlet Transform[J]., 2013, 18(5): 526-534.

[6] KONG W. The Infrared and Visible Light Image Fusion Based on the Non-subsample Shearlet Transform and Heat Source Concentration Ratio[C]//(INCoS), 2016: 544-547.

[7] Nemalidinne SM, Gupta D. Nonsubsampled contourlet domain visible and infrared image fusion framework for fire detection using pulse coupled neural network and spatial fuzzy clustering[J]., 2018, 101: 84-101.

[8] CHENG B, JIN L, LI G. A novel fusion framework of visible light and infrared images based on singular value decomposition and adaptive DUAL-PCNN in NSST domain[J]., 2018, 91: 153-163.

[9] ZHANG D X, YUAN B H, ZHANG J J. Research on Polarization Image Fusion Using Tetrolet Transform[J]., 2014, 713-715: 1859-1862.

[10] ZHOU X, WANG W. Infrared and Visible Image Fusion Based on Tetrolet Transform[C]//2015,, 2015: 701-708.

[11] 馮鑫. Tetrolet框架下紅外與可見(jiàn)光圖像融合[J]. 光子學(xué)報(bào), 2019, 48(2): 76-84.

FENG X. Fusion of Infrared and Visible Images Based on Tetrolet Framework[J]., 2019, 48(2): 76-84.

[12] 孔韋韋, 雷英杰, 雷陽(yáng), 等. 基于改進(jìn)型NSCT變換的灰度可見(jiàn)光與紅外圖像融合方法[J]. 控制與決策, 2010, 25(11): 1607-1612.

KONG W W, LEI Y J, LEI Y, et al. Fusion method for gray-scale visible light and infrared images based on improved NSCT[J]., 2010, 25(11): 1607-1612.

[13] Boyang C, Longxu J, Guoning L. Infrared and visual image fusion using LNSST and an adaptive dual-channel PCNN with triple-linking strength[J]., 2018, 310: 135-147.

[14] CHEN W, YU Y J, SHI H. An Improvement of Edge-Adaptive Image Scaling Algorithm Based on Sobel Operator[C]//2017 4th, 2017: 183-186.

[15] Mittel V, Singh D, Saini L M. A comparative analysis of supervised land cover classification using multi-polarized PALSAR EM image fusion[C]//, 2015: 368-393.

[16] 榮傳振, 賈永興, 楊宇, 等. NSCT域內(nèi)基于自適應(yīng)PCNN的圖像融合新方法[J]. 信號(hào)處理, 2017, 33(3): 280-287.

RONG C Z, JIA Y X, YANG Y, et al. A Novel Image Fusion Algorithm Using Adaptive PCNN in NSCT Domain[J]., 2017, 33(3): 280-287.

Fusion Algorithm for Near-Infrared and Color Visible Images Based on Tetrolet Transform

YUAN Yubin，PENG Jing，SHEN Yu，CHEN Xiaopeng

(School of Electronic and Information Engineering, Lanzhou Jiaotong University, Lanzhou 730070, China)

To address the problems of low contrast, loss of detail, and color distortion after near-infrared and color visible image fusion, an algorithm for near-infrared and color visible image fusion based on the Tetrolet transform and pulse coupled neural network (PCNN) is proposed. First, the color visible light source image is transformed into a hue saturation intensity space, where each component is relatively independent, and its brightness component is decomposed into a near-infrared image by Tetrolet decomposition. Subsequently, a fusion rule for expectation maximization likelihood estimation of the potential distribution from a given incomplete dataset is proposed. A self-adaptive PCNN model with a Sobel operator that automatically adjusts the threshold is used as a fusion rule, and the processed high-frequency and low-frequency images are fused by Tetrolet inverse transformation as brightness images. An adaptive stretching method for the saturation component is proposed to solve the problem of image saturation decline. The processed components are mapped back to red–green–blue space to complete the fusion. The proposed algorithm was compared with several efficient fusion algorithms. The experimental results show that the image obtained by this method has clear details and improved color contrast. It has obvious advantages in image saturation, color restoration performance, structural similarity, and contrast.

color image fusion, Tetrolet transform, expectation maximization algorithm, adaptive pulse coupled neural network

TP391

A

1001-8891(2020)05-0223-08

2019-10-11；

2020-03-06.

苑玉彬（1995-），男，山東菏澤人，碩士研究生，主要研究方向?yàn)閳D像處理與計(jì)算機(jī)視覺(jué)。E-mail：164821193@qq.com。

國(guó)家自然科學(xué)基金項(xiàng)目(61861025，61562057，61663021，61761027，51669010)，長(zhǎng)江學(xué)者和創(chuàng)新團(tuán)隊(duì)發(fā)展計(jì)劃(IRT_16R36)，光電技術(shù)與智能控制教育部重點(diǎn)實(shí)驗(yàn)室（蘭州交通大學(xué)）開(kāi)放課題（KFKT2018-9），蘭州市人才創(chuàng)新創(chuàng)業(yè)項(xiàng)目（2018-RC-117）。