基于高斯模糊邏輯和ADCSCM的紅外與可見光圖像融合算法

李 文，葉坤濤，舒蕾蕾，李 晟

基于高斯模糊邏輯和ADCSCM的紅外與可見光圖像融合算法

李 文，葉坤濤，舒蕾蕾，李 晟

（江西理工大學(xué) 理學(xué)院，江西 贛州 341000）

為了克服當(dāng)前的紅外與可見光圖像融合算法存在著目標(biāo)不夠突出、紋理細(xì)節(jié)丟失等現(xiàn)象，本文提出了一種基于高斯模糊邏輯和自適應(yīng)雙通道脈沖發(fā)放皮層模型（Adaptive Dual-Channel Spiking Cortical Model, ADCSCM）的紅外與可見光圖像融合算法。首先，使用非下采樣剪切波變換（Non-Subsampled Sheartlet Transform, NSST）將源圖像分解為低頻和高頻部分。其次，結(jié)合新拉普拉斯能量和（New Sum of Laplacian, NSL）與高斯模糊邏輯，設(shè)定雙閾值來(lái)指導(dǎo)低頻部分進(jìn)行融合；同時(shí)，采用基于ADCSCM的融合規(guī)則來(lái)指導(dǎo)高頻部分進(jìn)行融合。最后，使用NSST逆變換進(jìn)行重構(gòu)來(lái)獲取融合圖像。實(shí)驗(yàn)結(jié)果表明，本文算法主觀視覺效果最佳，并在互信息、信息熵和標(biāo)準(zhǔn)差3項(xiàng)指標(biāo)上高于其他7種融合算法，能夠有效突出紅外目標(biāo)、保留較多紋理細(xì)節(jié)，提高融合圖像的質(zhì)量。

圖像融合；非下采樣剪切波變換；高斯模糊邏輯；自適應(yīng)雙通道脈沖發(fā)放皮層模型

0 引言

紅外圖像的目標(biāo)信息突出，但通常其對(duì)比度和空間分辨率低，且嚴(yán)重缺失細(xì)節(jié)；可見光圖像通常對(duì)比度和空間分辨率較高，細(xì)節(jié)信息豐富，但易受外界環(huán)境的干擾[1]。通過(guò)紅外與可見光圖像融合技術(shù)，可以有效地綜合紅外與可見光圖像各自的優(yōu)勢(shì)信息，形成一幅目標(biāo)更突出、細(xì)節(jié)信息更豐富的融合圖像[2]。當(dāng)前，紅外與可見光圖像融合技術(shù)已被廣泛應(yīng)用在目標(biāo)跟蹤、紅外探測(cè)、軍事以及民用等領(lǐng)域[3]。

當(dāng)前，基于多尺度變換的圖像融合算法是圖像融合算法中研究最為廣泛的一類，即使用某種多尺度變換工具將源圖像分解為低頻和高頻部分，然后分別對(duì)低頻和高頻部分進(jìn)行融合[2]。相應(yīng)地，多種多尺度變換工具已相繼被研究學(xué)者們提出，如小波變換、曲波變換（Curvelet Transform, CVT）、非下采樣輪廓波變換（Non-Subsampled Contourlet Transform, NSCT）以及剪切波變換（Sheartlet Transform, ST）等[4]。NSST是被學(xué)者們近期提出的一種多尺度變換工具，它避免了ST的下采樣操作，從而具備平移不變性，還消除了NSCT的較高計(jì)算復(fù)雜度，同時(shí)NSST具備較優(yōu)的多分辨率性及各向異性等特點(diǎn)，可以較優(yōu)地應(yīng)用于紅外與可見光圖像融合領(lǐng)域當(dāng)中[5-6]。

近些年來(lái)，多種基于多尺度變換的紅外與可見光圖像融合算法仍存在著目標(biāo)不夠突出、紋理細(xì)節(jié)丟失等現(xiàn)象。如王聰?shù)萚7]提出的一種基于脈沖發(fā)放皮層模型（Spiking Cortical Model, SCM）和復(fù)剪切波變換的融合算法，其融合圖像紋理細(xì)節(jié)較豐富，但紅外目標(biāo)不夠突出，同時(shí)紅外目標(biāo)周圍還存在著偽影現(xiàn)象。鄧立暖等[6]提出的一種基于NSST的融合算法，通過(guò)NSST分解源圖像，然后利用顯著圖和改進(jìn)的區(qū)域?qū)Ρ榷确謩e來(lái)指導(dǎo)低頻和高頻部分進(jìn)行融合，其融合圖像紅外目標(biāo)較為突出，但存在著不屬于源圖像的結(jié)構(gòu)信息，且有部分區(qū)域污染。Tan等[8]提出的一種基于多級(jí)高斯曲率濾波（Multi-Level Gaussian Curvature Filtering, MLGCF）圖像分解的融合算法，其融合圖像對(duì)比度適中，紋理細(xì)節(jié)較豐富，但存在著紅外目標(biāo)不夠突出且偏暗的現(xiàn)象。馮賀等[9]提出的一種結(jié)合拉普拉斯分解和與亮度調(diào)節(jié)的融合算法，其融合圖像整體偏暗、雖然紅外目標(biāo)較突出，但丟失了部分紋理細(xì)節(jié)。

為了較好地克服上述圖像融合算法存在的缺陷，本文提出了一種基于高斯模糊邏輯和ADCSCM的紅外與可見光圖像融合算法。首先，通過(guò)NSST將紅外與可見光圖像分解為低頻和高頻部分；其次，本文結(jié)合NSL（New Sum of Laplacian）和高斯模糊邏輯，并設(shè)定雙閾值，形成一種自適應(yīng)加權(quán)法則來(lái)指導(dǎo)低頻部分進(jìn)行融合；同時(shí)，本文對(duì)SCM進(jìn)行改進(jìn)，由單通道改為雙通道，外部輸入激勵(lì)為區(qū)域能量與邊緣測(cè)度指標(biāo)相乘，鏈接強(qiáng)度由改進(jìn)區(qū)域平均梯度自適應(yīng)調(diào)整，形成ADCSCM來(lái)指導(dǎo)高頻部分進(jìn)行融合；最后，利用NSST逆變換對(duì)融合后的低頻和高頻部分進(jìn)行重構(gòu)，獲取融合圖像。

1 基礎(chǔ)理論

1.1 非下采樣剪切波變換

由Guo等[10]提出的ST具備良好的局部性、方向敏感性等特點(diǎn)，NSST是ST的改進(jìn)版本，在繼承ST的優(yōu)點(diǎn)外，還避免了ST的下采樣操作，具備了ST沒(méi)有的平移不變性，因此NSST能夠克服圖像邊緣處的偽吉布斯現(xiàn)象。

NSST的分解過(guò)程主要為多尺度分解與方向局部化兩部分[11]。使用非下采樣金字塔濾波器組（Non-Subsampled Pyramid, NSP）對(duì)源圖像進(jìn)行多級(jí)分解，進(jìn)而實(shí)現(xiàn)多尺度分解。級(jí)分解后將產(chǎn)生1個(gè)低頻子帶和個(gè)高頻子帶，它們與源圖像的尺寸一致；使用剪切濾波器（Shearlet Filter, SF）對(duì)某一尺度下的高頻子帶進(jìn)行多級(jí)分解，形成多個(gè)不同方向上的高頻子帶，實(shí)現(xiàn)方向局部化。級(jí)分解后將產(chǎn)生2個(gè)高頻方向子帶，它們與源圖像尺寸一致。通過(guò)上述的NSP和SF分解，能夠保證NSST的各向異性和平移不變性。此外，NSST還具有良好的稀疏表示性能與低計(jì)算成本等特點(diǎn)，屬于一種有效的多尺度變換工具。

1.2 自適應(yīng)雙通道脈沖發(fā)放皮層模型

SCM由Zhan等[12]在2009年首次提出，它源于Eckhorn神經(jīng)網(wǎng)絡(luò)模型，屬于一種改進(jìn)的脈沖耦合神經(jīng)網(wǎng)絡(luò)（Pulse Coupled Neural Network, PCNN）模型。SCM除了具備PCNN的全局耦合性、同步脈沖性等特點(diǎn)外，還有參數(shù)少、計(jì)算效率高、結(jié)構(gòu)簡(jiǎn)單的特點(diǎn)。當(dāng)前，SCM在圖像分割及圖像融合等領(lǐng)域均具有明顯的優(yōu)勢(shì)[13]。

由于SCM存在著對(duì)圖像中暗部區(qū)域細(xì)節(jié)提取能力較弱的缺陷，本文在傳統(tǒng)SCM基礎(chǔ)上，提出了一種自適應(yīng)雙通道脈沖發(fā)放皮層模型，該模型能夠有效地提高對(duì)圖像中暗部區(qū)域細(xì)節(jié)的提取能力。此外，ADCSCM中同時(shí)輸入兩幅圖像的外部輸入激勵(lì)，進(jìn)而加快圖像融合的速度。本文提出的ADCSCM中神經(jīng)元結(jié)構(gòu)如圖1所示。

圖1 ADCSCM結(jié)構(gòu)

ADCSCM相對(duì)應(yīng)的數(shù)學(xué)表達(dá)式如下：

式(1)～(6)中：(,)為神經(jīng)元位置；為迭代次數(shù)；上標(biāo)1、2分別表示通道1、通道2；S為神經(jīng)元的外部輸入激勵(lì)；U為神經(jīng)元的內(nèi)部活動(dòng)項(xiàng)；E為動(dòng)態(tài)閾值；為神經(jīng)元間的鏈接權(quán)重矩陣；為神經(jīng)元的鏈接強(qiáng)度；(,)為神經(jīng)元的周圍連接；為閾值衰減系數(shù)；為閾值放大系數(shù)；X為神經(jīng)元的幅度輸出，采用sigmoid函數(shù)形式輸出表示，能夠突出幅度差異；Y為神經(jīng)元的脈沖輸出，當(dāng)Y為1時(shí)，表示神經(jīng)元成功點(diǎn)火；反之，當(dāng)Y為0時(shí)，表示神經(jīng)元未成功點(diǎn)火。

2 本文圖像融合算法

2.1 融合流程

本文結(jié)合多尺度變換工具NSST、高斯模糊邏輯以及ADCSCM特性等，提出了一種基于高斯模糊邏輯和ADCSCM的紅外與可見光圖像融合算法，融合流程圖由圖2所示，對(duì)應(yīng)的融合具體步驟分為以下4步：

步驟1：使用NSST將已配準(zhǔn)的紅外圖像A與可見光圖像B分解為低頻部分{LA(,),HA(,)}和高頻部分{LB(,),HB(,)}；

步驟2：結(jié)合NSL與高斯模糊邏輯，并設(shè)定雙閾值來(lái)指導(dǎo)低頻部分LA(,)、LB(,)進(jìn)行融合，獲取融合后的低頻部分LF(,)；

步驟3：同時(shí)采用基于ADCSCM的融合規(guī)則來(lái)指導(dǎo)高頻部分HA(,)、HB(,)進(jìn)行融合，獲取融合后的高頻部分HF(,)；

步驟4：最后，通過(guò)NSST逆變換對(duì)LF(,)、HF(,)進(jìn)行重構(gòu)，獲取融合圖像F。

圖2 本文算法融合流程圖

2.2 低頻部分融合規(guī)則

低頻部分主要是源圖像的基本信息，反映著圖像的主要輪廓。傳統(tǒng)的低頻部分融合規(guī)則如取平均法、簡(jiǎn)單加權(quán)法等容易丟失源圖像的細(xì)節(jié)，導(dǎo)致融合的效果一般。為了克服傳統(tǒng)低頻部分融合規(guī)則的缺陷，本文提出結(jié)合NSL與高斯模糊邏輯，并設(shè)定雙閾值，形成一種自適應(yīng)加權(quán)法則來(lái)指導(dǎo)低頻部分進(jìn)行融合。

拉普拉斯能量和在表明圖像的能量信息時(shí)，還能反映出圖像的邊緣特性[14]。但傳統(tǒng)拉普拉斯能量和僅計(jì)算了像素點(diǎn)的垂直和水平方向的拉普拉斯算子，未考慮對(duì)角方向的拉普拉斯算子，從而丟失了部分圖像細(xì)節(jié)。在此基礎(chǔ)上，本文增加了主對(duì)角和副對(duì)角的拉普拉斯算子值，形成NSL[14]。NSL定義為：

式(7)～(8)中：L(,)上標(biāo)可取A、B，表示紅外圖像或可見光圖像低頻部分；NLL(,)為新拉普拉斯算子；和為區(qū)域窗口測(cè)度，表示區(qū)域窗口大小為(2＋1)×(2＋1)，本文取3×3，即＝＝1。

則基于NSL的權(quán)重因子定義如下：

式中：0為權(quán)重調(diào)節(jié)參數(shù)，本文參考文獻(xiàn)[15]，相應(yīng)取0＝3。1為紅外權(quán)重因子，2為可見光權(quán)重因子。

同時(shí)，紅外圖像的直方圖呈現(xiàn)高斯分布，與高斯模糊邏輯的特性相似。側(cè)面表明高斯模糊邏輯的隸屬度可以較優(yōu)地描述紅外圖像的目標(biāo)和背景信息[16]。則紅外低頻部分的背景隸屬度B和目標(biāo)隸屬度T由高斯函數(shù)確定，分別定義如下：

式中：為紅外低頻部分的均值；為紅外低頻部分的標(biāo)準(zhǔn)差；0為自適應(yīng)調(diào)節(jié)參數(shù)，取值范圍一般為1～3，本文取0＝2。

將紅外低頻部分的背景隸屬度、目標(biāo)隸屬度與1、2相結(jié)合，形成修正的紅外權(quán)重因子1和可見光權(quán)重因子2用于融合低頻部分，1、2分別定義如下：

其次，區(qū)域能量反映著圖像中像素點(diǎn)的局部變化強(qiáng)度，可以較好地表現(xiàn)出紅外與可見光圖像各自的信息特征。圖像低頻部分區(qū)域能量RE定義為：

基于上述的區(qū)域能量，設(shè)定雙閾值1、2與其結(jié)合，進(jìn)而判斷融合圖像低頻部分中的某像素點(diǎn)屬于明顯的紅外圖像或可見光圖像特征信息。具體表述為：

因此，低頻部分融合系數(shù)LF(,)可以表示為：

2.3 高頻部分融合規(guī)則

高頻部分主要是源圖像的細(xì)節(jié)，反映著圖像的突變特性。常見的融合規(guī)則如區(qū)域能量取大、絕對(duì)值取大規(guī)則等雖然簡(jiǎn)單高效，但忽略了圖像像素間的相關(guān)性，容易導(dǎo)致融合圖像紋理細(xì)節(jié)或邊緣信息的丟失，造成圖像扭曲[17]。SCM是PCNN模型的簡(jiǎn)化版本，具有全局耦合性、同步脈沖性和計(jì)算量小等優(yōu)勢(shì)，能夠較好地突出圖像的細(xì)節(jié)部分。為了保留源圖像的細(xì)節(jié)，本文提出基于ADCSCM的融合規(guī)則來(lái)指導(dǎo)高頻部分進(jìn)行融合，其外部輸入激勵(lì)為區(qū)域能量與邊緣測(cè)度指標(biāo)相乘，鏈接強(qiáng)度由改進(jìn)區(qū)域平均梯度自適應(yīng)調(diào)整。ADCSCM在繼承SCM的優(yōu)點(diǎn)外，還能夠彌補(bǔ)SCM對(duì)圖像暗部區(qū)域細(xì)節(jié)提取能力較弱的缺陷，反映出圖像的突變特性、加快圖像融合的速度。

在ADCSCM中，記外部輸入激勵(lì)為S，鏈接強(qiáng)度為，其中上標(biāo)＝1,2，表示為通道1、通道2，其中通道1與紅外圖像A高頻部分相對(duì)應(yīng)，通道2與可見光圖像B高頻部分相對(duì)應(yīng)。

由ADCSCM的工作原理可知，外部輸入激勵(lì)S的選取十分重要，直接影響著高頻部分的融合結(jié)果。當(dāng)前，常見外部輸入激勵(lì)選取方法是通過(guò)單個(gè)區(qū)域特征，如區(qū)域能量、改進(jìn)空間頻率等確定，但由此容易導(dǎo)致融合的圖像缺乏細(xì)節(jié)和邊緣等信息。因此，本文提出外部輸入激勵(lì)S由區(qū)域能量和邊緣測(cè)度指標(biāo)共同選取，可以使融合圖像保持著更多的細(xì)節(jié)和邊緣信息。圖像高頻部分區(qū)域能量RE和邊緣測(cè)度指標(biāo)EM分別定義為：

式中：H(,)上標(biāo)可取A、B，表示紅外圖像或可見光圖像高頻部分。

通過(guò)上述邊緣測(cè)度指標(biāo)EM，能夠在一定程度上反映出高頻部分在垂直、水平和對(duì)角線方向的邊緣信息[18]。聯(lián)合邊緣測(cè)度指標(biāo)和區(qū)域能量作為ADCSCM的外部輸入激勵(lì)，能夠反映出紅外與可見光圖像高頻部分系數(shù)不同的特性。表示為：

圖像中像素點(diǎn)與ADCSCM中神經(jīng)元互相對(duì)應(yīng)，圖像的區(qū)域平均梯度可以敏銳地感知細(xì)節(jié)差異，反映著圖像的紋理信息變化情況。ADCSCM中每個(gè)神經(jīng)元的鏈接強(qiáng)度并不相同，通過(guò)區(qū)域平均梯度自適應(yīng)調(diào)整鏈接強(qiáng)度，恰好對(duì)應(yīng)著不同神經(jīng)元的鏈接特性。為了更好地保留高頻部分有效信息，本文增加主對(duì)角線和副對(duì)角線處方向的梯度計(jì)算[19]，形成改進(jìn)區(qū)域平均梯度IAG。IAG的數(shù)學(xué)表達(dá)式為：

式(17)～(21)中：×表示區(qū)域大小，本文取為3×3，1(,)、2(,)、3(,)、4(,)分別為當(dāng)前區(qū)域內(nèi)的垂直、水平、主對(duì)角和副對(duì)角的梯度。

同時(shí)，本文提出鏈接強(qiáng)度由IAG自適應(yīng)調(diào)整，但又不完全依賴于IAG，能夠更好地表現(xiàn)出神經(jīng)元之間的鏈接關(guān)系，反映出紅外與可見光圖像高頻部分中不同像素點(diǎn)對(duì)應(yīng)的神經(jīng)元點(diǎn)火先后。鏈接強(qiáng)度表示為：

式中：0為初始鏈接強(qiáng)度，本文取0＝2.0。

因此，本文提出的一種基于ADCSCM的融合規(guī)則具體可分為以下4步：

步驟1：利用式(14)～(16)計(jì)算出紅外與可見光圖像高頻部分各自的外部輸入激勵(lì)，同時(shí)利用式(17)～(22)計(jì)算出紅外與可見光圖像高頻部分各自的鏈接強(qiáng)度；

步驟4：通過(guò)ADCSCM獲取的高頻部分融合系數(shù)HF(,)選取規(guī)則為：

3 實(shí)驗(yàn)與分析

為了檢驗(yàn)本文算法的融合性能，選取CVT[20]、NSCT[21]、GTF[22]、NSCT-PCNN[23]、NSST- PAPCNN[24]、MS-WLS[3]、MLGCF[8]共7種融合算法與本文算法進(jìn)行融合對(duì)比實(shí)驗(yàn)。實(shí)驗(yàn)中，選取4組經(jīng)典的紅外與可見光圖像進(jìn)行融合，分別記為“Camp”、“Lake”、“Flower”和“Bench”圖像。實(shí)驗(yàn)相關(guān)環(huán)境為：Intel Core i7-9750H，CPU主頻為2.60GHz，內(nèi)存為16GB，Windows10操作系統(tǒng)和Matlab 2019a軟件仿真平臺(tái)。

圖3～6為4組經(jīng)典的紅外與可見光圖像在8種不同的融合算法下所得到的融合結(jié)果。

圖3 “Camp”圖像的融合結(jié)果

圖4 “Lake”圖像的融合結(jié)果

圖6 “Bench”圖像的融合結(jié)果

3.1 主觀視覺分析

首先，通過(guò)人眼視覺系統(tǒng)對(duì)上述4組紅外與可見光圖像的融合結(jié)果進(jìn)行主觀分析。

圖3為“Camp”圖像的融合結(jié)果。CVT和NSCT算法的融合圖像對(duì)比度和清晰度偏低，紋理細(xì)節(jié)損失較多，且人物目標(biāo)處存在偽影現(xiàn)象；GTF算法的融合圖像人物目標(biāo)部分丟失且整體模糊，嚴(yán)重缺失可見光細(xì)節(jié)；NSCT-PCNN和NSST-PAPCNN算法的融合圖像人物目標(biāo)較清晰，但嚴(yán)重缺失紋理細(xì)節(jié)和圍欄信息，且NSST-PAPCNN算法的融合圖像邊緣輪廓十分模糊；MS-WLS和MLGCF算法的融合圖像人物目標(biāo)較清晰，紋理細(xì)節(jié)較為豐富，但缺失了部分可見光細(xì)節(jié)；而本文算法的融合圖像人物目標(biāo)和邊緣輪廓清晰，紋理細(xì)節(jié)豐富，灌木、圍欄等背景信息保留完整。

圖4為“Lake”圖像的融合結(jié)果。CVT、NSCT和GTF算法的融合圖像對(duì)湖面信息表征出不同程度地丟失，未能成功地綜合可見光圖像的湖面信息；NSCT-PCNN算法的融合圖像林木信息茂盛，但湖面存在著區(qū)域污染，NSST-PAPCNN算法的融合圖像整體偏亮，右上角字母處較模糊；MS-WLS和MLGCF算法的融合圖像整體對(duì)比度偏低，湖面和草地信息較豐富；本文算法的融合圖像整體對(duì)比度適中，清晰度高，較好地結(jié)合了紅外與可見光圖像的湖面和草地信息。

圖5為“Flower”圖像的融合結(jié)果。8種算法的邊緣輪廓清晰、紋理細(xì)節(jié)較豐富，但CVT和NSCT算法的融合圖像紅外目標(biāo)處存在著偽影；GTF、NSCT-PCNN和NSST-PAPCNN算法的融合圖像清晰度較低；本文算法的融合圖像紅外目標(biāo)更突出，整體清晰度和視野信息保真度更高。

圖6為“Bench”圖像的融合結(jié)果。CVT和NSCT算法的融合圖像缺乏紋理細(xì)節(jié)，人物目標(biāo)處存在偽影；GTF算法的融合圖像嚴(yán)重缺失可見光圖像里的信息；NSCT-PCNN算法的融合圖像人物目標(biāo)較突出，但水面處存在著區(qū)域污染；NSST-PAPCNN算法的融合圖像人物目標(biāo)模糊，但缺乏背景信息；MS-WLS和MLGCF算法的融合圖像視野信息保真度較高，缺乏背景信息；本文算法的融合圖像人物目標(biāo)突出，可見光背景信息豐富，邊緣輪廓清晰。

故綜合對(duì)比圖3～6，本文算法的融合圖像主觀視覺效果表現(xiàn)最佳，更符合人眼視覺系統(tǒng)的輸出。

3.2 客觀指標(biāo)評(píng)價(jià)

本文選用互信息（Mutual Information, MI）、信息熵（Information Entropy, IE）、空間頻率（Spatial Frequency, SF）、標(biāo)準(zhǔn)差（Standard Deviation, SD）以及視覺信息保真度（Visual Information Fidelity for Fusion, VIFF）共5項(xiàng)指標(biāo)對(duì)4組紅外與可見光圖像的融合結(jié)果進(jìn)行客觀評(píng)價(jià)，5項(xiàng)客觀指標(biāo)為正項(xiàng)指標(biāo)，其值越大表明著融合效果相對(duì)越好。表1為4組融合圖像在5項(xiàng)指標(biāo)下的客觀評(píng)價(jià)結(jié)果，最優(yōu)值已通過(guò)加粗標(biāo)出。

觀察表1，通過(guò)對(duì)比4組圖像上8種融合算法各自的5項(xiàng)客觀指標(biāo)值，可以發(fā)現(xiàn)本文算法的SF在“Camp”圖像上稍低于MS-WLS算法，在“Lake”圖像上低于NSCT-PCNN和MS-WLS算法，在“Flower”圖像上稍低于MLGCF算法，在“Bench”圖像上稍低于MS-WLS算法；VIFF在“Lake”圖像上略低于MS-WLS算法，在“Octec”圖像上低于MS-WLS和MLGCF算法，其余兩組圖像上，本文算法的VIFF均為最優(yōu)值；此外，本文算法對(duì)MI、IE和SD共3項(xiàng)指標(biāo)值的提升效果顯著，在4組融合圖像上始終為最優(yōu)值，并在IE和SD兩項(xiàng)指標(biāo)上遠(yuǎn)高于其他7種融合算法。綜合上述對(duì)4組融合圖像的5項(xiàng)客觀指標(biāo)值進(jìn)行分析，本文算法的整體表現(xiàn)最佳。綜合主觀視覺分析和客觀指標(biāo)評(píng)價(jià)而言，本文算法的融合性能最佳，優(yōu)于其他7種傳統(tǒng)或當(dāng)前流行的融合算法。

表1 4組融合圖像的客觀評(píng)價(jià)結(jié)果

4 結(jié)論

本文提出了一種基于高斯模糊邏輯和ADCSCM的紅外與可見光圖像融合算法。利用NSST的平移變換性、各向異性等特點(diǎn)將紅外與可見光圖像分解為低頻和高頻部分，通過(guò)自適應(yīng)加權(quán)法則指導(dǎo)低頻部分進(jìn)行融合，同時(shí)通過(guò)基于ADCSCM的融合規(guī)則指導(dǎo)高頻部分進(jìn)行融合。實(shí)驗(yàn)結(jié)果表明，本文算法在主觀視覺和客觀指標(biāo)上均表現(xiàn)更優(yōu)，其融合圖像更為清晰，紅外目標(biāo)突出，紋理細(xì)節(jié)和邊緣信息也更豐富，同時(shí)能夠獲得較高的互信息、信息熵和標(biāo)準(zhǔn)差，是一種有效的紅外與可見光圖像融合算法。

[1] 劉佳, 李登峰. 馬氏距離與引導(dǎo)濾波加權(quán)的紅外與可見光圖像融合[J]. 紅外技術(shù), 2021, 43(2): 162-169.

LIU Jia, LI Dengfeng. Infrared and visible light image fusion based on mahalanobis distance and guided filter weight-ing[J]., 2021, 43(2): 162-169.

[2] 江澤濤, 何玉婷, 張少欽. 一種基于對(duì)比度增強(qiáng)和柯西模糊函數(shù)的紅外與弱可見光圖像融合算法[J]. 光子學(xué)報(bào), 2019, 48(6): 149-158.

JIANG Zetao, HE Yuting, ZHANG Shaoqin. Infrared and low-light-level visible image fusion algorithm based on contrast enhancement and cauchy fuzzy function[J]., 2019, 48(6): 149-158.

[3] MA J, ZHOU Z, WANG B, et al. Infrared and visible image fusion based on visual saliency map and weighted least square optimization[J]., 2017, 82: 8-17.

[4] 王建, 吳錫生. 基于改進(jìn)的稀疏表示和PCNN的圖像融合算法研究[J].智能系統(tǒng)學(xué)報(bào), 2019, 14(5): 922-928.

WANG Jian, WU Xisheng. Image fusion based on the improved sparse representation and PCNN[J]., 2019, 14(5): 922-928.

[5] LIU Z, FENG Y, CHEN H, et al. A fusion algorithm for infrared and visible based on guided filtering and phase congruency in NSST domain[J]., 2017, 97: 71-77.

[6] 鄧立暖, 堯新峰. 基于NSST的紅外與可見光圖像融合算法[J]. 電子學(xué)報(bào), 2017, 45(12): 2965-2970.

DENG Linuan, YAO Xinfeng. Research on the fusion algorithm of infrared and visible images based on non-subsampled shearlet transform[J]., 2017, 45(12): 2965-2970.

[7] 王聰, 錢晨, 孫偉, 等. 基于SCM和CST的紅外與可見光圖像融合算法[J]. 紅外技術(shù), 2016, 38(5): 396-402.

WANG Cong, QIAN Chen, SUN Wei, et al. Infrared and visible images fusion based on SCM and CST[J]., 2016, 38(5): 396-402.

[8] TAN W, ZHOU H, SONG J, et al. Infrared and visible image perceptive fusion through multi-level Gaussian curvature filtering image decomposition[J]., 2019, 58(12): 3064-3073.

[9] 馮賀, 李立, 趙凱. 基于拉普拉斯分解耦合亮度調(diào)節(jié)的可見光與紅外圖像融合算法[J]. 電子測(cè)量與儀器學(xué)報(bào), 2020, 34(10): 91-97.

FENG He, LI Li, ZHAO Kai. Fusion algorithm of visible and infrared image based on Laplace decomposition coupled with brightness adjustment[J]., 2020, 34(10): 91-97.

[10] GUO K, LABATE D. Optimally sparse multidimensional representation using shearlets[J]., 2007, 39(1): 298-318.

[11] 焦姣, 吳玲達(dá). 向?qū)V波和NSST相結(jié)合的多光譜與全色圖像融合算法[J]. 通信學(xué)報(bào), 2018, 39(S2): 79-87.

JIAO Jiao, WU Lingda. Multispectral and panchromatic images fusion method based on guided filter and NSST[J]., 2018, 39(S2): 79-87.

[12] ZHAN K, ZHANG H, MA Y. New spiking cortical model for invariant texture retrieval and image processing[J]., 2009, 20(12): 1980-1986.

[13] ZHAO C, HUANG Y, QIU S. Infrared and visible image fusion algorithm based on saliency detection and adaptive double-channel spiking cortical model[J]., 2019, 102:102976.

[14] 羅娟, 王立平, 譚云蘭. 二代Curvelet變換耦合細(xì)節(jié)度量模型的遙感圖像融合算法[J]. 電子測(cè)量與儀器學(xué)報(bào), 2019, 33(7): 129-136.

LUO Juan, WANG Liping, TAN Yunlan. Remote sensing image fusion method using second generation curvelet transform coupled with detail metric model[J]., 2019, 33(7): 129-136.

[15] 蘇金鳳, 張貴倉(cāng), 汪凱. 結(jié)合魯棒主成分分析和非下采樣輪廓波變換的紅外與可見光圖像的壓縮融合[J].激光與光電子學(xué)進(jìn)展, 2020, 57(4): 84-93.

SU J F, ZHANG G C, WANG K. Compressed fusion of infrared and visible images combining robust principal component analysis and non-subsampled contour transform[J]., 2020, 57(4): 84-93.

[16] YIN S, CAO L, TAN Q, et al. Infrared and visible image fusion based on NSCT and fuzzy logic[C]//2010, 2010: 671-675.

[17] 朱攀, 黃戰(zhàn)華. 基于二維經(jīng)驗(yàn)?zāi)B(tài)分解和高斯模糊邏輯的紅外與可見光圖像融合[J]. 光電子·激光, 2017, 28(10): 1156-1162.

ZHU Pan, HUANG Zhanhua. Fusion of infrared and visible images based on BEMD and GFL[J]., 2017, 28(10): 1156-1162.

[18] 閆利, 向天燭. NSCT域內(nèi)結(jié)合邊緣特征和自適應(yīng)PCNN的紅外與可見光圖像融合[J]. 電子學(xué)報(bào), 2016, 44(4): 761-766.

YAN Li, XIANG Tianzhu. Fusion of infrared and visible based on edge feature and adaptive PCNN in NSCT domain[J]., 2016, 44(4): 761-766.

[19] 侯瑞超, 周冬明, 聶仁燦, 等. 結(jié)合HSI變換與雙通道脈沖發(fā)放皮層的彩色多聚焦圖像融合[J]. 云南大學(xué)學(xué)報(bào): 自然科學(xué)版, 2019, 41(2): 245-252.

HOU Ruichao, ZHOU Dongming, NIE Rencan, et al. Multi-focus color image fusion using HSI transform and dual channel spiking cortical model[J].: Natural Sciences Edition, 2019, 41(2): 245-252.

[20] Nencini F, Garzelli A, Baronti S, et al. Remote sensing image fusion using the curvelet transform[J]., 2007, 8(2): 143-156.

[21] ZHANG Q, Guo B. Multifocus image fusion using the nonsubsampled contourlet transform[J]., 2009, 89(7): 1334-1346.

[22] MA J, CHEN C, LI C, et al. Infrared and visible image fusion via gradient transfer and total variation minimization[J]., 2016, 31: 100-109.

[23] QU X, YAN J, XIAO H, et al. Image fusion algorithm based on spatial frequency-motivated pulse coupled neural networks in nonsubsampled contourlet transform domain[J]., 2008, 34(12): 1508-1514.

[24] YIN M, LIU X, LIU Y, et al. Medical image fusion with parameter-adaptive pulse coupled neural network in nonsubsampled shearlet transform domain[J]., 2019, 68(1): 49-64.

Infrared and Visible Image Fusion Algorithm Based on Gaussian Fuzzy Logic and Adaptive Dual-Channel Spiking Cortical Model

LI Wen，YE Kuntao，SHU Leilei，LI Sheng

(School of Science, Jiangxi University of Science and Technology, Ganzhou 341000, China)

To overcome the shortcomings of current infrared and visible image fusion algorithms, such as non-prominent targets and the loss of many textural details, a novel infrared and visible image fusion algorithm based on Gaussian fuzzy logic and the adaptive dual-channel spiking cortical model (ADCSCM) is proposed in this paper. First, the source infrared and visible images are decomposed into low- and high-frequency parts by non-subsampled shearlet transform (NSST). Then, these are combined with the new sum of the Laplacian and Gaussian fuzzy logic, and dual thresholds are set to guide the fusion of the low-frequency part; simultaneously, the fusion rule based on the ADCSCM is used to guide the fusion of the high-frequency part. Finally, the fused low- and high-frequency parts are reconstructed using inverse NSST to obtain the fused image. The experimental results show that the proposed algorithm has the best subjective visual effect and is better than the other seven fusion algorithms in terms of mutual information, information entropy, and standard deviation. Furthermore, the proposed algorithm can effectively highlight the infrared target, retain more textural details, and improve the quality of the fused image.

image fusion，non-subsampled sheartlet transform，Gaussian fuzzy logic，adaptive dual-channel spiking cortical model

TP391.41

A

1001-8891(2022)07-0693-09

2021-05-20；

2021-08-05

李文（1997-），男，碩士研究生，主要研究方向?yàn)閳D像融合。E-mail：13986775110@163.com。

葉坤濤（1972-），男，博士，副教授，主要研究方向?yàn)镸EMS、信號(hào)處理。E-mail：mems_123@126.com。

江西省教育廳科學(xué)技術(shù)研究項(xiàng)目（GJJ170526）。