基于改進(jìn)模糊C均值聚類的圖像融合算法

鞏稼民，吳藝杰，劉 芳，張運(yùn)生，雷舒陶，朱澤昊

〈圖像處理與仿真〉

基于改進(jìn)模糊C均值聚類的圖像融合算法

鞏稼民，吳藝杰，劉 芳，張運(yùn)生，雷舒陶，朱澤昊

（西安郵電大學(xué) 通信與信息工程學(xué)院，陜西 西安 710061）

為了更好地突出紅外與可見光融合圖像中的目標(biāo)信息，保留更多的紋理細(xì)節(jié)信息，提出了一種基于非下采樣剪切波變換（non-subsample shearlet transform，NSST）域結(jié)合脈沖發(fā)放皮層模型（spiking cortical model，SCM）與改進(jìn)的模糊C均值聚類（fuzzy C-means clustering，F(xiàn)CM）的紅外與可見光圖像融合算法。首先，用改進(jìn)的FCM提取源紅外圖像中的紅外目標(biāo)信息；然后，將得到的紅外圖像與可見光圖像的目標(biāo)區(qū)域和背景區(qū)域進(jìn)行NSST分解，得到各自的高低頻子帶圖像；接著，對得到的不同區(qū)域采用不同的融合策略，其中，對于高頻背景區(qū)域采用SCM模型與改進(jìn)賦時(shí)矩陣進(jìn)行融合；最后，使用NSST逆變換，得到最終的融合圖像。仿真實(shí)驗(yàn)證明，與其他方法相比，本文算法得到的融合圖像在主觀視覺上紅外目標(biāo)信息突出，紋理細(xì)節(jié)信息豐富，在客觀評價(jià)上，其信息熵和邊緣保留因子達(dá)到最優(yōu)。

圖像融合；非下采樣剪切波變換；脈沖發(fā)放皮層模型；模糊C均值聚類；賦時(shí)矩陣

0 引言

紅外與可見光圖像融合可以將紅外圖像的目標(biāo)信息與可見光圖像的紋理細(xì)節(jié)信息有效結(jié)合[1]，得到信息更加豐富的融合圖像，實(shí)現(xiàn)對場景更加全面準(zhǔn)確的表達(dá)，這在醫(yī)學(xué)成像、軍事偵察、安全監(jiān)測、人臉識別、森林消防等領(lǐng)域廣泛應(yīng)用[2]。而目前的紅外與可見光圖像融合算法中，仍存在以下問題：①紅外目標(biāo)信息不夠突出，且目標(biāo)人物周圍易出現(xiàn)光暈；②邊緣細(xì)節(jié)信息不夠豐富，容易丟失。

像素級融合因圖像失真率最小而被廣泛應(yīng)用于紅外與可見光圖像融合中。像素級的圖像融合方法主要分為兩大類：空間域和變換域[3]。而多尺度幾何變換中的非下采樣剪切波變換（non-subsample shearlet transform，NSST），由于具有計(jì)算復(fù)雜度小，且耗時(shí)較少等優(yōu)點(diǎn)，被廣泛應(yīng)用在圖像分割及圖像融合領(lǐng)域。符合人眼視覺特征的脈沖發(fā)放皮層神經(jīng)元網(wǎng)絡(luò)（spiking cortical model，SCM），也被廣泛應(yīng)用于圖像融合領(lǐng)域，將NSST與SCM結(jié)合的圖像融合算法更是近些年的研究熱門。如江澤濤[4]等提出了一種結(jié)合NSST和雙通道SCM模型的圖像融合算法，使用雙通道的SCM模型對高頻分量進(jìn)行融合，得到了效果較好的融合圖像，但融合圖像的標(biāo)準(zhǔn)差較低，紅外目標(biāo)信息不夠突出且周圍容易出現(xiàn)光暈。

為了使目標(biāo)信息更加突出，基于模糊聚類的圖像融合方法被廣泛提出，使用模糊聚類的方法可對圖像進(jìn)行目標(biāo)提取，使圖像的目標(biāo)區(qū)域與背景區(qū)域分離，進(jìn)而針對其各自特點(diǎn)進(jìn)行融合。如李玉峰[5]等提出了一種采用非下采樣輪廓波變換和FCM相結(jié)合的圖像融合算法，采用FCM提取SAR圖像的目標(biāo)區(qū)域，取得了不錯(cuò)的融合效果，但非下采樣輪廓波變換計(jì)算復(fù)雜度較大，對于時(shí)間的消耗較大，影響了融合效率。鞏稼民[6]等提出了一種基于NSST與FCM的紅外與可見光圖像融合方法，獲得了目標(biāo)突出、背景清晰的融合圖像，但僅使用FCM對于紅外高頻圖像進(jìn)行分解，忽視了紅外低頻圖像的目標(biāo)信息。因此，本文在此基礎(chǔ)上進(jìn)行了改進(jìn)。

與傳統(tǒng)方法先用NSST對圖像進(jìn)行分解，然后只在高頻圖像中提取紅外目標(biāo)信息的方法不同，本文提出的算法先使用改進(jìn)的FCM對紅外圖像進(jìn)行分割，提取紅外目標(biāo)后再使用NSST分解，使得源紅外圖像中的目標(biāo)信息得到更完整的保留，然后針對不同的區(qū)域的不同特點(diǎn)，采用不同的融合規(guī)則，從而改善融合圖像中目標(biāo)信息不夠突出，紋理細(xì)節(jié)信息不夠豐富的問題。

1 基本原理

1.1 非下采樣剪切波變換

非下采樣剪切波變換[7]（NSST）是對剪切波變換的改進(jìn)，在繼承剪切波變換優(yōu)點(diǎn)的同時(shí)，避免了偽吉布斯現(xiàn)象的出現(xiàn)。使用NSST將紅外與可見光圖像分解成各自的高低頻子帶圖像，可避免其分解和重構(gòu)過程中產(chǎn)生的頻率混疊現(xiàn)象[8]，消耗的時(shí)間相對來說較少。圖像具體的NSST分解步驟如圖1所示。

第一步：源圖像經(jīng)非下采樣拉普拉斯金字塔變換（non-subsampled laplacian pyramid，NLP）分解（設(shè)分解層數(shù)為）得到一個(gè)低頻子帶圖像和個(gè)高頻子帶圖像。分解所得到的圖像大小與源圖像大小相同。

第二步：構(gòu)造時(shí)域中的剪切波濾波器（shearlet filter，SF）。利用Meyer小波基來構(gòu)造偽極化格上的頻域窗函數(shù)，然后將其映射到笛卡爾坐標(biāo)中，通過逆離散傅里葉變換得到最終的SF[9]。

第三步：對每個(gè)層的高頻圖像都構(gòu)造一個(gè)相應(yīng)的SF，通過卷積，得到在該尺度下所包含的各個(gè)方向的高頻子帶圖像。

圖1 NSST分解流程

圖中NLP表示非下采樣拉普拉斯金字塔變換；SF表示剪切波濾波器；表示子帶圖像系數(shù)；上標(biāo)中的1，2表示第一層和第二層分解，表示個(gè)不同的方向。

1.2 脈沖發(fā)放皮層模型與賦時(shí)矩陣

脈沖發(fā)放皮層模型[10]SCM是從脈沖耦合神經(jīng)元網(wǎng)絡(luò)（pulse coupled neural network，PCNN）模型為切入點(diǎn)衍生出的簡化模型。SCM不僅繼承了PCNN適于人眼觀察的優(yōu)點(diǎn)，而且參數(shù)較少，計(jì)算復(fù)雜度較低，時(shí)間消耗較少，融合效率得以提高。

SCM模型的數(shù)學(xué)表達(dá)式如公式(1)所示：

式中：(,)為圖像中像素點(diǎn)位置；為迭代次數(shù)；V為增益幅度；為連接權(quán)系數(shù)矩陣；Y為鄰域神經(jīng)元的輸出；U()是神經(jīng)元的內(nèi)部行為；為控制U()的衰減的系數(shù)；S為神經(jīng)元的外部激勵(lì)；E()為動(dòng)態(tài)閾值；和分別為閾值的衰減和放大系數(shù)。Y()表示第次迭代時(shí)，神經(jīng)元的點(diǎn)火狀態(tài)，當(dāng)Y()＝1時(shí)，稱神經(jīng)元點(diǎn)火[11]。

迭代次數(shù)的選擇對于圖像處理的結(jié)果起著重要作用，取值過大會(huì)增加計(jì)算量，耗費(fèi)更多的時(shí)間，選擇過小則會(huì)導(dǎo)致融合圖像的視覺效果差[12]。為了得到合適的迭代次數(shù)，通常在SCM輸出端加入一個(gè)賦時(shí)矩陣[13]來輸出SCM第一次輸出脈沖的時(shí)間，賦時(shí)矩陣的值即為迭代次數(shù)的值，但當(dāng)外部輸入激勵(lì)S取值為0時(shí)，會(huì)導(dǎo)致SCM無法產(chǎn)生脈沖，從而使得添加賦時(shí)矩陣后進(jìn)入無限迭代的過程。因此，對SCM的賦時(shí)矩陣進(jìn)行了改進(jìn)，添加一個(gè)判定條件：如果外部激勵(lì)S為0，則直接輸出賦時(shí)矩陣在對應(yīng)位置處元素的值為無窮大。改進(jìn)賦時(shí)矩陣()如下：

1.3 改進(jìn)模糊C均值聚類FRFCM

由于模糊C均值聚類算法對噪聲敏感，而傳統(tǒng)方法常在目標(biāo)函數(shù)中引入局部空間信息，但會(huì)導(dǎo)致計(jì)算復(fù)雜度變高，使得圖像融合過程中目標(biāo)提取的時(shí)間變長。因此引入雷濤提出的改進(jìn)的模糊C均值聚類算法（fast and robust fuzzy C-means clustering，F(xiàn)RFCM）[14]進(jìn)行目標(biāo)提取，減少噪聲對于圖像的影響，增強(qiáng)算法的魯棒性，同時(shí)提高目標(biāo)提取的效率。

模糊C均值聚類通過得到每個(gè)樣本點(diǎn)對所有類中心的隸屬度來決定樣本點(diǎn)的類屬，從而達(dá)到分類的目的[15]。如果要通過FRFCM將樣本數(shù)據(jù)劃分為類，則可采用求解數(shù)學(xué)規(guī)劃的方法來實(shí)現(xiàn)：

式中：表示聚類的數(shù)量；是每個(gè)模糊隸屬度的加權(quán)指數(shù)，它決定了最終分類的模糊程度；u表示灰度值相對于聚類的模糊隸屬度；v表示聚類中心；表示經(jīng)形態(tài)重建后的圖像中包含的灰度級的數(shù)量；遠(yuǎn)遠(yuǎn)小于。表示圖像中第個(gè)灰度級，1≤≤；用來統(tǒng)計(jì)有效灰度級的級數(shù)，且其和為：

經(jīng)形態(tài)重建后的圖像定義如下：

＝C() (5)

式中：C表示將圖像進(jìn)行形態(tài)閉合重建；表示原始圖像。

上述已將FCM轉(zhuǎn)化為求解數(shù)學(xué)規(guī)劃的問題，要得到最終的聚類結(jié)果則需要求解這個(gè)數(shù)學(xué)規(guī)劃，可利用拉格朗日乘子技術(shù)，將優(yōu)化問題轉(zhuǎn)換成使以下目標(biāo)函數(shù)最小化的無約束優(yōu)化問題：

式中：是拉格朗日乘數(shù)。因此，目標(biāo)函數(shù)的最小化問題被轉(zhuǎn)化為求上述拉格朗日函數(shù)的鞍點(diǎn)，該鞍點(diǎn)取FRFCM關(guān)于參數(shù)u和v的導(dǎo)數(shù)。方程組的具體表達(dá)式如下：

聯(lián)立兩個(gè)方程，可解得：

u＝u(), ifx＝(9)

為了獲得更好的隸屬度劃分矩陣和加快算法的收斂速度，使用隸屬度濾波來修改u?？紤]到隸屬度濾波的性能和算法速度之間的權(quán)衡，使用中值濾波器2：

2＝med{￠} (10)

式中：med表示中值濾波?；谏鲜龇治觯玫乃惴‵RFCM可以總結(jié)如下：

①設(shè)定參數(shù)，包括聚類原型值、模糊化參數(shù)、濾波窗口的大小與結(jié)束時(shí)滿足的閾值。

②使用公式(5)計(jì)算經(jīng)形態(tài)重建后形成的新圖像，然后計(jì)算的直方圖。

③隨機(jī)初始化隸屬度劃分矩陣。

④設(shè)置迭代次數(shù)＝0。

⑤使用公式(8)更新聚類中心v和隸屬度劃分矩陣(t＋1)。

⑥判斷是否達(dá)到結(jié)束的條件，即是否滿足max{(t)－(t＋1)}＜，若滿足，則停止迭代，否則，設(shè)置＝＋1并跳回步驟⑤。

⑦使用公式(10)對隸屬度劃分矩陣￠進(jìn)行中值濾波。

2 提出的融合方法

提出的融合方法如圖2所示。

①使用FRFCM提取紅外圖像的紅外目標(biāo)信息，得到紅外圖像的目標(biāo)區(qū)域和背景區(qū)域，

②將紅外圖像的目標(biāo)區(qū)域融合到可見光圖像的目標(biāo)區(qū)域上，得到可見光圖像的目標(biāo)區(qū)域和背景區(qū)域。

③使用NSST分別對得到的紅外圖像與可見光圖像的目標(biāo)和背景區(qū)域進(jìn)行分解，得到紅外圖像的目標(biāo)區(qū)域高頻系數(shù)、目標(biāo)區(qū)域低頻系數(shù)、背景區(qū)域高頻系數(shù)、背景區(qū)域低頻系數(shù)，以及可見光圖像的目標(biāo)區(qū)域高頻系數(shù)、目標(biāo)區(qū)域低頻系數(shù)、背景區(qū)域高頻系數(shù)、背景區(qū)域低頻系數(shù)。

④對于不同的區(qū)域選用不同的融合規(guī)則，獲得融合后的系數(shù)。其中，對于高頻背景區(qū)域采用SCM模型進(jìn)行融合；

⑤對得到的融合系數(shù)進(jìn)行NSST逆變換，得到最終的融合圖像。

圖2 本文的圖像融合方法流程

2.1 使用FRFCM提取目標(biāo)區(qū)域

①以源紅外圖像系數(shù)的值為數(shù)據(jù)集，對其進(jìn)行模糊C均值聚類，設(shè)置聚類數(shù)為2，將聚類結(jié)果中子帶系數(shù)較大的那一類記為1。

②計(jì)算源紅外圖像中每個(gè)子帶系數(shù)所在鄰域的空間頻率(,)：

③以中的各個(gè)元素為數(shù)據(jù)集，對其進(jìn)行模糊C均值聚類，設(shè)置聚類數(shù)為2，將聚類結(jié)果中空間頻率較大的那類子帶系數(shù)用2表示。

使用FCM提取源紅外圖像的目標(biāo)區(qū)域o，則剩下的為背景區(qū)域b：

然后將提取的紅外目標(biāo)區(qū)域融合到可見光圖像中，得到可見光圖像目標(biāo)區(qū)域o，融合規(guī)則為：

則可見光圖像的背景區(qū)域b為：

2.2 低頻部分融合規(guī)則

圖像中低頻分量攜帶源圖像的大部分信息。目標(biāo)區(qū)域的像素值較高，因而能量值高于其他區(qū)域，為了保證紅外圖像的目標(biāo)信息最大限度地保留，選取紅外圖像目標(biāo)區(qū)域的低頻子帶系數(shù)ol作為目標(biāo)區(qū)域的低頻融合系數(shù)[16]ol：

可見光圖像低頻系數(shù)中包含了大量的背景細(xì)節(jié)信息，其包含的背景信息在通常情況下比紅外圖像所包含的背景信息更豐富，因此傳統(tǒng)方法中往往選取可見光圖像的背景信息作為背景區(qū)域的融合系數(shù)，但紅外圖像中包含的背景信息也不可忽略，因此為使最終融合的圖像保留更多源圖像的有效信息，可采用比較低頻子帶圖像系數(shù)與源圖像信息熵IE的方法，讓最終的融合結(jié)果偏向于信息熵較大的那類圖像，從而得到背景區(qū)域的低頻子帶融合系數(shù)bl：

式中：IEV和IER分別是指可見光圖像的信息熵和紅外圖像的信息熵，信息熵IE的表達(dá)式為：

式中：p為圖像第級灰度值出現(xiàn)的概率。

2.3 高頻部分融合規(guī)則

圖像中的高頻分量包含源圖像中大量的邊緣信息和細(xì)節(jié)信息，同時(shí)也包含噪聲信息。高頻子帶系數(shù)的大小反映了源圖像相鄰區(qū)域之間灰度值變化的劇烈程度，其絕對值越大則說明這一點(diǎn)的邊緣細(xì)節(jié)越突出。為保留更多的目標(biāo)信息，選取紅外圖像目標(biāo)區(qū)域的高頻子帶系數(shù)oh作為目標(biāo)區(qū)域的高頻子帶融合系數(shù)oh，則有：

oh(,)＝oh(,) (18)

為了保留盡可能多的有效邊緣信息，并且減少噪聲的影響，將背景區(qū)域高頻子帶系數(shù)所在的鄰域的能量作為衡量邊緣突出程度的指標(biāo)，此外，考慮到源圖像對應(yīng)位置處的清晰度，用改進(jìn)拉普拉斯能量和ML作為另一指標(biāo)。將這兩個(gè)指標(biāo)結(jié)合起來，通過相乘的方法來構(gòu)造出最終SCM模型的外部激勵(lì)，從而得到背景區(qū)域的高頻子帶融合系數(shù)bl。

首先，計(jì)算每個(gè)背景高頻子帶系數(shù)所在鄰域的能量（以可見光圖像背景區(qū)域的高頻子帶為例）：

接著計(jì)算每個(gè)背景區(qū)域高頻子帶系數(shù)在源圖像對應(yīng)位置處的改進(jìn)拉普拉斯能量和SML：

其中和取值均為3，改進(jìn)拉普拉斯算子MLVh的計(jì)算方法為：

接下來，計(jì)算SCM數(shù)學(xué)模型的外部激勵(lì)，即計(jì)算區(qū)域能量與改進(jìn)拉普拉斯能量和SML的乘積，輸入SCM的外部激勵(lì)，求得輸出的賦時(shí)矩陣。

最后，采用比較信息熵的方法得到背景區(qū)域高頻子帶的融合系數(shù)bl，具體的方法如下：

當(dāng)SCM輸出的賦時(shí)矩陣V(,)≠R(,)時(shí)：

當(dāng)V(,)＝R(,)時(shí)：

最后將得到的融合系數(shù)oh，ol，bh和bl進(jìn)行NSST逆變換，得到最后的融合圖像。

3 實(shí)驗(yàn)結(jié)果與分析

為了保證實(shí)驗(yàn)數(shù)據(jù)的真實(shí)性、公平性，使用Intel 酷睿i5 6200U，2.3GHz CPU，4G內(nèi)存，Windows10操作系統(tǒng)，MATLAB 2020a軟件進(jìn)行實(shí)驗(yàn)，選擇TNO數(shù)據(jù)集中的3組紅外與可見光圖像進(jìn)行測試。并將本文算法與其他3種算法進(jìn)行比較，根據(jù)文章所述及文章名稱，將這3種算法分別命名為：MST[17]（multiscale transform）、IFE-VIP[18]（infrared feature extraction and visual information preservation）和VSM-WLS[19]（visual saliency map and weighted least square）。在本文提出的算法中，設(shè)定NSST的分解層數(shù)為4層，shearlet濾波器的大小和方向分別設(shè)定為[8,8,8,8]和[2,2,4,4]。SCM模型的閾值衰減系數(shù)設(shè)置為1；閾值放大系數(shù)設(shè)置為0.5，控制神經(jīng)元內(nèi)部衰減的系數(shù)設(shè)置為1。

3.1 實(shí)驗(yàn)結(jié)果主觀評價(jià)

在圖3中，圖3(a)和圖3(b)分別為源紅外圖像與源可見光圖像。從圖中可以看到，圖3(c)顯示了樹木的紋理信息，以及道路和目標(biāo)人物信息，但目標(biāo)人物信息不夠突出，圖像整體的對比度較低。圖3(d)中，可得到較為清晰的紅外目標(biāo)，但背景信息比較模糊，且左下角的樹木紋理細(xì)節(jié)信息缺失較多，對比度較低。圖3(e)中雖然可以看到清晰的目標(biāo)人物信息及樹木的邊緣紋理信息，但與圖3(f)相比，其目標(biāo)人物周圍存在光暈，且左下角和右下角的樹木紋理沒有圖3(f)的清晰，對比度也沒有圖3(f)高。與其他方法相比，本文中所提到的算法，不僅能很好地突出紅外目標(biāo)，而且很好地保留了背景信息中山丘、樹木等的邊緣信息及紋理信息，對比度較高，融合效果更優(yōu)。

在圖4中，圖4(c)的目標(biāo)人物及車輛等信息比較清晰，但圖像上方的廣告牌比較暗，廣告牌上的字體與廣告牌灰度接近，字體不夠明顯，對比度較低。圖4(d)中，得到了清晰的目標(biāo)信息及背景信息，廣告牌上的字體也較為清晰，但與圖4(e)相比，圖4(d)的廣告牌上的字體不夠清晰，對比度也沒有圖4(e)高。圖4(e)和圖4(f)均可得到清晰的背景信息和目標(biāo)信息，且對比度更高，但進(jìn)行比較，可以看到雖然圖4(e)足夠清晰，但其背景與目標(biāo)人物間的對比度較低，目標(biāo)人物和車輛信息不夠突出，整體圖像較暗且缺乏層次感，而圖4(f)的對比度更高一些，且目標(biāo)人物信息突出，背景清晰，整體更有層次感。

在圖5中，圖5(c)的目標(biāo)人物信息比較清晰，但背景中的樹木信息模糊，缺乏層次感，很難分辨出樹木和道路。圖5(d)可以看到清晰的樹木信息，層次感較高，但目標(biāo)人物比較模糊，與樹木間的對比度較低，目標(biāo)人物不易被發(fā)現(xiàn)。圖5(e)和圖5(f)均可得到清晰的樹木和目標(biāo)人物信息，對比度也比較高。但將圖5(e)和圖5(f)進(jìn)行比較，會(huì)發(fā)現(xiàn)圖5(f)的目標(biāo)人物信息更加突出，樹木信息也更加豐富，對比度更高。與其他幾種方法相比，本文提出算法得到的融合圖像視覺效果更好。

圖3 第一組圖像融合結(jié)果：(a) 紅外圖像；(b)可見光圖像；(c)MST融合圖像；(d)IFE-VIP融合圖像；(e) VSM-WLS融合圖像；(f) 本文提出算法的融合圖像

圖4 第二組圖像融合結(jié)果：(a) 紅外圖像；(b) 可見光圖像；(c) MST融合圖像；(d) IFE-VIP融合圖像；(e) VSM-WLS融合圖像；(f) 本文提出算法的融合圖像

圖5 第三組圖像融合結(jié)果：(a) 紅外圖像；(b) 可見光圖像；(c) MST融合圖像；(d) IFE-VIP融合圖像；(e) VSM-WLS融合圖像；(f) 本文提出算法的融合圖像

3.2 實(shí)驗(yàn)結(jié)果客觀評價(jià)

本文選用平均梯度（average gradient，AG）、標(biāo)準(zhǔn)差（standard deviation，STD）、信息熵（EN）、互信息（mutual information，MI）、結(jié)構(gòu)相似度（structural similarity，SSIM）、邊緣保留因子[20]（edge gradient operator，AB/F）和時(shí)間（time，1）作為客觀評價(jià)標(biāo)準(zhǔn)。其中，AG越大，說明圖像的紋理越明顯，邊緣細(xì)節(jié)越突出，清晰度越好；STD越大，表明圖像的識別度越高；EN越大，說明融合圖像所含的信息越豐富；MI越大，表明融合圖像包含越多源圖像中的信息；SSIM越大，說明融合圖像的結(jié)構(gòu)與源圖像的結(jié)構(gòu)越相似；AB/F越大，說明能夠保留更多的源圖像邊緣細(xì)節(jié)信息；1越大，說明時(shí)間損耗越大。

4種方法所得到的融合圖像客觀評價(jià)指標(biāo)結(jié)果如表1所示。在表1的第一組融合圖像中，本文所提方法得到的融合圖像的信息熵沒有MST方法的高，結(jié)構(gòu)相似度沒有IFE-VIP方法的高，但其平均梯度、標(biāo)準(zhǔn)差、信息熵和邊緣保留因子的值均比其他3種方法高。說明本文所提方法的紋理細(xì)節(jié)信息更加豐富，對比度更高，得到的融合圖像效果更好。

在第2組融合圖像中，所提方法得到的融合圖像的標(biāo)準(zhǔn)差和結(jié)構(gòu)相似度沒有IFE-VIP方法的高，但其平均梯度、信息熵和邊緣保留因子均比其他3種方法高，說明本文所提方法得到的融合圖像能保留更多源圖像中的紋理細(xì)節(jié)信息，融合效果更好。

在第3組融合圖像中，本文所提算法的平均梯度沒有MST方法的高，結(jié)構(gòu)相似度沒有IFE-VIP方法的高，但其標(biāo)準(zhǔn)差、信息熵、互信息和邊緣保留因子為幾種方法中最優(yōu)的，說明本文所提方法得到的融合圖像更加清晰，對比度高，包含更多的源圖像中的邊緣細(xì)節(jié)信息，融合效果更好。

如表1所示，MST方法得到的融合圖像的互信息在3種方法中較高，IFE-VIP方法得到的融合圖像的結(jié)構(gòu)相似度是4種方法中最高的，本文所提算法得到的融合圖像的信息熵和邊緣保留因子為4種方法中最高的，平均梯度、標(biāo)準(zhǔn)差、互信息、結(jié)構(gòu)相似度的值也較高。相比其他算法，本文所提算法得到的融合圖像在客觀評價(jià)指標(biāo)上表現(xiàn)較好。

表1 融合圖像客觀評價(jià)指標(biāo)

4 總結(jié)

本文針對紅外與可見光圖像的成像特點(diǎn)，使用魯棒性更強(qiáng)的FRFCM算法提取紅外圖像的紅外目標(biāo)信息，并通過融合的方法，得到可見光圖像的目標(biāo)區(qū)域。接著使用NSST對得到的目標(biāo)和背景區(qū)域進(jìn)行分解，得到各自的高低頻子帶系數(shù)，然后針對不同區(qū)域的不同特點(diǎn)，采用不同的策略進(jìn)行融合，從而使融合圖像中目標(biāo)信息更加突出，紋理細(xì)節(jié)信息更加豐富。與其他幾種融合方法相比，文中所提出的方法在主觀視覺及客觀評價(jià)上都表現(xiàn)良好，紅外目標(biāo)突出，紋理細(xì)節(jié)特征清晰，對比度高，融合效果較好。但本文所提方法的時(shí)間損耗未達(dá)到最低，這也是今后研究的一個(gè)方向。

[1] 王文卿, 高鈺迪, 劉涵, 等. 基于低秩稀疏表示的紅外與可見光圖像序列融合方法[J]. 西安理工大學(xué)學(xué)報(bào), 2019, 35(3): 276-283.

WANG W Q, GAO Y D, LIU H, et al. Infrared and visible image sequence fusion via low-rank and sparse representation[J]., 2019, 35(3): 276-283.

[2] 白玉, 侯志強(qiáng), 劉曉義, 等. 基于可見光圖像和紅外圖像決策級融合的目標(biāo)檢測算法[J]. 空軍工程大學(xué)學(xué)報(bào)(自然科學(xué)版), 2020, 21(6): 53-59, 100.

BAI Y, HOU Z Q, LIU X Y, et al. An object detection algorithm based on decision-level fusion of visible light image and infrared images[J]., 2020, 21(6): 53-59, 100.

[3] 張林發(fā), 張榆鋒, 王琨, 等. 基于直覺模糊集和亮度增強(qiáng)的醫(yī)學(xué)圖像融合[J/OL]. 計(jì)算機(jī)應(yīng)用, 2021, 41(7): 2082-2091.

ZHANG L F, ZHANG Y F, WANG K, et al. Medical image fusion with intuitionistic fuzzy set and intensity enhancement[J]., 2021, 41(7): 2082-2091.

[4] 江澤濤, 吳輝, 周嘵玲. 基于改進(jìn)引導(dǎo)濾波和2021,41(07):2082-2091.雙通道脈沖發(fā)放皮層模型的紅外與可見光圖像融合算法[J]. 光學(xué)學(xué)報(bào), 2018, 38(2): 0210002.

JIANG Z T, WU H, ZHOU Q L, et al. Infrared and visible image fusion algorithm based on improved guided filtering and dual-channel spiking cortical model[J]., 2018, 38(2): 0210002.

[5] 李玉峰, 尹婷婷. 采用NSCT與FCM相結(jié)合的SAR和多光譜圖像融合算法[J]. 信號處理, 2017, 33(11): 1523-1529.

LI Y F, YIN T T. The SAR and multispectral image fusion algorithm based on NSCT and FCM[J]., 2017, 33(11): 1523-1529.

[6] GONG J M, XUE M L, REN F, et al. Infrared and visible image fusion based on nonsubsampled shearlet transform and fuzzy C-means clustering[J]., 2018, 27(4): 1-11

[7] Easley G, Labate D, Lim W Q. Sparse directional image representations using the discrete shearlet transform[J]., 2008, 25(1): 25-46.

[8] 高國榮, 劉艷萍. 基于非抽樣Shearlet變換的紅外與可見光圖像融合方法[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào), 2014, 45(3): 268-274.

GAO G R, LIU Y P. Infrared and visible light image fusion algorithm based on non-subsampled Shearlet transform[J]., 2014, 45(3): 268-274.

[9] 邢笑雪. 基于NSST的圖像融合算法研究[D]. 長春: 吉林大學(xué), 2014: 24-25.

XING X X. Research on Image Fusion Algorithm Based on NSST[D]. Changchun: Jilin University, 2014: 24-25.

[10] ZHAN K, ZHANG H J, MA Y D. New spiking cortical model for invariant texture retrieval and image processing[J]., 2009, 20(12): 1980-1986.

[11] 江澤濤, 何玉婷, 張少欽. 一種基于對比度增強(qiáng)和柯西模糊函數(shù)的紅外與弱可見光圖像融合算法[J]. 光子學(xué)報(bào), 2019, 48(6): 149-158.

JIANG Z T, HE Y T, ZHANG S Q. Infrared and low-light-level visible image fusion algorithm based on contrast enhancement and cauchy fuzzy function[J]., 2019, 48(6): 149-158.

[12] 王念一. 脈沖發(fā)放皮層模型圖像融合技術(shù)研究[D]. 蘭州: 蘭州大學(xué), 2014: 18-20.

WANG N Y. Spiking Cortical Mode for Image Fusion[D]. Lanzhou: Lanzhou University, 2014: 18-20.

[13] HE K J, ZHOU D M, ZHANG X J, et al. Infrared and visible image fusion combining interesting region detection and nonsubsampled contourlet transform[J]., 2018, 2018: 1-15.

[14] LEI T, JIA L, HE L, et al. Significantly fast and robust fuzzy C-means clustering algorithm based on morphological reconstruction and membership filtering)[J]., 2018: 26(5): 3027-3041.

[15] LIU Z Y, DING F, XU Y, et al. Background dominant colors extraction method based on color image quick fuzzy c-means clustering algorithm[J]., 2020, 16(5): 1073-1087.

[16] 劉帥奇, 鄭偉, 趙杰, 等. 數(shù)字圖像融合算法分析與應(yīng)用[M]. 北京: 機(jī)械工業(yè)出版社, 2018:115-116.

LIU S Q, ZHENG W, ZHAO J, et al.[M]. Beijing: China Machine Press, 2018: 115-116.

[17] CHEN J, LI X J, LUO L B, et al. Infrared and visible image fusion based on target-enhanced multiscale transform decomposition[J]., 2020, 508: 64-78.

[18] ZHANG Y, ZHANG L J, BAI X Z, et al. Infrared and visual image fusion through infrared feature extraction and visual information preservation[J]., 2017, 83: 227-237.

[19] MA J L, ZHOU Z Q, WANG B, et al. Infrared and visible image fusion based on visual saliency map and weighted least square optimization[J]., 2017, 82: 8-17.

[20] Xydeas C S, Petrovic V. Objective image fusion performance measure[J].s, 2000, 36(4): 308-309.

Image Fusion Algorithm Based on Improved Fuzzy C-means Clustering

GONG Jiamin，WU Yijie，LIU Fang，ZHANG Yunsheng，LEI Shutao，ZHU Zehao

(,710061,)

To obtain more prominent target information and retain more textural details in infrared and visible light fusion images, an infrared and visible light image fusion algorithm based on the non-subsample shearlet transform (NSST) domain combined with a spiking cortical model (SCM) and improved fuzzy C-means clustering model (FCM) is proposed. First, the infrared target information in the source infrared image is extracted by the FCM. Subsequently, the NSST is used to decompose the target and background areas of the infrared and visible images to obtain their own high- and low-frequency sub-band images. Subsequently, different fusion strategies are adopted for different regions, and the SCM and improved time matrix are adopted for high-frequency background regions. The final fused image is obtained by using the NSST inverse transform. Simulation experiments show that, compared with other methods, the fusion image obtained by this algorithm has a prominent infrared target and intricate texture details in subjective vision, and its information entropy and edge retention factor are optimal for objective evaluation.

image fusion, non-subsampled shearlet transform, spiking cortical model, fuzzy C-means clustering, time matrix

TP391

A

1001-8891(2023)08-0849-09

2021-06-13；

2021-08-18.

鞏稼民（1962-），男，博士，教授，碩士生導(dǎo)師，主要從事光通信與光信息技術(shù)方面的研究。E-mail：13289388729@qq.com。

國家自然科學(xué)基金（61775180），國際科技合作計(jì)劃項(xiàng)目陜西省重點(diǎn)研發(fā)計(jì)劃（2020KWZ-017）。