結(jié)合NSST與GA參數(shù)優(yōu)化PCNN圖像融合

劉 棟，聶仁燦，周冬明，侯瑞超，熊 磊

云南大學(xué) 信息學(xué)院，昆明 650500

1 引言

圖像融合（Image Fusion，IF）是指將多源信道所采集到的關(guān)于同一目標(biāo)的圖像數(shù)據(jù)經(jīng)過圖像處理和計(jì)算機(jī)技術(shù)等，最大限度地提取各自信道中的有用信息，最后綜合成高質(zhì)量的圖像，以提高圖像信息的利用率，改善計(jì)算機(jī)解譯精度和可靠性，提升原始圖像的空間分辨率和光譜分辨率?？v觀圖像融合技術(shù)的發(fā)展歷史，脈沖耦合神經(jīng)網(wǎng)絡(luò)（Pulse Coupled Neural Network，PCNN）在圖像融合領(lǐng)域已成為研究熱點(diǎn)[1-2]，圖像融合效果得到進(jìn)一步改善。PCNN作為第三代的人工神經(jīng)網(wǎng)絡(luò)，它與傳統(tǒng)人工神經(jīng)網(wǎng)絡(luò)的不同之處在于PCNN是一個(gè)單一的二維連接網(wǎng)絡(luò)，并且不需要對(duì)PCNN進(jìn)行訓(xùn)練便可以直接應(yīng)用。近年來，越來越多的基于PCNN的圖像融合算法相繼被提出，例如：基于非下采樣剪切波變換（Non-Subsampled Shearlets Transform，NSST）的PCNN圖像融合（NSST-PCNN）[3-4]；利用空間頻率（Space Frequency，SF）驅(qū)動(dòng)PCNN的改進(jìn)型NSST變換等。

在本文中，提出了一種基于非下采樣剪切波變換（NSST）結(jié)合遺傳算法（GA）來優(yōu)化PCNN參數(shù)的圖像融合算法。NSST將非下采樣拉普拉斯金字塔變換（Non-Subsampled Laplacian Pyramid transformation，NSP）與多個(gè)剪切濾波器及方向?yàn)V波器組（Directional Filter Bank，DFB）結(jié)合在一起，NSST具有更好的稀疏表示能力和更小的計(jì)算代價(jià)，同時(shí)，PCNN在圖像處理領(lǐng)域也展現(xiàn)出一種無與倫比的優(yōu)勢(shì)[5]。因此，本文運(yùn)用遺傳算法對(duì)PCNN進(jìn)行了參數(shù)的優(yōu)化，利用其在空間頻域（Spatial Frequency）內(nèi)的作用效果，并與NSST相結(jié)合，提出了一種經(jīng)過參數(shù)優(yōu)化后的NSST-SF-PCNN圖像融合方法，該方法吸收了NSST和PCNN在圖像處理領(lǐng)域的共同優(yōu)勢(shì)。在圖像融合過程中，首先，利用NSST對(duì)兩幅源圖像進(jìn)行分解，分別得到兩幅圖像的高頻和低頻系數(shù)（AHigh、BHigh），利用經(jīng)GA參數(shù)優(yōu)化的SFPCNN和SML分別對(duì)高頻、低頻系數(shù)進(jìn)行融合，然后通過逆NSST變換得到融合圖像。為了驗(yàn)證所提方法的有效性，與NSST-SF-PCNN方法[5]、PCNN方法[6]、NSST-PCNN方法[7]做了對(duì)比實(shí)驗(yàn)，其主觀及客觀結(jié)果均顯示本文方法在多聚焦圖像及醫(yī)學(xué)圖像的融合方面有著一定優(yōu)越性。

2 PCNN模型及其參數(shù)優(yōu)化

2.1 PCNN模型

PCNN是一種基于貓的視覺原理所構(gòu)建的簡(jiǎn)化神經(jīng)網(wǎng)絡(luò)模型，它是根據(jù)貓、猴等動(dòng)物的大腦皮層上的同步脈沖發(fā)放現(xiàn)象而提出的一種具有生物學(xué)的背景的人工神經(jīng)網(wǎng)絡(luò)。與BP神經(jīng)網(wǎng)絡(luò)和Kohonen神經(jīng)網(wǎng)絡(luò)相比，PCNN省去了數(shù)據(jù)學(xué)習(xí)訓(xùn)練的麻煩，便能從復(fù)雜背景下提取出有效的圖像信息，同時(shí)PCNN還具備同步脈沖發(fā)放和全局耦合等優(yōu)勢(shì)，因而它能保留圖像更多的細(xì)節(jié)信息，PCNN模型中的神經(jīng)元唯一對(duì)應(yīng)著圖像中的一個(gè)像素點(diǎn)，這些優(yōu)勢(shì)使得PCNN在圖像融合、分割、邊緣檢測(cè)、目標(biāo)識(shí)別等方面均有著廣泛的應(yīng)用。PCNN是由若干個(gè)PCNN神經(jīng)元互連所構(gòu)成的反饋型人工神經(jīng)網(wǎng)絡(luò)，其每一神經(jīng)元由三部分組成：接受域、調(diào)制域和脈沖產(chǎn)生器[8]，其結(jié)構(gòu)如圖1所示，在PCNN模型中，脈沖發(fā)生器由對(duì)網(wǎng)絡(luò)輸出進(jìn)行漏電容積分的變閾值特性和硬限幅函數(shù)組成，其中變閾值特性用來對(duì)神經(jīng)元進(jìn)行激活，而硬限幅函數(shù)則起到抑制該神經(jīng)元的作用，由此，便可以實(shí)現(xiàn)對(duì)神經(jīng)元的“點(diǎn)火”。PCNN的數(shù)學(xué)模型可由以下幾個(gè)數(shù)學(xué)表達(dá)式構(gòu)成[9]：

式中，下標(biāo)ij表示單個(gè)神經(jīng)元所在位置，n表示當(dāng)前迭代次數(shù)，β為鏈接強(qiáng)度，αL、αθ表示相應(yīng)的時(shí)間衰減常數(shù)，其中神經(jīng)元內(nèi)部狀態(tài)Uij由鏈接器以乘積耦合形式構(gòu)成，它表示該神經(jīng)元在其鄰域內(nèi)與其他神經(jīng)元的信息傳遞；饋送輸入Fij和鏈接輸入Lij由接受域的兩個(gè)分支形成，并且Fij、Lij是分別以相對(duì)較小或較大的時(shí)間常數(shù)對(duì)神經(jīng)元某鄰域內(nèi)的其他神經(jīng)元輸出進(jìn)行漏電容積分的加權(quán)和的結(jié)果；Sij為神經(jīng)元的外部刺激，即當(dāng)前系數(shù)的拉普拉斯能量和（SML），它將作用于饋送輸入Fij；Wijkl為鏈接權(quán)矩陣；VL、Vθ為幅度常數(shù)；θij為動(dòng)態(tài)閾值；Yij為神經(jīng)元的二值輸出結(jié)果。

圖1 PCNN結(jié)構(gòu)模型

在圖像融合中，PCNN模型中的參數(shù)設(shè)置對(duì)于融合效果有著很大的影響，因此為了得到相對(duì)較好的效果，摒棄了傳統(tǒng)的PCNN參數(shù)設(shè)置，利用遺傳算法（GA）對(duì)其參數(shù)進(jìn)行了優(yōu)化處理，得到了一組優(yōu)化后的數(shù)據(jù)作為PCNN圖像融合參數(shù)。

2.2 遺傳算法

遺傳算法[10]（GA）是模擬達(dá)爾文生物進(jìn)化論的自然選擇和遺傳學(xué)機(jī)理的生物進(jìn)化過程的計(jì)算模型，是一種通過模擬自然進(jìn)化過程搜索最優(yōu)解的方法。遺傳算法是從代表問題可能潛在的解集的一個(gè)種群（Population）開始的，而一個(gè)種群則由經(jīng)過基因（Gene）編碼的一定數(shù)目的個(gè)體（Individual）組成。每個(gè)個(gè)體實(shí)際上是染色體（Chromosome）帶有特征的實(shí)體。染色體作為遺傳物質(zhì)的主要載體，即多個(gè)基因的集合，其內(nèi)部表現(xiàn)（即基因型）是某種基因組合，它決定了個(gè)體的形狀的外部表現(xiàn)，如黑頭發(fā)的特征是由染色體中控制這一特征的某種基因組合決定的。因此，在一開始需要實(shí)現(xiàn)從表現(xiàn)型到基因型的映射即編碼工作。由于仿照基因編碼的工作很復(fù)雜，往往進(jìn)行簡(jiǎn)化，如二進(jìn)制編碼，初始種群產(chǎn)生之后，按照適者生存和優(yōu)勝劣汰的原理，逐代（Generation）演化產(chǎn)生出越來越好的近似解，隨著不斷的迭代，當(dāng)滿足終止條件時(shí)，所求的值逼近最優(yōu)解，在每一代，根據(jù)問題域中個(gè)體的適應(yīng)度（Fitness）大小選擇（Selection）個(gè)體，并借助于自然遺傳學(xué)的遺傳算子（Genetic Operators）進(jìn)行組合交叉（Crossover）和變異（Mutation），產(chǎn)生出代表新的解集的種群。這個(gè)過程將導(dǎo)致種群像自然進(jìn)化一樣，后代種群比前代更加適應(yīng)于環(huán)境，末代種群中的最優(yōu)個(gè)體經(jīng)過解碼（Decoding），可以作為問題近似最優(yōu)解。

2.3 GA參數(shù)優(yōu)化過程

在基于PCNN的圖像融合過程中，需要研究人員對(duì)PCNN的各個(gè)參數(shù)進(jìn)行設(shè)置，在傳統(tǒng)的應(yīng)用中，其參數(shù)往往是憑人工經(jīng)驗(yàn)來設(shè)置的，然而對(duì)于不同的圖像，往往需要設(shè)置不同的參數(shù)，以達(dá)到一個(gè)更好的融合效果，所以引入GA來對(duì)PCNN的參數(shù)進(jìn)行優(yōu)化，可以根據(jù)不同的需要自動(dòng)選擇并設(shè)置合適的參數(shù)，省去了人工試驗(yàn)的麻煩。在此PCNN數(shù)學(xué)模型中，需要設(shè)置的參數(shù)有：鏈接強(qiáng)度β、時(shí)間衰減常數(shù)αθ、幅度常數(shù)Vθ、鏈接權(quán)矩陣Wijkl以及閾值θ。傳統(tǒng)PCNN參數(shù)設(shè)置為：β=0.1，θ=0，αθ=20，Vθ=0.2，VL=1，n=200，Wijkl=[0.5 1 0.5;1 0 1;0.5 1 0.5]。

如圖2所示，根據(jù)遺傳算法流程圖，基于GA的PCNN參數(shù)優(yōu)化步驟如下[11]。

步驟1初始化：以圖像融合客觀評(píng)價(jià)指標(biāo)為遺傳算法目標(biāo)函數(shù)，首先對(duì)參數(shù)進(jìn)行初始化，種群大小為40，最大遺傳代數(shù)為20，初始交叉及變異概率分別為0.7和0.35；然后進(jìn)行個(gè)體初始化，利用隨機(jī)函數(shù)的循環(huán)工作，隨機(jī)生成0-1之間的8個(gè)數(shù)值，對(duì)這8個(gè)數(shù)值進(jìn)行基因判斷，若大于0.5，則該位為1，否則為0。

步驟2編碼：由于PCNN模型的輸出只有0和1，所以采用簡(jiǎn)單實(shí)用的二進(jìn)制編碼的方式對(duì)待求解的參數(shù)進(jìn)行編碼，以產(chǎn)生初始種群。

步驟3適應(yīng)度的計(jì)算：設(shè)高于或低于給定閾值的灰度值和像素?cái)?shù)的總和分別為hs、ls和hn、ln，并分別計(jì)算其平均灰度值：U1=ls/ln，U2=hs/hn，則單一個(gè)體的適應(yīng)度可由下式計(jì)算得出：

步驟4按照從小到大的順序?qū)m應(yīng)度進(jìn)行排序，并統(tǒng)計(jì)出最優(yōu)閾值及最優(yōu)適應(yīng)度。

步驟5選擇：適應(yīng)度值越大的個(gè)體，被選擇的概率越大，選擇優(yōu)勝的父代個(gè)體以保留到子帶中，以精英選擇的方式進(jìn)行選擇操作，將適應(yīng)度值較大的前5%的優(yōu)良父本復(fù)制到子帶中，對(duì)剩下的父本個(gè)體執(zhí)行交叉和變異操作。

步驟6交叉：當(dāng)滿足交叉條件時(shí)，隨機(jī)選取偶數(shù)對(duì)的父本進(jìn)行兩兩配對(duì)，并隨機(jī)交換對(duì)應(yīng)位置上的基因。

步驟7變異：執(zhí)行變異操作以保持種群的多樣性，避免某些信息的過早丟失，同時(shí)對(duì)各代中的基因變異個(gè)數(shù)進(jìn)行計(jì)算，確定其變異位置及編號(hào)，并進(jìn)行0、1互換的變異操作。

步驟8重復(fù)以上步驟，直到滿足終止條件或達(dá)到最大遺傳代數(shù)時(shí)停止實(shí)驗(yàn)，得出最佳閾值，代入程序中進(jìn)行實(shí)驗(yàn)。

經(jīng)過以上參數(shù)優(yōu)化步驟后，確定PCNN待優(yōu)化參數(shù)β、αθ、Vθ的值并帶入程序?qū)嶒?yàn)，當(dāng)取Wijkl=[0.707 1 0.707;1 0 1;0.707 1 0.707]時(shí)，圖像融合效果更佳，另外取VL=1，n=200與傳統(tǒng)設(shè)置值一致。

圖2 遺傳算法流程圖

3 NSST變換

輪廓波（Shearlet）變換是由Labate等人在小波變換基礎(chǔ)上提出的[12-13]，其仿射變換二維表達(dá)式如下：

在NSST變換中，NSST包含非下采樣金字塔濾波器（NSP）和剪切濾波器（SF）兩部分。NSP被用來代替剪切波變換，這種操作避免了上采樣和下采樣帶來的影響，源圖像在經(jīng)過NSP分解后，會(huì)產(chǎn)生大小相同的低頻子帶和高頻子帶，如圖3、圖4所示。對(duì)產(chǎn)生的低頻子帶進(jìn)行k級(jí)NSP分解，最終會(huì)形成大小相同的1個(gè)低頻子帶和k個(gè)高頻子帶[7]。

圖3 剪切波誘發(fā)頻率結(jié)構(gòu)圖

圖4 NSP分解過程

圖5 NSST-GA-SF-PCNN圖像融合結(jié)構(gòu)圖

4 算法實(shí)現(xiàn)

4.1 算法流程

傳統(tǒng)的PCNN模型一般是由一個(gè)單一系數(shù)來進(jìn)行驅(qū)動(dòng)的，然而人類視覺系統(tǒng)通常對(duì)圖像的特征較為敏感。在基于PCNN的圖像處理領(lǐng)域中，圖像空間頻率（Spatial Frequence，SF）[14]通常被視為圖像的梯度特征，因此為了獲得更好的融合效果，本文利用SF來驅(qū)動(dòng)PCNN模型。SF通過使用子帶中系數(shù)的滑動(dòng)窗口來測(cè)量，通過行和列中的梯度能量來衡量基于窗口的系統(tǒng)中的整個(gè)活動(dòng)，每個(gè)子帶中的SF被輸入到PCNN以激勵(lì)神經(jīng)元并產(chǎn)生神經(jīng)元脈沖，SF可由下式定義：

本文提出了一種基于GA參數(shù)優(yōu)化的SF-PCNN模型在NSST域內(nèi)的圖像融合算法，為了驗(yàn)證該算法的優(yōu)越性，本文將該算法與已有算法（NSST-SF-PCNN[5]、PCNN[6]、NSST-PCNN[7]）的圖像融合效果進(jìn)行比較，并通過計(jì)算客觀評(píng)價(jià)指標(biāo)（互信息MI、圖像邊緣信息保留量QAB/F、圖像信息熵EN、空間頻率SF、圖像標(biāo)準(zhǔn)差STD和圖像平均梯度AG）的數(shù)值進(jìn)行客觀比較說明。本文算法結(jié)構(gòu)流程如圖5所示，該算法的圖像融合步驟如下：

（1）通過NSST變換對(duì)兩幅實(shí)驗(yàn)源圖像進(jìn)行多尺度分解，得到大小相同的高頻和低頻子帶。

（2）運(yùn)用經(jīng)過參數(shù)優(yōu)化后的SF-PCNN和SML融合規(guī)則分別對(duì)高頻系數(shù)和低頻系數(shù)進(jìn)行融合，得到高頻融合點(diǎn)火圖像和低頻融合點(diǎn)火圖像。

（3）通過逆變換NSST，對(duì)高、低頻點(diǎn)火圖像進(jìn)行融合，得到最終融合圖像。

（4）計(jì)算客觀評(píng)價(jià)指標(biāo)，通過實(shí)驗(yàn)與相關(guān)算法比較，得出結(jié)論。

4.2 高頻子帶融合規(guī)則

由于人類視覺系統(tǒng)在直觀上對(duì)圖像的邊緣等特征更為敏感，所以傳統(tǒng)單純使用單一子帶系數(shù)作為PCNN輸入來驅(qū)動(dòng)PCNN是不夠的。因此，在文獻(xiàn)[14]中，Qu等人使用空間頻率（SF）作為輸入來驅(qū)動(dòng)PCNN，圖像的SF反映的是一幅圖像的總體活躍程度，SF越大，圖像活躍度越高，相應(yīng)圖像也就越清晰。根據(jù)文獻(xiàn)[14]，一種改進(jìn)的空間頻率可由如下公式定義：

式中，SF為圖像空間頻率，RF、CF、DF1、DF2分別為圖像行頻率、列頻率和兩個(gè)對(duì)角頻率。在式（1）中，取Fij(n)=SF作為PCNN的輸入刺激。

4.3 低頻子帶融合規(guī)則（SML）

在經(jīng)過NSST變換分解后的圖像所得到的低頻子帶中，包含了源圖像中大量的能量信息[15]。為了更好地展示圖像的灰度信息的突變，并在一定程度上更好地反映出圖像邊緣的變化，文獻(xiàn)[16-17]提出了運(yùn)用拉普拉斯能量和（SML）的低頻子帶融合規(guī)則，實(shí)驗(yàn)證明SML在圖像低頻子帶系數(shù)的融合中有良好的效果，能更好地辨別圖像的清晰度。像素(x,y)的拉普拉斯能量和SML可由以下公式定義：

式中，n表示用離散差分求拉普拉斯梯度時(shí)采用的空域間隔，通常取n=1，N=4，T=0為門限值[18]。

5 實(shí)驗(yàn)結(jié)果及分析

本次實(shí)驗(yàn)運(yùn)行環(huán)境為Intel Corel 2，CPU 3.00 GHz，內(nèi)存4 GB，Windows 7操作系統(tǒng)，MATLAB R2014a。為了驗(yàn)證算法的有效性，本文選取多聚焦實(shí)驗(yàn)圖像Clock、醫(yī)學(xué)圖像和紅外與可見光圖像分別進(jìn)行實(shí)驗(yàn)得出其融合圖像，將經(jīng)過GA優(yōu)化后得到的PCNN參數(shù)代入程序中，運(yùn)行并分別計(jì)算其互信息MI、圖像品質(zhì)因數(shù)QAB/F、圖像信息熵EN、空間頻率SF、標(biāo)準(zhǔn)差STD和平均梯度AG的值與對(duì)比實(shí)驗(yàn)方法所得出的值進(jìn)行比較。多聚焦圖像、醫(yī)學(xué)圖像和紅外及可見光圖像融合對(duì)比結(jié)果，如圖6、圖7和圖8所示?？陀^評(píng)價(jià)指標(biāo)如表1、表2和表3所示。

圖6 Clock多聚焦圖像對(duì)比實(shí)驗(yàn)結(jié)果

圖7 醫(yī)學(xué)圖像對(duì)比實(shí)驗(yàn)結(jié)果

圖8 紅外及可見光圖像融合實(shí)驗(yàn)結(jié)果

表1 圖像Clock融合結(jié)果評(píng)價(jià)指標(biāo)

表2 醫(yī)學(xué)圖像融合結(jié)果評(píng)價(jià)指標(biāo)

表3 紅外及可見光圖像融合結(jié)果評(píng)價(jià)指標(biāo)

6 結(jié)論

本文運(yùn)用遺傳算法對(duì)PCNN參數(shù)進(jìn)行優(yōu)化后，利用NSST對(duì)源圖像進(jìn)行分解得到高頻和低頻子帶，用SML、GA優(yōu)化SF-PCNN分別對(duì)低頻子帶、高頻子帶進(jìn)行融合，再利用NSST逆變換來獲得最終融合圖像。從主觀視覺來看，本文圖像融合結(jié)果也要優(yōu)于對(duì)比實(shí)驗(yàn)結(jié)果，同時(shí)通過對(duì)表1、表2和表3的圖像融合質(zhì)量客觀評(píng)價(jià)指標(biāo)的對(duì)比，可以看到本文算法在圖像互信息MI、圖像邊緣信息保留量QAB/F、圖像信息熵EN、圖像空間頻率SF、圖像標(biāo)準(zhǔn)差STD和圖像平均梯度AG等6個(gè)指標(biāo)中，幾乎全部的指標(biāo)值都要優(yōu)于對(duì)比方法的值，這幾個(gè)指標(biāo)的值越大，說明圖像融合的效果越好，這也恰恰說明使用本文算法對(duì)PCNN的重要參數(shù)進(jìn)行GA優(yōu)化后，使得多聚焦圖像、醫(yī)學(xué)圖像及紅外與可見光融合的效果都得到了一定的改善。