基于PCNN和非線性濾波萬有引力的醫(yī)學(xué)圖像融合

劉雯敏，陳秀宏

江南大學(xué) 數(shù)字媒體學(xué)院，江蘇 無錫 214122

基于PCNN和非線性濾波萬有引力的醫(yī)學(xué)圖像融合

劉雯敏，陳秀宏

江南大學(xué) 數(shù)字媒體學(xué)院，江蘇 無錫 214122

1 引言

圖像融合技術(shù)[1]是通過多個成像方式不同的傳感器采集到關(guān)于同一個具體目標(biāo)或場景的圖像信息，然后按照一定的規(guī)則加以綜合處理，生成一個新的信息量更大、對周圍環(huán)境適應(yīng)性更高的解釋。這個解釋是從單一傳感器獲取的信息中無法得到的，是對目標(biāo)或場景的描述更加準(zhǔn)確、可靠和全面的圖像。目前，圖像融合技術(shù)在計(jì)算機(jī)視覺、遙感技術(shù)、軍事應(yīng)用以及醫(yī)學(xué)圖像處理等領(lǐng)域都表現(xiàn)出巨大的應(yīng)用潛力。特別是當(dāng)今醫(yī)學(xué)成像已經(jīng)成為現(xiàn)代醫(yī)療診斷不可或缺的一部分，迫切需要高質(zhì)量的醫(yī)學(xué)圖像融合方法將有效的信息進(jìn)行融合。

近年來國內(nèi)外常見的醫(yī)學(xué)圖像融合方法有加權(quán)平均、局域方差、基于多分辨率塔式融合算法和神經(jīng)網(wǎng)絡(luò)方法[2-4]等。其中，基于小波變換的多分辨率融合算法應(yīng)用最為廣泛，但該方法存在丟失某些微弱細(xì)節(jié)信息等不足，在處理大量的醫(yī)學(xué)圖像數(shù)據(jù)時計(jì)算復(fù)雜、實(shí)時性差。針對這一問題，本文采用提升小波變換對醫(yī)學(xué)圖像進(jìn)行處理。提升小波變換能夠降低運(yùn)算的復(fù)雜程度、減少存儲器開銷和提高運(yùn)算速度，從而降低了醫(yī)學(xué)圖像融合過程的難度。為了使融合圖像反映出更加真實(shí)完整的信息，本文將提升小波變換和符合生物視覺特性的脈沖耦合神經(jīng)網(wǎng)絡(luò)[5]（Pulse Coupled Neural Networks，PCNN）相結(jié)合，并將圖像像素非線性濾波的萬有引力定義為PCNN的鏈接強(qiáng)度，使得鏈接強(qiáng)度的大小能夠根據(jù)圖像自適應(yīng)調(diào)整，保留更多的細(xì)節(jié)信息。實(shí)驗(yàn)結(jié)果表明，該方法能夠更加有效地保留源圖像中的邊緣及細(xì)節(jié)信息，提高了醫(yī)學(xué)圖像的融合質(zhì)量。

2 理論基礎(chǔ)

2.1 提升小波變換

傳統(tǒng)的小波變換是在歐氏空間內(nèi)通過基底的平移和伸縮構(gòu)造小波基的，不適合于非歐氏空間的應(yīng)用，因此小波提升方案應(yīng)運(yùn)而生。1995年Sweldens等人提出了一種區(qū)別于小波變換，不依賴于傅里葉變換的新的小波構(gòu)造方法——提升格式[6]（Lifting Scheme），稱之為第二代小波變換，它在保持第一代小波特性的基礎(chǔ)上克服了其平移和伸縮的不變性，同時提供了一種快速的實(shí)現(xiàn)方式，使小波變換的運(yùn)算復(fù)雜度降低一半，提高了運(yùn)算速度。提升的實(shí)現(xiàn)形式給出了小波完全的空間域解釋，可以在原有小波的基礎(chǔ)上構(gòu)造出更有效地適用于特殊應(yīng)用的小波。它從另一個角度給小波的構(gòu)造和性質(zhì)作出了解答。同時它也把數(shù)值分析領(lǐng)域的“細(xì)分插值”、“均值插值”、“高階矩”、“歐拉算法”等概念和小波分析的“消失矩”、“尺度函數(shù)”、“小波函數(shù)”等概念巧妙地融合為一體。

提升算法給出了雙正交小波簡單而有效的構(gòu)造方法，使用了基本的多項(xiàng)式插補(bǔ)來獲取信號的高頻分量，然后通過“保持原信號的均值和高階矩不變”的限制條件來獲取信號的低頻分量。提升算法的基本思想是，將現(xiàn)有的小波濾波器分解成基本的構(gòu)造模塊，分步驟完成小波變換。

提升方案把第一代小波變換過程分為以下三個步驟[6-7]：分裂（Split）、預(yù)測（Predict）和更新（Update）。

（1）分裂：將原始數(shù)集S(j)={s(kj),k∈Z}（j=0，1，…，N為分裂層次）分為兩個較小子集，最簡單的分裂方法就是輸入信號根據(jù)奇偶性分為兩組。分別為偶數(shù)樣本集 S(j0)={,k∈Z}和奇數(shù)樣本集 S(j1)={,k∈Z}，即 split(S(j))=(S(j0)，S(j1))。這個過程稱為懶小波（Lazy Wavelet）變換。

（2）預(yù)測：在這個階段，保持偶數(shù)樣本S(j0)不變，在基于原始數(shù)據(jù)相關(guān)性的基礎(chǔ)上，利用偶數(shù)樣本S(j0)來對奇數(shù)樣本S(j1)做出預(yù)測，即將濾波器P對偶數(shù)樣本作用后作為奇樣本的預(yù)測值，用奇樣本的實(shí)際值與預(yù)測值P(S(j0))相減得到殘差信號（又可稱為細(xì)節(jié)系數(shù)）來代替奇數(shù)樣本S(j1)，即令S(j1)=S(j1)-P(S(j0))，其中 P為預(yù)測算子。這一差值反映了兩者之間的逼近程度，稱之為細(xì)節(jié)系數(shù)或者小波系數(shù)，對應(yīng)于原始信號S(j)的高頻部分。一般來說，數(shù)據(jù)的相關(guān)性越強(qiáng)，小波系數(shù)的幅值就越小，預(yù)測就越準(zhǔn)確。

（3）更新：經(jīng)過分裂步驟后產(chǎn)生子集的某些特征可能與原始數(shù)據(jù)并不一致，更新操作的思想就是要找到一個更好的子數(shù)據(jù)集S(j-1)，使它能夠保持原始數(shù)據(jù)集S(j)的某些特性?？梢岳靡呀?jīng)計(jì)算好的小波系數(shù)S(j1)，構(gòu)造算子U，作用在S(j1)上并疊加到偶數(shù)樣本S(j0)上，從而得到更新后的近似信號，即：S(j0)=S(j0)+U(S(j1))。

P和U取不同的函數(shù)，可構(gòu)造出不同的小波變換。

經(jīng)過小波提升，可將樣本 S(j)分解為低頻部分S(j0)和高頻部分S(j1)；對于低頻數(shù)據(jù)子集S(j0)可以再進(jìn)行相同的分裂、預(yù)測和更新，把S(j0)進(jìn)一步分解為S(j-1，0)和S(j-1，1)；…；如此下去，經(jīng)過n次分解后，原始數(shù)據(jù)S(j)的提升小波表示為{S(j-n，0)，S(j-n，1)，S(j-n+1，1)，…，S(j-1，1)}。其中S(j-n，0)表示信號的低頻部分，而{S(j-n,1),S(j-n+1,1),…, S(j-1，1)}則是信號從低到高的高頻部分系列[7-9]。

由于圖像的小波提升是一個完全可逆的過程，反變換與正變換運(yùn)算相反并且結(jié)構(gòu)對稱，可以實(shí)現(xiàn)精確的重構(gòu)。重構(gòu)過程是分解過程的逆步驟，三個步驟分別為：

（1）反更新：S(j0)=S(j0)-U(S(j1))。

（2）反預(yù)測：S(j1)=S(j1)+P(S(j0))。

（3）合并：把偶數(shù)樣本S(j0)和奇數(shù)樣本S(j1)合并成新的數(shù)據(jù)集S(j)，即S(j)=merge(S(j0)，S(j1))。

提升算法的分解和重構(gòu)過程如圖1所示。

圖1 提升算法的分解和重構(gòu)過程

2.2 脈沖耦合神經(jīng)網(wǎng)絡(luò)（PCNN）

脈沖耦合神經(jīng)網(wǎng)絡(luò)是由若干個神經(jīng)元相互鏈接所構(gòu)成的反饋型神經(jīng)網(wǎng)絡(luò)，每個神經(jīng)元由三個功能單元構(gòu)成：反饋輸入域、耦合鏈接輸入域和脈沖發(fā)生器。Eckhorn神經(jīng)元模型[5]參數(shù)較多，在具體應(yīng)用中參數(shù)的設(shè)定十分麻煩。也缺乏誘異激發(fā)所指的同步振蕩的明確描述，就是說在圖像分析時，缺乏灰度值相近的相鄰（像素對應(yīng)）神經(jīng)元產(chǎn)生同步振蕩脈沖輸出所構(gòu)成的相似像素集群概念的清晰數(shù)學(xué)描述，導(dǎo)致類似研究成果的分析比較困難。為此，眾多文獻(xiàn)對Eckhorn神經(jīng)元模型做了種種改進(jìn)，得到許多改進(jìn)的神經(jīng)元模型[10-12]。文獻(xiàn)[12]中修正后的模型簡潔直觀，如圖2所示。因此，本文在進(jìn)行醫(yī)學(xué)圖像融合時就采用這個簡化的PCNN模型。

圖2 脈沖耦合神經(jīng)元的簡化模型

PCNN模型在用于圖像處理時是一個單層二維并且橫向連接的神經(jīng)網(wǎng)絡(luò)，網(wǎng)絡(luò)中的神經(jīng)元是與圖像中的像素點(diǎn)一一對應(yīng)的，即圖像中任意像素點(diǎn)(i，j)對應(yīng)在PCNN中神經(jīng)元的位置也為(i，j)。神經(jīng)元Nij經(jīng)過n次迭代的數(shù)學(xué)表達(dá)式如下：

其中，i，j表示像素在圖像矩陣中的位置；Iij為外部刺激輸入，圖像處理時為對應(yīng)點(diǎn)像素的灰度值；n為迭代次數(shù)；Uij、Yij分別為神經(jīng)元的內(nèi)部狀態(tài)信號和外部輸出；Lij、Fij分別為鏈接輸入和反饋輸入；β為鏈接強(qiáng)度；Wijkl為鏈接權(quán)值矩陣；αL、αθ和θij分別為衰減時間常數(shù)和動態(tài)門限；VL、Vθ分別為鏈接輸入和動態(tài)門限的放大系數(shù)。

在上述模型中，首先接收域接收到外部的輸入刺激Iij；在接受輸入后調(diào)制部分就利用周圍神經(jīng)元的耦合鏈接Lij和鏈接強(qiáng)度 β，來確定神經(jīng)元耦合關(guān)系的強(qiáng)弱并對接收部分的信號進(jìn)行調(diào)制，來確定神經(jīng)元耦合關(guān)系的強(qiáng)弱并對接收部分的信號進(jìn)行調(diào)制，則產(chǎn)生神經(jīng)元內(nèi)部活動信號Uij；之后Uij與此時脈沖發(fā)生器產(chǎn)生的動態(tài)閾值θij做比較，便可產(chǎn)生此刻的輸出信號Yij。如果Uij＞θij，則Yij=1，稱為神經(jīng)元點(diǎn)火，點(diǎn)火成功則輸出一個脈沖；如果Uij≤θij，則Yij=0，沒有點(diǎn)火則不輸出脈沖。若神經(jīng)元點(diǎn)火成功有脈沖輸出，則其動態(tài)閾值就會突然增加，又因?yàn)殚撝低蝗辉龃笫沟诙尾豢赡茉俅吸c(diǎn)火成功而產(chǎn)生脈沖輸出，于是之后閾值又開始呈指數(shù)衰減，直到閾值衰減到小于其內(nèi)部活動項(xiàng)時，脈沖又再次產(chǎn)生，如此不斷地周而復(fù)始直至達(dá)到迭代次數(shù)n。

式（1）中描述的PCNN模型有很多參數(shù)，這些參數(shù)的設(shè)定對圖像處理的結(jié)果也有很大的影響，但在理論上其參數(shù)的設(shè)定與圖像處理結(jié)果之間的機(jī)理還不十分清楚。因此參數(shù)設(shè)定一直是PCNN應(yīng)用的一個難題。大多數(shù)情況下，這些參數(shù)的設(shè)定都是根據(jù)具體的應(yīng)用環(huán)境通過多次實(shí)驗(yàn)的方法確定的，近年也出現(xiàn)了一些PCNN參數(shù)自動設(shè)定方法的相關(guān)研究[13-14]。

（1）VL和Vθ分別為PCNN鏈接輸入和動態(tài)門限的放大系數(shù)，VL對周圍神經(jīng)元的耦合輸入進(jìn)行比例限制，通常取值為1。Vθ對神經(jīng)元的點(diǎn)火周期起著重要的調(diào)節(jié)作用，它決定了神經(jīng)元點(diǎn)火時刻閾值將被提升的程度。通常Vθ取值較大[8]，本文中取Vθ=25。

（2）αL和αθ分別為鏈接輸入和動態(tài)門限的衰減時間常數(shù)，αθ控制著動態(tài)門限下降的速度，αθ越大，動態(tài)門限下降越慢，PCNN模型運(yùn)行時間越長；反之，動態(tài)門限下降越快，模型運(yùn)行時間越短。通常這兩個參數(shù)都是根據(jù)經(jīng)驗(yàn)值再結(jié)合具體應(yīng)用多次實(shí)驗(yàn)設(shè)定的，本文中通過多次實(shí)驗(yàn)取αL=0.2，αθ=0.2。

（3）Wijkl為鏈接權(quán)值矩陣，表示了中心神經(jīng)元受周圍神經(jīng)元影響的大小，反映鄰近神經(jīng)元對中心神經(jīng)元傳遞信息的強(qiáng)弱。Wijkl有多種取值方式，本文中用到的取值方式為歐幾里德距離的倒數(shù)，在3×3的區(qū)域則有W=

（4）β為鏈接強(qiáng)度系數(shù)，調(diào)節(jié)著周圍神經(jīng)元之間的相互影響，同時影響中心神經(jīng)元點(diǎn)火周期，較大的鏈接系數(shù)能引起較大范圍的脈沖同步。鏈接強(qiáng)度系數(shù)通常都是根據(jù)經(jīng)驗(yàn)和多次實(shí)驗(yàn)手工設(shè)定的固定值，大多數(shù)情況下 β是一個在[0，1]區(qū)間上的常數(shù)。本文中為了提高醫(yī)學(xué)圖像融合的質(zhì)量，并增強(qiáng)PCNN的自適應(yīng)能力，鏈接強(qiáng)度系數(shù)β并不設(shè)定為一個常數(shù)，而設(shè)置為一個動態(tài)變化的參數(shù)。

2.3 基于非線性濾波的萬有引力

萬有引力定律是經(jīng)典物理學(xué)中的一個定義，它描述了宇宙中任何兩個物體間都存在著相互吸引力，有其中任一物體所受到的引力大小與兩個物體質(zhì)量的乘積成正比，與兩物體之間距離的平方成反比，可用式（2）表示：

其中，m1，m2分別為兩物體的質(zhì)量，G為萬有引力常量，||r||為兩物體之間的距離。

Sun等人[15]將這一經(jīng)典的物理概念運(yùn)用到圖像處理中，將圖像中的每個像素點(diǎn)都看作為宇宙中的一個物體，并認(rèn)為每兩個像素點(diǎn)之間都存在引力，這樣一幅圖像就可以被理解為一個由許多物體組成的網(wǎng)格結(jié)構(gòu)。為了方便處理，在簡化模型中規(guī)定引力的作用范圍是中心像素點(diǎn)3×3或5×5的鄰域內(nèi)，在鄰域外的點(diǎn)對中心像素點(diǎn)的萬有引力則忽略不計(jì)。其中，每一對水平或豎直方向鄰接的像素間的距離為1，像素的質(zhì)量取其對應(yīng)的灰度值。如式（2）中所示，引力用向量表示，即兩個像素點(diǎn)之間的萬有引力為 f，窗口內(nèi)所有其他像素點(diǎn)對中心像素點(diǎn)的引力合力為F。對圖像的每一個像素點(diǎn)，首先計(jì)算它的領(lǐng)域內(nèi)其他像素點(diǎn)對它的引力 f，然后合并所有的 f，得到這個像素點(diǎn)在領(lǐng)域內(nèi)所受的水平方向和垂直方向的合力Fx和Fy，最后得到總合力的大小為||F||=。文獻(xiàn)[15]將這個合力運(yùn)用到邊緣檢測中，通過設(shè)置一個閾值，合力大于閾值的即為邊緣點(diǎn)，否則為非邊緣點(diǎn)。這個方法大膽新穎，并在邊緣檢測上取得了很好的效果。但是檢測到的邊緣較寬，并且嚴(yán)重依賴圖像的灰度值。

文獻(xiàn)[16]就在此基礎(chǔ)上進(jìn)行了改進(jìn)，提出了基于非線性濾波的萬有引力邊緣檢測方法。對圖像中任一像素點(diǎn)(i，j)，其灰度值為 I(i，j)，則基于非線性濾波的萬有引力方法如下：

（1）計(jì)算其水平方向質(zhì)量為：

其中，引入了一個非線性梯度的概念，D(i，j)x=+ D(i，j)-x為像素點(diǎn)的水平梯度，而 D(i，j)+x=T(I(i，j)-I(i-1，j))和 D(i，j)-x=-T(-(I(i+1，j)-I(i，j)))分別為水平梯度的左右梯度信息；D(i，j)y=D(i，j)+y+D(i，j)-y為垂 直 梯度，D(i，j)+y=T(I(i，j)-I(i，j-1))和 D(i，j)-y= -T(-(I(i，j+1)-I(i，j)))分別為垂直梯度的左右梯度信息；非線性算子T是一個簡單的閾值，如果X≥0，T(X)= X；否則T(X)=0。

這個梯度不僅定位準(zhǔn)確，而且有一定的平滑噪聲的能力，所以構(gòu)造以這個梯度為自變量的函數(shù)，替代中心像素點(diǎn)的灰度值，作為萬有引力中心物體的質(zhì)量。這個函數(shù)需要滿足下列特性：當(dāng)像素點(diǎn)梯度為零時，函數(shù)值為零；函數(shù)值隨梯度值增加而增加；當(dāng)梯度值趨向無限大時，函數(shù)值趨近于1。所以構(gòu)造出了求質(zhì)量的式（3）和（4）。

（4）計(jì)算中心像素點(diǎn)I(i，j)所受總合力大小及方向。大小為||Fij||=；方向?yàn)棣?arctan()。

在文獻(xiàn)中使用到非線性濾波的萬有引力來與閾值比較，從而判斷圖像中的某一點(diǎn)是否為邊緣點(diǎn)，該方法具有很好的圖像邊緣定位能力[16]，能夠高質(zhì)量地反映出圖像中微小細(xì)節(jié)的反差和邊緣化的程度。鑒于這個優(yōu)點(diǎn)，于是本文中就引入這一概念和方法，通過該方法求出圖像中每個像素的非線性濾波萬有引力，并構(gòu)成矩陣B。將矩陣B歸一化后作為鏈接強(qiáng)度系數(shù)輸入到耦合神經(jīng)網(wǎng)絡(luò)中，作為中心神經(jīng)元調(diào)節(jié)與周圍神經(jīng)元之間關(guān)系的一個依據(jù)。

3 基于PCNN和非線性濾波萬有引力的圖像融合方法

在提升小波變換的基礎(chǔ)上，并且結(jié)合耦合神經(jīng)網(wǎng)絡(luò)和像素點(diǎn)非線性濾波的萬有引力，本文中的醫(yī)學(xué)圖像融合過程如下：

（1）將已精確配準(zhǔn)的CT和MRI圖像分別進(jìn)行N層提升小波分解，得到1個低頻分量和3N個高頻分量，則原圖像CT和MRI經(jīng)過N層提升小波分解得到的低頻分量為 LCT和 LMRI，高頻分量為和(k=1，2，…，3N)。

（2）低頻系數(shù)的融合規(guī)則。由于低頻分量(L)代表圖像的近似特征和緩變的區(qū)域信息，特別是在醫(yī)學(xué)圖像中能夠?qū)Σ≡畹亩ㄎ黄鸬街匾淖饔?。因此采用區(qū)域灰度均值作為判斷的標(biāo)準(zhǔn)。窗口寬度為n×n的局部灰度均值定義為：

其中I(i，j)為像素點(diǎn)(i，j)的灰度值，w是窗口范圍。從而得低頻部分融合后圖像像素點(diǎn)灰度值LF(i，j)為：

（3）高頻系數(shù)的融合規(guī)則。高頻分量(H)代表的是圖像邊緣等突變的細(xì)節(jié)信息，對最后融合圖像的邊緣細(xì)節(jié)信息有決定性的作用，因此將PCNN和利于保留像素邊緣的非線性濾波萬有引力方法相結(jié)合作為高頻分量的融合規(guī)則。

簡化PCNN模型的關(guān)鍵點(diǎn)就在于鏈接強(qiáng)度β上，以往使用PCNN進(jìn)行圖像處理時，都是根據(jù)經(jīng)驗(yàn)或大量實(shí)驗(yàn)設(shè)定β為一個固定的數(shù)值，這樣的方法就缺少自適應(yīng)性，無法獲得微小的細(xì)節(jié)信息。由人眼的視覺系統(tǒng)對圖像的邊緣信息以及微小的細(xì)節(jié)信息較為敏感的特性可知，脈沖耦合神經(jīng)網(wǎng)絡(luò)中神經(jīng)元的鏈接強(qiáng)度也應(yīng)該是與圖像的邊緣細(xì)節(jié)信息有關(guān)的。因此，本文考慮到利用像素點(diǎn)的非線性濾波萬有引力來對鏈接系數(shù)進(jìn)行動態(tài)調(diào)整，即有 β=B，使網(wǎng)絡(luò)中的神經(jīng)元有不同的鏈接強(qiáng)度。像素點(diǎn)的非線性濾波萬有引力較大，對應(yīng)神經(jīng)元的鏈接強(qiáng)度就較大，該像素點(diǎn)對應(yīng)的神經(jīng)元被捕獲點(diǎn)火就越早。就可以根據(jù)圖像領(lǐng)域大小內(nèi)其他像素點(diǎn)對中心像素的非線性濾波萬有引力的變化來自適應(yīng)調(diào)整PCNN的鏈接強(qiáng)度，使融合結(jié)果更加符合人類視覺的特點(diǎn)，就更有利于提高圖像的融合效果。

③設(shè)置PCNN中各參數(shù)的初始值，如放大系數(shù)、衰減時間常數(shù)和鏈接權(quán)值矩陣等。

④采用式（1）計(jì)算各個中間結(jié)果，完成N次迭代的過程。最后輸出兩個點(diǎn)火矩陣和。

⑤最后由下式得到高頻子系數(shù)的融合結(jié)果HF，

（4）對融合后的子系數(shù)LF和HFk(k=1，2，…，3N)進(jìn)行提升小波逆變換，得到最終的融合圖像F。

上述融合過程如圖3所示。

圖3 融合算法流程圖

4 評價指標(biāo)

醫(yī)學(xué)圖像的融合目的一方面是提高信息量，并保留圖像的邊緣等細(xì)節(jié)信息以加強(qiáng)圖像的視覺效果。另一方面，醫(yī)學(xué)圖像融合的結(jié)果需要與原圖像保持最大的一致，同時保持與兩幅待融合圖像最大的相關(guān)性?；谝陨显蛟趫D像融合現(xiàn)有的評價指標(biāo)中選取下列指標(biāo)對融合效果進(jìn)行評價[17]。

4.1 信息熵

圖像的信息熵的含義為圖像的平均信息量，而信息量的增加是圖像融合的最基本要求。因此信息熵是衡量融合圖像信息豐富程度的一個重要指標(biāo)，體現(xiàn)了融合圖像的細(xì)節(jié)表達(dá)能力。融合圖像的熵值越大，就表明圖像攜帶的信息量越大，包含的信息越豐富，圖像的表達(dá)能力越好。信息熵定義為：

其中，L為圖像的總灰度級數(shù)，Pi為圖像中灰度級數(shù)為i的像素出現(xiàn)的概率。

4.2 均值

均值是圖像中所有像素的灰度的平均值，反映了融合圖像的平均亮度。最后得到的融合圖像的均值適中則該融合圖像的視覺效果好。

其中，圖像大小為m×n，I(i，j)為像素點(diǎn)(i，j)的灰度值。

4.3 平均梯度

融合圖像質(zhì)量的改進(jìn)可以用平均梯度來表示，因?yàn)閳D像的平均梯度反映的是圖像的清晰度，同時還反映出圖像中微小細(xì)節(jié)反差和紋理變換特征。融合圖像的平均梯度越大，就表示圖像的成像越清晰。圖像的平均梯度定義為：

其中，圖像大小為 m×n，ΔIx=I(i，j)-I(i+1，j)，ΔIy= I(i，j)-I(i，j+1)分別為像素值(i，j)在x/y方向上的一階差分。

4.4 空間頻率

圖像的空間頻率[18]是反映圖像空間域的總體活躍度。融合圖像的空間頻率越大，則其總體活躍度越高，融合圖像的效果就越好。

4.5 邊緣保持度

圖像的邊緣保持度可以衡量融合圖像對輸入的源圖像中的邊緣信息的保持程度[19]。該方法在對源圖像和融合圖像進(jìn)行邊緣提取的基礎(chǔ)上，計(jì)算邊緣信息的保持量，將加權(quán)的邊緣信息保存量作為評價融合結(jié)果的衡量指標(biāo)，邊緣保持度越大，說明融合圖像保留的源圖像的邊緣信息越多。邊緣保持度的具體求解步驟如下：

（1）計(jì)算源圖像IA、IB以及融合圖像IF的梯度幅值和相角，以計(jì)算IA的為例：

式中，sAx(i，j)和 sAy(i，j)分別為應(yīng)用Sobel算子對圖像IA進(jìn)行橫向和縱向?yàn)V波的結(jié)果。

（2）計(jì)算 IA與 IF、IB與 IF的相對幅值GAF(i，j)、GBF(i，j)和相角 AAF(i，j)、ABF(i，j)。以計(jì)算GAF(i，j)和AAF(i，j)為例。

（4）計(jì)算各像素邊緣信息的保留程度：

式中，圖像大小為 m×n，wA(i，j)=|gA(i，j)|L，wB(i，j)= |gB(i，j)|L。L為常數(shù)，本文中取1。

5 實(shí)驗(yàn)與結(jié)果分析

實(shí)驗(yàn)采用兩組CT和MRI醫(yī)學(xué)圖像進(jìn)行融合，兩組源圖像來自人體腦部的不同橫斷面。數(shù)據(jù)的源圖像都來自同一個人、同一生理部位的不同成像設(shè)備，空間位置和解剖結(jié)構(gòu)都是精確對準(zhǔn)的。源圖像如圖4所示。

為了更加客觀定量評價融合效果，本文采用信息熵、平均梯度、邊緣保持度、均值和空間頻率作為融合結(jié)果的評價參數(shù)。其中信息熵反映了圖像信息的豐富程度；平均梯度反映了圖像的清晰度；邊緣保持度用于衡量融合圖像對輸入圖像中的邊緣信息的保持程度；均值反映了圖像的平均亮度；空間頻率則反映了圖像空間域的總體活躍度。這些參數(shù)均是越大，融合圖像的效果越好。比較結(jié)果如表1和表2所示。

圖4 兩組源圖像

圖5 CT1與MRI1各方法融合結(jié)果比較

圖6 CT2與MRI2各方法融合結(jié)果比較

表1 圖5中各個融合結(jié)果的評價參數(shù)

表2 圖6中各個融合結(jié)果的評價參數(shù)

圖7 CT1與MRI1各方法融合結(jié)果邊緣提取圖

圖8 CT2與MRI2各方法融合結(jié)果邊緣提取圖

由表1和表2可知，這些融合方法都取得了不錯的融合效果，其中，傳統(tǒng)的融合方法參數(shù)相較之下均值較大，即有較好的視覺效果；文獻(xiàn)[8]的方法空間頻率較高；文獻(xiàn)[20]的方法信息熵較高，包含的信息較豐富；文獻(xiàn)[21]的方法則是有較高的邊緣保持度。本文方法融合圖像的信息熵最大，即包含了更多細(xì)節(jié)信息；平均梯度相比也有所提高，即增加了融合圖像的清晰度；均值即平均亮度的提高改善了視覺效果；空間域的總體活躍度也較高。所以本文中的融合方法得到的融合圖像質(zhì)量最好。

為了更直觀地表現(xiàn)融合算法的效果，對上述實(shí)驗(yàn)結(jié)果再采用Canny算子進(jìn)行邊緣提取，提取結(jié)果如圖7和圖8所示。可以發(fā)現(xiàn)，本文方法的邊緣細(xì)節(jié)信息得到了更好的保留，邊緣更加連續(xù)。因此，本文方法在進(jìn)行醫(yī)學(xué)圖像診斷時能夠提供更多的細(xì)節(jié)信息，滿足醫(yī)學(xué)圖像日益多樣化和復(fù)雜化的需要。

6 結(jié)束語

圖像中目標(biāo)的邊緣和輪廓是其重要的特征，特別是在醫(yī)學(xué)圖像中，不同的邊緣代表的是不同組織或器官的界限。本文在提升小波變換的基礎(chǔ)上，將脈沖耦合神經(jīng)網(wǎng)絡(luò)和邊緣提取性能很好的非線性濾波萬有引力方法相結(jié)合，構(gòu)成具有自適應(yīng)能力的PCNN，并將其應(yīng)用到反映圖像邊緣細(xì)節(jié)信息的高頻子圖像的融合規(guī)則中，這樣可有效地保留源圖像的不同信息，強(qiáng)化了邊緣和紋理特征。實(shí)驗(yàn)結(jié)果表明，本文的圖像融合方法改善了融合圖像的視覺效果，提高了各個評價參數(shù)質(zhì)量，為醫(yī)學(xué)診斷和治療提供了更有效、更細(xì)節(jié)、更清晰的信息，在多模態(tài)醫(yī)學(xué)圖像融合處理中具有有效性和先進(jìn)性以及廣闊的應(yīng)用前景。

[1]Mallat S G.A theory for multiresolution signal decomposition：the wavelet representation[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，1989，11（7）：674-693.

[2]張強(qiáng)，周海銀，王炯琦.基于局部方差和高通濾波的小波變換圖像融合[J].計(jì)算機(jī)仿真，2008，25（8）：223-226.

[3]Wen C Y，Chen L K.Multi-resolution image fusion technique and its application to forensic science[J].Forensic Science International，2004，140：217-232.

[4]Li Wei，Zhu Xuefeng.A new algorithm of multi-modality medical image fusion based on pulse-coupled neural networks[C]//Lecture Notes in Computer Science，2005，3610：995-1001.

[5]Eckhorn R，Reitboeck H J，Arndt M，et al.Feature linking via synchronization among distributed assemblies：simulation of results from cat cortex[J].Neural Computation，1990，2（3）：293-307.

[6]Daubechies I，Sweldens W.Factoring wavelet transforms into lifting steps[J].Journal of Fourier Analysis and Application，1998，4（3）：247-269.

[7]Peng Lizhong，Chu Xiaoyong.The lifting scheme of 4-channel orthogonal wavelet transforms[J].Progress in Natural Science，2006，16（1）：100-104.

[8]楊艷春，黨建武，王陽萍.基于提升小波變換與自適應(yīng)PCNN的醫(yī)學(xué)圖像融合方法[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報，2012，24（4）：494-499.

[9]Ranganath H S，Kuntimad G，Johnson J L.Pulse coupled neural networks for image processing[C]//Southeastcon’95，Raleigh，NC，1995：37-43.

[10]Kuntimad G，Ranganath H S.Perfect image segmentation using pulse coupled neural networks[J].IEEE Transactions on Neural Networks，1999，10（3）：591-598.

[11]Johnson J L，Padgett M L.PCNN models and applications[J].IEEE Transactions on Neural Networks，1999，10（3）：480-498.

[12]Ranganath H S，Kuntimad G.Iterative segmentation using pulse coupled neural networks[C]//Proceedings SPIE，1996，2760：543-554.

[13]Ma Yide，Dai Rolan，Li Lian，et al.Image segmentation of embryonic plant cell using pulse-coupled neural networks[J].Chinese Science Bulletin，2002，47（2）：167-172.

[14]馬義德，齊春亮.基于遺傳算法的脈沖耦合神經(jīng)網(wǎng)絡(luò)自動系統(tǒng)的研究[J].系統(tǒng)仿真學(xué)報，2006，18（3）：722-724.

[15]Sun G Y，Liu Q H，Liu Q，et al.A novel approach for edge detection based on the theory of universal gravity[J]. Pattern Recognition，2007，40（10）：2766-2775.

[16]張春雪，陳秀宏.基于非線性濾波的萬有引力邊緣檢測方法[J].計(jì)算機(jī)應(yīng)用，2011，31（3）：763-766.

[17]Qu Guihong，Zhang Dali，Yan Pingfan.Information measure for performance of image fusion[J].Electronic Letters，2002，38（7）：548-551.

[18]陳美玲，陶玲，錢志余.一種改進(jìn)的醫(yī)學(xué)圖像融合技術(shù)及其效果[J].生物醫(yī)學(xué)工程學(xué)雜志，2009，26（4）：711-715.

[19]Xydeas C S，Petrovic V.Objective image fusion performance measure[J].Electronic Letters，2000，36（4）：308-309.

[20]薛寺中，周愛平，梁久禎.基于小波變換的自適應(yīng)脈沖耦合神經(jīng)網(wǎng)絡(luò)圖像融合[J].計(jì)算機(jī)應(yīng)用，2010，30（12）：3225-3228. [21]鄒北驥，胡藝齡，辛國江.基于小波分解和PCNN的圖像融合方法[J].計(jì)算機(jī)工程與科學(xué)，2011，33（2）：102-106.

LIU Wenmin,CHEN Xiuhong

School of Digital Media,Jiangnan University,Wuxi,Jiangsu 214122,China

In order to better meet the modern medicine clinical diagnosis and treatment needs,improve the medical image fusion quality,this paper proposes a new medical image fusion algorithm based on lifting wavelet transform,combined with the Pulse Coupled Neural Networks（PCNN）and pixel point of nonlinear filtering gravitation.A fusion rule based on the area average gray is adopted in low-frequency coefficients.Adaptive PCNN fusion rule is adopted in high-frequency coefficients.It makes the pixel’s nonlinear filtering gravitation as the linking strength of simplified PCNN model.So PCNN can adaptively control the size of linking strength,and according to the ignition matrix to determine the fusion of high-frequency coefficients.Experiments show that the fused image obtains more edge detail information than other methods and every index has improved.It has a better fusion performance.

medical image fusion;lifting wavelet transform;Pulse Coupled Neural Networks（PCNN）;nonlinear filtering gravitation;linking strength

為了更好地滿足現(xiàn)代醫(yī)學(xué)臨床診斷和治療的需要，提高醫(yī)學(xué)圖像的融合質(zhì)量，提出在提升小波變換的基礎(chǔ)上，結(jié)合脈沖耦合神經(jīng)網(wǎng)絡(luò)（PCNN）和像素點(diǎn)的非線性濾波萬有引力的醫(yī)學(xué)圖像融合方法。低頻子系數(shù)采用基于區(qū)域灰度均值的融合規(guī)則；高頻子系數(shù)采用自適應(yīng)PCNN的融合規(guī)則，將像素的非線性濾波萬有引力作為簡化的PCNN模型中的鏈接強(qiáng)度，使PCNN能夠自適應(yīng)調(diào)節(jié)鏈接強(qiáng)度的大小，并根據(jù)點(diǎn)火矩陣確定高頻子系數(shù)。實(shí)驗(yàn)結(jié)果表明，該方法得到的融合圖像比其他融合方法保留了更多的邊緣細(xì)節(jié)信息，各項(xiàng)評價指標(biāo)均有所提高，有更好的融合性能。

醫(yī)學(xué)圖像融合；提升小波變換；脈沖耦合神經(jīng)網(wǎng)絡(luò)；非線性濾波萬有引力；鏈接強(qiáng)度

A

TP391.4

10.3778/j.issn.1002-8331.1301-0250

LIU Wenmin,CHEN Xiuhong.Medical image fusion method based on PCNN and nonlinear filtering of gravitation. Computer Engineering and Applications,2014,50（24）：191-198.

中央高?；究蒲袠I(yè)務(wù)費(fèi)專項(xiàng)資金資助（No.JUSRP211A70）。

劉雯敏（1989—），女，碩士研究生，主要研究方向：計(jì)算機(jī)圖形與圖像處理；陳秀宏（1964—），男，博士，教授。

2013-01-22

2013-04-02

1002-8331（2014）24-0191-08

CNKI網(wǎng)絡(luò)優(yōu)先出版：2013-04-18，http∶//www.cnki.net/kcms/detail/11.2127.TP.20130418.1618.015.html