生成對抗殘差網(wǎng)絡(luò)的醫(yī)學(xué)圖像融合算法

高媛　吳帆　秦品樂　王麗芳

摘 要：針對傳統(tǒng)醫(yī)學(xué)圖像融合中需要依靠先驗(yàn)知識手動設(shè)置融合規(guī)則和參數(shù)，導(dǎo)致融合效果存在不確定性、細(xì)節(jié)表現(xiàn)力不足的問題，提出了一種基于改進(jìn)生成對抗網(wǎng)絡(luò)（GAN）的腦部計(jì)算機(jī)斷層掃描（CT）/磁共振 （MR）圖像融合算法。首先，對生成器和判別器兩個(gè)部分的網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行改進(jìn)，在生成器網(wǎng)絡(luò)的設(shè)計(jì)中采用殘差塊和快捷連接以加深網(wǎng)絡(luò)結(jié)構(gòu)，更好地捕獲深層次的圖像信息;然后，去掉常規(guī)網(wǎng)絡(luò)中的下采樣層，以減少圖像傳輸過程中的信息損失，并將批量歸一化改為層歸一化，以更好地保留源圖像信息，增加判別器網(wǎng)絡(luò)的深度以提高網(wǎng)絡(luò)性能;最后，連接CT圖像和MR圖像，將其輸入到生成器網(wǎng)絡(luò)中得到融合圖像，通過損失函數(shù)不斷優(yōu)化網(wǎng)絡(luò)參數(shù)，訓(xùn)練出最適合醫(yī)學(xué)圖像融合的模型來生成高質(zhì)量的圖像。實(shí)驗(yàn)結(jié)果表明，與當(dāng)前表現(xiàn)優(yōu)良的基于離散小波變換（DWT）算法、基于非下采樣剪切波變換（NSCT）算法、基于稀疏表示（SR）算法和基于圖像分類塊稀疏表示（PSR）算法對比，所提算法在互信息（MI）、信息熵（IE）、結(jié)構(gòu)相似性（SSIM）上均表現(xiàn)良好，最終的融合圖像紋理和細(xì)節(jié)豐富，同時(shí)避免了人為因素對融合效果穩(wěn)定性的影響。

關(guān)鍵詞：醫(yī)學(xué)圖像融合;生成對抗網(wǎng)絡(luò);計(jì)算機(jī)斷層成像（CT）/磁共振（MR）;層歸一化;殘差塊

中圖分類號： TP391.4文獻(xiàn)標(biāo)志碼：A

Medical image fusion algorithm based on generative adversarial residual network

GAO Yuan， WU Fan*， QIN Pinle， WANG Lifang

（School of Big Data Science， North University of China， Taiyuan Shanxi 030051， China）

Abstract： In the traditional medical image fusion， it is necessary to manually set the fusion rules and parameters by using prior knowledge， which leads to the uncertainty of fusion effect and the lack of detail expression. In order to solve the problems， a Computed Tomography （CT）/ Magnetic Resonance （MR） image fusion algorithm based on improved Generative Adversarial Network （GAN） was proposed. Firstly， the network structures of generator and discriminator were improved. In the design of generator network， residual block and fast connection were used to deepen the network structure， so as to better capture the deep image information. Then， the down-sampling layer of the traditional network was removed to reduce the information loss during image transmission， and the batch normalization was changed to the layer normalization to better retain the source image information， and the depth of the discriminator network was increased to improve the network performance. Finally， the CT image and the MR image were connected and input into the generator network to obtain the fused image， and the network parameters were continuously optimized through the loss function， and the model most suitable for medical image fusion was trained to generate the high-quality image. The experimental results show that， the proposed algorithm is superior to Discrete Wavelet Transformation （DWT） algorithm， NonSubsampled Contourlet Transform （NSCT） algorithm， Sparse Representation （SR） algorithm and Sparse Representation of classified image Patches （PSR） algorithm on Mutual Information （MI）， Information Entropy （IE） and Structural SIMilarity （SSIM）. The final fused image has rich texture and details. At the same time， the influence of human factors on the stability of the fusion effect is avoided.

Key words： medical image fusion; Generative Adversarial Network （GAN）; Computed Tomography （CT）/ Magnetic Resonance （MRI）; layer normalization; residual block

0 引言

在臨床診斷和治療中，醫(yī)學(xué)圖像是確定病灶位置的重要判斷依據(jù)，但單模態(tài)醫(yī)學(xué)圖像無法達(dá)到成像結(jié)果全面、清晰，且分辨率高的效果[1-3]。通過將多模態(tài)醫(yī)學(xué)圖像進(jìn)行融合，可以解決單模態(tài)醫(yī)學(xué)圖像信息不足的問題，提高疾病準(zhǔn)確診斷和治療的效率。融合后的醫(yī)學(xué)圖像能夠準(zhǔn)確地表達(dá)源圖像的細(xì)節(jié)特征，最大限度地保留多模態(tài)源圖像信息[4]。

圖像融合是一種增強(qiáng)技術(shù)，可以將同一場景的多幅圖像或序列探測圖像合成一幅信息更豐富、全面的圖像。醫(yī)學(xué)圖像融合主要是以多尺度變換[5]、稀疏表示[6]和脈沖耦合模型[7]等為主的傳統(tǒng)方法。多尺度變換將源圖像進(jìn)行分解重構(gòu)，分解為高頻圖像和低頻圖像，再根據(jù)各自特點(diǎn)設(shè)置融合規(guī)則;但由于不同的濾波器其尺度和方向上的參數(shù)性能不同，使得融合效果的穩(wěn)定性受人為因素影響較大[8]。稀疏表示通過字典對源圖像進(jìn)行稀疏編碼，得到稀疏系數(shù)，再設(shè)置一定的融合規(guī)則對系數(shù)進(jìn)行融合，最后重構(gòu)得到融合圖像;由于該算法對單個(gè)圖像塊進(jìn)行編碼，存在算法計(jì)算效率低且融合后圖像信息丟失嚴(yán)重的問題[9]。脈沖耦合模型具有獨(dú)特的全局耦合性和脈沖同步性;但該模型復(fù)雜，運(yùn)行速率不高，且現(xiàn)有的理論無法解釋參數(shù)如何設(shè)置能達(dá)到最優(yōu)的融合效果[10]。綜上所述，傳統(tǒng)方法往往需要手動設(shè)置復(fù)雜的活動水平度量和融合規(guī)則，并通過先驗(yàn)知識進(jìn)行參數(shù)初始化，存在融合效果不穩(wěn)定、模型復(fù)雜、運(yùn)行速率低的問題[11]。近年來，在圖像處理領(lǐng)域深度學(xué)習(xí)比傳統(tǒng)方法具有更強(qiáng)的特征捕獲能力[12]。而神經(jīng)網(wǎng)絡(luò)是一種端到端的模型，并能夠避免傳統(tǒng)方法中先驗(yàn)知識影響融合效果的問題。其中生成對抗網(wǎng)絡(luò)（Generative Adversarial Network， GAN）在圖像生成方面具有突出的效果，實(shí)際應(yīng)用于圖像生成[13]、圖像修補(bǔ)[14]、草稿圖復(fù)原[15]等領(lǐng)域，本文通過對GAN網(wǎng)絡(luò)模型的改進(jìn)，能夠提高融合效果的穩(wěn)定性并提高運(yùn)算速度。

本文在醫(yī)學(xué)圖像融合方面提出了一種殘差生成對抗網(wǎng)絡(luò)（Residual Generative Adversarial Network， Res-GAN）。首先，基于醫(yī)學(xué)圖像特征豐富、紋理信息復(fù)雜的特征，對生成對抗網(wǎng)絡(luò)中的生成器和判別器兩部分的網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行構(gòu)建。生成器的目的是生成同時(shí)具有電子計(jì)算機(jī)斷層掃描（Computed Tomography， CT）和磁共振（Magnetic Resonance， MR）或MR和單光子發(fā)射計(jì)算機(jī)斷層成像（Single-Photon Emission Computed Tomography， SPECT）兩種圖像信息的融合圖;判別器的目的是通過訓(xùn)練促使生成器達(dá)到最優(yōu)權(quán)重，達(dá)到最終融合圖像最大限度地保留源圖像信息，準(zhǔn)確地展現(xiàn)細(xì)節(jié)特征的目的。

1 相關(guān)工作

1.1 生成對抗網(wǎng)絡(luò)模型

Goodfellow等[16]首先提出了GAN的概念，在深度學(xué)習(xí)領(lǐng)域引起廣泛的研究熱潮。GAN在訓(xùn)練期間通過直接進(jìn)行采樣和推斷，使GAN的應(yīng)用效率提升，其強(qiáng)大的圖像生成能力在實(shí)際應(yīng)用場景有著廣泛的應(yīng)用。GAN的基本框架如圖1所示。

GAN是同時(shí)訓(xùn)練兩個(gè)模型：一個(gè)是用來捕獲數(shù)據(jù)分布的生成器模型（Generative， G），一個(gè)是用來估計(jì)樣本的判別模型（Discriminative， D）。G和D在對抗的框架下進(jìn)行學(xué)習(xí)，D對真實(shí)數(shù)據(jù)進(jìn)行建模，使得G避免了這些步驟直接學(xué)習(xí)去逼近真實(shí)數(shù)據(jù)，在任意函數(shù)G和D的空間中存在唯一的解，使最終生成數(shù)據(jù)達(dá)到D無法區(qū)分真?zhèn)蔚男ЧAN在優(yōu)化過程中，由G和D構(gòu)成了一個(gè)動態(tài)的“博弈過程”，其模型優(yōu)化函數(shù)如式（1）所示：

優(yōu)化函數(shù)由兩項(xiàng)構(gòu)成：x 表示真實(shí)目標(biāo)圖像，z表示輸入G的噪聲;G（z）表示G生成的圖像，D（x）表示D判斷真實(shí)目標(biāo)圖像為x的概率，D（G（x））表示D判斷G（z）為圖像x的概率。為了學(xué)習(xí)生成器關(guān)于數(shù)據(jù)x上的分布Pg（x），定義輸入噪聲的先驗(yàn)變量Pz（z），然后使用G（z;θg）來代表數(shù)據(jù)空間的映射。這里G是一個(gè)由含有參數(shù)θg的多層感知機(jī)表示的可微函數(shù)，多層感知機(jī)D（x;θd）用來輸入一個(gè)單獨(dú)的標(biāo)量。D（x）代表x來自于真實(shí)數(shù)據(jù)分布而不是Pg（x）的概率，同時(shí)訓(xùn)練G來最小化lg（1-D（G（z）））。

原始的GAN模型主要目的是擬合出相應(yīng)的生成和判別函數(shù)以生成圖像，并沒有對生成器和判別器的具體結(jié)構(gòu)作出限制。由于深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)在圖像處理方面取得的顯著成績[17]，本文設(shè)計(jì)生成器和判別器均采用神經(jīng)網(wǎng)絡(luò)模型，同時(shí)為了更好地保留源圖像的細(xì)節(jié)信息，在融合過程中要盡可能地在每一層傳輸?shù)倪^程中減少信息的丟失，以在融合圖像中保留更豐富的信息。

1.2 殘差網(wǎng)絡(luò)模型

由He等[18]提出的ResNet（Residual Neural Network），通過使用殘差塊（Residual Block）成功訓(xùn)練出了152層的神經(jīng)網(wǎng)絡(luò)，該結(jié)構(gòu)可以極快地加速神經(jīng)網(wǎng)絡(luò)的訓(xùn)練，模型的準(zhǔn)確率也有較大的提升。ResNet的主要思想是在網(wǎng)絡(luò)中增加了直連通道，即Highway Network的思想。在此之前的網(wǎng)絡(luò)結(jié)構(gòu)是層與鄰近層之間連接對輸入進(jìn)行非線性變換，ResNet的思想允許原始輸入信息直接傳到后面的層中，其網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。

傳統(tǒng)的卷積網(wǎng)絡(luò)或者全連接網(wǎng)絡(luò)在信息傳遞時(shí)不可避免會存在信息丟失、損耗等問題;同時(shí)在層數(shù)過多的情況下，引發(fā)梯度消失或者梯度爆炸等問題，導(dǎo)致網(wǎng)絡(luò)無法訓(xùn)練。ResNet通過在原始的卷積層上增加跳躍連接支路（Skip Connection）以構(gòu)成基本殘差塊，使H（x）的學(xué)習(xí)被表示H（x）=F（x）+x;同時(shí)殘差塊結(jié)構(gòu)的累加，在一定程度上解決了梯度消失或者梯度爆炸等問題，通過直接將輸入信息繞道傳到輸出，保護(hù)信息的完整性，整個(gè)網(wǎng)絡(luò)只需要學(xué)習(xí)輸入、輸出差別的那一部分，簡化了學(xué)習(xí)目標(biāo)和難度，如圖3所示。

殘差網(wǎng)絡(luò)的Residual Block和Skip Connection結(jié)構(gòu)，改善了網(wǎng)絡(luò)深度增加帶來的梯度消失和網(wǎng)絡(luò)退化的問題，提升了深度網(wǎng)絡(luò)的性能。鑒于殘差網(wǎng)絡(luò)結(jié)構(gòu)近年來在圖像生成領(lǐng)域上的優(yōu)異成績，本文將殘差塊引入生成器部分的網(wǎng)絡(luò)結(jié)構(gòu)。

2 Res-GAN的醫(yī)學(xué)圖像融合策略

2.1 融合過程

Res-GAN算法，對融合過程中的權(quán)重進(jìn)行自適應(yīng)，需要輸入目標(biāo)圖作為網(wǎng)絡(luò)對最優(yōu)融合效果的評判標(biāo)準(zhǔn)。所以，對已配準(zhǔn)好的醫(yī)學(xué)圖像進(jìn)行融合的步驟為：

1）從數(shù)據(jù)庫中取出500對CT和MR圖像得到圖像集{Ici，Imi}，其中：下標(biāo)c表示CT圖像，下標(biāo)m表示MR圖像，下標(biāo)i表示第i對圖像。

2）選擇當(dāng)前效果優(yōu)良的6種圖像融合方法：基于卷積稀疏的形態(tài)成分分析（Convolutional Sparsity based Morphological Component Analysis， CS-MCA）算法 [19];基于離散分?jǐn)?shù)小波變換（Discrete FRactional Wavelet Transformation， DFRWT）[20]算法;基于離散小波變換 （Discrete Wavelet Transformation， DWT）算法[21];基于非下采樣剪切波變換（NonSubsampled Contourlet Transform， NSCT）算法[22];基于稀疏表示（Sparse Representation， SR）算法[23];基于圖像分類塊稀疏表示（Sparse Representation of classified image Patches， PSR）算法[24]對數(shù)據(jù)集中的每對圖像進(jìn)行融合，得出融合圖像構(gòu)成融合圖像集{f j1， f j2，…， f j500}，其中上標(biāo)j表示第j種融合方法。

3）采用互信息（Mutual Information， MI）、信息熵（Information Entropy， IE）、結(jié)構(gòu)相似性（Structural SIMilarity， SSIM）、空間頻率（Spatial Frequency， SF）、平均梯度（Average Gradient， AG）、標(biāo)準(zhǔn)差（Standard Deviation， SD）、對比度（Contrast， C）、峰值信噪比（Peak Signal-to-Noise Radio， PSNR）、相關(guān)系數(shù)（Correlation Coefficient， CC）、邊緣信息保留值（Edge Information Preservation Vlaues， EIPV）10種評價(jià)指標(biāo)，對融合圖像集進(jìn)行評價(jià)并進(jìn)行統(tǒng)計(jì)，選擇客觀指標(biāo)評價(jià)最優(yōu)的2500張融合圖作為目標(biāo)圖組成訓(xùn)練集If。

4）使用Res-GAN的醫(yī)學(xué)圖像融合算法進(jìn)行訓(xùn)練，在通道維度中連接CT圖像Ic和MR圖像Im，然后將連接圖像輸入到生成器G中，同時(shí)將目標(biāo)圖像If輸入到判別器D中，訓(xùn)練過程如圖4所示。

2.2 改進(jìn)思想

在網(wǎng)絡(luò)結(jié)構(gòu)方面，本文將生成對抗網(wǎng)絡(luò)應(yīng)用到圖像融合領(lǐng)域，為了更好地保留圖像細(xì)節(jié)信息，減少信息在每一層傳輸過程中的丟失，本文在傳統(tǒng)的GAN模型基礎(chǔ)上，采用殘差學(xué)習(xí)框架，讓堆疊層擬合殘差映射，而不是直接擬合所需的底層映射。針對特征圖維度翻倍以及刪除構(gòu)建塊后造成分類誤差顯著增加的問題[25]，采用具有金字塔結(jié)構(gòu)的殘差網(wǎng)絡(luò)[26]，如圖5所示。通過在構(gòu)建網(wǎng)絡(luò)的過程中去掉下采樣單元以減少圖像信息的丟失，同時(shí)逐漸增加特征圖的維度，使受下采樣單元影響的部分均勻地分布在所有單元上，從而使網(wǎng)絡(luò)在刪除下采樣單元時(shí)性能不會顯著下降。

由于CT與MR圖像都是灰度圖，所有的輸入都在同一個(gè)區(qū)間范圍內(nèi)，經(jīng)過批量歸一化（Bach Normalization， BN）層均值歸零、方差歸一的算法，拉伸圖像的對比度，忽略圖像的像素信息只考慮相對差異，會破壞源圖像的對比度信息[27]，從而影響網(wǎng)絡(luò)輸出的質(zhì)量。本文為了更好地保留源圖像的對比度信息，引入層歸一化（Layer Normalization， LN），它在計(jì)算得到某層的平均輸入值和輸入方差時(shí)包含該層所有維度輸入，最后通過同一個(gè)規(guī)范化操作來達(dá)到轉(zhuǎn)換各個(gè)維度輸入的目的[28]。LN針對單個(gè)樣本進(jìn)行訓(xùn)練，有效解決了BN受mini-batch數(shù)據(jù)分布影響的問題;另外，由于它不需要保存mini-batch的均值和方差，可以在很大程度上節(jié)省額外的存儲空間。

2.3 Res-GAN算法網(wǎng)絡(luò)結(jié)構(gòu)

由2.1節(jié)所述的改進(jìn)思想，將改進(jìn)的措施應(yīng)用到本文的Res-GAN算法中，設(shè)計(jì)的整個(gè)網(wǎng)絡(luò)結(jié)構(gòu)如圖6所示。

2.3.1 生成器

生成器的目的在于提取更多、更深層次的圖像特征生成新的融合圖像，其網(wǎng)絡(luò)結(jié)構(gòu)如圖6（a）所示。首先，對輸入圖像進(jìn)行卷積操作，先進(jìn)入3×3×3×64的卷積層，即輸入為3通道、輸出為64通道的3×3的濾波器，設(shè)置步長為1，并通過零填充使圖片在卷積過程中保持大小不變。其次，兩層3×3的濾波器構(gòu)成一個(gè)殘差塊，通過殘差塊的堆疊來提取深層次特征，將殘差塊的數(shù)量增加到32個(gè)，加深了網(wǎng)絡(luò)深度。為了最大化地保存源圖像中的細(xì)節(jié)信息，只引入卷積層而不進(jìn)行下采樣;使用線性整流單元（Rectified Linear Unit， ReLU）優(yōu)化網(wǎng)絡(luò)性能[29];BN轉(zhuǎn)換的思想是使經(jīng)過平移和縮放后的不同神經(jīng)元的輸入分布于不同的區(qū)間，而LN對于同層的神經(jīng)元訓(xùn)練可得到同一個(gè)轉(zhuǎn)換，從而用LN層替換傳統(tǒng)的BN層。最后，采用3×3的濾波器融合深層次特征和快捷連接輸入的淺層次特征，采用1×1的濾波器將通道降為3通道，輸出融合圖像。

2.3.2 判別器

判別器與生成器不同，其根本目的在于分類，先從圖像中提取特征，然后進(jìn)行分類。如圖6（b）所示，判別器是簡單的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。通過4層5×5的濾波器進(jìn)行卷積操作來提取圖像特征，同時(shí)為了減小去掉下采樣單元引起的圖像信息的丟失，逐層增加特征圖的通道數(shù)，從第一層輸入3通道、輸出64通道，每層通道數(shù)以兩倍速度遞增，一直增加到輸入第4層輸入256通道、輸出512通道。然后，通過3×3的濾波器的卷積層逐漸降低通道數(shù)，且同生成器一樣，激活函數(shù)采用ReLU。最后，通過全連接層（Fully Connect layer， FC）進(jìn)行分類，采用Sigmoid函數(shù)輸出判別的結(jié)果。

2.3.3 損失函數(shù)

本文算法的損失函數(shù)由生成器的損失函數(shù)和判別器的損失函數(shù)兩部分組成，旨在最小化損失以達(dá)到訓(xùn)練目的，如式（2）所示：

LRes-GAN={min（LG），min（LD）}（2）

其中：LG為生成器的損失函數(shù)，LD為判別器的損失函數(shù)，總損失函數(shù)LRes-GAN的目的在于最小化LG和LD。

生成器損失LG是生成器和判別器之間的對抗損失V和圖像生成過程中的內(nèi)容損失C之和，α用于在V和C之間取得平衡。采用最小二乘法，其實(shí)質(zhì)是最小化“均方誤差”，通過最小化誤差的平方和尋找數(shù)據(jù)的最佳函數(shù)匹配，并使得求得的數(shù)據(jù)與實(shí)際數(shù)據(jù)之間誤差的平方和最小，能夠使損失函數(shù)快速收斂，訓(xùn)練過程更加穩(wěn)定。

式（4）中：Inf表示融合目標(biāo)圖，其中n∈{1，2，…，N}，N表示融合圖像的數(shù)量;D（Inf）表示分類結(jié)果;a表示判別器識別虛假數(shù)據(jù)為真的標(biāo)簽。式（5）中：H、W分別表示輸入圖像的高和寬;第一項(xiàng)‖·‖F(xiàn)代表矩陣范數(shù)，目的在于將CT圖像Ic的信息保留在融合圖像If中;第二項(xiàng)表示梯度算子，目的在于保留MR圖像Im的細(xì)節(jié)信息;β是控制兩項(xiàng)之間權(quán)值的正參數(shù)。

判別器損失LD，由MR圖像和融合目標(biāo)圖像的分類結(jié)果與其對應(yīng)的真值標(biāo)簽求均方誤差之和得到。

LD=1N∑Nn=1（D（Im）-b）2+1N∑Nn=1（D（If）-c）2（6）

其中：D（Im）和D（If）分別表示MR圖像和融合目標(biāo)圖像的分類結(jié)果;b和c分別表示各自的真值標(biāo)簽。

3 仿真實(shí)驗(yàn)與結(jié)果分析

本文實(shí)驗(yàn)使用的是美國哈佛醫(yī)學(xué)院（Harvard Medical School）的數(shù)據(jù)集，全腦圖譜由Keith A.Johnson和J.Alex Becker創(chuàng)建，提供正常腦和一些常見疾病的腦部圖像。選取出清晰度高、紋理豐富、細(xì)節(jié)復(fù)雜的高質(zhì)量CT和MR圖像，為了方便訓(xùn)練，將圖像均進(jìn)行歸一化。

本實(shí)驗(yàn)環(huán)境由硬件環(huán)境和軟件環(huán)境構(gòu)成，硬件環(huán)境為測試實(shí)驗(yàn)所用的Intel Xeon服務(wù)器，搭載2塊NVIDIA Tesla M40的GPU，顯存共24GB（12GB×2）;軟件環(huán)境為64位Ubnutu 14.04.05 LTS操作系統(tǒng)，Tensorflow V1.2，CUDA Toolkit 8.0，Python 3.5。

3.1 融合效果

以正常腦部、腦弓形蟲和腦萎縮的三組CT和MR圖像，失智癥和膠質(zhì)瘤的兩組MR和SPECT圖像為例對本文算法融合效果進(jìn)行展示。為了驗(yàn)證本文融合算法的醫(yī)學(xué)圖像融合效果，選取在醫(yī)學(xué)圖像融合領(lǐng)域表現(xiàn)良好的基于DWT算法[21]、基于NSCT算法[22]、基于SR算法[23]、基于PSR算法[24]這四種傳統(tǒng)算法與本文算法進(jìn)行對比?；贒WT算法對兩個(gè)輸入源圖像進(jìn)行小波變換，融合小波系數(shù)的融合規(guī)則采用基于區(qū)域能力最大的融合規(guī)則和一致性校驗(yàn)，對融合后的小波系數(shù)進(jìn)行逆小波變換得到融合圖像[21]?；贜SCT算法是充分利用NSCT和脈沖耦合神經(jīng)網(wǎng)絡(luò)（Pulse Coupled Neural Network， PCNN）的優(yōu)點(diǎn)所提出的圖像融合算法：首先，對源圖像進(jìn)行NSCT分解，低頻子帶設(shè)置“取最大”的融合規(guī)則，高頻子帶采用PCNN模型;然后，修正后的NSCT域空間頻率作為輸入激勵PCNN，選取最大點(diǎn)火頻率作為融合圖像的系數(shù);最后，通過逆NSCT得到融合圖像[22]?；赟R算法提出了基于稀疏表示的多聚焦圖像融合方法，首先通過完備字典用稀疏系數(shù)表示源圖像，其次與“取最大”融合規(guī)則相結(jié)合，通過組合的稀疏系數(shù)和字典重建融合圖像[23]?；赑SR算法將源圖像在幾何方向上劃分出分類塊，并通過在線字典學(xué)習(xí)（Online Dictionary Learning， ODL）訓(xùn)練相應(yīng)的子字典，采用最小角回歸（Least Angle RegreSsion， LARS）對每個(gè)塊進(jìn)行稀疏編碼并將稀疏系數(shù)與取最大融合規(guī)則相結(jié)合，最后進(jìn)行重構(gòu)得到融合圖像[24]。

從圖7可以看出，針對CT/MR圖像融合正常腦部的融合圖中：基于DWT和NSCT的算法亮度存在嚴(yán)重失真，融合效果較差，CT輪廓信息沒有很好地集成到融合圖像中，骨骼和軟組織信息不明顯;基于SR、PSR的算法和本文算法在保持結(jié)構(gòu)完整性方面表現(xiàn)良好，從細(xì)節(jié)處看，基于PSR的算法中略微丟失了部分源MR圖信息，本文算法有更高的亮度對比度和更清晰的結(jié)構(gòu)信息，很好地保留了邊緣的紋理細(xì)節(jié)。

腦弓形蟲的融合圖中：基于DWT的算法融合效果不佳，存在偽影，且對MR源圖像的信息丟失嚴(yán)重;基于SR的算法視覺效果相對較好，圖像信息保存比較完整;基于PSR的算法和本文算法的圖像清晰、軟組織信息與源圖像較接近，融合效果較好，在融合邊緣無虛影產(chǎn)生，對源圖像信息的保存相對完整。

腦萎縮融合圖中：基于DWT的算法圖像整體偏暗，對比度不高，視覺效果不好;基于PSR的算法中骨骼信息組織體現(xiàn)不明顯，不利于醫(yī)生對病灶的判斷;本文算法融合效果較好，圖像亮度提升，對比度較高，紋理信息與邊緣信息的保存程度較高，可以獲得更好的視覺質(zhì)量，具有更小的亮度失真和對比度失真。

從融合效果對比綜合來看，本文算法都成功地將腦部骨骼和軟組織信息進(jìn)行了融合，相較于四種傳統(tǒng)融合方法，本文算法的融合效果更優(yōu)。

從圖8可以看出，針對MR/SPECT圖像失智癥和膠質(zhì)瘤的融合圖中：基于DWT算法在細(xì)節(jié)特征信息的表示上性能較差，存在水平和垂直遮擋問題;基于NSCT算法在邊緣細(xì)節(jié)表示方面，與原始MR圖像相比，邊緣細(xì)節(jié)模糊;基于SR算法相較其他算法在右上角對比度較低，輪廓不明顯;基于PSR算法邊緣細(xì)節(jié)相對明顯，但整體對比度較低;本文算法融合效果明顯優(yōu)于其他算法，具有更清晰的細(xì)節(jié)表現(xiàn)力，對源圖像特征信息保留完整，沒有暗線并保持了較高的對比度，充分表明了本文算法可以在邊緣銳度和對比度等方面獲得更好的融合性能。

3.2 評價(jià)指標(biāo)

為了更加全面地對融合結(jié)果進(jìn)行評估，本文對測試集圖像進(jìn)行融合并計(jì)算客觀評價(jià)指標(biāo)MI、IE、SSIM、SF、AG平均值得到評價(jià)數(shù)據(jù)。MI表示融合圖像中包含源圖像的信息量，MI越大，表明融合圖像中包含的源圖像信息量越多;IE用來衡量圖像的信息豐富程度， IE越大，表明融合效果越好;SSIM從亮度、對比度和結(jié)構(gòu)三個(gè)方面衡量融合圖像與源圖像的相似程度，其值在[0，1]之間，SSIM越大，表明融合圖像與源圖像結(jié)構(gòu)越相似;SF體現(xiàn)圖像整體的活躍程度，SF越大，表示圖像的邊緣信息越多;AG反映圖像細(xì)節(jié)和紋理等邊緣信息的豐富程度，AG越大，表明圖像越清晰。

從表1中可以看出：本文算法在大部分客觀評價(jià)指標(biāo)上達(dá)到了最佳值，在MI、IE、SSIM三個(gè)客觀評價(jià)指標(biāo)上均有良好的表現(xiàn)，對于正常腦部、腦膜瘤、腦萎縮三種類型，在MI上相較性能相對較好且穩(wěn)定的基于SR算法分別提升了2.61%、2.54%和20.37%，表明本文算法具有能較好的提取邊緣和紋理信息的能力;IE解決了信息的量化度量問題，本文算法在實(shí)驗(yàn)中均是最優(yōu)值，對于正常腦部、腦膜瘤、腦萎縮三種類型，與基于SR算法相比分別提升了16.7%、24.9%和5.9%，客觀地表明了本文算法在圖像融合效果上的優(yōu)越性;SSIM是衡量兩幅圖像相似度的指標(biāo)，在該指標(biāo)上本文算法在正常腦部和腦萎縮的實(shí)驗(yàn)中是最優(yōu)的，在腦膜瘤實(shí)驗(yàn)中次優(yōu)?；贒WT和NSCT的算法存在低對比度和結(jié)構(gòu)失真的問題，基于SR和PSR的算法和本文算法在亮度和對比度方面有更好的效果，但基于SR算法中存在細(xì)節(jié)丟失，綜上可以看出，本文所提的算法在針對CT/MR圖像進(jìn)行融合時(shí)可以更好地保留邊緣、紋理和細(xì)節(jié)信息。

從表2中可以看出：本文算法在MI和SSIM上的性能均優(yōu)于其他四種對比算法，平均提高了34%和21.9%。在失智癥實(shí)驗(yàn)中，本文算法的IE達(dá)到最優(yōu)值，其SF和AG均為次優(yōu);在膠質(zhì)瘤實(shí)驗(yàn)中，本文算法在SF上達(dá)到最優(yōu)，相較其他算法平均提高了4.5%，本文算法雖然沒有達(dá)到每個(gè)單項(xiàng)評價(jià)指標(biāo)均最優(yōu)，但均可保持良好。綜上可以看出，本文算法融合效果最好，可以提供更好的融合醫(yī)學(xué)圖像，在保持源圖像的細(xì)節(jié)特征信息上表現(xiàn)較優(yōu)。

由于醫(yī)學(xué)圖像具有隱私性和特殊性，在醫(yī)學(xué)圖像融合領(lǐng)域沒有完整的開源數(shù)據(jù)庫，融合過程中的測試集需要自己手動構(gòu)造，測試集的質(zhì)量很大程度上限制了訓(xùn)練網(wǎng)絡(luò)模型的性能，在實(shí)際應(yīng)用中，若有更準(zhǔn)確的數(shù)據(jù)集，可以進(jìn)一步提升融合效果，達(dá)到更好的客觀指標(biāo)。總體考慮，本文算法較好地保留了源圖像的輪廓以及細(xì)節(jié)信息，客觀評價(jià)與主觀觀察結(jié)果相符，為精確的病灶定位及手術(shù)治療提供了有利的影像依據(jù)。

為了驗(yàn)證本文算法的時(shí)間效率，記錄了正常腦部實(shí)驗(yàn)中各個(gè)算法的運(yùn)行時(shí)間，結(jié)果如表3所示。

算法運(yùn)行時(shí)間算法運(yùn)行時(shí)間基于DWT算法47.5基于NSCT算法74.6基于SR算法95.8基于PSR算法178.3本文算法64.7

通過表3可以看出：由于基于DWT算法沒有參數(shù)尋優(yōu)的過程，直接計(jì)算區(qū)域能量，運(yùn)行最快，但得到的融合結(jié)果并不理想;基于PSR算法需要將源圖像進(jìn)行分塊并訓(xùn)練稀疏字典使得其運(yùn)行時(shí)間較長;本文算法相較基于PSR算法運(yùn)行時(shí)間減少了許多，表明采用網(wǎng)絡(luò)模型省去很多不必要的參數(shù)尋優(yōu)，使得融合過程變得簡單和高效。本文實(shí)驗(yàn)采用了傳統(tǒng)融合方法對目標(biāo)圖進(jìn)行了構(gòu)造，耗費(fèi)的時(shí)間主要用于構(gòu)造數(shù)據(jù)集和網(wǎng)絡(luò)訓(xùn)練及測試，將網(wǎng)絡(luò)運(yùn)用于醫(yī)學(xué)圖像融合領(lǐng)域，得到訓(xùn)練成熟的網(wǎng)絡(luò)模型后，直接將源圖像輸入網(wǎng)絡(luò)模型，可以在較短的時(shí)間內(nèi)得到效果優(yōu)良的融合圖像。

4 結(jié)語

基于GAN強(qiáng)大的圖像生成特性以及殘差塊能提取更深層次特征的能力，本文提出了Res-GAN網(wǎng)絡(luò)并應(yīng)用于醫(yī)學(xué)圖像融合領(lǐng)域。實(shí)驗(yàn)結(jié)果表明，本文算法較好地保留了源圖像的邊緣、區(qū)域邊界及紋理等細(xì)節(jié)信息，避免了邊緣部分產(chǎn)生虛影，達(dá)到了較好的融合效果。但醫(yī)學(xué)圖像開源的數(shù)據(jù)集不足，即只有源圖像但沒有融合的目標(biāo)圖，本文實(shí)驗(yàn)是選取了優(yōu)秀的傳統(tǒng)方法，手動構(gòu)造目標(biāo)圖，從而造成了時(shí)間上的耗費(fèi)并影響了模型訓(xùn)練的優(yōu)劣。在實(shí)際應(yīng)用中，若取得質(zhì)量較好的完整數(shù)據(jù)集，直接輸入網(wǎng)絡(luò)對模型進(jìn)行訓(xùn)練，將會大幅減少實(shí)驗(yàn)中的工作量，得到訓(xùn)練好的模型便可直接將醫(yī)學(xué)圖像進(jìn)行融合，且由于訓(xùn)練集的質(zhì)量得到保證，融合效果將會大幅提升。在后續(xù)的工作中，需要對網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行進(jìn)一步的改進(jìn)，尋求更優(yōu)性能的多模態(tài)圖像融合算法，在實(shí)驗(yàn)中對目標(biāo)圖的構(gòu)造進(jìn)行進(jìn)一步的探索，減少其對實(shí)驗(yàn)結(jié)果的限制。

參考文獻(xiàn) （References）

[1]SHEN R， CHENG I， BASU A. Cross-scale coefficient selection for volumetric medical image fusion [J]. IEEE Transactions on Biomedical Engineering， 2013， 60（4）： 1069-1079.

[2]TAO L， QIAN Z. An improved medical image fusion algorithm based on wavelet transform [C]// Proceedings of the 7th International Conference on Natural Computation. Piscataway： IEEE， 2011： 76-78.

[3]江澤濤，楊陽，郭川.基于提升小波變換的圖像融合改進(jìn)算法的研究[J].圖像與信號處理，2015，4：11-19.（JANG Z T， YANG Y， GUO C. Study on the improvement of image fusion algorithm based on lifting wavelet transform [J]. Journal of Image and Signal Processing， 2015， 4： 11-19.）

[4]曹義親，雷章明，黃曉生.基于區(qū)域的非下采樣形態(tài)小波醫(yī)學(xué)圖像融合算法[J].計(jì)算機(jī)應(yīng)用研究，2012，29（6）：2379-2381.（CAO Y Q， LEI Z M， HUANG X S. Region-based algorithm for non-sampling morphological wavelet medical image fusion [J]. Application Research of Computers， 2012， 29（6）： 2379-2381.）

[5]LI S， YANG B， HU J. Performance comparison of different multi-resolution transforms for image fusion [J]. Information Fusion， 2011， 12（2）： 74-84.

[6]WANG J， PENG J， FENG X， et al. Fusion method for infrared and visible images by using non-negative sparse representation [J]. Infrared Physics and Technology， 2014， 67： 477-489.

[7]XIANG T， YAN L， GAO R. A fusion algorithm for infrared and visible images based on adaptive dual-channel unit-linking PCNN in NSCT domain [J]. Infrared Physics and Technology， 2015， 69： 53-61.

[8]MA J， ZHOU Z， WANG B， et al. Infrared and visible image fusion based on visual saliency map and weighted least square optimization [J]. Infrared Physics and Technology， 2017， 82： 8-17.

[9]HE G， XING S， HE X， et al. Image fusion method based on simultaneous sparse representation with non-subsampled contourlet transform [J]. IET Computer Vision， 2019， 13（2）： 240-248.

[10]DING S， ZHAO X， XU H， et al. NSCT-PCNN image fusion based on image gradient motivation [J]. IET Computer Vision， 2018， 12（4）： 377-383.

[11]藺素珍，韓澤.基于深度堆疊卷積神經(jīng)網(wǎng)絡(luò)的圖像融合[J].計(jì)算機(jī)學(xué)報(bào)，2017，40（11）：2506-2518.（LIN S Z， HAN Z. Images fusion based on deep stack convolutional neural network [J]. Chinese Journal of Computers， 2017， 40（11）： 2506-2518.）

[12]KRIZHEVSKY A， SUTSKEVER I， HINTON G E. ImageNet classification with deep convolutional neural networks [C]// Proceedings of the 25th International Conference on Neural Information Processing Systems. Red Hook： Curran Associates Inc.， 2012： 1097-1105.

[13]RADFORD A， METZ L， CHINTALA S. Unsupervised representation learning with deep convolutional generative adversarial networks [EB/OL]. [2019-01-20]. https：//arxiv.org/pdf/1511.06434.pdf.

[14]PATHAK D， KRHENBHL P， DONAHUE J， et al. Context encoders： feature learning by inpainting [C]// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2016： 2536-2544.

[15]ISOLA P， ZHU J Y， ZHOU T， et al. Image-to-image translation with conditional adversarial networks [C]// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017： 5967-5976.

[16]GOODFELLOW I J， POUGET-ABADIE J， MIRZA M， et al. Generative adversarial nets [C]// Proceedings of the 27th International Conference on Neural Information Processing Systems. Cambridge， MA： MIT Press， 2014： 2672-2680.