基于深度可分離卷積和寬殘差網(wǎng)絡(luò)的醫(yī)學(xué)影像超分辨率重建

高媛 王曉晨 秦品樂 王麗芳

摘 要：為提高醫(yī)學(xué)影像超分辨率的重建質(zhì)量，提出了一種基于深度可分離卷積的寬殘差超分辨率神經(jīng)網(wǎng)絡(luò)算法。首先，利用深度可分離卷積改進(jìn)網(wǎng)絡(luò)的殘差塊，擴(kuò)寬殘差塊中卷積層的通道，將更多的特征信息傳入了激活函數(shù)，使得網(wǎng)絡(luò)中淺層低級(jí)圖像特征更容易地傳播到高層，提高了醫(yī)學(xué)影像超分辨率的重建質(zhì)量;然后，采用組歸一化的方法訓(xùn)練網(wǎng)絡(luò)，將卷積層的通道維度劃分為組，在每個(gè)組內(nèi)計(jì)算歸一化的均值和方差，使得網(wǎng)絡(luò)訓(xùn)練過程更快地收斂，解決了深度可分離卷積擴(kuò)寬通道數(shù)導(dǎo)致網(wǎng)絡(luò)訓(xùn)練難度增加的問題，同時(shí)網(wǎng)絡(luò)表現(xiàn)出更好的性能。實(shí)驗(yàn)結(jié)果表明，對(duì)比傳統(tǒng)的最近鄰插值、雙三次插值超分辨率算法，以及基于稀疏表達(dá)的超分辨率算法，所提算法重建出的醫(yī)學(xué)影像紋理細(xì)節(jié)更加豐富、視覺效果更加逼真。對(duì)比基于卷積神經(jīng)網(wǎng)絡(luò)的超分辨率算法，基于寬殘差超分辨率神經(jīng)網(wǎng)絡(luò)算法和生成對(duì)抗網(wǎng)絡(luò)超分辨率算法，所提算法在峰值信噪比（PSNR）和結(jié)構(gòu)相似性（SSIM）上有顯著的提升。

關(guān)鍵詞：超分辨率;寬殘差;深度可分離卷積;組歸一化;殘差塊

中圖分類號(hào)：TP391.41

文獻(xiàn)標(biāo)志碼：A

Medical image super-resolution reconstruction based on depthwise separable convolution and wide residual network

GAO Yuan*， WANG Xiaochen， QIN Pinle， WANG Lifang

School of Data Science， North University of China， Taiyuan Shanxi 030051， China

Abstract：

In order to improve the quality of medical image super-resolution reconstruction， a wide residual super-resolution neural network algorithm based on depthwise separable convolution was proposed. Firstly， the depthwise separable convolution was used to improve the residual block of the network， widen the channel of the convolution layer in the residual block， and pass more feature information into the activation function， making the shallow low-level image features in the network easier transmitted to the upper level， so that the quality of medical image super-resolution reconstruction was enhanced. Then， the network was trained by group normalization， the channel dimension of the convolutional layer was divided into groups， and the normalized mean and variance were calculated in each group， which made the network training process converge faster， and solved the difficulty of network training because the depthwise separable convolution widens the number of channels. Meanwhile， the network showed better performance. The experimental results show that compared with the traditional nearest neighbor interpolation， bicubic interpolation super-resolution algorithm and the super-resolution algorithm based on sparse expression， the medical image reconstructed by the proposed algorithm has richer texture detail and more realistic visual effects. Compared with the super-resolution algorithm based on convolutional neural network， the super-resolution neural network algorithm based on wide residual and the generative adversarial-network super-resolution algorithm， the proposed algorithm has a significant improvement in PSNR （Peak Signal-to-Noise Ratio） and SSIM （Structural SIMilarity index）.

Key words：

super resolution; wide residual; depthwise separable convolution; group normalization; residual block

0 引言

隨著醫(yī)學(xué)影像在醫(yī)療實(shí)踐中的不斷發(fā)展和廣泛使用，計(jì)算機(jī)斷層成像（Computed Tomography， CT）[1]、磁共振成像（Magnetic Resonance Imaging， MRI）[2]、正電子發(fā)射計(jì)算機(jī)斷層掃描（Positron Emission Tomography， PET）[3]等技術(shù)成為臨床診斷不可或缺的工具，而清晰的醫(yī)學(xué)影像可以提供豐富的病灶信息，輔助醫(yī)生進(jìn)行更加精確的診斷。但由于成像技術(shù)和成像原理的不同，獲得的醫(yī)學(xué)影像的分辨率也就不同，低分辨率的醫(yī)學(xué)影像中，噪聲和偽影會(huì)損害診斷信息，在臨床上很難進(jìn)行全面綜合的診斷，因此，對(duì)醫(yī)學(xué)影像進(jìn)行超分辨率重建，可以在不增加高分辨率成像技術(shù)成本的基礎(chǔ)上，降低對(duì)成像環(huán)境的要求，通過復(fù)原出的清晰醫(yī)學(xué)影像，實(shí)現(xiàn)對(duì)病變部位的精準(zhǔn)探測(cè)，有助于醫(yī)生對(duì)患者病情作出更好的診斷[4]。

目前，圖像超分辨率（Super Resolution， SR）技術(shù)的研究方向分為兩類：1）基于整體視覺效果的超分辨率重建。經(jīng)典算法如基于生成對(duì)抗的超分辨率網(wǎng)絡(luò)（photo-realistic single image Super-Resolution using a Generative Adversarial Network， SRGAN）[5]，以及具有感知損耗的實(shí)時(shí)傳輸超分辨率網(wǎng)絡(luò)（perceptual losses for Real-time style Transfer and Super-Resolution， RTSR）[6]等。該類方法追求符合人類認(rèn)知視覺的整體效果，但對(duì)細(xì)節(jié)部分的重建要求不高。應(yīng)用場(chǎng)景如低分辨率電視視頻的恢復(fù)、相機(jī)模糊圖像的恢復(fù)等。2）基于細(xì)節(jié)的超分辨率重建。傳統(tǒng)算法如最近鄰插值（bilinear）[7]和雙三次插值（bicubic）[8]，以及基于稀疏表達(dá)的圖像超分辨率（image Super-Resolution Via Sparse Representation， SRVSR）[9];基于深度學(xué)習(xí)的算法如使用深度卷積網(wǎng)絡(luò)的圖像超分辨率（image Super-Resolution using Deep Convolutional Networks， SRCNN）[10]，單圖像超分辨率的增強(qiáng)型深度殘差網(wǎng)絡(luò)（Enhanced Deep residual networks for single image Super-Resolution， EDSR）[11]，以及寬殘差的高效超分辨率網(wǎng)絡(luò)（Wide activation for efficient and accurate image Super-Resolution， WDSR）[12]等。該類方法對(duì)細(xì)節(jié)要求苛刻，力求恢復(fù)出圖像真實(shí)可靠的細(xì)節(jié)及紋理信息，應(yīng)用場(chǎng)景如醫(yī)學(xué)影像上的超分辨率重建、低分辨率攝像頭人臉或者外形的恢復(fù)等。

傳統(tǒng)的超分辨率算法，如基于稀疏表達(dá)的圖像超分辨率，通過強(qiáng)化高分辨率圖像和低分辨率圖像的字典之間稀疏表示的相似性，學(xué)習(xí)低分辨率圖像和高分辨率圖像之間的稀疏系數(shù)，使用學(xué)習(xí)到的稀疏系數(shù)和高分辨率字典重建出了較為清晰的高分辨率圖片。而基于深度學(xué)習(xí)的超分辨率神經(jīng)網(wǎng)絡(luò)算法，通過加深網(wǎng)絡(luò)的深度，學(xué)習(xí)圖像的高級(jí)特征信息，重建出的圖像更加清晰，在PSNR和SSIM上均取得比傳統(tǒng)方法更好的效果。醫(yī)學(xué)影像的超分辨率重建要求細(xì)節(jié)明顯、紋理清晰，同時(shí)減弱噪聲的影響。因此，在對(duì)醫(yī)學(xué)影像進(jìn)行超分辨率重建時(shí)，定位在對(duì)超分辨率神經(jīng)網(wǎng)絡(luò)的優(yōu)化上：即如何在圖像尺寸放大的同時(shí)獲得更好的細(xì)節(jié)收益，且不放大噪聲，減弱噪聲對(duì)重建的影響。

Yu等[12]提出的WDSR網(wǎng)絡(luò)認(rèn)為，在單圖像超分辨率（Single Image Super-Resolution， SISR）網(wǎng)絡(luò)的問題中，具有更廣泛特征信息激活的網(wǎng)絡(luò)具有更好的性能，因此，基于WDSR算法，本文提出了基于深度可分離卷積的寬殘差超分辨率神經(jīng)網(wǎng)絡(luò)算法（Wide Residual Super-Resolution neural network based on depthwise separable convolution， WR-SR）。該算法利用深度可分離卷積（Depthwise separable convolution）[13]進(jìn)一步擴(kuò)寬了卷積層的通道數(shù)，使得淺層更多的特征信息傳入到深層，增大了醫(yī)學(xué)影像在上采樣4倍時(shí)的細(xì)節(jié)收益，同時(shí)利用組歸一化（Group Normalization， GN）[14]方法在卷積層的通道維度內(nèi)計(jì)算均值和方差，在提升網(wǎng)絡(luò)訓(xùn)練速度的同時(shí)提高了網(wǎng)絡(luò)的性能。實(shí)驗(yàn)結(jié)果顯示，使用深度可分離卷積擴(kuò)寬卷積層通道這一方法效果顯著，與SRGAN、WDSR等超分辨率算法相比，獲得了更高的峰值信噪比（Peak Signal-to-Noise Ratio， PSNR）和結(jié)構(gòu)相似性（Structural SIMilarity index， SSIM）。

1 相關(guān)理論

1.1 寬殘差的高效超分辨率網(wǎng)絡(luò)算法

寬殘差的高效超分辨率（WDSR）網(wǎng)絡(luò)算法在NTIRE 2018數(shù)據(jù)集DIV2K（一個(gè)大型的自然圖像數(shù)據(jù)集，具有大量的RGB圖像）的超分辨率挑戰(zhàn)賽上獲得了3個(gè)比賽方向上的冠軍。該算法的網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示，包括全局殘差學(xué)習(xí)、遞歸學(xué)習(xí)和上采樣處理3個(gè)模塊。網(wǎng)絡(luò)使用低分辨率圖片作為輸入，在低分辨率階段使用3×3卷積核（3×3 Conv）提取圖像所有特征;之后在遞歸殘差塊（Residual Body）內(nèi)學(xué)習(xí)圖像的高級(jí)特征，再使用3×3卷積核（3×3 Conv）提取學(xué)習(xí)到的高級(jí)特征;最后在上采樣層中使用像素重組（Pixel Shuffle）的方式對(duì)圖像進(jìn)行放大。同時(shí)使用全局殘差學(xué)習(xí)（Global Residual Learning）將原始低分辨率圖像進(jìn)行上采樣處理，與學(xué)習(xí)的高級(jí)特征疊加后輸出超分辨率圖片。

網(wǎng)絡(luò)深度的增加給表示能力帶來了好處，但同時(shí)未充分使用來自淺層的特征信息。WDSR中證明非線性激活函數(shù)（Rectified Linear Unit， ReLU）阻礙了從淺層到深層的信息流，不同于在其他網(wǎng)絡(luò)中添加各種跳過連接（Skip Connection）的方式，只需在激活函數(shù)ReLU之前擴(kuò)展特征圖（Feature map）的大小，即可顯著改善圖像的重建質(zhì)量。為此，該算法提出了線性低秩卷積（如圖2所示）構(gòu)建超分辨率網(wǎng)絡(luò)的殘差塊，它將大卷積核分解為兩個(gè)低秩卷積核，其中一個(gè)1×1的卷積核用于減少特征圖的通道數(shù)，另一個(gè)3×3的卷積核用于提取特征。

WDSR使用殘差塊擴(kuò)展特征圖大小的同時(shí)，又使用了1×1卷積核減少了特征圖的通道數(shù)，解決了網(wǎng)絡(luò)過寬導(dǎo)致難以訓(xùn)練的難題。但是，該方法限制了網(wǎng)絡(luò)寬度的增加，使得之后的3×3卷積層提取的特征信息不足，導(dǎo)致網(wǎng)絡(luò)學(xué)習(xí)的淺層特征較少，從而影響了網(wǎng)絡(luò)的重建效果。

1.2 深度可分離卷積

線性低秩卷積是實(shí)現(xiàn)空間相關(guān)性和通道相關(guān)性的聯(lián)合映射，即同時(shí)考慮輸入的空間特征和通道特征。Sifre等[14]認(rèn)為，卷積層通道間的相關(guān)性和空間相關(guān)性是可以解耦合的，將它們分開映射，能達(dá)到更好的效果。提出深度可分離卷積模塊將空間和通道的計(jì)算分開，在輸入的每個(gè)通道上單獨(dú)地執(zhí)行通道卷積，之后再進(jìn)行不添加非線性激活函數(shù)的空間卷積。

如圖3所示，Input表示卷積核的輸入通道數(shù)，Output表示卷積核的輸出通道數(shù)，該模塊將線性低秩卷積的3×3×Input×Output卷積核分解為一個(gè)3×3×1×Input的卷積核和一個(gè)1×1×Input×Output的卷積核。線性低秩卷積核所需參數(shù)為3×3×Input×Output，而深度可分離卷積核所需的參數(shù)為3×3×1×Input+1×1×Input×Output。當(dāng)網(wǎng)絡(luò)的寬度增大時(shí)，即輸入與輸出通道數(shù)增大時(shí)，深度可分離卷積操作所需的參數(shù)將遠(yuǎn)小于線性低秩卷積所需的參數(shù)。

深度可分離卷積首先使用3×3的卷積核將特征圖的各個(gè)通道映射到一個(gè)新的空間，在這一過程中學(xué)習(xí)通道的相關(guān)性，再通過1×1的卷積核進(jìn)行卷積，以同時(shí)學(xué)習(xí)空間上的相關(guān)性和通道間的相關(guān)性。與同時(shí)學(xué)習(xí)通道和空間相關(guān)性的線性低秩卷積操作相比，深度可分離卷積實(shí)現(xiàn)了通道和空間的分離，不僅比線性低秩卷積減少了所需要的參數(shù)，使得網(wǎng)絡(luò)的訓(xùn)練速度變快，而且進(jìn)一步提升了網(wǎng)絡(luò)的寬度，使得更多的特征信息能夠在網(wǎng)絡(luò)中進(jìn)行傳播，提高了網(wǎng)絡(luò)的重建質(zhì)量。

1.3 歸一化層

神經(jīng)網(wǎng)絡(luò)中的每一層都面臨輸入的分布隨訓(xùn)練而變化的情況，所以每個(gè)中間層需要不斷適應(yīng)其輸入的變化，導(dǎo)致網(wǎng)絡(luò)變得難以訓(xùn)練。歸一化層通過標(biāo)準(zhǔn)化輸入的均值和方差，使得每一層都能夠?qū)W習(xí)到更穩(wěn)定的輸入分布，確保網(wǎng)絡(luò)能夠使用更大的學(xué)習(xí)率，從而提高了網(wǎng)絡(luò)的訓(xùn)練速度，提高了網(wǎng)絡(luò)表達(dá)能力。

在深度學(xué)習(xí)中，常見的歸一化層有以下四種。如圖4所示，其中每個(gè)圖表示特征圖張量，H和W表示特征圖的高和寬，C表示通道維度，N表示批量維度，深色區(qū)域的內(nèi)容表示使用的是相同的均值和方差，通過聚合該區(qū)域的像素值來計(jì)算該歸一化。1）批量歸一化（Batch Normalization， BN）[16]。BN沿樣本的批量維度N執(zhí)行全局歸一化，當(dāng)輸入分布發(fā)生變化時(shí)，之前計(jì)算的數(shù)據(jù)分布也可能改變，這導(dǎo)致網(wǎng)絡(luò)每層的權(quán)重訓(xùn)練不一致。Nah等[17]在圖像去模糊工作中認(rèn)為，由于批量標(biāo)準(zhǔn)化層對(duì)特征進(jìn)行了規(guī)范化，導(dǎo)致網(wǎng)絡(luò)變得不靈活，并且消耗了計(jì)算資源，去除BN層后使網(wǎng)絡(luò)的重建性能獲得了提升。2）層歸一化（Layer Normalization， LN）[18]。LN沿通道維度C進(jìn)行歸一化，僅針對(duì)每個(gè)樣本操作，解決了批量歸一化中網(wǎng)絡(luò)過度依賴批量大小的問題，但在大多數(shù)卷積神經(jīng)網(wǎng)絡(luò)中，LN訓(xùn)練的效果不如BN。3）權(quán)重歸一化（Weight Normalization， WN）[19]。WN對(duì)卷積核的權(quán)重進(jìn)行歸一化，而不是對(duì)特征進(jìn)行操作。WN層同樣不會(huì)受到批量維度的影響，但WN僅針對(duì)卷積核的參數(shù)歸一化，擴(kuò)寬卷積核的通道后將導(dǎo)致網(wǎng)絡(luò)的訓(xùn)練速度降低。4）組歸一化，簡(jiǎn)稱GN層，將通道維度C劃分為不同的組，在組內(nèi)進(jìn)行歸一化。

由于圖像的形狀、照明、紋理等特征的系數(shù)相互依賴，它們的依賴關(guān)系在網(wǎng)絡(luò)中表現(xiàn)為前后不同的幾組通道。因此，將網(wǎng)絡(luò)通道進(jìn)行分組歸一化來處理，可使超分辨率網(wǎng)絡(luò)學(xué)習(xí)到這些特征之間的依賴關(guān)系，有效提升網(wǎng)絡(luò)的性能。本文將在擴(kuò)寬網(wǎng)絡(luò)寬度的基礎(chǔ)上，使用GN層在卷積核的通道維度內(nèi)進(jìn)行歸一化，從而加快網(wǎng)絡(luò)在訓(xùn)練時(shí)的收斂速度并提高網(wǎng)絡(luò)的性能。

2 深度可分離卷積寬殘差超分辨率神經(jīng)網(wǎng)絡(luò)

2.1 改進(jìn)思想

影響超分辨率網(wǎng)絡(luò)重建性能的兩個(gè)重要因素是網(wǎng)絡(luò)的寬度和深度?；诟嗟奶卣餍畔⒂幸嬗谔岣叱直媛示W(wǎng)絡(luò)的重建性能這一思想，WDSR算法提出線性低秩卷積，用以擴(kuò)展輸入通道的特征維度，但隨著網(wǎng)絡(luò)寬度的增加，網(wǎng)絡(luò)變得難以訓(xùn)練，限制了其寬度的繼續(xù)增長(zhǎng)。本文運(yùn)用深度可分離卷積，改進(jìn)WDSR算法的殘差塊，進(jìn)一步提升網(wǎng)絡(luò)的寬度，提出了基于深度可分離卷積的寬殘差超分辨率神經(jīng)網(wǎng)絡(luò)（WR-SR）。同時(shí)，運(yùn)用組歸一化的方法，解決了由于網(wǎng)絡(luò)變寬導(dǎo)致難以訓(xùn)練的難題，將輸入特征的維度進(jìn)行分組歸一化處理，不僅可以加快網(wǎng)絡(luò)的訓(xùn)練速度，而且可以提升網(wǎng)絡(luò)的性能。

2.2 網(wǎng)絡(luò)結(jié)構(gòu)

2.2.1 基于深度可分離卷積的寬殘差超分辨率神經(jīng)網(wǎng)絡(luò)

WR-SR的網(wǎng)絡(luò)深度為34層，包括32層的殘差塊（Residual Body）以及殘差塊前后2個(gè)提取特征的卷積層。通過改進(jìn)殘差塊與使用組歸一化方法，設(shè)計(jì)的整個(gè)WR-SR網(wǎng)絡(luò)結(jié)構(gòu)如圖5所示。

WR-SR算法直接使用隨機(jī)裁剪的3×24×24大小的補(bǔ)丁作為輸入，在殘差塊前后使用大小為3×3的卷積核（Conv）提取特征，使用GN層進(jìn)行歸一化;之后在殘差塊內(nèi)學(xué)習(xí)圖像之間的高級(jí)特征，輸出3×42×24×24的補(bǔ)丁，其中4是上采樣的比例;最后通過像素重組（Pixel Shuffle）的方式將補(bǔ)丁上采樣為3×96×96的大小。同時(shí)，使用全局殘差學(xué)習(xí)（Global Residual Learning）將輸入圖像的原始特征信息與深層學(xué)習(xí)的高級(jí)特征信息疊加，輸出重建的超分辨率圖像。最終將原始的低分辨率圖像放大4倍為超分辨率圖像，且重建的圖像細(xì)節(jié)信息豐富，同時(shí)減弱了噪聲的影響。

2.2.2 構(gòu)建殘差塊

為擴(kuò)展卷積層的特征維度，即通道數(shù)，基于Laurent Sifre提出的深度可分離卷積模塊對(duì)WDSR算法的殘差塊作了改進(jìn)：通過分別計(jì)算通道和空間上的特征，使用3×3的卷積核和1×1的卷積核線性組合的方式重新設(shè)計(jì)了維度更高的殘差塊，將網(wǎng)絡(luò)的特征維度分別擴(kuò)展至了1536維和2048維。同時(shí)使用GN層對(duì)卷積層的通道數(shù)進(jìn)行歸一化，以加快網(wǎng)絡(luò)在訓(xùn)練時(shí)的收斂速度。

每個(gè)殘差塊內(nèi)輸入的特征圖大小是x×x×256，其中x表示特征圖的高或?qū)挘?56表示其通道數(shù)。首先，在通道相關(guān)性上，使用3×3大小的卷積核提取通道特征，得到x×x×256大小的特征圖，再使用1×1大小的卷積核對(duì)這些特征圖提取空間特征，即聯(lián)合映射所有維度的相關(guān)性，得到x×x×1536大小的特征圖;其次，繼續(xù)使用3×3卷積核和1×1卷積核以同樣的方式將特征圖擴(kuò)寬至x×x×2048;之后，使用ReLU作為激活函數(shù)，以增加輸入的非線性;最后，使用3×3和1×1的卷積核，將卷積層的通道數(shù)由2048維降到256維，以實(shí)現(xiàn)網(wǎng)絡(luò)的快速訓(xùn)練。最終輸出x×x×256大小的特征圖。殘差塊的深度為32層，前一層的輸出為后一層的輸入。每層殘差塊的定義如圖6所示。

通過該殘差塊結(jié)構(gòu)以及擴(kuò)寬特征維度的方式，網(wǎng)絡(luò)中來自淺層的低級(jí)圖像特征可以更容易地傳播到深層。改進(jìn)的殘差塊獲得了更清晰的細(xì)節(jié)及紋理信息，同時(shí)減弱了圖像的噪聲及偽影的影響。

2.2.3 組歸一化

針對(duì)醫(yī)學(xué)影像超分辨率，小批量的醫(yī)學(xué)影像其均值和方差差異較大，因此不適用使用BN層進(jìn)行歸一化。由于WR-SR擴(kuò)寬了卷積層的通道，LN層和WN層歸一化也不適用于該網(wǎng)絡(luò)的訓(xùn)練。因此，本文采用了GN層對(duì)WR-SR網(wǎng)絡(luò)進(jìn)行歸一化。

描述特征歸一化的一般公式：

i =（xi-μi）/σi（1）

其中：xi是由某一層計(jì)算的特征，i是索引，在二維圖像的情況下，i=（iN，iC，iH，iW）是以（N，C，H，W）順序索引的4維向量，其中N是批量向量，C是通道向量，H是高度向量，W是寬度向量。 μ和σ是由式（2）和式（3）計(jì)算的均值和標(biāo)準(zhǔn)差：

μi=1m∑k∈Sixk（2）

σi=1m∑k∈Si（xk-μi）2+ε（3）

其中：m是該集合的大小，ε是一個(gè)常數(shù)，k是索引。如式（4）所示，Si為μ和σ的約束條件，它是計(jì)算均值和方差的像素集合。

Si=kkN=iN，kCC/G=iCC/G（4）

其中：iN和kN表示沿批量向量N的i和k的索引，這表示相同批量索引的像素被一起歸一化。iC和kC表示索引i和k在同一組通道中。G是組的數(shù)量，它是預(yù)定義的超參數(shù)。C/G是每組的通道數(shù)。 GN沿（H，W）向量在一組通道內(nèi)計(jì)算μ和σ。如Razavian等[20]在通過減少內(nèi)部協(xié)變量偏移來加速深度網(wǎng)絡(luò)訓(xùn)練中所述相同，組歸一化也學(xué)習(xí)了一個(gè)通道線性變換，以補(bǔ)償表示能力的可能丟失：

yi=γi+β（5）

其中：γ和β是可訓(xùn)練的比例和位移。

綜上所述，GN層由等式（1）、（2）、（3）、（4）、（5）定義。具體而言，同一組中的像素通過計(jì)算相同的μ和σ被一起歸一化。除此之外，GN還學(xué)習(xí)每個(gè)通道的γ和β。通過運(yùn)用組歸一化的方法，WR-SR算法在訓(xùn)練期間加快L1損失收斂速度的同時(shí)獲得了更高的PSNR值。

2.3 實(shí)驗(yàn)參數(shù)及訓(xùn)練過程

實(shí)驗(yàn)所采用的數(shù)據(jù)集來源于開源的美國(guó)國(guó)家醫(yī)學(xué)圖書館MedPix數(shù)據(jù)庫(kù)中的肺部淋巴結(jié)數(shù)據(jù)，并從中選取了不同病人的900張512×512高分辨率醫(yī)學(xué)影像用作訓(xùn)練與測(cè)試。實(shí)驗(yàn)使用800張圖像作為訓(xùn)練集，100張圖像作為測(cè)試集。為減少測(cè)試所需的時(shí)間，在訓(xùn)練期間取測(cè)試集中的10張圖像作為驗(yàn)證集，以驗(yàn)證訓(xùn)練期間的L1損失和PSNR值。在訓(xùn)練期間，使用隨機(jī)水平和旋轉(zhuǎn)兩種方式增強(qiáng)訓(xùn)練集。在訓(xùn)練之前將512×512的醫(yī)學(xué)影像轉(zhuǎn)為png格式的RGB圖片，之后使用隨機(jī)裁剪的方式將512×512的圖像裁剪為96×96大小的補(bǔ)丁，并將其作為高分辨率（High Resolution， HR）圖像，接著將96×96的HR圖像下采樣為24×24的低分辨率（Low Resolution， LR）圖像并作為網(wǎng)絡(luò)的輸入。網(wǎng)絡(luò)通過端到端的映射將LR圖像上采樣4倍為96×96大小的超分辨率（Super Resolution， SR）圖像，通過計(jì)算并不斷迭代SR和HR之間的L1損失以優(yōu)化網(wǎng)絡(luò)中的參數(shù)。

實(shí)驗(yàn)采用PSNR和SSIM作為醫(yī)學(xué)影像超分辨率的評(píng)價(jià)指標(biāo)，同時(shí)以L1損失驗(yàn)證網(wǎng)絡(luò)訓(xùn)練期間的收斂速度。

3 實(shí)驗(yàn)結(jié)果

本文的實(shí)驗(yàn)采用mini-batch的訓(xùn)練方式，mini-batch大小設(shè)置為16。初始學(xué)習(xí)率設(shè)置為10-4，每迭代2×105次，學(xué)習(xí)率減半，以加快網(wǎng)絡(luò)的訓(xùn)練。本文的實(shí)驗(yàn)環(huán)境為Ubuntu 14.01.5 LTS操作系統(tǒng)，Pytorch V0.4.1，CUDA Toolkit 9.0，Python3.6。整個(gè)網(wǎng)絡(luò)在兩塊NVIDIA Tesla M40上運(yùn)行了2天?；跉埐顗K的改進(jìn)與GN層的替換，本文在相同的實(shí)驗(yàn)環(huán)境下做了兩組對(duì)比實(shí)驗(yàn)，以驗(yàn)證改進(jìn)算法WR-SR在醫(yī)學(xué)影像超分辨率上的PSNR值和SSIM指標(biāo)，該評(píng)價(jià)指標(biāo)以驗(yàn)證集作為參考圖像，通過計(jì)算測(cè)試結(jié)果與參考圖像之間的差異評(píng)判網(wǎng)絡(luò)的準(zhǔn)確性。此外，在相同的實(shí)驗(yàn)環(huán)境和數(shù)據(jù)集下，與傳統(tǒng)的超分辨率方法（包括Biliner和Bicubic）以及基于深度學(xué)習(xí)的超分辨率算法（包括SRGAN、WDSR）作了對(duì)比，以顯示W(wǎng)R-SR算法的優(yōu)越性。本文共做了三組對(duì)比實(shí)驗(yàn)，實(shí)驗(yàn)證明WR-SR算法在性能和評(píng)價(jià)指標(biāo)上與其他算法相比，確實(shí)有明顯提高。

3.1 改進(jìn)殘差塊對(duì)比實(shí)驗(yàn)

為了驗(yàn)證進(jìn)一步擴(kuò)寬特征維度的改進(jìn)殘差塊與未改進(jìn)的殘差塊的效果，在使用GN歸一化層的基礎(chǔ)上，以及相同的實(shí)驗(yàn)環(huán)境和數(shù)據(jù)集條件下做了兩種殘差塊的對(duì)比實(shí)驗(yàn)。實(shí)驗(yàn)運(yùn)行了250個(gè)時(shí)期（epoch），每個(gè)epoch內(nèi)迭代了1000次，共迭代了2.5×105次。同時(shí)在10張圖像的驗(yàn)證集上計(jì)算了網(wǎng)絡(luò)的L1損失和PSNR值以驗(yàn)證網(wǎng)絡(luò)的收斂性和準(zhǔn)確性，同時(shí)對(duì)測(cè)試結(jié)果計(jì)算了SSIM，以評(píng)價(jià)各殘差塊在醫(yī)學(xué)影像超分辨率上的優(yōu)劣。兩種方法的L1損失及PSNR值如圖7和圖8所示。

圖7中，上下兩條線分別代表WDSR網(wǎng)絡(luò)和WR-SR網(wǎng)絡(luò)的訓(xùn)練結(jié)果。從圖7中可以看出，在迭代相同的250個(gè)Epoch的情況下，與WDSR網(wǎng)絡(luò)相比，WR-SR網(wǎng)絡(luò)在訓(xùn)練過程中，其L1損失收斂得更快，且獲得了更低的損失值。證明WR-SR算法在改進(jìn)殘差塊后，加快了網(wǎng)絡(luò)的訓(xùn)練速度，同時(shí)提升了網(wǎng)絡(luò)性能。

圖8中，上下兩條線分別代表WR-SR網(wǎng)絡(luò)和WDSR網(wǎng)絡(luò)的訓(xùn)練結(jié)果。從圖8中可以看出：兩種方法均在200至250個(gè)Epoch期間趨于穩(wěn)定。同時(shí)，與WDSR網(wǎng)絡(luò)對(duì)比，WR-SR在改進(jìn)殘差塊后收斂得更快，且獲得更高了PSNR值。

該組對(duì)比實(shí)驗(yàn)證明，通過使用深度可分離卷積擴(kuò)展殘差塊的特征維度，改進(jìn)的WR-SR網(wǎng)絡(luò)獲得了更快的收斂性和更高的準(zhǔn)確性。

3.2 GN對(duì)比實(shí)驗(yàn)

該組實(shí)驗(yàn)在相同的數(shù)據(jù)集以及實(shí)驗(yàn)環(huán)境下分別使用GN歸一化層和WN歸一化層進(jìn)行了實(shí)驗(yàn)。實(shí)驗(yàn)在10張圖片的驗(yàn)證集上以L1損失評(píng)估兩種方法的訓(xùn)練過程的準(zhǔn)確性及收斂速度，其結(jié)果如圖9所示。

從圖9（a）中可以看出，使用WN層歸一化WR-SR網(wǎng)絡(luò)時(shí)，其開始的L1損失較高。在網(wǎng)絡(luò)訓(xùn)練至20個(gè)Epoch后，L1損失才出現(xiàn)明顯收斂。

從圖9（b）中可以看出，使用GN層歸一化WR-SR的網(wǎng)絡(luò)其L1損失開始值遠(yuǎn)小于使用WN層歸一化的網(wǎng)絡(luò)。網(wǎng)絡(luò)在訓(xùn)練至10個(gè)Epoch后出現(xiàn)明顯收斂，且其L1損失為3.97，遠(yuǎn)小于使用WN層訓(xùn)練的網(wǎng)絡(luò)，表示網(wǎng)絡(luò)的準(zhǔn)確性更高。

該組對(duì)比實(shí)驗(yàn)證明，通過使用組歸一化的方法，WR-SR網(wǎng)絡(luò)獲得了更快的收斂性，顯著提升了網(wǎng)絡(luò)的性能。同時(shí)，實(shí)驗(yàn)對(duì)比了各個(gè)方法的PSNR值和SSIM指標(biāo)，其結(jié)果如表1所示。

從表1中可以看出，同時(shí)修改殘差塊和添加GN層歸一化的方法，其PSNR值和SSIM指標(biāo)均高于其余任何方法。且單獨(dú)修改殘差塊的方法，其PSNR值和SSIM指標(biāo)均顯著高于單獨(dú)未修改殘差塊的方法。同時(shí)，添加GN層的方法其PSNR值和SSIM指標(biāo)均高于使用WN層的方法。

3.3 改進(jìn)算法的對(duì)比實(shí)驗(yàn)

本文將修改的殘差塊和使用GN層訓(xùn)練的網(wǎng)絡(luò)作為最終模型，在測(cè)試集中選取了4幅圖像，與傳統(tǒng)的超分辨率算法（包括Bilinear、Bicubic算法和SRVSR算法）以及基于深度學(xué)習(xí)的SRCNN算法、SRGAN算法和WDSR算法進(jìn)行了對(duì)比，并以PSNR與SSIM作為評(píng)價(jià)指標(biāo)計(jì)算原圖像與各算法生成的圖像之間的差異。各算法的評(píng)價(jià)指標(biāo)如表2所示，實(shí)驗(yàn)結(jié)果如圖10所示。

由表2可以看出，WR-SR算法在PSNR和SSIM上均顯著高于傳統(tǒng)方法與基于深度學(xué)習(xí)的算法，此外，WR-SR算法與WDSR原始算法對(duì)比，亦提升了1～2dB的PSNR值與0.2～0.3的SSIM指標(biāo)。

圖10（a）為原始高清圖像（Ground Truth），圖10（b）～（h）為表2中提到的各個(gè)算法訓(xùn)練出的實(shí)驗(yàn)結(jié)果。由圖10顯示的結(jié)果可以看出，使用WR-SR網(wǎng)絡(luò)訓(xùn)練的實(shí)驗(yàn)結(jié)果其圖像更加接近于原始圖像，且均明顯優(yōu)于其他方法，得到了較好的超分辨率圖像。該組對(duì)比實(shí)驗(yàn)證明，WR-SR算法在醫(yī)學(xué)影像超分辨率上顯示出了更好的細(xì)節(jié)收益以及更少的噪聲以及偽影信息。

4 結(jié)語(yǔ)

本文提出了一種基于深度可分離卷積的寬殘差超分辨率神經(jīng)網(wǎng)絡(luò)算法，該算法使用深度可分離卷積構(gòu)建殘差塊，以擴(kuò)寬卷積層的特征維度，即通道數(shù);使用組歸一化方法對(duì)卷積層的通道分組，在組內(nèi)進(jìn)行歸一化。三組對(duì)比實(shí)驗(yàn)顯示，對(duì)于肺部淋巴結(jié)的4倍超分辨率圖像，WR-SR算法在測(cè)試集上的PSNR和SSIM指標(biāo)上均顯著高于傳統(tǒng)的超分辨率方法和其他基于深度學(xué)習(xí)的超分辨率算法。同時(shí)生成的圖像細(xì)節(jié)豐富，減弱了噪聲的影響，充分證明了改進(jìn)算法在醫(yī)學(xué)影像超分辨率上高效與準(zhǔn)確性。在下一步的工作中，將使WR-SR算法結(jié)合生成式對(duì)抗網(wǎng)絡(luò)（Generative Adversarial Network， GAN）框架，探討感知質(zhì)量良好但PSNR值較低的GAN網(wǎng)絡(luò)對(duì)于醫(yī)學(xué)影像，其超分辨率的結(jié)果是否也具有較高的準(zhǔn)確性。

參考文獻(xiàn)

[1]RIVIERE P J L， VARGAS P， FU G. et al. Accelerating X-ray fluorescence computed tomography [C]// Proceedings of the 2009 Annual International Conference of the IEEE Engineering in Medicine and Biology Society. Piscataway， NJ： IEEE， 2009：1000-1003.

[2]PELEDS， YESHURUNY. Superresolution in MRI： application to human white matter fiber tract visualization by diffusion tensor imaging[J]. Magnetic Resonance in Medicine， 2001， 45（1）： 29-35.

[3]SUBBARAO M. High-sensitivity Single-Photon Emission Computed Tomography （SPECT）： safer， faster， and more accurate SPECT [C]// Proceedings of the 8th International Conference and Expo on Emerging Technologies for a Smarter World. Piscataway， NJ： IEEE， 2011： 1-2.

[4]PARK S C， PARK M K， KANG M G. Super-resolution image reconstruction： a technical overview[J]. IEEE Signal Processing Magazine， 2003， 20（3）： 21-36.

[5]LEDIG C， THEIS L， HUSZAR F， et al. Photo-realistic single image super-resolution using a generative adversarial network [C]// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE， 2017： 105-114.

[6]JOHNSON J， ALAHI A， LI F. Perceptual losses for real-time style transfer and super-resolution [C]// Proceedings of the 2016 European Conference on Computer Vision， LNCS 9906. Berlin： Springer， 2016： 694-711.

[7]蘇衡，周杰，張志浩.超分辨率圖像重建方法綜述[J].自動(dòng)化學(xué)報(bào)，2013，39（8）： 1202-1213.（SU H， ZHOU J， ZHANG Z H. Survey of super-resolution image reconstruction methods [J]. Acta Automatica Sinica， 2013， 39（8）： 1202-1213.）

[8]KEYS R. Cubic convolution interpolation for digital image processing[J]. IEEE Transactions on Acoustics， Speech and Signal Processing， 1981， 29（6）： 1153-1160.

[9]YANG J， WRIGHT J， HUANG T S， et al. Image super-resolution via sparse representation [J]. IEEE Transactions on Image Processing，2010，19（11）：2861-2873.

[10]DONG C， LOY C C， HE K. et al. Image super-resolution using deep convolutional networks [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2016， 38（2）： 295-307.

[11]LIM B， SON S， KIM H， et al. Enhanced deep residual networks for single image super-resolution [C]// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition Workshops. Piscataway， NJ： IEEE， 2017： 1132-1440.

[12]YU J， FAN Y， YANG J， et al. Wide activation for efficient and accurate image super-resolution [C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Workshops. Piscataway， NJ：IEEE， 2018. 2621-2624.

YU J， FAN Y， YANG J， et al. Wide activation for efficient and accurate image super-resolution [EB/OL]. [2019-01-23]. https：//arxiv.org/pdf/1808.08718v1.pdf.

[13]CHOLLET F. Xception： deep learning with depthwise separable convolutions [C]// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE， 2017： 1800-1807.

[14]WU Y， HE K. Group normalization [EB/OL]. [2018-12-12]. https：//arxiv.org/pdf/1803.08494.pdf.

[15]SIFRE L， MALLAT S. Rotation， scaling and deformation invariant scattering for texture discrimination [C]// Proceedings of the 2013 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway， NJ ：IEEE， 2013： 1233-1240.

[16]IOFFE S， SZEGEDY C. Batch normalization： accelerating deep network training by reducing internal covariate shift [C]// Proceedings of the 32nd International Conference on International Conference on Machine Learning. 2015，37： 448-456.

IOFFE S， SZEGEDY C. Batch normalization： accelerating deep network training by reducing internal covariate shift [EB/OL]. [2019-01-10]. https：//arxiv.org/pdf/1502.03167.pdf.

[17]NAH S， KIM T H， LEE K M. Deep multi-scale convolutional neural network for dynamic scene deblurring [C]// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE， 2017： 257-265.

[18]BA J L， KIROS J R， HINTON G E. Layer normalization [EB/OL]. [2019-01-20]. https：//arxiv.org/pdf/1607.06450.pdf.

[19]SALIMANS T， KIMGMA D P. Weight normalization： a simple reparameterization to accelerate training of deep neural networks [C]// Proceedings of the 30th Neural Information Processing Systems. New York： NIPS， 2016： 901-909.

[20]RAZAVIAN A S， AZIZPOUR H， SULLIVAN J， et al. CNN features off-the-shelf： an astounding baseline for recognition [C]// Proceedings of the 2014 IEEE Conference on Computer Vision and Pattern Recognition Workshops. Piscataway， NJ： IEEE， 2014：512-519.

GAO Yuan， born in 1972， M. S.， associate professor. Her Research interests include image processing， artificial intelligence.

WANG Xiaochen， born in 1995， M. S. candidate. His research interests include deep learning， computer vision.

QIN Pinle， born in 1978， Ph. D.， associate professor. His research interests include machine vision， big data processing.

WANG Lifang， born in 1977， Ph. D.， associate professor. Her research interest include machine vision， big data processing.