基于輕量密集神經(jīng)網(wǎng)絡(luò)的醫(yī)學(xué)圖像超分辨率重建算法

王一寧，趙青杉，秦品樂，胡玉蘭，宗春梅

（1.忻州師范學(xué)院計算機系，山西忻州 034000；2.中北大學(xué)大數(shù)據(jù)學(xué)院，太原 030051）

0 引言

圖像超分辨率（Super-Resolution，SR）技術(shù)的應(yīng)用非常廣泛，在醫(yī)學(xué)成像、人臉識別、高清音視頻［1］等領(lǐng)域有很高實用價值。醫(yī)學(xué)影像發(fā)展至今，在醫(yī)學(xué)界占有重要地位，高分辨率的醫(yī)學(xué)圖像可以提高醫(yī)生的工作效率及降低漏診率［2］。引導(dǎo)放射治療時常用到電子計算機斷層掃描（Computed Tomography，CT）圖像，因此獲得高清晰度的CT 圖像有很大意義。

SR 技術(shù)分可為序列圖像SR［3-4］與單幅圖像SR［5］。在現(xiàn)實生活中，很難在同一場景中獲取序列的醫(yī)學(xué)CT 圖像，所以本文的主要目的是通過SR 技術(shù)提高單幅CT 圖像的分辨率。單幅圖像SR 是一種典型的病態(tài)問題，任務(wù)是從一個低分辨率（Low Resolution，LR）的輸入去產(chǎn)生一個高分辨率（High Resolution，HR）的輸出。因為輸入一幅LR 圖像可能生成多幅有差異的HR 圖像。當(dāng)超分辨率因子變大時，這個不確定性會變得更大。對于更大的因子（×4），LR 圖像可能丟失大量的高頻細(xì)節(jié)。在廣泛采用卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）之前，超分辨率重建技術(shù)被歸類成了一種基于預(yù)測的方法（最近鄰（Nearest Neighbor，NN）［6］、Bilinear［7］和Bicubic［8］）、基于邊緣檢測法［9］、圖像統(tǒng)計學(xué)方法［10］、基于實例的方法［11］。在這些方法之中，傳統(tǒng)的單幀圖像超分辨率方法，如NN 選取距離目標(biāo)位置最近點的像素點作為新插入點的值，在灰度變化的地方易出現(xiàn)明顯的馬賽克和鋸齒現(xiàn)象。Bilinear 在水平和垂直方向分別進(jìn)行一次線性插值，具有低通濾波器性質(zhì)，縮放后圖像的高頻分量受到損失，圖像邊緣較模糊。Bicubic 取插值點周圍的16 個采樣點的加權(quán)平均求得插值點的像素值，插值后圖像邊緣比前兩者更平滑，但銳度仍存在問題。

上述四種方法中，基于實例的方法復(fù)原效果最優(yōu)。基于外部實例的方法由Glasner 等［12］首次提出，隨后陸續(xù)出現(xiàn)多種加速優(yōu)化過程的改良變體形式。這些基于外部實例的方法從外部實例數(shù)據(jù)集中學(xué)習(xí)低/高分辨率像素塊之間的映射關(guān)系。

在外部實例方法中，基于鄰居嵌入［13］和稀疏表示［14］的方法都可重建出較好的圖像特征。Yang 等［15］提出了基于稀疏編碼的圖像重建方法。Dong 等［16］受稀疏編碼的啟發(fā)，將稀疏編碼的原理推廣到了CNN 中，提出了基于卷積神經(jīng)網(wǎng)絡(luò)的圖像超分辨率（Super-Resolution using CNN，SRCNN）算法。SRCNN 在圖像的超分辨率任務(wù)中取得了成功，證實了深度學(xué)習(xí)比傳統(tǒng)方法更易重建出有效的圖像特征。Ledig等［17］利用殘差網(wǎng)絡(luò)設(shè)計出了一個深層結(jié)構(gòu)的網(wǎng)絡(luò)模型ResNet，使梯度更容易傳播到前面的卷積層，解決了深層網(wǎng)絡(luò)梯度彌散的問題。Yu 等［18］提出的寬殘差的高效超分辨率（Wide activation for efficient and accurate image Super-Resolution，WDSR）網(wǎng)絡(luò)認(rèn)為，在SR 網(wǎng)絡(luò)中線性整流函數(shù)（Rectified Linear Unit，ReLU）會阻止信息流的傳遞，因此為了降低激活函數(shù)對信息流的影響，對殘差塊中激活函數(shù)之前的特征圖數(shù)目進(jìn)行擴展，促使更多低層信息傳遞到前面的卷積層。深度學(xué)習(xí)方法和其他方法之間的最顯著的區(qū)別在于，它們通常直接從訓(xùn)練數(shù)據(jù)（例如，完整和損壞的圖像對）學(xué)習(xí)用于圖像恢復(fù)的參數(shù)，而不是依賴于預(yù)定義的圖像先驗知識。

作者基于殘差神經(jīng)網(wǎng)絡(luò)提出圖像SR 改進(jìn)算法，其中有3個有代表性網(wǎng)絡(luò)模型：雙任務(wù)損失卷積神經(jīng)網(wǎng)絡(luò)（Double Task Loss CNN，DTLCNN）、多階段級聯(lián)殘差卷積神經(jīng)網(wǎng)絡(luò)（Multi-section Cascade Residual CNN，MCRCNN）和多階段殘差神經(jīng)網(wǎng)絡(luò)（Multi-Section Residual CNN，MSRCNN）［19］。DTLCNN 層數(shù)為72，MCRCNN-apart 為38 層，兩者均獲得良好重建指標(biāo)及重建出有效紋理特征，但由于網(wǎng)絡(luò)層數(shù)較深、訓(xùn)練參數(shù)多，較低配置的智能終端無法滿足網(wǎng)絡(luò)訓(xùn)練需求，訓(xùn)練所需時間較長。輕量級MSRCNN-fast 為6 層，算法實時性強，對硬件要求低，超分辨率重建指標(biāo)及重建細(xì)節(jié)雖優(yōu)于SRCNN，但遠(yuǎn)不如DTLCNN 和MCRCNN-apart。本文為提升輕量級神經(jīng)網(wǎng)絡(luò)重建效果，在殘差神經(jīng)網(wǎng)絡(luò)基礎(chǔ)上提出了一種輕量密集神經(jīng)網(wǎng)絡(luò)算法。由于SR 這種低抽象任務(wù)需要更多的底層信息反映特征，于是本文采用了密集神經(jīng)網(wǎng)絡(luò)以增加低層特征到高層的傳遞通道。首先由密集神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)得到LR 與HR 醫(yī)學(xué)圖像塊之間的特征差值；接著把密集神經(jīng)網(wǎng)絡(luò)學(xué)到的差值與原圖的特征進(jìn)行疊加；再使用反卷積對圖像進(jìn)行上采樣操作，重構(gòu)出對應(yīng)的高分辨率圖像；最后，將重構(gòu)出的2 倍與4 倍HR 醫(yī)學(xué)圖像與相應(yīng)大小的原圖同時做雙任務(wù)損失。密集網(wǎng)絡(luò)結(jié)構(gòu)，每層均與前層連接，相較于殘差網(wǎng)絡(luò)可獲取更多輸入信息，使較淺層網(wǎng)絡(luò)可提取更豐富的紋理特征。實驗結(jié)果顯示，本文算法的網(wǎng)絡(luò)結(jié)果與NN、Liner、Bicubic 插值、SRCNN、ResNet 超分辨率重建算法相比，在擁有較少網(wǎng)絡(luò)層次與參數(shù)條件下，獲得了更好視覺效果與更高評價指標(biāo)。

1 相關(guān)理論

1.1 ResNet算法

在卷積神經(jīng)網(wǎng)絡(luò)中，隨著網(wǎng)絡(luò)深度的加深，梯度消失問題愈加明顯。針對此問題，ResNet 有較好的表現(xiàn)。ResNet 結(jié)構(gòu)較SRCNN 復(fù)雜很多，網(wǎng)絡(luò)中使用了16 層的殘差塊，如圖1所示，很大程度上加大了網(wǎng)絡(luò)對圖像紋理的學(xué)習(xí)。

圖1 ResNet殘差塊Fig.1 Residual block of ResNet

其中：x為輸入；y為輸出；F(x)為殘差映射。ResNet 中殘差塊寬度有兩層：第一層是堆疊的Conv、批量正則化（Batch Normalization，BN）層、ReLU、Conv、BN；第二層是從x連接到BN 的跳層連接，x與F(x)直接相加的前提為Conv 沒有改變x的維度。當(dāng)F(x) →0 時，殘差結(jié)構(gòu)y=F(x) +x退化為y=x，即殘差網(wǎng)絡(luò)訓(xùn)練最差結(jié)果是退化為未添加殘差映射F(x)的結(jié)構(gòu)。殘差塊在前向傳播時，淺層特征可以在深層得到重用。反向傳播時，深層梯度可直接傳回淺層。

ResNet 的跳層結(jié)構(gòu)一定程度上解決了網(wǎng)絡(luò)加深出現(xiàn)的原始特征的部分丟失和梯度消失問題。但是跳層結(jié)構(gòu)將網(wǎng)絡(luò)中層數(shù)靠前的輸出x與殘差塊輸出直接相加，低層與高層的特征圖有較大的特征差異，可能影響網(wǎng)絡(luò)中圖像特征參數(shù)信息更好的流動。

1.2 DenseNet算法

DenseNet［20］不是通過加深網(wǎng)絡(luò)層數(shù)和加寬網(wǎng)絡(luò)結(jié)構(gòu)提升網(wǎng)絡(luò)性能而是通過特征重用提升網(wǎng)絡(luò)的效率。相較于ResNet，DenseNet 提出了一個密集連接機制，每層都會與前面所有層進(jìn)行連接，作為其額外的數(shù)據(jù)輸入，使較淺層的網(wǎng)絡(luò)也可提取更豐富的圖像特征。同時DenseNet 大量用到跳層結(jié)構(gòu)，使梯度消失問題得到優(yōu)化。DenseNet 的密集連接機制如圖2 所示。

圖2 密集塊Fig.2 Dense block

密集連接將淺層的圖像原始特征與深層學(xué)習(xí)的高頻特征進(jìn)行疊加，在原始特征保留的基礎(chǔ)上，添加高頻紋理特征，也可彌補網(wǎng)絡(luò)學(xué)習(xí)過程中丟失的原始信息。

2 輕量密集神經(jīng)網(wǎng)絡(luò)

2.1 改進(jìn)思想

網(wǎng)絡(luò)的寬度和深度影響網(wǎng)絡(luò)的性能，特征重用影響網(wǎng)絡(luò)的效率。本文基于這三點在ResNet 和DenseNet 的基礎(chǔ)上進(jìn)行了改進(jìn)。通過增加網(wǎng)絡(luò)架構(gòu)的層數(shù)使深度增加，通過改進(jìn)層與層的連接機制使寬度增加。深層的網(wǎng)絡(luò)結(jié)構(gòu)意味著需要訓(xùn)練更多的參數(shù)、更長的訓(xùn)練時間、更高的計算機性能。淺層的網(wǎng)絡(luò)結(jié)構(gòu)雖然不易產(chǎn)生特征丟失與梯度彌散，但往往難以提取出高頻紋理信息。本文在寬度與深度之間尋求平衡，在保證淺層網(wǎng)絡(luò)架構(gòu)的前提下，加強特征的重用，盡可能地學(xué)習(xí)高層次的紋理信息，使醫(yī)學(xué)圖像得到更優(yōu)的重建效果。

所以本文采用密集連接機制改善網(wǎng)絡(luò)層數(shù)過淺帶來的一系列問題，使深層網(wǎng)絡(luò)能更快更好地達(dá)到收斂的效果。本文改進(jìn)后的網(wǎng)絡(luò)結(jié)構(gòu)有跳層連接，可學(xué)習(xí)到更多的局部特征；同時，對2 倍HR 圖像與4 倍HR 圖像都進(jìn)行損失函數(shù)運算，更好地指導(dǎo)網(wǎng)絡(luò)中的參數(shù)進(jìn)行調(diào)節(jié)優(yōu)化。最終本文提出8 層的基于雙任務(wù)損失的輕量密集神經(jīng)網(wǎng)絡(luò)圖像超分辨率改進(jìn)算法。

2.2 網(wǎng)絡(luò)結(jié)構(gòu)

輕量密集神經(jīng)網(wǎng)絡(luò)（Lightweight Dense Neural Network，LDNN）的設(shè)計采用了與加速的超分辨率卷積神經(jīng)網(wǎng)絡(luò)（Fast Super-Resolution CNN，F(xiàn)SRCNN）相同的8 層網(wǎng)絡(luò)架構(gòu)，較淺的層數(shù)使網(wǎng)絡(luò)可以達(dá)到實時的效果。但同樣層數(shù)淺會導(dǎo)致網(wǎng)絡(luò)中無法提取更豐富的圖片特征，特征也無法進(jìn)行更好的擬合；于是本文采用了密集連接，不僅增加了網(wǎng)絡(luò)的寬度，而且使每層有限的特征達(dá)到了更好的傳遞和重用的效果，彌補了層數(shù)較淺的不足。

圖3 是本文構(gòu)建的一種輕量密集神經(jīng)網(wǎng)絡(luò)，LDNN 使用3×24×24 的LR 圖像作為輸入，使用大小為5×5 的卷積核Conv1 提取特征，輸出256×24×24 的特征圖。將特征圖增加到256，可以拓寬網(wǎng)絡(luò)的特征維度，使圖像特征更好的傳播。接著輸入到密集塊中學(xué)習(xí)圖像的高級特征，分別是大小為1×1 的Conv2，大小為3×3 的Conv3，大小為1×1 的Conv4，此3層的步長為1，padding 為SAME，輸出256×24×24 的特征圖。ReLU1 到ReLU4 間的密集連接是256 個特征圖像素的相加，方便每一層可以利用之前層學(xué)習(xí)到的所有的特征，有利于淺層與深層特征的融合。

圖3 輕量密集神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)Fig.3 Structure of lightweight dense neural network

最后使用大小為9×9 的轉(zhuǎn)置卷積DeConv1 對圖像進(jìn)行上采樣，輸出大小256×48×48 的特征圖，再輸入大小為3×3 的卷積核Conv5，輸出大小為3×48×48 的2 倍HR 圖像Output×2。同時使用9×9 大小的轉(zhuǎn)置卷積DeConv2 對圖像進(jìn)行上采樣，輸出3×96×96 的4 倍HR 圖像Output×4。本文網(wǎng)絡(luò)將LR 圖像分兩條支路進(jìn)行超分辨率重建，2 倍HR 圖像和4 倍HR 圖像處分別有均方誤差損失函數(shù)對網(wǎng)絡(luò)進(jìn)行監(jiān)督指導(dǎo)。

由于本文針對圖像的4 倍超分辨率進(jìn)行研究，淺層與深層特征差異大，于是在密集塊中使用了BN 給數(shù)據(jù)進(jìn)行歸一化，易于網(wǎng)絡(luò)的訓(xùn)練。在BN 層后，使用ReLU 激活函數(shù)提高網(wǎng)絡(luò)的非線性建模能力。

2.3 雙任務(wù)損失函數(shù)

本文使用均方誤差（Mean-Square Error，MSE）作為損失函數(shù)。由于網(wǎng)絡(luò)結(jié)構(gòu)有兩條支路，因此設(shè)置了兩個損失函數(shù)，分別對應(yīng)圖3 的Output×2 和Output×4。構(gòu)建雙任務(wù)損失函數(shù)如下：

當(dāng)網(wǎng)絡(luò)迭代次數(shù)至5×104時，網(wǎng)絡(luò)的損失變化曲線逐步平穩(wěn)。

圖4 單任務(wù)損失變化Fig.4 Changes in single-task loss

當(dāng)本文的網(wǎng)絡(luò)結(jié)構(gòu)使用損失函數(shù)為式（4）時，訓(xùn)練結(jié)果如圖5 所示。

圖5 雙任務(wù)損失變化Fig.5 Changes in dual-task loss

當(dāng)網(wǎng)絡(luò)迭代次數(shù)至3×104時，網(wǎng)絡(luò)的損失變化曲線已逐步平穩(wěn)。由此可以得出，兩條支路同時進(jìn)行損失計算可加快網(wǎng)絡(luò)的收斂速度。

3 實驗與結(jié)果分析

3.1 數(shù)據(jù)集預(yù)處理

訓(xùn)練數(shù)據(jù)集：為驗證本文所提LDNN 算法的有效性，本文采用了兩個數(shù)據(jù)集：一個是擁有127 萬張圖像的ImageNet的圖像識別競賽ILSVRC（ImageNet Large Scale Visual Recognition Challenge）2014 數(shù)據(jù)集［16］；另一個是962 張肺部醫(yī)學(xué)圖像，數(shù)據(jù)集由Kaggle 肺部癌癥識別比賽提供。

ImageNet 數(shù)據(jù)集處理：任意挑選35 萬張圖片，并統(tǒng)一壓縮為256×256 大小的圖像，接著用隨機裁剪的方式截取96×96 大小的圖像片段作為HR 標(biāo)簽。對96×96 的原圖像進(jìn)行區(qū)域插值A(chǔ)rea 下采樣得到大小為24×24 與48×48 的標(biāo)簽。高斯濾波核大小為5×5，δ=1.5。24×24 的LR 圖像作為網(wǎng)絡(luò)的輸入。

醫(yī)學(xué)圖像數(shù)據(jù)集處理：將原圖像重采樣成512×512 大小，并轉(zhuǎn)為jpg 格式的RGB 圖片，以隨機位置截取96×96 大小的圖像片段，得到HR 標(biāo)簽。LR 訓(xùn)練圖像為24×24，由隨機碎片圖像Area 下采樣得到。其余處理同ImageNet 數(shù)據(jù)集。

3.2 訓(xùn)練

訓(xùn)練方式一：使用肺部醫(yī)學(xué)圖像訓(xùn)練模型，運用Minibacth 訓(xùn)練方式，bacth-size 大小為16，采用Adam 優(yōu)化方法自動調(diào)節(jié)學(xué)習(xí)率，學(xué)習(xí)率初始設(shè)置為10-4，訓(xùn)練6×104次，學(xué)習(xí)率更改為10-5，接著訓(xùn)練14×104次。

訓(xùn)練方式二：網(wǎng)絡(luò)先通過自然圖像訓(xùn)練105次，接著用醫(yī)學(xué)圖像數(shù)據(jù)集訓(xùn)練105次，優(yōu)化器、學(xué)習(xí)率等都與方式一相同。圖6 為SRCNN 兩種訓(xùn)練方式的對比，圖7 為LDNN 兩種訓(xùn)練方式的對比。

圖6 SRCNN兩種訓(xùn)練方式對比Fig.6 Comparison of two training methods of SRCNN

圖7 LDNN兩種訓(xùn)練方式對比Fig.7 Comparison of two training methods of LDNN

ImageNet 數(shù)據(jù)集中的自然圖像包含復(fù)雜的場景和豐富的高頻紋理信息。肺部圖像數(shù)據(jù)集的紋理特征相近、灰度不連續(xù)。場景更加豐富的自然圖像更利于網(wǎng)絡(luò)參數(shù)學(xué)習(xí)，可避免網(wǎng)絡(luò)訓(xùn)練過程中過擬合。在自然圖像訓(xùn)練的基礎(chǔ)上，再使用肺部圖像進(jìn)行訓(xùn)練，從而重建出與肺部圖像相關(guān)的特征。實驗結(jié)果如圖6～7 所示，訓(xùn)練方式二的HR 重建效果略高于訓(xùn)練方式一，圖像紋理更清晰。

3.3 實驗結(jié)果與分析

為驗證本文算法LDNN 的有效性，使用ImageNet 數(shù)據(jù)集和Kaggle 肺部癌癥識別比賽提供的醫(yī)學(xué)圖像數(shù)據(jù)集對各網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行4 倍的HR 訓(xùn)練，以峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）和結(jié)構(gòu)相似性（Structural SIMilarity，SSIM）作為評價指標(biāo)。

本文所使用GPU 處理器是NVIDIA Tesla M40，使用Tensorflow 深度學(xué)習(xí)框架作為開發(fā)和訓(xùn)練工具，運用Python3.5 進(jìn)行仿真。本文所提到的方法都是基于原論文中論述的模型，在以上的環(huán)境中進(jìn)行驗證，并對醫(yī)學(xué)圖像超分辨率的結(jié)果進(jìn)行了評估。與傳統(tǒng)的超分辨率方法、基于深度學(xué)習(xí)的超分辨率算法（例如SRCNN、ResNet、WDSR），以及作者曾提出的DTLCNN、MCRCNN-apart 和MSRCNN-fast 三種SR 算法［19］進(jìn)行對比分析。

在測試集的8 幅肺部圖像中選了2 幅圖像與其他算法進(jìn)行對比，實驗結(jié)果如圖8 所示。實驗測試指標(biāo)見表1，其中平均PSNR、平均SSIM 為8 幅測試圖像的PSNR 和SSIM 均值。實驗證明LDNN 算法有較高的應(yīng)用價值。

圖8 各算法的實驗結(jié)果Fig.8 Experimental results of each algorithm

表1 各算法的平均PSNR和平均SSIMTab.1 Average PSNR and SSIM of each algorithm

圖8 中可明顯看出：NN、Biliiner 和Bicubic 方法重建的肺中葉圖像有鋸齒和棋盤效應(yīng)，紋理邊緣不平滑；SRCNN 與ResNet 相較于傳統(tǒng)超分辨率算法細(xì)節(jié)表現(xiàn)較好但缺少高頻紋理。WDSR 用到16 個殘差塊，層數(shù)達(dá)到50，通過擴大殘差塊中ReLU 前的特征圖數(shù)量，使有用的信息盡可能地傳遞到網(wǎng)絡(luò)的后端，比ResNet 重建出的信息更加接近原始圖像。

作者之前提出算法中，72 層的DTLCNN 與38 層的MCRCNN-apart 表現(xiàn)與50 層的WDSR 相近。MSRCNN-fast 為獲得更好的算法實時性及對硬件的低要求，層數(shù)設(shè)計為6，但相應(yīng)算法超分辨率重建效果明顯相對較弱。本文提出的LDNN 相較于前三者層數(shù)為8，網(wǎng)絡(luò)中使用密集網(wǎng)絡(luò)增強網(wǎng)絡(luò)中的信息流動，使低層信息更易傳遞到高層，在保證了對智能終端的低硬件要求以及算法運行的實時性的同時，超分辨率重建效果仍在較高水平，與DTLCNN 和MCRCNN-apart的重建效果相差不大，性能遠(yuǎn)高于MSRCNN-fast、SRCNN、ResNet 和傳統(tǒng)經(jīng)典算法。LDNN 相較于WDSR，訓(xùn)練過程中參數(shù)量更少，訓(xùn)練速度更快，在醫(yī)學(xué)影像超分辨率上顯示出了更好的細(xì)節(jié)收益以及更少的噪聲，重建效果相差無幾，為大多數(shù)智能終端的硬件運行醫(yī)學(xué)圖像超分辨率重建網(wǎng)絡(luò)模型提供了可能性。從表1 中的評價指標(biāo)可發(fā)現(xiàn)LDNN 相較于NN、Liner、Bicubic 插值以及SRCNN、ResNet 都取得了更好的結(jié)果。

4 結(jié)語

深度學(xué)習(xí)的發(fā)展為圖像超分辨率重建提供了新的思路。本文提出一種解決醫(yī)學(xué)影像問題的圖像超分辨率重建算法LDNN。LDNN 算法可用于人任何部位的醫(yī)學(xué)圖像，可將醫(yī)學(xué)圖像放大4 倍。對比實驗顯示，對于4 倍醫(yī)學(xué)HR 圖像，LDNN 算法的評價指標(biāo)均顯著高于NN、Liner、Bicubic 插值以及SRCNN、ResNet 等SR 算法。重建出的HR 醫(yī)學(xué)圖像有更好的細(xì)節(jié)收益和更少的偽影信息。LDNN 的網(wǎng)絡(luò)結(jié)構(gòu)較淺，可達(dá)到較好的實時處理效果。下一步可在保持網(wǎng)絡(luò)實時性的前提下，嘗試進(jìn)一步提高網(wǎng)絡(luò)的精度。