空洞卷積神經(jīng)網(wǎng)絡(luò)低劑量CT圖像去噪

周曉杰

(四川大學(xué)計算機學(xué)院，成都 610065)

0 引言

計算機斷層成像(CT)技術(shù)的發(fā)展對醫(yī)學(xué)診斷水平的進步產(chǎn)生了巨大的影響，隨著CT技術(shù)在醫(yī)學(xué)輔助診斷方面的影響越來越大，CT技術(shù)的研究也越來越受重視。在眾多醫(yī)學(xué)影像技術(shù)中，CT圖像的去噪和重建一直以來都備受關(guān)注。為了減少CT成像過程中X射線對人體存在的潛在危害，低劑量CT應(yīng)運而生，為了提高成像質(zhì)量，低劑量CT去噪方法引起了國內(nèi)外學(xué)者的研究興趣。目前看來，CT圖像去噪的傳統(tǒng)方法主要是將圖像信息在空間域以及頻率域進行濾波操作，而后再采取反濾波進行圖像重建以達到去噪的目的，很多傳統(tǒng)方法在去除噪聲的同時容易造成圖像信息的丟失，因此去噪效果并不理想。以梯度下降流對圖像進行平滑處理的全變分(TV)[1]去噪模型，以及以非局部均值思想為基礎(chǔ)的BM3D算法[2-3]在圖像去噪問題上取得了較好的效果，并隨之而來出現(xiàn)了各種基于TV和BM3D的改良算法。近年來，卷積神經(jīng)網(wǎng)絡(luò)的出現(xiàn)給圖像去噪算法研究帶來了新的方向，一系列經(jīng)典的網(wǎng)絡(luò)模型和架構(gòu)相繼被提出，其中Chen等人提出了RED-CNN[4]模型，在低劑量CT去噪方面表現(xiàn)出色。受RED-CNN啟發(fā)，本文結(jié)合近年來在計算機視覺領(lǐng)域表現(xiàn)出色的各種網(wǎng)絡(luò)模型，利用空洞卷積能夠通過膨脹操作擴大卷積核感受野的特性，提出了一種輕量級的低劑量CT卷積神經(jīng)網(wǎng)絡(luò)去噪模型，并通過實驗對比，證實了其可行性。

1 網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計

1.1 函數(shù)模型

假設(shè)X代表低劑量CT圖像，Y代表正常劑量的CT圖像，假定低劑量CT圖像到正常劑量CT圖像的映射可以表示為：

X=σ(Y)

(1)

其中σ代表造成低劑量CT圖像噪聲的各種因子。

(2)

可以看到，處理這類問題是神經(jīng)網(wǎng)絡(luò)所擅長的。

1.2 空洞卷積

空洞卷積[5-7]的作用是通過設(shè)置膨脹系數(shù)使輸出變得更稠密，在不增加計算量的同時增大卷積核的感受野，其原理就是經(jīng)過膨脹補零操作使卷積核尺寸增大，假設(shè)原卷積核尺寸為m×m，膨脹系數(shù)為n，那么經(jīng)過膨脹補零操作后的卷積核尺寸為n(m-1)+1；但同時空洞卷積也會帶來負面效果，這里主要是柵格效應(yīng)(The Gridding Effect)[8]，單層空洞卷積提取信息時是必然會造成大量信息丟失的，而當多層疊加的空洞卷積各膨脹系數(shù)有大于1的公約數(shù)時，同樣會造成信息丟失，不能有效避免和消除柵格效應(yīng)，因此在膨脹系數(shù)的選擇上要非常慎重；基于空洞卷積的以上特性，提出通過3層空洞卷積的疊加來提取特征，另外將第一層到第三層膨脹系數(shù)分別設(shè)為1、2、3，以卷積核尺寸大小為3×3為例，則相當于卷積核尺寸分別為3、5、7的卷積層疊加。理論上講，這種設(shè)計可以在多尺度提取特征的同時有效抑制柵格效應(yīng)。

1.3 跳躍連接

在本文網(wǎng)絡(luò)模型中，采用了跳躍連接[9-10]的方式提高網(wǎng)絡(luò)性能。為了盡可能保留圖像細節(jié)，受He等人提出的ResNet啟發(fā)[11]，采用了跳躍連接的方法，目的是通過跳躍連接使網(wǎng)絡(luò)的學(xué)習內(nèi)容由圖像信息變?yōu)樵肼暁埐钚畔?，在去噪過程中更好地保存圖像信息，減少有用信息的丟失。如圖1所示，假定輸入為含噪圖像X，輸出為消除噪聲的圖像Y，經(jīng)過網(wǎng)絡(luò)處理過的X為F(X)，沒有跳躍連接時，Y=F(X)；而添加跳躍連接后則有Y=X+F(X)，即F(X)=Y-X，這樣網(wǎng)絡(luò)的訓(xùn)練過程就轉(zhuǎn)化為學(xué)習噪聲殘差的過程，在提高網(wǎng)絡(luò)學(xué)習效率的同時還能夠更好地保留有效信息。

圖1 殘差結(jié)構(gòu)示意圖

1.4 網(wǎng)絡(luò)模型

如圖2所示，本文提出了一種基于空洞卷積的多尺度特征提取編碼-解碼網(wǎng)絡(luò)模型，網(wǎng)絡(luò)共有十層，對于CT圖像來說，細節(jié)特征尤其重要，因此在網(wǎng)絡(luò)1到3層采用了不同膨脹系數(shù)的空洞卷積，在不增加計算量的情況下增大了卷積核感受野，能夠提取到多尺度的圖像特征；針對卷積神經(jīng)網(wǎng)絡(luò)在處理圖像去噪的過程中造成的細節(jié)信息丟失問題，增加了跳躍連接(skip-connection)以更好保留圖像細節(jié)和紋理特征；由于圖像處理中上采樣和下采樣過程會導(dǎo)致部分細節(jié)信息丟失，因此在編碼和解碼的過程中，始終保持特征圖尺寸不發(fā)生變化，以此來減少采樣操作；通過對比tanh以及PReLU，確定ReLU作為本文模型的激活函數(shù)。網(wǎng)絡(luò)訓(xùn)練的優(yōu)化器采用Adam。

圖2 網(wǎng)絡(luò)結(jié)構(gòu)示意圖

2 實驗過程設(shè)計及實現(xiàn)

2.1 實驗數(shù)據(jù)獲取

實驗使用的數(shù)據(jù)來自Mayo診所建立并授權(quán)的數(shù)據(jù)和圖像，在選取正常劑量CT圖像的基礎(chǔ)上經(jīng)仿真處理后得到三個不同劑量等級(分別為正常劑量的2.5%、5%和10%)的低劑量CT圖像，經(jīng)處理后得到三組圖像尺寸大小為256×256的數(shù)據(jù)，數(shù)據(jù)中低劑量CT圖像和正常劑量CT圖像相互對應(yīng)，成對組成，每組包含500對數(shù)據(jù)，將其中400對作為訓(xùn)練集數(shù)據(jù)，100對作為測試集數(shù)據(jù)。

2.2 訓(xùn)練參數(shù)設(shè)置

實驗中關(guān)于參數(shù)的設(shè)置，采取以下方案：前三層卷積核采取3×3的空洞卷積，膨脹系數(shù)分別為1、2、3，相當于卷積核尺寸分別為3、5、7，前三層padding分別為1、2、3，后面層的卷積核尺寸均采取5×5，并設(shè)置padding為2，所有卷積步長均設(shè)置為1，卷積核采取隨機的方式進行初始化。第一層輸入和最后一層輸出通道數(shù)為1外，其他通道數(shù)全都設(shè)置為96。網(wǎng)絡(luò)的訓(xùn)練過程學(xué)習率設(shè)置為10-4。

2.3 網(wǎng)絡(luò)運行實現(xiàn)

實驗采用Python語言編寫程序代碼并通過PyTorch3.8框架運行，PC硬件基礎(chǔ)配置為AMD Ryzen7 4800H處理器和NVIDIA GeForce GTX 1650TI顯卡，后期的數(shù)據(jù)處理在MATLAB R2019b上實現(xiàn)。

實驗選取了TV、BM3D和RDE-CNN三種去噪模型作為對比算法，TV(全變分模型)是一種被廣泛應(yīng)用的經(jīng)典去噪模型，BM3D是圖像去噪發(fā)展歷程中影響深遠的算法之一，也是目前應(yīng)用較為廣泛的算法之一，而RED-CNN則是近年來在卷積神經(jīng)網(wǎng)絡(luò)處理低劑量CT圖像去噪中表現(xiàn)較為出色的網(wǎng)絡(luò)模型，這三種算法無論在去噪效果上還是在現(xiàn)實應(yīng)用中都有較好的魯棒性。

在實驗結(jié)果評價上，通常情況下去噪處理后圖像的質(zhì)量采取視覺效果加參數(shù)對比的方式來進行評價，本文按照慣例，選取了峰值信噪比和結(jié)構(gòu)相似度兩個指標，并結(jié)合圖片的視覺效果來對實驗結(jié)果進行分析。

3 實驗結(jié)果及對比

3.1 視覺效果對比

實驗分別以2.5%劑量、5%劑量和10%劑量的CT圖像對應(yīng)正常劑量CT圖像對網(wǎng)絡(luò)模型進行訓(xùn)練，劑量越低則噪聲強度越高，圖3展示了不同去噪模型對于低劑量CT圖像的去噪效果，該圖為在測試集中隨機選取的一張2.5%劑量的腹部CT圖像，其中(a)為低劑量CT圖像，也就是需要處理的數(shù)據(jù)；(b)為正常劑量CT圖像，即的目標數(shù)據(jù)；(c)為采用TV方法得到的處理結(jié)果；(d)為BM3D算法去噪結(jié)果；(c)為RED-CNN網(wǎng)絡(luò)模型得出的結(jié)果；(d)為本文方法得出的結(jié)果。從整體效果來看，四種方法都能夠有效去除噪聲，但相比目標圖像，(c)和(d)在視覺效果上較(e)和(f)有比較明顯的差距。(d)和(c)的問題主要表現(xiàn)在局部過于平滑，細節(jié)特征丟失比較明顯等方面，這類問題在腹腔的軟組織位置表現(xiàn)尤其突出；相比而言，(e)和(f)在整體視覺效果上表現(xiàn)相當，保留了大部分的細節(jié)信息。

圖3 2.5%劑量CT圖像去噪效果對比圖

其中(a)低劑量圖像；(b)正常劑量圖像；(c)TV；(d)BM3D；(e)RED-CNN；(f)本文方法。

在圖3中紅色方框區(qū)域和箭頭指示的邊緣位置四幅去噪圖像均出現(xiàn)了不同程度的模糊現(xiàn)象，為了更好地查找問題，把該區(qū)域進行了放大處理，圖4展示了該區(qū)域的放大效果圖，由(a)到(f)的展示順序參照圖3，通過放大處理，可以看到在紅色圓圈內(nèi)(b)中的特征只有(f)有部分保留，(c)、(d)和(e)三張圖片中該特征基本完全消失，但是在藍色箭頭所示區(qū)域，四幅去噪圖像均不能較好還原(b)中的邊緣信息，(c)效果略差，(e)和(f)表現(xiàn)相當，稍好于(d)，可以看到，在上述對比中，本文提出的網(wǎng)絡(luò)模型較TV和BM3D存在明顯優(yōu)勢，效果略好于RED-CNN。5%劑量和10%劑量圖像的去噪效果與2.5%劑量情形類似，這里不再過多展示。

圖4 局部區(qū)域放大圖

3.2 峰值信噪比和結(jié)構(gòu)相似度

表1給出了實驗中采用的三個不同劑量等級的低劑量CT圖像，在經(jīng)過不同去噪方法處理后得到的去噪圖像的峰值信噪比(PSNR)和結(jié)構(gòu)相似度(SSIM)，這兩項指標可以看作是圖像質(zhì)量的客觀表現(xiàn)，從表1展示的數(shù)據(jù)來看，本文提出的去噪模型較TV和BM3D在去噪效果上均有大幅度提升，與RED-CNN相比數(shù)據(jù)上領(lǐng)先不夠明顯，但可以看到的是在三種不同劑量等級，本文方法都能夠取得一定優(yōu)勢，說明此方法具有一定的魯棒性，這也和我們通過觀察圖像所評判的結(jié)果基本吻合。

表1 不同方法在三種劑量等級CT圖像處理的指標表現(xiàn)

4 結(jié)語

本文提出了一種采用疊加空洞卷積層的低劑量CT圖像處理輕量級網(wǎng)絡(luò)模型，使用Mayo診所的公開數(shù)據(jù)集進行訓(xùn)練和驗證，旨在能夠貼近實際，使所研究的網(wǎng)絡(luò)模型更加具有魯棒性和實用價值；深度學(xué)習以及卷積神經(jīng)網(wǎng)絡(luò)在醫(yī)學(xué)圖像處理中的應(yīng)用將越來越廣泛，開展這一方向的研究也將越來越有意義。