基于3D卷積網(wǎng)絡(luò)的結(jié)腸癌CT圖像分類研究

呂 剛， 應(yīng)明亮

1. 金華廣播電視大學(xué)圖文信息中心， 浙江 金華 321000； 2. 金華市中心醫(yī)院放射科， 浙江 金華 321000

結(jié)直腸癌是生活中常見的消化道惡性腫瘤之一，近年來，發(fā)病率顯著上升。盆腔CT檢查是結(jié)直腸癌篩查的方法之一，可以了解結(jié)直腸癌的大小、范圍，以及有無經(jīng)淋巴結(jié)轉(zhuǎn)移、是否發(fā)生腹腔或肝臟轉(zhuǎn)移等情況。CT相比病理分析具有對(duì)腸道準(zhǔn)備的要求較低、操作簡(jiǎn)單、無創(chuàng)、可重復(fù)等優(yōu)勢(shì)，患者接受能力較強(qiáng)[1]。目前，在CT圖像中篩查并標(biāo)記出腫瘤區(qū)域還需專業(yè)人員手工操作，這是一項(xiàng)費(fèi)時(shí)的工作，而且結(jié)果容易受主觀影響。計(jì)算機(jī)輔助的CT圖像中結(jié)直腸癌自動(dòng)篩查可以減輕放射科醫(yī)生的工作壓力，輔助放射科醫(yī)生更好地完成篩查工作。在醫(yī)學(xué)影像分析領(lǐng)域，深度卷積網(wǎng)絡(luò)已有廣泛的研究和應(yīng)用，并取得一些不錯(cuò)的進(jìn)展。如Isensee等[2]提出的nnU-Net框架，在MSD[3]上的平均Dice相似系數(shù)得分為0.779，Tang等[4]提出的帶自監(jiān)督學(xué)習(xí)預(yù)訓(xùn)練的Swin UNETR框架在MSD[3]、BTCV[5]上的平均Dice相似系數(shù)得分為0.789、0.918，是目前的最好成績(jī)。Zunair等[6]在不使用臨床元數(shù)據(jù)的情況下，直接采用3D卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練可以獲得比其他2D網(wǎng)絡(luò)模型更好的學(xué)習(xí)結(jié)果，在對(duì)Image CLEF 2019提供的結(jié)核病CT圖像數(shù)據(jù)做分類時(shí)，正確率為67.5%，排在CTR任務(wù)中所有方法的第5名，不使用臨床元數(shù)據(jù)方法的第1名。

本文采集了一個(gè)有348例樣本的結(jié)腸癌CT數(shù)據(jù)集，設(shè)計(jì)了3種不同結(jié)構(gòu)的3D卷積網(wǎng)絡(luò)，對(duì)采集的結(jié)腸癌CT數(shù)據(jù)進(jìn)行了正常/非正常二分類實(shí)驗(yàn)，預(yù)測(cè)CT樣本是否有結(jié)腸癌病灶，實(shí)驗(yàn)結(jié)果表明，3D卷積網(wǎng)絡(luò)能非常有效地進(jìn)行結(jié)腸癌CT的正常/非正常二分類。

1 資料與方法

文中設(shè)計(jì)了A、B、C 3個(gè)不同的3D卷積網(wǎng)絡(luò)。相比基準(zhǔn)模型[6]，本文設(shè)計(jì)的模型A，把第一個(gè)卷積層的卷積數(shù)從64增加到了128，希望通過提高底層卷積核數(shù)來采集更多的底層特征，從而提高網(wǎng)絡(luò)的準(zhǔn)確率。模型B在最后一個(gè)卷積層的激活函數(shù)中引入了L2正則化，來防止過擬合，提高網(wǎng)絡(luò)的泛化能力。模型C把基準(zhǔn)模型[6]中的卷積層換成了改進(jìn)的殘差模塊。

1.1 數(shù)據(jù)集

實(shí)驗(yàn)使用的CT數(shù)據(jù)為在金華市中心醫(yī)院采集的2018年至2021年348例結(jié)腸癌CT掃描圖像(簡(jiǎn)稱colonCT-2021)，colonCT-2021數(shù)據(jù)集中的樣本分成三類，包含113例標(biāo)注為正常的CT樣本，54例標(biāo)注為MSI的CT樣本，181例標(biāo)注為MSS的CT樣本，文中二分類實(shí)驗(yàn)中MSI和MSS都?xì)w為非正常樣本。CT掃描采用5 mm切片，空間分辨率10 lp/mm(線對(duì)每毫米)，每個(gè)樣本包含78～94個(gè)切片。CT值通常用亨氏單位(hounsfield unit，HU)來表示，HU值反映器官和組織對(duì)X線的吸收程度，如骨組織的HU值一般大于400，肌肉的HU值一般在35～50之間，空氣的HU值為-1000，以不同的HU值對(duì)應(yīng)不同的灰度，CT圖像中的單層圖像可以顯示為灰度圖，如圖1所示。原始的數(shù)據(jù)是DICOM格式的，每個(gè)DICOM格式的文件只保存了CT掃描中一個(gè)層的圖像，本文把一例CT的所有DICOM文件轉(zhuǎn)換為一個(gè)NIfTI格式的文件，NIfTI中的圖像原始數(shù)據(jù)被存儲(chǔ)成了3維圖像，更便于3D卷積層的處理。

圖1 不同類型的結(jié)腸癌CT樣本單層示例

1.2 3D卷積

(1)

式中，P、Q、R分別代表卷積核在寬度、高度、深度方向上的大小，m代表第i-1層的特征圖數(shù)量。CT圖像是由很多2維灰度圖組成的3維數(shù)據(jù)，和視頻較為相似，視頻中的第3維是時(shí)間維，在CT圖像中第3維是深度，第4維的通道數(shù)為1，所以3D卷積可以很方便地應(yīng)用到CT圖像的特征檢測(cè)上。

1.3 改進(jìn)的殘差模塊

網(wǎng)絡(luò)的深度對(duì)網(wǎng)絡(luò)的性能至關(guān)重要[7]，但提高網(wǎng)絡(luò)的性能并不像堆疊網(wǎng)絡(luò)的深度這么簡(jiǎn)單。雖然網(wǎng)絡(luò)的梯度消失/梯度爆炸問題可通過正則初始化、批量歸一化、調(diào)整激活函數(shù)等方式解決，但隨著網(wǎng)絡(luò)深度的增加，網(wǎng)絡(luò)退化問題變得比較棘手，網(wǎng)絡(luò)退化現(xiàn)象表現(xiàn)為在一個(gè)合適的模型上再增加更多的層會(huì)導(dǎo)致網(wǎng)絡(luò)的擬合能力和泛化能力都下降。He(何愷明)等[8]認(rèn)為網(wǎng)絡(luò)退化現(xiàn)象是因?yàn)榫W(wǎng)絡(luò)中各層的映射目前無法做到恒等映射，增加新的層就會(huì)增加誤差，并提出了深度殘差學(xué)習(xí)的網(wǎng)絡(luò)框架。通過捷徑連接把輸入和殘差映射相加后得到輸出，這樣新的層至少保留了輸入的內(nèi)容，不容易把誤差傳導(dǎo)到下一層。He(何愷明)等[8]認(rèn)為學(xué)習(xí)殘差映射比直接學(xué)習(xí)輸入輸出映射要容易，殘差模映射可以用如下公式表示：

H(x)=F(x)+x

(2)

如果和維度不一致，可以對(duì)加一個(gè)線性投影來保持和維度一致。模型C中本文用殘差學(xué)習(xí)的思想改進(jìn)了基準(zhǔn)模型，本文采用的殘差模塊中，捷徑連接是stride為2的3D卷積層，殘差映射為2個(gè)卷積核大小為3、stride為1的3D卷積層和1個(gè)最大池化層。按照殘差學(xué)習(xí)的思想，如果殘差學(xué)習(xí)有效，模型C至少不會(huì)比基準(zhǔn)模型差，模型C的殘差模塊結(jié)構(gòu)如圖2所示，s=1、s=2分別表示步長(zhǎng)為1、2。

圖2 改進(jìn)的殘差模塊

1.4 L2正則化

網(wǎng)絡(luò)結(jié)構(gòu)確定后，損失函數(shù)和優(yōu)化器就是配置學(xué)習(xí)過程的關(guān)鍵環(huán)節(jié)，Keskar等[9]的研究表明，大的權(quán)重容易使網(wǎng)絡(luò)落入尖銳極小值，從而導(dǎo)致網(wǎng)絡(luò)的泛化能力下降。文中模型B中改進(jìn)了基準(zhǔn)模型的損失函數(shù)，在最后一個(gè)卷積層加入了L2正則化，對(duì)大的權(quán)重值進(jìn)行“懲罰”，可以使經(jīng)過訓(xùn)練的網(wǎng)絡(luò)權(quán)重更加集中在較小的值。新的損失函數(shù)為：

(3)

權(quán)重的更新變成了：

(4)

圖3 L2正則化對(duì)權(quán)重分布的影響

2 實(shí)驗(yàn)結(jié)果與分析

2.1 訓(xùn)練設(shè)置及評(píng)價(jià)指標(biāo)

本研究采用一臺(tái)帶NVIDIA GeForce RTX 3090 24G顯卡的服務(wù)器作為實(shí)驗(yàn)設(shè)備?？紤]到訓(xùn)練集較小和網(wǎng)絡(luò)訓(xùn)練帶有一定的隨機(jī)性，每個(gè)網(wǎng)絡(luò)模型在訓(xùn)練集上進(jìn)行3輪5折分層抽樣驗(yàn)證(每個(gè)模型共訓(xùn)練15次)。所有模型采用Adam優(yōu)化器，初始化學(xué)習(xí)率為0.0001，訓(xùn)練過程監(jiān)控驗(yàn)證集的準(zhǔn)確率指標(biāo)并保存最佳模型的權(quán)重值，一次訓(xùn)練完成后，加載本次訓(xùn)練最佳模型的權(quán)值在測(cè)試集上評(píng)估模型的準(zhǔn)確率(Accuracy)、AUC(area under the ROC curve，即ROC曲線的曲線下面積)、查準(zhǔn)率(Precision)、查全率(Recall)。

(5)

(6)

(7)

(8)

其中的和是隨機(jī)的一對(duì)正負(fù)例和的預(yù)測(cè)值，AUC可以看作隨機(jī)從正負(fù)樣本中選取一對(duì)正負(fù)樣本，其中正樣本的得分大于負(fù)樣本的概率。與準(zhǔn)確率相比，AUC對(duì)類別失衡的敏感度較低，在測(cè)試集存在偏態(tài)的情況下，能更準(zhǔn)確地反映網(wǎng)絡(luò)的性能，TP是預(yù)測(cè)為1且預(yù)測(cè)正確的樣本數(shù)，F(xiàn)P是預(yù)測(cè)為1但預(yù)測(cè)錯(cuò)誤的樣本數(shù)，TN是預(yù)測(cè)為0且預(yù)測(cè)正確的樣本數(shù)，F(xiàn)N是預(yù)測(cè)為0但預(yù)測(cè)錯(cuò)誤的樣本數(shù)。

2.2 數(shù)據(jù)預(yù)處理和數(shù)據(jù)增強(qiáng)

考慮到內(nèi)存和顯存限制的影響，本文把CT影像大小歸一到128×128×64(W×H×D)，HU值取[-110,190]之間并歸一到[0,1]。再對(duì)訓(xùn)練集通過旋轉(zhuǎn)[-20,-10,-5,0,+5,+10,+20]、水平翻轉(zhuǎn)、上下左右平移、彈性形變進(jìn)行數(shù)據(jù)增強(qiáng)，最后生成的訓(xùn)練集包含了3601例樣本。預(yù)處理后，將數(shù)據(jù)集隨機(jī)劃分位訓(xùn)練集和測(cè)試集兩部分，數(shù)據(jù)分配如表1所示。

表1 conlonCT-2021增強(qiáng)數(shù)據(jù)集分布劃分

2.3 實(shí)驗(yàn)分析

圖4是在colonCT-2021數(shù)據(jù)集上正常/非正常二分類實(shí)驗(yàn)的準(zhǔn)確率曲線，取每個(gè)模型的最佳訓(xùn)練模型的數(shù)據(jù)繪制，從圖4可以看出模型C在15次迭代內(nèi)就能完全擬合訓(xùn)練集，且隨著訓(xùn)練繼續(xù)，準(zhǔn)確率波動(dòng)較少，其他幾個(gè)模型30次迭代以上還不能完全擬合訓(xùn)練集，說明模型C擬合數(shù)據(jù)集的能力更強(qiáng)，速度更快。各個(gè)模型在測(cè)試集上的準(zhǔn)確率和AUC如表2所示。

表2 conlonCT-2021數(shù)據(jù)集上正常/非正常二分類實(shí)驗(yàn)結(jié)果

圖4 擬合曲線

實(shí)驗(yàn)中把訓(xùn)練集和測(cè)試集中的MSI和MSS樣本歸類為非正常類，從實(shí)驗(yàn)結(jié)果可以看出，單純地增加底層卷積核數(shù)對(duì)網(wǎng)絡(luò)的性能提升不太明顯，并且因?yàn)榈讓犹卣鲌D都比較大，增加底層卷積核數(shù)會(huì)線性增加網(wǎng)絡(luò)的訓(xùn)練時(shí)間和顯存空間需求，因此底層卷積核數(shù)也會(huì)飽和，之后一味地增加卷積核數(shù)，帶來網(wǎng)絡(luò)性能的提高回報(bào)不高；L2正則化對(duì)提升網(wǎng)絡(luò)的泛化性能有幫助，但是訓(xùn)練的更慢，需要更多的迭代次數(shù)。模型C不管是泛化能力還是訓(xùn)練所需時(shí)間都要比其他幾個(gè)模型好，準(zhǔn)確率比基準(zhǔn)模型提高了2.2%，AUC提高了2.9%，訓(xùn)練所需的迭代次數(shù)也大幅度減少，證明殘差學(xué)習(xí)在3D卷積深度網(wǎng)絡(luò)中也是有效的，而且模型C準(zhǔn)確率和AUC的標(biāo)準(zhǔn)差都比較小，訓(xùn)練結(jié)果更加穩(wěn)定。

3 結(jié)論

現(xiàn)代醫(yī)學(xué)中X線照相、超聲、計(jì)算機(jī)斷層掃描(CT)、包括正電子發(fā)射斷層顯像(PET)在內(nèi)的核醫(yī)學(xué)和磁共振成像(MRI)等各種成像技術(shù)大量應(yīng)用于診斷或治療疾病，但是對(duì)于這些圖像的解讀還需要放射科醫(yī)生人工進(jìn)行，這是一項(xiàng)工作量巨大的重復(fù)勞動(dòng)，文中研究了基于3D卷積深度學(xué)習(xí)網(wǎng)絡(luò)的結(jié)腸癌CT圖像二分類，本文的研究表明基于3D卷積的深度神經(jīng)網(wǎng)絡(luò)可以很好地對(duì)結(jié)腸癌CT圖像進(jìn)行正常/非正常的篩查，準(zhǔn)確率和泛化能力都較好，具有很高的臨床應(yīng)用價(jià)值。下一步，還需要在更多的不同設(shè)備的CT數(shù)據(jù)集上做進(jìn)一步的驗(yàn)證。