基于遷移學(xué)習(xí)和三維卷積神經(jīng)網(wǎng)絡(luò)檢測肺結(jié)節(jié)

唐思源，劉燕茹，楊 敏

(內(nèi)蒙古科技大學(xué)包頭醫(yī)學(xué)院，內(nèi)蒙古 包頭 014040)

CT是檢查肺部疾病的重要影像學(xué)方法之一，精確檢出病變是診斷的關(guān)鍵[1]。深度學(xué)習(xí)(deep learning， DL)在計算機視覺領(lǐng)域的突破[2]帶動了其在醫(yī)學(xué)圖像處理方向的應(yīng)用，其中卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network， CNN)是較好的網(wǎng)絡(luò)模型，無需人工設(shè)計，可根據(jù)現(xiàn)有數(shù)據(jù)自動學(xué)習(xí)并提取圖像特征，適用于處理大數(shù)據(jù)量醫(yī)學(xué)圖像[3]。為解決人工標(biāo)注數(shù)據(jù)困難的問題，本研究引入遷移學(xué)習(xí)[4]輔助檢測肺結(jié)節(jié)，并提出基于遷移學(xué)習(xí)的多尺度3D CNN檢測肺結(jié)節(jié)方案，以三維空間信息提取并生成更具有代表性的特征，利用多尺度結(jié)構(gòu)檢測肺結(jié)節(jié)，構(gòu)建多尺度特征檢測模型，提升網(wǎng)絡(luò)特征的表達能力。

1 設(shè)計與方法

綜合采用多種方法分割肺實質(zhì)區(qū)域。①粗分割出胸腔輪廓區(qū)域；②重建肺氣管，去除與肺實質(zhì)相連的主氣管和支氣管；③判別左、右肺相連情況，分離左、右肺；④修復(fù)肺區(qū)邊界，完整分割肺實質(zhì)。提取三維候選結(jié)節(jié)ROI：①為避免受噪聲影響而遺漏肺結(jié)節(jié)，采用閾值法對肺實質(zhì)區(qū)進行二值化；②利用幾何特征(面積、體積及最大直徑)提取候選結(jié)節(jié)；③采用公式(1)提取三維候選結(jié)節(jié)：

ω=V(x-16：x+15，y-16：y+15，z-4：z+3)

(1)

式中ω為提取的三維候選結(jié)節(jié)，V為肺實質(zhì)灰度數(shù)據(jù)，x，y，z為候選結(jié)節(jié)質(zhì)心坐標(biāo)。檢測流程見圖1。

為減少肺部其他組織對實驗結(jié)果帶來的干擾，根據(jù)XML文件中對肺結(jié)節(jié)位置的標(biāo)注信息，將含有肺結(jié)節(jié)的512×512×512原始CT圖像裁剪成128×128×128圖像。

1.1 多尺度3D CNN 網(wǎng)絡(luò)傳遞時，經(jīng)過層數(shù)越多，輸入信息和梯度信息的影響力越小，易出現(xiàn)梯度消失現(xiàn)象，可通過縮短初始輸入與損失函數(shù)之間的連接距離加以解決。密集連接塊可直接連接每層網(wǎng)絡(luò)與輸入和損失，減輕梯度消失現(xiàn)象及正則化效果，抑制網(wǎng)絡(luò)過擬合[5]。本研究于3D CNN中加入可重復(fù)利用圖像特征的密集連接塊，通過較少卷積核產(chǎn)生大量特征，降低網(wǎng)絡(luò)參數(shù)數(shù)量。

多尺度3D CNN見圖2。輸入128×128×128三維肺結(jié)節(jié)特征圖像，通過3×3×3卷積操作得到32個128×128×128的特征層Conv1，再經(jīng)64×64×64特征圖最大池化操作，連接到128個64×64×64密集塊1，得到96個32×32×32特征圖的特征層Conv2。經(jīng)過32×32×32特征圖的最大池化操作，將Conv2連接到384個32×32×32密集塊2，得到224個16×16×16特征圖的特征層Conv3。Conv3經(jīng)過16×16×16特征圖的最大池化操作，連接到896個16×16×16密集塊3，得到480個8×8×8特征圖的特征層Conv4，形成多尺度特征結(jié)構(gòu)；以特征層Conv2、Conv3、Conv4為代表，構(gòu)成低、中、高3類尺度特征，通過構(gòu)建的下采樣多尺度特征結(jié)構(gòu)提取肺結(jié)節(jié)圖像特征。

圖1 檢測肺結(jié)節(jié)流程圖

圖2 多尺度3D CNN結(jié)構(gòu)圖

隨后行上采樣以恢復(fù)特征圖的分辨率。該操作為下采樣的逆操作，包含密集塊和反卷積層，每個反卷積層由密集塊連接，每經(jīng)過一次反卷積操作，圖像尺寸即增大一倍，可得到與輸入圖像尺寸相同的特征圖，再通過卷積操作獲得輸出結(jié)果(圖2)。通過512個4×4×4的特征層Conv5與密集塊4進行特征融合，得到480個8×8×8的特征層Conv6；將Conv6與密集塊5進行特征融合，得到224個16×16×16的特征層Conv7；再對Conv7與密集塊6進行特征融合，得到384個32×32×32的特征層Conv8；將Conv8與密集塊7進行特征融合，生成與原圖像大小一致的特征層Conv9，最后通過卷積操作獲得輸出結(jié)果。

1.2 實驗環(huán)境 Tensorflow DL框架與Python語言編程環(huán)境，硬件及軟件配置見表1。

表1 軟硬件環(huán)境配置

1.3 遷移學(xué)習(xí)微調(diào)網(wǎng)絡(luò)結(jié)構(gòu) 針對較難獲得帶有合理標(biāo)注的訓(xùn)練數(shù)據(jù)的問題，本研究通過遷移學(xué)習(xí)方法引入遷移學(xué)習(xí)思想，微調(diào)不同層三維網(wǎng)絡(luò)模型參數(shù)，以優(yōu)化訓(xùn)練過程。采用基于權(quán)值的遷移學(xué)習(xí)方法訓(xùn)練及測試網(wǎng)絡(luò)模型(圖3)：①對圖像進行水平、垂直翻轉(zhuǎn)及90°、180°和270°旋轉(zhuǎn)以增強數(shù)據(jù)[6],在原數(shù)據(jù)基礎(chǔ)上將增強6倍后的肺結(jié)節(jié)數(shù)據(jù)集送入三維模型進行訓(xùn)練，以所獲權(quán)值作為數(shù)據(jù)集中特征提取層的初始權(quán)值；②采用隨機梯度下降最優(yōu)化方法[7]微調(diào)權(quán)值，自后向前微調(diào)網(wǎng)絡(luò)模型參數(shù)，獲得數(shù)據(jù)特征。

1.4 網(wǎng)絡(luò)訓(xùn)練 CT圖像來源為包頭市腫瘤醫(yī)院，采用Siemens SOMATOM Definition AS雙源多層螺旋CT掃描儀行胸部平掃或增強掃描，掃描參數(shù)：管電壓120 kV，管電流110 mA，矩陣512×512，橫截面像素分辨率0.7 mm×0.7 mm，螺距l(xiāng) mm，掃描層厚1 mm，重建層厚0.7 mm；該組數(shù)據(jù)復(fù)雜且難以大量標(biāo)記標(biāo)簽，不足以訓(xùn)練出可靠的分類模型。本研究采用肺結(jié)節(jié)分析16(lung nodule analysis 16, LUNA 16)數(shù)據(jù)集[7]進行數(shù)據(jù)訓(xùn)練，其來源為肺部圖像數(shù)據(jù)庫聯(lián)盟(lung image database consortium, LIDC)數(shù)據(jù)集，包括1 010幅包含肺部病變的1 018組CT圖像，去除切片厚度大于3 mm、切片不一致及部分缺失的圖像，最后保留888幅，構(gòu)成LUNA 16數(shù)據(jù)集。由3～4名具有5年以上工作經(jīng)驗的放射科醫(yī)師分別標(biāo)注并復(fù)核圖像(圖像格式DICOM)，明確肺結(jié)節(jié)的中心位置及直徑。共采集170例已標(biāo)注的可用樣本、444個結(jié)節(jié)，包括151個良性結(jié)節(jié)和293個惡性結(jié)節(jié)；惡性結(jié)節(jié)中，196個影像學(xué)與病理學(xué)診斷一致，97個以病理學(xué)診斷為標(biāo)準(zhǔn)。根據(jù)肺結(jié)節(jié)最大直徑分為3組：>15 mm為大結(jié)節(jié)；直徑≥5 mm且≤15 mm為中等結(jié)節(jié)；直徑在<5 mm為小結(jié)節(jié)。經(jīng)實驗[8]驗證，選取40×40×26的3D圖像塊可將結(jié)節(jié)完全包含在內(nèi)，這種方法可增大對于小結(jié)節(jié)的感受野，提升小結(jié)節(jié)檢出率。

訓(xùn)練方法：①預(yù)處理LUNA 16數(shù)據(jù)集；②提取80%數(shù)據(jù)集訓(xùn)練三維模型；③以增強后的數(shù)據(jù)集訓(xùn)練微調(diào)后的模型；④以剩余20%數(shù)據(jù)集作為測試集，驗證網(wǎng)絡(luò)模型性能。每經(jīng)過10 000次訓(xùn)練保存一個模型，共進行50 000次訓(xùn)練，出現(xiàn)過擬合時提前停止訓(xùn)練。采用五折交叉驗證，每折驗證隨機抽樣，按照4∶1劃分數(shù)據(jù)集，取驗證集的5次準(zhǔn)確率的平均值作為結(jié)果。

采用訓(xùn)練準(zhǔn)確率(training accuracy， TrainAcc)及過擬合比率(over fitting ratio， OverRatio)評價網(wǎng)絡(luò)模型。TrainAcc(%)=正確檢測圖像的數(shù)量/訓(xùn)練集圖像的總量×100；OverRatio=TrainAcc/驗證集準(zhǔn)確率。

1.5 評估標(biāo)準(zhǔn) 采用準(zhǔn)確率(accuracy， ACC)、敏感度(sensitivity， SN)、特異度(specificity， SP)及無限制受試者特征(free-response receiver operating characteristic， FROC)曲線下面積(area under the curve， AUC)評估實驗結(jié)果[9]。SN越高，誤診率越低；SP越高，漏診率越低；AUC越大，檢測效能越好。

2 結(jié)果與分析

2.1 數(shù)據(jù)集 隨訓(xùn)練次數(shù)增加，TrainAcc明顯提高，OverRatio逐漸下降，于30 000次時趨于穩(wěn)定，且模型的訓(xùn)練效能最優(yōu)，見表2。提取LUNA 16中數(shù)據(jù)集，共分成10個子集，各子集及子集中所含肺結(jié)節(jié)的切片數(shù)量等分布情況見表3。

表2 不同訓(xùn)練次數(shù)結(jié)果

圖3 基于權(quán)值的遷移學(xué)習(xí)方法訓(xùn)練及測試網(wǎng)絡(luò)模型流程圖

圖4 不同尺寸肺結(jié)節(jié)檢測結(jié)果實例(箭示結(jié)節(jié))

2.2 實驗結(jié)果 由三維立方體橫切面下不同大小肺結(jié)節(jié)檢測的效果圖(圖4)可見，本方案檢測大、中肺結(jié)節(jié)的準(zhǔn)確率達97.28%，檢測小結(jié)節(jié)準(zhǔn)確率達92.31%，提示多尺度特征三維網(wǎng)絡(luò)模型可有效檢出不同大小肺結(jié)節(jié)，適用性較強。

2.3 實驗結(jié)果對比 將本方案與既往研究[10-14]所用檢測方法進行比較，以進一步評估其可行性，結(jié)果見表4。KHOSRAVAN等[10]將密集連接塊加入網(wǎng)絡(luò)結(jié)構(gòu)，以避免丟失低層信息，但未引入遷移學(xué)習(xí)，準(zhǔn)確率略低。ZHU等[11]將雙路徑塊及U-net解碼器加入3D CNN中，以獲得更詳細的結(jié)節(jié)特征，但數(shù)據(jù)量略少，敏感度略低。DOU等[12]提出以混合損失的三維全卷積網(wǎng)絡(luò)模型檢測肺結(jié)節(jié)，特異度較高而敏感度略低。AKRAM等[13-14]采用傳統(tǒng)方法檢測肺結(jié)節(jié)，整體性能低于DL方法。

3 結(jié)論

本研究在保證數(shù)據(jù)量的基礎(chǔ)上實現(xiàn)了相對較好的檢測效能，綜合效能優(yōu)于傳統(tǒng)方法；引入多尺度特征結(jié)構(gòu)及遷移學(xué)習(xí)訓(xùn)練后，評價指標(biāo)高于已有DL方法，可在保證高敏感度及低假陽率基礎(chǔ)上自動精確檢出肺結(jié)節(jié)。

表3 各子集中含肺結(jié)節(jié)數(shù)

表4 不同肺結(jié)節(jié)檢測方法

基于遷移學(xué)習(xí)的多尺度3D CNN檢測不同大小肺結(jié)節(jié)的準(zhǔn)確率均較好。應(yīng)用遷移學(xué)習(xí)思想訓(xùn)練網(wǎng)絡(luò)模型，并微調(diào)網(wǎng)絡(luò)模型結(jié)構(gòu)以提取圖像特征，可解決少量數(shù)據(jù)難以訓(xùn)練深度模型以及數(shù)據(jù)集過小所致過擬合問題。通過逐層遷移訓(xùn)練可提高小樣本條件下檢測準(zhǔn)確率，引入數(shù)據(jù)增強變換后，隨機梯度下降算法自動更新學(xué)習(xí)率進行仿真實驗，可提高網(wǎng)絡(luò)結(jié)構(gòu)的特征提取能力和抗過擬合性。