一種改進三維卷積模型的假陽性肺部結節(jié)篩除方法

楊友良，孟文龍，張建舒，陳 波

（華北理工大學 電氣工程學院，河北 唐山 063210）

0 引 言

近年來，社會發(fā)展不斷進步，地球的生態(tài)環(huán)境卻不斷惡化。吸煙、由于職業(yè)的原因經(jīng)常接觸致癌因子以及空氣污染等原因都會使肺癌發(fā)生的危險性增加。根據(jù)世界衛(wèi)生組織發(fā)布的《全球癌癥報告》與中華醫(yī)學會關于腫瘤學的年會報告給出的有關數(shù)據(jù)來看，肺癌的發(fā)病人數(shù)在全球的惡性腫瘤患者中約占19%，居于首位；全球每年新增肺癌患者大約為180萬人，其中大約160萬人因治療無效而死亡，死亡率高達88%。我國每年肺癌患者的新增人數(shù)約占世界肺癌患者新增人數(shù)的30%。根據(jù)臨床醫(yī)學的經(jīng)驗，如果在早期就能診斷出肺癌并且獲得及早的治療，患者的生存幾率將會得到大幅度的提高。由于在肺癌早期患者的癥狀不明顯，因此很難被察覺到。癌細胞發(fā)生擴散轉移之后，患者才會感覺到明顯的癥狀，此時患者已經(jīng)是肺癌晚期階段，錯過了治療的最佳時間點，所以早發(fā)現(xiàn)早治療對肺癌患者具有重大意義。

對肺結節(jié)的檢測分為兩個步驟，即檢測候選結節(jié)及在候選結節(jié)中去除假陽性結節(jié)。候選結節(jié)檢測是在不考慮假陽性的情況下盡可能地將肺部CT圖像中的疑似結節(jié)全部提取出來。假陽性肺結節(jié)的篩除直接影響了肺結節(jié)檢測算法的準確度。通過第一步檢測所產(chǎn)生的肺結節(jié)候選區(qū)域中會存在著大量的非結節(jié)，稱之為假陽性結節(jié)。篩除假陽性結節(jié)主要分為兩個關鍵步驟：首先是對真陽性肺結節(jié)進行特征提??；然后再對提取出來的特征進行分類。特征提取的方法分為基于傳統(tǒng)機器學習的特征提取和基于深度卷積神經(jīng)網(wǎng)絡提取兩種方法。

將深度學習引入到對圖像的特征提取中，可以更準確地對圖像特征進行提取。卷積神經(jīng)網(wǎng)絡（Convolutional Neural Network，CNN）是深度學習中最普遍也是最關鍵的一個訓練網(wǎng)絡，自從卷積神經(jīng)網(wǎng)絡的概念被提出以后，國內(nèi)外學者將卷積神經(jīng)網(wǎng)絡應用到圖像特征提取中的熱情日益高漲。卷積神經(jīng)網(wǎng)絡對肺結節(jié)特征的提取過程是：將肺結節(jié)的圖片直接傳送到卷積神經(jīng)網(wǎng)絡模型中，通過網(wǎng)絡隱含層的自主學習將肺結節(jié)主要特征提取出來。文獻[3]基于OverFeat算法對疑似肺結節(jié)的軸向面圖像、二維矢狀面圖像和冠狀面圖像進行訓練，提取到了4 096個維度特征作為支持向量機的輸入對其進行分類。文獻[4]提出一種基于多視角二維卷積網(wǎng)絡實現(xiàn)假陽性結節(jié)的減少，該方法通過多角度切割二維切片從而獲取到更豐富的結節(jié)特征。文獻[5]采用一種三維卷積神經(jīng)網(wǎng)絡對肺結節(jié)進行掃描以降低假陽性的新方法，該網(wǎng)絡的訓練樣本采用三維圖像可以提取到更多的數(shù)據(jù)結構，提出了一種較為簡單且有效的多層次背景信息編碼策略。實驗結果證明，對于小尺度肺結節(jié)，采用這種多層次背景信息整合到三維卷積神經(jīng)網(wǎng)絡中的檢測方法更為有效。

1 基礎理論

1.1 三維卷積神經(jīng)網(wǎng)絡

目前，卷積神經(jīng)網(wǎng)絡的應用范圍越來越廣闊，特別是在圖像處理領域。因為卷積運算為二維運算，只能針對靜態(tài)圖像進行分類識別，因此，科研人員通過設計改進，基于三維卷積核構建出了三維卷積神經(jīng)網(wǎng)絡，其優(yōu)勢在于三維卷積核和三維池化層可以將包含時間在內(nèi)的特征信息提取出來。

3D CNN與2D CNN都由輸入層、卷積層、池化層、全連接層和輸出層組成；池化層和卷積層交替設置；全連接層設置在輸出層之前，在結構上較為相似。只不過3D CNN除了可以利用平面上的紋理、像素以及形狀等特征，還可以利用三維圖像中的時間信息、空間信息和上下文關聯(lián)信息等多重特征，并且卷積層和池化層的輸入、輸出都是三維的特征體。兩種卷積操作如圖1所示。

圖1 三維卷積與二維卷積操作對比

1.2 三維卷積層

三維卷積常用于醫(yī)學圖像領域，三維卷積與二維卷積的運算大致相同，只不過三維卷積操作中增加了時間維度，提取到了視域的信息。三維卷積操作的輸入數(shù)據(jù)是多個連續(xù)幀構成的立方體，和二維卷積相同的是，每一個三維卷積核只可以在輸入數(shù)據(jù)中提取到一種特征，如果想得到多種不同的特征圖必須使用多個不同的卷積核。三維卷積核的卷積為：

式中：為激活函數(shù)；為可加性偏置；，，代表三維卷積核三個維度的大?。粸樯弦粚拥趥€特征圖和特征圖上空間坐標為(,,)位置上的權值；代表特征圖上對應的輸出。

1.3 三維池化層

三維卷積層對三維模型進行卷積操作之后網(wǎng)絡中的數(shù)據(jù)量會劇增，因此研究人員將池化區(qū)域從二維空間擴展到三維空間，池化范圍從二維平面擴展到三維立體。這樣做的目的是為了減少模型中的網(wǎng)絡參數(shù)。三維池化也同樣包括平均池化和最大池化，最大池化的計算公式為：

式中：為輸入的三維向量；代表經(jīng)過最大池化操作后的輸出；，，分別代表三個方向上的采樣步長。通過三維池化對三維卷積后的數(shù)據(jù)進行降維，節(jié)省了計算時間，還提升了整個模型的魯棒性。

1.4 空洞卷積

在進行圖像分割時有時會出現(xiàn)擴大感受野而造成特征信息丟失的現(xiàn)象發(fā)生，為了解決此問題，提出了空洞卷積的概念。常見的圖像分割算法通常使用池化層和卷積層來增加感受野，但是在增大感受野的同時也縮小了特征圖尺寸，然后再利用上采樣還原圖像尺寸，特征圖縮小再放大的過程造成了精度上的損失，因此需要一種操作可以在增加感受野的同時保持特征圖的尺寸不變，從而代替下采樣和上采樣操作。

不同于正常的卷積，空洞卷積引入了一個稱為“擴張率（Dilation Rate）”的超參數(shù)（Hyper-parameter），該參數(shù)定義了卷積核處理數(shù)據(jù)時各值的間距。擴張率也稱為空洞數(shù)（Hole Size）。如圖2a）為普通卷積，圖2b）是擴張率為2的空洞卷積，空洞卷積相比普通卷積并無太大區(qū)別，二者學習的參數(shù)數(shù)量是一致的，但是因為引入了擴張率，空洞卷積中加入了空洞間隔，因此空洞卷積能獲得更大的感受野并且特征圖的分辨率不會隨著感受野的增大而減小。

圖2 普通3×3卷積與3×3的空洞卷積

2 基于3D CNN假陽性肺結節(jié)篩除

本節(jié)提出一種基于3D CNN網(wǎng)絡的假陽性篩選方法，使用三維網(wǎng)絡模型避免了對三維數(shù)據(jù)進行特征提取時出現(xiàn)空間信息損失的現(xiàn)象；由于網(wǎng)絡輸入數(shù)據(jù)的尺寸較小，通過池化操作在增大感受野的同時伴隨著分辨率的降低特征圖的尺寸也隨之減小。肺結節(jié)作為正樣本，本身形態(tài)尺寸較小，特征較為稀少，因此引入空洞卷積代替池化操作，不僅可以擴大神經(jīng)元的感受野，并且可以保留內(nèi)部數(shù)據(jù)的空間結構，盡可能多地獲取到肺結節(jié)的相關特征。

本節(jié)建立了一個基于3D CNN的肺結節(jié)假陽性剔除網(wǎng)絡模型，該網(wǎng)絡模型的主要任務是對輸入的三維候選肺結節(jié)進行一個二分類，在網(wǎng)絡模型的下采樣階段提取數(shù)據(jù)特征進行學習，從而實現(xiàn)分類任務，通過引入空洞卷積操作代替池化操作來保證在特征圖尺寸不至于過小的情況下增大網(wǎng)絡模型的感受野。網(wǎng)絡結構如圖3所示，其中C為卷積層，DC為空洞卷積層，P為池化層，F(xiàn)C為全連接層。

2002年以來，政府對石門桂花村進行了規(guī)劃和開發(fā)，在保持鄉(xiāng)村特色的基礎上，突出生態(tài)休閑。2003年9月底重點建成“古桂觀賞”、“休閑娛樂”、“餐飲服務”三大區(qū)塊。2005 年，結合“全面小康建設示范村”創(chuàng)建和當?shù)亓己玫纳鷳B(tài)環(huán)境，建設生態(tài)度假村，創(chuàng)建“農(nóng)家樂”。二期投入200萬元，景區(qū)面積擴大一倍。2011年石門桂花村第三期建設，投入資金500多萬元，建成占地51.3畝的生態(tài)桂花園。同年規(guī)模較大的為桂花酒家（石門桂花村農(nóng)家樂餐飲企業(yè)目前有7家），投資150多萬元在原桂緣草堂的基礎上進行改造，進一步完善了服務設施，增加了鄉(xiāng)村文化元素，確保了石門桂花村特有的鄉(xiāng)村氣息。

圖3 3D CNN網(wǎng)絡模型

針對本文所提出的基于3D CNN模型肺結節(jié)檢測網(wǎng)絡，實現(xiàn)步驟為：

1）本文將3D CNN卷積神經(jīng)網(wǎng)絡模型的原始輸入像素尺寸16×112×112×3改變?yōu)?6×36×36×1，這樣使得3D CNN卷積神經(jīng)網(wǎng)絡模型在整體的圖片上進行窗口滑動識別的同時進行定位，將一個復雜的定位問題轉化為識別和定位同步進行的問題。同時，使用小像素尺寸的圖片作為輸入也極大地提高了定位的準確性和模型的運算效率。

2）將輸入的圖像依次進行兩次卷積操作，對應的卷積核尺寸為3×3×3，且通道數(shù)為32，然后在后續(xù)的3D卷積過程中，考慮到在進行特征提取時會丟失相應的信息，因此將部分池化層由空洞卷積和普通卷積替換，其中空洞卷積的擴張率為2，二者卷積核大小均為2×2×2，通道數(shù)為32，再接入dropout層防止過擬合。最終經(jīng)過池化層和全連接層輸出二分類結果。

3 實 驗

3.1 實驗環(huán)境與實驗數(shù)據(jù)

本文實驗環(huán)境：操作系統(tǒng)為Ubuntu 16.04，處理器為IntelXeonSilver 4114 CPU，32 GB內(nèi)存，NVIDIA GeForce GTX 1080Ti顯卡，11 GB顯存。深度學習框架為TensorFlow，所使用的編譯語言為Python。

本文使用公開的LUNA16數(shù)據(jù)集作為實驗數(shù)據(jù)。LUNA16數(shù)據(jù)集將LIDC-IDRI數(shù)據(jù)集中切片厚度大于2.5 mm的CT圖像以及切片像素不一致或不完整的CT圖像去掉，形成了包含888例胸部CT薄層平掃圖像的數(shù)據(jù)集，且分為10個子集。

3.2 評價指標

在肺結節(jié)檢測任務中，如果CT圖像中存在肺結節(jié)則認為是陽性（Positive），反之為陰性（Negative）。在實驗中對CT檢測結果為肺結節(jié)且同時在數(shù)據(jù)集中也被標記為結節(jié)則稱為真陽性（TP）；若在數(shù)據(jù)集中未標記為結節(jié)則稱為假陽性（FP）；在實驗結果檢測為非結節(jié)且實際也為非結節(jié)則表示為真陰性（TN）；實驗結果表示為非結節(jié)實際真結節(jié)則稱為假陰性（FN）。

假陽性率（False Positive Rate，F(xiàn)PR）又稱為誤診率，是指在實驗檢測結果顯示為肺結節(jié)實際不是結節(jié)的數(shù)量占數(shù)據(jù)集中標注為非結節(jié)數(shù)量的比例。

真陰性率（True Negative Rate，TNR）也被稱為特異性，表示在實驗檢測結果中顯示為非結節(jié)并且在數(shù)據(jù)集中也被標注為非結節(jié)的數(shù)量占數(shù)據(jù)集中所有標注為非結節(jié)數(shù)量的比例。

假陰性率（False Negative Rate，F(xiàn)NR）即漏診率，表示在實驗檢測結果顯示為非結節(jié)在數(shù)據(jù)集中被標記為結節(jié)的數(shù)量占數(shù)據(jù)集中標記為結節(jié)數(shù)量的比例。

ROC曲線即接受者操作特征曲線，用來展示二分類器的診斷能力隨著鑒別閾值的變化而變化。ROC曲線是通過繪制真陽性率和不同閾值設置下的假陽性率的關系而得到的，AUC是ROC曲線與坐標橫軸圍成的面積，歸一化單位后，AUC面積可以表示分類器正確分類正樣本多于正確分類負樣本的概率，AUC值越大說明算法能夠更好地分類正樣本。

4 結 論

利用3D CNN進行假陽性結節(jié)篩除，3D CNN模型預測結果如表1，圖4所示。

圖4 ROC曲線圖

表1 預測結果

綜上可知：ROC曲線非?？拷笊辖?，說明模型能較好地判斷結節(jié)類型，減少漏診和誤診。而AUC表示預測的正例置信度大于負例置信度的概率，AUC越大分類效果越好，0.967的AUC值說明模型對正例和負例的分類能力較好。特異性值（TNR）很大，說明對假陽性的過濾能力強，能夠有效地避免誤檢，0.88的敏感度值（TPR）說明模型漏檢的可能性也很小。實驗表明提出的三維卷積神經(jīng)網(wǎng)絡適用于降低肺結節(jié)檢測中的假陽性率。

注：本文通訊作者為孟文龍。