基于三維卷積神經(jīng)網(wǎng)絡(luò)的肺結(jié)節(jié)分類

王衛(wèi)兵 王卓 徐倩 孫宏

摘 要：為提高不易分割診斷的毛玻璃結(jié)節(jié)的分類準(zhǔn)確率，同時(shí)針對(duì)VGG16網(wǎng)絡(luò)結(jié)構(gòu)卷積層數(shù)深，參數(shù)多的問題，提出一種基于灰度增強(qiáng)、紋理和形狀濾波增強(qiáng)的三維深度卷積神經(jīng)網(wǎng)絡(luò)用于肺結(jié)節(jié)分類。對(duì)VGG16網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行優(yōu)化，提出的模型在肺結(jié)節(jié)公開數(shù)據(jù)集LIDC-IDRI上進(jìn)行訓(xùn)練和測(cè)試。結(jié)果表明，采用灰度增強(qiáng)、紋理和形狀濾波增強(qiáng)相結(jié)合的方法圖像分類精度最高，準(zhǔn)確率為91.7%，其他評(píng)價(jià)指標(biāo)包括敏感性和特異性也略有提高，優(yōu)于現(xiàn)有方法。

關(guān)鍵詞：肺結(jié)節(jié);深度學(xué)習(xí);卷積神經(jīng)網(wǎng)絡(luò)

DOI：10.15938/j.jhust.2021.04.012

中圖分類號(hào)：TP391.41

文獻(xiàn)標(biāo)志碼：A

文章編號(hào)：1007-2683（2021）04-0087-07

Abstract：In order to improve the classification accuracy of ground glass nodules that are difficult to segment and diagnose and at the same time， the VGG16 network structure has deep convolutional layers and many parameters， A 3D deep convolutional neural network based on intensity， texture， and shape-enhanced images for pulmonary nodule recognition was proposed. The VGG16 network structure was optimized， and the proposed model was trained and tested on the public nodule dataset of lung nodules LIDC-IDRI. The results showed that the proposed method using the composition of intensity， texture and shape-enhanced has the highest image classification accuracy， with an accuracy of 91.7%. Other measures， including sensitivity and specificity， also improved slightly， It is superior to existing methods.

Keywords：pulmonary nodule;deep learning;convolutional neural network

0 引 言

國(guó)際癌癥研究機(jī)構(gòu)制定的癌癥發(fā)病率和死亡率報(bào)告顯示，肺癌是最常見的癌癥，且是死亡率較高的癌癥之一[1]。中國(guó)人口眾多，肺癌的發(fā)病率和死亡率同樣居高不下，我國(guó)男性肺癌發(fā)病率和死亡率均排名前列[2]。引起肺癌的原因除了遺傳因素外，主要與大氣污染、大量吸煙、工作壓力和精神因素有關(guān)。早期準(zhǔn)確的診斷在肺癌治療中起著重要的作用。然而，由于良性和惡性肺結(jié)節(jié)之間的細(xì)微差別，即使對(duì)于醫(yī)學(xué)專家來說，肺癌診斷也是一項(xiàng)艱巨的任務(wù)。此外，放射診斷的準(zhǔn)確性也各不相同，在很大程度上取決于臨床醫(yī)生的主觀經(jīng)驗(yàn)。計(jì)算機(jī)輔助診斷（computer aided diagnosis，CAD）是指通過醫(yī)學(xué)圖像處理技術(shù)以及其他可能的生理、生化手段，結(jié)合計(jì)算機(jī)的分析計(jì)算，輔助發(fā)現(xiàn)病灶，可以有效降低誤診概率和提高診斷準(zhǔn)確率。因此，為了降低醫(yī)生的誤診概率以及減少醫(yī)生的工作壓力，需要發(fā)展計(jì)算機(jī)輔助診斷系統(tǒng)，以幫助醫(yī)生對(duì)肺結(jié)節(jié)檢測(cè)作出正確診斷，進(jìn)行針對(duì)性治療，提高治愈幾率具有重要意義。

近年來，深度學(xué)習(xí)在計(jì)算機(jī)視覺、自然語言處理、音頻識(shí)別等領(lǐng)域取得突破性進(jìn)展。卷積神經(jīng)網(wǎng)絡(luò)是一種深度的監(jiān)督學(xué)習(xí)下的神經(jīng)網(wǎng)絡(luò)，局部感知和共享權(quán)值的獨(dú)特結(jié)構(gòu)使CNN在圖像識(shí)別和處理領(lǐng)域具有獨(dú)特的優(yōu)勢(shì)。局部感知使圖像的局部空間像素聯(lián)系的更加緊密，共享權(quán)值則減少了網(wǎng)絡(luò)訓(xùn)練參數(shù)的個(gè)數(shù)，降低了計(jì)算的復(fù)雜程度[3]。與舊的傳統(tǒng)框架相比，深度學(xué)習(xí)具有多種優(yōu)勢(shì)。首先，深度學(xué)習(xí)可以直接從訓(xùn)練數(shù)據(jù)中發(fā)現(xiàn)特征，特征提取過程大大簡(jiǎn)化，相對(duì)簡(jiǎn)單的端到端訓(xùn)練過程，以及更容易對(duì)系統(tǒng)性能進(jìn)行調(diào)整。Bengio[4]系統(tǒng)地介紹了深度學(xué)習(xí)所包含的網(wǎng)絡(luò)結(jié)構(gòu)和學(xué)習(xí)方法。卷積神經(jīng)網(wǎng)絡(luò)的局部連接、權(quán)值共享及池化操作等特性使之可以有效地降低網(wǎng)絡(luò)的復(fù)雜度，減少訓(xùn)練參數(shù)的數(shù)量[5]。在圖像處理方面，Long等[6]構(gòu)建端到端全卷積網(wǎng)絡(luò)，該網(wǎng)絡(luò)接收任意大小的輸入并通過有效的學(xué)習(xí)產(chǎn)生相應(yīng)大小的輸出。且后續(xù)提出的深度卷積神經(jīng)網(wǎng)絡(luò)（deep convolutional neural network，DCNN）在目前最大的圖像識(shí)別數(shù)據(jù)庫ImageNet上取得了超出之前最先進(jìn)成果要好得多的成績(jī)[7]。2018年，Unar等[8]提出一種通過利用圖像的視覺和文本特征來檢索相似文本圖像的新方法。第一步提取視覺特征，然后在下一步中檢測(cè)和識(shí)別文本，基于內(nèi)核的方法將視覺和文本信息融合。隨后，2019年，Unar等[9]提出結(jié)合視覺和文本特征來檢索分類相似的圖像的CBIR方法，支持三種檢索模式：圖像查詢、關(guān)鍵字以及二者的組合。在4個(gè)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明了所提出的視覺和文本圖像方法的效率和準(zhǔn)確性。

當(dāng)前針對(duì)肺結(jié)節(jié)的分類方法大致分為兩類。一是基于傳統(tǒng)的機(jī)器學(xué)習(xí)算法的肺結(jié)節(jié)分類，即通過人工提取特征，使用隨機(jī)森林、直方圖特征、支持向量機(jī)（support vector machine，SVM）等分類器完成分類。Messay T等[10]提出一種新的CAD系統(tǒng)用于肺結(jié)節(jié)檢測(cè)，通過放射科醫(yī)師對(duì)肺結(jié)節(jié)公開數(shù)據(jù)集（the lung image database consortium and image database resource initiative database，LIDC-IDRI）的84幅CT影像進(jìn)行手動(dòng)分割，使用LIDC-IDRI數(shù)據(jù)集進(jìn)行7倍交叉驗(yàn)證性能，分析顯示CAD靈敏度為82.66%。Jacobs C等[11]對(duì)所提出的CAD系統(tǒng)進(jìn)行性能優(yōu)化，由經(jīng)驗(yàn)豐富的放射科醫(yī)師對(duì)CAD系統(tǒng)的輸出進(jìn)行回顧性分析，所提出的系統(tǒng)達(dá)到80%的靈敏度，表明CAD系統(tǒng)能夠找到篩選數(shù)據(jù)庫中未包含的亞實(shí)性結(jié)節(jié)。以上方法雖取得良好的實(shí)驗(yàn)結(jié)果，但需要專業(yè)人員的專業(yè)知識(shí)，且提取特征所需的人力需求高，耗時(shí)費(fèi)力，需要復(fù)雜的檢測(cè)過程。二是基于深度學(xué)習(xí)的肺結(jié)節(jié)分類，該方法由網(wǎng)絡(luò)模型自己學(xué)習(xí)特征。Shen等[12]提出一種新的卷積神經(jīng)網(wǎng)絡(luò)MC-CNN模型對(duì)肺結(jié)節(jié)的惡性程度進(jìn)行分類，所提出的方法不依賴于結(jié)節(jié)分割。Sun等[13]設(shè)計(jì)并實(shí)現(xiàn)了三種多通道提取ROI（region of interest， ROI）的深度結(jié)構(gòu)化算法，性能顯著高于傳統(tǒng)計(jì)算機(jī)輔助診斷系統(tǒng)。Setio等[14]提出一種多視圖卷積神經(jīng)網(wǎng)絡(luò)，在公開的LIDC-IDRI數(shù)據(jù)集的888次掃描中，該方法在每次掃描達(dá)到90.1%的高檢測(cè)靈敏度。Li等[15]提出一種卷積神經(jīng)網(wǎng)絡(luò)（E-CNNs）集成框架，省去了分割過程，避免了傳統(tǒng)檢測(cè)方法中的肺結(jié)節(jié)丟失，并利用該框架顯著降低了假陽性。Zhou等[16]提出一種用于醫(yī)學(xué)圖像分割的網(wǎng)絡(luò)結(jié)構(gòu)UNet++，將UNet++與多個(gè)醫(yī)學(xué)圖像分割結(jié)構(gòu)進(jìn)行了比較，取得更好的效果。劉露等[17]將深度置信網(wǎng)絡(luò)（deep belief network， DBN） 用于肺結(jié)節(jié)良惡性分類任務(wù)當(dāng)中，將新提出的DBN模型與基于紋理特征和多分辨率直方圖特征的SVM模型進(jìn)行對(duì)比，在不考慮醫(yī)學(xué)特征的情況下，DBN模型的識(shí)別準(zhǔn)確率高達(dá)86%。Xie等[18]通過反向傳播神經(jīng)網(wǎng)絡(luò)和AdaBoost構(gòu)建集成分類器，融合3個(gè)整體分類器的決策，分別對(duì)3個(gè)特征進(jìn)行訓(xùn)練，在LIDC-IDRI數(shù)據(jù)集上性能優(yōu)異。Gu等[19]提出了一種3D檢測(cè)深卷積神經(jīng)網(wǎng)絡(luò)與多尺度預(yù)測(cè)策略相結(jié)合的方法，包括多尺度立方體預(yù)測(cè)和立方體聚類，以檢測(cè)肺結(jié)節(jié)。

以上關(guān)于肺結(jié)節(jié)的分類研究已經(jīng)取得了較好的成果，然而，對(duì)于肺部結(jié)節(jié)中的微小結(jié)節(jié)仍然存在特征提取難，診斷難的問題，如毛玻璃結(jié)節(jié)，因此對(duì)于毛玻璃結(jié)節(jié)的分類非常重要。

針對(duì)以上問題，主要介紹3個(gè)貢獻(xiàn)來提高毛玻璃結(jié)節(jié)分類準(zhǔn)確率的問題。首先，本文提出一種基于灰度增強(qiáng)、紋理和形狀濾波增強(qiáng)的三維深度卷積神經(jīng)網(wǎng)絡(luò)，以經(jīng)典的VGG16網(wǎng)絡(luò)結(jié)構(gòu)為基礎(chǔ)，構(gòu)建適用于毛玻璃結(jié)節(jié)分類的網(wǎng)絡(luò)結(jié)構(gòu)，對(duì)LIDC-IDRI數(shù)據(jù)集進(jìn)行預(yù)處理，對(duì)數(shù)據(jù)集進(jìn)行分割得到肺實(shí)質(zhì)圖像，將數(shù)據(jù)歸一化并對(duì)數(shù)據(jù)進(jìn)行增強(qiáng)操作，完成特征提取;并引入一種從結(jié)節(jié)中提取任意數(shù)量視圖的方法，在目標(biāo)域數(shù)據(jù)集訓(xùn)練分類器，將特征提取的輸出作為分類器的輸入，對(duì)模型進(jìn)行微調(diào)，通過無監(jiān)督學(xué)習(xí)方法從數(shù)據(jù)集中學(xué)習(xí)特征。并在LIDC-IDRI數(shù)據(jù)集上進(jìn)行訓(xùn)練和測(cè)試，得到分類結(jié)果;此外，為了比較深度學(xué)習(xí)架構(gòu)與經(jīng)典分類器分類方法的性能，訓(xùn)練了K最近鄰（k-nearest neighbor， KNN），隨機(jī)森林（random forest， RF）和支持向量機(jī)（SVM）分類器，與本文所提出的基于灰度增強(qiáng)、紋理和形狀濾波增強(qiáng)相結(jié)合的三維深度卷積神經(jīng)網(wǎng)絡(luò)方法進(jìn)行對(duì)比。實(shí)驗(yàn)結(jié)果表明，所提方法針對(duì)毛玻璃結(jié)節(jié)具有最高的分類準(zhǔn)確率，其他評(píng)價(jià)指標(biāo)也有小幅度提高，具有最好的分類性能。

1 肺結(jié)節(jié)分類

1.1 實(shí)驗(yàn)數(shù)據(jù)

實(shí)驗(yàn)數(shù)據(jù)集為L(zhǎng)IDC-IDRI，LIDC-IDRI為美國(guó)癌癥研究所公開數(shù)據(jù)集[20]。LIDC-IDRI數(shù)據(jù)集包含1018個(gè)研究實(shí)例，每個(gè)實(shí)例包含臨床肺部CT圖像和相關(guān)的XML文件，其中每個(gè)圖像包含一個(gè)或多個(gè)肺結(jié)節(jié)。對(duì)于每個(gè)實(shí)例中的圖像，都由4位經(jīng)驗(yàn)豐富的放射科醫(yī)師進(jìn)行兩階段的診斷標(biāo)注。

CT圖像的亮度值是Hu（Hounsfield unit單位），CT圖像的Hu值反映組織對(duì)X射線吸收值（衰減系數(shù)u），參考肺窗設(shè)定值，在0到255的范圍內(nèi)執(zhí)行數(shù)據(jù)之間的數(shù)據(jù)歸一化，使得肺結(jié)節(jié)在CT圖像上可見。

1.2 數(shù)據(jù)預(yù)處理

基于數(shù)據(jù)集提供的位置坐標(biāo)，以二維的候選結(jié)節(jié)的像素中心為質(zhì)心，提取固定尺寸的結(jié)節(jié)三維塊作為分類網(wǎng)絡(luò)訓(xùn)練集數(shù)據(jù)。

為了解決數(shù)據(jù)之間的不平衡和過擬合問題，執(zhí)行數(shù)據(jù)增強(qiáng)操作，陽性樣本圍繞X、Y和Z軸為標(biāo)準(zhǔn)，隨機(jī)旋轉(zhuǎn)，增加數(shù)量，直到其為樣本數(shù)量的100倍，并且將陰性樣本也隨機(jī)旋轉(zhuǎn)為樣本數(shù)量的100倍，對(duì)其進(jìn)行隨機(jī)采樣，以解決可能因數(shù)據(jù)不對(duì)稱導(dǎo)致的模型過擬合問題。向圖像中的RGB通道添加隨機(jī)擾動(dòng)（噪聲）。常用的噪聲是高斯噪聲和椒鹽噪聲。添加噪聲的圖像如圖1所示。

在該研究中，從CT圖像中手動(dòng)提取感興趣區(qū)域（ROI），重新訓(xùn)練CNN模型。從具有多個(gè)卷積層和池化層的深度卷積網(wǎng)絡(luò)中獲取固定大小的feature maps，使用可以反映毛玻璃結(jié)節(jié)特征的ROI作為輸入圖像。對(duì)于卷積神經(jīng)網(wǎng)絡(luò)分類所需的圖像特征，使用全局圖像特征提取。例如清晰度、顏色直方圖和亮度直方圖。對(duì)于一般的圖像分類，可以通過分析圖像的二維信息獲取所需的特征。然而，在CT圖像中檢測(cè)病變部位，病變部位的形狀特征是多樣的，因此圖像的空間特征非常重要。本研究中，對(duì)于圖像中R、G和B 3個(gè)通道中的每個(gè)通道，通過將結(jié)節(jié)候選者的軸向、冠狀和矢狀圖像分配到紅色、綠色和藍(lán)色通道，生成偽彩色圖像。因?yàn)閳D像數(shù)據(jù)含有空間的信息，所以通過DCNN以學(xué)習(xí)更多特征，減少假陽性的判斷。提取ROI圖像的示例如圖2所示。

初始分割采用的算法是Fast Marching，分割肺實(shí)質(zhì)，對(duì)結(jié)節(jié)進(jìn)行檢測(cè)，并對(duì)其分別進(jìn)行灰度增強(qiáng)、紋理和形狀濾波增強(qiáng)，突出毛玻璃結(jié)節(jié)邊緣特征。

在圖像分割步驟之后，找到圖像中毛玻璃結(jié)節(jié)的坐標(biāo)。使用OpenCv連通域處理函數(shù)connectedComponentsWithStats（）。此函數(shù)返回連通域圖和相應(yīng)連通域重心坐標(biāo)。獲取假陽性結(jié)節(jié)，以提高分類準(zhǔn)確率。

將分好的數(shù)據(jù)集進(jìn)行預(yù)處理，采用python的pillow庫中crop操作，設(shè)定固定的裁剪區(qū)域?qū)⑺袌D像的尺寸都裁剪為224×224。為了減少圖像的方向依賴性，通過對(duì)所有CT圖像使用線性插值法，使z軸方向上的間隔與x和y軸方向上的間隔一致。對(duì)數(shù)據(jù)進(jìn)行預(yù)處理，將數(shù)據(jù)歸一化。數(shù)據(jù)歸一化采用組歸一化方式，對(duì)數(shù)據(jù)沿通道進(jìn)行歸一化。按照每連續(xù)3張圖像來建立一個(gè)子文件夾，將連續(xù)的3張224×224圖像作為VGG網(wǎng)絡(luò)的輸入。將二維圖像依次疊加，轉(zhuǎn)換為224×224×3三維圖像。

1.3 模型設(shè)計(jì)

現(xiàn)有的肺結(jié)節(jié)分類方法，只利用一個(gè)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行訓(xùn)練，存在一定的局限性。且提取的毛玻璃結(jié)節(jié)邊緣的紋理特征對(duì)于區(qū)分惡性結(jié)節(jié)和良性結(jié)節(jié)及正確分類至關(guān)重要。為了提取毛玻璃結(jié)節(jié)的特征，需要將多分辨率影像作為信道信息使用，或?qū)⑤斎胗跋竦牟糠謪^(qū)域作為特征圖使用。因此提出一種基于灰度增強(qiáng)、紋理和形狀濾波增強(qiáng)的三維深度卷積神經(jīng)網(wǎng)絡(luò)，將獲得的特征圖在內(nèi)部網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行集成和訓(xùn)練。本文以經(jīng)典的VGG16網(wǎng)絡(luò)結(jié)構(gòu)為基礎(chǔ)，設(shè)計(jì)適用于毛玻璃結(jié)節(jié)分類的模型。

VGG16探索了卷積神經(jīng)網(wǎng)絡(luò)的深度與其性能之間的關(guān)系，通過反復(fù)堆疊3×3的小型卷積核和2×2的最大池化層，錯(cuò)誤率大幅下降[21]。VGG16通過約100萬張自然圖像進(jìn)行訓(xùn)練學(xué)習(xí)，由13層卷積層和池化層組成的特征提取結(jié)構(gòu)，從輸入圖像中提取4 096維的特征向量。

通過對(duì)灰度增強(qiáng)、紋理和形狀濾波增強(qiáng)的結(jié)節(jié)信息和去除血管和胸壁的信息相結(jié)合，作為所構(gòu)建網(wǎng)絡(luò)結(jié)構(gòu)的輸入圖像。輸入層用于數(shù)據(jù)輸入，所包含的神經(jīng)元個(gè)數(shù)等于特征向量的維數(shù)。輸入層是數(shù)據(jù)進(jìn)入卷積神經(jīng)網(wǎng)絡(luò)的第一層，在該層進(jìn)行數(shù)據(jù)的均值化、歸一化、降維和白化。將不同形式、不同規(guī)則的數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化，以便于準(zhǔn)確抽取特征和構(gòu)建評(píng)價(jià)。每個(gè)輸入圖像使用軸向、冠狀和矢狀平面來反應(yīng)三維空間信息，以便最能反映毛玻璃結(jié)節(jié)的特征。

各輸入圖像通過13個(gè)卷積層（convolution layer）和3個(gè)全連接層（fully-connected layer）組成的整合模塊。卷積層執(zhí)行卷積運(yùn)算，并生成特征圖。優(yōu)化的適用于肺結(jié)節(jié)分類的VGG16的網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。池化層采用最大池化（max-pooling）操作，通過使用max-pooling可以提高計(jì)算效率，max-pooling通過選擇鄰域的最大值來總結(jié)輸出神經(jīng)元[22]。輸出層對(duì)輸入圖像進(jìn)行分類所采用的方法為Softmax回歸。在卷積層激活函數(shù)采用線性整流函數(shù)ReLU，加快網(wǎng)絡(luò)收斂速度，減少消耗的計(jì)算資源和訓(xùn)練時(shí)間[23]。

對(duì)卷積層的前16層未做改動(dòng)，將第17層卷積塊替換成3個(gè)分開的卷積塊，分開的卷積塊最后再結(jié)合，得到所需的特征圖。優(yōu)化的網(wǎng)絡(luò)結(jié)構(gòu)17層參數(shù)數(shù)量總數(shù)704 512，相較于原始的VGG16網(wǎng)絡(luò)結(jié)構(gòu)第17層參數(shù)數(shù)量2 359 296明顯減少。且提出的優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)每個(gè)卷積塊之后都可以增加一個(gè)ReLU激活函數(shù)，可以學(xué)習(xí)到更多特征，魯棒性更強(qiáng)。

Keras和TensorFlow是深度學(xué)習(xí)的框架，允許使用圖形進(jìn)行各種數(shù)值計(jì)算并且支持GPU運(yùn)算。本研究基于Keras和TensorFlow完成實(shí)驗(yàn)，Keras作為前端，TensorFlow作為后端。在這項(xiàng)工作中防止卷積神經(jīng)網(wǎng)絡(luò)過擬合的方法是Dropout方法。Dropout在每次訓(xùn)練的時(shí)候，通過在每個(gè)訓(xùn)練中隨機(jī)省略一半特征檢測(cè)器[24]。這樣做是為了減少每次迭代中具有不同連接的網(wǎng)絡(luò)訓(xùn)練節(jié)點(diǎn)之間的相互依賴性，防止過擬合。新的權(quán)重值可以通過反向傳播算法使用兩個(gè)概率和標(biāo)注數(shù)據(jù)0或1來更新。當(dāng)精度達(dá)到預(yù)定值或收斂條件時(shí)，終止訓(xùn)練過程。然后，使用常規(guī)的反向傳播算法進(jìn)行監(jiān)督訓(xùn)練，以對(duì)整個(gè)網(wǎng)絡(luò)進(jìn)行微調(diào)。通過構(gòu)建的VGG16的網(wǎng)絡(luò)體系結(jié)構(gòu)和數(shù)據(jù)預(yù)處理，實(shí)現(xiàn)特征提取和選擇。最后，使用訓(xùn)練模型對(duì)測(cè)試數(shù)據(jù)進(jìn)行評(píng)估分析。

1.4 實(shí)驗(yàn)與分析

評(píng)價(jià)標(biāo)準(zhǔn)采用肺結(jié)節(jié)分類方法常用的敏感性、特異性、準(zhǔn)確性、受試者工作特征（receiver operating characteristic， ROC）曲線作為評(píng)價(jià)標(biāo)準(zhǔn)。為了評(píng)估毛玻璃結(jié)節(jié)的分類性能，分類準(zhǔn)確性、敏感性和特異性方程由以下等式表示。

式中：TP為毛玻璃結(jié)節(jié)正確分類個(gè)數(shù);TN為非毛玻璃結(jié)節(jié)正確分類的個(gè)數(shù);FP為毛玻璃結(jié)節(jié)錯(cuò)誤分類個(gè)數(shù);FN為非毛玻璃結(jié)節(jié)錯(cuò)誤分類的個(gè)數(shù)。

對(duì)于所提方法進(jìn)行實(shí)驗(yàn)，訓(xùn)練數(shù)據(jù)集和測(cè)試數(shù)據(jù)集以4：1的比例隨機(jī)組成，圖像的尺寸裁剪為224×224，切片間隔為1 mm。定義的兩個(gè)數(shù)據(jù)集之間沒有患者或結(jié)節(jié)的任何重疊，并基于相同比例分布兩組中的結(jié)節(jié)類型。

使用隨機(jī)梯度下降法進(jìn)行學(xué)習(xí)，最大限度地減少交叉熵的分類損失。學(xué)習(xí)率：0.001，批尺寸：20。使用加權(quán)交叉熵作為損失函數(shù)。LIDC-IDRI數(shù)據(jù)集使用5折交叉驗(yàn)證進(jìn)行評(píng)估，4個(gè)子集用于訓(xùn)練/驗(yàn)證，1個(gè)用于測(cè)試。提出的網(wǎng)絡(luò)結(jié)構(gòu)使用Adadelta優(yōu)化器進(jìn)行訓(xùn)練，在公開的LIDC-IDRI數(shù)據(jù)集上預(yù)訓(xùn)練。從頭開始訓(xùn)練最大迭代次數(shù)設(shè)置為150。

采用MATLAB 2016中的現(xiàn)成KNN和RF算法。當(dāng)決策樹數(shù)目設(shè)置為100時(shí)，該算法取得了較好的效果。采用深度學(xué)習(xí)工具M(jìn)atconvnet，該工具是由Vedaldi A等人為MATLAB設(shè)計(jì)的[25]。

為了比較輸入圖像對(duì)毛玻璃結(jié)節(jié)分類結(jié)果的影響，分別構(gòu)建基于原始圖像作為輸入圖像的實(shí)驗(yàn)方法、基于灰度增強(qiáng)作為輸入圖像的實(shí)驗(yàn)方法、基于紋理和形狀濾波增強(qiáng)作為輸入圖像的方法，前三種方法采用單輸入圖像，另構(gòu)建本文所提出的基于灰度增強(qiáng)、紋理和形狀濾波增強(qiáng)的多輸入圖像實(shí)驗(yàn)方法。表1給出了采用不同實(shí)驗(yàn)方法的肺結(jié)節(jié)分類的性能。

基于原始圖像作為輸入圖像的實(shí)驗(yàn)方法和基于灰度增強(qiáng)作為輸入圖像的實(shí)驗(yàn)方法的分類準(zhǔn)確率分別為68.3%和74.3%?；诩y理和形狀濾波增強(qiáng)作為輸入圖像的方法的準(zhǔn)確率為82.8%，在單輸入圖像中分類性能最好，但毛玻璃結(jié)節(jié)的分類準(zhǔn)確率仍不高。本文所提出的基于灰度增強(qiáng)、紋理和形狀濾波增強(qiáng)的多輸入圖像實(shí)驗(yàn)方法準(zhǔn)確率為91.7%，敏感性為85.3%，特異性為88.5%。敏感性和特異性也均有提高，在所有方法中顯示出了最好的分類性能。

通過優(yōu)化VGG16網(wǎng)絡(luò)結(jié)構(gòu)，減少模型參數(shù)，加快網(wǎng)絡(luò)收斂速度，減少了模型的過擬合問題。同時(shí)，對(duì)于本文所提出的方法，研究比較了與三種傳統(tǒng)分類器的分類性能，包括K最近鄰（KNN），隨機(jī)森林（RF）和支持向量機(jī)（SVM），其中SVM具有最佳性能。表2給出了3種分類器對(duì)毛玻璃結(jié)節(jié)的分類性能。

由表2可知，SVM具有最好的分類性能，其準(zhǔn)確率、敏感性、特異性分別為90.7%、83.3%、85.5%，在3種分類器中性能最佳，但3種評(píng)價(jià)指標(biāo)均低于本文提出的方法。

此外，采用ROC曲線來檢驗(yàn)分類性能，ROC曲線如圖4所示。ROC曲線圖是反映敏感性與特異性之間關(guān)系的曲線。曲線下部分的面積被稱為AUC（area under curve），用來表示預(yù)測(cè)準(zhǔn)確性，AUC值越高，曲線下方面積越大，說明預(yù)測(cè)準(zhǔn)確率越高。

由圖4可知，本文所提方法對(duì)毛玻璃結(jié)節(jié)分類效果良好，且相比于傳統(tǒng)分類器的分類性能更好。

最后，將本文所提方法與同使用LIDC-IDRI數(shù)據(jù)集的肺結(jié)節(jié)分類方法進(jìn)行比較，驗(yàn)證方法同使用5折交叉驗(yàn)證，其準(zhǔn)確率、敏感性和特異性對(duì)比如表3所示。

由表3可知，其他三種方法的準(zhǔn)確率和敏感性皆低于本文提出的基于灰度增強(qiáng)、紋理和形狀濾波增強(qiáng)的三維深度卷積神經(jīng)網(wǎng)絡(luò)用于肺結(jié)節(jié)（毛玻璃結(jié)節(jié)）分類方法。本文所提方法可有效提高毛玻璃結(jié)節(jié)分類性能。特異性高意味著誤診率低，本文所提方法在特異性上略低于文[12]和文[18]，但相比于準(zhǔn)確率和敏感性的提高是可以接受的。出現(xiàn)這種情況可能是因?yàn)閿?shù)據(jù)分割及標(biāo)注過程出現(xiàn)的誤差所致，說明本文方法倚賴于良好的結(jié)節(jié)分割，這也是后續(xù)研究需要重點(diǎn)克服的困難。

2 結(jié) 論

本文研究了基于三維卷積神經(jīng)網(wǎng)絡(luò)的肺結(jié)節(jié)分類，創(chuàng)新的提出一種基于灰度增強(qiáng)、紋理和形狀濾波增強(qiáng)的方法，并對(duì)VGG16網(wǎng)絡(luò)模型進(jìn)行優(yōu)化。與原始圖像、僅使用灰度增強(qiáng)和使用紋理和形狀濾波增強(qiáng)的方法相比，結(jié)果表明所提出的基于灰度增強(qiáng)、紋理和形狀濾波增強(qiáng)的三維深度卷積神經(jīng)網(wǎng)絡(luò)分類方法可以更好地從三維圖像中提取毛玻璃結(jié)節(jié)特征，并有效地將其特征用于識(shí)別分類結(jié)節(jié)，優(yōu)于當(dāng)前幾種傳統(tǒng)分類器算法。

本文的不足是該方法在很大程度上依賴于良好的結(jié)節(jié)分割。一旦對(duì)肺結(jié)節(jié)區(qū)域的描述不正確，該方法可能性能有所下降。論文對(duì)圖像ROI的提取采用的是基于人工的方法，部分實(shí)驗(yàn)研究工作量較大。因此下一步是解決ROI的自動(dòng)提取問題和對(duì)三維網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)一步優(yōu)化，加深網(wǎng)絡(luò)層，提取高維特征，提高分類性能。

早期的肺結(jié)節(jié)檢測(cè)對(duì)于發(fā)現(xiàn)肺部病變以提高患者治療幾率并增加生存率非常重要，因此肺結(jié)節(jié)檢測(cè)分類具有重要意義。此外，理論上本文提出的方法可以通過遷移學(xué)習(xí)，應(yīng)用到其他醫(yī)學(xué)影像或者更多領(lǐng)域的數(shù)據(jù)集之中。

參 考 文 獻(xiàn)：

[1] BRAY F，F(xiàn)ERLAY J， SOERJOMATARAM I， et al. Global Cancer Statistics 2018：GLOBOCAN Estimates of Incidence and Mortality Worldwide for 36 Cancers in 185 Countries[J].CA：a Cancer Journal for Clinicians，2018， 68（6）：394.

[2] CHEN W， ZHENG R， BAADE P D， et al. Cancer Statistics in China， 2015[J].CA：a Cancer Journal for Clinicians，2016， 66（2）：115.

[3] 李蘭英，孔銀，陳德運(yùn).一種新的卷積神經(jīng)網(wǎng)絡(luò)的ECT圖像重建算法[J].哈爾濱理工大學(xué)學(xué)報(bào)，2017，22（4）：28.

LI Lanying，KONG Yin，CHEN Deyun. A New ECT Image R Econstruction Algorithm Based on Convolutional Neural Network[J]. Journal Of Harbin University of Science and Technology，2017，22（4）：28.

[4] BENGIO Y. Learning Deep Architectures for AI[J]. Foundations and Trends in Machine Learning，2009， 2（1）：1.

[5] 周飛燕，金林鵬，董軍.卷積神經(jīng)網(wǎng)絡(luò)研究綜述[J].計(jì)算機(jī)學(xué)報(bào)，2017，40（6）：1229.

ZHOU F Y， JIN L P， DONG J. Review of convolutional neural network [J]. Chinese Journal of Computers. 2017， 40（6）：1229.

[6] LONG J， SHELHAMER E， DARRELL T. Fully Convolutional Networks for Semantic Segmentation[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，2015：3431.

[7] KRIZHEVSKY A， SUTSKEVER I， HINTON G E. Imagenet Classification with Deep Convolutional Neural Networks[C]//Advances in Neural Information Processing Systems，2012：1097.

[8] UNAR S， WANG X， ZHANG C. Visual and Textual Information Fusion Using Kernel Method for Content Based Image Retrieval[J]. Information Fusion，2018，44：176.

[9] UNAR S， WANG X， WANG C， et al. A Decisive Content Based Image Retrieval Approach for Feature Fusion in Visual and Textual Images[J]. Knowledge-Based Systems，2019，179：8.

[10] MESSAY T， HARDIE R C， ROGERS S K. A New Computationally Efficient CAD System for Pulmonary Nodule Detection in CT Imagery[J]. Medical image analysis，2010，14（3）：390.

[11] JACOBS C， van RIKXOORT E M， TWELLMANN T，et al. Automatic Detection of Subsolid Pulmonary Nodules in Thoracic Computed Tomography Images[J]. Medical Image Analysis， 2014， 18（2）：374.

[12] SHEN W， ZHOU M， YANG F， et al. Multi-crop Convolutional Neural Networks for Lung Nodule Malignancy Suspiciousness Classification[J].Pattern Recognition，2017，61：663.

[13] SUN W， ZHENG B， QIAN W. Automatic Feature Learning Using Multichannel ROI Based on Deep Structured Algorithms for Computerized Lung Cancer Diagnosis[J]. Computers in Biology and Medicine， 2017， 89：530.

[14] SETIO A A A， CIOMPI F， LITJENS G，et al. Pulmonary Nodule Detection in CT Images：False Positive Reduction Using Multi-view Convolutional Networks[J]. IEEE Transactions on Medical Imaging，2016， 35（5）：1160.

[15] LI C， ZHU G， WU X， et al. False-positive Reduction on Lung Nodules Detection in Chest Radiographs by Ensemble of Convolutional Neural Networks[J]. IEEE Access， 2018， 6：16060.

[16] ZHOU Z， SIDDIQUEE M M R， TAJBAKHSH N， et al. Unet++：A Nested U-net Architecture for Medical Image Segmentation[M]//Deep Learning in Medical Image Analysis and Multimodal Learning for Clinical Decision Support. Springer， Cham， 2018：3.

[17] 劉露，楊培亮，孫巍巍，等.深度置信網(wǎng)絡(luò)對(duì)孤立性肺結(jié)節(jié)良惡性的分類[J].哈爾濱理工大學(xué)學(xué)報(bào)，2018，23（3）：9.

LIU Lu，YANG PeiIiang，SUN Reiuwei，et al. DBN Classifier for Classification of Benign and Malignant Solitary Pulmonary Nodule[J]. Journal Of Harbin University of Science and Technology，2018，23（3）：9.

[18] XIE Y， ZHANG J， XIA Y， et al. Fusing Texture， Shape and Deep Model-learned Information at Decision Level for Automated Classification of Lung Nodules on Chest CT[J]. Information Fusion， 2018，42：102.

[19] GU Y， LU X， YANG L， et al. Automatic Lung Nodule Detection Using a 3D Deep Convolutional Neural Network Combined with A Multi-scale Prediction Strategy in Chest CTs[J]. Computers in Biology and Medicine， 2018，103：220.

[20] JACOBS C， van RIKXOORT E M， MURPHY K， et al. Computer-aided Detection of Pulmonary Nodules：A Comparative Study Using the Public LIDC/IDRI Database[J]. European Radiology， 2016， 26（7）：2139.

[21] SIMONYAN K， ZISSERMAN A. Very Deep Convolutional Networks for Large-scale Image Recognition[J]. arXiv Preprint arXiv：1409.1556， 2014.

[22] GONG Y， WANG L， GUO R， et al. Multi-scale Orderless Pooling of Deep Convolutional Activation Features[C]//European Conference on Computer Vision. Springer， Cham， 2014：392.

[23] XU B， WANG N， CHEN T， et al. Empirical Evaluation of Rectified Activations in Convolutional Network[J]. arXiv Preprint arXiv：1505.00853， 2015.

[24] HINTON G E， SRIVASTAVA N， KRIZHEVSKY A， et al. Improving Neural Networks by Preventing Co-adaptation of Feature Detectors[J]. arXiv Preprint arXiv：1207.0580， 2012.

[25] VEDALDI A， LENC K. Matconvnet：Convolutional Neural Networks for Matlab[C]//Proceedings of the 23rd ACM International Conference on Multimedia.ACM， 2015：689.

（編輯：溫澤宇）