基于CNN多層面二階特征融合的肺結(jié)節(jié)分類*

李 維，趙曉樂(lè)，段彥隆，劉利軍，黃青松,2+

1.昆明理工大學(xué)信息工程與自動(dòng)化學(xué)院，昆明 650500

2.云南省計(jì)算機(jī)技術(shù)應(yīng)用重點(diǎn)實(shí)驗(yàn)室，昆明 650500

1 引言

肺癌是目前所有惡性腫瘤中發(fā)病率和死亡率最高的癌癥之一，據(jù)國(guó)家癌癥中心2018年的公布結(jié)果顯示，由于吸煙、被動(dòng)吸煙以及空氣污染等因素，肺癌在我國(guó)的發(fā)病率最高。由于肺癌早期無(wú)明顯癥狀，大多以肺結(jié)節(jié)形式存在，導(dǎo)致肺癌臨床確診時(shí)往往已處于中晚期，若能早期發(fā)現(xiàn)肺結(jié)節(jié)將會(huì)提高肺癌患者五年的生存率，因此肺結(jié)節(jié)的早期篩查對(duì)診斷、治療肺癌起著重要的作用[1-2]。隨著低劑量薄層CT、64排螺旋CT等技術(shù)在醫(yī)院的普及與應(yīng)用，肺部CT切片增多，肺結(jié)節(jié)檢出量增多，導(dǎo)致醫(yī)生工作量增大，漏檢率增高。因此，如何降低醫(yī)生閱片量，減少漏檢率，在肺結(jié)節(jié)的檢測(cè)和診斷中具有重要意義[3]。由于肺中可能伴隨其他異常且肺結(jié)節(jié)在肺內(nèi)表現(xiàn)復(fù)雜，傳統(tǒng)方法對(duì)肺結(jié)節(jié)的檢測(cè)與診斷具有一定的難度[4]。近年來(lái)隨著人工智能等前沿技術(shù)在醫(yī)療領(lǐng)域的應(yīng)用，已有越來(lái)越多的研究者將深度學(xué)習(xí)等方法用在肺結(jié)節(jié)的早期診斷中。由于通過(guò)深層卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network，CNN）可以端到端地提取出圖像的細(xì)粒度特征和更高層抽象語(yǔ)義信息[5]，且能提取出有效的醫(yī)學(xué)圖像特征信息[6]，減少了肺實(shí)質(zhì)分割和手工設(shè)計(jì)特征帶來(lái)的誤差，目前在醫(yī)學(xué)圖像檢測(cè)分析方面已經(jīng)取得了一定成果[7-9]。肺結(jié)節(jié)以三維立體形式存在，傳統(tǒng)的肺結(jié)節(jié)特征提取方法往往是基于單層肺結(jié)節(jié)切片進(jìn)行的，盡管肺結(jié)節(jié)切片間隔在毫米量級(jí)，但是對(duì)于長(zhǎng)徑通常不超過(guò)30 mm的肺結(jié)節(jié)而言，相鄰切片在細(xì)粒度上依然存在一定差異。本文針對(duì)傳統(tǒng)方法檢測(cè)肺結(jié)節(jié)精準(zhǔn)度不高，難以提取準(zhǔn)確的肺結(jié)節(jié)特征信息等問(wèn)題，提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)多層面二階特征融合模型（multilevel second-order feature fusion model based on convolutional neural network，CMSFF），對(duì)肺結(jié)節(jié)進(jìn)行特征學(xué)習(xí)。該方法通過(guò)改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)構(gòu)建CMSFF模型，對(duì)多個(gè)層面的肺結(jié)節(jié)進(jìn)行特征提取，通過(guò)兩個(gè)階段進(jìn)行特征融合，實(shí)現(xiàn)肺部CT圖像的粗粒度特征學(xué)習(xí)和肺結(jié)節(jié)的細(xì)粒度特征學(xué)習(xí)。實(shí)驗(yàn)結(jié)果表明，該方法能夠提取出更精確和完善的肺結(jié)節(jié)特征表達(dá)，提高了肺結(jié)節(jié)惡性程度分類準(zhǔn)確率。

2 相關(guān)工作

通常對(duì)肺部結(jié)節(jié)的計(jì)算機(jī)輔助檢測(cè)（computer aided detection，CAD）技術(shù)流程包括：圖像預(yù)處理、肺實(shí)質(zhì)分割、候選肺結(jié)節(jié)提取、假陽(yáng)性結(jié)節(jié)去除、結(jié)節(jié)檢測(cè)性能分析[10]。由于大多數(shù)假陽(yáng)性結(jié)節(jié)是由血管區(qū)域引起的，經(jīng)典的3D線性濾波器移除肺部區(qū)域血管[11]的方法不能很好地濾除噪音的干擾，因此Liu等[1]采用基于幾何和統(tǒng)計(jì)特征結(jié)合的方法初始候選結(jié)節(jié)，大大降低了假陽(yáng)性結(jié)節(jié)率。早期對(duì)肺結(jié)節(jié)惡性程度的診斷主要通過(guò)設(shè)置閾值，并觀察結(jié)節(jié)不同時(shí)間結(jié)節(jié)體積的變化，最后通過(guò)一種標(biāo)準(zhǔn)公式來(lái)評(píng)估出結(jié)節(jié)增長(zhǎng)率的方式進(jìn)行診斷[12-14]，然而這些方法對(duì)患者歷史診斷數(shù)據(jù)依賴性強(qiáng)，因此難以實(shí)際應(yīng)用。除了針對(duì)肺結(jié)節(jié)形狀、體積等特征之外，也有研究者針對(duì)結(jié)節(jié)的細(xì)粒度特征進(jìn)行研究，如Way等[15]對(duì)結(jié)節(jié)的光滑度、分葉征和毛刺征等特點(diǎn)進(jìn)行良惡性診斷。Orozco等[16]利用有監(jiān)督的二分類支持向量機(jī)（support vector machine，SVM）算法，通過(guò)對(duì)CT圖像進(jìn)行兩次小波計(jì)算并選擇特征作為SVM的輸入，實(shí)現(xiàn)對(duì)肺結(jié)節(jié)的檢測(cè)，而Firmino等[17]使用分水嶺和定向梯度直方圖（histogram of oriented gradients，HOG）技術(shù)來(lái)分離結(jié)節(jié)與其周圍結(jié)構(gòu)來(lái)提取肺結(jié)節(jié)的特征信息，最終得到了較好的分類結(jié)果。盡管肺結(jié)節(jié)的基本形狀特征可以用來(lái)作為診斷其良惡性的重要依據(jù)[10]，然而由于肺結(jié)節(jié)特征復(fù)雜且表現(xiàn)各異，只關(guān)注形狀等基礎(chǔ)視覺(jué)特征差異則會(huì)丟失許多細(xì)粒度信息。

隨著深度學(xué)習(xí)方法的發(fā)展與應(yīng)用，目前已有研究人員利用深度學(xué)習(xí)強(qiáng)大的特征學(xué)習(xí)和特征表達(dá)能力，對(duì)肺部CT圖像進(jìn)行研究。如Ciompi等[18]采用OverFeat的預(yù)訓(xùn)練CNN的輸出來(lái)描述2D視圖的肺結(jié)節(jié)，最終AUC（area under curve）達(dá)到了0.868。Yang等[19]采用雙通道模型的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行肺結(jié)節(jié)分類，AUC值為0.821 6。Pinheiro等[20]采用集群智能訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)模型對(duì)肺結(jié)節(jié)進(jìn)行檢測(cè)和分類，與常規(guī)的反向傳播訓(xùn)練模型相比，該模型在結(jié)節(jié)分類中實(shí)現(xiàn)了更高的性能。Setio等[8]設(shè)計(jì)并構(gòu)建一個(gè)多視圖架構(gòu)，融合兩次的特征信息來(lái)抑制假陽(yáng)性結(jié)節(jié)，從而達(dá)到了不錯(cuò)的效果。Zhang等[21]利用殘差網(wǎng)絡(luò)融合多尺度的肺結(jié)節(jié)特征進(jìn)行分類，達(dá)到了0.901的AUC值。有監(jiān)督的深度學(xué)習(xí)方法可以直接通過(guò)不斷訓(xùn)練模型的特征學(xué)習(xí)能力，來(lái)自動(dòng)識(shí)別與過(guò)濾掉圖像中的噪聲干擾部分，從而提高了肺結(jié)節(jié)檢測(cè)的準(zhǔn)確度，同時(shí)減少了傳統(tǒng)方法中對(duì)數(shù)據(jù)預(yù)處理的繁瑣工作。然而胸部CT圖像中的肺結(jié)節(jié)周圍環(huán)境過(guò)于復(fù)雜，以及肺結(jié)節(jié)形態(tài)的多樣性導(dǎo)致現(xiàn)有方法提取到的肺結(jié)節(jié)特征信息仍然存在一定的噪音干擾。盡管3D線性濾波器[11]可以將肺結(jié)節(jié)周圍的支氣管精確地移除掉，但是無(wú)法準(zhǔn)確地移除肺結(jié)節(jié)周圍的毛細(xì)血管、組織器官等干擾因素。

針對(duì)傳統(tǒng)方法提取的特征具有局限性，不能靈活地泛化，以及現(xiàn)有深度學(xué)習(xí)方法不能很好地避免噪音的干擾等問(wèn)題[22-23]，本文提出采用深度神經(jīng)網(wǎng)絡(luò)對(duì)多層面的肺結(jié)節(jié)進(jìn)行特征提取，不僅可以通過(guò)淺層神經(jīng)網(wǎng)絡(luò)提取肺結(jié)節(jié)底層的幾何形狀、灰度特征、紋理等特征信息，還能通過(guò)深層的網(wǎng)絡(luò)提取出高層的抽象語(yǔ)義信息。

3 CNN多層面二階特征融合模型

肺部CT切片間隔通常在1～3 mm之間[24]，因此相鄰結(jié)節(jié)切片位置形狀變化不大，但相鄰切片上結(jié)節(jié)周圍的血管等組織器官變化較大（比如同一個(gè)結(jié)節(jié)的連續(xù)相鄰切片，結(jié)節(jié)周圍的同一位置會(huì)出現(xiàn)有血管和無(wú)血管的情況，如圖1所示）。本文對(duì)于肺部CT圖像中肺結(jié)節(jié)細(xì)粒度的研究，提出采用基于卷積神經(jīng)網(wǎng)絡(luò)多層面二階特征融合模型（CMSFF），目的是提取出肺結(jié)節(jié)全面、準(zhǔn)確的特征信息，提高肺結(jié)節(jié)惡性程度分類準(zhǔn)確率。特征提取模型的總體框架如圖2所示，分為特征提取子模塊M1和特征融合子模塊M2。子模塊M1中共有3個(gè)并行的卷積操作，每個(gè)卷積操作分為5個(gè)層，其中除第一層conv1外，剩余4層均由不同數(shù)量的子層構(gòu)成。子模塊M2中則是多層面ROI圖像塊的特征融合過(guò)程。特征融合分為不同層級(jí)的特征融合[25]與相同尺度的特征融合兩個(gè)階段。模型的輸入是同一個(gè)肺結(jié)節(jié)的連續(xù)3張不同ROI（region of interest）圖像塊，輸出是肺結(jié)節(jié)的特征向量F。在模型最后的輸出F，添加兩層全連接層，進(jìn)行分類，最終輸出肺結(jié)節(jié)的惡性程度評(píng)估結(jié)果。

Fig.1 Comparison of surrounding environment of different sections of the same nodule圖1 同一結(jié)節(jié)不同切片周圍環(huán)境對(duì)比

Fig.2 General framework of pulmonary nodule feature extraction based on CMSFF圖2 基于CMSFF肺結(jié)節(jié)特征提取總體框架

3.1 CNN多層面特征提取子模塊

醫(yī)學(xué)圖像中病灶區(qū)域較小，通常與人體組織器官之間具有較高的相似性，相比自然圖像，醫(yī)學(xué)圖像往往更關(guān)注細(xì)粒度層面的特征信息。然而傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)的特征信息在卷積層和全連接層進(jìn)行傳遞時(shí)，存在信息的丟失與損耗。為了減少特征提取過(guò)程中信息的丟失與損耗，保留更完整的特征信息，本文在子模塊M1中引入由He等[26]提出的殘差網(wǎng)絡(luò)ResNet50的網(wǎng)絡(luò)模型。該網(wǎng)絡(luò)模型可以通過(guò)殘差映射函數(shù)更高效地學(xué)習(xí)前一層輸入輸出的差異部分，在網(wǎng)絡(luò)收斂到一定程度時(shí)，輸入信息可以跳過(guò)部分層次的網(wǎng)絡(luò)，然后與經(jīng)過(guò)卷積后的輸出相加，達(dá)到充分訓(xùn)練底層網(wǎng)絡(luò)的效果，解決了網(wǎng)絡(luò)退化問(wèn)題和梯度消失問(wèn)題，保護(hù)了信息的完整性，同時(shí)網(wǎng)絡(luò)只需要學(xué)習(xí)輸入、輸出差別的那一部分，簡(jiǎn)化了學(xué)習(xí)目標(biāo)和特征提取的復(fù)雜度。

基于卷積神經(jīng)網(wǎng)絡(luò)的多層面特征提取子模塊M1是整個(gè)肺結(jié)節(jié)特征提取模型的基礎(chǔ)，通過(guò)該模塊對(duì)多層面的肺結(jié)節(jié)進(jìn)行初步特征提取，可同時(shí)得到同一個(gè)肺結(jié)節(jié)不同切片的特征表達(dá)。其中子模塊M1由3個(gè)并行的神經(jīng)網(wǎng)絡(luò)構(gòu)成，網(wǎng)絡(luò)部分均采用ResNet50的前49層。前49層激活函數(shù)全部使用ReLU[27]。

本文的特征提取子模塊M1采用ResNet50進(jìn)行圖像的卷積操作，M1接收一個(gè)三元組的ROI圖像塊輸入和肺結(jié)節(jié)惡性程度標(biāo)簽。每一層圖像卷積得到的輸出分別標(biāo)記為其中*表示所抽取的切片編號(hào){1,2,3}，如圖3（a）上半部分所示。由于第一層卷積conv1得到的輸出過(guò)大，在模型訓(xùn)練時(shí)會(huì)嚴(yán)重影響訓(xùn)練速度。其次，這一層得到的低層語(yǔ)義信息相比存在較大差距，對(duì)模型訓(xùn)練效果影響不大，因此在接下來(lái)的特征融合計(jì)算中舍棄對(duì)的直接使用。通過(guò)對(duì)3張圖像塊的特征提取，分別得到4層對(duì)應(yīng)的特征表達(dá)，由于每一層都處于網(wǎng)絡(luò)的不同深度，因此每一層的輸出都包含了不同的語(yǔ)義信息。其中s*_f5是頂層卷積得到的特征信息，相比低層特征s*_f2，其含有的語(yǔ)義信息更抽象，更能表達(dá)肺結(jié)節(jié)的細(xì)粒度特征。

3.2 CNN多層面特征融合子模塊

Fig.3 Feature extraction and fusion of pulmonary nodules圖3 肺結(jié)節(jié)的特征提取與融合

盡管通過(guò)M1模塊已經(jīng)得到了肺結(jié)節(jié)圖像塊的頂層特征s*_f5，并且得到的頂層特征包含的語(yǔ)義比較豐富，但是頂層特征包含的ROI輪廓、灰度等信息通常卻較為粗略。而在包含語(yǔ)義信息相對(duì)較少的低層特征中所包含的ROI輪廓、灰度等信息較為精確[25]。針對(duì)肺結(jié)節(jié)的特征提取，抽象的高層語(yǔ)義信息固然重要，但是并不能忽略肺結(jié)節(jié)的輪廓、灰度等特征的變化。因此加入低層的特征信息進(jìn)行多層級(jí)特征融合，保留更完整的特征信息，使提取到的語(yǔ)義信息更具魯棒性。一個(gè)三維肺結(jié)節(jié)的不同切面，其攜帶的特征信息有一定的差異，因此從3D的視角進(jìn)行特征的提取，將3個(gè)層面的圖片特征進(jìn)行融合，這也符合放射科醫(yī)生臨床診斷流程。

本文所提出的二階特征的融合分為兩個(gè)步驟。首先利用M1子模塊中提取的同一張圖片4個(gè)不同層級(jí)特征信息進(jìn)行融合，然后將最終得到的3張圖片特征信息進(jìn)行二次融合。

第一步：在特征融合時(shí)，首先將conv5x層的輸出s*_f5用f[6]=1的卷積核進(jìn)行卷積，輸出為s*_f6；然后將s*_f4進(jìn)行f[7]=1的卷積，并將s*_f6進(jìn)行上采樣Upsample，目的是使得到的向量的維度與s*_f4維度相同，最后將兩者進(jìn)行融合，融合方式通過(guò)加法合并，得到s*_f7，如圖3（b）、圖3（c）所示。s*_f3層執(zhí)行同樣的操作得到s*_f8，對(duì)于s*_f2層，執(zhí)行上述操作之后并進(jìn)行s=2的最大池化操作，得到s*_f9，其中convLm2(Lm2={6,7,8,9})均為卷積核的卷積操作。于是由淺及深地得到融合后的特征信息s*_f9，該層包含了圖像中所關(guān)注目標(biāo)的輪廓、灰度等特征信息，以及更抽象的高層語(yǔ)義信息，提取得到的肺結(jié)節(jié)的特征表達(dá)更加完善與準(zhǔn)確。

第二步：將第一步融合后的特征s*_f9分別經(jīng)過(guò)f[10]=1的卷積核進(jìn)行卷積，得到特征s*_f10；此時(shí)的3個(gè)特征s*_f10具有相同的尺度，即高h(yuǎn)、寬w和通道數(shù)c均相同：h1=h2=h3,w1=w2=w3,c1=c2=c3。因此將3個(gè)向量在通道方向進(jìn)行合并，得到一個(gè)維度為h1×w1×3c1的特征向量F。

至此特征的提取與融合部分完成。將向量F經(jīng)過(guò)全局平均池化層和全連接層展開(kāi)，最終通過(guò)Softmax函數(shù)得到肺結(jié)節(jié)惡性程度的評(píng)估結(jié)果。其中CMSFF模型的網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示。

3.3 CMSFF模型目標(biāo)函數(shù)

在用神經(jīng)網(wǎng)絡(luò)訓(xùn)練模型時(shí)，需要設(shè)計(jì)一個(gè)合適的目標(biāo)函數(shù)才能提高準(zhǔn)確率和所訓(xùn)練模型的魯棒性。本節(jié)所提出的CMSFF模型是基于殘差網(wǎng)絡(luò)而設(shè)計(jì)，目標(biāo)函數(shù)采用交叉熵函數(shù)。本節(jié)通過(guò)所提出模型對(duì)CT圖像中的肺結(jié)節(jié)進(jìn)行特征提取，最終實(shí)現(xiàn)肺結(jié)節(jié)的惡性程度評(píng)估，交叉熵函數(shù)可用于分類問(wèn)題中，能得到線性的梯度，有效地防止梯度的消失。殘差網(wǎng)絡(luò)的第l子層特征可以表示為該層之前的所有殘差函數(shù)輸出以及第一層的特征表達(dá)的總和，因此定義殘差網(wǎng)絡(luò)中第l子層的特征表達(dá)xl為：

其中，Wj表示第j個(gè)子層的權(quán)重參數(shù)，l∈(0,50)，此處為了表達(dá)方便省去了偏置項(xiàng)bj。則第i個(gè)樣本在殘差網(wǎng)絡(luò)中每個(gè)層L的特征表達(dá)如下：

其中，*表示輸入樣本的3個(gè)ROI圖像塊s1、s2、s3，Lm1表示模塊M1的層，并且Lm1∈{1,2,3,4,5}。另用Lm2表示模塊M2的層，Lm2={6,7,8,9,10}。于是模塊中涉及到的1×1的卷積操作convLm2表示如下：

其中，k∈{6,7,8}，upsample2D(·)表示執(zhí)行2D上采樣操作，且k的值為8時(shí)，對(duì)融合后的特征進(jìn)行最大池化處理。將Lm2=10代入式（3）中，得到第10層的特征表達(dá)，對(duì)得到的3個(gè)特征表達(dá)進(jìn)行融合：

Fig.4 Network structure diagram of CMSFF model圖4 CMSFF模型網(wǎng)絡(luò)結(jié)構(gòu)圖

其中，sθ(·)表示Softmax函數(shù)，θ為模型的參數(shù)，將模型輸出φi代入其中，于是得到最終的目標(biāo)函數(shù)為：

其中，式（7）的最后一項(xiàng)為L(zhǎng)2正則化項(xiàng)，λ為正則化參數(shù)，w為模型中的所有權(quán)值。通過(guò)最小化該目標(biāo)函數(shù)，對(duì)網(wǎng)絡(luò)參數(shù)進(jìn)行迭代更新來(lái)訓(xùn)練出一個(gè)肺結(jié)節(jié)惡性程度評(píng)估的CMSFF模型。

算法1肺結(jié)節(jié)惡性程度評(píng)估算法

輸出：惡性程度評(píng)估結(jié)果P。

4 實(shí)驗(yàn)結(jié)果與分析

4.1 實(shí)驗(yàn)數(shù)據(jù)的準(zhǔn)備與處理

本文研究?jī)?nèi)容所采用的數(shù)據(jù)集來(lái)自肺部影像數(shù)據(jù)庫(kù)（LIDC-IDRI）和SPIE等[28]提供的肺結(jié)節(jié)分類挑戰(zhàn)賽數(shù)據(jù)集（SPIE-AAPM-LungX）。

從圖5可以看出，胃蛋白酶在2 h酶解產(chǎn)物的降血糖功能達(dá)到最高水平，抑制率達(dá)到41.3%，隨后保持穩(wěn)定；中性蛋白酶酶解產(chǎn)物的降血糖功能隨時(shí)間變化波動(dòng)較大，在3 h達(dá)到最高。三種酶中胃蛋白酶酶解產(chǎn)物降血糖功能顯著高于其他兩種酶，而中性酶和堿性酶產(chǎn)物降血糖功能沒(méi)有顯著差異。這一實(shí)驗(yàn)結(jié)果與酶解鰱魚蛋白的降血糖功能研究結(jié)果稍有不同，其結(jié)果為中性蛋白酶解產(chǎn)物降血糖功能最強(qiáng)[18]，這一差異可能與實(shí)驗(yàn)原料的氨基酸組成有關(guān)。

LIDC-IDRI數(shù)據(jù)集中共包含1 010例患者的所有肺部CT掃描成像結(jié)果，每一個(gè)病例文件中包含了以DICOM標(biāo)準(zhǔn)格式存儲(chǔ)的臨床CT掃描文件，同時(shí)用一個(gè)可擴(kuò)展的標(biāo)記性語(yǔ)言（XML）文件記錄每一個(gè)病例文件中的結(jié)節(jié)信息，包括患者的所有長(zhǎng)徑大于3 mm的結(jié)節(jié)位置信息和病理描述信息評(píng)價(jià)級(jí)別。預(yù)處理得到的結(jié)節(jié)信息如表1所示。

Table 1 LIDC-IDRI data preprocessing information表1 LIDC-IDRI數(shù)據(jù)預(yù)處理信息

肺結(jié)節(jié)在一張切片上被定義為長(zhǎng)徑在3～30 mm內(nèi)的類圓形病灶區(qū)域，因此一個(gè)3維結(jié)構(gòu)的肺結(jié)節(jié)可通過(guò)連續(xù)多張切片表示出來(lái)[24]。由于結(jié)節(jié)大小尺寸不固定，同時(shí)為了減少切割出的ROI區(qū)域攜帶的噪音，本文在對(duì)實(shí)驗(yàn)數(shù)據(jù)中肺結(jié)節(jié)的預(yù)處理時(shí)，切割出不同尺寸的ROI。具體方法是根據(jù)DICOM文件生成JPG圖像的DPI（dots per inch）值（DPI=96），計(jì)算得到肺結(jié)節(jié)在JPG圖像上的像素區(qū)間為（11，114），本文根據(jù)該尺寸在數(shù)據(jù)預(yù)處理時(shí)切割出能完全覆蓋肺結(jié)節(jié)區(qū)域的最小矩形，且取矩形的邊長(zhǎng)為R∈{16×16,32×32,64×64,128×128}。經(jīng)過(guò)對(duì)肺結(jié)節(jié)的預(yù)處理，得到每個(gè)結(jié)節(jié)連續(xù)m個(gè)ROI圖像塊（如圖5所示），同時(shí)保留結(jié)節(jié)長(zhǎng)徑最大的圖像塊所對(duì)應(yīng)的原始CT圖像。統(tǒng)計(jì)實(shí)驗(yàn)數(shù)據(jù)集中肺結(jié)節(jié)長(zhǎng)徑大于3 mm的同一結(jié)節(jié)中連續(xù)m張ROI圖像塊，得到的m取值分布如圖6所示。因此本文在實(shí)驗(yàn)中取m=4。由于m取1的情況下結(jié)節(jié)數(shù)量過(guò)少，因此實(shí)驗(yàn)中直接舍棄；對(duì)于m取2和3的情況，通過(guò)復(fù)制原圖來(lái)達(dá)到m=4；對(duì)于m＞4的情況，則直接選用結(jié)節(jié)長(zhǎng)徑最大的4張。

Fig.5 Cutting samples of different pulmonary nodules圖5 不同肺結(jié)節(jié)的切割樣例

Fig.6 Number of nodules corresponding to different m values圖6 不同m值對(duì)應(yīng)的結(jié)節(jié)數(shù)量

實(shí)驗(yàn)中采用的標(biāo)簽數(shù)據(jù)由4名專家分別標(biāo)注完成，因此對(duì)同一個(gè)結(jié)節(jié)的標(biāo)注信息，最多存在4種結(jié)論。本文參考LUNA16數(shù)據(jù)集的構(gòu)建方法，將肺結(jié)節(jié)惡性程度按等級(jí)劃分為3類：1、2為一類m1，3為一類m2，4、5為一類m3。重新統(tǒng)計(jì)肺結(jié)節(jié)：排除4名專家標(biāo)注了2種數(shù)量均等的標(biāo)簽信息，如表2所示，肺結(jié)節(jié)數(shù)量為2 333。于是得到肺結(jié)節(jié)惡性程度數(shù)據(jù)如表3所示。由于3種類別的惡性程度分布不均衡，在輸入樣本數(shù)據(jù)進(jìn)行訓(xùn)練時(shí)，對(duì)m1～m3采用過(guò)采樣，m1、m2、m3的過(guò)采樣權(quán)重分別為1.10、1.00、1.35。

Table 2 Distribution of malignant degree labeling among 4 experts表2 4名專家惡性程度標(biāo)注情況分布

Table 3 Distribution table of malignant degree表3 惡性程度分布表

SPIE-AAPM-LungX數(shù)據(jù)集信息如表4所示，共包含22 489張圖片，70例肺CT影像，共83個(gè)候選結(jié)節(jié)（其中13例包括2個(gè)結(jié)節(jié)），42個(gè)良性結(jié)節(jié)，41個(gè)惡性結(jié)節(jié)。每個(gè)病例包含了以DICOM標(biāo)準(zhǔn)格式存儲(chǔ)的CT掃描文件。在相關(guān)的Excel文件中，包含每個(gè)結(jié)節(jié)的病例名稱，結(jié)節(jié)質(zhì)心的坐標(biāo)和結(jié)節(jié)良、惡性二類標(biāo)簽信息。

Table 4 SPIE-AAPM-LungX data information表4 SPIE-AAPM-LungX數(shù)據(jù)信息

4.2 實(shí)驗(yàn)設(shè)計(jì)

本文的實(shí)驗(yàn)環(huán)境如下：CPU Intel?Xeon?Silver 4110 CPU 2.10 GHz*2；GPU NVIDIA TITAN XP；內(nèi)存64 GB；操作系統(tǒng)Ubuntu Server 16.04 64-bit；編程語(yǔ)言python 3.6。

本文在模型的輸出后面，添加兩層全連接層，將輸入的肺結(jié)節(jié)進(jìn)行惡性程度評(píng)估，以肺結(jié)節(jié)的惡性程度等級(jí)作為模型的輸出，并作為實(shí)驗(yàn)的最終評(píng)價(jià)結(jié)果。采用真陽(yáng)性率TPR（靈敏度）、假陽(yáng)性率FPR以及TNR（特異度）、Precision（精確度）、F1值（F1 measure）[16]進(jìn)行評(píng)價(jià)。用ROC曲線與橫軸和縱軸所圍成圖像的面積AUC作為肺結(jié)節(jié)良惡性分類的評(píng)價(jià)指標(biāo)。其中縱軸真陽(yáng)性率TPR（靈敏度）、橫軸假陽(yáng)性率FPR以及特異度TNR計(jì)算定義如下：

AUC、Precision、F1值的計(jì)算公式如下：

其中，TP表示真陽(yáng)性數(shù)量，F(xiàn)P表示假陰性數(shù)量，F(xiàn)N表示假陽(yáng)性數(shù)量，TN表示真陰性數(shù)量，x、y分別是ROC曲線的坐標(biāo)點(diǎn)FPR和TPR，m是坐標(biāo)點(diǎn)的數(shù)量。

4.2.1 CMSFF模型的參數(shù)選擇

本文實(shí)驗(yàn)，首先需要從原始胸部CT圖像中抽取一個(gè)肺結(jié)節(jié)所包含的3張長(zhǎng)徑最大的切片，并根據(jù)標(biāo)注的肺結(jié)節(jié)位置信息進(jìn)行切割，得到3張ROI圖像塊。將得到的圖像塊輸入肺結(jié)節(jié)特征提取模型中提取特征信息，進(jìn)行惡性程度的評(píng)估。在實(shí)驗(yàn)過(guò)程中模型的主要參數(shù)設(shè)定如表5所示。

Table 5 Setting of experimental parameters表5 實(shí)驗(yàn)參數(shù)設(shè)定

4.2.2 肺結(jié)節(jié)惡性程度分類對(duì)比實(shí)驗(yàn)

本文實(shí)驗(yàn)通過(guò)對(duì)胸部CT圖像進(jìn)行特征提取，訓(xùn)練出CMSFF模型，實(shí)現(xiàn)肺結(jié)節(jié)的惡性程度評(píng)估，實(shí)驗(yàn)流程如圖7所示。

Fig.7 Experimental procedure for evaluating malignant degree of pulmonary nodules圖7 肺結(jié)節(jié)惡性程度評(píng)估實(shí)驗(yàn)流程

本文對(duì)傳統(tǒng)方法、現(xiàn)有基于神經(jīng)網(wǎng)絡(luò)方法以及本文所提方法進(jìn)行肺結(jié)節(jié)病理信息預(yù)測(cè)對(duì)比實(shí)驗(yàn)。為了得到可靠穩(wěn)定的模型，實(shí)驗(yàn)使用6折交叉驗(yàn)證法，將整個(gè)樣本集劃分為6組，保留1組作為測(cè)試集，另5組作為訓(xùn)練集輸入模型，每個(gè)分類器訓(xùn)練和測(cè)試6次。取6組實(shí)驗(yàn)的平均值作為實(shí)驗(yàn)最終結(jié)果。實(shí)驗(yàn)中對(duì)Firmino等[17]、Francesco等[18]和Zhang[21]的方法在LIDC-IDRI上進(jìn)行對(duì)比。實(shí)驗(yàn)結(jié)果如表6所示，本文方法的精確度為91.27%，靈敏度為89.48%，F(xiàn)1值為90.37%，精確度和靈敏度以及F1值均高于其他方法。由特異度值95.93%可知，實(shí)驗(yàn)分類結(jié)果的假陽(yáng)性率保持在較小比例。

Table 6 Comparative results of different methods and models in LIDC-IDRI表6 LIDC-IDRI數(shù)據(jù)集不同方法模型對(duì)比結(jié)果

為進(jìn)一步驗(yàn)證本文方法的魯棒性，在SPIEAAPM-LungX數(shù)據(jù)集上進(jìn)行了一組對(duì)比實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如表7所示。本文方法的精確度為91.09%，靈敏度為88.98%，特異度為92.74%，F(xiàn)1值為90.02%，精確度、靈敏度、特異度以及F1值同樣均高于其他方法，證明本文方法具有很強(qiáng)的魯棒性。

Table 7 Comparative results of different methods and models in SPIE-AAPM-LungX表7 SPIE-AAPM-LungX數(shù)據(jù)集不同方法模型對(duì)比結(jié)果

4種方法在LIDC數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果ROC曲線圖如圖8，在SPIE-AAPM-LungX數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果ROC曲線如圖9所示。在LIDC數(shù)據(jù)集和SPIEAAPM-LungX數(shù)據(jù)集上，CMSFF模型的AUC值分別為0.924和0.919，均高于其他幾種方法。從圖中可以直觀地看出，代表本文提出模型的實(shí)線均位于其他模型ROC曲線的左上方，可以看出本文方法對(duì)肺結(jié)節(jié)良惡性分類的性能優(yōu)于其他模型。實(shí)驗(yàn)結(jié)果表明，CMSFF模型不僅通過(guò)淺層神經(jīng)網(wǎng)絡(luò)提取ROI圖像塊中肺結(jié)節(jié)底層的形狀、灰度特征、紋理等特征信息，還通過(guò)深層的網(wǎng)絡(luò)提取出高層的抽象語(yǔ)義信息。此外，特征的提取采用有監(jiān)督的神經(jīng)網(wǎng)絡(luò)所訓(xùn)練出來(lái)的模型，模型經(jīng)過(guò)樣本數(shù)據(jù)進(jìn)行參數(shù)的調(diào)整。對(duì)于全面、準(zhǔn)確的肺結(jié)節(jié)特征信息具有較高的提取能力，進(jìn)而提高了肺結(jié)節(jié)分類準(zhǔn)確率。

Fig.8 ROC result curves of 4 models in LIDC-IDRI圖8 LIDC-IDRI數(shù)據(jù)集4種模型ROC曲線圖

Fig.9 ROC result curves of 4 models in SPIE-AAPM-LungX圖9 SPIE-AAPM-LungX數(shù)據(jù)集4種模型ROC曲線圖

4.2.3 輸入對(duì)比實(shí)驗(yàn)

本文所提模型CMSFF的輸入為3個(gè)層面的ROI圖像塊，為了驗(yàn)證從肺結(jié)節(jié)的3個(gè)層面提取其ROI特征信息的有效性，分別與單個(gè)層面的ROI圖像塊以及未進(jìn)行病灶區(qū)域切割的原始CT圖像進(jìn)行實(shí)驗(yàn)結(jié)果的對(duì)比（單個(gè)層面的ROI輸入采用ResNet作為模型）。實(shí)驗(yàn)結(jié)果如表8所示，從表中可以看出，基于3個(gè)層面的ROI圖像塊的AUC值，均高于單層面的ROI圖像塊與3層原始CT圖像的AUC值。在準(zhǔn)確率與靈敏度方面，本文所采用的方法比單層ROI圖像塊分別提高了6.96個(gè)百分點(diǎn)和9.05個(gè)百分點(diǎn)，證明了多層面特征融合的有效性，比3層原始CT圖像分別提高了20.83個(gè)百分點(diǎn)和24.81個(gè)百分點(diǎn)，證明了3個(gè)層面的ROI圖像塊提取特征的準(zhǔn)確性要高于原始CT圖像直接特征提取的方法。

Table 8 Comparison of different input images表8 不同輸入圖像對(duì)比

4.2.4 不同ROI尺寸對(duì)比實(shí)驗(yàn)

針對(duì)肺結(jié)節(jié)的尺寸以及肺結(jié)節(jié)周圍過(guò)多的噪音，本文切割的ROI尺寸μ是以能完全覆蓋肺結(jié)節(jié)區(qū)域的最小矩形R∈{16×16,32×32,64×64,128×128}為標(biāo)準(zhǔn)。因此本實(shí)驗(yàn)針對(duì)R值的選取進(jìn)行實(shí)驗(yàn)對(duì)比，結(jié)果如表9所示，在所有ROI尺寸的選擇中本文所采用的方法得到的AUC值是最優(yōu)的，其中μ2的方法采用了基于三維空間的紋理特征，將語(yǔ)義相關(guān)性和視覺(jué)相關(guān)性的度量作為基礎(chǔ)，通過(guò)決策樹(shù)的多分類模型來(lái)提高最終的實(shí)驗(yàn)效果[29]，得到了不錯(cuò)的結(jié)果。直接采用原始CT圖像尺寸μ5在神經(jīng)網(wǎng)絡(luò)中進(jìn)行訓(xùn)練，得到的AUC達(dá)到了0.82[30]。

Table 9 ROI comparison of different sizes表9 ROI不同尺寸對(duì)比

5 結(jié)束語(yǔ)

本文采用基于卷積神經(jīng)網(wǎng)絡(luò)的多層面二階特種融合方法對(duì)肺結(jié)節(jié)的惡性程度進(jìn)行評(píng)估，針對(duì)不同肺結(jié)節(jié)預(yù)處理出不同尺寸的ROI圖像塊，對(duì)肺結(jié)節(jié)的多個(gè)層面進(jìn)行基于殘差網(wǎng)絡(luò)的特征提取，通過(guò)兩個(gè)階段的特征融合獲得更精確的特征信息，同時(shí)弱化結(jié)節(jié)周圍噪音的干擾。實(shí)驗(yàn)過(guò)程中，通過(guò)對(duì)輸入到模型中的圖像進(jìn)行調(diào)整，最終驗(yàn)證了采用三個(gè)層面的ROI圖像塊進(jìn)行特征提取的有效性；通過(guò)所訓(xùn)練模型對(duì)肺結(jié)節(jié)惡性程度進(jìn)行評(píng)估，并且與現(xiàn)有的肺結(jié)節(jié)惡性程度評(píng)估的方法進(jìn)行了實(shí)驗(yàn)結(jié)果對(duì)比，最終驗(yàn)證了所訓(xùn)練模型提高了肺結(jié)節(jié)惡性程度分類準(zhǔn)確率。在進(jìn)一步的研究中，對(duì)殘差網(wǎng)絡(luò)提取到的不同層級(jí)的特征進(jìn)行融合還可以繼續(xù)優(yōu)化，因?yàn)檫@些不同層級(jí)的特征表達(dá)的信息有一定的冗余，通過(guò)一些約束，減少冗余的特征信息，使提取到的特征信息更符合研究需要，增強(qiáng)網(wǎng)絡(luò)的魯棒性。