基于密集卷積網(wǎng)絡(luò)的X線氣胸檢測(cè)與定位

羅國婷　劉志勤　周瑩　王慶鳳　鄭介志　劉啟榆

摘 要：現(xiàn)有X線氣胸檢測(cè)存在兩個(gè)主要問題：一是由于氣胸通常與肋骨、鎖骨等組織重疊，在臨床上存在較大的漏診，而現(xiàn)有算法的檢測(cè)性能仍有待提高;二是現(xiàn)有基于卷積神經(jīng)網(wǎng)絡(luò)的算法無法給出可疑的氣胸區(qū)域，缺乏可解釋性。針對(duì)上述問題，提出了一種結(jié)合密集卷積網(wǎng)絡(luò)（DenseNet）與梯度加權(quán)類激活映射的方法用于X線氣胸的檢測(cè)與定位。首先，構(gòu)建了一個(gè)較大規(guī)模的胸部X線數(shù)據(jù)集PX-ray用于模型的訓(xùn)練和測(cè)試。其次，修改DenseNet的輸出節(jié)點(diǎn)并在全連接層后添加一個(gè)sigmoid函數(shù)對(duì)胸片進(jìn)行二分類（氣胸/非氣胸）。在訓(xùn)練過程中通過設(shè)置交叉熵?fù)p失函數(shù)的權(quán)重來緩解數(shù)據(jù)不平衡問題，提高模型準(zhǔn)確率。最后，提取網(wǎng)絡(luò)最后一個(gè)卷積層的參數(shù)以及對(duì)應(yīng)的梯度，通過梯度加權(quán)類激活映射算法獲得氣胸類別的粗略定位圖。在PX-ray測(cè)試集上的實(shí)驗(yàn)結(jié)果表明，所提方法的檢測(cè)準(zhǔn)確率為95.45%，并且在曲線下面積（AUC）、敏感度、特異性等指標(biāo)上均高于0.9，優(yōu)于VGG19、GoogLeNet以及ResNet算法，同時(shí)實(shí)現(xiàn)了對(duì)氣胸區(qū)域的可視化。

關(guān)鍵詞：氣胸;胸部X線;密集卷積網(wǎng)絡(luò);類別不平衡;類激活映射

中圖分類號(hào)： TP391.4文獻(xiàn)標(biāo)志碼：A

Pneumothorax detection and localization in X-ray images based on

dense convolutional network

LUO Guoting1， LIU Zhiqin1*， ZHOU Ying2， WANG Qingfeng1， CHENG Jiezhi3， LIU Qiyu2

（1. College of Computer Science and Technology， Southwest University of Science and Technology， Mianyang Sichuan 621000， China;

2. Radiology Department， Mianyang Central Hospital， Mianyang Sichuan 621000， China;

3. Shanghai United Imaging Intelligence Limited Company， Shanghai 200232， China）

Abstract： There are two main problems about pneumothorax detection in X-ray images. The pneumothorax usually overlaps with tissues such as ribs and clavicles in X-ray images， easily causing missed diagnosis and the performance of the existing pneumothorax detection methods remain to be improved. The suspicious pneumothorax area detection cannot be exploited by the convolutional neural network-based algorithms， lacking the interpretability. Aiming at the problems， a novel method combining Dense convolutional Network （DenseNet） and gradient-weighted class activation mapping was proposed. Firstly， a large-scale chest X-ray dataset named PX-ray was constructed for model training and testing. Secondly， the output node of the DenseNet was modified and a sigmoid function was added after the fully connected layer to classify the chest X-ray images. In the training process， the weight of cross entropy loss function was set to alleviate the problem of data imbalance and improve the accuracy of the model. Finally， the parameters of the last convolutional layer of the network and the corresponding gradients were extracted， and the areas of the pneumothorax type were roughly located by gradient-weighted class activation mapping. The experimental results show that， the proposed method has the detection accuracy of 95.45%， and has the indicators such as Area Under Curve （AUC）， sensitivity， specificity all higher than 0.9， performs the classic algorithms of VGG19， GoogLeNet and ResNet， and realizes the visualization of pneumothorax area.

Key words： pneumothorax; chest X-ray; Dense convolutional Network （DenseNet）; class-imbalance; class activation mapping

0 引言

氣胸（PneumoThoraX， PTX）屬于胸外科和呼吸內(nèi)科急癥[1-2]，是指在肺和胸壁之間的胸膜腔內(nèi)有氣體異常積聚的病癥。在歐美國家，每年大約有13萬～21萬例氣胸[3]，且復(fù)發(fā)率高達(dá)35%[4]。如果發(fā)現(xiàn)不及時(shí)，可能導(dǎo)致肺完全萎縮或其他并發(fā)癥，嚴(yán)重者將引起心肺功能衰竭，危及生命[5]。因此，氣胸的早期發(fā)現(xiàn)及治療尤為重要。

基于胸部X線的影像學(xué)檢查是氣胸最常用的一種檢查方法。相較于其他影像學(xué)檢查，胸部X線（胸片）具有經(jīng)濟(jì)高效、能清晰地顯示氣胸的病變特征及范圍等優(yōu)勢(shì)。氣胸在站立位胸片上呈無肺紋理暗區(qū)（圖1（a）中A-1），以肺胸膜線為界，如圖1（a）白色箭頭所示;仰臥位胸片（圖1（b））上可通過萎縮性肋膈溝（深溝征）提示氣胸的存在[6-7]。但基于人工的方法檢測(cè)氣胸耗時(shí)、費(fèi)力，且診斷結(jié)果易受醫(yī)生經(jīng)驗(yàn)等主觀影響，文獻(xiàn)[3]報(bào)道美國每年將近7.4萬氣胸患者因誤診或延遲診斷而耽誤治療，同時(shí)在我們國家對(duì)于少量或微量的氣胸，也存在較大的漏診[8]。 借助于計(jì)算機(jī)輔助診斷（Computer-Aided Diagnosis， CAD）系統(tǒng)，實(shí)現(xiàn)X線氣胸的自動(dòng)檢測(cè)，可以提高診斷效率和準(zhǔn)確率，減少漏診。

然而，胸部X線氣胸的自動(dòng)檢測(cè)是一項(xiàng)極具挑戰(zhàn)性的工作。受氣胸大小、拍攝擺位、圖像質(zhì)量以及放射參數(shù)等因素影響，氣胸的特征變得模糊。此外，氣胸容易與皮膚褶皺、鎖骨、肩胛骨以及胸腔引流放置重疊，也在一定程度上影響氣胸特征的提取。而氣胸特征提取的準(zhǔn)確性決定了檢測(cè)結(jié)果的精度。傳統(tǒng)的氣胸檢測(cè)方法需要手動(dòng)設(shè)計(jì)不同的特征提取算法，如：基于特定規(guī)則提取后肋骨線和胸膜線[9]、局部和全局紋理特征分析[10]、局部二值模式和支持向量機(jī)[11]等。這些特征提取的過程較為復(fù)雜，且提取的特征可能存在信息涵蓋不全等現(xiàn)象，從而導(dǎo)致氣胸的檢測(cè)性能不高。

隨著深度學(xué)習(xí)的發(fā)展，以卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network， CNN）為代表的神經(jīng)網(wǎng)絡(luò)在計(jì)算機(jī)視覺領(lǐng)域的成功應(yīng)用[12]，為CNN在醫(yī)學(xué)圖像病變檢測(cè)方面的應(yīng)用奠定了基礎(chǔ)。CNN一般由輸入層、卷積層、池化層、激活層以及全連接層組成，自動(dòng)學(xué)習(xí)從原始輸入到期望輸出間的特征映射，相較于傳統(tǒng)算法復(fù)雜的特征提取過程，CNN在高級(jí)抽象特征提取上的能力更顯著，尤其是對(duì)細(xì)粒度圖像的識(shí)別具有極大的優(yōu)勢(shì)和潛力[13]。文獻(xiàn)[14]首次提出用殘差網(wǎng)絡(luò)（Residual Network， ResNet）來檢測(cè)胸部疾病，并公開了一個(gè)超大規(guī)模的胸部數(shù)據(jù)集：ChestX-ray14，該算法在氣胸檢測(cè)上取得了較好的結(jié)果，曲線下面積 （Area Under Curve， AUC）為0.79。文獻(xiàn)[15]采用多尺度CNN，將胸片下采樣到三種不同尺寸進(jìn)行訓(xùn)練，將AUC提高到0.911;該方法的主要問題在于未考慮其他胸部疾病對(duì)結(jié)果的影響，使得訓(xùn)練的模型很容易將其他疾病也歸類為氣胸。文獻(xiàn)[16]通過組合不同的超參數(shù)和CNN架構(gòu)訓(xùn)練了多個(gè)模型，最后獲得了兩個(gè)最佳模型：一個(gè)是基于VGG19[17]的高敏感度（0.79）模型;另一個(gè)是基于GoogLeNet[18]的高特異性（0.97）模型。由于它們的主要目標(biāo)是檢測(cè)氣胸危急情況，因此在訓(xùn)練數(shù)據(jù)中只納入了中等和大量氣胸，而忽略了少量氣胸。

綜上，雖然現(xiàn)有基于深度學(xué)習(xí)的氣胸檢測(cè)方法能有效提升檢測(cè)性能，但仍存在三個(gè)局限：一是大部分研究使用的數(shù)據(jù)集是ChestX-ray14，該數(shù)據(jù)集來自歐美患者，成像參數(shù)及體格均與國內(nèi)有明顯差異，此外標(biāo)簽的獲取是通過文本挖掘技術(shù)，據(jù)報(bào)道，氣胸標(biāo)簽和放射科醫(yī)生標(biāo)注的一致性僅為60%[16]，數(shù)據(jù)標(biāo)簽的錯(cuò)誤也會(huì)導(dǎo)致檢測(cè)性能的下降;此外，目前還缺乏適用于國內(nèi)的大規(guī)模數(shù)據(jù)集。二是現(xiàn)有算法并沒有提到少量氣胸的檢測(cè)，尤其是文獻(xiàn)[16]將少量氣胸完全排除在外，且氣胸的檢測(cè)性能有待提高。三是由于CNN和其他深度網(wǎng)絡(luò)沒有直觀和易于解釋的組件，就像一個(gè)“黑匣子”，使得現(xiàn)有基于深度學(xué)習(xí)的氣胸檢測(cè)方法缺乏可解釋性;而要讓人們建立起對(duì)CAD氣胸檢測(cè)系統(tǒng)的信任，就必須使模型透明和易于解釋。

目前對(duì)CNN的可視化已有較多的研究成果，如：文獻(xiàn)[19-21]通過突出“重要”像素點(diǎn)，即改變那些對(duì)預(yù)測(cè)值有很大影響的像素點(diǎn)強(qiáng)度而使CNN預(yù)測(cè)可視化，但這些方法不具類別判別能力。文獻(xiàn)[22]通過修改CNN架構(gòu)，用卷積層和全局平均池化層（Global Average Pooling， GAP）代替全連接層，并用特定類別的類激活映射（Class Activation Mapping， CAM）圖表示CNN識(shí)別該類別而關(guān)注的圖像區(qū)域;但CAM的缺點(diǎn)是需要修改網(wǎng)絡(luò)架構(gòu)，且修改后的網(wǎng)絡(luò)會(huì)損失一定的精度。文獻(xiàn)[23]在CAM基礎(chǔ)上提出了梯度加權(quán)CAM（Gradient-weighted CAM， Grad-CAM）算法，該算法不需要修改網(wǎng)絡(luò)架構(gòu)或重新訓(xùn)練網(wǎng)絡(luò)，可以從任何基于CNN的網(wǎng)絡(luò)生成不同類別對(duì)應(yīng)的視覺解釋。

針對(duì)上述數(shù)據(jù)集的局限性，本文的首要工作是構(gòu)建一個(gè)國內(nèi)X線氣胸的較大規(guī)模數(shù)據(jù)集，同時(shí)考慮到目前在臨床上對(duì)少量氣胸的檢測(cè)存在較大的漏診，因此在構(gòu)建數(shù)據(jù)集時(shí)通過增加少量氣胸的比重和采用數(shù)據(jù)增強(qiáng)來提升模型對(duì)少量氣胸的擬合能力。其次，本文提出基于密集卷積網(wǎng)絡(luò)（Densely Convolutional Networks， DenseNet）[24]的改進(jìn)算法檢測(cè)氣胸，結(jié)合DenseNet具備網(wǎng)絡(luò)較深、能夠融合淺層與深層特征進(jìn)行分類的優(yōu)勢(shì)，修改密集卷積網(wǎng)絡(luò)的輸出節(jié)點(diǎn)并在全連接層后添加一個(gè)sigmoid函數(shù)檢測(cè)氣胸。此外，為了減少數(shù)據(jù)不平衡帶來的影響，提出一種加權(quán)的交叉熵?fù)p失函數(shù)訓(xùn)練策略，以期提高準(zhǔn)確率。最后，本文將DenseNet與Grad-CAM算法結(jié)合，生成氣胸的定位熱力圖，從而增加卷積網(wǎng)絡(luò)的可解釋性。

1 數(shù)據(jù)集及其預(yù)處理

1.1 數(shù)據(jù)集創(chuàng)建

由于國內(nèi)目前還沒有公開可用的胸部X線氣胸?cái)?shù)據(jù)集，因此本文構(gòu)建了一個(gè)國內(nèi)的較大規(guī)模數(shù)據(jù)集：PX-ray，用于模型的訓(xùn)練及測(cè)試。PX-ray來源于綿陽市中心醫(yī)院，首先通過檢索圖像存檔與通信系統(tǒng)（Picture Archiving and Communication System， PACS）中2010年1月到2018年6月氣胸的臨床報(bào)告數(shù)據(jù)庫，確定候選范圍。然后，再使用關(guān)鍵詞“氣胸”篩選出陽性組的候選圖像;陰性組的納入圖像通過搜索陰性短語（如心肺無異常）和納入不符合陽性納入標(biāo)準(zhǔn)的同期胸片來確定。陰性組的選取采用以上兩種納入方法可確保陰性組里不僅有正常的胸片，同時(shí)包含除氣胸外的其他胸部疾病的胸片。最后，用定制的自動(dòng)化圖像下載工具從PACS里提取候選圖像及診斷報(bào)告。為了保證醫(yī)院及病人隱私安全，對(duì)所有數(shù)據(jù)進(jìn)行匿名化處理，包括刪除病人姓名及機(jī)構(gòu)名等敏感信息。最終成功獲取12050例后前位胸片。

1.2 數(shù)據(jù)集標(biāo)注

數(shù)據(jù)標(biāo)注過程分為粗標(biāo)注和細(xì)標(biāo)注兩步。粗標(biāo)注由文本報(bào)告生成，將文本中包含“心肺無異?！被虿话皻庑亍钡挠跋駱?biāo)記為0，表示無氣胸;將文本中包含“氣胸”的影像標(biāo)記為1，表示有氣胸。經(jīng)過粗標(biāo)注后，可以確保標(biāo)記為0的影像都不包含氣胸，但標(biāo)記為1的影像需要再次排查。細(xì)標(biāo)注時(shí)，再次從標(biāo)記為1的影像對(duì)應(yīng)文本中提取關(guān)鍵字“可疑” “考慮” “氣胸基本吸收” “氣胸好轉(zhuǎn)”等不確定性詞組，將該部分病例提取出來，交給有經(jīng)驗(yàn)的放射科醫(yī)生再次核實(shí)。之所以不丟棄這些疑問數(shù)據(jù)，主要是這部分?jǐn)?shù)據(jù)正是比較難診斷的少量氣胸，對(duì)模型的訓(xùn)練非常重要。提取文本中每例氣胸的大小，結(jié)果如圖2所示。由圖2可以看出，少量及微量氣胸（20%以內(nèi)）占了氣胸例數(shù)的一半（3055/5650），使得模型更有利于學(xué)習(xí)到少量氣胸的特征。

1.3 數(shù)據(jù)預(yù)處理

由于原始胸部X線的像素由12位組成，其像素強(qiáng)度在0到4095之間，這使得像素間信息非常豐富，但也會(huì)導(dǎo)致高光噪聲[11]。基于這一原因，將原始像素轉(zhuǎn)換為8位，即像素強(qiáng)度變?yōu)?到255之間，并對(duì)圖像作歸一化處理，如式（1）：

其中：X代表原始圖像像素矩陣;Xmin和Xmax分別是原始圖像的最小和最大值;Xnorm是進(jìn)行歸一化和強(qiáng)度變換后的像素矩陣。

將PX-ray所有數(shù)據(jù)打亂重組，按照60%/20%/20%的比例分成訓(xùn)練集、驗(yàn)證集和測(cè)試集，以便所有訓(xùn)練和評(píng)估實(shí)驗(yàn)都使用相同的數(shù)據(jù)集。為保證模型對(duì)未知數(shù)據(jù)的泛化能力，三個(gè)數(shù)據(jù)集的圖像互不交叉。此外，本文在訓(xùn)練時(shí)通過隨機(jī)水平翻轉(zhuǎn)以及隨機(jī)裁剪方法實(shí)現(xiàn)數(shù)據(jù)增強(qiáng)。數(shù)據(jù)增強(qiáng)不僅可以擴(kuò)大訓(xùn)練數(shù)據(jù)，還可以進(jìn)一步提升模型的泛化能力。

2 氣胸檢測(cè)網(wǎng)絡(luò)

2.1 基于DenseNet的網(wǎng)絡(luò)架構(gòu)設(shè)計(jì)

DenseNet的主要結(jié)構(gòu)為密集塊（Dense Block， DB）和過渡塊（Transition Block， TB）。Dense Block用前饋的方式將每一層（Layer）的特征圖（feature maps）直接傳遞給后面所有層，使用級(jí)聯(lián)方式，使得每一層都接受來自前面層的特征映射。假設(shè)Xl表示第l層的feature maps，它接收所有以前層，包括X0，X1，…，Xl-1層的feature maps，如圖3（a）所示，則有：

Xl=Hl（[X0，X1，…，Xl-1]）（2）

其中，Hl為復(fù)合函數(shù)，由批量歸一化（Batch Normalization， Batch Norm）、整流線性單元（Rectified Linear unit， ReLu）及卷積（Convolution， Conv）等組成。

考慮到特征融合后輸入的特征圖數(shù)量仍然很多，為了減少其數(shù)量及降低維度而加入了瓶頸層（Bottleneck Layer），即在Dense Block的每個(gè)Layer中加入1×1的卷積，其后添加3×3、生長(zhǎng)率（Growth Rate）為32的卷積用于提取特征。每次卷積前都先進(jìn)行Batch Normalization以及ReLu激活，從而提高網(wǎng)絡(luò)的泛化性和避免梯度消失問題。此外，本文在卷積后加入隨機(jī)失活正則項(xiàng)（Dropout）層，概率設(shè)為0.25來避免網(wǎng)絡(luò)過擬合。Layer細(xì)節(jié)如圖3（b）所示。

為了進(jìn)一步壓縮參數(shù)和降低維度，在Dense Block 之間加入了Transition Block。假設(shè)Dense Block輸出m個(gè)feature maps，則通過Transition Block中的1×1卷積生成θm個(gè)feature maps，其中θ屬于（0，1），以此來減少feature maps的數(shù)量。與Dense Block一樣，卷積前先進(jìn)行Batch Norm 以及ReLu。再通過2×2的平均池化（Average pooling， Avg pool）降低feature maps的大小， 如圖4所示。在本文中，每經(jīng)過一個(gè)Transition Block，feature maps的數(shù)量及大小均減半。

氣胸的檢測(cè)屬于二分類任務(wù)，即存在或不存在氣胸。因此，本文基于DenseNet的兩種主要結(jié)構(gòu)，構(gòu)建了一個(gè)121層的特征提取網(wǎng)絡(luò)，如圖5所示。首先將圖像輸入7×7的卷積層獲取特征。然后，再經(jīng)過3×3的最大池化簡(jiǎn)化網(wǎng)絡(luò)計(jì)算復(fù)雜度，之后經(jīng)過4個(gè)Dense Block來提取更抽象的特征，Dense Block layers的數(shù)量分別為6、12、24和16，并在最后一個(gè)Dense Block后添加一個(gè)Batch Norm層，對(duì)最后一個(gè)卷積層的輸出進(jìn)行歸一化。最后，將DenseNet的輸出節(jié)點(diǎn)修改為2，并在其后添加一個(gè)sigmoid層獲取氣胸的檢測(cè)概率。

本文基于改進(jìn)的DenseNet提取氣胸特征的優(yōu)勢(shì)主要體現(xiàn)在以下3方面：

1）省參數(shù)。網(wǎng)絡(luò)中的每一層都直接與其前面層相連，實(shí)現(xiàn)feature maps的重復(fù)利用;同時(shí)可以把網(wǎng)絡(luò)的每一層都設(shè)計(jì)得特別窄，即只學(xué)習(xí)非常少的feature maps，減少了冗余特征。此外，通過添加瓶頸層和過渡層，又再一次降低了參數(shù)量。這對(duì)于工業(yè)界而言，小模型可以顯著地節(jié)省帶寬，降低存儲(chǔ)開銷。

2）省計(jì)算。由于網(wǎng)絡(luò)的每一個(gè)卷積層都比較窄，通道數(shù)均為32，而一般卷積網(wǎng)絡(luò)更深層的卷積通道數(shù)都有上千個(gè)。因此DenseNet的卷積計(jì)算量非常低。

3）抗過擬合。由于DenseNet 可以綜合利用淺層復(fù)雜度低的特征，因而更容易得到一個(gè)光滑的具有更好泛化性能的決策函數(shù);同時(shí)加入了Dropout正則化項(xiàng)，因此具有非常好的抗過擬合性能[25]。

2.2 加權(quán)交叉熵?fù)p失函數(shù)

傳統(tǒng)的交叉熵?fù)p失函數(shù)（Cross Entropy Loss function， CELoss）因不同類別的訓(xùn)練樣本數(shù)目不平衡，從而導(dǎo)致網(wǎng)絡(luò)訓(xùn)練時(shí)側(cè)重樣本數(shù)目較多的類別，而“輕視”樣本數(shù)目較少的類別，這樣網(wǎng)絡(luò)泛化能力就會(huì)受到影響。

本文通過在CELoss中設(shè)置權(quán)重系數(shù)w，讓小樣本乘以較大的權(quán)重，大樣本乘以較小的權(quán)重，來緩解因數(shù)據(jù)不平衡造成的影響。加權(quán)CELoss（Weighted CELoss， WCELoss）可表示為：

L（X，y）=-ω+y lg ρ（Y=1|X）-

ω-（1-y）lg ρ（Y=0|X）（3）

其中：ρ（Y=i|X）代表網(wǎng)絡(luò)預(yù)測(cè)為i類的概率;ω+=（|P|+|N|）/|P|，ω-=（|P|+|N|）/|N|，|P|、|N|分別為訓(xùn)練集每一批次中氣胸的陽性病例數(shù)和陰性病例數(shù)。就本文的研究而言，氣胸的病例較少于非氣胸病例。采用這種方法，使得網(wǎng)絡(luò)在每一批次訓(xùn)練時(shí)，氣胸類樣本的損失就會(huì)加大，從而減輕數(shù)據(jù)不平衡帶來的影響。

3 基于Grad-CAM的氣胸區(qū)域定位

已有研究證明CNN中的更深層次主要捕獲更高層次的語義信息[25-26]，此外，卷積層保留了在全連接層中丟失的空間信息，因此可以大膽猜測(cè)網(wǎng)絡(luò)最后的一個(gè)卷積層在高級(jí)語義和空間信息之間達(dá)到最好折中，這些層中的特征圖能在圖像中尋找語義類特定的信息（比如對(duì)象部分）。Grad-CAM就是利用流進(jìn)CNN最后一個(gè)卷積層的梯度信息，然后將該信息反向傳播到卷積層，以此來了解該卷積中的每個(gè)特征圖對(duì)特定類做決策的重要性。將卷積層的特征圖與其對(duì)應(yīng)的重要性權(quán)重相乘就得到了特定類的定位圖，實(shí)現(xiàn)對(duì)氣胸的弱監(jiān)督定位。Grad-CAM算法的流程如圖6所示，具體算法步驟如下：

1）假設(shè)LcGrad-CAM∈Rμ×ν為類別c的類別定位圖，其中μ和ν分別是類別c的寬度和高度。

2）計(jì)算類別c的得分梯度yc，yc是sigmoid層之前，即本文算法中的Linear層（圖5）的輸出結(jié)果，維度為2。

3）提取網(wǎng)絡(luò)最后一個(gè)卷積層參數(shù)，在本文中，最后一個(gè)卷積層的大小為7×7，通道數(shù)（卷積核）為1024，將yc分別對(duì)1024個(gè)特征圖（記Ak，表示第k個(gè)特征圖）求偏導(dǎo)，就得到了第k個(gè)特征圖的梯度。

4）分別對(duì)k個(gè)特征圖的梯度求像素平均，獲得該特征圖的重要性權(quán)重αck：

αck=1Z∑i∑jycAk（4）

其中：權(quán)重αck表示第k個(gè)特征圖對(duì)類別c決策的重要性; Z為Ak的像素?cái)?shù)，Aki， j為Ak中（i， j）處的像素值。

5）將k個(gè)特征圖與其對(duì)應(yīng)的權(quán)重αck相乘再求和就得到了LcGrad-CAM。由于對(duì)類別c有正影響的那些特征值應(yīng)該被關(guān)注，而有負(fù)影響的特征值應(yīng)被舍棄，所以在上述基礎(chǔ)上添加一個(gè)ReLu函數(shù)。ReLu函數(shù)將負(fù)值的特征變?yōu)?，從而減少負(fù)值對(duì)結(jié)果的干擾。LcGrad-CAM的計(jì)算式如式（5）：

LcGrad-CAM=ReLu（∑kack·Ak）（5）

6）由上述得到的類別c定位圖尺寸與最后一個(gè)卷積層尺寸相同，均為7×7。因此，為了更好的可視化結(jié)果，本文將Grad-CAM上采樣到輸入圖像大小，并與輸入進(jìn)行疊加形成最終的定位熱力圖（Localization heat map）。

Grad-CAM算法為模型提供可靠的可視化解釋，它直觀地闡釋了模型是看圖像哪個(gè)區(qū)域而做的決策。這種方法的優(yōu)勢(shì)在于：首先不需要對(duì)圖像進(jìn)行細(xì)致的氣胸區(qū)域標(biāo)注，減少了標(biāo)注的成本;其次可以結(jié)合任意基于CNN的網(wǎng)絡(luò)，而不需要修改或重新訓(xùn)練網(wǎng)絡(luò)，擴(kuò)展性較好。

4 實(shí)驗(yàn)與結(jié)果分析

4.1 評(píng)價(jià)指標(biāo)

為全面衡量本文所提模型對(duì)氣胸的檢測(cè)性能，采用曲線下面積（AUC）、錯(cuò)誤率（Error Rate， Error）、敏感度（Sensitivity， Se）、特異度（Specificity， Sp）、陽性預(yù)測(cè)值（Positive Predictive Value， PPV）和陰性預(yù)測(cè)值（Negative Predictive Value， NPV）作為評(píng)價(jià)指標(biāo)，計(jì)算式分別如下：

Se=TPTP+FN（6）

Sp=TNTN+FP（7）

PPV=TPTP+FP（8）

NPV=TNTN+FN（9）

其中：TP為真陽性樣本數(shù);TN為真陰性樣本數(shù);FP為假陽性樣本數(shù);FN為假陰性樣本數(shù)。

此外，模型的時(shí)間復(fù)雜度和空間復(fù)雜度也是衡量模型好壞的重要指標(biāo)[27]。時(shí)間復(fù)雜度決定了模型訓(xùn)練或預(yù)測(cè)需要運(yùn)算的次數(shù)，空間復(fù)雜度決定了需要學(xué)習(xí)的參數(shù)數(shù)量。時(shí)間復(fù)雜度通常以浮點(diǎn)運(yùn)算次數(shù)（FLoating-point OPerations， FLOPs）來衡量，空間復(fù)雜度則以模型參數(shù)數(shù)量（Parameters）來衡量。對(duì)于卷積神經(jīng)網(wǎng)絡(luò)，時(shí)間復(fù)雜度和空間復(fù)雜度的計(jì)算分為卷積層和全連接層。對(duì)于每個(gè)卷積層，其時(shí)間復(fù)雜度和空間復(fù)雜度分別為：

從表2中可以看出：雖然文獻(xiàn)[14]模型基于ResNet的模型空間復(fù)雜度最低，但對(duì)內(nèi)存的消耗卻是最大的。文獻(xiàn)[16]的基于VGG19（文獻(xiàn)[16]模型_1）和GoogLeNet（文獻(xiàn)[16]模型_2）的兩個(gè)模型，在較少的卷積層數(shù)下，時(shí)間復(fù)雜度和空間復(fù)雜度都非常高。由于氣胸是胸部的危急癥，本文算法希望能在X線檢查中實(shí)時(shí)監(jiān)控，因此對(duì)模型的時(shí)間復(fù)雜度和精確度的要求較高，而本文基于DenseNet的模型在確保高準(zhǔn)確度的同時(shí)，時(shí)間復(fù)雜度也是所有模型中最低的;此外，空間復(fù)雜度以及內(nèi)存消耗也取得了較好的折中效果。綜合來講，本文模型可以滿足臨床的高需求。

4.3 氣胸定位性能評(píng)估

對(duì)于DenseNet判定為氣胸的圖像，本文不僅給出氣胸的概率值，同時(shí)應(yīng)用Grad-CAM方法對(duì)可疑氣胸區(qū)域粗略定位，縮小醫(yī)生查找病灶的范圍。圖8給出了本文模型在部分測(cè)試集的定位結(jié)果，圖中矩形框是由醫(yī)生標(biāo)注的氣胸區(qū)域。由圖8可以看出：圖8（a）為右側(cè)大面積氣胸，模型很好地檢測(cè)到氣胸區(qū)域;圖8（b）雖然沒有直接檢測(cè)到右側(cè)少量氣胸，但識(shí)別出了術(shù)后氣胸的典型特征（胸管）;圖8（c）左側(cè)少量氣胸被模型準(zhǔn)確識(shí)別;圖8（d）是左側(cè)中等量氣胸;圖8（e）為嬰幼兒氣胸;圖8（f）是熱力圖偽彩色轉(zhuǎn)換對(duì)照卡，越靠近255的區(qū)域表示對(duì)氣胸檢測(cè)越重要。從可視化定位圖中可以看出，本文模型確實(shí)很好地?cái)M合了氣胸的特征，比如：大面積的無紋理暗區(qū)、胸管以及位置信息（均位于肺的四周）等。

圖9顯示的是不同卷積層對(duì)氣胸區(qū)域定位的重要性。從圖9中可以發(fā)現(xiàn)，網(wǎng)絡(luò)前面的卷積層主要提取空間信息，而最深的卷積層提取的語義信息最豐富，可視化效果也最好。

5 結(jié)語

本文充分利用DenseNet在特征提取方面的優(yōu)勢(shì)以及Grad-CAM可視化方法，提出了一個(gè)121層的深度CNN模型，實(shí)現(xiàn)了X線氣胸（包括少量氣胸）的自動(dòng)檢測(cè)及定位。本文所提模型準(zhǔn)確率更高，不僅避免了人工提取特征的復(fù)雜性和局限性，同時(shí)增加了深度學(xué)習(xí)算法的可解釋性，并且采用了數(shù)據(jù)擴(kuò)充的方法使模型能更好地?cái)M合少量氣胸。通過給少數(shù)樣本較大的損失權(quán)重，在一定程度上緩解了數(shù)據(jù)不平衡問題，提高了模型的性能。實(shí)驗(yàn)結(jié)果表明，本文方法具有非常高的靈敏度及特異性，可輔助醫(yī)生提高氣胸診斷效率，減少漏診誤診。

盡管本文有意將盡可能多的不同臨床環(huán)境（包括體檢、門診、急診及重癥監(jiān)護(hù)室）和不同年齡段人群（嬰幼兒、成人及老人）的胸片納入其中，但上述訓(xùn)練及測(cè)試的數(shù)據(jù)都是來自同一個(gè)機(jī)構(gòu)，如何使本文方法適用于更廣泛的臨床環(huán)境是下一步的研究方向。

參考文獻(xiàn) （References）

[1]王朝，鄒衛(wèi).原發(fā)性自發(fā)性氣胸病因研究進(jìn)展[J].臨床肺科雜志，2015，20（6）：1120-1122，1126.（WANG C， ZOU W. Progress in study of primary spontaneous pneumothorax [J]. Journal of Clinical Pulmonary Medicine， 2015， 20（6）： 1120-1122， 1126.）

[2]THOMSEN L， NATHO O， FEIGEN U， et al. Value of digital radiography in expiration in detection of pneumothorax [J]. RoFo： Fortschritte auf dem Gebiete der Rontgenstrahlen und der Nuklearmedizin， 2014， 186（3）： 267-273.

[3]BINTCLIFFE O， MASKELL N. Spontaneous pneumothorax [J]. British Medical Journal， 2014， 348： g2928.

[4]SUTHAR M， MAHJOUBFAR A， SEALS K， et al. Diagnostic tool for pneumothorax [C]// Proceedings of the 2016 IEEE Photonics Society Summer Topical Meeting Series. Piscataway： IEEE， 2016： 218-219.

[5]MACDUFF A， ARNOLD A， HARVEY J. Management of spontaneous pneumothorax： British thoracic society pleural disease guideline 2010 [J]. Thorax， 2010， 65（S2）： ii18-ii31.

[6]OCONNOR A R， MORGAN W E. Radiological review of pneumothrax [J]. British Medical Journal， 2005， 330（7506）： 1493-1497.

[7]SEOW A， KAZEROONI E A， PERNICANO P G， et al. Comparison of upright inspiratory and expiratory chest radiographs for detecting pneumothoraces [J]. American Journal of Roentgenology， 1996， 166（2）： 313-316.

[8]穆魁津.談?wù)剼庑氐脑\斷方法[J].中國實(shí)用內(nèi)科雜志，1995，15（4）：205-206.（MU K J. Discussion on the diagnosis of pneumothorax [J]. Chinese Journal of Practical Internal Medicine， 1995， 15（4）： 205-206）.

[9]SANADA S， DOI K， MACMAHON H. Image feature analysis and computer-aided diagnosis in digital radiography： automated detection of pneumothorax in chest images [J]. Medical Physics， 1992， 19（5）： 1153-1160.

[10]GEVA O， ZIMMERMAN-MORENO G， LIEBERMAN S， et al. Pneumothorax detection in chest radiographs using local and global texture signatures [C]// Proceedings of the Medical Imaging 2015： Computer-Aided Diagnosis， SPIE 9414. Bellingham： SPIE， 2015： Article No. 94141P.

[11]CHAN Y H， ZENG Y Z， WU H C， et al. Effective pneumothorax detection for chest X-ray images using local binary pattern and support vector machine [J]. Journal of Healthcare Engineering， 2018， 2018： Article No. 2908517.

[12]LECUN Y， BOSER B， DENKER J S， et al. Handwritten digit recognition with a back-propagation network [C]// Proceedings of the 1989 International Conference on Neural Information Processing Systems. San Francisco： Morgan Kaufmann Publishers Inc.， 1989： 396-404.

[13]何雪英，韓忠義，魏本征.基于深度卷積神經(jīng)網(wǎng)絡(luò)的色素性皮膚病識(shí)別分類[J].計(jì)算機(jī)應(yīng)用，2018，38（11）：3236-3240.（HE X Y， HAN Z Y， WEI B Z. Pigmented skin lesion classification based dermoscopic images using deep convolutional neural network [J]. Journal of Computer Applications， 2018， 38（11）： 3236-3240）.

[14]WANG X， PENG Y， LU L， et al. Chestx-ray8： hospital-scale chest X-ray database and benchmarks on weakly-supervised classification and localization of common thorax diseases [C]// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017： 3462-3471.

[15]JUN T J， KIM D， KIM D. Automated diagnosis of pneumothorax using an ensemble of convolutional neural networks with multi-sized chest radiography images [EB/OL]. [2019-03-22]. https：//arxiv.org/ftp/arxiv/papers/1804/1804.06821.pdf.

[16]TAYLOR A G， MIELKE C， MONGAN J. Automated detection of moderate and large pneumothorax on frontal chest X-rays using deep convolutional neural networks： a retrospective study [J]. PLOS Medicine， 2018， 15（11）： e1002697.

[17]SZEGEDY C， LIU W， JIA Y， et al. Going deeper with convolutions [C]// Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2015： 1-9.

[18]SIMONYAN K， ZISSERMAN A. Very deep convolutional networks for large-scale image recognition [EB/OL]. [2019-03-22]. https：//arxiv.org/pdf/1409.1556.pdf.

[19]PINHEIRO P O， COLLOBERT R. From image-level to pixel-level labeling with convolutional networks [C]// Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2015： 1713-1721.

[20]RIBEIRO M T， SINGH S， GUESTRIN C. “Why Should I Trust You？”： explaining the predictions of any classifier [EB/OL]. [2019-03-22]. https：//arxiv.org/pdf/1602.04938.pdf.

[21]FANG H， GUPTA S， IANDOLA F， et al. From captions to visual concepts and back [C]// Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2015： 1473-1482.

[22]ZHOU B， KHOSLA A， LAPEDRIZA A， et al. Learning deep features for discriminative localization [C]// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2016： 2921-2929.

[23]SELVARAJU R R， COGSWELL M， DAS A， et al. Grad-CAM： visual explanations from deep networks via gradient-based localization [C]// Proceedings of the 2017 IEEE International Conference on Computer Vision. Piscataway： IEEE， 2017： 618-626.

[24]HUANG G， LIU Z， VAN DER MAATEN L， et al. Densely connected convolutional networks [C]// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017： 2261-2269.

[25]BENGIO Y， COURVILLE A， VINCENT P. Representation learning： a review and new perspectives [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2013， 35（8）： 1798-1828.

[26]MAHENDRAN A， VEDALDI A. Visualizing deep convolutional neural networks using natural pre-images [J]. International Journal of Computer Vision， 2016， 120（3）： 233-255.

[27]楊真真，匡楠，范露，等.基于卷積神經(jīng)網(wǎng)絡(luò)的圖像分類算法綜述[J].信號(hào)處理，2018，34（12）：1474-1489.（YANG Z Z， KUANG N， FAN L， et al. Review of image classification algorithms based on convolutional neural networks [J]. Journal of Signal Processing， 2018， 34（12）： 1474-1489.）

This work is partially supported by the Science and Technology Program of Sichuan Province （2019JDRC0119）.

LUO Guoting， born in 1995， M. S. candidate. Her research interests include medical image analysis， deep learning.

LIU Zhiqin， born in 1962， M. S.， professor. Her research interests include medical image analysis， high performance computing.

ZHOU Ying， born in 1984， Ph. D.， attending physician. Her research interests include tumor image analysis， deep learning.

WANG Qingfeng， born in 1988， Ph. D， lecturer. Her research interests include medical image analysis， computer-aided diagnosis.

CHENG Jiezhi， born in 1980， Ph. D. His research interests include medical image analysis， pattern recognition.

LIU Qiyu， born in 1963， M. S.， chief physician. His research interests include medical image analysis， interventional radiology.

收稿日期：2019-05-27;修回日期：2019-07-23;錄用日期：2019-07-24?；痦?xiàng)目：四川省科技計(jì)劃項(xiàng)目（2019JDRC0119）。

作者簡(jiǎn)介：羅國婷（1995—），女，四川綿陽人，碩士研究生，CCF會(huì)員（88023G），主要研究方向：醫(yī)學(xué)圖像分析、深度學(xué)習(xí); 劉志勤（1962—），女，四川綿陽人，教授，碩士，CCF會(huì)員，主要研究方向：醫(yī)學(xué)圖像分析、高性能計(jì)算; 周瑩（1984—），女，四川綿陽人，主治醫(yī)師，博士，主要研究方向：腫瘤圖像分析、深度學(xué)習(xí); 王慶鳳（1988—），女，四川安岳人，講師，博士，CCF會(huì)員，主要研究方向：醫(yī)學(xué)圖像分析、計(jì)算機(jī)輔助診斷;鄭介志（1980—），男，中國臺(tái)灣人，博士，主要研究方向：醫(yī)學(xué)圖像分析、模式識(shí)別; 劉啟榆 （1963—），男，四川廣元人，主任醫(yī)師，碩士，主要研究方向：醫(yī)學(xué)圖像分析、介入放射學(xué)。

文章編號(hào)：1001-9081（2019）12-3541-07DOI：10.11772/j.issn.1001-9081.2019050884