基于神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索的肺結(jié)節(jié)分類(lèi)算法

謝新林，肖毅，續(xù)欣瑩*

（1.太原科技大學(xué) 電子信息工程學(xué)院，太原 030024； 2.先進(jìn)控制與裝備智能化山西省重點(diǎn)實(shí)驗(yàn)室（太原科技大學(xué)），太原 0 30024； 3.太原理工大學(xué) 電氣與動(dòng)力工程學(xué)院，太原 030024）（?通信作者電子郵箱xuxinying@tyut.edu.cn）

基于神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索的肺結(jié)節(jié)分類(lèi)算法

謝新林1，2，肖毅3，續(xù)欣瑩3*

（1.太原科技大學(xué) 電子信息工程學(xué)院，太原 030024； 2.先進(jìn)控制與裝備智能化山西省重點(diǎn)實(shí)驗(yàn)室（太原科技大學(xué)），太原 0 30024； 3.太原理工大學(xué) 電氣與動(dòng)力工程學(xué)院，太原 030024）（?通信作者電子郵箱xuxinying@tyut.edu.cn）

肺結(jié)節(jié)分類(lèi)是早期肺癌診斷的重要任務(wù)?；谏疃葘W(xué)習(xí)的肺結(jié)節(jié)分類(lèi)方法雖然能夠取得良好的分類(lèi)精度，但存在模型復(fù)雜和可解釋性差的問(wèn)題。為此，提出了一種基于神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索的肺結(jié)節(jié)分類(lèi)算法。首先，將注意力殘差卷積cell作為搜索空間的基本單元，并使用偏序剪枝方法作為搜索策略來(lái)構(gòu)建神經(jīng)網(wǎng)絡(luò)架構(gòu)以搜索3D分類(lèi)網(wǎng)絡(luò)，從而達(dá)到網(wǎng)絡(luò)性能和搜索速度的平衡。其次，在網(wǎng)絡(luò)中構(gòu)建了多尺度通道和空間注意力模塊來(lái)提高特征描述和類(lèi)別推理的可解釋性。最后，采用堆疊法將搜索到的網(wǎng)絡(luò)架構(gòu)進(jìn)行多模型的融合，從而獲取精準(zhǔn)的肺結(jié)節(jié)良惡性分類(lèi)預(yù)測(cè)結(jié)果。實(shí)驗(yàn)結(jié)果表明，在肺結(jié)節(jié)分類(lèi)常用數(shù)據(jù)集LIDC-IDRI上，所提算法與最新肺結(jié)節(jié)分類(lèi)算法相比具有較好的分類(lèi)性能和較快的收斂，且所提算法的特異性和精確率分別達(dá)到95.37%和93.42%，能夠?qū)崿F(xiàn)良惡性肺結(jié)節(jié)的準(zhǔn)確分類(lèi)。

肺結(jié)節(jié)分類(lèi)；神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索；注意力模塊；多模型融合；深度學(xué)習(xí)

0 引言

全世界范圍內(nèi)肺癌導(dǎo)致的死亡病例越來(lái)越多，僅2018年就報(bào)告了超過(guò)200萬(wàn)例確診肺癌病例，其中死亡人數(shù)達(dá)到170萬(wàn)人以上［1］。肺結(jié)節(jié)是肺癌的早期表現(xiàn)，肺結(jié)節(jié)的精確診斷和早期發(fā)現(xiàn)能夠極大提高患者的存活率。肺結(jié)節(jié)分類(lèi)，即肺結(jié)節(jié)良惡性識(shí)別，作為肺結(jié)節(jié)精確診斷的重要任務(wù)，具有重要的研究?jī)r(jià)值和社會(huì)意義。計(jì)算機(jī)斷層掃描（Computed Tomography， CT）［2］作為有效和可靠的肺癌檢查方式，能夠直觀地描述病灶的形態(tài)特征。但肺癌的診斷依賴(lài)于大量的圖像數(shù)據(jù)，且肺結(jié)節(jié)形態(tài)特征復(fù)雜、易受無(wú)關(guān)組織和器官的干擾，單靠醫(yī)生進(jìn)行人工診斷不僅費(fèi)時(shí)費(fèi)力而且存在誤診和漏診的風(fēng)險(xiǎn)。

傳統(tǒng)的肺結(jié)節(jié)分類(lèi)算法大都基于手工提取的特征進(jìn)行肺結(jié)節(jié)類(lèi)別的預(yù)測(cè)，但該類(lèi)方法因特征表示能力的局限性導(dǎo)致分類(lèi)錯(cuò)誤率較高。近幾年，以卷積神經(jīng)網(wǎng)絡(luò)為代表的深度學(xué)習(xí)方法被廣泛地應(yīng)用于肺結(jié)節(jié)良惡性的判斷，并顯著地推動(dòng)了早期肺癌的精確診斷。然而，手動(dòng)設(shè)計(jì)復(fù)雜的神經(jīng)網(wǎng)絡(luò)架構(gòu)非常耗費(fèi)計(jì)算資源，且嚴(yán)重依賴(lài)研究人員的先驗(yàn)知識(shí)。此外，現(xiàn)有的基于深度學(xué)習(xí)的肺結(jié)節(jié)分類(lèi)方法參數(shù)較多，且無(wú)法很好地解釋每個(gè)參數(shù)的含義以及模型的運(yùn)行機(jī)制，可解釋性較差。

基于上述問(wèn)題，本文提出了一種基于神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索的肺結(jié)節(jié)分類(lèi)算法。本文所提算法的主要工作在于：1）提出了一種基于神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索的肺結(jié)節(jié)分類(lèi)方法，將卷積cell作為組成網(wǎng)絡(luò)架構(gòu)的基本單元，并采用偏序枝剪進(jìn)行網(wǎng)絡(luò)架構(gòu)的尋優(yōu)。2）將通道注意力和空間注意力機(jī)制加入到卷積cell中，構(gòu)建多尺度通道和空間注意力模塊來(lái)提高不同尺度語(yǔ)言信息的提取效果。3）構(gòu)建了一種基于堆疊法的多模型融合策略，融合搜索到的多個(gè)網(wǎng)絡(luò)模型和支持向量機(jī)（Support Vector Machine， SVM）分類(lèi)器，以達(dá)到更加精確的分類(lèi)效果。

1 相關(guān)工作

肺結(jié)節(jié)分類(lèi)的準(zhǔn)確率很大程度上影響醫(yī)生的診斷結(jié)果，傳統(tǒng)的基于機(jī)器學(xué)習(xí)的肺結(jié)節(jié)分類(lèi)方法首先構(gòu)造手工特征，然后基于手工特征進(jìn)行分類(lèi)模型的學(xué)習(xí)。例如，李祥霞等［3］將提取的形態(tài)和紋理特征點(diǎn)輸入隨機(jī)游走算法中來(lái)分割肺結(jié)節(jié)，并使用隨機(jī)森林算法預(yù)測(cè)良惡性；強(qiáng)彥等［4］提出了雙向隸屬度模糊支持向量機(jī)算法進(jìn)行肺結(jié)節(jié)良惡性分類(lèi)，并通過(guò)計(jì)算樣本與中心點(diǎn)的距離得到每個(gè)類(lèi)別的隸屬度；高峰等［5］使用Bootstrap算法集成支持向量機(jī)的分類(lèi)結(jié)果構(gòu)造高精度的分類(lèi)器；張婧等［6］提出了基于規(guī)則的方法篩選候選結(jié)節(jié)，然后計(jì)算形態(tài)和紋理特征用于肺結(jié)節(jié)分類(lèi)模型的學(xué)習(xí)。該類(lèi)方法受限于低水平手工設(shè)計(jì)特征的表示能力和分類(lèi)器模型的學(xué)習(xí)能力，很難獲得高水平的分類(lèi)精度。

近年來(lái)，基于深度學(xué)習(xí)的肺結(jié)節(jié)分類(lèi)方法受到了廣泛的關(guān)注。其中，Shen等［7］提出了一種采用多裁剪池化層的深度卷積網(wǎng)絡(luò)，并通過(guò)裁剪出的不同特征圖的結(jié)節(jié)特征信息來(lái)實(shí)現(xiàn)肺結(jié)節(jié)良惡性分類(lèi)建模；Xie等［8］提出了一種融合紋理、形狀和深度學(xué)習(xí)特征的分類(lèi)模型來(lái)實(shí)現(xiàn)肺結(jié)節(jié)分類(lèi)；Xie等［9］還提出了一種基于多視圖知識(shí)協(xié)作的胸部CT肺結(jié)節(jié)分類(lèi)算法，將三維結(jié)節(jié)用9個(gè)二維視圖來(lái)表示，并使用3種圖像塊來(lái)表征結(jié)節(jié)的特征進(jìn)行肺結(jié)節(jié)良惡性分類(lèi)。然而，基于深度學(xué)習(xí)的肺結(jié)節(jié)分類(lèi)方法需要大量的專(zhuān)業(yè)知識(shí)和設(shè)計(jì)經(jīng)驗(yàn)，且存在參數(shù)多和模型運(yùn)行機(jī)制可解釋性差等問(wèn)題。

2 本文所提分類(lèi)算法

針對(duì)現(xiàn)有基于深度學(xué)習(xí)的方法存在的參數(shù)多且模型可解釋性差等問(wèn)題，本文提出了一種基于神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索的肺結(jié)節(jié)分類(lèi)算法，如圖1所示。本文所提算法使用神經(jīng)架構(gòu)搜索（Neural Architecture Search， NAS）技術(shù)設(shè)計(jì)網(wǎng)絡(luò)，并在網(wǎng)絡(luò)中構(gòu)建多尺度注意力模塊，最后將搜索到的網(wǎng)絡(luò)框架進(jìn)行多模型融合。具體的實(shí)現(xiàn)過(guò)程如下。

圖1 基于神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索的肺結(jié)節(jié)分類(lèi)算法框架Fig. 1 Framework of lung nodule classification algorithm based on neural network architecture search

2.1 多尺度注意力模塊構(gòu)建

本文采用多尺度通道和空間注意力機(jī)制（Multi-Scale Spatial and Channel Attention Mechanism， MS-SCAM）同時(shí)關(guān)注通道注意力和空間注意力。給定特征圖F，輸入通道注意力模塊得到一維通道注意力向量，通道注意力表征了每個(gè)通道的重要性。輸入空間注意力模塊得到3D空間注意力向量，用來(lái)表征每個(gè)位置的重要性。

整個(gè)過(guò)程的計(jì)算如下。

通道注意力：

空間注意力：

其中：G（F）為全局通道注意力；L（F）為本地通道注意力；S（F）為空間注意力。

2.2 神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索機(jī)制

2.2.1 搜索空間

遵循神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索方法中微型搜索空間［10］的思路，本文將注意力殘差卷積cell作為基本單元來(lái)構(gòu)造搜索空間。為了搜索到性能更好的網(wǎng)絡(luò)架構(gòu)，本文通過(guò)堆疊cell的數(shù)量增加網(wǎng)絡(luò)的深度。在注意力殘差卷積cell的構(gòu)建中，每個(gè)cell的內(nèi)部結(jié)構(gòu)是由n個(gè)節(jié)點(diǎn)構(gòu)成的有向圖，如圖2所示。其中，前兩個(gè)節(jié)點(diǎn)為輸入，中間的個(gè)節(jié)點(diǎn)為中間節(jié)點(diǎn)，最后有一個(gè)為輸出節(jié)點(diǎn)。

圖2 注意力殘差卷積cell示意圖Fig. 2 Schematic diagram of attention residual convolution cell

前兩層cell的輸出作為第k層cell的兩個(gè)輸入，其中和代表第k層cell的第1個(gè)節(jié)點(diǎn)和第2個(gè)節(jié)點(diǎn)。

輸出節(jié)點(diǎn)為中間節(jié)點(diǎn)的concat連接：

當(dāng)上一層的輸出與當(dāng)前層的輸出通道數(shù)相同時(shí)，直接將上層輸出輸入到多尺度通道和空間注意力模塊。當(dāng)通道數(shù)不同時(shí)，首先對(duì)上一層輸出進(jìn)行上采樣，使其與當(dāng)前層的輸出具有相同的通道數(shù)。通過(guò)注意力殘差卷積cell，當(dāng)前層輸出的特征將包含更豐富的語(yǔ)義信息。

如圖1所示，本文預(yù)先設(shè)定的基于注意力殘差卷積cell的搜索空間的6個(gè)實(shí)現(xiàn)階段分別為：第1～5階段以若干個(gè)注意力殘差卷積cell與多尺度通道和空間注意力模塊對(duì)輸入特征圖進(jìn)行卷積，第6階段使用全局平均池化層和全連接層生成最終的分類(lèi)預(yù)測(cè)。由于第1～2階段在較大的特征圖上提取低級(jí)特征，網(wǎng)絡(luò)層數(shù)過(guò)多會(huì)加重架構(gòu)搜索的負(fù)擔(dān)。

為了提高網(wǎng)絡(luò)的搜索效率，本文在前兩個(gè)階段僅使用兩個(gè)卷積層，即Conv1和Conv2。在第3～5階段，每個(gè)階段都由L、M和N個(gè)殘差塊組成，其中L、M和N是整數(shù)。殘差塊由兩個(gè)卷積層和一個(gè)多尺度通道和空間注意力模塊組成，后面殘差塊的通道數(shù)一般大于前面殘差塊的通道數(shù)。

2.2.2 搜索策略

本文使用搜索空間偏序枝剪（Partial Order Pruning， POP）策略［11］，以獲得搜索速度和性能的均衡。POP策略的核心是偏序關(guān)系，搜索空間中架構(gòu)之間的偏序關(guān)系，通過(guò)這種關(guān)系定義結(jié)構(gòu)之間的先后順序。偏序是集合論中的概念，在集合中若x比y更淺更窄則x為y的前序，前序具有更快的速度和更低的精度。

在具體的實(shí)現(xiàn)過(guò)程中，本文通過(guò)以下限制條件來(lái)降低搜索空間的復(fù)雜度：

所有候選模型不超過(guò)9個(gè)殘差塊，并且每個(gè)殘差塊不超過(guò)128個(gè)通道。經(jīng)過(guò)枝剪的搜索空間迭代搜索得到網(wǎng)絡(luò)架構(gòu)，并依據(jù)準(zhǔn)確率更新搜索空間，直到搜索到準(zhǔn)確率和速度均衡的架構(gòu)。

2.3 多模型融合

由于神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索過(guò)程的隨機(jī)性，每次搜索到的模型性能也會(huì)存在差異。為了盡可能在有限的計(jì)算資源條件下獲得性能最優(yōu)的模型，本文提出了一種多模型融合的算法。具體的實(shí)現(xiàn)過(guò)程如圖3所示。

圖3 多模型融合算法流程Fig. 3 Flow chart of multi-model fusion algorithm

首先針對(duì)搜索的每一個(gè)網(wǎng)絡(luò)架構(gòu)分別訓(xùn)練網(wǎng)絡(luò)模型，然后根據(jù)模型測(cè)試結(jié)果篩選效果較好的幾個(gè)模型［12-13］作為基本框架。

2.3.1 基于加權(quán)投票的多模型融合

為了改善模型的測(cè)試結(jié)果，本文采用投票法對(duì)多個(gè)網(wǎng)絡(luò)搜索架構(gòu)進(jìn)行模型融合。首先，以訓(xùn)練搜索到的5個(gè)性能較好的網(wǎng)絡(luò)模型作為基本模型，對(duì)于每個(gè)網(wǎng)絡(luò)返回的肺結(jié)節(jié)良性和惡性類(lèi)別的概率預(yù)測(cè)，分別針對(duì)良性和惡性每個(gè)類(lèi)別計(jì)算每個(gè)模型分類(lèi)概率的加權(quán)平均值。權(quán)重根據(jù)模型測(cè)試的F1分?jǐn)?shù)計(jì)算，按照加權(quán)平均概率投票進(jìn)行模型融合，權(quán)重計(jì)算式如下：

對(duì)于惡性和良性?xún)蓚€(gè)類(lèi)別分別計(jì)算出5個(gè)模型的加權(quán)平均概率Pmalignant和Pbenign，計(jì)算式為式（9）、（10）所示，通過(guò)投票表決取所得加權(quán)平均概率較高的類(lèi)別為最終分類(lèi)結(jié)果。

2.3.2 基于堆疊法的多模型融合

為了構(gòu)建基于堆疊法的多模型融合肺結(jié)節(jié)分類(lèi)方法，本文構(gòu)建了兩層的堆疊模型。第一層對(duì)所有神經(jīng)架構(gòu)搜索模型在初始訓(xùn)練數(shù)據(jù)集上訓(xùn)練，并采用10折交叉驗(yàn)證，將預(yù)測(cè)結(jié)果作為輸入第二層的訓(xùn)練數(shù)據(jù)集進(jìn)行訓(xùn)練，二級(jí)分類(lèi)器使用SVM模型。

如圖4所示，基于堆疊法的多模型融合的步驟為：1）5個(gè)性能較好的搜索架構(gòu)模型均在訓(xùn)練數(shù)據(jù)集上進(jìn)行訓(xùn)練，進(jìn)行10折交叉驗(yàn)證，其中9折為訓(xùn)練集，1折為驗(yàn)證集；2）將訓(xùn)練集上每一折的預(yù)測(cè)結(jié)果拼接為由5個(gè)變量組成的新的訓(xùn)練集；3）在測(cè)試集上對(duì)10折測(cè)試結(jié)果取平均值，每個(gè)模型的預(yù)測(cè)結(jié)果拼接為由5個(gè)變量組成的新的測(cè)試集；4）在新的訓(xùn)練集上進(jìn)行訓(xùn)練，使用SVM分類(lèi)器預(yù)測(cè)結(jié)果作為最終分類(lèi)結(jié)果，得到訓(xùn)練好的完整的網(wǎng)絡(luò)模型。第二層模型采用的SVM分類(lèi)器通過(guò)網(wǎng)格搜索法確定最優(yōu)的參數(shù)C和γ。

圖4 基于堆疊法的多模型融合步驟Fig. 4 Steps of multi-model fusion based on stacking

3 實(shí)驗(yàn)與結(jié)果分析

3.1 數(shù)據(jù)集和參數(shù)配置

本文選用的數(shù)據(jù)集為符合LUNA16相關(guān)設(shè)置的LIDC-IDRI數(shù)據(jù)集［7］。LUNA16是LIDC-IDRI數(shù)據(jù)集的子集，該子集刪除了切片厚度大于3 mm，切片間距不一致或丟失的CT掃描，還刪除了小于3 mm的帶標(biāo)注結(jié)節(jié)，其中包含了888例病例圖像。根據(jù)LIDC-IDRI數(shù)據(jù)集的注釋?zhuān)睆降扔诨虼笥? mm的結(jié)節(jié)最多由4位放射科醫(yī)生勾勒出輪廓，且每個(gè)結(jié)節(jié)按良惡性程度被劃分為5個(gè)等級(jí)（1～5，其中1表示惡性程度最低，5表示惡性程度最高）。

本文數(shù)據(jù)集選取平均評(píng)分小于3的結(jié)節(jié)為良性肺結(jié)節(jié)，平均評(píng)分大于3的結(jié)節(jié)為惡性肺結(jié)節(jié)，并且刪除平均評(píng)分為3的結(jié)節(jié)，共包含1 004個(gè)肺結(jié)節(jié)，其中有554個(gè)良性結(jié)節(jié)和450個(gè)惡性結(jié)節(jié)，并使用其中900個(gè)樣本作為訓(xùn)練集，另外104個(gè)樣本作為驗(yàn)證集。

實(shí)驗(yàn)環(huán)境的硬件配置為PR2720G服務(wù)器，包含型號(hào)為Intel Xeon E5-2620的32核CPU，64 GB內(nèi)存，12 GB顯存的TITAN Xp GPU；軟件配置為在Ubuntu 18.04系統(tǒng)及Pytorch框架Python3.6環(huán)境下運(yùn)行。

3.2 評(píng)價(jià)指標(biāo)

本文采用準(zhǔn)確率（Accuracy， Acc.）、敏感性（Sensitivity， Sens.）、特異性（Specificity， Spec.）、精確率（Precision， Pre.）、AUC和F1值等常用的圖像分類(lèi)評(píng)估標(biāo)準(zhǔn)作為評(píng)價(jià)指標(biāo)，以全面評(píng)價(jià)本文所提算法的分類(lèi)性能。

準(zhǔn)確率表示總的樣本數(shù)中類(lèi)別預(yù)測(cè)正確的樣本數(shù)所占的比例：

敏感性又稱(chēng)召回率（Recall），表征的是正樣本里預(yù)測(cè)正確的比例：

特異性表示負(fù)樣本里預(yù)測(cè)正確的比例：

精確率表示預(yù)測(cè)樣本中預(yù)測(cè)正確的樣本占該預(yù)測(cè)樣本總數(shù)的比例：

AUC是接收器工作特性曲線下的面積，反映的是分類(lèi)器的分類(lèi)能力。F1值是精確率和召回率的平均值：

3.3 注意力機(jī)制對(duì)算法性能的影響

在LIDC-IDRI數(shù)據(jù)集上，驗(yàn)證MS-SCAM模塊、注意力殘差卷積cell和集成策略對(duì)算法性能的影響。

首先，本文使用神經(jīng)架構(gòu)搜索（NAS）技術(shù)，從網(wǎng)絡(luò)架構(gòu)中刪除MS-SCAM模塊，并使用常規(guī)的卷積cell作為搜索空間的基本單元，然后以搜索到的最佳網(wǎng)絡(luò)架構(gòu)作為基準(zhǔn)模型。

之后，依次加入MS-SCAM模塊、注意力殘差卷積cell和集成策略來(lái)構(gòu)建分類(lèi)網(wǎng)絡(luò)模型，具體的分類(lèi)性能如表1所示，加粗?jǐn)?shù)據(jù)表示最好的分類(lèi)結(jié)果。

表1 不同策略下的消融實(shí)驗(yàn)結(jié)果 單位：%Tab. 1 Ablation experimental results under different strategies unit：%

由表1可知，加入MS-SCAM模塊和集成策略（integrated）后使F1值比加入前分別提高了1.41個(gè)百分點(diǎn)和2.01個(gè)百分點(diǎn)，同時(shí)加入兩者使F1值提高了2.09個(gè)百分點(diǎn)。實(shí)驗(yàn)結(jié)果表明，本文所提算法框架中的MS-SCAM模塊和集成策略可以提高基準(zhǔn)模型的性能，有助于獲得高的肺結(jié)節(jié)分類(lèi)準(zhǔn)確率。

其次，為了驗(yàn)證MS-SCAM模塊的作用，本文首先刪除了MS-SCAM模塊進(jìn)行網(wǎng)絡(luò)模型訓(xùn)練，然后依次在第3～5階段添加MS-SCAM模塊來(lái)觀察分類(lèi)性能的變化。加入不同數(shù)量MS-SCAM模塊后模型的分類(lèi)性能如表2所示。

表2 MS-SCAM模塊數(shù)對(duì)分類(lèi)性能的影響 單位：%Tab. 2 Influence of number of MS-SCAM modules on classification performance unit：%

由表2可以看出，添加了MS-SCAM模塊的第3～5階段效果最佳，表明本文添加了MS-SCAM模塊能夠提高分類(lèi)算法的分類(lèi)精度。

此外，本文還驗(yàn)證了MS-SCAM模塊中通道注意力和空間注意力的順序?qū)λ惴ㄐ阅艿挠绊?，并分別構(gòu)建了“通道注意力+空間注意力”和“空間注意力+通道注意力”兩種不同的模塊，模塊結(jié)構(gòu)如圖5所示，驗(yàn)證結(jié)果如表3所示。

表3 通道注意力和空間注意力順序?qū)Ψ诸?lèi)性能的影響 單位：%Tab. 3 Influence of order of channel attention and spatial attention on classification performance unit：%

圖5 通道注意力和空間注意力順序設(shè)置示意圖Fig. 5 Schematic diagram of order setting of channel attention and spatial attention

由表3可知，“通道注意力+空間注意力”設(shè)置方式在除特異性外的所有性能評(píng)價(jià)指標(biāo)上均得到了更好的結(jié)果，表明“通道注意力+空間注意力”構(gòu)造的MS-SCAM模塊具有更好的分類(lèi)性能，能夠提高肺結(jié)節(jié)的分類(lèi)精度。原因在于通道注意力主要聚焦于輸入圖像的有效特征，空間注意力主要聚焦于輸入圖像有效特征的豐富性。

3.4 神經(jīng)架構(gòu)搜索對(duì)算法性能的影響

本文以文獻(xiàn)［14］提出的去掉CBAM模塊后的搜索空間作為基本搜索空間，記為NASpure，依次替換殘差卷積cell構(gòu)造搜索空間和使用偏序枝剪策略進(jìn)行架構(gòu)搜索，結(jié)果如表4所示。

由表4可知，相較于NASpure，使用殘差卷積cell替換普通的卷積作為搜索空間基本單元，模型準(zhǔn)確率、敏感性、特異性、精確率、AUC和F1分?jǐn)?shù)分別提高了0.51、0.99、1.50、0.81、1.76和1.97個(gè)百分點(diǎn)；使用偏序枝剪搜索策略使得模型準(zhǔn)確率、敏感性、特異性、精確率、AUC和F1分?jǐn)?shù)分別提高了0.24、0.55、0.87、0.35、0.40和1.15個(gè)百分點(diǎn)；同時(shí)使用殘差卷積cell和偏序枝剪搜索策略使得模型準(zhǔn)確率、敏感性、特異性、精確率、AUC和F1分?jǐn)?shù)分別提高了0.53、2.82、4.01、1.87、3.02和2.51個(gè)百分點(diǎn)。因此，本文所提殘差卷積cell和偏序枝剪搜索策略能夠提升基于神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索的肺結(jié)節(jié)分類(lèi)算法的精度。

3.5 多模型融合策略對(duì)算法性能的影響

為了盡可能在有限的計(jì)算資源條件下獲得性能最優(yōu)的模型，本文采用多模型融合的方式來(lái)實(shí)現(xiàn)肺結(jié)節(jié)的高精度分類(lèi)。為了驗(yàn)證不同的多模型融合策略對(duì)算法分類(lèi)性能的影響，本文分別基于加權(quán)投票和堆疊法進(jìn)行分類(lèi)性能的對(duì)比，實(shí)驗(yàn)結(jié)果如表5所示。

表4 神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索設(shè)置對(duì)分類(lèi)性能的影響 單位：%Tab. 4 Influence of neural network architecture search setting on classification performance unit：%

由表5可知，基于堆疊法的多模型融合策略取得了比基于加權(quán)投票法的多模型融合策略更好的效果。盡管加權(quán)投票法在參數(shù)量這一指標(biāo)上具有優(yōu)勢(shì)，但整體評(píng)價(jià)性能上堆疊法更有優(yōu)勢(shì)。

3.6 與最新方法的性能比較

為了驗(yàn)證本文所提算法的有效性，將其與六種最新的肺結(jié)節(jié)分類(lèi)算法進(jìn)行對(duì)比：Autoencoder［15］采用自動(dòng)編碼器網(wǎng)絡(luò)提取肺結(jié)節(jié)特征，用二叉決策樹(shù)對(duì)結(jié)節(jié)良惡性進(jìn)行分類(lèi)；MC-CNN（Multi-Crop Convolutional Neural Networks）［7］采用多裁剪池化層的深度卷積網(wǎng)絡(luò)，并通過(guò)裁剪出的不同特征圖的結(jié)節(jié)特征信息來(lái)實(shí)現(xiàn)肺結(jié)節(jié)良惡性分類(lèi)建模；Local-Global［16］利用全局特征提取器分析結(jié)節(jié)的形狀和大小，利用局部特征提取器分析結(jié)節(jié)的密度和結(jié)構(gòu)；DeepLung［17］設(shè)計(jì)了一個(gè)三維快速區(qū)域卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行結(jié)節(jié)檢測(cè)，提出了具有三維雙路徑網(wǎng)絡(luò)特征的梯度提升機(jī)進(jìn)行結(jié)節(jié)分類(lèi)；NAS-lung（Neural Architecture Search lung）［14］使用神經(jīng)架構(gòu)搜索自動(dòng)搜索3D網(wǎng)絡(luò)架構(gòu)，在卷積網(wǎng)絡(luò)中使用注意力模塊，該模型對(duì)準(zhǔn)確性和速度進(jìn)行了較好的權(quán)衡，是具有部分可解釋的分類(lèi)模型；MV-KBC（Multi-View Knowledge-Based Collaboration）［9］基于多視圖知識(shí)協(xié)作的胸部CT肺結(jié)節(jié)分類(lèi)算法，將三維結(jié)節(jié)用9個(gè)二維視圖來(lái)表示，并使用3種圖像塊來(lái)表征結(jié)節(jié)的特征進(jìn)行肺結(jié)節(jié)良惡性分類(lèi)。各肺結(jié)節(jié)分類(lèi)算法在LIDC-IDRI數(shù)據(jù)集上的性能對(duì)比如表6所示。其中，參數(shù)，。

表5 多模型融合策略對(duì)分類(lèi)性能的影響Tab. 5 Influence of multi-model fusion strategy on classification performance

表6 LIDC-IDRI數(shù)據(jù)集上不同分類(lèi)算法的性能對(duì)比Tab. 6 Performance comparison of different classification algorithms on LIDC-IDRI dataset

由表6可知，本文所提算法在特異性、精確率度量指標(biāo)上均取得了最好的分類(lèi)結(jié)果，驗(yàn)證了本文所提肺結(jié)節(jié)分類(lèi)算法的可靠性較高，能更加精確地預(yù)測(cè)良惡性類(lèi)別。此外，在準(zhǔn)確率、敏感性和F1分?jǐn)?shù)等度量指標(biāo)上，本文所提算法均取得了第2的分類(lèi)精度；同時(shí)，較少的模型參數(shù)也使得本文所提算法的輕量化構(gòu)建成為可能，實(shí)現(xiàn)了性能和速度的平衡。

4 結(jié)語(yǔ)

針對(duì)基于深度學(xué)習(xí)方法的肺結(jié)節(jié)分類(lèi)模型存在的結(jié)構(gòu)復(fù)雜和可解釋性較差等問(wèn)題，本文構(gòu)建了一種基于神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索的肺結(jié)節(jié)分類(lèi)算法。該算法通過(guò)多尺度注意力模塊、神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索和多模型融合三個(gè)主要實(shí)現(xiàn)環(huán)節(jié)的構(gòu)建，實(shí)現(xiàn)了輕量化、精度高、收斂快的肺結(jié)節(jié)分類(lèi)。本文在廣泛使用的LIDC-IDRI數(shù)據(jù)集上對(duì)三個(gè)主要實(shí)現(xiàn)環(huán)節(jié)進(jìn)行了實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果表明本文所提算法框架各子模塊能夠助力分類(lèi)精度的提升。此外，將本文所提算法與當(dāng)前最新肺結(jié)節(jié)分類(lèi)方法在標(biāo)準(zhǔn)的度量指標(biāo)上進(jìn)行了對(duì)比，同樣驗(yàn)證了本文所提輕量化網(wǎng)絡(luò)模型能夠產(chǎn)生高精度的分類(lèi)結(jié)果。后續(xù)工作將重點(diǎn)圍繞更加輕量化的實(shí)時(shí)分類(lèi)網(wǎng)絡(luò)模型構(gòu)建展開(kāi)深入研究。

[1] BRAY F， FERLAY J， SOERJOMATARAM I， et al. Global cancer statistics 2018： GLOBOCAN estimates of incidence and mortality worldwide for 36 cancers in 185 countries ［J］. CA： A Cancer Journal for Clinicians， 2018， 68（6）： 394-424.

[2] 中華醫(yī)學(xué)會(huì)呼吸病學(xué)分會(huì)肺癌學(xué)組，中國(guó)肺癌防治聯(lián)盟專(zhuān)家組.肺結(jié)節(jié)診治中國(guó)專(zhuān)家共識(shí)（2018年版）［J］.中華結(jié)核和呼吸雜志，2018，41（10）：763-771.（Lung Cancer Group of Chinese Thoracic Society of Chinese Medical Association， Expert Group of China Lung Cancer Prevention and Treatment Alliance. Interpretation of Chinese expert consensus on the diagnosis and treatment of pulmonary nodules （2018 version） ［J］. Chinese Journal of Tuberculosis and Respiratory Diseases， 2018， 41（10）： 763-771.）

[3] 李祥霞，李彬，田聯(lián)房，等.基于放射影像組學(xué)和隨機(jī)森林算法的肺結(jié)節(jié)良惡性分類(lèi)［J］.華南理工大學(xué)學(xué)報(bào)（自然科學(xué)版），2018，46（8）：72-80.（LI X X， LI B， TIAN L F， et al. Classification of benign and malignant pulmonary nodules based on radiomics and random forests algorithm ［J］. Journal of South China University of Technology （Natural Science Edition）， 2018， 46（8）： 72-80.）

[4] 強(qiáng)彥，裴博，趙涓涓，等.模糊支持向量機(jī)在肺結(jié)節(jié)良惡性分類(lèi)中的應(yīng)用［J］.清華大學(xué)學(xué)報(bào)（自然科學(xué)版），2014，54（3）：354-359.（QIANG Y， PEI B， ZHAO J J， et al. Classification on pulmonary nodules based on a fuzzy support vector machine ［J］. Journal of Tsinghua University （Science and Technology）， 2014， 54（3）： 354-359.）

[5] 高峰，代美玲，祁瑾.基于Bootstrap-異質(zhì)SVM集成學(xué)習(xí)的肺結(jié)節(jié)分類(lèi)方法［J］.天津大學(xué)學(xué)報(bào)（自然科學(xué)與工程技術(shù)版），2017，50（3）：321-327.（GAO F， DAI M L， QI J. Classification of lung nodules by ensemble learning based on Bootstrap-heterogeneous SVM ［J］. Journal of Tianjin University （Science and Technology）， 2017， 50（3）： 321-327.）

[6] 張婧，李彬，田聯(lián)房，等.結(jié)合規(guī)則和SVM方法的肺結(jié)節(jié)識(shí)別［J］.華南理工大學(xué)學(xué)報(bào)（自然科學(xué)版），2011，39（2）：125-129，147.（ZHANG J， LI B， TIAN L F， et al. Lung nodule recognition combining rule-based method and SVM ［J］. Journal of South China University of Technology （Natural Science Edition）， 2011， 39（2）： 125-129， 147.）

[7] SHEN W， ZHOU M， YANG F， et al. Multi-crop convolutional neural networks for lung nodule malignancy suspiciousness classification ［J］. Pattern Recognition， 2017， 61： 663-673.

[8] XIE Y T， ZHANG J P， XIA Y， et al. Fusing texture， shape and deep model-learned information at decision level for automated classification of lung nodules on chest CT ［J］. Information Fusion， 2018， 42： 102-110.

[9] XIE Y T， XIA Y， ZHANG J P， et al. Knowledge-based collaborative deep learning for benign-malignant lung nodule classification on chest CT ［J］. IEEE Transactions on Medical Imaging， 2019， 38（4）： 991-1004.

[10] ELSKEN T， METZEN J H， HUTTER F. Neural architecture search： a survey ［J］. Journal of Machine Learning Research， 2019， 20： 1-21.

[11] LI X， ZHOU Y M， PAN Z， et al. Partial order pruning： for best speed/accuracy trade-off in neural architecture search ［C］// Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2019：9137-9145.

[12] 慧影醫(yī)療科技（北京）有限公司.一種基于多模型融合的肺結(jié)節(jié)檢測(cè)方法及系統(tǒng)：中國(guó)，201910399988.6［P］.2019-08-30.（Huiying Medical Technology （Beijing） Company Limited. A multi-model fusion-based method and system for detecting lung nodules： China，201910399988.6 ［P］. 2019-08-30.）

[13] LI F， CHENG D N， LIU M H. Alzheimer’s disease classification based on combination of multi-model convolutional networks ［C］// Proceedings of the 2017 IEEE International Conference on Imaging Systems and Techniques. Piscataway： IEEE， 2017： 1-5.

[14] JIANG H L， SHEN F H， GAO F， et al. Learning efficient， explainable and discriminative representations for pulmonary nodules classification ［J］. Pattern Recognition， 2021， 113： Article No.107825.

[15] KUMAR D， WONG A， CLAUSI D A. Lung nodule classification using deep features in CT images ［C］// Proceedings of the 2015 12th Conference on Computer and Robot Vision. Piscataway： IEEE， 2015：133-138.

[16] AL-SHABI M， LAN B L， CHAN W Y， et al. Lung nodule classification using deep local-global networks ［J］. International Journal of Computer Assisted Radiology and Surgery， 2019， 14（10）： 1815-1819.

[17] ZHU W T， LIU C C， FAN W， et al. DeepLung： deep 3D dual path nets for automated pulmonary nodule detection and classification ［C］// Proceedings of the 2018 IEEE Winter Conference on Applications of Computer Vision. Piscataway： IEEE， 2018： 673-681.

Lung nodule classification algorithm based on neural network architecture search

XIE Xinlin1，2， XIAO Yi3， XU Xinying3*

（1.School of Electronic Information Engineering，Taiyuan University of Science and Technology，Taiyuan Shanxi030024，China；2.Shanxi Key Laboratory of Advanced Control and Equipment Intelligence（Taiyuan University of Science and Technology），Taiyuan Shanxi030024，China；3.College of Electrical and Power Engineering，Taiyuan University of Technology，Taiyuan Shanxi030024，China）

Lung nodule classification is an important task in the diagnosis of early-stage lung cancer. Although the lung nodule classification methods based on deep learning can achieve good classification accuracy， they have the problems of complex model and poor interpretability. Therefore， a lung nodule classification algorithm based on neural network architecture search was proposed. Firstly， the attention residual convolution cell was regarded as the basic unit of the search space， and the partial order pruning method was used as the search strategy to construct the neural network architecture for searching 3D classification network， thereby achieving the balance between network performance and search speed. Then， the multi-scale channels and spatial attention modules were constructed in the network to improve the interpretability of feature description and categorical inference. Finally， the stacking method was used to merge the searched network architectures with multiple models to obtain accurate prediction results of classification of benign and malignant lung nodules. Compared with the state-of-the-art lung nodule classification methods， the proposed algorithm has better classification performance and faster convergence on the widely-used lung nodule classification dataset LIDC-IDRI. Moreover， the proposed algorithm has the specificity and precision reached 95.37% and 93.42% respectively， showing it can achieve accurate classification of benign and malignant lung nodules.

lung nodule classification; neural network architecture search; attention module; multi-model fusion; deep learning

A

TP391.4

1001-9081（2022）05-1424-07

10.11772/j.issn.1001-9081.2021050813

2021?05?17；

2021?09?26；

2021?11?26。

國(guó)家自然科學(xué)基金資助項(xiàng)目（62006169）；山西省自然科學(xué)基金資助項(xiàng)目（201901D211304）。

謝新林（1990—），男，山西運(yùn)城人，講師，博士，CCF會(huì)員，主要研究方向：醫(yī)學(xué)圖像處理、粗糙集； 肖毅（1996—），男，江西贛州人，碩士研究生，主要研究方向：醫(yī)學(xué)圖像處理； 續(xù)欣瑩（1979—），男，山西忻州人，教授，博士，主要研究方向：計(jì)算機(jī)視覺(jué)、粒計(jì)算。

This work is partially supported by National Natural Science Foundation of China （62006169），Natural Science Foundation of Shanxi Province （201901D211304）.

XIE Xinlin， born in 1990， Ph. D.， lecturer. His research interests include medical image processing， rough set.

XIAO Yi， born in 1996， M. S. candidate. His research interests include medical image processing.

XU Xinying， born in 1979， Ph. D.， professor. His research interests include computer vision， granular computing.