基于EfficientNet模型的多特征融合肺癌病理圖像分型

葉紫璇，肖滿生，肖 哲

（湖南工業(yè)大學(xué) 計算機(jī)學(xué)院，湖南 株洲 412007）

0 引言

肺癌是一類高發(fā)病率的惡性腫瘤，其中的肺腺癌（lung adenocarcinoma，LUAD）和鱗狀細(xì)胞肺癌（squamous cell carcinoma of the lung，LUSC）是 最常見的亞型[1]。目前，胸部影像學(xué)檢查如電腦斷層（computed tomography，CT）等只能提供初步的檢查和評估，臨床上的肺癌確診方式主要是依賴于病理學(xué)家在顯微鏡下觀察細(xì)胞及細(xì)胞間的形態(tài)，然而這一過程基于病理學(xué)家的主觀意見，不僅耗時，而且因醫(yī)生的能力不同可能導(dǎo)致較大偏差[2]。如何高效且準(zhǔn)確地確認(rèn)肺癌類型是目前臨床對病理學(xué)專家的迫切要求。隨著人工智能的發(fā)展，目前該領(lǐng)域的研究方法可分為兩類：一類方法是基于傳統(tǒng)機(jī)器學(xué)習(xí)對肺癌病理圖像進(jìn)行研究，主要集中于從圖像中提取人為設(shè)計的特征，如紋理、空間和核分布等相關(guān)特征，然后將提取的特征通過傳統(tǒng)的機(jī)器學(xué)習(xí)算法進(jìn)行預(yù)測；另一類方法則是基于深度學(xué)習(xí)的算法，卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network，CNN）模型可以自動獲取腫瘤空間信息，并且對組織形態(tài)進(jìn)行量化分析，為解決醫(yī)學(xué)圖像領(lǐng)域的困難提供了更多的可能性。

近年來，基于深度學(xué)習(xí)的肺癌病理圖像分類已經(jīng)有了廣泛的研究，A.Teramoto 等[3]通過深度卷積神經(jīng)網(wǎng)絡(luò)設(shè)計了肺癌細(xì)胞病理自動分類模型，其由3 個卷積層、3 個池化層和2 個全連接層組成，該DCNN模型在腺癌、鱗癌和小細(xì)胞癌的分類診斷中的準(zhǔn)確率分別為89.0%，60.0%，70.3%，總準(zhǔn)確率為71.1%，結(jié)果與病理學(xué)家的診斷準(zhǔn)確率相當(dāng)。N.Coudray 等[4]使用Inception v3 模型，不僅在對肺組織及肺癌區(qū)分任務(wù)中獲得了良好的效果，還根據(jù)圖像的形態(tài)特征，預(yù)測了STK11、EGFR、FAT1、SETBP1、KRAS 和TP53 6個突變基因，AUC（area under curve）可達(dá)73.3%～85.6%。基于塊的肺癌病理圖像分類中，寧靜艷等[5]采用卷積神經(jīng)網(wǎng)絡(luò)，分別在隨機(jī)取塊和滑動取塊中取得了86%和81%的總分類精度。以上研究均證明了利用卷積神經(jīng)網(wǎng)絡(luò)在肺癌病理圖像分類中已取得了一些成果。然而仍存在如下問題：1）卷積神經(jīng)網(wǎng)絡(luò)中含有大量的參數(shù)，在樣本量較少的情況下容易造成過擬合；2）卷積神經(jīng)網(wǎng)絡(luò)往往關(guān)注最后一層特征而忽略了其它層的特征，準(zhǔn)確率有待提高。

針對上述問題，借鑒深度卷積網(wǎng)絡(luò)EfficientNets（high-efficiency network）的網(wǎng)絡(luò)結(jié)構(gòu)，課題組提出一種自動對非小細(xì)胞肺癌全掃描組織病理圖像分型的方法，將網(wǎng)絡(luò)中低維特征與包含豐富抽象語義信息的高維特征相結(jié)合，從而豐富特征表示，解決病理圖像區(qū)分度較小的問題。另外，Haralick 紋理特征是借助灰度共生矩陣（gray-level co-occurrence matrix，GLCM）得到的，而灰度共生矩陣是一種通過研究圖像灰度的空間相關(guān)特性來描述紋理的圖像處理方法，其對紋理特征的描述能力較強(qiáng),在病理圖像任務(wù)中取得了較好的效果[6-7]。為減輕網(wǎng)絡(luò)模型對訓(xùn)練樣本的依賴，本研究還融入了紋理特征，建立適用于病理圖像的神經(jīng)網(wǎng)絡(luò)模型來實現(xiàn)全尺寸肺癌組織切片圖像分型的目的。

1 基于特征融合的EfficientNet 模型

1.1 紋理特征

紋理特征是一種全局特征，反映了圖像中同質(zhì)現(xiàn)象的視覺特征，包含了物體表面具有緩慢變換或周期性變化的組織結(jié)構(gòu)的重要信息，具有旋轉(zhuǎn)不變性。常用的紋理特征包括Haralick 紋理特征、Gabor 特征和局部二值模式（local binary patterns，LBP）特征等。課題組提取了Haralick 紋理特征來描述肺癌病理圖像的紋理屬性。

灰度共生矩陣[8]作為紋理特征提取的經(jīng)典算法，其描述的實質(zhì)是統(tǒng)計一對灰度在某種位置下出現(xiàn)的頻率?；叶裙采仃嚩x圖像I 中，統(tǒng)計灰度值為i的像數(shù)點（k,l）與距離為d=(m-k,n-l)、灰度值為j的像素點（m,n）同時出現(xiàn)的概率P(i,j,d,θ)：

式中：#為該集合中的元素個數(shù)；I(k,l)為圖像I中坐標(biāo)為(k,l)的像數(shù)灰度值；d表示兩像素點的歐氏距離；θ通常考慮水平、對角線、垂直及反對角線（0,45,90,135°）4 個不同方向。

R.M.Haralick[9]基于GLCM 提出了14 種統(tǒng)計特征，即角二階矩、熵、對比度、逆差矩、相關(guān)性、方差、和均值、和方差、和熵、差方差、差均值、差熵、相關(guān)信息測度以及最大相關(guān)系數(shù)。能量、熵、對比度、相關(guān)性4 種特征既便于計算又有較好的效果，故本文選取這4個特征代表紋理特征。為使得到的特征向量與方向無關(guān)，需在4 個方向上對特征向量取值，并且由于不同的特征的重要程度不同，本文采用加權(quán)的方法將上述特征fn合成為16 維紋理特征向量ft：

式中λ為特征權(quán)值。

1.2 基于EfficientNet 模型的網(wǎng)絡(luò)特征

在深度學(xué)習(xí)網(wǎng)絡(luò)中，各層特征圖側(cè)重于不同類型的信息，低層次的特征語義信息較少但具有高分辨率信息，高層次的特征分辨率較低，但具有高語義信息，然而網(wǎng)絡(luò)通常以最后輸出的高層次特征圖作為依據(jù)進(jìn)行分類預(yù)測，網(wǎng)絡(luò)低層次的特征信息未得到利用。在計算機(jī)視覺任務(wù)中需要豐富的特征信息，尤其是在醫(yī)學(xué)圖像任務(wù)中，圖像較為復(fù)雜，低層次的特征信息不可忽視，并且有研究表明，結(jié)合淺層特征在一定程度上可以提升模型精度[10]。本研究選取近年來表現(xiàn)優(yōu)異的EfficientNets 網(wǎng)絡(luò)提取圖像多維度的特征。

EfficientNets 是由google 于2019 年使用神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索（neural architecture search）設(shè)計的一系列網(wǎng)絡(luò)模型[11]。在限制目標(biāo)和存儲空間的情況下，通過神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索方式設(shè)計一個主干網(wǎng)絡(luò)，并且將模型進(jìn)行縮放獲取EfficientNet B0～B7 模型。本文以EfficientNet B0 網(wǎng)絡(luò)為主網(wǎng)絡(luò)模型，網(wǎng)絡(luò)參數(shù)如表1 所示，其中，size為卷積核或池化核的大小和數(shù)目，stride表示步長，MBConv（mobile inverted Bottlenneck conv）表示移動倒置瓶頸卷積模塊，k3×3/5×5 分別代表卷積核大小，class 代表類別個數(shù)。

表1 EfficientNet-B0 模型Table 1 EfficientNet-B0 model

由表1 可知，EfficientNet-B0網(wǎng)絡(luò)由16 個移動倒置瓶頸卷積模塊，2 個卷積層，1 個全局平均池化層和1 個分類層構(gòu)成，其中核心結(jié)構(gòu)為MBConv 模塊。該模塊結(jié)構(gòu)類似于MobileNetV2[12]的Inverted residual block 模塊，其結(jié)構(gòu)如圖1 所示。

圖1 MBConv 模塊Fig.1 MBConv block

首先對輸入進(jìn)行1×1 的逐點卷積并根據(jù)擴(kuò)展比例改變輸出通道維度，接著進(jìn)行k×k的深度卷積（depthwise convolution），最后再次使用1×1 的逐點卷積將其維度縮小。同時，該模塊還引入了壓縮與激發(fā)網(wǎng)絡(luò)（squeeze-and-excitation network，SENet）[13]的注意力思想，更能關(guān)注信息量大的通道特征，而抑制不重要的通道特征。值得注意的是，MBConv 模塊激活函數(shù)使用的是Swish 激活函數(shù)，表達(dá)式如式（3）所示：

式中：sigmoid函數(shù)為；β為可調(diào)參數(shù)。

如圖2 所示，以EfficientNet-B0 為主網(wǎng)絡(luò)模型，其最后的卷積層輸出1×1 的卷積結(jié)果，去掉其最后的全連接層與softmax 層，加入一個全連接層，F(xiàn)C1輸出1 024 維特征向量作為模型的深層次特征。由于過于底層的特征圖不具備較高的參考價值，在原始圖像輸入后提取不同MBConv 層的特征圖fd2、fd3。為保留特征圖中的關(guān)鍵信息，在特征跨層連接時僅使用一個全連接層連接，從而獲取FC2、FC3 層特征向量，作為本文的深層網(wǎng)絡(luò)特征。

圖2 EfficientNet-B0 網(wǎng)絡(luò)的改進(jìn)Fig.2 Improved version of EfficientNet-B0 network

1.3 基于EfficientNet 模型的多特征融合算法

特征融合方式主要分為前期融合與后期融合兩種，其中前期融合指先融合多層的特征，然后在融合后的特征上訓(xùn)練預(yù)測器，后期融合則是通過結(jié)合不同層的檢測結(jié)果改進(jìn)檢測性能。串聯(lián)融合屬于前期融合，簡單易行且在特征量不多時效果較好，因此本文選擇串聯(lián)融合方式對上述特征進(jìn)行融合。

如圖2 所示，1×1×B的GLCM 特征向量輸入至由卷積層和全連接層構(gòu)成的紋理特征模型，并將紋理特征ft與EfficientNet B0 網(wǎng)絡(luò)所提取的多維度特征fd1、fd2、…、fdn級聯(lián)起來，得到深度數(shù)據(jù)融合特征f，公式如式（4）所示。

式中，α、γ為可調(diào)權(quán)重。

實驗中，選用concatenate 函數(shù)來完成，能將單特征的全部信息保留并融合。接著多個特征融合后的特征向量被送入softmax 算法實現(xiàn)分類。為防止產(chǎn)生過擬合現(xiàn)象，本文采用Dropout 方法，在不同的訓(xùn)練階段隨機(jī)丟棄不同的神經(jīng)元以減少神經(jīng)元之間的依賴性。同時，用于特征融合的激活函數(shù)選擇ReLU（rectified linear units）函數(shù)，其收斂速度遠(yuǎn)快于sigmoid 和tanh 函數(shù)，且不存在梯度消失問題。

2 基于多特征融合的肺癌病理圖像分型實現(xiàn)過程

2.1 H&E 病理圖像預(yù)處理

對于來自于不同實驗室或不同批次的病理圖像之間存在較大的差異，在圖像進(jìn)行訓(xùn)練前對其進(jìn)行預(yù)處理使提取的特征更為魯棒。對于H&E 病理圖像預(yù)處理包括圖像分塊處理、顏色標(biāo)準(zhǔn)化圖像和數(shù)據(jù)增強(qiáng)3 個步驟。

全尺寸組織病理圖像的尺寸一般為億兆像素級，難以直接進(jìn)行分析，并且背景占WSI 的70%～80%。為解決這一問題，本文對全尺寸組織病理圖像進(jìn)行圖像分塊處理。對于已標(biāo)記的全尺寸病理圖像，為了使圖像能在模型中訓(xùn)練，本文首先獲取全切片病理圖像中被標(biāo)記的位置；再將全尺寸病理圖像按照一定尺寸經(jīng)過不重疊采樣得到若干RGB 三通道的小尺寸病理圖像。同時對RGB 空間的圖像進(jìn)行二值化處理，檢索所有輪廓獲取其面積，選取一閾值對低信息量的小尺寸圖像過濾以降低噪音圖像對模型性能的影響。

本文使用的肺癌病理圖像均為蘇木素-伊紅（H&E）染色組織病理圖像，但是來自不同的醫(yī)療中心，不同樣本以及組織切片制備或圖像采集過程中的不一致導(dǎo)致病理圖像之間具有明顯的差異[14]。采用適當(dāng)?shù)念A(yù)處理可減少這一差異對后續(xù)實驗的影響。因此，本文運用顏色歸一化方法[15]對所有病理圖像進(jìn)行處理。首先，選取一例目標(biāo)圖像，經(jīng)顏色標(biāo)準(zhǔn)化后的小尺寸圖像與目標(biāo)圖像具有相同的高斯分布。本文由病理醫(yī)師根據(jù)主觀判斷選擇染色較好的切片作為目標(biāo)圖像。具體方法借助于HSD（hue-saturationdensity）色彩空間，利用高斯混合模型對數(shù)據(jù)集進(jìn)行聚類，通過數(shù)據(jù)集圖像與目標(biāo)圖像的高斯分布轉(zhuǎn)換，訓(xùn)練出可實現(xiàn)無監(jiān)督的顏色標(biāo)準(zhǔn)化模型。

除此之外，由于已有數(shù)據(jù)集的樣本量有限，本文采用數(shù)據(jù)增強(qiáng)方法將小尺寸病理圖像數(shù)據(jù)擴(kuò)充。通過如翻轉(zhuǎn)、仿射變換、對比度擾動、旋轉(zhuǎn)等方法，在增強(qiáng)數(shù)據(jù)集的同時不改變圖像的組織形態(tài)和紋理特征，以提高模型的泛化性能。

2.2 模型的遷移學(xué)習(xí)

對于傳統(tǒng)的機(jī)器學(xué)習(xí)，將某問題中有用的信息應(yīng)用到不同但相關(guān)的問題中需要復(fù)雜的數(shù)學(xué)推導(dǎo)。相比之下，深度學(xué)習(xí)中的遷移學(xué)習(xí)[16]可以容易地將某個問題所得到的深度學(xué)習(xí)模型應(yīng)用到相關(guān)問題上，因此在缺乏訓(xùn)練數(shù)據(jù)的情況下，可以使用遷移學(xué)習(xí)來解決一些較為困難的預(yù)測問題。癌癥基因組圖譜（the cancer genome atlas，TCGA）作為最大的公開病理圖像數(shù)據(jù)集之一，每個癌種只包含數(shù)百張病理圖像[17]，而ImageNet 數(shù)據(jù)集包含1 400 萬標(biāo)記圖像用于圖像識別任務(wù)，可見，目前仍然缺乏大型已標(biāo)記的病理圖像數(shù)據(jù)集。遷移學(xué)習(xí)可以使用預(yù)訓(xùn)練的網(wǎng)絡(luò)模型和權(quán)重參數(shù)提取特征來進(jìn)行病理圖像分析，如使用ImageNet 數(shù)據(jù)集訓(xùn)練模型中的參數(shù)。研究表明，與從零開始訓(xùn)練相比，遷移學(xué)習(xí)收斂速度更快，準(zhǔn)確率更高[18]。

本文經(jīng)過預(yù)處理得到數(shù)量增大的訓(xùn)練圖像樣本后，采用Pytorch 深度學(xué)習(xí)框架對改進(jìn)的EfficientNet-B0 模型進(jìn)行參數(shù)微調(diào)：

1）輸入訓(xùn)練圖像為224×224×3 的肺癌H&E圖像以及1×1×B的GLCM 特征向量，解凍網(wǎng)絡(luò)層重新進(jìn)行訓(xùn)練；

2）參數(shù)初始化，采用AdamW 優(yōu)化器，將學(xué)習(xí)速率從0.01 降低到0.000 1，使得模型的權(quán)重不會下降過多過快；

3）開始訓(xùn)練，訓(xùn)練集經(jīng)前向傳播，反向傳播，不斷計算梯度和誤差，并更新參數(shù)。

4）重復(fù)步驟3），直至滿足停止條件。

得到訓(xùn)練好參數(shù)的2 分類網(wǎng)絡(luò)模型，即肺鱗癌和肺腺癌。

圖3 為肺癌病理圖像分型流程。

圖3 肺癌病理圖像分型流程圖Fig.3 Pathological image classification process of lung cancer

2.3 肺癌病理圖像分型實現(xiàn)

本文模型主要包含圖像預(yù)處理、模型構(gòu)建與訓(xùn)練以及模型測試3 個部分，流程圖如圖3 所示，具體實現(xiàn)步驟如下。

1）圖像預(yù)處理

輸入：數(shù)據(jù)集L。

輸出：訓(xùn)練集T和測試集V。

利用隨機(jī)函數(shù)對數(shù)據(jù)集進(jìn)行隨機(jī)抽取，80%劃分為訓(xùn)練集，20%劃分為測試集；

對數(shù)據(jù)集中的每一例全尺寸病理圖像進(jìn)行圖像分塊，得到224×224 的小尺寸病理圖像數(shù)據(jù)集；

通過顏色歸一化模型，將圖像分塊后的數(shù)據(jù)集圖像進(jìn)行顏色歸一化操作；

隨后對顏色歸一化后的數(shù)據(jù)集進(jìn)行翻轉(zhuǎn)、仿射變換、對比度擾動、旋轉(zhuǎn)等圖像增強(qiáng)操作，得到擴(kuò)展后的數(shù)據(jù)集。

2）模型構(gòu)建與訓(xùn)練

輸入：訓(xùn)練集T。

輸出：訓(xùn)練好的網(wǎng)絡(luò)模型。

將訓(xùn)練集中每一張小尺寸圖像轉(zhuǎn)換為灰度圖像，采用2.1 節(jié)的方法計算灰度共生矩陣，提取紋理特征；

利用EfficientNet B0 模型對每一張小尺寸圖像提取多維度特征；

連接所有特征的全連接層，實現(xiàn)特征融合；

將融合特征輸入Softmax 層中，構(gòu)建肺癌病理圖像分型模型；

利用遷移學(xué)習(xí)策略訓(xùn)練模型，得到訓(xùn)練好的網(wǎng)絡(luò)模型。

3）模型測試

輸入：測試集V。

輸出：準(zhǔn)確率。

1）將測試集中的所有樣本輸入訓(xùn)練好的網(wǎng)絡(luò)模型中進(jìn)行預(yù)測；

2）統(tǒng)計預(yù)測結(jié)果，得到準(zhǔn)確率。

3 實驗結(jié)果與分析

3.1 實驗數(shù)據(jù)

本文所用的數(shù)據(jù)集來源于癌癥基因組圖譜（網(wǎng)址：https://www.cancer.gov/about-nci/organiza-tion/ ccg/research/structural-genomics/tcga）公共數(shù)據(jù)庫，共采用302 例非小細(xì)胞肺癌全掃描組織病理圖像，其中包含169 例肺腺癌切片和133 例肺鱗癌切片，并且臨床病理醫(yī)生對全掃描組織病理圖像進(jìn)行癌癥區(qū)域標(biāo)記。本文按照8:2 的比例將數(shù)據(jù)集分為訓(xùn)練集和測試集。為了實驗的真實性與統(tǒng)一性，隨機(jī)選取數(shù)據(jù)，所有的圖像都經(jīng)過了相應(yīng)的預(yù)處理。

3.2 實驗環(huán)境

實驗平臺硬件配置：Intel(R)Xeon(R)E5-2640v4@2.40GHz 10 核CPU；64 GB DIMM 2 400 MHz 內(nèi)存；Matrox G200eR2 獨立顯卡；64 位Linux 操作系統(tǒng)。軟件方面：anaconda3 為開發(fā)平臺，F(xiàn)acebook 人工智能研究院（Facebook AI research，F(xiàn)AIR）團(tuán)隊的深度學(xué)習(xí)開源框架Pytorch 為程序框架。

3.3 評價指標(biāo)

選用準(zhǔn)確率（accuracy，ACC），AUC 以及ROC（receiver operating characteristic）曲線對實驗結(jié)果進(jìn)行評價。ROC 曲線和AUC 通常用來評價二分類模型的性能，ROC 曲線以真陽性率（true positive rate，TPR）為縱坐標(biāo)，假陽性率（false positive rate，F(xiàn)PR）為橫坐標(biāo)，曲線下與坐標(biāo)軸圍成的面積定義為AUC值，AUC值越大，模型的分類效果越好。各個指標(biāo)的含義如式（5）～（8）所示：

式（5）～（8）中：真陽性（true positive，TP）表示樣本為陽性且被預(yù)測為陽性的個數(shù)；假陽性（false positive，F(xiàn)P）表示樣本為陰性而被預(yù)測為陽性的個數(shù)；真陰性（true negative，TN）表示樣本為陰性且被預(yù)測歸為陰性的個數(shù)；假陰性（false negative，F(xiàn)N）表示樣本為陽性而被錯誤地預(yù)測為陰性的個數(shù)；i為預(yù)測為陽性概率的樣本序號；N為陰性的樣本數(shù)，M為陰性樣本數(shù)。

3.4 結(jié)果與分析

本文將經(jīng)預(yù)處理的小尺寸病理圖像作為輸入，送入上述網(wǎng)絡(luò)架構(gòu)中。全連接層將EfficientNet B0 提取的3 個特征圖與紋理特征融合的特征構(gòu)成一個特征向量作為softmax 的輸入，最后實現(xiàn)非小細(xì)胞肺癌病理圖像分型目的。網(wǎng)絡(luò)模型中超參數(shù)的取值對模型性能有很大的影響。實驗中，α設(shè)為1/3，λ為1，λi均為1/4，進(jìn)行了100 次循環(huán)，學(xué)習(xí)率設(shè)置為1e-4，采用 AdamW 優(yōu)化器。采用分批次訓(xùn)練的方式以減小計算量，每批訓(xùn)練128 張訓(xùn)練圖像。肺癌組織切片圖像準(zhǔn)確率和和損失率變化曲線，如圖4a、4b所示。

從圖4a 中可以看出在前20 個epoch 模型準(zhǔn)確率快速上升，效果較為明顯；之后的訓(xùn)練過程中，準(zhǔn)確率發(fā)生小幅度上升，迭代至30 個epoch 時開始收斂，最終穩(wěn)定在99%左右。同樣從圖4b 中可以看出，損失值變化一直呈減小的趨勢，震蕩幅度在40個epoch 之后速度趨于平穩(wěn)。相對于應(yīng)用于同一數(shù)據(jù)集的其他深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)，本文提出的方法具有更快的收斂速度。利用訓(xùn)練后的模型對測試集中小尺寸病理圖像進(jìn)行測試，ROC 曲線的AUC 值為86%，如圖4c 所示。

圖4 實驗結(jié)果Fig.4 Illustration of experimental results

在圖像預(yù)處理過程中，顏色歸一化可以降低H&E 染色圖像的顏色差異，使模型學(xué)習(xí)時不受顏色差異的影響。以往研究表明，顏色歸一化可以提高計算機(jī)視覺任務(wù)的性能。本文將其進(jìn)行對比，結(jié)果表明，在肺癌病理圖像分型任務(wù)中，顏色歸一化可以使準(zhǔn)確性提高4%～6%，如表2 所示。

表2 不同方法對肺癌數(shù)據(jù)集的準(zhǔn)確率Table 2 Accuracy rate of different methods for lung cancer data set

目前，醫(yī)學(xué)病理圖像任務(wù)大多采用Resnet 網(wǎng)絡(luò)進(jìn)行數(shù)據(jù)訓(xùn)練[19-20]。為了能更好地評價本文模型的性能，本文選取多種模型及其它方法進(jìn)行實驗對比，即分別利用Resnet50和EfficientNet B0 網(wǎng)絡(luò)及Resnet50-Fusion、EfficientNet B0+HOG、EfficientNet B0+LBP 模型在相同的數(shù)據(jù)集上訓(xùn)練網(wǎng)絡(luò)，其結(jié)果如表2 所示?？梢钥闯觯谖醇犹卣魅诤系那闆r下，相較于Resnet 50 網(wǎng)絡(luò)模型，EfficientNet B0 模型的準(zhǔn)確率更高，且具有更小的計算消耗和時間消耗，這與自然圖像分類結(jié)果相符。然而，病理圖像比自然圖像更為復(fù)雜，其中包含大量特征信息。在分別加入LBP、GLCM、方向梯度直方圖（histogram of oriented gradient，HOG）特征后，本文所建立的模型能夠獲得更好的預(yù)測效果，加入LBP 特征所達(dá)到的準(zhǔn)確率與本文模型相差不大。與形狀特征相比，紋理特征在肺癌病理圖像上展示了更好的結(jié)果。此外，Resnet50-Fusion和本文所建立的模型的準(zhǔn)確率分別達(dá)到81.84%和84.29%。因此利用EfficientNet B0 模型在不同層次提取特征與紋理特征相融合，提高了模型對肺癌病理特征的分型效果。

4 結(jié)語

本文針對肺癌組織病理圖像提出了多特征融合的肺癌組織病理圖像自動分型方法。對全尺寸病理圖像進(jìn)行圖像分塊，顏色歸一化等預(yù)處理提高訓(xùn)練圖像質(zhì)量，利用預(yù)處理后的訓(xùn)練圖像對已有的EfficientNet B0 網(wǎng)絡(luò)進(jìn)行遷移學(xué)習(xí)，將網(wǎng)絡(luò)得到的多維度特征與圖像的紋理特征融合并利用Softmax 方法進(jìn)行分類。實驗結(jié)果表明，本文方法能夠利用肺癌病理圖像中的各種特征信息，有效地提高病理圖像分類效果。目前，通過深度學(xué)習(xí)實現(xiàn)癌癥的病理分型大多還停留在實驗室研究階段，未能真正進(jìn)入臨床，下一步的研究不僅需要對網(wǎng)絡(luò)模型進(jìn)行改進(jìn)優(yōu)化，還需要擴(kuò)大樣本數(shù)據(jù)集，在更多樣本以及其他癌種的病理切片上進(jìn)行進(jìn)一步的驗證，以便于早日幫助醫(yī)生提出更好的治療方案,更好地滿足臨床應(yīng)用。