基于遷移學(xué)習(xí)的胃鏡圖像自動識別多分類系統(tǒng)的研究

王躍，王衛(wèi)東，趙蕾，鄭天雷

1. 江蘇科技大學(xué) 計算機科學(xué)與工程學(xué)院，江蘇 鎮(zhèn)江 212000；2. 徐州醫(yī)科大學(xué)附屬醫(yī)院 醫(yī)療設(shè)備管理處，江蘇 徐州 221000

引言

近年來隨著生活方式的轉(zhuǎn)變及醫(yī)療診治水平的提高，惡性腫瘤患病人數(shù)逐年增加。資料顯示，以胃癌、胰腺癌、直腸癌為代表的消化道惡性腫瘤在我國發(fā)病率前五的惡性腫瘤中占有三席[1]。我國的惡性腫瘤發(fā)病率較其他國家也處于較高水平，發(fā)病率約占全球的20%，死亡率較世界平均水平高17%[2-4]。目前腫瘤發(fā)病原因不明，缺乏有效的篩查手段，導(dǎo)致大部分患者確診時已為中晚期，錯失最佳治療期。

胃癌因其早期不易發(fā)現(xiàn)，且惡性程度高，嚴(yán)重威脅著居民健康安全。目前胃癌診斷主要方式為：X線鋇餐、纖維內(nèi)鏡檢查、腫瘤標(biāo)記物、血常規(guī)檢查等。病理分析是胃癌確診依據(jù)的“金標(biāo)準(zhǔn)”[5]，而內(nèi)鏡檢查可通過攝像系統(tǒng)直接觀察病人胃黏膜病變程度及病灶位置，并取出疑似病變組織進(jìn)行病理分析，因此胃鏡是早期胃癌篩查的主要方式。目前胃鏡圖像主要依靠人工判讀，效率低、工作量大且對醫(yī)生的資質(zhì)經(jīng)驗有較高要求。因部分圖像高度相似，導(dǎo)致早期胃癌診斷率較低[6]，從而錯失治療胃癌的黃金時期。因此胃癌的早診斷、早發(fā)現(xiàn)已稱為亟需解的醫(yī)學(xué)問題。

目前醫(yī)學(xué)圖像處理主要采用深度學(xué)習(xí)[7-8]方法，已在肺結(jié)節(jié)診斷、糖尿病視網(wǎng)膜病變等方面取得成功應(yīng)用[9-10]，結(jié)合深度學(xué)習(xí)算法的診斷準(zhǔn)確率已接近甚至超過臨床醫(yī)生，但與人工判讀方式相比，人工智能技術(shù)具有前者無法超越的效率優(yōu)勢。深度學(xué)習(xí)主要通過卷積神經(jīng)網(wǎng)絡(luò)利用濾波器矩陣對圖像進(jìn)行特征提取[7]，需要大量已標(biāo)注數(shù)據(jù)集來理解數(shù)據(jù)中的潛在聯(lián)系。但在醫(yī)學(xué)領(lǐng)域因病人信息的保密性和專業(yè)性，醫(yī)學(xué)數(shù)據(jù)需要專業(yè)臨床醫(yī)生標(biāo)注，數(shù)據(jù)收集復(fù)雜且昂貴。有標(biāo)簽的可訓(xùn)練數(shù)據(jù)不足是制約醫(yī)學(xué)圖像分析發(fā)展的瓶頸之一，因此遷移學(xué)習(xí)將是醫(yī)學(xué)圖像分析的一個重要發(fā)展趨勢。

1 材料和方法

1.1 圖像收集

收集2016年1月至2019年10月在我院胃鏡中心進(jìn)行檢查的患者圖像，前人研究發(fā)現(xiàn)惡性貧血、殘胃、慢性萎縮性胃炎、胃息肉、慢性胃潰瘍等，較正常人更容易發(fā)生癌前病變[11]，所以圖像選取共分5類：早期和進(jìn)展期胃癌圖像783張、胃潰瘍胃圖像1042張、慢性胃炎圖像1143張、胃息肉圖像1096張和正常胃鏡圖像1763張。圖像主要采自于日本奧林巴斯CV-290HQ和富士能VP-4450HD工作站，其中胃癌圖像均經(jīng)過病理分析確診，所有圖像均進(jìn)行脫敏處理。

1.2 圖像預(yù)處理

在胃鏡圖像采集過程中，受病灶位置、光源亮度、操作習(xí)慣、成像主機對比度和分辨率等因素影響，對圖像進(jìn)行重新編號、去噪聲、裁剪、去黑框等預(yù)處理。將收集圖像按照6:2:2的比例劃分為訓(xùn)練集（training）、驗證集（validation）、測試集（testing）。資料表明在對圖像平移和縮放時，神經(jīng)網(wǎng)絡(luò)學(xué)到的特征具有不變性[12]，因此可對訓(xùn)練集的圖像進(jìn)行翻轉(zhuǎn)，縮放等處理，以提高圖像訓(xùn)練時的多樣性，在分批輸入圖像前，需要將圖像規(guī)范為相同格式和尺寸。驗證集和測試集圖像只進(jìn)行尺寸和格式調(diào)整，所有圖像大小均調(diào)整為224×224，最后進(jìn)行歸一化處理。

2 遷移學(xué)習(xí)簡介及實驗過程

2.1 遷移學(xué)習(xí)

深度遷移學(xué)習(xí)是為解決機器學(xué)習(xí)中訓(xùn)練數(shù)據(jù)量不足這個基本問題，通過利用公開數(shù)據(jù)集訓(xùn)練網(wǎng)絡(luò)模型，然后將參數(shù)和模型遷移到新的領(lǐng)域，完成新任務(wù)的機器學(xué)習(xí)方法[13-14]。根據(jù)域（domain）和任務(wù)（task）的不同，遷移學(xué)習(xí)劃分為特征遷移、樣本遷移和參數(shù)遷移等。本文處理目標(biāo)與源域都是圖像，任務(wù)都是對圖像進(jìn)行訓(xùn)練提取特征，實現(xiàn)對不同屬性圖片的分類，所以采用參數(shù)遷移方式。

2.2 模型搭建

本實驗主要使用Pytorch1.2+TensorboardX2.0版本作為本次學(xué)習(xí)基本框架，在框架中可直接加載VGG16[15]，ResNet50[16]等網(wǎng)絡(luò)模型。研究發(fā)現(xiàn)，早期胃癌圖片與胃潰瘍圖像在ResNet50網(wǎng)絡(luò)模型中相較VGG16，AlexNet等網(wǎng)絡(luò)模型有更好的識別準(zhǔn)確度[17-18]。本文因樣本數(shù)量較少，所以基于ResNet34網(wǎng)絡(luò)實現(xiàn)，實驗方法為從零訓(xùn)練ResNet34_scr模型和遷移微調(diào)ResNet34_tf，VGG16_tf模型。ResNet模型引入殘差模塊[16]解決了深度學(xué)習(xí)中隨著網(wǎng)絡(luò)深度增加而梯度消失、模型性能退化的問題，已成為目前圖像分類任務(wù)的首選。本實驗源圖像為自然圖像集數(shù)據(jù)集，激活函數(shù)為ReLU，損失函數(shù)為CrossEntropy，優(yōu)化器為Adam。

2.3 網(wǎng)絡(luò)微調(diào)

參數(shù)微調(diào)可解決預(yù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型在目標(biāo)域中特征參數(shù)與任務(wù)的不匹配問題，是遷移學(xué)習(xí)的最重要步驟。遷移學(xué)習(xí)主要分為3個步驟：① 利用大量有標(biāo)識的數(shù)據(jù)集（源域）對神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，通過模型前端的卷積層和池化層，對源域的圖像特征、參數(shù)，進(jìn)行提取；② 預(yù)訓(xùn)練模型，將訓(xùn)練好的模型導(dǎo)入到目標(biāo)任務(wù)中，通過對全連接層自定義，重構(gòu)分類層；③ 微調(diào)，凍結(jié)前面多層的網(wǎng)絡(luò)參數(shù)，用目標(biāo)域圖像進(jìn)行訓(xùn)練，通過前向傳播，記錄前向傳播各參數(shù)，將訓(xùn)練好的模型應(yīng)用到目標(biāo)任務(wù)中，完成遷移學(xué)習(xí)[14]。因為實驗數(shù)據(jù)集較小，且醫(yī)學(xué)圖像與源域的自然圖像差異性較大，所以本文主要采用凍結(jié)方式對模型進(jìn)行微調(diào)。遷移學(xué)習(xí)微調(diào)過程如圖1所示。

圖1 胃鏡圖像遷移學(xué)習(xí)流程

3 實驗結(jié)果

3.1 中間層輸出可視化

通過可視化圖像在網(wǎng)絡(luò)模型中不同層的輸出，可對網(wǎng)絡(luò)模型的學(xué)習(xí)過程有更直觀的認(rèn)識。圖2為螞蟻和息肉切除圖像在ResNet34模型中間層的輸出可視化。對于完全不同的輸入圖像，通過低層卷積運算后，仍可觀察出輸入圖像的輪廓；在高層池化運算后，圖像則非常抽象，無法分辨出輸入圖像的不同。網(wǎng)絡(luò)模型不同中間層輸出表明：低層網(wǎng)絡(luò)主要用于通用特征提取，高層網(wǎng)絡(luò)更偏向于特定任務(wù)的特征提取。因此通過遷移學(xué)習(xí)，利用已訓(xùn)練好的深度模型提取通用特征，可有效完成目標(biāo)域的圖像識別任務(wù)。

圖2 中間層輸出可視化

3.2 實驗結(jié)果與分析

三個模型分別訓(xùn)練，評價方法為測試準(zhǔn)確率和混淆矩陣。三個模型的訓(xùn)練結(jié)果如圖3所示。觀察圖3發(fā)現(xiàn)傳統(tǒng)深度學(xué)習(xí)方法的模型ResNet34_src準(zhǔn)確率提升緩慢，而相同迭代次數(shù)時采用遷移學(xué)習(xí)的ResNet34_tf、Vgg16_tf準(zhǔn)確率提升速度很快，且趨于穩(wěn)定在很高的準(zhǔn)確率上，不同模型訓(xùn)練準(zhǔn)確率對比如表1所示。通過觀察表1和圖3發(fā)現(xiàn)遷移模型ResNet34驗證集和測試集準(zhǔn)確率均最高，識別效果最好，相較另外兩種模型對胃鏡圖像有更好的特征提取和泛化能力。

表1 不同模型訓(xùn)練準(zhǔn)確率對比（%）

圖3 3個模型的訓(xùn)練結(jié)果

混淆矩陣是監(jiān)測多分類模型分類效果的標(biāo)準(zhǔn)評價方式，其中橫軸表示預(yù)測類別，縱軸表示實際類別，顏色深淺表示識別準(zhǔn)確率高低。圖4為遷移模型ResNet34測試集的混淆矩陣圖像。橫軸分別對應(yīng)早期胃癌、慢性胃炎、胃潰瘍、息肉和正常胃部圖像。通過圖4發(fā)現(xiàn)遷移模型對正常胃鏡圖像與息肉圖像可以實現(xiàn)精準(zhǔn)識別；而早期胃癌、慢性胃炎、胃潰瘍?nèi)悎D像容易誤識別，識別率相對較低。

圖4 ResNet34_tf歸一化混淆矩陣

4 總結(jié)

消化道胃鏡檢查是當(dāng)前早期胃癌篩查的主要方式，目前仍以人工判別為主，容易誤診、漏診，從而錯失最佳治療期。目前胃癌的診斷患者大部分都是晚期患者，晚期胃癌患者手術(shù)后5年生存率小于30%，而早期胃癌患者的術(shù)后五年生存率高達(dá)90%[19-20]，因此胃癌的早發(fā)現(xiàn)、早治療可顯著提高患者的手術(shù)效果和生活質(zhì)量。雖然深度學(xué)習(xí)在醫(yī)學(xué)圖像上已有很多成功應(yīng)用，但在胃癌圖像識別上應(yīng)用較少，缺乏相關(guān)的研究。

本實驗通過收集胃鏡圖像，將圖像分為早期胃癌、慢性胃炎、胃潰瘍、胃息肉和正常胃部圖像共5類，通過遷移學(xué)習(xí)將圖像遷移到已訓(xùn)練好的VGG16、ResNet34網(wǎng)絡(luò)，并對微調(diào)模型參數(shù)，與傳統(tǒng)從零訓(xùn)練模型相比，通過遷移學(xué)習(xí)的訓(xùn)練集和測試集準(zhǔn)確率分別為95.64%，90.75%遠(yuǎn)高于后者的84.46%和79.53%，結(jié)果基本令人滿意。

本次實驗結(jié)果存在分類識別率相差較大等問題，經(jīng)分析主要有以下幾方面原因，主要是收集數(shù)據(jù)集較小、圖像數(shù)量不足，雖經(jīng)擴展但總量仍較小，模型學(xué)到的特征不足；另一方面圖像相似度高，特別是部分早期胃癌與慢性胃炎，胃潰瘍部分表面有血液分布，因數(shù)據(jù)集有限未對此類圖像進(jìn)行全部剔除，可能對模型的識別結(jié)果造成影響。為進(jìn)一步提高深度學(xué)習(xí)在胃鏡圖像識別中的準(zhǔn)確率，將收集更多的原始圖像、優(yōu)化算法、選擇更適合的模型，讓模型有更好魯棒性和普適性。

醫(yī)學(xué)圖像領(lǐng)域小數(shù)據(jù)集是基本常態(tài)，一般存在一定的類別和正負(fù)樣本不平衡問題，但往往數(shù)據(jù)量較少的樣本又含有更豐富的病例信息?？傮w來說殘差網(wǎng)絡(luò)在較少的數(shù)據(jù)集上有很好的特征提取和泛化能力，雖然本研究只是將深度遷移學(xué)習(xí)應(yīng)用于胃鏡圖像分類，但也可同樣遷移到其他小數(shù)據(jù)集圖像研究中去。