基于稠密連接的多形性腺瘤輔助診斷

董立巖, 張玥敏, 朱曉冬, 張小利, 趙 博

(1. 吉林大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院, 長春 130012;2. 吉林大學(xué) 符號計(jì)算與知識工程教育部重點(diǎn)實(shí)驗(yàn)室, 長春 130012)

多形性腺瘤(pleomorphic adenoma, PA)是最常見的唾液腺上皮性腫瘤, 惡性程度較高, 因其多種結(jié)構(gòu)混雜在一起, 故又稱為“混合瘤”[1]. 在病理上, PA無明顯癥狀, 生長過程緩慢, 不易發(fā)現(xiàn)且存在惡變傾向[2], 其診斷需具備專業(yè)的醫(yī)學(xué)知識和臨床經(jīng)驗(yàn), 耗時(shí)耗力, 易造成診斷錯(cuò)誤或遺漏導(dǎo)致病情延誤[3]. 因此, 計(jì)算機(jī)輔助診斷成為解決該問題的一個(gè)有效途徑[4], 借助計(jì)算機(jī)不僅能提高醫(yī)生的工作效率, 還能為后續(xù)進(jìn)行病情分析提供輔助信息[5].

隨著深度學(xué)習(xí)方法的不斷發(fā)展, 計(jì)算機(jī)被廣泛應(yīng)用于醫(yī)療領(lǐng)域. 在醫(yī)學(xué)圖像分類領(lǐng)域, Arevalo等[6]通過構(gòu)造特征學(xué)習(xí)框架首次解決了基于乳腺X射線照片的病變分類, 并獲得了較優(yōu)結(jié)果. 在輔助診斷領(lǐng)域, Gao等[7]通過融合兩個(gè)2D卷積神經(jīng)網(wǎng)絡(luò)對超聲波心電圖的信息特征進(jìn)行了有效提取, 進(jìn)而進(jìn)行視點(diǎn)分類達(dá)到較優(yōu)效果并實(shí)現(xiàn)了輔助診斷. 在醫(yī)學(xué)圖像定位領(lǐng)域, 楊亞男等[8]基于YoloV4構(gòu)建了虹膜定位算法, 顯著提高了定位速度及效果. 此外, 丁通等[9]基于殘差網(wǎng)絡(luò)搭建了輕量級虹膜分類模型, 有效提升了模型學(xué)習(xí)速度. 在口腔相關(guān)疾病領(lǐng)域, Nanditha等[10]開發(fā)了一個(gè)集合深度學(xué)習(xí)模型, 該模型結(jié)合ResNet50和VGG-16, 并利用擴(kuò)充的口腔病變圖像進(jìn)行學(xué)習(xí)訓(xùn)練, 基于口腔癌圖像進(jìn)行癌癥類別確定. Welikala等[11]使用ResNet101結(jié)合Faster R-CNN為口腔癌的診斷首次提供了自動(dòng)化的解決方案. 雖然目前已有很多相關(guān)研究[12-16], 但針對多形性腺瘤的輔助診斷還沒有完整的數(shù)據(jù)集和有效的方法.

基于深度學(xué)習(xí)模式的輔助診斷模型方法能自動(dòng)實(shí)現(xiàn)醫(yī)學(xué)影像的疾病診斷, 具有廣泛的應(yīng)用場景[17], 也為多形性腺瘤的病理診斷提供了新的方向和可能性. 因此, 本文首先構(gòu)建多形性腺瘤病理切片數(shù)據(jù)集, 并對圖像進(jìn)行預(yù)處理; 其次通過構(gòu)建深度學(xué)習(xí)方法, 使模型能有效提取組織進(jìn)行分類識別, 實(shí)現(xiàn)多形性腺瘤的關(guān)鍵特征提取, 準(zhǔn)確率達(dá)97.7%; 最后根據(jù)提取到的特征及其類別概率得分, 利用決策樹進(jìn)行推理診斷, 訓(xùn)練得到的決策樹準(zhǔn)確率達(dá)100%, 具備一定的有效性.

1 數(shù)據(jù)集構(gòu)建

1.1 應(yīng)用領(lǐng)域要求

多形性腺瘤中各組織成分的比例不同, 細(xì)胞形態(tài)結(jié)構(gòu)多樣, 導(dǎo)致腫瘤的組織結(jié)構(gòu)復(fù)雜, 具有結(jié)構(gòu)上多形性的特點(diǎn). 常見的病理切片如圖1所示.

圖1 多形性腺瘤病理切片F(xiàn)ig.1 Pathological section of pleomorphic adenoma

診斷任務(wù)中需要識別的4類組織為: 腺管樣結(jié)構(gòu)、 肌上皮細(xì)胞、 黏液樣組織和軟骨樣組織[18]. 其中, 腺管結(jié)構(gòu)呈雙層細(xì)胞排列, 即內(nèi)層的腺管上皮細(xì)胞和外層的肌上皮細(xì)胞. 肌上皮細(xì)胞呈梭形和多角形, 界限不清. 黏液樣組織和軟骨樣組織常見片狀, 細(xì)胞呈星狀, 有細(xì)長突起互相連接. 若細(xì)胞呈空泡性變, 核固縮, 則酷似透明軟骨的細(xì)胞位于軟骨的“陷窩”內(nèi). 多形性腺瘤4類組織結(jié)構(gòu)如圖2所示.

圖2 多形性腺瘤4類腫瘤組織Fig.2 Four types of tumor tissues of pleomorphic adenoma

若病理切片同時(shí)存在腺管樣結(jié)構(gòu)及肌上皮組織或黏液樣組織或軟骨樣組織, 則可推理診斷為多形性腺瘤. 因此, 本文需要在結(jié)構(gòu)復(fù)雜的病理切片中準(zhǔn)確識別出4類目標(biāo)組織, 并結(jié)合識別到的信息進(jìn)行推理, 給出診斷信息.

1.2 數(shù)據(jù)集構(gòu)建及圖像預(yù)處理

本文構(gòu)建的數(shù)據(jù)集來自于吉林大學(xué)口腔醫(yī)院多形性腺瘤患者的病理切片圖像, 共采集到13 390張?jiān)疾±砬衅? 樣本在顯微鏡下放大200倍, 像素為1 920×1 080, 其中9 725張為無病樣本, 3 665張為確診樣本.

為達(dá)到準(zhǔn)確提供診斷信息的目標(biāo), 本文通過滑動(dòng)窗口的方式, 將較大的病理圖片切割為較小的圖片進(jìn)行識別分類, 達(dá)到大致提取特征的目的, 在節(jié)省時(shí)間的同時(shí)具有足夠的有效性.

本文選用大小為512×512, 步長為1/2邊長的滑動(dòng)窗口進(jìn)行自動(dòng)切割, 獲取到有效的小切片共374 740張, 部分切片如圖3所示. 創(chuàng)建5個(gè)類別文件夾, 分別為4類目標(biāo)組織及1類正常組織, 在學(xué)習(xí)專業(yè)醫(yī)學(xué)知識后人工將切割后的小切片放入對應(yīng)的類別文件夾中. 共獲取14 826張軟骨組織切片, 59 607張腺管樣組織切片, 4 659張黏液樣組織切片, 58 696張肌上皮組織. 完整數(shù)據(jù)集中各類組織數(shù)量不一, 為避免模型過度依賴某種特征, 在后續(xù)的訓(xùn)練測試中對數(shù)據(jù)集進(jìn)行進(jìn)一步篩選擴(kuò)充.

圖3 部分切片F(xiàn)ig.3 Partial slicing

2 模型設(shè)計(jì)

本文構(gòu)建一個(gè)基于神經(jīng)網(wǎng)絡(luò)和決策樹的多形性腺瘤輔助診斷模型, 由特征提取組織分類、 基于決策樹診斷推理和人工輔助3部分構(gòu)成, 整體結(jié)構(gòu)設(shè)計(jì)如圖4所示.

圖4 整體結(jié)構(gòu)設(shè)計(jì)Fig.4 Overall structure design

在特征提取模塊中, 首先對輸入的病理切片使用大小為512×512的滑動(dòng)窗口進(jìn)行自動(dòng)切割處理, 步長為窗口的1/2, 將原圖轉(zhuǎn)換為合適的大小, 對病理切片進(jìn)行特征提取分類. 預(yù)處理后的數(shù)據(jù)首先通過一個(gè)步長為2、 大小為7×7的卷積層, 卷積核個(gè)數(shù)為64; 然后利用一個(gè)步長為2、 大小為3×3的最大池化操作縮小特征圖. 輸出的特征圖通過構(gòu)建的分類網(wǎng)絡(luò)進(jìn)行處理, 結(jié)構(gòu)如圖5所示.

圖5 特征提取分類模塊結(jié)構(gòu)Fig.5 Structure of feature extraction and classification module

考慮到低級特征在病理圖片中的重要性, 網(wǎng)絡(luò)結(jié)構(gòu)使用了稠密連接[19-20], 使頂層獲取到的特征能傳遞到后面的層. 盡管網(wǎng)絡(luò)中每層特征圖都包含了豐富的特征信息, 可以檢測到大感受野的數(shù)據(jù), 但仍然難以獲取空間信息并識別隱藏在特征圖中的特征. 因此, 為增強(qiáng)特征圖中重要特征的關(guān)注度, 模型在每個(gè)塊中添加了通道注意力機(jī)制[21-23], 構(gòu)造了兩種SE-conv塊, 使用注意力向量對當(dāng)前階段的特征圖進(jìn)行重新加權(quán), 并引導(dǎo)模型更關(guān)注特征.

前兩個(gè)SE-conv塊1的結(jié)構(gòu)如圖6(A)所示, 結(jié)構(gòu)中僅使用一次1×1卷積進(jìn)行降維和3×3卷積提取特征; 后兩個(gè)SE-conv塊2的卷積操作則重復(fù)兩次, 結(jié)構(gòu)如圖6(B)所示. 為保證每層間輸出的特征圖能進(jìn)行連接, 需要保持尺寸一致, 因此每個(gè)密集塊間需要進(jìn)行特征圖的壓縮, 結(jié)構(gòu)如圖6(C)所示. 經(jīng)過反復(fù)壓縮, 特征圖會(huì)縮小到較小的尺寸, 最后通過全連接層和Softmax輸出對每個(gè)切片的結(jié)果, 展示具有有效診斷信息的切片, 并提供類別結(jié)果信息和概率.

圖6 特征分類提取模塊結(jié)構(gòu)Fig.6 Structure of feature classification extraction module

將通過特征提取后得到的結(jié)果進(jìn)行綜合推理, 其中特征提取后已經(jīng)得到該病理切片具有哪些類型組織, 僅需要依據(jù)醫(yī)學(xué)知識進(jìn)行推理, 診斷該病理切片是否為多形性腺瘤. 因此, 本文選用計(jì)算量較小的決策樹進(jìn)行下一步的決策推理. 將提取到的特征輸入訓(xùn)練好的決策樹中進(jìn)行推理診斷, 并提供診斷信息. 本文選擇基于Gini指數(shù)的CART(classification and regression tree)進(jìn)行決策推理, 通過有監(jiān)督訓(xùn)練得到的決策樹結(jié)構(gòu)如圖7所示.

圖7 診斷決策樹Fig.7 Diagnostic decision tree

由圖7可見: 若存在腺管組織結(jié)構(gòu)的概率較低, 即可判斷該病例為PA的可能性較低, 認(rèn)定為正常組織; 若較高概率存在腺管結(jié)構(gòu), 則進(jìn)入下一步判斷, 若存在較高概率為肌上皮組織, 即可認(rèn)為是PA, 否則進(jìn)入下一步判斷; 順次對軟骨組織和黏液樣組織進(jìn)行判斷. 同時(shí), 模型增加了人工輔助分支, 使得整個(gè)模型并不完全依賴于計(jì)算機(jī), 而是提供一定程度上的人工輔助, 具有更好的魯棒性. 此外, 本文以多形性腺瘤為例進(jìn)行訓(xùn)練學(xué)習(xí), 實(shí)際使用中也可遷移至其他病理切片進(jìn)行學(xué)習(xí)使用.

3 實(shí) 驗(yàn)

3.1 數(shù)據(jù)集構(gòu)建

本文收集吉林大學(xué)口腔醫(yī)院多形性腺瘤患者的病理切片圖像作為研究數(shù)據(jù), 篩選后用于訓(xùn)練的數(shù)據(jù)集共48 230張, 其中9 639張軟骨組織, 9 591張腺管組織, 9 318張黏液組織, 9 794張肌上皮組織, 9 888張非以上4類組織. 其中實(shí)際采集到的黏液組織共4 659張, 考慮到訓(xùn)練模型的效果, 使用數(shù)據(jù)增廣進(jìn)行了擴(kuò)充. 針對輔助診斷任務(wù), 特征提取模塊是任務(wù)的核心, 故構(gòu)造的數(shù)據(jù)集主要用于驗(yàn)證評估本文方法中特征提取分類模塊的分類效果.

3.2 實(shí)驗(yàn)參數(shù)設(shè)定

實(shí)驗(yàn)環(huán)境基于Pytorch深度學(xué)習(xí)框架, 硬件配置采用的GPU為Nvidia RTX 2080 TI, 處理器為Intel i9 10900X, 系統(tǒng)內(nèi)存為64 GB. 初始學(xué)習(xí)率為 0.001, 使用余弦衰減方法, 批次大小為32, 迭代次數(shù)設(shè)為80.

3.3 數(shù)據(jù)增廣

在原數(shù)據(jù)集中, 黏液組織樣本與其他類別嚴(yán)重不平衡, 為提高模型的效果, 對黏液樣本進(jìn)行擴(kuò)充, 利用翻轉(zhuǎn)操作將原數(shù)據(jù)集擴(kuò)大一倍, 使數(shù)據(jù)集的各類別間達(dá)到相對平衡的狀態(tài), 從而更有利于模型優(yōu)化. 對數(shù)據(jù)增廣進(jìn)行對比實(shí)驗(yàn)的結(jié)果列于表1. 由表1可見, 擴(kuò)充數(shù)據(jù)集后, 能在一定程度上提高模型的效果, 對模型優(yōu)化有正向作用.

表1 擴(kuò)充數(shù)據(jù)集實(shí)驗(yàn)對比Table 1 Comparison of experiments with expanded datasets

3.4 分類識別評價(jià)比較

針對本文模型中分類識別模塊, 為驗(yàn)證本文提出模塊分類的性能和效率, 進(jìn)行以下對比實(shí)驗(yàn).

3.4.1 與深度學(xué)習(xí)算法比較

不同深度模型的實(shí)驗(yàn)對比結(jié)果列于表2. 由表2可見, 本文模型的準(zhǔn)確率最高, 為97.7%. 為評估模型效率, 表3列出了在輸入圖像分辨率為224×224像素時(shí)幾種不同算法的參數(shù)量和計(jì)算量. 其中: 參數(shù)量是模型所含參數(shù)數(shù)量, 代表了模型文件的大小, 也影響模型推斷時(shí)對電腦內(nèi)存的占用量; 計(jì)算量是模型推斷時(shí)所需的計(jì)算次數(shù). 這兩個(gè)指標(biāo)能評價(jià)模型在實(shí)際應(yīng)用中的魯棒性、 可擴(kuò)展性以及對實(shí)際資源的依賴程度.

表2 不同深度模型實(shí)驗(yàn)對比結(jié)果Table 2 Experimental comparison results of different depth models

表3 不同深度模型參數(shù)量和計(jì)算量對比結(jié)果Table 3 Comparison results of amount of parameters and calculation for different depth models

上述實(shí)驗(yàn)結(jié)果表明, 本文模型具有最高的準(zhǔn)確率, 為97.7%. 相比于殘差網(wǎng)絡(luò)ResNet34, 本文方法在腺管的精確度、 肌上皮的召回率以及腺管的特異度3個(gè)指標(biāo)上相比降低了1.2%,1.2%,0.3%, 且計(jì)算量和參數(shù)量分別減少了91.3%和98.1%. 與同結(jié)構(gòu)但層數(shù)更多的模型相比, 本文模型相比于21層基線模型, 在軟骨的精確度、 黏液的召回率以及軟骨的特異度3個(gè)方面分別降低了1.3%,0.4%,0.3%, 但模型的計(jì)算量和參數(shù)量分別減少了13.4%和26.3%. 相比于35層基線模型, 分別在黏液的精確度、 非4類的召回率和黏液的特異度3個(gè)方面降低了0.7%,1.4%,0.2%, 但模型的計(jì)算量和參數(shù)量分別減少了48.8%和65%. 在其余指標(biāo)上, 本文模型均為最優(yōu), 同時(shí)也具有最少的計(jì)算量和參數(shù)量. 因此, 本文具有相對最優(yōu)的效果以及最少的計(jì)算量和參數(shù)量, 更好的魯棒性、 更優(yōu)的擴(kuò)展性以及對資源較低的依賴程度, 能適應(yīng)更廣泛的應(yīng)用場景.

3.4.2 消融實(shí)驗(yàn)

為驗(yàn)證本文構(gòu)造分類模塊中融合通道注意力機(jī)制的有效性, 進(jìn)行消融對比實(shí)驗(yàn), 結(jié)果列于表4. 由表4可見, 加入SE模塊后重構(gòu)的模型在準(zhǔn)確率方面能提高1.1%, 且各類組織的各項(xiàng)指標(biāo)上均有明顯提升.

表4 消融實(shí)驗(yàn)對比結(jié)果Table 4 Comparison results of ablation experiments

3.4.3 交叉驗(yàn)證

為充分利用有限數(shù)據(jù)集中盡可能多的有效特征, 從不同角度挖掘數(shù)據(jù)中隱含的信息, 避免在訓(xùn)練過程中模型出現(xiàn)過擬合現(xiàn)象, 驗(yàn)證模型的泛化能力, 本文選用k=5的交叉驗(yàn)證對模型進(jìn)行評估測試, 測試結(jié)果列于表5. 由表5可見, 在數(shù)據(jù)集有限的情況下, 5個(gè)類別的平均準(zhǔn)確率可達(dá)97.38%, top-1準(zhǔn)確率可達(dá)97.7%. 實(shí)驗(yàn)結(jié)果表明, 本文的算法模型具有較好的有效性, 并具有一定的泛化能力.

表5 五折交叉驗(yàn)證結(jié)果Table 5 Fifty-fold cross-validation results

3.5 決策樹構(gòu)建

針對推理決策部分, 本文利用13 390組樣本數(shù)據(jù)進(jìn)行訓(xùn)練, 其中包括診斷結(jié)果為多形性腺瘤的病例3 665例, 診斷為非多形性腺瘤的病例6 101例, 需要人工輔助的病例3 624例. 本文選用CART進(jìn)行學(xué)習(xí), 其中訓(xùn)練集和測試集按7∶3進(jìn)行隨機(jī)分割. 利用混淆矩陣及準(zhǔn)確率進(jìn)行評估, 得到訓(xùn)練和測試的混淆矩陣如圖8所示, 其中標(biāo)簽0表示診斷為正常組織, 標(biāo)簽0.5表示需要人工輔助診斷, 標(biāo)簽1表示診斷為多形性腺瘤. 由圖8可見, 訓(xùn)練集和測試集的準(zhǔn)確率均達(dá)到1.0.

圖8 混淆矩陣Fig.8 Confusion matrix

3.6 遷移實(shí)驗(yàn)

為驗(yàn)證本文特征提取模塊的普適性, 將本文特征提取模塊應(yīng)用于其他醫(yī)學(xué)類數(shù)據(jù)集----檢測和分類血細(xì)胞亞型進(jìn)行實(shí)驗(yàn)驗(yàn)證. 該數(shù)據(jù)集來源于Kaggle開源數(shù)據(jù)集[24], 共包含12 500張帶有細(xì)胞類型標(biāo)簽(CSV)的增強(qiáng)血細(xì)胞圖像(JPEG). 4種不同細(xì)胞類型中的每種都約有3 000張圖像, 這些圖像被分到4個(gè)不同的文件夾中(根據(jù)細(xì)胞類型). 4種細(xì)胞類型分別是嗜酸性粒細(xì)胞、 淋巴細(xì)胞、 單核細(xì)胞和中性粒細(xì)胞.

在該公開數(shù)據(jù)集的分類任務(wù)中, Laurin[25]以0.75∶0.25劃分訓(xùn)練集和驗(yàn)證集, 通過疊加卷積層、 最大池化層、 Dropout操作和全連接層等, 最終達(dá)到97.8%的準(zhǔn)確率; Yvtsan[26]利用ResNet達(dá)到96%的準(zhǔn)確率; Kamal[27]利用多種結(jié)構(gòu)的卷積塊疊加構(gòu)造卷積神經(jīng)網(wǎng)絡(luò), 最終驗(yàn)證集準(zhǔn)確率達(dá)98%, 測試集準(zhǔn)確率達(dá)98.6%.

本文將數(shù)據(jù)集按8∶2分為訓(xùn)練集和測試集, 模型的訓(xùn)練方式與上述相同, 同樣使用交叉熵函數(shù)和Adam作為損失函數(shù)和優(yōu)化方式. 模型訓(xùn)練結(jié)果列于表6. 由表6可見, 本文方法在血細(xì)胞分割4個(gè)類別的平均準(zhǔn)確率達(dá)到99.1%, 4個(gè)類別的精確率、 召回率和特異度也有優(yōu)異表現(xiàn), 驗(yàn)證了本文方法能適應(yīng)于其他醫(yī)學(xué)圖像, 可以進(jìn)行醫(yī)療輔助檢測工作.

表6 遷移實(shí)驗(yàn)結(jié)果Table 6 Results of migration experiment

綜上所述, 針對多形性腺瘤的診斷主要依賴于專家對病理切片的分析判斷, 需要占用醫(yī)生大量時(shí)間且需要充足的專業(yè)知識及豐富的臨床經(jīng)驗(yàn)的問題, 本文提出了一種端到端的基于稠密連接和通道注意力機(jī)制的模型方法, 并結(jié)合決策樹推理判斷構(gòu)成多形性腺瘤的病理輔助診斷方法. 實(shí)驗(yàn)結(jié)果表明, 本文方法對多形性腺瘤病理切片的關(guān)鍵組織具有良好的識別分類效果, 最高準(zhǔn)確率達(dá)97.7%, 決策樹推理準(zhǔn)確率達(dá)100%, 且模型結(jié)構(gòu)較小, 對資源依賴性較低, 能達(dá)到輔助醫(yī)生診斷多形性腺瘤的目的.