基于多模型卷積神經(jīng)網(wǎng)絡(luò)的乳腺癌病理醫(yī)療圖像良惡性診斷

孫福權(quán)，叢成龍，張 琨，孔超然，姜玉山，多允慧

1(東北大學(xué) 信息科學(xué)與工程學(xué)院，沈陽110819)2(東北大學(xué)秦皇島分校 數(shù)學(xué)與統(tǒng)計(jì)學(xué)院，河北 秦皇島066004)

1 引 言

乳腺癌是導(dǎo)致女性病亡的主要原因之一.2013年的衛(wèi)生局發(fā)布的統(tǒng)計(jì)結(jié)果顯示，在中國女性癌癥死亡原因中，乳腺癌位居第六.于此同時(shí)，乳腺癌也成為了中國女性發(fā)病率最高的癌癥[1].美國癌癥協(xié)會(huì)發(fā)布的統(tǒng)計(jì)結(jié)果顯示，乳腺癌正向著年輕化的趨勢發(fā)展[2].疾病及時(shí)準(zhǔn)確的診斷對后期治療起著至關(guān)重要的作用，雖然近年來醫(yī)療影像技術(shù)發(fā)展十分可觀，但病理學(xué)圖像診斷依然在最終確診、分級和分期方面發(fā)揮著巨大的作用.

目前，對乳腺癌病理圖像輔助診斷的研究主要有手工提取特征的傳統(tǒng)圖像處理和基于深度學(xué)習(xí)的圖像處理兩種方法[3，4].由于深度學(xué)習(xí)有著極強(qiáng)的特征自動(dòng)抽取能力，可以解決傳統(tǒng)機(jī)器學(xué)習(xí)對手工提取特性的依賴，近年來，針對深度學(xué)習(xí)的乳腺癌病理圖像診斷的研究陸續(xù)開展.深度學(xué)習(xí)是大數(shù)據(jù)驅(qū)動(dòng)下的智能，對數(shù)據(jù)量具有一定的要求.2015年，Spanhol等人和巴西巴拉那的P&D實(shí)驗(yàn)室發(fā)布了本文中使用的BreakHis數(shù)據(jù)集[5].針對BreakHis數(shù)據(jù)集的研究一直不斷進(jìn)行，文獻(xiàn)[5]中作者利用四種機(jī)器學(xué)習(xí)方法和六種特征描述對數(shù)據(jù)集進(jìn)行研究，取得80%-85%的準(zhǔn)確度.文獻(xiàn)[6]在Breakhis數(shù)據(jù)集上進(jìn)行了放大倍數(shù)獨(dú)立的研究，在單任務(wù)和多任務(wù)問題上取得了83.25%和82.13%的準(zhǔn)確度.文獻(xiàn)[7]對病理圖像直接提取DeCAF特性，將提取的特征送入分類器，在乳腺癌病理圖像上取得了86.3%的準(zhǔn)確度.中國學(xué)者He等人采用一種改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)方法，實(shí)現(xiàn)了91%的準(zhǔn)確率.

本文以結(jié)合遷移學(xué)習(xí)的VGG16[8]、Inception-V3[9]和ResNet-V2-152[10]為基線，對乳腺癌病理學(xué)圖像進(jìn)行良惡性診斷.良惡性診斷屬于二分類問題，由于二分類問題存在非此即彼的特性，單一模型診斷容易出現(xiàn)誤診，本文采用遷移學(xué)習(xí)[11]策略先對VGG16、Inception-V3和ResNet-V2-152進(jìn)行參數(shù)微調(diào)，再利用多數(shù)投票融合算法對三個(gè)模型結(jié)果進(jìn)行集成融合[12].即三個(gè)模型模仿三個(gè)醫(yī)生，集成多個(gè)“專家”進(jìn)行決策，將個(gè)體分類器的分類結(jié)果進(jìn)行投票以進(jìn)一步提高診斷準(zhǔn)確度.為進(jìn)一步證明該方法的有效性，又運(yùn)用該方法對BreakHis進(jìn)行了放大類別獨(dú)立的研究，雖然在診斷準(zhǔn)確度上放大類別獨(dú)立問題較放大類別單一問題有所下降，但仍然具有很高的準(zhǔn)確度.

2 相關(guān)工作

2.1 深度學(xué)習(xí)介紹

深度學(xué)習(xí)[13]受神經(jīng)網(wǎng)絡(luò)啟發(fā)，具有很強(qiáng)的特征學(xué)習(xí)能力.淺層結(jié)構(gòu)抽取簡單細(xì)節(jié)，深層結(jié)構(gòu)學(xué)習(xí)更加抽象的特征，以高度挖掘圖像本質(zhì)信息.作為一種逐層分解算法，深度學(xué)習(xí)由于其極強(qiáng)的特征表達(dá)能力、泛化能力和幾何不變性在計(jì)算機(jī)視覺領(lǐng)域得到了廣泛認(rèn)可.以Alex[14]為引導(dǎo)的一系列卷積神經(jīng)網(wǎng)絡(luò)如VGGNet、GoogleNet[15]和ResNet[16]等相繼提出，在ILSVRC大賽中取得優(yōu)秀成績并在計(jì)算機(jī)視覺領(lǐng)域得到改進(jìn)應(yīng)用.深度學(xué)習(xí)算法的設(shè)計(jì)人員一直在保證不發(fā)生梯度消失和梯度彌散等問題的前提下對網(wǎng)絡(luò)進(jìn)行更深更寬的探索[17].完整的用于完成分類任務(wù)的深度學(xué)習(xí)算法主要包含輸入層、卷積池化層和softmax分類器三個(gè)模塊.

輸入層：負(fù)責(zé)載入圖像，可以看成原始圖像和特征提取器的連接媒介，本文所有的輸入圖像固定為224×224或299×299.

卷積池化層：負(fù)責(zé)特征表示和特征向量降維，主要是用一個(gè)采樣器從輸入數(shù)據(jù)中采集關(guān)鍵數(shù)據(jù)內(nèi)容.Feature map經(jīng)過卷積運(yùn)算并加入偏置量后會(huì)被送入到激活函數(shù)中，以此實(shí)現(xiàn)非線性特征的提取.池化層可以在保留主要特征的同時(shí)降低維度和計(jì)算量，以防止過擬合提高模型泛化能力.

分類器：分類器一般由全連接神經(jīng)網(wǎng)絡(luò)層和softmax函數(shù)構(gòu)成.softmax的函數(shù)形式如公式(1)所示，因?yàn)閷?shù)似然函數(shù)中l(wèi)og可以抵消exp，所以我們通常將softmax定義成如公式(2)所示的指數(shù)形式

(1)

(2)

(3)

2.2 病理圖像數(shù)據(jù)及預(yù)處理

本文采用公開數(shù)據(jù)集BreakHis進(jìn)行研究，BreakHis由Spanhol等人于2015年公布.該數(shù)據(jù)集包含了82名患者的7909張病理學(xué)圖像，其中良性圖片2480張，惡性圖片5429張，如圖1所示.在良性和惡性類別圖像下又分別包含了四個(gè)子類.所有的疾病類型下又包含了40X、100X、200X和400X的放大類別，本文的研究主要在200X的數(shù)據(jù)上展開.圖2中的A、F、TA和PT指的是良性子類疾?。合俨?、纖維腫瘤、葉狀瘤和管狀腺瘤.DC、LC、MC和PC指的是惡性子類疾病：導(dǎo)管癌、小葉癌、膠樣癌和乳突癌.

圖1 200X良惡性病理圖像Fig.1 200X benign and malignant histopathology images

圖2 BreakHis整體數(shù)據(jù)分布柱狀圖Fig.2 Histogram of the overall data distribution of BreakHis

從圖2可以看出，惡性圖像明顯多于良性圖像，數(shù)據(jù)存在嚴(yán)重的數(shù)據(jù)量不均衡問題.為解決數(shù)據(jù)不均衡帶來的惡性病理樣本過度學(xué)習(xí)問題，本文先對數(shù)據(jù)進(jìn)行均衡化處理.并通過隨機(jī)裁剪和旋轉(zhuǎn)的方式對所有數(shù)據(jù)進(jìn)行簡單擴(kuò)充.在擴(kuò)充前將88%的數(shù)據(jù)劃分出來充當(dāng)訓(xùn)練集，其余數(shù)據(jù)用于測試.并對訓(xùn)練集數(shù)據(jù)進(jìn)行三次有放回抽取，每次抽取訓(xùn)練數(shù)據(jù)的95%，抽取出的三個(gè)子集分別作為三個(gè)基分類器的訓(xùn)練數(shù)據(jù)，以進(jìn)一步增加基礎(chǔ)模型之間多樣性.

3 模型結(jié)構(gòu)

對于乳腺癌病理學(xué)圖像的良惡性診斷問題，本文利用深度學(xué)習(xí)模型融合的方法進(jìn)行研究.為進(jìn)一步驗(yàn)證本文方法在良惡性診斷問題上的可行性.本文又將所有放大類別的圖像同時(shí)當(dāng)做訓(xùn)練集和測試集，進(jìn)行不依賴放大類別的實(shí)驗(yàn)處理.

對于本文的二分類問題，假設(shè)真實(shí)函數(shù)為f，每個(gè)基礎(chǔ)分類器用h表示，則基礎(chǔ)分類器的錯(cuò)誤率可表示為：ε=P(hi(x)≠f(x)).利用少數(shù)服從多數(shù)的融合策略對基礎(chǔ)分類器進(jìn)行融合.在基礎(chǔ)分類器完全獨(dú)立的情況下，由Hoeffding不等式可得出融合模型的錯(cuò)誤率，如公式(4)所示.其中H(x)表示融合模型的分類結(jié)果，f(x)表示真實(shí)結(jié)果.

(4)

由公式(4)可以看出，個(gè)體分類器數(shù)目T的增加會(huì)使融合模型的分類錯(cuò)誤率成指數(shù)函數(shù)下降，并趨向于零.模型融合過程中，基礎(chǔ)模型之間的結(jié)構(gòu)差異性越大且性能表現(xiàn)差異越小時(shí)，融合模型才能表現(xiàn)出更好的性能.但往往并不單純?nèi)绱?，基分類器個(gè)數(shù)過多時(shí)，同樣會(huì)帶來過擬合的問題，甚至分類結(jié)果不增反降.只有設(shè)計(jì)恰當(dāng)數(shù)目且好而不同的基分類器，并解決個(gè)體分類器之間多樣性和準(zhǔn)確性之間的沖突，才能讓融合模型博采眾長.

圖3 模型整體結(jié)構(gòu)圖Fig.3 Network architecture of the model

本文提出的計(jì)算機(jī)輔助診斷模型選用了三個(gè)體診斷器進(jìn)行融合，整體結(jié)構(gòu)如圖3所示，結(jié)構(gòu)圖從上到下依次為VGG16、Inception-V3和ResNet-v2-152，并將三個(gè)分類器結(jié)合了不同的遷移學(xué)習(xí)方法.三個(gè)診斷器的個(gè)體表現(xiàn)性能相差不大，所以在融合策略方面不必進(jìn)行加權(quán)，直接采用多數(shù)投票算法，相當(dāng)于三個(gè)個(gè)體診斷器分別模仿三個(gè)醫(yī)生，集成多個(gè)“專家”進(jìn)行決策.

本文利用三個(gè)異構(gòu)深度學(xué)習(xí)模型進(jìn)行研究，第一個(gè)基礎(chǔ)分類器以VGG16為基線，VGG16的訓(xùn)練參數(shù)較殘差網(wǎng)絡(luò)和Inception網(wǎng)絡(luò)多很多，對訓(xùn)練造成困難，容易出現(xiàn)過擬合問題.于是本文對VGG16采用ImageNet數(shù)據(jù)集進(jìn)行預(yù)訓(xùn)練，將預(yù)訓(xùn)練參數(shù)遷移到乳腺癌病理問題的VGG16上，并引入凍結(jié)層，將第一個(gè)卷積模塊進(jìn)行凍結(jié).本文中應(yīng)用在病理學(xué)圖像診斷上的VGG16可以分為特征提取模塊和分類器兩大部分，而特征提取模塊又可分為凍結(jié)層和微調(diào)層，凍結(jié)層用來提取病理學(xué)圖像淺層特征，微調(diào)層可提取更加深層次更加抽象的特征以供分類器準(zhǔn)確分類.

深度學(xué)習(xí)模型可以看成是現(xiàn)實(shí)的反應(yīng)，在不考慮梯度消失彌散等問題的前提下，模型越深越寬則越接近現(xiàn)實(shí)鏡像，對樣本數(shù)量的需求也會(huì)隨著模型復(fù)雜度的增加而增長.遷移學(xué)習(xí)作為一種訓(xùn)練策略可以解決樣本數(shù)量不足問題，提高泛化性和魯棒性.本文第二個(gè)和第三個(gè)基礎(chǔ)分類器采用Inception-V3和ResNet-V2-152，將其結(jié)合遷移學(xué)習(xí)，將ImageNet上訓(xùn)練得到的參數(shù)遷移到目標(biāo)領(lǐng)域上去，并利用Breakhis數(shù)據(jù)將對模型進(jìn)行微調(diào).最后將三個(gè)異構(gòu)個(gè)體學(xué)習(xí)器進(jìn)行融合.

4 實(shí)驗(yàn)結(jié)果分析

4.1 200X子集問題實(shí)驗(yàn)結(jié)果

對于BreakHis數(shù)據(jù)集，可以從兩個(gè)方面對其進(jìn)行評估.一方面可以從患者方面進(jìn)行，可由公式(5)和公式(6)進(jìn)行表示，其中Nrp表示每位患者的病理圖像中被正確分類的數(shù)目，Nnp表示每位患者的病理圖像總數(shù)，Nallp表示患者總?cè)藬?shù).

(5)

(6)

另外一方面可以直接從圖像的級別進(jìn)行評估，這也是本文實(shí)驗(yàn)采用的方法，對比實(shí)驗(yàn)中的部分文獻(xiàn)只從患者的級別進(jìn)行了評估.圖像級別的評估公式如(7)所示，其中Nall表示測試圖像總數(shù)，Nr表示被正確分類的圖像數(shù)目.

(7)

為證明本文方法在乳腺癌病理圖像診斷方面的有效性，將本文方法與同樣在BreakHis上開展的研究進(jìn)行對比，對比結(jié)果展示見表1和表2.本文在這一部分的實(shí)驗(yàn)是在BreakHis 200X數(shù)據(jù)集上展開，表中展示的準(zhǔn)確度都是基于患者級別或圖像級別.其中PFTAS+QDA、PFTAS+SVM和PFTAS+RF由Spanhol等在文獻(xiàn)[5]中提出，Alex方法識別病理圖像是文獻(xiàn)[18]中的成果，Single-task CNN是文獻(xiàn)[6]中單任務(wù)部分基于放大倍數(shù)獨(dú)立的研究.DeCAf是文獻(xiàn)[7]中作者以Alex為基礎(chǔ)提取DeCAF特性而得出的方法.He指的是中國學(xué)者何雪英等采用一種改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)得出的算法.

表1 準(zhǔn)確度對比結(jié)果
Table 1 Accuracy comparison

方 法 準(zhǔn)確度(%)PFTAS+QDS84.20PFTAS+SVM85.10PFTAS+RF83.50Alex83.10Sing-Task CNN84.63DeCAF86.30He91.00本文方法97.64

表2 放大倍數(shù)獨(dú)立問題準(zhǔn)確度對比
Table 2 Comparison of accuracy of independent
magnification problems

方 法準(zhǔn)確度(%)Sing-Task CNN84.63本文方法94.94

4.2 放大類別獨(dú)立問題實(shí)驗(yàn)結(jié)果

上述研究建立在BreakHis 200X數(shù)據(jù)集上，除次之外本文又以此方法進(jìn)行了放大類別獨(dú)立的研究，針對放大類別獨(dú)立的研究相對較少，對比實(shí)驗(yàn)的結(jié)果見表2.同時(shí)單一模型的訓(xùn)練測試準(zhǔn)確度變化趨勢結(jié)果見圖4.

圖4 個(gè)體分類器在放大類別獨(dú)立問題上的準(zhǔn)確度曲線圖Fig.4 Precision curve of individual classifier in amplifyingcategory independence problem

綜上可知，相比手工提取特征結(jié)合機(jī)器學(xué)習(xí)的傳統(tǒng)醫(yī)療圖像處理方法，深度學(xué)習(xí)方法在處理簡易度和準(zhǔn)確度上展示出了優(yōu)越性，具有很高的分類診斷準(zhǔn)確性.在BreakHis數(shù)據(jù)集上，放大類別獨(dú)立問題的分類準(zhǔn)確度與200X數(shù)據(jù)子集問題的分類準(zhǔn)確度相比有所下降，但是依然有著很高的準(zhǔn)確性，深度學(xué)習(xí)模型學(xué)到了更多醫(yī)療圖像信息.同時(shí)，模型融合的集成方法可以讓算法到站在巨人的肩上有效地提高模型準(zhǔn)確度.醫(yī)療圖像數(shù)據(jù)具有數(shù)據(jù)質(zhì)量低和數(shù)據(jù)不精確的特點(diǎn)，采集自不同設(shè)備的醫(yī)療圖像又差異明顯，因此醫(yī)療圖像處理面臨巨大挑戰(zhàn)，同時(shí)醫(yī)療診斷結(jié)果關(guān)系到患者的生命健康，對于像計(jì)算機(jī)輔助診斷和臨床輔助診斷這些輔助專家治療系統(tǒng)要具備很高的準(zhǔn)確度，如果在醫(yī)療輔助診斷領(lǐng)域恰當(dāng)運(yùn)用模型融合集成方法，進(jìn)行多個(gè)“專家”決策，將會(huì)有效提高輔助診斷模型診斷準(zhǔn)確性，為醫(yī)生減輕負(fù)擔(dān)的同時(shí)也為患者送去福音.

5 結(jié) 論

針對傳統(tǒng)圖像處理分類的準(zhǔn)確度不高的問題，本文利用深度學(xué)習(xí)多模型融合的方法對三個(gè)異構(gòu)模型識別結(jié)果進(jìn)行融合，有效提高了乳腺癌良惡性診斷的準(zhǔn)確度和客觀性，在放大200倍的病理學(xué)圖像上實(shí)現(xiàn)了97.64%的準(zhǔn)確度，同時(shí)在放大類別獨(dú)立的診斷問題上實(shí)現(xiàn)了94.94%的準(zhǔn)確度.但個(gè)體分類器的多樣性和準(zhǔn)確性之間存在著一定程度的沖突，一般情況下多樣性的增加會(huì)帶來準(zhǔn)確度的犧牲，所以在模型融合集成學(xué)習(xí)方法的研究中，要讓設(shè)計(jì)的個(gè)體分類器之間“好而不同”，融合模型才能“博采眾長”，即融合模型的性能才會(huì)高于個(gè)體分類器性能，這是下一步完善研究的方向之一.如果對乳腺癌的病理學(xué)圖像進(jìn)行細(xì)分診斷，診斷出良惡性疾病的子類疾病，則更有利于醫(yī)生進(jìn)行更精準(zhǔn)的治療，相比良惡性二分類診斷，細(xì)分多分類診斷面臨的挑戰(zhàn)要更艱巨，研究也更有價(jià)值，這也是我們下一步要進(jìn)行的研究.