宋丹 張育釗
【摘要】:宮頸病變圖像分類具有重要的臨床應(yīng)用價值?;谌斯ぬ崛√卣鞯姆诸愃惴?,存在需要專業(yè)領(lǐng)域知識、耗時費(fèi)力、提取高質(zhì)量特征困難等問題。為此,采用一種改進(jìn)的深度卷積神經(jīng)網(wǎng)絡(luò)模型,實現(xiàn)了宮頸病變圖像的自動分類;同時,利用數(shù)據(jù)增強(qiáng)方法,有效避免了深度學(xué)習(xí)模型受樣本量限制時易出現(xiàn)的過擬合問題。實驗結(jié)果表明,該方法的識別率可達(dá)到89%,且具有較好的魯棒性和泛化性。
【關(guān)鍵詞】:宮頸病變圖像分類 深度學(xué)習(xí) 卷積神經(jīng)網(wǎng)絡(luò) 數(shù)據(jù)增強(qiáng)
引言
在中國,宮頸癌是第二大高發(fā)癌癥,但是宮頸癌可以通過早期的普查,予以預(yù)防和治療,從而明顯降低患病率和死亡率。而臨床診斷的核心問題是診斷的假陽性率較高[1-3],那么宮頸癌細(xì)胞的特征識別就成了問題的核心,如何識別更加有效的癌細(xì)胞特征,如何自動化的完成分類,是亟待解決的問題,本文探索了從宮頸癌細(xì)胞的獲得,到細(xì)胞特征識別,并分類的全過程,并闡述基本原理。
1 方法
深度學(xué)習(xí)可看作是多層的人工神經(jīng)網(wǎng)絡(luò)【4】,通過構(gòu)建含有多個隱層的神經(jīng)網(wǎng)絡(luò)模型,將低層特征通過逐層非線性特征組合變換,形成更加抽象的高層特征表達(dá),以發(fā)現(xiàn)數(shù)據(jù)的分布式特征表示【5】。卷積神經(jīng)網(wǎng)絡(luò)作為最常使用的深度學(xué)習(xí)模型之一,以2D或3D圖像直接作為網(wǎng)絡(luò)的輸入,避免了傳統(tǒng)機(jī)器學(xué)習(xí)算法中復(fù)雜的特征提取過程,相比全連接的神經(jīng)網(wǎng)絡(luò),其局部連接、權(quán)值共享和下采樣的特性減少了網(wǎng)絡(luò)參數(shù)的數(shù)量,降低了計算復(fù)雜度,同時對圖像的平移、縮放、旋轉(zhuǎn)等變化具有高度不變性。圖1顯示了深度卷積神經(jīng)網(wǎng)絡(luò)的特征學(xué)習(xí)過程,模型從原始圖像僅能學(xué)習(xí)到一些邊緣、紋理、顏色等低層特征,隨著層數(shù)的加深,模型可以學(xué)習(xí)到更抽象的包含豐富語義信息的高層特征。
對比目前常用的深度卷積神經(jīng)網(wǎng)絡(luò)模型LeNet【6】、AlexNet【7】、VGG【8】等,選用ILSVRC14競賽中獲得冠軍的GoogLeNet【9】作為本文模型的基礎(chǔ)架構(gòu),該模型共計22層,主要包括輸入層、2個普通卷積層、9個Inception層和若干池化層。其中,每個Inception層包含6個卷積層和1個池化層。包括Inception結(jié)構(gòu)在內(nèi)的所有卷積都使用ReLU函數(shù)。模型通過Inception結(jié)構(gòu),在增加網(wǎng)絡(luò)寬度的同時,減少了參數(shù)的數(shù)量,降低了計算復(fù)雜度;通過在不同深度處增加兩個loss來保證梯度回傳的消失。
2深度卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)
2.1網(wǎng)絡(luò)架構(gòu)設(shè)計
本文采用LeNet的模型,如圖1所示。
第一層,卷積層:這一層的輸入就是原始的圖像像素,LeNet-5模型接受的輸入層大小為32*32*1。第一個卷積層過濾器的尺寸為5*5,深度為6,不使用全0填充,步長為1.因為沒有使用全0填充,所以這一層的輸出的尺寸為32-5+1=28,深度為6。這一個卷積層總共有5*5*1*6+6=156個參數(shù),其中6個為偏置項參數(shù)。
第二層,池化層:這一層的輸入為第一層的輸出,是一個28*28*6的節(jié)點(diǎn)矩陣。本層采用的過濾器大小為2*2,長和寬的步長均為2,所以本層的輸出矩陣大小為14*14*6。
第三層,卷積層:本層的輸入矩陣大小為14*14*6,使用的過濾器大小為5*5,深度為16。本層不適用全0填充,步長為1。本層的輸出矩陣大小為10*10*16。按照標(biāo)準(zhǔn)的卷積層,本層應(yīng)該有5*5*6*16+16=2416個參數(shù)。
第四層,池化層:本層的輸入矩陣大小為10*10*16,采用的過濾器大小為2*2,步長為2.本層的輸出矩陣大小為5*5*16。
第五層,全連接層:本層的輸入矩陣大小為5*5*16,在LeNet-5模型的論文中將這一層稱為卷積層,但是因為過濾器的大小就是5*5,所以和全連接層沒有區(qū)別。本層的輸出節(jié)點(diǎn)個數(shù)為120,總共有5*5*16*120+120=48120個參數(shù)。
第六層,全連接層:本層的輸入節(jié)點(diǎn)個數(shù)為120個,輸出節(jié)點(diǎn)個數(shù)為84個,總共參數(shù)為120*84+84=10164個。
第七個,全連接層:本層的輸入節(jié)點(diǎn)個數(shù)為84個,輸出節(jié)點(diǎn)個數(shù)為10個,總共參數(shù)為84*10+10=850個。
2.2 Softmax分類器
Softmax分類器是除了SVM以外,另一種常見的線性分類器,它是Logistic回歸推廣到多類分類的形式。原始神經(jīng)網(wǎng)絡(luò)的輸出被用作置信度來生成新的輸出,而新的輸出滿足概率分布的所有要求。這個新的輸出可以理解為經(jīng)過神經(jīng)網(wǎng)絡(luò)的推導(dǎo),一個樣例為不同類別的概率分別是多大。
2.3 數(shù)據(jù)增強(qiáng)
Keras圖片預(yù)處理工具提供了兩個很強(qiáng)大的功能:圖片增強(qiáng)功能和樣本無線生成功能。所有的圖片預(yù)處理工具都寫在一個類ImageDataGenerator中,該類的主要功能的不斷生成一個batch的圖像數(shù)據(jù),支持實時數(shù)據(jù)增強(qiáng)。數(shù)據(jù)增強(qiáng)包括均值化、白化樣本圖片,也包括對圖片的旋轉(zhuǎn)、平移、伸縮、翻轉(zhuǎn)等變換。訓(xùn)練時該函數(shù)會無限生成數(shù)據(jù),直到達(dá)到規(guī)定的epoch次數(shù)為止。
通過Keras圖片增強(qiáng)功能,可以有效提高圖片利用率,這在一定程度上提高了深度網(wǎng)絡(luò)的性能,防止過擬合(同一張圖片的不同變換保證了模型在更多情況下對該圖片的擬合)。本文將圖片旋轉(zhuǎn)30°,水平偏移和豎直偏移的幅度都為0.1,剪切強(qiáng)度為0.2,縮放幅度為0.2,進(jìn)行水平方向翻轉(zhuǎn),當(dāng)進(jìn)行變換時超出邊界的點(diǎn)將根據(jù)nearest的方法進(jìn)行處理。
3 實驗及結(jié)果分析
3.1 數(shù)據(jù)集
本文采用的實驗數(shù)據(jù)來自合作醫(yī)院泉州婦幼保健醫(yī)院提供的470例宮頸病變圖像,其中陽性400例陰性(炎癥)70例, 包括CIN1總2162張圖片,CIN2總1135張圖片,CIN3總878張圖片,normal總325張圖片,總圖片數(shù)4500張。
3.2 訓(xùn)練策略
增強(qiáng)前和增強(qiáng)后的數(shù)據(jù)集均被隨機(jī)分成三部分:訓(xùn)練集50%、驗證集25%和測試集25%。其中,訓(xùn)練集用于模型訓(xùn)練和參數(shù)學(xué)習(xí);驗證集用于優(yōu)化模型,在訓(xùn)練過程中對模型進(jìn)行測試,根據(jù)測試結(jié)果自動微調(diào)參數(shù);測試集用于測試模型的識別和泛化能力。為保證模型對未知數(shù)據(jù)的泛化能力,數(shù)據(jù)集之間互不交叉。
3.3 實驗工具
本文模型在ASUS,Intel i7 CPU,NVIDIA GTX 1081Ti GPU上訓(xùn)練,使用keras框架,數(shù)據(jù)增強(qiáng)算法由keras的ImageDataGenerator實現(xiàn)。
3.4 實驗結(jié)果及分析
從實驗結(jié)果圖2、圖三訓(xùn)練效果看來,準(zhǔn)確率在89%左右,效果不錯了。
4 結(jié)束語
本文研究了利用深度學(xué)習(xí)方法實現(xiàn)宮頸病變圖像的分類。采用的深度卷積神經(jīng)網(wǎng)絡(luò)模型具有更深、更復(fù)雜的結(jié)構(gòu),而參數(shù)更少,準(zhǔn)確率更高,避免了人工提取特征的復(fù)雜性和局限性。采用的數(shù)據(jù)增強(qiáng)方法有效避免了深度學(xué)習(xí)算法在樣本量不足時易出現(xiàn)的過擬合問題,實驗證明本文方法提高了識別率,具有較好的魯棒性和泛化性,在一定程度上滿足了更高要求的臨床需求。
【參考文獻(xiàn)】:
【1】 潘晨,閆相國,鄭崇勛等.利用單類支持向量機(jī)分割血細(xì)胞圖像[J].西安交通大學(xué)學(xué)報,2005,39(2):150-153.
【2】 竇智宙,平子良,馮文兵等.多分類支持向量機(jī)分割彩色癌細(xì)胞圖像[J].計算機(jī)工程與應(yīng)用,2009,45(20):236-239.
【3】 王衛(wèi)星,蘇培垠.基于顏色、梯度矢量流活動輪廓及支持向量機(jī)實現(xiàn)白細(xì)胞的提取和分類[J].光學(xué)精密工程,2012,20(12):2781-2790.
【4】 Shen D,Wu G,Suk H I.Deep learning in medical image analysis[J].Annual Review of Biomedical Engi- neering,2017,19(1).
【5】 Bengio Y,Delalleau O.On the expressive power of deep architectures[C]//International Conference on Algorithmic Learning Theory.Berlin Heidelberg:Springer,2011:18-36.
【6】 LeCun Y,Bottou L,Bengio Y,et al.Gradient-based learn-ing applied to document recognition[J].Proceedings of the IEEE,1998,86(11):2278-2324.
【7】 Krizhevsky A,Sutskever I,Hinton G E.Imagenet classi-fication with deep convolutional neural networks[C]// Advances in Neural Information Processing Systems,2012:1097-1105.
【8】 Simonyan K,Zisserman A.Very deep convolutional net-works for large- scale image recognition[J].arXiv preprint arXiv:1409.1556,2014.
【9】 Szegedy C,Liu W,Jia Y,et al.Going deeper with con-volutions[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition,2015:1-9.
作者簡介:宋丹(1994—),女,漢族,山西大同市人,碩士研究生,單位:華僑大學(xué)工學(xué)院計算機(jī)專業(yè),研究方向:深度學(xué)習(xí)。
張育釗(1963—),男,漢族,福建泉州市人,副教授,單位:華僑大學(xué)工學(xué)院,研究方向:電子信息、通信、自動控制、計算機(jī)采集控制。