江華 于同剛 吳麗瓊 * 丁建 胡小洋 劉穎
1 上海伽瑪醫(yī)院 (上海 200235)
2 上海理工大學(xué) (上海 200093)
內(nèi)容提要:目的:使用卷積神經(jīng)網(wǎng)絡(luò)及磁共振圖像鑒別腦膜瘤與聽神經(jīng)瘤,研究影響識(shí)別的原因并提升準(zhǔn)確率。方法:采集388位患者的增強(qiáng)后T1WI影像,將其進(jìn)行篩選和擴(kuò)充,分別將原始數(shù)據(jù)集與擴(kuò)充后數(shù)據(jù)集對(duì)卷積神經(jīng)網(wǎng)絡(luò)AlexNet進(jìn)行訓(xùn)練并輸出預(yù)測(cè)結(jié)果,對(duì)預(yù)測(cè)結(jié)果進(jìn)行分析。結(jié)果:擴(kuò)充數(shù)據(jù)集模型的訓(xùn)練準(zhǔn)確率為0.8026,明顯高于原數(shù)據(jù)集模型的訓(xùn)練準(zhǔn)確率的0.7526。結(jié)論:數(shù)據(jù)集越大對(duì)識(shí)別的準(zhǔn)確率有顯著的提高,使用磁共振圖像訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)用于腫瘤識(shí)別具有實(shí)際的臨床意義。
橋小腦角區(qū)(Cerebellopontine Angle,CPA)是顱內(nèi)腫瘤的好發(fā)部位之一,該區(qū)域夾于巖骨與腦干之間。其間多組顱神經(jīng)穿行而過,一旦產(chǎn)生占位效應(yīng)很容易壓迫腦干、損傷神經(jīng),即刻會(huì)對(duì)患者的行動(dòng)及生命安全產(chǎn)生影響。此區(qū)域的占位性病變較多,神經(jīng)鞘瘤與腦膜瘤最為常見,其中75%為聽神經(jīng)瘤,其次腦膜瘤占比為13%[1,2]。
顱內(nèi)腫瘤常采用CT或MRI進(jìn)行檢查。由于MRI可采用多序列、多參數(shù)、任意方位成像,并可進(jìn)行增強(qiáng)掃描的特點(diǎn),使得獲得的圖像能夠清晰顯示腫瘤的起源、信號(hào)、形態(tài)以及與周圍組織結(jié)構(gòu)的關(guān)系,相比于CT無骨偽影干擾,因此MRI檢查是橋小腦角區(qū)占位病變最合適的影像檢查方法,有重要的診斷和鑒別診斷價(jià)值[3]。隨著人民醫(yī)療健康水平的不斷提高,日益增長(zhǎng)的檢查量與高學(xué)歷、高水平醫(yī)生培養(yǎng)難度的天然矛盾逐漸加劇,可能會(huì)增加誤診或錯(cuò)診率。而深度學(xué)習(xí)算法是機(jī)器學(xué)習(xí)的一次跨越式發(fā)展,是當(dāng)下最熱的研究方向,在計(jì)算機(jī)視覺、自然語(yǔ)言處理等領(lǐng)域表現(xiàn)十分突出,以此為抓點(diǎn),將深度學(xué)習(xí)用于醫(yī)學(xué)影像的診斷將是未來的發(fā)展方向,本研究主要通過基于對(duì)聽神經(jīng)瘤與橋小腦角腦膜瘤進(jìn)行深度學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)AlexNet,得出模型,并評(píng)價(jià)其在兩者診斷和鑒別診斷中的價(jià)值。
回顧性檢索2014年9月~2018年2月在上海伽瑪醫(yī)院放射科進(jìn)行磁共振檢查的患者,收集其中診斷為聽神經(jīng)瘤及橋小腦角腦膜瘤患者磁共振影像資料。使用GE Signa Excite 1.5T MRI掃描儀,單通道頭顱正交線圈采集多序列磁共振圖像。由于增強(qiáng)T1WI-SE序列圖像呈現(xiàn)的組織病變特征較好,橫斷面易于觀察腦部腫瘤組織,所以實(shí)驗(yàn)主要選用的數(shù)據(jù)源是增強(qiáng)T1WI-SE序列橫斷面方位增強(qiáng)掃描圖像,重復(fù)時(shí)間(Repetition Time,TR)=580ms,回波時(shí)間(Echo Time,TE)=8ms,采集矩陣(Acquisition Matrix)=256×256,層厚=2mm,層間隔=0mm,對(duì)比劑采用釓雙胺(Gd-DTPA,GE公司),劑量為0.15mmol/kg。
共收集有效影像資料388例,其中89例經(jīng)放射科診斷為橋小腦角腦膜瘤,299例診斷為聽神經(jīng)瘤。去除采集圖像中含有極少的腫瘤部分或不含腫瘤部分的圖像層面,篩選出具有較明顯腫瘤特征的增強(qiáng)T1WI圖像數(shù)據(jù)。共獲得2301張圖像數(shù)據(jù),其中,橋小腦角腦膜瘤圖像736張,聽神經(jīng)瘤圖像1565張。由于數(shù)據(jù)量有限,對(duì)數(shù)據(jù)集進(jìn)行擴(kuò)充(圖像的左右對(duì)稱翻轉(zhuǎn)及上下對(duì)稱翻轉(zhuǎn)),擴(kuò)充后獲得橋小腦角腦膜瘤數(shù)據(jù)2944張,聽神經(jīng)瘤數(shù)據(jù)6260張。
采用卷積神經(jīng)網(wǎng)絡(luò)AlexNet作為模型(見圖1),將橋小腦角腦膜瘤與聽神經(jīng)瘤放入模型進(jìn)行訓(xùn)練,通過對(duì)AlexNet模型的修改,將AlexNet由多分類改為二分類。
圖1.AlexNet網(wǎng)絡(luò)模型結(jié)構(gòu)圖
卷積神經(jīng)網(wǎng)絡(luò)AlexNet是Hinton教授的學(xué)生Alex Krizhevsky設(shè)計(jì)的,在ILSVRC2012比賽中獲得第一名,將TOP5錯(cuò)誤率從往屆的25.8%大幅降到16.4%。該網(wǎng)絡(luò)結(jié)構(gòu)包括5個(gè)卷積層和3個(gè)全連接層,是一個(gè)8層結(jié)構(gòu)的網(wǎng)絡(luò)模型。除了卷積層、下采樣層和全連接層之外,還包含了局部響應(yīng)歸一化(Local Response Normalization,LRN)層和Dropout層。由于當(dāng)時(shí)的硬件條件限制,模型采用了兩塊GPU進(jìn)行運(yùn)算,因此結(jié)構(gòu)圖都被拆成了兩部分,而如今一塊GPU已經(jīng)能夠完美運(yùn)行。
AlexNet選用非飽和修正線性函數(shù)(Rectified Linear Unit,ReLU)作為激活函數(shù),見公式(1)。
由公式(1)可見自變量<0,其激活值為0,當(dāng)自變量>0,激活值等于自變量,解決了梯度飽和問題,增加了網(wǎng)絡(luò)的稀疏性,這樣使得網(wǎng)絡(luò)提取到的特征更具普遍性,網(wǎng)絡(luò)結(jié)構(gòu)更具泛化性,有助于緩解過擬合問題。
首次引入的Dropout方法雖然增加了訓(xùn)練次數(shù),但是極大地減少了參數(shù)量,并能非常有效地處理過擬合問題,解決了此前深層的神經(jīng)網(wǎng)絡(luò)參數(shù)多,訓(xùn)練耗時(shí)長(zhǎng),需要樣本數(shù)量級(jí)多的問題,一經(jīng)提出就使得大量研究人員學(xué)習(xí)和研究[4-6]。
同時(shí)LRN層配合ReLU激活函數(shù)的特性,將局部競(jìng)爭(zhēng)機(jī)制加入相鄰卷積核生成的特征圖,實(shí)現(xiàn)歸一化,這樣可以提高模型的準(zhǔn)確率并增加模型的泛化能力,使得錯(cuò)誤率下降1%~2%。
將數(shù)據(jù)分為原始數(shù)據(jù)集與擴(kuò)充數(shù)據(jù)集2類對(duì)AlexNet模型進(jìn)行分別訓(xùn)練,獲取2個(gè)訓(xùn)練完成后模型的準(zhǔn)確率曲線、損失率曲線及模型的準(zhǔn)確率進(jìn)行比較,并進(jìn)行單張圖像測(cè)試。評(píng)價(jià)2類模型的優(yōu)劣。
本文訓(xùn)練的AlexNet網(wǎng)絡(luò)模型采用CPU模式,訓(xùn)練歷時(shí)2h 7min。學(xué)習(xí)率選擇0.0001,最大迭代次數(shù)為2700次。所得實(shí)驗(yàn)曲線見圖2、圖3。
圖2.測(cè)試準(zhǔn)確率曲線
圖3.測(cè)試損失曲線
圖2、圖3分別為測(cè)試準(zhǔn)確率曲線和測(cè)試損失曲線,結(jié)合以上曲線來看,由于樣本量較小,迭代在1.6k~1.8k次左右曲線振幅減小,趨于穩(wěn)定。選用迭代1.8k次模型進(jìn)行橋小腦角腦膜瘤與聽神經(jīng)瘤鑒別診斷,模型的訓(xùn)練準(zhǔn)確率為0.7526。雖然AlexNet在圖像識(shí)別方面十分出色,但是針對(duì)橋小腦角腦膜瘤與聽神經(jīng)瘤鑒別診斷時(shí),75%的準(zhǔn)確率低于診斷要求,不能體現(xiàn)AlexNet優(yōu)異的性能。
為了提高模型的準(zhǔn)確率一般需要對(duì)超參數(shù)設(shè)置以及數(shù)據(jù)集進(jìn)行調(diào)整。首先,本模型采用的是遷移學(xué)習(xí)的方式用以研究二類腫瘤的分類識(shí)別,淺層部分采用AlexNet網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行微調(diào),而深層結(jié)構(gòu)則根據(jù)具體情況改進(jìn)設(shè)計(jì),在新數(shù)據(jù)上進(jìn)行微調(diào)。根據(jù)經(jīng)驗(yàn)應(yīng)設(shè)置較小的學(xué)習(xí)率(≤10-4),但過小的學(xué)習(xí)率更容易使得模型產(chǎn)生過擬合的現(xiàn)象且收斂較慢,因此改進(jìn)后模型依舊采用0.0001作為學(xué)習(xí)率。其次,訓(xùn)練數(shù)據(jù)不足時(shí),模型無法獲得真正的特征要素,因此需對(duì)數(shù)據(jù)集進(jìn)行擴(kuò)充(圖像的左右對(duì)稱翻轉(zhuǎn)及上下對(duì)稱翻轉(zhuǎn)),同時(shí)適當(dāng)增加網(wǎng)絡(luò)的迭代次數(shù)。擴(kuò)充后數(shù)據(jù)量及分配情況見表1。
表1.數(shù)據(jù)增強(qiáng)技術(shù)后的橋小腦角腦膜瘤與聽神經(jīng)瘤圖像數(shù)據(jù)量(張)
數(shù)據(jù)擴(kuò)充后,訓(xùn)練樣本7204張,測(cè)試樣本2000張。學(xué)習(xí)率選擇0.0001;一共迭代11k次,每迭代1k次保存一次訓(xùn)練記錄得到10次測(cè)試準(zhǔn)確率及損失函數(shù)值表及實(shí)驗(yàn)曲線見表2。測(cè)試準(zhǔn)確率曲線見圖4,測(cè)試損失曲線見圖5。
表2.使用增強(qiáng)T1WI圖像訓(xùn)練AlexNet模型的測(cè)試結(jié)果
圖4.測(cè)試準(zhǔn)確率曲線
圖5.測(cè)試損失曲線
由于較小的學(xué)習(xí)率、擴(kuò)充的數(shù)據(jù)量以及迭代次數(shù)的增加,模型的訓(xùn)練歷時(shí)8h 15min,迭代在10k-10k次左右曲線振幅減小,趨于穩(wěn)定。選用迭代11k次模型進(jìn)行橋小腦角腦膜瘤與聽神經(jīng)瘤鑒別診斷,模型的訓(xùn)練準(zhǔn)確率為0.8026。
對(duì)300例測(cè)試樣本進(jìn)行識(shí)別,其測(cè)試正確率為0.7933,與測(cè)試模型對(duì)二類腫瘤分類準(zhǔn)確率相仿。測(cè)試圖像腫瘤尺寸較小時(shí)(圖6A、D),模型給出概率值在76%左右,測(cè)試正確,表明腫瘤尺寸大小對(duì)于識(shí)別準(zhǔn)確率有一定影響;圖像經(jīng)過翻轉(zhuǎn)處理(圖6B),對(duì)識(shí)別準(zhǔn)確率有時(shí)會(huì)產(chǎn)生誤導(dǎo);測(cè)試圖像腫瘤尺寸適中且特征明顯時(shí)(圖6C),對(duì)于識(shí)別準(zhǔn)確率提升具有明顯幫助。
圖6.擴(kuò)充數(shù)據(jù)模型單張圖像測(cè)試結(jié)果(注:1A.腦膜瘤T1WI測(cè)試正確;1B.翻轉(zhuǎn)圖A所得,測(cè)試錯(cuò)誤;1C.典型聽神經(jīng)瘤T1WI測(cè)試正確;1D.聽神經(jīng)瘤測(cè)試正確)
在橋小腦角腫瘤的診斷及鑒別診斷中,MRI是最常用且有效的檢查方法,通過增強(qiáng)后T1WI圖像可以較為清晰地找到強(qiáng)化病灶。但由于腦膜瘤與聽神經(jīng)瘤T1、T2等信號(hào),且相對(duì)強(qiáng)化明顯,可見對(duì)于橋小腦區(qū)這二類腫瘤的鑒別并非一目了然,對(duì)于表現(xiàn)不典型的腫瘤來說更是如此,診斷的結(jié)果更多取決于影像科醫(yī)生自身的醫(yī)學(xué)知識(shí)儲(chǔ)備、經(jīng)驗(yàn)等方面,臨床上進(jìn)行鑒別診斷是具有一定困難的[7-9]。近年來,深度學(xué)習(xí)在圖像識(shí)別方面應(yīng)用已經(jīng)涉及生活的方方面面,在醫(yī)學(xué)領(lǐng)域,肺癌、乳腺癌以及病理學(xué)的識(shí)別診斷研究較多并有投入了臨床使用,本研究試圖直接用橋小腦角腦膜瘤與聽神經(jīng)瘤的MR圖像結(jié)合深度學(xué)習(xí)來進(jìn)行分類識(shí)別。
選用AlexNet直接對(duì)采集的橋小腦角腦膜瘤與聽神經(jīng)瘤增強(qiáng)后T1WI圖像進(jìn)行學(xué)習(xí)與分類識(shí)別,但由于二類腫瘤的圖像特點(diǎn)和樣本量原因與深層卷積神經(jīng)網(wǎng)絡(luò)所需的樣本數(shù)量級(jí)有一定差距,導(dǎo)致訓(xùn)練結(jié)果較差。分析比較網(wǎng)絡(luò)的識(shí)別效果,對(duì)二類腫瘤圖像進(jìn)行數(shù)據(jù)擴(kuò)充以增加樣本量,同時(shí)增加迭代次數(shù)。用此類圖像進(jìn)行訓(xùn)練,得到的模型準(zhǔn)確率為0.8026,提高了模型的判斷準(zhǔn)確率。然后,用該模型對(duì)未經(jīng)訓(xùn)練的300張橋小腦角腦膜瘤與聽神經(jīng)瘤圖像進(jìn)行識(shí)別,結(jié)果顯示采集圖像中腫瘤的尺寸、大小、特征以及翻轉(zhuǎn)后處理對(duì)于識(shí)別準(zhǔn)確性具有明顯的影響,未翻轉(zhuǎn)圖像、較大尺寸及特征明顯的腫瘤層面圖像的識(shí)別準(zhǔn)確率較高,而翻轉(zhuǎn)后圖像、小尺寸及特征不明顯的腫瘤圖像則識(shí)別準(zhǔn)確率較低。因此,在日常應(yīng)用中,應(yīng)人為選用采集圖像中腫瘤顯示較大層面的圖像用以AlexNet模型的訓(xùn)練以及測(cè)試,可提高訓(xùn)練模型的準(zhǔn)確率以及單張腫瘤圖像的識(shí)別準(zhǔn)確率。
橋小腦角區(qū)占位性病變?cè)谡麄€(gè)顱內(nèi)占位性病變中占比10%左右[10]。本文將深度學(xué)習(xí)的方法應(yīng)用與橋小腦角腦膜瘤與聽神經(jīng)瘤的MR圖像識(shí)別研究,選用AlexNet進(jìn)行二類腫瘤的分類識(shí)別,并使用圖像數(shù)據(jù)擴(kuò)充的方式提高模型識(shí)別的準(zhǔn)確率,減少醫(yī)生工作量的同時(shí),實(shí)現(xiàn)二類腫瘤有效鑒別的功能。但影像診斷涵蓋的疾病非常廣泛,這二類腫瘤也只能占到顱內(nèi)病變的百分之幾,80%以上的準(zhǔn)確率對(duì)于患者疾病的診斷要求仍無法達(dá)到臨床所需,僅能起到輔助的作用。在以后的實(shí)驗(yàn)中收集更多病種的種類以及數(shù)據(jù)量,使用更優(yōu)異的卷積神經(jīng)網(wǎng)絡(luò)算法,使得模型能涵蓋更多疾病的影像識(shí)別以及提高診斷準(zhǔn)確率將是今后研究的方向與目標(biāo)。