基于多尺度卷積神經(jīng)網(wǎng)絡(luò)的磁共振成像腦腫瘤分割研究

李 健羅 蔓羅 曉藍(lán) 威周懷恒陳榮耀

?

基于多尺度卷積神經(jīng)網(wǎng)絡(luò)的磁共振成像腦腫瘤分割研究

李 ?、倭_ 蔓①羅 曉①藍(lán) 威①周懷恒①陳榮耀①

李健,男,(1983- ),碩士，工程師。廣東省農(nóng)墾中心醫(yī)院腫瘤放射治療中心，從事放射腫瘤物理師的工作，研究方向：腫瘤放射治療臨床應(yīng)用中的圖像處理。

目的：針對(duì)腦腫瘤形狀、位置及大小等多變性，提出一種適合磁共振成像(MRI)腦腫瘤分割的卷積神經(jīng)網(wǎng)絡(luò)模型的改進(jìn)方法。方法：將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用到腦腫瘤分割上，并針對(duì)腦腫瘤的特點(diǎn)，提出多尺度卷積神經(jīng)網(wǎng)絡(luò)模型(MSCNN)，通過(guò)多尺度的輸入與多尺度下的采樣，克服腦腫瘤的個(gè)體差異，同時(shí)適應(yīng)腦腫瘤不同圖像層之間的大小位置差異，弱化腫瘤邊緣與正常組織灰度相近的影響。結(jié)果：通過(guò)對(duì)30例患者的多模態(tài)磁共振圖像進(jìn)行分割，得到平均Dice系數(shù)為83.11%；平均靈敏度系數(shù)為89.48%；平均陽(yáng)性預(yù)測(cè)值(PPV)系數(shù)為78.91%。結(jié)論：MRI腦腫瘤分割的改進(jìn)方法可使分割精度得到明顯提高，多尺度卷積神經(jīng)網(wǎng)絡(luò)能自適應(yīng)腦腫瘤的差異性，并準(zhǔn)確有效地分割腦腫瘤。

腦腫瘤分割；多尺度；卷積神經(jīng)網(wǎng)絡(luò)；磁共振成像

①?gòu)V東省農(nóng)墾中心醫(yī)院腫瘤放射治療中心 廣東 湛江 524002

[First-author’s address] Department of Medical Equipment, Zhanjiang Tumor Hospitl, Zhanjiang 524002, China.

腦膠質(zhì)瘤是一種嚴(yán)重危及患者生命的常見(jiàn)腦部惡性腫瘤，而磁共振成像(magnetic resonance imaging，MRI)具有高分辨率、多參數(shù)成像等特點(diǎn)，是腦腫瘤診斷常用的檢查設(shè)備。腫瘤的分割對(duì)于前期診斷、手術(shù)治療和放射治療起著至關(guān)重要的作用。由于腦膠質(zhì)瘤與正常組織灰度差異不明顯，腫瘤周?chē)吔绮磺逦抑車(chē)ǔ４嬖谒[，人工分割工作繁瑣且主觀性強(qiáng)，不同專(zhuān)家對(duì)同一患者分割結(jié)果差異較大，同一專(zhuān)家在不同時(shí)刻對(duì)同一患者的分割結(jié)果亦不盡相同，而使用計(jì)算機(jī)能夠有效精確地實(shí)現(xiàn)腦腫瘤的自動(dòng)分割，已成為國(guó)內(nèi)外眾多學(xué)者不斷研究與探索的熱點(diǎn)[1-4]。本研究根據(jù)腦腫瘤的特性提出一種改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network，CNN)結(jié)構(gòu)模型—多尺度卷積神經(jīng)網(wǎng)絡(luò)(multi-scale convolutional neural network，MSCNN)模型，以實(shí)現(xiàn)對(duì)腦腫瘤的自動(dòng)分割。

1 材料與方法

1.1 資料及工具

所用的MR圖像來(lái)自在線圖庫(kù)MICCAl2012(http：// www.imm.dtu.dk/projects/BRATS2012)，其中包括蘇黎世聯(lián)邦理工學(xué)院、伯爾尼大學(xué)、德布勒森大學(xué)和猶他州大學(xué)在內(nèi)的機(jī)構(gòu)提供完全匿名的患者數(shù)據(jù)，人工分割結(jié)果由網(wǎng)站提供，為多名專(zhuān)家共同完成。圖庫(kù)中給出患者FLAIR、T1、T2和T1C的4種已配準(zhǔn)圖像(512×512×176，1 mm×1 mm×1 mm)。

對(duì)圖像庫(kù)所有30例真實(shí)患者數(shù)據(jù)進(jìn)行腦腫瘤分割試驗(yàn)，計(jì)算環(huán)境為Matlab2011a，CPU3.40 GHz，RAM4.00 GB，Windows XP Professional。

1.2 評(píng)價(jià)指標(biāo)

采用Dice相似系數(shù)(dice similarity coefficient，DSC)法、靈敏度和陽(yáng)性預(yù)測(cè)值(predictive positivity value，PPV)等[5]技術(shù)指標(biāo)評(píng)價(jià)分割結(jié)果，其中Dice系數(shù)為試驗(yàn)分割結(jié)果與專(zhuān)家手動(dòng)分割結(jié)果的相似程度，靈敏度為分割正確的腫瘤點(diǎn)所占真值腫瘤點(diǎn)比例，PPV為分割正確的腫瘤點(diǎn)所占分割結(jié)果為腫瘤點(diǎn)的比例。

1.3 MSCNN結(jié)構(gòu)模型

(1)多模態(tài)三維CNN模型。文獻(xiàn)[6]對(duì)經(jīng)典的二維CNNs做出改進(jìn)，提出一種多模態(tài)三維CNN結(jié)構(gòu)模型。其核心是用對(duì)4個(gè)模態(tài)的相同位置的小鄰域如14×14(具體鄰域大小根據(jù)訓(xùn)練數(shù)據(jù)網(wǎng)格尋優(yōu)所得)，組成三維(14×14×4)原始輸入層，用3×3×2的三維卷積模板對(duì)原始輸入層進(jìn)行卷積，通過(guò)4個(gè)層次的三維卷積與二維下采樣，實(shí)現(xiàn)腦腫瘤的特征提取與分割(如圖1所示)。

圖1 多模態(tài)三維CNN結(jié)構(gòu)圖

(2)MSCNN結(jié)構(gòu)模型。本研究對(duì)多模態(tài)三維CNN模型做出改進(jìn)，提出MSCNN模型。MSCNN輸入層由3個(gè)尺度(10×10、20×20和34×34)構(gòu)成，分別經(jīng)過(guò)3條不同的通道卷積下采樣，3條通道都采用3×3×2的多模態(tài)三維卷積模板進(jìn)行特征學(xué)習(xí)，然后各自通過(guò)不同尺度的下采樣進(jìn)行特征抽取。多尺度的輸入能從不同的角度提取豐富的鄰域特征，無(wú)論訓(xùn)練層腫瘤大小與否，無(wú)需再通過(guò)網(wǎng)格尋優(yōu)來(lái)確定鄰域的尺度，多尺度同時(shí)學(xué)習(xí)能自適應(yīng)的提取最有利的分類(lèi)特征，不同層次的下采樣能夠有效去除由于尺度過(guò)大而帶來(lái)的鄰域干擾特征，即使測(cè)試層與訓(xùn)練層腫瘤差異很大，因鄰域信息豐富仍能取得較好的分割結(jié)果(如圖2所示)。

圖2 MSCNN結(jié)構(gòu)圖

1.4 分割方法

基于MSCNN模型的MRI腦腫瘤分割系統(tǒng)對(duì)患者采用參考文獻(xiàn)[7]方法進(jìn)行預(yù)處理。①移除1%最高灰度和最低灰度；②對(duì)T1和T1C模態(tài)運(yùn)用N4ITK偏差糾正[8]；③對(duì)每個(gè)模態(tài)各自歸一化。預(yù)處理后，隨機(jī)抽取一層含腫瘤層作為訓(xùn)練層，腫瘤內(nèi)外各取相同的點(diǎn)數(shù)作為訓(xùn)練樣本，得到符合此患者特點(diǎn)的MSCNN模型，用此模型對(duì)此患者剩余腫瘤層進(jìn)行分割。為表明MSCNN的分割性能，本研究中所用到的分割方法均未做任何后處理(如圖3所示)。

圖3 研究方法系統(tǒng)流程圖

2 結(jié)果

在本研究中，采用試驗(yàn)說(shuō)明多模態(tài)三維CNN中鄰域大小對(duì)分割結(jié)果的影響；然后用MSCNN模型對(duì)30例真實(shí)患者數(shù)據(jù)進(jìn)行分割，并與多模態(tài)三維CNN模型試驗(yàn)結(jié)果進(jìn)行對(duì)比；最后同支持向量機(jī)分割模型[9]結(jié)果進(jìn)行對(duì)比，以驗(yàn)證本研究方法的有效性與必要性。

2.1 多模態(tài)三維CNN不同鄰域分割結(jié)果

編號(hào)為HG0006的患者不同二維層圖像，不同層的腫瘤大小差異較大，且周?chē)[面積也大不相同，灰度紋理差異很大，因此，在訓(xùn)練層取得最佳分割結(jié)果的鄰域尺度，在測(cè)試層并不能夠獲得最佳的分割結(jié)果(如圖4所示)。

圖4 編號(hào)為HG0006患者不同二維層圖像

為驗(yàn)證鄰域尺度對(duì)分割結(jié)果的影響，用不同鄰域尺度對(duì)同一患者進(jìn)行訓(xùn)練和分割，編號(hào)為HG0006的患者基于多模態(tài)三維CNN模型的分割結(jié)果表明，不同鄰域尺度對(duì)訓(xùn)練層和測(cè)試層的分割精度影響較大，同時(shí)，訓(xùn)練層和測(cè)試層的最佳鄰域尺度并不相同，在訓(xùn)練層，鄰域?yàn)?6×26×4時(shí)獲得最佳Dice系數(shù)，而測(cè)試層的最佳鄰域?yàn)?0×30×4。試驗(yàn)證明，鄰域尺度對(duì)測(cè)試層和訓(xùn)練層均有較大影響(如圖5所示)。

圖5 編號(hào)為HG0006患者不同鄰域尺度三維CNN分割結(jié)果示圖

2.2 MSCNN與多模態(tài)三維CNN分割結(jié)果對(duì)比

為驗(yàn)證多尺度輸入的有效性，分別用MSCNN模型和多模態(tài)三維CNN模型對(duì)30例真實(shí)患者圖像進(jìn)行分割實(shí)驗(yàn)(如圖6所示)。

表1 30例患者的平均分割結(jié)果(%)(±s)

表1 30例患者的平均分割結(jié)果(%)(±s)

S 三V MM維方SC-C 法NRN NBNF 8 992 51.D..0 i077 c64 e± ±± 系1 47 數(shù)4...24 0 490 999 884...靈訓(xùn)076 049敏練 ±±±度層114...748 287 87 964 3...58 554 P0±± P±V11 7 19...599 593 76 827 3..D.68 i187 c2e±±± 系12 9 數(shù)50...3 49 150 88 844 9...測(cè)靈40 487 8試敏 ±±±層度11 853...758 766 765 869...967 P111 ±±± PV 112 473...199 246

圖6 編號(hào)為HG0001患者分割結(jié)果示圖

圖6顯示編號(hào)為HG0001的患者分割結(jié)果，a為真值圖像，b為基于MSCNN模型的分割結(jié)果，c為基于三維CNN模型的分割結(jié)果，第一排為訓(xùn)練層的分割結(jié)果，第二排為測(cè)試層的分割結(jié)果，從圖6a中可以看出，不同的腫瘤層腫瘤大小及周邊水腫差異較大，兩種方法對(duì)于訓(xùn)練層都能取得很好的分割結(jié)果，但由于輸入尺度不一樣，MSCNN在測(cè)試層上分割精度明顯高于多模態(tài)三維CNN模型。這是由于測(cè)試層腫瘤很小，且與周?chē)＝M織在灰度和紋理上都非常接近，單一鄰域特征難以將腫瘤與正常組織區(qū)分開(kāi)來(lái)。

對(duì)30例患者的平均分割結(jié)果顯示，其中對(duì)三維CNN模型的鄰域參數(shù)均采用網(wǎng)格尋優(yōu)確定，與多模態(tài)三維CNN模型方法相比較，MSCNN模型方法的訓(xùn)練層分割精度略有提高，Dice系數(shù)從91.74%到95.06%，測(cè)試層的分割精度則有明顯提高，Dice系數(shù)從72.68% 到83.12%，精度提高了10.44%，見(jiàn)表1。

表1數(shù)據(jù)表明，相對(duì)于三維CNN模型，MSCNN模型采用了不同尺度的輸入，既能適應(yīng)不同患者在腫瘤大小位置上差異及周邊水腫的差異，同時(shí)針對(duì)同一患者在不同空間上腫瘤大小的差異，豐富的鄰域信息能極大提高分割精度。

2.3 MSCNN與其他分割方法對(duì)比

為了驗(yàn)證基于MSCNN模型分割方法的優(yōu)勢(shì)，將本研究方法與文獻(xiàn)[9]方法進(jìn)行對(duì)比試驗(yàn)。通過(guò)試驗(yàn)證明，基于徑向基核函數(shù)(radial basis function，RBF)的支持向量機(jī)分類(lèi)器是具有優(yōu)勢(shì)的分類(lèi)器，同時(shí)統(tǒng)計(jì)特征和Gabor特征適用于腦腫瘤分割，故以統(tǒng)計(jì)信息和Gabor小波為基本特征，用支持向量機(jī)(support vector machine，SVM)-RBF做分類(lèi)器，構(gòu)成本研究的對(duì)比試驗(yàn)。試驗(yàn)結(jié)果如表1所示，為30個(gè)患者圖像采用兩種不同分割方法的平均結(jié)果值，表1顯示，SVM-RBF方法的Dice系數(shù)為67.87%，MSCNN為83.12%，具有非常明顯的優(yōu)勢(shì)。

3 討論

在以往的研究中，通過(guò)人的主觀意識(shí)去理解圖像，從而提取特定的特征信息，如灰度信息、紋理信息及對(duì)稱(chēng)信息等實(shí)現(xiàn)腦腫瘤的分割，結(jié)果只能針對(duì)特定的圖像有比較好的分割結(jié)果[9]。CNN自1998年首次提出后便作為高效識(shí)別方法受到研究者的廣泛重視，隨著2006年深度學(xué)習(xí)概念的提出，CNN作為有監(jiān)督學(xué)習(xí)的代表，再一次成為總舵科學(xué)領(lǐng)域的研究熱點(diǎn)之一[10-11]。CNN直接輸入原始圖像，而不需要對(duì)圖像進(jìn)行復(fù)雜的前期預(yù)處理，通過(guò)局部感受野提取方向線段、端點(diǎn)及角點(diǎn)等初級(jí)視覺(jué)特征；通過(guò)權(quán)值共享減少訓(xùn)練數(shù)據(jù)；通過(guò)次抽樣來(lái)實(shí)現(xiàn)對(duì)位移、縮放和其他形式扭曲的不變性，因而得到了廣泛的應(yīng)用。在MRI腦腫瘤圖像的分割上，CNN有監(jiān)督學(xué)習(xí)方法實(shí)現(xiàn)了針對(duì)不同患者差異信息提取不同的分類(lèi)特征；下采樣使得特征提取包含更多的結(jié)構(gòu)邊緣信息，同時(shí)剔除冗余信息和噪聲，適合腦腫瘤的多變性，逐漸成為腦腫瘤分割的主流方法之一[5-6,12-13]。

為充分利用MR的多參數(shù)成像的特點(diǎn)，自動(dòng)提取4個(gè)模態(tài)(T1、T1C、T2和FLAIR)序列的差異信息。Lyksborg等[5]采用MR的4個(gè)二維多模態(tài)鄰域灰度作為原始數(shù)據(jù)，為了避免不同層腫瘤差異大的問(wèn)題，其選取特定的腫瘤層來(lái)實(shí)現(xiàn)腫瘤的分割。經(jīng)典的二維CNN模型運(yùn)用到MRI腦腫瘤分割會(huì)出現(xiàn)如下問(wèn)題：①M(fèi)R圖像的每個(gè)模態(tài)強(qiáng)調(diào)不一樣的信息，如何提取差異信息同時(shí)去除冗余信息，實(shí)現(xiàn)更高精度的分類(lèi)；②不同患者的腫瘤大小不一，同一患者的不同腦圖像層腫瘤大小也不一，如何確定原始輸入尺寸的大小。

Urban等[12]提出二通道卷積神經(jīng)網(wǎng)絡(luò)(two path convolutional neural network，TWCNN)模型，一條通道提取局部詳細(xì)特征，另一條通道提取更大范圍的全局特征；Havaei等[13]在TWCNN的基礎(chǔ)上提出了更加復(fù)雜的二通道模型，使得分割精度取得較大提高，但不同患者腦腫瘤的大小各異；即使是同一患者，在二維圖像上，不同的圖像層腫瘤大小差異顯著。以上模型的原始輸入層的大小單一，在不同大小腫瘤的分割上，不同患者的分割結(jié)果有很大差異。

羅蔓等[6]提出一種多模態(tài)三維CNN模型，將MR 的4個(gè)模態(tài)序列圖像組成三維的原始輸入圖像，用三維的卷積模板進(jìn)行特征提取。多模態(tài)三維CNN原始輸入層由4個(gè)模態(tài)共同構(gòu)成，通過(guò)三維卷積，自動(dòng)提取各個(gè)模態(tài)之間的差異信息，同時(shí)剔除冗余信息。然而，多模態(tài)三維CNN模型仍然未解決鄰域大小的取值問(wèn)題，面對(duì)尺寸差異很大的腫瘤仍然有其局限性。由于每個(gè)患者的腦腫瘤大小及其邊緣復(fù)雜程度不同，必須通過(guò)訓(xùn)練確定鄰域的大??；不同鄰域大小對(duì)分割精度有較大影響，通過(guò)窮舉算法來(lái)確定輸入尺寸的大小，訓(xùn)練層的高精度并不代表適合整個(gè)大腦的腫瘤分割。

CNN模仿人類(lèi)視覺(jué)處理過(guò)程，作為優(yōu)秀的深度學(xué)習(xí)方法被廣泛應(yīng)用于各個(gè)領(lǐng)域，但由于腦腫瘤的灰度、紋理、位置、大小及形狀等多變性，常規(guī)的CNN模型仍不能取得很好的分割結(jié)果。為此，本研究提出一種MSCNN模型，在多模態(tài)三維CNN模型的基礎(chǔ)上，輸入層由3個(gè)不同尺度的鄰域構(gòu)成。多尺度的輸入，不同尺度的次抽樣，能從不同角度來(lái)獲得更多有利于分割的特征，在增加鄰域信息的同時(shí)去掉冗余信息，以得到最佳的分類(lèi)特征；通過(guò)多尺度的輸入，克服需要根據(jù)腫瘤的大小來(lái)選擇特定的輸入尺度，從各個(gè)角度容納更多的鄰域信息，同時(shí)適應(yīng)不同腫瘤大小、灰度及紋理等的變化差異，從而提高腦腫瘤的分割精度。

4 結(jié)語(yǔ)

本研究結(jié)果表明，MSCNN模型方法能夠準(zhǔn)確有效地分割腦腫瘤。在接下來(lái)的研究中，將進(jìn)一步分析如何在保證精度不變甚至提高的基礎(chǔ)上，加快分割速度，以保證分割的實(shí)時(shí)性，以期進(jìn)一步完善本研究所提出的分割策略。

[1]Li Y,Dou Q,Yu J,et al.Automatic brain tumor segmentation from MR images via a multimodalsparse coding based probabilistic model[C].Pattern Recognition in Neuro Imaging(PRNI),2015 International Workshop on.IEEE,2015:41-44.

[2]Mohan J,Krishnaveni V,Huo Y.Automated brain tumor segmentation on MR images based on neutrosophic set approach[C].Electronics and Communication Systems(ICECS),2015 2nd International Conference on IEEE,2015:1078-1083.

[3]Ben George E,Rosline G J,Rajesh D G.Brain tumor segmentation using Cuckoo Search optimization for Magnetic Resonance Images[C].GCC Conference and Exhibition (GCCCE),2015 IEEE 8th.IEEE,2015:1-6.

[4]Huang M,Yang W,Wu Y,et al.Brain tumor segmentation based on local independent projectionbased classification[J].IEEE Trans Biomed Eng,2014,61(10):2633-2645.

[5]Lyksborg M,Puonti O,Agn M,et al.An ensemble of 2D convolutional neural networks for tumor segmentation[J].Lecture Notes Computer Science,2015,9127:201-211.

[6]羅蔓,黃靖,楊豐.基于多模態(tài)3D-CNNs特征提取的MRI腦腫瘤分割方法[J].科學(xué)技術(shù)與工程,2014(31): 78-83.

[7]Menze BH,Jakab A,Bauer S,et al.The Multimodal Brain Tumor Image Segmentation Benchmark(BRATS)[J].IEEE Trans Med Imaging,2014,34(10): 1993-2024.

[8]Avants BB,Tustison NJ,Song G,et al.A reproducible evaluation of ANTs similarity metric performance in brain image registration[J].Neuroimage,2011,54(3): 2033-2044.

[9]Nabizadeh N,Kubat M.Brain tumors detection and segmentation in MR images:Gabor wavelet vs.statistical features[J].Computers Electrical Engineering,2015,45:286-301.

[10]Le Cun Y,Bottou L,Bengio Y,et al.Gradientbased learning applied to document recognition[J].Proceedings of the IEEE,1998,86(11):2278-2324.

[11]Hinton GE,Osindero S,Teh YW.A fast learning algorithm for deep belief nets[J].Neural computati on,2006,18(7):1527-1554.

[12]Urban G,Bendszus M,Hamprecht FA,et al.Multi-modal brain tumor segmentation using deep convolutional neural networks[J].MICCAI BraTS (Brain Tumor Segmentation)Challenge.Proceedings, winningcontribution,2014:31-35.

[13]Havaei M,Davy A,Warde-Farley D,et al.Brain tumor segmentation with deep neural networks[J].Medical Image Analysis(in revision),2015.

Research on tha application of brain tumor segmentation of MRI based on multi-scale convolutional neural networks

LI Jian, LUO Man, LUO Xiao, et al// China Medical Equipment,2016,13(2):25-28.

Objective: In view of these tumors can appear anywhere in the brain and have almost any kind of shape and size, a new segmentation method of MRI based on intelligent convolutional neural network is developed.Methods: The convolutional neural network is applied in brain tumor segmentation, according to the features of the brain tumor, the multi-scale convolutional neural network is proposed and conducted multi-scale input and multi-scale down sampling to overcome the individual differences of brain tumor.At the same time it adapted any kind of size, shape and contrast of the difference layers.Results: Data from 30 patients showed that the proposed algorithm is effective.The average Dice is 83.11%, the average sensitivity coefficient is 89.48%.the average predictive positivity value coefficient is 78.91%.Conclusion: It can improve the segmentation accuracy obviously.The multi-scale convolution neural network can adaptively the differences of brain tumor, have more effective segmentation for more images.

Brain tumor segmentation; Multi-scale; Convolutional neural network; Magnetic resonance imaging

10.3969/J.ISSN.1672-8270.2016.02.008

1672-8270(2016)02-0025-04

R445.2

A

2015-12-26