崔仲遠 黃偉
摘 要: 針對基于數(shù)學形態(tài)的腦腫瘤CT圖像特征分割技術(shù)存在準確率低、分割效果不明確的弊端,提出基于深度學習算法的腦腫瘤CT圖像特征分割技術(shù)。將可視人體數(shù)據(jù)集CVH?2作為研究對象,對數(shù)據(jù)集中的圖像實施預處理,對圖像四個模態(tài)實施卷積分別獲取不同模態(tài)彼此的差異信息,歸一化獲取腦腫瘤CT圖像多模態(tài)3D?CNNs特征。對基于SAE深度學習算法的腦腫瘤CT圖像特征分割模型實施二級訓練,將腦腫瘤CT圖像多模態(tài)3D?CNNs特征經(jīng)過處理后獲取的S,V通道數(shù)據(jù)輸入模型實施訓練,在第二級訓練的過程中把第一級SAE訓練得到的權(quán)重作為二級訓練的原始權(quán)重,將一級訓練中錯誤分割的組織結(jié)構(gòu)和溝回作為二次訓練的數(shù)據(jù)集,獲取腦腫瘤CT圖像特征的準確分割結(jié)果。實驗結(jié)果表明,所提方法在腦腫瘤CT圖像特征分割準確率和效率方面具有顯著優(yōu)勢。
關(guān)鍵詞: 深度學習算法; 腦腫瘤CT圖像; 特征分割技術(shù); 多模態(tài)3D?CNN; SAE結(jié)構(gòu); 數(shù)據(jù)集
中圖分類號: TN911.73?34; R739.41 文獻標識碼: A 文章編號: 1004?373X(2018)16?0092?04
Abstract: In allusion to the disadvantages of low accuracy rate and unobvious segmentation effect of the brain tumor CT image feature segmentation technology based on mathematical morphology, a brain tumor CT image feature segmentation technology based on in?depth learning algorithm is proposed. By taking the visual human body data set CVH?2 as the research object, the preprocessing of the images in data set is performed. The convolution is performed for the four modes of images, so as to obtain the differentiated information of different modes respectively, and obtain the multimodal 3D?CNNs features of brain tumor CT images in normalization. The second?level training is conducted for the feature segmentation model of brain tumor CT images based on the SAE in?depth learning algorithm. The S and V channel data obtained after the processing of the multimodal 3D?CNNs features of brain tumor CT images is input into the model for training. During the process of the second?level training, the weight obtained from the first?level SAE training is taken as the original weight of the second?level training, and the organizational structures and sulci wrongly segmented during the first?level training are taken as the data set of the second?level training, so as to obtain the accurate segmentation results of brain tumor CT image features. The experimental results show that the proposed method has a significant advantage in improving the accuracy rate and efficiency of brain tumor CT image feature segmentation.
Keywords: in?depth learning algorithm; brain tumor CT image; feature segmentation technology; multimodal 3D?CNN; SAE structure; data set
隨著現(xiàn)代醫(yī)療水平的提高,醫(yī)學成像技術(shù)在日常醫(yī)療診斷與醫(yī)學研究中的作用日益顯著,因此對醫(yī)學診斷圖像數(shù)據(jù)的研究至關(guān)重要。腦腫瘤作為時下頻繁出現(xiàn)且復雜性較強的腫瘤疾病,已成為醫(yī)學界重點研究的課題。腦腫瘤的確診通常以腦CT圖像的成像數(shù)據(jù)分析為依據(jù)。準確地分析腦CT圖像是判斷病人病情的關(guān)鍵步驟。但是醫(yī)生個人醫(yī)療知識的積累、經(jīng)驗水平的差異以及視覺疲勞等不確定因素都會影響對圖像結(jié)果的正確分析。因此如何準確地對腦腫瘤CT圖像特征實施分割十分重要[1]。針對基于腦腫瘤CT圖像特征分割技術(shù)存在準確率低、分割效果不明確的弊端,本文提出基于深度學習算法的腦腫瘤CT圖像特征分割技術(shù),為相關(guān)醫(yī)學研究提供了強有力的分析依據(jù)。
1.1 數(shù)據(jù)集獲取和圖像預處理
采用第三軍醫(yī)大學建立的中國第一個數(shù)字化可視人體數(shù)據(jù)集CVH?2作為本文分析的腦橫斷面圖像。本文采用的400幅腦橫斷面圖像全部來自CVH?2數(shù)據(jù)集中通過高分辨率設(shè)備拍攝的腦腫瘤CT圖像,其位深度是24 bit,3 072×2 048大小,切削厚度是0.25 mm,能清晰地顯示出腦白質(zhì)、腦灰質(zhì)以及腦脊液的組織狀況。前期預處理準備階段,需要配準全部圖像[2],并通過裁剪圖像為974×852大小的方式來減少實驗投入,增加腦白質(zhì)分割速度。
1.2 腦腫瘤CT圖像多模態(tài)3D?CNNs特征提取
數(shù)字識別是2D?CNNs的主要功能,其通過固定圖像大小的方式獲取圖像的特征提取。但其在腦腫瘤分割方面的運用存在弊端:腦腫瘤分割所需的單個像素點鄰域的大小不好掌控;不同病人不同圖像層的腫瘤大小存在差異致使此鄰域不能適用于所有腫瘤點;確保高精度分類是個難題。因此,本文通過塑造腦腫瘤多模態(tài)3D?CNNs特征對2D?CNNs實施改進。
圖1描述了腦腫瘤CT圖像多模態(tài)3D?CNNs特征提取過程,將4個模態(tài)相同位置的小鄰域14×14構(gòu)成3D(14×14×4)的原始腦腫瘤CT圖像輸入層[3],另6個權(quán)值共享的大小是3×3×2的卷積模板向原始層實施卷積,獲取6個12×12×3特征圖C1;對6個C1層的特征圖進行2D平均采樣獲取S2層;對S2層所有特征求和后進行12個3×3×2模板卷積獲取12個6×6×2的特征圖C3;C3層經(jīng)過平均采樣獲取S4層;S4層按列歸一化獲取96維特征向量F5。
4個模態(tài)聯(lián)合組成腦腫瘤CT圖像多模態(tài)3D?CNNs原始輸入層;對4個模態(tài)實施卷積分別獲取不同模態(tài)彼此的差異信息。個別學習方法做到了不同腦腫瘤病人差異信息獲取不同的分類特征。通過采樣的方式能夠獲取大量結(jié)構(gòu)邊緣信息,拋棄閑雜信息以及噪聲[4];通過多模態(tài)共同輸入的方式確保原始輸入需要較少的鄰域信息,能夠適用于各個圖像的腫瘤點,以此來增加腦腫瘤CT圖像的分割精度。
2.1 SAE原理
SAE是一種根據(jù)人工神經(jīng)網(wǎng)絡(luò)特征組成可以自動采集輸入數(shù)據(jù)深層次特征的網(wǎng)絡(luò)。圖2詳細描述了SAE結(jié)構(gòu),輸入層、隱層以及輸出層共同構(gòu)成了SAE結(jié)構(gòu)[5],SAE是一種高效的深度學習算法。
SAE嘗試學習到一種非線性映射,可以令輸出[xn]與[xn]相似。若限制SAE的隱層神經(jīng)元數(shù)量能獲取到輸入數(shù)據(jù)一部分有價值的結(jié)構(gòu)。舉例說明:若向SAE輸入M維向量(其輸出向量也是M維),而隱層僅包括N個神經(jīng)元且滿足N 2.2 基于SAE深度學習算法的圖像特征分割模型訓練 本文通過對基于SAE深度學習算法的腦腫瘤CT圖像特征分割模型實施訓練,實現(xiàn)腦腫瘤CT圖像特征的高精度分割。將1.2節(jié)獲取的腦腫瘤CT圖像多模態(tài)3D?CNNs特征經(jīng)過處理后獲取的S,V通道數(shù)據(jù)輸入模型實施訓練。模型的訓練分成兩級:第一級訓練的樣本是從輸入圖像中任意選擇的圖像塊,同時SAE的初始值也被隨機還原;第二級訓練中,采用上級訓練中分割效果不理想的組織結(jié)構(gòu)作為訓練樣本,SAE的初始值是從上一訓練中獲取的權(quán)值。 2.2.1 第一級訓練 由于腦腫瘤CT多模態(tài)3D?CNNs圖像的不同分量中存在部分多余的雜質(zhì)[7],導致其表達腦組織的作用發(fā)揮的不明顯。把腦腫瘤CT圖像轉(zhuǎn)換成YCbCr模式獲取的Cb與Cr圖像不清晰,對比效果極差,很難當作原始信息輸入。位于圖像HSV空間中的飽和度(S)以及亮度(V)能夠清晰地呈現(xiàn)出腦白質(zhì)與其他組織結(jié)構(gòu)的對比效果。所以,為提高樣本訓練的效率,本文模型中的全部圖像都使用HSV空間中S,V通道信息實施訓練。本次訓練圖像是本文選取的400幅腦橫斷面圖像中的一幅,其特征是伴有細長溝回和拐點。第一級訓練,詳細做法如下:把腦腫瘤CT圖像多模態(tài)3D?CNNs特征轉(zhuǎn)換到HSV空間丟棄H通道信息,在S和V通道中任意選取圖像塊以其中心體素原始特征的形式輸送到SAE實施訓練;Softmax分類器訓練所需的特征向量均來自于上述圖像塊經(jīng)過訓練所獲取的維度是9的深度向量特征;最后各個圖像塊通過獲取到維度是2的輸出向量,來體現(xiàn)該圖像塊中心體素所屬的類別信息[8]。本文模型具體參數(shù)設(shè)定為:SAE采用單隱層結(jié)構(gòu)對其實施二級訓練,基于訓練的計算消耗以及分割準確性設(shè)置圖像塊的大小是5×5,深度是2,此時數(shù)據(jù)通道為S和V。設(shè)置50,9以及50分別是SAE的輸入層、隱層以及輸出層的神經(jīng)元數(shù)目,用[ρ=0.02]表示稀疏性參數(shù),[β=3]表示稀疏懲罰因子。 2.2.2 第二級訓練 使用單級網(wǎng)絡(luò)獲取的效果較差的原因是腦白質(zhì)中存在繁瑣的溝回、噪聲以及色差。第一級訓練獲取的腦腫瘤CT圖像特征分割結(jié)果圖像顯示,經(jīng)過一級訓練后SAE對腦腫瘤微小的結(jié)構(gòu)、溝回分割程度不明顯。這一現(xiàn)象導致腦腫瘤的拓撲結(jié)構(gòu)遭到損壞,在人體腦腫瘤的展示方面形成阻力[9]。因此采取對SAE實施二次訓練的方式來彌補這一不足。在第二級訓練的過程中,令第一級SAE訓練得到的權(quán)重作為二級訓練的原始權(quán)重?;赟AE在數(shù)據(jù)訓練方面存在自適應性的特點,把第一級訓練中錯誤分割的組織結(jié)構(gòu)和溝回當作本次訓練的數(shù)據(jù)集,確保提高學習到的深度特征對組織結(jié)構(gòu)的判斷能力[10]。二級訓練獲取的腦腫瘤CT圖像特征分割結(jié)果,實施二級訓練模型分割獲取的腦腫瘤細節(jié)更加具體,誤分割水平明顯提高。
為了證明本文方法采用的多模態(tài)3D?CNNs在腦腫瘤CT圖像特征提取方面的優(yōu)勢,將其與基本特征經(jīng)典2D?CNNs、鄰域灰度和Haar小波低頻系數(shù)進行對比實驗,描述三種特征提取方法在10個病人身上的平均分割結(jié)果。多模態(tài)3D?CNNs特征提取較經(jīng)典2D?CNNs而言效果更佳,帶有多模態(tài)3D?CNNs特征的dice特征系數(shù)是87.26%,高于經(jīng)典2D?CNNs的82.82%。值得注意的是,使用鄰域灰度和Haar小波低頻系數(shù)的分割結(jié)果要優(yōu)于帶有經(jīng)典2D?CNNs特征的分割結(jié)果。
造成這一現(xiàn)象的具體原因是:腦腫瘤類似球形,訓練獲取的2D?CNNs難以應用在不同層次狀況的腫瘤圖像;理論上分析對4個模態(tài)實施特征提取可以獲取大量不同模態(tài)之間的差異信息,由于特征信息過多導致結(jié)果適得其反。本文方法采用的多模態(tài)3D?CNNs特征彌補了上述缺點,4個模態(tài)的三維結(jié)合為不同模態(tài)間差異信息協(xié)作提供了便利,淘汰多余信息,達到腦腫瘤CT圖像特征高精度分類的狀態(tài)。為了證明本文方法采用的多模態(tài)3D?CNNs在腦腫瘤CT圖像特征提取方面的顯著效果,在實驗環(huán)境一定的前提下,給出了基于鄰域灰度和Haar小波低頻系數(shù)、本文方法采用的多模態(tài)3D?CNNs特征以及真值三種分割結(jié)果。結(jié)果表明腫瘤與非腫瘤之間的界限不明確,采用鄰域灰度和Haar小波低頻系數(shù)的分割結(jié)果把部分水腫誤認成了腫瘤,而本文方法采用多模態(tài)3D?CNNs特征后獲取的結(jié)果幾乎接近于真值,沒有把水腫規(guī)劃成腫瘤,比前者的分割效果明顯增強。上述問題得到很好的解決,說明本文方法對腦腫瘤CT圖像特征具有較高的分割準確度。
為證明本文方法采用的SAE結(jié)構(gòu)在腦腫瘤CT圖像特征提取方面的顯著優(yōu)勢,對不同SAE結(jié)構(gòu)進行實驗分析。實驗對SAE結(jié)構(gòu)輸入4種不同大小的圖像,采用10個不一樣的隱層神經(jīng)元對各圖像塊下的SAE結(jié)構(gòu)實施分割測試。值得注意的是圖像塊大小一定的前提下,隨著神經(jīng)元數(shù)目的增加其分割準確率越低。這一狀況表明基于SAE結(jié)構(gòu)的深度學習算法在壓縮神經(jīng)元數(shù)目方面能力更強。產(chǎn)生這一狀況的主要原因是圖像塊越小攜帶的影響因子越少,且神經(jīng)元數(shù)目少,SAE結(jié)構(gòu)可以發(fā)揮其在壓縮神經(jīng)元特征方面的能力。
不同SAE結(jié)構(gòu)對腦腫瘤CT圖像特征分割的平均準確率以及分割每幅圖像的時間消耗的分析表明:SAE結(jié)構(gòu)獲取的平均分割準確率均大于90%,且這一結(jié)果是在不同圖像塊和神經(jīng)元數(shù)目狀態(tài)下實現(xiàn)的,并且本文方法對于腦腫瘤CT圖像平均分割準確率達到了97.3%,若進行二級訓練后獲取的分割結(jié)果會增長0.4%~1.5%。表明本文基于SAE深度學習算法在腦腫瘤CT圖像特征分割方面的具有較高準確性。本文方法分割腦腫瘤CT圖像特征消耗的時間與隱層神經(jīng)元數(shù)目成正比,在3×3圖像塊下分割腦腫瘤CT圖像特征所消耗的最少的時間為1.3 s,最高時間消耗是5 s,平均消耗時間較低,說明本文方法進行腦腫瘤CT圖像特征分割過程中具有較高的效率。
本文提出的基于深度學習算法的腦腫瘤CT圖像特征分割技術(shù),既能排除各模態(tài)的冗余信息又能兼顧腫瘤大小狀況的變化,改進了基于數(shù)學形態(tài)腦腫瘤CT圖像特征分割方法存在的準確率低、分割效果不明確的弊端,為相關(guān)醫(yī)學研究提供了強有力的分析依據(jù)。
[1] 馬成虎,董洪偉.一種基于深度學習的多尺度深度網(wǎng)絡(luò)的場景標注算法[J].計算機工程與科學,2016,38(7):1356?1361.
MA Chenghu, DONG Hongwei. A scene labeling algorithm for multi?scale deep networks based on deep learning [J]. Computer engineering and science, 2016, 38(7): 1356?1361.
[2] 徐立,白金牛,李磊民.基于腦部MR圖像GMM特征決策分類的腫瘤診斷[J].控制工程,2017,24(8):1718?1722.
XU Li, BAI Jinniu, LI Leimin. Diagnosis of tumor in brain MR images based on GMM features and decision tree classifier [J]. Control engineering of China, 2017, 24(8): 1718?1722.
[3] ROOBINI K, RAMAKRISHNAN T, SANKARAGOMATHI B. Neighbourhood weighted fuzzy C?means (NWFCM) clustering algorithm for segmentation of brain tumors in CT images [J]. International journal of applied engineering research, 2015, 10(20): 15327?15330.
[4] 秦豐,劉東霞,孫炳達,等.基于深度學習和支持向量機的4種苜蓿葉部病害圖像識別[J].中國農(nóng)業(yè)大學學報,2017,22(7):123?133.
QIN Feng, LIU Dongxia, SUN Bingda, et al. Image recognition of four different alfalfa leaf diseases based on deep learning and support vector machine [J]. Journal of China Agricultural University, 2017, 22(7): 123?133.
[5] 張人上.基于NSCT?GLCM的CT圖像特征提取算法[J].計算機工程與應用,2014,50(11):159?162.
ZHANG Renshang. Features extraction algorithm of CT image based on GNSCT?LCM [J]. Computer engineering and applications, 2014, 50(11): 159?162.
[6] 楚陪陪,魏本征,曲彥,等.基于復合超像素技術(shù)的肺部CT圖像分割算法[J].合肥工業(yè)大學學報(自然科學版),2017,40(3):332?339.
CHU Peipei, WEI Benzheng, QU Yan, et al. A lung CT image segmentation algorithm based on composite super pixel technology [J]. Journal of Hefei University of Technology (Natural science), 2017, 40(3): 332?339.
[7] 汪亮,金福江,陳峻嚴.基于區(qū)域生長和FCM模糊聚類的顱內(nèi)出血CT圖像分割[J].系統(tǒng)仿真學報,2014,26(2):231?235.
WANG Liang, JIN Fujiang, CHEN Junyan. Segmentation of intracranial hemorrhage′s CT image based on method of region growing and FCM fuzzy clustering [J]. Journal of system simulation, 2014, 26(2): 231?235.
[8] CHITRA K, RAMAKRISHNAN T, SANKARAGOMATHI B. Automatic segmentation of brain tumor in CT images using LIPC [J]. International journal of applied engineering research, 2015, 10(20): 15478?15483.
[9] 楊陽,張文生.基于深度學習的圖像自動標注算法[J].數(shù)據(jù)采集與處理,2015,30(1):88?98.
YANG Yang, ZHANG Wensheng. Image auto?annotation based on deep learning [J]. Journal of data acquisition & processing, 2015, 30(1): 88?98.
[10] 王博,郭繼昌,張艷.基于深度網(wǎng)絡(luò)的可學習感受野算法在圖像分類中的應用[J].控制理論與應用,2015,32(8):1114?1119.
WANG Bo, GUO Jichang, ZHANG Yan. Learnable receptive fields scheme in deep networks for image categorization [J]. Control theory & applications, 2015, 32(8): 1114?1119.