基于3D卷積神經(jīng)網(wǎng)絡(luò)的腦腫瘤醫(yī)學(xué)圖像分割優(yōu)化

曹祺煒 王峰 牛錦

摘? 要： 針對2D卷積神級網(wǎng)絡(luò)不能夠較好地提取各模態(tài)之間的差異信息，不同的圖像層腫瘤大小差異顯著，且分割精度低，單模態(tài)MRI無法清晰地反映GBM的不同組織結(jié)構(gòu)，提出一種基于3D多池化卷積神經(jīng)網(wǎng)絡(luò)擬解決以上實際問題。將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用到腦腫瘤分割上，并針對腦腫瘤的特點，提出3D多池化卷積神經(jīng)網(wǎng)絡(luò)模型，通過多尺度的輸入與多尺度的下采樣，且在后端使用條件隨機場（CRF）使圖片盡量在邊界處分割，增加圖像的分割精度，克服腦腫瘤的個體差異，同時適應(yīng)腦腫瘤不同圖像層之間的大小位置差異。通過對100例患者的多模態(tài)磁共振圖像進行分割，Dice系數(shù)達到91.64%;MRI腦腫瘤分割的改進方法可使分割精度得到明顯提高，可更好地提取各模態(tài)之間的差異信息，實現(xiàn)適應(yīng)范圍更廣的MRI腫瘤分割，并準(zhǔn)確有效地分割腦腫瘤。

關(guān)鍵詞： 腦腫瘤; 醫(yī)學(xué)圖像分割; 多模態(tài)MRI; 差異信息提取; 多尺度采樣; 3D卷積神經(jīng)網(wǎng)絡(luò)

中圖分類號： TN911.73?34; TP399? ? ? ? ? ? ? ? ? ? 文獻標(biāo)識碼： A? ? ? ? ? ? ? ? ?文章編號： 1004?373X（2020）03?0074?04

Optimization of brain tumor medical image segmentation

based on 3D convolutional neural network

CAO Qiwei， WANG Feng， NIU Jin

（School of Information and Computer Science， Taiyuan University of Technology， Taiyuan 030024， China）

Abstract： A 3D?based multi?pooling convolutional neural network is proposed in view of the facts that the 2D convolutional neural network can′t extract the difference information among different modes with satisfaction， the differences of tumor size for different image layers are obvious， the image segmentation accuracy is low， and the single?mode MRI （magnetic resonance imaging） fails to clearly reflect the different tissue structures of GBM （glioblastoma multiforme）. The convolutional neural network is applied to brain tumor segmentation， and a 3D multi?pooling convolutional neural network model is proposed according to the characteristics of brain tumors. In the proposed model， multi?scale input and multi?scale down?sampling are implemented and CRF（conditional random field） is used at the rear?end to segment the image at the boundary as far as possible， so as to improve the image segmentation accuracy， eliminate the individual differences of brain tumor images and adapt to the size and position differences in different image layers of brain tumors. The Dice coefficient reached 91.64% by segmenting the multi?mode magnetic resonance images of 100 patients. The improved MRI brain tumor segmentation method can significantly improve the segmentation accuracy， better extract the difference information among various modes， adapt to a wider range of MRI tumor segmentation， and accurately and effectively segment brain tumors.

Keywords： brain tumor; medical image segmentation; multi?mode MRI; difference information extraction; multi?scale sampling; 3D convolutional neural network

0? 引? 言

醫(yī)學(xué)圖像中病灶的分割和定量評估為神經(jīng)病理學(xué)的分析提供了有價值的信息，在規(guī)劃治療策略，監(jiān)測疾病進展和預(yù)測患者結(jié)果中扮演重要角色。因此，圖像的分割效率和準(zhǔn)確性在醫(yī)學(xué)病例分析、臨床診斷以及治療方面具有重要意義。本文基于2D多池化卷積神經(jīng)網(wǎng)絡(luò)基礎(chǔ)，采用數(shù)學(xué)模型和高維重建方法對2D?CNNs（2D Convolutional Neural Networks）進行改進，提出基于3D多池化卷積神經(jīng)網(wǎng)絡(luò)解決以上實際問題。

本文提出一種多模態(tài)多池化3D卷積神經(jīng)網(wǎng)絡(luò)腦腫瘤圖像分割方法。首先，將所有像素不一的圖像進行預(yù)處理，獲得統(tǒng)一像素為224×224的圖像;隨后，在前端使用3D?CCNs（3D Convolutional Neural Networks）進行特征提取，由于卷積和下采樣操作造成特征圖分辨率降低，采用多池化層的結(jié)果進行上采樣之后來優(yōu)化輸出，后端使用CRF（Conditional Random Field）優(yōu)化前端的輸出，CRF能夠使圖片盡量在邊界處分割，增加圖像的分割精度。通過從100例患者的多模態(tài)MRI圖像中提取信息，Dice系數(shù)為91.64%。結(jié)果表明，改進的MRI腦腫瘤分割方法顯著提高了分割的準(zhǔn)確性，較好地解決了當(dāng)前目標(biāo)分割任務(wù)繁重的問題，具有效率高、分割準(zhǔn)確的優(yōu)勢。

1? 相關(guān)理論

醫(yī)學(xué)圖像分割技術(shù)的發(fā)展是一個從人工分割到半自動分割再到自動分割逐步發(fā)展的過程。人工分割的精度高，但其分割結(jié)果完全取決于操作者的經(jīng)驗知識，存在一定的主觀性，且方法費時、費力。而自動分割是由計算機完成圖像分割的全過程，分割速度明顯提高，已成為國內(nèi)外眾多學(xué)者不斷研究與探索的熱點[1?3]。

圖像分割是指將一幅圖像灰度、顏色、紋理和形狀等特征分成若干互不重疊的子區(qū)域，使得每個子區(qū)域具有一定的相似性，而不同子區(qū)域有較為明顯的差異。圖像分割是圖像識別、物體檢測等任務(wù)的基礎(chǔ)預(yù)處理工作。常用的圖像分割方法有：基于閾值的分割、基于邊緣的分割、基于區(qū)域的分割、基于圖論的分割、基于能量泛函的分割、基于小波的分割、基于神經(jīng)網(wǎng)絡(luò)的分割等[4]。

2? 基本方法

卷積神經(jīng)網(wǎng)絡(luò)CNN（Convolutional Neural Network）主要用來識別位移、縮放及其他形式扭曲不變性的二維圖形[5]。由于CNN的特征檢測層通過訓(xùn)練數(shù)據(jù)進行學(xué)習(xí)[6];再者由于同一特征映射面上的神經(jīng)元權(quán)值相同，所以網(wǎng)絡(luò)可以并行學(xué)習(xí)。卷積神經(jīng)網(wǎng)絡(luò)以其局部權(quán)值共享的特殊結(jié)構(gòu)在圖像處理方面有著獨特的優(yōu)越性，其布局與實際的生物神經(jīng)網(wǎng)絡(luò)相似，權(quán)值共享降低了網(wǎng)絡(luò)的復(fù)雜性，針對多維輸入向量的圖像，可以直接輸入網(wǎng)絡(luò)，避免特征提取和分類過程中數(shù)據(jù)重建的復(fù)雜度[7]。以圖像作為直接輸入，滑動的窗口在輸入的圖像上滑動時，窗口內(nèi)的權(quán)值保持不變，參數(shù)的數(shù)量得到顯著降低。網(wǎng)絡(luò)的泛化能力得到提高，并且增加了計算效率[8]。

2.1? 圖像預(yù)處理

本文以100例腦腫瘤患者MRI圖像為研究實例，平均每個患者有15～21張不同角度的圖像序列，本文的多模態(tài)MRI主要包括T2，T1PRE，T1POST和FLAIR。在不同的模態(tài)下，組織圖像呈現(xiàn)出不同的特征：腫瘤在T1POST呈現(xiàn)高信號，壞死部分在T1POST呈現(xiàn)低信號，而水腫部分在T2和FLAIR呈現(xiàn)高信號。本文根據(jù)這些特征，把病變組織從正常的組織中標(biāo)記或分割出來[9]。

選取任一患者所有圖像，對比度歸一化，均衡直方圖[10]，再將每三張灰度圖編為一組，將每張灰度圖的大小修改為224×224。3D腦部掃描的分割是通過獨立處理每個2D切片來實現(xiàn)的，經(jīng)過預(yù)處理之后的圖像如圖1所示。

2.2? 3D卷積神經(jīng)網(wǎng)絡(luò)模型

經(jīng)過預(yù)處理之后的MRI圖像每個通道等同于一個二維矩陣，卷積核通過滑動窗口的方式，與輸入圖像的每個通道進行卷積運算，提取出不同類型的特征，稱為特征圖。本文的3D?CNNs模型結(jié)構(gòu)如圖2所示，從圖2中可以看出，連續(xù)的3幀圖像共同作為輸入值，圖像的規(guī)格均為224×224×224，網(wǎng)絡(luò)的輸入大小為224×224×3，卷積層[C1]共含有5個大小為5×5×3的3D卷積核，經(jīng)過池化與卷積計算后，輸出6幅特征圖，特征圖的大小為52×52×3，通過采樣層計算后獲得特征圖大小為26×26×3，[C2]層同樣共含有5個大小為5×5×3的3D卷積核，經(jīng)過卷積后得24幅大小為22×22×1的特征圖，然后降采樣后得到24幅大小為11×11×1的特征圖像。

在3D卷積神經(jīng)網(wǎng)絡(luò)整體模型結(jié)構(gòu)中，為能縮小空間冗余的內(nèi)容量，減少網(wǎng)絡(luò)中的參數(shù)和計算量，在卷積層之后插入池化層，如圖3所示?？稍谝欢ǔ潭壬媳苊膺^度擬合。

2.3? 全連接的CRF

CRF使用一個單獨的指數(shù)模型來表示在給定觀測序列條件下整個序列標(biāo)簽的聯(lián)合概率，不同狀態(tài)下的不同特征能夠相互進行平衡。同時，可以把CRF當(dāng)作一個具有非規(guī)范化的轉(zhuǎn)移概率的有限狀態(tài)模型，進行學(xué)習(xí)之后可以得到一個定義良好的可能標(biāo)注的概率分布。同時，訓(xùn)練的損失函數(shù)是凸函數(shù)，保證了全局收斂性。

CNN產(chǎn)生的分割標(biāo)簽映射趨于平滑且相鄰體素共享較大的空間背景，訓(xùn)練過程中輸入圖像中的噪聲仍可能導(dǎo)致一些輸出偏差，采用完全連接的CRF（Conditional Random Field）作為后續(xù)處理步驟，以“凈化”CNN結(jié)果并實現(xiàn)更加結(jié)構(gòu)化的預(yù)測。CRF能夠模擬任意大的體素鄰域，計算效率高，適合處理3D多模式醫(yī)學(xué)掃描。本文將條件隨機場CRF的優(yōu)勢與之前3D卷積神經(jīng)網(wǎng)絡(luò)模型相結(jié)合，采用3D?CCNs+CRF模型分割結(jié)構(gòu)（如圖4所示）對醫(yī)學(xué)圖像進行處理，可使分割精度得到明顯提高，較準(zhǔn)確地分割腦腫瘤。

3? 實驗與分析