基于U—Net的結(jié)節(jié)分割方法

徐峰 鄭斌 郭進(jìn)祥

摘要：針對肺結(jié)節(jié)特征復(fù)雜、人工提取特征困難、分割結(jié)果不準(zhǔn)確的問題，使用一種卷積神經(jīng)網(wǎng)絡(luò)模型U-Net對肺結(jié)節(jié)進(jìn)行分割。首先對LUNA16數(shù)據(jù)集提供的肺部CT圖像數(shù)據(jù)和結(jié)節(jié)標(biāo)注數(shù)據(jù)進(jìn)行預(yù)處理，根據(jù)結(jié)節(jié)標(biāo)注數(shù)據(jù)，提取對應(yīng)的肺部CT圖像切片，對切片進(jìn)行歸一化、二值化、腐蝕和膨脹從而提取ROI區(qū)域，并根據(jù)結(jié)節(jié)位置信息生成掩膜，然后將處理后的肺部CT圖像切片與對應(yīng)的掩膜送入U(xiǎn)-Net模型進(jìn)行訓(xùn)練，最后使用測試數(shù)據(jù)集對U-Net模型分割效果進(jìn)行測試。實(shí)驗(yàn)結(jié)果表明，U-Net模型可以對肺部結(jié)節(jié)進(jìn)行有效分割。

關(guān)鍵詞：

肺結(jié)節(jié)；圖像分割；U-Net

DOIDOI：10.11907/rjdk.181773

中圖分類號：TP319

文獻(xiàn)標(biāo)識碼：A 文章編號文章編號：1672-7800（2018）008-0161-04

英文摘要Abstract：For the complicated features of pulmonary nodules， difficulties in manual extraction and inaccurate segmentation results，we propose a convolutional neural network model of U-Net to segment lung nodules. First， CT data provided by LUNA16 needs to be preprocessed. According to the nodule annotation data， corresponding lung CT image slices are extracted， and the slices are normalized， binarized， eroded， and dilated to extract the ROI region， and a mask is generated according to the nodule position information； and the treated lung CT is obtained. Second， the image slice and the corresponding mask are sent to the U-Net model for training； the test data set is used to test the segmentation effect of the U-Net model. The experimental results show that the U-Net model can effectively segment lung nodules.

英文關(guān)鍵詞Key Words：lung nodule；image segmentation；U-Net

0 引言

肺癌是死亡率最高的癌癥之一，如何在肺癌早期發(fā)現(xiàn)癌癥，對提高病人生存率有重要意義。肺結(jié)節(jié)是肺癌早期表現(xiàn)形式，在CT圖像中有效分割肺結(jié)節(jié)可幫助醫(yī)生提高診斷效率，降低漏診、誤診率[1]。目前，深度學(xué)習(xí)在人工智能領(lǐng)域引起了高度關(guān)注。肺結(jié)節(jié)分割是當(dāng)前深度學(xué)習(xí)研究熱點(diǎn)之一，其主要功能是利用深度神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)圖像分割。現(xiàn)有肺結(jié)節(jié)分割方法主要是將肺結(jié)節(jié)特征與機(jī)器學(xué)習(xí)算法結(jié)合。程立英等[2]采用基于改進(jìn)的C-V模型方法，結(jié)合肺結(jié)節(jié)區(qū)域信息和邊緣信息實(shí)現(xiàn)肺結(jié)節(jié)分割。韓貴來等[3]采用基于視覺注意的肺結(jié)節(jié)顯著性區(qū)域分割方法，在肺中尋找實(shí)質(zhì)的顯著區(qū)域并將其連通，在每個(gè)連同區(qū)域中進(jìn)行區(qū)域生長，得到最終分割結(jié)果。該方法雖然可以有效分割肺結(jié)節(jié)，但是人工選取特征的誤差以及肺結(jié)節(jié)多樣性導(dǎo)致適用性不強(qiáng)。董林佳等[4]提出了一種基于三維形狀指數(shù)和Hessian矩陣特征值的肺結(jié)節(jié)分割與檢測方法，該方法從三維數(shù)據(jù)入手，通過對肺結(jié)節(jié)三維特征建模實(shí)現(xiàn)肺結(jié)節(jié)分割。該方法準(zhǔn)確率較高，但是三維數(shù)據(jù)特征選取具有一定難度，使三維特征建模難以實(shí)現(xiàn)。廖曉磊[5]提出了一個(gè)結(jié)合超像素和自生成神經(jīng)森林的肺實(shí)質(zhì)序列圖像分割方法，并使用多尺度增強(qiáng)濾波器和3D形狀特征實(shí)現(xiàn)肺結(jié)節(jié)檢測。蘇志遠(yuǎn)[6]提出了改進(jìn)的模糊C均值方法，利用圖像中像素點(diǎn)灰度值作為特征劃分肺結(jié)節(jié)區(qū)域。還有一些使用閾值分割、基于C-V模型等方法的肺結(jié)節(jié)分割技術(shù)，都存在需要人工選取肺結(jié)節(jié)特征的問題[7-9]。部分針對某些具有特殊特征肺結(jié)節(jié)的分割方法，雖然對某類肺結(jié)節(jié)效果較好，但是普適性較差[10-15]。隨著深度學(xué)習(xí)技術(shù)的發(fā)展，越來越多的學(xué)者將深度神經(jīng)網(wǎng)絡(luò)技術(shù)運(yùn)用在醫(yī)療圖像領(lǐng)域。Alakwaa等[16]使用3D卷積神經(jīng)網(wǎng)絡(luò)對肺結(jié)節(jié)進(jìn)行分割與檢測。Tan等[17]設(shè)計(jì)了一個(gè)基于深度神經(jīng)網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)的肺結(jié)節(jié)診斷框架，可以有效發(fā)現(xiàn)肺結(jié)節(jié)。Wang等[18]提出了一種多視角卷積神經(jīng)網(wǎng)絡(luò)（MV-CNN），該網(wǎng)絡(luò)利用全連接層整合了3條卷積神經(jīng)網(wǎng)絡(luò)分支，可有效對多種肺結(jié)節(jié)進(jìn)行分割。U-Net是一種適用于醫(yī)療圖像分割領(lǐng)域的深度學(xué)習(xí)網(wǎng)絡(luò)模型，該網(wǎng)絡(luò)已經(jīng)在角膜圖像分割、皮膚病變分割以及膝關(guān)節(jié)MR圖像分割等領(lǐng)域得到了應(yīng)用[19-21]。本文方法利用U-Net網(wǎng)絡(luò)模型，使用LUNA16提供的數(shù)據(jù)集作為訓(xùn)練集，對U-Net進(jìn)行訓(xùn)練從而實(shí)現(xiàn)肺結(jié)節(jié)自動(dòng)分割。相對于需要人工提取特征的方法，本文方法對肺結(jié)節(jié)種類及其特征不敏感，也更利于輔助診斷，對肺癌的早發(fā)現(xiàn)早診斷有重要意義。

1 材料與方法

1.1 數(shù)據(jù)集

本文使用LUNA16（Lung Nodule Analysis 2016）比賽提供的數(shù)據(jù)集。該數(shù)據(jù)集包含888例患者肺部CT圖像及醫(yī)生對圖像的標(biāo)注。標(biāo)注內(nèi)容主要包括結(jié)節(jié)坐標(biāo)和直徑。每一位患者的CT圖像數(shù)據(jù)都包含若干512×512大小的切片[22]。本文分別取710例和178例患者數(shù)據(jù)作為訓(xùn)練集與測試集。

1.2 數(shù)據(jù)預(yù)處理

為了構(gòu)建用于U-Net的訓(xùn)練集與測試集，去除外圍無用數(shù)據(jù)，只保留訓(xùn)練網(wǎng)絡(luò)所需的肺實(shí)質(zhì)部分，并對原始數(shù)據(jù)進(jìn)行預(yù)處理。圖1為數(shù)據(jù)預(yù)處理流程。

由于CT原始切片圖像未經(jīng)處理，肺實(shí)質(zhì)部分并不突出，為了更好地分割肺實(shí)質(zhì)部分，需對圖像作直方圖均衡化處理。如圖2所示，處理后的圖像肺實(shí)質(zhì)部分較為突出，與周邊組織形成鮮明對比，以便后續(xù)處理。

直方圖均衡化后，各組織灰度值差距較大，對分割肺實(shí)質(zhì)區(qū)域有較強(qiáng)干擾，需要對圖像進(jìn)行二值化處理。如圖3所示，二值化后的圖像，肺實(shí)質(zhì)部分形成了鮮明的大片連通區(qū)域，對提取肺實(shí)質(zhì)部分有較大幫助。

在二值化處理之后，肺實(shí)質(zhì)內(nèi)部有較多噪聲，對肺實(shí)質(zhì)分割有一定影響，于是使用腐蝕和膨脹兩種數(shù)學(xué)形態(tài)學(xué)方法消除肺實(shí)質(zhì)內(nèi)部噪聲。如圖4所示，經(jīng)過腐蝕與膨脹處理之后，肺實(shí)質(zhì)內(nèi)部噪聲被明顯消除，與周圍組織的黑色形成鮮明對比，有助于后續(xù)提取ROI區(qū)域。

經(jīng)過上述處理，肺實(shí)質(zhì)分割已初步完成。在此基礎(chǔ)之上，提取ROI區(qū)域，即得到肺實(shí)質(zhì)的分割結(jié)果。如圖5所示，圖中保留了肺實(shí)質(zhì)部分?jǐn)?shù)據(jù)，剔除了對訓(xùn)練U-Net無用的周邊組織。

1.3 生成掩膜

由于U-Net網(wǎng)絡(luò)需要使用掩膜數(shù)據(jù)作為標(biāo)簽，根據(jù)LUNA16提供的標(biāo)注數(shù)據(jù)生成對應(yīng)肺部CT切片圖像的結(jié)節(jié)掩膜圖像。掩膜為一張僅含有1和0的圖像，其中1代表肺結(jié)節(jié)所在像素。圖6（右）中白色區(qū)域?yàn)楦鶕?jù)結(jié)節(jié)位置與直徑數(shù)據(jù)生成的圓形。

1.4 U-Net分割

U-Net是一個(gè)2D全卷積神經(jīng)網(wǎng)絡(luò)[23]，是目前比較流行的生物醫(yī)學(xué)圖像分割網(wǎng)絡(luò)。圖7為U-Net網(wǎng)絡(luò)結(jié)構(gòu)。U-Net具有對稱的U型網(wǎng)絡(luò)結(jié)構(gòu)，左側(cè)為收縮路徑，右側(cè)為擴(kuò)張路徑。整個(gè)網(wǎng)絡(luò)具有4個(gè)maxpool層和4個(gè)upconv層，以及20個(gè)卷積層。U-Net架構(gòu)是一種重復(fù)結(jié)構(gòu)，每次重復(fù)中都有2個(gè)卷積層和一個(gè)pooling層，卷積層中卷積核大小均為3×3，激活函數(shù)使用ReLU，兩個(gè)卷積層之后是一個(gè)大小為2×2、步長為2的maxpooling層。每一次下采樣都將特征通道數(shù)量加倍。收縮路徑每一步都先采用反卷積（up-conv），每次使用反卷積將特征通道數(shù)量減半，特征圖大小加倍。反卷積后，將其結(jié)果與收縮路徑中對應(yīng)步驟的特征圖拼接起來。對拼接后結(jié)果進(jìn)行兩次3×3的卷積。最后一層卷積核大小為1×1。

2 結(jié)果與分析

實(shí)驗(yàn)選取178例患者的CT圖像為測試數(shù)據(jù)集。每例患者的圖像都經(jīng)過與訓(xùn)練集相同的預(yù)處理，圖像大小為512×512，格式為npy，實(shí)驗(yàn)采用python2.7及Tensorflow，GPU使用英偉達(dá)QuadroP5000。通過訓(xùn)練好的U-Net對測試集進(jìn)行處理，并得到分割結(jié)果，然后將結(jié)果與LUNA16提供的結(jié)節(jié)標(biāo)注數(shù)據(jù)進(jìn)行比較。

2.1 實(shí)驗(yàn)結(jié)果

對測試數(shù)據(jù)集預(yù)處理后，將測試數(shù)據(jù)集送入U(xiǎn)-Net模型進(jìn)行預(yù)測，輸出結(jié)果為肺結(jié)節(jié)分割結(jié)果。如圖8所示，右圖為原肺部CT圖像，正圓部分為根據(jù)LUNA16數(shù)據(jù)集提供的結(jié)節(jié)位置與直徑生成的圓形，正圓中深色部分為U-Net分割結(jié)果。

2.2 結(jié)果評價(jià)與分析

分割結(jié)果如表1所示，模型準(zhǔn)確度為86.7%，錯(cuò)分率為13.4%，假陽性為11.9%，假陰性為14.7%。數(shù)據(jù)表明U-Net對于肺結(jié)節(jié)分割效果良好，對于大部分病患可以起到輔助診斷的作用。

為進(jìn)一步分析本文方法的分割性能，選取目前肺結(jié)節(jié)分割領(lǐng)域中兩種較為常見的方法進(jìn)行比較。表2實(shí)驗(yàn)數(shù)據(jù)顯示，基于改進(jìn)的C-V模型方法準(zhǔn)確率為83.5%，基于視覺注意的顯著性區(qū)域方法準(zhǔn)確率為85.5%。相較而言，本文方法準(zhǔn)確率最高。

3 結(jié)語

本研究基于U-Net深度學(xué)習(xí)網(wǎng)絡(luò)模型，使用LUNA16肺部CT圖像數(shù)據(jù)集作為訓(xùn)練數(shù)據(jù)，實(shí)現(xiàn)肺結(jié)節(jié)分割，主要特點(diǎn)是不需要人工提取肺結(jié)節(jié)特征，利用深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)特性，自動(dòng)分割肺結(jié)節(jié)。從實(shí)驗(yàn)結(jié)果可知，該方法可以對肺結(jié)節(jié)進(jìn)行有效分割。但分割結(jié)果含較多假陽性及假陰性肺結(jié)節(jié)，因此改善假陽性及假陰性肺結(jié)節(jié)分割結(jié)果是下一步研究工作重點(diǎn)。

參考文獻(xiàn)：

[1] 李為民，趙爽，劉倫旭.肺癌早期診斷方法及臨床意義[J].四川大學(xué)學(xué)報(bào)：醫(yī)學(xué)版，2017，48（3）：331-335，326.

[2] 程立英，劉曼，李瑤，等.改進(jìn)C-V模型的CT圖像肺結(jié)節(jié)分割方法研究[J].科技資訊，2016，14（14）：165-166.

[3] 韓貴來，詹何慶，鄧丹瓊.基于視覺注意的肺結(jié)節(jié)顯著性區(qū)域分割方法[J].電腦知識與技術(shù)，2017，13（16）：165-167.

[4] 董林佳，強(qiáng)彥，趙涓涓，等.基于三維形狀指數(shù)的肺結(jié)節(jié)自動(dòng)檢測方法[J].計(jì)算機(jī)應(yīng)用，2017，37（11）：3182-3187.

[5] 廖曉磊.薄掃CT序列圖像的肺實(shí)質(zhì)分割和肺結(jié)節(jié)檢測方法研究[D].太原：太原理工大學(xué)，2017.

[6] 蘇志遠(yuǎn).基于模糊C均值聚類和字典學(xué)習(xí)的肺結(jié)節(jié)分割[D].濟(jì)南：山東財(cái)經(jīng)大學(xué)，2016.

[7] 王國明.基于CT圖像的肺結(jié)節(jié)分割方法研究[D].長春：長春工業(yè)大學(xué)，2017.

[8] 樸春赫，曹鵬，趙海，等.基于CV模型與改進(jìn)ME模型的肺癌檢測算法[J].東北大學(xué)學(xué)報(bào)：自然科學(xué)版，2017，38（5）：639-644.

[9] 鄭文松.亞實(shí)性肺結(jié)節(jié)CT閾值分割：實(shí)性成分識別與定量[D].天津：天津醫(yī)科大學(xué)，2017.

[10] 劉麗偉，王國明.基于FVFACM的JV肺結(jié)節(jié)分割[J].長春工業(yè)大學(xué)學(xué)報(bào)，2017，38（3）：270-275.

[11] 劉霽雨，龔敬，聶生東.利用測地線距離直方圖分割血管粘連型肺結(jié)節(jié)的算法[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2017，29（3）：493-500.

[12] 紀(jì)國華.基于PET-CT的孤立性肺結(jié)節(jié)分割及分類方法的研究[D].太原：太原理工大學(xué)，2016.

[13] 張曉慧.基于PET/CT低劑量掃描的疑似惡性肺結(jié)節(jié)分割方法研究[D].太原：太原理工大學(xué)，2016.

[14] 邢謙謙.不規(guī)則形態(tài)肺結(jié)節(jié)的分割及毛刺檢測研究[D].廣州：南方醫(yī)科大學(xué)，2015.

[15] WANG J， GUO H. Automatic approach for lung segmentation with Juxta-Pleural nodules from thoracic CT based on contour tracing and correction[J]. Computational and Mathematical Methods in Medicine， 2016（3）：1-13.

[16] ALAKWAA W， NASSEF M， BADR A. Lung cancer detection and classification with 3D convolutional neural network （3D-CNN）[J]. International Journal of Advanced Computer Science and Applications， 2017，8（8）：409-417.

[17] TAN J， HUO Y， LIANG Z， et al. A comparison study on the effect of false positive reduction in deep learning based detection for juxta-pleural lung nodules： CNN vs DNN[C]. Proceedings of the Symposium on Modeling and Simulation in Medicine. 2017：1-8.

[18] WANG S， ZHOU M， GEVAERT O， et al. A multi-view deep convolutional neural networks for lung nodule segmentation[C]. Proceedings of Annual International Conference of the IEEE Engineering in Medicine and Biology Society， 2017：1752-1755.

[19] FABIJASKA A. Segmentation of corneal endothelium images using a U-Net-based convolutional neural network[J]. Artificial Intelligence in Medicine， 2018，6（88）：1-13.

[20] LIN B S， KALRA S， TIZHOOSH H R. Skin lesion segmentation： U-Nets versus clustering[C]. IEEE Symposium Series on Computational Intelligence， 2017：1-7.

[21] NORMAN B， PEDOIA V， MAJUMDAR S. Use of 2D U-Net convolutional neural networks for automated cartilage and meniscus segmentation of knee MR imaging data to determine relaxometry and morphometry[J]. Radiology， 2018（3）：172-180.

[22] SETIO A A A， TRAVERSO A， PROKOP M， et al. Validation， comparison， and combination of algorithms for automatic detection of pulmonary nodules in computed tomography images： the LUNA16 challenge[J]. Medical Image Analysis， 2017，42：1-3.

[23] RONNEBERGER O， FISCHER P， BROX T. U-Net： convolutional networks for biomedical image segmentation[C]. International Conference on Medical Image Computing and Computer-asisted Intervention， 2015：234-241.

（責(zé)任編輯：江 艷）