基于全卷積網(wǎng)絡(luò)的肝臟CT語義分割

徐婷宜 朱家明 李祥健

摘? 要：肝臟CT（計算機(jī)斷層掃描）圖像分割為臨床肝臟醫(yī)療分析提供了可靠依據(jù)。文中探索了完全卷積網(wǎng)絡(luò)（FCN）用于肝臟CT圖像中的檢測和分割。FCN已被證明是用于語義分段的非常強(qiáng)大的工具，它能接受任意大小的的輸入并通過有效地推理與學(xué)習(xí)產(chǎn)生相應(yīng)大小的輸出。該文將分類網(wǎng)絡(luò)VGG調(diào)整為完全卷積網(wǎng)絡(luò)，并通過遷移學(xué)習(xí)將其轉(zhuǎn)移到分割任務(wù)，展示了由端到端，像素到像素訓(xùn)練的卷積網(wǎng)絡(luò)語義分割。此架構(gòu)能將來自深層粗糙層的語義信息與來自淺層精細(xì)層的外觀信息相結(jié)合，以生成準(zhǔn)確而精細(xì)的分割。本架構(gòu)肝臟分割I(lǐng)OU值達(dá)到0.9，取得較好的分割效果。

關(guān)鍵詞：全卷積網(wǎng)絡(luò);語義分割;深度學(xué)習(xí)

Abstract： Computed Tomography （CT） image segmentation provides a reliable basis for clinical liver medical analysis. A Full Convolutional Network （FCN） is explored for detection and segmentation in liver CT images. FCN has been proven to be a very powerful tool for semantic segmentation. It can accept inputs of any size and generate corresponding output through effective reasoning and learning. This paper adjusts the classification network of Visual Geometry Group （VGG） to a fully convolutional network and transfers it to the segmentation task through transfer learning. It shows an end-to-end， pixel-to-pixel trained convolutional network semantic segmentation. This architecture can combine semantic information from deep rough layers with appearance information from shallow fine layers to generate accurate and fine segmentation. In this architecture， the liver segmentation Intersection-over-Union （IOU） value reaches 0.9， and a good segmentation effect is achieved.

Keywords： full convolutional network; semantic segmentation; deep learning

1? ?引言（Introduction）

計算機(jī)斷層掃描（CT）是觀察骨關(guān)節(jié)及軟組織的一種理想的方式，肝臟病變檢測常用CT圖像觀察[1]。肝臟手術(shù)需要有關(guān)肝臟大小、形狀和精確位置的信息。臨床診斷大多數(shù)依靠醫(yī)生耗費(fèi)大量時間手動檢測和分割，這就突出了計算機(jī)分析的必要性。本文中所述圖像語義分割的意思是計算機(jī)把圖像中所有的像素點(diǎn)分配給其對應(yīng)的標(biāo)簽。采用VGG、Alex-Net等CNN網(wǎng)絡(luò)，以圖像中每個像素點(diǎn)為中心提取像素補(bǔ)丁，將補(bǔ)丁送入分類后對應(yīng)的標(biāo)簽中，每個補(bǔ)丁中心像素得到相對應(yīng)的標(biāo)簽，將所有像素點(diǎn)執(zhí)行操作，即可得對應(yīng)像素點(diǎn)的標(biāo)簽[2]。全卷積網(wǎng)絡(luò)用卷積層取代全連接層，使得網(wǎng)絡(luò)能進(jìn)行像素級分割的分類，從而解決語義分割問題[3]。FCN可以接受任意大小的輸入，并通過有效地推理與學(xué)習(xí)產(chǎn)生相應(yīng)的輸出，使這個體系結(jié)構(gòu)的損失函數(shù)在整個圖像分割結(jié)果上進(jìn)行計算[4]。網(wǎng)絡(luò)處理的是整個圖像，因此可以通過圖像的分辨率更有效地進(jìn)行縮放。相比于傳統(tǒng)的CNN圖像分割，F(xiàn)CN分割圖像還能減少不必要的重復(fù)存儲和計算卷積，使得訓(xùn)練更加高效。

2? 肝臟分割算法構(gòu)建（Construction of liver segmentation algorithm）

2.1? ?數(shù)據(jù)采集

IRCAD（Research Institute Against Digestive Cancer）匯集了消化道癌癥研究實驗室，計算機(jī)科學(xué)/機(jī)器人研究部門和微創(chuàng)科培訓(xùn)中心。本文采用IRCAD的Liver segmentation-3D-ircadb-01數(shù)據(jù)庫，它由對75%的肝腫瘤的10位女性和10位男性進(jìn)行3D CT掃描組成。數(shù)據(jù)庫提供了一系列有關(guān)圖像的信息，例如根據(jù)庫尼諾（Couninaud）分割的肝臟大小（寬度、深度、高度）或腫瘤的位置。這也表明與鄰近器官的接觸，肝臟的非典型形狀或密度，甚至圖像中的偽像等問題都會成為肝臟分割的主要困難。二十組肝臟3D圖像如圖1所示。

2.2? ?全卷積網(wǎng)絡(luò)的構(gòu)建

全卷積網(wǎng)絡(luò)采用卷積神經(jīng)網(wǎng)絡(luò)實現(xiàn)了從圖像像素到像素類別的變換。全卷積網(wǎng)絡(luò)通過轉(zhuǎn)置卷積（transposed convolution）層將中間層特征圖的高和寬變換回輸入圖像的尺寸，從而令預(yù)測結(jié)果與輸入圖像在空間維（高和寬）上一一對應(yīng)：給定空間維上的位置，通道維的輸出即該位置對應(yīng)像素的類別預(yù)測[5]。全卷積像素預(yù)測如圖2所示。

本文的前置基礎(chǔ)網(wǎng)絡(luò)為VGG16，通過丟棄最終的分類器層并將全連接層轉(zhuǎn)換為卷積層來構(gòu)建全卷積網(wǎng)絡(luò)。架構(gòu)中附加一個通道維數(shù)為2的1×1卷積來預(yù)測每個粗略輸出位置的肝臟評分，然后再附加一個反卷積層來將粗略輸出提升到像素密集輸出。上采樣在網(wǎng)絡(luò)中進(jìn)行，通過像素級損失的反向傳播進(jìn)行端到端的學(xué)習(xí)。本文初始網(wǎng)絡(luò)為FCN-8s的DAG網(wǎng)絡(luò)，它學(xué)會了將粗糙的、高層的信息與精細(xì)的、低層的信息結(jié)合起來[6]。我們還探討了添加另一個較低級別的鏈接層來創(chuàng)建FCN-4s DAG網(wǎng)絡(luò)的附加值。這是通過與圖3中的Pool3和Pool4層的鏈接相似的方式鏈接Pool2層來完成的。最初的網(wǎng)絡(luò)架構(gòu)如圖3所示。

全卷積網(wǎng)絡(luò)工作流程：

（1）首先對輸入的原圖像實行卷積操作conv1和池化操作pool1，則原圖像縮小到原來的1/2;

（2）將步驟（1）的輸出結(jié)果作為輸入信息，對圖像進(jìn)行第二次卷積操作conv2和池化操作pool2，則圖像進(jìn)一步縮小到原圖的1/4;

（3）將步驟（2）的輸出結(jié)果作為輸入信息，對圖像進(jìn)行第三次卷積操作conv3和池化操作pool3，則圖像進(jìn)一步縮小到原圖的1/8，此外，保留pool3過程中產(chǎn)生的feature map;

（4）將步驟（3）的輸出結(jié)果作為輸入信息，對圖像進(jìn)行第四次卷積操作conv4和池化操作pool4，則圖像進(jìn)一步縮小到原圖的1/16，此外，保留pool4過程中產(chǎn)生的feature map;

（5）將步驟（4）的輸出結(jié)果作為輸入信息，對圖像進(jìn)行第三次卷積操作conv5和池化操作pool5，則圖像進(jìn)一步縮小到原圖的1/32;

（6）將步驟（5）的輸出結(jié)構(gòu)作為輸入信息，利用conv6和conv7構(gòu)建的全連接層進(jìn)行進(jìn)一步卷積操作，輸出圖像的大小依然是原圖的1/32，此時得到的feature map記為heat map;

（7）先將步驟（3）、步驟（4）中的feature map，以及步驟（6）中的heat map進(jìn)行上采樣操作，得到的圖像記為X;

（8）利用conv4的卷積核對X進(jìn)行反卷積操作來進(jìn)一步補(bǔ)充圖像分割細(xì)節(jié)部分，得到的圖像記為Y;

（9）最后利用conv3中的卷積核對Y進(jìn)行第二次的反卷積操作，得到圖像Z，圖像Z即為圖像語義分割的結(jié)果[7]。

2.3? ?數(shù)據(jù)增強(qiáng)

手動分割遮罩對于數(shù)據(jù)集來說只在2D之內(nèi)，肝臟分割的數(shù)據(jù)集相對較小，因此數(shù)據(jù)增強(qiáng)是最適合的。當(dāng)只有很少的訓(xùn)練樣本可用時，數(shù)據(jù)增強(qiáng)對于教導(dǎo)網(wǎng)絡(luò)期望的不變性和魯棒性是必不可少的。數(shù)據(jù)增強(qiáng)的方式有多種選擇，例如，調(diào)整亮度、對比飽和色調(diào)等因素來降低模型對色彩的敏感度。本文通過將比例轉(zhuǎn)換應(yīng)用于可用的訓(xùn)練圖像來達(dá)到數(shù)據(jù)增強(qiáng)的目的。

3? ?實驗（Experiment）

本次訓(xùn)練數(shù)據(jù)集中的圖像格式是DICOM格式，因此在將數(shù)據(jù)轉(zhuǎn)換為TFRecord格式以供以后在TensorFlow中進(jìn)行訓(xùn)練之前，我們必須先做一些預(yù)處理工作。在本項目范圍內(nèi)，我們只劃分了肝、骨、腎等四類。因此，每個預(yù)處理的數(shù)據(jù)樣本將是圖像-形狀（512，512）的輸入圖像和遮罩二維數(shù)組具有與圖像相同的空間形狀，指示每個像素屬于哪個類。訓(xùn)練中隨機(jī)抽取數(shù)據(jù)集對數(shù)據(jù)進(jìn)行訓(xùn)練，激活函數(shù)為relu函數(shù)，使用Adam優(yōu)化方法和交叉熵?fù)p失函數(shù)對全卷積函數(shù)進(jìn)行訓(xùn)練。二維訓(xùn)練樣本2258張，驗證樣本565張，在進(jìn)入網(wǎng)絡(luò)前進(jìn)行歸一化處理，減去圖像均值。在FCN預(yù)訓(xùn)練模型的基礎(chǔ)上進(jìn)行迭代，實驗平臺為Linux平臺下的TensorFlow框架。使用批量大小為32的完整訓(xùn)練大概需要48小時，同時使用基本的數(shù)據(jù)增強(qiáng)。

3.1? ?Adam優(yōu)化算法

Adam優(yōu)化算法來源于適應(yīng)性矩估計，同時具有AdaGrad（適應(yīng)性梯度算法）和RMSprop（均方根傳播）的優(yōu)點(diǎn)。Adam的主要參數(shù)有學(xué)習(xí)率α、一階矩估計的指數(shù)衰減率β1和二階矩估計的衰減率β2。α控制了權(quán)重的更新比率，在迭代優(yōu)化的前期，學(xué)習(xí)率較大，則前進(jìn)的步長較長，這時便能以較快的速度進(jìn)行梯度下降;而在迭代的后期，逐步減小學(xué)習(xí)率的值，減小步長，這樣有助于算法的收斂，獲得最優(yōu)解。β1用于計算導(dǎo)數(shù)的平均值，β2計算平方版指數(shù)加權(quán)平均數(shù)，ε是固定值用來防止分母為0，本文參數(shù)設(shè)置為α=0.0003，β1=0.9， β2=0.99，ε=10e-8。Adam參數(shù)具有很好的解釋性，通常無須調(diào)整或僅需很少的微調(diào)。

3.2? ?交叉熵?fù)p失

交叉熵?fù)p失的計算分為兩個部分：softmax分類器與交叉熵?fù)p失。

Softmax分類器將網(wǎng)絡(luò)最后的輸出y通過指數(shù)轉(zhuǎn)變?yōu)楦怕使?，如公式?）所示。

用于計算類別i的網(wǎng)絡(luò)輸出類別，分母為輸出指數(shù)和。

交叉熵?fù)p失是用來評估當(dāng)前訓(xùn)練得到的概率分布與真實分布的差異情況。在深度學(xué)習(xí)中，p（x）表示真實分布，q（x）表示預(yù)測分布，在實際實驗中，交叉熵值越小，說明預(yù)測分布與真實分布越接近[8]。交叉熵公式如式（2）。

3.3? ?交并比

IOU（Intersection-Over-Union）即交并比，是進(jìn)行目標(biāo)檢測的一個重要算法，它具有非負(fù)性、不可同一性、對稱性和滿足三角不等式等優(yōu)點(diǎn)。

IOU表示了產(chǎn)生的候選框（candidate bound）與原標(biāo)記框（ground truth bound）的交疊率或者說重疊度。它衡量了兩個邊界框重疊的相對大小，一般約定0.5是閾值，IOU越高，邊界框越精確。IOU的公式如式（3）。

4? ?實驗結(jié)果分析（Analysis of results）

訓(xùn)練過程的可視化包括訓(xùn)練集和驗證集的acc和loss曲線，根據(jù)曲線的不同特點(diǎn)進(jìn)行超參數(shù)調(diào)節(jié)，可以不斷優(yōu)化網(wǎng)絡(luò)。用tensorboard觀察訓(xùn)練（train）和驗證（val）的損失（loss）在訓(xùn)練時的變化如圖所示。Train/loss不斷下降，val/loss不斷下降，說明網(wǎng)絡(luò)訓(xùn)練正常，val/iou_loss不斷上升，說明分割的精度不斷提高。本文分割的IOU值為0.9。

肝臟CT圖，手動真實分割圖，本文分割圖如圖5所示。

5? ?結(jié)論（Conclusion）

本文通過全卷積網(wǎng)絡(luò)來對特定目標(biāo)進(jìn)行語義分割，結(jié)果表明具有數(shù)據(jù)增強(qiáng)的FCN，以及適當(dāng)?shù)臋?quán)重，給實驗提供了較好的結(jié)果。FCN分割的缺陷在于分割結(jié)果不夠精細(xì)，對圖像中的細(xì)節(jié)不敏感。同時在對像素分類時忽略了在通常的基于像素分類分割方法中使用的空間規(guī)整步驟，沒有充分考慮像素與像素間的關(guān)系。在未來的實驗中，可嘗試添加相鄰切片來提高分割性能。

參考文獻(xiàn)（References）

[1] Hssayeni MD， S.M， Croock MS， et al. Intracranial Hemorrhage Segmentation Using Deep Convolutional Model[J]. Benchmarking Datasets in Bioinformatics， 2020， 5（1）： 14.

[2] Russel Mesbah， Brendan McCane， Steven Mills， et al.Improving Spatial Context in CNNs for Semantic Medical Image Segmentation[C]. 2017 4th IAPR Asian Conference on Pattern Recognition （ACPR）， 2017.

[3] Bo Zhao， Jiashi Feng， Xiao Wu， et al. A Survey on Deep Learning-based Fine-grained Object Classification and Semantic Segmentation[J]. International Journal of Automation and Computing，? 2017， 14（2）： 119-135.

[4] 章琳，袁非牛，張文睿，等.全卷積神經(jīng)網(wǎng)絡(luò)研究綜述[J].計算機(jī)工程與應(yīng)用，2020，56（01）：25-37.

[5] Ben-Cohen A， Diamant I， Klang E， et al. Fully Convolutional Network for Liver Segmentation and Lesions Detection[C]. International Workshop on Deep Learning in Medical Image Analysis， 2016.

[6] Long J， Shelhamer E， Darrell T. Fully Convolutional Networks for Semantic Segmentation[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence， 2014， 39（4）： 640-651.

[7] 李智能，劉任任，梁光明.基于卷積神經(jīng)網(wǎng)絡(luò)的醫(yī)學(xué)宮頸細(xì)胞圖像的語義分割[J].計算機(jī)應(yīng)用與軟件，2019，36（11）：152-156.

[8] 趙梓淇，裴昀，常振東，等.基于深度學(xué)習(xí)的CT影像肺結(jié)節(jié)檢測[J].吉林大學(xué)學(xué)報（信息科學(xué)版），2019，37（05）：572-581.

作者簡介：

徐婷宜（1996-），女，碩士生.研究領(lǐng)域：醫(yī)學(xué)圖像處理.本文通訊作者.

朱家明（1972-），男，博士，副教授.研究領(lǐng)域：智能與自適應(yīng)控制，圖像處理.

李祥?。?992-），男，碩士生.研究領(lǐng)域：數(shù)字圖像處理.