基于特征復(fù)用網(wǎng)絡(luò)的醫(yī)學圖像分割

吳天宇

（唐山職業(yè)技術(shù)學院后勤及國有資產(chǎn)管理處，唐山 063000）

0 引言

隨著數(shù)字成像技術(shù)的發(fā)展及圖像分割技術(shù)［1-2］的持續(xù)改進，醫(yī)學影像在臨床診斷中的應(yīng)用越來越廣泛，已成為醫(yī)生診治的首要根據(jù)。通過計算機技術(shù)對醫(yī)學圖像中感興趣區(qū)域（ROI）進行定位和分割，識別出ROI區(qū)域的像素點，獲得ROI的特征參數(shù)，以便為后續(xù)的分析病情、評估治療提供可靠的參考信息，輔助醫(yī)生進行診斷治療。醫(yī)學圖像分割是醫(yī)學圖像處理的關(guān)鍵步驟，對于下一步的診斷治療至關(guān)重要［3］。

經(jīng)過多年的研究，許多學者將大量的圖像分割方法應(yīng)用于醫(yī)學圖像分割并取得了較好的效果［4-6］。張濱凱等［7］提出了一種醫(yī)學圖像聚類分割算法，利用字典作為聚類分割的聚類中心，通過稀疏表示確定聚類歸屬，實現(xiàn)醫(yī)學圖像分割；房巾莉等［8］提出了一種水平集模型，該模型將整體信息與局部信息結(jié)合來分割醫(yī)學圖像，可以得到較完整的邊界曲線。

近年來，深度學習算法在圖像處理中展現(xiàn)出了強大的能力，對于醫(yī)學圖像的分割效果要優(yōu)于傳統(tǒng)的分割算法。Ronneberger等［9］提出U-net網(wǎng)絡(luò)架構(gòu)，已應(yīng)用在對神經(jīng)元、細胞瘤和HeLa細胞的醫(yī)學圖像分割任務(wù)中。Rathiba等［10］將幾個網(wǎng)絡(luò)結(jié)構(gòu)結(jié)合，組成深度殘差全卷積網(wǎng)絡(luò)，可以自動分割皮膚圖像上的黑色素瘤；楊兵等［11］為了解決特征信息易丟失的問題，提出了一種用于腦圖像和眼底血管分割的深度特征聚合網(wǎng)絡(luò)，有效的提高了分割精度；閆超等［12］總結(jié)了利用深度學習進行醫(yī)學圖像分割的發(fā)展過程，并對當前面臨問題的解決提出了展望。

本文對U型網(wǎng)絡(luò)進行了優(yōu)化，結(jié)合DFAnet［13］提出的特征復(fù)用結(jié)構(gòu)提出了一種特征復(fù)用結(jié)構(gòu)的編解碼器網(wǎng)絡(luò)RU-net，并采用可分離卷積搭建Resnet34為編碼器主干，利用旋轉(zhuǎn)、放大、平移、仿射變換等多種圖像增強方法擴充圖像數(shù)據(jù)集；最后把原圖進行不同角度的翻轉(zhuǎn)變換后進行預(yù)測，對預(yù)測結(jié)果進行反變換并求平均，可有效提高預(yù)測結(jié)果的準確率。在LUNA競賽數(shù)據(jù)集和EM競賽數(shù)據(jù)集上與U-net網(wǎng)絡(luò)對比可知，本文方法縮減了參數(shù)和計算量，同時分割精度得到極大的提升。

1 模型搭建

1.1 優(yōu)化U-net網(wǎng)絡(luò)

U-net是U型對稱結(jié)構(gòu)，原圖經(jīng)過左側(cè)的五次卷積和池化進行編碼，然后通過右側(cè)的五次上采樣和卷積進行解碼，同時采用跳躍連接將左側(cè)的包含更多細節(jié)信息的每個卷積層和右側(cè)包含語義信息的上采樣合并通道進行卷積從而可以使得最終所得到的特征圖中既包含了高級的的語義信息，也包含很多的低級的細節(jié)信息，實現(xiàn)了不同尺度下特征的融合，提高模型的結(jié)果精確度，因為模型為完全對稱結(jié)構(gòu)，可以快速調(diào)整卷積核數(shù)量以應(yīng)對多種多樣的數(shù)據(jù)集。

但是U-net網(wǎng)絡(luò)每個編碼層通道數(shù)多，各個特征圖之間聯(lián)系不密切，解碼的過程中也是采用簡單拼接的方式融合，導致了參數(shù)冗余、分割效率低、分割不準確的問題。文獻［12］提出了一種階段性特征復(fù)用結(jié)構(gòu)如圖1所示。

圖1 階段性特征復(fù)用結(jié)構(gòu)

在編碼器階段將深層的特征圖插值放大再進行下采樣，與此同時與前一個下采樣主干進行特征融合，采用此方法可以使得網(wǎng)絡(luò)在編碼的過程中不斷的融合不同階段的特征信息，因此可以適當縮減通道數(shù)，以節(jié)約計算量，深層特征圖插值放大再次進行下采樣加深了網(wǎng)絡(luò)的深度，提取到的語義信息更加豐富。為了發(fā)揮U型網(wǎng)絡(luò)在二分類方面的優(yōu)勢本文編碼器部分借鑒了階段性特征復(fù)用結(jié)構(gòu)，解碼器依然采用逐漸2倍上采樣的方式恢復(fù)特征圖，在恢復(fù)的過程中不斷的融合左側(cè)編碼器部分的特征圖，此時融合的特征圖為多個階段編碼器子網(wǎng)絡(luò)融合并采用卷積層提取信息后的結(jié)果，將特征復(fù)用結(jié)構(gòu)改進U型網(wǎng)絡(luò)，加深了網(wǎng)絡(luò)各個階段的聯(lián)系，特征表達能力更強，RUnet結(jié)構(gòu)如圖2所示，圖中特征圖大小均為輸出大小，“C”為合并通道并1×1卷積為下一個卷積層輸入特征圖通道數(shù)。

圖2 特征復(fù)用Ru-net

1.2 深度可分離卷積模塊

利用普通卷積對特征的提取可以對特征圖建立局部相關(guān)性進而共享參數(shù)，從而可以比全連接網(wǎng)絡(luò)利用的參數(shù)更少［14］，Xception［15］網(wǎng)絡(luò)中提出了一種深度可分離卷積，將空間相關(guān)性與通道相關(guān)性解耦，可以做到比普通卷積更少的參數(shù)完成對特征的兩種相關(guān)性的學習，如圖3所示為普通卷積核和深度可分離卷積示意圖。

圖3 深度可分離卷積

其中N表示輸入通道數(shù)，M表示輸出通道數(shù)，k表示卷積核大小，深度可分離卷積先采用N個k×k×1卷積核分別對每個通道特征圖進行采樣，產(chǎn)生N個特征圖，再采用M個1×1×N卷積核對各個通道建立相關(guān)性［16］。這樣普通卷積核需要N×k×k×M個參數(shù)，深度可分離卷積需要N×k×k+M×N，與普通卷積核的參數(shù)對比為（k2+M）/（M×k2），輸出通道M越大，參數(shù)縮減越多。

2 研究方法

2.1 實驗設(shè)置

本文采用的數(shù)據(jù)集是EM挑戰(zhàn)賽的公開數(shù)據(jù)集和（lung nodule analysis，LUNA）挑戰(zhàn)賽數(shù)據(jù)集，EM數(shù)據(jù)集分割任務(wù)是在電子顯微鏡記錄中分割神經(jīng)元結(jié)構(gòu)，訓練集包含30張512×512像素的灰度圖像，該數(shù)據(jù)集開始于ISBI 2012，至今一直為醫(yī)學圖像分割的經(jīng)典數(shù)據(jù)集［17］，但是該數(shù)據(jù)集訓練集并不包含標簽，因此本次測試使用訓練集Dice系數(shù)；LUNA挑戰(zhàn)賽數(shù)據(jù)集包含264張圖片，本文將該數(shù)據(jù)集按比例8∶2分為了訓練集和測試集。

2.2 數(shù)據(jù)增強方法

在擴充的數(shù)據(jù)集時不能損壞原圖的語義信息，本文采用的方法是對多種數(shù)據(jù)增強方法的組合，其中包含的方法有：隨機旋轉(zhuǎn)90°～270°、隨機對圖像進行對比度和亮度調(diào)整、隨機放大圖片并隨機選取區(qū)域裁剪至原圖尺寸、隨機旋轉(zhuǎn)0°～90°、在水平方向和垂直方向隨機平移一定距離、仿射變換，具體組合方法如圖4所示。

圖4 數(shù)據(jù)增強方法組合

采用以上數(shù)據(jù)增強方法可以使得原數(shù)據(jù)集擴大許多倍，足夠使模型提取到更多的語義信息。如圖5和圖6分別為原數(shù)據(jù)集中一張圖像采用本文數(shù)據(jù)增強方法后的部分圖像和其對應(yīng)的標簽。

圖5 數(shù)據(jù)增強后的圖片

圖6 數(shù)據(jù)增強后對應(yīng)標簽

2.3 評價指標和損失函數(shù)

本文采用的評價指標為在醫(yī)學圖像分割任務(wù)中一個常用的指標Dice系數(shù)［18］，Dice系數(shù)是兩個樣例之間重疊的指標，這個值的值域為0至1，其中Dice系數(shù)為1時代表完全的重合，Dice系數(shù)的計算方法如下：

其中X，Y分別表示預(yù)測結(jié)果和真實的標簽，T P是真正例，F(xiàn) N是假正例。

采用的損失函數(shù)是基于Dice系數(shù)的函數(shù)，D C可被定義為Dice損失函數(shù)（DL）:

其中p∈{0,1}n,0≤?≤1。p與?分別為真實標簽和預(yù)測分類，＜·,·＞表示點積。

2.4 圖像預(yù)測方法

在深度卷積模型中由于卷積核每次都從左往右進行移動，因此原圖的位置不同，預(yù)測結(jié)果也會有一些差別。為了提高預(yù)測結(jié)果的準確率，防止單次實驗結(jié)果誤差過大，或者在某一類圖片上不魯棒，本文分別對原圖進行垂直翻轉(zhuǎn)、水平翻轉(zhuǎn)、逆時針旋轉(zhuǎn)90度、逆時針旋轉(zhuǎn)180度操作，并將變換后的四張圖輸入神經(jīng)網(wǎng)絡(luò)進行預(yù)測；然后對四張預(yù)測圖進行對應(yīng)的反向變換操作；最后將預(yù)測圖求平均值獲得最終的結(jié)果圖。

3 實驗對比分析

3.1 編碼器網(wǎng)絡(luò)選擇

為了尋找合適的編碼器網(wǎng)絡(luò)，本文選擇了Resnet-18，進行對比實驗，如表1為測試結(jié)果，可以看到隨著網(wǎng)絡(luò)深度的增加分割精度明顯增加，深層的網(wǎng)絡(luò)可以提取到更多的語義信息，對模型的推理能力有很大的提升，為此選擇了Resnet34作為編碼器網(wǎng)絡(luò)。

表1 編碼器對比實驗

3.2 模型對比實驗

如表2所示為U-net、Ce-net和RU-net的分割效果圖，可以看出RU-net相比于其余網(wǎng)絡(luò)參數(shù)量和運算量極大的減少，在兩個數(shù)據(jù)集上測試分割精度均高于U-net，略低于CE-net，但是也具有可比的分割性能。

表2 模型對比實驗

3.3 模型分割效果對比

如圖7所示為在EM數(shù)據(jù)集上的表現(xiàn)結(jié)果，可以看到相比于U-net，RU-net可以將一些難分的細胞邊界分割出，分割圖中細胞內(nèi)錯分的點較少，U-net網(wǎng)絡(luò)中第一個卷積層參與了跳躍連接與解碼器融合，雖然會補充到細節(jié)信息，但是導致了計算量的增加，同時最后一個解碼器層連接的卷積層很少，導致了融合后兩個特征圖建立的聯(lián)系不強，而RU-net只將4倍下采樣后的特征圖參與跳躍連接，多次上采樣后學習到的關(guān)聯(lián)性更強，同時計算量極大減少。

圖7 部分細胞邊界分割對比實驗

如圖8所示為RU-net和CE-net在LUNA數(shù)據(jù)集下的分割效果，可以看到CE-net預(yù)測圖像中存在一些分離的像素點，而RU-net很少出現(xiàn)此類情況，CE-net在運行過程中只是在解碼器部分融合同尺度的編碼特征圖，并且是簡單相加的方式融合，在上采樣過程中造成了信息的損失，而RU-net則是融合多個階段的特征圖進行運算，空間信息和細節(jié)信息更加的豐富，在一些圖片上RU-net分割表現(xiàn)強于CE-net。

圖8 部分肺部分割對比實驗

4 結(jié)語

本文采用可分離卷積的Resnet34作為主干搭建階段性特征復(fù)用結(jié)構(gòu)，并以此為編碼器優(yōu)化U型網(wǎng)絡(luò)，由于特征復(fù)用結(jié)構(gòu)在每個特征提取階段均融合了不同尺度的信息，因此在縮減通道數(shù)的情況下依然有良好的表現(xiàn)，與其他幾種U型網(wǎng)絡(luò)比較，參數(shù)量極大的減少，經(jīng)過實驗驗證，其分割精度也有保證，同時由于網(wǎng)絡(luò)更加的深，提取的語義信息更加豐富。