基于注意力機(jī)制的多尺度融合肝臟器官分割

吳宇杭

（四川大學(xué)計(jì)算機(jī)學(xué)院，成都610065）

0 引言

肝臟作為人體腹部最大的器官，也是人體腫瘤多發(fā)部位之一。肝臟病變是人體中的常見病變，尤其是在我國(guó)肝臟腫瘤發(fā)病率正呈現(xiàn)逐年上升的趨勢(shì)，且在早期癥狀并不明顯，超過30%的患者發(fā)現(xiàn)時(shí)已是晚期，錯(cuò)過了治療的最佳時(shí)機(jī)[1]。肝臟病變的臨床表現(xiàn)為肝臟外形、大小和輪廓的變化，因此，快速的篩查和定位是診斷和治療的關(guān)鍵[2]。當(dāng)前醫(yī)院主要通過磁共振成像和CT斷層掃描等醫(yī)學(xué)影像檢查的方式對(duì)肝臟進(jìn)行篩查，醫(yī)生需要手動(dòng)分割出肝臟以及病灶區(qū)域，為制定診療方案提供可靠的形態(tài)學(xué)參考。由于醫(yī)院影像科醫(yī)生資源分布不均以及大量病例圖像的產(chǎn)生，且手動(dòng)標(biāo)注病灶需要耗費(fèi)大量的時(shí)間，極大地增加了醫(yī)生的負(fù)荷以及病人的等待時(shí)間。

伴隨著人工智能技術(shù)的不斷進(jìn)步，出現(xiàn)了許多基于深度學(xué)習(xí)的醫(yī)學(xué)圖像自動(dòng)分割技術(shù)，其對(duì)肝臟器官的分割精度也逐漸超越了專業(yè)醫(yī)生和傳統(tǒng)分割方法。文獻(xiàn)[3]提出了一種全卷積神經(jīng)網(wǎng)絡(luò)（Fully Convolution?al Networks，F(xiàn)CN），網(wǎng)絡(luò)所有層均為卷積層，能夠從像素級(jí)別對(duì)圖像進(jìn)行分類，進(jìn)而解決了語義級(jí)別的圖像分割問題。由于FCN在端到端分割中的優(yōu)異表現(xiàn)，許多學(xué)者在其基礎(chǔ)上進(jìn)行了大量改進(jìn)。文獻(xiàn)[4]在FCN基礎(chǔ)上提出了一種基于編碼器-解碼器結(jié)構(gòu)的網(wǎng)絡(luò)模型，編碼階段通過下采樣方式逐級(jí)捕捉圖像特征信息，解碼階段通過上采樣逐級(jí)恢復(fù)每個(gè)像素的定位并對(duì)像素進(jìn)行分類。其中文獻(xiàn)[5]提出一種循環(huán)式殘差卷積網(wǎng)絡(luò)，利用反卷積塊代替卷積塊，同時(shí)殘差結(jié)構(gòu)能夠幫助訓(xùn)練更深的網(wǎng)絡(luò)，循環(huán)式卷積層使網(wǎng)絡(luò)能夠提取更多的特征。文獻(xiàn)[6]提出了一種將卷積塊密集嵌套連接的網(wǎng)絡(luò)，由此代替長(zhǎng)連接的方式將編碼器和解碼器連接起來。文獻(xiàn)[7]在解碼器階段應(yīng)用了轉(zhuǎn)置卷積，相比雙線性插值提升了網(wǎng)絡(luò)的表達(dá)能力，且能夠?qū)⑸弦粚蛹?jí)的輸出和原始輸入圖像以級(jí)聯(lián)的方式作為下一層的輸入，以此實(shí)現(xiàn)分割結(jié)果以及網(wǎng)絡(luò)中間層特征的循環(huán)迭代。

在語義分割模型中特征融合階段通常采用池化操作，包括最大池化（max pooling）[8]和平均池化（average pooling）[9]。池化方法通過特征壓縮的方式增大網(wǎng)絡(luò)感受野，使卷積層能夠提取更多的信息，但是在壓縮特征的同時(shí)也會(huì)丟失圖像部分信息，容易忽略不同類之間的上下文依賴關(guān)系。而近年來提出的注意力機(jī)制（at?tention mechanism）能夠有效地聚合上下文特征，確定相同類上下文之間的相關(guān)性和不同類之間的差異性[10]。

另外，文獻(xiàn)[3-4]在特征提取階段為了減少特征損失采用了跳躍連接（skip connection），將具有豐富全局特征的上采樣預(yù)測(cè)特征圖與含有更多局部細(xì)節(jié)的淺層語義信息融合起來，從而獲得更精確的預(yù)測(cè)結(jié)果。但是跳躍連接仍然無法很有效地利用底層空間信息，不能融合任意尺度的特征。文獻(xiàn)[11]提出了一種空洞空間金字塔池化（Atrous Spatial Pyramid Pooling，ASPP）結(jié)構(gòu)，用不同采樣率的空洞卷積代替不同的尺度來提取多尺度的特征。

本文受文獻(xiàn)[10-11]啟發(fā)，通過深度卷積神經(jīng)網(wǎng)絡(luò)，在編碼器-解碼器結(jié)構(gòu)上提出了一種基于注意力機(jī)制的多尺度融合分割模型，實(shí)現(xiàn)對(duì)腹部肝臟器官的分割。在編碼器特征提取階段逐級(jí)進(jìn)行下采樣，最后利用帶有空洞卷積的空間金字塔結(jié)構(gòu)來提取不同尺度的特征，使網(wǎng)絡(luò)能夠獲取更加豐富的空間信息，具有更強(qiáng)的魯棒性。在解碼器階段逐級(jí)進(jìn)行多尺度特征融合，利用注意力機(jī)制幫助網(wǎng)絡(luò)更好地提取醫(yī)學(xué)圖像中肝臟器官等顯著特征，進(jìn)而提高模型預(yù)測(cè)的精確度。本文在CHAOS腹部肝臟器官分割數(shù)據(jù)集上對(duì)模型進(jìn)行驗(yàn)證，實(shí)驗(yàn)結(jié)果表明，模型能夠更好地利用特征間的上下文依賴關(guān)系以及底層的空間信息，在肝臟器官分割上有較好的效果。

1 相關(guān)工作

1.1 編碼器-解碼器

編碼器-解碼器[12]結(jié)構(gòu)是深度學(xué)習(xí)領(lǐng)域常用的一種模型架構(gòu)，在編碼階段由一個(gè)編碼器來接收輸入向量并壓縮為固定的維度，產(chǎn)生有語義信息的特征向量；解碼階段將編碼器處理完的低分辨率特征向量逐步映射為與原始輸入相同的維度。在語義分割領(lǐng)域，解碼器最終伴隨著對(duì)像素的分類，因此能夠通過模型重構(gòu)得到預(yù)測(cè)的語義分割結(jié)果。

1.2 注意力機(jī)制

在CNN網(wǎng)絡(luò)架構(gòu)中，為了獲得足夠大的感受野，網(wǎng)絡(luò)會(huì)逐步進(jìn)行下采樣來提取特征，而在特征壓縮過程中不可避免的會(huì)損失部分信息。近年來提出的注意力機(jī)制可以幫助網(wǎng)絡(luò)有效地抑制不相關(guān)區(qū)域的特征響應(yīng)，強(qiáng)化網(wǎng)絡(luò)學(xué)習(xí)相關(guān)任務(wù)的特征，并且在不需要大量額外參數(shù)的同時(shí)提高模型性能。注意力機(jī)制的動(dòng)力學(xué)方程[13]可表述如下：

圖1 編碼器-解碼器結(jié)構(gòu)

1.3 空洞卷積

空洞卷積（atrous convolution）[14]通過在傳統(tǒng)卷積核的每行每列中加入空洞來增加感受野，卷積神經(jīng)網(wǎng)絡(luò)計(jì)算感受野的方式如下：

f表示該層網(wǎng)絡(luò)的感受野，m為上層網(wǎng)絡(luò)的感受野，s tride為卷積層或池化層的步長(zhǎng)，k size為卷積核的大小。

空洞卷積可以幫助網(wǎng)絡(luò)擴(kuò)大感受野，并且提取多尺度的上下文信息。它通過設(shè)置不同的采樣率（dila?tion rate）來獲取不同尺度的感受野，在不壓縮特征圖維度的前提下獲得與輸入特征相同的尺度，能夠有效地保存底層特征信息。其計(jì)算方式為：

其中H、W、C分別為卷積核的高度（height）、寬度（width）和通道數(shù)（channel），而h、w、c分別是卷積核bl上對(duì)應(yīng)的坐標(biāo)。z l+1v,u的輸入是第l+1層中坐標(biāo)（u,v），其結(jié)果為第l層中的輸出al經(jīng)過卷積核bl卷積得到的值。d代表采樣率，當(dāng)d為1時(shí)，即為標(biāo)準(zhǔn)的卷積計(jì)算公式。圖2為空洞卷積示意圖。

圖2 空洞卷積示意

1.4 空洞空間金字塔結(jié)構(gòu)

ASPP即為帶有空洞卷積的空間金字塔結(jié)構(gòu)[15]，其原理是使用不同采樣率的空洞卷積來處理同一個(gè)特征圖，接著將處理的結(jié)果拼接為擴(kuò)大了通道數(shù)的特征，最后經(jīng)過一個(gè)1×1的卷積層來降低特征圖的通道數(shù)。

傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)[16]由卷積層和全連接層組成，卷積層對(duì)輸入特征的尺寸沒有特定要求，而全連接層則需要輸入固定尺寸的特征，因此來自不同應(yīng)用場(chǎng)景大小不同的圖像必須切割成固定尺寸才能使用，這既導(dǎo)致了圖像形狀的改變也造成了大量局部信息的丟失。

而ASPP的出現(xiàn)正是解決了這個(gè)問題，使網(wǎng)絡(luò)能夠輸入不同尺寸的圖片而無須切割，它還能在不同尺度進(jìn)行特征提取，并且融合這些多尺度的特征，幫助網(wǎng)絡(luò)提取更加豐富的特征，從而獲得更好的分割效果。

2 基于注意力機(jī)制的多尺度融合分割網(wǎng)絡(luò)

圖3 基于注意力機(jī)制的多尺度融合分割網(wǎng)絡(luò)

本文提出的網(wǎng)絡(luò)主體由編碼器和解碼器部分組成。編碼階段將輸入圖像以2倍率逐級(jí)進(jìn)行特征壓縮，一共進(jìn)行四次下采樣，分別對(duì)應(yīng)四個(gè)下采樣基礎(chǔ)塊，最后一層的輸出經(jīng)由ASPP模塊處理之后再進(jìn)行上采樣操作；解碼階段相對(duì)應(yīng)的逐級(jí)進(jìn)行四次上采樣，每一層都通過跳躍方式與編碼器的對(duì)應(yīng)層進(jìn)行連接。在每次上采樣特征與跳躍連接的下采樣特征融合之前，網(wǎng)絡(luò)首先將跳躍連接傳輸?shù)奶卣髋c上采樣中上一層的特征輸入到注意力模塊進(jìn)一步處理。同時(shí)，注意力模塊還能過濾正向傳播和反向傳播中神經(jīng)元的梯度信息，降低背景區(qū)域產(chǎn)生的梯度在向后傳播時(shí)的權(quán)重。

在解碼器結(jié)構(gòu)中加入注意力機(jī)制將有效利用通過跳躍連接獲得的下采樣特征，經(jīng)過注意力模塊處理后，將消除這些從粗尺度提取的特征中不相關(guān)和有噪聲的特征響應(yīng)，即抑制不相關(guān)的背景信息，更多的關(guān)注網(wǎng)絡(luò)需要的前景特征。

網(wǎng)絡(luò)基礎(chǔ)塊由一個(gè)窗口大小為2的二維最大池化層，外加兩組相同的步長(zhǎng)為1的3×3卷積層、ReLU激活函數(shù)層和二維的批歸一化層組成。池化層用來降低圖像的分辨率，批歸一化層使每一批特征圖滿足均值為0，方差為1的規(guī)律分布。

2.1 注意力模塊

在注意力模塊中，首先將跳躍連接傳遞的下采樣輸出特征xl，與上采樣特征g轉(zhuǎn)換成相同的尺寸，兩者拼接之后由激活函數(shù)ReLU處理，再接一層sigmoid函數(shù)進(jìn)行歸一化處理得到注意力系數(shù)α，α取值在0～1之間，當(dāng)α趨近于1時(shí)表示網(wǎng)絡(luò)的注意力更集中在目標(biāo)區(qū)域上，趨近于0時(shí)表示抑制不相關(guān)區(qū)域的特征響應(yīng)。最后將初始的特征圖xl與注意力系數(shù)計(jì)算向量乘積得到，乘積將會(huì)使目標(biāo)區(qū)域的值變大，使背景區(qū)域的值變小，最終體現(xiàn)了將注意力集中在目標(biāo)區(qū)域上的理念。

圖4 網(wǎng)絡(luò)基礎(chǔ)模塊示意

圖5 注意力模塊示意

2.2 空洞空間金字塔結(jié)構(gòu)

ASPP模塊中首先將原始特征使用一個(gè)二維自適應(yīng)平均池化層對(duì)特征圖進(jìn)行下采樣降維，再用一個(gè)1×1的二維卷積層、一個(gè)雙線性插值上采樣層進(jìn)行處理，接著使用4層采樣率分別為(1,6,12,18)的空洞卷積，最后將上采樣處理完的原始特征圖和4層空洞卷積處理的特征進(jìn)行融合，融合的結(jié)果使用一個(gè)1×1的卷積層進(jìn)行處理。這便是加入空洞卷積的空間金字塔結(jié)構(gòu)原理。

網(wǎng)絡(luò)將下采樣最后一層的特征輸入ASPP進(jìn)行處理，將處理的結(jié)果結(jié)合上一層的下采樣跳躍連接的輸出，作為最近一層注意力模塊的輸入。網(wǎng)絡(luò)中ASPP的計(jì)算方式為：

其中H k,d(x)表示一個(gè)空洞卷積，函數(shù)y表示特征融合。

圖6 ASPP結(jié)構(gòu)示意

3 實(shí)驗(yàn)與結(jié)果

3.1 數(shù)據(jù)集

本文使用CHAOS（Combined Healthy Abdominal Organ Segmentation）[17]腹部器官分割數(shù)據(jù)集，其中包含的CT數(shù)據(jù)由一系列大小為512×512的16位DICOM圖像組成，實(shí)驗(yàn)使用其中的肝臟CT數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)集，對(duì)腹部肝臟器官進(jìn)行分割預(yù)測(cè)。CT數(shù)據(jù)中包含了20例病人的CT圖像，本文使用其中的90%共18例2784張圖像作為訓(xùn)練集，剩余的10%數(shù)據(jù)作為測(cè)試集。

3.2 評(píng)價(jià)指標(biāo)

本文采用分割任務(wù)中常用的Dice相似系數(shù)（Dice Similarity Coefficient，DSC）作為實(shí)驗(yàn)的評(píng)價(jià)指標(biāo)，用來計(jì)算模型預(yù)測(cè)的分割結(jié)果和標(biāo)簽的相似度，其計(jì)算方式如下：

其中Gt表示數(shù)據(jù)集標(biāo)簽中肝臟區(qū)域像素構(gòu)成的集合，Pred為分割模型預(yù)測(cè)得到的肝臟區(qū)域像素集合。DSC取值范圍為[0,1]，其值越大表示模型預(yù)測(cè)的結(jié)果與標(biāo)簽的結(jié)果越接近。

3.3 損失函數(shù)

本文數(shù)據(jù)標(biāo)簽包含肝臟前景和背景兩類標(biāo)簽，采用僅適用于二分類任務(wù)的BCELoss（Binary Cross Entropy Loss）二分類交叉熵?fù)p失函數(shù)[18]進(jìn)行模型訓(xùn)練，其函數(shù)定義如下：

其中xi和yi分別是原始目標(biāo)參數(shù)和預(yù)測(cè)目標(biāo)參數(shù)，取值在0到1之間，因此在進(jìn)行損失計(jì)算時(shí)需要在該層前使用Sigmoid函數(shù)進(jìn)行處理。

3.4 模型訓(xùn)練

為了避免模型過擬合，實(shí)驗(yàn)在數(shù)據(jù)預(yù)處理階段使用數(shù)據(jù)增強(qiáng)對(duì)訓(xùn)練集數(shù)據(jù)進(jìn)行處理，包括隨機(jī)水平翻轉(zhuǎn)、隨機(jī)尺度縮放、隨機(jī)裁剪和高斯濾波等。

實(shí)驗(yàn)在Ubuntu 18.04基礎(chǔ)上使用PyTorch深度學(xué)習(xí)框架和Python編程語言實(shí)現(xiàn)網(wǎng)絡(luò)構(gòu)建，硬件平臺(tái)為型號(hào)NVIDIA Tesla-K20M的GPU和Intel Core i5-8600k的CPU。模型在訓(xùn)練時(shí)使用隨機(jī)梯度下降優(yōu)化器對(duì)樣本的權(quán)重和梯度進(jìn)行更新，共進(jìn)行了60個(gè)批次循環(huán)訓(xùn)練，每個(gè)批次大小設(shè)置為5，初始學(xué)習(xí)率為0.001。在每個(gè)循環(huán)結(jié)束時(shí)對(duì)訓(xùn)練結(jié)果進(jìn)行評(píng)估，最終保存評(píng)估結(jié)果最好的權(quán)重為模型訓(xùn)練最終的結(jié)果。

3.5 實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)在CHAOS數(shù)據(jù)集基礎(chǔ)上使用Dice相似系數(shù)評(píng)價(jià)指標(biāo)對(duì)模型效果進(jìn)行驗(yàn)證，并在UNet、UNet++以及nnUNet分割模型上使用相同的評(píng)價(jià)指標(biāo)和數(shù)據(jù)集進(jìn)行對(duì)比實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果見表1。由表1可知，本文提出的基于注意力機(jī)制的多尺度融合分割模型對(duì)肝臟器官的分割表現(xiàn)均好于對(duì)比模型，能夠較好地滿足對(duì)腹部肝臟器官的分割要求。

表1 實(shí)驗(yàn)指標(biāo)

如圖7所示，最左列是實(shí)驗(yàn)數(shù)據(jù)集中原始腹部器官圖像，中間為肝臟器官的人工標(biāo)注標(biāo)簽，最右側(cè)為本文所提出的分割模型所預(yù)測(cè)的結(jié)果。

圖7 模型分割結(jié)果示例

4 結(jié)語

肝臟作為腹部最大的器官也是人體中的重要器官，對(duì)其進(jìn)行精確分割在手術(shù)治療中具有重要意義。本文結(jié)合注意力機(jī)制和多尺度融合提出了一種肝臟器官自動(dòng)分割模型，在CHAOS數(shù)據(jù)集上測(cè)試的肝臟分割準(zhǔn)確率Dice系數(shù)達(dá)到96.31%，能夠在腹部CT圖像中較為準(zhǔn)確地分割出肝臟器官輪廓，有效減輕醫(yī)生負(fù)擔(dān)，并在一定程度上為醫(yī)生手術(shù)治療方案提供形態(tài)學(xué)參考。本文未來的工作將繼續(xù)提高模型在小目標(biāo)上的分割精度，以增強(qiáng)模型分割的泛化性和魯棒性。