一種基于CA-Net的腦腫瘤磁共振圖像分割算法

柯盼盼，陳 勝，李珂然

（上海理工大學(xué) 光電信息與計(jì)算機(jī)工程學(xué)院，上海 200093）

0 引 言

腦腫瘤是大腦中異常的細(xì)胞組織，發(fā)病率和死亡率極高。腦腫瘤的治療取決于患者的年齡、腫瘤的類型及其位置。磁共振圖像是腦腫瘤診斷中已獲廣泛應(yīng)用的輔助工具，通過MR檢測可以提供腫瘤大小、形狀、定位等寶貴信息。腦腫瘤的精確分割對準(zhǔn)確評估起著不小的作用，對治療規(guī)劃也顯得尤為重要。但是，傳統(tǒng)的手動(dòng)分割是一個(gè)復(fù)雜的項(xiàng)目。將每個(gè)像素細(xì)分為腫瘤內(nèi)部和外部，是一項(xiàng)極其艱巨和具有挑戰(zhàn)性的任務(wù)。而對MR圖像進(jìn)行自動(dòng)分割，可以避免許多復(fù)雜的工作，并進(jìn)一步節(jié)省劃分校正時(shí)間和人工勞動(dòng)成本，對腦腫瘤早期診斷和治療具有重要意義。

傳統(tǒng)的圖像分割方法主要有模型法、閾值算法和區(qū)域法，通常與特征工程相結(jié)合，實(shí)現(xiàn)對腦組織和腫瘤區(qū)域進(jìn)行分割。李永焯等人提出了一種改進(jìn)的分水嶺圖像分割算法。該算法先對原始梯度圖像進(jìn)行形態(tài)學(xué)重建，再設(shè)定閾值標(biāo)記腫瘤部分，以分水嶺標(biāo)記背景部分，最后根據(jù)標(biāo)記繪制出分水嶺變換的分割線，準(zhǔn)確區(qū)分了背景和腫瘤部分，有效避免了誤分割。針對顱腦MR圖像的模糊特點(diǎn)和實(shí)際應(yīng)用要求，柴黎等人運(yùn)用閾值處理噪聲干擾，對分水嶺區(qū)域分割算法進(jìn)行改進(jìn)，從而抑制了過分割問題，并能快速、準(zhǔn)確得到醫(yī)學(xué)圖像的分割結(jié)果，具有較強(qiáng)的抗噪聲能力。宗曉萍等人利用灰度共生矩陣提取出的紋理特征，結(jié)合圖像幾何不變矩特征，對分割出的腦腫瘤圖像進(jìn)行特征提取。該方法可以同時(shí)從紋理和幾何特征對圖像特征進(jìn)行描述，與分別采用灰度共生矩陣和不變矩方法進(jìn)行特征提取相比較，不僅降低了算法計(jì)算量，同時(shí)也提升了算法的抗噪性。苗加慶提出一種字典學(xué)習(xí)降噪和分水嶺算法相結(jié)合的腦MR醫(yī)學(xué)圖像分割算法。采用字典學(xué)習(xí)降低原始圖像噪聲，并利用形態(tài)學(xué)算法對降噪后的圖像進(jìn)行形態(tài)學(xué)處理，通過形態(tài)學(xué)知識提取圖像邊界，利用圖像的幾何特征，去除非目標(biāo)區(qū)域，再采用分水嶺變換進(jìn)行圖像分割。針對腦腫瘤MR圖像的邊界復(fù)雜度，傳統(tǒng)方法往往不能精準(zhǔn)分割其邊緣區(qū)域，某些特殊的腦腫瘤MR影像分割效果一般，魯棒性較差。

近年來，人工智能在醫(yī)學(xué)影像領(lǐng)域得到快速發(fā)展，而圖像分割是其中重要的組成部分。在卷積神經(jīng)網(wǎng)絡(luò)中，U-net是最常用的圖像分割模型之一，在肺部CT圖像結(jié)節(jié)分割、超聲心動(dòng)圖像心室分割、眼球分割、心臟MRI分割等醫(yī)療圖像分割場景中得到了廣泛應(yīng)用?；赨-net網(wǎng)絡(luò)骨架結(jié)構(gòu)，U-net＋＋對編碼器和解碼器之間特征映射進(jìn)行深層次連接，通過添加嵌套連接和Dense連接結(jié)構(gòu)，減少其中的語義隔閡，從而更好地捕獲高顆粒度的圖像細(xì)節(jié)。另外，U-net＋＋作為多分支網(wǎng)絡(luò)，全局的由所有分支累加而成，引入了全尺寸跳躍連接，并充分利用了編碼器和解碼器中的多尺度信息。吳量等人將U-net與殘差結(jié)構(gòu)結(jié)合，并利用注意力模塊提高網(wǎng)絡(luò)提取關(guān)鍵特征層和空間區(qū)域，從而提高腫瘤的分割精度。Gu等人通過新的空間、尺度、通道注意模塊，構(gòu)建了綜合注意力卷積神經(jīng)網(wǎng)絡(luò)CA-Net，實(shí)現(xiàn)更準(zhǔn)確和可解釋的圖像分割，并在皮膚病變分割和胎兒磁共振圖像分割中取得較大提升。Lin等人提出一種聚合注意力卷積網(wǎng)絡(luò)AANet，將U-net骨架結(jié)構(gòu)與多尺度語義信息結(jié)合，利用增強(qiáng)的下采樣和上采樣層減少補(bǔ)償信息丟失，進(jìn)行腦膠質(zhì)瘤分割。

綜上所述，本文提出了一種基于CA-Net的腦腫瘤磁共振圖像分割方法，并通過圖像處理技術(shù)提高分割精度，具體流程如圖1所示。

由圖1可知，該方法先對圖像進(jìn)行HSV空間轉(zhuǎn)換，對亮度參量進(jìn)行自適應(yīng)調(diào)整；利用CLAHE算法實(shí)現(xiàn)圖像增強(qiáng)；增強(qiáng)后的圖像進(jìn)一步輸入CA-Net網(wǎng)絡(luò)中進(jìn)行訓(xùn)練，通過訓(xùn)練得到的模型完成腦腫瘤分割；利用二值圖像后處理提升分割圖像精度，得到最終的分割結(jié)果。

圖1 分割算法流程Fig.1 Flow chart of the segmentation algorithm

1 網(wǎng)絡(luò)模型與算法設(shè)計(jì)

1.1 預(yù)處理

針對腦部MR圖像可能存在對比度低、腫瘤邊界信息模糊、灰階信息不均勻等問題，使用圖像增強(qiáng)處理可以抑制圖像噪聲，使腫瘤區(qū)域更顯著。限制對比度直方圖均衡化（CLAHE）算法，通過計(jì)算圖像的直方圖并重新分布，由此提高整體的亮度。但是，這種算法可能會(huì)丟失部分灰階信息，且對較暗的圖像處理效果一般。因此，本文提出一種改進(jìn)的CLAHE預(yù)處理方法。該方法先將圖像轉(zhuǎn)換到HSV空間，提取圖像的亮度通道變量，并以此自適應(yīng)調(diào)整圖像的整體亮度。HSV空間中的通道和通道計(jì)算公式如下：

自適應(yīng)亮度轉(zhuǎn)換公式如下：

其中，為調(diào)整后的圖像亮度，表示調(diào)整前原圖像的實(shí)際亮度，為亮度閾值。

1.2 CA-Net

綜合注意力卷積神經(jīng)網(wǎng)絡(luò)（Comprehensive Attention Convolutional Neural Networks，CA-Net）結(jié)構(gòu)如圖2所示。該網(wǎng)絡(luò)基于U-Net骨架結(jié)構(gòu)，分別包括編碼器和解碼器兩部分，組成一個(gè)端到端可訓(xùn)練模型。通過添加復(fù)合注意力模塊，實(shí)現(xiàn)對空間、通道和尺度的綜合特征信息提取。其中，為空間注意力模塊，為通道注意力模塊以及一個(gè)尺度注意力模塊。注意力模塊可以有效學(xué)習(xí)當(dāng)前特征地圖中顯著空間區(qū)域，使網(wǎng)絡(luò)更好聚焦于分割目標(biāo)，同時(shí)抑制不相關(guān)背景部分，提升預(yù)測準(zhǔn)確性。

圖2 CA-Net網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 CA-Net network structure

編碼器是一個(gè)特征提取器，可以連續(xù)獲得多個(gè)尺度的高維特征；解碼器利用這些編碼特征來恢復(fù)分割目標(biāo)。為了更好地利用前后的高低維特征，利用注意力模塊進(jìn)行連接，可以有效增強(qiáng)像素之間的關(guān)系。在網(wǎng)絡(luò)結(jié)構(gòu)中，使用4個(gè)空間注意力模塊（），由最低分別率級別的非局部塊和其它分別率水平的雙通路相結(jié)合，形成一種多尺度空間注意力機(jī)制。與編碼器的不同分辨率層相聯(lián)結(jié)，分別對應(yīng)不同分辨率級別的特征圖。為更好地學(xué)習(xí)其網(wǎng)絡(luò)層的上下文關(guān)系，內(nèi)部使用卷積塊來捕獲像素之間的交互。如圖3（a）所示，輸入特征圖形狀為，這里的為通道數(shù)，和分別表示高度和寬度。注意力塊使用3個(gè)并行的11卷積層進(jìn)行特征壓縮，并依次將3個(gè)特征映射，重新構(gòu)造為二維矩陣。圖3（b）為單路空間注意力。其中，X為高級特征，來自解碼器上采樣，X為低級特征，來自編碼器、為關(guān)鍵特征。2種特征經(jīng)過壓縮通道進(jìn)行加權(quán)，通過激活函數(shù)層和卷積層輸出單通道，最后利用注意力系數(shù)進(jìn)行校準(zhǔn)，得到更新的X。模塊中利用多個(gè)注意門控結(jié)構(gòu)，使網(wǎng)絡(luò)關(guān)注特征圖最相關(guān)的信息，同時(shí)抑制不相關(guān)的部分。

圖3 空間注意力模塊Fig.3 Spatial attention module

在CA-Net網(wǎng)絡(luò)中包含4個(gè)通道注意力模塊（），用以實(shí)現(xiàn)網(wǎng)絡(luò)中低層特征和高層特征的通道連接，并對更相關(guān)的通道進(jìn)行加權(quán)，賦予更高的系數(shù)。相較于模塊，引入全局最大池化后的特征作為通道注意的更顯著特征，保留更多全局信息。由于編碼器和解碼器的特征通道不同，在分割任務(wù)中具有不同的重要性。為了更好提取特征通道中有用的語義信息，添加通道注意力模塊來自動(dòng)突出相關(guān)的特征通道。

模型的主要網(wǎng)絡(luò)是U-Net，其主要的特點(diǎn)就是獲取不同尺度的特征圖，而為了聯(lián)結(jié)這些不同分辨率的特征，得到最后的分割結(jié)果，需要在解碼器部分進(jìn)行多尺度連接。針對具有不同尺度特征圖對象具有不同的相關(guān)性，需要賦予其不同權(quán)重系數(shù)。運(yùn)用尺度注意力模塊對網(wǎng)絡(luò)將解碼器中的不同尺度的特征圖進(jìn)行加權(quán)。其中包含編碼器中的低維特征，以及經(jīng)過空間通道注意力提取的重要語義信息。該模塊作為網(wǎng)絡(luò)的輸出端，整合并校準(zhǔn)不同尺度的圖像信息。

1.3 混合損失函數(shù)

函數(shù)是二元交叉熵?fù)p失函數(shù)的一種變體，利用較低簡單樣本的權(quán)重來解決標(biāo)準(zhǔn)交叉熵和類別不平衡的問題，從而實(shí)現(xiàn)對較復(fù)雜的樣本的學(xué)習(xí)。此處用到的數(shù)學(xué)公式可寫為：

其中，∈0，1[ ]，是模型對于類別1時(shí)得到的預(yù)測概率。當(dāng)樣本被誤分且p很小時(shí)，對影響不大。隨著p→1，調(diào)制因子趨近于零，容易分類的簡單樣本則被減少權(quán)重。

源自dice系數(shù)，是一種度量2個(gè)樣本相似度的函數(shù)。針對二元分類問題，推導(dǎo)得到的數(shù)學(xué)公式為：

為進(jìn)一步提高網(wǎng)絡(luò)模型的學(xué)習(xí)能力和優(yōu)化訓(xùn)練過程，減少由于腫瘤區(qū)域較小、與背景不平衡導(dǎo)致的差異，本文結(jié)合和兩種損失函數(shù)，使用改進(jìn)的混合進(jìn)行訓(xùn)練，具體公式如下：

其中，∈0，1[ ]，確定2個(gè)分量的相對權(quán)重，控制背景類的抑制和較難樣本類別的增強(qiáng)。

1.4 形態(tài)學(xué)后處理

本文使用形態(tài)學(xué)后處理方法，進(jìn)一步提升腦腫瘤的分割精度，即二值圖像閉運(yùn)算和開運(yùn)算，并進(jìn)行相關(guān)對照實(shí)驗(yàn)。形態(tài)學(xué)處理主要根據(jù)圖像中錨點(diǎn)位置的像素點(diǎn)，通過像素值的差異，對周邊像素區(qū)域進(jìn)行膨脹和腐蝕操作。開運(yùn)算和閉運(yùn)算均為膨脹和腐蝕復(fù)合操作，可排除較小像素塊，將區(qū)域連接，形成連通域。將卷積神經(jīng)網(wǎng)絡(luò)模型輸出作為預(yù)分割結(jié)果，并分別進(jìn)行形態(tài)學(xué)后處理操作。

2 實(shí)驗(yàn)結(jié)果與分析

2.1 實(shí)驗(yàn)數(shù)據(jù)與參數(shù)設(shè)置

實(shí)際訓(xùn)練采用五折交叉驗(yàn)證，在所有測試集上保留性能最佳的模型。模型訓(xùn)練選用優(yōu)化器，學(xué)習(xí)率為0.001，利用余弦退火策略動(dòng)態(tài)調(diào)整，對此可表示為：

單次傳遞的樣本數(shù)大?。ǎ⒂绊懩Ｐ偷膬?yōu)化程度和速度，直接影響到GPU內(nèi)存的使用情況。隨著增大，處理相同數(shù)據(jù)量的速度越快，達(dá)到相同精度所需要的數(shù)量會(huì)越來越多。但過大容易導(dǎo)致網(wǎng)絡(luò)收斂到一些不好的局部最優(yōu)點(diǎn)；同樣，太小的也存在訓(xùn)練速度很慢、訓(xùn)練不容易收斂等問題。在本數(shù)據(jù)集中，選擇為16。另外，所有模型訓(xùn)練均選擇損失函數(shù)值最低的狀態(tài)作為最佳模型，此時(shí)保存的模型權(quán)重將用于后續(xù)的對比實(shí)驗(yàn)。

2.2 評價(jià)指標(biāo)

針對二元圖像分割，通常使用相似系數(shù)對結(jié)果進(jìn)行評估，可用如下公式計(jì)算得出：

其中，（True Positive）表示真陽性，即預(yù)測為陽性且實(shí)際為正例；（False Positive）為假陽性，即實(shí)際為負(fù)例、而預(yù)測為陽性；（False Negative）為假陰性，即實(shí)際是正例、而預(yù)測為陰性。

2.3 實(shí)驗(yàn)結(jié)果對比

2.3.1 預(yù)處理

本實(shí)驗(yàn)使用改進(jìn)的CLAHE算法進(jìn)行圖像增強(qiáng)操作，對照組分別為原始圖像和傳統(tǒng)CLAHE算法。實(shí)際預(yù)處理中，亮度閾值取為0.67時(shí)表現(xiàn)較好，腦MR原圖像經(jīng)過自適應(yīng)調(diào)整全局亮度后，暗部細(xì)節(jié)得到增強(qiáng)，更能突顯腫瘤區(qū)域的實(shí)際位置以及其邊界信息。分別在基于相同網(wǎng)絡(luò)參數(shù)下進(jìn)行模型訓(xùn)練。不同預(yù)處理方法對比結(jié)果見表1。

在鄒某某雇員受害案例中，雇主作為一種轉(zhuǎn)承責(zé)任，應(yīng)該承擔(dān)賠償責(zé)任，因此，雇主孫某某應(yīng)該承擔(dān)賠償責(zé)任，在司法實(shí)踐中，第一種意見不能適用。對于第二種、第三種分歧意見辯駁的實(shí)質(zhì)問題就是雇主與侵權(quán)第三人承擔(dān)責(zé)任的性質(zhì)。

表1 不同預(yù)處理方法對比結(jié)果Tab.1 Comparison of training results of different pre-processing methods

由表1的實(shí)驗(yàn)結(jié)果可見，使用原始圖像，即不進(jìn)行任何預(yù)處理，模型平均系數(shù)為86.18（±1.44）%；經(jīng)過傳統(tǒng)的CLAHE算法進(jìn)行預(yù)處理，模型最終分割結(jié)果的系數(shù)為86.43（±1.36）%；而原數(shù)據(jù)集經(jīng)過改進(jìn)的CLAHE預(yù)處理算法，實(shí)現(xiàn)的最終分割效果最好，平均系數(shù)為87.26（±0.76）%。結(jié)果表明，使用自適應(yīng)亮度調(diào)整的CLAHE算法進(jìn)行圖像增強(qiáng)，對圖像的暗部細(xì)節(jié)以及腫瘤區(qū)域的邊界顯著性有明顯提高。整體效果如圖4所示。圖4中（a）為原圖像，（b）為直接利用CLAHE算法處理圖像，（c）為采用基于空間域轉(zhuǎn)換的亮度自適應(yīng)調(diào)整CLAHE算法結(jié)果。

圖4 預(yù)處理結(jié)果對比Fig.4 Comparison of pre-processing results

2.3.2 卷積神經(jīng)網(wǎng)絡(luò)模型

實(shí)驗(yàn)主要將CA-Net與U-Net、U-Net＋＋和Attention U-Net等圖像分割常用模型進(jìn)行比較。同時(shí)，針對混合訓(xùn)練的效果，進(jìn)行消融實(shí)驗(yàn)。所有的網(wǎng)絡(luò)模型結(jié)果使用評價(jià)指標(biāo)進(jìn)行對比。實(shí)驗(yàn)結(jié)果見表2。

表2 不同模型訓(xùn)練的結(jié)果對比Tab.2 Comparison of training results of different models

由表2中數(shù)據(jù)可見，使用原始的U-net網(wǎng)絡(luò)，平均系數(shù)為812.73（±2.36）%；U-Net＋＋模型系數(shù)為84.06（±1.04）%；Attention U-Net網(wǎng)絡(luò)分割結(jié)果的系數(shù)為86.17（±0.89）%；CA-Net的分割結(jié)果為87.26（±0.76）%。相較于其它網(wǎng)絡(luò)模型，CA-Net網(wǎng)絡(luò)的指標(biāo)有一定的提升。模型還進(jìn)一步結(jié)合進(jìn)行訓(xùn)練，平均指標(biāo)有近1.2%的提升。在圖像分割耗時(shí)方面，CA-Net網(wǎng)絡(luò)的分割每張圖片平均耗時(shí)為2.1 ms，U-Net、U-Net＋＋以及Attention U-Net網(wǎng)絡(luò)耗時(shí)分別為2.7 ms、3.1 ms和2.6 ms，CA-Net表現(xiàn)優(yōu)于其他網(wǎng)絡(luò)模型。

2.3.3 形態(tài)學(xué)后處理

為進(jìn)一步提升分割腫瘤區(qū)域的精度，將形態(tài)學(xué)后處理應(yīng)用于深度學(xué)習(xí)模型的預(yù)分割結(jié)果，主要使用二值圖像的開閉運(yùn)算。

針對不同的形態(tài)學(xué)后處理結(jié)果，本文使用五折交叉驗(yàn)證，將全部數(shù)據(jù)集分割結(jié)果與原數(shù)據(jù)集的掩膜標(biāo)簽進(jìn)行對照，對比最后的平均系數(shù)。不同形態(tài)學(xué)后處理算法實(shí)驗(yàn)結(jié)果見表3。

表3 不同形態(tài)學(xué)后處理結(jié)果的Dice系數(shù)對比Tab.3 Comparison of Dices of different morphological postprocessing results %

原始模型的平均系數(shù)為88.40（±0.24）%，開運(yùn)算結(jié)果為88.93（±0.36）%，閉運(yùn)算后處理表現(xiàn)最優(yōu)，平均系數(shù)為89.21（±0.36）%。相較于CA-Net網(wǎng)絡(luò)的分割結(jié)果，指標(biāo)有所提升。

最終實(shí)現(xiàn)的分割效果如圖5所示。圖5中，（a）為原圖像，（b）為選用CA-Net結(jié)合閉運(yùn)算后處理的最終分割結(jié)果，（c）為原數(shù)據(jù)的掩膜標(biāo)簽?？梢钥闯?，本文基于CA-Net的腦腫瘤分割算法可以準(zhǔn)確分割腦腫瘤區(qū)域，并且減少了由于圖像噪聲出現(xiàn)的誤分割狀況。

圖5 分割結(jié)果與原圖和掩膜標(biāo)簽的對比Fig.5 Comparison of segmentation results with original images and masks

3 結(jié)束語

針對腦腫瘤MR圖像分割問題，應(yīng)用改進(jìn)的自適應(yīng)亮度CLAHE算法進(jìn)行圖像增強(qiáng)，并將CA-Net網(wǎng)絡(luò)模型與混合損失函數(shù)結(jié)合，解決了原網(wǎng)絡(luò)丟失部分關(guān)鍵信息的問題，使網(wǎng)絡(luò)關(guān)注特征圖的最相關(guān)信息的連接，同時(shí)抑制不相關(guān)的部分，取得比U-Net、U-Net以及Attention U-Net更高的分割精度。經(jīng)過二值圖像閉運(yùn)算后處理，有效減少了誤分割的概率，提高最后的平均系數(shù)。該分割算法能更準(zhǔn)確且穩(wěn)定用于MR圖像的腦腫瘤區(qū)域分割，并對患者早期治療和診斷有重要意義。

本文的方法仍有部分局限性，在一些方面可以進(jìn)一步優(yōu)化。如：針對多序列MR圖像，可考慮進(jìn)行多模型融合；由于該模型是基于二維數(shù)據(jù)進(jìn)行分割，還未用到腦腫瘤MR圖像的三維空間信息，可考慮進(jìn)行三維模型擴(kuò)展。