一種基于Mask RCNN的融合幾何特征的冠狀動脈分割方法

邵 凱，張云峰，包芳勛，鄭 勇，秦 超，張彩明

(1.山東財經(jīng)大學(xué) a.計算機科學(xué)與技術(shù)學(xué)院，b.山東省數(shù)字媒體技術(shù)重點實驗室，濟南 250014；2.山東大學(xué) a.數(shù)學(xué)學(xué)院，b.計算機科學(xué)與技術(shù)學(xué)院，濟南 250100)

冠心病的預(yù)防和治療是目前臨床診斷研究的重點。冠脈CT血管造影(coronary computed tomography angiograph,CCTA)是對抗冠狀動脈疾病最有價值的診斷研究之一[1]。準確的CCTA圖像分割是冠心病臨床診斷和治療提供可靠依據(jù)的關(guān)鍵。

以往的醫(yī)學(xué)分割方法包括但不局限于閾值分割[2-3]、區(qū)域生長法[4]和活動輪廓模型[5]等，這些方法已有廣泛的應(yīng)用。然而，在CCTA圖像中，感興趣區(qū)域(region of interest，RoI)與背景區(qū)域間的灰度值不存在顯著差異，并且閾值、標準的選擇和初始輪廓曲線需要人工干預(yù)，這使得傳統(tǒng)方法難以實現(xiàn)高精度的自動分割。

近年來，實現(xiàn)自動分割的方法受到了人們的關(guān)注。根據(jù)處理對象的粒度大小，分割方法可分為基于像素的方法[6-10]和基于區(qū)域的方法[11-14]。對于基于像素的方法，網(wǎng)絡(luò)提取用于處理像素的視覺特征和語義信息來實現(xiàn)圖像分割。SHEN et al[7]使用全卷積神經(jīng)網(wǎng)絡(luò)(fully convolutional network，F(xiàn)CN)學(xué)習(xí)冠狀動脈的語義特征實現(xiàn)分割。對于較復(fù)雜的圖像，RoIs的自動選擇可以去除大部分的背景信息干擾，得到更好的分割結(jié)果?；趨^(qū)域的方法可以通過目標檢測方法自動提取RoIs，并在RoIs上進行分割。Mask RCNN[11]是一種典型的基于區(qū)域的網(wǎng)絡(luò)，該網(wǎng)絡(luò)在Faster RCNN[12]網(wǎng)絡(luò)基礎(chǔ)上擴展而來，利用殘差網(wǎng)絡(luò)[13](residual network，ResNet)和特征金字塔網(wǎng)絡(luò)(feature pyramid network，F(xiàn)PN)提取圖像特征，然后利用區(qū)域建議網(wǎng)絡(luò)(region proposal network，RPN)提取RoIs，最后，并行的FCN層實現(xiàn)了對每個RoIs的分割。ANANTHARAMAN et al[14]將Mask RCNN應(yīng)用于口腔病理醫(yī)學(xué)領(lǐng)域，并取得了良好的效果。LIU et al[15]通過改進RPN中錨點的選擇標準來提高超聲圖像分割精度。溫堯樂等[16]通過增強FPN網(wǎng)絡(luò)低層特征提高分割準確度。對于邊界不清、特征不明顯的CCTA圖像，Mask RCNN網(wǎng)絡(luò)特征描述能力不足。

由于機器學(xué)習(xí)分割方法的實現(xiàn)依賴于醫(yī)學(xué)圖像的特征信息，因此邊界特征和分形特征等幾何特征對CCTA圖像分割非常重要。HAN et al[17]利用局部邊界特征和形狀特征實現(xiàn)了冠狀動脈CTA圖像中冠狀動脈的自動跟蹤。然而，CCTA圖像的邊界不清晰，使Mask RCNN網(wǎng)絡(luò)提取的特征不完備。WANG et al[18]使用分形維數(shù)來識別視網(wǎng)膜血管。冠狀動脈血管具有不同尺度的自相似性，即分形特征。不同的形態(tài)結(jié)構(gòu)具有不同的分形維數(shù)，可以用分形維數(shù)區(qū)分不同的器官組織和血管。在Mask RCNN網(wǎng)絡(luò)引入分形特征可以進一步增強特征描述，從而提高分割精度。

本文提出一種融合了幾何特征的Mask RCNN網(wǎng)絡(luò)來實現(xiàn)冠狀動脈分割。首先提出了一種邊界提取方法來生成有效的邊界特征，通過增強邊界特征來解決冠脈邊界不清晰的問題。其次，通過分形維數(shù)來表示冠脈不同尺度下的自相似性，即分型特征。融合分形特征可以提高網(wǎng)絡(luò)的分形特征描述能力，解決特征不明顯的問題。最后，在網(wǎng)絡(luò)中添加一個特征融合層，目的是將邊界特征和分形特征融合到原始特征圖中。網(wǎng)絡(luò)采用新的特征圖實現(xiàn)CCTA圖像分割。

1 本文方法

本文研究了將幾何特征融合到Mask RCNN網(wǎng)絡(luò)來提高圖像分割精度的方法。圖1給出了提出方法的框架。首先，提出了一種邊界提取方法，在不影響輸入圖像結(jié)構(gòu)的情況下提取邊界特征。其次，根據(jù)冠狀動脈具有不同尺度下的自相似性，通過分形模型提取分形特征。最后，利用特征融合層將邊界特征、分形特征和原特征圖融合為新的特征圖。區(qū)域建議網(wǎng)絡(luò)使用新的特征圖生成更精確的檢測框，全卷積網(wǎng)絡(luò)生成更接近Ground Truth(GT)的遮罩。

1.1 邊界特征提取

由于CCTA圖像成像方式的影響，冠脈血管與其他組織之間的邊界不清晰。為了增強邊界特征，本文利用非下采樣輪廓波變換(nonsubsampled contourlet transform，NSCT)算法和Canny算子提取圖像邊界特征。

圖1 基于Mask RCNN的融合幾何特征的冠狀動脈分割方法基本框架圖Fig.1 Framework of coronary artery segmentation method based on Mask RCNN integrated with geometric features

NSCT算法是基于非下采樣金字塔(nonsubsampled pyramid，NSP)和非下采樣方向濾波器組(nonsubsampled directional filter bank，NSDFB)的一種變換。如圖2所示，通過NSP處理，輸入圖像被處理為高通部分和低通部分，然后通過NSDFB處理將高通部分分成多個方向的子帶，即不同方向的高頻信息。雖然NSCT方法提取的結(jié)果包含了更多的細節(jié)但是邊界主輪廓可能是不連續(xù)的。Canny算子可以檢測出完整的輪廓，因此本文利用Canny算子處理NSP生成的低通部分。將NSCT算法和Canny算子提取的高頻信息疊加作為邊界特征，此邊界特征包含完整的邊界主輪廓和更多的細節(jié)特征。網(wǎng)絡(luò)通過融合邊界特征增強冠狀動脈與其他組織的邊界特征信息，減少冠脈血管壁不清晰的影響，提高檢測和分割的準確性。

圖2 邊界提取算法Fig.2 Boundary extraction algorithms

為了驗證邊界特征提取方法的合理性，本文提供了不同邊界提取算法的結(jié)果，如圖3所示。本文的方法可以在保證邊界連續(xù)性的同時突出主輪廓并生成更詳細的邊界特征。

圖3 邊界提取算法對比Fig.3 Comparison of boundary extraction algorithms

1.2 分形特征提取

特征提取的質(zhì)量對Mask RCNN網(wǎng)絡(luò)的分割精度至關(guān)重要。待分割區(qū)域的特征不明顯使得網(wǎng)絡(luò)對冠脈的分割精度不高。為了進一步提高分割精度，本文將分形特征引入到Mask RCNN中。

圖4 分形特征提取Fig.4 Fractal feature extraction

在CCTA圖像中，冠狀動脈血管在不同尺度上具有自相似性，即分形特征，可以用分形維數(shù)來表示。如圖4所示，粗糙區(qū)域的分形維數(shù)大于光滑區(qū)域。分形維數(shù)的大小和在一定區(qū)域內(nèi)的分布可以用來區(qū)分不同的血管。為了計算分形維數(shù)，本文利用分形插值函數(shù)將圖像映射為有理分形曲面，有理分形曲面的盒維數(shù)計算方法如下所示[19]：

(1)

式中：S為尺度因子矩陣；τ(i,j)=(i-1)×N+j，代表了集合{(i,j):i,j=1,2,…,N}的列舉，τ-1(N)用于將τ(i,j)映射到位置(i,j)上，則分形維數(shù)的盒維數(shù)D表示為：

(2)

(3)

其中si,j為尺度因子，則公式(2)可以變換為：

(4)

將整幅圖像的分形維數(shù)D映射為分形特征矩陣，即提取的分形特征。

1.3 預(yù)測階段

1.3.1特征融合

如圖5所示，為了將邊界特征和分形特征融合到特征圖中，我們增加了一個特征融合層。邊界特征和分形特征通過裁剪層和特征融合層融合到特征圖中。裁剪層使用1×1卷積操作保證邊界特征圖、分形特征圖和原特征圖的特征維度相同，使用上采樣和下采樣操作保證特征的尺寸大小統(tǒng)一。

圖5 特征融合Fig.5 Feature fusion

Add特征融合操作[13,20]可以豐富特征的信息量，對于冠脈小目標和模糊對象的檢測和分割都有幫助。本文的特征融合層采用add特征融合操作，將邊界特征和新的分形特征融合到原始特征圖中，特征融合公式如下：

Fnew=Fboundary⊕Dfractal⊕Foriginal.

(5)

式中：Fnew為新的特征圖，F(xiàn)boundary、Dfractal和Foriginal分別為邊界特征、分形特征和原網(wǎng)絡(luò)特征。本文采用的特征融合方式可以豐富底層特征，在保留背景信息的同時增加了特征信息并增強了細節(jié)特征。

1.3.2提取感興趣區(qū)域

Mask RCNN使用RPN網(wǎng)絡(luò)來提取冠狀動脈RoIs.首先，RPN的滑動窗口在特征圖中移動，每個特征像素對應(yīng)的原始圖像位置生成15個錨，大小為(8,16,32,64,128)，寬高比為(0.5,1,2).然后將錨輸入到大小為1×1的回歸分類層中，確定類別和位置。最后，用非極大值抑制方法調(diào)整錨的位置，最終選定的錨被認為是RoIs的建議框(Proposals).由于融合了幾何特征，最終的建議框會更加準確。

1.3.3預(yù)測遮罩

Mask RCNN網(wǎng)絡(luò)預(yù)測階段的分割分支由FCN為每個RoI區(qū)域生成遮罩。為了提高分割精度，在分割分支前添加了一個Head結(jié)構(gòu)，其利用反卷積操作進行分辨率的提升并減少通道個數(shù)，擴展了輸入數(shù)據(jù)的維數(shù)。為了保證恢復(fù)更多的細節(jié)，網(wǎng)絡(luò)融合了分類、檢測和分割三個分支的輸出?；谶@3個分支，Mask RCNN網(wǎng)絡(luò)的多任務(wù)損失如下：

L=Lcls+Lbox+Lmask.

(6)

(7)

(8)

Lmask(cls_k)=Sigmoid(cls_k) .

(9)

2 實驗結(jié)果與分析

2.1 實驗數(shù)據(jù)集

本實驗使用來自山東大學(xué)齊魯醫(yī)院放射科的冠狀動脈數(shù)據(jù)集進行訓(xùn)練和測試。數(shù)據(jù)集由10個受試者的CCTA圖像組成，詳細信息見表1。

該數(shù)據(jù)集的冠脈圖像的人工分割GT圖是由多位經(jīng)驗豐富的放射科醫(yī)師完成的。分割的黃金標準是CCTA圖像中所有冠脈區(qū)域都對應(yīng)于一個GT標簽圖。

表1 數(shù)據(jù)集的詳細信息Table 1 Details of the dataset

2.2 評價指標

為了驗證本文方法的分割性能，實驗采用常用于醫(yī)學(xué)圖像分割任務(wù)的指標[21]：平均精確度(average precision，PA)、召回率(R)，Dice系數(shù)、體積重疊誤差(volumetric overlap error，EVO)、相對容積差(relative volume difference，DRV)、平均對稱面距離(average symmetric surface distance，DAS)、均方根對稱面距離(root mean square symmetric surface distance，DRMS)和最大對稱面距離(maximum symmetric surface distance，DMSS).

(10)

真正類(true positives，PT)是通過計算超過某個預(yù)定義閾值IoU(intersection over union)的預(yù)測正確的個數(shù)。假正類(false positives，PF)和假負類(false negatives，NF)分別由未匹配的預(yù)測實例數(shù)和真實實例數(shù)決定。AP70被認為是IoU閾值大于0.7的平均精度。AP70的值越大，檢測性能越好。

(11)

A表示分割結(jié)果區(qū)域，B表示參考區(qū)域，S表示任意一個曲面體素點。Dice系數(shù)用來衡量分割的性能，取值范圍在[0,100]之間，0表示沒有分割成功區(qū)域，100表示完美的分割。

(12)

(13)

EVO值為0表示完全分割。DRV為0意味著A和B的體積相同。DRV的優(yōu)點是它提供了體積信息，這對于病灶的分割是很重要的。

(14)

(15)

對于A的每個表面體素，用L2范數(shù)計算到B的最近表面體素的歐氏距離。對于對稱，從B的表面體素到A的表面體素重復(fù)相同的過程。DAS代表平均距離，0 mm代表完美分割。DRMS的計算過程與DAS相似，只是需要計算均方誤差。

DMSS(A,B)=max{maxa∈S(A)minb∈S(B)‖a-b‖,
maxb∈S(B)mina∈S(A)‖b-a‖} .

(16)

DMSS是計算最大的歐氏距離，其值為0 mm代表完美分割。

2.3 實驗結(jié)果

2.3.1融合不同特征的消融實驗

本文在冠脈數(shù)據(jù)集進行了實驗，圖6給出了消融實驗分割結(jié)果。從圖6(f)的視覺上看，我們的方法可以正確地檢測出感興趣的區(qū)域，并且分割結(jié)果幾乎完全覆蓋感興趣區(qū)域。圖6(g)中的紅線代表分割的結(jié)果，綠線代表人工標記的結(jié)果。由于加入了邊界特征和分形特征，相比于原網(wǎng)絡(luò)的結(jié)果來看，本文方法的結(jié)果更加接近GT.從表2可以看出，添加邊界特征和分形特征的客觀數(shù)據(jù)比原始Mask RCNN的客觀數(shù)據(jù)好。從圖7中可以看出，提出方法的Dice系數(shù)保持在0.85左右并且最大值和最小值之間的差異較小，沒有極值。從圖7(d)，(e)和(f)可以看出，本文方法與人工標注的誤差較小。綜上所述，將幾何特征整合到網(wǎng)絡(luò)中，增強網(wǎng)絡(luò)特征描述，提高了模型的分割精度。

圖6 消融實驗結(jié)果Fig.6 Ablation experiment results

表2 消融實驗的評價指標Table 2 Evaluation index comparison of ablation experiment

圖7 評估指標的箱形圖比較Fig.7 Box plot comparison of evaluation indicators

2.3.2與其他網(wǎng)絡(luò)的對比試驗

本文方法與經(jīng)典的FCN[6]網(wǎng)絡(luò)、UNet[8]網(wǎng)絡(luò)和DeepLab[9]網(wǎng)絡(luò)進行了對比實驗，結(jié)果如圖8所示。缺乏清晰的邊緣和較少的特征將限制FCN網(wǎng)絡(luò)的分割能力。UNet網(wǎng)絡(luò)的真陽性分割結(jié)果較好，但錯誤分割結(jié)果較多。DeepLab的分割結(jié)果良好，但在視覺上，本文方法的分割結(jié)果更好。圖8(f)中，紅線為本文方法結(jié)果，綠線為GT，可以看出我們的方法更加貼合GT.為了便于比較，Dice、EVO和DRV的數(shù)值和箱形圖如表3和圖9所示。DAS、DRMS和DMSS這三個指標計算了分割結(jié)果與GT之間的距離關(guān)系。FCN和UNet實驗結(jié)果中，DAS、DRMS和DMSS值明顯高于提出方法的客觀值。由于UNet的分割結(jié)果中，有較多的分割錯誤結(jié)果，DMSS的值超過了100 mm，其中3個指標超過100 mm的數(shù)值未被記錄。從圖9(a)中20幅隨機測試圖像的Dice指標可以看出，本文方法的值明顯高于其他方法。圖9(b)顯示了測試數(shù)據(jù)集上Dice，EVO和DRV的平均值。本文方法的Dice值遠遠高于其他方法，這表明我們的方法具有更好的分割能力。本文方法的EVO和DRV值均小于其他方法，并且沒有出現(xiàn)極值，并且都在一個更小的范圍內(nèi)，這表明提出的方法分割精度更高、更健壯。

表3 與DeepLab、FCN和UNet對比試驗的評價指標Table 3 Evaluation index of comparison experiment with DeepLab, FCN and UNet

圖9 提出的方法與DeepLab、FCN和UNet的評價指標客觀值比較Fig.9 Objective value comparison of the evaluation index of the proposed method, DeepLab, FCN, and UNet

3 結(jié)論

本文將融合幾何特征的Mask RCNN模型應(yīng)用到CCTA圖像分割中。首先，為了提高分割精度，提出了一種邊界提取算法來提取邊界特征，圖像的高頻信息由NSCT提取，Canny算子對低頻信息進行處理，將兩種提取的結(jié)果疊加為最終的邊界特征，解決了醫(yī)學(xué)圖像邊界不清晰的問題。然后，考慮到在特征較少的圖像中突出特征表示有助于提高分割精度，本文將分形特征引入到特征提取網(wǎng)絡(luò)中。最后，將生成的邊界特征和分形特征融合到特征圖中。分割網(wǎng)絡(luò)使用新的特征圖來生成分割遮罩。在冠狀動脈數(shù)據(jù)集的實驗結(jié)果表明，本文的方法是可行的，可以提高醫(yī)學(xué)圖像分割的準確性。

雖然提出的方法得到了很好的結(jié)果，但是對于較大的圖像，分割網(wǎng)絡(luò)的運行速度有待提高，這是因為，為了提取更精細的分形特征，對圖像的每個像素都計算其分形維數(shù)，計算量較大。分析如何設(shè)計一種分形卷積神經(jīng)網(wǎng)絡(luò)來提取分形特征是今后需要研究的問題。