基于多監(jiān)督殘差網(wǎng)絡(luò)的冠狀動脈CT圖像分割

顧峰，曹秒，蔡慶武，董麒，張坤

（長春理工大學(xué) 生命科學(xué)技術(shù)學(xué)院，長春 130022）

冠狀動脈疾病的發(fā)病率和死亡率均較高，已成為當(dāng)今世界范圍內(nèi)死亡率最高的疾病之一［1］。冠狀動脈粥樣硬化性病變可導(dǎo)致血管狹窄或阻塞，冠狀動脈狹窄的檢測與量化是臨床早期診斷冠心病的主要途徑。隨著臨床醫(yī)學(xué)認(rèn)識的不斷加深和影像技術(shù)的進(jìn)步，冠狀動脈造影CT圖像在篩選冠狀動脈疾病方面發(fā)揮著越來越重要的作用。冠狀動脈造影是一種非侵入性的方法，無需動脈導(dǎo)管介入，只需造影液通過靜脈注入流經(jīng)心臟，在冠狀動脈舒張期完成一次心臟斷層掃描［2］。冠狀動脈造影CT圖像分割在輔助醫(yī)生治療、評價血管狹窄病變范圍、重建血管三維結(jié)構(gòu)等方面具有重要意義［3］。完整的血管分割結(jié)果可節(jié)省醫(yī)生的人工分割時間，有助于醫(yī)生更好地診斷疾病。

卷積神經(jīng)網(wǎng)絡(luò)（CNN）主要依靠特征自動提取等技術(shù)，在數(shù)字圖像處理領(lǐng)域取得了重大進(jìn)展［4］。醫(yī)學(xué)領(lǐng)域也注意到深度學(xué)習(xí)方法的巨大成功，并且希望將深度學(xué)習(xí)技術(shù)應(yīng)用于醫(yī)學(xué)圖像處理的各個任務(wù)。已發(fā)表的有關(guān)深度學(xué)習(xí)的文獻(xiàn)中，提出了許多不同的血管分割方法。當(dāng)前深度學(xué)習(xí)主要有兩類：監(jiān)督算法和非監(jiān)督算法［5］。非監(jiān)督算法是指訓(xùn)練過程中沒有人工標(biāo)注作為參考依據(jù)，而監(jiān)督式算法可以使用手工分割好的標(biāo)簽作為參考依據(jù)。

隨著越來越多數(shù)據(jù)集的公開，監(jiān)督式算法得到了越來越多研究人員的喜愛，而且監(jiān)督式算法網(wǎng)絡(luò)架構(gòu)更具有競爭性，可以達(dá)到最佳性能［6］。李瑞瑞等人［7］引入新的血管連接損失值來保證血管的連通性。JIN等人［8］引入了一種可變形卷積運算來對不同形狀的血管進(jìn)行建模。一項研究聲稱［9］，考慮到動脈和靜脈之間的特征差異，可以通過多任務(wù)訓(xùn)練來改善分割結(jié)果。YAN等人［10］意識到血管寬窄之間的固有數(shù)據(jù)不平衡，表明訓(xùn)練損失值將以寬的血管為主，而忽略細(xì)的血管。該模型雖然可以有效地重建粗、細(xì)血管，但是需要手動定義血管的直徑，而在大多數(shù)的血管分割實例中，模糊和嘈雜的血管邊界很難全部通過手動定義。ZHU等人［11］提出基于PSPNet網(wǎng)絡(luò)的冠狀動脈造影圖像分割方法。針對冠狀動脈造影圖像結(jié)構(gòu)復(fù)雜多變、參數(shù)結(jié)構(gòu)過擬合或參數(shù)結(jié)構(gòu)破壞等問題，采用小樣本遷移學(xué)習(xí)限制參數(shù)學(xué)習(xí)方法，實現(xiàn)了并行多尺度卷積神經(jīng)網(wǎng)絡(luò)模型。但隨著網(wǎng)絡(luò)深度的增加，訓(xùn)練過程中對網(wǎng)絡(luò)的指導(dǎo)力度不夠。因此在分割醫(yī)學(xué)圖像時會出現(xiàn)誤分割。

本文的目標(biāo)是開發(fā)一種快速、全面和自動化的全卷積深度網(wǎng)絡(luò)，稱為MSRNet，用于解決動脈造影血管中血管的分割問題，能夠輔助醫(yī)生早期診斷疾病，并使用自動分割工具減少觀察者的報告差異和醫(yī)生的工作負(fù)擔(dān)。

1 方法

1.1 ResNet-50

卷積神經(jīng)網(wǎng)絡(luò)隨著網(wǎng)絡(luò)深度的加深，表達(dá)能力增強(qiáng)。然而，隨著網(wǎng)絡(luò)深度的加深，一些問題也就隨之而來。當(dāng)網(wǎng)絡(luò)層數(shù)太深時，對網(wǎng)絡(luò)訓(xùn)練的時間以及設(shè)備的要求也越來越高，而且還會出現(xiàn)梯度消失，訓(xùn)練錯誤增加等現(xiàn)象，導(dǎo)致網(wǎng)絡(luò)性能下降。這些問題的出現(xiàn)說明神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法還存在很多問題。為了解決這些問題，何愷明等人提出了殘差網(wǎng)絡(luò)來解決這些問題。ResNet使用快捷連接和擬合殘差表示法。恒等映射重新構(gòu)建了學(xué)習(xí)過程，讓梯度在網(wǎng)絡(luò)中順暢地傳遞，加快了網(wǎng)絡(luò)收斂的速度，有效地解決了網(wǎng)絡(luò)退化、梯度消失等問題。

ResNet-50是何愷明團(tuán)隊提出的殘差網(wǎng)絡(luò)ResNet中的一種，這里的50指帶權(quán)重的層為50層，具體由1個卷積核大小為7×7的卷積層（Conv）、1個內(nèi)核大小為3×3的池化層（最大池化Maxpool）、4組殘差模塊（Residual Module）和 1個全連接層（FC）構(gòu)成，每組殘差模塊內(nèi)分別有3、4、6、3個標(biāo)準(zhǔn)殘差塊結(jié)構(gòu)（Residual Block）。

將ResNet-50提取的特征圖進(jìn)行可視化以了解ResNet-50對冠狀動脈圖像的特征學(xué)習(xí)過程，如圖 1所示，從圖1（b）～圖1（d）展示了層次由淺至深提取到的部分特征圖樣例。通過觀察分析特征圖可以看到，網(wǎng)絡(luò)的低層特征包含更多的線條、紋理、目標(biāo)形狀等信息，隨著層次深度的增加，圖像信息逐漸減少，一些關(guān)鍵目標(biāo)特征也越來越模糊甚至消失。CNN的低層特征由于來源的層次較淺，因此學(xué)習(xí)到的特征更多指冠狀動脈圖像的局部和細(xì)節(jié)信息，而來源于更深層次的高層特征，則更強(qiáng)調(diào)圖像全局結(jié)構(gòu)及主要目標(biāo)的整體輪廓等抽象信息，因此高層特征較適合冠狀動脈分割任務(wù)。由于醫(yī)學(xué)圖像相對于一般的物體圖像分割精度要求更高，冠狀動脈圖像的細(xì)節(jié)信息在CNN深層逐漸消失，導(dǎo)致高層特征缺少了可區(qū)分性的冠狀動脈特征識別依據(jù)，從而可能產(chǎn)生分割不精確的問題。

圖1 ResNet-50不同殘差塊輸出的特征圖

1.2 MSRNet網(wǎng)絡(luò)結(jié)構(gòu)

為提高冠狀動脈分割精度，在殘差網(wǎng)絡(luò)中引入監(jiān)督模塊。通過訓(xùn)練好的ResNet-50模型進(jìn)行特征提取的過程中發(fā)現(xiàn)，將ResNet-50網(wǎng)絡(luò)中最后的三個殘差單元和整個連接層去掉，網(wǎng)絡(luò)收斂速度更快，對冠狀動脈的分割效果更好。所以將網(wǎng)絡(luò)中最后的三個殘差單元和整個連接層去掉。這樣，網(wǎng)絡(luò)中就只有兩種殘差單元。如圖2所示，在特征提取模塊中，第1、4、8方塊為映射殘差單元（圖2殘差塊1），殘差單元輸入輸出之間的短連接通道不包含任何其他層。其余特征提取部分的方塊表示卷積殘差單元（圖2殘差塊2）。這類殘差單元的輸入與輸出之間的短連接通道包括卷積層、歸一化層和尺度層。圖2中第二部分是多重監(jiān)督模塊。針對網(wǎng)絡(luò)中第3、7、13殘差塊，添加3個監(jiān)督側(cè)輸出模塊。因為網(wǎng)絡(luò)由卷積神經(jīng)層和尺度層兩層組成，在不同深度下的特征圖尺寸要小于輸入圖像特征圖的尺寸。以3、7、13等殘差塊輸出圖像的特征圖尺寸為原輸入圖像尺寸的1/4、1/8、1/16。為了確保監(jiān)督模塊輸出的圖像和輸入圖像的分辨率相同，在每個監(jiān)督模塊上都加入了一個上采樣層對輸出特征進(jìn)行上采樣。此外，每個側(cè)面的輸出模塊還能計算出標(biāo)簽圖像和側(cè)面模塊輸出預(yù)測圖之間的損失值，再將損失值反向傳播，并用梯度下降法修正了網(wǎng)絡(luò)的權(quán)值，這有利于網(wǎng)絡(luò)多尺度學(xué)習(xí)，加快網(wǎng)絡(luò)收斂速度。將各個側(cè)模塊的分割結(jié)果融合在融合層，得到最終的分割結(jié)果。

圖2 MSRNet的架構(gòu)

1.2 遷移學(xué)習(xí)

深度學(xué)習(xí)在分類、聚類和回歸等領(lǐng)域取得了令人矚目的成就。但是這些方法都是以訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù)具有相同的特征空間時，才能得到讓人滿意的結(jié)果［8］。隨著數(shù)據(jù)樣本的變化，算法需要添加額外的訓(xùn)練數(shù)據(jù)，然后從頭開始訓(xùn)練。應(yīng)用到現(xiàn)實場景中時，這種方法的弊端就顯示出來了，不僅成本較高，而且很多任務(wù)無法再收集更多的培訓(xùn)數(shù)據(jù)。因此，這些任務(wù)非常需要能夠減少數(shù)據(jù)和訓(xùn)練數(shù)據(jù)的方法，這時應(yīng)用領(lǐng)域間的知識遷移或遷移學(xué)習(xí)具有重要的現(xiàn)實意義。

1.3 訓(xùn)練過程

MSRNet基于牛津大學(xué)開發(fā)的深度學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)工具箱［9］，采用梯度下降法訓(xùn)練網(wǎng)絡(luò)，全卷積層采用Xavier方法初始化，學(xué)習(xí)率設(shè)為0.01，偏向?qū)W習(xí)率設(shè)為0.02。融合層采用零初始化法進(jìn)行初始化，學(xué)習(xí)率設(shè)為0.01。迭代次數(shù)設(shè)置為50。網(wǎng)絡(luò)的損失函數(shù)定義如下：

其中，g1，g2…，gk∈{0，1}，像素 1 表示真值標(biāo)簽；gi=1表示屬于冠狀動脈的像素，反之，gi=0表示屬于其他組織像素；p（gi=n）表示該像素屬于該類型的概率。

1.4 分割結(jié)果的評價標(biāo)準(zhǔn)

為了評價該算法的性能，使用一些廣泛使用的指標(biāo)來進(jìn)行比較。具體而言，選擇血管分割準(zhǔn)確性（Acc）和真陽率（Sen）［10］作為評價分割性能。使用NTP作為表示正確檢測到血管（true positive）像素數(shù)，NTN表示為正確檢測到的非血管（true negative）像素值，NFP表示為錯誤檢測到血管（false positive）像素。Sensitivty（Sen）也稱為真陽率（true positive rate），定義為 Sen=NTP/（NTP+NTN）。血管分割準(zhǔn)確性（Acc）定義為Acc=（NTN+NTP）/（NTP+NFN+NTN+NFP）。

2 數(shù)據(jù)與結(jié)果

2.1 數(shù)據(jù)來源

為驗證本文算法的分割性能，建立了一個來自實際案例的數(shù)據(jù)庫。該數(shù)據(jù)庫來自50個病人的680幅CT圖像（如圖3（a）），所有圖像均為冠狀動脈斷層截面圖，且所有圖像都有放射科醫(yī)生手動標(biāo)注的真值標(biāo)簽。上述圖像資料均來自西藏民族大學(xué)附屬醫(yī)院。

2.2 數(shù)據(jù)預(yù)處理

盡管深度學(xué)習(xí)體系結(jié)構(gòu)對原始輸入數(shù)據(jù)有很好的效果，但是適當(dāng)?shù)念A(yù)處理操作可以提高網(wǎng)絡(luò)分割的精度［11］。由于一些圖像的對比度不明顯，分割邊界模糊，為了使數(shù)據(jù)更適合于分割，對數(shù)據(jù)進(jìn)行預(yù)處理。

（1）圖像進(jìn)行歸一化處理。從醫(yī)院采集的數(shù)據(jù)來自不同的設(shè)備，而且病患個體差異導(dǎo)致造影圖像灰度不同。首先將數(shù)據(jù)集中的所有圖像轉(zhuǎn)換成灰度圖像，然后對灰度圖像進(jìn)行歸一化處理，確保每個圖像的平均灰度值為0，標(biāo)準(zhǔn)差為1。

（2）數(shù)據(jù)增強(qiáng)。為了克服過擬合問題，使用隨機(jī)沿軸鏡像翻轉(zhuǎn)、隨機(jī)縮放和強(qiáng)度位移三種技術(shù)對數(shù)據(jù)集圖像進(jìn)行增強(qiáng)。表1顯示了有關(guān)使用數(shù)據(jù)增強(qiáng)方法的參數(shù)細(xì)節(jié)信息。

表1 數(shù)據(jù)擴(kuò)充參數(shù)

2.3 性能比較

通過 MSRNet、U-net和 ResNet等技術(shù)，對基于深度學(xué)習(xí)模型的冠狀動脈分割算法的有效性進(jìn)行了驗證。根據(jù)作者提供的源代碼，對U-net和ResNet進(jìn)行了大量參數(shù)實驗，得到了最佳的U-Net和 ResNet參數(shù)。學(xué)習(xí)率（1×10-5），迭代次數(shù)（50）。通過計算Acc、Sen兩個指標(biāo)來評價三種分割算法的性能。分割結(jié)果如表2所示。

表2 幾種分割方法的比較

表2為本文為了驗證本文網(wǎng)絡(luò)分割性能與其他幾種神經(jīng)網(wǎng)絡(luò)分割方法性能的比較。從表2的結(jié)果可以看出，與U-net和ResNet相比，本文結(jié)果的Acc分別提高了9.3%和7.4%，Sen提高了9.1%和7.3%，MSRNet具有最高的Acc和最高的Sen。

為了驗證本文提出的對冠狀動脈進(jìn)行分割的方法的有效性，對680幅圖像進(jìn)行了分割測試，并用人工分割結(jié)果作為參考標(biāo)準(zhǔn)。圖3展示兩組冠狀動脈造影血管應(yīng)用不同方法的分割結(jié)果。圖 3（a)、圖 3（f）是原始圖像，圖 3（b）、圖 3（g）是由放射科醫(yī)生手工分割的結(jié)果，圖3（c）、圖3（h）是利用U-Net進(jìn)行分割的結(jié)果，圖 3（d）、圖 3（i）是 ResNet網(wǎng)絡(luò)分割的結(jié)果，圖 3（e）、圖 3（g）是MSRNet網(wǎng)絡(luò)的分割結(jié)果。從圖3（c）、圖3（h）兩組圖中可以看出，U-Net網(wǎng)絡(luò)對冠狀動脈并不能完整的分割。從圖3（d）、圖3（i）可以看出，ResNet網(wǎng)絡(luò)對冠狀動脈的分割出現(xiàn)了過分割問題，將一些對比度相似的造影組織分割了出來。圖3表明，基于MSRNet網(wǎng)絡(luò)的分割結(jié)果相對于U-Net和ResNet網(wǎng)絡(luò)，分割結(jié)果更完整、更準(zhǔn)確，不會出現(xiàn)過度分割的情況，且分割結(jié)果更接近人類專家手工分割的結(jié)果。

圖3 實驗分割結(jié)果

2.5 遷移學(xué)習(xí)的實驗結(jié)果

表2展示了分割的準(zhǔn)確性，基于MSRNet網(wǎng)絡(luò)是最高的。在MSRNet的基礎(chǔ)上，同時測試使用了遷移學(xué)習(xí)模型的準(zhǔn)確性變化。圖4是使用遷移學(xué)習(xí)之前和之后的模型性能的比較?？梢钥闯?，在使用遷移學(xué)習(xí)之后，本文提出的模型在冠狀動脈分割中的Acc和Sen都有提高。其中測試集上的平均Acc從0.925提高到了0.938，平均Sen從0.912提高到了0.923。結(jié)果表明，本文使用的遷移學(xué)習(xí)策略能夠提高模型的性能。

圖4 基于遷移學(xué)習(xí)改善的模型性能

3 結(jié)論

冠狀動脈是一種細(xì)管狀結(jié)構(gòu)，對比度和偽影相對較低，而且有效的注釋樣本稀缺，給冠狀動脈圖像的分割帶來了困難?；诠跔顒用}CT血管成像，提出了一種基于MSRNet的多尺度CNN模型。本算法首先對預(yù)處理后的圖像進(jìn)行下采樣，得到多尺度的圖像，并將其發(fā)送到CNN。在全連接層中選取不同尺度的特征進(jìn)行融合，最后利用這些特征對冠狀動脈造影CT圖像進(jìn)行分割。通過實驗證明，基于MSRNet的冠狀動脈CT血管圖像分割技術(shù)比ResNet和U-Net具有更高的分割精度。此外，利用遷移學(xué)習(xí)技術(shù)來進(jìn)一步提高分割的精度，解決了利用深度神經(jīng)網(wǎng)絡(luò)分割冠狀動脈數(shù)據(jù)量有限的問題，進(jìn)一步提高了分割的準(zhǔn)確性。因此，本文的實驗對冠狀動脈CT血管的準(zhǔn)確分割具有重要的意義。