基于U-net的海馬體分割算法應(yīng)用

史春暉，朱習(xí)軍

(青島科技大學(xué) 信息科學(xué)技術(shù)學(xué)院，山東 青島 266061)

0 引 言

阿爾茲海默癥(Alzheimer disease，AD)[1]的發(fā)病機(jī)制目前尚不明確，在AD的早期階段(輕度認(rèn)知障礙)，雖然患者還未表現(xiàn)出AD的特征，但其腦部?jī)?nèi)側(cè)顳葉已經(jīng)發(fā)生萎縮，而且極有可能向AD轉(zhuǎn)化。其中，海馬體萎縮的最為嚴(yán)重[2]，同時(shí)海馬體存在形狀不規(guī)則、體積較小、不易分割等特點(diǎn)，因此，對(duì)海馬體的分割仍然存在很大的挑戰(zhàn)。核磁共振成像(magnetic resonance imaging，MRI)設(shè)備具有成像分辨率高，不會(huì)產(chǎn)生電離輻射，對(duì)比度成像等其它設(shè)備所不具備的優(yōu)勢(shì)，故當(dāng)前海馬體的分割多依賴于MRI圖像數(shù)據(jù)。

目前，海馬體的分割主要是醫(yī)生通過手動(dòng)實(shí)現(xiàn)，且分割過程耗時(shí)大，主要原因是醫(yī)生要對(duì)病人海馬體區(qū)域花費(fèi)大量的時(shí)間進(jìn)行勾畫，而且勾畫結(jié)果易受醫(yī)生主觀因素的影響。針對(duì)手動(dòng)分割存在的問題，相關(guān)工作者提出半自動(dòng)化或自動(dòng)化的海馬體圖像分割算法，而且隨著深度學(xué)習(xí)的發(fā)展，深度卷積神經(jīng)網(wǎng)絡(luò)及其各種模型在醫(yī)學(xué)圖像處理領(lǐng)域中被廣泛應(yīng)用并且取得了較好的效果[3-5]。但是這些算法都存在著相同的問題，神經(jīng)網(wǎng)絡(luò)訓(xùn)練時(shí)間相對(duì)較長(zhǎng)，需要的樣本數(shù)據(jù)量大，圖像在輸入過程中通過滑動(dòng)窗口的方式對(duì)像素點(diǎn)進(jìn)行檢測(cè)，使得訓(xùn)練速度很慢，而且容易出現(xiàn)冗余的現(xiàn)象，其次窗口的大小會(huì)對(duì)池化操作及其結(jié)果造成影響。針對(duì)這些問題，本文基于深度學(xué)習(xí)理論，運(yùn)用改進(jìn)的U-net模型，實(shí)現(xiàn)對(duì)海馬體的分割，從而達(dá)到輔助醫(yī)生對(duì)阿爾茲海默癥的診斷和診療。

1 基于U-net模型的圖像分割設(shè)計(jì)

本文采用MRI圖像作為海馬體分割的數(shù)據(jù)源，算法的整體流程主要包括圖像預(yù)處理，數(shù)據(jù)擴(kuò)充以及基于U-net模型的圖像分割3個(gè)主要步驟，算法的基本流程如圖1所示。

圖1 算法流程

1.1 圖像預(yù)處理

圖像預(yù)處理可以盡量減少抽取圖像特征時(shí)因圖像的亮度、對(duì)比度等無關(guān)因素的干擾，對(duì)算法的精度也有一定程度的提高。

1.1.1 限制性對(duì)比度自適應(yīng)直方圖均衡算法

傳統(tǒng)的直方圖算法在對(duì)圖像的灰度進(jìn)行分布的過程中，對(duì)有用信息以及噪聲進(jìn)行了同樣的操作，這使得圖像中的噪聲得到放大。針對(duì)噪聲被同步放大的問題，通過限制性對(duì)比度自適應(yīng)直方圖均衡算法(contrast limited adaptive histogram equalization，CLAHE)可以很好地解決，CLAHE最顯著的特點(diǎn)便是對(duì)圖像對(duì)比度增強(qiáng)的幅度予以限制，

使得圖像對(duì)比度更加自然。CLAHE算法通過設(shè)定的閾值對(duì)直方圖進(jìn)行裁剪，去掉了過高的部分，然后將其均勻分布到直方圖中，從而生成新的直方圖。算法原理如圖2所示，同時(shí)在各個(gè)圖像塊間運(yùn)用雙線性插值方式，去除分塊處理導(dǎo)致的塊邊緣過渡不平衡的問題，使得運(yùn)算效率得到改善。

圖2 CLAHE直方圖裁剪

1.1.2 曲率驅(qū)動(dòng)的圖像去噪

常用的圖像去噪方法在去噪過程中高頻成分被沒有區(qū)分的減弱，所以圖像噪聲在被去除的同時(shí)邊緣也變得模糊。實(shí)際圖像中物體包括邊緣在內(nèi)的等照度線是光滑的曲線，曲率絕對(duì)值小，當(dāng)有噪聲存在時(shí)，局部灰度值發(fā)生改變，等照度線隨即產(chǎn)生不規(guī)則的震蕩，形成局部曲率很大的等照度線。根據(jù)這一原理，對(duì)相應(yīng)位置的像素點(diǎn)進(jìn)行調(diào)整，把不規(guī)則的等照度線變成平滑的曲線，實(shí)現(xiàn)圖像去噪。

1.1.3 預(yù)處理實(shí)現(xiàn)

本文通過使用CLAHE算法對(duì)圖像進(jìn)行預(yù)處理，以達(dá)到增強(qiáng)圖像對(duì)比度的目的，同時(shí)運(yùn)用曲率驅(qū)動(dòng)算法去除圖像噪聲，從而得到預(yù)處理后的圖像數(shù)據(jù)。由于實(shí)驗(yàn)采用的腦部MRI圖像樣本，海馬體位置比較固定，因此基于 U-net 模型輸入數(shù)據(jù)的特點(diǎn)，從每個(gè)MRI圖像中提取一個(gè)128×128的圖像塊，對(duì)其進(jìn)行預(yù)處理。在后面的過程中，該128×128大小的圖片將作為數(shù)據(jù)樣本被送到網(wǎng)絡(luò)模型中進(jìn)行訓(xùn)練和測(cè)試。預(yù)處理后的圖像，如圖3所示。

圖3 預(yù)處理后的圖像

1.2 數(shù)據(jù)增強(qiáng)

原始數(shù)據(jù)的數(shù)量遠(yuǎn)不足以訓(xùn)練一個(gè)深層次網(wǎng)絡(luò)，因此在本文中用到了Keras自帶的圖像數(shù)據(jù)增強(qiáng)技術(shù)，對(duì)原始數(shù)據(jù)做平移、旋轉(zhuǎn)、扭曲等操作進(jìn)行數(shù)據(jù)擴(kuò)充以增加數(shù)據(jù)樣本量。但是通過這些變換得到的圖像相對(duì)于原始圖像在形狀上并沒有太大的差異。而考慮到真實(shí)的腦部MRI圖像中，根據(jù)海馬體的患病程度而導(dǎo)致的圖像形狀大小差異較大，本文處理方法是在原有點(diǎn)陣上，疊加正負(fù)向隨機(jī)距離形成“插值位置”矩陣，然后計(jì)算每個(gè)插值位置上的灰度，形成新的點(diǎn)陣，實(shí)現(xiàn)圖像內(nèi)部的扭曲變形。從而實(shí)現(xiàn)原始MRI圖像數(shù)據(jù)樣本數(shù)據(jù)量的增加。擴(kuò)充后的數(shù)據(jù)樣本如圖4所示。

圖4 數(shù)據(jù)增強(qiáng)

2 改進(jìn)的U-net模型

全卷積神經(jīng)網(wǎng)絡(luò)(FCN)是一種端到端的語義分割方法，實(shí)現(xiàn)了逐像素點(diǎn)預(yù)測(cè)。其將傳統(tǒng)CNN中的全連接層轉(zhuǎn)化成卷積層，可以接受任意尺寸的輸入圖像。對(duì)池化后縮小的圖片，通過上采樣可得到和原圖等大的分割圖。全卷積之后的結(jié)果直接上采樣會(huì)很粗糙，深層語義信息豐富但圖像失真，淺層圖像特征明顯但語義不顯著，U-net模型通過采用跳躍連接可以改善上采樣粗糙的情況。

2.1 批規(guī)范化[6](Batch Normalization)

深度神經(jīng)網(wǎng)絡(luò)包含很多層，訓(xùn)練過程中會(huì)出現(xiàn)學(xué)習(xí)速度慢、學(xué)習(xí)效果過分依賴于初始數(shù)據(jù)分布以及梯度消失問題?；谶@些問題，Ioffe等提出了批規(guī)范化方法，訓(xùn)練時(shí)采用初始很大的學(xué)習(xí)率加快網(wǎng)絡(luò)的衰減速度，少用或不用Dropout和正則化操作，同時(shí)實(shí)現(xiàn)對(duì)過擬合的控制，其公式如下

(1)

(2)

(3)

2.2 殘差模塊

如圖5所示。每一個(gè)殘差塊中包含著兩個(gè)卷積層及一條繞過它們的殘差連接，同時(shí)殘差塊的輸入被直接添加到輸出，使得每一層學(xué)到的不僅是參數(shù)本身，還包括殘差，后面的層學(xué)到的是對(duì)前面層的補(bǔ)充。這種方法極大地增加了網(wǎng)絡(luò)性能，從而解決網(wǎng)絡(luò)深度變深以后性能退化的問題。

圖5 殘差模塊

2.3 Adam優(yōu)化算法

參數(shù)的學(xué)習(xí)率由Adam(adaptive moment estimation)利用梯度的一階矩估計(jì)和二階矩估計(jì)動(dòng)態(tài)調(diào)整。Adam的每一次迭代，學(xué)習(xí)率都被限制在一個(gè)大致的范圍，具有參數(shù)比較平穩(wěn)的優(yōu)點(diǎn)，同時(shí)計(jì)算高效，可以解決學(xué)習(xí)率消失、收斂過慢、損失函數(shù)波動(dòng)較大等其它優(yōu)化算法中存在的問題。公式如下

mt=μ×mt-1+(1-μ)×gt

(4)

(5)

(6)

(7)

(8)

2.4 U-net模型的改進(jìn)

圖6為本文中使用的U-net網(wǎng)絡(luò)結(jié)構(gòu)。該網(wǎng)絡(luò)包含一個(gè)收縮路徑(contracting path)和一個(gè)對(duì)稱的擴(kuò)張路徑(expanding path)[7]形成一個(gè)U型。其中，收縮路徑用于獲取上下文信息，擴(kuò)張路徑用以精確定位。收縮路徑是典型的卷積網(wǎng)絡(luò)結(jié)構(gòu)，結(jié)構(gòu)含有重復(fù)的步驟，每次重復(fù)中都有兩個(gè)3×3卷積層(無padding)，且每個(gè)卷積層后有一個(gè)ReLu非線性激活函數(shù)及批規(guī)范化(BN)層來提高網(wǎng)絡(luò)性能，以及一個(gè)步長(zhǎng)為2的2×2最大池化層進(jìn)行下采樣，經(jīng)下采樣特征通道數(shù)量加倍。擴(kuò)張路徑也使用了一種相同的排列模式，對(duì)數(shù)據(jù)進(jìn)行上采樣處理，通過反卷積，特征通道數(shù)量被減半，特征圖大小加倍，然后拼接反卷積的結(jié)果與收縮路徑中對(duì)應(yīng)步驟的特征圖，拼接后的特征圖再進(jìn)行兩次3×3的卷積。最后一層的卷積核大小為1×1，并利用sigmoid函數(shù)對(duì)輸出進(jìn)行處理，將64通道的特征圖最終轉(zhuǎn)化為特定類別數(shù)量的結(jié)果。

圖6 U-net網(wǎng)絡(luò)結(jié)構(gòu)

傳統(tǒng)的卷積層或全連接層在信息傳遞過程中，往往存在信息丟失、損耗等問題，而且隨著網(wǎng)絡(luò)不斷加深，梯度消失和梯度爆炸的問題也會(huì)隨之出現(xiàn)。因此為使模型更有效的訓(xùn)練，區(qū)別于原始U-net，改進(jìn)的U-net在卷積塊中加入殘差，在該模塊中輸入信息被直接傳到輸出，保證了信息的完整性，整個(gè)網(wǎng)絡(luò)僅需要學(xué)習(xí)輸入、輸出差別的部分，這在一定程度上簡(jiǎn)化了學(xué)習(xí)目標(biāo)和難度。網(wǎng)絡(luò)模型中的損失函數(shù)使用Adam算法進(jìn)行優(yōu)化，實(shí)現(xiàn)梯度參數(shù)的更新，該優(yōu)化算法較傳統(tǒng)的SGD、動(dòng)量等具有計(jì)算高效，方便實(shí)現(xiàn)的優(yōu)點(diǎn)，最終使得結(jié)果較快的趨向于收斂。

3 實(shí)驗(yàn)結(jié)果及分析

本實(shí)驗(yàn)所用的數(shù)據(jù)樣本來源于阿爾茲海默癥神經(jīng)影像學(xué)計(jì)劃 (Alzheimer’s disease neuroim aging initiative，ADNI)數(shù)據(jù)庫[9]。ADNI于2003年創(chuàng)建，目前已有59個(gè)數(shù)據(jù)采集點(diǎn)。ADNI的主要目的是，盡可能早地檢測(cè)出患AD的人群，在早期階段研究發(fā)現(xiàn)最有效的診斷方法，輔助醫(yī)生確定新的治療方案并觀察成效，從而減輕臨床試驗(yàn)的時(shí)間和成本。

本文采用Keras框架搭建基于U-net的海馬體分割模型。為了驗(yàn)證算法的分割精度，將數(shù)據(jù)集分為訓(xùn)練集和測(cè)試集兩部分，訓(xùn)練集用于對(duì)U-net模型進(jìn)行訓(xùn)練，測(cè)試集用來驗(yàn)證算法模型的精確度。原始訓(xùn)練樣本為ADNI數(shù)據(jù)庫中的129組人腦核磁共振影像數(shù)據(jù)。經(jīng)過彈性形變、翻轉(zhuǎn)、旋轉(zhuǎn)等圖像擴(kuò)充操作后，新的數(shù)據(jù)集包含5萬張圖像數(shù)據(jù)，其中2/3被用以網(wǎng)絡(luò)模型的訓(xùn)練，剩余的1/3圖像用于對(duì)算法分割精度的驗(yàn)證。

3.1 評(píng)價(jià)指標(biāo)

為定量評(píng)估算法的分割性能，本文采用Dice系數(shù)、精確率(precision)和召回率(recall)分別對(duì)分割結(jié)果進(jìn)行評(píng)估。

(1)Dice系數(shù)是一種集合相似度函數(shù)，可用來評(píng)判實(shí)際分割樣本與理論分割結(jié)果的相似度，兩個(gè)樣本相似度越好，相應(yīng)的損失就越小，精度越高

(9)

其中，X表示手動(dòng)分割結(jié)果，Y表示本文算法分割結(jié)果，Dice系數(shù)的取值范圍為0-1，Dice系數(shù)越大表示分割結(jié)果越準(zhǔn)確。

(2)精確率，召回率，在圖像分割領(lǐng)域是兩個(gè)比較基本的指標(biāo)，因此將其引入本文中

(10)

(11)

其中，TP表示正確分割的部分，F(xiàn)P表示誤分割部分，F(xiàn)N表示將正確區(qū)域誤分為錯(cuò)誤的部分。上述兩個(gè)指標(biāo)取值越高表示分割結(jié)果越好。

3.2 實(shí)驗(yàn)結(jié)果

圖7給出了本文算法在訓(xùn)練樣本集和測(cè)試樣本集上海馬體分割的對(duì)比結(jié)果。由圖7中可以看出訓(xùn)練樣本集和測(cè)試樣本集隨著數(shù)據(jù)樣本的增大分割結(jié)果趨向于穩(wěn)定，均維持在80%以上。

圖7 樣本分割結(jié)果

圖8為本文算法在MRI腦圖像上的分割結(jié)果，第一列為原始的輸入圖像，第二列為醫(yī)生手動(dòng)分割的海馬體圖像，第三列為本文算法得到的分割結(jié)果。從圖中可以看出，采用本文算法對(duì)海馬體分割得到的結(jié)果與手工標(biāo)注的結(jié)果基本接近。

圖8 分割結(jié)果示例

為驗(yàn)證由數(shù)據(jù)增強(qiáng)后樣本擴(kuò)充對(duì)實(shí)驗(yàn)結(jié)果的影響，本文分別用兩組數(shù)據(jù)對(duì)算法進(jìn)行實(shí)驗(yàn)，其中一組圖像僅包含變形后的數(shù)據(jù)及其擴(kuò)充樣本集，另一組圖像包含原始數(shù)據(jù)及其變形后的總的數(shù)據(jù)樣本集。實(shí)驗(yàn)結(jié)果數(shù)據(jù)見表1。

表1 不同樣本集下分割結(jié)果對(duì)比

從表1可以看出，僅采用變形后的樣本集與全部數(shù)據(jù)集的實(shí)驗(yàn)結(jié)果基本接近，這表明了采用數(shù)據(jù)增強(qiáng)的合理性，同時(shí)也驗(yàn)證在本文中原始數(shù)據(jù)集在較小的樣本的情況下，采用包括圖像變形在內(nèi)的方法進(jìn)行數(shù)據(jù)擴(kuò)充增大訓(xùn)練樣本數(shù)量，可以使網(wǎng)絡(luò)性能在一定程度上得到提高。

3.3 對(duì)比分析

為驗(yàn)證算法的有效性及優(yōu)越性，本文分別對(duì)全卷積神經(jīng)網(wǎng)絡(luò)(FCN)和原始U-net網(wǎng)絡(luò)模型及本文算法在訓(xùn)練集和測(cè)試集上進(jìn)行對(duì)比驗(yàn)證，實(shí)驗(yàn)結(jié)果數(shù)據(jù)見表2。

表2 本文算法與其它算法的分割結(jié)果對(duì)比

從表中可以看出，本文改進(jìn)的U-net算法較其它兩種方法分割性能有所提升，而且相比原模型提高了3.2%。FCN和原U-net模型性能相對(duì)較差的原因在于這兩個(gè)模型對(duì)特征的提取不夠好，不能有效地將海馬體從MRI圖像中分割出來。同時(shí)由于Adam算法的使用，網(wǎng)絡(luò)收斂速度較其它方法更快，因此本文算法與FCN及原始U-net算法相比較，取得的分割效果最好。

4 結(jié)束語

本文針對(duì)海馬體分割問題，提出了一種改進(jìn)的U-net全卷積神經(jīng)網(wǎng)絡(luò)。在神經(jīng)網(wǎng)絡(luò)進(jìn)行卷積的過程中輸入直接被連接到后面的層，從而殘差將直接被后面的層學(xué)習(xí)，對(duì)前面的學(xué)習(xí)過程進(jìn)行補(bǔ)充，增加網(wǎng)絡(luò)了性能。實(shí)驗(yàn)結(jié)果表明，本文改進(jìn)的算法較全卷積神經(jīng)網(wǎng)絡(luò)模型與傳統(tǒng)U-net模型具有更好的分割效果，并且收斂時(shí)間最短。但實(shí)驗(yàn)本身仍然存在一些分割準(zhǔn)確率低的問題，雖然我們對(duì)U-net做了一定的優(yōu)化，但是分割效果也并不是十分理想。針對(duì)這一問題，擬在后續(xù)實(shí)驗(yàn)中加入SE模塊，通過對(duì)通道進(jìn)行加權(quán)，強(qiáng)調(diào)有效信息，抑制無效信息，實(shí)現(xiàn)更高精確度的海馬體分割算法。