基于混合密集注意力機(jī)制和NRAdam算法的圖像分割

任亞敏

（東北大學(xué)理學(xué)院，沈陽(yáng)110819）

0 引言

神經(jīng)膠質(zhì)瘤是最常見(jiàn)的原發(fā)性中樞神經(jīng)系統(tǒng)腫瘤，約占所有顱內(nèi)原發(fā)腫瘤的一半。世界衛(wèi)生組織（WHO）根據(jù)神經(jīng)膠質(zhì)瘤的生長(zhǎng)潛力及侵襲性等將神經(jīng)膠質(zhì)瘤分為WHOⅠ級(jí)（惡性程度最低、預(yù)后最好）到Ⅳ級(jí)（惡性程度最高、預(yù)后最差），Ⅰ、Ⅱ級(jí)為低級(jí)別膠質(zhì)瘤（Low-Grade Gliomas，LGG），Ⅲ、Ⅳ級(jí)為高級(jí)別膠質(zhì)瘤（High-Grade Gliomas，HGG）［1］。其中，彌漫低級(jí)別膠質(zhì)瘤主要包括彌漫星形細(xì)胞瘤、少突膠質(zhì)細(xì)胞瘤和少突星形細(xì)胞瘤［1－2］。LGG是一組異質(zhì)性生長(zhǎng)緩慢的原發(fā)性腦腫瘤，占所有神經(jīng)膠質(zhì)瘤的15%至20%，其中位生存期從5到15年不等，具體取決于患者的年齡，IDH基因突變的存在，染色體1p和19q處雜合性的喪失以及腫瘤的位置［3－4］。治療低級(jí)別膠質(zhì)瘤（LGG）可以對(duì)腦腫瘤進(jìn)行手術(shù)切除，所以準(zhǔn)確的分割腦腫瘤區(qū)域?qū)︶t(yī)生制定治療計(jì)劃至關(guān)重要，這不僅要選定腦腫瘤的區(qū)域，而且要排除周圍的健康組織，以避免對(duì)其他組織部位造成傷害［3］。

圖像分割發(fā)展至今已提出多種分割算法，包括閾值分割算法［5］、邊緣分割算法［6－7］、基于活動(dòng)輪廓模型的分 割 算 法［8－9］以 及 基 于 深 度 學(xué) 習(xí) 的 方 法［10－16］。Taheri等人［5］使用水平集和閾值分割算法相結(jié)合的方式。Neha等人［6］基于邊緣檢測(cè)算法來(lái)確定腫瘤的位置，并使用K均值聚類算法來(lái)增強(qiáng)Sobel邊緣檢測(cè)的能力。Manisha等人［7］提出運(yùn)用標(biāo)準(zhǔn)偏差來(lái)找閾值的方法，并利用Sobel邊緣過(guò)濾器提高了腦檢測(cè)的有效性?；趨^(qū)域的模糊聚類算法和可變形模型或梯度矢量流Snake模型相結(jié)合［8－9］，可以更精確地確定腫瘤邊界。

近年來(lái)，隨著深度學(xué)習(xí)的發(fā)展，通過(guò)計(jì)算機(jī)進(jìn)行輔助診斷在臨床醫(yī)學(xué)上也得到了廣泛的應(yīng)用［10－16］。例如，使用卷積神經(jīng)網(wǎng)絡(luò)（CNN）［10］分割X射線圖像中的骨骼結(jié)構(gòu)，將提取到的圖像特征用Softmax分類器進(jìn)行分類，從而實(shí)現(xiàn)骨骼結(jié)構(gòu)的分割。將引入了3D信息的CNN與完全連接的條件隨機(jī)場(chǎng)（CRF）相結(jié)合［11］，提高網(wǎng)絡(luò)對(duì)腫瘤的識(shí)別能力。全卷積神經(jīng)網(wǎng)絡(luò)（FCN）［12］將CNN最后的全連接層改成卷積層，訓(xùn)練了一個(gè)端到端的模型，實(shí)現(xiàn)了像素級(jí)的分類。Ronneberger等人［13］提出U-Net結(jié)構(gòu)，目前，U-Net是醫(yī)學(xué)圖像分割領(lǐng)域中應(yīng)用最為廣泛的網(wǎng)絡(luò)模型之一，對(duì)于不同的分割任務(wù)，也產(chǎn)生了多種U-Net模型的變體。例如，將2D U-Net延展到3D圖像領(lǐng)域［14］，一定程度上解決了3D圖像以切片的形式進(jìn)行訓(xùn)練的局面，同時(shí)還可以提升訓(xùn)練效率。同樣的，V-Net［15］也可以對(duì)三維醫(yī)學(xué)圖像進(jìn)行分割。UNet＋＋［16］重新設(shè)計(jì)了U-Net中的跳躍連接，將原有的長(zhǎng)連接改成密集跳躍連接的方式，從而可以抓取不同層次的特征信息，提高分割精度。

本文在U-Net模型上引入密集模塊，使模塊內(nèi)部每層之間的特征信息能最大化的進(jìn)行傳輸，提高了特征的利用率，同時(shí)減少參數(shù)大小。在跳躍連接部分加入注意力機(jī)制，使下采樣的特征與同層上采樣特征拼接之前，能將注意力集中在所要分割的目標(biāo)區(qū)域，有助于提高分割精度。同時(shí)提出NRAdam優(yōu)化算法，即在RAdam優(yōu)化算法的基礎(chǔ)上加入Nesterov動(dòng)量，使訓(xùn)練模型能快速收斂，提高訓(xùn)練性能。

1 混合密集注意力機(jī)制網(wǎng)絡(luò)

U-Net模型是醫(yī)學(xué)圖像分割方面的一個(gè)重要網(wǎng)絡(luò)結(jié)構(gòu)?？蚣茏笥覂蓚?cè)分別為編碼器和解碼器，呈U型對(duì)稱結(jié)構(gòu)。編碼器對(duì)輸入的圖像進(jìn)行特征提取，獲取一些淺層的特征，再由解碼器將所得到的特征圖恢復(fù)至圖片原尺寸大小。同時(shí)，通過(guò)跳躍連接將編碼和解碼部分連接起來(lái)，實(shí)現(xiàn)了不同層次下特征的融合。混合密集注意力機(jī)制網(wǎng)絡(luò)結(jié)構(gòu)以U-Net為基礎(chǔ)，融入密集模塊和注意力機(jī)制，從而達(dá)到更好的分割結(jié)果。

1.1 密集模塊

網(wǎng)絡(luò)的深度對(duì)網(wǎng)絡(luò)結(jié)構(gòu)的性能有著重要的作用，雖然加深網(wǎng)絡(luò)深度在一定程度上可以提高結(jié)構(gòu)性能，但是隨著網(wǎng)絡(luò)深度的不斷加深，進(jìn)行反向傳播時(shí)也常會(huì)出現(xiàn)梯度消失的問(wèn)題。DenseNet［17］通過(guò)密集連接使特征信息能夠最大程度的進(jìn)行傳輸，在緩解梯度消失問(wèn)題的同時(shí)，又能充分利用特征，減少參數(shù)大小。將密集模塊加入U(xiǎn)-Net模型中，用密集模塊代替了傳統(tǒng)UNet模型的卷積塊。密集模塊中每層之間都是由BN、ReLU、卷積層三個(gè)部分組成，其結(jié)構(gòu)如圖1所示。密集模塊使用密集連接的方式，可以讓任何兩層之間都存在聯(lián)系，即任一層的輸入都是前面所有層特征輸出的聯(lián)結(jié)，所以可以設(shè)置較小的通道數(shù)，減少冗余。這樣的方式不僅可以讓特征信息的傳遞更加有效，還使得所設(shè)計(jì)的網(wǎng)絡(luò)結(jié)構(gòu)較于U-Net模型參數(shù)量有所減少。

1.2 注意力機(jī)制

注意力機(jī)制在自然語(yǔ)言處理中有著廣泛的應(yīng)用，通常 用 于 機(jī) 器 翻 譯［18－20］、圖 像 分 類［21－22］、語(yǔ) 音 識(shí)別［23－24］任務(wù)中。我們?cè)赨-Net的跳躍連接上加入了注意力機(jī)制，改變了下采樣的特征直接與同層上采樣特征相融合的方式。注意力機(jī)制的內(nèi)部結(jié)構(gòu)如圖2所示。將淺層特征與深層特征相加，結(jié)合上下文信息，通過(guò)訓(xùn)練得到一個(gè)注意力系數(shù)，然后將該系數(shù)與下采樣的特征圖相乘，這樣就能將注意力集中在目標(biāo)區(qū)域上面，也就是對(duì)輸入圖像中的腫瘤部分施加更多的權(quán)重，從而提高分割精度。

2 NRAdam優(yōu)化算法

本文提出NRAdam優(yōu)化算法，即在RAdam優(yōu)化算法中加入Nesterov動(dòng)量。RAdam是Adam［25］的一個(gè)新變種，由于諸如Adam、RMSprop這樣的優(yōu)化算法在訓(xùn)練早期階段，其自適應(yīng)學(xué)習(xí)率的方差較大，導(dǎo)致訓(xùn)練過(guò)程不穩(wěn)定，容易收斂到局部最優(yōu)解。對(duì)此，RAdam在Adam的基礎(chǔ)上引入了一個(gè)整流項(xiàng)，動(dòng)態(tài)地控制自適應(yīng)學(xué)習(xí)率，而動(dòng)量是積累了之前梯度指數(shù)衰減的移動(dòng)平均。由于Nesterov Accelerated Gradient（NAG）的效果要優(yōu)于傳統(tǒng)動(dòng)量，因此，NRAdam的思想是將RAdam和NAG結(jié)合，改進(jìn)RAdam中原有的傳統(tǒng)動(dòng)量。RAdam中參數(shù)的更新規(guī)則如公式（1）所示。

這里的β1、β2是一階、二階矩指數(shù)衰減率，ɡt是目標(biāo)函數(shù)的梯度，mt是動(dòng)量一階矩，＾mt是mt的偏差修正，vt是動(dòng)量二階矩，＾vt是vt的偏差修正，αt是步長(zhǎng)，rt是方差整流項(xiàng)。

由于NAG修改了動(dòng)量部分，所以在此僅對(duì)RAdam中的動(dòng)量項(xiàng)進(jìn)行改進(jìn)，即只要修改動(dòng)量項(xiàng)mt即可。

傳統(tǒng)的動(dòng)量是計(jì)算當(dāng)前梯度的方向和前一步動(dòng)量的方向，從而進(jìn)行更新。與動(dòng)量不同的是，NAG是利用下一個(gè)迭代點(diǎn)的梯度和前一步動(dòng)量的方向，這樣的做法可以考慮到未來(lái)的梯度，從而加快收斂。NRAdam的參數(shù)更新規(guī)則如下：

3 實(shí)驗(yàn)結(jié)果與分析

3.1 數(shù)據(jù)集

本文研究所用的數(shù)據(jù)集［26］是低級(jí)神經(jīng)膠質(zhì)瘤影像，該數(shù)據(jù)集包含腦磁共振成像（MRI）和手動(dòng)流體衰減反轉(zhuǎn)恢復(fù)（FLAIR）異常分割蒙版。由110名患者的腫瘤信息組成，患者的切片數(shù)量為20至80不等，并由人工對(duì)其進(jìn)行注釋，以形成實(shí)驗(yàn)數(shù)據(jù)。

3.2 評(píng)價(jià)指標(biāo)

為了評(píng)估我們所提出的方法和其他算法的分割精度，我們將Dice值作為模型分割性能的評(píng)價(jià)指標(biāo)，其計(jì)算公式如下：

其中，VP表示預(yù)測(cè)的分割結(jié)果區(qū)域，VT表示真實(shí)的分割結(jié)果區(qū)域，VP∩VT是兩者之間的交集。這里，Dice∈［0，1］，它表示預(yù)測(cè)值與真實(shí)值之間的相似度。Dice的值越大，說(shuō)明該分割模型越好，其分割的精度越高。

3.3 不同分割模型之間的比較

為了確保不同算法比較的公平性，本實(shí)驗(yàn)基于同一數(shù)據(jù)集將改進(jìn)后的算法與U-Net［13］、R2U-Net［27］、CENet［28］、LinkNet［29］四種不同的分割模型做了比較。表1顯示了所提出的方法與四種不同分割模型的比較結(jié)果。

表1 所提出的方法與其他算法的比較結(jié)果。

如表1所示，使用原有的U-Net結(jié)構(gòu)對(duì)腫瘤進(jìn)行分割，得到的Dice值為0.8842。LinkNet、CE-Net、R2UNet的Dice值分別為0.9004、0.9048、0.9013，相較于U-Net，這三個(gè)模型雖然在Dice值上能獲得更好的結(jié)

果，但是它們的參數(shù)大小也有所增加。特別地，CE-Net的Dice值相較于U-Net雖然增加了2.33%，但是其參數(shù)大小大約是U-Net參數(shù)大小的四倍。而改進(jìn)后的方法得到的Dice值和參數(shù)大小分別為0.9168和1.91M，與U-Net相比，Dice值提高了3.69%，更重要的是其參數(shù)量大小減少了75.39%。由此可見(jiàn)，所提出的方法在保證精度的同時(shí)，還能使模型更加輕量化。

3.4 優(yōu)化算法的比較

NRAdam優(yōu)化算法是Adam的一種變體，主要是為了解決Adam優(yōu)化算法在訓(xùn)練前期自適應(yīng)學(xué)習(xí)率有大方差的問(wèn)題，同時(shí)加快訓(xùn)練過(guò)程的收斂，提高模型的魯棒性。為了驗(yàn)證NRAdam比Adam的效果更優(yōu)，基于U-Net模型進(jìn)行了這兩種優(yōu)化算法的對(duì)比實(shí)驗(yàn)。詳細(xì)的對(duì)比結(jié)果如圖3所示。

圖3 U-Net網(wǎng)絡(luò)下的Adam和NRAdam的損失函數(shù)

如圖3所示，雖然在最開(kāi)始的幾個(gè)epoch中NRAdam的收斂速度要比Adam的收斂速度慢，但在那之后NRAdam明顯要收斂得更快。也就是說(shuō)，通過(guò)減小自適應(yīng)學(xué)習(xí)率的方差和加入Nesterov動(dòng)量能使NRAdam獲得更快的收斂速度。除了在收斂速度方面NRAdam要比Adam有著更好的表現(xiàn)以外，還能提高網(wǎng)絡(luò)模型的魯棒性。從圖中可以看到，在訓(xùn)練早期，NRAdam存在著小幅度范圍內(nèi)的震蕩，而Adam較于NRAdam來(lái)說(shuō)表現(xiàn)出了相對(duì)平穩(wěn)的狀態(tài)。但是在45個(gè)epoch之后Adam還存在著輕微的震蕩，且一直到訓(xùn)練結(jié)束，而NRAdam卻能一直保持相對(duì)穩(wěn)定。結(jié)果表明，NRAdam有著比Adam更優(yōu)的實(shí)驗(yàn)效果。

3.5 分割結(jié)果可視化

本部分可視化了部分病例分割后的輸出結(jié)果，可以更直觀地了解不同分割網(wǎng)絡(luò)模型的分割性能，如圖4所示。其中（a）、（b）、（c）、（d）、（e）分別代表U-Net、LinkNet、CE-Net、R2U-Net和我們所提出的方法分割后的結(jié)果。為了便于分析，我們將（a）列從上至下的第一幅圖記為a1，以此類推。圖中的藍(lán)線代表的是真實(shí)的分割輪廓，黃線代表的是不同算法下的預(yù)測(cè)的分割輪廓。U-Net作為當(dāng)前醫(yī)學(xué)圖像分割中最成功的網(wǎng)絡(luò)結(jié)構(gòu)之一，表現(xiàn)出了良好的分割性能，但是在圖4所示的這些樣本中，U-Net還存在著一些不足。例如，a1和a5存在著過(guò)度被分割的現(xiàn)象，將目標(biāo)區(qū)域周圍的正常組織組織也分割到了前景部分。a2和a6則存在著分割不足的情況，沒(méi)有將目標(biāo)區(qū)域完全分割出來(lái)，與真實(shí)的分割結(jié)果存在著一定的差異。與U-Net相比，CE-Net能表現(xiàn)出更好的分割性能，c1、c2、c3中分割后的目標(biāo)區(qū)域基本能與真實(shí)結(jié)果重合，相較于a1、a2、a3來(lái)說(shuō)，CE-Net分割后的結(jié)果會(huì)更接近于真實(shí)值。但是CE-Net在個(gè)別樣本中的表現(xiàn)也有所欠缺，例如c5中就存在著過(guò)度分割的現(xiàn)象，在背景區(qū)域有小面積的分割，錯(cuò)誤的將背景作為目標(biāo)區(qū)域的一部分。與四種分割算法相比，混合密集注意力機(jī)制網(wǎng)絡(luò)普遍能表現(xiàn)出較好的分割性能，雖然在某些情況下也會(huì)存在誤分割的現(xiàn)象，但是與其他四種分割算法相比，該方法犯的錯(cuò)誤明顯較少。結(jié)果表明，改進(jìn)后的算法較于其他四種分割算法會(huì)更加接近于真實(shí)結(jié)果，能為醫(yī)生做好術(shù)前規(guī)劃提供更有效的依據(jù)。

圖4 U-Net、LinkNet、CE-Net、R2U-Net和改進(jìn)后的方法分割的比較結(jié)果

其中，（a）U-Net；（b）LinkNet；（c）CE-Net；（d）R2UNet；（e）改進(jìn)后的方法。

4 結(jié)語(yǔ)

U-Net是目前醫(yī)學(xué)圖像分割方面較為成功的模型之一，但其分割的準(zhǔn)確性與精度仍有提升的空間。本文基于U-Net網(wǎng)絡(luò)結(jié)構(gòu)，將原有的普通卷積塊改成密集模塊，加入密集塊不僅能實(shí)現(xiàn)特征的重復(fù)利用，還能緩解梯度消失的問(wèn)題。同時(shí)在跳躍連接部分引入注意力模塊，將注意力集中到目標(biāo)區(qū)域的同時(shí)，抑制了不相關(guān)區(qū)域的輸入，從而獲得更精準(zhǔn)的分割結(jié)果。除此之外，本文對(duì)優(yōu)化算法也做了相關(guān)研究，Adam算法目前被廣泛使用，但是Adam存在著容易陷入局部最優(yōu)解的問(wèn)題，所以提出NRAdam優(yōu)化算法，不僅加快模型收斂速度，提高模型的魯棒性，還能帶來(lái)更好的訓(xùn)練性能。