基于改進(jìn)注意力機制的認(rèn)知障礙病程分類

李梅梅, 胡春海, 周 影, 宋 昕

(1.燕山大學(xué) 電氣工程學(xué)院,河北 秦皇島 066004；2.東北大學(xué) 秦皇島分校,河北 秦皇島066000)

1 引 言

阿爾茨海默癥(Alzheimer’s disease, AD)俗稱老年癡呆,是發(fā)病進(jìn)程緩慢、隨時間不斷惡化的神經(jīng)退化性疾病,綜合的發(fā)病概率占據(jù)癡呆癥中的60%～70%,其真正成因至今尚不明確,且治療費用昂貴。早期輕度認(rèn)知功能障礙(early mild cognitive impairment, EMCI)是介于正常衰老(normal subject, NC)與AD之間的過度發(fā)展階段,研究顯示認(rèn)知障礙(mild cognitive impairment, MCI)受試者以每年約10%～15%的速度發(fā)展為臨床AD,如何對其予以早期精準(zhǔn)診斷并進(jìn)行正向干預(yù)是急需解決的問題。

隨著電子醫(yī)療影像技術(shù)的進(jìn)步和發(fā)展,作為目前最普遍的一種醫(yī)學(xué)圖像形式,磁共振圖像(magnetic resonance imaging, MRI)能夠清晰地顯示所檢測的軟組織和結(jié)構(gòu)形態(tài),且對比于其它醫(yī)療圖像成像方式,可避免對身體造成電離輻射的影響。而對阿爾茨海默癥而言,MRI圖像分析在反映AD和MCI患者腦組織萎縮情況有出色的表現(xiàn)。目前,越來越多的學(xué)者傾力于通過深度學(xué)習(xí)和大量醫(yī)學(xué)圖像數(shù)據(jù)相互結(jié)合對AD分類進(jìn)行綜合研究[1]。

近年來,很多學(xué)者以MRI和信息特征提取相結(jié)合為基礎(chǔ)進(jìn)行阿爾茨海默癥的分類研究。文獻(xiàn)[2]利用選擇自編碼算法對受試樣本信息中提取正電子發(fā)射斷層掃描(PET)、MRI、腦脊液檢測(CSF)等數(shù)據(jù)特征,對AD和NC、MCI和NC以及AD和MCI進(jìn)行二分類,達(dá)到較好的分類效果；文獻(xiàn)[3]在研究中利用分類SAE對PET、MRI數(shù)據(jù)進(jìn)行高度的信息特征提取,并將AD、pMCI、sMCI、NC之間進(jìn)行四分類,分類的平均準(zhǔn)確率達(dá)到46.3%的水平；文獻(xiàn)[4]運用CNN特征學(xué)習(xí)的方法,對預(yù)先訓(xùn)練好的卷積模型進(jìn)行了圖像的特征提取,并在AD、MCI與NC分類中取得較好的結(jié)果；文獻(xiàn)[5]提出了一種基于多尺度下皮層厚度差異的腦網(wǎng)絡(luò)構(gòu)建方法，該方法解決了網(wǎng)絡(luò)構(gòu)建中僅考慮腦區(qū)均值間關(guān)系而忽略腦區(qū)內(nèi)局部特性的問題；文獻(xiàn)[6]從MRI圖像中提取AD相關(guān)區(qū)域的判別性圖像塊作為輸入數(shù)據(jù),利用3D-CNN進(jìn)行訓(xùn)練,得到了91.09%(AD與NC)和76.90%(EMCI與LMCI)的準(zhǔn)確率。

本文旨在提高計算機輔助診斷效率,同時促進(jìn)疾病的病理生理機制研究。提出了基于改進(jìn)SE(squeeze-and-excitation)模塊二維雙路徑融合網(wǎng)絡(luò)的分類方法。采用SE注意力模塊,自動提取相關(guān)特征；結(jié)合雙路徑網(wǎng)絡(luò),構(gòu)建特征圖的差異性,利用特征圖中區(qū)域差異性實現(xiàn)網(wǎng)絡(luò)的不平衡關(guān)注,以實現(xiàn)網(wǎng)絡(luò)性能的有效優(yōu)化；鑒于樣本圖片四周信息少中心信息量大的特點,在網(wǎng)絡(luò)中加入縮減系數(shù)模塊,增加圖片有用信息占比；對通道注意模塊的權(quán)重函數(shù)設(shè)計,增大特征圖間差異,聯(lián)合二維雙路徑網(wǎng)絡(luò),增大網(wǎng)絡(luò)倚重點,提升分類性能,減弱模型過擬合現(xiàn)象。

2 基于SE模塊二維雙路徑融合網(wǎng)絡(luò)

2.1 通道域注意力機制

通道域注意力機制[7～9],為每一個通道特征區(qū)域增加權(quán)重表達(dá)其所受關(guān)注度,其公式為：

(1)

通道注意力機制為圖片產(chǎn)生的多個通道信號增加特有權(quán)重,該權(quán)重的大小與相關(guān)度成正比。SE模塊可以模擬卷積神經(jīng)網(wǎng)絡(luò)(CNN)中特征圖的通道,卷積后得到具有各通道特點的特征,使用SE模型可標(biāo)定各特征通道權(quán)重。SE模塊主要由擠壓(squeeze),激勵(excitation)和注意(attention)3部分組成。擠壓函數(shù)對每個路徑內(nèi)的特征圖進(jìn)行全局平均池化操作，將每個通道用一個數(shù)值表示，公式見式(2)；激勵函數(shù)是在得到sequeeze的通道表示后, 通過2層全連接層實現(xiàn)對每個通道的重要性進(jìn)行預(yù)測,公式見式(3)；將SE模塊獲得的對應(yīng)通道權(quán)值與通道值相乘, 實現(xiàn)依賴于尺度函數(shù),有利于增強網(wǎng)絡(luò)對關(guān)鍵通道域的注意力,公式見式(4)。

(2)

s=Fex(z,W)=σ(g(z,W))=σ(W2δ(W1Z))s

(3)

(4)

2.2 模型結(jié)構(gòu)

深層次的網(wǎng)絡(luò)有利于挖掘圖像更多細(xì)節(jié)信息,但不利于訓(xùn)練,單一小卷積核造成冗余信息多等問題,對VGG16模型進(jìn)行改進(jìn),本網(wǎng)絡(luò)較VGG16減少后三層卷積,同時增加并行模塊。圖1所示網(wǎng)絡(luò)模型的基本結(jié)構(gòu)。

圖1 SE模塊二維雙路徑融合網(wǎng)絡(luò)的模型結(jié)構(gòu)圖Fig.1 Model structure of SE module two dimensional dual path fusion network

如圖1所示,網(wǎng)絡(luò)中加入SE注意力模塊,其中Conv2-11、Conv2-12和Conv2-13的卷積核大小為 5×5,其它卷積核大小為3×3。針對原始圖像四周有用信息少,中心區(qū)域像素豐富的問題,采用大卷積核降低小卷積造成的冗余信息,同時采用valid方式,減少特征圖周邊無用信息,增加中心有用信息占比。本文將表1并行網(wǎng)絡(luò)中由Conv2-11、Conv2-12和Conv2-13三卷積組成的路徑稱為輔路徑,Conv2-1、Conv2-2和Conv2-3三個卷積組成路徑稱為主路徑。

2.3 縮減系數(shù)模塊及SE的嵌入方式

為減少冗余信息,在主路徑中,將第一個卷積層輸出特征圖沿圖像邊緣切割,剪切系數(shù)為k。假設(shè)輸入MRI圖像的高度為Hin，從中裁剪的上邊緣全黑像素高度為hin，輸入模塊的特征圖高度為Hi，通過式(5)算得：

(5)

式(5)可分別計算AD、NC和EMCI三類數(shù)據(jù)所有樣本的縮減系數(shù)。k的值由式(5)計算求得，為保留更多圖像信息，由原始圖像計算數(shù)據(jù)集的最大縮放系數(shù)k取值為8，若增大裁剪區(qū)間會裁減掉部分有用信息。為探討k值變化對分類結(jié)果的影響，將k取整處理，其計算過程如下：

[Wo,Ho]=[k∶Wi-k,k∶Hi-k]

(6)

式中Wo和Ho表示經(jīng)減模塊計算后特征圖的寬和高。

主路徑中使用小卷積核,冗余信息較多,因此將經(jīng)過主路徑中的第一個卷積層的特征圖進(jìn)行壓縮運算,將經(jīng)過壓縮系數(shù)模型的輸出特征圖作為SE模塊的輸入,輸出權(quán)重與經(jīng)過主路徑的第一卷積輸出特征圖按通道相乘,作為第二卷積層的輸入。在輔路徑中,將卷積層的輸出連接SE模塊,即可獲得通道權(quán)重系數(shù),再與原特征圖融合,形成第二個卷積層的輸入。為放大中心有用信息占比,將主路徑和輔路徑的最終輸出特征進(jìn)行相加融合,輔路徑中使用較大卷積核,最終輸出特征圖居中且比主路徑中輸出特征圖小,因此為方便后續(xù)進(jìn)行特征融合,在輔路徑輸出特征圖融合前加入zeropadding層。

主路徑中Conv2-1輸入尺寸為m×n,通道c的特征圖為x,經(jīng)縮減系數(shù)后的尺寸為m1×n1,通道c1的特征圖為x1,以及通過SE模塊的輸入長度為1×1,通道數(shù)為c1的權(quán)重圖M(x1)；M(x1)在每一條通道處的取值為F(i)(x1),M(x1)和F(i)(x1)結(jié)合方式見式(7)：

F(o)(x1)=M(x1)·Fn(i)(x1)

n=1,2,3,…,c1

(7)

式中:k表示通道數(shù);F(o)(x1)代表下一層卷積層輸入。

3 通道注意模塊的權(quán)重函數(shù)設(shè)計

設(shè)計類激活映射(class activation mapping, CAM)中全局平均池化層的權(quán)重計算函數(shù)(new meight module, NW),并將其添加到網(wǎng)絡(luò)中。同時,最后一層卷積后增加CAM中最大池化計算權(quán)重層(max pooling weight layer, MPW),用以觀察整個網(wǎng)絡(luò)特征變化,提高分類性能。

3.1 權(quán)重函數(shù)設(shè)計

對特征圖進(jìn)行全局平局池化操作后輸入2層的神經(jīng)網(wǎng)絡(luò)。此時,得到1×1×C主通路的權(quán)重張量,其中C為通道數(shù)。輔路第一卷積層的輸出特征圖作為CAM中平均池化層的輸入,得到1×1×C輔路的權(quán)重張量。

為彌補2分支網(wǎng)絡(luò)單獨使用的缺陷,同時,為找出差異顯著且信息量顯著的特征圖,對2通路的權(quán)重張量做以下處理：

(1)當(dāng)數(shù)據(jù)量較大時,避免權(quán)重相同或者極度接近的情況,對2個張量做差處理,為避免出現(xiàn)負(fù)權(quán)重,對做差后的值進(jìn)行加絕對值操作,如式(8)所示。其中,X1為主路徑輸出權(quán)重值大小,X2為輔路徑輸出權(quán)重值大小；

Fabs=|X1-X2|

(8)

(2)由于本文對圖片均進(jìn)行歸一化處理,導(dǎo)致系數(shù)均介于0～1之間,因此對Fabs進(jìn)行指數(shù)處理,使得所有權(quán)重值大于1,如式(9)所示。

X=eFabs

(9)

(3)將所獲得的權(quán)重分別與主路徑的第2層卷積層的輸出特征圖及輔通路的第2層卷積層的輸出特征圖按照通道相乘再相加,做為下一級輸入。

3.2 權(quán)重函數(shù)的嵌入方式

NW模塊內(nèi)部結(jié)構(gòu)如圖2虛線部分所示,每條路徑均進(jìn)行全局平均,并對2支路進(jìn)行權(quán)重函數(shù)設(shè)計。NW模塊、MPW模塊及縮減系數(shù)模塊嵌入方式見圖3。圖3中虛線區(qū)域為兩條路徑,左支為主路徑,將此模塊的輸出作為NW模塊的輸入；右支為未加入縮減系數(shù)模塊的輔路徑。2條路徑均通過全局平均池化操作,獲取各通道權(quán)重系數(shù)。將最終得到的權(quán)重值與2條路徑中的第2層卷積輸出特征圖按通道相乘,再相加融合,即為權(quán)重函數(shù)的嵌入過程。在輔路徑輸出特征圖融合前加入zeropadding層,方便后續(xù)特征融合。

圖4為MPW模塊內(nèi)部結(jié)構(gòu)。網(wǎng)絡(luò)層數(shù)較多,更深層次的語義信息增多。因此,首先將MPW模塊嵌入全連接層前,使得網(wǎng)絡(luò)中最后一個最大池化層的輸出特征圖為MPW模型的輸入,以獲取權(quán)重；再將最后一個最大池化層的輸出特征圖按通道相乘,做為全連接層的輸入。

圖2 NW模塊內(nèi)部結(jié)構(gòu)圖Fig.2 Internal structure diagram of NW module

圖3 NW模塊、MPW模塊及縮減系數(shù)模塊嵌入方式Fig.3 NW module、MPW module and scaling factor module embedding method

圖4 MPW模塊內(nèi)部結(jié)構(gòu)Fig.4 Internal structure diagram of MPW module

4 實驗及結(jié)果分析

4.1 數(shù)據(jù)獲取

本文實驗所用的T1加權(quán)圖像來自于ADNI數(shù)據(jù)庫[10,11],共選擇329個ADNI樣本作為本實驗數(shù)據(jù)。如表1所示該數(shù)據(jù)集共包含110位患病樣本(AD)、109位早期輕度認(rèn)知障礙(EMCI)和110位正常樣本(NC)。為盡可能展現(xiàn)海馬體位置,實驗中沿冠狀面進(jìn)行切片,并按照6:2:2的比例劃分訓(xùn)練集,驗證集和測試集。

表1 樣本基本信息表Tab.1 Table of basic information about the sample

4.2 實驗方法

實驗所用設(shè)備為帶有Titan X GPU的系統(tǒng),主機運行系統(tǒng)為Ubuntu 16.04。學(xué)習(xí)架構(gòu)為Tensor Flow 2.0。圖像預(yù)處理部分包括頭動矯正、配準(zhǔn)、顱骨剔除、圖像增強和分割等步驟[12]。同時每類樣本均進(jìn)行歸一化處理,以此減輕后續(xù)網(wǎng)絡(luò)訓(xùn)練負(fù)擔(dān)。圖5為本文實驗流程圖。

圖5 本文方法實驗流程圖Fig.5 The flow chart of the experiment of this paper

4.2.1 AD vs. EMCI分類任務(wù)

調(diào)節(jié)縮減系數(shù)模塊參數(shù)可提升特征圖中有用信息占比,減少卷積后產(chǎn)生的冗余信息。在網(wǎng)絡(luò)中加入縮減系數(shù)模塊,k值為2、5、7、8的4種情形下,對AD和EMCI進(jìn)行分類并評估網(wǎng)絡(luò)性能。

在本實驗中,學(xué)習(xí)率設(shè)定為0.7×10-4。每個模型完成200個epoch的訓(xùn)練,并將batch size設(shè)置為128。表2展示了4種k值測試集的分類結(jié)果。圖6為AD與EMCI四種情況下驗證集的ROC曲線。

表2 3個模型測試集分類結(jié)果Tab.4 Classification results for the three model test sets

圖6 AD vs. EMCI四種模型的ROC曲線圖。Fig.6 ROC curves of the four AD vs. EMCI models.

為更加直觀地表示模型4在個參數(shù)下的分類效果,圖7分別比較了4種情形下分類模型在驗證集上的準(zhǔn)確性、靈敏度和特異性結(jié)果,橫坐標(biāo)的取值范圍為[1～9],間隔為1,縱坐標(biāo)的取值范圍為[0.93～0.95],間距為0.01。

4.2.2 NC vs. EMCI分類任務(wù)

對NC和EMCI分類中采用k值不同進(jìn)行上4次試驗,試驗中,學(xué)習(xí)率設(shè)置為0.7×10-5。對每個模型進(jìn)行200個epoch的訓(xùn)練,并將batch size設(shè)置為128,其中測試結(jié)果如表2所示。

在輔路徑中卷積擁有較大的卷積核,而大卷積核會丟失較多信息,因此,未加入縮減系數(shù)模塊,輸出實數(shù)的權(quán)值不會隨k值的變化而變化。而在MP中,使用小卷積核,這會使得冗余信息增多,因此,該路徑中加入縮減系數(shù)模塊,隨著k值的增大,有用信息在特征圖中心的比例增大,使得MP輸出的實際權(quán)值增大,即X2的值增大。因此如圖7和8所示,隨著k值的增加,2種分類任務(wù)的準(zhǔn)確率均呈現(xiàn)先下降后上升的趨勢。

圖7 ADvs.EMCI四種情況下結(jié)果趨勢圖Fig.7 Results trend chart of AD vs. EMCI in four cases

4.3 實驗結(jié)果分析

本文分別對改進(jìn)的網(wǎng)絡(luò)模型、SE模塊二維雙路徑融合模型以及VGG模型進(jìn)行AD,EMCI和NC二分類。在AD vs. EMCI和NC vs. EMCI分類任務(wù)中,如表2所示,將加入權(quán)重設(shè)計后的模型與VGG16模型及基于SE模塊二維雙路徑融合模型分類結(jié)果比較。當(dāng)k值為2時,增加權(quán)重設(shè)計的SE模塊二維雙路徑融合模型其AD vs. EMCI分類準(zhǔn)確率為0.948 3,NC vs. EMCI分類準(zhǔn)確率為0.924。

圖9顯示了AD vs. EMCI分類中3種模型下的準(zhǔn)確率對比折線圖?？梢钥闯?增加權(quán)重設(shè)計的模型在k值為2時分類準(zhǔn)確率，相較于SE模塊二維雙路徑融合模型和VGG模型分別提高了8.11%和5.59%。

圖8 NCvs.EMCI四種情況下結(jié)果趨勢圖Fig.8 Results trend chart of NC vs. EMCI in four cases

圖9 3種模型的精度對比折線圖Fig.9 Line chart of accuracy under three models

同時為驗證所提出方法的優(yōu)越性,將本文提出的改進(jìn)網(wǎng)絡(luò)模型與現(xiàn)有先進(jìn)方法進(jìn)行對比,表3中其它模型數(shù)據(jù)集均采用ADNI,由于NC vs. EMCI分類更具有臨床意義,因此,表3僅對該組分類結(jié)果進(jìn)行對比分析。本文提出的方法準(zhǔn)確度遠(yuǎn)高于其它先進(jìn)方法。

表3 近5年多種方法EMCI vs.NC分類準(zhǔn)確率對比結(jié)果Tab.3 Comparative results of EMCI vs.NC classification accuracy of various methods in recent five years

6 總 結(jié)

本文針對早期阿爾茨海默病患者大腦病變程度較輕,導(dǎo)致分類效果差的問題,提出了基于SE模塊的二維雙路徑融合網(wǎng)絡(luò)模型,同時提出了權(quán)重函數(shù)設(shè)計算法,通過構(gòu)建通道注意模塊的權(quán)重函數(shù),增大特征圖差異,提高權(quán)重差距,聯(lián)合二維雙路徑網(wǎng)絡(luò),增大網(wǎng)絡(luò)倚重點,以實現(xiàn)網(wǎng)絡(luò)性能的優(yōu)化。與現(xiàn)有方法對比,所提出改進(jìn)的網(wǎng)絡(luò)模型在阿爾茨海默病的早期分類中達(dá)到更高的指標(biāo),有效證明改進(jìn)網(wǎng)絡(luò)性能的可行性。