深度遷移學(xué)習(xí)輔助的阿爾茲海默氏癥早期診斷

金祝新 秦飛巍 方美娥,2*

1(杭州電子科技大學(xué)計算機學(xué)院 浙江 杭州 310018)2(廣州大學(xué)計算機科學(xué)與教育軟件學(xué)院 廣東 廣州 510000)

0 引 言

阿爾茲海默氏癥是一種起病隱匿的進行性發(fā)展的神經(jīng)系統(tǒng)退行性疾病，它會導(dǎo)致患者記憶功能的改變，同時認知功能和行為也會受到影響。該病對大腦的損傷是不可逆的，目前仍沒有有效的治療方案。隨著全球人口老年化、環(huán)境惡化的加劇，老年癡呆病患者的數(shù)量也在大量增長。輕度認知障礙(MCI)是介于正常衰老HC(Healthy Control)和癡呆之間的一種中間狀態(tài)，是一種認知障礙癥候群。輕度認知障礙患者被認為是阿爾茲海默氏癥患病的高危人群。若對MCI向AD階段轉(zhuǎn)化患者的可能性進行預(yù)測，進而對易發(fā)展為AD的MCI患者采取相應(yīng)的治療干預(yù)手段,這是延緩AD發(fā)病的最有效方法。因此MCI醫(yī)學(xué)影像的精準識別與分類對于AD癥的診療是至關(guān)重要的。

隨著機器學(xué)習(xí)在圖像領(lǐng)域取得的出色成績，研究者們紛紛采取各種機器學(xué)習(xí)相關(guān)算法來建立自動化阿爾茨海默病檢測和分類的模型。比如Brosch等[1]開發(fā)了一種深度信念網(wǎng)絡(luò)模型(DBN),使用流形學(xué)習(xí)來從MRI圖像中進行AD檢測。Gray等[2]開發(fā)了一種多模式分類模型，使用隨機森林分類器從MRI和PET醫(yī)學(xué)圖像中檢測AD。Gupta等[3]采用2D卷積神經(jīng)網(wǎng)絡(luò)(CNN)進行MRI掃描的切片特征提取。為了提高分類性能，CNN首先在自然圖像的隨機片段上用稀疏自動編碼器(SAE)進行預(yù)訓(xùn)練。Kl?ppel等[4]使用灰質(zhì)(GM)體素作為特征并訓(xùn)練SVM以區(qū)分AD和NC對象。將MRI分割為GM、白質(zhì)(WM)和CSF部分，然后計算它們的體素密度，并將每個體素與GM、WM和CSF密度的矢量相關(guān)聯(lián)以進行分類。Liu等[5]利用MRI數(shù)據(jù)集中的多個選定模板提取多視圖特征；然后使用每個模板的組織密度圖對每個類中的受試者進行聚類，以便提取每個受試者的編碼特征；最后，使用支持向量機(SVM)來進行分類。劉等[6]開發(fā)了一種使用零掩模策略的多模式堆疊自編碼器網(wǎng)絡(luò)。目的是防止丟失圖像數(shù)據(jù)的任何信息，他們還使用SVM對從MRI/PET數(shù)據(jù)獲得的神經(jīng)影像特征進行分類。Zu等[7]通過多任務(wù)特征選擇方法提出一種多模態(tài)分類模型。特征學(xué)習(xí)方法是基于不同模態(tài)用不同的回歸模型，其中標簽信息用作正則化器，以減少新特征空間中不同模態(tài)的相似主題的差異。然后使用多核SVM進行分類。Payan等[8]利用稀疏的自動編碼器和3D CNN模型訓(xùn)練ADNI數(shù)據(jù)集，從而對AD、MCI和HC患者進行分類。Suk等[9]使用多模式深度BM從每個選定的MRI和PET掃描片中提取一個特征，并用SVM集合預(yù)測AD。

上述方法能夠?qū)RI醫(yī)學(xué)影像進行自動化的識別與分類，節(jié)省人力資源和時間開銷。然而，由于AD醫(yī)學(xué)領(lǐng)域所固有的特點，導(dǎo)致現(xiàn)有許多自動化識別方法的準確率不夠高，難以應(yīng)用于臨床實踐。首先，受現(xiàn)有醫(yī)療環(huán)境的限制，獲取帶標記的高質(zhì)量大規(guī)模MRI數(shù)據(jù)集極為困難，而這對于訓(xùn)練高準確率的自動化分類器非常關(guān)鍵；其次，大多數(shù)現(xiàn)有工作都采用從MRI或者PET醫(yī)學(xué)圖像中手工提取特征的方法，這些手工提取特征的方法在醫(yī)學(xué)上的應(yīng)用不是十分理想的，不僅十分耗時，而且還需要依賴于醫(yī)學(xué)方面的專家；再者，其中大部分的相關(guān)工作都對醫(yī)學(xué)圖像做過多的預(yù)處理，這樣的操作可能破壞圖像數(shù)據(jù)集本身所固有的特征信息，導(dǎo)致準確率降低。

本文提出一種深度遷移學(xué)習(xí)輔助的阿爾茲海默氏癥早期診斷方法。一方面，基于圖像分類的理論，采用一種端到端的面向輕度認知障礙MRI圖像識別的MCINet模型，用于輔助AD癥的早期診斷。該模型不需要對MRI醫(yī)學(xué)圖像做更深層次的預(yù)處理，因而不會過多地損壞/丟失圖像原有的信息；另一方面，由于醫(yī)學(xué)圖像本身的規(guī)模就不大，而基于深度學(xué)習(xí)的圖像分類要想達到高精準的分類結(jié)果一般都需要上百萬的數(shù)據(jù)量，故本文利用遷移學(xué)習(xí)技術(shù)，目的是ImageNet的權(quán)重遷移(transfer)作為網(wǎng)絡(luò)的初始權(quán)重。此外，我們利用數(shù)據(jù)增廣(Data Augmentation)技術(shù)對原始MRI數(shù)據(jù)集進行擴充，并選取包含腦部信息最豐富的片數(shù)作為訓(xùn)練集，以盡可能地提高數(shù)據(jù)集的質(zhì)量，用于神經(jīng)網(wǎng)絡(luò)訓(xùn)練。

1 方法概述

在AD分類中，最開始的是Coates等[10]提出的單層的特征學(xué)習(xí)方法，然后是Bo等[11]提出的兩層的特征學(xué)習(xí)方法，一直到目前使用的卷積神經(jīng)網(wǎng)絡(luò)[12]，分類方法也一直在改進。但是由于缺少高質(zhì)量的標注的訓(xùn)練樣本，因此訓(xùn)練出來的模型可能會過擬合，或者準確率不高。本文算法的具體方法框架如圖1所示。

圖1 方法概述框圖

具體步驟如下：

步驟1根據(jù)AD領(lǐng)域的知識,基于卷積神經(jīng)網(wǎng)絡(luò)，采用了一種面向MCI圖像識別的深度神經(jīng)網(wǎng)絡(luò)分類器。

步驟2在大型公共數(shù)據(jù)集ImageNet得到預(yù)訓(xùn)練模型。

步驟3對原始MRI數(shù)據(jù)集進行處理，先進行文件格式的轉(zhuǎn)換，將原始的MRI數(shù)據(jù)格式轉(zhuǎn)換成實驗所要求的實驗的訓(xùn)練集，然后甄選滿足AD特征的MRI數(shù)據(jù)集。MRI數(shù)據(jù)的規(guī)模比較小故需先對數(shù)據(jù)進行數(shù)據(jù)增廣。

步驟4將預(yù)訓(xùn)練模型的前兩層卷積層根據(jù)遷移學(xué)習(xí)的技術(shù)遷移到MCINet模型中，然后使用MRI醫(yī)學(xué)圖像數(shù)據(jù)集訓(xùn)練調(diào)整該模型的剩余層數(shù)，從而使得神經(jīng)網(wǎng)絡(luò)學(xué)得的參數(shù)更加逼近全局最優(yōu)解。

步驟5模型評價：主要從兩個方面來對模型進行評價，一是在不引用遷移學(xué)習(xí)算法而完全采用MCINet模型來訓(xùn)練數(shù)據(jù)集，二是將遷移學(xué)習(xí)與MCINet模型相結(jié)合來訓(xùn)練數(shù)據(jù)集。然后根據(jù)訓(xùn)練的結(jié)果，對兩種方法進行評估。

2 輸入模式生成

本文的實驗數(shù)據(jù)集是來自于ADNI網(wǎng)站上的MRI醫(yī)學(xué)圖像。每個原始的MRI圖像都是256×256×100，其中100為片數(shù)。圖2為HC、AD、MCI某一特征的MRI醫(yī)學(xué)圖像。

(a) AD 男(b) AD 女

(c) MCI 男(d) MCI 女

表1所示的是本實驗MRI數(shù)據(jù)集的信息其中包含患者的人數(shù)、年齡、性別和切片的數(shù)量。

表1 MRI數(shù)據(jù)集信息

由于MRI醫(yī)學(xué)圖像記錄的是整個腦部的信息，實驗需選取其中跟阿爾茲海默癥聯(lián)系緊密區(qū)域的圖像，即選取信息含量豐富的片數(shù)作為訓(xùn)練集，這會大大提高分類的準確率。本文根據(jù)Liu等[6]利用統(tǒng)計分析法選出AD分類最重要的片數(shù)，再結(jié)合醫(yī)學(xué)專家的建議選取如圖3所示的三種不同特征的MRI圖片作為訓(xùn)練集。

圖3 不同特征圖像

2.1 數(shù)據(jù)增廣

深度學(xué)習(xí)本身就是建立在大數(shù)據(jù)的基礎(chǔ)上，一般數(shù)據(jù)量越大準確率越高。而傳統(tǒng)學(xué)習(xí)算法的最大區(qū)別就在于當它達到一定的數(shù)據(jù)量后準確率會呈現(xiàn)一個收斂的狀態(tài)。所以基于深度學(xué)習(xí)的圖像分類就要考慮如何在有限的數(shù)據(jù)庫中習(xí)得有效的特征。一般，模型的質(zhì)量與數(shù)據(jù)的質(zhì)量和數(shù)量有著密切的關(guān)系，醫(yī)學(xué)圖像又有著高依賴成像設(shè)備和成像環(huán)境，圖像種類多差異，很難融合，像素大分辨率低，生物個體存在差異性等特點所以難以訓(xùn)練和識別。如表2所示，本實驗在數(shù)據(jù)集數(shù)量上進行了擴充，由于ADNI網(wǎng)站上的人數(shù)非常有限，故本實驗將同一個主體不同時間采集的MRI圖像也考慮進去，即從時序的角度考慮，將患者隨時間周期而發(fā)生細微變化的MRI圖像來擴充數(shù)據(jù)集。從實驗的結(jié)果來看，這對提升準確率有一定的幫助。

表2 數(shù)據(jù)量對比表

2.2 醫(yī)學(xué)影像預(yù)處理

原始的MRI圖像的數(shù)據(jù)格式是DICOM，除了包含腦部圖像信息，還包含病人的基本信息，故在實驗中需要將其轉(zhuǎn)換成圖片格式。本文利用MATLAB工具中專門處理MRI圖像的函數(shù)包來讀取MRI數(shù)據(jù)中的圖像信息，然后將其轉(zhuǎn)換成圖片格式。轉(zhuǎn)化后的圖像的大小為256×256且每個主體包含100片相同大小的醫(yī)學(xué)圖像。由于MRI是灰度圖像，Caffe框架所需的輸入數(shù)據(jù)是三通道的彩色圖像所以需要把MRI圖像轉(zhuǎn)化成RGB三通道圖像。

實驗選用的是大腦軸向的圖像，表1為本實驗AD、MCI、HC的MRI數(shù)據(jù)集的相關(guān)信息。之前的研究都會對MRI圖像進行標準化的預(yù)處理，如將腦部圖像分割成三種不同的組織例如灰質(zhì)(GM)、白質(zhì)(WM)和脊髓液(CSF)，一般GM包含的信息比較多，于是大多的實驗只使用GM來進行分類，但實驗結(jié)果往往不是很理想。從而可以判斷出對腦部圖像的分割會影響分類的準確性。本文不對圖像做任何更深層次的預(yù)處理，由于這些處理有可能會破壞圖像某些潛在的信息，或者導(dǎo)致某些重要的信息缺損。

3 面向MCI圖像識別的深度神經(jīng)網(wǎng)絡(luò)分類器(MCINet)

深度學(xué)習(xí)是機器學(xué)習(xí)的一個分支，目的是為建立可以模仿人腦進行分析學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)。深度學(xué)習(xí)包含兩個重要特點，其中一個是自動提取特征它與傳統(tǒng)的人工提取特征有很大區(qū)別。另外一個特點通過組合底層特征來形成更加抽象的高級特征，例如，在計算機視覺鄰域，深度學(xué)習(xí)算法從原始圖像學(xué)習(xí)到一個底層特征，然后在此基礎(chǔ)上，通過線性或者非線性組合來獲得一個高層次的表達。神經(jīng)網(wǎng)絡(luò)主要分為三層，分別為輸入層、隱含層和輸出層。傳統(tǒng)神經(jīng)網(wǎng)絡(luò)一般只有兩到三層比如BP網(wǎng)絡(luò)和DBN網(wǎng)絡(luò)，而卷積神經(jīng)網(wǎng)絡(luò)的層數(shù)至少在四層以上，這也是它能進行深度學(xué)習(xí)的原因。深度學(xué)習(xí)的核心是特征學(xué)習(xí)，旨在通過分層網(wǎng)絡(luò)獲取分層次的特征信息，從而解決以往需要人工設(shè)計特征的重要難題。深度學(xué)習(xí)是一個框架，包含多個重要算法，例如，Convolutional Neural Networks(CNN)卷積神經(jīng)網(wǎng)絡(luò)、AutoEncoder自動編碼器、Sparse Coding稀疏編碼、Restricted Boltzmann Machine(RBM)限制波爾茲曼機、Deep Belief Networks(DBN)深信度網(wǎng)絡(luò)、Recurrent neural Network(RNN)多層反饋循環(huán)神經(jīng)網(wǎng)絡(luò)?，F(xiàn)今，深度學(xué)習(xí)已經(jīng)被應(yīng)用在多個領(lǐng)域，其中就包括各種醫(yī)學(xué)圖像的分類。對于不同問題(圖像、語音、文本)，需要選用不同網(wǎng)絡(luò)模型才能達到理想的效果?；诒疚氖菍D像分類的性質(zhì)，故采用CNN最為合適。CNN一般是由多個卷積層、池化層和全連接層組成的?；诖吮疚膶嶒灢捎玫腗CINet網(wǎng)絡(luò)模型，且它的網(wǎng)絡(luò)結(jié)構(gòu)相對簡單，它的結(jié)構(gòu)及參數(shù)如圖4所示，它有8層網(wǎng)絡(luò)結(jié)構(gòu)(忽略激活函數(shù)、池化、LRN、Dropout層)，有5個卷積層和3個全連接層。第一卷積層使用大小為11×11的卷積核，步長為4；第二卷積層使用5×5的卷積核大小，步長為1；剩余卷積層的卷積核都是3×3，步長為1。激活函數(shù)為ReLU，池化層使用重疊的最大池化，大小為3×3，步長為2。在全連接層增加了Dropout。

圖4 算法框架

研究表明：診斷AD的關(guān)鍵部分特征主要有海馬體、顳葉、扣帶回等區(qū)域。而且研究發(fā)現(xiàn)卷積層第三層和第四層提取的特征的能力最強，故為了更準確地提取海馬體、顳葉等區(qū)域的特征，合適的卷積核的個數(shù)就顯得尤為重要，因此本實驗主要是第三層和第四層卷積核的個數(shù)進行改進。主要過程是將第三、四層卷積核的個數(shù)，從370開始做公差為2的批處理，到410為止。通過對比發(fā)現(xiàn)當卷積核的數(shù)量為398的時候準確率達到最高。圖4為該模型的算法框圖，表3為MCINet模型的參數(shù)說明。

表3 MCINet的模型

4 深度遷移學(xué)習(xí)

本文數(shù)據(jù)集的規(guī)模仍然不足以訓(xùn)練出好的模型，故實驗采用了遷移學(xué)習(xí)(Transfer Learning)[16]的策略。遷移學(xué)習(xí)是把已訓(xùn)練好的模型參數(shù)遷移到新的模型來幫助新模型訓(xùn)練，這是因為大部分數(shù)據(jù)或任務(wù)是存在相關(guān)性的。通過遷移學(xué)習(xí)我們可以將已經(jīng)學(xué)到的模型參數(shù)通過某種方式和新模型進行共享從而加快并優(yōu)化模型的學(xué)習(xí)效率，而不用像大多數(shù)網(wǎng)絡(luò)那樣從零學(xué)習(xí)。值得一提的是，遷移學(xué)習(xí)并不局限于減少訓(xùn)練數(shù)據(jù)的規(guī)模，還可以有效避免過度擬合(Over-fitting)，即建模數(shù)據(jù)超出了待解問題的基本范疇，一旦用訓(xùn)練數(shù)據(jù)之外的樣例對系統(tǒng)進行測試，就很可能出現(xiàn)無法預(yù)料的錯誤。但由于遷移學(xué)習(xí)允許模型針對不同類型的數(shù)據(jù)展開學(xué)習(xí)，因此其在捕捉待解問題的內(nèi)在聯(lián)系方面的表現(xiàn)也就更優(yōu)秀。本文在算法方面進行的改進主要是先將MCINet網(wǎng)絡(luò)預(yù)訓(xùn)練ImageNet數(shù)據(jù)得到的初始化權(quán)重用于訓(xùn)練MRI數(shù)據(jù)集。本文主要對卷積層前兩層運用遷移學(xué)習(xí)的技術(shù)，即將訓(xùn)練好的權(quán)重遷移到本網(wǎng)絡(luò)的卷積層前兩層。MCINet模型剩下的其他層使用隨機初始化即用本文的MRI數(shù)據(jù)集訓(xùn)練MCINet，如圖5所示。其中在反向傳播(Back Propagation)的過程中，一般有兩種方法可以選擇：(1) 把遷移過來的前n層凍結(jié)(frozen)，也就是在訓(xùn)練MCINet模型時不改變這n層的權(quán)重值；(2) 不凍結(jié)這n層，而是不斷調(diào)整這些權(quán)重的值也稱微調(diào)(fine-tune)。選擇這些方法的前提是數(shù)據(jù)集的大小和前n層的參數(shù)個數(shù)，如果數(shù)據(jù)集很小，而參數(shù)個數(shù)很多，為了防止過擬合，一般會采用凍結(jié)的方法，反之，采用fine-tune。故本文實驗防止過擬合采用的方法是將遷移過來的前兩層凍結(jié)，用本文MRI數(shù)據(jù)集訓(xùn)練模型剩下的層數(shù)。

圖5 遷移學(xué)習(xí)算法框圖

5 實驗結(jié)果與分析

本實驗采用的卷積神經(jīng)網(wǎng)絡(luò)是通過Caffe框架實現(xiàn)的。該框架是用C++語言編寫的，可通過軟件VS2013查看，并通過MATLAB軟件實現(xiàn)卷積層的特征可視化。

5.1 定量分析

實驗準備了三組數(shù)據(jù)集，分別是AD vs. MCI、HC vs.MCI、AD vs HC。我們把MRI數(shù)據(jù)分成兩類: 10%為測試集，剩余的為訓(xùn)練集。每個主體包含100片切片，總的切片數(shù)量如表1所示。然后選取如圖2所示的片數(shù)作為訓(xùn)練集和測試集。

算法1是不考慮遷移學(xué)習(xí)的方法，用MCINet模型去訓(xùn)練數(shù)據(jù)集。算法2是將遷移學(xué)習(xí)與MCINet模型相結(jié)合去訓(xùn)練數(shù)據(jù)集。

表4是兩種算法訓(xùn)練數(shù)據(jù)后得到的準確率的對比，由表中明顯可以看出算法2要優(yōu)于算法1。

表4 算法比較

圖6分別是通過MCINet再結(jié)合遷移學(xué)習(xí)來訓(xùn)練三個訓(xùn)練集得到的loss曲線和accuracy曲線。由loss曲線可知，loss在整體上呈下降趨勢，最后維持在0附近，accuracy曲線開始呈上升曲線，最后維持在一定的范圍內(nèi)，由此可知實驗的曲線是滿足深度學(xué)習(xí)曲線的規(guī)律。

(a)

(b)

(c)

(d)

(e)

(f)圖6 數(shù)據(jù)集的loss曲線與accuracy曲線

5.2 定性分析

圖7 均值圖

在訓(xùn)練數(shù)據(jù)前，Caffe框架除了需要將輸入數(shù)據(jù)轉(zhuǎn)換成LMDB或者LevelDB的格式外，還要計算訓(xùn)練集的均值文件，這是因為圖像減去均值后，在進行訓(xùn)練或者測試時，會大大提高速度和精度，而這往往是深度學(xué)習(xí)進行大量計算所需要達到的效果。圖7是MCI vs HC這個訓(xùn)練集下的均值可視化。

圖8是卷積神經(jīng)網(wǎng)絡(luò)各個卷積層的特征圖的可視化，這是將一張MCI的圖片進行測試而得到的。通過可視化這些特征圖可以更加清楚地了解卷積神經(jīng)網(wǎng)絡(luò)的工作過程。

圖8 特征圖

5.3 方法對比

表5是將前人研究實驗的分類準確率與本文實驗結(jié)果進行的對比。實驗分別對三個數(shù)據(jù)集即AD vs.HC，MCI vs.HC，AD vs.MCI的結(jié)果進行比較。從表中可以看出我們實驗的方法明顯優(yōu)于前人研究的方法，分別達到了95.0%、97.0%、86.8%。

表5 實驗準確率對比

6 結(jié) 語

本文在數(shù)據(jù)量一定的情況下，分別從數(shù)據(jù)和算法這兩個方面進行改進來提高分類的準確率。首先，通過數(shù)據(jù)增廣的方式擴充MRI數(shù)據(jù)集的規(guī)模。然后采用一種針對MRI圖像識別的端到端的深度神經(jīng)網(wǎng)絡(luò)分類器對AD、MCI、HC分類。受數(shù)據(jù)集規(guī)模的限制，本實驗將遷移學(xué)習(xí)技術(shù)與深度神經(jīng)網(wǎng)絡(luò)分類器相結(jié)合。為了驗證遷移學(xué)習(xí)的有效性，本文通過實驗對比，一種完全采用深度神經(jīng)網(wǎng)絡(luò)分類器對MRI數(shù)據(jù)集進行訓(xùn)練，另一種引用遷移學(xué)習(xí)技術(shù)，即將將訓(xùn)練公共數(shù)據(jù)集ImageNet得到的權(quán)重遷移到本網(wǎng)絡(luò)的卷積層前兩層，剩下的其他層用MRI數(shù)據(jù)集訓(xùn)練。從實驗的結(jié)果來看，與遷移學(xué)習(xí)結(jié)合的深度神經(jīng)網(wǎng)絡(luò)分類器的方法更有效。但是本文仍然存在不足，比如分類的準確率仍需要進一步的提高。以后工作會考慮訓(xùn)練集不僅僅用MRI數(shù)據(jù)也嘗試用信息量更豐富的DTI數(shù)據(jù)，或者采用三維的卷積神經(jīng)網(wǎng)絡(luò)對3D的醫(yī)學(xué)圖像進行訓(xùn)練，而且會繼續(xù)考慮信息量最豐富的片數(shù)是否可以進行自動挑選。