段逸凡,王瑜,付常洋,肖洪兵,邢素霞
北京工商大學(xué)人工智能學(xué)院,北京 100048
抑郁癥是最常見的抑郁障礙,以顯著而持久的心境低落為主要臨床特征,是心境障礙的主要類型,據(jù)世衛(wèi)組織統(tǒng)計(jì),目前全球約3 億人患有抑郁癥[1]。醫(yī)生對抑郁癥的診斷標(biāo)準(zhǔn)一般依照《國際疾病分類》第10 版(ICD-10)[2]和美國《精神障礙診斷與統(tǒng)計(jì)手冊》第4版(DSM-IV)[3]。
Huang 等[4]粗略統(tǒng)計(jì),在我國抑郁癥的終身患病率為6.9%。根據(jù)該統(tǒng)計(jì)數(shù)據(jù)進(jìn)行估算,到目前為止,我國患有泛抑郁癥狀的人數(shù)約有9 500 萬,預(yù)防控制抑郁癥成為我國醫(yī)療衛(wèi)生工作的重點(diǎn)之一[5]。在抑郁診斷中,醫(yī)生一般只能通過對患者進(jìn)行某些特定問題的提問來進(jìn)行診斷,診斷結(jié)果往往會受到醫(yī)生的主觀影響。磁共振成像技術(shù)能揭示大腦的結(jié)構(gòu)與功能改變情況,抑郁障礙的基礎(chǔ)病理機(jī)制是可塑性功能紊亂[6],因此可結(jié)合形態(tài)學(xué)測量方法,深入分析抑郁癥引起的灰白質(zhì)比例、密度、腦葉及腦室形態(tài)等改變。Bora 等[7]對重癥抑郁癥灰質(zhì)的改變進(jìn)行Meta分析,重癥抑郁癥患者雙側(cè)前扣帶回皮質(zhì)、右側(cè)額中回、額下回、右側(cè)海馬及左側(cè)丘腦等腦區(qū)灰質(zhì)體積明顯降低,背外側(cè)和背中線的前額皮質(zhì)灰質(zhì)減少,并在多次發(fā)作的患者中更明顯。還有證據(jù)證明,抑郁癥自殺患者也存在額葉-紋狀體環(huán)路相關(guān)腦區(qū)的異常[8-9]。以情緒異常為例,抑郁癥情緒相關(guān)回路上突觸連接受損,突觸內(nèi)穩(wěn)態(tài)失衡,其中涉及到若干紊亂的情緒神經(jīng)回路,回路之間相互關(guān)聯(lián)且錯綜復(fù)雜,除情緒加工異常外,抑郁及相關(guān)障礙由若干不同內(nèi)表型構(gòu)成[10-12]。有研究認(rèn)為,抑郁癥患者的默認(rèn)模式網(wǎng)絡(luò)(Default Mode Network,DMN)與前扣帶回膝下部和背外側(cè)前額皮層連接增強(qiáng),是抑郁癥情緒功能失調(diào)的特異性功能表征,抑郁癥的心理行為表現(xiàn)與神經(jīng)系統(tǒng)的結(jié)構(gòu)、功能異常關(guān)系密切,主要涉及海馬、前額皮層、杏仁核等幾個(gè)重要腦區(qū)[13]。不同腦區(qū)異常對應(yīng)著不同的抑郁癥評估結(jié)果,為了輔助醫(yī)生更好更準(zhǔn)確地進(jìn)行臨床診斷與治療方案的設(shè)制,目前很多研究者使用單模態(tài)磁共振成像(Magnetic Resonance Imaging, MRI)數(shù)據(jù)進(jìn)行抑郁癥分類。針對功能磁共振成像(functional MRI,fMRI),溫洪等[14]基于廣泛使用的自動解剖模板構(gòu)建腦網(wǎng)絡(luò),發(fā)現(xiàn)抑郁癥患者腦網(wǎng)絡(luò)的特征路徑長度和腦區(qū)的度、中間中心度等屬性與正常人有明顯差異。付常洋等[15]使用功能腦網(wǎng)絡(luò)提取fMRI 數(shù)據(jù)并進(jìn)行分類,實(shí)驗(yàn)結(jié)果顯示診斷效果顯著。針對結(jié)構(gòu)磁共振成像(structural MRI,sMRI),由于深度學(xué)習(xí)的廣泛使用和優(yōu)秀表現(xiàn),基于ADNI-Transfer 遷移學(xué)習(xí)方法[16]的三維密集連接深度學(xué)習(xí)網(wǎng)絡(luò)[17]被設(shè)計(jì)和提出,并用來進(jìn)行特征提取,實(shí)現(xiàn)抑郁癥的準(zhǔn)確分類。
由于多模態(tài)數(shù)據(jù)融合方法能夠提取到更多的有效信息,He 等[18]結(jié)合多集典型相關(guān)分析(Multi-Set Canonical Correlation Analysis, MCCA)和聯(lián)合獨(dú)立成分分析(Joint Independent Component Analysis,JICA)的方法進(jìn)行特征融合,最后輸入分類器進(jìn)行分類,結(jié)果顯示多模態(tài)數(shù)據(jù)融合能夠提取更加豐富完備的特征,明顯優(yōu)于單一模態(tài)特征的準(zhǔn)確率。因此,本文將fMRI 數(shù)據(jù)與sMRI 數(shù)據(jù)信息進(jìn)行融合,提出基于取fMRI 和sMRI 雙模態(tài)數(shù)據(jù)融合的抑郁癥分類算法,期望可以提取MRI 數(shù)據(jù)中更豐富的信息,以實(shí)現(xiàn)對抑郁癥患者與健康對照組更加準(zhǔn)確的分類,從而更好地輔助醫(yī)生進(jìn)行抑郁癥臨床診斷。首先利用功能腦網(wǎng)絡(luò)和深度學(xué)習(xí)網(wǎng)絡(luò)分別提取fMRI 和sMRI數(shù)據(jù)特征,并計(jì)算類概率,然后將兩種分類結(jié)果使用軟投票法和加權(quán)投票法進(jìn)行融合,得出最終分類結(jié)果。實(shí)驗(yàn)結(jié)果顯示,兩種投票法均達(dá)到較高準(zhǔn)確率,可有效輔助醫(yī)生進(jìn)行抑郁癥的臨床診斷。
本文在決策層對fMRI數(shù)據(jù)與sMRI數(shù)據(jù)的融合與分類進(jìn)行研究,探討了軟投票法與加權(quán)投票法兩種決策層融合方式對分類結(jié)果的影響,并且都取得了比單模態(tài)數(shù)據(jù)更好的分類效果。首先分別對fMRI數(shù)據(jù)和sMRI數(shù)據(jù)進(jìn)行特征提取與決策,使用多尺度腦網(wǎng)絡(luò)的構(gòu)建方法[15]對fMRI數(shù)據(jù)進(jìn)行特征提取,然后使用支持向量機(jī)(Support Vector Machine,SVM)[19]獲得fMRI數(shù)據(jù)的輸出類概率,同時(shí)使用ADNI-Transfer遷移學(xué)習(xí)后的3D-DenseNet264模型[17],對sMRI數(shù)據(jù)進(jìn)行特征提取,并分類,獲得類概率結(jié)果。獲得fMRI和sMRI兩種分類結(jié)果后,在決策層進(jìn)行融合,即在fMRI和sMRI兩種模態(tài)數(shù)據(jù)分別完成分類決策的基礎(chǔ)上,對兩種分類的決策結(jié)果綜合分析,得出最終決策結(jié)果,框架示意圖如圖1所示。
圖1 本文提出方法框架示意圖Figure 1 Schematic diagram of the framework of the proposed method
投票法是集成學(xué)習(xí)中一種針對分類問題的融合策略,基本思想是選擇所有機(jī)器學(xué)習(xí)算法當(dāng)中輸出最多的那個(gè)類別,作為最終分類結(jié)果[20]。機(jī)器學(xué)習(xí)算法中,分類的輸出有兩種類型:一種是直接輸出類標(biāo)簽,另一種是輸出類概率,使用前者進(jìn)行分類稱為硬投票,使用后者進(jìn)行分類稱為軟投票。由于本研究為二分類問題,輸出類標(biāo)簽只有兩類,很容易出現(xiàn)投票平局的情況,故選擇軟投票策略進(jìn)行決策層數(shù)據(jù)的融合。
本研究將樣本分成抑郁癥患者組和健康對照組兩類,規(guī)定抑郁癥患者為正類(positive),健康對照者為負(fù)類(negative),因此定義健康對照者數(shù)據(jù)標(biāo)簽為0,抑郁癥患者數(shù)據(jù)標(biāo)簽為1,在最終分類時(shí)都可映射在0 到1 之間,故對每一個(gè)被試,投票后分類標(biāo)簽如式(1)所示:
其中,L表示經(jīng)過軟投票法后的類標(biāo)簽,Lf表示fMRI數(shù)據(jù)的輸出類概率,Ls表示sMRI數(shù)據(jù)的輸出類概率,定義最終類標(biāo)簽L為0 時(shí)表示健康對照者,為1 時(shí)表示抑郁癥患者。
加權(quán)投票法是一種計(jì)入權(quán)重的投票方法,等同于加權(quán)平均法[21]。每個(gè)弱學(xué)習(xí)器的分類票數(shù)乘以權(quán)重,并將各個(gè)類別的加權(quán)票數(shù)求和,最大值對應(yīng)的類別即為最終類別。普通的投票法將每種數(shù)據(jù)各自的分類結(jié)果都賦予相同的權(quán)重,但考慮到各數(shù)據(jù)信息對最終分類結(jié)果的貢獻(xiàn)不一致,故本文嘗試使用加權(quán)投票法為每一種分類結(jié)果賦予不同權(quán)重。
定義fMRI 數(shù)據(jù)的分類結(jié)果為Lf,其權(quán)重wf的計(jì)算方法如式(2)所示:
其中,Snf、Recallf分別代表對fMRI數(shù)據(jù)進(jìn)行分類后,所使用分類器的準(zhǔn)確度和召回率。準(zhǔn)確率和召回率兩個(gè)指標(biāo)同時(shí)用來評價(jià)最終的分類性能,規(guī)定抑郁癥患者為正類(positive),健康對照者為負(fù)類(negative)。TP(true positive)為將正類預(yù)測為正類的樣本個(gè)數(shù),F(xiàn)N(false negative)為將正類預(yù)測為負(fù)類的樣本個(gè)數(shù),F(xiàn)P(false positive)為將負(fù)類預(yù)測為正類的樣本個(gè)數(shù),TN(true negative)為將負(fù)類預(yù)測為負(fù)類的樣本個(gè)數(shù)。
同理,定義sMRI 數(shù)據(jù)的分類結(jié)果為Ls,其權(quán)重ws的計(jì)算方法如式(3)所示:
其中,Sns、Recalls分別表示對sMRI 數(shù)據(jù)進(jìn)行分類后得到的準(zhǔn)確率和召回率。
本文定義健康對照組的數(shù)據(jù)標(biāo)簽為0,抑郁癥患者的數(shù)據(jù)標(biāo)簽為1,故對每一個(gè)被試,經(jīng)加權(quán)投票后的分類標(biāo)簽如式(4)所示:
其中,Lw表示經(jīng)過加權(quán)投票法后的類標(biāo)簽,Lf表示fMRI數(shù)據(jù)的輸出類概率,Ls表示sMRI數(shù)據(jù)的輸出類概率。
針對本文的二分類器性能選擇以下4 個(gè)評價(jià)標(biāo)準(zhǔn)來進(jìn)行評價(jià)。特異度Sp,表示所有負(fù)例中被正確預(yù)測的實(shí)例所占比例,即在所有沒有患病的人當(dāng)中,有多少人得到陰性結(jié)果。其計(jì)算公式為:
召回率Recall,表示正確預(yù)測為正的樣本占全部實(shí)際為正的樣本比例,即在所有患病的人中,有多少人得到陽性結(jié)果。其計(jì)算公式為:
F1 是對精度和召回率進(jìn)行綜合評價(jià)的指標(biāo),目的是使二者同時(shí)達(dá)到最高時(shí)取一個(gè)平衡,其值更接近于較小的那個(gè)指標(biāo),當(dāng)這兩個(gè)指標(biāo)值相近時(shí),F(xiàn)1 評分的值最大。其計(jì)算公式為:
精度Sn,表示正確預(yù)測為正的樣本占全部預(yù)測為正的樣本比例,即在所有預(yù)測為陽性的樣本中,有多少是真的陽性。其計(jì)算公式(8)為:
本試驗(yàn)所用數(shù)據(jù)集中共有174 個(gè)樣本數(shù)據(jù),其中有99個(gè)首都醫(yī)科大學(xué)附屬安定醫(yī)院招募的抑郁障礙患者和75個(gè)報(bào)紙廣告上招募的在年齡、性別、受教育程度均匹配的健康對照者。由北京師范大學(xué)認(rèn)知神經(jīng)科學(xué)和學(xué)習(xí)國家重點(diǎn)實(shí)驗(yàn)室采集,使用設(shè)備為第3代特斯拉磁共振掃描儀(西門子公司,德國埃爾)。數(shù)據(jù)集中所有樣本均依據(jù)美國精神障礙診斷與統(tǒng)計(jì)學(xué)手冊第4版所列標(biāo)準(zhǔn),經(jīng)過嚴(yán)格篩選且簽署知情同意書。
2.2.1 fMRI 數(shù)據(jù)預(yù)處理fMRI 數(shù)據(jù)使用基于Matlab語言的磁共振圖像處理工具DPARSFA 軟件進(jìn)行預(yù)處理,具體流程如圖2所示。首先去掉前10 個(gè)時(shí)間點(diǎn)的數(shù)據(jù),以減少掃描前期信號穩(wěn)定性不足對試驗(yàn)帶來的干擾,然后分割出腦疾病分布所在的腦灰質(zhì)部分,接著對磁共振圖像進(jìn)行時(shí)間尺度校正,在容許的頭動范圍內(nèi),使用算法校正信號,使其靠近真實(shí)值,把不同的樣本數(shù)據(jù)對齊到同一個(gè)標(biāo)準(zhǔn)空間,移除信號中的高頻信息,將線性趨勢去除,避免其對信號正確性的影響,最后去除低頻生理信號(比如呼吸和心跳)和高頻隨機(jī)噪聲。
2.2.2 sMRI 數(shù)據(jù)預(yù)處理sMRI 數(shù)據(jù)使用基于Matlab語言的磁共振圖像處理工具DPARSFA 軟件進(jìn)行預(yù)處理,具體流程如圖3所示。首先把不同的樣本數(shù)據(jù)對齊到同一個(gè)標(biāo)準(zhǔn)空間,去除非腦組織,然后分割出腦疾病分布所在的腦灰質(zhì)部分,最后移除信號中的高頻信息,增加更大空間尺度上信號的信噪比,通過犧牲空間分辨率減少個(gè)體間位置不匹配問題。
圖3 sMRI數(shù)據(jù)預(yù)處理流程圖Figure 3 Flowchart of sMRI data preprocessing
將現(xiàn)有數(shù)據(jù)集進(jìn)行預(yù)處理后的所有數(shù)據(jù)按照8:1:1 的比例進(jìn)行劃分,分成訓(xùn)練集、驗(yàn)證集以及測試集,試驗(yàn)中全部采用五折交叉驗(yàn)證,所有網(wǎng)絡(luò)在訓(xùn)練中均使用交叉熵?fù)p失函數(shù)與Adam 優(yōu)化算法[22],因?yàn)樘卣鲾?shù)據(jù)的維數(shù)巨大,導(dǎo)致特征向量不緊致,同時(shí)增加運(yùn)算成本,不利于后期的分類研究,故需進(jìn)行特征選擇和降維,防止后期分類模型訓(xùn)練過程中的過擬合,增強(qiáng)模型泛化能力。試驗(yàn)中特征選擇與降維均使用主成分分析(Principal Components Analysis,PCA)方法[23],試驗(yàn)選擇徑向基核函數(shù)(Radial Basis Function,RBF)的SVM進(jìn)行分類,采用基于Python語言的機(jī)器學(xué)習(xí)模塊Scikit-learn[24],輔助完成SVM 算法的實(shí)現(xiàn)。
試驗(yàn)環(huán)境搭載在一臺帶有一塊NVIDIA TITAN Xp GPU、四核Intel Xeon E3-1230 v5 3.41GHz 處理器的TP1201 服務(wù)器上,編程語言為Python3.6,深度學(xué)習(xí)框架為PyTorch1.0,數(shù)據(jù)預(yù)處理工具為Matlab2013a。
在單獨(dú)fMRI 數(shù)據(jù)分類構(gòu)建腦網(wǎng)絡(luò)中,將串聯(lián)融合后的特征使用PCA 進(jìn)行特征選擇和降維,再應(yīng)用RBF 核函數(shù)的SVM 分類器進(jìn)行五折交叉驗(yàn)證,具體試驗(yàn)結(jié)果的分類精度、特異度、召回率和F1評分如表1所示。
表1 不同尺度腦網(wǎng)絡(luò)下的分類效果對比(%)Table 1 Comparison of classification performances under different scales of brain networks (%)
從表1中的數(shù)據(jù)可以看出,在相同特征數(shù)量的情況下,融合多尺度腦網(wǎng)絡(luò)特征后的分類精度,相比單獨(dú)空間尺度下的腦網(wǎng)絡(luò)分類精度有所提升,特異度、召回率和F1 評分也都有所提升,表明特征選擇能夠?qū)Ψ诸惼鞯挠?xùn)練起到積極影響,提高分類器的泛化能力。融合多尺度腦網(wǎng)絡(luò)特征后,再對特征進(jìn)行篩選,能更好地利用多尺度腦網(wǎng)絡(luò)信息。
在單獨(dú)sMRI數(shù)據(jù)分類中,將預(yù)處理過后的sMRI數(shù)據(jù)分層輸入網(wǎng)絡(luò),輸入尺寸為121×145 像素,并采用投票算法,即對于每個(gè)被試,測試結(jié)果為正類的層超過一半時(shí)判定為正類,否則判定為負(fù)類,將二維網(wǎng)絡(luò)三維化。
從表2中的數(shù)據(jù)可以看出,對網(wǎng)絡(luò)進(jìn)行三維化操作后分類精度、召回率、特異度和F1評分均有了顯著提升,如3D-DenseNet264 的分類精度比二維的DenseNet264 提升了8.29%,表明三維網(wǎng)絡(luò)能夠有效挖掘出抑郁癥sMRI數(shù)據(jù)中豐富的層間信息。
表2 2D網(wǎng)絡(luò)與3D網(wǎng)絡(luò)試驗(yàn)結(jié)果對比(%)Table 2 Comparison of test results between 2D networks and 3D networks(%)
將3D-DenseNet264 用ADNI 數(shù)據(jù)庫做了預(yù)訓(xùn)練,并進(jìn)行遷移學(xué)習(xí)(ADNI-Transfer),與直接用抑郁癥數(shù)據(jù)訓(xùn)練(None)的實(shí)驗(yàn)結(jié)果,以及Chen 等[25]使用的遷移學(xué)習(xí)方法(Med3D-Transfer)和用ADNI 數(shù)據(jù)庫遷移學(xué)習(xí)(ADNI-Transfer)在3D-ResNet 系列網(wǎng)絡(luò)做的試驗(yàn)進(jìn)行對比。
由表3中的數(shù)據(jù)可以看出,引入遷移學(xué)習(xí)后,3D-DenseNet264 在經(jīng)過ADNI-Transfer 操作之后分類精度提升了3.25%,網(wǎng)絡(luò)的分類性能有了提升,這說明遷移學(xué)習(xí)能夠?qū)⑵渌I(lǐng)域的知識引入到抑郁癥sMRI 數(shù)據(jù)的分類任務(wù)中,一定程度上解決了樣本不充足問題,從而加快模型訓(xùn)練的效率,提升模型最終的泛化能力。進(jìn)行ANDI-Transfer 的3D-ResNet200網(wǎng)絡(luò)的分類精度要比進(jìn)行Med3D-Transfer 的3D-ResNet200 網(wǎng)絡(luò)高出1.95%,ADNI-Transfer 遷移學(xué)習(xí)方法在特異度、召回率、F1 評分和精度上均有更優(yōu)表現(xiàn)。
表3 遷移學(xué)習(xí)試驗(yàn)結(jié)果對比(%)Table 3 Comparison of the test results of transfer learning experiments(%)
將fMRI 數(shù)據(jù)和sMRI 數(shù)據(jù)在決策層進(jìn)行融合,其分類效果與fMRI 數(shù)據(jù)和sMRI 數(shù)據(jù)單獨(dú)進(jìn)行分類時(shí)的最好結(jié)果進(jìn)行比較,以驗(yàn)證雙模態(tài)數(shù)據(jù)融合的優(yōu)越性;同時(shí),在決策層的融合中使用了軟投票法和加權(quán)投票法兩種方法進(jìn)行對比分析。具體試驗(yàn)結(jié)果如表4所示。
表4 各種方法對比試驗(yàn)結(jié)果(%)Table 4 Comparison of classification performances among different methods(%)
由表4中的試驗(yàn)結(jié)果可以看出,通過軟投票法進(jìn)行的決策層數(shù)據(jù)融合策略,可以使精度上升至91.35%,特異度、召回率和F1 評分也有所提高,普通的投票法將每種數(shù)據(jù)各自的分類決策都賦予相同的權(quán)重,而加權(quán)投票法直接利用算法輸出的類概率進(jìn)行統(tǒng)計(jì),避免了普通投票法出現(xiàn)投票平局的情況,此時(shí)的精度以及特異度較單一模態(tài)數(shù)據(jù)分類時(shí)有所提升。當(dāng)兩種模態(tài)數(shù)據(jù)分別給予不同權(quán)重,進(jìn)行投票法決策融合時(shí),可以將兩種數(shù)據(jù)單獨(dú)使用時(shí)分類效果之間存在的差距進(jìn)行有效修正,且前期進(jìn)行的特征選擇與降維處理使模型精度提高而又不會過擬合,使精度上升至92.31%,特異度上升至92.08%,F(xiàn)1評分上升至94.58%,召回率上升至96.62%。由試驗(yàn)結(jié)果可以看出,使用軟投票法和加權(quán)投票法兩種融合方法,均能顯著提升最終的分類結(jié)果,并且加權(quán)投票法在試驗(yàn)中顯示出更好的性能。
目前抑郁癥的診斷,醫(yī)生基本只能依據(jù)患者某些特定問題的答案,因此存在患者故意隱瞞,或過于依賴醫(yī)生主觀判斷的問題,而利用機(jī)器學(xué)習(xí)和腦部醫(yī)學(xué)影像輔助診斷抑郁癥,可以有效避免或緩解上述問題的不利影響。為此,本文將決策層融合策略應(yīng)用到抑郁癥的結(jié)構(gòu)和fMRI 輔助診斷中,更好地提取數(shù)據(jù)中的有效信息,獲得了較單一模態(tài)數(shù)據(jù)更加優(yōu)秀的試驗(yàn)結(jié)果。針對fMRI 數(shù)據(jù),基于復(fù)雜網(wǎng)絡(luò)理論,構(gòu)建多尺度功能腦網(wǎng)絡(luò),提取局部和全局網(wǎng)絡(luò)特征,計(jì)算類概率,針對sMRI 數(shù)據(jù),基于三維密集連接深度學(xué)習(xí)網(wǎng)絡(luò),充分挖掘數(shù)據(jù)中的空間結(jié)構(gòu)信息,然后引入遷移學(xué)習(xí),對網(wǎng)絡(luò)模型進(jìn)行預(yù)訓(xùn)練,提取數(shù)據(jù)特征,計(jì)算類概率,最后運(yùn)用加權(quán)投票法和軟投票法對兩種數(shù)據(jù)特征的類概率進(jìn)行融合,得到最終分類結(jié)果。試驗(yàn)結(jié)果表明,本文提出的決策層融合方法,分類精度、特異度、召回率和F1 評分均有顯著提升,尤其是加權(quán)投票法融合策略,分類精度和特異度高達(dá)92.31%和92.08%,證明本文提出方法能夠更好地輔助醫(yī)生對抑郁癥做出正確的分析與診斷。