摘 要:在基于圖神經(jīng)網(wǎng)絡的腦功能性疾病研究中,構(gòu)建腦網(wǎng)絡之后不再變化,且一般需要大量的數(shù)據(jù)進行建模訓練。為了解決這兩個問題,文章提出一種基于圖編碼與小樣本學習的分析診斷模型。該模型采用皮爾遜相關(guān)系數(shù)和自注意力機制構(gòu)建自適應腦網(wǎng)絡,并將時域特征、頻域特征和腦網(wǎng)絡特征作為圖卷積神經(jīng)網(wǎng)絡的輸入,進行動態(tài)學習自適應腦網(wǎng)絡和圖編碼特征。將圖編碼特征作為圖原型網(wǎng)絡的輸入,進行小樣本學習并實現(xiàn)分類。將該模型應用于精神分裂癥的分類診斷,實驗結(jié)果表明,精神分裂癥的識別準確率達到83.4%,為腦網(wǎng)絡研究提供一種全新的思路和方法,為小樣本學習在精神分裂癥研究中的應用開辟了新的方向。
關(guān)鍵詞:自適應腦網(wǎng)絡;圖編碼特征;小樣本學習;圖原型網(wǎng)絡;精神分裂癥
中圖分類號:TP391.4;TP18 文獻標識碼:A 文章編號: 2096-4706(2024)08-0123-05
DOI:10.19850/j.cnki.2096-4706.2024.08.027
0 引 言
精神分裂癥是一種嚴重的精神疾病,通常表現(xiàn)為人格解體、思維混亂、幻覺、妄想以及情感和行為異常。這種疾病往往對患者的社交功能等方面產(chǎn)生負面影響。許多學者和研究人員對精神分裂癥進行了深入的分析和研究,以做好對精神分裂癥疾病的早期識別和干預,探尋有效的治療方法等。
近年來,圖神經(jīng)網(wǎng)絡(Graph Neural Network, GNN)、圖卷積神經(jīng)網(wǎng)絡(Graph Convolutional Neural Network, GCN)和圖注意力網(wǎng)絡(Graph Attention Networks, GAT)等基于圖論的網(wǎng)絡[1-3]在結(jié)合信號數(shù)據(jù)進行疾病診斷、情緒識別等研究中取得良好成效。Chen等[4]基于腦區(qū)和連接性特征進行分析,并運用GCN對精神分裂癥患者進行分類,該方法與傳統(tǒng)機器學習和深度學習方法相比,有效提高了分類性能。Li等[5]首先將重度抑郁癥患者每個EEG數(shù)據(jù)的多通道腦電信號拼接成一個信號序列,計算拼接信號之間的皮爾遜相關(guān)系數(shù)(Pearson Correlation Coefficient, PCC)形成圖網(wǎng)絡(腦網(wǎng)絡)。其次將每個信道劃分為六個頻段,計算出每個頻段的平均功率,并將它們拼接在一起作為節(jié)點特征。最后預訓練GCN模型并微調(diào)輸出層。該方法充分利用多通道EEG之間的交互,結(jié)合預訓練提高對抑郁癥患者的病癥識別。Lei等[6]利用PCC構(gòu)建腦網(wǎng)絡,結(jié)合GCN研究精神分裂癥患者功能性腦網(wǎng)絡的拓撲異常,并確定對分類有重要作用的最顯著區(qū)域。An等[7]提出基于EEG的2-way k-shot小樣本學習網(wǎng)絡對運動圖像進行分類,該網(wǎng)絡能夠有效學習未知類別的代表性特征并對其進行合理的分類。其根據(jù)卷積、池化等操作對EEG的支持集和查詢集進行跨頻段特征提取和網(wǎng)絡編碼,再對已提取的特征進行注意力評分,同時根據(jù)k個支持特征的加權(quán)平均計算每個類別的代表向量,最后根據(jù)類別代表向量和查詢特征預測關(guān)聯(lián)分數(shù),關(guān)聯(lián)得分最大的類被預測為查詢的標簽。該網(wǎng)絡結(jié)構(gòu)雖然采用了小樣本學習思想,但是其特征提取、網(wǎng)絡構(gòu)建、注意力機制評分和關(guān)聯(lián)得分4個主要模塊基本上都是采用卷積操作。該模型雖然操作單一,但卻為基于度量的小樣本學習與EEG的緊密結(jié)合開辟了新的思路。目前,基于小樣本學習思想的研究在圖像等領域較為常見,但應用于EEG的數(shù)據(jù)相對較少?;诙攘糠椒╗8]的小樣本學習模型應用相對廣泛,尤其是原型網(wǎng)絡[9,10],且有較多的相關(guān)改進模型,然而,對于同種疾病的不同數(shù)據(jù)或不同疾病的不同數(shù)據(jù),大部分基于圖論模型的方法(如GNN、GCN、GAT等)在構(gòu)建腦網(wǎng)絡時所采用的功能連接指標不統(tǒng)一[11,12],且腦網(wǎng)絡構(gòu)建之后不再變化,甚至選擇不同指標所得到的結(jié)果差異較大。除此之外,這類模型對數(shù)據(jù)量的依賴性較大,無法很好地區(qū)分未知疾病的數(shù)據(jù)。為此,本文提出一種基于圖編碼與小樣本學習的分析診斷模型,并將其應用于精神分裂癥的分類。首先利用PCC構(gòu)建原始腦網(wǎng)絡并結(jié)合自注意力機制[13]構(gòu)建自適應腦網(wǎng)絡,提取腦節(jié)點局部特征;然后將自適應腦網(wǎng)絡作為鄰接矩陣和腦節(jié)點局部特征輸入GCN進行圖編碼特征的學習;最后再將圖編碼特征輸入圖原型網(wǎng)絡(Graph encoding Prototype Network, GEPN)進行小樣本學習并完成對精神分裂癥的分類。將本文提出的模型在無自適應腦網(wǎng)絡和少量數(shù)據(jù)情況下進行對比實驗,并在精神分裂癥數(shù)據(jù)集上對模型的分類性能進行評估。
1 基于圖編碼與小樣本學習的模型框架
本文提出一種基于圖編碼與小樣本學習的分析診斷模型,模型總框架如圖1所示,主要包括四個部分,分別是:1)基于自注意力機制的自適應腦網(wǎng)絡;2)基于GCN的圖編碼特征;3)劃分圖編碼特征;4)基于GEPN的小樣本學習。
1.1 基于自注意力機制的自適應腦網(wǎng)絡
自適應腦網(wǎng)絡構(gòu)建過程如圖2所示。
目前,一些研究采用PCC功能連接指標構(gòu)建腦網(wǎng)絡作為圖模型的鄰接矩陣。PCC用于衡量兩個數(shù)據(jù)集合是否位于一條線上,可衡量定距變量間的線性關(guān)系,取值范圍是[-1, 1],其計算式為:
(1)
其中,x = (x1,x2,…,xn)、y = (y1,y2,…,yn)分別表示兩個通道的電極信號序列,COV(x,y)表示協(xié)方差,σx和σy表示兩個電極信號序列的標準差。
在此基礎上,本文利用PCC構(gòu)建原始腦網(wǎng)絡X,為使腦節(jié)點之間的關(guān)系有所變化,將原始腦網(wǎng)絡X與自注意力機制相結(jié)合,構(gòu)建自適應腦網(wǎng)絡。自注意力機制計算式為:
(2)
其中,Q、K、V三個矩陣是由其對應的參數(shù)矩陣WQ、WK、WV與X相乘所得,dk表示腦節(jié)點通道維度。
1.2 基于GCN的圖編碼特征
如圖3所示為圖編碼特征的構(gòu)建過程。
自適應腦網(wǎng)絡的構(gòu)建過程已在圖2中有所展示,故圖3中對該步驟進行了簡化處理。
1.2.1 局部腦節(jié)點特征融合
首先,在處理好的EEG數(shù)據(jù)中提取腦節(jié)點的時域特征和頻域特征[14]。其中,時域特征包括平均絕對值、方差、最小值、均方根、最大值、標準差、絕對標準偏差值、峰值、偏斜、峰度;頻域特征包括功率譜密度,圖2中的橙色虛線框為時域特征與頻域特征的結(jié)合。
其次,在構(gòu)建好自適應腦網(wǎng)絡的基礎上,從自適應腦網(wǎng)絡中提取腦網(wǎng)絡特征,腦網(wǎng)絡特征隨著自適應腦網(wǎng)絡的變化而變化。其中,腦網(wǎng)絡特征包括度中心性、節(jié)點介數(shù)、聚類系數(shù)、局部效率。提取腦網(wǎng)絡特征時,選擇步長2%和稀疏度范圍20%~40%,計算該范圍內(nèi)每個腦節(jié)點的曲線下面積值作為腦網(wǎng)絡特征,圖3中的紅色虛線框為腦網(wǎng)絡特征。
最后,為了構(gòu)建腦節(jié)點特征的多樣性,將時域特征、頻域特征和腦網(wǎng)絡特征進行拼接融合,形成局部腦節(jié)點特征,圖3中的綠色虛線框為融合特征。
1.2.2 圖編碼特征
利用GCN學習圖編碼特征,本文采用無向完全圖并且將自環(huán)關(guān)系考慮在內(nèi)。將融合后的局部腦節(jié)點特征作為GCN圖信息中的結(jié)點特征,將所構(gòu)建的自適應腦網(wǎng)絡作為GCN圖信息中的鄰接矩陣。GCN中卷積層的運算式為:
(3)
其中, = D + IN, = A + IN,IN表示單位矩陣。D矩陣表示節(jié)點的度矩陣,即每個節(jié)點的度;A表示鄰接矩陣(即自適應腦網(wǎng)絡),H (l)表示第l層的特征矩陣,當l為0時,H 0表示局部腦節(jié)點特征;W (l)表示學習的權(quán)重。σ(?)表示激活函數(shù)ReLUctant(ReLU)。
1.3 劃分圖編碼特征
在進行小樣本學習訓練之前,需要將所提取的圖編碼特征劃分為小樣本學習的訓練集(左框)和測試集(右框),再將二者進一步劃分為支持集(左虛框)和查詢集(右虛框),如圖4所示。
將全部數(shù)據(jù)按照一定的比例劃分為GCN的訓練集和測試集,按照上述過程進行GCN分類,當分類準確率達到70%時,保存其全連層的結(jié)果作為圖編碼特征。再根據(jù)實驗需求劃分為小樣本學習的訓練集和測試集圖編碼特征,作為后續(xù)小樣本學習的訓練輸入。
1.4 基于GEPN的小樣本學習
獲取圖編碼特征后,將圖編碼特征作為GEPN的輸入,經(jīng)過全連層輸出映射特征,并根據(jù)映射特征進行雙損失約束訓練,GEPN的構(gòu)建過程和雙損失約束如圖5和圖6所示。其中,構(gòu)建自適應腦網(wǎng)絡、圖編碼特征的詳細過程已在圖2和圖3中予以展示,故圖5中對該步驟進行了簡化處理。
1.4.1 構(gòu)建GEPN
在GEPN中,首先將所獲取的圖編碼特征依次經(jīng)過卷積運算、批標準化運算和ReLU激活函數(shù)映射并重復4次,然后運用兩個全連層進行映射,最后進行分類訓練和預測。其中,卷積運算的卷積核維度均為1×1。
1.4.2 雙損失約束
在普通的網(wǎng)絡中,經(jīng)過全連層之后會直接進行概率計算進而進行分類的判斷。GEPN則有所不同,GEPN是根據(jù)查詢集進行分類效果的判斷。GEPN通過雙損失函數(shù)對模型進行約束,需要確保同類別之間的映射特征空間距離其“類心空間”較小,不同類別之間的映射特征空間距離其“類心空間”較大。
如圖6所示,進行模型訓練時,首先,將訓練集中支持集和查詢集的每個數(shù)據(jù)輸入到網(wǎng)絡中(經(jīng)過全連層2之后,每個數(shù)據(jù)可得到最終的“映射特征”);其次,根據(jù)加權(quán)平均計算,進而算出同類別支持集的“映射特征”SCi的“類心空間”SC;再次,最大化不同“類心空間”SC的距離作為模型訓練的第一個損失,即Loss1;最后,計算查詢集中每個數(shù)據(jù)“查詢特征”Qj到多個“類心空間”SC的距離,即Loss2(每個查詢數(shù)據(jù)所屬類別為離它最近的“類心空間”所屬的類別,即最大概率的類別)。測試模型時,也需要使用支持集和查詢集,除了參數(shù)不更新外,其他過程一樣。
Loss1表示均方誤差損失函數(shù),Loss2表示交叉熵損失函數(shù)。yjc表示當前觀察樣本數(shù)據(jù)是否為其真實類別,當“查詢特征”Qj屬于其真實類別C時,yjc為1,否則為0;Pjc表示當前觀察樣本數(shù)據(jù)j屬于類別C的預測概率,即“查詢特征”Qj預測為真實類別的概率;k表示每個類別的樣本數(shù)量。因此,模型訓練的總損失可表示為:
(4)
2 實驗與分析
2.1 數(shù)據(jù)說明
本文實驗選用的數(shù)據(jù)為UMN數(shù)據(jù)庫[15-17]的靜息態(tài)EEG公共數(shù)據(jù)集,分別為強迫癥數(shù)據(jù)集、抑郁癥數(shù)據(jù)集、帕金森數(shù)據(jù)集,三個數(shù)據(jù)集的電極都超過64個;還有從北京回龍觀醫(yī)院采集的精神分裂癥患者及其健康被試的靜息態(tài)EEG數(shù)據(jù)集,數(shù)據(jù)均有59個電極。
2.2 數(shù)據(jù)預處理
不同的數(shù)據(jù)之間可能存在噪聲和量綱上的差異,因此,先對每個數(shù)據(jù)進行500 Hz頻率的采樣,接著用EEGLAB剔除眼電等異常數(shù)據(jù)并刪除壞段,然后將數(shù)據(jù)按照每個通道(電極)進行標準化,最后選擇40秒到200秒之間的數(shù)據(jù)段。為了使不同數(shù)據(jù)的通道相同,本文采用56個相同的通道進行實驗。
2.3 實驗設計
本文中的EEG數(shù)據(jù)有56個腦節(jié)點(即56個通道),故最終構(gòu)建的自適應腦網(wǎng)絡維度為56×56,每個通道數(shù)據(jù)的長度均為160 s,采樣頻率為500 Hz,每個腦節(jié)點有15個特征。
在進行小樣本學習之前,將預處理后數(shù)據(jù)的70%作為訓練集,30%作為測試集,再通過GCN進行分類,當測試集的分類準確率達到70%時,提取出全連層所得結(jié)果作為圖編碼特征。將圖編碼特征分為訓練集圖編碼特征和測試集圖編碼特征,訓練集和測試集中都包含支持集圖編碼特征和查詢集圖編碼特征。
采用3-way k-shot進行小樣本學習訓練,其中,3表示訓練集圖編碼特征類別數(shù)量,即強迫癥、抑郁癥和帕金森,k表示小樣本學習中每個類別的數(shù)量,可取3、5、10,即支持集在3個類別中隨機選擇k個數(shù)據(jù)進行學習,將其余的同類數(shù)據(jù)作為查詢集進行驗證。采用2-way k-shot進行測試,2表示測試集包括精神分裂癥患者及其健康被試兩個類別數(shù)據(jù)圖編碼特征,k表示這兩個類別的支持集圖編碼特征的數(shù)量,與訓練時保持一致,即訓練和測試的k值一樣。
2.4 實驗評估指標
本文提出的模型采用不同的評估指標,分別有:正確率(Accuracy),表示正確分類的樣本數(shù)占總樣本數(shù)的比例;精確率(Precision),表示正確預測為正例的樣本數(shù)占預測為正例樣本數(shù)的比例;召回率(Recall),表示正確預測為正例的樣本數(shù)占實際為正例樣本數(shù)的比例;F1分數(shù)(F1-Score),表示綜合考慮精確率和召回率的平衡性,是精確率和召回率的調(diào)和平均值。計算式分別如(5)至(8)所示:
(5)
(6)
(7)
(8)
其中,TP表示真正例(True Positive),即預測和真實均為精神分裂癥患者;TN表示真負例(True Negative),即預測為精神分裂癥患者,真實為健康被試;FP表示假正例(False Positive),即預測和真實均為健康被試;FN表示假負例(False Negative),即預測為健康被試,真實為精神分裂癥患者。
2.5 實驗結(jié)果分析與結(jié)論
k分別取3、5、10進行訓練和測試,其評估指標如表1所示。
由表1可知,隨著k值的增加(即每個類別訓練樣本和測試樣本的增加),4個指標都有所提高。當k為10即每個類別的支持集為10個樣本時,其正確率、精確率、召回率、F1分數(shù)都為最高,分別為0.834 3、0.932 4、0.741 9、0.826 3。實驗結(jié)果表明,本文提出的基于圖編碼與小樣本學習的分析診斷模型在樣本數(shù)據(jù)很少的情況下仍可以很好地完成精神分裂癥患者的判別,為那些想要在樣本數(shù)據(jù)缺失情況下獲得較高精神分裂癥分類準確率的研究人員提供參考。
3 結(jié) 論
本文針對圖論神經(jīng)網(wǎng)絡構(gòu)建腦網(wǎng)絡后不再變化以及對數(shù)據(jù)量的依賴問題,提出一種基于圖編碼與小樣本學習的分析診斷模型。通過自注意力機制構(gòu)建自適應腦網(wǎng)絡來解決腦網(wǎng)絡不變的問題,構(gòu)建GCN提取圖編碼特征和對GEPN進行分類,緩解了深度學習網(wǎng)絡對數(shù)據(jù)的依賴,解決了未見過數(shù)據(jù)的分類問題,泛化能力較強。實驗結(jié)果證明了本文所提模型的有效性,在未來的工作中將繼續(xù)利用其他圖論網(wǎng)絡和其他基于度量的小樣本學習方式進行實驗。
參考文獻:
[1] LI Z J,ZHANG G Y,WANG L B,et al. Emotion Recognition Using Spatial-temporal EEG Features through Convolutional Graph Attention Network [J/OL].https://iopscience.iop.org/article/10.1088/1741-2552/acb79e.
[2] ZHU C,TAN Y,YANG S Q,et al. Temporal Dynamic Synchronous Functional Brain Network for Schizophrenia Diagnosis and Lateralization Analysis [J/OL]. arXiv:2304.01347v4 [q-bio.NC].[2023-07-23].https://arxiv.org/abs/2304.01347.
[3] ZHU Y Q,CUI H J,HE L F,et al. Joint Embedding of Structural and Functional Brain Networks with Graph Neural Networks for Mental Illness Diagnosis [J/OL].Annual International Conference of the IEEE Engineering in Medicine and Biology Society,2022[2023-08-05].https://pubmed.ncbi.nlm.nih.gov/36085703/.
[4] CHEN X Y,ZHOU J,KE P F,et al. Classification of Schizophrenia Patients Using a Graph Convolutional Network: A Combined Functional MRI and Connectomics Analysis [J/OL].https://doi.org/10.1016/j.bspc.2022.104293.
[5] LI W,WANG H,ZHUANG L H,et al. GCNS-MI: EEG Recognition of Depression Based on Graph Mutual Information Maximization [EB/OL].[2023-07-09].https://papers.ssrn.com/sol3/papers.cfm?abstract_id=4000327Available at SSRN 4000327.
[6] LEI D,QIN K,PINAYA W H L,et al. Graph Convolutional Networks Reveal Network-level Functional Dysconnectivity in Schizophrenia [J].Schizophrenia Bulletin,2022,48(4):881-892.
[7] AN S,KIM S,CHIKONTWE P,et al. Few-shot Relation Learning with Attention for EEG-based Motor Imagery Classification [C]//2020 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). Las Vegas:IEEE,2020:10933-10938.
[8] CRISOSTOMI D,ANTONELLI S,MAIORCA V,et al. Metric Based Few-Shot Graph Classification [EB/OL].[2023-07-06].https://proceedings.mlr.press/v198/crisostomi22a.
[9] SNELL J,SWERSKY K,ZEMEL R. Prototypical Networks for Few-shot Learning [C]//Proceedings of the 31st International Conference on Neural Information Processing Systems. [S.l.]:Curran Associates Inc.,2017:4080-4090.
[10] GAO Y K,LIU A P,WANG L L,et al. A Self-Interpretable Deep Learning Model for Seizure Prediction Using a Multi-Scale Prototypical Part Network [J].IEEE Transactions on Neural Systems and Rehabilitation Engineering,2023,31:1847-1856.
[11] HU J L,CAO L J,LI T H,et al. GAT-LI: a Graph Attention Network Based Learning and Interpreting Method for Functional Brain Network Classification [J].BMC Bioinformatics,2021,22(1):1-20.
[12] POLAT H. Brain Functional Connectivity Based on Phase Lag Index of Electroencephalography for Automated Diagnosis of Schizophrenia Using Residual Neural Networks [J/OL].Journal of Applied Clinical Medical Physics,2023,24(7)[2023-07-20].https://doi.org/10.1002/acm2.14039.
[13] SHEN L,SUN M,LI Q,et al. Multiscale Temporal Self-attention and Dynamical Graph Convolution Hybrid Network for EEG-based Stereogram Recognition [J/OL].arXiv:2302.10428v1 [cs.LG].[2023-07-20].https://arxiv.org/pdf/2302.10428.pdf.
[14] 張格,林嵐,吳水才.基于腦網(wǎng)絡的圖卷積神經(jīng)網(wǎng)絡在腦疾病中的研究進展 [J].醫(yī)療衛(wèi)生裝備,2021,42(8):85-92.
[15] ALBRECHT M A,WALTZ J A,CAVANAGH J F,et al. Increased Conflict-induced Slowing, But No Differences in Conflict-induced Positive or Negative Prediction Error Learning in Patients with schizophrenia [J].Neuropsychologia,2018,123:131-140.
[16] CAVANAGH J F,BISMARK A W,F(xiàn)RANK M J,et al. Multiple Dissociations between Comorbid Depression and Anxiety on Reward and Punishment Processing: Evidence from Computationally Informed EEG [J].Computational Psychiatry,2019,3:1-17.
[17] GRüNDLER T O J,CAVANAGH J F,F(xiàn)IGUEROA C M,et al. Task-related Dissociation in ERN Amplitude as a Function of Obsessive–compulsive Symptoms [J].Neuropsychologia,2009,47(8-9):1978-1987.
作者簡介:符永燦(1997—),男,漢族,廣東廣州人,碩士研究生在讀,研究方向:智能數(shù)據(jù)分析與應用。
收稿日期:2023-09-20
A Method for Analyzing Schizophrenia Based on Graph Encoding and Few-Shot Learning
FU Yongchan, YIN Guimei, SHENG Zhilin
(College of Computer Science and Technology, Taiyuan Normal University, Jinzhong 030619, China)
Abstract: In research on functional brain diseases based on graph neural networks, the constructed brain networks remain static and typically require a large amount of data for modeling and training. To address these two problems, this paper proposes an analysis and diagnostic model based on graph encoding and Few-shot learning. The model utilizes Pearson correlation coefficient and Self-Attention mechanism to construct an adaptive brain network, and takes temporal features, frequency domain features, and brain network features as inputs to a graph convolutional neural network, thereby dynamically learning the adaptive brain network and graph encoding features. The graph encoding features are used as inputs to a graph prototype network for Few-shot learning and classification. Applying this model to the classification and diagnosis of schizophrenia, experimental results demonstrate an accuracy rate of 83.4% in schizophrenia identification. This provides a novel perspective and approach for brain network research, and opens up new directions for the application of Few-shot learning in schizophrenia studies.
Keywords: adaptive brain network; graph encoding feature; Few-Shot Learning; graph prototype network; schizophrenia