基于圖注意力深度神經(jīng)網(wǎng)絡(luò)的癲癇腦電尖波識別

崔昊天，宋 森,2,3

(1．清華大學 腦與智能實驗室及生物醫(yī)學工程系，北京 100084； 2．北京未來芯片高精尖中心及清華大學類腦計算研究中心，北京 100084； 3．清華-IDG/麥戈文腦科學聯(lián)合研究院，北京 100084)

腦電(electroencephalograph, EEG)是癲癇診斷和治療評價的重要臨床手段[1]。腦電中的棘波、尖波、慢波等是臨床中確認癲癇發(fā)生和癲癇病灶定位的重要指標。盡管費時費力，人工識別依然是臨床中分析腦電記錄的常用方法[2-5]。

為了實現(xiàn)腦電自動識別分析，相關(guān)研究者提出了多種識別算法?？傮w上可以劃分為以下幾類：模板匹配[2, 6]、時頻譜分析[7-9]和人工神經(jīng)網(wǎng)絡(luò)方法[5, 10-11]。這些方法對尖波的自動檢測取得了進展，但存在著假陽性高及需要人工選擇特征的缺點。如Gotman[12]通過篩選特征后降低識別偽差概率，但假陽性率仍達10%。因此算法很難對完全正常不含尖波的腦電記錄作出準確判斷，影響臨床的應(yīng)用。

簡言之，由于腦電信號存在幅度微弱、信噪比較低、偽影干擾多、多受試和多次測試間的變化大等難點，傳統(tǒng)上基于人工特征選擇的方法不足以得到有效和能泛化的結(jié)果。因此，近年來以深度學習為代表的機器學習方法轉(zhuǎn)而完全從數(shù)據(jù)出發(fā)[13-15]，帶來了解決上述難點的新的可能。然而考察已報道的深度學習方法，處理多通道的腦電數(shù)據(jù)仍存在不足。其中一類不考慮通道間的信息，只用到通道內(nèi)信息進行識別[13]；另一類利用多通道信息，如強制遵循數(shù)據(jù)中既定的通道排序進行卷積，忽略了腦電圖記錄中相鄰的通道并不代表其在生理或病理中的相關(guān)性這一事實[14-15]。實際上，相比按照電極的排列順序，有研究認為從信號中挖掘通道間的相關(guān)性更有效。例如Gotman等[16]和Wendling等[17]報道相干系數(shù)(coherence)和非線性相關(guān)系數(shù)(non linear correlation)可以作為衡量腦連接網(wǎng)絡(luò)(connectivity network)的方法。Douw等[18]分析發(fā)現(xiàn)癲癇病灶區(qū)域內(nèi)電極間的相位延遲指數(shù)(phase lag index)增大與癲癇發(fā)作有正相關(guān)關(guān)系。

基于上述分析，本文提出一種不依賴人工特征的圖注意力深度神經(jīng)網(wǎng)絡(luò)算法，能夠數(shù)據(jù)驅(qū)動地學習和利用電極通道間的關(guān)聯(lián)關(guān)系實現(xiàn)尖波識別。與以往方法不同，本方法將腦電數(shù)據(jù)建模為關(guān)系圖數(shù)據(jù)，即將各電極通道的記錄，建模為記錄時序信息的數(shù)據(jù)節(jié)點，而各節(jié)點之間的關(guān)系強弱由模型后續(xù)根據(jù)參數(shù)學習得出。在算法中，既能夠提取通道內(nèi)的多尺度時序特征，又能夠提取通道間的關(guān)聯(lián)關(guān)系。通過兩方面特征實現(xiàn)準確的尖波識別。

1 數(shù)據(jù)和方法

1.1 數(shù)據(jù)來源與形式

本研究所使用的數(shù)據(jù)來自清華大學附屬玉泉醫(yī)院癲癇中心，包含20組頭皮腦電記錄數(shù)據(jù)。數(shù)據(jù)采用國際標準10～20系統(tǒng)記錄，采樣率500 Hz；后經(jīng)專家標注出282次尖波事件，平均每次事件含有5.2個電極記錄到尖波，合計1482個正例(有尖波)樣本。

對于數(shù)據(jù)的預(yù)處理主要包括了濾波、歸一化和截取窗口3部分。針對尖波識別任務(wù)，首先采用3～70 Hz帶通FIR濾波器濾波，并降采樣至200 Hz；其次將各通道信號減去參考電極A1，A2的平均值，再除以單次記錄所有信號的標準差進行歸一化；之后，以窗口長度0.6 s，步長0.06 s進行滑動窗口截取。對于中心0.3 s尺度內(nèi)出現(xiàn)尖波事件的窗口，標注為正例樣本。于是得到本文使用的訓練集。

正式地，數(shù)據(jù)集的形式如下：

D={(X1,y1),...,(XN,yN)}

(1)

其中N代表總樣本數(shù)。二維矩陣數(shù)據(jù)Xi∈RE·T為單個樣本窗口的腦電信號，包含E個電極通道和T(=120，即0.6 s)個時間點的數(shù)據(jù)。二值向量yi∈{1,0}E為對應(yīng)每個電極通道上是否出現(xiàn)尖波的標注記錄。

最終數(shù)據(jù)集包含4482個窗口片段樣本，每個窗口含18個有效數(shù)據(jù)通道，經(jīng)統(tǒng)計，有尖波發(fā)生的通道占數(shù)據(jù)總量的14.06%。

1.2 算法概述

為解決腦電中尖波放電識別問題，本文提出一種端到端學習的深度神經(jīng)網(wǎng)絡(luò)算法。本算法由依次層級相連的3部分組成：1)卷積編碼層；2)圖注意力層；3)全連接輸出層。式(1)表述的固定長度窗口的多通道時序腦電信號作為算法輸入，依次經(jīng)過3部分計算，輸出對每個通道上是否有尖波的預(yù)測結(jié)果。

1.2.1 卷積編碼層(通道內(nèi))

卷積神經(jīng)網(wǎng)絡(luò)[19]利用多組共享的卷積核提取數(shù)據(jù)中的特征，形成輸出特征圖，具有很強的特征提取能力，在近年來引領(lǐng)了深度學習和計算機視覺技術(shù)的發(fā)展。本文首先使用多層卷積網(wǎng)絡(luò)提取腦電信號中時序維度上的形狀特征。對于一維卷積，其輸入為三維矩陣input∈RN·Cin·L，輸出為output∈RN·Cout·Lout，具體計算方法如下式表述：

(2)

其中weight和bias均為卷積核的可學習權(quán)重。在本文中首層的input為腦電窗口數(shù)據(jù)Xi∈RE·T，故N=E,Cin=1,L=T。在腦電信號處理中，Schirrmeister[14]指出腦電信號中包含了多種時間尺度的信息，適合用多尺度的卷積核提取特征。本文設(shè)計了3層變尺度的卷積網(wǎng)絡(luò)在時間維度上提取通道內(nèi)的各尺度特征，見于圖1中的卷積編碼層示意。其中第二層和第三層卷積分別對應(yīng)了原信號中約10 ms和40 ms的特征尺度，這一特征尺度經(jīng)驗性地包含了尖波上升下降沿發(fā)生的時間范圍。

1.2.2 圖注意力網(wǎng)絡(luò)層(通道間)

圖是一種高維的數(shù)據(jù)形式，由節(jié)點和描述節(jié)點間關(guān)系的連邊組成，誠如本文在引言中指出的，腦電數(shù)據(jù)各電極通道采集的數(shù)據(jù)間可以認為存在關(guān)聯(lián)關(guān)系。本文利用下述圖注意力網(wǎng)絡(luò)層提取各通道間的關(guān)聯(lián)關(guān)系作為特征提升后續(xù)尖波識別效果。

從左到右分別為卷積編碼層(通道內(nèi))，圖注意力層(通道間)，全連接輸出層

from left to right is the convolutional encoding layer (inner-channel), the graph attention layer (inter-channel), and the fully connected output layer

圖1模型結(jié)構(gòu)示意圖

Figure 1 The schematic diagram of the model

圖數(shù)據(jù)上的深度學習是現(xiàn)階段深度學習研究的熱點之一，其中Velickovic等[20]提出了一種由可學習的自注意力方法[21]刻畫圖上節(jié)點之間關(guān)聯(lián)關(guān)系的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。基于上述方法，本文中為了描繪通道間的相關(guān)關(guān)系，引入并改進了圖注意力網(wǎng)絡(luò)層，具體而言：圖注意力網(wǎng)絡(luò)的輸入為一組節(jié)點向量h={h1,h2,...,hN},hi∈RF。在本任務(wù)中此輸入即為卷積編碼層的輸出。對于節(jié)點向量，首先通過一個共享的線性變換W∈RF′·F，再通過一個共享的注意力函數(shù)a:RF′·RF′→R作用在向量對之間來計算注意力系數(shù)：

eij=a(Whi,Whj)

(3)

對于尖波識別，發(fā)現(xiàn)對于兩通道的腦電信號，其變化規(guī)律是否同步為一重要特征。因此，在原有圖注意力計算函數(shù)的基礎(chǔ)上做出如下改進：

eij=a[Whi,Whj,(WhieWhj)]

(4)

其中，e表示向量的按位相乘。在算法實現(xiàn)中函數(shù)a通過全連接神經(jīng)網(wǎng)絡(luò)實現(xiàn)。此注意力系數(shù)表征了節(jié)點j的特征對于節(jié)點i的關(guān)聯(lián)程度。為了使得在不同節(jié)點間此系數(shù)可比，這里利用softmax函數(shù)對其進行歸一化：

(5)

其中，Ni表示節(jié)點i的鄰接節(jié)點，本研究中認為各電極間均有潛在可能關(guān)聯(lián)，即Ni包含所有節(jié)點。

(6)

又經(jīng)實驗發(fā)現(xiàn)，引入多組并行的注意力系數(shù)能夠提高網(wǎng)絡(luò)學習的穩(wěn)定性和算法性能。故，最終圖注意力計算過程如下式，

(7)

其中‖表示向量的拼接。圖注意力網(wǎng)絡(luò)層的具體設(shè)置，如圖1中圖注意力層部分所示。在后續(xù)實驗中，均設(shè)置K=4。

本文首次利用圖注意力做通道間的關(guān)聯(lián)分析。一方面，圖注意力層能夠考慮到尖波特征在通道間是共同或同步發(fā)生的特征，使得尖波識別的準確率提升；另一方面得到的通道間的相互注意力數(shù)值，也可以作為通道節(jié)點間的一種相似性度量。由此得到的注意力關(guān)系圖，具有潛在的指示意義(見2.3)。

1.2.3 全連接輸出層

輸出層為兩層的全連接網(wǎng)絡(luò)。其輸入為圖注意力層的輸出向量，輸出為各個通道的類別分類概率(兩類：是否包含尖波)。其中全連接第一層輸出維度為10，激活函數(shù)為elu[22]。全連接第二層輸出維度為2，激活函數(shù)為softmax。

全連接層的計算過程使用同一組參數(shù)對每個通道的特征向量并行計算，通道間無特征共用。

1.3 訓練方法

上述整體網(wǎng)絡(luò)如圖1所示。本研究中使用預(yù)測概率和標注之間的交叉熵損失函數(shù)為目標進行訓練。選擇學習率為0.001的Adam[23]優(yōu)化方法進行優(yōu)化。每輪迭代使用64個樣本批處理。在訓練集上重復(fù)優(yōu)化迭代，至收斂后停止，此過程需要約600次重復(fù)。

2 結(jié)果與討論

2.1 性能評價

本實驗對于數(shù)據(jù)集均進行5折交叉檢驗，并使用準確度、敏感度和特異性3個指標衡量性能。其定義如下：

(8)

(9)

(10)

其中，T和N分別為正確和錯誤檢出，P和N分別為有和無尖波。

同時，引入SVM和BrainDecode兩種基線方法作為對比。SVM方法是利用樣本各窗口的數(shù)據(jù)，取各通道每0.05 s內(nèi)的能量均值作為特征輸入，由支持向量機輸出類別判斷。BrainDecode方法是Schirrmeister[14]提出的卷積神經(jīng)網(wǎng)絡(luò)方法在本任務(wù)形式下的變體。最終各方法的性能對比(表1)顯示均為5折交叉檢驗的均值結(jié)果。其中GADN表示本文提出的圖注意力深層神經(jīng)網(wǎng)絡(luò)。GADN_OnlyConv指在圖注意力網(wǎng)絡(luò)中只使用設(shè)計的卷積編碼層，不使用圖注意力層的模型。

表1 各模型性能對比

綜合表中信息可見，本文提出的圖注意力深度網(wǎng)絡(luò)在各個指標評價上均優(yōu)于對比方法。特別是其在敏感性唯一高于70%的同時，假陽性率(假陽性率=1-特異性)僅約為3%。另外對交叉檢驗的5組數(shù)據(jù)進行顯著性t檢驗發(fā)現(xiàn)，GADN_OnlyConv與GADN相比準確度和敏感度明顯下降(P值均小于0.01)，說明圖注意力層得到的通道間的關(guān)聯(lián)特征對于尖波識別任務(wù)有明顯意義。同時，在測試中發(fā)現(xiàn)GADN對正向和負向的尖波均能做出識別。

2.2 圖注意力層的作用分析

為了直觀檢視GADN模型中圖注意力的作用，本文進行了如下實驗：選擇測試數(shù)據(jù)集(共896個樣本)上的腦電數(shù)據(jù)通道中不含尖波的背景通道進行數(shù)據(jù)消除(通道信號置0)，再將消除后的數(shù)據(jù)輸入模型進行計算。分別消除0個至9個通道，考察模型的敏感度變化。值得注意的是，由于GADN中的卷積編碼層完全作用在通道內(nèi)，于是對于未被改變的正例通道，卷積編碼層的輸出不會發(fā)生變化。因此，在分析實驗結(jié)果時，敏感度的變化可以認為完全反映了圖注意力網(wǎng)絡(luò)在通道間信息改變時的輸出變化。

實驗結(jié)果見圖2。其中GADN_OnlyConv只有通道內(nèi)特征，其敏感度不會因背景通道去除受影響，這里與GADN形成對比。觀察發(fā)現(xiàn)，在逐漸去除背景通道時，GADN輸出的敏感度明顯上升約17%。換言之，圖注意力層在去除背景通道信息時，因缺失通道間輸入并不發(fā)揮明顯作用，此時與通道信息完整時相比，模型敏感度顯著升高。

以上實驗現(xiàn)象說明，全通道輸入的正常情況下，GADN中的卷積編碼層(通道內(nèi))和圖注意力層(通道間)有互補作用，圖注意力層起到對備選尖波的明顯篩選作用。卷積層的敏感性高特異性低，首先會選出足夠多可能為尖波的備選(敏感度接近90%)，之后圖注意力層根據(jù)多個通道間的綜合信息減少尖波的輸出，進而實現(xiàn)更高的特異性。以上再次說明了通道間關(guān)聯(lián)特征的重要意義，以及圖注意力層優(yōu)異的關(guān)聯(lián)特征提取效果。

2.3 對電極間注意力關(guān)系的解釋

圖注意力網(wǎng)絡(luò)中得到的注意力系數(shù)在尖波識別中描繪了通道間的關(guān)聯(lián)特征，自然地可將其視作一種電極通道間的距離度量。為了探究此度量的應(yīng)用意義，引入如下實驗：本文選取了一組典型癲癇間期的腦電記錄，共60 s。根據(jù)醫(yī)生標注，此段記錄中出現(xiàn)了多次重復(fù)的尖波，集中發(fā)生在T3、T5、C3和F3電極。將GADN模型應(yīng)用于本段數(shù)據(jù)的尖波識別，并在計算過程中記錄注意力系數(shù)。考察在每次尖波檢出時刻的注意力系數(shù)，求其均值以此作為各電極間的距離度量。通過t-sne[24]投影到2維平面得到圖3。

圖2 敏感度隨通道去除數(shù)目變化折線圖Figure 2 Sensitivity line chart as the number of channels removed increases

從圖3中可以看出，在由注意力畫出的電極通道關(guān)系圖中，發(fā)生尖波的電極明顯地聚集，并分離于背景電極?？梢哉J為，圖注意力網(wǎng)絡(luò)通過電極間的注意力關(guān)系描繪了和任務(wù)(尖波識別)相關(guān)的距離度量。由于尖波的發(fā)生對于判斷電極所在區(qū)域是否為癲癇病灶有重要意義。GADN通過參數(shù)學習得到的上述注意力關(guān)系投射，有潛力描繪出尖波發(fā)生電極的聚集，對臨床診斷中的病灶定位有潛在的重要意義。

距離由注意力獲得，觀察到含尖波的電極(紅色)有明顯的聚集

圖3注意力關(guān)系圖-節(jié)點對應(yīng)電極
Figure 3 Attention relation graph-Nodes represent electrodes

3 結(jié)論

現(xiàn)有的腦電尖波識別方法多關(guān)注于挖掘電極上信號的特征，對于電極之間的聯(lián)合分析或特征學習少見報道。本工作首次利用和改進圖上的圖注意力神經(jīng)網(wǎng)絡(luò)，并首次提出了一種能夠聯(lián)合分析多電極的深度神經(jīng)網(wǎng)絡(luò)尖波識別方法。在與多種見于報道的方法對比中，實現(xiàn)了領(lǐng)先的準確率，敏感度。同時本算法能夠得到和尖波放電明顯相關(guān)的電極關(guān)系圖，對臨床診斷分析有潛在的重要指示意義。

致謝：感謝清華大學附屬玉泉醫(yī)院癲癇中心周文靜主任和劉一鷗醫(yī)生提供實驗所用頭皮腦電數(shù)據(jù)，以及相關(guān)標注。在本文的寫作中，感謝清華大學醫(yī)學院洪波教授多次在腦電與癲癇領(lǐng)域知識方面給予的無私指導。