應(yīng)用多尺度混合卷積網(wǎng)絡(luò)的腦電信號特征提取與識別

王蒙昊, 方慧娟, 龔亨翔, 羅繼亮

(1. 華僑大學(xué) 信息科學(xué)與工程學(xué)院, 福建 廈門361021;2. 華僑大學(xué) 福建省電機(jī)控制與系統(tǒng)優(yōu)化調(diào)度工程技術(shù)研究中心, 福建 廈門 361021)

腦機(jī)接口(BCI)通過解碼人類思考時的腦神經(jīng)活動信息,建立大腦與外界之間的直接信息傳輸通道[1].BCI是一項有潛力改變世界的尖端技術(shù),具有十分廣泛的應(yīng)用.在醫(yī)療方面,BCI可以幫助中風(fēng)患者、身體殘疾的人[2];在非醫(yī)療方面,BCI可以控制小車、機(jī)器人[3].由于實現(xiàn)BCI技術(shù)的關(guān)鍵在于腦電信號(EEG)的高識別率,因此,BCI研究的首要任務(wù)是腦電信號特征的提取和識別[4].

近年來,對腦電信號特征的有效提取以及分類的研究也越來越深入.研究主要分為機(jī)器傳統(tǒng)學(xué)習(xí)方法和機(jī)器深度學(xué)習(xí)方法.機(jī)器傳統(tǒng)學(xué)習(xí)方法依賴特定的領(lǐng)域知識,通常需要使用手工特征提取器(通道濾波共空間(FBCSP)[5]、小波變換[6]和快速傅里葉變換等),將提取的特征輸入到魯棒性較高的線性判別器(LDA)或者支持向量機(jī)(SVM)中進(jìn)行分類.

機(jī)器深度學(xué)習(xí)方法不但具有比傳統(tǒng)方法更強(qiáng)大的擬合能力,還可以自動提取腦電信號特征.Lawhern等[7]提出了EEGNet模型,使用卷積神經(jīng)網(wǎng)絡(luò)(CNN)模塊[8]提取空間和時域特征,提取能力更強(qiáng),魯棒性更好.Ingolfsson等[9]提出了EEG-TCNet模型,將一種專門為時間序列設(shè)計的卷積神經(jīng)網(wǎng)絡(luò)TCNet[10]模塊與CNN模塊相結(jié)合,增強(qiáng)模型的時域提取能力,達(dá)到更好的效果.Mane等[11]提出FBCNet模型,使用多種不同截止頻率的低濾波器提取不同維度的信息,以增強(qiáng)模型的頻域提取能力.Song 等[12]提出EEG-Conformer模型,將CNN模塊與通道注意力機(jī)制(SE)模塊結(jié)合,增強(qiáng)模型空域與時域特征提取能力.此外,文獻(xiàn)[13-15]還提出通訊信息進(jìn)程(CSP)模塊與CNN模塊的結(jié)合、長短期記憶(LSTM)模塊與CNN模塊的結(jié)合的模型.

以上研究增強(qiáng)了時-頻-空域的特征提取能力,主要圍繞CNN+其他模塊.考慮到腦電信號的個體和時間差異性,腦電信號相關(guān)的信息會出現(xiàn)在頻譜的多種波段上,每層僅使用單一大小的卷積核提取特征,會丟失一些有用的特征.如果能使用多種不同大小的卷積核,并引入新穎的特征提取架構(gòu),有望進(jìn)一步提高腦電信號特征提取和識別能力.本文應(yīng)用多尺度混合卷積網(wǎng)絡(luò)的腦電信號特征提取與識別.

1 EEG-MSTNet模型

1.1 總體架構(gòu)

EEG-MSTNet模型主要由3個模塊構(gòu)成：多尺度卷積(MCNN)模塊、SE模塊和時域殘差(TRN)模塊.EEG-MSTNet模型總體架構(gòu),如圖1所示.圖1中：BN為批正則化層;ELU為指數(shù)線性單元激活層;Pool為池化層;Lambda為函數(shù);Dense為全連接操作.

圖1 EEG-MSTNet模型總體架構(gòu)Fig.1 Overall structure of EEG-MSTNet model

首先,通過4組并行的卷積模塊(即多尺度卷積1)將EEG信號從低緯度的信號編碼到高緯度的信號,并將拼接到一起的信號送入下一個模塊.其次,通過核的大小與通道數(shù)相關(guān)的深度卷積沿通道方向卷積高維信號.最后,再用4組可分離的2D卷積(即多尺度卷積2)進(jìn)一步提取特征.

輸出的時間序列特征包含時-頻-空3個維度豐富的信息,將其送入到SE模塊,突出時間序列中最重要的通道信息,提升模型學(xué)習(xí)效率同時降低特征冗余.通過TRN模塊,提取出更具有判別性的高維時域特征,對信號進(jìn)行分類.

整體網(wǎng)絡(luò)的參數(shù)設(shè)置,如表1所示.表1中：大部分參數(shù)是根據(jù)實驗效果設(shè)定的最優(yōu)參數(shù);小部分參數(shù)(如多尺度卷積核大小)結(jié)合了對頻率域的分析和實驗效果而設(shè)置的參數(shù);Softmax為函數(shù).

表1 EEG-MSTNet模型的參數(shù)Tab.1 Parameters of EEG-MSTNet model

1.2 數(shù)據(jù)預(yù)處理和輸入特征信息

原始的MI-EEG模型信號沒有經(jīng)過任何預(yù)處理,將其直接輸入到EEG-MSTNet模型中.根據(jù)標(biāo)簽標(biāo)的每個開始的時間點(diǎn),將session數(shù)據(jù)切分成多個trial數(shù)據(jù).輸入模型的trial數(shù)據(jù),xi∈RC×T,其中,C為輸入腦電信號的通道數(shù);T=t×f代表了每個EEG信號的采樣點(diǎn)個數(shù),t為運(yùn)動想象切分的持續(xù)時間,f代表采樣率.基于運(yùn)動想象分類任務(wù)可以被定義為建立x和相應(yīng)類別y之間的映射,模型的目標(biāo)是對訓(xùn)練集{x,y}的學(xué)習(xí),盡可能擬合該映射.對于BCI-Ⅳ-2a數(shù)據(jù)集,每個trial數(shù)據(jù)取1.5～6.0 s的數(shù)據(jù),采樣頻率為250 Hz,故采樣點(diǎn)C為22,18個session共切分成5 184個trial數(shù)據(jù).

1.3 卷積神經(jīng)網(wǎng)絡(luò)模塊

CNN模塊是一類使用卷積操作且具有深度結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)的統(tǒng)稱,最早應(yīng)用于計算機(jī)視覺,解決了當(dāng)時圖像分類難的問題,現(xiàn)在也應(yīng)用于多種領(lǐng)域,其中,卷積成為模型提取特征基礎(chǔ)結(jié)構(gòu).1維卷積操作對腦電信號進(jìn)行提取,卷積操作把卷積核與輸入信號按位相乘并求和.這種操作可考慮周圍點(diǎn)對當(dāng)前點(diǎn)的影響,從而提取腦電信號的局部特征,卷積后的輸出特征為

(1)

式(1)中：x為信號的輸入特征;w為卷積核的權(quán)值;t0為信號當(dāng)前時刻;K為卷積核的大小.

將1維卷積操作拓展為矩陣操作,即

(2)

CNN模塊,如圖2所示.圖2中：Spatial Conv為空間卷積;Ave Pool是平均池化;Separable Conv為可分離卷積.CNN模塊主要包括卷積層、池化層、激活層,以及全連接層.卷積層的層與層之間通過局部連接、權(quán)值共享,大幅減少參數(shù)量的同時,也提升了模型的魯棒性.隨著對機(jī)器學(xué)習(xí)研究的不斷深入,現(xiàn)階段的CNN模塊增加了批正則化層和丟棄層加快模型的訓(xùn)練并減少過擬合,使用ELU激活層替代線性整流函數(shù)(RELU),使模型取得更好的訓(xùn)練效果.

圖2 卷積神經(jīng)網(wǎng)絡(luò)模塊Fig.2 Module of convolutional neural network

端到端的CNN模塊作為基線模型可以自動提取腦電信號的特征,提取分為3個部分.1) 使用F1個大小為(1,64)的卷積,主要提取頻譜特征;2) 使用D個大小為(C,1)的深度卷積,主要提取通道特征;3) 使用F1×D個大小為(1,16)的卷積,主要提取時域特征.基線模型在第2,3部分使用大小為(1,8)的平均池化減小的維度、ELU激活層;在第1,3部分使用丟棄層;在每個部分都使用批正則化層.

1.4 多尺度卷積模塊

MCNN包含了4組不同大小的卷積核,對信號提取特征,大尺度卷積核可以捕獲低頻率的整體特征,小尺度卷積核可以捕獲高頻率的局部特征,通過對局部和整體特征的整理,可以有效地增強(qiáng)卷積的特征提取能力,即

(3)

式(3)中：i為卷積第i的的分支;N為分支數(shù),N=4.

卷積神經(jīng)網(wǎng)絡(luò)第1,3層使用多尺度卷積,增強(qiáng)模型對頻域和時域信息的提取能力.多尺度卷積神經(jīng)網(wǎng)絡(luò)總體架構(gòu),如圖3所示.圖3中：Average表示取平均值.多尺度卷積1分別使用4組大小不同的卷積,其中,64取1/4的采樣率,可以提取4 Hz以上的頻譜特征.4組卷積可以分別提取4,8,16,32 Hz的頻譜信息,近似對應(yīng)腦電的θ,α,β波.由于卷積神經(jīng)網(wǎng)絡(luò)第2層后跟著一個(1,8)的平均池化,信號降采樣到32 Hz,故多尺度卷積2使用4組大小不同的卷積(圖3(b)),對(500.0,250.0,125.0,62.5 ms)信息進(jìn)行解碼,增強(qiáng)模型對不同時間信息特征的提取能力.

(a) 多尺度卷積1 (b) 多尺度卷積2圖3 多尺度卷積神經(jīng)網(wǎng)絡(luò)模型總體架構(gòu)Fig.3 Overall structure of multi-scale convolutional neural network model

1.5 通道注意力機(jī)制模塊

SE模塊啟發(fā)于卷積圖像領(lǐng)域2D SE模塊[16-17],能自適應(yīng)地關(guān)注重要的通道.SE模塊有兩個優(yōu)勢：1) 經(jīng)過MCNN模塊輸出的特征存在一定的冗余,SE模塊可以除去非必要的特征信息;2) 在少量增加參數(shù)量和計算量情況下,增加模型的特征提取能力,關(guān)注更加重要的特征.SE模塊主要包括壓縮和激發(fā)兩個部分.壓縮部分主要解決通道相關(guān)性的問題,通過對MCNN模塊提取的高維時序特征U進(jìn)行全局池化處理,將特征的時域維度T進(jìn)行壓縮,只留下通道維度m.第q個通道特征mq表達(dá)式為

(4)

式(4)中：Uq為第q個通道維度的時序特征;L為時序特征在時域維度的長度;Fa表示取均值函數(shù).

通過兩層全連接層(先縮小再還原至原通道數(shù)C)完成激活,再通過權(quán)重W生成所要的權(quán)重信息,其中,W是通過學(xué)習(xí)得到的,第q個通道權(quán)重特征Sq表達(dá)式為

Sq=Fex(mq,W)=δ(W2(W1mq)).

(5)

式(5)中：W1和W2分別為兩層全連接的權(quán)值矩陣;δ為sigmoid激活函數(shù);Fex為激發(fā)函數(shù).

將通道權(quán)重與原特征層進(jìn)行加權(quán)處理,得到突出重要通道信息的時間序列,即

fq=Fscale(Uq,Sq)=Uq×Sq.

(6)

式(6)中：Fscale表示相乘函數(shù).

1.6 時域殘差模塊

TRN模塊加深卷積的層數(shù),Chen等[18]發(fā)現(xiàn)加深網(wǎng)絡(luò)的層數(shù)到一定數(shù)量之后,準(zhǔn)確率反而下降了.殘差結(jié)構(gòu)通過添加網(wǎng)絡(luò)直連結(jié)構(gòu),可以改善網(wǎng)絡(luò)層數(shù)增加帶來的梯度消失和網(wǎng)絡(luò)退化問題,其表達(dá)式為

y=F(x)+x.

(7)

式(7)中：x為輸入特征,F(x)表示對x進(jìn)行卷積操作的輸出.

時域殘差模塊與殘差模塊有兩點(diǎn)不同：1) 時域殘差模塊采用因果卷積,阻止任何之前信息進(jìn)入到未來,這樣輸出時間t只有t及之前的時刻;2) 時域殘差模塊采用空洞卷積,感受野指數(shù)型地增加.時域殘差網(wǎng)絡(luò)架構(gòu),如圖4所示.圖4中：Dilated Causal Conv為空洞時域卷積;Optional表示可選.

圖4 時域殘差網(wǎng)絡(luò)架構(gòu)Fig.4 Network achitecture of temporal residual convolutional

感受野計算公式為

RFS=1+2(KT-1)(2a-1).

(8)

式(8)中：RFS為感受野;a為時域殘差塊的個數(shù);KT卷積核大小.

MSTNet模型使用2個時域殘差塊,每個殘差塊由32個卷積核大小為4的空洞卷積構(gòu)成,故經(jīng)時域殘差模塊輸出的特征的一個點(diǎn)可以感受19個元素.將SE模塊輸出的維度為(32,17)的時間序列輸入到時域殘差模塊后,最后一個點(diǎn)已經(jīng)感受到所有時間維度的信息,故只需將最后一個維度為(32,1)的高維時間特征送入到分類器(使用Softmax)的全連接層,對信號進(jìn)行分類.

2 實驗結(jié)果與分析

2.1 實驗數(shù)據(jù)集

采用BCI Competition Ⅳ-2a公開數(shù)據(jù)集[19]訓(xùn)練和評估EEG-MSTNet模型,它的數(shù)據(jù)量有限且數(shù)據(jù)包含在偽跡之中,因此,對腦電解碼來說是一個十分具有挑戰(zhàn)的任務(wù).數(shù)據(jù)共有5 184個trials,受試者有9名(每名受試者在不同天做了兩個session,每個session有6個runs,每個runs有48個trials,左手12個,右手12個,雙腳12個,舌頭12個),運(yùn)動想象3～6 s(從6 s十字架消失后,開始短暫休息).EEG通道有22個電極,EOG通道有3個電極,電極頻率為250 Hz,帶通濾波頻率為0.5～100.0 Hz.session1為訓(xùn)練集(有標(biāo)簽),session2為測試集.

2.2 實驗設(shè)置

EEG-MSTNet模型由GPU顯卡(NVIDIA RTX-3080Ti 12 GB)進(jìn)行訓(xùn)練和測試,采用TensorFlow框架.訓(xùn)練配置如下：權(quán)重初始化均采用Glorot歸一;優(yōu)化方法采用Adam;學(xué)習(xí)頻率設(shè)置為0.001;批大小為64;訓(xùn)練采用分類交叉熵?fù)p失函數(shù),對每名受試者分別訓(xùn)練10次,盡可能保證所有模型達(dá)到最好的泛化效果,次數(shù)設(shè)置為1 000,采用提前停止技術(shù),容忍度設(shè)為50(也就是當(dāng)模型連續(xù)經(jīng)過50次訓(xùn)練后,準(zhǔn)確率沒有繼續(xù)提升,停止訓(xùn)練);訓(xùn)練集和測試集劃分比例為1∶1.

2.3 評估方法

采用準(zhǔn)確率Pa和Kappa系數(shù)ζk更準(zhǔn)確客觀地評估模型.Pa的計算式為

(9)

式(9)中：Ti為第i類中預(yù)測正確的樣本數(shù);Ii為第i類的樣本數(shù);n為類別的數(shù)量.

ζk的計算式為

(10)

式(10)中：n是類別的數(shù)量;Pe是預(yù)測與實際一致性的概率,當(dāng)Pe為0.8～1.0時,概率幾乎完全一致,當(dāng)Pe為0.6～0.8時,概率高度一致.

2.4 消融實驗

為了探究EEG-MSTNet模型的有效性,采用消融實驗評估EEG-MSTNet模型中每個模塊的效用.EEG-MSTNet模型中每個模塊對性能的貢獻(xiàn),如表2所示.表2中：t為訓(xùn)練時間.

表2 EEG-MSTNet模型中每個模塊對性能的貢獻(xiàn)Tab.2 Contribution of each model in EEG-MSTNet model to performance of classification

由表2可知;None模塊(卷積神經(jīng)網(wǎng)絡(luò),基準(zhǔn)模塊)全面考慮時域、頻域和空域信息,平均準(zhǔn)確率為80.59%,與其相比,MCNN模塊的準(zhǔn)確率提升了1.24%.TRN模塊準(zhǔn)確率提升1.23%,SE模塊準(zhǔn)確率幾乎沒有提升;兩個模塊及以上準(zhǔn)確率均獲得較大的提升,SE+TRN模塊的準(zhǔn)確率為82.56%,準(zhǔn)確率比基準(zhǔn)模塊提升1.97%,說明SE模塊要連接其他模塊才能發(fā)揮SE模塊的效果;MCNN+SE+TRN模塊比基準(zhǔn)模塊準(zhǔn)確率提升2.94%,其最高分類準(zhǔn)確率為95.83%,平均準(zhǔn)確率為83.52%.

由表2還可知;相比于基準(zhǔn)模型,MCNN模塊增加1 792的參數(shù)量,SE模塊增加295的參數(shù)量,TRN模塊將增加16 056的參數(shù)量,這是由于高維特征圖的數(shù)量是低維特征圖的32倍,導(dǎo)致卷積層的參數(shù)量劇增,可以改用可分離卷積,大幅降低參數(shù)量.由于采用了提前停止技術(shù),每個模塊訓(xùn)練輪數(shù)不一致,采用訓(xùn)練總時間除以訓(xùn)練輪數(shù)作為訓(xùn)練時間,可以看到SE模塊對訓(xùn)練時間的影響較小,而MCNN模塊對訓(xùn)練時間的影響較大,MCNN+SE+TRN模塊的訓(xùn)練時間為0.240 s,較基準(zhǔn)模塊需要多消耗0.110 s,處于可接受的范圍.

2.5 對比實驗

表3 EEG-MSTNet模型與其他相似模型的平均準(zhǔn)確率比較Tab.3 Comparison of average accuracy of EEG-MSTNet modole with other similar modoles

EEG-MSTNet模型與近期研究模型的性能比較,如表4所示.由表4可知：采用3種模塊的EEG-MSTNet混合神經(jīng)網(wǎng)絡(luò)模型無論是在Pa還是ζk均優(yōu)于近期研究的模型.

表4 EEG-MSTNet模型與近期研究模型的性能比較Tab.4 Performance comparison of classification for the proposed model and recent research models

3 結(jié)束語

EEG-MSTNet模型可以端到端地進(jìn)行腦電信號的特征提取與識別,不需要手工提取特征,它主要由MCNN模塊、SE模塊和TRN模塊組成.MCNN模塊增強(qiáng)卷積神經(jīng)網(wǎng)絡(luò)的時頻域特征提取能力,將原始的EEG信號編碼為一個高維的時間序列.SE模塊通過壓縮與激發(fā)突出時間序列中最重要的通道信息.TRN模塊從時間序列中提取更高維的時域特征.消融實驗表明,EEG-MSTNet模型的每個模塊都對分類性能的提升做出了貢獻(xiàn),表明了這種混合架構(gòu)設(shè)計的有效性.雖然每個模塊會增加模型的參數(shù)量和訓(xùn)練時間,但在可接受的范圍內(nèi).值得注意的是,使用SE模塊后要連接其他模塊,才能發(fā)揮SE模塊的效果.同時,通過與其他模型進(jìn)行對比[24-25],EEG-MSTNet模型有很強(qiáng)的競爭力.雖然EEG-MSTNet模型在運(yùn)動想象領(lǐng)域進(jìn)行測試,但是其設(shè)計思路對腦電信號的其他領(lǐng)域甚至圖像語音領(lǐng)域都有很好的借鑒意義.