楊 俊 馬正敏 沈 韜* 陳壯飛 宋耀蓮
①(昆明理工大學(xué)信息工程與自動(dòng)化學(xué)院 昆明 650504)
②(昆明理工大學(xué)醫(yī)學(xué)院 昆明 650504)
腦信息解碼是實(shí)現(xiàn)腦機(jī)接口(Brain Computer Interface, BCI)[1]系統(tǒng)的關(guān)鍵環(huán)節(jié)。傳統(tǒng)腦電(ElectroEncephaloGraphy, EEG)分析需要加入人為經(jīng)驗(yàn)進(jìn)行特征定性,這使得BCI系統(tǒng)的實(shí)時(shí)性很難達(dá)到要求,同時(shí)也不能廣泛地應(yīng)用于不同人群。因此實(shí)時(shí)性和泛化能力成為制約在線BCI系統(tǒng)發(fā)展的瓶頸問題。在此背景下,相對(duì)于傳統(tǒng)方法,深度學(xué)習(xí)[2]具有整合預(yù)處理、特征提取和分類環(huán)節(jié)-簡化解碼過程,且能自動(dòng)根據(jù)數(shù)據(jù)優(yōu)化解碼結(jié)果的優(yōu)勢(shì)。
在運(yùn)動(dòng)想象(Motor Imagery, MI)腦信息解碼研究上,多通道數(shù)據(jù)固然能提供更為全面的信息,但也會(huì)引入冗余信息。因此利用多通道運(yùn)動(dòng)想象腦電信號(hào)信息解碼需要有目的地對(duì)通道信息進(jìn)行合理取舍。從現(xiàn)有的研究上看,對(duì)通道信息進(jìn)行特征提取的常用方法有主成分分析、獨(dú)立成分分析和共空間模式[3]。前兩種方法主要針對(duì)含有空間信息的2維數(shù)據(jù)矩陣做分解和重構(gòu)轉(zhuǎn)換,共空間模式則是將數(shù)據(jù)轉(zhuǎn)換到另一個(gè)新的空間,使得不同類別數(shù)據(jù)間的方差最大,同類數(shù)據(jù)的方差最小,從而突顯辨識(shí)信息提高分類精度。這些方法由于針對(duì)的不只是空間辨識(shí)度的獲取,在空間域特征的提取和空間域信息的融合上表現(xiàn)得并不出色。因此在空間特征提取上具有一定的局限性。對(duì)于多通道MI-EEG特征來說,捕獲多信道信號(hào)之間的相關(guān)性是至關(guān)重要的,而捕獲通道間關(guān)聯(lián)性的方法包括特征融合法[4,5]、多信道決策融合策略[6]和深度學(xué)習(xí)法[7]。從現(xiàn)有的方法來看,文獻(xiàn)[8]所提出的基于卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks, CNN)和長短時(shí)記憶模型(Long Short Term Memory, LSTM)并聯(lián)模型對(duì)空間特征進(jìn)行融合的方法是比較具有代表性的。利用多通道數(shù)據(jù)進(jìn)行腦電解碼,通道或通道組合的選取顯得尤為重要。首先需要對(duì)不同通道數(shù)據(jù)進(jìn)行分析,從這些通道信息中挖掘出具有辨識(shí)特性的子空間特征。大部分MI-EEG解碼研究僅針對(duì)目標(biāo)通道(C3, C4),忽略了非目標(biāo)通道中能反映腦活動(dòng)的信息。文獻(xiàn)[9]利用CNN對(duì)三通道和五通道腦電數(shù)據(jù)進(jìn)行特征提取。文獻(xiàn)[10]利用深度模型進(jìn)行通道選取下的MI-EEG解碼,該類方法基于2維數(shù)據(jù)結(jié)構(gòu)對(duì)時(shí)空特征進(jìn)行提取并選取有效的通道信息。文獻(xiàn)[11]利用空間濾波器和空間特征權(quán)值過濾冗余通道信息。文獻(xiàn)[12]和文獻(xiàn)[13]針對(duì)MI-EEG的時(shí)間和空間特征進(jìn)行融合解碼。這些方法都是基于對(duì)特征細(xì)分后再進(jìn)行加權(quán)融合,并沒有考慮對(duì)通道數(shù)據(jù)處理前數(shù)據(jù)空間結(jié)構(gòu)和時(shí)空局部特征組合表達(dá)的合理性。文獻(xiàn)[14]通過計(jì)算多通道關(guān)聯(lián)性分析解碼效率。基于上述分析,本文引入一種新的多通道卷積神經(jīng)網(wǎng)絡(luò)(MC-CNN)的解碼方式,該結(jié)構(gòu)能夠彌補(bǔ)通道位置信息在存儲(chǔ)時(shí)的空間關(guān)聯(lián)信息丟失問題,然后結(jié)合卷積神經(jīng)網(wǎng)絡(luò)在空間濾波上的強(qiáng)大功能,對(duì)目標(biāo)通道及其附近的35個(gè)通道MI-EEG數(shù)據(jù)進(jìn)行時(shí)空特征提取。該模型對(duì)經(jīng)過離散小波分解后的α, β頻段的數(shù)據(jù)進(jìn)行處理。卷積神經(jīng)網(wǎng)絡(luò)將多通道數(shù)據(jù)融合映射到幾個(gè)子空間特征向量上,然后利用這些提取出的具有辨識(shí)信息的融合特征進(jìn)行解碼。實(shí)驗(yàn)結(jié)果表明,基于多通道MI-EEG多元特征融合學(xué)習(xí)后的識(shí)別方法較其他方法預(yù)測(cè)性能更好。
在運(yùn)動(dòng)想象實(shí)驗(yàn)中,6名被試者參與了腦電信號(hào)的收集,并記錄了來自64個(gè)電極的腦電信號(hào)。被試者被要求進(jìn)行兩種類型的運(yùn)動(dòng)想象:左手,右手(圖1所示)。采集分為6個(gè)時(shí)段進(jìn)行,每個(gè)時(shí)段每個(gè)被試者進(jìn)行48次運(yùn)動(dòng)想象實(shí)驗(yàn)。因此,每個(gè)被試者總共有288次運(yùn)動(dòng)想象實(shí)驗(yàn)?zāi)X電序列被采集到。訓(xùn)練數(shù)據(jù)采用在左右手視覺提示線索出現(xiàn)后的2.5~4.5 s(共2.0 s)作為運(yùn)動(dòng)想象部分。
眾所周知,事件相關(guān)同步和去同步(Event Related Synchronization/Desynchronization, ERS/ERD)現(xiàn)象出現(xiàn)在特定的腦區(qū),因此在運(yùn)動(dòng)想象期間只有少數(shù)電極被激活(主要是C3, C4和Cz)。另外,不相關(guān)和冗余信道會(huì)增加計(jì)算量,降低識(shí)別精度。本次實(shí)驗(yàn)采用運(yùn)動(dòng)想象目標(biāo)通道C3, C4及其周圍的共35個(gè)通道,如圖2紅框所圍部分。
本文將對(duì)選出的多通道腦電信號(hào)在0.5~100 Hz進(jìn)行濾波,并以250 Hz的采樣頻率進(jìn)行采樣,再利用5階Butterworth帶通濾波器去除信號(hào)超過40 Hz的噪聲和在4 Hz以下的慢基線信號(hào)。然后利用離散小波變換獲取到與ERD/ERS相關(guān)的目標(biāo)頻段(即16~32 Hz和8~16 Hz頻段)進(jìn)行分析。離散小波變換經(jīng)過多級(jí)分解將原信號(hào)轉(zhuǎn)化為多個(gè)不同頻段的細(xì)節(jié)系數(shù)(detail coefficients)和1個(gè)低頻成分的近似系數(shù)(approximate coefficient)。本次研究針對(duì)空間特征進(jìn)行分析,因此本文針對(duì)每個(gè)通道組的MI-EEG數(shù)據(jù)進(jìn)行特征提取。對(duì)于信號(hào)的M級(jí)小波分解,給定的信號(hào)s (n)可以表示為其中,M表示離散小波分解級(jí)數(shù),AM表示近似系數(shù),Dj表示不同分解層級(jí)下的細(xì)節(jié)系數(shù)。具體的分解方式為
圖1 運(yùn)動(dòng)想象實(shí)驗(yàn)過程
圖2 所采用的電極通道位置
其中, g[i]和h [i]代表低通濾波器和高通濾波器,上標(biāo)L和H分別對(duì)應(yīng)信號(hào)的高頻和低頻部分的表達(dá)縮寫。本文設(shè)計(jì)的離散小波分解級(jí)數(shù)為4級(jí),分級(jí)形式為
一般來說,卷積神經(jīng)網(wǎng)絡(luò)是由1個(gè)或幾個(gè)堆疊的卷積層組成的。每個(gè)卷積層通常包括3個(gè)處理階段,即卷積階段、檢測(cè)階段和池化階段[15]。本文方法利用不同模型從不同的角度對(duì)空間特征進(jìn)行多樣表達(dá),然后再對(duì)生成的特征進(jìn)行融合解碼。此方法在保證特征表達(dá)多樣化的同時(shí)進(jìn)行融合,在很大程度上能夠提升解碼性能,同時(shí)采用CNN進(jìn)行空間特征提取和融合有兩個(gè)優(yōu)勢(shì):(1) CNN能夠從MI-EEG中提取低層次的局部特征,隨著卷積網(wǎng)絡(luò)加深,能在這些低層特征結(jié)構(gòu)的基礎(chǔ)上進(jìn)一步提取更大范圍的高層全局特征。(2) CNN適合處理帶有空間位置信息的數(shù)據(jù)結(jié)構(gòu)。當(dāng)使用2維濾波器對(duì)2維MI-EEG數(shù)據(jù)進(jìn)行卷積時(shí),每層卷積結(jié)果可以表示為
其中, x表 示當(dāng)層輸入數(shù)據(jù),Wk表示k階2維濾波器的權(quán)值矩陣, bk對(duì)應(yīng)k階濾波器的偏置,i和j表示相鄰的卷積層數(shù)。通過不同的濾波器對(duì)數(shù)據(jù)進(jìn)行卷積從而實(shí)現(xiàn)特征的多種組合形式[16]。
通常情況下,設(shè)計(jì)CNN時(shí),層級(jí)數(shù)k隨網(wǎng)絡(luò)層加深而遞增。這里利用3層的CNN對(duì)35通道的MI-EEG進(jìn)行處理。卷積過程詳見圖3。
在卷積第1層,本文采用2維濾波器,對(duì)時(shí)間和空間特征同時(shí)進(jìn)行提取。第1層主要對(duì)空間信息進(jìn)行濾波,將35通道的信號(hào)濾波為6組子空間特征向量。第2層對(duì)時(shí)間信息進(jìn)行濾波,經(jīng)過卷積和池化最后形成6組長度為101的時(shí)空特征向量。該向量空間融合了35個(gè)通道的信息的表達(dá)。卷積過程詳見表1所示。CNN網(wǎng)絡(luò)設(shè)計(jì)的主要參數(shù)是卷積層數(shù)、卷積濾波器、學(xué)習(xí)率、池化函數(shù),這些參數(shù)的值預(yù)先設(shè)定,且在網(wǎng)絡(luò)訓(xùn)練過程中不會(huì)產(chǎn)生變化。卷積模型的超參數(shù)選擇基于設(shè)計(jì)標(biāo)準(zhǔn)[17,18]并結(jié)合實(shí)際情況。
在特征提取以后,要考慮特征的選取和融合。鑒于對(duì)全局特征進(jìn)行選取和融合,本文采用自動(dòng)編碼器(Auto-Encoder, AE)作為特征生成網(wǎng)絡(luò),AE能以一種非監(jiān)督學(xué)習(xí)模式復(fù)現(xiàn)輸入信號(hào)。采用AE的目的是利用其復(fù)現(xiàn)功能重新整合特征,即捕捉輸入特征數(shù)據(jù)的重要成分。對(duì)于所提取的特征,利用AE將其映射到一個(gè)具有辨識(shí)度的特征子空間上。CNN提取出的特征向量F作為AE的輸入。自動(dòng)編碼過程表示為
圖3 所提方法的網(wǎng)絡(luò)架構(gòu)
表1 數(shù)據(jù)經(jīng)過各卷積層和神經(jīng)網(wǎng)絡(luò)層后的映射變化情況
實(shí)驗(yàn)數(shù)據(jù)分為自己采集的實(shí)驗(yàn)室采集數(shù)據(jù)和BCI競賽IV中的公共數(shù)據(jù),采集數(shù)據(jù)和公共數(shù)據(jù)均為執(zhí)行左、右手運(yùn)動(dòng)想象任務(wù)的腦電數(shù)據(jù)。數(shù)據(jù)情況詳見表2。數(shù)據(jù)以一種3維(時(shí)序,通道數(shù),次數(shù))數(shù)據(jù)矩陣結(jié)構(gòu)存放,因此本文所需要處理的輸入數(shù)據(jù)格式是針對(duì)此類數(shù)據(jù)格式進(jìn)行的。
整個(gè)神經(jīng)網(wǎng)絡(luò)采用Theano和TensorFlow框架實(shí)現(xiàn)。Theano是一個(gè)用于構(gòu)建運(yùn)算的Python庫,TensorFlow廣泛應(yīng)用于各類機(jī)器學(xué)習(xí)(Machine Learning, ML)算法的編程實(shí)現(xiàn)[19]。由于對(duì)多通道MI-EEG信息處理,考慮到計(jì)算效率,本文采用相對(duì)簡單的MSE作為損失函數(shù)。訓(xùn)練采用自適應(yīng)隨機(jī)優(yōu)化算法ADAM[20]對(duì)MSE損失函數(shù)進(jìn)行優(yōu)化。學(xué)習(xí)速率為0.004,為了預(yù)防過擬合,權(quán)值失效率設(shè)為0.5。訓(xùn)練采用小批樣本梯度下降策略(mini-batch gradient decent)。對(duì)于不同的數(shù)據(jù)集S1, S2, S3均劃分為10個(gè)批次樣本子集。以單位批次訓(xùn)練完畢后計(jì)算損失函數(shù)和更新參數(shù)。對(duì)于不同數(shù)據(jù)集所提方法都接受了50次全部樣本訓(xùn)練。在每次訓(xùn)練結(jié)束時(shí),如果模型性能超過訓(xùn)練集上出現(xiàn)過的最佳性能,則保存模型參數(shù)。監(jiān)督訓(xùn)練的目的在于在已知標(biāo)簽數(shù)據(jù)的情況下通過CNN擬合一個(gè)從輸入數(shù)據(jù)到預(yù)測(cè)分類輸出的函數(shù)。用于訓(xùn)練和測(cè)試的數(shù)據(jù)比例為2:1。最后在測(cè)試集上計(jì)算模型的最終解碼性能。
本文對(duì)CNN中的所有參數(shù)(權(quán)重和偏差)進(jìn)行聯(lián)合訓(xùn)練。softmax輸出給出了K分類上的條件概率分布。通過這個(gè)分布,本文可以最小化每次訓(xùn)練的損失函數(shù)的總和來訓(xùn)練整個(gè)CNN網(wǎng)絡(luò)的參數(shù)
本節(jié)主要對(duì)不同的實(shí)驗(yàn)數(shù)據(jù)在不同的深度學(xué)習(xí)方法下的分類準(zhǔn)確率進(jìn)行分析。為了方便表示,將所提的方法記為MC-CNN,即多通道數(shù)據(jù)特征融合的CNN。對(duì)比方法用了對(duì)目標(biāo)通道特征提取的CNN和提取時(shí)域特征的LSTM。表3給出了實(shí)驗(yàn)室采集的數(shù)據(jù)集D1下,所提的方法與其他深度學(xué)習(xí)方法的準(zhǔn)確度比較情況。3種方法的平均分類準(zhǔn)確率分別為84.57%, 85.60%和88.05%。本文所提出的方法比次優(yōu)方法高出了2%,說明所提的通道融合方法能提高解碼性能。此外,LSTM比CNN在6個(gè)被試者中的平均準(zhǔn)確率高,但LSTM相比CNN用于時(shí)域特征提取需要更大的計(jì)算開銷,因此當(dāng)進(jìn)行BCI應(yīng)用設(shè)計(jì)時(shí),要根據(jù)實(shí)際情況進(jìn)行權(quán)衡。
表2 MI-EEG實(shí)驗(yàn)數(shù)據(jù)情況
從競賽數(shù)據(jù)來看,MC-CNN方法分類性能也較好(見表4)。在競賽數(shù)據(jù)下,MC-CNN在除被試者D和F外優(yōu)于其他解碼方法。LSTM在競賽數(shù)據(jù)上的表現(xiàn)仍然優(yōu)于CNN。
圖4給出了不同特征提取的深度模型下的混淆矩陣和評(píng)價(jià)指標(biāo),最右下方格子里面的百分?jǐn)?shù)表示對(duì)應(yīng)方法的準(zhǔn)確率。從評(píng)價(jià)指標(biāo)中可以看出,本文所提方法在各項(xiàng)指標(biāo)上均優(yōu)于采用LSTM進(jìn)行特征提取的方法。此外,本文還發(fā)現(xiàn),所提方法的召回率相對(duì)較高,此結(jié)果說明在所有的左手運(yùn)動(dòng)想象MI-EEG樣本中,本文的方法能夠較好地識(shí)別此類樣本。也可以進(jìn)一步解釋為:本文所提方法在捕獲左手想象時(shí)的辨識(shí)信息上更具潛力。
圖5顯示了在不同方法下的多通道MI-EEG預(yù)測(cè)時(shí)間。C-RNN表示卷積和遞歸聯(lián)合的深度學(xué)習(xí)方法。本文所提的MC-CNN方法測(cè)試用時(shí)比CRNN和LSTM少,比CNN多。原因在于,空間特征提取和融合所帶來的參數(shù)運(yùn)算量增加。
表5將本文所提方法與文獻(xiàn)[21]所提出的基于瑞利系數(shù)最大化(RC)的多通道特征提取方法及該文獻(xiàn)中所提到的其他方法進(jìn)行比較,由于針對(duì)的被試者不同,這里僅針對(duì)不同被試者的平均準(zhǔn)確率進(jìn)行比較。可以從表5中看出所提方法與其他方法相比準(zhǔn)確率有所提升。同時(shí),基于RC和GA及其結(jié)合的方法在不同被試者的表現(xiàn)上波動(dòng)比較大,所提方法在不同被試者上的波動(dòng)變化較小。
表3 不同被試者和方法下的準(zhǔn)確率(采集數(shù)據(jù)D1)
表4 不同被試者和方法下的準(zhǔn)確率(公共數(shù)據(jù)D2,D3)
圖4 不同特征提取方法下的混淆矩陣及評(píng)價(jià)指標(biāo)
圖5 不同方法的測(cè)試時(shí)間對(duì)比情況
表5 不同多通道MI-EEG解碼方法的準(zhǔn)確率對(duì)比(%)
本節(jié)對(duì)局部特征構(gòu)成全局特征的過程進(jìn)行分析。為了方便表示,不同頻段的信息特征用離散小波分解系數(shù)表示為頻段D1,頻段D2,頻段D3,頻段D4,頻段A4。在時(shí)域分析上需要考慮信息的前后關(guān)聯(lián)性,這使得在分段時(shí)要保證一部分的重疊信息,因此本文采用滑動(dòng)窗將信號(hào)的時(shí)域部分進(jìn)行劃分,時(shí)段長度定為0.8 s,滑動(dòng)窗的步長間隔定為0.4 s。這樣本文將長度為2.0 s的腦電信息分為4個(gè)不同時(shí)段的信息。圖6給出了數(shù)據(jù)集S1中6個(gè)被試者數(shù)據(jù)中不同頻段和時(shí)段的包絡(luò)特征對(duì)形成全局特征的影響情況??v坐標(biāo)系數(shù)對(duì)應(yīng)本文完全訓(xùn)練好的網(wǎng)絡(luò)映射系數(shù)。從圖中可以得到兩點(diǎn)明顯特點(diǎn),一是在不同的被試者之間,局部時(shí)段-頻段特征有著顯著的分布變化。二是所有被試者在頻段D2和頻段D3上的特征分布都較大,這與ERD/ERS現(xiàn)象相符。識(shí)別準(zhǔn)確度較高的被試者C,被試者E在局部特征表現(xiàn)上都有共同的特點(diǎn),即局部特征分布比較集中。這意味較多的辨識(shí)特性蘊(yùn)含在較少的局部特征中,這種辨識(shí)特征集中分布也突顯出與非辨識(shí)特征的差異,因此本文的方法對(duì)這類數(shù)據(jù)的識(shí)別率更高。這一點(diǎn)其實(shí)是大部分分類識(shí)別模型的特點(diǎn),如CSP就是通過將MI-EEG數(shù)據(jù)轉(zhuǎn)化到另一個(gè)空間,使得其類間數(shù)據(jù)的方差最大化,類內(nèi)數(shù)據(jù)的方差最小化,從而提高識(shí)別性能。
接下來針對(duì)通道局部特征進(jìn)行分析。這里把35個(gè)通道對(duì)全局特征的影響按大小劃分為5個(gè)等級(jí)。劃分結(jié)果見表6。從劃分結(jié)果電極位置分布情況看,中軸位置除了Cz,其他電極均為微弱級(jí)影響通道。這是因?yàn)?,中路位置位于左右腦分界,這部分區(qū)域幾乎沒有有效的腦活動(dòng)信息,就算有也是其他區(qū)域傳過來的代表其他區(qū)域的信息。Cz位于兩個(gè)目標(biāo)通道中間,不同影響的辨識(shí)信息也會(huì)疊加到這個(gè)通道上,也可以作為參考通道。另外本文還發(fā)現(xiàn)影響度前3的通道只有12個(gè),占總通道數(shù)的1/3。從分布來看,它們主要圍繞在C3, C4附近。微弱通道數(shù)有18個(gè),占了總通道數(shù)的1/2以上。因此在多通道MI-EEG解碼時(shí),對(duì)冗余通道的壓縮和濾除是很重要的。由于不同的被試者在通道上的辨識(shí)信息分布也存在差異,針對(duì)不同的被試者進(jìn)行有目的的通道選擇再進(jìn)行相應(yīng)的解碼是本文進(jìn)一步需要研究的問題。
圖6 不同被試者數(shù)據(jù)時(shí)-頻特征對(duì)分類結(jié)果的影響
表6 不同通道對(duì)識(shí)別結(jié)果的影響分布
本文研究了多通道MI-EEG空間特征壓縮融合問題,提出了一種基于多通道腦電特征信息解碼方法MC-CNN。該方法利用卷積神經(jīng)網(wǎng)絡(luò)對(duì)經(jīng)過預(yù)處理的多通道腦電數(shù)據(jù)先進(jìn)行時(shí)空特征提取,在池化過程中,將數(shù)據(jù)的時(shí)域信息進(jìn)行逐步壓縮,再利用AE對(duì)提取出的時(shí)空特征進(jìn)行融合,形成壓縮后的特征子空間。最后通過softmax分類器針對(duì)特征子空間進(jìn)行分類預(yù)測(cè)。
本文使用識(shí)別模型的常用評(píng)價(jià)指標(biāo)和一些實(shí)驗(yàn)方法對(duì)所提出的方法進(jìn)行驗(yàn)證。實(shí)驗(yàn)結(jié)果表明,在多通道多被試者運(yùn)動(dòng)想象場景中,本文提出的方法性能優(yōu)于其他多通道特征分析方法的性能,且證明了所提方法在預(yù)測(cè)性能和效率方面的能力。采用基于深度學(xué)習(xí)模型的方法也是考慮到多通道數(shù)據(jù)在大量的復(fù)雜信息中蘊(yùn)含著豐富的有效的辨識(shí)資源,通過實(shí)驗(yàn)也證明了這一點(diǎn)。此外,對(duì)多通道MI-EEG數(shù)據(jù)的分析也能幫助我們分析一定腦區(qū)位置信息在運(yùn)動(dòng)想象過程的變化和關(guān)聯(lián)情況,從而能夠?qū)Υ竽X結(jié)構(gòu)和功能進(jìn)行更加深入的探索。