改進(jìn)的多變量同步指數(shù)腦機(jī)接口分類(lèi)算法

馬鵬飛，董朝軼*，馬 爽，賈婷婷,肖志云，齊詠生，陳曉艷，林瑞靜

(1.內(nèi)蒙古工業(yè)大學(xué)電力學(xué)院，呼和浩特 010080；2.內(nèi)蒙古自治區(qū)機(jī)電控制重點(diǎn)實(shí)驗(yàn)室，呼和浩特 010051)

近年來(lái)，隨著信號(hào)與信息處理方法和技術(shù)同神經(jīng)科學(xué)的融合。腦機(jī)接口(brain-computer interface,BCI)技術(shù)受到了廣泛關(guān)注。腦機(jī)接口是指不需要常規(guī)的大腦輸出通道，在人或者其他動(dòng)物與外界環(huán)境之間建立一種溝通的環(huán)境[1],以實(shí)現(xiàn)意識(shí)控制機(jī)器設(shè)備。腦機(jī)接口在臨床醫(yī)學(xué)、生活?yuàn)蕵?lè)和康復(fù)工程等多個(gè)領(lǐng)域具有較高的應(yīng)用價(jià)值和廣闊的應(yīng)用前景[2]。

穩(wěn)態(tài)視覺(jué)誘發(fā)電位(steady-state visual evoked potential，SSVEP)作為一種典型的BCI范式，是指當(dāng)被試者注視某一特定的頻率閃爍的視覺(jué)刺激時(shí)[3]，枕葉皮質(zhì)區(qū)的神經(jīng)元會(huì)產(chǎn)生對(duì)應(yīng)的響應(yīng)。SSVEP信號(hào)在腦電信號(hào)的頻譜中會(huì)出現(xiàn)對(duì)應(yīng)刺激的峰值，通過(guò)對(duì)頻譜峰值的檢測(cè)，就可以識(shí)別該誘發(fā)刺激的頻率，從而識(shí)別受試者的意圖。穩(wěn)態(tài)視覺(jué)誘發(fā)電位范式相比于其他范式具有信噪比高，響應(yīng)時(shí)間短的特點(diǎn)，因此受到了許多研究者的重視。對(duì)于少目標(biāo)刺激范式的SSVEP-BCI系統(tǒng)在腦控輪椅，腦控?zé)o人機(jī)上應(yīng)用較為廣泛。劉明等[4]采用MATLAB環(huán)境搭建了基于SSVEP的腦控輪椅系統(tǒng)，實(shí)現(xiàn)97%的分類(lèi)準(zhǔn)確率，用于幫助運(yùn)動(dòng)障礙患者的日常出行。熊特等[5]采用SSVEP控制上肢康復(fù)機(jī)器人，達(dá)到98.33%的準(zhǔn)確率，證明SSVEP的控制具有良好的生物醫(yī)學(xué)應(yīng)用前景。

目前，典型的穩(wěn)態(tài)視覺(jué)誘發(fā)電位的解碼算法有快速傅里葉變換、小波變換、典型相關(guān)分析(canonical correlation analysis,CCA)和多變量同步指數(shù)(multivariate synchronization index,MSI)?？焖俑道锶~變換是一種快速的離散傅里葉變換計(jì)算方法[6]。該算法具有運(yùn)算時(shí)間短，計(jì)算簡(jiǎn)單的優(yōu)點(diǎn)。通過(guò)把時(shí)域信號(hào)轉(zhuǎn)變?yōu)轭l域信號(hào)得到其頻譜分布，然后檢測(cè)峰值，對(duì)應(yīng)該峰值的頻率為目標(biāo)刺激頻率。但是這種方法需要進(jìn)行參數(shù)優(yōu)化，例如電極選擇和時(shí)間長(zhǎng)度選擇。小波變換是一種可調(diào)窗函數(shù)的傅里葉變換，具有較好的時(shí)頻分辨率。其過(guò)程是把原始信號(hào)分解為不同頻率范圍的幾個(gè)分量，提取刺激頻率所在的分量進(jìn)行進(jìn)一步處理，利用小波系數(shù)作為特征來(lái)進(jìn)行分類(lèi)[7]。小波變換的關(guān)鍵在于母小波的選擇，不同母小波會(huì)造成不同的結(jié)果[8]。CCA作為一種多變量統(tǒng)計(jì)方法，用于判斷兩組實(shí)驗(yàn)數(shù)據(jù)的相關(guān)性[9]。通過(guò)計(jì)算多通道腦電信號(hào)與正余弦參考信號(hào)之間的相關(guān)系數(shù)，求兩個(gè)信號(hào)的最大相關(guān)性。CCA的優(yōu)點(diǎn)在于其高效性和魯棒性，但是忽略了信號(hào)的時(shí)間信息[10]。多變量同步指數(shù)與典型相關(guān)分析類(lèi)似[11]，求兩個(gè)信號(hào)之間的同步指數(shù)，來(lái)對(duì)刺激頻率進(jìn)行識(shí)別，在短時(shí)間內(nèi)MSI的效果要優(yōu)于CCA。以上方法各有特點(diǎn)，但也都存在一定的局限性,即在短時(shí)間內(nèi)的目標(biāo)識(shí)別準(zhǔn)確率較低。為了解決此問(wèn)題，張楊松等人對(duì)MSI加以改進(jìn)提出TMSI算法[12]，Chen等[13]提出了濾波器組典型相關(guān)分析(filter bank canonical correlation analysis,FBCCA)算法等。這些改進(jìn)的算法有效地提高分類(lèi)準(zhǔn)確率，但提升程度不盡如人意。近年來(lái)，隨著深度學(xué)習(xí)的興起，神經(jīng)網(wǎng)絡(luò)算法也被應(yīng)用于BCI系統(tǒng)中。卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network，CNN)由于其自動(dòng)提取特征的優(yōu)勢(shì)也出現(xiàn)在SSVEP算法的研究中[14-15]。杜光景等[16]采用CNN算法使SSVEP的目標(biāo)辨識(shí)率達(dá)到93.3%，深度神經(jīng)網(wǎng)絡(luò)(deep neural network，DNN)更是取得265.23 bit/min的信息傳輸率[17]。然而，深度學(xué)習(xí)算法模型復(fù)雜度高，訓(xùn)練時(shí)間長(zhǎng)，難以應(yīng)用于實(shí)時(shí)性要求比較高的外部環(huán)境設(shè)備。

基于此，現(xiàn)采用小波包變換同多變量同步指數(shù)相結(jié)合的方法來(lái)提取腦電信號(hào)的特征。利用小波包變換的特性來(lái)分解重構(gòu)特定頻段的腦電信號(hào)，再用多變量同步指數(shù)算法來(lái)計(jì)算頻率識(shí)別的準(zhǔn)確率。解決短時(shí)間內(nèi)目標(biāo)識(shí)別準(zhǔn)確率低的問(wèn)題，分類(lèi)準(zhǔn)確率得到明顯提高。以期為MSI改進(jìn)算法擴(kuò)展了思路，也為后續(xù)的融合算法提供理論基礎(chǔ)。

1 實(shí)驗(yàn)方法

1.1 信號(hào)預(yù)處理

由于腦電信號(hào)容易受到環(huán)境噪聲和人腦系統(tǒng)自身因素的干擾，必須對(duì)采集到的腦電信號(hào)進(jìn)行預(yù)處理。采用EEGLAB(electroencephalography lab)軟件中的帶通濾波器組對(duì)采集到的腦電信號(hào)進(jìn)行濾波[18]，保留6～30 Hz的頻率成分。圖1給出了O1導(dǎo)聯(lián)腦電信號(hào)濾波前和濾波后的時(shí)域圖。

圖1 濾波前和濾波后信號(hào)Fig.1 Pre filtering and post filtering signals

1.2 信號(hào)特征提取與分類(lèi)

1.2.1 小波包變換

小波包變換是小波變換的推廣[19]。小波包分解相比于小波分解的優(yōu)點(diǎn)在于可以對(duì)低頻部分與高頻部分一同進(jìn)行分解。這種分解沒(méi)有冗余，提高了時(shí)頻分辨率。典型的2層小波包分解樹(shù)如圖2所示，將信號(hào)分為4個(gè)子頻帶。其中低頻部分為A，高頻部分為D。

小波包算法把SSVEP的腦電信號(hào)中刺激頻率所在頻點(diǎn)的信號(hào)進(jìn)行分解重構(gòu)[20]。由于本實(shí)驗(yàn)采樣頻率為500 Hz，刺激頻率為8、10、12、15 Hz。所以選擇對(duì)采集到的信號(hào)進(jìn)行7層分解，分解之后各個(gè)節(jié)點(diǎn)所對(duì)應(yīng)的子頻帶如表1所示。重構(gòu)出刺激頻率所對(duì)應(yīng)的信號(hào)，然后再進(jìn)行MSI算法的運(yùn)算。

圖2 2層小波包分解樹(shù)Fig.2 Two level wavelet packet decomposition tree

表1 7層小波包節(jié)點(diǎn)所對(duì)應(yīng)的頻帶Table 1 The frequency bands of 7-level wavelet packet node

1.2.2 多變量同步指數(shù)

多變量同步指數(shù)用于對(duì)SSVEP信號(hào)進(jìn)行分類(lèi)[21]。用MSI算法分析SSVEP信號(hào)時(shí)要先構(gòu)造一個(gè)參考信號(hào)。

(1)

式(1)中：Y為參考信號(hào)；Fs為采樣頻率；Nh為諧波數(shù)量[22]；t為采樣時(shí)間；fk為刺激頻率；N為通道數(shù)；M為采樣點(diǎn)數(shù)。Y的維度為2Nh×M；X為采集到的一組維度是N×M的腦電信號(hào)。它們的相關(guān)矩陣C為

(2)

式(2)中：

(3)

(4)

(5)

(6)

為了減少X和Y自相關(guān)的影響，去除C中的自相關(guān)矩陣[23]，得

(7)

則經(jīng)過(guò)變換后的新的相關(guān)矩陣R為

(8)

式(8)中：I為單位矩陣。

設(shè)φ1,φ2,…，φp是R的特征值，將其標(biāo)準(zhǔn)化為

(9)

式(9)中：p為特征值的個(gè)數(shù)，p=N+2Nh；tr(R)為相關(guān)矩陣R的跡；φi為第i個(gè)特征值。

X與Y之間的同步指數(shù)S可以表示為

(10)

如果兩組信號(hào)完全不相關(guān)，則C21=C12=0，可以看出φ′i=1/p，S=0；如果兩組信號(hào)完全相關(guān),則φ′i=1，其他標(biāo)準(zhǔn)化的特征值都為0，S=1;其他情況時(shí)S在0～1變化[11]。

1.2.3 改進(jìn)算法

單純的MSI算法在識(shí)別SSVEP頻率時(shí)容易受到噪聲及環(huán)境干擾影響。對(duì)于MSI的改進(jìn)算法中，MSI結(jié)合支持向量機(jī)(support vector machine,SVM)算法取得了不錯(cuò)的效果。將MSI方法得到的同步指數(shù)輸入到SVM中進(jìn)行目標(biāo)頻率的識(shí)別。一般SVM的分類(lèi)器選擇線性核函數(shù)，為減少分類(lèi)正確率的偶然性，選擇采用十折交叉驗(yàn)證的方法，將數(shù)據(jù)集分為10個(gè)子集，每1個(gè)子集均作為測(cè)試集，剩下的9個(gè)作為訓(xùn)練集。取10次十折交叉驗(yàn)證的均值作為分類(lèi)的準(zhǔn)確率。

FBCCA是當(dāng)前腦電解碼算法中較為主流的算法之一。它在CCA基礎(chǔ)之上的改進(jìn)，利用基波與諧波的特點(diǎn)，來(lái)進(jìn)行目標(biāo)識(shí)別。它的原理是設(shè)計(jì)濾波器組，然后對(duì)SSVEP的子頻帶與參考信號(hào)進(jìn)行CCA分析。

(11)

式(11)中：Z為X和Y構(gòu)成的多元信號(hào)矩陣；D為W所有行元素之和構(gòu)成的對(duì)角線矩陣；W為鄰接矩陣，通過(guò)Tukeys tricube加權(quán)函數(shù)[24]進(jìn)行構(gòu)造。

針對(duì)少目標(biāo)刺激的SSVEP范式，提出WPT-MSI算法對(duì)SSVEP信號(hào)進(jìn)行特征提取及處理，提高了頻率識(shí)別的準(zhǔn)確率。過(guò)程如圖3所示。為了驗(yàn)證算法的有效性，將主流的腦電信號(hào)解碼算法FBCCA、TMSI和MSI結(jié)合SVM算法與WPT-MSI進(jìn)行比較。

圖3 WPT-MSI識(shí)別方法Fig.3 WPT-MSI identification method

2 實(shí)驗(yàn)設(shè)置

所用的刺激屏幕為60 幀/s刷新率的戴爾液晶顯示器，基于MATLAB的Psych-toolbox (PTB)工具箱編程實(shí)現(xiàn)[25]。刺激頻率選擇為8、10、12、15 Hz。視覺(jué)刺激器的界面如圖4所示。其中閃爍的黑白色塊的規(guī)格為200 pixel×200 pixel(pixel為像素)。采集EEG信號(hào)的設(shè)備為德國(guó)BP公司的32通道腦電設(shè)備，采樣頻率為500 Hz，導(dǎo)聯(lián)分布如圖5所示。數(shù)據(jù)采集之前先將腦電帽注入導(dǎo)電膏，使電阻降低至5 kΩ左右。

圖4 視覺(jué)刺激器Fig.4 Visual stimulator

數(shù)字和字母為導(dǎo)聯(lián)位置圖5 32導(dǎo)聯(lián)分布圖Fig.5 The figure of 32 lead distribution

選取10名被試者參加實(shí)驗(yàn)，年齡在23～25歲，視力矯正后均為正常，實(shí)驗(yàn)在噪聲較少的環(huán)境下進(jìn)行。實(shí)驗(yàn)過(guò)程中，被試者的眼睛要與刺激屏幕的距離保持為60 cm左右，盡量保持良好的精神狀態(tài)。實(shí)驗(yàn)開(kāi)始時(shí)，刺激屏幕上的黑白色塊以定制的頻率進(jìn)行閃爍。每個(gè)色塊閃爍6 s，休息4 s。被試者應(yīng)依次注視每個(gè)色塊10次，進(jìn)行4組實(shí)驗(yàn)，得到400組實(shí)驗(yàn)數(shù)據(jù)。

3 結(jié)果分析

采取平均準(zhǔn)確率和離線信息傳輸率來(lái)進(jìn)行驗(yàn)證WPT-MSI算法的有效性。從數(shù)據(jù)長(zhǎng)度和導(dǎo)聯(lián)數(shù)量這兩個(gè)方面來(lái)分析影響WPT-MSI有效性的因素。為比較WPT-MSI算法的性能，將其與以上提及的算法做了對(duì)比分析。在探究數(shù)據(jù)長(zhǎng)度對(duì)WPT-MSI算法的影響時(shí)，將諧波的數(shù)量設(shè)置為3，導(dǎo)聯(lián)選擇枕區(qū)附近的7個(gè)導(dǎo)聯(lián)(P3、P4、O1、O2、PZ、P7、P8)。5種算法下的平均準(zhǔn)確率和信息傳輸率如圖6所示。

由圖6可看出，TMSI、MSI-SVM和FBCCA得出的準(zhǔn)確率比MSI有所提升，但是不明顯。WPT-MSI算法在短時(shí)間內(nèi)(1～1.5 s)準(zhǔn)確率得到顯著提高，并且在任何數(shù)據(jù)長(zhǎng)度時(shí)都要優(yōu)于傳統(tǒng)的MSI算法和改進(jìn)的MSI等算法。數(shù)據(jù)長(zhǎng)度為1.5 s時(shí)，準(zhǔn)確率達(dá)到98.94%，比MSI提高30.94%。隨著數(shù)據(jù)長(zhǎng)度的增加，這5種算法的準(zhǔn)確率都在逐步上升，并且最后都趨近于最高準(zhǔn)確率。信息傳輸率隨數(shù)據(jù)長(zhǎng)度的增加而增長(zhǎng)，當(dāng)數(shù)據(jù)長(zhǎng)度達(dá)到1.5～2 s時(shí)，信息傳輸率達(dá)到最大值。當(dāng)數(shù)據(jù)長(zhǎng)度大于2秒時(shí)信息傳輸率緩慢下降。在1.5 s數(shù)據(jù)長(zhǎng)度時(shí)WPT-MSI算法的信息傳輸率達(dá)到76.24 bit/min，要明顯優(yōu)于其他算法。

在探究導(dǎo)聯(lián)數(shù)量對(duì)算法的影響時(shí)，數(shù)據(jù)長(zhǎng)度選擇為1.5 s，諧波數(shù)量設(shè)置為3。導(dǎo)聯(lián)數(shù)量選擇3種組合分別為2導(dǎo)(O1、O2)、4導(dǎo)(P3、P4、O1、O2)和7導(dǎo)(P3、P4、O1、O2、PZ、P7、P8)。5種算法的平均準(zhǔn)確率和平均信息傳輸率如表2和表3所示。

圖6 不同數(shù)據(jù)長(zhǎng)度下各類(lèi)算法性能的比較Fig.6 Performance comparison of various algorithms under different data lengths

表2 5種算法在1.5 s時(shí)的平均準(zhǔn)確率Table 2 The average accuracy of the five algorithms in 1.5 s

表3 5種算法在1.5 s時(shí)的平均信息傳輸率Table 3 The average information transmission rate of five algorithms in 1.5 s

從表2可以看出，隨著導(dǎo)聯(lián)數(shù)量的增加，目標(biāo)識(shí)別的準(zhǔn)確率也在增加。WPT-MSI算法的準(zhǔn)確率在導(dǎo)聯(lián)數(shù)為7時(shí)達(dá)到98.94%的準(zhǔn)確率，比2導(dǎo)高出4%。對(duì)比主流的腦電解碼算法FBCCA，WPT-MSI比其高出18.37%。由表3可以看出，平均信息傳輸率與導(dǎo)聯(lián)數(shù)量成正比，在7導(dǎo)時(shí)信息傳輸率達(dá)到最大，WPT-MSI算法比傳統(tǒng)的MSI算法高出50.23 bit/min。

4 結(jié)論

利用SSVEP腦電的生理特性，選取枕區(qū)附近的7個(gè)導(dǎo)聯(lián)(P3、P4、O1、O2、PZ、P7、P8)來(lái)分析腦電信號(hào)的特征。利用MATLAB軟件制作4個(gè)刺激目標(biāo)的視覺(jué)刺激屏幕。通過(guò)MSI算法、MSI結(jié)合SVM算法、WPT-MSI算法、FBCCA算法和TMSI算法來(lái)對(duì)4個(gè)目標(biāo)頻率的腦電刺激信號(hào)進(jìn)行特征提取和分類(lèi)，并計(jì)算了分類(lèi)的準(zhǔn)確率和離線的信息傳輸率。通過(guò)對(duì)數(shù)據(jù)長(zhǎng)度和導(dǎo)聯(lián)數(shù)量這兩個(gè)方面的分析，得到以下結(jié)論。

(1)實(shí)驗(yàn)結(jié)果表明在短時(shí)間內(nèi)(數(shù)據(jù)長(zhǎng)度為1.5 s)WPT-MSI算法得到的準(zhǔn)確率相比其他4種算法的準(zhǔn)確率具有顯著提高的趨勢(shì)。

(2)WPT-MSI算法得到的信息傳輸率要優(yōu)于傳統(tǒng)的腦電解碼算法，可用于提高腦機(jī)接口系統(tǒng)的性能。

(3)對(duì)于枕區(qū)的導(dǎo)聯(lián)組合而言，導(dǎo)聯(lián)數(shù)量越多，捕捉數(shù)據(jù)的能力就越強(qiáng)，從而得到較高的準(zhǔn)確率。

實(shí)驗(yàn)結(jié)果驗(yàn)證了增加小波包變換對(duì)于信號(hào)處理的有效性。上述實(shí)驗(yàn)結(jié)果及分析為少目標(biāo)刺激的SSVEP范式的腦機(jī)接口應(yīng)用者提供了實(shí)驗(yàn)經(jīng)驗(yàn)，也對(duì)MSI算法后續(xù)的性能研究提供了理論參考。