張志敏 王盛 關(guān)凱 劉濤 牛海軍
腦-機(jī)接口(brain-computer interface,BCI)允許人腦與外部設(shè)備之間的直接通信,這可以作為神經(jīng)肌肉通路的替代方法[1]。近年來,基于腦電(electroencephalogram,EEG)的BCI技術(shù)被廣泛研究,但是單模態(tài)BCI由于缺乏錯(cuò)誤命令取消和返回機(jī)制,且同步系統(tǒng)的長(zhǎng)時(shí)間使用會(huì)造成準(zhǔn)確率的下降。為了解決BCI領(lǐng)域的一些不足,研究者們提出了混合腦-機(jī)接口(hybrid-BCI,h-BCI),以提高系統(tǒng)的最終準(zhǔn)確率和增加可控目標(biāo)的數(shù)量[2]。對(duì)于基于EEG的h-BCI,其中一種方式是將兩種類型的EEG相結(jié)合,例如,有研究者將穩(wěn)態(tài)視覺誘發(fā)電位(steady-state visual evoked potential,SSVEP)與P300相結(jié)合,SSVEP與事件相關(guān)去同步化電位相結(jié)合,P300與運(yùn)動(dòng)想象相結(jié)合[3-5]。另一種方式是將EEG信號(hào)與其他生理信號(hào)相結(jié)合,包括心電圖(electrocardiogram,ECG)、眼電圖(electrooculography,EOG)和肌電圖(electromyogram,EMG)[6-8]。
在上述的h-BCIs中,SSVEP以其高信息傳輸率的潛力和無需重復(fù)訓(xùn)練(只需要第1次引導(dǎo)流程)而被廣泛使用[9-10],此外,與ECG和EOG相比,EMG是一種容易產(chǎn)生且穩(wěn)定的信息源。因此,結(jié)合SSVEP與EMG的h-BCI無論是從增加指令輸出還是將EMG作為確認(rèn)和緊急停止指令來講,都是一個(gè)合適的組合[11-13],相關(guān)研究在系統(tǒng)準(zhǔn)確率和安全性上都達(dá)到了很好的效果。
但之前SSVEP和EMG相結(jié)合的研究中,肌電動(dòng)作基本不會(huì)對(duì)SSVEP造成信號(hào)上的直接影響。那是因?yàn)橐恍┕ぷ鞯腅MG是來自手臂或手部的[11],另外一些工作雖然EMG來自頭部,但EEG和EMG的檢測(cè)是非同時(shí)進(jìn)行的,即當(dāng)有規(guī)定肌電動(dòng)作的時(shí)候,SSVEP是不進(jìn)行檢測(cè)的[12]。因此當(dāng)頭部EMG肌電動(dòng)作和SSVEP刺激同時(shí)發(fā)生時(shí),肌電動(dòng)作對(duì)SSVEP的影響尚未被討論。
此外,在所有頭部的動(dòng)作中,如抬眉毛、抬耳廓、做表情、進(jìn)行咀嚼等,咬合動(dòng)作可以產(chǎn)生極大幅度的動(dòng)作電位。Goncharova等[14]發(fā)現(xiàn),咬合可以在頭部表面產(chǎn)生廣泛的電信號(hào)。所以咬合動(dòng)作可作為EMG源與SSVEP結(jié)合使用。因此本文主要研究下頜咬合動(dòng)作和SSVEP刺激同時(shí)發(fā)生時(shí),咬合動(dòng)作對(duì)SSVEP信號(hào)的干擾以及咬合狀態(tài)下SSVEP的分類情況。研究可為咬合動(dòng)作下的SSVEP識(shí)別和同時(shí)使用SSVEP與面部肌電的相關(guān)工作提供參考。
試驗(yàn)在一個(gè)安靜的腦電采集房間進(jìn)行,腦電與肌電信號(hào)使用NeuroScan采集系統(tǒng)(SynAmps2,美國(guó))。信號(hào)采樣率設(shè)定為1kHz。參照國(guó)際通用10-10腦電電極放置標(biāo)準(zhǔn),本實(shí)驗(yàn)選取視覺誘發(fā)研究中常用的4個(gè)腦電信號(hào)采集位點(diǎn)(POz、O1、Oz、O2)。為保證電極與頭皮有良好的接觸,信號(hào)采集過程中,電極阻抗保持在10 kΩ以下。
5名健康的受試者(24.0歲±1.7歲)參加了該試驗(yàn),他們具有矯正或正常視力,無面神經(jīng)和肌肉疾病。實(shí)驗(yàn)視覺刺激和提示均基于MATLAB軟件中Psychophysics Toolbox工具箱(Ver 3)開發(fā),呈現(xiàn)于視覺刺激顯示器[24 in (1 in=2.54 cm) LCD,16∶9,分辨率1 920×1 080,刷新率60 Hz,Acer]上。屏幕與受試者眼睛之間的距離約為70 cm。試驗(yàn)過程中,受試者坐在舒適的椅子上,要求身體保持不動(dòng)。
受試者共完成3組試驗(yàn),第1組僅有視覺刺激,第2組在視覺刺激的同時(shí)執(zhí)行正常短咬動(dòng)作,第3組在視覺刺激的同時(shí)執(zhí)行規(guī)定咬合動(dòng)作(長(zhǎng)咬合時(shí)間超過2 s),試驗(yàn)流程如圖1所示。每組試驗(yàn)均包含15個(gè)子序列(3個(gè)頻率×5次序列)。每一個(gè)序列包括3個(gè)階段:(1)提示階段1 s:在目標(biāo)方塊位置出現(xiàn)紅色“+”,提示目標(biāo);(2)任務(wù)階段4 s:紅色“+”消失,注視目標(biāo)方塊同時(shí)完成規(guī)定咬合動(dòng)作;(3)休息階段0.5 s:屏幕全黑,受試者休息。各組任務(wù)之間有3 min的休息時(shí)間。本試驗(yàn)的穩(wěn)態(tài)視覺刺激為已被廣泛使用的正弦調(diào)制黑白漸變翻轉(zhuǎn)方塊[15],選擇了具有代表性的3個(gè)刺激頻率6.2 Hz、9.8 Hz、14.6 Hz。共3個(gè)不同閃爍頻率的正方形圖案呈現(xiàn)在黑色背景顯示器上,每個(gè)正方形對(duì)應(yīng)一種調(diào)制頻率。
圖1 試驗(yàn)系統(tǒng)設(shè)置Figure 1 Experiment set-up
所有采集到的信號(hào)經(jīng)50 Hz陷波器處理,消除工頻干擾。在識(shí)別SSVEP之前,分析了3種咬合條件下的腦電信號(hào)FFT譜。通過觀察在刺激頻率點(diǎn)以及周圍頻域上的FFT幅值高低對(duì)比,觀察SSVEP響應(yīng)是否會(huì)淹沒在咬合肌電的寬頻帶中,以探索咬合動(dòng)作產(chǎn)生的面部肌電對(duì)SSVEP頻率上的影響。
緊接著使用帶通濾波器(3~40 Hz)對(duì)以上信號(hào)進(jìn)行濾波。然后應(yīng)用典型相關(guān)分析(canonical correlation analysis,CCA)對(duì)腦電數(shù)據(jù)進(jìn)行分類[16]。定義Xb為濾波后的多通道腦電信號(hào),Yk為參考信號(hào),如式(1)所示,參考信號(hào)Yk依照目標(biāo)個(gè)數(shù)和對(duì)應(yīng)的刺激頻率進(jìn)行設(shè)置。選擇各個(gè)刺激頻率以其2倍和1倍諧波頻率下的正弦余弦信號(hào)組成的矩陣為參考信號(hào),其中fk(k=1,2,3)為刺激頻率,m是fk的諧波個(gè)數(shù),這里取1、2,t為時(shí)間。通過CCA計(jì)算Xb與Yk的相關(guān)系數(shù),找出相關(guān)系數(shù)最大的參考信號(hào)對(duì)應(yīng)的頻率作為SSVEP響應(yīng)頻率,所對(duì)應(yīng)的目標(biāo)即為識(shí)別結(jié)果。
本文以CCA對(duì)SSVEP的識(shí)別結(jié)果和穩(wěn)態(tài)視覺刺激目標(biāo)一一比較,計(jì)算SSVEP識(shí)別準(zhǔn)確率,準(zhǔn)確率=識(shí)別正確的數(shù)量/識(shí)別總數(shù)量×100%[11]。準(zhǔn)確率是在頻譜對(duì)比的觀察基礎(chǔ)上進(jìn)行的SSVEP識(shí)別的結(jié)果,準(zhǔn)確率高則說明所選頻率SSVEP的識(shí)別不受咬合動(dòng)作影響,反之則說明咬合動(dòng)作會(huì)對(duì)SSVEP的識(shí)別產(chǎn)生一定的影響。
圖2顯示了來自5位受試者5次子序列的信號(hào)平均頻譜分布(在12個(gè)子圖中)。每個(gè)子圖為在1個(gè)電極和1個(gè)刺激頻率下顯示的3種咬合模式。
圖2 來自4個(gè)位點(diǎn)3類典型頻率3種咬合模式下的頻譜圖Figure 2 Average frequency spectrum under 3 jaw clench patterns at 3 frequencies on 4 electrodes
當(dāng)發(fā)生咬合時(shí),面部EMG成分主要在20 Hz之后分布(在短咬和長(zhǎng)時(shí)間咬合條件下)。與非咬合模式相比,短咬和長(zhǎng)咬合的振幅在20 Hz后較高。尤其是在20~100 Hz時(shí),咬合會(huì)產(chǎn)生明顯的峰值。而且,長(zhǎng)咬的幅度高于其他兩個(gè)。10~20 Hz的振幅順序是短咬>長(zhǎng)咬合>不咬合,而10~20 Hz后的順序是長(zhǎng)咬合>短咬>不咬合。
在非咬合模式下,SSVEP響應(yīng)以原始刺激頻率及其兩倍頻率顯示。例如,對(duì)于9.8 Hz刺激,在9.8 Hz和19.6 Hz處存在峰值。當(dāng)發(fā)生咬合動(dòng)作時(shí),SSVEP響應(yīng)有輕微差異。(1)第1列子圖(刺激頻率6.2 Hz):當(dāng)受試者進(jìn)行短咬模式和長(zhǎng)時(shí)間咬合時(shí),最清晰的峰值出現(xiàn)在其兩倍頻率(12.4 Hz)。6.2 Hz的峰值低于12.4 Hz的峰值。(2) 第2列(刺激頻率9.8 Hz):最明顯的峰值顯示在9.8 Hz的短咬和長(zhǎng)咬模式。19.6 Hz處的峰值均低于9.8 Hz處的峰值。(3)第3列(刺激頻率14.6 Hz)。14.6 Hz的響應(yīng)是清晰的,而雙倍頻率響應(yīng)(29.2 Hz)在短咬和長(zhǎng)咬合模式中被混到EMG成分中。經(jīng)過比較,在4個(gè)電極位點(diǎn)和5個(gè)受試者之間的頻譜分布沒有明顯差異。
咬合動(dòng)作的相關(guān)肌肉收縮和松弛情形下SSVEP識(shí)別的準(zhǔn)確率如表1所示。其中,非咬合和長(zhǎng)咬合的平均識(shí)別準(zhǔn)確率為100%,而短咬的識(shí)別率稍低,為94.7%。
表1 三種咬合模式下的SSVEP識(shí)別準(zhǔn)確率(單位:%)Table 1 Accuracies of SSVEP recognition in three clench patterns(unit:%)
為了獲得干凈的誘發(fā)腦電信號(hào),在早期的SSVEP試驗(yàn)中,受試者被要求一動(dòng)不動(dòng)。尤其是頭部的動(dòng)作,在采集EEG時(shí)嚴(yán)格限制咬合、短咬及咀嚼動(dòng)作。由于整個(gè)頭皮和面部都可以檢測(cè)到咬合相關(guān)的EMG,干擾了EEG的采集,所以有的研究者選擇手部和手臂的EMG。因此,作為頭面部肌電動(dòng)作對(duì)SSVEP的識(shí)別影響的補(bǔ)充,本文闡述了下頜咬合動(dòng)作相關(guān)面部肌電對(duì)SSVEP的部分干擾規(guī)律。
通常情況下,由于電位幅值的差異,EMG成分對(duì)EEG信號(hào)在時(shí)域的影響是明顯的。但是在信號(hào)經(jīng)傅里葉變換處理后,SSVEP的特征在頻域得到了保留。先前研究表明,下頜咬合動(dòng)作產(chǎn)生的EMG信號(hào)的主導(dǎo)能量集中在0~200 Hz[14]。但上述頻域結(jié)果顯示,6.2 Hz、9.8 Hz、14.6 Hz處的誘發(fā)腦電幾乎沒有受到下頜咬合相關(guān)EMG的影響。因此,它對(duì)SSVEP特征的提取和SSVEP的識(shí)別沒有明顯影響。
從表1的統(tǒng)計(jì)中,發(fā)現(xiàn)SSVEP的平均識(shí)別準(zhǔn)確率為98.2%(3種模式的平均)。非咬合和長(zhǎng)咬合的準(zhǔn)確率為100%;短咬,94.7%。咬合動(dòng)作對(duì)傳統(tǒng)CCA算法的SSVEP識(shí)別率只有輕微影響。與同類工作中的SSVEP分類相比(88.3%[11]、93%[12]、96%[17]),達(dá)到了較高的水平。經(jīng)過對(duì)短咬模式中6個(gè)錯(cuò)誤識(shí)別片段的詳細(xì)觀察,發(fā)現(xiàn)連續(xù)的咬合(短咬)活動(dòng)可能會(huì)增加異常的肌電污染模式。其中3個(gè)是常見的"噪聲樣"模式,由不規(guī)則的峰和不同頻率的波形組成[14]。其他3種歸于α節(jié)律樣模式。它與Goncharova等[14]報(bào)道的β節(jié)律樣模式概念相似。
根據(jù)圖2,由于咬合動(dòng)作,20 Hz后肌電成分明顯增加。同樣,Goncharova等[14]也描述了顳肌收縮產(chǎn)生的EMG對(duì)EEG的污染。在顳側(cè),它們?cè)?0~80 Hz之間表現(xiàn)出最大的振幅,20 Hz左右出現(xiàn)較小的峰值,而后枕部的腦電信號(hào)受影響不大。因此,選擇20 Hz以下的刺激頻率,可以避免下頜咬合相關(guān)EMG的影響。
從圖2可以看出,最明顯,幅值最大的是9.8 Hz刺激下的SSVEP響應(yīng)。在較低頻率的刺激下(6.2 Hz)頻譜中顯示6.2 Hz處的響應(yīng)幅度稍低,但是SSVEP在較低頻率下的典型特征是二次諧波更加明顯。原因可能是受試者感覺到其兩倍頻率刺激(12.4 Hz)更加強(qiáng)烈,并且10~13 Hz之間的SSVEP信噪比要高于10 Hz之前的[15]。幸運(yùn)的是,這一特征并沒有影響6.2 Hz的識(shí)別。如果想進(jìn)一步避免這種情況,F(xiàn)FT頻譜表明,選擇9.8 Hz左右的刺激頻率可能是一個(gè)更好的選擇。
除此之外,由于咬合動(dòng)作的電位幅值要遠(yuǎn)大于腦電的,而且頻率上SSVEP也僅僅會(huì)在某幾個(gè)頻率點(diǎn)對(duì)信號(hào)產(chǎn)生影響,而肌電信號(hào)的頻率帶分布很廣,所以SSVEP幾乎不會(huì)對(duì)肌電信號(hào)產(chǎn)生直接的影響。潛在的影響可能體現(xiàn)在注意力的分配與同步動(dòng)作的執(zhí)行上。
當(dāng)然,此次研究還有需要進(jìn)一步改善的地方,比如將更多的刺激頻率引入到試驗(yàn)中進(jìn)行研究,深入觀察咬肌或顳肌EMG對(duì)SSVEP的影響情況。另外,雖然穩(wěn)態(tài)視覺刺激基本不會(huì)對(duì)咬合EMG信號(hào)造成影響,但是多種咬合條件下的咬合動(dòng)作識(shí)別仍需進(jìn)一步探索,可為咬合和SSVEP同時(shí)使用提供更多的建議和參考。