基于多模式EEG的腦-機(jī)接口虛擬鍵鼠系統(tǒng)設(shè)計(jì)

謝松云，劉暢，吳悠，張娟麗，段緒

(西北工業(yè)大學(xué)電子信息學(xué)院，陜西西安 710072)

基于多模式EEG的腦-機(jī)接口虛擬鍵鼠系統(tǒng)設(shè)計(jì)

謝松云，劉暢，吳悠，張娟麗，段緒

(西北工業(yè)大學(xué)電子信息學(xué)院，陜西西安 710072)

現(xiàn)有的腦-機(jī)接口系統(tǒng)大都只基于單模式的腦電特征，系統(tǒng)能實(shí)現(xiàn)的功能非常有限，從而制約了腦-機(jī)接口系統(tǒng)的應(yīng)用。采用基于多種模式腦電信號(hào)（electroencephalogram，EEG）的腦-機(jī)接口技術(shù)來(lái)實(shí)現(xiàn)虛擬鍵鼠系統(tǒng)，使得被試可以利用自身的腦電信號(hào)控制鼠標(biāo)和鍵盤(pán)的操作。研究了腦-機(jī)接口中常用的3種腦電信號(hào)，分別是P300波、alpha波以及穩(wěn)態(tài)視覺(jué)誘發(fā)電位（steady state visual evoked potential，SSVEP），通過(guò)設(shè)計(jì)實(shí)驗(yàn)成功的誘發(fā)出了被試相應(yīng)的特征腦電信號(hào)。利用SSVEP的腦電特征設(shè)計(jì)6頻率LED閃爍刺激的虛擬鼠標(biāo)系統(tǒng)，實(shí)現(xiàn)控制鼠標(biāo)光標(biāo)移動(dòng)、單擊左鍵和單擊右鍵的任務(wù)；利用P300波的腦電特征設(shè)計(jì)6×6的字符矩陣虛擬鍵盤(pán)系統(tǒng)，實(shí)現(xiàn)字符輸入的任務(wù)；利用被試自主閉眼增強(qiáng)alpha波的腦電特征，實(shí)現(xiàn)鼠標(biāo)和鍵盤(pán)應(yīng)用切換的任務(wù)。研究了適宜這3種腦電特征的最佳測(cè)量電極組合及模式識(shí)別算法，使得對(duì)3種腦電信號(hào)的識(shí)別正確率均達(dá)到了85%以上。測(cè)試結(jié)果顯示，文中設(shè)計(jì)的基于多模式EEG的腦-機(jī)接口虛擬鍵鼠系統(tǒng)能有效地實(shí)現(xiàn)鼠標(biāo)控制以及鍵盤(pán)輸入的任務(wù)。

腦電信號(hào)；腦-機(jī)接口；虛擬鍵/鼠系統(tǒng)；機(jī)器學(xué)習(xí)；模式識(shí)別

腦-機(jī)接口(Brain-Computer Interface，BCI)是一種不依賴(lài)于大腦外周神經(jīng)與肌肉組成的正常輸出通路的腦-機(jī)通訊系統(tǒng)，是一種新型的人機(jī)交互系統(tǒng)，它在人體與計(jì)算機(jī)之間建立連接，利用從人腦采集到的腦電信號(hào)控制計(jì)算機(jī)或者其他外部電子設(shè)備從而實(shí)現(xiàn)人機(jī)交互。腦-機(jī)接口系統(tǒng)的研究使得大腦與外界直接進(jìn)行交互成為可能，在醫(yī)學(xué)、智能控制和軍事等領(lǐng)域都有著廣泛的潛在應(yīng)用［1］。

隨著現(xiàn)代電子科技的發(fā)展，計(jì)算機(jī)、手機(jī)等電子設(shè)備已經(jīng)成為人們的生活和工作中不可缺少的工具，其中電子設(shè)備的拼寫(xiě)器應(yīng)用研究是腦-機(jī)接口系統(tǒng)研究中的一個(gè)熱門(mén)方向。鼠標(biāo)和鍵盤(pán)是計(jì)算機(jī)必備的控制配件，現(xiàn)今很多拼寫(xiě)器和光標(biāo)控制腦-機(jī)接口系統(tǒng)的功能單一，如僅能實(shí)現(xiàn)拼寫(xiě)器或者光標(biāo)任務(wù)，且不能很好地和普通計(jì)算機(jī)結(jié)合，需要開(kāi)發(fā)相應(yīng)的特殊應(yīng)用才能供用戶(hù)使用，增加了腦-機(jī)接口系統(tǒng)的研發(fā)成本，限制了腦-機(jī)接口應(yīng)用的推廣。而且，現(xiàn)有的腦-機(jī)接口系統(tǒng)大都只基于單模式腦電特征，系統(tǒng)能實(shí)現(xiàn)的功能很有限，限制了腦-機(jī)接口系統(tǒng)的應(yīng)用。多模式腦-機(jī)接口技術(shù)能大大提高現(xiàn)有腦-機(jī)接口系統(tǒng)的性能，提供更豐富的控制信號(hào)，但同時(shí)這也為BCI的研究帶來(lái)了新的挑戰(zhàn)，比如多模式腦-機(jī)接口系統(tǒng)的刺激范式的設(shè)計(jì)，多模式腦電信號(hào)的特征提取與識(shí)別分類(lèi)等。這些方法的研究成果將促進(jìn)腦-機(jī)接口技術(shù)的發(fā)展，為BCI走向?qū)嵱没蛳聢?jiān)實(shí)的理論基礎(chǔ)。

P300(也稱(chēng)為P3b)是能反映高級(jí)認(rèn)知處理過(guò)程的一個(gè)內(nèi)源性成分，是事件相關(guān)電位中投入研究最多、應(yīng)用最廣、最引人注目的成分之一，這種信號(hào)峰值一般出現(xiàn)在相關(guān)事件發(fā)生后大約300ms的時(shí)刻。它是腦-機(jī)接口中經(jīng)常使用的一種信號(hào)，其幅值與相關(guān)事件出現(xiàn)概率成反相關(guān)。Farwell和Donchin研發(fā)出基于P300的腦-機(jī)接口P3Speller［2］，利用字符矩陣行列掃描的方式誘發(fā)P300電位，通過(guò)檢測(cè)P300實(shí)現(xiàn)字符的輸入，之后又有很多關(guān)于改進(jìn)這個(gè)范式的相關(guān)研究［3］。穩(wěn)態(tài)視覺(jué)誘發(fā)電位(SSVEP)，是當(dāng)被試者注意特定頻率(3.5～75 Hz)閃爍的視覺(jué)刺激時(shí)，在腦中產(chǎn)生相應(yīng)的電位響應(yīng)變化，其振蕩頻率與閃爍基頻一致，有研究利用SSVEP信號(hào)設(shè)計(jì)的拼寫(xiě)器［4］。alpha波是種自發(fā)腦電，通過(guò)眼部運(yùn)動(dòng)可以增大alpha波幅度或阻斷alpha波。根據(jù)這個(gè)機(jī)理，可以通過(guò)檢測(cè)alpha波來(lái)檢測(cè)人的睜眼和閉眼狀態(tài)，以實(shí)現(xiàn)信息的傳遞，具有典型例子的是通過(guò)檢查人在閉眼后alpha波幅度的升高來(lái)控制電子開(kāi)關(guān)。由此，本文選取P300波實(shí)現(xiàn)用戶(hù)字符輸入，選取SSVEP波實(shí)現(xiàn)光標(biāo)控制，并利用alpha波實(shí)現(xiàn)字符輸入與光標(biāo)控制之間的狀態(tài)轉(zhuǎn)換。

根據(jù)以上研究背景，本文研究設(shè)計(jì)了基于多模式EEG的腦-機(jī)接口虛擬鍵鼠系統(tǒng)，使腦-機(jī)接口系統(tǒng)應(yīng)用多元化；研究實(shí)時(shí)腦電特征提取和模式識(shí)別方法，提高腦-機(jī)接口系統(tǒng)的信息傳輸率、降低系統(tǒng)的差錯(cuò)率；研究最優(yōu)測(cè)量腦電信號(hào)的電極數(shù)目，降低系統(tǒng)成本和使用復(fù)雜度。結(jié)合相關(guān)模塊設(shè)計(jì)，通過(guò)實(shí)時(shí)分析頭皮上采集的腦電數(shù)據(jù)解碼人的主觀(guān)意愿，獲取大腦所發(fā)出的命令信息，轉(zhuǎn)換為外部設(shè)備的驅(qū)動(dòng)信號(hào)，實(shí)現(xiàn)輸入字符，鼠標(biāo)移動(dòng)以及單擊左右鍵任務(wù)，并使系統(tǒng)能夠很好地與普通計(jì)算機(jī)應(yīng)用結(jié)合。實(shí)驗(yàn)結(jié)果表明，基于本文提出的虛擬鍵鼠系統(tǒng)可以有效的實(shí)現(xiàn)被試?yán)媚X電信號(hào)完成對(duì)鼠標(biāo)的控制以及完成鍵盤(pán)輸入的任務(wù)。

1　多種腦電特征提取及識(shí)別方法的研究與實(shí)現(xiàn)

1.1基于多模式EEG的腦-機(jī)接口虛擬鍵鼠系統(tǒng)

設(shè)計(jì)的總體方案

基于所采用的特征腦電P300波，SSVEP，alpha波的誘發(fā)機(jī)理和應(yīng)用需求，設(shè)計(jì)如下實(shí)驗(yàn)方案進(jìn)行實(shí)驗(yàn)驗(yàn)證，總體方案示意流程如圖1所示：

1)設(shè)計(jì)實(shí)驗(yàn)范式

采用BCI2000編程實(shí)現(xiàn)字符掃描界面及FPGA編程實(shí)現(xiàn)LED視覺(jué)刺激界面。

2)腦電數(shù)據(jù)采集

采用EGI公司腦電采集放大器采集腦電數(shù)據(jù)，輸出至BCI2000平臺(tái)進(jìn)行實(shí)時(shí)腦電數(shù)據(jù)的接收。

3)腦電信號(hào)處理

圖1　基于多種EEG特征的腦-機(jī)接口虛擬鍵鼠系統(tǒng)

在BCI2000平臺(tái)對(duì)源數(shù)據(jù)進(jìn)行去噪，特征提取及模式識(shí)別以獲取被試者意愿。

4)驅(qū)動(dòng)外設(shè)

將獲取的被試者意愿，通過(guò)計(jì)算機(jī)指令轉(zhuǎn)化為鍵鼠控制指令。

在該實(shí)驗(yàn)范式下，P300波對(duì)應(yīng)虛擬鍵鼠任務(wù)，擴(kuò)展屏幕上的6×6的字符矩陣隨機(jī)行列掃描加亮，誘發(fā)P300信號(hào)，識(shí)別出P300信號(hào)后即可得出目標(biāo)字符的行列坐標(biāo)，確定要輸入的字符，再驅(qū)動(dòng)計(jì)算機(jī)虛擬摁鍵任務(wù)，輸入要輸入的字符。放置在不同位置的6頻率LED的閃爍刺激分別對(duì)應(yīng)鼠標(biāo)6種任務(wù)：光標(biāo)左上移動(dòng)、光標(biāo)左下移動(dòng)、光標(biāo)右上移動(dòng)、光標(biāo)右下移動(dòng)、單擊鼠標(biāo)左鍵、單擊鼠標(biāo)右鍵。LED閃爍會(huì)誘發(fā)對(duì)應(yīng)頻率SSVEP腦電波，提取出相關(guān)特征識(shí)別出此時(shí)SSVEP頻率，即可得到被試關(guān)注的LED燈，進(jìn)而得到鼠標(biāo)任務(wù)，驅(qū)動(dòng)計(jì)算機(jī)虛擬鼠標(biāo)任務(wù)完成相關(guān)鼠標(biāo)動(dòng)作。被試還可以通過(guò)閉眼誘發(fā)alpha波增強(qiáng)來(lái)實(shí)現(xiàn)虛擬鼠標(biāo)任務(wù)和虛擬鍵盤(pán)任務(wù)之間的切換。

1.2多模式腦電信號(hào)的特征提取及識(shí)別方法與實(shí)現(xiàn)

被試在本文的實(shí)驗(yàn)中將分為訓(xùn)練階段與測(cè)試階段，訓(xùn)練階段用以研究特征提取方案以及最優(yōu)化分類(lèi)器參數(shù)，測(cè)試階段用以測(cè)試整個(gè)系統(tǒng)的性能。

1.2.1P300波的特征提取與識(shí)別方案

由于P300波是鎖時(shí)信號(hào)，對(duì)相位敏感，故首先將訓(xùn)練階段的數(shù)據(jù)信號(hào)用1～15 Hz無(wú)相移的帶通濾波器濾除其部分噪聲。之后截取刺激出現(xiàn)前0.1 s到刺激呈現(xiàn)后0.7 s的0.8 s的數(shù)據(jù)作為一個(gè)樣本，將該數(shù)據(jù)放入由黃廣斌在2003年提的出極限學(xué)習(xí)機(jī)(extreme learning machine，ELM)［5］中進(jìn)行訓(xùn)練，以得到最優(yōu)的分類(lèi)器參數(shù)。本實(shí)驗(yàn)中，在訓(xùn)練階段，每個(gè)被試共有300個(gè)樣本，其中隨機(jī)選取150個(gè)樣本作為訓(xùn)練集，其余150個(gè)樣本作為測(cè)試集，并經(jīng)過(guò)交叉驗(yàn)證以保證結(jié)果的可靠性。最終數(shù)據(jù)處理結(jié)果表明，當(dāng)設(shè)置極限學(xué)習(xí)機(jī)的網(wǎng)絡(luò)隱藏層為2 500個(gè)神經(jīng)元，激活函數(shù)為sigmoidal函數(shù)時(shí)，分類(lèi)器性能最好，并在選取O1導(dǎo)聯(lián)時(shí)，達(dá)到最高的正確率。如圖2a)所示，將該算法與支持向量機(jī)(SVM)以及反向神經(jīng)網(wǎng)絡(luò)(BPNN)相比，正確率最高。

1.2.2alpha波的特征提取與識(shí)別方案

由于alpha波是在8～13 Hz的特征腦電信號(hào)，故將原始腦電數(shù)據(jù)經(jīng)過(guò)6～15 Hz的帶通濾波后分割成長(zhǎng)度為2 s的數(shù)據(jù)段，每個(gè)被試共有160個(gè)數(shù)據(jù)段樣本，其中80個(gè)睜眼狀態(tài)樣本，80個(gè)閉眼狀態(tài)樣本，對(duì)每一樣本提取均方差，作為最終的特征，放入SVM分類(lèi)器中進(jìn)行分類(lèi)。正確率如圖2b)所示，在選取O1導(dǎo)聯(lián)時(shí)，該方法對(duì)所有被試的分類(lèi)正確率都可達(dá)到85%以上。

1.2.3SSVEP波的特征提取與識(shí)別方案

由于本文實(shí)驗(yàn)設(shè)計(jì)的LED閃爍刺激的閃爍頻率為18～23 Hz，因此，本文采用10～30 Hz的帶通濾波器濾除信號(hào)的部分噪聲。在不同的時(shí)間尺度下，采用基于典型相關(guān)性分析(CCA)的特征提取方法［7］，將所得的特征用SVM進(jìn)行分類(lèi)，不同的電極組合的結(jié)果如圖2c)所示。綜上，本文選取CH35 (O1)，CH37(Oz)，CH39(O2)作為測(cè)量電極，對(duì)P300波，alpha波，SSVEP波進(jìn)行測(cè)量。

圖2　3種特征腦電信號(hào)的識(shí)別正確率

2　基于多模式EEG的腦-機(jī)接口虛擬鍵鼠系統(tǒng)的設(shè)計(jì)和測(cè)試

2.1基于多模式EEG的腦-機(jī)接口虛擬鍵鼠系統(tǒng)設(shè)計(jì)

基于前文對(duì)不同腦電特征的誘發(fā)實(shí)驗(yàn)設(shè)計(jì)和信號(hào)處理方法的研究，本文設(shè)計(jì)了一個(gè)基于多模式EEG的腦-機(jī)接口系統(tǒng)，實(shí)現(xiàn)虛擬鍵鼠功能。系統(tǒng)包括腦電采集帽和計(jì)算機(jī)，由腦電帽采集數(shù)據(jù)，計(jì)算機(jī)處理腦電波信號(hào)并實(shí)現(xiàn)相關(guān)虛擬鍵鼠應(yīng)用。本系統(tǒng)只需要在普通計(jì)算機(jī)上外接一個(gè)擴(kuò)展屏幕即可實(shí)現(xiàn)。擴(kuò)展屏幕的4個(gè)角和上下邊的中間均放置LED燈，燈位置如圖1所示，從左上角順時(shí)針順序閃爍頻率依次為20 Hz、18 Hz、22 Hz、23 Hz、19Hz以及21Hz。系統(tǒng)使用過(guò)程中，會(huì)在擴(kuò)展屏顯示一個(gè)6×6的字符矩陣，作為虛擬鍵盤(pán)刺激界面誘發(fā)P300信號(hào)，如圖1中所示。腦電帽所用電極為O1、Oz、O2這3個(gè)電極。將采集到的信號(hào)傳輸至計(jì)算機(jī)，由計(jì)算機(jī)處理，最后驅(qū)動(dòng)計(jì)算機(jī)的鍵盤(pán)任務(wù)和鼠標(biāo)任務(wù)。

計(jì)算機(jī)上安裝了BCI2000平臺(tái)，EGI腦電采集設(shè)備通過(guò)Netstation采集后傳輸至BCI2000。整個(gè)腦-機(jī)接口系統(tǒng)由BCI2000平臺(tái)控制和實(shí)現(xiàn)信號(hào)的接收、信號(hào)處理和應(yīng)用驅(qū)動(dòng)。信號(hào)處理過(guò)程為腦電預(yù)處理、腦電特征提取和腦電模式識(shí)別。腦電預(yù)處理包括信號(hào)的降采樣、信號(hào)濾波。原始采集的腦電信號(hào)采樣率為1 000 Hz，降采樣至200 Hz。再根據(jù)要處理的不同特征進(jìn)行不同的信號(hào)濾波。預(yù)處理好數(shù)據(jù)后先通過(guò)檢測(cè)alpha波識(shí)別是否切換任務(wù)，確定要提取特征的信號(hào)類(lèi)型是P300還是SSVEP，再根據(jù)前文研究的特征提取及模式識(shí)別方法識(shí)別相關(guān)腦電特征。信號(hào)處理模塊使用MATLAB語(yǔ)言編寫(xiě)。后根據(jù)信號(hào)的不同特征驅(qū)動(dòng)相關(guān)任務(wù)。P300波對(duì)應(yīng)虛擬鍵鼠任務(wù)，擴(kuò)展屏幕上的6×6的字符矩陣基于row/column(RC)行列掃描范式隨機(jī)行列掃描加亮，誘發(fā)P300信號(hào)，識(shí)別出P300信號(hào)后即可得出目標(biāo)字符的行列坐標(biāo)，確定要輸入的字符，再驅(qū)動(dòng)計(jì)算機(jī)虛擬摁鍵任務(wù)，輸入要輸入的字符。放置在不同位置的6頻率LED的閃爍刺激分別對(duì)應(yīng)鼠標(biāo)6種任務(wù)：光標(biāo)左上移動(dòng)、光標(biāo)左下移動(dòng)、光標(biāo)右上移動(dòng)、光標(biāo)右下移動(dòng)、單擊鼠標(biāo)左鍵、單擊鼠標(biāo)右鍵。LED閃爍會(huì)誘發(fā)對(duì)應(yīng)頻率SSVEP腦電波，提取出相關(guān)特征識(shí)別出此時(shí)SSVEP頻率，即可得到被試關(guān)注的LED燈，進(jìn)而得到鼠標(biāo)任務(wù)，驅(qū)動(dòng)計(jì)算機(jī)虛擬鼠標(biāo)任務(wù)完成相關(guān)鼠標(biāo)動(dòng)作。被試還可以通過(guò)閉眼誘發(fā)alpha波增強(qiáng)來(lái)實(shí)現(xiàn)虛擬鼠標(biāo)任務(wù)和虛擬鍵盤(pán)任務(wù)之間的切換。

2.2基于多模式EEG的腦-機(jī)接口虛擬鍵鼠系統(tǒng)的測(cè)試

根據(jù)前文的設(shè)計(jì)，如圖3所示，本文搭建了腦-機(jī)接口虛擬鍵鼠系統(tǒng)，并進(jìn)行了測(cè)試。圖中左邊的顯示器為計(jì)算機(jī)的主顯示器，右邊顯示器為擴(kuò)展屏幕。右邊顯示器上粘貼有6個(gè)LED燈，以不同的頻率閃爍，閃爍燈由屏幕旁邊的一個(gè)FPGA開(kāi)發(fā)板控制。屏幕中央顯示基于P300的拼寫(xiě)器虛擬鍵盤(pán)，由BCI2000平臺(tái)實(shí)現(xiàn)行/列加亮。實(shí)驗(yàn)任務(wù)為被試在普通計(jì)算機(jī)桌面上新建文檔并打開(kāi)文檔輸入字符。

圖3　腦-機(jī)接口虛擬鍵鼠系統(tǒng)測(cè)試實(shí)驗(yàn)圖

實(shí)驗(yàn)時(shí)給被試佩戴EGI公司的64導(dǎo)聯(lián)的腦電帽設(shè)備(BCI系統(tǒng)僅用3個(gè)導(dǎo)聯(lián)信號(hào))，并讓其舒適地坐在電磁屏蔽室里顯示器前面。實(shí)驗(yàn)設(shè)備信號(hào)采樣率設(shè)為1 000 Hz，參考電極為Cz。啟動(dòng)BCI2000平臺(tái)，配置好相關(guān)參數(shù)后進(jìn)行腦-機(jī)接口虛擬鍵盤(pán)系統(tǒng)測(cè)試實(shí)驗(yàn)。在實(shí)驗(yàn)過(guò)程中，被試成功地完成在桌面上點(diǎn)擊右鍵，移動(dòng)鼠標(biāo)，新建一個(gè)文本文檔，并通過(guò)點(diǎn)擊右鍵選擇“打開(kāi)”選項(xiàng)卡實(shí)現(xiàn)打開(kāi)文檔，隨后在文檔內(nèi)輸入字符任務(wù)。根據(jù)實(shí)驗(yàn)測(cè)試驗(yàn)證，本系統(tǒng)能有效地在普通計(jì)算機(jī)上完成鼠標(biāo)和鍵盤(pán)任務(wù)。

3　結(jié) 論

本文利用SSVEP的腦電特征設(shè)計(jì)了6頻率LED閃爍刺激的虛擬鼠標(biāo)系統(tǒng)，實(shí)現(xiàn)控制鼠標(biāo)光標(biāo)移動(dòng)、單擊左鍵和單擊右鍵的任務(wù)；利用P300波的腦電特征設(shè)計(jì)了6×6的字符矩陣虛擬鍵盤(pán)系統(tǒng)，實(shí)現(xiàn)字符輸入的任務(wù)；利用被試自主閉眼增強(qiáng)alpha波的腦電特征，實(shí)現(xiàn)了鼠標(biāo)和鍵盤(pán)應(yīng)用切換的任務(wù)。同時(shí)，研究了適宜這3種腦電特征的最佳測(cè)量電極組合及模式識(shí)別算法，使得對(duì)3種腦電信號(hào)的識(shí)別正確率均達(dá)到了85%以上。測(cè)試結(jié)果顯示，本文設(shè)計(jì)的基于多模式EEG的腦-機(jī)接口虛擬鍵鼠系統(tǒng)能有效地實(shí)現(xiàn)鼠標(biāo)控制以及鍵盤(pán)輸入的任務(wù)。

［1］ Wang Y，Chen S，Lin C.An EEG-Based Brain-Computer Interface for Dual Task Driving Detection［J］.Neurocomputing， 2014，129：85-93

［2］ Farwell L A，Donchin E.Talking off the Top of Your Head：Toward a Mental Prosthesis Utilizing Event-Related brain Potentials［J］.Electroencephalography and Clinical Neurophysiology，1988，70(6)：510-523

［3］ Marchetti M，Priftis K.Effectiveness of the P3-Speller in Brain-Computer Interfaces for Amyotrophic Lateral Sclerosis Patients：A Systematic Review and Meta-Analysis［J］.Frontiers in Neuroengineering，2014，7：12-14

［4］ Long J，Li Y，Yu T，et al.Target Selection with Hybrid Feature for BCI-Based 2-D Cursor Control［J］.IEEE Transactions on Biomedical Engineering，2012，59(1)：132-140

［5］ Huang G，Zhu Q，Siew C.Extreme Learning Machine：Theory and Applications［J］.Neurocomputing.2006，70(1/2/3)：489-501

［6］ Lin Z，Zhang C，Wu W，et al.Frequency Recognition Based on Canonical Correlation Analysis for SSVEP-Based BCIs［J］. IEEE Trans on Biomedical Engineering，2007，54(62)：1172-1176

A Hybrid BCI(Brain-ComPuter Interface)Based on Multi-Mode EEG for Words TyPing and Mouse Control

Xie Songyun，Liu Chang，Wu You，Zhang Juanli，Duan Xu
(Department of Electronics and Engineering，Northwestern Polytechnical University，Xi′an，710072，China)

The existing BCI systems are mostly based on single EEG(Electroencephalogram)feature；thus，the functions of these systems are very limited.A hybrid BCI system based on multi-mode EEG for words typing and mouse control has been designed in this paper.This paper studies three commonly used EEG features in BCIs， namely，P300，alpha waves and SSVEP.Three experiments are designed using software E-Prime to evoke the features.According to the different evoking experiments and signal processing methods，SSVEP is used to design 6 flashing LED virtual mouse to move the mouse cursor and click left key and right-click，P300 is used to design a virtual keyboard of 6x6 character matrix to input the characters.The switch of the mouse and keyboard application is controlled by the enhancement of the alpha wave through closing the eyes.The real-time processing method of the three EEG features that include data segment，signal preprocessing，feature extraction and pattern recognition has also been studied；this study makes the average accuracies of the recognition of these three EEGs attain more than 85%.Test results and their analysis showed preliminarily that the BCI system designed in this paper can effectively implement the mouse and keyboard input tasks.

back propagation，computer simulation，computer software，control，data acquisition，design，efficiency，feature extraction，field programmable gate arrays(FPGA)，light emitting diodes，MATLAB，matrix algebra，mean square error，neural networks，pattern recognition，real time systems，signal processing，support vector machines；BCI(Brain-Computer Interface)，EEG(electroencephalogram)， virtual keyboard，virtual mouse

TP391.4

A

1000-2758(2016)02-0245-05

2015-10-12基金項(xiàng)目：國(guó)家自然科學(xué)基金(61273250)、陜西省工業(yè)攻關(guān)項(xiàng)目(2015GY003)及西北工業(yè)大學(xué)研究生創(chuàng)業(yè)種子基金(Z2015112)資助

謝松云(1968—)，女，西北工業(yè)大學(xué)教授、博士生導(dǎo)師，主要從事神經(jīng)信息處理與腦認(rèn)知及動(dòng)態(tài)目標(biāo)識(shí)別與跟蹤研究。