伏云發(fā) 郭衍龍 李松 熊馨 李勃 余正濤
基于SSVEP直接腦控機器人方向和速度研究
伏云發(fā)1郭衍龍1李松1熊馨1李勃1余正濤1
直接用思維意圖來控制機器人而沒有大腦外周神經(jīng)和肌肉的參與是人類的一個夢想,目前這一研究已成為國際前沿?zé)狳c和突破點.傳統(tǒng)的腦控機器人(Brain-controlled robot,BCR)主要控制其方向,而本文旨在探討能夠同時腦控機器人方向和速度的有效方法.采用可分類目標(biāo)數(shù)多、單次識別率高且訓(xùn)練時間短的穩(wěn)態(tài)視覺誘發(fā)電位(Steady state visual evoked potentials,SSVEP)腦機交互(Brain-computer/machine interaction,BCI/BMI)方法,為腦控機器人運動規(guī)劃了向左、向右、前進和后退4個方向,設(shè)計了低速、中速和高速3級運動速度并組合了9個腦控指令;進而比較并優(yōu)化了SSVEP刺激目標(biāo)布局間距以及刺激目標(biāo)閃爍時間,采用典型相關(guān)分析(Canonical correlation analysis,CCA)進行識別.結(jié)果表明恰當(dāng)設(shè)置SSVEP刺激目標(biāo)數(shù)及其布局間距和刺激目標(biāo)閃爍時間,可以有效提高被試/用戶直接腦控機器人的性能;優(yōu)化的SSVEP刺激范式三結(jié)合適應(yīng)SSVEP解碼的典型相關(guān)分析,8名被試腦控機器人到達(dá)終點平均用時為2分40秒,最少用時1分29秒;同時,在腦控機器人運動過程中觸碰障礙平均次數(shù)為0.88,最少碰觸次數(shù)為0.本研究顯示基于SSVEP的腦機交互可以作為直接腦控機器人靈活運動的一種可選方法,能夠?qū)崿F(xiàn)對機器人多個運動方向和多級速度的控制;也證實了適當(dāng)增加刺激目標(biāo)間距可以有效提高SSVEP-BCI腦控指令識別的正確率,說明了該腦控方法的性能與刺激被試的范式有關(guān);再次驗證了CCA算法在基于SSVEP的腦機交互中具有優(yōu)良的效果.最后,為克服單一SSVEP范式存在的局限,本研究也嘗試把該范式與運動想象相結(jié)合的混合范式用于腦控機器人方向和速度,并進行了初步的研究,表明可以進一步改善控制速度和提高被試舒適度.本文可望為基于SSVEP或與運動想象混合的腦機交互應(yīng)用于分級或精細(xì)控制機器人方向和速度提供思路,并為直接腦控機器人技術(shù)推向?qū)嶋H應(yīng)用打下一定的基礎(chǔ).
腦控機器人,穩(wěn)態(tài)視覺誘發(fā)電位,典型相關(guān)分析,腦–機交互,混合腦機接口
腦機接口/腦機交互 (Brain-computer/machine interaction,BCI/BMI)是繞過大腦外周神經(jīng)和肌肉的參與,由腦信號實現(xiàn)大腦與外部設(shè)備直接的通信和控制[1?2],其在機器人控制領(lǐng)域的一個重要應(yīng)用是腦控機器人(Brain-controlled robot, BCR)技術(shù)[3?6],即用感知、思維意圖控制機器人的研究.該研究是腦科學(xué)、信息科學(xué)與控制科學(xué)交叉跨學(xué)科研究,目前已成為國際重大前沿突破點.這一技術(shù)不僅可望戰(zhàn)略性地用于國防軍事目的,也可望為嚴(yán)重運動殘疾患者提供一種新的通信和控制通道[2],從而改善他們的生活質(zhì)量;更可望在特殊情況下為健康用戶提供腦控機器人或外部設(shè)備[3,7],也提高他們生活的質(zhì)量.
傳統(tǒng)的腦控機器人研究主要實現(xiàn)對機器人簡單的方向控制,難于實現(xiàn)對其速度的控制[3,8].但在實際應(yīng)用中,需要實現(xiàn)對其方向的靈活控制,也需要實現(xiàn)對其速度的靈活控制,這些需求提出了一個很大的挑戰(zhàn).已有基于運動想象(Motor imagery, MI)腦電的腦機交互范式多數(shù)是簡單的運動想象模式[9?10],僅提供小的指令集,難于滿足機器人靈活運動對多個方向和多級速度的控制需求;而復(fù)雜運動想象模式的腦功能機制及其信號特征尚沒有得到充分的研究[11],因此對復(fù)雜運動想象模式的識別精度低,目前也難于提供大指令集[12?13].此外,實用的腦控機器人系統(tǒng)應(yīng)滿足大多數(shù)用戶需要較少的或不需要訓(xùn)練就能夠?qū)崿F(xiàn)操控.然而,基于運動想象模式的腦機交互性能在被試內(nèi)(同一被試運動想象的能力和其狀態(tài)隨時間而變化)和被試間(不同個體運動想象的能力)的變異性較大,研究表明存在嚴(yán)重的BCI盲問題[14?16].
除了上述基于運動想象的腦機交互外,基于P300的腦機交互雖然其識別目標(biāo)數(shù)可以超過30個,但是為保證識別精度需要至少2個重復(fù)次數(shù),難于做到單次識別[17],腦控機器人運動的實時性會受到限制.相比上述兩種范式,基于SSVEP的腦機交互不僅可識別的目標(biāo)數(shù)多(可超過40個)[18],能夠提供大指令集(即可提供更多精細(xì)的運動控制指令),以滿足腦控機器人靈活運動對方向和速度的分級控制;而且該類腦機交互需要被試較少的適應(yīng)性訓(xùn)練[19].為此,本研究擬采用基于SSVEP的腦機交互方法直接腦控機器人的方向和速度,比較普遍適用于字符輸入的該范式[18?19],為有效用于腦控機器人接口,將根據(jù)機器人靈活運動對方向和速度的要求,優(yōu)化此范式的設(shè)計及控制策略,恰當(dāng)設(shè)置SSVEP刺激目標(biāo)數(shù)及其布局;然后結(jié)合優(yōu)化的刺激范式,采用適用于SSVEP解碼的典型相關(guān)分析(Canonical correlation analysis,CCA)方法[20].
此外,為克服SSVEP存在的局限,本文也對SSVEP與MI相結(jié)合腦控機器人方向和速度進行了初步的研究.本文可望為基于SSVEP或與MI混合的腦機交互用于腦控機器人復(fù)雜靈活運動的研究和應(yīng)用提供啟發(fā),并為推動直接腦控機器人技術(shù)走向?qū)嶋H應(yīng)用打下一定的基礎(chǔ).
直接腦控機器人系統(tǒng)如圖1所示,該圖表明了大腦、計算機和機器人之間的關(guān)系,由神經(jīng)反饋和其他反饋構(gòu)成閉環(huán)控制系統(tǒng).
圖1 直接腦控機器人系統(tǒng)Fig.1 Direct brain-controlled robot system
為測試基于SSVEP腦機接口/腦機交互直接腦控機器人的性能,本實驗研究采用2015年第二屆中國腦–機接口比賽官方提供的腦控機器人測試平臺,如圖2(a)所示[21].直接腦控機器人的任務(wù)是:從起點出發(fā),繞過障礙物,最終達(dá)到終點,該測試平臺自動記錄用時以及觸碰障礙物次數(shù)(每碰撞一次懲罰5秒).腦控機器人控制指令由13個字符組成,腦機交互(BCI)系統(tǒng)可以通過指令控制機器人的運動方向(如前進、后退、左轉(zhuǎn)和右轉(zhuǎn))和運動速度(例如可以是低速、中速和高速三種模式),機器人通過指令獲得初始速度后會由于阻力等因素的影響,運動速度在較短時間內(nèi)逐漸減小到0[21].測試平臺與BCI系統(tǒng)之間通信采用客戶端/服務(wù)器結(jié)構(gòu),如圖2(b)所示,測試平臺為服務(wù)器端,BCI系統(tǒng)為客戶端,通過TCP/IP進行連接.
2.1 實驗被試、腦電采集設(shè)備及參數(shù)
實驗被試:共8個被試(Subject,S1~S8),5名男性,3名女性,年齡在23~27歲之間,健康狀況良好,視力正常或已矯正,對實驗研究均知情同意. 腦電采集設(shè)備采用博??悼萍加邢薰?(Neuracle)的 32通道無線腦電采集系統(tǒng)(包括腦電帽、無線腦電放大器以及無線路由器). 采樣頻率設(shè)置為 250Hz,記錄電極為Pz、P3、P4、PO3、PO4、PO7、O1、Oz、O2、PO8以及參考電極Cz,接地電極為FPz,導(dǎo)聯(lián)位置符合國際10-20標(biāo)準(zhǔn),實驗中保持電極阻抗在5k歐姆以下.
圖2 腦控機器人測試平臺及腦控機器人系統(tǒng)客戶/服務(wù)器結(jié)構(gòu)Fig.2 The test platform and client/server architecture for brain-controlled robot system
2.2 基于SSVEP腦機交互范式和腦控機器人策略
2.2.1 基于SSVEP腦機交互范式
SSVEP腦機交互范式利用Matlab的Psychtoolbox(PTB)工具箱實現(xiàn).采用刷新率60幀/秒的液晶顯示器,分辨率設(shè)置為1366×768(像素).刺激目標(biāo)由大小為150×150(像素)的9個方塊組成,如圖3所示.每個刺激目標(biāo)由特定頻率調(diào)制,本實驗中,刺激目標(biāo)從左至右,從上至下的閃爍頻率分別為[8 12 9 13 9.5 10 14 10.5 15]Hz.實驗開始時,刺激界面首先靜止呈現(xiàn)3秒,3秒后9個刺激目標(biāo)分別以上述頻率閃爍.
圖3 SSVEP腦機交互刺激范式一Fig.3 The first SSVEP-based BCI stimulation paradigm
2.2.2 腦控機器人策略
為有效完成第1節(jié)中直接腦控機器人測試平臺中要求的任務(wù):靈活的方向和速度控制,一種策略是對圖3中的9個刺激目標(biāo)分別設(shè)置適當(dāng)?shù)目刂茩C器人方向和速度的指令,如表1所示.其中,指令串中“BCI”為控制命令頭;用戶標(biāo)識“ID”:01~99;開關(guān)標(biāo)識“CA”:0000~3333,其中不同位代表不同方向的運動,0、1、2、3分別代表0速,低速,中速及高速[21].
表1 一種腦控機器人策略:SSVEP腦機交互刺激范式刺激目標(biāo)對應(yīng)的腦控制指令Table 1 A strategy for brain-controlled robot:control commands corresponding to the stimulus targets of SSVEP-based BCI stimulation paradigm
2.3 基于SSVEP腦機交互范式優(yōu)化
對于第2.2節(jié)的SSVEP腦機交互刺激范式,9個刺激目標(biāo)的布局和它們的間距可能影響分類識別率.為了尋找更有效的控制,本研究設(shè)計了三種不同的刺激范式,如圖3、圖4(a)和圖4(b)所示.三種刺激范式的差別在于刺激目標(biāo)之間的間隔.其中,范式一刺激目標(biāo)之間的間距為10;范式二刺激目標(biāo)之間的間距為100;范式三刺激目標(biāo)之間水平間距為428,垂直間距為198.本實驗中,三種范式刺激(Trials)呈現(xiàn)時間均設(shè)置為3秒,視覺轉(zhuǎn)移時間(即每個Trial之間的間隔時間)設(shè)置為1.5秒,固定腦控機器人測試平臺環(huán)境(圖2(a)),每個被試在三種刺激范式下分別進行3次腦控制機器人實驗,測試結(jié)果見第3節(jié)實驗結(jié)果部分的表2.
在上述實驗過程中,發(fā)現(xiàn)刺激目標(biāo)的刺激呈現(xiàn)時間會影響被試的正確識別率.為驗證這一發(fā)現(xiàn),基于圖3、圖4(a)和圖4(b)所示刺激范式下做如下實驗每個被試對同一種刺激范式進行4組測試,每組30個Trials,每個Trial之間的注意力轉(zhuǎn)移時間Ts均為1.5秒,不同的是4組測試的刺激時間Td (即刺激目標(biāo)閃爍時間)分別為1秒、2秒、3秒及4秒.每組實驗前,利用VC++從9個字符串控制指令“低速前進”、“中速前進”、“高速前進”、“低速后退”、“中速后退”、“低速左轉(zhuǎn)”、“中速左轉(zhuǎn)”、“低速右轉(zhuǎn)”、“中速右轉(zhuǎn)”中隨機產(chǎn)生30個Trials.實驗時,在一個Trial結(jié)束下一個Trial開始前,由一名輔助人員依次喊出VC++隨機生成的控制指令,被試隨即注視控制指令對應(yīng)的刺激目標(biāo),在Td結(jié)束后,系統(tǒng)將結(jié)果反饋呈現(xiàn)給被試,反饋的刺激目標(biāo)背景變?yōu)榧t色(如圖3),呈現(xiàn)0.5秒,同時,另一名輔助人員記錄每個Trial反饋的結(jié)果.每組實驗之間有3分鐘休息時間.實驗結(jié)果見第3節(jié)實驗結(jié)果部分的表3~表5.本實驗不連接腦控機器人測試平臺,僅實驗被試在三種刺激范式設(shè)置下的識別精度,以優(yōu)化SSVEP刺激范式.
圖4 SSVEP腦機交互刺激范式二和范式三Fig.4 The second and the third SSVEP-based BCI stimulation paradigm
2.4 典型相關(guān)分析(CCA)
典型相關(guān)分是一種最大化兩類相似性的空間濾波器.Lin等首先將CCA應(yīng)用于基于SSVEP的腦–機接口系統(tǒng)中[22].一般而言,我們把Bin等提出的方法稱為標(biāo)準(zhǔn)CCA(Standard CCA)[20].
在采用CCA方法處理腦電圖(Electro encephalograph,EEG)數(shù)據(jù)時,我們設(shè)C、N、Nh、fs分別表示EEG通道數(shù)、時間點數(shù)、諧波數(shù)和采樣頻率,記為實驗采集到的C導(dǎo)EEG數(shù)據(jù),為模板信號,f為刺激頻率,則定義如下:
式(2)中尋找最優(yōu)問題可通過廣義特征值的分解來解決,這樣對于特定的刺激頻率f可以得到一個相關(guān)性最大的值ρ(f).
基于SSVEP的腦–機接口系統(tǒng)中,如果有m個刺激目標(biāo),其閃爍頻率為f1,f2,···,fm(f1<f2<···<fm),那么需要找到一種方法使得系統(tǒng)能夠識別出被試凝視的刺激目標(biāo),CCA便是一種有效的方法[20].所有的刺激頻率均可以通過式(2)計算得到其ρ(f)(f=f1,f2,···,fm),那么目標(biāo)頻率ftarget可通過式(3)得到:
那么,我們將得到的ftarget認(rèn)為是被試注視的目標(biāo)刺激頻率.
2.5 基于SSVEP腦機交互直接腦控機器人系統(tǒng)結(jié)構(gòu)
綜合上述方法,本實驗構(gòu)建的基于SSVEP腦機交互直接腦控機器人系統(tǒng)結(jié)構(gòu)如圖5所示,為同步工作方式.其中包括SSVEP刺激范式呈現(xiàn)屏幕及解碼計算機、腦控機器人測試平臺、腦電帽及無線腦電放大器和無線路由,它們之間的信息交互均通過無線路由器.實驗前查看并設(shè)置解碼計算機、機器人測試平臺及無線腦電放大器的IP地址,確保解碼計算機與腦控機器人測試平臺、無線腦電放大器之間實時通訊.基于SSVEP腦機交互直接腦控機器人方向和速度的過程如下:解碼計算機啟動腦機接口/腦機交互程序(客戶端),屏幕呈現(xiàn)SSVEP刺激范式,腦控機器人測試平臺(服務(wù)器端)連入客戶端并開始計時,被試觀察并規(guī)劃機器人運動路徑,然后注視與期望運動方向和速度相對應(yīng)的刺激目標(biāo),同時無線腦電放大器將采集到的腦電信號(模擬信號)轉(zhuǎn)換成數(shù)字信號經(jīng)無線路由同步(時間精度小于1毫秒)發(fā)送至客戶端,解碼計算機分析接收到的腦電信號并將識別結(jié)果呈現(xiàn)在屏幕上(如圖3),被識別的刺激目標(biāo)背景變?yōu)榧t色,呈現(xiàn)0.5秒,同時與之對應(yīng)的控制指令經(jīng)無線路由發(fā)送至服務(wù)器端,從而實現(xiàn)對機器人運動方向和速度的分級控制.實驗中,被試根據(jù)機器人的運動狀態(tài)、位置以及周邊的障礙,規(guī)劃下一步運動路徑和控制策略,然后再次注視相應(yīng)的刺激目標(biāo),如此,反復(fù)操控SSVEP-BCI系統(tǒng),最終使機器人到達(dá)目標(biāo)位置(用時越短越好,碰觸障礙數(shù)目越少越好).
圖5 基于SSVEP腦機交互直接腦控機器人系統(tǒng)結(jié)構(gòu)Fig.5 The structure of SSVEP-based BCI directly brain-controlled robot
2.6 一個初步研究:SSVEP與MI相結(jié)合腦控機器人方向和速度
2.6.1 控制策略
直接腦控機器人的安全性非常重要,其方向的控制更多地涉及到安全問題,被試/用戶需要根據(jù)障礙或轉(zhuǎn)向需求,及時控制機器人的方向.考慮到SSVEP實現(xiàn)控制的速度比想象運動慢,我們采用SSVEP與運動想象相結(jié)合的多模態(tài)方法,該混合/融合的腦機交互控制策略如下:SSVEP的控制策略不變,如表1所示,僅把該表中的中速后退“B+”修改為“切入運動想象模式”—“MI”,即增加模態(tài)轉(zhuǎn)換指令.在SSVEP模態(tài)下,當(dāng)被試想要轉(zhuǎn)換為運動想象模態(tài)時,將注意力集中于“MI”目標(biāo)塊上即可.當(dāng)系統(tǒng)順利切換到運動想象腦機交互系統(tǒng)時,SSVEP刺激范式界面消失,變?yōu)楹谏嬅?此時被試可以實現(xiàn)4種控制狀態(tài):“左手運動想象”對應(yīng)低速左轉(zhuǎn);“右手運動想象”對應(yīng)低速右轉(zhuǎn);“空閑(不進行任何運動想象)”對應(yīng)低速前進,“雙腳運動想象”對應(yīng)停止運行(或低速后退).
2.6.2 初步結(jié)果
在實驗前,修改圖3及圖4(a)和圖4(b)的人機交互界面,B+改為MI.記錄電極在原來的基礎(chǔ)上,增加C3、C4.
1)被試反映,需要對機器人方向控制時,發(fā)出運動想象意圖到機器人做出反應(yīng)的速度比單獨的SSVEP模式快.這可能是自定節(jié)奏的運動想象不需要被試在控制場景和GUI(Graphical user interface)之間進行頻繁視覺切換,加快了控制速度.
2)此外,被試反映,運動想象期間可以集中于心理活動,避免了頻繁的視覺刺激,眼睛得到了一定時間的休息,疲勞程度得到一定的緩解,誤操作也有所減少.
每名被試在同一種刺激范式下均進行三次實驗,表2呈現(xiàn)了8名被試腦控機器人實驗用時(min)、觸碰障礙物次數(shù)、平均用時(Average,Aver)、最少(Minimum,Min)用時以及方差(Variance,Var).表2中“6′18”表示腦控機器人達(dá)到終點用時為6分18秒.
為比較和優(yōu)化SSVEP腦機交互刺激范式,表3~表5分別呈現(xiàn)了在SSVEP刺激范式一、范式二、范式三下8名被試在不同的刺激目標(biāo)閃爍時間Td時的正確識別率、平均識別率和最高識別率.表中Average(Aver)、Maximum(Max)分別表示平均及最高正確識別率.
表2 三種SSVEP刺激范式下被試腦控機器人達(dá)到終點用時及觸碰障礙物次數(shù)Table 2 The consuming time and the number of touching obstacles when subjects controlling robot by their brains to reach the destination under three SSVEP stimulation paradigms
表3 SSVEP腦機交互刺激范式一下刺激目標(biāo)不同閃爍時間被試的正確識別率(%)Table 3 The correct recognition rate(%)at different flickering durations for 8 subjects under the first SSVEP-based BCI stimulation paradigm
表4 SSVEP腦機交互刺激范式二下刺激目標(biāo)不同閃爍時間被試的正確識別率(%)Table 4 The correct recognition rate(%)at different flickering durations for 8 subjects under the second SSVEP-based BCI stimulation paradigm stimulation paradigm
表5 SSVEP腦機交互刺激范式三下刺激目標(biāo)不同閃爍時間被試的正確識別率(%)Table 5 The correct recognition rate(%)at different flickering durations for 8 subjects under the third SSVEP-based BCI stimulation paradigm stimulation paradigm
為了更好地比較三種SSVEP腦機交互刺激范式腦控機器人運動的性能和不同刺激時間下的識別率,圖6呈現(xiàn)了三種SSVEP刺激范式下被試腦控機器人達(dá)到終點的平均用時、觸碰障礙物次數(shù)、在1~4秒刺激時間下的平均正確識別率以及相關(guān)方差.
腦機交互是一種新型的人機交互技術(shù),基于腦機交互的一個重要應(yīng)用研究是腦控[15],其中直接腦控機器人是腦控在機器人領(lǐng)域的一個新的應(yīng)用和研究方向[3,23].直接腦控機器人的研究可望架起人腦生物智能與人工機器智能交匯和融通的橋梁,具有重要的科學(xué)意義和應(yīng)用價值,然而這方面的研究仍然處于需要突破的階段.傳統(tǒng)的腦控機器人主要實現(xiàn)對其方向的簡單控制,但如何實現(xiàn)對其方向和速度更精細(xì)和靈活的控制是一個沒有徹底解決的問題.什么樣的腦機交互范式適合直接腦控機器人的靈活運動?在眾多的腦機交互范式中,穩(wěn)態(tài)視覺誘發(fā)電位(Steady state visual evoked potentials,SSVEP)是一類非常重要的腦機交互范式,本文嘗試基于該范式實驗研究直接腦控機器人方向和速度的研究.
基于SSVEP的腦機交互范式可識別的目標(biāo)數(shù)多,可以根據(jù)機器人運動控制需求,靈活設(shè)置刺激目標(biāo)以產(chǎn)生需要的方向和速度控制指令.本實驗研究為腦控機器人運動規(guī)劃了向左、向右、前進和后退4個方向,低速、中速和高速3級運動速度;適當(dāng)組合后設(shè)置了低速前進、中速前進、高速前進、低速后退、中速后退、低速左轉(zhuǎn)、中速左轉(zhuǎn)、低速右轉(zhuǎn)和中速右轉(zhuǎn)共9個腦控指令,分別對應(yīng)刺激目標(biāo)F、F+、F++、B、B+、L、L+、R、R+.在這些設(shè)計和配置的基礎(chǔ)上,進而優(yōu)化SSVEP腦機交互范式.此外,為通過SSVEP解碼被試意圖,本研究采用CCA,它是一種利用綜合變量對之間的相關(guān)關(guān)系來反映兩組指標(biāo)之間整體相關(guān)性的多元統(tǒng)計分析方法,可以最大化兩類相似性,能夠計算出特定刺激頻率相關(guān)性最大的值,從而有效識別出被試注視的目標(biāo)刺激頻率[20?22].
圖6 三種SSVEP刺激范式下被試腦控機器人達(dá)到終點平均用時及觸碰障礙物次數(shù)及在1~4秒刺激時間下的平均正確識別率Fig.6 The averaged consuming time,number of touching obstacles and classification accuracies across 8 subjects when their controlling robot by their brains to reach the destination under three SSVEP stimulation paradigms
在刺激呈現(xiàn)時間、視覺轉(zhuǎn)移時間、測試平臺環(huán)境相同的條件下,表2和圖6(a)表明,SSVEP刺激范式三下8名被試腦控機器人到達(dá)終點平均用時為2分40秒,比刺激范式一和二平均用時分別縮短了2分55秒、2分52秒;同時,在SSVEP刺激范式三下8名被試腦控機器人運動過程中觸碰障礙平均次數(shù)為0.88,也比刺激范式一和范式二平均觸碰次數(shù)分別減少了3.29、0.87.此外,對于刺激范式三,8名被試腦控機器人到達(dá)終點最少用時1分29秒,碰觸次數(shù)為0,最多碰觸次數(shù)為3,而在刺激范式一和范式二下到達(dá)終點最少用時分別為4分44秒、2分50秒.三種SSVEP范式,隨著刺激目標(biāo)布局間距的增加,每個被試腦控機器人到達(dá)終點用時均減小,而觸碰次數(shù)總體上也呈現(xiàn)減少的趨勢.這些腦控機器人運動性能的提高歸根結(jié)底有賴于對機器人運動方向和速度的準(zhǔn)確和及時的調(diào)控,否則性能難于有顯著的提高,這可能需要優(yōu)化SSVEP刺激范式并采用有效的特征提取和識別算法.表2表明SSVEP刺激范式三具有更有效的控制性能.雖然不同的被試之間腦控性能不一樣,同一被試3次實驗的性能也不一樣,但是8個被試并且3次實驗都能夠較好地完成任務(wù),這也表明SSVEP腦機交互范式對被試具有較好的適應(yīng)性,BCI盲問題不嚴(yán)重.
此外,表3~表5以及圖6(b)表明:在Td=1s、2s、3s、4s時,SSVEP腦機交互刺激范式一、范式二和范式三下8個被試的平均識別率隨著刺激目標(biāo)布局間距的增加而得到提高,刺激范式二比刺激范式一有較大提高,超過5.8%,而刺激范式三比刺激范式二也有所提高,最低提高了0.84%,最高提高了3.75%.此外,在同一SSVEP腦機交互刺激范式下,隨著刺激目標(biāo)閃爍時間的增加,8個被試的平均識別率也得到提高,Td=2s比Td=1s有很大的提高,提高超過30%,Td=3s比Td=2s也有較大的提高,提高超過10%,而Td=4s比Td=3s也有所提高,提高超過3%;隨著刺激目標(biāo)閃爍時間的增加,8個被試中最高識別率也得增加.然而,刺激目標(biāo)閃爍時間的增加,又會降低運動控制的實時性,這需要在識別精度和快速響應(yīng)之間做出平衡.總之,表3~表5進一步驗證了SSVEP刺激目標(biāo)之間的間距會影響被試的正確識別率,從而影響對機器人運動方向和速度的準(zhǔn)確和及時的調(diào)控,最終影響腦控機器人的運動性能.
上述三種SSVEP腦機交互刺激范式,隨著刺激目標(biāo)布局間距的增加,正確識別率增加的主要原因是:相鄰刺激目標(biāo)間距越小,相互之間對被試的視覺注意產(chǎn)生的干擾越大,當(dāng)被試轉(zhuǎn)移注視和注視期望目標(biāo)時,相鄰刺激目標(biāo)也會在被試腦電波中誘發(fā)電位,使得穩(wěn)態(tài)視覺誘發(fā)電位會出現(xiàn)交叉串疊,從而使錯誤識別率上升;反之,間距越大,相互之間對被試的視覺注意干擾越小,期望目標(biāo)的穩(wěn)態(tài)視覺誘發(fā)電位的頻率特征顯著,正確識別率增加.此外,SSVEP腦機交互刺激范式二中刺激目標(biāo)之間的間距是范式一中刺激目標(biāo)之間間距的10倍,相鄰目標(biāo)之間對被試的視覺注意干擾有顯著的減少,因此范式二比范式一被試的正確識別率有很大的提高;但是隨著刺激目標(biāo)之間間距的不斷增加,相鄰目標(biāo)之間對被試的視覺注意的干擾減少不顯著時,正確識別率的提高有限(刺激范式三比刺激范式二的正確識別率提高有限).也就是,當(dāng)刺激目標(biāo)布局間距繼續(xù)增加到一定程度后,相鄰目標(biāo)之間對被試的視覺注意干擾已經(jīng)減少到最小,正確識別率將不會有明顯的增加.在實際的SSVEP腦機交互刺激范式中,視覺刺激目標(biāo)呈現(xiàn)屏幕尺寸大小有限制,在規(guī)劃的刺激目標(biāo)數(shù)目下,建議盡量使刺激目標(biāo)間距最大.然而,刺激目標(biāo)間距再繼續(xù)增大,臨間視覺干擾影響不會那么顯著,識別效果不會有顯著提高,分類效果主要與算法有關(guān).
隨著SSVEP腦機交互刺激目標(biāo)閃爍時間的增加(Td=1s、Td=2s、Td=3s、Td=4s),被試識別率也增加,其主要原因可能是:SSVEP是對外界刺激節(jié)律的原始反應(yīng)或原始反饋,是固定頻率刺激的視覺誘發(fā)電位,隨著刺激目標(biāo)閃爍時間的增加,被試的視覺通道有足夠的時間穩(wěn)定反應(yīng),從而產(chǎn)生穩(wěn)定的視覺誘發(fā)電位頻率特征.然而,刺激時間再繼續(xù)增加,被試視覺通道已經(jīng)有足夠時間產(chǎn)生SSVEP (一般來說3~4秒刺激時間已足夠),正確識別率也不會有顯著提高,分類效果也主要與算法有關(guān).
本研究對三種刺激范式的間距和目標(biāo)刺激時間因素進行了實驗和比較,然而 SSVEP腦–機交互范式還與頻率因素有關(guān),本實驗中9個刺激目標(biāo)的閃爍頻率分別設(shè)置為8、12、9、13、9.5、10、14、10.5、15Hz,不同的閃爍頻率誘發(fā)的腦電功率集中在該頻率及諧波頻率處,這為目標(biāo)探測提供了顯著的特征.正確識別率在很大程度上決定被試腦控機器人用時和碰觸障礙次數(shù)(機器人運動控制性能).SSVEP腦機交互范式一、范式二和范式三的識別率不同,因此被試腦控機器人用時和碰觸障礙次數(shù)也不一樣.識別率高是機器人運動用時減少的必要條件,但并不意味著用時和碰觸次數(shù)一定能夠減少,正確識別率和識別速度二者決定了用時和碰觸次數(shù).然而,正確識別率和識別速度之間需要平衡.
另外,視覺轉(zhuǎn)移時間、刺激持續(xù)時間、識別時間(腦電分析和解碼,例如CCA解碼時間),識別結(jié)果反饋時間都會影響腦控制機器人運動的快速反應(yīng)時間或?qū)崟r性.因此,需要縮短視覺轉(zhuǎn)移時間(如刺激目標(biāo)和控制現(xiàn)場同屏幕布局呈現(xiàn))、刺激持續(xù)時間和識別結(jié)果反饋時間(設(shè)置為最小極限),同時需要優(yōu)化解碼算法,以縮短識別時間.為了提高SSVEP腦機交互控制機器人的速度,一種可選的方法是,將場景和GUI進行適當(dāng)?shù)募苫蛉诤?在場景的周邊或內(nèi)部合理布局閃爍刺激目標(biāo),以減少被試/用戶在場景和GUI之間進行頻繁視覺切換而產(chǎn)生的疲勞及誤操作.
如上所述,穩(wěn)態(tài)視覺誘發(fā)電位是被試注視外界刺激節(jié)律后中樞神經(jīng)的原始生理反應(yīng)[24],是被動的反應(yīng)式的視覺誘發(fā)電位,單次提取和識別率高[19],本實驗研究的8個被試均能夠被誘發(fā)出SSVEP,完成腦控機器人運動方向和速度的控制,到達(dá)目標(biāo)位置.雖然P300也是視覺誘發(fā)電位,但它已經(jīng)是事件相關(guān)電位,有一定的認(rèn)知加工后的反應(yīng),越晚的電位,認(rèn)知程度越高.因此,對P300的提取和識別一般需要多次疊加,單次識別可能難于保證穩(wěn)定的識別精度[25],進而會影響腦控機器人運動方向和速度控制的精度和實時性,P300用于機器人控制的性能將會在下一步工作中研究.與眼動依賴型的反應(yīng)式SSVEP-BCI不同,基于運動想象心理活動的腦機交互范式是非眼動依賴型的主動式BCI,其動覺運動模式(Kinesthetic-motor mode of imagery)和視覺運動模式(Visual-motor mode of imagery)具有不同的效果,是對運動行為的內(nèi)心演練,有感知覺的加工過程,但沒有明顯的運動輸出.為此,該類腦機交互范式高度依賴于被試的運動想象能力以及有效的訓(xùn)練,并不是每個被試都能夠很好地操控該類BCI,訓(xùn)練后可以達(dá)到70%左右[26],BCI盲問題較嚴(yán)重.此外,隨著運動想象類別數(shù)的增加,分類精度和穩(wěn)定性難于提高,進而難于滿足腦控機器人靈活運動所需要的多個方向和多級速度的更精細(xì)的控制.
與需要訓(xùn)練被試的運動想象腦機交互范式相比, SSVEP-BCI基本不用訓(xùn)練,大概有80%被試能用該類BCI[27].然而,SSVEP-BCI要求被試注視視覺刺激,會給被試帶來視覺疲勞等不良影響,需要研究減少視覺誘發(fā)刺激對被試的負(fù)面影響[28].相比較,運動想象BCI是非視覺依賴型BCI,它依賴被試的心理活動,不存在視覺刺激問題,然而它需要被試的運動想象能力使得特定導(dǎo)聯(lián)特定頻帶的EEG信號的幅值減弱或增強(Event related synchronization/desychronization,ERS/ERD),目前運動想象BCI系統(tǒng)難于實用化,也難于精細(xì)地控制機器人的方向和速度,期望今后有突破.
最后,為提高腦控機器人方向的快速性以保證安全,同時減少被試疲勞以改善操控的舒適度,本文采用SSVEP與運動想象相結(jié)合的多模態(tài)方法,進行了初步的研究.被試反映該混合范式增加了控制策略選擇的靈活度,在一定程度上加快了方向的控制速度,同時可以減少在控制場景和GUI之間進行頻繁的視覺切換,降低了疲勞及誤操作.最后需要指出的是,虛擬平臺與真實腦控機器人環(huán)境存在差異,這也是需要進一步對比和完善的地方.
本研究基于SSVEP腦機交互范式規(guī)劃了腦控機器人運動方向和速度的控制策略,并通過實驗比較和優(yōu)化SSVEP刺激目標(biāo)布局間距和刺激目標(biāo)閃爍時間,最后采用有效的典型相關(guān)分析解碼被試注視意圖.驗證了SSVEP刺激目標(biāo)布局間距和刺激目標(biāo)閃爍時間會影響分類識別率,在刺激呈現(xiàn)屏幕和刺激目標(biāo)數(shù)一定的情況下,優(yōu)化布局,適當(dāng)增加間距或刺激時間,可以提高正確識別率.在刺激呈現(xiàn)時間、視覺轉(zhuǎn)移時間、測試平臺環(huán)境相同的條件下, SSVEP刺激范式三下8名被試腦控機器人到達(dá)終點平均用時和觸碰障礙平均次數(shù)表現(xiàn)出優(yōu)良的性能.最后,SSVEP與MI相結(jié)合腦控機器人方向和速度的初步研究表明,該混合范式可以優(yōu)勢互補,既可以實現(xiàn)多種類分類,又可以避免長時間視覺刺激引起的視覺疲勞,提升被試的舒適性與系統(tǒng)的通用性.本實驗研究表明基于SSVEP或與運動想象混合的腦機交互可以通過設(shè)置適當(dāng)數(shù)目的刺激目標(biāo)和運動想象模式以滿足腦控機器人靈活運動(方向和速度控制)的需求,可望為腦控機器人的研究和應(yīng)用打下一定的基礎(chǔ).
在本研究的基礎(chǔ)上,我們進一步的工作是:1)基于多模態(tài)設(shè)計新的控制范式和策略,優(yōu)勢互補.深入研究SSVEP-BCI與運動想象BCI相結(jié)合的方法以更好地直接腦控機器人方向和速度;2)尋找更有效的解碼算法進一步提高腦控機器人系統(tǒng)正確識別率和響應(yīng)速度;3)采用多邊協(xié)同自適應(yīng)機器學(xué)習(xí)算法自適應(yīng)被試腦電的變化,減輕被試視覺或心理活動的疲勞,提高其舒適性.
1 Brain-computer interface from Wikipedia,the free encyclopedia[Online],available:http://en.wikipedia.org/wiki/ Brain-computer_interface,April 29,2016.
2 Hochberg L R,Bacher D,Jarosiewicz B,Masse N Y,Simeral J D,Vogel J,Haddadin S,Liu J,Cash S S,van der Smagt P,Donoghue J P.Reach and grasp by people with tetraplegia using a neurally controlled robotic arm.Nature,2012, 485(7398):372?375
3 Fu Yun-Fa,Wang Yue-Chao,Li Hong-Yi,Xu Bao-Lei,Li Yong-Cheng.Direct brain-controlled robot interface technology.Acta Automatica Sinica,2012,38(8):1229?1246 (伏云發(fā),王越超,李洪誼,徐保磊,李永程.直接腦控機器人接口技術(shù).自動化學(xué)報,2012,38(8):1229?1246)
4 McFarland D J,Wolpaw J R.Brain-computer interface operation of robotic and prosthetic devices.Computer,2008, 41(10):52?56
5 Bell C J,Shenoy P,Chalodhorn R,Rao R P N.Control of a humanoid robot by a noninvasive brain-computer inter-face in humans.Journal of Neural Engineering,2008,5(2): 214?220
6 Millan J R,Renkens F,Mourino J,Gerstner W.Noninvasive brain-actuated control of a mobile robot by human EEG.IEEE Transactions on Biomedical Engineering,2004, 51(6):1026?1033
7 Comparison of consumer brain-computer interfaces from Wikipedia, the free encyclopedia [Online], available: http://en.wikipedia.org/wiki/Comparison-of consumer_ brain-computer_interface_devices,December 20,2015.
8 Fu Yun-Fa,Xu Bao-Lei,Li Yong-Cheng,Li Hong-Yi,Wang Yue-Chao,Yu Zheng-Tao.Recognition of actual grip force movement modes based on movement-related cortical potentials.Acta Automatica Sinica,2014,40(6):1045?1057 (伏云發(fā),徐保磊,李永程,李洪誼,王越超,余正濤.基于運動相關(guān)皮層電位握力運動模式識別研究.自動化學(xué)報,2014,40(6): 1045?1057)
10 Sun Hui-Wen,Fu Yun-Fa,Xiong Xin,Yang Jun,Liu Chuan-Wei,Yu Zheng-Tao.Identification of EEG induced by motor imagery based on Hilbert-Huang transform.Acta Automatica Sinica,2015,41(9):1686?1692 (孫會文,伏云發(fā),熊馨,楊俊,劉傳偉,余正濤.基于HHT運動想象腦電模式識別研究.自動化學(xué)報,2015,41(9):1686?1692)
11 Fu Y F,Xu B L,Li Y C,Wang Y C,Yu Z T,Li H Y. Single-trial decoding of imagined grip force parameters involving the right or left hand based on movement-related cortical potentials.Chinese Science Bulletin,2014,59(16): 1907?1916
12 Lv J,Li Y Q,Gu Z H.Decoding hand movement velocity from electroencephalogram signals during a drawing task. Biomedical Engineering Online,2010,9:64
13 Yin X X,Xu B L,Jiang C H,Fu Y F,Wang Z D,Li H Y,Shi G.A hybrid BCI based on EEG and fNIRS signals improves the performance of decoding motor imagery of both force and speed of hand clenching.Journal of Neural Engineering, 2015,12(3):036004,DOI:10.1088/1741-2560/12/3/036004
14 Yao De-Zhong,Liu Tie-Jun,Lei Xu,Yang Ping,Xu Peng,Zhang Yang-Song.Electroencephalogram based brain-computer interface:key techniques and application prospect.Journal of University of Electronic Science and Technology of China,2009,38(5):550?554 (堯德中,劉鐵軍,雷旭,楊平,徐鵬,張楊松.基于腦電的腦–機接口:關(guān)鍵技術(shù)和應(yīng)用前景.電子科技大學(xué)學(xué)報,2009,38(5): 550?554)
15 Wang Xing-Yu,Jin Jing,Zhang Yu,Wang Bei.Brain control:human-computer integration control based on braincomputer interface.Acta Automatica Sinica,2013,39(3): 208?221 (王行愚,金晶,張宇,王蓓.腦控:基于腦–機接口的人機融合控制.自動化學(xué)報,2013,39(3):208?221)
16 Zhang R,Yao D,Valds-Sosa P A,Li F L,Li P Y,Zhang T,Ma T,Li Y J,Xu P.Efficient resting-state EEG network facilitates motor imagery performance.Journal of Neural Engineering,2015,12(6):066024,DOI:10.1088/1741-2560/12/6/066024
17 Fazel-Rezai R,Allison B Z,Guger C,Sellers E W,Kleih S C,Kbler A.P300 brain computer interface:current challenges and emerging trends.Frontiers in Neuroengineering, 2012,5:14
18 Gao S K,Wang Y J,Gao X R,Hong B.Visual and auditory brain-computer interfaces.IEEE Transactions on Biomedical Engineering,2014,61(5):1436?1447
19 Chen X G,Wang Y J,Nakanishi M,Gao X R,Jung T P,Gao S K.High-speed spelling with a noninvasive braincomputer interface.Proceedings of the National Academy of Sciences of the United States of America,2015,112(44): E6058?E6067
20 Bin G Y,Gao X R,Yan Z,Hong B,Gao S K.An online multi-channel SSVEP-based brain-computer interface using a canonical correlation analysis method.Journal of Neural Engineering,2009,6(4):1771?1779
21 The 2th competition of China brain-computer interface[Online],available:http://www.bcicompetition.cn,December 22,2015.
22 Lin Z L,Zhang C S,Wu W,Gao X R.Frequency recognition based on canonical correlation analysis for SSVEP-based BCIs.IEEE Transactions on Biomedical Engineering, 2006,53(12):2610?2614
23 Long J Y,Li Y Q,Wang H T,Yu T Y,Pan J H,Li F. A hybrid brain computer interface to control the direction and speed of a simulated or real wheelchair.IEEE Transactions on Neural Systems&Rehabilitation Engineering, 2012,20(5):720?729
24 Middendorf M,McMillan G,Calhoun G,Jones K S.Braincomputer interfaces based on the steady-state visual-evoked response.IEEE Transactions on Rehabilitation Engineering, 2000,8(2):211?214
25 Mak J N,Arbel Y,Minett J W,McCane L M,Yuksel B,Ryan D,Thompson D,Bianchi L,Erdogmus D.Optimizing the P300-based brain-computer interface:current status,limitations and future directions.Journal of Neural Engineering,2011,8(2):025003,DOI:10.1088/1741-2560/8/2/025003
26 GugerC,EdlingerG,Harkam W,NiedermayerI, Pfurtscheller G.How many people are able to operate an EEG-based brain-computer interface(BCI)?IEEE Transactions on Neural Systems and Rehabilitation Engineering, 2003,11(2):145?147
27 Guger C,Allison B Z,Gro?windhager B,Prckl R,Hintermller C,Kapeller C,Bruckner M,Krausz G,Edlinger G.How many people could use an SSVEP BCI?Frontiers in Neuroscience,2012,6:169
28 Jin J,Daly I,Zhang Y,Wang X Y,Cichocki A.An optimized ERP brain-computer interface based on facial expression changes.Journal of Neural Engineering,2014,11(3): 1082?1088
伏云發(fā) 昆明理工大學(xué)信息工程與自動化學(xué)院副教授.主要研究方向為模式識別與智能控制,腦信息處理與腦控機器人接口,腦–機交互控制理論和方法,腦網(wǎng)絡(luò)連通性.
E-mail:fyf@ynu.edu.cn
(FU Yun-Fa Associate professor at the Faculty of Information Engineering and Automation,Kunming University of Science and Technology.His research interest covers pattern recognition and intelligent control,brain information processing and braincontrolled robot interface,theories and methods for brainmachine interaction control,and brain network connectivity.)
郭衍龍 昆明理工大學(xué)信息工程與自動化學(xué)院碩士研究生.主要研究方向為腦信息處理與腦機交互控制,模式識別與智能控制.本文通信作者.
E-mail:hrbeu_gyl@foxmail.com
(GUO Yan-Long Master student at the Faculty of Information Engineering and Automation,Kunming University of Science and Technology.His research interest covers brain information processing,brain-computer interaction control,pattern recognition,and intelligent control.Corresponding author of this paper.)
李 松 昆明理工大學(xué)信息工程與自動化學(xué)院碩士研究生.主要研究方向為腦信息處理與腦機交互控制,模式識別與智能控制.
E-mail:lksong1234@sina.com
(LI Song Master student at the Faculty of Information Engineering and Automation,Kunming University of Science and Technology.His research interest covers brain information processing,brain-computer interaction control, pattern recognition,and intelligent control.)
熊 馨 昆明理工大學(xué)信息工程與自動化學(xué)院講師.主要研究方向為醫(yī)學(xué)圖像處理與模式識別,腦網(wǎng)絡(luò)連通性,腦信息處理與腦機交互.
E-mail:xiongxin840826@163.com
(XIONG Xin Lecturer at the Faculty of Information Engineering and Automation,Kunming University of Science and Technology.Her research interest covers medical image processing and pattern recognition,brain network connectivity,brain information processing,and braincomputer interaction.)
李 勃 昆明理工大學(xué)信息工程與自動化學(xué)院教授.主要研究方向為智能信息處理,圖像處理與模式識別.
E-mail:lbly9177@163.com
(LI Bo Professor at the Faculty of Information Engineering and Automation,Kunming University of Science and Technolog. His research interest covers intelligent information processing,image processing, and pattern recognition.)
余正濤 昆明理工大學(xué)信息工程與自動化學(xué)院教授.主要研究方向為智能信息處理.E-mail:ztyu@hotmail.com
(YU Zheng-Tao Professor at the Faculty of Information Engineering and Automation,Kunming University of Science and Technology.His main research interest is intelligent information processing.)
Direct-brain-controlled Robot Direction and Speed Based on SSVEP Brain Computer Interaction
FU Yun-Fa1GUO Yan-Long1LI Song1XIONG Xin1LI Bo1YU Zheng-Tao1
Direct use of thinking to control a robot without peripheral nerves and muscles is a dream of human beings, and this research has become a hot spot and a breakthrough point in the world.The traditional brain-controlled robot (BCR)mainly controls the direction,and this paper aims to explore the effective method to control the direction and speed of robot through brain.Using the brain-computer/interaction(BCI/BMI)method based on steady state visual evoked potential(SSVEP),9 instructions are designed to control the robot.And the canonical correlation analysis(CCA)method is used to identify EGG patterns.The results show that appropriate setting of the target number and its layout spacing and the flashing time can effectively improve the performance of the direct-brain-controlled robot.The optimization of the SSVEP stimulus paradigm three,the average time of 8 subjects controlled robot to reach destination using 2 minutes and 40 seconds,with a minimum of 1 minutes and 29 seconds.Meanwhile,the average number of touching obstacles is 0.88, the least touch number is 0,and the maximum number of touch is 3.This study shows that the BCI based on SSVEP can be used for the direct-brain-controlled robot.In order to overcome the limitations in the single SSVEP paradigm,this study also combines motor(Hybrid-BCI)imagery to control the robot.This paper is expected to provide ideas for the direction and speed control for the brain-computer interaction based on SSVEP or combined with motor imagery,and to provide a certain basis for practical direct-brain-controlled robot technology.
Brain-controlled robot(BCR),steady state visual evoked potentials(SSVEP),canonical correlation analysis (CCA),brain-computer/machine interaction(BCI/BMI),hybrid-BCI
伏云發(fā),郭衍龍,李松,熊馨,李勃,余正濤.基于SSVEP直接腦控機器人方向和速度研究.自動化學(xué)報,2016, 42(11):1630?1640
Fu Yun-Fa,Guo Yan-Long,Li Song,Xiong Xin,Li Bo,Yu Zheng-Tao.Direct-brain-controlled robot direction and speed based on SSVEP brain computer interaction.Acta Automatica Sinica,2016,42(11):1630?1640
2015-12-29 錄用日期2016-06-22
Manuscript received December 29,2015;accepted June 22, 2016
國家自然科學(xué)基金(61363043,61463024,81470084),云南省應(yīng)用基礎(chǔ)研究計劃(2013FB026),云南省級人培項目(KKSY201303048),云南省教育廳重點項目(2013Z130),昆明理工大學(xué)腦信息處理與腦機交互融合控制(學(xué)科方向團隊建設(shè)經(jīng)費)資助
Supported by National Natural Science Foundation of China (61363043,61463024,81470084),Research Project for Appli-cation Foundation of Yunnan Province(2013FB026),Cultiva-tion Program of Talents of Yunnan Province(KKSY201303048),FocalProgram forEducation OfficeofYunnan Province (2013Z130),and Brain Information Processing and Brain-computer Interaction Fusion Control of Kunming University Sci-ence and Technology(Fund of Discipline Direction Team)
本文責(zé)任編委侯增廣
Recommended by Associate Editor HOU Zeng-Guang
1.昆明理工大學(xué)信息工程與自動化學(xué)院昆明650500
1.Faculty of Information Engineering and Automation,Kun-ming University Science and Technology,Kunming 650500
DOI 10.16383/j.aas.2016.c150880