視覺ERP腦機接口中實驗范式的研究進展

馬 征 邱天爽

(大連理工大學生物醫(yī)學工程系，遼寧 大連 116024)

視覺ERP腦機接口中實驗范式的研究進展

馬 征 邱天爽*

(大連理工大學生物醫(yī)學工程系，遼寧 大連 116024)

腦機接口是一種通過建立人腦與周圍環(huán)境之間的連接通路來實現人腦對外部設備直接控制的技術。實驗范式是獲取腦機接口所用特征的技術手段，是腦機接口研究的一個重要方面。視覺事件相關電位(ERP)腦機接口技術利用了基于視覺刺激的實驗范式中所誘發(fā)的ERP信號的特征，是當前腦機接口研究的一個主要分支。近年來，與視覺ERP腦機接口的實驗范式有關的研究成果大量涌現，使腦機接口性能得到顯著提高。目前，除在范式參數、刺激呈現樣式、刺激類型等傳統(tǒng)要素方面開展的深入研究外，對于語言模型以及混合腦機接口的研究也日漸增多。總結和回顧近年來視覺ERP腦機接口中實驗范式的研究狀況，并進一步探討其中存在的問題與面臨的挑戰(zhàn)，以及未來可能的研究方向。

腦機接口；事件相關電位；實驗范式；知覺效應

引言

腦機接口(brain computer interface, BCI)從人腦活動所伴隨的神經電信號中獲取信息，建立人與周圍環(huán)境之間不依賴于外周神經的輸出通路，以實現人腦對外部設備的直接控制[1-2]。一些因患肌萎縮性側索硬化等神經退行性疾病而致運動功能受損的人，或因患閉鎖綜合癥而喪失運動與語言交流能力的人，可以通過腦機接口獲得一種控制與交流的途徑[3]。近年來，腦機接口的研究已經擴展到神經康復、輔助增強、商業(yè)游戲等領域[4-5]。

腦機接口的概念最早由Vidal J教授在1973年提出[6]，但直到最近十幾年腦機接口技術才得到廣泛的研究和發(fā)展。腦機接口研究的核心問題在于如何提高系統(tǒng)性能，并檢驗其臨床有效性。腦機接口的系統(tǒng)性能通常通過識別率和輸出速率來衡量[1]。腦機接口研究的內容則主要涉及實驗范式、信號處理方法[7-9]、應用[10-12]等3個方面。實驗范式研究的重點在于通過新的范式，增強源信號強度，縮短決策時間，并提高系統(tǒng)性能；信號處理方法則用于改善信噪比，尋找更有效的特征，并提高識別率；應用研究的重點是檢驗腦機接口的適用性與有效性。同時，腦機接口研究也受電極技術、個體差異、倫理問題等因素的影響。

根據所依賴的信號，腦機接口分為基于事件相關電位(event-related potential, ERP)的 BCI[13]，mu/beta BCI[14]，SSVEP BCI[15]等不同類型。ERP BCI又分別基于視覺刺激[16]、聽覺刺激[17]、觸覺刺激[18]等不同模態(tài)，而被區(qū)分為不同的類別。目前，大多數ERP BCI研究都是以Farwell和Donchin所提出的P300拼寫器[16, 19]為原型開展的，因此在一些文獻中也被稱為P300 BCI。P300拼寫器通過檢測與被關注字符關聯的靶刺激所誘發(fā)的P300成分，達到字符輸出的目的。最近的研究表明，除P300 成分外，N1、N2、P2 等其他ERP成分也對ERP BCI的識別率產生重要貢獻[13, 20]。

在本文中，筆者主要總結和回顧了近年來基于視覺刺激的ERP BCI(稱為“視覺ERP BCI”)在實驗范式方面的研究成果。

1 視覺ERP腦機接口

如圖1所示，傳統(tǒng)的P300拼寫器在計算機屏幕上顯示一個6行6列的字符矩陣。矩陣中的字符按行/列隨機閃爍，每次閃爍形成一個視覺刺激。受試者注視期望輸出的字符(稱為“靶字符”，對應的刺激稱為“靶刺激”)，同時在心中默數其閃爍的次數。這樣，靶刺激將以一種較低的概率(為1/6)呈現，從而誘發(fā)出P300(或稱為P3)電位[21]。當一個刺激序列完成后，通過從記錄的腦電信號中檢測P300電位特征，推測靶刺激對應的行與列，而它們相交位置的字符被確定為輸出字符。圖1描述了一個工作在復制拼寫(copy-spelling)模式下的 P300 拼寫器[22]，而受試者的任務是完成指定字符的拼寫。這種經典范式也被稱為行列(row/column, RC)范式。

圖1 傳統(tǒng)的P300拼寫器Fig.1 Experimental paradigm of a traditional P300 speller

在ERP BCI中，由于刺激誘發(fā)的ERP成分比較微弱，并淹沒在自發(fā)腦電當中，因此一般需要對靶刺激進行多次重復呈現來增強ERP特征。這也導致了刺激序列長度的增加，影響了系統(tǒng)輸出速率。ERP BCI的刺激間隔，即刺激起始異步(stimulus onset asynchrony, SOA)通常在120～300 ms之間。除需要多次重復刺激外，RC 范式下短的刺激間隔及其刺激呈現方式也將導致一些知覺效應的產生，并對系統(tǒng)性能產生影響。3種主要的知覺效應包括：

1)近鄰干擾(adjacency interference)[23]。這種知覺效應由分布在靶刺激周圍的非靶刺激引起。近鄰的非靶刺激吸引了受試者的注意，從而錯誤地誘發(fā)出ERP成分。另外，如果剛好一個靶刺激緊隨其后，則由于注意瞬脫現象(attentional blink)[24]，受試者可能無法注意到這個靶刺激，導致對應ERP信號的缺失或衰減。

2)雙閃問題(double-flash problem)[25]。在RC范式下，存在兩個靶刺激連續(xù)閃爍的情況，這時由于刺激間隔較短，受試者可能無法注意到后一個靶刺激。在心理學研究中，這一現象被稱為重復知盲(repetition blindness)[24]，并在兩個靶刺激的情景區(qū)分度增加時被削弱。即使后一個靶刺激誘發(fā)了ERP成分，其幅度也將削弱，并與前一個靶刺激所誘發(fā)的響應重疊，導致波形的失真[25-26]。

3)不應期效應(refractory effect)[24, 26]。當兩個靶刺激的間隔(target-to-target interval, TTI)較短時，對刺激的認知加工尚未恢復到正常水平，致使第二個靶刺激所誘發(fā)的P300響應幅度減弱。此效應也被稱為TTI效應[27]。研究表明，人腦對靶刺激加工的不應期為500 ms左右[28]。

在視覺ERP BCI實驗范式研究中，通常需要考慮降低或消除這些不利的知覺效應。

除知覺效應外，在交互的友好性方面，RC范式也有一些需要考慮的問題。例如，傳統(tǒng)RC范式的字符閃爍具有較高的亮度與對比度，以及較快的速率，容易引起使用者的眼睛疲勞或不適[25, 29-31]，并可能使其產生厭煩情緒[32]，而單調的刺激呈現也容易導致使用者失去視覺焦點[33]，致使BCI性能下降。因此，良好的使用體驗對于BCI的長期應用十分重要。

2 研究現狀

迄今為止，視覺ERP BCI實驗范式的研究大多集中在范式參數、刺激呈現樣式以及刺激類型3個方面。近年來，對于集成了語言模型的BCI與多模態(tài)混合BCI的研究也日漸增多。表1列出了一些主要實驗范式的性能參數。

表1 各實驗范式性能參數Tab.1 Accuracies and speeds of various BCI paradigms

注：*信息傳輸速率(information transfer rate, ITR)；其中斜體數據為考慮了錯誤糾正后的實際比特率(practical bit rate, PBR)

Note:*The values mean the information transfer rate (ITR), except for those represented in italics, which mean the practical bit rate (PBR) considering the error correction operations.

2.1 對范式參數效應的研究

研究表明，刺激矩陣與字符的大小、色彩、亮度以及刺激時間等范式參數，與ERP響應的幅度、潛伏期等測量特征之間，存在著聯系。

Allison等最早針對范式參數中物理尺寸的影響展開研究[50]。他們使用不同尺寸的刺激矩陣進行實驗，發(fā)現大尺寸的刺激矩陣容納了更多字符，并可誘發(fā)出幅度更大的P300成分。然而在后續(xù)的研究中，Xu 等并沒有在8×8、6×6與 3×3RC范式之間發(fā)現顯著的性能差異，從而得出了不一致的結論[42]。同時，研究發(fā)現字符大小[51]、字符間距[42, 52]等其他參數也對ERP響應的幅度產生影響，而這些參數之間及其與刺激時間間隔(inter-stimulus interval, ISI)之間可能存在某種交互作用[42, 51]，表明最佳性能可能需要在各參數的某種組合下獲得。例如，Sellers EW等[51]比較了3×3與 6×6 RC兩種BCI在ISI 分別為175和350 ms時的表現，發(fā)現在ISI 為175 ms、維數為3×3的條件下可以獲得最高的在線識別率，而在ISI為175 ms、維數為6×6的條件下可以獲得最高的比特率。

對于色彩效應，有些文獻報道了關于字符顏色以及背景顏色的研究[52-54]。Takano等通過將字符由藍色變?yōu)榫哂懈吡炼鹊木G色來呈現刺激(稱為“green/blue范式”)，并與傳統(tǒng)的字符由灰色變白色的閃爍方式(稱為“white/gray范式”)進行對比，發(fā)現字符顏色改變可有效改善BCI性能[53]。隨后，他們又通過EEG-fMRI同步記錄的實驗，觀察到green/blue范式與傳統(tǒng)white/gray范式擁有不同的大腦活動區(qū)域與功能性連接[54]。Salvaris等則研究了白色背景的刺激矩陣，并將其與傳統(tǒng)的黑色背景范式進行對比[52]。結果表明，不論是對于支持向量機分類器還是對于Fisher線性判別器，白色背景范式均表現出更好的性能。除色彩效應外，Li等發(fā)現更高的亮度對比度也可以提高識別率[55]。

在經典的oddball范式中，一般認為P300幅度受靶刺激呈現概率與ISI大小的影響，并隨著靶刺激概率的增加而減小，隨著ISI的增加而增大[21]，而類似的規(guī)律同樣存在于BCI當中[42, 51]。進一步的研究表明，受靶刺激呈現概率與ISI共同制約的TTI實際上決定了BCI中P300的測量特征[27, 56]。P300幅度隨著TTI的增加而增加，而其潛伏期則隨著TTI的增加而縮短。除此之外，最近研究表明，刺激消隱時間(stimulus-off time)[57]、刺激持續(xù)時間(stimulus duration)[55]與刺激速率(stimulus rate)[58-59]同樣對P300響應產生影響。

2.2 對刺激呈現樣式的研究

刺激呈現樣式指刺激呈現的分組方式及其時序。ERP BCI的刺激呈現過程實質上是一個分組呈現的過程，即首先將刺激矩陣中的所有字符分配到不同的分組中，而后對于每次刺激呈現選擇其中一個分組的字符進行閃爍。通過制定合適的分組策略，就可以根據各分組的交集唯一確定每個字符。在RC范式中，所有字符按行列方式進行分組，并隨機呈現。RC范式易受知覺效應的影響，而目前對刺激呈現樣式的研究通常以削弱知覺效應與縮短序列長度為目標。相關研究主要分為兩類，一類是關于分組方法的研究，另一類是關于單元范式(single-cell paradigm，SC)的研究。

圖2 棋盤格范式。(a)虛擬棋盤格；(b)兩個虛擬矩陣；(c)實驗范式Fig.2 The checker board paradigm. (a) Virtual checkerboard; (b) Two virtual matrices; (c)The experimental paradigm

分組方法研究中的兩個重要改進分別是棋盤格范式(checkerboard paradigm，CB)[25]和組合分組模型[31, 34, 60]。CB范式由Townsend等在2010年提出[25]。它將原始8×9的字符矩陣投射到如圖2(a)所示的一個虛擬的棋盤格上，其中落在白格和黑格中的字符分別重新組合成如圖2(b)所示的兩個虛擬的6×6的字符矩陣，虛擬矩陣中的字符隨機排列。當刺激呈現時，這兩個虛擬矩陣首先依次按行進行閃爍，再依次按列進行閃爍，最終的刺激呈現范式如圖2(c)所示。由于原始矩陣中相鄰的字符被分配到不同的虛擬矩陣中，因此它們始終不會同時閃爍，從而降低了近鄰干擾。同時，兩個虛擬矩陣交替呈現，致使TTI增加(CB范式下TTI至少為6個SOA，而SC下的最小TTI為1個SOA)，從而避免了雙閃問題，并削弱了不應期效應。這也提高了靶刺激的辨識度，減緩了使用者的視覺疲勞。CB范式顯著提高了BCI 的識別率，但其分組數量由RC范式下的17個增加到了24個，導致刺激序列長度增加，因此并沒有顯著提高BCI的輸出速率。

Jin等以縮短序列長度為目標，將刺激呈現過程描述為一個二項式系數問題，提出了一種C(m，n)模型，其中m為總閃爍次數，n為每個字符選項所需的閃爍次數[31, 60]。根據此模型，僅使用極少的分組即可完成對所有字符的編碼。例如，對于8×9 的字符矩陣，僅需9次閃爍、每個字符用3次閃爍標識就足以表達所有的字符(C(9,3)=84)，遠低于RC范式下的17次。通過增加閃爍次數m，將得到大量冗余的分組，進而篩選出可以有效避免雙閃問題并降低近鄰干擾的分組樣式。這種分組策略顯著提高了ERP BCI的在線性能，但是由于刺激呈現次數的減少，靶刺激呈現概率增加，導致P300幅度的下降。同時，由于靶刺激出現頻率加快，容易加重使用者眼睛的疲勞程度。除此之外，在此模型下仍需要對刺激序列進行重復，以增強ERP特征。Townsend等進一步對C(m，n)模型進行擴展，并考慮了重復刺激的情況，提出了廣義的組合分組模型[34]；針對8×9的字符矩陣，設計了一種5次閃爍范式(five flash paradigm)，該范式基于C(36,5)模型設計。在尋找最優(yōu)序列時，首先根據知覺效應設定約束條件，而后通過窮舉法，從C(36,5)所代表的所有組合樣式中尋找滿足這些約束條件的樣式，作為新范式的刺激呈現樣式。實驗結果表明，新范式的識別率與CB范式相差不大，但輸出速率卻得到了顯著提高。他們認為，根據不同受試者的具體情況，有針對性地選擇合適的m、n以及特定的約束條件來改善刺激范式，對于患有神經肌肉障礙的病人來說尤其重要。

其他與分組方法相關的研究主要包括自適應長度法[31, 34]、TTI干預法[29]、可變維度法[61]、差錯控制編碼[59, 62]等。

另外一類刺激呈現樣式被稱為SC范式。與RC范式按行列閃爍的方式不同，SC范式在每次刺激呈現時僅閃爍一個字符單元。由于SC范式沒有進行分組編碼，因此其序列長度遠遠超過RC范式。當字符矩陣變大時，這一問題更為嚴重。Guger等使用6×6的字符矩陣，對SC范式和RC范式進行了對比研究，發(fā)現SC范式下的分類率為82%，顯著低于RC范式下的91%[63]。這是因為矩陣較大，致使受試者在SC范式下完成一次字符選擇的時間過長，從而產生厭倦情緒，影響了P300特征。然而，SC范式不易受近鄰干擾以及雙閃問題等的影響，同時相對于RC范式來說更不易引起眼睛不適，因此對于小尺寸的字符矩陣來說具有一定優(yōu)勢，得到了不少學者的關注[33, 35, 42, 63-65]。

研究人員通常使用一種兩級的SC范式來縮短刺激序列長度。首先將屏幕上的字符按區(qū)域劃分為若干沒有交集的分組，而后將每個分組看作為一個單元，并以SC方式進行閃爍來確定靶字符所在分組，最后針對被確定的分組再次使用SC范式來最終確定靶字符。Fazel-Rezai等也將這種兩級SC范式稱為基于區(qū)域(region-based)的范式[64-65]。這種范式可以有效避免近鄰干擾效應，并在識別率與受試者接受程度上均優(yōu)于單級的SC范式[35, 65]以及傳統(tǒng)的RC范式[64-65]。Xu等在兩級SC范式中加入語言預測模型，結果表明新范式在線識別率、輸出速率和魯棒性方面均超出RC范式[42]。除此之外，為提高SC范式的輸出速率，Pires等將屏幕分為左右兩個區(qū)域，并在刺激呈現時使左右區(qū)域內的字符交替閃爍，從而提出了一種具有零ISI的側向單字符范式(lateral single-character paradigm, LSC)[33]。由于屏幕上始終有刺激呈現，因此ISI為零，而SOA則縮短為原來的一半，從而顯著提高了輸出速率。

值得注意的是，Guger等對大量受試者進行了測試，表明在SC范式下獲得較高識別率的受試者所占的比例遠低于在RC范式下的比例[63]。因此，相對于傳統(tǒng)的RC范式，對于SC范式的適用性還需要進行進一步的測試，包括在病人群體中的測試。

2.3 對刺激類型的研究

Martens等最早嘗試在ERP BCI中使用新的刺激類型[26]。他們將疊加在字符上方的矩形方框旋轉90°來呈現刺激，并以此提出了基于物體旋轉刺激的FLIP范式。實驗結果表明，FLIP范式可以有效抑制字符閃爍范式中存在的不應期效應[26, 59]。Hong Bo等提出了一種基于物體移動刺激的范式，通過識別字符下方按鈕移動所誘發(fā)的N200成分，實現靶字符的檢測，并稱之為mVEP BCI[36]。相對于字符閃爍范式，mVEP BCI的優(yōu)點是更不易受對比度和亮度變化的影響。另外，Schaeff 等發(fā)現，即使在隱蔽注意條件下，mVEP BCI依然可以獲得一定的識別率，因此可以為患有嚴重眼球移動障礙的病人帶來幫助[66]。相對于傳統(tǒng)依靠字符閃爍來呈現刺激的范式，盡管基于物體旋轉刺激與物體移動刺激的范式分別在抑制不應期效應與亮度對比度影響等方面具有優(yōu)勢，然而卻沒有帶來BCI性能的顯著改善。

近年來，有學者使用面孔圖像閃爍(face flashing, FF)來代替字符閃爍(character flashing, CF)，并取得了明顯的效果[30, 32, 37-39, 67-68]。在刺激呈現時，FF范式將特定的面孔圖像覆蓋相應的字符，從而誘發(fā)出與面孔加工有關的ERP成分，如N170、VPP(vertex positive potential)、N400等，為BCI分類提供了更豐富的特征[68]。Kaufmann等使用名人面孔呈現刺激，與CF范式相比，將一個字符的拼寫時間降低了1.8倍[68]。在對BCI失效現象(BCI inefficiency phenomenon)的研究中，某些患有神經退行性疾病的病人無法正常使用傳統(tǒng)的P300拼寫器，卻依然可以在FF范式下表現出穩(wěn)定的性能[67]。

見到秘書在認真的閱讀他的材料，牛皮糖連忙起身告辭，他想趁這個熱勁，讓秘書好好把材料讀完，讀進去。他知道有時候秘書的作用比書記本人還大。這時靈機一動，他把帶給書記的那只黑雞婆抓了出來，遞給秘書，一臉歉意的說，秘書，對不起，來時只抓到這只雞婆，就送給你煮湯喝吧，不成敬意，希望你收下。

在目前的文獻中，已經報道了熟悉面孔[37]、面部表情變化[32]、面孔翻轉[30]、自我面孔[38]、卡通面孔[39]等不同面孔刺激在ERP BCI中的應用，這些新范式均比傳統(tǒng)的字符閃爍范式表現出一定優(yōu)勢。熟悉面孔范式[37]使使用者可以更加高效地識別靶刺激，而無需額外的意識加工。面孔表情變化范式[32]使使用者可以識別更加生動的表情變化，從而消除單一面孔刺激引起的疲勞與厭煩情緒，這在其長時間使用BCI的情況下更具優(yōu)勢。在面孔翻轉范式[30]中，面孔的相關結構信息缺失，從而提高了認知難度，有利于保持受試者的注意力。在自我面孔范式[38]下，自我呈現可以誘發(fā)更大的ERP成分?？ㄍ婵譡39]的優(yōu)點在于易于創(chuàng)作與修改，并可以得到與真實面孔相近的識別率和速率。

由于不同類型的刺激可能誘發(fā)出彼此不同的響應，因此如果在同一范式下集成多種刺激，就可以利用它們之間特征差異進一步提高系統(tǒng)性能。Kaufmann等提出了一種新穎的雙刺激范式[40]，將刺激矩陣分為兩個區(qū)域，并使這兩個區(qū)域同時分別呈現面孔圖像與太極圖像刺激，因此刺激序列長度縮短了一倍。通過對這兩種不同刺激所誘發(fā)的響應進行區(qū)分，顯著提高了拼寫速度。

2.4 對語言模型的研究

在ERP BCI范式中集成語言模型后，就可以根據已完成的歷史記錄推測待輸入字符的可能情況，從而縮小字符查找的范圍，也可以通過單詞糾錯、單詞自動補充等來提高拼寫效率。目前，相關語言模型的研究主要利用了語言統(tǒng)計信息來降低閃爍次數，并提高輸出速率。Jaeyoung等提出了一種基于馬爾可夫決策過程的數學模型[41]，通過對此模型增加關于知覺效應的約束，并與一個二元語言模型相結合，避免了可能性較小的行/列閃爍，從而在保證高識別率的同時，顯著降低了閃爍次數。Xu 等將統(tǒng)計語言模型集成到一個 3×3 的兩級SC范式中，提出了一種兩級預測范式(two-level predictive paradigm, TLP)[42]，在線識別率、速率與魯棒性等方面均比6×6 RC范式有顯著提高。Rui等則利用語言模型來預測當前的可能字符，并以此提出了一種可變尺寸的動態(tài)編程范式(dynamic programming, DP)，使得在85%的識別率下每個字符的平均輸出時間減少了一半[43]。

2.5 對混合BCI的研究

近年來，融合了不同模態(tài)下實驗范式的混合BCI(hybrid BCI)得到不少學者的關注?；旌螧CI利用不同范式的優(yōu)點，達到改善系統(tǒng)性能的目的。例如，SSVEP BCI所基于的SSVEP信號與刺激呈現頻率有關，具有明顯的頻譜特征，而mu/beta BCI所基于的mu/beta節(jié)律受想象左/右手運動所調制，具有明顯的對側化特征。這些特征與ERP BCI所基于的ERP特征相比具有顯著差異，因此可以通過融合的方式綜合利用各自的信息。目前，相關研究包括P300-SSVEP BCIs[44-46, 69]，P300-motor imagery BCIs[70-71]，以及P300-mVEP BCI[47]等。

Xu等將SSVEP范式疊加在P300范式之上，發(fā)現了SSVEP節(jié)律在ERP電位出現時發(fā)生阻斷的現象(稱為SSVEP-B)[45]，并結合SSVEP-B特征和P300特征提出了并行BCI范式[46]。他們將6×6的字符矩陣劃分為上、下、左、右4個大小為3×3的子矩陣，每個子矩陣作為一個獨立的P300-SSVEP混合范式并行呈現，從而降低了序列長度，增強了靶刺激特征，獲得了較高的輸出速率。

另外，也有學者提出了關于視覺焦點追蹤與ERP BCI的混合范式。例如， Postelnicu等將字符矩陣分為左右兩個區(qū)域，并從眼電(electrooculogram，EOG)信號中獲取眼動信息來確定受試者所注視的區(qū)域，僅閃爍此區(qū)域內的字符，從而降低了閃爍次數[48]。與眼動儀等輸入設備相比，此范式不需要眼球的精確移動，因此提高了使用者的舒適感。類似地，Jong-Suk 等則利用一個精度更高的Gaze-tracking系統(tǒng)來追蹤視覺焦點，并僅對焦點周圍 3×3的字符區(qū)域進行刺激呈現，得到了高于單獨使用兩范式時的正確率；但是需要額外佩戴體積較大的Gaze-tracking設備，可能會引起使用者的不適[49]。

3 存在的問題

3.1 個體差異的影響

目前，大部分范式研究對個體差異的影響缺乏充分考慮，這可能是導致某些結論不一致的原因，如前面所述的矩陣尺寸效應不一致的問題。對個體差異的充分認識，有助于研究人員根據個體情況制訂出更好的范式方案，包括有針對性的選擇范式參數以及刺激序列等，從而總體提高BCI的性能。

3.2 不同范式參數對比與交互效應

目前，研究人員已經針對范式參數進行了大量的研究，并發(fā)現多種范式參數影響著ERP響應的測量特征，并最終影響B(tài)CI的性能。然而，關于這些參數效應卻缺乏橫向比較。通過參數間效應的對比與交互分析，既可以明確各種參數的重要程度，也可以揭示它們的相互關系，從而有利于開發(fā)更高性能的BCI范式。

3.3 臨床評估與長期測試

目前，大部分范式研究均是針對健康受試者進行的。然而，對于患有肌萎縮性側索硬化(ALS)等疾病的病人來說，由于神經受損，他們的注意力與某些認知功能存在退化現象，同時他們也更易受疲勞與習慣化效應的影響，并導致腦機接口的性能下降，甚至無法工作[67]，因此有必要對新的實驗范式進行進一步的臨床評估。同時，由于習慣化效應等的影響，腦電信號特征隨時間改變，因此實驗范式研究也應考慮這種變化，并在長期測試中進行改進。

4 未來的研究方向

未來關于范式的研究可能涉及以下幾個方面：

1)研究個體差異影響。根據個體情況，尋找適合的范式參數與刺激呈現樣式。

2)研究范式參數對比與交互效應。通過對各參數影響程度的對比與交互分析，尋找對BCI性能提高有顯著意義的參數。

3)研究最優(yōu)刺激呈現樣式。刺激序列的長度以及呈現樣式可以根據受試者當前的狀況進行動態(tài)調整，以達到最優(yōu)的性能。

4)研究新的刺激類型以及多刺激混合范式。嘗試新的刺激類型，以得到更多有利的特征；同時，通過對同一模態(tài)下不同刺激類型進行混合，增加可用信息的維度，并提高BCI性能。

5)考慮現實環(huán)境中各因素的影響，如噪聲、光照變化、屏幕抖動、其他物體干擾等。

6)開展針對實驗范式的長期測試，并在病人群體中進行評估。

5 結語

實驗范式研究通過增強ERP特征、縮短刺激序列長度以及抑制不利的知覺效應來提高腦機接口的識別率與輸出速率，是腦機接口研究的一項重要內容。筆者從范式參數效應、刺激呈現樣式、刺激類型、語言模型以及混合BCI等幾個方面，對視覺ERP BCI中實驗范式的研究現狀進行了總結和回顧。盡管不少學者針對實驗范式進行了大量的改進與創(chuàng)新，并使腦機接口性能得到了顯著提高，然而目前腦機接口的輸出速率依然很低，對于健康受試者來說僅為每分鐘不到10個字符，而對于病患來說更低。同時，當前范式研究仍在個體差異、參數比較、臨床評估與長期測試等方面存在一些亟待解決的問題，因此仍需要在進一步的研究中完善和提高。

[1] Wolpaw JR, Birbaumer N, McFarland DJ, et al. Brain-computer interfaces for communication and control[J]. Clinical Neurophysiology, 2002, 113(6): 767-791.

[2] 王行愚, 金晶, 張宇, 等. 腦控:基于腦-機接口的人機融合控制[J]. 自動化學報, 2013, 39(3): 208-221.

[3] 曹艷, 鄭筱祥. 植入式腦機接口發(fā)展概況[J]. 中國生物醫(yī)學工程學報, 2014, 33(6): 659-665.

[4] 劉小燮, 畢勝. 腦機接口技術的康復應用及研究進展[J]. 中國康復醫(yī)學雜志, 2014, 29(10): 982-986.

[5] Zhang Rui, Li Yuanqing. Design and application of multi-model BCI game system[J]. Computer Engineering and Applications, 2012, 48(22): 65-69.

[6] Vidal J. Toward direct brain-computer communication[J]. Annual Reviews in Biophysics and Bioengineering, 1973, 2(1): 157-180.

[7] Aloise F, Schettini F, Arico P, et al. A comparison of classification techniques for a gaze-independent P300-based brain-computer interface[J]. Journal of Neural Engineering, 2012, 9(4): 045012.

[8] Krusienski DJ, Sellers EW, Cabestaing F, et al. A comparison of classification techniques for the P300 speller[J]. Journal of Neural Engineering, 2006, 3(4): 299-305.

[9] 徐寶國, 宋愛國, 費樹岷. 在線腦機接口中腦電信號的特征提取與分類方法[J]. 電子學報, 2011, 39(5): 1025-1030.

[10] McCane LM, Heckman SM, McFarland DJ, et al. P300-based brain-computer interface (BCI) event-related potentials (ERPs): People with amyotrophic lateral sclerosis (ALS) vs. age-matched controls[J]. Clinical Neurophysiology, 2015, 126(11):2124-2131.

[11] 孔麗文, 薛召軍, 陳龍, 等. 基于虛擬現實環(huán)境的腦機接口技術研究進展[J]. 電子測量與儀器學報, 2015, 29(3): 317-327.

[12] 王金甲, 楊成杰. P300腦機接口控制智能家居系統(tǒng)研究[J]. 生物醫(yī)學工程學雜志, 2014, 31(4): 762-766.

[13] Treder MS, Blankertz B. (C)overt attention and visual speller design in an ERP-based brain-computer interface[J]. Behav Brain Funct, 2010, 6:28.

[14] 劉鐵軍, 張銳, 徐鵬. 基于運動想象的腦機接口關鍵技術研究[J]. 中國生物醫(yī)學工程學報, 2014, 33(6): 644-651.

[15] Gao Shangkai, Wang Yijun, Gao Xiaorong, et al. Visual and auditory brain-computer interfaces[J]. IEEE Transactions on Biomedical Engineering, 2014, 61(5): 1436-1447.

[16] Donchin E, Spencer KM, Wijesinghe R. The mental prosthesis: assessing the speed of a P300-based brain-computer interface[J]. IEEE Transactions on Rehabilitation Engineering, 2000, 8(2): 174-179.

[17] 郭苗苗, 徐桂芝, 王磊, 等. 聽覺腦-機接口技術實驗范式的研究進展[J]. 中國生物醫(yī)學工程學報, 2013, 32(5): 613-619.

[18] Rutkowski TM, Mori H. Tactile and bone-conduction auditory brain computer interface for vision and hearing impaired users[J]. Journal of Neuroscience Methods, 2015, 244: 45-51.

[19] Farwell LA, Donchin E. Talking off the top of your head: toward a mental prosthesis utilizing event-related brain potentials[J]. Electroencephalography and clinical neurophysiology, 1988, 70(6): 510-523.

[20] 馬征, 邱天爽. 腦機接口中的一種事件相關電位分離模型[J]. 中國科學:信息科學, 2015, 45(9): 1218-1228.

[21] Polich J. Updating P300: An integrative theory of P3a and P3b[J]. Clinical Neurophysiology, 2007, 118(10): 2128-2148.

[22] Schalk G, McFarland D, Hinterberger T, et al. BCI 2000: a general-purpose brain-computer interface(BCI) system[J]. IEEE Transactions on Biomedical Engineering, 2004, 51(6): 1034-1043.

[23] Fazel-Rezai R. Human error in P300 speller paradigm for brain-computer interface[C]//Proceedings of the 29th Annual International Conference of the IEEE EMBS. New York: IEEE, 2007: 2516-2519.

[24] Salvaris M, Sepulveda F. Perceptual errors in the farwell and donchin matrix speller[C]//Proceedings of the 4th International IEEE EMBS Conference on Neural Engineering. New York: IEEE, 2009: 275-278.

[25] Townsend G, LaPallo BK, Boulay CB, et al. A novel P300-based brain-computer interface stimulus presentation paradigm: Moving beyond rows and columns[J]. Clinical Neurophysiology, 2010, 121(7): 1109-1120.

[26] Martens SMM, Hill NJ, Farquhar J, et al. Overlap and refractory effects in a brain-computer interface speller based on the visual P300 event-related potential[J]. Journal of Neural Engineering, 2009, 6(2): 026003.

[27] Gonsalvez CJ, Polich J. P300 amplitude is determined by target-to-target interval[J]. Psychophysiology, 2002, 39(3): 388-396.

[28] Koivisto M, Revonsuo A. Comparison of event-related potentials in attentional blink and repetition blindness[J]. Brain Research, 2008, 1189: 115-126.

[29] Polprasert C, Kukieattikool P, Demeechai T, et al. New stimulation pattern design to improve P300-based matrix speller performance at high flash rate[J]. Journal of Neural Engineering, 2013, 10(3): 036012.

[30] Zhang Yu, Zhao Qibin, Jin Jing, et al. A novel BCI based on ERP components sensitive to configural processing of human faces[J]. Journal of Neural Engineering, 2012, 9(2): 026018.

[31] Jin Jing, Allison BZ, Sellers EW, et al. An adaptive P300-based control system[J]. Journal of Neural Engineering, 2011, 8(3): 036006.

[32] Jin Jing, Daly I, Zhang Yu, et al. An optimized ERP brain-computer interface based on facial expression changes[J]. Journal of Neural Engineering, 2014, 11(3): 036004.

[33] Pires G, Nunes U, Castelo-Branco M. Comparison of a row-column speller vs. a novel lateral single-character speller: assessment of BCI for severe motor disabled patients[J]. Clinical Neurophysiology, 2012, 123(6): 1168-1181.

[34] Townsend G, Shanahan J, Ryan DB, et al. A general P300 brain-computer interface presentation paradigm based on performance guided constraints[J]. Neuroscience Letters, 2012, 531(2): 63-68.

[35] Pan Jiahui, Li Yuanqing, Gu Zhenghui, et al. A comparison study of two P300 speller paradigms for brain-computer interface[J]. Cognitive Neurodynamics, 2013, 7(6): 523-529.

[36] Hong Bo, Guo Fei, Liu Tao, et al. N200-speller using motion-onset visual response[J]. Clinical Neurophysiology, 2009, 120(9): 1658-1666.

[37] Jin Jing, Allison BZ, Zhang Yu, et al. An ERP-based BCI using an oddball paradigm with different faces and reduced errors in critical functions[J]. Int J Neural Syst, 2014, 24(8): 1450027.

[38] Yeom SK, Fazli S, Muller KR, et al. An efficient ERP-based brain-computer interface using random set presentation and face familiarity[J]. Plos One, 2014, 9(11): e111157.

[39] Chen Long, Jin Jing, Zhang Yu, et al. A survey of the dummy face and human face stimuli used in BCI paradigm[J]. J Neurosci Methods, 2015, 239: 18-27.

[40] Kaufmann T, Kubler A. Beyond maximum speed-a novel two-stimulus paradigm for brain-computer interfaces based on event-related potentials (P300-BCI)[J]. Journal of Neural Engineering, 2014, 11(5): 056004.

[41] Jaeyoung P, Kee-Eung K. A POMDP approach to optimizing P300 speller BCI paradigm[J]. IEEE Transactions on Neural Systems and Rehabilitation Engineering, 2012, 20(4): 584-594.

[42] Xu Yaming, Nakajima Y. A Two-Level Predictive Event-Related Potential-Based Brain-Computer Interface[J]. IEEE Transactions on Biomedical Engineering, 2013, 60(10): 2839-2847.

[43] Rui M, Aghasadeghi N, Jarzebowski J, et al. A stochastic control approach to optimally designing hierarchical flash sets in P300 communication prostheses[J]. IEEE transactions on neural systems and rehabilitation engineering, 2012, 20(1): 102-112.

[44] Wang Minjue, Daly I, Allison BZ, et al. A new hybrid BCI paradigm based on P300 and SSVEP[J]. Journal of Neuroscience Methods, 2015, 244: 16-25.

[45] Xu Minpeng, Qi Hongzhi, Wan Baikun, et al. A hybrid BCI speller paradigm combining P300 potential and the SSVEP blocking feature[J]. Journal of Neural Engineering, 2013, 10(2): 026001.

[46] Xu Minpeng, Chen Long, Zhang Lixin, et al. A visual parallel-BCI speller based on the time-frequency coding strategy[J]. J Neural Eng, 2014, 11(2): 026014.

[47] Jin Jing, Allison BZ, Wang Xingyu, et al. A combined brain-computer interface based on P300 potentials and motion-onset visual evoked potentials[J]. Journal of Neuroscience Methods, 2012, 205(2): 265-276.

[48] Postelnicu CC, Talaba D. P300-based brain-neuronal computer interaction for spelling applications[J]. IEEE Transactions on Biomedical Engineering, 2013, 60(2): 534-543.

[49] Jong-Suk C, Jae Won B, Kang Ryoung P, et al. Enhanced perception of user intention by combining EEG and gaze-tracking for brain-computer interfaces (BCIs)[J]. Sensors, 2013, 13(3): 3454-3472.

[50] Allison BZ, Pineda JA. ERPs evoked by different matrix sizes: implications for a brain computer interface (BCI) system[J]. IEEE Transactions on Neural Systems and Rehabilitation Engineering, 2003, 11(2): 110-113.

[51] Sellers EW, Krusienski DJ, McFarland DJ, et al. A P300 event-related potential brain-computer interface (BCI): The effects of matrix size and inter stimulus interval on performance[J]. Biol Psychol, 2006, 73(3): 242-252.

[52] Salvaris M, Sepulveda F. Visual modifications on the P300 speller BCI paradigm[J]. Journal of Neural Engineering, 2009, 6(4): 046011.

[53] Takano K, Komatsu T, Hata N, et al. Visual stimuli for the P300 brain-computer interface: a comparison of white/gray and green/blue flicker matrices[J]. Clinical Neurophysiology, 2009, 120(8): 1562-1566.

[54] Ikegami S, Takano K, Wada M, et al. Effect of the green/blue flicker matrix for P300-based brain-computer interface: an EEG-fMRI study[J]. Frontiers in Neurology, 2012, 3: 113.

[55] Li Yueqing, Bahn S, Nam CS, et al. Effects of luminosity contrast and stimulus duration on user performance and preference in a P300-based brain-computer interface[J]. International Journal of Human-Computer Interaction, 2014, 30(2): 151-163.

[56] Citi L, Poli R, Cinel C. Documenting, modelling and exploiting P300 amplitude changes due to variable target delays in Donchin's speller[J]. Journal of Neural Engineering, 2010, 7(5): 056006.

[57] Lu J, Speier W, Hu Xiao, et al. The effects of stimulus timing features on P300 speller performance[J]. Clinical Neurophysiology, 2013, 124(2): 306-314.

[58] McFarland DJ, Sarnacki WA, Townsend G, et al. The P300-based brain-computer interface (BCI): effects of stimulus rate[J]. Clinical Neurophysiology, 2011, 122(4): 731-737.

[59] Geuze J, Farquhar JDR, Desain P. Dense codes at high speeds: varying stimulus properties to improve visual speller performance[J]. Journal of Neural Engineering, 2012, 9(1): 016009.

[60] Jin Jing, Allison BZ, Sellers EW, et al. Optimized stimulus presentation patterns for an event-related potential EEG-based brain-computer interface[J]. Med Biol Eng Comput, 2011, 49(2): 181-191.

[61] Zhou Zongtan, Yin Erwei, Liu Yang, et al. A novel task-oriented optimal design for P300-based brain-computer interfaces[J]. J Neural Eng, 2014, 11(5): 056003.

[62] Hill J, Farquhar J, Martens S, et al. Effects of stimulus type and of error-correcting code design on BCI speller performance[C] //Koller D, Schuurmans D, Bengio Y, Bottou L. Advances in Neural Information Processing Systems 21 (NIPS 2008). 2009:1-8.

[63] Guger C, Daban S, Sellers E, et al. How many people are able to control a P300-based brain-computer interface (BCI)?[J]. Neuroscience Letters, 2009, 462(1): 94-98.

[64] Fazel-Rezai R, Abhari K. A Comparison between a Matrix-based and a Region-based P300 Speller Paradigms for Brain-Computer Interface[C]//The 30th Annual International Conference of the IEEE Engineering in Medicine and Biology Society. New York: IEEE, 2008: 1147-1150.

[65] Fazel-Rezai R, Gavett S, Ahmad W, et al. A comparison among several P300 brain-computer interface speller paradigms[J]. Clinical EEG and Neuroscience, 2011, 42(4): 209-213.

[66] Schaeff S, Treder MS, Venthur B, et al. Exploring motion VEPs for gaze-independent communication[J]. Journal of Neural Engineering, 2012, 9(4): 045006.

[67] Kaufmann T, Schulz SM, Koeblitz A, et al. Face stimuli effectively prevent brain-computer interface inefficiency in patients with neurodegenerative disease[J]. Clinical Neurophysiology, 2013, 124(5): 893-900.

[68] Kaufmann T, Schulz SM, Gruenzinger C, et al. Flashing characters with famous faces improves ERP-based brain-computer interface performance[J]. Journal of Neural Engineering, 2011, 8(5): 056016.

[69] 許敏鵬, 張力新, 明東, 等. 基于SSVEP阻斷與P300特征的混合范式腦-機接口[J]. 電子學報, 2013, 41(11): 2247-2251.

[70] Naito G, Yoshida L, Numata T, et al. Simultaneous Classification of Multiple Motor Imagery and P300 for Increase in Output Information of Brain-Computer Interface[J]. Electronics and Communications in Japan, 2014, 98(1): 47-54.

[71] Wang Hongtao, Li Yuanqing, Long Jinyi, et al. An asynchronous wheelchair control by hybrid EEG-EOG brain-computer interface[J]. Cogn Neurodyn, 2014, 8(5): 399-409.

A Review of Experimental Paradigms in Visual Event-Related Potential-Based Brain Computer Interfaces

Ma Zheng Qiu Tianshuang*

(DepartmentofBiomedicalEngineering,DalianUniversityofTechnology,Dalian116024,Liaoning,China)

A brain computer interface (BCI) makes a pathway between the human brain and the ambient environment, making it possible to control external devices directly by brain. The experimental paradigm is an important aspect for the BCI research, through which the brain signal features required for the classification of the BCI are elicited. In recent years, numerous studies on experimental paradigms have been carried out to improve the performance of BCI. This article reviewed the current status of studies on experimental paradigms of the visual event-related potential based BCI, including paradigm configuration, pattern of stimulus presentation, stimulus type, language model, and hybrid BCI. The challenges and future directions were discussed as well.

brain computer interface; event-related potential; experimental paradigm; perceptual effects

10.3969/j.issn.0258-8021. 2016. 01.012

2015-10-09， 錄用日期:2015-11-27

國家自然科學基金(81241059, 61172108, 61139001)；國家科技支撐計劃項目( 2012BAJ18B06)

R318

A

0258-8021(2016) 01-0096-09

*通信作者(Corresponding author)， E-mail:qiutsh@dlut.edu.cn