RSVP與SSVEP混合腦電信號(hào)刺激與多類事件檢測(cè)

陳景霞，郝 為 ，張鵬偉，謝 佳

1.陜西科技大學(xué) 電子信息與人工智能學(xué)院，西安 710021

2.西北工業(yè)大學(xué) 計(jì)算機(jī)學(xué)院，西安 710072

1 引言

大腦是支配人的思想、情緒、動(dòng)作等一切行為的中樞，通過(guò)神經(jīng)肌肉調(diào)節(jié)，對(duì)身體發(fā)號(hào)施令，以此來(lái)完成和外界環(huán)境的信息交流。伴隨著人工智能、生命科學(xué)等學(xué)科的興起，以腦電信號(hào)（Electroencephalograph，EEG）為基礎(chǔ)，腦-機(jī)接口（Brain Computer Interface，BCI）為橋梁的腦科學(xué)研究迅速發(fā)展。BCI技術(shù)旨在搭建一條人腦和外界環(huán)境之間的通路，將攜帶著受試者意念、想象、情緒等特定腦電波的特征，轉(zhuǎn)化為控制命令傳遞到外部設(shè)備，以實(shí)現(xiàn)人腦和外部環(huán)境的交互與控制[1]。

穩(wěn)態(tài)視覺(jué)誘發(fā)（Steady-State Visually Evoked Potential，SSVEP）[2-3]、快速序列視覺(jué)呈現(xiàn)（Rapid Serial Visual Presentation，RSVP）[4-5]、運(yùn)動(dòng)想象[6]、表情驅(qū)動(dòng)[7]等是BCI系統(tǒng)中常用的實(shí)驗(yàn)范式。其中，SSVEP范式是指通過(guò)一個(gè)固定頻率的閃爍視覺(jué)刺激，在人的大腦視覺(jué)皮層誘發(fā)產(chǎn)生一個(gè)連續(xù)的與刺激頻率（基頻或倍頻處）有關(guān)的響應(yīng)，這個(gè)響應(yīng)被稱為穩(wěn)態(tài)視覺(jué)誘發(fā)電位，由于其具有高信噪比、信號(hào)集中等優(yōu)點(diǎn)而被廣泛用作BCI系統(tǒng)的基礎(chǔ)輸入信號(hào)。RSVP范式則是在連續(xù)播放的圖片序列中，采用少量差異性較大的、被試者感興趣的目標(biāo)圖片作為視覺(jué)刺激，來(lái)誘發(fā)目標(biāo)事件相關(guān)電位（Event Related Potential，ERP）。目前，大多數(shù)RSVP目標(biāo)事件檢測(cè)都是針對(duì)鎖時(shí)性EEG數(shù)據(jù)，即假設(shè)目標(biāo)圖片刺激出現(xiàn)的時(shí)間是已知的，而且假設(shè)與目標(biāo)事件相關(guān)的ERP出現(xiàn)的延時(shí)是不變的，通常在刺激出現(xiàn)后0.2～1 s。

RSVP常用于偵測(cè)被試是否識(shí)別到指定目標(biāo)，Orhan等[8]利用RSVP刺激范式設(shè)計(jì)了一款基于EEG的鍵盤。Mao等[9]提出了一種基于非鎖時(shí)EEG信號(hào)的RSVP事件分類算法，用于對(duì)腦-機(jī)接口中RSVP的目標(biāo)與非目標(biāo)事件進(jìn)行檢測(cè)。Chen等[10]提出了一種新的EEG特征組合與分類方法，同時(shí)捕獲EEG信號(hào)時(shí)間與空間上的相關(guān)性，有效提高了基于深度CNN模型的RSVP事件檢測(cè)的性能。但同該BCI系統(tǒng)一樣，目前RSVP實(shí)驗(yàn)設(shè)計(jì)多為單目標(biāo)的分類檢測(cè)，并不能滿足生產(chǎn)生活中多目標(biāo)識(shí)別的要求。SSVEP常用于區(qū)分不同閃爍頻率的目標(biāo)，Xie等[11]研發(fā)出了基于SSVEP刺激的殘疾輪椅腦電智能導(dǎo)航系統(tǒng)，李翔等[12]通過(guò)SSVEP技術(shù)實(shí)現(xiàn)了電話自動(dòng)撥號(hào)的腦-機(jī)接口系統(tǒng)，Chen等[13]設(shè)計(jì)了一款基于SSVEP刺激的七自由度機(jī)器人手臂。但是，基于SSVEP的BCI設(shè)計(jì)中的一個(gè)重要問(wèn)題是受試者往往會(huì)在經(jīng)歷重復(fù)的刺激后產(chǎn)生適應(yīng)和疲勞，適應(yīng)后的刺激效果相較于適應(yīng)前會(huì)弱得多。從實(shí)際應(yīng)用角度出發(fā)，研究者們提出了基于多種范式相結(jié)合的混合型腦-機(jī)接口系統(tǒng)，如簡(jiǎn)文娟[14]、竇立祥[15]提出將SSVEP與運(yùn)動(dòng)想象相結(jié)合BCI系統(tǒng)取得了較好的應(yīng)用效果，Lin等[16]設(shè)計(jì)的拼寫器結(jié)合了SSVEP和肌電信息?；旌鲜紹CI系統(tǒng)是未來(lái)的發(fā)展方向[17]。

本文提出一種SSVEP與RSVP相結(jié)合的新型實(shí)驗(yàn)范式，以游戲的方式進(jìn)行，采集被試游戲時(shí)由固定頻率閃爍和小概率目標(biāo)圖片共同誘發(fā)的EEG數(shù)據(jù)，并對(duì)其進(jìn)行預(yù)處理與特征提取。采用自舉聚合決策樹(shù)（Bagging Tree，BT）、支持向量機(jī)（Supported Vector Machine，SVM）、線性判別分析（Linear Discriminant Analysis，LDA）、貝葉斯線性判別分析（Bayesian Linear Discriminative Analysis，BLDA）等機(jī)器學(xué)習(xí)算法對(duì)EEG特征進(jìn)行目標(biāo)與非目標(biāo)二分類實(shí)驗(yàn)，驗(yàn)證EEG特征針對(duì)RSVP事件的可分性。采用上述四種分類器對(duì)EEG數(shù)據(jù)進(jìn)行目標(biāo)/非目標(biāo)與頻率相結(jié)合的五分類實(shí)驗(yàn)，驗(yàn)證組合范式誘發(fā)的EEG特征進(jìn)行多類事件分類與檢測(cè)的性能。本文還對(duì)比分析了單獨(dú)使用四種分類器與結(jié)合傳統(tǒng)典型關(guān)聯(lián)分析（Canonical Correlation Analysis，CCA）算法進(jìn)行八分類的實(shí)驗(yàn)結(jié)果，驗(yàn)證BT和SVM等機(jī)器學(xué)習(xí)模型對(duì)RSVP和SSVEP組合范式誘發(fā)的EEG信號(hào)進(jìn)行多類識(shí)別的性能優(yōu)于傳統(tǒng)CCA算法的性能。

2 EEG數(shù)據(jù)獲取

2.1 實(shí)驗(yàn)準(zhǔn)備

本文共采集14名被試者的EEG數(shù)據(jù)，被試中男女各有7人，平均年齡為24.8歲。被試者身體健康，無(wú)神經(jīng)性疾病，實(shí)驗(yàn)前24 h未引用任何含酒精或咖啡因的飲品。所有被試均可正常集中注意力，無(wú)色弱色盲。實(shí)驗(yàn)使用32通道電極帽和Neuroscan系統(tǒng)進(jìn)行EEG數(shù)據(jù)的采集與記錄，電極帽的電極分布如圖1所示，符合國(guó)際聯(lián)合會(huì)的10/20電極系統(tǒng)標(biāo)準(zhǔn)。阻抗小于5 kΩ，采樣頻率為500 Hz，參考電極為A1、A2，帶通濾波頻率為0.5～50 Hz，地電極為FP1與FP2之間的G。在Win10操作系統(tǒng)下，使用MATLAB2016b進(jìn)行EEG特征提取以及分類算法的編寫。

圖1 實(shí)驗(yàn)電極分布圖

2.2 實(shí)驗(yàn)過(guò)程

實(shí)驗(yàn)使用Unityengine軟件設(shè)計(jì)一款電腦游戲進(jìn)行SSVEP與RSVP組合范式下EEG信號(hào)的刺激。實(shí)驗(yàn)過(guò)程需要2臺(tái)PC，一臺(tái)用于被試操作游戲，另一臺(tái)用于記錄EEG數(shù)據(jù)，實(shí)驗(yàn)的體系結(jié)構(gòu)如圖2所示。

圖2 實(shí)驗(yàn)體系結(jié)構(gòu)

每個(gè)被試實(shí)驗(yàn)的過(guò)程如圖3所示，每人做7組實(shí)驗(yàn)，每組進(jìn)行32次實(shí)驗(yàn)，每次實(shí)驗(yàn)大概持續(xù)20 s，每次實(shí)驗(yàn)結(jié)束后休息2 s，每組開(kāi)始之前休息60 s（30 s睜眼，30 s閉眼），每個(gè)被試共進(jìn)行7×32=224次實(shí)驗(yàn)，總時(shí)長(zhǎng)約為1.0～1.5 h。每次實(shí)驗(yàn)以游戲的方式進(jìn)行，包括準(zhǔn)備、注視、搜索與刺激四個(gè)階段（如圖4所示）。

圖3 單個(gè)被試的實(shí)驗(yàn)過(guò)程

圖4 每次實(shí)驗(yàn)的過(guò)程

被試準(zhǔn)備就緒后首先按下鼠標(biāo)左鍵開(kāi)始游戲，顯示器屏幕（分辨率為100 Hz）上會(huì)出現(xiàn)一個(gè)由8種不同彩色寶石圖案（如圖5所示）構(gòu)成的8×8的圖片矩陣，被試對(duì)其放松注視2 s后，圖片矩陣的左上、左下、右上、右下方會(huì)隨機(jī)出現(xiàn)4個(gè)白色邊框選項(xiàng)，被試進(jìn)入搜索階段，要求從4個(gè)選項(xiàng)中搜索出一個(gè)唯一正確選項(xiàng)，其橫向或縱向相鄰的兩個(gè)圖案必須是相同的（如圖6所示），確保刺激階段在正確選項(xiàng)的位置上總能出現(xiàn)一種圖案使得其橫向或縱向上3個(gè)圖案完全相同。

圖5 8種不同的彩色寶石圖案

一旦被試搜索到正確選項(xiàng)，立即單擊鼠標(biāo)左鍵進(jìn)入刺激階段：被試需要注視正確選項(xiàng)的位置并保持6 s，在這個(gè)位置上將以某一固定頻率快速呈現(xiàn)一個(gè)由8種彩色寶石圖案和黑底圖案交替構(gòu)成的序列，其中與該位置橫向或縱向相鄰兩個(gè)圖案相同的那個(gè)圖案就是用于RSVP刺激的目標(biāo)圖案。每次實(shí)驗(yàn)以RSVP范式快速呈現(xiàn)一個(gè)圖片序列，該序列快速閃現(xiàn)的頻率從4 Hz、5 Hz、6 Hz或7 Hz中隨機(jī)選取一種，用作SSVEP的刺激頻率，每一種SSVEP頻率下每張圖片呈現(xiàn)的時(shí)長(zhǎng)、5 s內(nèi)呈現(xiàn)圖片的個(gè)數(shù)以及呈現(xiàn)彩色圖片的個(gè)數(shù)如表1所示，序列中奇數(shù)序號(hào)對(duì)應(yīng)的圖片為8種彩色寶石圖案之一，偶數(shù)序號(hào)對(duì)應(yīng)的圖片為黑底圖案。

圖6 一個(gè)被試正盯著顯示器屏幕上的目標(biāo)圖案

表1 4種可選SSVEP頻率及其特性（顯示器刷新頻率為100 Hz）

每個(gè)序列閃爍持續(xù)時(shí)長(zhǎng)都是6 s，其中包含目標(biāo)圖片2～3張，圖7為5 Hz閃爍序列0～2 s內(nèi)的剪輯，每個(gè)圖案片段呈現(xiàn)時(shí)長(zhǎng)為100 ms，2 s內(nèi)共呈現(xiàn)10個(gè)圖案片段，其中藍(lán)色三角型寶石為目標(biāo)圖片。

圖7 一個(gè)以5 Hz閃爍的序列0～2 s內(nèi)的圖片序列

記錄刺激階段被試注視這6 s以穩(wěn)定頻率呈現(xiàn)目標(biāo)和非目標(biāo)圖片序列時(shí)誘發(fā)的腦電信號(hào)及刺激結(jié)束后2 s休息時(shí)的腦電信號(hào)，由于采樣頻率為500 Hz，每次實(shí)驗(yàn)中刺激序列誘發(fā)的EEG數(shù)據(jù)包含500×6=3 000個(gè)采樣點(diǎn)，靜息態(tài)EEG數(shù)據(jù)包含500×2=1 000個(gè)采樣點(diǎn)。每個(gè)被試產(chǎn)生7×32=224條記錄，每條記錄包含每次實(shí)驗(yàn)的序列編號(hào)、序列閃爍頻率、目標(biāo)圖片出現(xiàn)時(shí)間點(diǎn)、圖案樣式、EEG數(shù)據(jù)等信息。

2.3 數(shù)據(jù)預(yù)處理

對(duì)采集的原始EEG信號(hào)，首先選用A1、A2電極的均值作為參考，將其余30個(gè)通道的電位去參考，再采用MATLAB中的detrend函數(shù)通過(guò)去均值進(jìn)行低頻基線去除，然后采用均值濾波和高斯濾波組合的空間濾波器對(duì)高頻噪聲進(jìn)行降噪處理，以此降低偽跡和噪聲對(duì)實(shí)驗(yàn)數(shù)據(jù)的影響。大量已有的研究結(jié)果表明，RSVP范式下與目標(biāo)事件相關(guān)的ERP通常發(fā)生在刺激出現(xiàn)后0.2～1 s內(nèi)，因此提取每次實(shí)驗(yàn)中目標(biāo)圖片出現(xiàn)時(shí)間點(diǎn)后1 s（500個(gè)采樣點(diǎn)）的EEG數(shù)據(jù)作為RSVP目標(biāo)圖片誘發(fā)的腦電數(shù)據(jù)，對(duì)應(yīng)的RSVP事件標(biāo)簽用1表示。為了計(jì)算方便，將500個(gè)采樣點(diǎn)下采樣至64個(gè)，去除A1、A2兩個(gè)參考電極，通道數(shù)變?yōu)?0個(gè)，則每一個(gè)目標(biāo)圖片誘發(fā)的EEG數(shù)據(jù)樣本的格式為64（time points）×30（channel），每次實(shí)驗(yàn)的序列中大概有2～3個(gè)目標(biāo)圖片，每名被試224次實(shí)驗(yàn)一共提取與目標(biāo)刺激相關(guān)的EEG樣本大概有224 trials×3=672個(gè)。

為了確保數(shù)據(jù)類別的均衡，在每一次實(shí)驗(yàn)中非目標(biāo)圖片出現(xiàn)的時(shí)間段內(nèi)隨機(jī)提取2～3個(gè)1 s時(shí)長(zhǎng)（500個(gè)采樣點(diǎn)）的EEG數(shù)據(jù)，作為非目標(biāo)刺激相關(guān)的EEG樣本，RSVP事件標(biāo)簽用0表示，采樣頻率同樣下采樣至64，每名被試224次實(shí)驗(yàn)一共提取與非目標(biāo)刺激相關(guān)的EEG樣本約有224 trials×3=672個(gè)。所有EEG樣本對(duì)應(yīng)的SSVEP標(biāo)簽為其誘發(fā)序列呈現(xiàn)的實(shí)際頻率（4 Hz、5 Hz、6 Hz、7 Hz其中一種）。

為了驗(yàn)證所提取EEG數(shù)據(jù)在RSVP與SSVEP上事件的可分性，本文為14名被試分別構(gòu)建各自的交叉驗(yàn)證集，進(jìn)行被試內(nèi)EEG事件分類與檢測(cè)。從每一名被試的目標(biāo)刺激EEG和非目標(biāo)刺激EEG樣本中各隨機(jī)取出10%作為測(cè)試集，余下90%目標(biāo)和非目標(biāo)刺激的EEG樣本作為訓(xùn)練集。每一個(gè)交叉驗(yàn)證集的測(cè)試集與訓(xùn)練集的EEG數(shù)據(jù)格式均為64（采樣點(diǎn)）×30（通道）×樣本數(shù)的格式，記為EEG數(shù)據(jù)集時(shí)域上的raw特征。14名被試各自EEG數(shù)據(jù)交叉驗(yàn)證集的詳細(xì)信息如表2所示。

表2 數(shù)據(jù)集樣本數(shù)

3 EEG特征提取與分類算法

3.1 歸一化處理與PSD特征提取

為了提升EEG數(shù)據(jù)事件分類與檢測(cè)的精度和收斂速度，本文采用MATLAB中的z-score函數(shù)對(duì)三維EEG數(shù)據(jù)的raw特征X進(jìn)行歸一化處理，使處理后的數(shù)據(jù)X*符合均值為0，標(biāo)準(zhǔn)差為1的正態(tài)分布。首先將三維數(shù)據(jù)轉(zhuǎn)化為二維X′（采樣點(diǎn)×通道數(shù)，樣本數(shù)），隨后按公式（1）中方法進(jìn)行計(jì)算：

其中，二維數(shù)據(jù)X′按列計(jì)算，μ表示每一列數(shù)據(jù)的均值，σ表示該列的標(biāo)準(zhǔn)差。最后將X*還原為X的格式，歸一化以后的EEG時(shí)域上的特征用norm表示，其維度仍然是64（采樣點(diǎn)）×30（通道）×樣本數(shù)。

在EEG信號(hào)中，與情感信息相關(guān)的頻段共有5個(gè)，分別是δ（1～4 Hz），θ（4～8 Hz），α（8～13 Hz），β（13～30 Hz）和γ（30～50 Hz）。本文采用快速離散傅里葉變換（Fast Fourier Transformation，F(xiàn)FT）提取EEG數(shù)據(jù)在1～64 Hz頻段上的功率譜密度（Power Spectral Density，PSD）特征。在時(shí)長(zhǎng)為1 s的EEG數(shù)據(jù)中，每個(gè)通道都使用無(wú)重疊窗長(zhǎng)為0.25 s的Hamming窗提取64個(gè)PSD特征，該特征用freq表示，其維度為64（PSD特征數(shù)）×30（通道）×樣本數(shù)。

為了更好地同時(shí)捕獲EEG數(shù)據(jù)在時(shí)域和頻域上的事件相關(guān)性，將EEG數(shù)據(jù)的PSD特征分別與原始時(shí)域raw特征和歸一化后norm特征在樣本數(shù)維度上通過(guò)連接操作進(jìn)行特征組合，得到兩種新的組合特征freq+norm和freq+raw，其維度為64（采樣點(diǎn)）×30（通道數(shù)）×2倍樣本數(shù)。

3.2 基于CCA算法的SSVEP頻率匹配

典型關(guān)聯(lián)分析是一種用來(lái)測(cè)量?jī)蓚€(gè)多維變量之間潛在相關(guān)性的統(tǒng)計(jì)方法，經(jīng)常用于SSVEP相關(guān)研究中，其基本原理如下。

對(duì)于兩組多維變量X和Yfk，X代表二維測(cè)試集數(shù)據(jù)，Yfk（下稱Y）代表第k個(gè)刺激頻率對(duì)應(yīng)的一組正余弦信號(hào)組構(gòu)建的二維參考信號(hào)，其中fk表示第K個(gè)刺激頻率，N表示的是參與構(gòu)建參考信號(hào)的諧波數(shù)，實(shí)驗(yàn)中設(shè)定為N=5。

X和Y分別尋找兩個(gè)線性組合u=aTX和v=bTY，使多維變量X和Y經(jīng)過(guò)此線性組合后相關(guān)系數(shù)ρ(u,v)最大，其中a和b分別是X和Y的權(quán)重向量，u和v為典型變量。

式中Var為方差，Cov為協(xié)方差（下面以C代替）以Var(u)推導(dǎo)為例。

求解a和b時(shí)，有約束條件：

整理得：

λ即為ρ(u,v)，為求出λ的最大值，對(duì)式（6）、（7）進(jìn)行進(jìn)一步整理，得：

則特征值λ2與特征向量a和b均可解出。本文通過(guò)將EEG數(shù)據(jù)與所有刺激頻率所構(gòu)建的參考信號(hào)分別做CCA運(yùn)算，得出EEG數(shù)據(jù)與各個(gè)參考信號(hào)之間的相關(guān)系數(shù)，其中最大相關(guān)系數(shù)對(duì)應(yīng)的刺激頻率被認(rèn)為是該EEG數(shù)據(jù)的預(yù)測(cè)頻率。預(yù)測(cè)頻率與實(shí)際刺激頻率相一致則視為SSVEP分類預(yù)測(cè)正確，計(jì)算測(cè)試集中所有EEG數(shù)據(jù)預(yù)測(cè)正確的比例作為SSVEP事件分類預(yù)測(cè)的準(zhǔn)確率。

3.3 基于機(jī)器學(xué)習(xí)的EEG分類算法

本文采用自舉聚合決策樹(shù)（BT）、支持向量機(jī)（SVM）、線性判別分析（LDA）、貝葉斯線性判別分析（BLDA）等四種目前在EEG分類檢測(cè)領(lǐng)域性能較優(yōu)的機(jī)器學(xué)習(xí)算法進(jìn)行RSVP與SSVEP相結(jié)合的多類事件分類與檢測(cè)，以驗(yàn)證本文提出的兩種范式組合刺激的EEG數(shù)據(jù)特征的可分析與有效性。其中，BT分類器將多個(gè)較弱的決策樹(shù)模型組合在一起，形成一個(gè)較強(qiáng)的分類模型，從原始訓(xùn)練數(shù)據(jù)集中有放回地采樣若干個(gè)小集合，在每個(gè)小集合上訓(xùn)練單個(gè)決策樹(shù)模型，然后對(duì)所有單個(gè)決策樹(shù)模型的輸出取平均或者對(duì)其類別進(jìn)行投票表決。該方法實(shí)現(xiàn)簡(jiǎn)單、訓(xùn)練速度快，能夠處理高維數(shù)據(jù)，并能有效減少過(guò)擬合的發(fā)生。

SVM分類器的目的是尋找一個(gè)最優(yōu)超平面，使得該超平面中訓(xùn)練樣本間距最大。本文使用徑向基函數(shù)為作為SVM模型的核函數(shù)，采用梯度下降算法對(duì)SVM模型進(jìn)行優(yōu)化。SVM分類器對(duì)于高維度、小數(shù)量級(jí)的樣本分類很有優(yōu)勢(shì)，分類效果卓群，但是對(duì)于復(fù)雜的數(shù)據(jù)集卻束手無(wú)策。而且其魯棒性不夠突出，對(duì)于特殊的離群點(diǎn)沒(méi)有好的應(yīng)對(duì)辦法。LDA分類器是經(jīng)典的分類算法，優(yōu)點(diǎn)是運(yùn)算量較小，簡(jiǎn)單易懂，適用于樣本較少的分類情況。LDA的基本原理是尋找一個(gè)使類間間距最大，類內(nèi)間距最小的投影。由于LDA計(jì)算相對(duì)簡(jiǎn)單且通?？梢蕴峁┹^好的分類效果，目前已被廣泛應(yīng)用于各種BCI系統(tǒng)中，然而LDA卻無(wú)法有效地分類檢測(cè)復(fù)雜非線性的EEG數(shù)據(jù)，且在處理小樣本問(wèn)題時(shí)容易受到維數(shù)災(zāi)難的影響，從而導(dǎo)致分類器泛化性能下降。BLDA分類器則是在線性分析的基礎(chǔ)上融合了貝葉斯思想，由已知的先驗(yàn)概率估算未知的后驗(yàn)，通過(guò)計(jì)算不同樣本的錯(cuò)判率以及后驗(yàn)概率，并用最大的后驗(yàn)概率對(duì)樣本進(jìn)行分類，其目的是為了使期望損失最小。本實(shí)驗(yàn)中，噪聲逆方差、先驗(yàn)?zāi)娣讲钜约捌铐?xiàng)的先驗(yàn)?zāi)娣讲罱院雎圆挥?jì)，迭代次數(shù)范圍設(shè)置為1～100。

4 EEG事件分類實(shí)驗(yàn)及結(jié)果分析

4.1 基于RSVP的2類事件分類

本文首先對(duì)RSVP與SSVEP組合范式誘發(fā)的EEG數(shù)據(jù)進(jìn)行RSVP目標(biāo)與非目標(biāo)的被試內(nèi)二分類實(shí)驗(yàn)，驗(yàn)證本文采集的EEG數(shù)據(jù)在RSVP事件上的有效性與可分性。在二分類實(shí)驗(yàn)中，將目標(biāo)圖片誘發(fā)的EEG數(shù)據(jù)樣本的標(biāo)簽記為1，非目標(biāo)圖片誘發(fā)的EEG數(shù)據(jù)樣本的標(biāo)簽記為0。按3.1節(jié)中所述的方法對(duì)每個(gè)被試所有trials提取的原始EEG時(shí)域特征（raw）進(jìn)行歸一化處理、PSD特征提取以及組合特征提取，得到raw、norm、freq、freq+raw和freq+norm五種特征。并將這五種特征分別輸入3.3節(jié)所述的四種分類器進(jìn)行分類器的訓(xùn)練與預(yù)測(cè)。每一名被試在每一種特征上對(duì)四種分類器分別進(jìn)行10折交叉驗(yàn)證，將每一折驗(yàn)證的分類準(zhǔn)確率的均值作為該被試在某一特征上某一分類器的分類準(zhǔn)確率，再對(duì)14名被試的分類準(zhǔn)確率求均值，作為某一特征上某一分類器的最終分類準(zhǔn)確率。

四種分類器在五種EEG特征上進(jìn)行RSVP目標(biāo)/非目標(biāo)兩類事件分類的結(jié)果如表3所示。其中，BT分類器在五種特征上的分類準(zhǔn)確率最高，均達(dá)到了100%。SVM分類器在時(shí)域與頻域組合特征上的分類準(zhǔn)確率均達(dá)到了98.8%，比單個(gè)時(shí)域特征（raw與norm）上的最好分類性能94.8%高出4%；在時(shí)域特征上的分類準(zhǔn)確率比頻域PSD特征上的分類準(zhǔn)確率高出5.3%。LDA分類器在時(shí)域與頻域組合特征上的分類準(zhǔn)確率均為78.4%，比單個(gè)時(shí)域特征（raw與norm）上的最好分類性能77.2%高出1.2%；在時(shí)域特征上的分類準(zhǔn)確率比頻域PSD特征上的分類準(zhǔn)確率高出6.6%。只有BLDA分類器的分類性能較低，在norm時(shí)域特征上的分類性能最優(yōu)，為59.5%。綜合來(lái)看，BT、SVM與LDA三種分類器的結(jié)果具有一致性而且分類性能較高，表明通過(guò)機(jī)器學(xué)習(xí)的方法可以對(duì)本文組合范式刺激的EEG數(shù)據(jù)進(jìn)行RSVP事件的準(zhǔn)確分類。

表3 不同EEG特征上RSVP事件二分類結(jié)果

4.2 基于RSVP與SSVEP的5類事件分類

為了驗(yàn)證本文采集的EEG數(shù)據(jù)在RSVP與SSVEP組合事件上的多類分類性能，將每個(gè)刺激序列中目標(biāo)圖片誘發(fā)的EEG樣本的標(biāo)簽由1改為4，非目標(biāo)圖片誘發(fā)的EEG樣本的標(biāo)簽由原來(lái)的0拆分成了4類：按照所在序列的呈現(xiàn)頻率進(jìn)行標(biāo)記，4 Hz、5 Hz、6 Hz、7 Hz分別對(duì)應(yīng)標(biāo)簽0、1、2、3，由此得到帶有五類標(biāo)簽的EEG數(shù)據(jù)的五種特征，包括raw、norm、freq、freq+norm和freq+raw，按照4.1節(jié)所述的交叉驗(yàn)證的方法分別將每一個(gè)被試的五種特征輸入四種分類器中進(jìn)行分類器的訓(xùn)練與預(yù)測(cè)。

四種分類器在不同EEG特征上進(jìn)行五類事件分類的結(jié)果如表4所示。其中，BT分類器在時(shí)頻域組合特征freq+raw上取得了最優(yōu)分類性能92.5%，比單個(gè)特征上的最優(yōu)性能80.6%高出11.9%，在freq+norm組合特征上的分類準(zhǔn)確率也達(dá)到了92.2%。其次SVM分類器在組合特征freq+norm上取得了最優(yōu)分類準(zhǔn)確率85.7%，比單個(gè)特征上的最優(yōu)準(zhǔn)確率74.8%高出10.9%。而B(niǎo)LDA與LDA分類器的多分類性能較低，LDA在freq+norm組合特征上取得最優(yōu)分類準(zhǔn)確率為64.7%，比單個(gè)特征上的最優(yōu)分類準(zhǔn)確率44.2%高出20.5%；BLDA在freq+raw組合特征上取得最優(yōu)分類準(zhǔn)確率49.7%，比單個(gè)特征上的最優(yōu)分類準(zhǔn)確率48.9%高出0.8%。由此可見(jiàn)，利用BT與SVM分類器在本文采集的EEG數(shù)據(jù)的時(shí)域與頻域組合特征上，可以對(duì)RSVP與SSVEP組合事件進(jìn)行準(zhǔn)確的分類預(yù)測(cè)。同時(shí)也說(shuō)明本文采集的EEG數(shù)據(jù)具有較高的可分性，本文提出的RSVP與SSVEP相結(jié)合的EEG刺激方法具有一定的研究?jī)r(jià)值與潛力。

表4 RSVP與SSVEP組合事件五分類結(jié)果

4.3 基于RSVP與SSVEP的8類事件分類

本文還對(duì)采集的EEG數(shù)據(jù)進(jìn)行了基于RSVP與SSVEP的8類事件分類，進(jìn)一步驗(yàn)證組合范式刺激的EEG數(shù)據(jù)的多類可分性，同時(shí)對(duì)機(jī)器學(xué)習(xí)分類器的分類性能同CCA與分類器相結(jié)合的分類性能進(jìn)行對(duì)比，以確定哪種分類方法性能較優(yōu)。8分類時(shí)，將每個(gè)刺激序列中目標(biāo)EEG樣本的標(biāo)簽按照所在序列的頻率進(jìn)行重新標(biāo)記：4 Hz、5 Hz、6 Hz、7 Hz分別對(duì)應(yīng)標(biāo)簽4、5、6、7；非目標(biāo)EEG樣本的標(biāo)簽也按照所在序列的頻率進(jìn)行重新標(biāo)記：4 Hz、5 Hz、6 Hz、7 Hz分別對(duì)應(yīng)標(biāo)簽0、1、2、3，由此得到帶有8類標(biāo)簽的EEG數(shù)據(jù)的五種特征。按照4.1節(jié)所述的交叉驗(yàn)證的方法分別將每一個(gè)被試的五種EEG特征輸入四種分類器中進(jìn)行各分類器的訓(xùn)練與預(yù)測(cè)。

四種分類器的八分類結(jié)果如表5所示。其中，BT分類器在freq+norm組合特征上的八分類準(zhǔn)確率最高，達(dá)到91.6%，比單個(gè)特征中freq特征上最好分類性能61%高出30.6%。SVM分類器也在時(shí)頻域組合特征上的取得了最優(yōu)分類準(zhǔn)確率87.6%，比單個(gè)特征的最優(yōu)分類準(zhǔn)確率69.5%高出了18.1%。LDA分類器同樣在兩種時(shí)頻域組合特征上取得最優(yōu)分類準(zhǔn)確率，均為66.8%，比單個(gè)特征中raw與norm上的最優(yōu)分類準(zhǔn)確率33.6%高出33.2%。同表4所示的五分類結(jié)果類似，BLDA分類器的八分類性能也較差。可見(jiàn)，本文采集的EEG數(shù)據(jù)在8類組合事件上仍然具有較高的可分性，在其時(shí)頻域組合特征上使用BT或SVM分類器，可以進(jìn)行準(zhǔn)確的8類組合事件預(yù)測(cè)。

表5 RSVP與SSVEP組合事件八分類結(jié)果

本文還采用CCA與分類器相結(jié)合的方法進(jìn)行8類事件檢測(cè)，以4.1節(jié)進(jìn)行RSVP二分類實(shí)驗(yàn)的raw特征的測(cè)試集為例，采用3.2節(jié)所述的方法，用每一個(gè)EEG樣本信號(hào)與四種刺激頻率（4 Hz，5 Hz，6 Hz或7 Hz）所構(gòu)建的參考信號(hào)分別做CCA運(yùn)算，得出EEG樣本信號(hào)與各個(gè)參考信號(hào)之間的相關(guān)系數(shù)，其中相關(guān)系數(shù)最大的參考信號(hào)對(duì)應(yīng)的刺激頻率被認(rèn)為是該EEG信號(hào)的預(yù)測(cè)頻率。若預(yù)測(cè)頻率與該EEG信號(hào)所在誘發(fā)序列的實(shí)際刺激頻率一致，則視為SSVEP分類正確，計(jì)算每一個(gè)被試測(cè)試集中所有EEG數(shù)據(jù)預(yù)測(cè)正確的比例作為SSVEP事件四分類的準(zhǔn)確率，預(yù)測(cè)結(jié)果如表6所示。

表6 基于CCA的SSVEP預(yù)測(cè)結(jié)果

將表6中所有被試的預(yù)測(cè)準(zhǔn)確率求平均，作為基于CCA算法進(jìn)行SSVEP四分類的最終分類準(zhǔn)確率。在4.1節(jié)中已經(jīng)得到了四種分類器在raw特征測(cè)試集上進(jìn)行RSVP目標(biāo)/非目標(biāo)兩類事件分類的結(jié)果（如圖3第1列所示），將其與表6中的平均準(zhǔn)確率相乘，得到四種分類器在raw特征上先進(jìn)行目標(biāo)/非目標(biāo)二類預(yù)測(cè)，再進(jìn)行每一類下四種頻率預(yù)測(cè)的8分類準(zhǔn)確率，具體結(jié)果如表7。

表7 兩種分類方法八分類準(zhǔn)確率對(duì)比

如表7所示，對(duì)于時(shí)域上的raw特征而言，兩種分類方法最終結(jié)果差異很大，BT分類器上，基于CCA的組合分類方法（下稱方法1）的分類準(zhǔn)確率為39.1%，而純機(jī)器學(xué)習(xí)方法（下稱方法2）的分類準(zhǔn)確率為60.6%，比方法1高出21.5%；BLDA分類器上方法2的準(zhǔn)確率比方法1高出28.3%；LDA分類器上兩種方法的分類準(zhǔn)確率較為接近，方法2的準(zhǔn)確率比方法1略高3.4%，SVM分類器上方法2的分類準(zhǔn)確率比方法1高出32.4%。由此可見(jiàn)，基于CCA的組合分類方法的分類性能不如使用單純機(jī)器學(xué)習(xí)分類器的性能好，在純SSVEP事件檢測(cè)上性能顯著的CCA算法并不適用于RSVP與SSVEP組合刺激的EEG多類事件檢測(cè)上。

5 結(jié)束語(yǔ)

本文提出一種RSVP與SSVEP組合范式的腦電信號(hào)刺激與多類事件分類方法。組合的刺激范式結(jié)合了RSVP與SSVEP各自的優(yōu)點(diǎn)，同時(shí)規(guī)避了各自在BCI系統(tǒng)中的缺陷：RSVP常用于目標(biāo)/非目標(biāo)檢測(cè)，但無(wú)法作用于多目標(biāo)的識(shí)別，通過(guò)對(duì)快速呈現(xiàn)的圖片序列添加不同的頻率信息，協(xié)同SSVEP能夠解決BCI系統(tǒng)中的多目標(biāo)識(shí)別問(wèn)題；在SSVEP范式中，用戶往往會(huì)在經(jīng)歷重復(fù)的視覺(jué)刺激后，對(duì)刺激感到適應(yīng)，導(dǎo)致誘發(fā)的EEG強(qiáng)度大幅下降，嚴(yán)重影響了BCI系統(tǒng)的性能，解決該問(wèn)題的關(guān)鍵在于改變用戶重復(fù)的視覺(jué)刺激，而RSVP可以很好地完成此項(xiàng)工作。本文通過(guò)游戲的模式，讓用戶觀看不同頻率呈現(xiàn)的隨機(jī)圖片序列，在游戲中不斷尋找序列中對(duì)應(yīng)的目標(biāo)圖片，不會(huì)對(duì)刺激產(chǎn)生適應(yīng)或感到無(wú)聊，從而提高了所誘發(fā)EEG信號(hào)的質(zhì)量。

為了驗(yàn)證組合范式所誘發(fā)的EEG數(shù)據(jù)在RSVP與SSVEP事件上有效性與可分性，本文通過(guò)機(jī)器學(xué)習(xí)的方法，為14名被試的五種EEG特征（包括時(shí)域上的raw、norm特征、頻域上的PSD特征以及時(shí)頻域上的freq+raw和freq+norm組合特征）分別構(gòu)建各自的交叉驗(yàn)證集，采用性能較優(yōu)的BT、LDA、BLDA、SVM四種分類器，進(jìn)行被試內(nèi)EEG信號(hào)的多類事件分類實(shí)驗(yàn)。在基于RSVP的目標(biāo)/非目標(biāo)二分類實(shí)驗(yàn)中，BT分類器在五種特征上的分類準(zhǔn)確率最高，均達(dá)到了100%，SVM在時(shí)頻域組合特征上取得最高分類準(zhǔn)確率98.8%，表明通過(guò)機(jī)器學(xué)習(xí)的方法可以對(duì)組合范式刺激的EEG數(shù)據(jù)進(jìn)行RSVP事件的準(zhǔn)確分類。在基于RSVP與SSVEP組合事件的5分類實(shí)驗(yàn)中，BT在時(shí)頻域組合特征上取得了最優(yōu)分類性能92.5%；在8分類實(shí)驗(yàn)中，BT和SVM分類器分別在時(shí)頻域組合特征上取得了最優(yōu)分類性能91.6%和87.6%，表明組合范式刺激的EEG信號(hào)具有較高的多類可分性，利用該方法能夠很好地解決BCI系統(tǒng)中的多目標(biāo)識(shí)別問(wèn)題，同時(shí)為開(kāi)發(fā)基于RSVP和SSVEP兩種范式的混合型腦-機(jī)接口應(yīng)用提供了一種新的有效途徑，具有一定的研究和應(yīng)用價(jià)值。

最后，采用CCA與分類器相組合的方法進(jìn)行8類EEG事件檢測(cè)，實(shí)驗(yàn)結(jié)果表明，基于機(jī)器學(xué)習(xí)的BT和SVM分類器對(duì)EEG信號(hào)進(jìn)行多類識(shí)別的性能明顯優(yōu)于基于CCA的組合分類方法，在純SSVEP事件檢測(cè)上性能顯著的CCA算法并不適用于RSVP與SSVEP組合刺激的EEG信號(hào)的多類事件檢測(cè)上。