張紹榮,趙紫寧,李 智,盤書寶
(1.桂林航天工業(yè)學(xué)院 電子信息與自動化學(xué)院,廣西 桂林 541004; 2.桂林電子科技大學(xué) 電子工程與自動化學(xué)院,廣西 桂林 541004)
運(yùn)動想象信號是大腦思維過程自發(fā)產(chǎn)生的信號,隨機(jī)性強(qiáng)、信噪比低,采集過程容易受到噪聲干擾[1],因此提取有效特征比較困難。共空域模式(common spatial pattern,CSP)是一種非常有效的特征提取方法,在腦機(jī)接口(brain computer interface,BCI)系統(tǒng)中得到了廣泛應(yīng)用[2]。但是CSP缺乏頻域信息,為補(bǔ)充CSP方法的頻域信息,CSP聯(lián)合時(shí)頻分析進(jìn)行特征提取的方法得到了廣泛研究。Lin等[3]使用Wavelet-CSP算法進(jìn)行特征提取,識別駕駛動作。先對腦電信號進(jìn)行小波分解,然后選擇與運(yùn)動想象相關(guān)的子帶小波系數(shù)進(jìn)行CSP變換,最后進(jìn)行分類。于沐涵等[4]提出將希爾伯特-黃變換(Hilbert-Huang transform,HHT)與CSP相結(jié)合的算法,對原始腦電信號進(jìn)行經(jīng)驗(yàn)?zāi)B(tài)分解后提取CSP特征。文獻(xiàn)[5]結(jié)合小波包分解(wavelet packet decomposition,WPD)和CSP提出了一種特征提取方法,即WPD-CSP。先對每一個(gè)通道的腦電信號進(jìn)行WPD分解,然后把各個(gè)子帶的小波系數(shù)組成新的通道,最后使用CSP提取特征。這些方法最大的問題在于信號的時(shí)頻分解非常耗時(shí),特別是腦電通道較多時(shí),時(shí)間問題特別突出。
本文對文獻(xiàn)[5]提出的WPD-CSP方法進(jìn)行改進(jìn),主要解決耗時(shí)問題,同時(shí)提高分類準(zhǔn)確率。雖然文獻(xiàn)[5]使用人工選擇方法選擇通道可以減少WPD-CSP特征提取的時(shí)間,但是最優(yōu)的通道往往是被試特異的,人工選擇方法選擇的通道往往不是最佳的,因此得到的分類準(zhǔn)確率并不是最優(yōu)的[6]。另外,針對被試特異的運(yùn)動想象相關(guān)頻帶選擇問題,文獻(xiàn)[7]提出了一種fisher WPD-CSP方法,對文獻(xiàn)[5]進(jìn)行改進(jìn)。文獻(xiàn)[8]把WPD-CSP應(yīng)用于4類運(yùn)動想象腦電信號分類。文獻(xiàn)[9]使用自適應(yīng)差分進(jìn)化算法對WPD-CSP提取的特征向量進(jìn)行選擇。然而這些文獻(xiàn)工作仍需要對腦電信號的所有通道進(jìn)行小波包分解,時(shí)間問題沒有解決,信號處理過程也比較復(fù)雜。
整體數(shù)據(jù)處理流程如圖1所示。在訓(xùn)練階段,對輸入的EEG訓(xùn)練數(shù)據(jù)先進(jìn)行預(yù)處理,包括空間濾波和帶通濾波,以及單試次腦電數(shù)據(jù)提取。緊接著進(jìn)行通道選擇,對預(yù)處理的信號提取帶通功率(band power,BP)作為特征,使用Fisher判別準(zhǔn)則(Fisher discriminant criterion,F(xiàn)DC)進(jìn)行通道選擇。然后,僅對選擇的通道做小波包分解,最后做CSP變換,得到的特征數(shù)據(jù)用于分類模型訓(xùn)練,分類模型選擇Fisher線性判別分析(Fisher linear discriminant analysis,F(xiàn)LDA)。在測試階段,只對訓(xùn)練階段選擇的通道進(jìn)行預(yù)處理,并進(jìn)行小波包分解。使用訓(xùn)練階段得到的CSP空間濾波器對信號進(jìn)行濾波并提取特征,并使用訓(xùn)練階段得到的FLDA分類模型對測試數(shù)據(jù)進(jìn)行分類預(yù)測。各模塊的詳細(xì)處理方法將在下文分別進(jìn)行闡述。
圖1 整體數(shù)據(jù)處理流程
對原始腦電信號依次進(jìn)行空間濾波、帶通濾波和時(shí)間窗選取。各部分處理方法的詳細(xì)信息參考文獻(xiàn)[10]。本文兩組數(shù)據(jù)集選取的時(shí)間窗均為0.5 s-3.5 s。
使用兩種方法進(jìn)行通道選擇,分別為人工選擇和算法選擇。通過兩種方法的比較,驗(yàn)證算法自適應(yīng)選擇通道的優(yōu)勢。
(1)人工選擇
以大腦功能分區(qū)和神經(jīng)生理學(xué)等先驗(yàn)知識為基礎(chǔ),選擇與運(yùn)動想象任務(wù)相關(guān)的通道。與運(yùn)動想象相關(guān)的電極通道分布在大腦感知運(yùn)動皮層區(qū)域,具體為C3、C4和Cz電極通道以及周圍鄰近的通道[11]。針對不同的數(shù)據(jù)集,人工選擇的具體通道在實(shí)驗(yàn)部分說明。
(2)算法選擇
原始腦電信號經(jīng)過預(yù)處理之后,提取帶通功率(band power,BP)作為特征,然后使用FDC進(jìn)行通道選擇,分類器使用FLDA。具體如下:
本文使用帶通功率特征作為通道選擇的依據(jù)。原始腦電信號經(jīng)過預(yù)處理之后提取每個(gè)通道信號的帶通功率,并且計(jì)算每個(gè)通道的平均帶通功率。帶通功率的頻帶設(shè)置和計(jì)算方法參考文獻(xiàn)[12]。帶通功率的計(jì)算公式如下
(1)
式中:pi,j[t]表示信號序列xi,j[t]的帶通功率。其它詳細(xì)信息可參考文獻(xiàn)[12]。
運(yùn)動想象腦電信號的事件相關(guān)同步和事件相關(guān)去同步可以反映每個(gè)信號通道的功率譜變化。與運(yùn)動想象相關(guān)的通道,功率譜變化比較明顯。Fisher判別準(zhǔn)則可以判別出功率譜變化較明顯的通道,即選擇出與運(yùn)動想象任務(wù)相關(guān)的通道。使用以上方法計(jì)算得到的帶通功率特征和對應(yīng)的樣本標(biāo)簽可以計(jì)算出每個(gè)通道的Fisher分?jǐn)?shù),具體如下
(2)
式(2)各部分的具體含義詳見文獻(xiàn)[12]。計(jì)算所有電極通道的Fisher分?jǐn)?shù),即Fi,i∈(1,2,…,C),C表示通道總數(shù)。Fisher分?jǐn)?shù)越大,表明通道越重要。將通道按Fisher分?jǐn)?shù)的大小做降序排序,然后根據(jù)通道數(shù)選擇前c個(gè)通道,c值由用戶指定。
WPD的計(jì)算推導(dǎo)可以參考文獻(xiàn)[13]。WPD分解的子帶頻率與分解層數(shù)和數(shù)據(jù)集的采樣率有關(guān)。對不同采樣率的數(shù)據(jù)集應(yīng)采用不同的分解層數(shù),才能得到與運(yùn)動想象信號相關(guān)的子帶。因?yàn)楸疚乃玫降臄?shù)據(jù)集采樣率包括100 Hz和250 Hz兩種頻率,因此下面將分別針對這兩種頻率討論小波包分解層數(shù)選擇和子帶選擇。
對100 Hz采樣率的數(shù)據(jù)集,采用db1小波基將輸入的EEG信號進(jìn)行3層小波包分解,得到8個(gè)子帶S(3,0)~S(3,7),具體如圖2所示。與文獻(xiàn)[5]保持一致的做法,選擇前5個(gè)子帶(詳見圖2虛線方框的地方)的小波系數(shù)進(jìn)行CSP變換。
圖2 3層小波包分解(采樣率100 Hz)
對250 Hz采樣率的數(shù)據(jù)集,同樣采用db1小波基對信號進(jìn)行小波包分解。但是由于采樣率較高,分解層數(shù)選擇4層。信號分解得到16個(gè)子帶S(4,0)~S(4,15),具體如圖3所示。類似的,選擇30 Hz以下的頻帶[5],即選擇前4個(gè)子帶(詳見圖3虛線方框的地方)的小波系數(shù)進(jìn)行CSP變換。
圖3 4層小波包分解(采樣率250 Hz)
本文只討論針對二分類任務(wù)的CSP方法。CSP尋找一組空間濾波器w使得以下的目標(biāo)函數(shù)J(w)達(dá)到最大,即最大化一類運(yùn)動想象任務(wù)的方差,同時(shí)最小化另一類任務(wù)的方差[2]
(3)
式中:Xi∈RN×T,i∈[1,2]表示第i類運(yùn)動想象任務(wù)的單試次EEG數(shù)據(jù),N表示電極通道數(shù),T表示單試次數(shù)據(jù)的樣點(diǎn)數(shù)。Ci表示數(shù)據(jù)Xi的協(xié)方差。J(w)的求解等價(jià)于廣義特征方程的求解,下面給出求解過程。
單試次數(shù)據(jù)的歸一化協(xié)方差矩陣計(jì)算如下
(4)
式中:T表示求矩陣的轉(zhuǎn)置,trace(·)表示求矩陣的跡。
(5)
對復(fù)合協(xié)方差矩陣Cc進(jìn)行特征值分解
(6)
得到特征向量矩陣Uc以及特征值組成的對角陣Σc。然后通過Uc和Σc計(jì)算白化矩陣如下
(7)
兩類任務(wù)的平均協(xié)方差矩陣經(jīng)過白化變換(式(8))之后擁有共同的特征向量,且對應(yīng)的特征值總和為1。具體如下
(8)
S1=Bλ1BT,S2=Bλ2BTλ1+λ2=I
(9)
(10)
最后,單試次數(shù)據(jù)的特征向量計(jì)算如下
(11)
式中:var(·)表示方差運(yùn)算,log(·)表示對數(shù)運(yùn)算。
采用一個(gè)公開的BCI競賽數(shù)據(jù)集和實(shí)驗(yàn)室自采集數(shù)據(jù)驗(yàn)證所提出方法的性能。
數(shù)據(jù)集1:該數(shù)據(jù)集一共采集了5個(gè)被試的數(shù)據(jù),分別是aa、al、av、aw和ay[14]。運(yùn)動想象時(shí)間為3.5 s,在這期間被試執(zhí)行左手、右手和右腳3類運(yùn)動想象任務(wù),但是競賽只提供右手和腳兩類任務(wù)的數(shù)據(jù)。每個(gè)被試包含280個(gè)單試次數(shù)據(jù)樣本,每類任務(wù)各占140個(gè)。在本文中,各個(gè)被試的訓(xùn)練集和測試集劃分與BCI競賽一致,并且對100 Hz采樣率的數(shù)據(jù)進(jìn)行分析。詳細(xì)信息可以參考網(wǎng)站:http://www.bbci.de/competition/iii/。
數(shù)據(jù)集2:該數(shù)據(jù)集一共采集了8個(gè)被試的數(shù)據(jù),通過自己實(shí)驗(yàn)室的腦電放大器進(jìn)行采集。更多信息可以參考我們前期的研究工作[15]。
方法1:傳統(tǒng)的CSP方法。
方法2:使用所有通道進(jìn)行WPD-CSP特征提取,即不做通道選擇。
方法3:使用人工選擇方法進(jìn)行通道選擇。數(shù)據(jù)集1以C3、C4和Cz電極為中心選擇15個(gè)通道,電極名稱分別為:CFC5、CFC1、CFC4、CFC8、C5、C3、C1、Cz、C2、C4、C6、CCP7、CCP3、CCP2、CCP6。類似的,數(shù)據(jù)集2選擇10個(gè)通道,電極名稱分別為:FC4、FT8、T7、C3、Cz、C4、C8、TP7、CP3、CPZ。
方法4:使用算法選擇方法進(jìn)行通道選擇。兩個(gè)數(shù)據(jù)集算法選擇的通道數(shù)與人工選擇的一樣。
(1)數(shù)據(jù)集1
表1列出了數(shù)據(jù)集1每個(gè)被試使用各種方法得到的分類準(zhǔn)確率,最高的分類準(zhǔn)確率使用黑體加粗顯示。本文方法在被試aa、al、av中取得了最高的分類準(zhǔn)確率,并且取得了最高的平均分類準(zhǔn)確率。方法2的平均分類準(zhǔn)確率最低,說明過多的通道進(jìn)行WPD-CSP特征提取反而會降低分類準(zhǔn)確率。
表1 分類準(zhǔn)確率(數(shù)據(jù)集1)
為了更加直觀地觀察被試分類準(zhǔn)確率隨通道數(shù)的變化,圖4給出了數(shù)據(jù)集1所有被試取不同通道數(shù)時(shí)的平均分類準(zhǔn)確率。從圖4可以看出,通道數(shù)在10-30之間時(shí),平均分類準(zhǔn)確率是最高的,通道數(shù)大于30,則平均分類準(zhǔn)確率整體呈現(xiàn)下降的趨勢。圖5給出了每個(gè)被試取不同通道數(shù)時(shí)的分類準(zhǔn)確率。對于被試aa、av和ay,可以明顯看到,分類準(zhǔn)確率隨著通道數(shù)由小變大呈先增大后減小的趨勢。
圖4 所有被試不同通道數(shù)的平均分類準(zhǔn)確率(數(shù)據(jù)集1)
圖5 每個(gè)被試不同通道數(shù)的分類準(zhǔn)確率(數(shù)據(jù)集1)
(2)數(shù)據(jù)集2
表2列出了數(shù)據(jù)集2每個(gè)被試使用各種方法得到的分類準(zhǔn)確率。本文方法取得了最高的平均分類準(zhǔn)確率,且在被試S2、S3、S4、S8中取得了最高的分類準(zhǔn)確率。與數(shù)據(jù)集2類似,在所有方法中,方法2取得了最低的平均分類準(zhǔn)確率。
表2 分類準(zhǔn)確率(數(shù)據(jù)集2)
圖6給出了數(shù)據(jù)集2所有被試取不同通道數(shù)時(shí)的平均分類準(zhǔn)確率。圖7給出了每個(gè)被試取不同通道數(shù)時(shí)的分類準(zhǔn)確率。分類準(zhǔn)確率隨通道數(shù)變化的情況與數(shù)據(jù)集1類似。
圖6 所有被試不同通道數(shù)的平均分類準(zhǔn)確率(數(shù)據(jù)集2)
圖7 每個(gè)被試不同通道數(shù)的分類準(zhǔn)確率(數(shù)據(jù)集2)
表3和表4分別給出了數(shù)據(jù)集1和數(shù)據(jù)集2每個(gè)被試使用算法選擇的通道號和對應(yīng)的電極名稱。從表3和表4可以看出,每個(gè)被試所選的電極通道幾乎都包含C3、C4或者Cz電極,但是每個(gè)被試選擇的通道都不一樣,即選擇的通道是被試特異的。
表3 算法選擇的通道號及電極名稱(數(shù)據(jù)集1)
表4 算法選擇通道號及名稱(數(shù)據(jù)集2)
為了更好地說明通道選擇方法的生理可解釋性和準(zhǔn)確性,圖8給出了各個(gè)被試所選擇通道在頭皮的分布映射圖。在圖8的第(a)行從左往右依次為:數(shù)據(jù)集1所有電極分布,數(shù)據(jù)集1人工選擇通道的電極分布,數(shù)據(jù)集2所有電極分布,以及數(shù)據(jù)集2人工選擇通道的電極分布。圖8第(b)行為數(shù)據(jù)集1所有被試使用算法選擇的通道在頭皮的分布位置,第(c)行和第(d)行為數(shù)據(jù)集2所有被試使用算法選擇的通道在頭皮的分布位置。
圖8 電極位置
如圖8(b)所示,數(shù)據(jù)集1使用算法選擇的通道比較集中,且都分布在大腦左半部分和右半部分的運(yùn)動皮層區(qū)域。但是不同的被試其被選擇的通道分布存在顯著的差異,比如被試aa選擇的通道主要集中在大腦的左半部分,而被試al在大腦的左半部分和右半部分都選擇了一些電極通道。另外,所有被試選擇的通道都沒有完全集中在C3或者C4電極的正中位置,被試aa和av偏大腦的左下方,被試aw偏大腦的左下方和右上方,被試ay偏右下方。被試al則比較偏中間位置,這就說明了為什么被試al能取得100%準(zhǔn)確率的原因。這些實(shí)驗(yàn)結(jié)果表明,使用算法進(jìn)行自適應(yīng)的通道選擇是必要的。
如圖8的第(c)行和第(d)所示,數(shù)據(jù)集2使用算法選擇的通道比較分散,但都包含運(yùn)動皮層區(qū)域的電極。出現(xiàn)這種情況,可能由以下兩種原因引起。第一,數(shù)據(jù)集2是實(shí)驗(yàn)室自采集數(shù)據(jù),通道數(shù)比較少,空間分辨率比較低,算法需要選擇更廣泛區(qū)域的電極提取足夠的信息。第二,自采集數(shù)據(jù)受實(shí)驗(yàn)室條件的影響,采集的腦電信號受噪聲干擾比較大,影響通道的選擇。
圖9給出了數(shù)據(jù)集1和數(shù)據(jù)集2單試次腦電數(shù)據(jù)分別使用全通道WPD-CSP方法和本文方法進(jìn)行特征提取所消耗的時(shí)間(單位:s)。從圖中可以看到,本文方法大大減少了特征提取的時(shí)間,特別是通道數(shù)較多時(shí),效果更加明顯。
圖9 特征提取時(shí)間
從圖4~圖7的結(jié)果分析中可以看到分類準(zhǔn)確率隨著通道數(shù)由小變大呈先增大后減小的趨勢,說明隨著通道數(shù)的增加,捕獲的腦電信息在增加,但是過多的通道數(shù)反而會引入多余的噪聲和大量的信息冗余,導(dǎo)致分類模型過擬合,進(jìn)而導(dǎo)致分類準(zhǔn)確率下降。因此通道選擇有利于提高分類準(zhǔn)確率以及分類模型的魯棒性。另外,受試者在佩戴電極帽時(shí)位置有一定的偏差,以及大腦皮層結(jié)構(gòu)差異和頭型等因素都會影響最優(yōu)通道的分布,因此使用算法自適應(yīng)地選擇被試特異的最優(yōu)通道非常有必要。
通過圖8的結(jié)果分析發(fā)現(xiàn),通道選擇受空間分辨率的影響比較大。通道數(shù)比較多的時(shí)候,選擇通道比較集中,與神經(jīng)生理背景比較吻合。其主要原因在于:腦電通道數(shù)增多,空間分辨增大,定位大腦內(nèi)部信息源的能力增強(qiáng)。
從表1和表2可以看出,在兩個(gè)數(shù)據(jù)集的分類結(jié)果中,全通道WPD-CSP方法取得了最低的平均分類準(zhǔn)確率。圖9則進(jìn)一步說明了基于通道選擇的WPD-CSP方法的時(shí)間優(yōu)勢。因此,通道選擇不僅可以降低噪聲干擾和去除冗余信息,從而提高分類準(zhǔn)確率;而且大大減少了WPD-CSP方法特征提取時(shí)間,從而促進(jìn)WPD-CSP方法在實(shí)時(shí)BCI系統(tǒng)的應(yīng)用。
針對WPD-CSP方法的耗時(shí)問題和CSP缺乏頻域信息等問題,本文提出了基于通道選擇的WPD-CSP方法。該方法使用FDC進(jìn)行通道選擇,降低了WPD-CSP方法的計(jì)算復(fù)雜度,大大減少了特征提取的時(shí)間;同時(shí)剔除包含噪聲和冗余信息的通道,提高了分類模型的魯棒性和分類準(zhǔn)確率。實(shí)驗(yàn)結(jié)果驗(yàn)證了本文方法的優(yōu)越性。由于FDC是一種包裹式的通道選擇方法,在使用時(shí)還需內(nèi)嵌一個(gè)分類器作為評價(jià)標(biāo)準(zhǔn),并使用交叉驗(yàn)證選擇最優(yōu)通道數(shù),比較耗時(shí)。在未來的工作中,將研究嵌入式通道選擇方法同時(shí)進(jìn)行通道選擇和分類,減少通道選擇的時(shí)間。進(jìn)一步提升WPD-CSP的效率。