高諾,高志棟,張慧,陳鵬程
(山東建筑大學(xué)信息與電氣工程學(xué)院,濟(jì)南 250101)
腦機(jī)接口(brain-computer interface, BCI)技術(shù)是在人的大腦與計算機(jī)或其它外部設(shè)備之間建立的直接交流和控制通道,借助該通道人不需要語言和動作就能讓大腦表達(dá)想法、操作設(shè)備。對患有嚴(yán)重身體障礙的患者,利用BCI技術(shù)能夠讓他們與外界進(jìn)行無障礙交流,從而改善生活質(zhì)量、減輕家庭負(fù)擔(dān)[1]。在腦機(jī)接口技術(shù)中,較為常用的采集大腦信號的方式是頭皮腦電圖(electroencephalogram, EEG),EEG信號主要采集自頭皮,是非侵入式的,且完全無創(chuàng),是在所有大腦電信號采集方式中最為簡單和安全的[2],因此,其被廣泛應(yīng)用于腦機(jī)接口技術(shù)中。
在腦電信號采集過程中,信號經(jīng)過人腦組織的層層傳輸使得其強(qiáng)度逐漸減弱、空間分辨率和頻率范圍也受限,同時受外部環(huán)境的多重影響,導(dǎo)致采集到的EEG信號噪聲較大,信噪比較低[3-4]。目前EEG信號處理算法的精度與準(zhǔn)確率等均無法滿足BCI技術(shù)的應(yīng)用要求,因此EEG信號有效的分析與處理算法的研究一直是BCI技術(shù)的研究難點與熱點。
傳統(tǒng)的EEG信號分析與處理算法大多存在于歐式空間,一般包含特征提取與分類器分類兩個部分。在特征提取部分,共空間模式(common spatial pattern, CSP)方法使用最為廣泛[5]。其通過設(shè)置空域濾波器對腦電信號空間分布進(jìn)行處理,提取可分類的特征,旨在得到一個最大化兩類分類任務(wù)信號方差的最優(yōu)空域濾波器,進(jìn)而從腦電信號中提取最為可分的特征[6-8]。在分類器方面,許多機(jī)器學(xué)習(xí)領(lǐng)域中高效的分類器都可以直接應(yīng)用到腦機(jī)接口中,比如支持向量機(jī)(support vector machine, SVM)[9]、線性判別準(zhǔn)則(linear discriminant analysis, LDA)[10-11]等。
然而僅體現(xiàn)各個通道信號的時、頻信息的傳統(tǒng)歐式空間的特征提取和分類方法已無法滿足精確刻畫大腦活動的要求。近幾年出現(xiàn)的基于黎曼空間的信號分析方法在睡眠腦電、癲癇腦電特征提取與分類方面取得了較為顯著的效果[12]。隨后逐漸有學(xué)者開始進(jìn)行腦機(jī)接口技術(shù)中EEG信號的黎曼空間方法研究。2012年,Barachant等[13]提出了最小黎曼均值法(minimum distance to Riemannian mean, MDRM)和切線空間的線性判別準(zhǔn)則法(tangent space LDA),均取得了不錯的分類效果。2018年,Zanini 等[14]提出了基于黎曼幾何空間框架的遷移學(xué)習(xí)方法,其驗證算法就是MDRM算法。
盡管基于黎曼空間的EEG信號分析與處理方法效果顯著,但由于該方法的研究起步晚,還有很多問題亟待解決,例如,MDRM方法中需要進(jìn)行黎曼均值的計算,目前針對黎曼均值的計算均需迭代計算,尚無解析計算方法[13]。該計算方法不僅計算精度無法保障,同時由于耗時較大,影響了其在在線BCI技術(shù)中的應(yīng)用。另外,目前將EEG信號從歐式空間轉(zhuǎn)移到黎曼空間均是采用了信號的協(xié)方差矩陣,該轉(zhuǎn)換方法無法體現(xiàn)EEG信號中的頻率變化,影響了信號分析的性能。
針對上述問題,本研究提出了基于功率譜密度矩陣(power spectral density , PSD)的EEG信號特征提取與分類的黎曼空間方法,并且采用BCI競賽數(shù)據(jù)進(jìn)行了驗證,結(jié)果表明,本研究基于功率譜密度矩陣的黎曼空間分析方法可以有效進(jìn)行運動想象腦電信號的分類,分類精確度較高,耗時較少。
本研究提出的基于PSD矩陣的EEG信號特征提取與分類的黎曼幾何方法的整體結(jié)構(gòu),見圖1。該算法的大體流程為:對大量已知類別的EEG信號分別計算其相應(yīng)的PSD矩陣,并按照類別構(gòu)建相應(yīng)的PSD矩陣集。PSD矩陣的建立完成了EEG信號從歐式空間到黎曼空間的轉(zhuǎn)換。針對一個未知類別的EEG信號,計算其PSD矩陣并計算該PSD矩陣與不同類別PSD矩陣集中所有PSD矩陣之間的黎曼距離。最后利用KNN算法計算未知類別EEG信號的類別歸屬。
圖1 基于PSD矩陣的EEG信號黎曼幾何方法結(jié)構(gòu)框圖
通常情況下,收集的腦電數(shù)據(jù)一般是M個通道的信號,時間可能長達(dá)數(shù)小時。EEG信號是非平穩(wěn)的,但是為了更好地把每一類運動想象信號分辨出來,需要將數(shù)據(jù)按T秒分離開,即每一次運動想象都是以T為時間單位的M個通道的數(shù)據(jù)。有理論研究證明,如果T≤30 s,那么每一次EEG信號周期都可以看作是廣義平穩(wěn)信號[15]。由于本研究所用的EEG信號周期T均小于30 s,因此,本研究中可以將其看作廣義平穩(wěn)信號。
2.1.1EEG信號 根據(jù)前面的闡述,對于某位受試者,收集所有M個通道的信號數(shù)據(jù)并將這些多通道數(shù)據(jù)的第n個周期表示為矢量:
sn(t)=[sn1(t),…,snM(t)]T,t=0,…,T-1
(1)
因此,該受試者的第n個周期數(shù)據(jù)矩陣由下式給出:
(2)
然后,用其Frobenius范數(shù)對每個周期的EEG數(shù)據(jù)進(jìn)行歸一化[27],歸一化后的數(shù)據(jù)矩陣為:
(3)
(4)
其中,ιn∈{1,2,…,L},它表示屬于L個運動想象EEG信號的第n個周期的類標(biāo)簽。
2.1.2PSD矩陣估計 由前文可知,EEG信號可以看作廣義平穩(wěn)過程,由數(shù)學(xué)理論獲得,廣義平穩(wěn)過程的功率譜密度函數(shù)和自相關(guān)形成傅立葉變換對[16]。對于第n個周期的多通道腦電信號矩陣,其列向量為M個通道的腦電信號見式(1),且可以看成是廣義平穩(wěn)向量。因此,其集合平均值與協(xié)方差可以通過對時間進(jìn)行平均而得到:
(5)
Rn(τ)=E[{sn(t+τ)-μn}{sn(t)-μn}T]
(6)
其中,協(xié)方差矩陣Rn(τ)是半正定的矩陣。若Rn(τ)的l1范數(shù)和為有限值,則對Rn(τ)進(jìn)行離散傅里葉變換,就可以得到信號在頻率ω處的Hermitian正定PSD矩陣:
(7)
理論上講,式(7)中時間τ的大小應(yīng)該在(-∞,+∞)。而在實際信號處理過程中,由于樣本數(shù)量有限,一般限定τ∈[-(T-1),T-1]。同時可以在頻率范圍[ωmin,ωmax]內(nèi)選擇任意頻率ω=ωi計算相應(yīng)的PSD矩陣Pn(ωi)。
為了從有限的腦電數(shù)據(jù)中獲得功率譜密度矩陣,需要對協(xié)方差矩陣進(jìn)行估計,而協(xié)方差矩陣的無偏估計可能無法正定。若使用有偏估計可以保證正定性,但如果數(shù)據(jù)記錄較短,則可能會降低頻譜分辨率,并且偏差可能會變得過大。本研究采用Nuttall-Strand算法進(jìn)行功率譜密度矩陣的估計。該算法使用前向-后向線性預(yù)測來迭代估計殘差協(xié)方差矩陣,從而獲得具有高分辨率的功率譜密度矩陣的精確正半定值[17],該估計值可作為腦電信號的功率譜密度特征。
在頻率范圍[ωmin,ωmax]內(nèi),一段腦電信號的正定PSD矩陣可以表示為流形內(nèi)參數(shù)為頻率變量ω的一段曲線。對于同樣的頻率范圍[ωmin,ωmax],第n與第m個信號周期的兩個特征PSD矩陣可以分別表示為Pn(ω)和Pm(ω),見圖2。在相同頻率時,兩條曲線上的兩個點Pn(ωi)和Pm(ωi)之間的距離定義為黎曼空間中自由點之間的距離。
圖2 PSD矩陣的空間分布及距離
連接兩個點Pn(ωi)和Pm(ωi)的路徑會隨參數(shù)θ的變化而變化,因為該路徑變化的上限是m,下限是n,因此,可以定義θ∈[θm,θn]。則在頻率ω=ωi時,路徑變化上限是Pm(θm,ωi),下限是Pn(θn,ωi),因此,兩點之間的路徑可以定義為:
(8)
(9)
式(9)為在黎曼空間中兩點之間的測地線的距離計算公式,然而其很難得到一個閉合的解,因此,使用式(9)直接計算黎曼距離很困難。
(10)
基于纖維束理論的黎曼距離的計算方法能夠?qū)杪嚯x進(jìn)行直接求解,避免了迭代求解方法中存在的收斂速度慢、計算時間長等問題,為基于黎曼空間的腦電信號分析與處理算法在腦機(jī)接口技術(shù)中的應(yīng)用提供了理論基礎(chǔ)。
推導(dǎo)出黎曼空間中兩條曲線上自由點之間的距離后,本研究采用信號頻率范圍內(nèi)黎曼距點累加和作為兩個PSD矩陣間的相似性/非相似性度量,并將此度量用于后續(xù)分類算法。
KNN算法是數(shù)據(jù)挖掘技術(shù)中的經(jīng)典分類方法,其工作原理是計算被分類對象與訓(xùn)練數(shù)據(jù)集的距離,然后對距離進(jìn)行升序排序,選出其中k個最近的鄰居(即距離最小的k個),最后根據(jù)這些鄰居的分類標(biāo)簽進(jìn)行判斷,將得出的標(biāo)簽分配給被分類對象的分類屬性[19]。
理論上講,k的選擇并沒有一定的選擇原則,如果樣本數(shù)量是無限的,那么k的選擇越大則分類效果越好[20]。但由于在實際實驗中,樣本數(shù)量是有限的,因此k的選擇不可能達(dá)到無窮大。在有限樣本的情況下,應(yīng)實現(xiàn)較小的k也能達(dá)到較為滿意的分類效果。
本研究分析的數(shù)據(jù)來自于2008年BCI競賽數(shù)據(jù)集1。該數(shù)據(jù)集包含7位受試者(s1-s7)的兩種不同種類的運動想象腦電數(shù)據(jù)。每位受試者分別進(jìn)行想象左手運動100次和想象右手運動100次,運動想象時序圖,見圖3。為了驗證基于黎曼空間方法的有效性,選取受試者數(shù)據(jù)中的160次(包含80次想象左手運動和80次想象右手運動)作為訓(xùn)練數(shù)據(jù)集,剩余40次運動想象數(shù)據(jù)作為測試數(shù)據(jù)集,從三個方面闡述本研究算法的有效性。
圖3 競賽數(shù)據(jù)運動想象時序圖
KNN算法中,k的選擇會直接影響分類準(zhǔn)確率,同時受樣本數(shù)量的影響。針對此問題,我們研究了在小樣本數(shù)量(160個運動想象數(shù)據(jù)的訓(xùn)練集)下,k的變化對分類準(zhǔn)確率的影響。在驗證過程中,選擇了兩種距離度量方式,一種是黎曼距離,另一種是歐式距離。圖4是在兩種距離度量下,受試者3(s3)在不同k的選擇下的分類準(zhǔn)確率的變化曲線。
圖4 歐式與黎曼距離分類準(zhǔn)確率對比
由圖4可知,無論k如何變化,歐式距離下的分類準(zhǔn)確率總是低于黎曼距離下的分類準(zhǔn)確率。說明以PSD矩陣作為腦電信號特征的黎曼空間算法,黎曼距離是更加合適的相似性/非相似性度量。
圖4中,k的最小值為3,最大值為31,可以看出,隨著k的增大,無論是歐式距離下的分類準(zhǔn)確率還是黎曼距離下的分類準(zhǔn)確率都呈現(xiàn)逐漸上升的狀態(tài),當(dāng)k大于20后,上升的趨勢逐漸趨緩,黎曼距離下的分類準(zhǔn)確率穩(wěn)定在80%以上,歐式距離下的分類準(zhǔn)確率穩(wěn)定在60%以上。由此說明,雖然理論上在樣本集數(shù)量固定的情況下,k的選擇是越大越好,但是在樣本有限的情況下,較小的k也能達(dá)到較為滿意的效果,這也是KNN算法的優(yōu)勢之一。
如前文所述,MDRM方法是目前應(yīng)用較為廣泛的黎曼空間腦電信號分析算法。該算法在訓(xùn)練階段需要對所有已知分類的腦電信號進(jìn)行黎曼均值的計 算,由于目前尚無黎曼均值的解析求解方法,需要使用梯度下降算法進(jìn)行迭代實現(xiàn),因此,該算法在訓(xùn)練階段較為耗時,同時無法保證迭代的收斂性與計算精度。本研究將所提算法與MDRM算法在訓(xùn)練階段所需時間進(jìn)行了對比分析,分析結(jié)果見圖5。
由圖5的對比結(jié)果可知,針對7位受試者,本研究方法在訓(xùn)練階段所需時間均低于MDRM算法,且所需時間比較穩(wěn)定,均保持在1.5 s左右。而MDRM算法對不同受試者的訓(xùn)練時間差異性較大,從2.89 s(s1)到16.47 s(s6)不等,該差異性顯示了黎曼均值算法的不穩(wěn)定性,直接影響MDRM算法的分類精度與應(yīng)用性。
圖5 MDRM與本研究算法所用運行時間對比
圖6是兩種方法針對7名受試者的運動想象數(shù)據(jù)的分類準(zhǔn)確率對比圖。由圖6可知,受試者s6使用MDRM算法的準(zhǔn)確率優(yōu)于本研究算法,而其余6名受試者,本研究算法的準(zhǔn)確率優(yōu)于MDRM算法,其中在s2、s4、s5與s7中,本研究算法優(yōu)勢較為明顯。
圖6 MDRM與本研究算法的分類準(zhǔn)確率對比
本研究將所提算法與傳統(tǒng)經(jīng)典腦電信號特征提取與分類算法(CSP+SVM,小波+SVM)的分類結(jié)果進(jìn)行了對比分析,不同方法的分析準(zhǔn)確率見表1。
由表1中的數(shù)據(jù)可知,針對7位受試者,本研究方法的平均準(zhǔn)確率較另兩種方法分別高出24.17%和12.14%。較高的分類準(zhǔn)確率顯示了本研究方法在運動想象腦電信號分類中的優(yōu)勢,也說明基于黎曼空間的腦電信號分析方法更能夠體現(xiàn)不同大腦活動腦電信號之間的差異。同時,針對不同的受試者,相同的分類方法其分析準(zhǔn)確率差異性較大,體現(xiàn)在分類準(zhǔn)確率的標(biāo)準(zhǔn)方差均在5%以上。這種差異性來自于不同受試者的個體差異、實驗過程中的環(huán)境噪聲與心理狀態(tài)的變化。
表1 本研究方法與經(jīng)典方法準(zhǔn)確率對比
針對目前腦電信號分析與處理算法無法滿足腦機(jī)接口技術(shù)的應(yīng)用要求的問題,本研究提出了一種基于黎曼空間的運動想象腦電信號特征提取與分類方法。該方法以腦電信號的PSD矩陣作為特征,以黎曼距離度量腦電信號之間的相似性/非相似性,以KNN算法作為最終的分類方法對不同運動想象腦電信號進(jìn)行黎曼空間的分析與處理。為了驗證該方法的可行性與有效性,本研究進(jìn)行了一系列的相關(guān)實驗,實驗結(jié)果說明,本研究方法可以在樣本集數(shù)量較小的情況下對運動想象腦電信號進(jìn)行分類,分類方法具有較高的分類準(zhǔn)確率、較小的計算量和較快的計算速度。