基于特征過濾和PCA降維的混合特征選擇方法*

莫云 郭巖 莫禾勝 路仲偉 張紹榮

1 桂林航天工業(yè)學(xué)院 電子信息與自動化學(xué)院，廣西 桂林 541004；2 桂林電子科技大學(xué) 電子工程與自動化學(xué)院，廣西 桂林 541004

運(yùn)動想象腦電屬于自發(fā)腦電，信號維度高、信噪比低、隨機(jī)性強(qiáng)[1]。因此，在腦電特征提取過程中通常包含噪聲和冗余信息。特征選擇可以有效剔除無效信息，選擇更加穩(wěn)定和更具判別性的特征[2]。另外，特征選擇可以有效降低特征維度，簡化分類模型的復(fù)雜度，從而緩解過擬合問題和減少模型訓(xùn)練時間。所以，特征選擇是腦電解碼非常重要的環(huán)節(jié)。

現(xiàn)有的特征選擇方法通常從兩個方面進(jìn)行劃分。第一，從有無監(jiān)督的角度，現(xiàn)有特征選擇方法可以分為有監(jiān)督、無監(jiān)督和半監(jiān)督[3]。有監(jiān)督特征選擇方法一般使用標(biāo)簽信息對特征進(jìn)行選擇，所以其后續(xù)的分類效果比較好。無監(jiān)督特征選擇方法主要通過聚類方法實(shí)現(xiàn)。當(dāng)標(biāo)簽數(shù)據(jù)獲取比較困難時，半監(jiān)督方法是較好的選擇。第二，從選擇策略考慮，特征選擇方法可以分為過濾式、包裹式、嵌入式以及混合特征選擇方法。在前期的研究工作中，我們對這些特征選擇方法做了較為詳細(xì)的論述[4]。過濾式、包裹式和嵌入式在腦電特征選擇的應(yīng)用比較常見，包括基于Fisher判別準(zhǔn)則[5]、互信息[6]等度量標(biāo)準(zhǔn)的過濾式方法，基于人工蜂群[7]、差分進(jìn)化算法[8]等搜索策略的包裹式方法，基于最小絕對值收縮和選擇算子(Least Absolute Shrinkage and Selection Operator, LASSO)、組LASSO和稀疏組LASSO[9]等稀疏約束的嵌入式方法?；旌咸卣鬟x擇方法在腦電特征選擇的應(yīng)用比較少見。應(yīng)用于其他領(lǐng)域的混合特征選擇方法大多基于遺傳算法和粒子群算法等智能優(yōu)化方法[10]，模型參數(shù)調(diào)優(yōu)比較復(fù)雜，模型訓(xùn)練時間長，而且容易得到局部最優(yōu)解。

針對運(yùn)動想象腦電的特征選擇問題，本文提出計算量少、模型簡單且高效的混合特征選擇方法，即基于過濾式特征選擇和主成分分析(Principal Component Analysis, PCA)特征降維的混合特征選擇方法。第一步，特征提取。使用濾波器組(Filter Bank, FB)對原始腦電信號進(jìn)行帶通濾波，之后使用0.5～2.5 s時間窗提取單試次數(shù)據(jù)，最后對每個時-頻分割進(jìn)行共空域模式(Common Spatial Pattern, CSP)特征提取。第二步，空-頻特征選擇。分別使用方差、相關(guān)系數(shù)和Relief算法對特征進(jìn)行排序，之后對選定的特征子集進(jìn)行PCA變換，最后結(jié)合Fisher線性判別分析(Fisher Linear Discriminant Analysis, FLDA)和10折交叉驗(yàn)證選擇最優(yōu)的特征個數(shù)和主成分個數(shù)，并訓(xùn)練最優(yōu)的模型參數(shù)。第三步，特征分類。對于新的測試樣本，先進(jìn)行特征選擇然后進(jìn)行PCA降維，最后使用訓(xùn)練模型進(jìn)行分類預(yù)測。使用第三次腦機(jī)接口(Brain-Computer Interface, BCI)競賽的數(shù)據(jù)集IIIa以及第四次BCI競賽的數(shù)據(jù)IIa驗(yàn)證所提出方法的有效性。

1 方法

1.1 特征提取

FBCSP方法[11]使用濾波器組把原始的多通道腦電信號濾波成多個頻率子帶，然后對每個子帶的腦電數(shù)據(jù)進(jìn)行CSP變換，并提取對數(shù)方差特征。接著把每個子帶的CSP特征級聯(lián)成一個特征向量，再使用特征選擇方法選擇最優(yōu)的頻帶特征，最后使用分類器對選擇得到的特征子集進(jìn)行分類。FBCSP是從多個頻率子帶中找到最具判別性的CSP特征，從而彌補(bǔ)了CSP的頻域信息。FBCSP方法的數(shù)據(jù)處理流程如圖1 所示。

圖1 FBCSP方法的數(shù)據(jù)處理流程圖片來源：修改自文獻(xiàn)[11]。

經(jīng)過長時間的發(fā)展，F(xiàn)BCSP方法已經(jīng)不完全特指文獻(xiàn)[11]中的方法，而是泛指基于濾波器組的一類CSP方法[12]。本文對FBCSP方法中的特征選擇進(jìn)行了改進(jìn)和優(yōu)化。

1.2 過濾式特征選擇方法

過濾式特征選擇方法的數(shù)據(jù)處理過程如圖2所示。先通過相關(guān)的度量準(zhǔn)則對特征的重要性進(jìn)行降序排序，然后選擇前K個特征進(jìn)行分類。K的取值從1到P，其中P為特征維數(shù)。使用訓(xùn)練集，針對不同的K值，結(jié)合FLDA分類器和10折交叉驗(yàn)證計算其交叉驗(yàn)證準(zhǔn)確率。將最高交叉驗(yàn)證平均準(zhǔn)確率對應(yīng)的前K個特征作為最優(yōu)特征子集，并使用該特征子集訓(xùn)練FLDA模型參數(shù)。本文分別使用方差、相關(guān)系數(shù)和Relief算法對特征進(jìn)行排序，下面將詳細(xì)介紹這三種方法進(jìn)行特征排序的過程。

圖2 過濾式特征選擇方法的數(shù)據(jù)處理過程

1.2.1 方差特征排序

方差的大小反映了特征變化的情況，方差比較大說明特征的取值變化較大，其包含的信息較多。我們認(rèn)為變化的特征對分類預(yù)測有用，變化很小甚至不變的特征對分類預(yù)測沒有影響。因此，方差越大，特征越重要。假設(shè)X∈N×P為樣本矩陣，其行代表一個樣本，其列代表一維特征，N表示樣本個數(shù)，P表示特征維數(shù)。xi∈P表示第i個樣本，i=1,2,…,N。方差的計算公式如下：

(1)

1.2.2 相關(guān)系數(shù)特征排序

皮爾遜相關(guān)系數(shù)(Pearson Correlation Coefficient, PCC)衡量特征與樣本標(biāo)簽的相關(guān)性，其取值范圍為-1～1。相關(guān)系數(shù)的絕對值越大，特征與標(biāo)簽的相關(guān)性越大，特征對分類預(yù)測的作用也越大。在特征排序時，先計算特征的相關(guān)系數(shù)，然后取其絕對值，按絕對值的大小進(jìn)行降序排序。假設(shè)y∈N表示標(biāo)簽向量；yi∈{-1,1},表示標(biāo)簽向量的第i個取值，(i=1,2,…,N)。則特征與標(biāo)簽的相關(guān)系數(shù)計算如式(2)：

(2)

其中：x(:,j)表示所有特征樣本的第j列特征，cov(·)表示協(xié)方差運(yùn)算，σ表示標(biāo)準(zhǔn)差。

1.2.3 Relief特征排序

Relief根據(jù)特征與樣本標(biāo)簽的相關(guān)性來權(quán)衡特征的重要性，但是其特征權(quán)重的計算過程與PCC不同。使用Relief算法計算特征權(quán)重的原理如下：首先從訓(xùn)練集中隨機(jī)選取一個樣本x；然后選取與x同一類別的k最近鄰樣本并計算樣本x與它們之間的距離，記為d1；接著選取與x不同類別的k最近鄰樣本并計算樣本x與它們之間的距離，記為d2。如果d1

1.3 基于特征過濾和PCA降維的混合特征選擇方法

基于特征過濾和PCA降維的混合特征選擇方法的數(shù)據(jù)處理過程如圖3所示。該混合特征選擇方法是在過濾式特征選擇方法的基礎(chǔ)上加入特征降維。具體就是在方差、相關(guān)系數(shù)和Relief進(jìn)行特征排序之后，選擇前K個特征進(jìn)行PCA變換。結(jié)合FLDA分類器和10折交叉驗(yàn)證選擇最優(yōu)的特征個數(shù)和主成分個數(shù)，也即尋找特征選擇和特征降維的最優(yōu)組合。在圖3中，q表示選擇前q個主成分，M表示主成分個數(shù)。

圖3 混合特征選擇方法的數(shù)據(jù)處理過程

1.4 分類預(yù)測

在FLDA模型訓(xùn)練的求解過程中，如果訓(xùn)練樣本的數(shù)量小于特征樣本的維度，類內(nèi)散度矩陣會變得奇異而不能求逆，影響模型求解的穩(wěn)定性。為了避免類內(nèi)散度矩陣奇異，在本文中我們在傳統(tǒng)的FLDA模型中加入了l2范數(shù)約束，具體如式(3)：

(3)

其中：w為投影向量，SB表示類間散度矩陣，SW表示類內(nèi)散度矩陣，更多詳細(xì)信息請參考文獻(xiàn)[14]。在本文中，λ=10-4。

2 實(shí)驗(yàn)結(jié)果與分析

2.1 實(shí)驗(yàn)數(shù)據(jù)說明和比較方法

數(shù)據(jù)集1：第三次BCI競賽的數(shù)據(jù)集IIIa。該數(shù)據(jù)集包含60個電極通道，采樣率為250 Hz。該數(shù)據(jù)集提供了3個健康被試的數(shù)據(jù)，被試運(yùn)動想象任務(wù)包括左手、右手、腳和舌頭。由于本文只處理二分類數(shù)據(jù)，因此對4種任務(wù)進(jìn)行排列組合得到6個二分類數(shù)據(jù)子集。其他詳細(xì)信息可以參考文獻(xiàn)[15]或者BCI競賽官方網(wǎng)站：http://www.bbci.de/competition/iii/。

數(shù)據(jù)集2：第四次BCI競賽數(shù)據(jù)IIa。該數(shù)據(jù)集包含22個電極通道，采樣率為250 Hz。該數(shù)據(jù)集提供了9個健康被試的數(shù)據(jù)，與數(shù)據(jù)集1類似，每個被試都執(zhí)行左手、右手、腳和舌頭四類運(yùn)動想象任務(wù)。二分類數(shù)據(jù)子集處理與數(shù)據(jù)集1一樣。其他詳細(xì)信息可以參考文獻(xiàn)[4]或者BCI競賽官方網(wǎng)站：http://www.bbci.de/competition/iv/。

在本文中，使用FBCSP方法[11]進(jìn)行特征提取，帶通濾波器選擇6階的巴特沃斯(Butterworth)濾波器，CSP空間濾波器對數(shù)選擇m=3。在訓(xùn)練和測試階段，分類器都為FLDA。參與比較的過濾式特征選擇方法包括VAR(方差)、PCC(皮爾遜相關(guān)系數(shù))和Relief，參與比較的混合特征選擇方法包括VAR-PCA、PCC-PCA和Relief-PCA。

2.2 實(shí)驗(yàn)結(jié)果

表1給出了數(shù)據(jù)集1的分類結(jié)果。數(shù)據(jù)集1經(jīng)過排列組合后一共得到6種二分類任務(wù)，每種二分類任務(wù)有3個被試，由于空間有限，只把每種二分類的平均分類準(zhǔn)確率給出。在表1中，L、R、F、T分別表示左手、右手、腳、舌頭運(yùn)動想象任務(wù)，L vs R表示左手和右手的二分類任務(wù)。每種二分類任務(wù)的最高平均分類準(zhǔn)確率加粗顯示。從表1可以看出，在過濾式特征選擇方法中，PCC方法的分類效果較好，有3種二分類任務(wù)取得最高平均分類準(zhǔn)確率；在混合特征選擇方法中，Relief-PCA方法的分類效果較好，同樣有3種二分類任務(wù)取得最高平均分類準(zhǔn)確率。

表1 各種二分類任務(wù)的分類準(zhǔn)確率(數(shù)據(jù)集1)

表2給出了數(shù)據(jù)集2的分類結(jié)果。與數(shù)據(jù)集1類似，數(shù)據(jù)集2也有6種二分類任務(wù)，但是每種二分類有9個被試。在表2中，Relief-PCA方法的分類效果顯著優(yōu)于其他方法，有5種二分類取得最高的平均分類準(zhǔn)確率。在過濾式特征選擇方法中，PCC方法的分類效果仍然較好。

表2 各種二分類任務(wù)的分類準(zhǔn)確率(數(shù)據(jù)集2)

為了更好地體現(xiàn)兩個數(shù)據(jù)集的整體分類效果，表3給出了所有數(shù)據(jù)的平均分類準(zhǔn)確率。從表3可以看出，Relief-PCA方法的分類效果顯著優(yōu)于其他方法。另外，Relief-PCA方法的標(biāo)準(zhǔn)差也比較小，說明該方法的穩(wěn)定性和魯棒性較好。Relief方法的分類效果不佳，但是與PCA結(jié)合之后分類效果顯著提高。PCA對VAR方法的分類效果具有一定提升，但是PCC與PCA結(jié)合后分類效果有所下降。

表3 平均分類準(zhǔn)確率(所有數(shù)據(jù))

為了更直觀地比較各種特征選擇方法的分類效果，圖4給出了不同數(shù)據(jù)集使用各種特征選擇方法取得的平均分類準(zhǔn)確率。從圖4可以明顯看出，Relief-PCA方法的分類效果最佳，其次是PCC方法。

圖4 平均分類準(zhǔn)確率(所有數(shù)據(jù))

圖5給出了所有被試分類準(zhǔn)確率的整體分布。從圖5可以看到，PCC和Relief-PCA方法的分類準(zhǔn)確率中值(圖5中長方形里面的“—”符號)比較靠上，但PCC方法在數(shù)據(jù)集1的分類結(jié)果中存在幾個異常值(圖5中“+”符號)。Relief-PCA方法的最大值(圖5中上邊虛線的最高點(diǎn))最優(yōu)，最小值(圖5中下邊虛線的最低點(diǎn))也優(yōu)于其他方法。這些結(jié)果再次證明了Relief-PCA方法的有效性。

圖5 分類準(zhǔn)確率整體分布

3 討論

通過以上的結(jié)果分析和比較，我們發(fā)現(xiàn)PCA對不同過濾式方法的改進(jìn)效果不一致。PCA對VAR方法的改進(jìn)效果較小，對PCC方法的改進(jìn)效果變差，對Relief的改進(jìn)效果比較顯著。PCC-PCA方法效果不佳，可能是因?yàn)镻CC方法已經(jīng)考慮了特征與樣本標(biāo)簽的相關(guān)性，而PCA的引入可能破壞了原有的相關(guān)性。

本文的初步研究結(jié)果為我們后面的研究工作指明了方向，我們將研究更多的過濾式方法與PCA結(jié)合的效果，以及過濾式方法與其他PCA版本(比如核PCA和概率PCA等)結(jié)合的效果。

4 總結(jié)

本文提出了基于特征過濾和PCA降維的腦電特征選擇方法。通過過濾式特征選擇方法與PCA降維的結(jié)合，探索有效的混合特征選擇方法，提高運(yùn)動想象腦電解碼的性能。本文最核心的思想是同時考慮特征的重要性以及它們之間的相關(guān)性。在實(shí)驗(yàn)過程中，我們比較了過濾式方法與本文所提出方法的分類結(jié)果，包括VAR、PCC、Relief三種方法及其與PCA結(jié)合的改進(jìn)方法。實(shí)驗(yàn)結(jié)果表明，PCA對不同過濾式方法的改進(jìn)效果不一致，但PCA對Relief的改進(jìn)效果顯著。在未來的工作中，我們將進(jìn)一步研究其他方法與PCA及其改進(jìn)版本的有效結(jié)合，提出更有效的特征選擇方法。