基于視覺和操作類腦電信號的腦力負(fù)荷分類*

曲洪權(quán)，劉欲哲，龐麗萍，單一平

(1.北方工業(yè)大學(xué)信息學(xué)院，北京 100144；2.北京航空航天大學(xué)航空科學(xué)與工程學(xué)院，北京 100191)

腦力負(fù)荷也稱為心理負(fù)荷，它可以反映單位時(shí)間內(nèi)操作人員的大腦活動量、心理壓力或信息處理能力[1].腦力負(fù)荷通常與操作員的知識、個(gè)性、任務(wù)類型和生理變化密切相關(guān)[2].研究表明，在較高的腦力負(fù)荷下，操作員極易疲勞，靈活性降低，從而導(dǎo)致信息獲取效率降低和決策失誤[3].而低負(fù)荷則會造成人力和其他資源浪費(fèi).為了確保操作人員的安全和工作任務(wù)的有效性，準(zhǔn)確評估操作人員的腦力負(fù)荷狀態(tài)尤為重要.

隨著機(jī)器學(xué)習(xí)的飛速發(fā)展，越來越多的學(xué)者選擇機(jī)器學(xué)習(xí)算法[4]來研究腦電信號與腦力負(fù)荷狀態(tài)之間的關(guān)系，從而構(gòu)建能夠區(qū)分腦力負(fù)荷狀態(tài)的模型[5-6].目前，常見的腦力負(fù)荷分類方法是基于腦電信號特征的方法.這種方法在一定程度上可以有效地評估腦力負(fù)荷狀態(tài)，但由于收集到的腦電信號是各種神經(jīng)元發(fā)出的混合信號，直接分析混合腦電信號不利于研究腦電信號特征，因此，針對視覺和操作類任務(wù)，筆者擬提出一種基于腦電獨(dú)立分量特征的腦力負(fù)荷分類方法.該方法通過以下4個(gè)步驟實(shí)現(xiàn)：(1)對收集的腦電信號進(jìn)行轉(zhuǎn)參考和濾波；(2)使用獨(dú)立分量分析(Independent Component Analysis,ICA)[7]法獲取腦電信號的獨(dú)立分量；(3)提取獨(dú)立分量的能量特征；(4)根據(jù)能量特征對腦力負(fù)荷狀態(tài)進(jìn)行分類.

1 腦電信號采集實(shí)驗(yàn)

1.1 實(shí)驗(yàn)人員

為了降低被試的個(gè)體差異，選擇7名身體狀況良好且同一專業(yè)的研究生作為被試.在實(shí)驗(yàn)之前，對7名被試進(jìn)行實(shí)驗(yàn)操作培訓(xùn)，以確保每個(gè)被試都熟悉實(shí)驗(yàn)任務(wù).

1.2 實(shí)驗(yàn)任務(wù)與評估

本實(shí)驗(yàn)有3個(gè)工作負(fù)荷級別(低負(fù)荷、中負(fù)荷和高負(fù)荷)，它們都在MATB II平臺上完成.MATB II的任務(wù)界面如圖1所示.

圖1 MATB II任務(wù)界面Fig. 1 Task Interface of MATB II

本實(shí)驗(yàn)包含如下4個(gè)子任務(wù)：

(1)系統(tǒng)監(jiān)控.在圖1區(qū)域①中，F(xiàn)1～F4所對應(yīng)的4個(gè)深色滑塊出現(xiàn)偏離時(shí)，單擊鼠標(biāo)進(jìn)行校正.

(2)跟蹤監(jiān)控.目標(biāo)應(yīng)保持在圖1區(qū)域②中矩形的中心，當(dāng)目標(biāo)偏離時(shí)，需要通過控制操縱桿移動目標(biāo)返回至矩形框內(nèi).

(3)通信監(jiān)控.在圖1區(qū)域③中，應(yīng)監(jiān)視所有矩形通信塊，通信塊到達(dá)后立即通過鍵盤作出響應(yīng).

(4)資源監(jiān)控.在圖1區(qū)域④中，6個(gè)油箱中的燃油量應(yīng)在合理范圍內(nèi).若油量太低，則立即用鼠標(biāo)單擊相應(yīng)的油箱.

通過改變4個(gè)子任務(wù)的出現(xiàn)頻率來控制每個(gè)任務(wù)的難度，每個(gè)被試需要完成不同難度的視覺和操作類模擬任務(wù).在每種工作負(fù)荷下采集32通道腦電信號，時(shí)長15 min.另外，通過調(diào)整子任務(wù)出現(xiàn)的頻率來定義不同的腦力負(fù)荷級別，腦力負(fù)荷級別隨著子任務(wù)出現(xiàn)頻率的增加而增加[8].不同腦力負(fù)荷下對應(yīng)的子任務(wù)出現(xiàn)頻率見表1.

表1 不同腦力負(fù)荷下子任務(wù)出現(xiàn)頻率Table 1 Frequency of Subtasks Under Different Workloads 次

每輪任務(wù)完成后，被試按要求填寫NASA-TLX主觀評價(jià)量表.在實(shí)驗(yàn)設(shè)計(jì)中，NASA-TLX分?jǐn)?shù)隨著腦力負(fù)荷的增加而逐漸增加.SPSS重復(fù)測量方差分析結(jié)果表明，NASA-TLX評分負(fù)荷因子對大腦的主要作用顯著(P< 0.001,η2P=0.701)，這說明本實(shí)驗(yàn)條件設(shè)置良好.

2 腦力負(fù)荷分類原理

2.1 ICA算法

ICA法是一種盲源分離方法[9]，可用于分離混合信號.ICA法最初應(yīng)用于解決雞尾酒會問題，即n個(gè)人同時(shí)講話，通過n個(gè)麥克風(fēng)收集得到n個(gè)人的混合語音信號，利用ICA法從n個(gè)混合信號中恢復(fù)n個(gè)人的原始獨(dú)立語音.腦電信號和語音信號具有一定的相似性.當(dāng)一個(gè)人在思考時(shí)，許多神經(jīng)元被同時(shí)激活，采集設(shè)備可以檢測神經(jīng)元產(chǎn)生的大腦活動信號.受采集設(shè)備的限制，采集的腦電信號實(shí)際為多個(gè)神經(jīng)元信號混合后的腦電信號.為了更清晰地分析腦電信號的特征，筆者借鑒混合語音分離方法，將混合的腦電信號分離為獨(dú)立的腦電信號，即腦電信號的獨(dú)立分量，并將腦電信號的獨(dú)立分量用于后續(xù)分析.

ICA法是一種基于線性變換的方法.利用矩陣分解法將未知的混合信號X(t)分解為獨(dú)立的估計(jì)信號S(t)，計(jì)算公式為

X(t)=AS(t).

其中：X(t)=(x1(t),x2(t),…,xm(t))T，是采集的m維混合腦電信號；S(t)=(s1(t),s2(t),…,sn(t))T，是n維統(tǒng)計(jì)獨(dú)立的估計(jì)信號；A為m×n維混合矩陣，反映獨(dú)立腦電信號的混合情況.A和S(t)均是未知的.ICA法利用采集的X(t)來估計(jì)S(t)，其中S(t) =WX(t)，W是解混矩陣.本研究選擇FastICA算法[10]，該方法是基于負(fù)熵H(y)進(jìn)行計(jì)算的，

其中py(η)表示概率.

當(dāng)方差相同時(shí)，高斯變量在所有隨機(jī)變量中具有最大的熵，

J(y)=H(ygauss)-H(y)，

(1)

其中H(ygauss)是高斯隨機(jī)變量的熵.(1)式可以近似為

J(y)=(E(G(y))-E(G(v)))2.

對輸入x進(jìn)行白化處理，s=wTx，w是輸入向量的權(quán)重.在E{G(wTx)}的最優(yōu)解下獲得J(y)的最大值.根據(jù)Kuhn-Tucker條件，E((wTx)2)= ‖w‖2=1滿足最佳解

E(xg(wTx))-βw=0，

(2)

其中β為常數(shù)，g是G的導(dǎo)數(shù).

利用牛頓迭代方法求解(2)式并建立目標(biāo)函數(shù)

F(w)=E(xg(wTx))-βw，

梯度為

(3)

其中I表示單位矩陣.通過(3)式可得FastICA的迭代公式為

經(jīng)過多次迭代計(jì)算，可得解混矩陣W，最終得到腦電獨(dú)立分量S(t).

2.2 特征提取方法

常用的腦電信號特征提取方法是提取腦電信號頻域能量特征，即計(jì)算每個(gè)頻率的功率譜密度(Power Spectral Density,PSD).腦電信號的PSD計(jì)算公式為

研究表明，腦電信號的頻段可以反映人類的腦力負(fù)荷狀態(tài)[11-13].根據(jù)頻段分布，4個(gè)頻帶為(1≤δ<4 Hz)，(4≤θ<8 Hz)，(8≤α<14 Hz)和(14≤β<30 Hz).計(jì)算腦電獨(dú)立分量每個(gè)頻段的能量特征，

其中pf為某個(gè)頻率的PSD.

2.3 支持向量機(jī)分類

筆者選擇在小樣本數(shù)據(jù)上具有良好分類效果的支持向量機(jī)(Support Vector Machine,SVM)[14-15]作為分類器.在實(shí)驗(yàn)中，為了實(shí)現(xiàn)更好的分類效果，選擇高斯核函數(shù)作為SVM的核函數(shù)，這樣就需要篩選2個(gè)參數(shù)，即懲罰系數(shù)C和γ.不同被試會對應(yīng)不同的懲罰系數(shù)C和γ，系統(tǒng)使用網(wǎng)格搜索法選擇適合被試數(shù)據(jù)的最佳參數(shù)，以提高分類精度.

3 腦力負(fù)荷分類結(jié)果

3.1 方法流程

排除被試腦電數(shù)據(jù)偽跡干擾，選擇5個(gè)被試(被試1～5)的腦電數(shù)據(jù).先對32個(gè)通道的腦電信號進(jìn)行轉(zhuǎn)參考，選擇30通道腦電信號(2個(gè)參考通道僅用于轉(zhuǎn)參考)作后續(xù)分析.為了確保數(shù)據(jù)的穩(wěn)定性，分析每種負(fù)荷3～13 min的數(shù)據(jù).具體步驟如下：

(ⅰ)轉(zhuǎn)參考處理采集的腦電信號，并分別選擇1 Hz高通濾波器和30 Hz低通濾波器對腦電信號進(jìn)行濾波.

(ⅱ)采用FastICA算法對30通道腦電信號進(jìn)行分解，得到30個(gè)腦電獨(dú)立分量.

(ⅲ)以2 s為單位對10 min腦電獨(dú)立分量數(shù)據(jù)作切片處理，得到300個(gè)數(shù)據(jù)片段.每個(gè)數(shù)據(jù)段都提取4種能量特征，即每個(gè)數(shù)據(jù)片段有120維特征.

(ⅳ)將所有特征輸入到SVM分類器中，最終得到腦力負(fù)荷分類結(jié)果.

腦力負(fù)荷分類流程如圖2所示.

圖2 腦力負(fù)荷分類流程Fig. 2 Mental Workload Classification Processing

3.2 不同腦力負(fù)荷分類方法比較

基于腦電獨(dú)立分量特征的分類方法的流程如圖3所示，基于腦電信號特征的分類方法的流程如圖4所示.

圖3 基于腦電獨(dú)立分量特征的分類方法Fig. 3 Classification Method Based on EEG Independent Component Features

圖4 基于腦電信號特征的分類方法Fig. 4 Classification Method Based on EEG Signal Features

2種方法的腦力負(fù)荷分類準(zhǔn)確率如圖5所示.

圖5 不同腦力負(fù)荷分類方法的準(zhǔn)確率比較Fig. 5 Classification Accuracy Comparison of Different Mental Workload Classification Methods

由圖5可見，基于腦電獨(dú)立分量特征的分類方法的平均準(zhǔn)確率高于基于腦電信號特征的分類方法.由ICA法分解混合腦電信號，得到的腦電獨(dú)立分量可以表示腦信號的估計(jì)值，最大程度還原大腦中獨(dú)立神經(jīng)元產(chǎn)生的源信號.與從混合腦電信號中提取的特征相比，從腦電獨(dú)立分量中提取的特征更純凈、更可靠，從而可以獲得更準(zhǔn)確的分類結(jié)果.

3.3 方法性能評估

統(tǒng)計(jì)假設(shè)檢驗(yàn)是一種常用的模型性能檢測算法，為分類器比較提供了重要的判斷方法.該算法需要在評估分類器的性能之前人為設(shè)置“假設(shè)”，即基于分類器的廣義錯(cuò)誤率分布的某種判斷或推測.一般假設(shè)設(shè)置為被檢驗(yàn)的2種方法的性能一致，所以本研究假設(shè)基于腦電獨(dú)立分量特征的分類方法和基于腦電信號特征的分類方法的性能相同.

通過比較τ和τα，可以判斷2個(gè)分類器的性能差異是否顯著.本研究提出的假設(shè)：基于腦電獨(dú)立分量特征的分類方法和基于腦電信號特征的分類方法的性能沒有差異.如果τ<τα，則該假設(shè)為真；反之，假設(shè)為假.基于不同被試的腦電數(shù)據(jù)計(jì)算而得的τ見表2.

表2 不同被試的τ值Table 2 τ Values of Different Subjects

由表2可知，5名被試的τ均大于τα，所以本研究假設(shè)不成立.也就是說，基于腦電獨(dú)立分量特征的分類方法和基于腦電信號特征的分類方法的性能具有差異性，且差異性顯著.

4 結(jié)語

基于腦電信號特征和腦電獨(dú)立分量特征分別進(jìn)行了腦力負(fù)荷分類實(shí)驗(yàn)，結(jié)果表明，基于腦電獨(dú)立分量特征的分類方法的準(zhǔn)確率為80.5%～91.6%，平均分類準(zhǔn)確率為86.14%；基于腦電信號特征的分類方法的準(zhǔn)確率為51.1%～71.6%，平均分類準(zhǔn)確率為60.52%.由此可知，與基于腦電信號特征的分類方法相比，基于腦電獨(dú)立分量特征的分類方法的平均分類準(zhǔn)確率提高了42.33%.利用t檢驗(yàn)對2種分類方法的性能進(jìn)行了評估，驗(yàn)證了基于腦電獨(dú)立分量特征的分類方法的可靠性.綜上，針對視覺和操作類腦電信號，基于腦電獨(dú)立分量分析能更準(zhǔn)確地判別操作人員的腦力負(fù)荷狀態(tài).