基于多生理信息遷移學(xué)習(xí)的腦力負(fù)荷分類(lèi)

李瑞， 柳長(zhǎng)安*， 王彥平， 曲洪斌， 王玲

(1.北方工業(yè)大學(xué)信息學(xué)院， 北京 100144； 2.中國(guó)石油管道局工程有限公司， 廊坊 065000)

在重工作業(yè)、自動(dòng)駕駛等現(xiàn)代工業(yè)系統(tǒng)的一些高復(fù)雜性和需要高安全性保障的工作中，操作人員更多參與的是高級(jí)決策和監(jiān)管監(jiān)控角色，長(zhǎng)時(shí)間處在高壓狀態(tài)，精神集中，容易造成腦力疲勞，警覺(jué)性下降，而過(guò)低的腦力負(fù)荷會(huì)引發(fā)操作人員消極倦怠情緒，一定程度上浪費(fèi)了人力資源[1-3]。實(shí)時(shí)評(píng)估操作人員的腦力負(fù)荷情況，一方面能合理利用資源，提升工作效率；另一方面保障了操作人員和系統(tǒng)的安全。文獻(xiàn)研究表明，當(dāng)前公認(rèn)的腦力負(fù)荷的評(píng)估方法主要包括以被試主觀感受、作業(yè)績(jī)效進(jìn)行測(cè)評(píng)和根據(jù)與腦力負(fù)荷相關(guān)的生理指標(biāo)進(jìn)行測(cè)評(píng)的方法[4]。這三類(lèi)主流方法各有利弊，目前科研工作者們?nèi)晕磳?duì)如何進(jìn)行腦力負(fù)荷測(cè)評(píng)形成統(tǒng)一的評(píng)價(jià)體系。以被試主觀感受、作業(yè)績(jī)效進(jìn)行測(cè)評(píng)的方法具有遲滯性的特點(diǎn)，不能實(shí)時(shí)獲取被試當(dāng)前腦力負(fù)荷狀態(tài)，且受個(gè)體影響較大，存在系統(tǒng)誤差，往往作為輔助參考?；谏碇笜?biāo)進(jìn)行測(cè)評(píng)的方法避免了主觀偏好的影響，且能實(shí)時(shí)評(píng)估負(fù)荷狀態(tài)，一定程度上可以對(duì)另外兩種方法的缺陷加以彌補(bǔ)，日益成為研究熱點(diǎn)。采用的生理指標(biāo)以腦電(electroencephalogram, EEG)和心電(electrocardiograph, ECG)為代表[5-7]。郭孜政等[8]以駕駛員腦力負(fù)荷識(shí)別為背景，結(jié)合腦電熵值和BP(back propagation)模型實(shí)現(xiàn)了腦電信號(hào)的腦力負(fù)荷識(shí)別。李鵬杰等[9]通過(guò)研究心率變異性的指標(biāo)進(jìn)行腦力負(fù)荷評(píng)價(jià)的可行性驗(yàn)證，結(jié)果表明在不同的操作難度，程度和階段下，部分心率變異性指標(biāo)呈現(xiàn)出較強(qiáng)的敏感性。傳統(tǒng)腦力負(fù)荷識(shí)別方法依靠單一生理信息，識(shí)別率有待提高；且腦電信號(hào)采集過(guò)程中容易受到干擾，被試的生理活動(dòng)也會(huì)對(duì)腦電信號(hào)產(chǎn)生不同程度的影響；心電信號(hào)分類(lèi)準(zhǔn)確率不高，但易采集，對(duì)監(jiān)測(cè)環(huán)境的抗擾能力強(qiáng)，采用多生物電信號(hào)綜合評(píng)估腦力負(fù)荷逐漸成為研究的熱點(diǎn)。

此外，現(xiàn)階段的腦力負(fù)荷分類(lèi)研究大多都是基于傳統(tǒng)的機(jī)器學(xué)習(xí)方法來(lái)進(jìn)行的，機(jī)器學(xué)習(xí)解決了如何讓機(jī)器獨(dú)立自主地通過(guò)現(xiàn)有數(shù)據(jù)中來(lái)獲取知識(shí)，通常是針對(duì)特定領(lǐng)域的訓(xùn)練，難以應(yīng)用到一個(gè)新的領(lǐng)域，或需要從頭開(kāi)始訓(xùn)練模型。傳統(tǒng)的機(jī)器學(xué)習(xí)是基于指定的訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù)是獨(dú)立的前提下展開(kāi)的。但是在實(shí)踐中，腦力負(fù)荷的數(shù)據(jù)分布會(huì)隨著時(shí)間推移而改變，在不同的被試中分布也有所不同，這就使得數(shù)據(jù)并不會(huì)嚴(yán)格地遵循相同分布的完美假設(shè)，那么在測(cè)試樣本數(shù)據(jù)分布偏移的情況下出現(xiàn)研究誤差也就不足為奇了，這使得很多傳統(tǒng)機(jī)器學(xué)習(xí)的識(shí)別率不是很高。為了更好地解決傳統(tǒng)機(jī)器學(xué)習(xí)的不足，研究人員提出了遷移學(xué)習(xí)的方法，這種方法的核心在于搜尋找到問(wèn)題之間的相似性，首先學(xué)習(xí)原問(wèn)題中的知識(shí)結(jié)構(gòu)體系和判別方式，然后將這類(lèi)模型遷移應(yīng)用到新問(wèn)題中去，這就一定程度上解決了以往要求訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù)需要服從同分布的嚴(yán)苛條件，實(shí)現(xiàn)了同類(lèi)知識(shí)在不同領(lǐng)域之間的遷移[10-12]。Lan等[13]基于遷移學(xué)習(xí)進(jìn)行腦電信號(hào)的情緒識(shí)別，在一個(gè)數(shù)據(jù)集上訓(xùn)練一個(gè)獨(dú)立的分類(lèi)器，在另一個(gè)數(shù)據(jù)集上進(jìn)行測(cè)試，探討了在不同環(huán)境下使用不同設(shè)備和實(shí)驗(yàn)協(xié)議采集數(shù)據(jù)時(shí)遷移學(xué)習(xí)的有效性。遷移學(xué)習(xí)在跨領(lǐng)域識(shí)別表現(xiàn)良好，大大提高了分類(lèi)器的性能，在生物圖像分析、人機(jī)交互、自然語(yǔ)言處理等領(lǐng)域都取得了良好的效果。

綜上所述，現(xiàn)提出一種多生理信息特征遷移學(xué)習(xí)的腦力負(fù)荷分類(lèi)方法。首先，對(duì)采集的腦電和心電信號(hào)進(jìn)行預(yù)處理，提取時(shí)頻域特征，進(jìn)行特征融合，然后基于遷移成分分析方法，將源域和目標(biāo)域的特征數(shù)據(jù)映射到公共的低維子空間，在該空間實(shí)現(xiàn)二者的邊緣分布適配，并進(jìn)行腦力負(fù)荷分類(lèi)。

1 數(shù)據(jù)采集

本實(shí)驗(yàn)以模擬飛行任務(wù)的MATB-II 平臺(tái)為載體，設(shè)計(jì)了低高兩種負(fù)荷狀態(tài)，根據(jù)實(shí)驗(yàn)任務(wù)出現(xiàn)的頻率來(lái)界定，被試在不同負(fù)荷狀態(tài)下分別完成對(duì)系統(tǒng)儀表刻度、飛行器追蹤、空中交通管制通信任務(wù)、油量資源的信息監(jiān)控，當(dāng)監(jiān)控到新的任務(wù)或出現(xiàn)異常情況，被試通過(guò)操作鼠標(biāo)，萊仕達(dá)飛行搖桿作出響應(yīng)操作。MATB-II 平臺(tái)及其包含的4個(gè)子任務(wù)的界面如圖1所示。

根據(jù)不同負(fù)荷水平，任務(wù)出現(xiàn)頻率有所改變，如表1所示。

表1 任務(wù)出現(xiàn)頻率Table 1 Frequency of task occurrence

實(shí)驗(yàn)同步采集12名健康受試者的腦電信號(hào)和心電信號(hào)，所有被試經(jīng)過(guò)培訓(xùn)，了解實(shí)驗(yàn)整體流程，對(duì)生理設(shè)備進(jìn)行佩戴，完成實(shí)驗(yàn)操作。腦電測(cè)量系統(tǒng)采用Neuroscan Neuamps系統(tǒng)(Synamps2, Scan4.3, EI Paso, USA)，采集被試額葉、中央?yún)^(qū)、頂葉、枕葉共計(jì)10個(gè)通道(F7、 Fz、 F8、 C3、 C4、 P3、 Pz、 P4、 O1、 O2)的腦電信號(hào)，采樣率為1 000 Hz，腦電采集通道布局如圖2所示。信號(hào)放大器采用Grael便攜式腦電放大器。心電測(cè)量系統(tǒng)采用BioHarness配合AcqKnowledge軟件組成的一套輕便無(wú)線便攜式生理信號(hào)采集遙測(cè)系統(tǒng)，可以監(jiān)控、分析和記錄多種生理參數(shù)。

圖1 MATB II平臺(tái)界面Fig.1 Platform interface of MATB II

圖2 腦電信號(hào)采集通道Fig.2 The channels of brain signal acquisition

2 多生理信息特征提取

2.1 腦電特征提取

研究表明頻域特征能更好地表征腦力負(fù)荷的變化[14-16]。對(duì)腦電信號(hào)做傅里葉變換，得到F(n),計(jì)算公式為

(1)

式(1)中：f(t)為腦電時(shí)域信號(hào)；t為時(shí)間；F(n)為經(jīng)過(guò)變換的頻域信號(hào)；n為頻率；e-int為復(fù)指數(shù)。

功率譜密度計(jì)算公式為

(2)

式(2)中：F*為共軛；N為信號(hào)長(zhǎng)度。

研究表明腦電信號(hào)具有強(qiáng)烈的節(jié)律特性，按照頻率來(lái)看，腦電節(jié)律可分為4個(gè)基本頻段：δ(0.5～3 Hz),θ(4～7 Hz),α(8～13 Hz) 和β(14～30 Hz)[17]，計(jì)算4種頻段下的能量特征為

(3)

式(3)中：Eδ、Eθ、Eα和Eβ為腦電信號(hào)提取的4種能量特征；Pfreq為特定頻率值freq下的功率譜密度值。

2.2 心電特征提取

通常來(lái)說(shuō)，P波、QRS 波群和T波等組成了一個(gè)正常的心電波，如圖3所示。

圖3 心電信號(hào)波形Fig.3 ECG signal waveform

一般來(lái)講，心率指的是心臟跳動(dòng)的快慢，在國(guó)際上，一個(gè)健康正常個(gè)體在保持安靜的狀態(tài)下，心臟在一分鐘內(nèi)搏動(dòng)的次數(shù)被定義為心率，心率通過(guò)檢測(cè)R波進(jìn)行計(jì)算[18]。當(dāng)前R波峰到下一個(gè)被檢測(cè)到的R波峰之間的時(shí)間間隔即為R-R間期。對(duì)R波峰進(jìn)行檢測(cè)采用差分閾值法[19]，這種方法的核心就是對(duì)濾波完成后剩余的高信噪比的心電信號(hào)進(jìn)行差分計(jì)算處理，隨后再利用提前設(shè)定好的門(mén)限值來(lái)進(jìn)行判別操作。為了識(shí)別心跳，使用每個(gè)數(shù)據(jù)點(diǎn)兩側(cè)0.75 s的窗口計(jì)算移動(dòng)平均值。信號(hào)的第一秒和最后0.75 s用信號(hào)的平均值填充，這些區(qū)段不生成移動(dòng)平均值，插值切片后，使用numpy的argmax函數(shù)得到峰值索引，即R波的位置。

R-R間期計(jì)算公式為

RRi=Ri+1-Ri

(4)

一般情況下，成人的R-R間期為0.6～1.2 s。心率變異性 的時(shí)域指標(biāo)是基于心電信號(hào)的R-R間期進(jìn)行分析得到的。

基于頻域的心電分析方法是對(duì)心電信號(hào)進(jìn)行傅里葉變換，計(jì)算功率譜密度，將信號(hào)分解為不同的頻率成分。TP波頻率范圍為0～11 Hz，QRS波為12～209 Hz[20]，計(jì)算兩種頻段下的能量特征如下：

(5)

式(5)中：Etp、Eqrs為T(mén)P波和QRS波能量特征；Pfreq為特定頻率值下的功率譜密度值。

3 多生理信息的遷移學(xué)習(xí)方法

3.1 遷移成分分析

圖4 源域和目標(biāo)域原始腦電數(shù)據(jù)分布Fig.4 Distribution of original EEG data as source domain and target domain

實(shí)驗(yàn)采用的方法為遷移成分分析(transfer component analysis，TCA)[21]，主要用來(lái)解決邊緣分布，即數(shù)據(jù)整體不相似的問(wèn)題，具有較高的應(yīng)用價(jià)值。傳統(tǒng)機(jī)器學(xué)習(xí)中，不少問(wèn)題要求樣本數(shù)據(jù)采樣自同一個(gè)分布，希望將訓(xùn)練數(shù)據(jù)集訓(xùn)練得到的模型合理應(yīng)用于測(cè)試。但是在實(shí)踐中，對(duì)于同一個(gè)被試，隨著檢測(cè)時(shí)間的轉(zhuǎn)變，腦力負(fù)荷的數(shù)據(jù)分布也會(huì)隨之改變，以其中一名被試第一天和第二天的腦電數(shù)據(jù)為例，對(duì)其降維可視化，如圖4所示，可以看到這兩天的數(shù)據(jù)在分布上有較大差異，訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù)并沒(méi)有嚴(yán)格遵循相同的分布，用第一天數(shù)據(jù)訓(xùn)練出的分類(lèi)器應(yīng)用于第二天的數(shù)據(jù)進(jìn)行測(cè)試會(huì)在產(chǎn)生較大的檢測(cè)誤差，導(dǎo)致識(shí)別率較低。

而遷移學(xué)習(xí)就能夠很好地解決這個(gè)問(wèn)題，它利用數(shù)據(jù)以及模型之間相似性，將原問(wèn)題中學(xué)習(xí)到的知識(shí)結(jié)構(gòu)或判別模型遷移到新問(wèn)題上，針對(duì)源域和目標(biāo)域數(shù)據(jù)之間概率分布的差異，最簡(jiǎn)單的解決辦法就是利用某種變換，實(shí)現(xiàn)不同數(shù)據(jù)分布距離的最小化。

給定源域Ds和目標(biāo)域Dt，用Xi表示領(lǐng)域上的第i個(gè)樣本或特征，從形式上來(lái)說(shuō)，P(Xs)和P(Xt)分別表示源域和目標(biāo)域的邊緣分布概率，用二者之間的距離(Distance)表示兩個(gè)領(lǐng)域之間的差異[22]。即

Distance(Ds,Dt)=‖P(Xs)-P(Xt)‖

(6)

遷移成分分析假設(shè)存在一個(gè)特征映射φ，源域和目標(biāo)域經(jīng)過(guò)映射邊緣分布相近，即P[φ(Xs)]≈P[φ(Xt)][23]。進(jìn)而兩個(gè)領(lǐng)域的條件分布也會(huì)接近，即P[Ys|φ(Xs)]≈P[Yt|φ(Xt)]。

遷移成分分析采用最大均值差異(maximum mean discrepancy，MMD)的方法，n1為源域樣本個(gè)數(shù)，n2為目標(biāo)域樣本個(gè)數(shù)，計(jì)算源域和目標(biāo)域距離，公式為

(7)

通過(guò)引入核矩陣K和MMD矩陣L:

(8)

(9)

將式(7)轉(zhuǎn)換為

tr(KL)-λtr(K)

(10)

式(10)中：tr()為矩陣的跡；λ為折中系數(shù)。

為了簡(jiǎn)化計(jì)算，采用降維方法，用一個(gè)更低維度的m(n1+n2)維的矩陣W將特征矩陣映射到m維：

(11)

TCA優(yōu)化目標(biāo)轉(zhuǎn)化為

(12)

通過(guò)推導(dǎo)，計(jì)算得出(KLK+μI)-1KHK的前m個(gè)特征值，就可以成功得到變換后的源域和目標(biāo)域數(shù)據(jù)信息，如圖5所示，此時(shí)源域和目標(biāo)域數(shù)據(jù)之間的距離達(dá)到最小，再利用源域訓(xùn)練出的分類(lèi)器對(duì)目標(biāo)域進(jìn)行測(cè)試就能夠得到較好預(yù)期的分類(lèi)結(jié)果。

圖5 源域和目標(biāo)域遷移腦電數(shù)據(jù)分布Fig.5 Distribution of transfer EEG data as source domain and target domain

3.2 多生理信息遷移學(xué)習(xí)方法

對(duì)采集到的腦電、心電信號(hào)進(jìn)行預(yù)處理，提取時(shí)頻域特征，并進(jìn)行融合，從而得到源域和目標(biāo)域數(shù)據(jù)，進(jìn)一步進(jìn)行遷移成分分析，對(duì)于源域和目標(biāo)域，各利用一個(gè)變換矩陣將其分別投影至一個(gè)公共的特征空間，即對(duì)數(shù)據(jù)進(jìn)行降維，在這個(gè)空間中，投影后的源域和目標(biāo)域不僅特征空間相似，數(shù)據(jù)分布也是相似的，所以就可以在這個(gè)公共空間進(jìn)行知識(shí)的遷移。實(shí)驗(yàn)采用支持向量機(jī)作為分類(lèi)研究方法，用網(wǎng)格搜索進(jìn)行調(diào)參，交叉驗(yàn)證評(píng)估得到最優(yōu)模型，其中模型參數(shù)根據(jù)不同測(cè)試樣本進(jìn)行選擇，采用5折交叉驗(yàn)證。

4 實(shí)驗(yàn)結(jié)果與分析

4.1 數(shù)據(jù)預(yù)處理

對(duì)采集到的腦電信號(hào)進(jìn)行1～30 Hz的濾波，圖6是濾波前后的對(duì)比圖，Help欄記錄了0～1 400 s的腦電數(shù)據(jù)，圖6中顯示為600 s左右的信號(hào)。選擇中間10 min的較為穩(wěn)定EEG數(shù)據(jù)進(jìn)行分析。對(duì)于10通道腦電信號(hào)進(jìn)行獨(dú)立分量分析，最終得到10個(gè)獨(dú)立的分量，對(duì)獨(dú)立分量以2 s為單位切片，每種負(fù)荷有300個(gè)片段，對(duì)每個(gè)片段進(jìn)行特征提取。

對(duì)采集到的心電信號(hào)進(jìn)行標(biāo)準(zhǔn)化，利用頻域自相關(guān)去噪及小波閾值去噪方法剔除心電數(shù)據(jù)中的無(wú)用數(shù)據(jù)，再對(duì)其進(jìn)行濾波及R波檢測(cè)(圖7和圖8)，最后采用差分閾值法進(jìn)行R波的檢測(cè)分析。對(duì)心電信號(hào)以2 s為單位分段，每個(gè)數(shù)據(jù)段以檢測(cè)到的R波為中心。

圖7 心電信號(hào)濾波Fig.7 ECG filtering signal

圖8 R波檢測(cè)Fig.8 R peak detection

4.2 測(cè)試結(jié)果分析

實(shí)驗(yàn)對(duì)采集到的腦電、心電信號(hào)進(jìn)行預(yù)處理，特征提取，得到腦電特征40維，心電特征3維，選取12名被試5 d的數(shù)據(jù)，將第一天得到的數(shù)據(jù)作為訓(xùn)練集，其他4 d數(shù)據(jù)分別測(cè)試，進(jìn)行跨時(shí)間遷移學(xué)習(xí)，計(jì)算測(cè)試集的平均準(zhǔn)確率如表2所示，可以看出，基于多生理信息融合的腦力負(fù)荷精度優(yōu)于單一生理信息。

表2 單一生理信息與融合分類(lèi)精度對(duì)比Table 2 Comparison of classification accuracy between single and fusion physiological information

將表2可視化，結(jié)果如圖9所示。圖10是遷移學(xué)習(xí)與傳統(tǒng)SVM方法對(duì)腦力負(fù)荷分類(lèi)精度的結(jié)果對(duì)比，單一生物電信號(hào)和多特征融合下，遷移學(xué)習(xí)均優(yōu)于SVM方法。SVM方法融合平均精度為0.74，TCA方法融合平均精度為0.85，精度有明顯提高。

圖9 腦力負(fù)荷分類(lèi)精度對(duì)比Fig.9 Comparison of mental workload classification accuracy

圖10 SVM與TCA分類(lèi)精度對(duì)比Fig.10 Comparison of classification accuracy between SVM and TCA

5 結(jié)論

基于模擬飛行任務(wù)，提出了多生理信息遷移學(xué)習(xí)的腦力負(fù)荷識(shí)別方法，實(shí)驗(yàn)得到如下結(jié)論。

(1)將遷移學(xué)習(xí)應(yīng)用于跨時(shí)間腦力負(fù)荷分類(lèi)，解決了實(shí)驗(yàn)中測(cè)試樣本數(shù)據(jù)偏移而導(dǎo)致識(shí)別率低的問(wèn)題，將源域?qū)W習(xí)到的分類(lèi)模型遷移到目標(biāo)域，實(shí)現(xiàn)了源域和目標(biāo)域的邊緣分布適配，與傳統(tǒng)機(jī)器學(xué)習(xí)方法相比，遷移學(xué)習(xí)在跨時(shí)間腦力負(fù)荷分類(lèi)上準(zhǔn)確率平均提高11.6%，具有實(shí)際應(yīng)用價(jià)值。

(2)將多種生理信號(hào)的時(shí)頻域特征進(jìn)行融合，一定程度上彌補(bǔ)了單一生物電信號(hào)的缺陷，同時(shí)豐富了信息量，在腦力負(fù)荷檢測(cè)中增強(qiáng)了抗干擾能力，提升了分類(lèi)結(jié)果的魯棒性，基于多生理信息特征融合識(shí)別率高于單一生物電信號(hào)識(shí)別率，為多生理信息腦力負(fù)荷分類(lèi)研究提供了新方法。