基于IMF能量矩的腦電情緒特征提取研究

王成龍 韋巍 李天永

摘 要： 為了提高腦電信號情緒識別分類的準(zhǔn)確率，在小波變換的基礎(chǔ)上，結(jié)合經(jīng)驗?zāi)B(tài)分解（EMD）和能量矩提出一種新的腦電特征提取方法。該研究利用小波變換提取左右前額葉（AF3，AF4）、左右額葉（F3，F(xiàn)4）和左右頂葉（FC5，F(xiàn)C6）通道的α波、θ波、β波和γ波節(jié)律；對提取的腦電節(jié)律進(jìn)行EMD分解獲得固有模態(tài)函數(shù)（IMF）分量，再進(jìn)一步提取IMF分量的能量矩特征；最后使用支持向量機(jī)實現(xiàn)情感狀態(tài)評估。實驗結(jié)果表明，將IMF能量矩用于腦電信號情感識別是可行的。

關(guān)鍵詞： 小波變換； 經(jīng)驗?zāi)B(tài)分解； 本征模態(tài)函數(shù)； 能量矩； 腦電信號； 情感識別

中圖分類號： TN925?34； TP391.4 文獻(xiàn)標(biāo)識碼： A 文章編號： 1004?373X（2018）20?0010?04

Abstract： A new EEG feature extraction method is proposed based on wavelet transform， empirical mode decomposition （EMD） and energy moment， so as to improve the classification accuracy rate of EEG signal emotion recognition. The wavelet transform is used to extract the α， θ， β and γ waveform rhythms for channels of left and right prefrontal lobes （AF3， AF4）， frontal lobes （F3， F4） and parietal lobes （FC5， FC6）. The EMD is conducted of extracted EEG rhythms to obtain components of the intrinsic mode function （IMF）， and further extract the energy moment feature of IMF components. The support vector machine is used to realize emotion status evaluation. The experimental results show that it is feasible to apply the IMF energy moment in EEG signal emotion recognition.

Keywords： wavelet transform； empirical mode decomposition； intrinsic mode function； energy moment； EEG signal； emotion recognition

0 引 言

腦電信號是一種非平穩(wěn)、非線性的隨機(jī)信號，單獨考慮時域特征或頻域特征都是不全面的，因此越來越多的研究致力于腦電信號時頻特征的研究。經(jīng)驗?zāi)B(tài)分解（EMD）是一種自適應(yīng)信號時頻分析方法，分解的本征模態(tài)函數(shù)（IMF）能夠體現(xiàn)信號的非線性、非平穩(wěn)性特征。自從1998年，Huang等提出EMD算法以來，EMD算法在國內(nèi)外腦電信號的研究中應(yīng)用非常廣泛[1]。沈雪麗將小波包變換和HHT結(jié)合起來，應(yīng)用到睡眠腦電的分期識別中[2]。李淑芳從癲癇腦電信號中提取IMF分量的能量、幅值和波動指數(shù)特征，提高了癲癇腦電信號的識別率[3]。楊鵬圓利用HHT和小波包變換提取腦電信號的多個特征進(jìn)行愉悅度的識別[4]。陸苗使用分段冪函數(shù)插值算法改善EMD分解的精度，并提取IMF能量熵作為特征，提高了情感識別的準(zhǔn)確率[5]。Arasteh提取EMD的靈敏度的信噪比作為特征[6]。Rifai Chai提取每一個IMF分量的功率譜密度作為特征[7]。Ahmet Mert提出了多元經(jīng)驗?zāi)B(tài)分解應(yīng)用于腦電的情緒識別[8]。

本文提出一種新的基于IMF能量矩和SVM的腦電情緒識別方法。通過利用小波變換分解重構(gòu)出α波、θ波、β波和γ波，再利用EMD將小波變換的信號進(jìn)行分解，得到一系列的IMF分量，進(jìn)一步提取IMF的能量矩作為特征，通過SVM分類器建立腦電情感識別模型。

本文研究使用的所有數(shù)據(jù)均來自Koelstra 2010年提取的腦電情感分析數(shù)據(jù)庫[9]。

1 EMD方法原理

EMD是一種非參數(shù)自適應(yīng)方法，它能把復(fù)雜的數(shù)據(jù)分解成若干個有限的IMF。

EMD分解的具體過程如下：

1） 找出原始信號x（t）所有的局部極大值點和極小值點；

2） 對所求的極大值點和極小值點進(jìn)行三次樣條插值，求出上包絡(luò)線xu（t）和下包絡(luò)線xl（t）；

2 IMF能量矩

針對腦電信號的時變、非平穩(wěn)性特性，本文引入了一種IMF能量矩的特征提取方法，其是對傳統(tǒng)IMF能量或能量熵的改進(jìn)。它采用IMF與時間乘積的積分來獲得每一個IMF的能量特征值，可以更好地反應(yīng)不同時間內(nèi)能量的波動情況，更準(zhǔn)確地獲得信號的本質(zhì)特征[10]。IMF能量矩的定義為：

為了驗證IMF能量矩與IMF能量表征腦電信號情緒的能力，對第一個受試者的Fp1通道的第1個實驗和第40個實驗的IMF能量矩和IMF能量分別進(jìn)行了對比。獲取這兩個信號前三個IMF分量的能量和能量矩，其統(tǒng)計直方圖如圖1和圖2所示。

通過對比可以看出，第一個受試者的Fp1通道的第1個實驗和第40個實驗的能量直方圖的區(qū)別并不明顯；當(dāng)引入能量矩后，兩者的差異性明顯增加，更有利于腦電信號不同的情緒之間的識別。

3 特征提取

特征提取是情緒識別的關(guān)鍵環(huán)節(jié)，提取特征的好壞直接影響到情緒識別的準(zhǔn)確率。

根據(jù)已有的腦電研究成果，腦電信號的不同節(jié)律，對情緒的影響也不同。α波與積極的音樂情緒呈現(xiàn)負(fù)相關(guān)趨勢，β波與積極的音樂情緒呈現(xiàn)正相關(guān)趨勢[11]。Sammler等人通過研究快樂與悲傷的音樂的腦部活動發(fā)現(xiàn)，快樂的音樂與θ波的升高有關(guān)[12]。關(guān)于δ和γ的情緒識別的相關(guān)研究相對較少。由于選用的數(shù)據(jù)集的頻率范圍為4～45 Hz，因此本文的腦電信號的特征提取主要體現(xiàn)在θ，α，β和γ四種節(jié)律上。

首先將32個受試者的腦電信號利用小波變換進(jìn)行分層分解，分解重構(gòu)出θ波、α波、β波和γ波。接著進(jìn)行EMD分解，獲得n個IMF分量和殘余項。以第一個受試者的第一個實驗的α波為例，EMD分解如圖3所示。

考慮到每一個信號進(jìn)行EMD分解之后的IMF的個數(shù)不一樣，并且如果選取全部的IMF進(jìn)行特征提取，那么特征向量的維數(shù)將會非常高。由于前三階的IMF分量的能量幾乎包含了信號98%左右的能量，因此選擇前三階的IMF分量進(jìn)行特征提取。以第一個受試者第一個通道的所有實驗為例，前三階的IMF能量的比例如圖4所示。

4 腦電信號情感識別實驗

腦電數(shù)據(jù)庫中，每一個實驗有7 680個數(shù)據(jù)點。如果選擇全部的數(shù)據(jù)進(jìn)行實驗，則在CPU為I5?4590的電腦上需要運(yùn)行30 h左右。因此本文根據(jù)Candra等人的研究[13]，截取3～12 s的腦電數(shù)據(jù)進(jìn)行分析。Oostenveld等人的研究表明情緒的產(chǎn)生主要集中在大腦的頂葉和前額葉部分[14]，所以選擇左右頂葉（FC5和FC6）、左右額葉（F3和F4）和左右前額葉（AF3和AF4）的腦電數(shù)據(jù)進(jìn)行研究。

從腦電數(shù)據(jù)庫中已有的17個情緒標(biāo)簽中選取4個情緒標(biāo)簽：樂趣、高興、悲傷和糟糕，對所選取的4種情緒進(jìn)行兩兩分類。分類結(jié)果如表1所示。

表中：F為數(shù)據(jù)庫中情緒標(biāo)簽為fun的數(shù)據(jù)；S為數(shù)據(jù)庫中情緒標(biāo)簽為sad的數(shù)據(jù)；T為數(shù)據(jù)庫中情緒標(biāo)簽為terrible的數(shù)據(jù)；H為數(shù)據(jù)庫中情緒標(biāo)簽為happy的數(shù)據(jù)。

分析表1的結(jié)果發(fā)現(xiàn)，基于IMF能量矩的情緒識別分類的準(zhǔn)確率基本都高于IMF能量和IMF能量熵的情緒識別分類的準(zhǔn)確率。使用近似熵作為腦電情緒識別特征的整體平均分類準(zhǔn)確率是62.18%；使用能量熵作為腦電情緒識別的特征的整體平均分類準(zhǔn)確率是58.34%；使用IMF能量矩作為腦電情緒識別的特征的整體平均分類準(zhǔn)確率是68.59%。結(jié)果表明IMF能量矩用于腦電信號的情感識別是有效的。

5 結(jié) 語

本文對腦電信號情緒識別的特征提取進(jìn)行研究，在小波變換和經(jīng)驗?zāi)B(tài)的基礎(chǔ)上，提出一種基于IMF能量矩的腦電信號特征提取方法。實驗表明，用IMF能量矩提取腦電信號的情感特征是可取的，情緒識別的分類精度有所提升。

參考文獻(xiàn)

[1] HUANG N E， SHEN Z， LONG S R， et al. The empirical mode decomposition and the Hilbert spectrum for nonlinear and non?stationary time series analysis [J]. Proceedings： mathematical， physical and engineering sciences， 1998， 454（1971）： 903?995.

[2] SHEN X L， FAN Y L. Sleep stage classification based on EEG signals by using improved Hilbert?Huang transform [J]. Applied mechanics and materials， 2012， 138： 1096?1101.

[3] LI S， ZHOU W， CAI D， et al. EEG signal classification based on EMD and SVM [J]. Journal of biomedical engineering， 2011， 28（5）： 891?894.

[4] 楊鵬圓，李海芳，陳東偉.Hilbert?Huang變換在情感腦電特征提取中的應(yīng)用[J].計算機(jī)工程與設(shè)計，2014，35（7）：2509?2514.

YANG Pengyuan， LI Haifang， CHEN Dongwei. Application of Hilbert?Huang transform in emotion EEG feature extraction [J]. Computer engineering and design， 2014， 35（7）： 2509?2514.

[5] 陸苗，鄒俊忠，張見，等.基于IMF能量熵的腦電情感特征提取研究[J].生物醫(yī)學(xué)工程研究，2016，35（2）：71?74.

LU Miao， ZOU Junzhong， ZHANG Jian， et al. Emotion electroencephalograph（EEG） recognition based on IMF energy entropy [J]. Journal of biomedical engineering research， 2016， 35（2）： 71?74.

[6] ARASTEH A， JANGHORBANI A， MORADI M H. A survey on EMD sensitivity to SNR for EEG feature extraction in BCI application [C]// Proceedings of 5th International Biomedical Engineering Conference. Cairo： IEEE， 2010： 175?179.

[7] CHAI R， LING S H， HUNTER G P， et al. Toward fewer EEG channels and better feature extractor of non?motor imagery mental tasks classification for a wheelchair thought controller [C]// Proceedings of Annual International Conference of the IEEE Engineering in Medicine and Biology Society. San Diego： IEEE， 2012： 5266?5269.

[8] MERT A， AKAN A. Emotion recognition from EEG signals by using multivariate empirical mode decomposition [J]. Pattern analysis and applications， 2018， 21（1）： 81?89.

[9] KOELSTRA S， MUHL C， SOLEYMANI M， et al. DEAP： a database for emotion analysis using physiological signals [J]. IEEE transactions on affective computing， 2012， 3（1）： 18?31.

[10] 秦太龍，楊勇，程珩，等.基于IMF能量矩和神經(jīng)網(wǎng)絡(luò)的軸承故障診斷[J].振動、測試與診斷，2008，28（3）：229?232.

QIN Tailong， YANG Yong， CHENG Hang， et al. Rolling bearing fault diagnosis based on intrinstc mode function energy moment and BP neural network [J]. Journal of vibration， measurement & diagnosis， 2008， 28（3）： 229?232.

[11] 毛茅.音樂誘發(fā)情緒的心理生理測量及其在服務(wù)設(shè)計中的應(yīng)用[D].北京：清華大學(xué)，2013.

MAO Mao. Psychologically and physiologically measuring music?induced emotion and its application in service design [D]. Beijing： Tsinghua University， 2013.

[12] SAMMLER D， GRIGUTSCH M， FRITZ T， et al. Music and emotion： electrophysiological correlates of the processing of pleasant and unpleasant music [J]. Psychophysiology， 2007， 44（2）： 293?304.

[13] CANDRA H， YUWONO M， CHAI R， et al. Investigation of window size in classification of EEG?emotion signal with wavelet entropy and support vector machine [C]// Proceedings of 37th Annual International Conference of the IEEE Engineering in Medicine and Biology Society. Milan： IEEE， 2015： 7250?7253.

[14] OOSTENVELD R， PRAAMSTRA P. The five percent electrode system for high?resolution EEG and ERP measurements [J]. Clinical neurophysiology， 2001， 112（4）： 713?719.