視覺刺激情感變化β波同步分析

陳志華，蘇 雅

(大連交通大學(xué) 軟件學(xué)院，遼寧 大連 116052)*

0 引言

如今，腦電信號廣泛應(yīng)用于情感識別研究領(lǐng)域.英國倫敦大學(xué)的Eimer和Holmes使用分別帶有驚恐和中性表情的人臉圖片作為視覺刺激并利用事件相關(guān)電位來找出驚恐情感和中性情感間的差異［1］.美國休斯頓大學(xué)的 Zouridakis等人通過過濾將原始腦電信號映射到常見的五個頻帶上，再分別求出五個頻帶所對應(yīng)的頻帶能量，以此作為腦電特征進行情感識別［2］.Frantzidis等人以圖片作為視覺刺激對測試者進行試驗，他們將所得到的數(shù)據(jù)分為心情愉悅和心情低落，高興奮度和低興奮度，并利用馬氏距離分類法進行情感分類，具有很高的分類精度［3］.雖然對情感分析的方法種類有許多［4-8］，但通過事件相關(guān)去同步化/同步化方法研究情感識別的研究還有待深入，并且本研究在實現(xiàn)了當(dāng)左右腦對應(yīng)區(qū)域均為活動狀態(tài)時，通過左右腦系數(shù)差值百分比判斷哪一個區(qū)域活動較為劇烈的功能.

1 預(yù)備知識

當(dāng)大腦皮質(zhì)某區(qū)域受到感官、動作指令或想象運動等刺激而開始激活時，該區(qū)域的代謝和血流增加，同時進行信息加工可以導(dǎo)致相應(yīng)頻段的腦電信號振蕩的幅度減低或者阻滯，這種電生理現(xiàn)象稱作事件相關(guān)去同步化(ERD)［9-10］.大腦在靜息或惰性狀態(tài)下表現(xiàn)出明顯波幅增高的電活動，將其稱為事件相關(guān)同步化(ERS)［11-12］.ERD/ERS具有頻段特異性:大腦振蕩的活動頻率范圍波動較大，這些頻率常被分為以下頻段:delta(＜4Hz)，theta(4 ～7 Hz)，alpha(8 ～12 Hz)，beta(13～30 Hz)及 gamma頻段(＞30 Hz).Alpha和beta頻段的ERD可作為大腦激活的指標(biāo)，而ERS的出現(xiàn)則表明大腦處于失活狀態(tài)，提示皮質(zhì)區(qū)域恢復(fù)到靜息或惰性狀態(tài)［13］.本研究采用事件相關(guān)去同步化和同步化方法研究過濾后的腦電信號.現(xiàn)有常用的ERD/ERS分析方法主要有時頻圖譜法(TFS)，功率譜密度(PSD)曲線法，ERD/ERS系數(shù)法，腦地形圖法，功率譜嫡分析法，小波嫡分析法等［14-15］.本文將主要介紹ERD/ERS系數(shù)法.

2 方法

在介紹ERD/ERS系數(shù)法之前必須先引入另外兩個概念:短時傅里葉變換(Short Time Fourier Transform，STFT)和功率譜密度(Power Spectral Density，PSD).

2.1 短時傅里葉變換

一般情況下，ERD/ERS的發(fā)生是與特定時間段的特定頻段相關(guān)的，使用可以同時提取時域與頻域信息的時頻分析方法是更符合實際情況的選擇.因此基于短時傅里葉變換的時頻圖譜和功率譜密度法常用在誘發(fā)腦電信號的分析中.短時傅里葉變換的公式如下:

公式涵義:在時域用窗函數(shù)去截信號，對截下來的局部信號作傅里葉變換，即在t時刻該段信號的傅里葉變換，不斷地移動t，即不斷地移動窗函數(shù)的中心位置，即可得到不同時刻的傅里葉變換，這些傅里葉變換的集合，既是Sx(ω，t).

2.2 功率譜密度

定義:當(dāng)波的頻譜密度乘以一個適當(dāng)?shù)南禂?shù)后將得到每單位頻率波攜帶的功率，這被稱為信號的功率譜密度.功率譜密度(PSD)同樣是基于短時傅里葉變換(STFT)其具體公式如下:

2.3 ERD/ERS 系數(shù)

ERD/ERS系數(shù)的計算公式如下:

其中，tR為參考時間，tA為測試時間，在本次研究實驗中用當(dāng)前選定的時間段作為參考時間，而間隔0.1 s的后一個時間段作為測試時間.

2.4 研究方法

整個實驗ERD/ERS判斷方法(ERD/ERS系數(shù)零一法):將原始腦電數(shù)據(jù)過濾為腦電極為Fp2(右前額)、Fp1(左前額)、C4(右腦中央?yún)^(qū)域)、C3(左腦中央?yún)^(qū)域)為四個電極，beta頻帶(14，18，22，26和30 Hz)的腦電波數(shù)據(jù).設(shè)定時間段的時間長度為0.4 s，時間間隔為0.1 s，依次提取十一個時間段的腦電數(shù)據(jù)，計算十個事件相關(guān)去同步/同步系數(shù).將計算得到的同步去同步系數(shù)大于0的值(表示同步)均標(biāo)記為1，小于0的值(表示去同步)均標(biāo)記為0，將10個數(shù)相加，若所得結(jié)果大于7則表明同步現(xiàn)象明顯，小于3則表明去同步現(xiàn)象明顯.

當(dāng)左右腦對應(yīng)區(qū)域均為ERD時，可以通過比較左右腦參考時間和測試時間功率譜差值的絕對值大小比較活動強度.絕對值較大的代表能量下降多即活動強度大.比較Fp2和Fp1，C4和C3腦電極十個時間段參考時間和測試時間功率譜差值的絕對值大小，若Fp2值大于Fp1，證明Fp2區(qū)域能量下降的多，即活動強烈，C4，C3同理.

3 實驗

3.1 測試者

所有測試者均為在校大學(xué)生，年齡在20～25歲之間，25名男性，10名女性.

3.2 實驗準備

安裝了如下電極:Fp1、Fpz、Fp2、C3、C4、F7、F8、Fz、C3、C4、T3、T4、Cz、P3、P4、T5、T6、Pz、O1、O2、Oz，奇數(shù)表示大腦左側(cè)，偶數(shù)表示大腦右側(cè)，F(xiàn)pz、Fz、Cz、Pz、Oz 表示大腦中軸，兩個耳垂電極A1、A2及Z作為參考電極，并要求有地線接地.腦電極的具體位置根據(jù)Neurofax EEG-9100K(NKC，Japan)的國際電極位置系統(tǒng)的標(biāo)準.采樣頻率設(shè)為1 000 Hz.

3.3 實驗步驟

第一步，讓實驗受試者保持放松閉眼，并記錄其腦電波，時間大約120 s，此過程的最大目的是為了讓實驗參與者能處于相當(dāng)比較平和的狀態(tài);

第二步，讓受試者睜眼，給予高興圖片視覺刺激，引起其情感變化，并記錄其腦電圖;

第三步，讓受試者閉眼放松約120 s，再給予不高興圖片視覺刺激，引起其情感變化，并記錄腦電圖.

4 結(jié)果

計算測試者分別在頻段為 14、18、22、26、30Hz時，F(xiàn)p2、Fp1、C4、C3 四個腦電極上，十個時間段的ERD/ERS系數(shù).其具體的數(shù)據(jù)和圖形情況，以某測試者為例，如表1和圖1.

表1表示 beta波14 Hz，視覺刺激為高興時，某測試者在各電極各時間段的ERD/ERS系數(shù).每行表示14 Hz時，每個時間段的上各電極的ERD/ERS系數(shù)，每一列表示特定電極上各時間段的ERD/ERS系數(shù).

圖1第一行表示視覺刺激為高興時5個beta頻段上特定電極的ERD/ERS系數(shù)圖，每子圖的橫坐標(biāo)表示時間段，縱坐標(biāo)表示ERD/ERS系數(shù)最大上限和最小下限.第二行表示視覺刺激為不高興時5個beta頻段上特定電極的ERD/ERS系數(shù)圖.

表1 某測試者在各電極各時間段的ERD/ERS系數(shù)

圖1 某測試者兩次實驗beta頻段各電極的ERD/ERDS系數(shù)圖

根據(jù)ERD/ERS系數(shù)零一法，分別計算所有男性和女性在視覺刺激時，beta頻段，各電極上的ERD/ERS系數(shù)零一值和的平均值來判斷其大腦活動狀態(tài)，其具體內(nèi)容如表2所示.

表2 男性、女性視覺刺激ERD/ERS數(shù)據(jù)表

由表2可知，視覺刺激為高興時，男性電極Fp2，F(xiàn)p1和C3均變現(xiàn)為ERD，C4表現(xiàn)為ERS;視覺刺激為不高興時，男性的Fp2和Fp1，C3和C4均表現(xiàn)為ERD，可以推斷出男性對高興和不高興的視覺刺激反應(yīng)均比較明顯.視覺刺激為高興時，女性電極Fp2，F(xiàn)p1和C3均變現(xiàn)為ERD，C4表現(xiàn)為ERS;視覺刺激為不高興時，女性的Fp2，F(xiàn)p1，C3和C4均表現(xiàn)為ERS，可以推斷出女性只對高興的視覺刺激明顯.

當(dāng)左右腦對應(yīng)電極均表現(xiàn)為ERD時，即男性:高興刺激時的Fp2和Fp1電極，不高興刺激時的Fp2和Fp1電極，C4和C3電極;女性:高興刺激時的Fp2和Fp1電極.比較功率譜差值絕對值，來判斷大腦活動的強度，得出結(jié)果:視覺刺激為高興時，男性Fp1上的譜密度差值較大，即左前額區(qū)域活動較為強烈;視覺刺激為不高興時，男性Fp2和C4上譜密度差值較大，即右額區(qū)域和右腦中央?yún)^(qū)域活動較為強烈，而女性Fp2上的譜密度差值較大，即右前額區(qū)域活動較為強烈.

5 結(jié)論

為了研究由視覺刺激產(chǎn)生的情感變化時大腦的活動狀態(tài)，本文采用了ERD/ERS系數(shù)零一法通過特定時間段細化研究受刺激階段的腦電信號，保證了狀態(tài)檢測的準確信，充分發(fā)揮ERD/ERS系數(shù)的定量性的特點，并在此基礎(chǔ)上研究了左右腦均活動時的強烈程度.本文結(jié)論對不同性別針對不同情感的情感識別有一定參考價值.

［1］EIMER MARTIN，HOLMES AMANDA.An ERP study on the time course of emotional face processing.［J］.NeuroReport，2002，13(4):1-5.

［2］EIMER M，HOLMES A.Event-related brain potential correlates of emotional face processing［J］.Neuropsychologia，2007，45(1):15-31.

［3］ZOURIDAKIS G，PATIDAR U，PADHYE N S，et al.Spectral power of brain activity associated with emotion-a pilot MEG study［C］//17th International Conference On Biomagnetism Advances in Biomagnetism-BIOMAG2010，IFMBE Proceedings. Dubrovnik， Croatia:Springer，2010:354-357.

［4］LUZHENG BI，XIN’AN FAN.Emotion recognition from EEG based on Bayesian Networks［J］.Energy Procedia，2011(11):278-285.

［5］PETRANTONAKIS PANAGIOTIS C，HADJILEONTIADIS LEONTIOS J.Emotion recognition from EEG using higher order crossings.［J］.IEEE transactions on information technology in biomedicine:a publication of the IEEE Engineering in Medicine and Biology Society，2009，142:97-186.

［6］THIBAUD SENECHAL，KEVIN BAILLY，LIONEL PREVOST.Impact of action unit detection in automatic emotion recognition［J］.Pattern Analysis and Applications，2014，17(1):57-67.

［7］YAACOB SAZALI，NAGARAJAN RAMACHANDRAN，MURUGAPPAN MURUGAPPAN.Classification of human emotion from EEG using discrete wavelet transform［J］.Journal of Biomedical Science and Engineering，2010，3(4):390-396.

［8］陳曾.腦電信號在情感識別中的研究［D］.重慶:西南大學(xué)，2010.

［9］PFURTSCHELLER G，ARANIBAR A.Event-related cortical desynchronization detected by power measurements of scalp EEG［J］.Electroencephalogr Clin Neu-rophysiol，1977，42:817-826.

［10］聶聃.基于腦電的情感識別［D］.上海:上海交通大學(xué)，2012.

［11］PFURTSCHELLER G.Event-related synchronization(ERS):an electrophysiological correlate of cortical areas at rest.［J］.Electroencephalography and clinical neurophysiology，1992，831:9-62.

［12］莊平.腦電事件相關(guān)去同步化和同步化活動與運動相關(guān)性作業(yè)［J］.中國臨床康復(fù)，2004(1):152-154.

［13］JAIME A，PINEDA.The functional significance of mu rhythms:Translating“seeing”and“hearing”into“doing”［J］.Brain Research Reviews，2005，50(1):57-68.

［14］REKTOR I，Sochu。rkováD，BocˇkováM. Intracerebral ERD/ERS in voluntary movement and in cognitive visuomotor task［J］.Progress in Brain Research，2006，159:311-330.

［15］王麗佳.基于BCI多動作模式的ERD/ERS信號分析及識別方法的研究［D］.南昌:南昌大學(xué)，2010.