基于動(dòng)態(tài)功能性腦網(wǎng)絡(luò)的情感分析

黃義華，童 玥，衡 霞,3，盧 忱，王忠民,3

(1.中興通訊股份有限公司 企業(yè)發(fā)展部，廣東 深圳 518057;2.西安郵電大學(xué) 計(jì)算機(jī)學(xué)院，陜西 西安 710121；3.西安郵電大學(xué) 陜西省網(wǎng)絡(luò)數(shù)據(jù)分析與智能處理重點(diǎn)實(shí)驗(yàn)室，陜西 西安 710121;4.移動(dòng)網(wǎng)絡(luò)和移動(dòng)多媒體技術(shù)國(guó)家重點(diǎn)實(shí)驗(yàn)室，廣東 深圳 518055)

0 引 言

人腦中存在成千上萬(wàn)的神經(jīng)元，通過(guò)神經(jīng)元之間的電位活動(dòng)傳遞信息，控制著人體的思維活動(dòng)、肢體協(xié)調(diào)水平和情感狀態(tài)。在情緒產(chǎn)生過(guò)程中大腦的許多區(qū)域會(huì)被激活共同作用控制，表現(xiàn)為大腦的前部和左、右腦區(qū)最為活躍。由于現(xiàn)有基于單通道特征的研究方法均忽略了信號(hào)在空間結(jié)構(gòu)和功能聯(lián)系上的信息，使得提取的特征不能準(zhǔn)確地表征情感。因而從大腦整體宏觀角度，利用腦網(wǎng)絡(luò)對(duì)大腦進(jìn)行研究是必要的，又因近年圖論概念的引入以及網(wǎng)絡(luò)分析工具的不斷增加，使得基于復(fù)雜網(wǎng)絡(luò)的研究成為腦電研究領(lǐng)域的熱點(diǎn)。

現(xiàn)有基于腦網(wǎng)絡(luò)的情感識(shí)別研究中，主要使用基于靜態(tài)連接的功能性腦網(wǎng)絡(luò)，即默認(rèn)構(gòu)建的腦網(wǎng)絡(luò)狀態(tài)在給定的較短的時(shí)間范圍內(nèi)是相對(duì)穩(wěn)定的，其拓?fù)溥B接、功能性表達(dá)不受時(shí)間的改變而變化。Tommaso等人構(gòu)建了基于相位同步的靜態(tài)腦功能連接，結(jié)果表明在悲傷期間全腦區(qū)的相位同步普遍增加，而高興狀態(tài)時(shí)額葉和枕葉間會(huì)產(chǎn)生較多的相位同步現(xiàn)象。Lee等人使用包括相干性在內(nèi)的三種不同的靜態(tài)功能連接方法對(duì)積極、中性、消極三種情緒進(jìn)行了分類，并最終取得了最高 79%的分類準(zhǔn)確率，結(jié)果表明基于腦網(wǎng)絡(luò)的情感分析有很大發(fā)展空間。近年研究發(fā)現(xiàn)，隨著時(shí)間的變化功能性腦網(wǎng)絡(luò)的狀態(tài)也會(huì)發(fā)生變化，而這種時(shí)變性改變能夠反映大腦自發(fā)活動(dòng)的非穩(wěn)定特征，即功能連接也是隨著時(shí)間變化而動(dòng)態(tài)變化的。Liu等人基于相位滯后指數(shù)構(gòu)建的靜態(tài)功能性腦網(wǎng)絡(luò)，顯示了功能連通性在研究與情感有關(guān)的大腦機(jī)制方面的潛力。大腦是在秒級(jí)與毫秒級(jí)動(dòng)態(tài)變化的，靜態(tài)連接的處理方式會(huì)失去大腦活動(dòng)在時(shí)間維度上的部分有效信息。因此，研究功能性腦網(wǎng)絡(luò)的動(dòng)態(tài)性是極其必要的。

大腦的功能連通性主要是將大腦不同區(qū)域的神經(jīng)細(xì)胞群活動(dòng)之間的瞬時(shí)相干性作為一個(gè)同步度量矩陣進(jìn)行分析。文獻(xiàn)[6-10]提出了各種連通性測(cè)量方法，這些方法在腦電信號(hào)的分析中均沒(méi)有直接可見(jiàn)的動(dòng)態(tài)特征，然而，網(wǎng)絡(luò)動(dòng)態(tài)分析對(duì)于理解全腦功能具有潛在的重要性。為了分析情感轉(zhuǎn)換過(guò)程的大腦動(dòng)態(tài)連接，該文對(duì)刺激過(guò)程中整個(gè)頭皮電極在不同頻段的同步模式進(jìn)行估計(jì)，并計(jì)算相應(yīng)的測(cè)量矩陣進(jìn)行動(dòng)態(tài)分析。主要貢獻(xiàn)有：提出了一個(gè)系統(tǒng)的分析框架，該框架包括相關(guān)性度量計(jì)算，腦狀態(tài)分割，代表性時(shí)間片段提取以及動(dòng)態(tài)網(wǎng)絡(luò)測(cè)量方法，評(píng)估驗(yàn)證這種方法能夠捕獲情緒轉(zhuǎn)換過(guò)程中的大腦動(dòng)力學(xué)特征。

1 基于腦電信號(hào)動(dòng)態(tài)功能性腦網(wǎng)絡(luò)

1.1 動(dòng)態(tài)功能連通性分析框架

基于動(dòng)態(tài)功能性腦網(wǎng)絡(luò)的情感分析框架如圖1所示。該框架由三個(gè)模塊構(gòu)成，分別是相關(guān)性度量模塊、腦狀態(tài)劃分和關(guān)鍵時(shí)間段提取模塊以及動(dòng)態(tài)網(wǎng)絡(luò)構(gòu)建和分析模塊。

圖1 動(dòng)態(tài)功能連通性分析框架

各功能模塊具體描述如下:

(A)模塊：

相關(guān)性度量模塊，對(duì)于每個(gè)時(shí)間點(diǎn)的EEG信號(hào)計(jì)算各通道間相關(guān)性，獲得

M

×

M

維度的鄰接矩陣，其中

M

表示的是腦電通道數(shù)。

(B)模塊：

腦狀態(tài)劃分和關(guān)鍵時(shí)間段提取模塊，計(jì)算任意兩個(gè)相鄰時(shí)間點(diǎn)的SVD矢量空間距離，將相似度低的時(shí)間點(diǎn)評(píng)估作為腦狀態(tài)變化點(diǎn)，基于此生成多個(gè)時(shí)間片段。該過(guò)程可以理解為狀態(tài)分割，也就是將非平穩(wěn)腦狀態(tài)劃分為多個(gè)穩(wěn)定狀態(tài)。

(C)模塊：

動(dòng)態(tài)網(wǎng)絡(luò)構(gòu)建和分析模塊，對(duì)于每個(gè)時(shí)間片段，通過(guò)構(gòu)建動(dòng)態(tài)功能性腦網(wǎng)絡(luò)來(lái)分析情感狀態(tài)。(a)采用2 s長(zhǎng)度的滑動(dòng)時(shí)間窗來(lái)提取相關(guān)有效時(shí)間序列；(b)通道間相關(guān)性：使用皮爾遜相關(guān)系數(shù)來(lái)衡量個(gè)電極間的連通性；(c)功率分布：在相關(guān)指定頻段下計(jì)算各個(gè)電極通道的功率分布；(d)在任意時(shí)間窗上的鄰接矩陣間計(jì)算相關(guān)性動(dòng)態(tài)矩陣(correlation dynamic matrix，CDM)，獲得網(wǎng)絡(luò)級(jí)動(dòng)態(tài)屬性；(e)計(jì)算任意兩時(shí)間窗的功率分布間的功率動(dòng)態(tài)(power dynamic matrix，PDM)矩陣，獲得網(wǎng)絡(luò)級(jí)動(dòng)態(tài)屬性；(f)提取動(dòng)態(tài)矩陣特征；(g)選用SVM進(jìn)行三分類情感識(shí)別任務(wù)。

1.2 功能連通性計(jì)算

功能性腦網(wǎng)絡(luò)是依據(jù)時(shí)間序列關(guān)系建立的無(wú)向網(wǎng)絡(luò)，利用復(fù)雜網(wǎng)絡(luò)理論有助于研究不同腦區(qū)之間的相互作用、拓?fù)浣Y(jié)構(gòu)和動(dòng)力學(xué)信息以及與生理功能和疾病產(chǎn)生的關(guān)系。皮爾遜相關(guān)系數(shù)是衡量時(shí)間序列之間無(wú)向關(guān)系的最經(jīng)典方法，該方法主要用于衡量?jī)蓚€(gè)時(shí)間序列

X

和

Y

間的線性關(guān)系，定義為兩個(gè)變量之間的協(xié)方差和標(biāo)準(zhǔn)差的商，如式(1):

(1)

其中，cov(

X

,

Y

)表示變量

X

和

Y

之間的協(xié)方差；

σ

σ

表示變量

X

和

Y

之間的標(biāo)準(zhǔn)差。又因式(2)～式(4)的緣故：

(2)

(3)

μX

=

EX

(4)

則對(duì)于給定的時(shí)間序列

X

(

t

)和

Y

(

t

)，在該時(shí)間段內(nèi)的皮爾遜相關(guān)系數(shù)如式(5)所示：

(5)

如果皮爾遜相關(guān)系數(shù)等于1，則說(shuō)明兩個(gè)序列

X

和

Y

呈正相關(guān)，等于-1說(shuō)明兩個(gè)序列呈負(fù)相關(guān)，等于0則不相關(guān)。

1.3 基于SVD向量空間距離的腦狀態(tài)分割

提取SVD矢量空間距離：腦狀態(tài)分割旨在將非平穩(wěn)的大腦動(dòng)態(tài)時(shí)間過(guò)程劃分為幾個(gè)準(zhǔn)穩(wěn)態(tài)的片段。采用SVD矢量空間距離方法來(lái)識(shí)別時(shí)間序列{

t

,

t

,…,

t

}中的異常點(diǎn)，SVD矢量空間距離表示為

d

(

t

)，如式(6)和式(7)所示：用來(lái)度量相鄰時(shí)間點(diǎn)

t

-1和

t

的SVD向量

U

(

t

-1)和

U

(

t

)之間的加權(quán)cos相似度，其中加權(quán)cos相似度計(jì)算如式(8)所示。

(6)

(7)

(8)

其中，

μ

(

t

-1)∈

U

(

t

-1)、

μ

(

t

)∈

U

(

t

)分別是對(duì)應(yīng)于最大奇異值

λ

(

t

-1)和

λ

(

t

)的向量，而cos

θ

表示cos的相似度。腦狀態(tài)分割：為了提取{

t

,

t

,…,

t

}時(shí)間序列中的異常轉(zhuǎn)換點(diǎn)，使用了基于重要性值的閾值化方法，該方法包括以下步驟：

(1)用對(duì)數(shù)正態(tài)分布擬合SVD向量空間距離，以估計(jì)比例、形狀和位置參數(shù)。

(2)設(shè)置初始閾值計(jì)算腦狀態(tài)轉(zhuǎn)換臨界點(diǎn)，并生成一組臨界的候選點(diǎn)。

則對(duì)于兩個(gè)連續(xù)的腦狀態(tài)轉(zhuǎn)換點(diǎn)cp和cp+1，在時(shí)間段(cp,cp+1)中定義一個(gè)大腦狀態(tài)

o

，該狀態(tài)不同于

o

-1但與

o

,…,

o

-2狀態(tài)類似。

1.4 動(dòng)態(tài)網(wǎng)絡(luò)分析

腦狀態(tài)分割完成之后提取代表性時(shí)間片段，采用基于相關(guān)模式和頻帶功率分布方法構(gòu)建不同網(wǎng)絡(luò)模式，利用滑動(dòng)窗口法估計(jì)動(dòng)態(tài)相關(guān)模式和動(dòng)態(tài)功率分布變化，然后提取網(wǎng)絡(luò)級(jí)的腦動(dòng)力學(xué)的多變量特征。為了量化動(dòng)態(tài)矩陣，將每個(gè)動(dòng)力學(xué)矩陣的矩陣均值和矩陣清晰度作為提取的動(dòng)態(tài)矩陣特征。

矩陣均值：動(dòng)態(tài)相關(guān)性矩陣的平均值，如式(9)所示：

(9)

矩陣清晰度：描述不同網(wǎng)絡(luò)狀態(tài)之間轉(zhuǎn)換的度量，如式(10)所示：

(10)

式(9)、式(10)中，

f

,=

f

(

x

,

y

)表示矩陣

x

行、

y

列的標(biāo)量值，

k

是矩陣的行數(shù)。

2 實(shí)驗(yàn)結(jié)果與分析

2.1 實(shí)驗(yàn)數(shù)據(jù)

實(shí)驗(yàn)選用SEED數(shù)據(jù)集，有15名被試者(7名男性，8名女性)參加實(shí)驗(yàn)，每名被試均進(jìn)行了3次實(shí)驗(yàn)，為了避免一次性長(zhǎng)時(shí)間采集數(shù)據(jù)給被試造成腦疲勞或者抵抗心理，在每次實(shí)驗(yàn)之后設(shè)置了一周的間隔休息時(shí)間。每次實(shí)驗(yàn)中每位被試均被要求觀看15個(gè)電影片段(每個(gè)4 min)，這些視頻片段均選自大眾好評(píng)的電影，將其作為刺激因子用于激發(fā)出情感，其中電影片段主要包括三個(gè)情感類別：愉悅(Positive)、中性(Neutral)和悲傷(Negative)。在被試觀看電影片段的同時(shí)，被試通過(guò)頭戴電極設(shè)備記錄下大腦活動(dòng)所產(chǎn)生的微弱電信號(hào)，其采樣頻率為1 000 Hz。SEED數(shù)據(jù)集采用的是國(guó)際10-20標(biāo)準(zhǔn)的62通道的電極帽設(shè)備，各電極在電極帽上的分布如圖2所示。

圖2 62通道的電極分布圖

2.2 結(jié)果與分析

選取被試djc的積極、中性和負(fù)面情緒的腦電信號(hào)片段，得出不同頻帶上的動(dòng)態(tài)相關(guān)性矩陣和動(dòng)態(tài)功率矩陣，如圖3～圖5所示。

圖3 愉悅狀態(tài)下10 s EEG片段的CDM和PDM

圖4 中性狀態(tài)下10 s EEG片段的CDM和PDM

圖5 悲傷狀態(tài)下10 s EEG片段的CDM和PDM

從圖3～圖5可以觀察到以下幾點(diǎn)：

三種不同情緒狀態(tài)下，基于頻帶功率分布所構(gòu)建的動(dòng)態(tài)腦網(wǎng)絡(luò)比基于皮爾遜相關(guān)性構(gòu)建的腦網(wǎng)絡(luò)隱含更多的時(shí)間維度信息，即不同時(shí)間窗間的PDM值高于CDM。

從頻帶上來(lái)說(shuō)，隨著頻段變高，且當(dāng)所有頻帶同時(shí)使用時(shí)，CDM和PDM的相關(guān)性就越高。這表明頻段越高，與情緒活動(dòng)的相關(guān)性就越大。

在all波段下，愉悅情緒和悲傷情緒的CDM矩陣基本一致，而PDM矩陣變化較大。這說(shuō)明情緒轉(zhuǎn)變過(guò)程中頻帶功率分配模式比網(wǎng)絡(luò)相關(guān)模式更能表征情緒變化。

三種不同情緒狀態(tài)下，PDM矩陣相比于CDM矩陣差異較大。這說(shuō)明在研究情緒轉(zhuǎn)變過(guò)程時(shí)應(yīng)重點(diǎn)關(guān)注功率分布動(dòng)態(tài)變化。

2.3 基于動(dòng)態(tài)矩陣的情感分析

為了驗(yàn)證基于通道間功率分布相關(guān)性的動(dòng)態(tài)網(wǎng)絡(luò)更能表征情緒變化過(guò)程，提取PDM和CDM矩陣的動(dòng)態(tài)特征，然后用SVM進(jìn)行分類識(shí)別并與其他方法進(jìn)行對(duì)比。該文選用不同頻段的兩種動(dòng)態(tài)矩陣的腦電特征來(lái)評(píng)價(jià)腦電情緒識(shí)別方法的性能，動(dòng)態(tài)矩陣特征分別為：矩陣均值和矩陣銳度。

從表1分析數(shù)據(jù)發(fā)現(xiàn)：動(dòng)態(tài)腦網(wǎng)絡(luò)特征相比靜態(tài)腦網(wǎng)絡(luò)特征在SVM方法下的情感識(shí)別率較高，這是因?yàn)閯?dòng)態(tài)網(wǎng)絡(luò)相比靜態(tài)網(wǎng)絡(luò)考慮到了情感轉(zhuǎn)換過(guò)程中有效的時(shí)間信息。

表1 SEED數(shù)據(jù)集上不同腦電特征在SVM下的平均準(zhǔn)確率 %

3 結(jié)束語(yǔ)

以辨別和描述人腦網(wǎng)絡(luò)的狀態(tài)特征為目標(biāo)，針對(duì)靜態(tài)功能連接會(huì)缺失與時(shí)間相關(guān)的有效信息，該文提出了一種基于相關(guān)模式和頻帶功率分布的動(dòng)態(tài)腦電情感分析方法。利用通道間相關(guān)性和各通道功率矢量分布相關(guān)性構(gòu)建網(wǎng)絡(luò)模式，并使用滑動(dòng)窗口方法來(lái)估計(jì)各窗口間的動(dòng)態(tài)相關(guān)性，在SEED數(shù)據(jù)集上進(jìn)行分類識(shí)別驗(yàn)證所提方法的合理性。

研究發(fā)現(xiàn)以下幾點(diǎn)：

采用通道間相關(guān)性和跨通道頻帶功率相關(guān)性方法，利用滑動(dòng)窗口的動(dòng)態(tài)數(shù)據(jù)分析均可完成全腦動(dòng)態(tài)功能網(wǎng)絡(luò)構(gòu)建。實(shí)驗(yàn)結(jié)果發(fā)現(xiàn)人腦在三種情緒狀態(tài)下功能性腦網(wǎng)絡(luò)的變化具有一定規(guī)律性，從而了驗(yàn)證方法的有效性。

在情感分析中PDM相比CDM具有較好的分類識(shí)別性能，這可能是由于腦電信號(hào)是一種非平穩(wěn)信號(hào)，而皮爾遜相關(guān)系數(shù)是用來(lái)測(cè)量信號(hào)間線性關(guān)系。