基于皮膚電信號與文本信息的雙模態(tài)情感識別系統(tǒng)①

張力行,葉 寧,2,黃海平,2,王汝傳,2

1(南京郵電大學(xué) 計(jì)算機(jī)學(xué)院、軟件學(xué)院、網(wǎng)絡(luò)空間安全學(xué)院,南京 210023)

2(南京郵電大學(xué) 江蘇省無線傳感網(wǎng)高技術(shù)重點(diǎn)實(shí)驗(yàn)室,南京 210023)

情感計(jì)算不僅要讓現(xiàn)在的計(jì)算機(jī)擁有智力能力,還要讓它具備一定的情感交互能力,這樣有利于人們與計(jì)算機(jī)有更好的交流.要實(shí)現(xiàn)情感計(jì)算首要問題是情感識別,情感識別直接影響著能否實(shí)現(xiàn)情感計(jì)算[1].皮膚電信號作為生理參數(shù)只受自主神經(jīng)系統(tǒng)和內(nèi)分泌系統(tǒng)的分配,而且它相比其他生理參數(shù)更易于采集.但是它的缺陷也同樣明顯,如信號弱,抗干擾能力差等.文本信息作為人類最常用的交流手段之一,其本身蘊(yùn)藏著豐富的信息資源,但是文本信息的情感識別也存在著很多缺陷,如主觀性強(qiáng)等.所以這兩種單模態(tài)的情感識別系統(tǒng)顯然不能保證情感識別系統(tǒng)的準(zhǔn)確性.但是將這兩類不同類型信號的模態(tài)融合互補(bǔ)了單模態(tài)情感識別的缺陷,提高了分類器的識別準(zhǔn)確度.它的優(yōu)勢在于,當(dāng)一個(gè)通道的特征或識別過程受到影響或者缺失時(shí),另一個(gè)通道能很好的進(jìn)行補(bǔ)足,這樣識別系統(tǒng)就會有很好的準(zhǔn)確性和魯棒性.

2004年,Kim等人將多生理參數(shù)進(jìn)行融合,他們使用音頻和視頻作為實(shí)驗(yàn)素材釆集被試的心電信號、脈搏信號、皮膚溫度和皮膚電導(dǎo)信號,進(jìn)行情感識別研究,識別率達(dá)到了78.4%[2].2004年東京大學(xué)的Wang等[3]使用生理信號的傳感器和動畫文本實(shí)現(xiàn)在線交流情感.2006年,Lee等人[4]融合心電信號和皮膚電信號這兩類生理參數(shù)識別人類情感,情感識別率達(dá)到80.2%.2017年陳鵬展等人[5]通過融合語音信號與文本信息這兩類信號也提高了識別率.

本文以皮膚電信號和文本信號這兩類不同類型的信號為基礎(chǔ)[6],提出了它們各自的特征情感分析和融合算法[7].并對各自的識別結(jié)果進(jìn)行加權(quán)融合,構(gòu)建雙模態(tài)分類器.并對融合之后的識別率與單模態(tài)情況下的識別率和Kim,Lee等人利用多生理參數(shù)融合識別情感進(jìn)行了比較.實(shí)驗(yàn)結(jié)果表明不同類型的雙模態(tài)情感識別系統(tǒng)具有更高的識別率.

1 特征提取

1.1 皮膚電信號的特征提取與數(shù)據(jù)處理

由于皮膚電信號比較微弱,易受到機(jī)器干擾,肌電干擾,電磁干擾等的影響,所以要對采集的皮膚電信號去噪處理.本文采用小波變換進(jìn)行去噪處理[8].小波變化有其特有的優(yōu)勢,它在低頻部分和高頻部分對與頻率分辨率和時(shí)間分辨率所展現(xiàn)出來的處理效果完全不同,前者具有較高的頻率分辨率和較低的時(shí)間分辨率,而后者具有較高的時(shí)間分辨率和較低的頻率分辨率.因此小波變換對于信號的自適應(yīng)性非常強(qiáng),尤其適用于生理信號[9]的分析.信號連續(xù)小波變換的定義如下:

連續(xù)小波變換存在逆變換的條件是存在容許條件,容許條件公式:

連續(xù)小波變換的逆變換公式為:

但是在實(shí)際應(yīng)用中,我們通常要將連續(xù)小波變換化為離散小波變換,主要是為了方便計(jì)算機(jī)進(jìn)行分析、處理.通過對小波基函數(shù)中的進(jìn)行冪級數(shù)離散化,對進(jìn)行離散取值,即可得到:

則離散小波變換為:

對信號進(jìn)行小波變換離散化實(shí)質(zhì)上就是對信號分解,可以得到信號的低頻分量和信號的高頻分量.其中可以繼續(xù)小波分解為低頻信號和高頻信號.本文采用了wdencmp函數(shù)實(shí)現(xiàn)信號去噪.去噪前后的信號如圖1和圖2所示.

圖1 原始皮膚電信號圖

圖2 去噪后皮膚電信號圖

在對信號處理之后,刪去無效數(shù)據(jù),留下有效數(shù)據(jù).參照德國 Augsburg 大學(xué)[10]特征提取的方法,提取了信號的時(shí)域和頻域中最能代表皮膚電信號變化的統(tǒng)計(jì)值作為情感識別研究的原始特征.在時(shí)域中,提取了皮膚電信號的: 平均值,中位數(shù),標(biāo)準(zhǔn)差,最大值,最小值,最小值比率,最大值比率,最大最小差值,一階差分的均值,一階差分的中位數(shù),一階差分的標(biāo)準(zhǔn)差,一階差分的最大值,一階差分的最小值,一階差分的最小值比率,一階差分的最大值比率,二階差分的均值,二階差分的中位數(shù),二階差分的標(biāo)準(zhǔn)差,二階差分的最大值,二階差分的最小值,二階差分的最小值比率,二階差分的最大值比率22個(gè)時(shí)域特征.信號的一階差分檢測局部極值點(diǎn),二階差分檢測局部拐點(diǎn).為了提取皮膚電信號的頻域特征,先對皮膚電信號進(jìn)行離散傅里葉變換,然后計(jì)算頻率均值、中值、標(biāo)準(zhǔn)差、最大值、最小值、最大最小差值,得到6個(gè)頻域特征.根據(jù)公式提取的28的個(gè)統(tǒng)計(jì)特征的特征值的取值范圍處在不同的數(shù)量級,為了方便后續(xù)處理,所以對他們進(jìn)行歸一化處理,使各特征值的取值范圍在(0 ，1)之間.

在提取特征過程中涉及到的主要計(jì)算公式如下:

(1)均值

(2) 標(biāo)準(zhǔn)差

(3) 歸一化

(4) 一階差分

(5) 一階差分的絕對值均值

(6) 二階差分

(7) 二階差分絕對值

(8) 最小值比率

(9) 最大值比率

在以上各式中N表示采集的信號的總個(gè)數(shù),Xn表示第n次 采集的信號,Min表 示采集信號的最小值,Max表示采集信號的最大值.

1.2 文本信息的特征提取

文本信息的特征提取主要是對文本進(jìn)行語法和語義的分析,通過對語句的拆分、去除冗余信息、去除停當(dāng)詞、分詞、標(biāo)注詞性等提取出表達(dá)文本情感傾向性的情感詞.采用大連理工大學(xué)信息檢索研究室的情感詞匯本體庫[11]來完成上述句子分詞工作.即把一個(gè)完整的句子拆分成了若干個(gè)單獨(dú)的情感詞.采用布隆過濾器去除掉所有文本的停用詞,以減少文本特征向量的維度和不必要的運(yùn)算量.

式中,p(Ak)表示Ak類出現(xiàn)的概率表示名詞出現(xiàn)在訓(xùn)練樣本集和不出現(xiàn)樣本訓(xùn)練集的概率.表示在名詞出現(xiàn)和不出現(xiàn)時(shí)出現(xiàn)類的概率.值越高,對句子情感的判別幫助越大.

2 分類器模型創(chuàng)建

2.1 單通道皮膚電情感識別模型

單通道皮膚電情感識別模型創(chuàng)建思想是: 對原始信號進(jìn)行小波去噪處理之后留下有效數(shù)據(jù)進(jìn)行特征選擇,以最少的特征個(gè)數(shù)和最高的識別率來識別情感.再通過創(chuàng)建訓(xùn)練樣本與測試樣本,利用人工神經(jīng)網(wǎng)絡(luò)算法[13]對情感進(jìn)行分類,獲得皮膚電情感識別結(jié)果.基于單通道的皮膚電信號模型分類器的識別框圖如圖3所示.

圖3 皮膚電情感識別圖

2.2 單通道文本情感識別模型

文本情感識別模型的主要思想是通過大連理工大學(xué)信息檢索研究室提供的中文情感詞庫對句子中的情感關(guān)鍵詞進(jìn)行匹配判斷.通過對文本內(nèi)容進(jìn)行預(yù)處理、特征提取和向量轉(zhuǎn)化,然后通過高斯混合模型分類器進(jìn)行情感狀態(tài)的分類識別.基于單通道文本分類器識別框圖如圖4所示.

2.3 雙模態(tài)融合識別模型

本文對兩種單模態(tài)分類器分別采用了人工神經(jīng)網(wǎng)絡(luò)算法和高斯混合模型算法來進(jìn)行4種情感識別.即高興、悲傷、憤怒、平靜.識別完成后再利用改進(jìn)的高斯混合模型進(jìn)行判決層融合[14].高斯混合模型是個(gè)成員密度的加權(quán)和,公式如下:

圖4 文本情感識別圖

完整的高斯混合分布密度公式如下:

其中,GMM模型的參數(shù)估計(jì)采用EM算法迭代完成,使得GMM表示的樣本分布概率最佳.由于單通道在工作時(shí)都會存在一定干擾,當(dāng)文本信息分類器受到噪聲干擾,那么他的性能就會下降; 皮膚電信號受到儀器采集的影響,如抖動,碰撞或者儀器本身受到的基線漂移干擾,此時(shí)性能都會有所下降.此時(shí)就要考慮在融合前各個(gè)子分類器的置信度,所以本文采取自適應(yīng)加權(quán)融合算法讓兩個(gè)通道信息進(jìn)更新和融合.各分類器加權(quán)系數(shù)[15]根據(jù)其對當(dāng)前樣本可靠性進(jìn)行動態(tài)調(diào)整,置信度高的分類器所占權(quán)重更高,算法以自適應(yīng)的方式找到每個(gè)分類器的最優(yōu)加權(quán)因子,利用得到的加權(quán)因子實(shí)現(xiàn)雙模態(tài)數(shù)據(jù)融合,獲得最終的分類結(jié)果.兩個(gè)子分類器給出的情感類的GMM似然度記為P(z|λk),這里我們假設(shè)待測樣本為,代表四種情感類別,取值1–4.不同情感類別得出的最大似然度直接決該分類器的置信區(qū)間.子分類器的融合權(quán)值公式如下:

子分類器的分類結(jié)果公式如下:

子分類器的判決置信度的高低與樣本所處概率分布模型的非重疊區(qū)域有關(guān),似然值越分散,判決置信度越高,性能越好.最后通過對計(jì)算出來的兩個(gè)子分類器的判決進(jìn)行加權(quán)融合,加權(quán)融合公式如下:

式中,Y為融合之后的最終結(jié)果,An為子分類器結(jié)果.

雙模態(tài)混合模型識別框圖如圖5所示.

圖5 雙模態(tài)情感識別圖

3 實(shí)驗(yàn)結(jié)果分析

實(shí)驗(yàn)中采用高斯混合模型作為融合算法,通過4種類別的訓(xùn)練樣本集和測試樣本集完成對兩個(gè)單模態(tài)和一個(gè)多模態(tài)分類器實(shí)驗(yàn),4種類別包括高興、悲傷、憤怒、平靜.每個(gè)訓(xùn)練樣本集包括每種情感的150條皮膚電樣本與150條文本信息樣本,每個(gè)測試樣本各含50條樣本.

通過對三種模態(tài),即兩個(gè)單模態(tài)和一個(gè)融合模態(tài)的實(shí)驗(yàn)之后,圖6顯示了三個(gè)不同模型產(chǎn)生的實(shí)驗(yàn)結(jié)果.實(shí)驗(yàn)表明,融合之后的情感識別模型對每類情感識別精度明顯提高.平均識別率也由單模態(tài)的70%,80%提高到雙模態(tài)融合后的90%.

圖6 3種方法識別率對比圖

而對比于多生理參數(shù)融合,2004年,Kim等人對多生理參數(shù)進(jìn)行融合,他們使用音頻和視頻作為實(shí)驗(yàn)素材釆集被試的心電信號、脈搏信號、皮膚溫度和皮膚電導(dǎo)信號,進(jìn)行情感識別研究,識別率達(dá)到了78.4%.2006年,Lee等人融合心電信號和皮膚電信號這兩類生理參數(shù)識別人類情感,識別率達(dá)到了80.2%.

實(shí)驗(yàn)結(jié)果表明,兩種不同類型信號模態(tài)融合的情感識別,不僅可以提高各自單模態(tài)的情感識別率,而且較之于多模態(tài)生理參數(shù)的融合情感識別率也大幅度提高.

表1顯示采取雙模態(tài)情感識別系統(tǒng)之后對四類情感的誤判率只有6%,10%,8%,14%.比較于單模態(tài)的情感識別率有了大大的提高.

表1 雙模態(tài)融合算法識別率(單位: %)

4 結(jié)論與展望

本文采用加權(quán)融合的方式將皮膚電信號識別情感與文本信息識別情感的結(jié)果進(jìn)行融合,與僅利用皮膚電信號識別情感和僅利用文本信息識別情感進(jìn)行了比較,結(jié)果表明無論是識別率還是識別精度和魯棒性都得到了大幅提高.本文為當(dāng)前單純的利用一種方式識別情感提供了一種新的思路,實(shí)驗(yàn)也證明是確實(shí)可行的.

目前的情感識別研究要么采取的是單通道情感識別,要么采取的是多生理信號的融合或同一類型不同特征的融合,而本文將生理信號與文本信息兩種不同類型的信號進(jìn)行加權(quán)融合,通過對這兩種不同來源數(shù)據(jù)的分類結(jié)果再次融合,實(shí)現(xiàn)了不同類型信號情感的雙模態(tài)識別系統(tǒng)的研究.通過對單模態(tài)皮膚電信號、文本信息的分類實(shí)驗(yàn)以及雙模態(tài)融合后的情感識別實(shí)驗(yàn),實(shí)驗(yàn)結(jié)果表明,相比于一般的單模態(tài)和多生理信號融合的情感識別,該種模式系統(tǒng)識別率更高,魯棒性更強(qiáng).