基于不同性別下的生理信號(hào)情感識(shí)別

梅貴文

（安徽建筑大學(xué)電子與信息工程學(xué)院，安徽合肥 230601)

0 引言

隨著時(shí)代的快速發(fā)展，人們的生活已經(jīng)離不開(kāi)人工智能。在早期的人機(jī)交互中，人們真實(shí)情感狀態(tài)的變化并不能被計(jì)算機(jī)所捕捉。因此，許多學(xué)者通過(guò)生理信號(hào)來(lái)進(jìn)行研究。過(guò)去，基于面部表情[1-2]、語(yǔ)音[3-5]情感識(shí)別等是最常見(jiàn)的情緒識(shí)別方法。然而，面部/語(yǔ)音情感識(shí)別的主要缺點(diǎn)是它依賴于幾個(gè)用戶相關(guān)參數(shù)，如文化背景、性別、年齡和種族。為了克服文化依賴問(wèn)題，一些研究人員使用生理信號(hào)來(lái)識(shí)別情緒[6-9]。這些信號(hào)源于自主神經(jīng)系統(tǒng)(ANS)，具有用戶無(wú)法觸發(fā)的優(yōu)點(diǎn)。常見(jiàn)的生理信號(hào)有皮膚電活動(dòng)(GSR)、皮膚溫度(ST)、心電圖(ECG)、腦電信號(hào)(EEG)和呼吸速率(RESP)[10]等，利用生理信號(hào)進(jìn)行情緒識(shí)別具有廣闊的應(yīng)用前景。

生理信號(hào)的情感計(jì)算主要是用于人機(jī)交互中，以此來(lái)準(zhǔn)確地識(shí)別人的情感狀態(tài)。如果計(jì)算機(jī)擁有了像人一樣的情感，將會(huì)大大便利人與機(jī)器的交流。除了在人機(jī)交互中，生理信號(hào)情感識(shí)別可以應(yīng)用很多行業(yè)。如教育、經(jīng)濟(jì)、科學(xué)、衛(wèi)生、生物醫(yī)藥等，尤其是在測(cè)謊儀和心理治療上得到廣泛應(yīng)用。在對(duì)嫌疑犯罪分子進(jìn)行審問(wèn)時(shí)，可以通過(guò)他們的情感變化來(lái)判斷是否說(shuō)謊。因此，生理信號(hào)情感識(shí)別有著廣闊的前景。

生理信號(hào)需要用到相應(yīng)的儀器才可以測(cè)量處理，然后對(duì)其分析，最后進(jìn)行情感識(shí)別。Healey J、Picard R等人提出了一種情感可穿戴計(jì)算機(jī)的新設(shè)計(jì)，它可以感知和響應(yīng)佩戴者的生理變化，可以幫助客戶完成音樂(lè)選擇，不僅包括所陳述的用戶偏好，還包括可能指示用戶當(dāng)前情緒的生理變量。在一些應(yīng)用領(lǐng)域上，研究人員希望可以及時(shí)地了解客戶當(dāng)前的情感、壓力等狀態(tài)，當(dāng)客戶在使用其設(shè)備時(shí)，以此來(lái)提供更方便的服務(wù)。

不僅僅是人機(jī)交互會(huì)從情感識(shí)別中獲益。在心理學(xué)領(lǐng)域，識(shí)別無(wú)法表達(dá)情感的患者情緒也會(huì)有所幫助。例如，孤獨(dú)癥譜系障礙患者或被診斷為閉鎖綜合征的患者可以從情緒識(shí)別中受益。此外，醫(yī)療保健部門越來(lái)越依賴技術(shù)應(yīng)用和設(shè)備?；颊吲c虛擬化身進(jìn)行互動(dòng)，虛擬化身能夠根據(jù)用戶的情緒進(jìn)行閱讀和調(diào)整，這可以提高他們的動(dòng)力。對(duì)于康復(fù)應(yīng)用，這甚至可以導(dǎo)致更快、更高的康復(fù)成功率，并提高生活質(zhì)量。情緒通過(guò)語(yǔ)言、語(yǔ)調(diào)、面部表情、肢體語(yǔ)言等方式進(jìn)行交流傳遞（作為自主神經(jīng)系統(tǒng)的反應(yīng)），如心率變異性、皮膚傳導(dǎo)率等，因?yàn)殡S著技術(shù)的發(fā)展，自動(dòng)情感識(shí)別的可能性也得到了提高。通過(guò)生理信號(hào)情感計(jì)算對(duì)孤獨(dú)癥患者進(jìn)行治療有著重要的意義。

情感計(jì)算對(duì)治療焦慮等心理疾病有著很大的幫助。焦慮是一種以生理變化為特征的心理狀態(tài)，例如緊張的感覺(jué)、焦慮的想法、血壓水平升高和出汗過(guò)多。由于出汗異常，皮膚的電性可能會(huì)在電導(dǎo)方面發(fā)生變化。因此，可以利用生理信號(hào)情感分析來(lái)對(duì)焦慮患者進(jìn)行檢測(cè)，可以準(zhǔn)確地發(fā)現(xiàn)他們的情緒狀態(tài)，方便心理醫(yī)生采取適當(dāng)?shù)闹委煷胧?/p>

1 相關(guān)概念

1.1 概述

近年來(lái)，情感計(jì)算成為人機(jī)交互中一個(gè)重要的研究方向，一直在尋找如何讓計(jì)算機(jī)擁有識(shí)別人類真實(shí)情感并做出及時(shí)反應(yīng)的能力。情感計(jì)算涉及多個(gè)方面，生理信號(hào)只是其中一個(gè)分支，由于有著獨(dú)特的優(yōu)勢(shì)，所以被眾多研究人員所關(guān)注。

基于生理信號(hào)識(shí)別人的情緒，其實(shí)是從生理信號(hào)中提取相關(guān)特征來(lái)識(shí)別人的情緒體驗(yàn)。首先刺激受試者的情緒體驗(yàn)，然后通過(guò)相關(guān)的生理信號(hào)設(shè)備采集受試者的生理信號(hào)數(shù)據(jù)例如腦電、呼吸、皮膚電等信號(hào)，對(duì)采集到的數(shù)據(jù)進(jìn)行去噪等處理，最后將其輸入合適的分類算法中，進(jìn)行情感識(shí)別。

1.2 情感定義

心理學(xué)領(lǐng)域?qū)η楦械难芯坑蓙?lái)已久，但至今仍無(wú)法達(dá)成統(tǒng)一的定義或理論模型。Jenkins 和Oatley 認(rèn)為情感是主觀體驗(yàn)和內(nèi)在的生理變化，是受到個(gè)體主觀意識(shí)等外在因素所引發(fā)的。Davidson 等人的觀點(diǎn)認(rèn)為，在短時(shí)間內(nèi)迅速變化的心理和生理現(xiàn)象反映了個(gè)體的適應(yīng)能力使他的身心適應(yīng)周圍不斷變化的環(huán)境。Sehere 等人認(rèn)為，情感與個(gè)體的性格、態(tài)度和立場(chǎng)是不一樣的，但它們也不是完全區(qū)分開(kāi)的，具有一定的聯(lián)系。

由此可見(jiàn)，情感只有在特定范圍內(nèi)才能達(dá)到一致的理解或定義。情感不僅是主觀意識(shí)的一種表現(xiàn)，同時(shí)也是心理和生理上的狀態(tài)，而且容易受到外界因素干擾，如種族、文化等因素的影響，因此很難給出一個(gè)規(guī)范的、普遍的確切定義或理論模型。

對(duì)于大多數(shù)人來(lái)說(shuō)，情感是存在一些相同特性的。比如，當(dāng)不幸的事情發(fā)生在自己的身上時(shí)，人會(huì)表現(xiàn)出悲傷狀態(tài)，而當(dāng)達(dá)到一個(gè)期待已久的目標(biāo)時(shí)，人又會(huì)表現(xiàn)出非常高興的狀態(tài)。由于情感的定義還沒(méi)有一個(gè)統(tǒng)一的定論，因此研究人員開(kāi)始研究情感的表達(dá)和關(guān)于情感狀態(tài)認(rèn)知的研究。目前在國(guó)際上通用的情感模型可以分為離散型和維度型。

1.3 皮電信號(hào)

人體內(nèi)含有多種生理信號(hào)，皮電信號(hào)只是其中的一種。本文采集的生理信號(hào)為皮電信號(hào)(GSR)。皮電信號(hào)作為一種重要的生理指標(biāo)，在許多研究領(lǐng)域和現(xiàn)實(shí)生活中都有應(yīng)用。皮膚汗腺功能的變化，會(huì)導(dǎo)致皮膚電阻發(fā)生變化，這種變化稱為皮膚電反應(yīng)。皮膚電反應(yīng)是一種廣泛使用的情緒反應(yīng)測(cè)量方法。

1.4 情感模型

目前，離散情感模型和維度情感模型是被研究者廣泛接受和認(rèn)可的兩種模型，同時(shí)也是國(guó)際上比較認(rèn)可的情感分類模型。在日常生活中，人們表現(xiàn)出來(lái)的高興、生氣等情感標(biāo)簽，都是屬于基本情感理論中的基本原始情感。人類情感是由多種不同的基本原始情感所構(gòu)成的。維度情感理論中，認(rèn)為情感是多維度的，情感狀態(tài)是情感維度空間中的不同點(diǎn)，人類情感由若干個(gè)情感維度構(gòu)成。因此，在該空間中都可以找到每種情感所對(duì)應(yīng)的映射點(diǎn)，情感狀態(tài)的強(qiáng)弱可以通過(guò)維度坐標(biāo)來(lái)判斷。本文使用的是離散情感模型。

2 實(shí)驗(yàn)過(guò)程

2.1 實(shí)驗(yàn)環(huán)境

數(shù)據(jù)采集的過(guò)程都是在實(shí)驗(yàn)室里完成的，室內(nèi)溫度、濕度、光照均在正常情況下保持不變。因?yàn)樯硇盘?hào)容易受到外界因素的干擾而影響數(shù)據(jù)的有效性，因此在整個(gè)采集數(shù)據(jù)的過(guò)程中，實(shí)驗(yàn)室除了參與者之外沒(méi)有其他人員，同時(shí)實(shí)驗(yàn)室的環(huán)境是干凈整潔的。

2.2 情緒誘發(fā)素材庫(kù)的建立

通過(guò)呈現(xiàn)情感材料來(lái)喚起情感，或者營(yíng)造一個(gè)情感情境來(lái)喚起情感，這是目前最常用的情感誘導(dǎo)方法。由于營(yíng)造情感情境的要求較高，需要專業(yè)人員指導(dǎo)，幫助參與者回憶或想象，讓他們仿佛身臨其境表現(xiàn)出對(duì)應(yīng)的情緒。同時(shí)對(duì)參與者本身的要求也是較高的，因此本文通過(guò)呈現(xiàn)情感材料來(lái)喚起情感。

目前，面部表情圖片、音樂(lè)以及視頻等素材被廣泛用于激發(fā)被試情感的實(shí)驗(yàn)室中。通過(guò)圖片和音樂(lè)可以誘發(fā)不同的情緒，Petrantonakis 用圖片作為刺激源來(lái)激發(fā)情感，通過(guò)EEG信號(hào)來(lái)評(píng)估每個(gè)情緒激發(fā)試驗(yàn)的情緒影響。Kim 利用不同的生理信號(hào)研究了音樂(lè)誘發(fā)的情緒識(shí)別。Angela Chan 研究了遠(yuǎn)距離觸摸如何影響一個(gè)人的音樂(lè)情感體驗(yàn)，以及這種體驗(yàn)如何依賴于觸摸的發(fā)起者和接受者之間的關(guān)系，得出熟悉的觸覺(jué)可以顯著增強(qiáng)音樂(lè)的積極和消極影響。Lin根據(jù)音樂(lè)誘發(fā)了不同的情緒，探索了大腦活動(dòng)與情緒狀態(tài)之間的相關(guān)性。Gross 等人將剪輯后的電影片段，用于被試者來(lái)觀看，具有良好的誘發(fā)情感效果。

通過(guò)圖片作為刺激源激發(fā)情感，數(shù)據(jù)材料容易獲得但無(wú)法持續(xù)激發(fā)測(cè)試者的情感。音樂(lè)作為刺激源來(lái)誘發(fā)情感可以在一定程度上持續(xù)誘導(dǎo)受試者的情緒，并不能準(zhǔn)確地把每類情感都激發(fā)出來(lái)。經(jīng)過(guò)眾多學(xué)者的研究發(fā)現(xiàn)，用視頻片段作為激勵(lì)源來(lái)誘發(fā)被試的情感比圖片或者音樂(lè)更加有效。因此，通過(guò)觀看情感視頻作為刺激源來(lái)激發(fā)情感，可以更好地激發(fā)被試的情感。

2.3 采集過(guò)程

因?yàn)閭€(gè)體的差異性，參與者在被情感誘發(fā)因素刺激時(shí)，表現(xiàn)出的情感可能是不一樣的，所以為了盡可能減少實(shí)驗(yàn)的差別性，本實(shí)驗(yàn)的參與者都是在校研究生，一共20人(10名男生、10名女生），年齡差不超過(guò)4歲。為了采集真實(shí)有效的皮電信號(hào)，在進(jìn)行實(shí)驗(yàn)之前，告知參與者保持充足的睡眠，身體沒(méi)有不舒服等狀況，同時(shí)將手機(jī)放在離實(shí)驗(yàn)很遠(yuǎn)的一邊，避免電磁場(chǎng)帶來(lái)的干擾。實(shí)驗(yàn)前，要求參與者填寫調(diào)查問(wèn)卷，其中包括姓名、性別、年齡等基本信息，并填寫SCL-90 評(píng)估量表進(jìn)行心理測(cè)評(píng)確保心理健康狀況良好。還要給參與者講解在實(shí)驗(yàn)過(guò)程中需要注意哪些事項(xiàng)，確保實(shí)驗(yàn)準(zhǔn)確地進(jìn)行下去。

圖1 數(shù)據(jù)采集流程

將實(shí)驗(yàn)分為男女兩組，在實(shí)驗(yàn)開(kāi)始之前，讓被試先平緩心情，以確保情緒處于平靜狀態(tài)，然后左手戴上采集皮電信號(hào)的設(shè)備，檢測(cè)被試的電信號(hào)波形是否趨于平穩(wěn)，待其平穩(wěn)后開(kāi)始實(shí)驗(yàn)。然后給被試觀看誘發(fā)情感的視頻片段，被試在保持不運(yùn)動(dòng)的情況下坐在椅子上依次觀看視頻片段，視頻都是不超過(guò)2分鐘的片段，被試在看完一個(gè)激勵(lì)視頻后根據(jù)自己的真實(shí)感受填寫PAD 情緒量表[10-11]，隨后把采集設(shè)備取下休息兩分鐘，讓設(shè)備保持干燥，避免影響采集結(jié)果。在觀看下一種情感片段前，先測(cè)量被試的電信號(hào)波形，確保其情緒處于平穩(wěn)狀態(tài)，然后開(kāi)始采集數(shù)據(jù)。重復(fù)上述的操作，依次看完5個(gè)情感激發(fā)片段。為了使激勵(lì)效果達(dá)到最好，按照喜悅、悲傷、憤怒、恐懼、平靜的順序讓被試觀看。最后根據(jù)被試填寫的PAD 量表篩選出較好的數(shù)據(jù)。

按照上述步驟分別采集男女兩組實(shí)驗(yàn)人員的皮電信號(hào)以及他們觀看5個(gè)情感激勵(lì)視頻后填寫的主觀PAD量表，并對(duì)此進(jìn)行分析。

圖2 不同情感素材對(duì)男女生的激發(fā)率

通過(guò)對(duì)男女兩組被試填寫的PAD 量表進(jìn)行分析得到，男生在觀看喜悅的激勵(lì)視頻后，受到的影響比女生大，而女生則在觀看恐懼和悲傷的視頻后，所受到的影響比男生更明顯。結(jié)果表明性別不同，對(duì)不同情感的影響是不一樣的。

2.4 實(shí)驗(yàn)分析

將采集的男女兩組皮電信號(hào)數(shù)據(jù)進(jìn)行去噪等處理，使GSR 信號(hào)變得光滑，然后對(duì)其均值化處理提取統(tǒng)計(jì)值特征，將處理后的運(yùn)動(dòng)前和運(yùn)動(dòng)后數(shù)據(jù)，分別按照8:2的比例分為訓(xùn)練集和測(cè)試集。然后用訓(xùn)練集來(lái)訓(xùn)練SVM模型，最后將測(cè)試集放到訓(xùn)練后的模型中進(jìn)行分類，得到最終的識(shí)別結(jié)果。實(shí)驗(yàn)結(jié)果表明，男生喜悅的識(shí)別率高于女生喜悅的識(shí)別率，女生在恐懼和悲傷的識(shí)別率上要高于男生在恐懼和悲傷的識(shí)別率。在一定程度上女生相較于男生更容易激發(fā)某類情感，而男生并不容易激發(fā)，說(shuō)明了性別不同對(duì)情感的影響是不一樣的。

3 結(jié)束語(yǔ)

通過(guò)本實(shí)驗(yàn)的研究得知，不同性別對(duì)不同情感的影響是不一樣的，通過(guò)生理信號(hào)來(lái)識(shí)別情感更加真實(shí)有效。因此，可以通過(guò)生理信號(hào)檢測(cè)男女生的情感狀態(tài)并做出及時(shí)的應(yīng)對(duì)措施，來(lái)改善他們的情感狀態(tài)。