情感智能與心理生理計(jì)算

胡 斌，周穎慧，陶小梅,4

（1. 蘭州大學(xué) 信息科學(xué)與工程學(xué)院，甘肅 蘭州 730000；2. 蘭州大學(xué) 甘肅省可穿戴裝備重點(diǎn)實(shí)驗(yàn)室，甘肅 蘭州 730000；3. 桂林理工大學(xué) 信息科學(xué)與工程學(xué)院，廣西 桂林 541004；4. 桂林理工大學(xué) 廣西嵌入式技術(shù)與智能系統(tǒng)重點(diǎn)實(shí)驗(yàn)室，廣西 桂林 541004）

自從1956年在達(dá)特茅斯會(huì)議上提出了“人工智能”的概念以來(lái)，人工智能的發(fā)展經(jīng)歷了起起落落，近年來(lái)人工智能進(jìn)入了第三次發(fā)展浪潮。人工智能發(fā)展至今經(jīng)歷了3個(gè)階段。第一個(gè)階段是計(jì)算智能，這個(gè)階段的人工智能能存、能查、能算，IBM研發(fā)的人工智能“深藍(lán)”就是計(jì)算智能的代表，1997年“深藍(lán)”通過(guò)窮舉搜索博弈樹(shù)在象棋比賽中戰(zhàn)勝了國(guó)際象棋世界冠軍；第二個(gè)階段是感知智能，此時(shí)的人工智能能看、能聽(tīng)、能說(shuō)，具體包括圖像識(shí)別、語(yǔ)音識(shí)別、語(yǔ)音合成和自動(dòng)駕駛等；第三個(gè)階段是認(rèn)知智能，認(rèn)知智能是在感知智能的基礎(chǔ)上讓機(jī)器具有主動(dòng)思考和理解的能力，讓機(jī)器不僅能夠模仿人類(lèi)的行為還研究行為背后的心智活動(dòng)，這個(gè)階段的機(jī)器能實(shí)現(xiàn)語(yǔ)義理解、知識(shí)表達(dá)、聯(lián)想理解、智能問(wèn)答、自主學(xué)習(xí)等功能。

霍華德·加德納[1]提出多元智能理論，定義智能是人在特定情景中解決問(wèn)題并有所創(chuàng)造的能力，他認(rèn)為人擁有多種智能用來(lái)解決不同的問(wèn)題，其中包括人際智能、自我認(rèn)識(shí)智能等8項(xiàng)智能。彼得·沙洛維[2]提出了情緒智力的概念，情緒智力是指?jìng)€(gè)體能夠識(shí)別自己和他人情緒，并利用這些信息指導(dǎo)自己的思想和行為的能力。人工智能的研究者們把多元智能理論與情緒智力的概念引入人工智能的研究中，于是就產(chǎn)生了認(rèn)知智能的新方向——情感智能，過(guò)程如圖1所示。情感智能立足于人工智能已有的技術(shù)，并在此基礎(chǔ)上增強(qiáng)人工智能理解情感、產(chǎn)生情感與表達(dá)情感的能力，以構(gòu)造有情感、能共情的類(lèi)人的智能。情感智能的引入使人工智能不僅具有智商，還具有情商。心理生理計(jì)算是情感智能研究中的一種研究方法，通過(guò)分析計(jì)算生理信號(hào)來(lái)研究人心理活動(dòng)與生理變化之間的關(guān)系。情感智能與心理生理計(jì)算的研究對(duì)人工智能的發(fā)展有著重大的意義，具有情感智能的智能機(jī)器人、智能虛擬助手可以更好地理解用戶(hù)的需求、與用戶(hù)更好地交互。

圖1 多元智能理論與情緒智力Fig.1 The theory of multiple intelligences and Emotional Intelligence

1 情感智能

1.1 情感智能及其相關(guān)研究

情感智能是機(jī)器通過(guò)分析用戶(hù)的面部表情、生理信號(hào)、眼動(dòng)、語(yǔ)音、社交媒體上發(fā)布的內(nèi)容等多種模態(tài)的信息發(fā)現(xiàn)和識(shí)別人類(lèi)的情感，理解情感、產(chǎn)生共情并把情感表達(dá)出來(lái)。情感智能通過(guò)給機(jī)器賦予情感以達(dá)到和諧的人機(jī)交互，可以應(yīng)用于醫(yī)療、教育、生產(chǎn)、商業(yè)、娛樂(lè)、安保等多種領(lǐng)域。

情感智能的研究?jī)?nèi)容如圖2所示，包括發(fā)現(xiàn)與識(shí)別情感、理解情感和情感表達(dá)。

圖2 情感智能研究?jī)?nèi)容Fig.2 Research contents of Emotional Intelligence

發(fā)現(xiàn)與識(shí)別情感是指通過(guò)攝像頭、麥克風(fēng)等傳感器采集面部表情、眼動(dòng)、語(yǔ)音、文本、生理信號(hào)等情感數(shù)據(jù)后，利用情感計(jì)算與心理生理計(jì)算技術(shù)感知與識(shí)別人類(lèi)情感。情感數(shù)據(jù)采集結(jié)束后，利用情感計(jì)算技術(shù)對(duì)情感數(shù)據(jù)進(jìn)行分析，通過(guò)情感分類(lèi)模型識(shí)別人類(lèi)情感[3]，過(guò)程如圖3所示(圖3中二維情感模型引用于文獻(xiàn)[4])。情感分類(lèi)模型分為離散模型和維度模型。離散模型通過(guò)幾種基本情緒組成人類(lèi)的情感，其中以保羅·艾克曼的情緒理論影響最大。艾克曼提出人類(lèi)存在6種基本情感：憤怒、厭惡、恐懼、快樂(lè)、悲傷和驚訝，其他情感都可以由這6種基本情感構(gòu)成[5]。維度模型分為一維、二維、三維和多維情感模型，維度模型是通過(guò)在維度空間中的不同位置表達(dá)不同的情感，經(jīng)典的模型有PAD三維情感模型(Pleasure-Arousal-Dominance，愉悅度-激活度-優(yōu)勢(shì)度)[6]、普拉奇克情緒錐球模型[7]等。

圖3 發(fā)現(xiàn)與識(shí)別情感Fig.3 Discovering and recognizing emotions

理解情感是指使機(jī)器理解了情感產(chǎn)生的原因，以及情感是否符合所處的環(huán)境。心理生理計(jì)算技術(shù)可以根據(jù)采集到的情感數(shù)據(jù)感知人類(lèi)情感變化，理解人類(lèi)心理狀態(tài)，判斷其是否存在心境障礙。心境障礙是一種情感障礙，心境障礙患者的情感反應(yīng)比正常人的情感反應(yīng)更夸張與混亂。心理生理計(jì)算技術(shù)可以在識(shí)別與理解人類(lèi)情感后，根據(jù)反應(yīng)強(qiáng)烈程度與持續(xù)時(shí)間以及情感是否與所處環(huán)境相符來(lái)判斷其是否存在心境障礙，參見(jiàn)圖4(圖中情感分類(lèi)模型引用于文獻(xiàn)[8])。

圖4 心境障礙的判斷Fig.4 Judgment of mood disorder

情感表達(dá)是在理解情感與情感產(chǎn)生的原因后，根據(jù)情感產(chǎn)生的原因產(chǎn)生相應(yīng)的、恰當(dāng)?shù)姆答?，并通過(guò)虛擬角色、機(jī)器人或其他交互設(shè)備向人類(lèi)表達(dá)產(chǎn)生的情感?？梢跃C合利用肢體動(dòng)作、面部表情、語(yǔ)氣等模態(tài)表達(dá)情感和人類(lèi)進(jìn)行情感交互。情感表達(dá)是和諧的人機(jī)交互中的關(guān)鍵環(huán)節(jié)，在與人類(lèi)交互過(guò)程中機(jī)器能夠表達(dá)情感，對(duì)人類(lèi)的情感進(jìn)行恰當(dāng)?shù)姆答?，可以提升人機(jī)交互的和諧程度。

1.2 情感智能的機(jī)遇與關(guān)鍵問(wèn)題

1.2.1 機(jī)遇

2017年國(guó)務(wù)院發(fā)布的《新一代人工智能發(fā)展規(guī)劃》中提到要針對(duì)改善人際溝通障礙的需求，開(kāi)發(fā)能理解人的需求、能進(jìn)行情感交互的智能助理產(chǎn)品[9]；斯坦福大學(xué)人工智能百年研究的首份報(bào)告：《2030年的人工智能與生活》里也提到未來(lái)的人工智能交互系統(tǒng)將有情感、同理心等新特性[10]；Wise guys reports的關(guān)于國(guó)際情感計(jì)算的調(diào)查報(bào)告中也提到傳統(tǒng)科技巨頭和新興科技企業(yè)都在產(chǎn)品中應(yīng)用了情感智能，并且預(yù)計(jì)到2022年情感智能市場(chǎng)規(guī)模將以42.63%的復(fù)合年增長(zhǎng)率增長(zhǎng)至410億美元[11]。這些都為情感智能的發(fā)展提供了機(jī)遇，也顯示出了人工智能向情感智能方向發(fā)展的趨勢(shì)。

1.2.2 關(guān)鍵問(wèn)題

現(xiàn)階段情感智能研究面臨著3個(gè)關(guān)鍵問(wèn)題，第一個(gè)關(guān)鍵問(wèn)題是如何有效識(shí)別情感狀態(tài)，第二個(gè)關(guān)鍵問(wèn)題是如何使機(jī)器擁有情感，第三個(gè)關(guān)鍵問(wèn)題是隱私、安全和倫理風(fēng)險(xiǎn)。

情感狀態(tài)的有效識(shí)別問(wèn)題。目前，對(duì)情感狀態(tài)的識(shí)別一般是通過(guò)采集情感數(shù)據(jù)，利用情感分類(lèi)模型對(duì)情感數(shù)據(jù)進(jìn)行分類(lèi)。隨著情感數(shù)據(jù)采集方式的增多，為了得到更有效與可靠的情感狀態(tài)識(shí)別結(jié)果，情感智能的研究采取了收集面部表情、語(yǔ)音、生理信號(hào)等多種生理或行為信號(hào)的方法，但這些數(shù)據(jù)異構(gòu)龐雜、難以分析。此外，因?yàn)椴煌瑐€(gè)體對(duì)同樣事情的認(rèn)知不同，所以不同個(gè)體對(duì)情感或心理狀態(tài)的表達(dá)具有差異性。而且情感的表達(dá)與情感之前的映射關(guān)系十分復(fù)雜，目前識(shí)別情感的方法與模型尚不能解決這些問(wèn)題，目前的數(shù)據(jù)采集都是在實(shí)驗(yàn)室環(huán)境中采集情感數(shù)據(jù)，但情感依賴(lài)于特定上下文，開(kāi)放式動(dòng)態(tài)環(huán)境下如何保證情感識(shí)別技術(shù)的魯棒性問(wèn)題仍需研究。

如何使機(jī)器擁有情感的問(wèn)題。在人工智能發(fā)展過(guò)程中，經(jīng)過(guò)多位研究者的研究，已經(jīng)取得了許多進(jìn)展，包括受生物視覺(jué)處理過(guò)程的啟發(fā)提出了卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，受心理學(xué)行為主義理論的啟發(fā)提出了強(qiáng)化學(xué)習(xí)方法等。但對(duì)人類(lèi)情感的認(rèn)知機(jī)理仍不了解，能否用計(jì)算的方法模擬和產(chǎn)生情感這一問(wèn)題仍沒(méi)有明確的答案。

隱私、安全和倫理風(fēng)險(xiǎn)問(wèn)題。人工智能的飛速發(fā)展在給人們帶來(lái)便利的同時(shí)也帶來(lái)了一些新挑戰(zhàn)。人工智能作為一項(xiàng)顛覆性的技術(shù)，可能會(huì)給個(gè)人隱私、經(jīng)濟(jì)安全、法律與社會(huì)倫理等帶來(lái)沖擊。所以，在大力發(fā)展人工智能的同時(shí)，必須高度重視人工智能可能會(huì)帶來(lái)的風(fēng)險(xiǎn)挑戰(zhàn)，加強(qiáng)預(yù)防與約束，以降低風(fēng)險(xiǎn)，使得人工智能的發(fā)展更加安全、可靠、可控。

2 心理生理計(jì)算

情感智能的研究需要通過(guò)采集人的面部表情、眼動(dòng)、語(yǔ)音、生理信號(hào)等情感數(shù)據(jù)識(shí)別和理解人的情感狀態(tài)，并根據(jù)情感狀態(tài)做出恰當(dāng)?shù)姆答?，以?shí)現(xiàn)和諧的人機(jī)交互。心理生理計(jì)算是研究情感智能的重要方法。心理生理計(jì)算可以根據(jù)生理信號(hào)識(shí)別和理解人的情感和心理狀態(tài)，并對(duì)人的情感和心理狀態(tài)進(jìn)行引導(dǎo)。

心理生理計(jì)算[12]是在心理生理學(xué)的基礎(chǔ)上發(fā)展起來(lái)的一個(gè)多學(xué)科交叉研究方向，它將信息獲取、計(jì)算及分析的思想與心理生理學(xué)相結(jié)合，運(yùn)用計(jì)算機(jī)科學(xué)、數(shù)學(xué)、物理學(xué)的方法與技術(shù)，結(jié)合多種生理信號(hào)對(duì)人的不同心理狀態(tài)進(jìn)行測(cè)量、量化和評(píng)估，研究人的心理活動(dòng)與生理變化之間的關(guān)系。通過(guò)心理生理計(jì)算，可以利用生理特征識(shí)別和理解人的情緒狀態(tài)和認(rèn)知狀態(tài)，并通過(guò)采取一些方法對(duì)人進(jìn)行生理干預(yù)，進(jìn)而達(dá)到治療心理疾病、影響認(rèn)知狀態(tài)的目的。

心理生理計(jì)算基于假說(shuō)演繹法、情感圖片刺激、唐德斯減數(shù)法[13]等方法進(jìn)行實(shí)驗(yàn)設(shè)計(jì)，在實(shí)驗(yàn)中采集被試的生理數(shù)據(jù)，通過(guò)校正、濾波、獨(dú)立成分分析(Independent Component Correlation Algorithm，ICA)等方法對(duì)數(shù)據(jù)質(zhì)量進(jìn)行保證，采取假設(shè)驅(qū)動(dòng)與數(shù)據(jù)驅(qū)動(dòng)的方法，通過(guò)多模態(tài)融合、多維關(guān)聯(lián)、時(shí)空信息及個(gè)體環(huán)境差異性對(duì)心理狀態(tài)與生理或行為反應(yīng)之間的映射關(guān)系進(jìn)行計(jì)算分析與重建，把一對(duì)多、多對(duì)一、多對(duì)多的復(fù)雜映射關(guān)系逐步轉(zhuǎn)換為最理想的一對(duì)一的映射關(guān)系。

心理生理計(jì)算的研究?jī)?nèi)容參見(jiàn)圖5，常用的研究方法是采取假設(shè)與數(shù)據(jù)驅(qū)動(dòng)結(jié)合的研究方法。以假設(shè)為驅(qū)動(dòng)的研究方法是根據(jù)某一個(gè)問(wèn)題提出假設(shè)，通過(guò)設(shè)計(jì)與實(shí)施實(shí)驗(yàn)對(duì)提出的假設(shè)進(jìn)行驗(yàn)證，通過(guò)分析得到結(jié)論。以數(shù)據(jù)為驅(qū)動(dòng)的研究方法是先建立一個(gè)粗糙的模型，用大量的數(shù)據(jù)訓(xùn)練模型，使得模型契合數(shù)據(jù)。假設(shè)與數(shù)據(jù)驅(qū)動(dòng)相結(jié)合的研究方法如圖6所示，首先提出研究假設(shè)，根據(jù)假設(shè)設(shè)計(jì)實(shí)驗(yàn)范式，通過(guò)實(shí)驗(yàn)采集心理、生理數(shù)據(jù)，再選擇并構(gòu)建多模態(tài)、多層次、多尺度、多維度的模型，然后將數(shù)據(jù)與模型進(jìn)行擬合，使得模型契合數(shù)據(jù)，最后用數(shù)據(jù)對(duì)模型進(jìn)行驗(yàn)證。

圖5 心理生理計(jì)算研究?jī)?nèi)容Fig.5 Research contents of Computational Psychophysiology

圖6 假設(shè)與數(shù)據(jù)驅(qū)動(dòng)結(jié)合的研究方法Fig.6 Research method of hypothesis and data driven

精神醫(yī)學(xué)領(lǐng)域也在嘗試采取數(shù)據(jù)驅(qū)動(dòng)的研究方法，并且驗(yàn)證了數(shù)據(jù)驅(qū)動(dòng)的研究方法的有效性。精神醫(yī)學(xué)領(lǐng)域從前對(duì)于情緒障礙患者的分類(lèi)都是基于癥狀進(jìn)行分類(lèi)，把患者分為重度抑郁障礙、輕度抑郁和雙相抑郁。Insel等[14]提出基于數(shù)據(jù)驅(qū)動(dòng)的分類(lèi)，通過(guò)融合患者的遺傳風(fēng)險(xiǎn)、大腦活動(dòng)、生理機(jī)能、行為過(guò)程、生活經(jīng)歷等數(shù)據(jù)，基于數(shù)據(jù)對(duì)患者進(jìn)行分類(lèi)?；跀?shù)據(jù)的分類(lèi)能更精確地對(duì)情緒障礙患者進(jìn)行分類(lèi)，有利于進(jìn)行分層臨床試驗(yàn)。

3 情感智能與心理生理計(jì)算典型應(yīng)用

蘭州大學(xué)UAIS實(shí)驗(yàn)室多年來(lái)致力于情感智能與心理生理計(jì)算研究，在生理信息獲取、生物信息反饋療法以及針對(duì)抑郁癥的基于腦電、語(yǔ)音、眼動(dòng)、表情和姿態(tài)的情感識(shí)別等方面有許多相關(guān)工作。

1) 生理信息獲取技術(shù)

胡斌、Peng等[15-16]設(shè)計(jì)了便攜式3、8、32導(dǎo)腦電采集系統(tǒng)，提出了一種實(shí)時(shí)眼電偽跡去除算法。此系統(tǒng)可以采集腦電信號(hào)，對(duì)腦電信號(hào)進(jìn)行小波分解，得到小波系數(shù)，對(duì)低頻段的小波系數(shù)進(jìn)行特定的閾值處理和小波重構(gòu)，提取出眼電參考信號(hào)，把眼電信號(hào)作為參考輸入、未處理的腦電信號(hào)作為原始輸入，輸入到自適應(yīng)濾波器，系統(tǒng)最終會(huì)輸出去除眼電噪聲后的腦電信號(hào)。新的眼電偽跡去除算法在恢復(fù)真實(shí)腦電信號(hào)和跟蹤性能上具有更好的表現(xiàn)，并且新系統(tǒng)非常適合在便攜環(huán)境中使用。

Chen等[17]提出了可以用來(lái)進(jìn)行生理參數(shù)監(jiān)測(cè)的智能服裝。智能服裝通過(guò)把傳感器集成到服裝中，采集人的血氧、脈率、心電、呼吸、體溫、體動(dòng)等生理信號(hào)。智能服裝通過(guò)藍(lán)牙連接到智能手機(jī)或者通過(guò)低功率Wi-Fi連接到外部網(wǎng)絡(luò)，通過(guò)智能手機(jī)或外部網(wǎng)絡(luò)把采集的數(shù)據(jù)上傳到云端，在云端啟用數(shù)據(jù)統(tǒng)計(jì)、機(jī)器學(xué)習(xí)庫(kù)、大數(shù)據(jù)等對(duì)數(shù)據(jù)進(jìn)行分析，實(shí)現(xiàn)健康監(jiān)測(cè)、情緒監(jiān)測(cè)等功能。

2) 基于腦電的情感識(shí)別

Cai等[18]通過(guò)三導(dǎo)腦電信號(hào)采集系統(tǒng)采集被試的腦電信號(hào)，提出了一個(gè)通過(guò)信號(hào)分解、眼電偽跡檢測(cè)、信號(hào)預(yù)測(cè)、信號(hào)重建進(jìn)行去噪的去噪模型。使用MRMR(Minimal-Redundancy-Maximal-Relevance，最小冗余最大相關(guān))技術(shù)進(jìn)行特征選擇，最后利用KNN(K- Nearest Neighbors，K-近鄰算法)、SVM(Support Vector Machines，支持向量機(jī))、CT(Classification Tree，分類(lèi)樹(shù))和ANN(Artificial Neural Network，人工神經(jīng)網(wǎng)絡(luò))進(jìn)行分類(lèi)，把腦電信號(hào)分為抑郁和不抑郁兩類(lèi)，用KNN分類(lèi)達(dá)到了79.27%的最高準(zhǔn)確率。

Cai等[19]提出一個(gè)基于案例的推理模型來(lái)識(shí)別抑郁癥，達(dá)到91.25%的準(zhǔn)確率。實(shí)驗(yàn)中通過(guò)用音頻刺激被試，用三導(dǎo)腦電采集器收集被試的腦電信號(hào)，對(duì)腦電信號(hào)進(jìn)行預(yù)處理與特征提取后，用SVM、KNN、樸素貝葉斯、決策樹(shù)進(jìn)行分類(lèi)并根據(jù)分類(lèi)結(jié)果評(píng)價(jià)選擇的特征子集，并且在分類(lèi)過(guò)程中引入案例表示和案例相似性計(jì)算，通過(guò)案例學(xué)習(xí)提高分類(lèi)準(zhǔn)確率，分類(lèi)準(zhǔn)確率最高達(dá)到91.25%。

胡斌等[20]提出了一種腦電與溫度相結(jié)合的抑郁人群判定方法。通過(guò)傳感器采集腦電與溫度信號(hào)，并通過(guò)一種基于離散小波變換和自適應(yīng)噪聲抵消的眼電偽跡自動(dòng)去除模型來(lái)去除噪聲，然后提取renyi熵、功率譜等特征，以溫度信號(hào)作為輔助指標(biāo)用KNN算法分辨抑郁和不抑郁的兩類(lèi)人群。

3) 基于語(yǔ)音的情感識(shí)別

Jiang等[21]研究不同語(yǔ)音類(lèi)型和語(yǔ)音情緒對(duì)用不同分類(lèi)器檢測(cè)抑郁癥的影響，并基于不同語(yǔ)音類(lèi)型和情緒開(kāi)發(fā)了一種新的檢測(cè)抑郁的方法。通過(guò)讓被試完成包含積極、中性和消極3種效價(jià)的3種任務(wù)：訪談、圖片描述和閱讀，采集被試的語(yǔ)音錄音，對(duì)語(yǔ)音進(jìn)行預(yù)處理、提取聲學(xué)特征，使用性別相關(guān)建模對(duì)男性和女性分別建模，選擇KNN、GMM(Gaussian Mixture Model，高斯混合模型)和SVM 3種分類(lèi)器進(jìn)行分類(lèi)。并且提出一種新的檢測(cè)抑郁的方法：使用6個(gè)分類(lèi)器先通過(guò)訓(xùn)練確定權(quán)重值，再使用6個(gè)分類(lèi)器進(jìn)行測(cè)試，檢驗(yàn)分類(lèi)器對(duì)抑郁和非抑郁人群不同語(yǔ)音類(lèi)型和情緒的辨別能力，結(jié)果顯示新方法對(duì)男性情緒辨別的準(zhǔn)確率為80.3%，對(duì)女性情緒辨別的準(zhǔn)確率為75.96%。

Liu等[22]進(jìn)行了一項(xiàng)關(guān)于抑郁癥語(yǔ)音潛在標(biāo)記物的研究。實(shí)驗(yàn)過(guò)程中被試要完成訪談、短文閱讀、單詞閱讀和圖片描述4個(gè)任務(wù)。在實(shí)驗(yàn)過(guò)程中進(jìn)行錄音，提取被試語(yǔ)音信號(hào)中的記錄時(shí)長(zhǎng)、發(fā)聲時(shí)長(zhǎng)和停頓時(shí)長(zhǎng)3種特征進(jìn)行比較。研究結(jié)果表明發(fā)聲時(shí)長(zhǎng)和停頓時(shí)長(zhǎng)特征可以作為有效特征來(lái)進(jìn)行抑郁癥人群的識(shí)別，并且驗(yàn)證了訪談作為語(yǔ)音信號(hào)采集方式的穩(wěn)定性。

胡斌等[23]提出一種基于語(yǔ)音特征與機(jī)器學(xué)習(xí)的抑郁癥自動(dòng)評(píng)估系統(tǒng)和方法。系統(tǒng)包括語(yǔ)音采集錄音模塊、語(yǔ)音特征計(jì)算模塊、語(yǔ)音數(shù)據(jù)庫(kù)模塊、機(jī)器學(xué)習(xí)模塊和自動(dòng)評(píng)估模塊。語(yǔ)音采集錄音模塊通過(guò)向被試展示包含正向、中性、負(fù)性3種情緒的問(wèn)題、文本和圖片激發(fā)被試的情緒并采集被試的語(yǔ)音；語(yǔ)音特征計(jì)算模塊用于對(duì)語(yǔ)音信號(hào)進(jìn)行預(yù)處理并計(jì)算聲學(xué)特征；語(yǔ)音數(shù)據(jù)庫(kù)模塊包含用于語(yǔ)音特征有效性分析、分類(lèi)器訓(xùn)練優(yōu)化、系統(tǒng)分類(lèi)率的相關(guān)數(shù)據(jù)；機(jī)器學(xué)習(xí)模塊用來(lái)進(jìn)行語(yǔ)音特征與抑郁癥的相關(guān)性分析，根據(jù)相關(guān)性確定有效特征的提取方式，并訓(xùn)練SVM用來(lái)進(jìn)行自動(dòng)評(píng)估；自動(dòng)評(píng)估模塊提取相關(guān)的語(yǔ)音特征，并根據(jù)語(yǔ)音特征進(jìn)行抑郁程度分類(lèi)，抑郁識(shí)別率達(dá)到75%以上。

4) 基于眼動(dòng)的情感識(shí)別

Lu等[24]進(jìn)行了一項(xiàng)對(duì)照眼動(dòng)跟蹤的研究，讓抑郁與非抑郁被試觀看中性對(duì)悲傷和中性對(duì)快樂(lè)的面部表情圖像，根據(jù)被試的注視時(shí)間推斷被試對(duì)某種情感面孔的偏好。最后結(jié)果表明，與非抑郁對(duì)照受試者相比，抑郁癥患者的正注意偏向不足，負(fù)注意偏向增強(qiáng)。此外，抑郁癥患者的正注意偏向受年齡影響顯著，中年患者的正注意偏向顯著低于年輕患者。

Li等[25]提出一種基于視覺(jué)信息的自適應(yīng)變異粒子群算法(AMPSO)-SVM(Adaptive Mutation Particle Swarm Optimization- Support Vector Machines，自適應(yīng)變異的粒子群優(yōu)化-支持向量機(jī))分類(lèi)模型。Li等在實(shí)驗(yàn)中通過(guò)讓被試觀看快樂(lè)、悲傷和中性的人臉圖像，收集被試的眼動(dòng)數(shù)據(jù)，提取偏正注意、偏負(fù)注意、正瞳孔直徑變化率、負(fù)瞳孔直徑變化率和正斜率掃視5個(gè)特征進(jìn)行分類(lèi)，并且比較了基于核嶺回歸、隨機(jī)森林、粒子群算法和SVM的不同分類(lèi)方法。相較于其他幾種方法自適應(yīng)變異粒子群算法AMPSOSVM分類(lèi)模型的精度最高，準(zhǔn)確率達(dá)到89.58%。實(shí)驗(yàn)結(jié)果還表明，掃視距離、掃視斜率等指標(biāo)在一定程度上可以用于抑郁人群和非抑郁人群的識(shí)別。

栗覓等[26-27]提出了情感帶寬的概念，并提出了一種情感帶寬測(cè)定方法和系統(tǒng)。系統(tǒng)首先會(huì)生成多幅正性、中性和負(fù)性情感圖片，并把情感圖片顯示在顯示器中央供被試觀看，采集被試觀看不同情感的圖像時(shí)的視點(diǎn)數(shù)量和每個(gè)視點(diǎn)的左右瞳孔直徑，分別計(jì)算被試觀看不同情感圖像時(shí)每個(gè)視點(diǎn)的瞳孔直徑和瞳孔直徑平均值，然后計(jì)算被試的正性、中性、負(fù)性情感帶寬和正負(fù)情感帶寬。若被試正性情感帶寬小于健康對(duì)照組的正性情感帶寬、正負(fù)情感帶寬也小于健康對(duì)照組的正負(fù)情感帶寬，則判定被試情感受損。

5) 基于表情的情感識(shí)別

Cai等[28]提出一個(gè)視網(wǎng)膜內(nèi)外先驗(yàn)聯(lián)合模型。Cai等提出了一種名為局部變異偏差的方法，可以在不扭曲光照結(jié)構(gòu)的情況下去除紋理。Cai等還引入一個(gè)具有形狀、光照和紋理假設(shè)的聯(lián)合先驗(yàn)?zāi)Ｐ图?xì)化正則項(xiàng)以獲得更好的先驗(yàn)表示，并采用塊坐標(biāo)下降法和迭代重加權(quán)最小二乘法求解優(yōu)化問(wèn)題。該模型最后的結(jié)果和收斂速度都優(yōu)于現(xiàn)有算法。

Li等[29]進(jìn)行了一項(xiàng)通過(guò)任務(wù)誘導(dǎo)面部線索進(jìn)行重度抑郁癥檢測(cè)的研究。實(shí)驗(yàn)過(guò)程中被試需要完成包含積極、中性、消極3種效價(jià)的4種任務(wù)：視頻觀看、閱讀、采訪和圖片描述。實(shí)驗(yàn)過(guò)程中通過(guò)kinect采集被試面部表情數(shù)據(jù)，提取位置特征、距離特征、區(qū)域特征、角度特征和AU(Action Units，人臉運(yùn)動(dòng)單元)特征5種特征，然后用SVM、樸素貝葉斯和隨機(jī)森林算法分別對(duì)男性和女性分類(lèi)。實(shí)驗(yàn)結(jié)果表明中性情緒效價(jià)的刺激材料在重度抑郁癥檢測(cè)中比積極和消極的刺激材料表現(xiàn)更好，并且還發(fā)現(xiàn)對(duì)于抑郁癥識(shí)別而言，面部表情的關(guān)鍵部位在眉毛和嘴。

6) 基于姿態(tài)的情感識(shí)別

Hu等[30]提出一個(gè)多信道認(rèn)知無(wú)線電自組織網(wǎng)絡(luò)中的情感感知認(rèn)知系統(tǒng)。系統(tǒng)由3部分組成：移動(dòng)終端、基于mCRAHN(Multi-Channel Cognitive Radio Ad Hoc Networks，多通道認(rèn)知無(wú)線電Ad Hoc網(wǎng)絡(luò))的微云和認(rèn)知云平臺(tái)。系統(tǒng)主要依靠2種移動(dòng)終端：便攜式智能雙目攝像機(jī)和智能手機(jī)，這2種移動(dòng)終端可以收集人的面部、手勢(shì)、語(yǔ)音等多維數(shù)據(jù)。移動(dòng)設(shè)備和認(rèn)知云平臺(tái)會(huì)對(duì)收集的數(shù)據(jù)進(jìn)行處理、特征提取、特征編碼和分類(lèi)，特征編碼是專(zhuān)為識(shí)別手勢(shì)和面部表情而設(shè)計(jì)的。此外，Hu等提出一種輕量級(jí)的空間拉普拉斯和時(shí)間能量金字塔(SLTEP)表示法，該方法不僅考慮了人類(lèi)姿勢(shì)的空間和時(shí)間線索之間的潛在關(guān)系性，并且可以在mCRAHNs中以低計(jì)算和通信成本提高人類(lèi)手勢(shì)的識(shí)別性能。在用戶(hù)的情緒被識(shí)別后，系統(tǒng)會(huì)根據(jù)用戶(hù)的情緒通過(guò)大數(shù)據(jù)進(jìn)一步分析用戶(hù)的心理健康狀況，然后給用戶(hù)推薦合適的情緒感知服務(wù)，系統(tǒng)還可以在用戶(hù)睡覺(jué)時(shí)檢測(cè)用戶(hù)的睡眠狀態(tài)，并且可以根據(jù)用戶(hù)的睡眠狀態(tài)、情緒傾向和環(huán)境向用戶(hù)發(fā)送不同的帶有智能提示的報(bào)警聲音。

Wang等[31]提出一個(gè)基于kinect傳感器的抑郁癥步態(tài)評(píng)估框架。Wang等通過(guò)兩個(gè)Kinect傳感器采集被試的步態(tài)數(shù)據(jù)，建立偽速度模型對(duì)被試的異常步態(tài)進(jìn)行分析，提取步態(tài)數(shù)據(jù)的時(shí)域和頻域特征以及空間幾何特征并進(jìn)行融合，形成新的分類(lèi)特征用于抑郁癥的檢測(cè)。利用新的分類(lèi)特征的分類(lèi)準(zhǔn)確率達(dá)到了93.75%，結(jié)果證明了新的分類(lèi)特征提高了分類(lèi)的魯棒性和性能。

7) 基于VR(Virtual Reality，虛擬現(xiàn)實(shí))的生物信息反饋干預(yù)

生物反饋療法是利用電子儀器將人體器官組織產(chǎn)生的腦電、呼吸、心率、肌電、體溫等生物電信息轉(zhuǎn)換成聲、光等信號(hào)，通過(guò)感官傳回大腦，患者根據(jù)這些信號(hào)自主的控制身體器官組織的生物電等信息的活動(dòng)，通過(guò)自主調(diào)節(jié)達(dá)到康復(fù)疾病的目的。生物信息反饋療法涉及物理醫(yī)學(xué)、控制論、心理學(xué)、生理學(xué)等多種學(xué)科，是一種綜合了多學(xué)科的應(yīng)用，目前生物信息反饋療法可以應(yīng)用在治療少兒多動(dòng)癥、抑郁癥、自閉癥、焦慮癥等疾病。

Cai等[32]提出一個(gè)基于虛擬現(xiàn)實(shí)的抑郁癥康復(fù)神經(jīng)反饋游戲框架，通過(guò)三導(dǎo)腦電傳感器采集患者的腦電信號(hào)，然后對(duì)腦電信號(hào)進(jìn)行去噪處理、特征提取和反饋參數(shù)計(jì)算，把參數(shù)發(fā)送到游戲引擎，通過(guò)虛擬現(xiàn)實(shí)游戲?qū)崟r(shí)呈現(xiàn)給患者，患者可以根據(jù)反饋的游戲內(nèi)容調(diào)整他們的心理狀態(tài)。相比于傳統(tǒng)的藥物治療，用基于生物信息反饋的虛擬現(xiàn)實(shí)干預(yù)系統(tǒng)治療抑郁癥無(wú)創(chuàng)、無(wú)副作用、無(wú)依賴(lài)性，并且成本低廉、易推廣。

胡斌等[33]提出一種基于虛擬現(xiàn)實(shí)的生物信息反饋系統(tǒng)，用若干個(gè)頭皮電極對(duì)腦電信號(hào)進(jìn)行采樣，使用腦電信號(hào)提取模塊對(duì)腦電信號(hào)進(jìn)行提取、放大和濾波處理，把處理后的腦電信號(hào)和實(shí)時(shí)特征信息發(fā)送給虛擬現(xiàn)實(shí)反饋系統(tǒng)，虛擬現(xiàn)實(shí)反饋系統(tǒng)會(huì)根據(jù)被試的信息選擇合適的訓(xùn)練方案，并且會(huì)根據(jù)被試的實(shí)時(shí)腦電信號(hào)和特征信息對(duì)訓(xùn)練方案進(jìn)行調(diào)整。該系統(tǒng)使用簡(jiǎn)單、界面友好、易于醫(yī)生和患者接受，并且針對(duì)不同癥狀可以采用不同配置，可干預(yù)多種癥狀。

4 結(jié)論

本文介紹了情感智能、心理生理計(jì)算和利用心理生理計(jì)算在生理信息獲取、腦電、語(yǔ)音、眼動(dòng)、表情、姿態(tài)和生物信息反饋干預(yù)等方面的相關(guān)工作與在抑郁識(shí)別應(yīng)用上的成果。根據(jù)相關(guān)研究成果可以看出情感智能和心理生理計(jì)算在改善人際交往障礙、抑郁與心境障礙識(shí)別上具有重大意義，在醫(yī)療、教育等許多領(lǐng)域都有廣闊的前景。雖然情感智能目前尚有許多關(guān)鍵問(wèn)題亟待解決，但隨著心理學(xué)、生理學(xué)、計(jì)算機(jī)科學(xué)和認(rèn)知學(xué)等交叉學(xué)科的不斷發(fā)展，一定會(huì)找到對(duì)應(yīng)的解決方法，逐步解決目前所面臨的關(guān)鍵問(wèn)題。