情緒測量技術(shù)綜述

謝 黎，史豐碩，康曉管

（東莞理工學(xué)院，廣東 東莞 523808）

1 單模態(tài)情緒測量

現(xiàn)有情緒測量技術(shù)中，按照技術(shù)可分為兩大類：生理反應(yīng)測量技術(shù)和心理反應(yīng)測量技術(shù)。生理信號可以更客觀真實地反映人們的情感狀態(tài)，文章基于心理學(xué)的生理反應(yīng)測量技術(shù)，從單模態(tài)情緒測量和多模態(tài)情緒測量角度，聚焦于面部表情測量、聲音測量、腦電生理信號測量三種單模態(tài)情緒測量方法以及多模態(tài)情緒測量這四大方面，采用文獻分析法，以中國知網(wǎng)為文獻數(shù)據(jù)源，綜述我國情緒測量技術(shù)發(fā)展?fàn)顩r。

1.1 技術(shù)簡述

情緒是人對客觀事物的態(tài)度體驗，以復(fù)雜多維的方式存在交互作用，包括主觀感受、面部動作、中樞和外周神經(jīng)系統(tǒng)、認知或信息處理的變化以及行為動作傾向。單模態(tài)情緒測量是以某一個特定維度進行對被試人員的測量。

目前情緒測量研究大多集中在人臉表情測量、語音測量、肢體測量等單模態(tài)領(lǐng)域，單模態(tài)信息量不足且容易受到外界各種因素的影響，如面部表情容易被遮擋、語音容易受噪聲干擾等。但其優(yōu)點也很明顯，相關(guān)技術(shù)已較為成熟、測量流程也相對簡便。

1.2 各項技術(shù)發(fā)表年份分析

通過檢索“面部表情測量”“聲音測量”“腦電生理信號測量”三個關(guān)鍵詞，以是否以情緒測量技術(shù)為研究目的作為篩選依據(jù)，篩選出國內(nèi)近14年發(fā)表的387篇有效的學(xué)術(shù)論文。

2008年至今，關(guān)于單模態(tài)情緒測量技術(shù)的學(xué)術(shù)研究論文數(shù)量呈偶有下落、總體上升的趨勢。其中，腦電生理信號測量為其中最熱門的研究方向，14年間發(fā)文量達到97篇，其他兩項技術(shù)的研究熱度則相對較低。

1.3 面部表情測量

1.3.1 技術(shù)簡述

面部表情，是情緒鮮明客觀的外在表現(xiàn)，由于其直觀的顯現(xiàn)和豐富的行為信息而得到關(guān)注。目前國內(nèi)外常用的面部表情測量技術(shù)有傳統(tǒng)表情測量和面部肌電圖測量 。

傳統(tǒng)表情測量是指通過測量眼部肌肉、顏面肌肉和口部肌肉的變化規(guī)律來表現(xiàn)各種情緒狀態(tài)。面部肌電圖（EMG）是在臉部安置電極來測量面部肌肉電位，通過面部肌肉電位圖形所顯示的面部各部位和肌肉活動所產(chǎn)生的面孔的變化來分析個體情緒體驗狀態(tài)。人在處于厭惡、高興、生氣、愉悅等狀態(tài)時會改變他們的面部肌電等生理信號，通過面部肌電信號能夠有效區(qū)別厭惡和生氣。由于面部肌電的測量需要在面部安置肌電測量裝置，其使用場景在一定程度上受到限制。

1.3.2 文獻分析

通過檢索“面部測量”“面部表情”“情緒測量”等關(guān)鍵詞，2008年至今共篩出45篇有效文獻。各年產(chǎn)量動態(tài)變化、趨于平穩(wěn)，其中2010年后研究熱度突發(fā)，2017年前后的研究熱度較高，之后呈動態(tài)上升趨勢。通過中國知網(wǎng)的可視化計量分析來看，面部表情測量技術(shù)主要應(yīng)用于情緒測量、教育、醫(yī)療康復(fù)中，其距離民用化、商用化還處于起步階段。國內(nèi)面部表情測量的主要研究應(yīng)用方向可分為：傳統(tǒng)表情識別、微表情面部測量以及卷積神經(jīng)網(wǎng)絡(luò)面部測量。

面部表情研究始于19世紀Darwin的研究，Ekman和Frieser制定了情緒測量系統(tǒng)：“面部肌肉運動編碼系統(tǒng)”（FACS），這是面部測量早期的基礎(chǔ)系統(tǒng)，它對面部肌肉進行了編組，通過觀察各組肌肉的運動來實現(xiàn)對復(fù)雜表情變化的測量。趙明珠采用三維數(shù)字圖像相關(guān)方法對面部普通表情及微表情的變形測量進行了精確計算和定量分析，提出的方法以參數(shù)優(yōu)化和消除剛體位移來提高因面部變形而影響測量的精度。

表面肌電信號測量技術(shù)是面部肌電測量技術(shù)中的一種，記錄人體表面肌肉通過收縮產(chǎn)生的生物電流的數(shù)據(jù)。表面肌電圖是由單個運動單元電生理信號組成的時間、空間的組合信號，它反映的是整塊肌肉的電生理特性，是安全、易掌握、非侵入性的記錄面部肌電的技術(shù)。針電極信號測量是面部肌電測量技術(shù)中的另一種，指記錄插入到肌肉中的針電極收集到的在針電極周圍有限范圍內(nèi)的運動單位電位總和的測量技術(shù)，具有干擾小、易辨識的優(yōu)點，但測量過程會對人體造成一定影響。

1.3.3 小結(jié)

從文獻數(shù)據(jù)來看，國內(nèi)面部情緒測量的研究不多，精確測量需要一定的設(shè)備支持，屬于較小眾的研究領(lǐng)域，研究門檻較高。基于深度學(xué)習(xí)的面部表情識別技術(shù)，在國內(nèi)是較熱門的研究領(lǐng)域。

1.4 聲音測量

1.4.1 技術(shù)簡述

聲音測量是將聲音信號的各種參數(shù)轉(zhuǎn)化為不同情緒狀態(tài)的測量方法，通過測量設(shè)備將聲音信號以一定的時間間隔分為若干片段，再提取其中若干組特征參數(shù)，利用機器深度學(xué)習(xí)技術(shù)將這些數(shù)據(jù)轉(zhuǎn)化為動態(tài)變化的情感，得出各種情緒所占比例。由于人不會一直保持說話的狀態(tài)，其聲音特性是動態(tài)變化的量，音調(diào)、語氣等也會隨著人的情緒變化而變化，增加了測量難度。

1.4.2 文獻分析

通過檢索“聲音測量”“語音測量”“情緒測量”等關(guān)鍵詞，從2008年至今的時間跨度中篩選出66篇有效的學(xué)術(shù)論文與期刊。從發(fā)表年份來看，聲音測量研究發(fā)文各年的產(chǎn)量較不穩(wěn)定，其中2012年后研究熱度突發(fā)，而后兩年又鮮有相關(guān)研究論文；2021年的研究熱度最高，當(dāng)年產(chǎn)出14篇相關(guān)研究論文。從研究學(xué)科分析，聲音測量主要涉及電信技術(shù)，語音測量的主要應(yīng)用領(lǐng)域為情感識別、語音識別、語言學(xué)習(xí)研究，表明語音測量現(xiàn)在的主要功能是將聲音信號可視化、情感化，并具體應(yīng)用于智能設(shè)備中，如智能語音助手。

祝宇虹利用平均短時能量和平均短時過零率結(jié)合進行語音端點的測量方法，構(gòu)建出了用于情緒識別的語音基音周期測量分析方法。劉曉峰采用了PC機、USB數(shù)據(jù)采集卡V1.2和聲音傳感器模塊為硬件平臺，LabVIEW 2012為軟件開發(fā)環(huán)境，設(shè)計了聲音測量系統(tǒng)，可以實時準確地測量聲音信號，反映出的聲音信號更加直觀。葛佳燁對于輸入電網(wǎng)調(diào)度語音序列存在語音片段停頓、靜默聲較多、有無效字符占位的測量問題，設(shè)計出了含聯(lián)結(jié)時序分類（Connectionist Temporal Classification，CTC）方法的網(wǎng)絡(luò)解決該問題，通過測量電網(wǎng)調(diào)度語音感知電網(wǎng)調(diào)度員的情緒變化，從而盡可能降低電網(wǎng)調(diào)度運行中人的失誤。楊麗佳利用聲譜圖對語音信號進行測量，測量出的語音信號兼具時域和頻域特征。

東南大學(xué)在這方面貢獻量最高，于2008年至今產(chǎn)出了18篇聲音情緒測量相關(guān)文獻，國內(nèi)相關(guān)的研究最早從東南大學(xué)趙力等人開始。為了解聲音測量應(yīng)用在國內(nèi)的研究進展，在東南大學(xué)相關(guān)文獻中，通過以“語音情感識別”“情緒測量”等關(guān)鍵詞，進一步檢索自2008年至今產(chǎn)出“語音情感識別”相關(guān)的文獻，最后檢索得出89篇。

1.4.3 小結(jié)

從分析結(jié)果來看，情緒測量領(lǐng)域中聲音情緒測量研究熱度較高，且應(yīng)用領(lǐng)域較廣；涉及到的應(yīng)用有：音樂情感識別、智能語音助手、醫(yī)療病癥診斷等，這些都是目前國內(nèi)乃至世界范圍的熱門、前沿研究領(lǐng)域。

1.5 腦電生理信號測量

1.5.1 技術(shù)簡述

生理信號直接受自主神經(jīng)系統(tǒng)和內(nèi)分泌系統(tǒng)控制，與傳統(tǒng)情感分析相比，可以更客觀真實地反映出人們的情感狀態(tài)。其種類有腦電、心電、皮電等，腦電信號等，在情緒識別中因其具有較高的識別率和較為豐富的情緒特征而成為情感識別最主要的手段之一。腦電信號（EEG）測量是通過在大腦皮層特定神經(jīng)中樞對應(yīng)的頭皮位置上布置電極，記錄一段時間內(nèi)各區(qū)域神經(jīng)元放電現(xiàn)象，繪制成隨時間變化的動態(tài)曲線的過程。目前，腦電信號的測量技術(shù)主要有三種：濕電極測量、半干式電極測量和干電極測量，三種方式具備不同特點，適用于不同研究環(huán)境與研究內(nèi)容。

濕電極腦電測量方法，被稱為EEG信號采集的金標準，通過高導(dǎo)電性的電解物質(zhì)（電解凝膠）作為導(dǎo)電介質(zhì)，降低皮膚與電極接觸面的阻抗大小，進而測量個體的EEG信號。半干式電極也被稱為水基腦電測量，與濕電極相比，它采用少量的液體電解質(zhì)替代電解凝膠，就可以達到相對較低阻抗并獲得高質(zhì)量的腦電信號。干電極測量技術(shù)與傳統(tǒng)的依賴于與頭皮的低阻抗測量原理不同，傳感器結(jié)合創(chuàng)新的電子處理技術(shù)，減少對人體共模信號的拾取和敏感性。不需要任何導(dǎo)電介質(zhì)，直接將腦電帽電極貼附在頭皮表面即可。

1.5.2 文獻分析

此處通過檢索“腦電測量”“EEG”“情緒測量”等關(guān)鍵詞，從2008年至今的時間跨度中共篩選出97篇有效的學(xué)術(shù)論文與期刊。從發(fā)表年份來分析，各年的產(chǎn)量動態(tài)變化、總體呈現(xiàn)上升趨勢，其中2020年的研究熱度最高，當(dāng)年產(chǎn)出了18篇論文或期刊。

事件相關(guān)電位測量技術(shù)是在某種特定刺激條件下所引起的一種腦電位變化的測量手段。陶熔鑄針對非接觸式干電極提出了AE芯片與BE芯片配合工作的四通道腦電信號測量接口專用集成電路方案設(shè)計，該方案能夠有效地抑制電極偏移、降低電極高阻抗和完成腦電信號模擬到數(shù)字的信號轉(zhuǎn)換。鄔明洲基于Δ～2Σ ADC結(jié)構(gòu)提出了一種高性能生物電信號測量電路，解決了以EEG為代表的生物電信號幅值小、頻率低，易受低頻噪聲、電極失調(diào)和運動偽影等測量問題。宋振宇研制了一種基于章魚吸盤仿生結(jié)構(gòu)的柔性干電極的可穿戴腦電（EEG）采集系統(tǒng)，該系統(tǒng)有便捷吸附、易于剝離、可多次重復(fù)使用的優(yōu)點。

從文獻涉及學(xué)科占比分析，腦電情緒測量的應(yīng)用除了涉及到廣義的電信技術(shù)外，主要與生物醫(yī)學(xué)工程、精神病學(xué)、生物學(xué)關(guān)聯(lián)，而涉及電信技術(shù)的文獻主要研究了腦波的各種特征數(shù)據(jù)。通過進一步分析關(guān)鍵詞發(fā)現(xiàn)，腦電情緒測量涉及的領(lǐng)域還包括“注意力檢測”“教育學(xué)習(xí)”“駕駛員情緒檢測”等。

1.5.3 小結(jié)

從分析結(jié)果可見，腦電情緒測量技術(shù)研究主要集中在腦電信號測量設(shè)備的便捷性和腦電信號自身幅值小、易受干擾的特性研究中。腦電信號測量技術(shù)的應(yīng)用領(lǐng)域相當(dāng)廣泛，目前已在生物學(xué)、醫(yī)學(xué)、精神病學(xué)、教育學(xué)等各大熱門領(lǐng)域有了相當(dāng)?shù)难芯窟M展。但限于腦電測量設(shè)備比較笨重，且測量時較不穩(wěn)定，容易產(chǎn)生較多噪聲，現(xiàn)腦電測量主要用于醫(yī)療觀察方面，距離民用化還有較長的距離；但不可否認的是腦電測量是情緒測量中較為準確的一種方式，其較非生理信號測量更能準確反映真實情緒的一大優(yōu)勢，奠定未來腦電情緒測量將迎來更廣闊的發(fā)展前景。

2 多模態(tài)情緒測量

2.1 技術(shù)簡述

“多模態(tài)”（Multimedal）一詞最早由Bigun和Duc等人最先于1997年提出。從信息來源的角度來看，可以有文字、聲音、圖像、味覺、觸覺等，每一個這些信息的來源被稱為一個模態(tài)。不同的模態(tài)提供的信息不同，因此同時結(jié)合多個模態(tài)對被測者進行測量，并對其統(tǒng)一建模，這就是多模態(tài)信號測量。受到人類感知方式的啟發(fā)，研究認為每個模態(tài)對事物的描述具有相對獨立性，使用多模態(tài)數(shù)據(jù)的互補表述能夠使事物呈現(xiàn)更立體、表現(xiàn)更全面。

前文提到，腦電信號蘊含的情緒特征豐富且不受用戶的主觀影響，能更真實地反應(yīng)被測者的情緒狀態(tài)，但腦電信號有著幅值小、易受噪聲干擾等缺陷；相反，表情、聲音等非生理信號測量雖然更容易被測出，但在特殊情況下，如：情緒偽裝的情況下，就會導(dǎo)致真實情緒與測量值存在偏差。因此，高精準、便攜式、可擴展性的多生理參數(shù)測量硬件架構(gòu)和測量技術(shù)是多模態(tài)情緒識別研究走向工程應(yīng)用是先決條件。

2.2 文獻分析

此處通過檢索“多模態(tài)情緒測量”“雙模態(tài)情緒測量”結(jié)合“生理信號”“語音”“面部表情”等多組關(guān)鍵詞，篩選得出179篇有效的相關(guān)研究論文。2017年以前，國內(nèi)研究此領(lǐng)域的學(xué)者較少，2017年研究熱度突發(fā)，當(dāng)年產(chǎn)出17篇相關(guān)研究論文，其中2020年、2021年的研究熱度最高，當(dāng)年分別產(chǎn)出了44篇、49篇相關(guān)的研究論文。

通過分析關(guān)鍵詞出現(xiàn)次數(shù)，不難看出，國內(nèi)研究學(xué)者在對多模態(tài)進行情緒測量研究時，主要研究模態(tài)組合為腦電信號、其他生理信號（如肌電信號心電信號等）、人聲與面部表情。

在這一技術(shù)領(lǐng)域上，南京郵電大學(xué)的研究貢獻較高，2017～2022年共產(chǎn)出了11篇相關(guān)研究論文；其次為上海交通大學(xué)，于2016～2022年產(chǎn)出了10篇相關(guān)研究論文。由于多模態(tài)情緒測量為前文多個模態(tài)的情緒測量方法的融合，其中以電信技術(shù)、計算機軟件及計算機應(yīng)用、生物醫(yī)學(xué)工程、心理學(xué)為主；進一步分析標題與關(guān)鍵詞發(fā)現(xiàn)，多模態(tài)情緒測量的應(yīng)用研究大多建立在醫(yī)療、教育等方面上。

盡管多模態(tài)數(shù)據(jù)在描述事物特征時具有明顯優(yōu)勢，但仍面臨著較大的挑戰(zhàn)。①受到不同成像設(shè)備和傳感器的限制，難以收集到大規(guī)模、高質(zhì)量的多模態(tài)數(shù)據(jù)集；②多模態(tài)數(shù)據(jù)需要匹配成對用于研究，任一模態(tài)測量的缺失都會造成可用數(shù)據(jù)的減少；③圖像、視頻數(shù)據(jù)在處理和標注上需要耗費較多的時間和人力成本，這些問題使得目前本領(lǐng)域的技術(shù)尚待攻關(guān)。

2.3 小結(jié)

不斷增加的研究表明多模態(tài)情緒測量逐漸成為主流的情緒測量方法，多模態(tài)情緒測量的準確性、穩(wěn)定性在一個個實踐項目中也得到了論證。多模態(tài)情緒測量實驗也逐漸由模擬場景走向更為真實的人機交互環(huán)境，例如通過對舞臺表演者的語音、表情和姿態(tài)的測量來進行多模態(tài)情感識別。

3 總結(jié)

文章采用文獻分析法，綜述了面部表情測量、聲音測量、腦電生理信號測量、多模態(tài)情緒測量四種主要的情緒測量技術(shù)的發(fā)展現(xiàn)狀與研究進程，并簡述了四種測量技術(shù)方法與局限性。除了文章提到的幾種測量技術(shù)外，當(dāng)今研究現(xiàn)狀也不乏如化學(xué)刺激、磁共振成像（FRMI）、腦磁圖（MEG）等更為前沿與精確的測量技術(shù)。

當(dāng)今大多數(shù)研究學(xué)者都采用了融合多模態(tài)的情緒測量這一較為精確的測量技術(shù)。若未來的情緒測量技術(shù)能參照更多的指標，結(jié)合更多種測量方法，使測量結(jié)果更精確，才能盡可能地控制并降低測量誤差。由于情緒的復(fù)雜性，測量技術(shù)的仍存在技術(shù)更迭、對象多樣、適宜度、匹配度、精準度等很多待解決的問題。

4 對未來的展望

隨著科技的進步，情緒測量的技術(shù)逐漸向柔性可穿戴技術(shù)和微小傳感器發(fā)展，準確性也正逐步提高，尤其是基于傳感器結(jié)合創(chuàng)新的電子處理技術(shù)下，感知精度、數(shù)據(jù)傳輸?shù)汝P(guān)鍵步驟的效率也在不斷提高。在當(dāng)今社會下，人們對心理健康分析與判斷的需求越來越高，以需求為導(dǎo)向，未來情緒測量將會逐漸走出實驗室，廣泛民用化。