基于生理信號(hào)的情緒識(shí)別研究綜述

鄧麗娜，王曉亮

（湖南科技大學(xué)，湖南 湘潭 411100）

0 引 言

情緒（Emotion）是人的感覺(jué)、思想和行為的綜合狀態(tài)[1]，在人們的交流中起著重要作用。情緒識(shí)別是指通過(guò)人的行為和生理反應(yīng)來(lái)識(shí)別相應(yīng)的情緒狀態(tài)[2]。準(zhǔn)確識(shí)別情緒在人機(jī)交互和人工智能領(lǐng)域的研究中占據(jù)重要位置，在教育、醫(yī)療和生活等領(lǐng)域擁有廣闊的應(yīng)用前景。

一般來(lái)說(shuō)，用于情緒識(shí)別的數(shù)據(jù)可分為兩大類(lèi)：使用如面部表情和語(yǔ)音聲調(diào)等行為數(shù)據(jù)，這類(lèi)數(shù)據(jù)采集簡(jiǎn)單，但易被人為掩飾或偽裝[3]；使用腦電（Electroencephalogram,EEG）、 皮 膚 溫 度（Skin-Temperature, SKT）、 眼 電（Electrooculogram, EOG）、體積描記器（Photoplethysmograph,PPG）、呼吸（Respiration, RSP）、肌電圖（Electromyogram,EMG）、心電圖（Electrocardiograph, ECG）和皮膚電反應(yīng)（Galvanic Skin Response, GSR）等生理數(shù)據(jù)識(shí)別情緒，這類(lèi)數(shù)據(jù)采集時(shí)無(wú)法偽裝[4]，能夠獲得真實(shí)客觀的結(jié)果。英國(guó)Sander Koelstra團(tuán)隊(duì)提供了DEAP情感數(shù)據(jù)庫(kù)，旨在通過(guò)機(jī)器學(xué)習(xí)的方法識(shí)別人類(lèi)的情緒來(lái)改善生活[5]。上海交通大學(xué)呂寶糧教授所帶領(lǐng)的團(tuán)隊(duì)提供的SEED數(shù)據(jù)集致力于安全駕駛的研究[6]。蘭州大學(xué)胡斌教授所帶領(lǐng)的團(tuán)隊(duì)提供的MODMA數(shù)據(jù)集致力于精神疾病和認(rèn)知障礙的研究[7]。因此，利用多種生理信號(hào)進(jìn)行情緒識(shí)別在研究和實(shí)際應(yīng)用中具有重要意義。

1 情緒識(shí)別的理論基礎(chǔ)

1.1 情緒理論模型

情緒劃分是情緒識(shí)別首要解決的問(wèn)題。目前心理學(xué)家傾向于以2種不同的方式來(lái)定義情緒：將情緒分為離散類(lèi)別，使用多個(gè)維度標(biāo)記情緒。

離散模型認(rèn)為情緒空間是由離散、有限的基本情緒組成。Ekman[8]提出把情緒分為快樂(lè)、悲傷、驚訝、恐懼、憤怒和厭惡6種基本情緒，并將其他情緒視為這些基本情緒的反應(yīng)和組合。Plutchik[9]提出了車(chē)輪模型，如圖1（a）所示，包括歡樂(lè)、期待、驚奇、悲傷、厭惡、信任、恐懼和憤怒8種基本情緒，且復(fù)雜的情感可由基本情感混合而成。該車(chē)輪模型根據(jù)情緒強(qiáng)度來(lái)描述，其中越強(qiáng)烈的情緒越靠近中心位置，越弱的情緒越靠近邊緣。

維度模型認(rèn)為情緒可由二維或三維空間模型表達(dá)。最常見(jiàn)的維度理論是Russel繞線理論[10]，他認(rèn)為情感通過(guò)效價(jià)（Valence）和喚醒度（Arousal）在二維空間中分類(lèi)，如圖1（b）所示。效價(jià)反映了人對(duì)情況的判斷，范圍為不愉快（負(fù)）到愉快（正）。喚醒度表示人感受的興奮程度，范圍為平靜（負(fù)）到興奮（正）。Mehrabian[11]將情緒模型從二維擴(kuò)展到三維，新增的維度為主導(dǎo)度（Dominance）。Dominance反映了人類(lèi)在某種情感下的控制能力，范圍為不可控（負(fù)）到可控（正）。

圖1 維度模型

1.2 情緒誘發(fā)方法

情緒誘發(fā)是指通過(guò)不同的方法誘發(fā)出多種情緒。目前常用的情緒誘發(fā)方法有情景誘發(fā)和材料誘發(fā)。情景誘發(fā)是讓受試者通過(guò)回憶或想象進(jìn)行相應(yīng)情境構(gòu)建。該方法可以有效誘發(fā)情緒，但對(duì)誘發(fā)情緒的持續(xù)時(shí)間和強(qiáng)度難以把握?；诓牧洗碳さ那榫w誘發(fā)法即通過(guò)圖片（視覺(jué)）、聲音（聽(tīng)覺(jué)）或視頻（視聽(tīng)覺(jué)）對(duì)受試者進(jìn)行刺激以誘發(fā)其不同的情緒狀態(tài)。該方法操作簡(jiǎn)便、易于控制，因此被廣泛用于情緒研究。視覺(jué)刺激是最常用的誘發(fā)方法，通過(guò)給被試者呈現(xiàn)積極、消極和中性的圖片，以及面部表情、文字等誘發(fā)被試者產(chǎn)生不同的情緒。經(jīng)過(guò)標(biāo)準(zhǔn)化的材料庫(kù)如國(guó)際情感圖片庫(kù)（International Affective Picture System, IAPS）[12]已在情緒識(shí)別領(lǐng)域中得到了廣泛應(yīng)用。聽(tīng)覺(jué)刺激誘發(fā)的效果更為深入持久，標(biāo)準(zhǔn)化的聽(tīng)覺(jué)刺激材料庫(kù)包括國(guó)際情感數(shù)碼聲音庫(kù)（International Affective Digitized Sounds, IADS）[13]等。目前，使用視聽(tīng)覺(jué)刺激結(jié)合的方式來(lái)誘發(fā)情緒的研究越來(lái)越多，但視聽(tīng)覺(jué)刺激使受試者產(chǎn)生多種情緒，特指性差。國(guó)內(nèi)研究者羅躍嘉等人[14]建立了中國(guó)情感電影庫(kù)。

2 DEAP數(shù)據(jù)庫(kù)介紹

DEAP數(shù)據(jù)庫(kù)是由英國(guó)Koelstra等基于音樂(lè)視頻（Music Videos, MV）刺激誘發(fā)情緒并采集多模態(tài)的生理信號(hào)進(jìn)行情緒識(shí)別的開(kāi)源數(shù)據(jù)庫(kù)。該數(shù)據(jù)庫(kù)采集了32名被試者觀看40首1 min的MV的腦電信號(hào)（EEG）和外周生理信號(hào)，實(shí)驗(yàn)流程如圖2所示。

圖2 實(shí)驗(yàn)流程

官網(wǎng)已提供經(jīng)過(guò)預(yù)處理的數(shù)據(jù)，預(yù)處理操作包括將原始數(shù)據(jù)采樣頻率降至128 Hz、盲源分離法去除眼電偽跡、4～45 Hz的帶通濾波器將腦電信號(hào)濾波等。表1所列為DEAP數(shù)據(jù)庫(kù)內(nèi)容概述。

表1 DEAP數(shù)據(jù)庫(kù)內(nèi)容概述

3 基于生理信號(hào)的情緒識(shí)別

本節(jié)主要介紹了利用生理信號(hào)進(jìn)行情緒識(shí)別的方法，情緒識(shí)別框架如圖3所示。訓(xùn)練方法：傳統(tǒng)的機(jī)器學(xué)習(xí)方法需要先對(duì)數(shù)據(jù)提取特征再進(jìn)行情緒分類(lèi)；深度學(xué)習(xí)方法是一種端到端的訓(xùn)練方法。簡(jiǎn)單介紹3種模型的評(píng)估方法。

圖3 情緒識(shí)別框架

3.1 預(yù)處理方法

由于原始生理信號(hào)的復(fù)雜性、對(duì)電磁干擾和運(yùn)動(dòng)產(chǎn)生噪聲的敏感性[16]，在進(jìn)行情感識(shí)別的早期階段必須通過(guò)預(yù)處理來(lái)消除噪聲和偽跡帶來(lái)的影響。一般情況下，對(duì)于明顯的異常信號(hào)，可通過(guò)肉眼觀察手動(dòng)去除偽影。對(duì)于其他干擾信號(hào)，常用的預(yù)處理方法有濾波法（Filtering）、歸一化法（Normalization）、主成分分析法（Principle Component Analysis, PCA）和獨(dú)立成分分析法（Independent Component Analysis, ICA）等。目前研究者為了更好地去除偽跡，通常會(huì)采用2種或多種方法結(jié)合的方式對(duì)生理信號(hào)進(jìn)行預(yù)處理。

濾波法能夠有效濾除生理信號(hào)中摻雜的工頻干擾和電磁干擾[17]，方法簡(jiǎn)單，處理速度快，但對(duì)原始生理信號(hào)有較大的衰減作用。DEAP數(shù)據(jù)庫(kù)中的EEG信號(hào)默認(rèn)通過(guò)2 Hz的高通濾波進(jìn)行濾波處理，然后使用Welch方法提取3～47 Hz的EEG信號(hào)。歸一化法通常用來(lái)消除個(gè)體間的差異，減弱基線個(gè)體差異過(guò)大所產(chǎn)生的不利影響[18]，最常用的方法是將數(shù)據(jù)統(tǒng)一映射到[0，1]區(qū)間。Lee等[19]在預(yù)處理PPG信號(hào)時(shí)，為消除PPG信號(hào)的個(gè)體差異，在刪除基線值（介于0和1之間）后，對(duì)PPG信號(hào)的最大和最小值進(jìn)行歸一化處理。張強(qiáng)等[20]進(jìn)行預(yù)處理時(shí)，對(duì)每個(gè)分段內(nèi)RSP信號(hào)的局部平均值和標(biāo)準(zhǔn)差進(jìn)行歸一化處理，使得學(xué)習(xí)的特征僅對(duì)分段內(nèi)的變化敏感，而對(duì)基線水平不敏感。獨(dú)立成分分析（ICA）將多通道的觀測(cè)信號(hào)分解成多個(gè)獨(dú)立成分[21]，通過(guò)選擇保留或丟失成分的方法來(lái)消除偽跡。Kim等[22]提出了一種約束獨(dú)立成分分析（constrained Independent Component Analysis, cICA）預(yù)處理算法，用于消除PPG信號(hào)的運(yùn)行偽像。

3.2 傳統(tǒng)機(jī)器學(xué)習(xí)方法

傳統(tǒng)的機(jī)器學(xué)習(xí)包括特征提取和情緒分類(lèi)2個(gè)流程，首先對(duì)原始數(shù)據(jù)進(jìn)行特征提取，然后將提取的特征輸入到分類(lèi)器中進(jìn)行情緒識(shí)別。

3.2.1 特征提取

從生理信號(hào)中提取與情緒相關(guān)、敏感和有效的特征分量，有利于后續(xù)更準(zhǔn)確地識(shí)別不同情緒狀態(tài)。常用的生理信號(hào)特征包括時(shí)域特征、頻域特征和時(shí)頻域特征。由于生理信號(hào)是非平穩(wěn)非線性的時(shí)變信號(hào)，僅從時(shí)域或頻域提取特征不夠全面，因此采用時(shí)頻域特征作為情感特征。提取的時(shí)頻域特征常用方法有短時(shí)傅里葉變換（Short-Time Fourier Transform,STFT）、小波變換（Wavelet Transform, WT）和希爾伯特-黃變換（Hilbert-Huang Transform, HHT）等。

短時(shí)傅里葉變換（STFT）是最常見(jiàn)的時(shí)間-頻率分析方法之一。它在傅里葉變換中加入了窗函數(shù)，某一時(shí)刻的信號(hào)特征由時(shí)間窗內(nèi)ω(n-t)的一段信號(hào)表示：

式中：f(t)表示輸入的生理信號(hào)序列；X(n,ω)為傅里葉變換后的結(jié)果。由于STSF時(shí)間窗的窗口是固定的，因此STFT無(wú)法同時(shí)在時(shí)域和頻域上獲得最高的分辨率，所以需要選擇合適的時(shí)間窗長(zhǎng)度。目前，DEAP數(shù)據(jù)庫(kù)情緒識(shí)別研究中效果最好的時(shí)間窗長(zhǎng)度多為1～2 s。吳詩(shī)怡等[23]使用快速傅里葉變換方法（Fast Fourier Transform, FFT）和WT方法提取腦電FP1和FP2通道的特征，如圖4（a）所示。

小波變換（WT）是STFT方法的改進(jìn)，其窗函數(shù)會(huì)隨頻率的改變而改變，可以同時(shí)在時(shí)域和頻域獲得良好的分辨率。假設(shè)φ(t)是一個(gè)平方可積函數(shù)，其傅里葉變換φ(ω)滿足：

稱(chēng)φ(t)為基本小波函數(shù)，將φ(t)進(jìn)行尺度或平移變換，得到小波變換函數(shù)WT(a,τ)：

式中：a代表尺度，用來(lái)控制小波函數(shù)的伸縮；τ代表平移量，用來(lái)控制小波函數(shù)的平移。尺度a對(duì)應(yīng)于頻率，平移量τ對(duì)應(yīng)于時(shí)間。但是WT算法在高頻頻率分辨率和低頻時(shí)間分辨率上效果較差，會(huì)丟失信息細(xì)節(jié)。鄧欣等[24]采用DEAP中預(yù)處理后的腦電數(shù)據(jù)，用WT將腦電信號(hào)分解為4層，從每層的細(xì)節(jié)分量（SRD）和近似分量（SRC）中提取delta波（0.5 ～3 Hz）、theta波（4～7 Hz）、alpha 波（8 ～13 Hz）、beta波（14～30 Hz）和 gamma波（31～47 Hz），圖4（b）為其對(duì)應(yīng)的4層小波頻域分解樹(shù)。

圖4 特征提取方法

希爾伯特-黃變換（HHT）適用于處理非線性非平穩(wěn)信號(hào)，它被分為2部分：第一部分為經(jīng)驗(yàn)?zāi)Ｊ椒纸猓‥mpirical Mode Decomposition, EMD），這是一個(gè)“篩選”過(guò)程，將非線性非平穩(wěn)原始生理信號(hào)分解為幾個(gè)本征模函數(shù)（Intrinsic Mode Functions, IMF）；第二部分是希爾伯特譜分析，它將分解出來(lái)的各IMF進(jìn)行希爾伯特變換，最終得到原始信號(hào)的Hilbert譜。

輸入的原始生理信號(hào)可以表示為：

式中：f(t)表示輸入的生理信號(hào)；IMFi(t)表示K個(gè)本征模函數(shù)；r(t)表示生理信號(hào)減去IMF后的余項(xiàng)。

希爾伯特變換表示為：

HHT的缺點(diǎn)是IMF的模態(tài)混疊頻繁出現(xiàn)，導(dǎo)致IMF的穩(wěn)定性差。莊寧等[25]用EMD方法分解出EEG信號(hào)的前5個(gè)IMF分量，發(fā)現(xiàn)IMF1的震蕩變化最快，即用IMF1的3個(gè)特征作為情緒識(shí)別的特征。從多種生理信號(hào)中提取的原始特征通常具有很高的維數(shù)并且特征之間存在冗余特征，導(dǎo)致情緒識(shí)別精度降低。

3.2.2 分類(lèi)方法

經(jīng)過(guò)特征提取之后，利用分類(lèi)方法進(jìn)行情緒分類(lèi)。在情緒識(shí)別中，適用于分類(lèi)的方法有支持向量機(jī)（Support Vector Machine, SVM）、K-近鄰算法（K-Nearest Neighbor,KNN）、決策樹(shù)（Decision Tree, DT）、人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Networks, ANN）和隨機(jī)森林（Random Forest, RF）等。

支持向量機(jī)（SVM）是一種二分類(lèi)的線性分類(lèi)器，在小樣本訓(xùn)練集上能夠得到比其他算法更好的結(jié)果。SVM的缺點(diǎn)是在訓(xùn)練大量樣本和多分類(lèi)問(wèn)題上存在困難。劉偉等[26]提取了腦電圖和眼信號(hào)的特征之后使用線性SVM（圖5）進(jìn)行情緒分類(lèi)，平均識(shí)別率達(dá)到91.49%。Hassan等[27]將融合特征輸入到高斯內(nèi)核分類(lèi)器（Fine Gaussian SVM, FGSVM）中進(jìn)行情緒識(shí)別。Vijayakumar等[28]將提取的DEAP數(shù)據(jù)庫(kù)中8個(gè)外周生理信號(hào)的統(tǒng)計(jì)特征輸入到8個(gè)分類(lèi)器中，對(duì)情緒進(jìn)行二分類(lèi)。結(jié)果證明，SVM分類(lèi)器的準(zhǔn)確率最高。

圖5 線性SVM分類(lèi)器

K-近鄰算法（KNN）是一種基于權(quán)重的分類(lèi)方法[35]。KNN基本思想：如果一個(gè)樣本附近的k個(gè)最近樣本的大多數(shù)屬于某一個(gè)類(lèi)別，則該樣本也屬于這個(gè)類(lèi)別。KNN算法適用于處理多分類(lèi)問(wèn)題，也可以處理回歸問(wèn)題。缺點(diǎn)是當(dāng)特征維度較高時(shí)計(jì)算量較大。Mert等[29]使用KNN和ANN對(duì)情緒進(jìn)行二分類(lèi)，平均識(shí)別率分別為59%和73.93%。

決策樹(shù)（DT）是一種以樹(shù)形結(jié)構(gòu)表達(dá)的模型，能夠基于已知數(shù)據(jù)構(gòu)建具有多個(gè)分支的樹(shù)狀模型，實(shí)現(xiàn)數(shù)據(jù)的分類(lèi)與預(yù)測(cè)。DT可以在時(shí)間相對(duì)較短的情況下對(duì)大量數(shù)據(jù)進(jìn)行處理，效果良好。缺點(diǎn)是容易發(fā)生過(guò)擬合，并忽略數(shù)據(jù)間的相關(guān)性。Wu等[23]通過(guò)梯度提升決策樹(shù)（Gradient Boosting DT,GBDT）對(duì)情緒進(jìn)行分類(lèi)，情緒平均識(shí)別率達(dá)75.18%。

3.3 深度學(xué)習(xí)方法

深度學(xué)習(xí)方法是一種端到端的學(xué)習(xí)方法，在輸入端輸入數(shù)據(jù)，從輸出端得到預(yù)測(cè)結(jié)果。與傳統(tǒng)的機(jī)器學(xué)習(xí)方法相比，該法無(wú)需在每一個(gè)獨(dú)立學(xué)習(xí)任務(wù)之前對(duì)數(shù)據(jù)做復(fù)雜的處理和易錯(cuò)樣本標(biāo)注。常用的深度學(xué)習(xí)方法有自動(dòng)編碼器（Auto Encoder, AE）、卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks, CNN）、 深 度 信 念 網(wǎng) 絡(luò)（Deep Belief Network, DBN）和遞歸神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network,RNN）等。

自動(dòng)編碼器（AE）神經(jīng)網(wǎng)絡(luò)是一種基于后向傳播（Back Propagation, BP）的無(wú)監(jiān)督算法，它包含1個(gè)輸入層，1個(gè)或多個(gè)隱藏層和1個(gè)輸出層，其中輸入層的大小等于輸出層的大小。AE包含編碼器網(wǎng)絡(luò)（Encoder Network, EN）和解碼器網(wǎng)絡(luò)（Decoder Network, DN），自動(dòng)編碼器結(jié)構(gòu)如圖6（a）所示。自編碼器通過(guò)自學(xué)習(xí)方式將原始數(shù)據(jù)的高維特征用低維特征表示，一般用于高層特征非線性降維。AE的優(yōu)點(diǎn)是訓(xùn)練時(shí)間較少，可以利用足夠的無(wú)標(biāo)簽數(shù)據(jù)進(jìn)行模型的預(yù)訓(xùn)練。但由于是全連接網(wǎng)絡(luò)，AE需要較多的訓(xùn)練參數(shù)，因此容易出現(xiàn)過(guò)擬合現(xiàn)象。

劉偉等[26]提出了一種雙峰深度自編碼器 （Bimodal Deep AE, BDAE）特征提取方法，如圖6（b）所示。該方法建立了EEG和EOG的受限玻爾茲曼機(jī)，然后將從BDAE中提取的共享特征發(fā)送到SVM中進(jìn)行情緒識(shí)別。張強(qiáng)等[20]使用稀疏自編碼器（Sparse AE, SAE）提取呼吸信號(hào)的特征，該SAE具有2層隱藏層：第一個(gè)隱藏層（200個(gè)神經(jīng)元）處理呼吸信號(hào)，路徑長(zhǎng)度為640個(gè)樣本；第二個(gè)隱藏層（50個(gè)神經(jīng)元）處理第一個(gè)隱藏層中的200個(gè)神經(jīng)元的輸出，最后50個(gè)神經(jīng)元（特征）形成SAE的輸出，該SAE提供了許多提取的特征，作為邏輯回歸的輸入。Bagherzadeh等[30]提出了一種并行堆疊自動(dòng)編碼器（Parallel Stacked Ae, PSAE），將DEAP數(shù)據(jù)庫(kù)中的EEG和8個(gè)外周生理信號(hào)的特征分成12個(gè)特征子集以并行方式輸入多個(gè)堆疊式的自動(dòng)編碼器中，對(duì)愉悅度和喚醒度進(jìn)行四分類(lèi)，平均準(zhǔn)確率達(dá)93.6%。

圖6 自動(dòng)編碼器方法

卷積神經(jīng)網(wǎng)絡(luò)（CNN）是一種深層前饋人工神經(jīng)網(wǎng)絡(luò)。CNN包括卷積層和池化層。CNN的共享權(quán)值和高度不變性的網(wǎng)絡(luò)結(jié)構(gòu)降低了模型的復(fù)雜度和權(quán)值數(shù)量。缺點(diǎn)是深度模型容易出現(xiàn)梯度消散問(wèn)題。Huang等人[31]提出了集成卷積神經(jīng)網(wǎng)絡(luò)模型（Ensemble Convolutional Neural Network,ECNN），用皮膚電（GSR）、呼吸（RSP）和眼電（EOG）信號(hào)對(duì)4種認(rèn)知狀態(tài)（放松，沮喪，興奮，恐懼）進(jìn)行分類(lèi)。廖錦香等[32]提取EEG的110個(gè)統(tǒng)計(jì)特征并將其發(fā)送到CNN，二分類(lèi)中Valence的準(zhǔn)確度達(dá)到81.4%。Lee等[19]通過(guò)一維卷積神經(jīng)網(wǎng)絡(luò)（One-Dimensional Convolutional Neural Network, 1D-CNN）提取單脈沖的光體積描記圖（Photoplethysmogram, PPG）的信號(hào)特征，實(shí)現(xiàn)了1.1 s短期情感識(shí)別。1D-CNN結(jié)構(gòu)如圖7所示。

圖7 1D-CNN結(jié)構(gòu)

深度信念網(wǎng)絡(luò)（DBN）是一種深度神經(jīng)網(wǎng)絡(luò)的概率生成模型。它由多個(gè)受限玻爾茲曼機(jī)（Restricted Boltzmann Machine, RBM）和Sigmoid信念網(wǎng)絡(luò)堆疊而成。DBN通過(guò)自頂向下的順序逐層訓(xùn)練RBM網(wǎng)絡(luò)，讓神經(jīng)網(wǎng)絡(luò)按照最大概率生成訓(xùn)練樣本。它不僅能生成數(shù)據(jù)，還能識(shí)別特征和分類(lèi)數(shù)據(jù)。缺點(diǎn)是由于生成模型學(xué)習(xí)的是數(shù)據(jù)和標(biāo)簽間的聯(lián)合分布，所以在某種程度上學(xué)習(xí)的復(fù)雜性更高。Hassan等人[27]將提取的EDA、PPG和zEMG融合特征輸入到無(wú)監(jiān)督的DBN中，生成深度級(jí)別的判別特征。對(duì)5種情緒（快樂(lè)、放松、厭惡、悲傷、中性）進(jìn)行識(shí)別，其中快樂(lè)、厭惡、悲傷的識(shí)別準(zhǔn)確率均超過(guò)90%。

遞歸神經(jīng)網(wǎng)絡(luò)（RNN）是一種樹(shù)形結(jié)構(gòu)的人工神經(jīng)網(wǎng)絡(luò)，通過(guò)對(duì)輸入信息進(jìn)行遞歸來(lái)連接網(wǎng)絡(luò)節(jié)點(diǎn)。RNN疊加了以往的信息，用作當(dāng)前網(wǎng)絡(luò)的輸出，解決了上述網(wǎng)絡(luò)結(jié)構(gòu)無(wú)法分析輸入信息序列之間關(guān)聯(lián)性的問(wèn)題。缺點(diǎn)是需要的訓(xùn)練參數(shù)較多，訓(xùn)練困難，容易發(fā)生梯度消散或梯度爆炸。Liao等[36]提出了一種卷積遞歸神經(jīng)網(wǎng)絡(luò)模型（Convolutional Recurrent Neural Network, CRNN）用于情緒識(shí)別，該方法使用CNN學(xué)習(xí)多通道EEG信號(hào)的空間表示，使用LSTM方法學(xué)習(xí)外圍生理信號(hào)（EOG，EMG，GSR，RSP，PPG和SKT）的時(shí)間表示。將2種表示形式結(jié)合后用于情緒分類(lèi)，Arousal識(shí)別準(zhǔn)確率為90.6%，Valence為91.15%。

3.4 模型評(píng)估

模型評(píng)估用來(lái)評(píng)估分類(lèi)器的泛化能力，可以在一定程度上減少過(guò)擬合和欠擬合現(xiàn)象的出現(xiàn)，得到穩(wěn)定、可靠的模型。基本思想是對(duì)原始數(shù)據(jù)分組，用大部分?jǐn)?shù)據(jù)作為訓(xùn)練集進(jìn)行訓(xùn)練，用小部分?jǐn)?shù)據(jù)作為測(cè)試集進(jìn)行評(píng)估。常用的模型評(píng)估方法有：留出法（Hold-Out）、K折交叉驗(yàn)證（K-Fold Crossing Validation, K-CV）和留一驗(yàn)證（Leave-One-Out Crossing Validation, LOO-CV）。

留出法是最簡(jiǎn)單也是最直接的驗(yàn)證方法，將樣本數(shù)據(jù)隨機(jī)分為訓(xùn)練集和測(cè)試集。一般情況下，選擇數(shù)據(jù)集的2/3～4/5作為訓(xùn)練集，其余樣本作為測(cè)試集。Hold-Out的缺點(diǎn)是在測(cè)試集上計(jì)算的分類(lèi)準(zhǔn)確率對(duì)原始數(shù)據(jù)的劃分比較敏感。

K折交叉驗(yàn)證（K-CV）是Hold-Out的改進(jìn)，它消除了Hold-Out的隨機(jī)性，降低了對(duì)數(shù)據(jù)集劃分的敏感性。K-CV將原始數(shù)據(jù)均分為K份，共交叉驗(yàn)證K次，每次選擇其中1份作為測(cè)試集，另K-1份作為訓(xùn)練集。取K次的平均結(jié)果用作最終模型的結(jié)果。最常用的是10折交叉驗(yàn)證。

留一驗(yàn)證（LOO-CV）是使用原始樣本中的一個(gè)作為測(cè)試集，其余樣本保留為訓(xùn)練集。LOO-CV方法使用的測(cè)試集最接近原始樣本的分布，評(píng)估的結(jié)果最可靠。缺點(diǎn)是當(dāng)數(shù)據(jù)集較大時(shí)，計(jì)算成本較高，訓(xùn)練時(shí)間較長(zhǎng)。

4 結(jié) 語(yǔ)

基于生理信號(hào)的情緒識(shí)別研究在腦-機(jī)接口、遠(yuǎn)程教育和精神疾病等方面有著廣泛的應(yīng)用。本文介紹了一些常用的情緒識(shí)別方法，重點(diǎn)分析比較了傳統(tǒng)機(jī)器學(xué)習(xí)和深度學(xué)習(xí)方法。表2總結(jié)了近年來(lái)基于DEAP數(shù)據(jù)庫(kù)中的生理信號(hào)進(jìn)行情緒識(shí)別的相關(guān)研究文獻(xiàn)。從被試人數(shù)來(lái)看，大部分研究使用了DEAP數(shù)據(jù)集的所有被試實(shí)驗(yàn)數(shù)據(jù)。在選取生理信號(hào)方面，有使用單一的生理信號(hào)，也有采用多生理信號(hào)融合的方式，總體而言，使用多生理信號(hào)融合方式的準(zhǔn)確率更高。而識(shí)別模型的選取則依賴(lài)于所選取樣本數(shù)據(jù)和分類(lèi)任務(wù)，可以為一種或者多種分類(lèi)器結(jié)合使用，綜合來(lái)看，近年來(lái)使用深度學(xué)習(xí)方法愈加廣泛，且識(shí)別精度也更高。

表2 基于DEAP數(shù)據(jù)庫(kù)中的生理信號(hào)進(jìn)行情緒識(shí)別相關(guān)研究文獻(xiàn)

續(xù)表

由此看來(lái)，使用多種生理信號(hào)融合的方式和深度學(xué)習(xí)方法進(jìn)行情緒識(shí)別將是情緒識(shí)別領(lǐng)域的發(fā)展趨勢(shì)。如何進(jìn)行多種生理信號(hào)的融合，既提高情緒的識(shí)別準(zhǔn)確率，又解決數(shù)據(jù)維度和計(jì)算復(fù)雜度過(guò)高的問(wèn)題將有待于進(jìn)一步的研究。