基于BM神經(jīng)網(wǎng)絡(luò)編碼的生理信號情感識別

潘聞特，申麗萍

（上海交通大學(xué) 電子信息與電氣工程學(xué)院，上海200240）

0 引 言

情感計算［1］是通過各種傳感器獲取由人的情感所引起的各種生理變化，建立情感模型，從而創(chuàng)建感知、識別和理解人類情感，目前研究中的常用方法主要包括表情情感識別、姿態(tài)情感識別以及語音情感識別。但這些方法由于受主觀影響過大，有時候無法真實的反應(yīng)人自身的情感狀態(tài)。生理信號情感識別通過分析人體潛在的生物電信號來識別情感狀態(tài)，更易于捕捉內(nèi)在情感和情緒。在這一方面最早取得矚目成果的是美國MIT媒體實驗室情感計算研究小組的Picard［2］教授團隊，他們率先從生理信號中提取特征來開展情感識別的研究，基本完成了對實驗可行性的論證。之后其它國家的學(xué)者也對本方向給予了極大的重視并進(jìn)行了積極的研究，取得了很好的結(jié)果。

文獻(xiàn) ［2］通過對4種生理信號 （肌電，膚電，呼吸作用，血容量搏動）的分析，采用 SFFS［2］和 Fisher［2－3］方 法來進(jìn)行特征提取，識別率達(dá)到70%以上。文獻(xiàn) ［3］對joy、anger、pleasure和sadness這4種情感用不同的特征選擇方法 （SFS，F(xiàn)isher，SFS/Fisher，ANOVO）與不同分類器（LDF，KNN，MLPN）結(jié)合的方法進(jìn)行了識別，也取得了很好的效果。文獻(xiàn) ［4－5］也列出了在生理信號情感檢測時構(gòu)建分類的相關(guān)成果。但這些方法沒有考慮不同個體之間存在的生理差異所引起的識別誤差，因此，現(xiàn)有的方法均不具備普遍適用性。本文針對上述現(xiàn)有技術(shù)的不足，提出了一種能夠普遍適用的，基于人體生理信號的學(xué)生情感識別方法，通過對生理信號的預(yù)處理，消除由于個體差異以及環(huán)境因素導(dǎo)致的信號偏置，利用隨機型反饋神經(jīng)網(wǎng)絡(luò)［6］對生理信號特征進(jìn)行編碼，減小由于個體差異帶來的特征差異。實驗結(jié)果證明了該方法的可行性。

1 BM神經(jīng)網(wǎng)絡(luò)

1.1 波爾茲曼機

G.E.Hinton［7］等于1983—1986年提出一種稱為波爾茲曼 （Boltzmann［8］）機的隨機神經(jīng)網(wǎng)絡(luò)。在這種網(wǎng)絡(luò)中神經(jīng)元只有兩種輸出狀態(tài)，即單極性二進(jìn)制的0或1。狀態(tài)的取值根據(jù)概率統(tǒng)計法則決定，由于這種概率統(tǒng)計法則的表達(dá)形式與著名統(tǒng)計力學(xué)家L.Boltzmann提出的Boltzmann分布類似故該名稱為Boltzmann Machine（BM）網(wǎng)絡(luò)。從功能上講，波爾茲曼機是反饋神經(jīng)網(wǎng)絡(luò)，且對稱連接，無自反饋。從結(jié)構(gòu)上講，它又可視為多層網(wǎng)絡(luò)。包括輸入層、隱層和輸出層。其中，輸入層和輸出層又稱為可視層。玻爾茲曼機是典型的隨機神經(jīng)網(wǎng)絡(luò)模型。即網(wǎng)絡(luò)中的神經(jīng)元是隨機神經(jīng)元，其狀態(tài)用概率來確定。

1.2 受限波爾茲曼機

受限波爾茲曼機 （restricted Boltzmann machine［9］）是一種基于能量的改進(jìn)的模型，通常被用于模式識別中的無監(jiān)督學(xué)習(xí)。它包含兩層，一層稱為可見層，另一層稱為隱層。每一層均由一系列節(jié)點組成，這些節(jié)點通常被稱為“專家”，受限波爾茲曼機的節(jié)點狀態(tài)是二值的，即為0或1。每一層內(nèi)都有一個偏置節(jié)點，其狀態(tài)不會變化。層與層之間的節(jié)點是無向全連接的，而層內(nèi)的節(jié)點之間不存在連接，即構(gòu)成一個偶圖。每一條連接都被賦予一個權(quán)值，用于描述該連接兩端的節(jié)點之間的關(guān)聯(lián)度。一般的，向量v表示其可見層狀態(tài)，向量h表示其隱層狀態(tài)，向量b為隱層偏置單元與可見層的連接權(quán)重，向量c為可見層偏置與隱層的連接權(quán)重，W表示連接隱層和可見層的權(quán)值矩陣。它對數(shù)據(jù)空間的能量分布建立如下分布

其中：Energy（v，h）＝－bTv－cTh－h(huán)TWv將能量歸一化，可以得到一可見層與隱層狀態(tài)的聯(lián)合概率分布

通過建立P（v，h）生成模型，可以認(rèn)為，在給定v的情況下，從該模型中采樣得到的h是v在該模型下的一個隱含表示，即一組編碼。通常這種隱含表示能夠?qū)W習(xí)到可見層數(shù)據(jù)中的某些高維抽象特征，對后續(xù)的分類器訓(xùn)練和分類有提高準(zhǔn)確率的輔助作用。

受限波爾茲曼機訓(xùn)練方法介紹如下：使用受限波爾茲曼機時，首先隨機初始化權(quán)值矩陣W，偏置向量b和c，然后通過訓(xùn)練算法，將該模型擬合至實際的數(shù)據(jù)空間能量分布。目前有較快的算法，稱為一致對比散度 （persistence contrastive divergence［10］）法。具體算法為：

（1）維護一組初始為全0狀態(tài)的負(fù)樣本v－；

（2）初始化W，b，c為隨機的較小數(shù)值；

（3）對于每一組訓(xùn)練數(shù)據(jù)，即正樣本v＋，通過采樣P（h＋｜v＋）得到一組h＋；

（4）對于負(fù)樣本，通過采樣P（h－｜v－）得到一組h－；

（5）通過采樣P（v－｜h－）重構(gòu)一組負(fù)樣本v－，作為下一次采樣的負(fù)樣本；

（6）計算梯度g＝v＋h＋T－v－h(huán)－T；

（7）更新W＝W＋rw·g，rw為學(xué)習(xí)速率；

（8）重復(fù) （4）至 （7）步，直至達(dá)到最大訓(xùn)練周期。

1.3 連續(xù)受限波爾茲曼機

連續(xù)受限波爾茲曼機 （CRBM［11］）是受限波爾茲曼機（RBM）的一種擴展，由于受限波爾茲曼機一般是定義為由二項分布的隨機單元組成的模型，而我們所處理的信號值是連續(xù)的變量，所以為了使用受限波爾茲曼機進(jìn)行編碼，需要對受限波爾茲曼機的隨機單元進(jìn)行改造，這里將二項分布擴展到Exponential Family［12］函數(shù)，通過用高斯隨機分布代替二項分布的方法將受限波爾茲曼機的二項單元擴展到連續(xù)單元，所以稱為連續(xù)的受限波爾茲曼機 （CRBM）。連續(xù)的受限波爾茲曼機是一種對受限波爾茲曼機的推廣，其與受限波爾茲曼機有相同的結(jié)構(gòu)，不同的是，受限波爾茲曼機的每一個節(jié)點是一個伯努立 （Bernoulli［13］）分布的隨機節(jié)點，而連續(xù)的受限波爾茲曼機的每一個節(jié)點是一個加入高斯隨機噪聲的Sigmoid節(jié)點［14］。其圖模型如圖1所示。

圖1 連續(xù)受限波爾茲曼機結(jié)構(gòu)機

與受限波爾茲曼機一樣，可見層狀態(tài)用向量v表示，其隱層狀態(tài)用向量h表示，隱層偏置單元與可見層的連接權(quán)重用向量b表示，可見層偏置與隱層的連接權(quán)重用向量c表示，連接隱層和可見層的權(quán)值矩陣用W表示。其隱層節(jié)點的狀態(tài)為

式中：Νj（0，1）——以0為均值，1——方差的高斯分布?！摴?jié)點所可能取到的最小、最大值，aj——一個隨機噪聲控制參數(shù)，對于可見層節(jié)點，可以將aj設(shè)為固定值，隱層節(jié)點的aj通過訓(xùn)練算法訓(xùn)練得到。

連續(xù)的受限波爾茲曼機訓(xùn)練方法介紹如下：連續(xù)的受限波爾茲曼機的訓(xùn)練方法與受限波爾茲曼機的訓(xùn)練方法是基本一致的，根據(jù)最新的受限波爾茲曼機訓(xùn)練方法一致對比散度［15］法，可以得到連續(xù)的受限波爾茲曼機的訓(xùn)練方法：

（1）維護一組初始為全0狀態(tài)的負(fù)樣本v－；

（2）初始化W，b，c為隨機的較小數(shù)值；

（3）對于每一組訓(xùn)練數(shù)據(jù)，即正樣本v＋，通過計算，得到一組h＋；

（6）計算梯度g＝v＋h＋T－v－h(huán)－T；

（7）更新W＝W＋rw·g，rw為學(xué)習(xí)速率；

（9）重復(fù) （4）至 （8）步，直至達(dá)到最大訓(xùn)練周期。

訓(xùn)練完畢后所生成模型P（v，h）可以通過采樣從模型中得到符合數(shù)據(jù)分布概率的v和h。同時，生成模型P（v，h）在給定可見層狀態(tài)向量v的情況下，采樣得到的隱層狀態(tài)向量h即為生理信號特征編碼。

2 基于生理信號的情感識別框架

情感識別問題從本質(zhì)上來看也是一個分類問題。本例基于生理信號學(xué)生情感分類器的訓(xùn)練框架，如圖2所示。其步驟如下。

圖2 基于生理信號的情感識別框架

2.1 生理信號噪聲濾波

生理信號噪聲濾波。利用生理信號傳感器：皮膚電導(dǎo)（Skin Conductance）傳感器、血容量搏動 （Blood Volume Pulse）傳感器、呼吸 （Respiration）傳感器以及肌肉電反應(yīng) （Electromyography）傳感器接受生理信號，對輸入信號進(jìn)行低通濾波，減弱交流電等外界電磁場對信號的干擾。然后使用平滑濾波器，對低通濾波后的信號進(jìn)行平滑濾波，過濾由于學(xué)生的輕微肢體運動所可能引入的高斯隨機噪聲。本實驗傳感器的采樣頻率均為256Hz，所選用的低通濾波器是巴特沃斯 （Butterworth）濾波器，對皮膚電導(dǎo)、血容量搏動以及呼吸信號設(shè)計截止頻率為50Hz，增益為1的巴特沃斯濾波器，對肌肉電反應(yīng)信號設(shè)計截止頻率為100Hz，增益為1的巴特沃斯濾波器。所選用的平滑濾波器是均值平滑濾波器，其窗口范圍為 ［－32，32］，具體計算方法為

2.2 生理信號基準(zhǔn)估計

在實驗者處于合適的坐姿后，播放藍(lán)色多瑙河使學(xué)生處于平靜放松狀態(tài)，對其生理信號進(jìn)行采集。經(jīng)過40s持續(xù)采集后對其記錄的生理信號數(shù)據(jù)進(jìn)行濾波處理，并保存作為當(dāng)前實驗的生理信號基準(zhǔn)。

2.3 采集學(xué)生上課生理信號

將25s設(shè)置為固定的時間窗口寬度，以更好的實現(xiàn)情緒的差異化產(chǎn)生更好的數(shù)據(jù)訓(xùn)練效果，并按固定寬度的時間窗口25s將生理信號分段。每段生理信號都作為用于情感分類的一組信號片段。

2.4 生理信號特征提取

生理信號特征提取包括了時域生理信號特征提取和頻域生理信號特征提取兩個方面。

2.4.1 時域生理信號提取

時域生理信號特征提取，也就是計算生理信號特征的統(tǒng)計量，按照傳感器劃分，包括如下特征：皮膚電導(dǎo) （皮膚電導(dǎo)去偏置后標(biāo)準(zhǔn)差、皮膚電導(dǎo)去偏置后均值）；肌肉電反應(yīng) （肌肉電反應(yīng)去偏置后標(biāo)準(zhǔn)差、肌肉電反應(yīng)去偏置后幅度）；血容量搏動 （血容量搏動去偏置后標(biāo)準(zhǔn)差、血容量搏動去中值后標(biāo)準(zhǔn)差）；呼吸 （呼吸去偏置后幅度）。去偏置后均值，為當(dāng)前信號片段的均值與已知的相應(yīng)生理信號基準(zhǔn)信號的均值之差。去偏置后均值計算公式為

其中μsignal和μbias的計算公式為

式中：N——信號片段中信號采樣數(shù)，M——已知基準(zhǔn)信號的信號采樣數(shù)，x——信號片段中的采樣信號值，y——基準(zhǔn)信號中的采樣信號值。去偏置后標(biāo)準(zhǔn)差，為當(dāng)前信號片段的標(biāo)準(zhǔn)差與已知的相應(yīng)生理信號基準(zhǔn)信號的標(biāo)準(zhǔn)差之差。去偏置后標(biāo)準(zhǔn)差具體計算公式為

去偏置后幅度，為當(dāng)前信號片段的幅度與已知的相應(yīng)生理信號基準(zhǔn)信號的幅度之差。去偏置后幅度具體計算公式為

其中，Ampsignal＝max（｛xi｝）－min（｛xi｝），Ampsignal＝max（｛yi｝）－min（｛yi｝）。

2.4.2 頻域生理信號提取

頻域生理信號特征提取，也就是將生理信號通過快速傅里葉變換至頻域后，得到的一些特征，按照傳感器劃分，包括如下特征：血容量搏動 （心率、心率變異性 （heart rate variability））的高頻能量、心率變異性高頻能量與低頻能量比）；呼吸 （呼吸頻率）。

2.5 生理信號特征編碼

生理信號特征編碼。采用連續(xù)的受限波爾茲曼機算法對2.4節(jié)得到的生理信號特征進(jìn)行訓(xùn)練，得到生理信號特征編碼與生理信號特征的生成模型，該生成模型能夠根據(jù)輸入的生理信號特征，采樣得到一組相應(yīng)的生理信號特征編碼。由前述知，連續(xù)的受限波爾茲曼機隱層節(jié)點的狀態(tài)為

式中：Νj（0，1）——以0為均值，1——方差的高斯分布，，可見層節(jié)點的狀態(tài)為：vi＝i（∑iwijhj＋σ·Νi（0，1））。

本例取51個隱層節(jié)點，1個偏置節(jié)點，50個生理信號編碼節(jié)點。11個可見層節(jié)點，1個偏置節(jié)點，10個生理信號特征輸入節(jié)點。隱層單元和可見層的值域均為 （0，1），故選取θL和θH分別為0和1?？梢妼雍碗[層的偏置節(jié)點的狀態(tài)始終為1。固定高斯噪聲的方差為0.2。將可見層的噪聲控制變量aj固定，每個節(jié)點均為0.01；隱層的aj初始化時設(shè)置為 ［0，0.01］間的隨機小數(shù)，后通過訓(xùn)練算法進(jìn)行不斷調(diào)整。在使用連續(xù)的受限波爾茲曼機訓(xùn)練時，隨著時間的增加，會出現(xiàn)逐漸趨于平衡狀態(tài)的現(xiàn)象。為了在訓(xùn)練初期得到較大的梯度下降以加快訓(xùn)練速度，可初始較高的學(xué)習(xí)速率并設(shè)置逐漸衰減，這樣在訓(xùn)練后期能夠以較小的訓(xùn)練速度保證學(xué)習(xí)算法的穩(wěn)定性。故在本例中，取學(xué)習(xí)速率rw初始值為0.5，線性遞減系數(shù)為0.3，計算式如下

式中：t——本次訓(xùn)練周期，為完成所有訓(xùn)練數(shù)據(jù)的一次訓(xùn)練過程時間。MaxTrainingEpoch為最大的訓(xùn)練周期，本例定義為5000。取學(xué)習(xí)速率ra初始值為0.2，線性遞減系數(shù)為0.1，計算式如下

為了令可見層的值域為 （0，1），在本實施例中，需要通過歸一化因子對生理信號特征進(jìn)行歸一化處理，具體計算方法為，在訓(xùn)練數(shù)據(jù)上，計算各生理信號特征的最大和最小值，然后按照如下公式進(jìn)行特征變換

將miny和maxy保存在模型中，在模型訓(xùn)練完后用如上變換公式對給定的新特征進(jìn)行特征變換，保證數(shù)據(jù)空間的一致性。為了提高訓(xùn)練速度，本例中的訓(xùn)練算法采用以100個訓(xùn)練實例為一個訓(xùn)練最小單位，求得100個訓(xùn)練實例的平均梯度，來對模型參數(shù)進(jìn)行修正，提高梯度估計的準(zhǔn)確度同時也提高運算速度。

2.6 支持向量機訓(xùn)練

支持向量機［11］訓(xùn)練。經(jīng)過2.5節(jié)得到生理信號特征編碼后，對該編碼進(jìn)行情感類別標(biāo)注得到標(biāo)注后的訓(xùn)練數(shù)據(jù)。通過交叉驗證和搜索算法，利用標(biāo)注后的訓(xùn)練數(shù)據(jù)訓(xùn)練支持向量機模型，從而得到一組支持向量結(jié)果，以及與其對應(yīng)的權(quán)值向量和一組最優(yōu)超參數(shù)［10］。

2.6.1 支持向量機

支持向量機，一種可用于模式分類的方法。二分類支持向量機能夠解決二類分類問題，其核心思想為求解如下最優(yōu)化問題：使最大化LD其對偶問題為最大化Lp

受限于

式中：K（＊）——核函數(shù)。這是一個二次優(yōu)化問題，有唯一解。解值不為0的α所對應(yīng)的x稱為支持向量，α本身則為權(quán)值向量。本實施例中選取的核函數(shù)為徑向基函數(shù)（RBF），其表達(dá)式為

式中：σ——一超參數(shù)，可以通過網(wǎng)格搜索和交叉驗證方法搜索其最優(yōu)解。

2.6.2 二分類支持向量機

二分類支持向量機可以通過One－VS－One的方法構(gòu)建多分類支持向量機。對于一個N分類問題，一共可以構(gòu)建N＊ （N－1）/2個二分類支持向量機，針對每兩個類別的數(shù)據(jù)都能夠訓(xùn)練一個相應(yīng)的二分類支持向量機。相對的，對于某個給定的輸入，分別輸入這N＊ （N－1）/2個二分類支持向量機中，通過所有的二分類支持向量機投票決定最終的分類。

2.7 支持向量機分類

支持向量機分類。使用訓(xùn)練得到的支持向量機模型，將情感特征編碼輸入訓(xùn)練得到的支持向量機中，通過多類支持向量機的計算，通過One－VS－One方法，利用二分類支持向量機構(gòu)建的多分類支持向量機，得到情感分類輸出。二分類支持向量機的判決函數(shù)為

根據(jù)最終判決函數(shù)的符號，可以實現(xiàn)對數(shù)據(jù)進(jìn)行分類。最后，通過所有二分類支持向量機的結(jié)果進(jìn)行投票決定最終分類輸出。

3 實驗設(shè)計和實驗結(jié)果

依上述算法，實驗時學(xué)生佩戴用于采集生理信號的傳感器設(shè)備并采集學(xué)生當(dāng)前的生理信號作為基準(zhǔn)信號。在學(xué)生上課時通過記錄學(xué)生的生理信號，按照預(yù)先劃分好的時間片段，分別計算該時間片段內(nèi)學(xué)生生理信號的時域和頻域的生理信號特征值，得到該時間片段內(nèi)該學(xué)生的生理信號特征向量。將該特征向量輸入已經(jīng)訓(xùn)練完畢的連續(xù)的受限波爾茲曼機中，通過計算連續(xù)的受限波爾茲曼機的隱層狀態(tài)，得到一組特征編碼，該編碼能夠表示當(dāng)前學(xué)生生理信號特征。最后將該編碼輸入預(yù)先訓(xùn)練好的支持向量機中，從而得到輸出為學(xué)生當(dāng)前情感類別。為了測試上述算法的系統(tǒng)性能，本例設(shè)計了兩組實驗。第一組實驗用于測試系統(tǒng)在單個個體上的分類準(zhǔn)確率。實驗以單個學(xué)生為實驗對象，記錄學(xué)生在不同時間段的不同環(huán)境中產(chǎn)生的不同情感狀態(tài)下學(xué)習(xí)時的生理信號以及相對應(yīng)的學(xué)生情感信息。在實驗中做了二分類問題，將所標(biāo)記的情感分成兩類：“注意力集中”和 “注意力不集中”。對一名學(xué)生共進(jìn)行10次實驗。每次實驗過程為：①令學(xué)生保持坐姿處于平靜狀態(tài)后，以生理信號感知器采集其生理信號1分鐘，并將這1分鐘內(nèi)所采集到的生理數(shù)據(jù)保存為 “基準(zhǔn)信號”。②在屏幕中以黑色為背景播放一個隨機運動的紅色小球，令學(xué)生保持之前相同的坐姿并注視該運動的小球，同時適用傳感器采集其生理信號，持續(xù)6分鐘，將這段時間內(nèi)采集到的生理數(shù)據(jù)標(biāo)記為 “注意力集中”。③令學(xué)生保持同樣坐姿，閉上眼睛休息持續(xù)6分鐘并用傳感器采集其生理信號，將這段時間內(nèi)采集到的生理數(shù)據(jù)標(biāo)記為 “注意力不集中”。每次實驗可以得到訓(xùn)練樣本24組，總計10次實驗得到240組訓(xùn)練樣本。在進(jìn)行這240組樣本的訓(xùn)練時，采用上述設(shè)計的算法分類效果出色，達(dá)到了95.8%的交叉驗證準(zhǔn)確率。第二組實驗的設(shè)計目的是為了測試系統(tǒng)以及設(shè)計的算法在不同實驗個體上的泛化能力。在第二組實驗中選取20名年齡段在22－32歲之間不同性別、不同年齡的普通人作為實驗對象。其中男性女性數(shù)目相等各10名以充分考慮實驗時情感變化的性別因素并保證實驗結(jié)果對不同性別的普適性。同時為了保證完成實驗的獨立性，每一名實驗對象只會參加一次實驗。與第一組實驗相比，除了 “注意力集中”和“注意力不集中”兩種關(guān)心的情感外，在第二組實驗中添加了另外一種稱為 “中性”的狀態(tài)。第二組實驗的數(shù)據(jù)標(biāo)記由學(xué)生自我評價完成，當(dāng)學(xué)生自身無法確認(rèn)自己是否注意力集中，不能在之前的 “注意力集中”和 “注意力不集中”兩種情感狀態(tài)里選擇時，則標(biāo)記自己的情感狀態(tài)為 “中性”。為使學(xué)生在學(xué)習(xí)過程中能夠?qū)ζ渥⒁饬η楦羞M(jìn)行及時標(biāo)記，設(shè)計完成了一個用于情感自我匯報的界面。該提示界面會從課程開始3分鐘后，并以5分鐘為間隔彈出提示窗口，要求學(xué)生從3種情感狀態(tài)中選擇其當(dāng)前的注意力狀態(tài)：“注意力集中”、 “注意力不集中”和 “中性”。此外，為了充分調(diào)動學(xué)習(xí)過程中學(xué)生的不同情感，使實驗對象在不同內(nèi)容的測試中情感差異更加明顯，本次實驗專門設(shè)計了一段長度為40分鐘以英語學(xué)習(xí)為主要內(nèi)容的課程。其中為了引導(dǎo)學(xué)生在學(xué)習(xí)過程中產(chǎn)生不同的注意力情感，對課程的內(nèi)容進(jìn)行了刻意的劃并分為4個場景。第一個場景設(shè)計為激發(fā)學(xué)生 “注意力集中”的情感，內(nèi)容是老師以講述一段有趣的英語笑話的方式來指導(dǎo)學(xué)生進(jìn)行英語詞匯的學(xué)習(xí)；第二個場景設(shè)計為激發(fā)學(xué)生 “中性”或者 “注意力不集中”情感，內(nèi)容為老師采用傳統(tǒng)教學(xué)方式進(jìn)行英語語法講解；第三個場景設(shè)計為激發(fā)學(xué)生 “注意力不集中”或者“中性”的情感，內(nèi)容為老師采用傳統(tǒng)教學(xué)方式進(jìn)行英語習(xí)題講解；第四個場景設(shè)計為激發(fā)學(xué)生 “注意力集中”或者“中性”的情感，內(nèi)容為老師講解英語考試技巧。每個場景持續(xù)時間為10分鐘。在課程學(xué)習(xí)之前，為了使學(xué)生處于平和安靜狀態(tài)，會播放5分鐘長度的舒緩的音樂并記錄其生理信號數(shù)據(jù)，并將這段時間的數(shù)據(jù)作為學(xué)生生理信號的基準(zhǔn)信號。以25s為時間窗口對數(shù)據(jù)完成分段后，共得到4800組已標(biāo)記3種注意力情感之一情感類別的生理數(shù)據(jù)。在對數(shù)據(jù)進(jìn)行訓(xùn)練測試時，選擇20%的數(shù)據(jù)作為測試數(shù)據(jù)集，另外80%的數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)集。本實驗設(shè)計的基于波爾茲曼機網(wǎng)絡(luò)編碼與支持向量機結(jié)合的算法取得了較好的實驗效果。結(jié)果如表1所示。

4 結(jié)束語

在生理信號情感識別中，大量數(shù)據(jù)集之間生理信號特征呈現(xiàn)出的迥異，會直接影響數(shù)據(jù)采集訓(xùn)練分類到最后的實驗結(jié)果。實驗過程顯示出面對同樣環(huán)境同樣內(nèi)容不同實驗個體所呈現(xiàn)出的生理信號反應(yīng)的巨大差異。與其它幾種方法相比，基于反饋性神經(jīng)網(wǎng)絡(luò)的編碼方法可以有效地消除原數(shù)據(jù)噪聲，同時能夠利用隱層節(jié)點捕捉數(shù)據(jù)分布的主要特征，減少數(shù)據(jù)重建時的錯誤率，減小個體特征之間的差異性，實驗結(jié)果顯示了結(jié)合BM網(wǎng)絡(luò)編碼的向量機分類在進(jìn)行生理信號情感識別中取得了較好的效果。

表1 不同分類器的分類效果比較

［1］Picard R W.Affective computing ［M］.LUO Senlin，transl.Beijing：Beijing Institute of Technology Press，2005：129－142（in Chinese）.［Picard R W.情感計算 ［M］.羅森林，譯.北京：北京理工大學(xué)大學(xué)出版社，2005：129－142.］

［2］LU C，ZHOU J，SHEN L，et al.Techniques for enhancing pervasive learning in standard natural classroom ［C］.Hybrid Learning and Education－First International Conference，2008：202－212.

［3］Johannes Wagner，Jonghwa Kim，Elisabeth Ander.From physiological signals to emotions：Implementing and selected method for feature extraction and classification ［C］.IEEE International Conference on Multimedia and Expo，2005：940－943.

［4］Heraz A，Razaki R，F(xiàn)rasson C.Using machine learning to predict learner emotional state from brainwaves［C］.Seventh IEEE International Conference on Advanced Learning Technologies，2008.

［5］Burleson W.Affective learning companions：Strategies for empathetic agents with real－time multimodal affective sensing for foster meta－cognitive and meta－affective approaches to leaning，motivation and perseverance［D］.MIT PhD Thesis，2006

［6］Picard R W.Future affective technology for autism and emotion communication ［J］.Philosophical Transactions of the Royal Society BBiological Sciences，2009，364 （1535）：3575－3584.

［7］Hinton G E，Salakhudinov R R.Reducing the dimensionality of data with neutral networks ［J］.Scinence，2006，313（5786）：504－507.

［8］Paiva A，Prada R，Picard R W.Affective computing and intelligent interaction ［C］.Proceedings Second International Conference，2007.

［9］Tieleman T.Training restricted Boltzmann machines using approximations to the likelihood gradient［C］.Proceedings of the 25th International Conference on Machine Learning，2008：1064－1071.

［10］Memisevic R，Hinton G E.Learning to represent spatial transformations with factored higher－order Boltzmann machines ［J］. Neural Computation，2010，22 （6）：1473－1492.

［11］Larochelle H，Erhan D，Courville A，et al.An empirical evaluation of deep architectures on problems with many factors of variation ［C］.Proceedings of the 24th International Conference on Machine Learning，2007：2797.

［12］Memisevic R，Hinton G.Unsupervised learning of image transformations ［C］.Proceedings of IEEE Conference on Computer Vision and Pattern Recognition，2007：2794.

［13］ HUANG G B，Learned－Miller E.Learning class－specific image transformations with higher－order Boltzmann machines［C］.Workshop on Structured Models in Computer Vision at IEEE CVPR，2010.

［14］Ranzato M，Hinton G.Modeling pixel means and covariances using factorized third－order Boltzmann machines ［C］.Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，2010.

［15］DUAN Kaibo，Sathiya Keerthi S.Which is the best multiclass SVM method？An empirical study ［C］.Proceedings of the Sixth International Workshop on Multiple Classifier Systems，2007.