一種語言情緒識別方法的研究?

高成吉

（西安航空職業(yè)技術(shù)學(xué)院 西安 710089）

1 引言

由于語音情緒識別在眾多存在交互需求領(lǐng)域具有廣泛應(yīng)用，語音情緒識別技術(shù)越來越受到研究者的關(guān)注［1］。語音情緒識別應(yīng)用于客服電話服務(wù)中心實(shí)現(xiàn)對用戶情緒的實(shí)時(shí)識別，如果發(fā)現(xiàn)出用戶存在激烈的負(fù)面情緒，則及時(shí)轉(zhuǎn)接人工客服，達(dá)到提高服務(wù)質(zhì)量的目的。將語音情緒識別應(yīng)用于對在線學(xué)習(xí)系統(tǒng)的用戶在學(xué)習(xí)過程中的情感狀態(tài)進(jìn)行監(jiān)控，為教師及時(shí)調(diào)整授課重點(diǎn)或者進(jìn)度提高數(shù)據(jù)支持。將語音情緒識別應(yīng)用于對抑郁癥患者的情感變化進(jìn)行跟蹤，從而作為疾病診斷和治療的依據(jù)［2～3］。

情緒是一種心理過程，是對環(huán)境中內(nèi)部/外部變量的反應(yīng)。情緒模型通常是從心理學(xué)的角度出發(fā)采用的。目前主流的兩種突出的情緒分類方法是［4～5］:離散方法和基于維度的連續(xù)方法。離散（或分類）方法將情感描述為離散的、形容詞標(biāo)簽的形式，如高興、憤怒等［6］。情緒維度是將使用多維情緒空間的概念對情緒狀態(tài)進(jìn)行描述。情緒空間的每一維對應(yīng)著情緒的一個(gè)心理學(xué)屬性（如表示情緒激烈程度的激活度屬性以及表明情緒正負(fù)面程度的效價(jià)屬性）?；谇楦锌臻g的情緒描述能夠涵蓋所有的情緒狀態(tài)［7］。

語音情緒識別算法的開發(fā)一般基于情感語料庫、情感空間的描述、不同的語音情緒特征集集合以及多種模式情感識別方法［8］。典型的語音情緒分類模型有HMM（Hidden Markov Model，隱馬爾科夫模型）、GMM（Gaussian Mixture Model，混合高斯模型）、ANN（Artificial Neural Network，人工神經(jīng)網(wǎng)絡(luò)）和 SVM（Support Vector Machine，支持向量機(jī)）。文獻(xiàn)［9］采用HMM 模型應(yīng)用于6 類語音情緒的識別，并在為每個(gè)語音輸出者的每類情感搭建一個(gè)四維狀態(tài)和全向連接的HMM的基礎(chǔ)上實(shí)現(xiàn)了高達(dá)78.5%的識別準(zhǔn)確率。文獻(xiàn)［10］將GMM 模型應(yīng)用于嬰兒的情緒分類，使用峰值策略對高斯分布的音素進(jìn)行優(yōu)化選擇，經(jīng)語音頻率和語音強(qiáng)度的特征訓(xùn)練得到78.8%的最優(yōu)GMM 模型分類性能。文獻(xiàn)［11］為每類情緒搭建一個(gè)二分類的SVM，然后將每個(gè)SVM 的輸出作為一個(gè)三層MLP（multi-layer perceptron，多層感知機(jī)）的輸入，通過MLP的計(jì)算實(shí)現(xiàn)情感分類的識別。

本文基于對識別英語學(xué)生進(jìn)行語言情緒識別的目的，開發(fā)基于GMM 和SVM 的分階段的英語語言情緒識別方法。該方法在二維情感空間上建模情緒，通過GMM/SVM 構(gòu)建兩階段情緒識別模型，分別基于情緒效價(jià)和情緒激活度對語音情緒進(jìn)行分類識別。最后通過實(shí)驗(yàn)分析證明，該方法具有較好的情緒識別效果。

2 情緒描述模型

所有的情緒可以分為兩個(gè)不同的類別:基本情緒和派生情緒?；镜那榫w一般都有特定的模式。根據(jù)相關(guān)文獻(xiàn)研究，基本情緒有六種:喜悅、悲傷、驚奇、恐懼、憤怒和厭惡［12］。次要的或派生的情緒來源于數(shù)量有限的普遍和固有的基本情緒，每種情緒都與生物學(xué)情景有關(guān)［13］。然而，在情緒維度的分類方法中，情感不是彼此獨(dú)立的，相反它們是混合和重疊的。在這種方法中，最常用于測量情緒的兩個(gè)變量是:效價(jià)和激活度［14］。效價(jià)（也稱為評價(jià)或愉悅）是指情緒類別的正面或負(fù)面。激活度（也被稱為強(qiáng)度或活動(dòng)）是指情緒如何升高或不升高。例如，恐懼是一種高度活躍的情緒狀態(tài)，而無私則是一種低激活的情緒狀態(tài)。在效價(jià)-激活度空間的中心是與情緒中立相對應(yīng)的點(diǎn)。基于效價(jià)-激活度的情緒空間如圖1所示［15］。

圖1 基于效價(jià)-激活度的情緒空間

如圖1 所示，可以通過情緒的效價(jià)和激活度描述每種情緒，并且可以在二維空間上的不同位置處繪制不同的情緒。效價(jià)-激活度模型是一種描述情緒的非常有效的方式，因此是實(shí)現(xiàn)情緒相關(guān)系統(tǒng)的較為常見的選擇。

3 情緒識別方法

3.1 基于GMM的語音情感識別

本文采用GMM 模型對情緒進(jìn)行分類。如果x是任意分布的維向量。則x 的密度分布由下式給出:

式（1）中 bi( x )表示高斯密度；Pi為密度分布的權(quán)重。高斯密度bi( x )表示為

式（2）中 μi表示各維度向量；Σi表示協(xié)方差矩陣。

3.2 基于SVM的語音情感識別

SVM 是最有效的語音情緒識別分類器之一。SVM 是一個(gè)二元分類器，可以最大化類之間的差值。核函數(shù)K（x，y）是一個(gè)指向更高的維度的映射。

式（3）中 yi表示情緒分類的輸出；d 為算法常量；xi為支持向量。式（4）中Φ 為從輸入語音特征空間到高維度空間的映射函數(shù)。

3.3 用于語音情感識別的GMM超向量核函數(shù)

首先從包含所有情感的輸入語音中使用EM算法（Expectation Maximization Algorithm）訓(xùn)練了通用的語音情緒模型。其次基于語音情緒模型中MAP（Maximum A Posteriori，最大后驗(yàn)）判斷出每個(gè)情緒。在上述情緒分類過程中，均值向量的調(diào)整是由語音模型參數(shù)和相關(guān)因子決定的，也決定了初始模型對情緒分類的影響。

從CMF的角度結(jié)合共享經(jīng)濟(jì)的特殊性圍繞共享頭盔進(jìn)行分析研究。本文則從美觀性、安全性、可用性出發(fā)，通過材料、顏色、工藝對本產(chǎn)品進(jìn)行合適的設(shè)計(jì)分析；從使用感受與情感體驗(yàn)的角度出發(fā)，基于用戶和設(shè)計(jì)師的角度對產(chǎn)品的CMF進(jìn)行有價(jià)值的探索，綜上，為日后產(chǎn)品成型提供有價(jià)值的參考。

從情緒分類中，通過連接GMM均值向量，構(gòu)造GMM 的超向量。從不同語音文件中采用EM 算法訓(xùn)練出的通用情緒模型，并利用這些通用情緒模型構(gòu)造出的GMM模型為

式（5）中 p( x )為 GMM 模型，λi、μi和 Σi為相關(guān)的混合權(quán)重、均值方差和協(xié)方差。

兩個(gè) GMM 模型（px（x）、py（x））是由 MAP 訓(xùn)練式（5）所示的GMM 模型p（x）的兩個(gè)示例得出。其中p（x）允許將先驗(yàn)分布納入最終情緒的估計(jì)過程。

px（x）和 py（x）之間的 KL（Kullback-Leibler）散度是:

4 分階段情感語音識別器的框架

采用混合GMM/SVM 的分階段情緒識別方法。 這種混合方法被用于每個(gè)情緒激活度級別，以準(zhǔn)確評估情緒狀態(tài)。具體來說，情緒可以在第一階段被粗糙地劃分為較為廣泛的不同情緒類別。在第一階段構(gòu)建了三種不同配置的情緒分類系統(tǒng)，并根據(jù)激活維度將語音情緒分為3 種激活狀態(tài):高激活水平狀態(tài)、低激活水平狀態(tài)和中性激活水平狀態(tài)。高激活情緒包括憤怒、快樂、恐懼和厭惡，而低激活情緒包括無聊和悲傷。第一階段的情緒分類框架如圖2所示。

圖2 基于激活度的情緒分類框架

在第二階段，每個(gè)廣泛的情感類可以進(jìn)一步分類為最終的離散狀態(tài)。根據(jù)效價(jià)維度，情緒分為3個(gè)狀態(tài):正價(jià)態(tài)，負(fù)價(jià)態(tài)和中性態(tài)，如圖3 所示。然后，在第二個(gè)階段，負(fù)價(jià)態(tài)情緒分為5 種情緒類別:憤怒、無聊、厭惡、恐懼和悲傷。

圖3 基于效價(jià)維度的情緒分類框架

5 實(shí)驗(yàn)分析

5.1 語料庫的選擇

本研究中選擇的英語語言句子進(jìn)行實(shí)驗(yàn)分析主要來自兩個(gè)方面。首先，所選擇的陳述不能包含情感傾向的特定方面；其次，所選擇的陳述必須包含高度的情緒自由，因?yàn)橥瑯拥年愂隹梢园l(fā)揮各種各樣的情緒。而且，在聲音的長度、輔音和輔助成分的組成方面，應(yīng)考慮男女之間的所有差異。根據(jù)上述原則，選擇了60 個(gè)情感分析句子。憤怒、無聊、厭惡、恐懼、喜悅、傷心和中性被認(rèn)為是計(jì)算機(jī)情感分析研究的合理分類，本研究把所有語音情感盡可能歸入這七類情緒。為了獲得原始的語音數(shù)據(jù)，來自5 位男學(xué)生和5 為女學(xué)生用憤怒、無聊、厭惡、恐懼、喜悅、傷心和中性情緒讀出60 條實(shí)驗(yàn)語句。同時(shí)要求學(xué)生盡可能平靜地、不帶有任何附加情感地重復(fù)5 次讀出每一個(gè)句子。通過上述過程收集3000 個(gè)語言句子進(jìn)行實(shí)驗(yàn)。為了檢驗(yàn)收集的情緒實(shí)驗(yàn)語音數(shù)據(jù)的有效性，研究人員進(jìn)行了試聽實(shí)驗(yàn)。要求與上述10 位不同的5 位老師坐在電腦終端前，隨機(jī)地收集各種情緒的陳述。然后老師通過主觀評價(jià)來判斷語音的情感類型。經(jīng)過反復(fù)的聆聽和比較，具有不明顯的情感特征的語句被刪除和重錄。形成的實(shí)驗(yàn)語料庫特性如表1所示。表1中N、L分別表示語句的數(shù)量和長度（以s為單位）。

表1 實(shí)驗(yàn)用語料庫的特性

語音情緒識別系統(tǒng)的采樣率為16 kHz，分辨率為16 位。在分類實(shí)驗(yàn)的3000 個(gè)語句中，2000 個(gè)句子進(jìn)行訓(xùn)練，1000個(gè)句子進(jìn)行識別實(shí)驗(yàn)。

5.2 結(jié)合GMM/SVM的多階段分類結(jié)果

第一階段基于激活度的分類結(jié)果如表2 所示。在激活度分類中，算法區(qū)分了3 種激活度水平，基于實(shí)驗(yàn)語料庫的平均識別準(zhǔn)確率為85.82%。

表2 激活度水平分類

由表2 中數(shù)據(jù)可得出結(jié)論，高激活度的言語的識別正確率比低激活度和中性激活度的言語更高?；诩せ疃鹊那榫w分類結(jié)果如表3所示。

表3 基于激活度的情緒分類

第二階段基于效價(jià)的語句中正面、負(fù)面和中性水平分類的結(jié)果如表4所示。

表4 效價(jià)分類結(jié)果

由表4 可知，效價(jià)分類的平均準(zhǔn)確率為74.42%?；趯?shí)驗(yàn)語料庫的第二階段的基于效價(jià)分類的情緒識別結(jié)果如表5所示。

表5 基于效價(jià)分類的情緒分類

對比兩個(gè)階段的情緒識別的結(jié)果和基于人工的情緒識別結(jié)果如表6所示。

表6 不同情緒識別方法的對比

由表6 的數(shù)據(jù)可知，混合GMM 和SVM 的分階段的情緒分類整體識別準(zhǔn)確率為81.21%。通過對表6 的數(shù)據(jù)進(jìn)行比較表明，在實(shí)驗(yàn)語料庫中，憤怒、厭惡和悲傷情緒的識別準(zhǔn)確率較高。其中，基于GMM/SVM的厭惡和悲傷的情緒識別能力甚至比基于人工的識別準(zhǔn)確性更好。

6 結(jié)語

本文提出一種基于GMM 和SVM 的多階段的英語語言情緒識別算法。該算法通過定義了兩個(gè)階段的識別算法對英語語言的情緒效價(jià)和激活度的識別分類進(jìn)行研究。通過實(shí)驗(yàn)表明，該算法具有較好的情緒整體識別正確率，且激活度的識別正確率要比情緒效價(jià)的要好。

在本文的研究中存在以下問題。首先基于激活度和效價(jià)兩個(gè)維度的情緒空間模型并未獲得一致性的認(rèn)可，因此需要對情感空間的維度分布進(jìn)行深入研究，利用更加合理的數(shù)學(xué)模型對情感空間中各種情緒之間關(guān)系加以描述。其次實(shí)驗(yàn)用的語料庫的所覆蓋的情緒有限，因此需要未來通過更多的情緒語料庫對實(shí)驗(yàn)算法進(jìn)行驗(yàn)證。