一種基于特征差異度和SVM投票機(jī)制的數(shù)字音樂語音情感識別算法

王 秀， 謝志成， 張 棟

(福州大學(xué)數(shù)學(xué)與計算機(jī)科學(xué)學(xué)院， 福建 福州 350116)

一種基于特征差異度和SVM投票機(jī)制的數(shù)字音樂語音情感識別算法

王 秀， 謝志成， 張 棟

(福州大學(xué)數(shù)學(xué)與計算機(jī)科學(xué)學(xué)院， 福建 福州 350116)

針對數(shù)字音樂語音情感識別問題， 提出一種基于特征差異度和SVM投票機(jī)制進(jìn)行識別的方法. 該方法不僅降低了特征向量的維度， 而且保留了足夠的能夠描述數(shù)字音樂語音不同情感之間差異的特征. 同時， 該方法利用多個二分SVM分類器進(jìn)行投票， 減少了每個分類器的權(quán)重， 從而降低了誤差. 實驗結(jié)果表明， 該方法能夠有效地提高識別準(zhǔn)確率.

數(shù)字音樂語音； 情感識別； 支持向量機(jī)； 特征差異度

0 引言

隨著科學(xué)技術(shù)的發(fā)展， 人們的娛樂生活越來越豐富多彩， 對于娛樂內(nèi)容的要求也不斷提高. KTV作為娛樂的一種形式， 已經(jīng)被人們廣為接受. 如何提高人們對于KTV服務(wù)質(zhì)量的滿意程度也開始受到學(xué)術(shù)界和業(yè)界的廣泛關(guān)注. 目前， KTV系統(tǒng)已經(jīng)可以對演唱者的音高、 音長等音準(zhǔn)方面的因素進(jìn)行評判和打分， 但是并不能評判演唱者的演唱是否帶有符合歌曲本身的情感， 導(dǎo)致評分反映不出演唱主觀質(zhì)量， 這樣就會降低評分的準(zhǔn)確性， 影響用戶的體驗. 針對上述情況， 本研究提出一種基于特征差異度(DBC， difference between characteristics)系數(shù)和SVM投票機(jī)制的數(shù)字音樂語音情感識別算法， 將識別結(jié)果加入評分系統(tǒng)中， 從而增加評分的主觀性. 語音情感識別方法的一般流程如圖1所示.

圖1 語音情感識別流程圖Fig.1 The flow chart of emotion recognition

目前， 語音情感識別主要關(guān)注的是正常說話語音而不是音樂語音， 識別的關(guān)鍵問題在于特征與識別模型的選取， 現(xiàn)有的識別方法各有不同. 文獻(xiàn)[1]采用提取Mel倒譜系數(shù)(MFCC)作為特征參數(shù)， 然后選擇SVM作為分類器的方法. 該方法不僅考慮了低頻部分的MFCC， 同時提升了中高頻MFCC的計算精度， 并將其作為低頻MFCC的補(bǔ)充， 然后利用SVM作為分類器進(jìn)行識別. 這種利用MFCC參數(shù)的方法考慮了Mel頻率同Hz頻率的非線性關(guān)系， 但如果單一利用MFCC系數(shù)作為識別參數(shù)， 特征包含的信息太少. 文獻(xiàn)[2]采用直接計算傳統(tǒng)特征， 如能量、 過零率、 能零積、 基頻、 共振峰等， 再計算上述特征的最大值、 最小值、 平均值、 標(biāo)準(zhǔn)差， 然后利用混合蛙跳算法(SELA)神經(jīng)網(wǎng)絡(luò)識別情感的方法. 這種方法沒有對特征進(jìn)行降維處理， 不僅計算量較大， 而且可能把一些在分類過程中沒有用的特征也考慮進(jìn)來， 從而影響識別準(zhǔn)確率. 文獻(xiàn)[3-5]采用提取傳統(tǒng)特征及其衍生參數(shù)作為備選特征， 然后利用Fisher準(zhǔn)則或者PCA等方法， 從備選特征提取適合特征進(jìn)行分層識別[6]. 基于Fisher準(zhǔn)則提取傳統(tǒng)特征及其衍生參數(shù)的方法， 如果準(zhǔn)則模型與實際樣本數(shù)據(jù)的分布有較大的偏差， 就無法得到好的識別結(jié)果[7]. 同時， Fisher判別的思想是先確定類與類間的臨界值， 然后以臨界值作為準(zhǔn)則進(jìn)行判別. 而計算臨界值時沒有考慮樣本總體大小及類的離散程度對臨界值的影響， 這樣會導(dǎo)致判別效果變差[8].

1 數(shù)字音樂語音情感特征的提取與選擇

數(shù)字音樂語音和正常說話語音的情感不一樣. 正常說話語音的情感類型指的是根據(jù)所處環(huán)境、 心情等因素的不同， 說話人在發(fā)音時表現(xiàn)出的不同的語氣、 語調(diào)和語速. 一般來說， 正常說話包括6種基本情感類型[9-11]： 悲傷、 憤怒、 驚奇、 恐懼、 喜悅、 厭惡. 而數(shù)字音樂語音的情感類型跟環(huán)境、 心情等因素?zé)o直接關(guān)系. 歌者努力演唱所要表現(xiàn)的是歌曲本身就富含的情感， 因此， 數(shù)字音樂語音的情感類型與歌曲類型息息相關(guān). 本研究根據(jù)不同歌曲的風(fēng)格， 提出了音樂語音基本情感模型： 悲傷、 高興、 激昂、 抒情和發(fā)泄. 同時， 將音樂語音情感模型與情感語音特征結(jié)合， 提出一個基于特征差異度的特征選擇方法， 并利用SVM分類器， 實現(xiàn)音樂情感識別.

1.1 備選特征提取

特征提取的任務(wù)是提取并選擇具有可分性強(qiáng)的特征. 目前大部分情感識別系統(tǒng)采用的都是聲學(xué)層面的特征. 為了創(chuàng)建一個豐富的備選特征集合， 經(jīng)過分析選取了音樂語音的韻律特征和音質(zhì)特征作為基本特征. 韻律特征包括音高、 音長， 音質(zhì)特征包括前三個共振峰及其導(dǎo)數(shù)、 短時能量、 短時能量的對數(shù)及對數(shù)的導(dǎo)數(shù). 然后分別計算每個基本特征的方差、 均值、 最大值、 最小值、 偏差及一階導(dǎo)數(shù)， 最終得到52維的備選特征作為音樂語音情感特征選擇和分析的基礎(chǔ)， 如表1所示.

表1 備選特征列表

1.2 基于特征差異度(DBC)的特征選擇方法

對表1的音樂語音情感特征， 定義了特征差異度(DBC)系數(shù)， 計算長度不一的不同類樣本間的距離， 解決了Fisher準(zhǔn)則樣本分布無規(guī)律以及樣本數(shù)量不一致的缺陷， 借助DBC尋找不同特征之間的差異性， 選擇合適特征.

1.2.1 DTW距離

動態(tài)時間規(guī)整(DTW)[12]是基于動態(tài)規(guī)劃(DP)的思想提出的， 它解決了長短不一的模板匹配問題. 簡單來說， 就是通過構(gòu)建一個鄰接矩陣， 尋找最短路徑和.

設(shè)序列A(m)={a1,a2, …,am}和B(n)={b1,b2, …,bn}，則序列A和序列B的DTW距離計算公式：

DTW[i, j]=dist(A[i],B[j])+min(DTW[i-1, j], DTW[i, j-1], DTW[i-1, j-1])

其中: dist()表示A[i]和B[j]的歐式距離； DTW(A,B)=DTW[m, n].

1.2.2DBC系數(shù)的提出

設(shè)特征類別T={T1,T2, …,T52}， 分別代表52個備選特征，情感的類別Y={Y1,Y2,Y3,Y4,Y5}， 分別代表五種不同情感. 用T1Y1表示第一類情感所有樣本的第一個特征的集合， 設(shè)第一類情感共有N個樣本，則向量T1Y1={T1Y1(1),T1Y1(2), …,T1Y1(N)}.

對每個樣本進(jìn)行分類時， 要求所選擇樣本的特征序列的類間相似度盡可能小， 而類內(nèi)相似度盡可能大. 基于這個原則， 定義特征差異度(DBC)系數(shù)， 用來計算在樣本確定的情況下某個特征序列的類間相似度和類內(nèi)相似度的大小.DBC系數(shù)越大， 說明該特征越能反映異類間的相異性和同類間的相似性. 特征Ti的DBC系數(shù)dist(i)定義為TiY1,TiY2,TiY3,TiY4,TiY5中任意兩個不同向量的DTW距離之和除以所有向量方差之和， 具體計算方法如下：

上式中，variance()表示一個序列的方差，max()表示一個序列的最大值. 計算每個特征向量的DBC系數(shù).

2 基于SVM投票機(jī)制的音樂語音情感識別

由于ANN在語音情感識別的推廣性能不如SVM， 文中選擇SVM作為檢驗不同特征選擇方法的分類器.SVM用于二類問題效果很好， 但對于多類問題效果不佳， 因此， 通過構(gòu)建多個二分SVM分類器進(jìn)行投票表決， 將待測樣本的特征序列輸入不同二分SVM分類器， 統(tǒng)計每個SVM分類器的分類結(jié)果， 得票數(shù)最大的情感則為識別結(jié)果. 二分SVM原問題的目標(biāo)函數(shù)：

其中:w是超平面距離; ε是松弛變量;P是懲罰因子.

當(dāng)情感特征的區(qū)分度比較大時， 可以減小P值從而增加SVM的分類準(zhǔn)確性， 而當(dāng)情感特征的區(qū)分度比較小時， 應(yīng)該適當(dāng)提高P值從而增加對錯分樣本的約束程度. 本文的SVM投票機(jī)制的識別模型采用的懲罰因子P與選取特征的DBC系數(shù)有關(guān)：

3 實驗結(jié)果與分析

3.1 實驗數(shù)據(jù)

由于現(xiàn)有的情感語音數(shù)據(jù)庫都屬于正常說話語音， 因此， 實驗數(shù)據(jù)選取網(wǎng)絡(luò)下載不同男女聲清唱版(未帶伴奏音且吐詞清晰)的歌曲錄音， 重新采樣得到采樣頻率44.1 kHz， 采樣位數(shù)16 bit的清唱錄音， 然后將每首歌逐句分割得到備選錄音. 事先， 由本實驗組共6人將所有備選錄音按照上述5類情感進(jìn)行分類， 若判斷演唱感情平淡， 則將該句錄音刪除不作考慮， 然后統(tǒng)計每句錄音的情感分類結(jié)果. 如果有5個人或以上均認(rèn)為該錄音屬于某同一類別， 則將這句歌曲分入該類情感作為實驗素材. 最后， 每類情感均得到600條左右清唱語句的錄音. 考慮到如果每個類型的訓(xùn)練樣本不同， 則SVM分類器可能會出現(xiàn)偏向性， 將所得實驗素材數(shù)量最少的情感——發(fā)泄， 按照訓(xùn)練/測試比1 ∶2的比例， 從發(fā)泄素材中隨機(jī)選取1/3的句子作為訓(xùn)練樣本. 同時， 為了保持訓(xùn)練時的不偏向性， 也從其他四類情感實驗素材中隨機(jī)選取同樣數(shù)量的句子作為訓(xùn)練樣本， 其他剩余的句子均作為測試樣本.

3.2 特征選擇實驗結(jié)果

實驗分別采用DBC、 PCA、 因子分析、 Fisher等方法， 得到相應(yīng)的選擇結(jié)果. 根據(jù)DBC方法， 實驗結(jié)果如表2所示.

表2 DBC選擇特征列表

從表2看出， 基于DBC系數(shù)的特征選擇提取了20個特征， 特征個數(shù)的選擇是自適應(yīng)的. 在計算每個特征值的DBC系數(shù)后， 將DBC系數(shù)值大于所有DBC系數(shù)平均值的特征選出. 為了便于識別準(zhǔn)確率的比較， 將其他特征選擇方法也選出相同個數(shù)的特征數(shù).

因子分析法主要步驟如下： 根據(jù)輸入原始數(shù)據(jù)SN×M=[X1,X2, …,XN]T， 計算樣本均值和方差， 進(jìn)行標(biāo)準(zhǔn)化處理. 求樣本相關(guān)系數(shù)矩陣R=(rij)M×M， 求相關(guān)系數(shù)矩陣的特征值λi(λi>0,i=1, 2, …,M)和相應(yīng)的標(biāo)準(zhǔn)正交的特征向量， 確定公共因子數(shù)， 計算公共因子的共性方差， 對載荷矩陣進(jìn)行旋轉(zhuǎn)， 以求更好地解釋公共因子， 最后對公共因子做出專業(yè)性的解釋. 實驗采用統(tǒng)計分析軟件——SPSS18(PASWStatistics18.0.0)進(jìn)行因子分析. 實驗通過導(dǎo)入數(shù)據(jù)、 參數(shù)設(shè)置(抽取特征值>1， 最大收斂性迭代次數(shù)為25， 方法為最大方差法)等步驟， 計算每個特征向量成分得分系數(shù)的絕對值的和， 并根據(jù)大小選擇前20個即為結(jié)果. 實驗結(jié)果見表3.

表3 PCA與因子分析法選擇特征列表

圖2 分層語音情感空間模型Fig.2 Hierarchical speech emotion space model

表4 各分類器不同特征Fisher比率

3.3 音樂語音情感識別實驗結(jié)果

5組對比實驗， 包括DBC算法、 Fisher方法、 PCA方法、 因子分析方法以及使用全部52維特征的DBC算法， 分別驗證了不同特征選擇方法和SVM對音樂語音情感識別的識別準(zhǔn)確率. 識別結(jié)果如圖3所示.

對比圖3的5組實驗結(jié)果可知， 本文算法利用DBC系數(shù)進(jìn)行特征選取， 不僅降低了特征的維度， 減少了SVM訓(xùn)練和識別的時間， 且較為準(zhǔn)確地保留了能夠描述不同情感差異的特征， 與其他4組方法對比， 實驗的識別準(zhǔn)確率高. 同時， 由于全部52維特征中有部分特征具有較為明顯的相似性， 如抒情與悲傷、 發(fā)泄與激昂， 因此， 利用DBC系數(shù)進(jìn)行特征選取后， 算法的準(zhǔn)確率也高于采用全部52維特征時的準(zhǔn)確率. 也正是因為存在這些相似性， 從圖3還可以看出， 抒情和發(fā)泄兩類情感的整體識別準(zhǔn)確率均不高.

圖3 不同實驗的準(zhǔn)確率Fig.3 The accuracy of different experiments

4 結(jié)語

提出一種基于特征差異度和SVM投票機(jī)制進(jìn)行音樂語音情感識別的方法. 基于DBC系數(shù)進(jìn)行特征選取， 不僅降低了特征向量的維度， 同時保留了足夠的能夠描述數(shù)字音樂語音不同情感之間差異的特征， 較PCA、 因子分析、 Fisher準(zhǔn)則提取特征而言提高了識別的準(zhǔn)確率. 同時， 利用多個二分SVM分類器進(jìn)行投票識別情感的方法， 減少了每個分類器的權(quán)重， 從而降低了誤差， 能夠有效地提高識別準(zhǔn)確率.

[1] 韓一, 王國胤, 楊勇. 基于MFCC的語音情感識別[J]. 重慶郵電大學(xué)學(xué)報： 自然科學(xué)版, 2008, 20(5): 597-602.

[2] 余華, 黃程韋, 張瀟丹, 等. 混合蛙跳算法神經(jīng)網(wǎng)絡(luò)及其在語音情感識別中的應(yīng)用[J]. 南京理工大學(xué)學(xué)報, 2011, 35(5): 659-663.

[3] Guo Yuefei, Shu Tingting, Yang Jingyu,etal. Feature extraction method based on the generalized Fisher discriminant criterion and facial recognition[J]. Pattern Analysis & Applications, 2001, 4(1): 61-66.

[4] Wang S, Li Deyu, Wei Yingjie,etal. A feature selection method based on Fisher’s discriminant ratio for text sentiment classification[C]//Proc of the International Conference on Web Information Systems and Mining. Shanghai: [s.n.], 2009: 88-97.

[5] Pearson K. On lines and planes of closest fit to systems of points in space[J]. Philosophical Magazine, 1901, 2 (6): 559-572.

[6] 陳立江, 毛峽, Mitsuru I. 基于Fisher準(zhǔn)則與SVM的分層語音情感識別[J]. 模式識別與人工智能, 2012, 25(4): 604-609.

[7] 黃國宏, 劉剛. 一種改進(jìn)的基于Fisher準(zhǔn)則的線性特征提取方法[J]. 計算機(jī)仿真, 2008, 25(7): 192-195.

[8] 黃利文, 梁飛豹. 改進(jìn)的Fisher判別方法[J]. 福州大學(xué)學(xué)報: 自然科學(xué)版, 2006, 34(4): 473-477.

[9] Tomkins S S. Affect, imagery, consciousness[M]. New York: Springer, 1962.

[10] Izard C E. Human emotions[M]. New York: Plenum Press, 1977.

[11] Ekman P． An argument for basic emotions[J]． Cognition and Emotion， 1992， 6(3/4)： 169-200.

[12] Sakoe H. Two level DP matching: a dynamic programming based parton matching algorithm for connected word recognition[J]. IEEE Trans Acoustic Speech Signal Processing, 1979, 27: 588-595.

[13] 劉穎, 王成儒. 用于人臉動畫的語音特征提取算法研究[J]. 電聲技術(shù), 2009, 32(12): 49-53.

(責(zé)任編輯： 沈蕓)

An emotion recognition algorithm for digital music speech based on difference between characteristics and SVM voting mechanism

WANG Xiu， XIE Zhicheng， ZHANG Dong

(College of Mathematics and Computer Science， Fuzhou University， Fuzhou， Fujian 350116， China)

To solve emotion recognition problem for digital music speech, an emotion recognition method which is based on difference between characteristics and SVM voting mechanism is proposed. The method not only reduces the dimension of feature vectors, but retains the characteristics between different emotions of digital music speech. Meanwhile, using multiple two-class SVM classifier to vote for digital music speech, the method decreases the weight of each classifier and reduces the error. The experimental results show that this method can effectively improve the recognition accuracy.

digital music speech； emotion recognition； support vector machine； characteristic difference

10.7631/issn.1000-2243.2015.04.0460

1000-2243(2015)04-0460-06

2013-12-05

張棟(1981-)， 講師， 主要從事計算機(jī)網(wǎng)絡(luò)、 網(wǎng)絡(luò)虛擬化研究, zhangdong@fzu.edu.cn

福建省青年科技人才創(chuàng)新資助項目(2011J05150)； 福建省自然科學(xué)基金資助項目(2013J01231,2015J01420)； 福州大學(xué)科技發(fā)展基金資助項目(2012-XY-20)

TP391

A