深度學(xué)習(xí)在語(yǔ)音情感識(shí)別中的應(yīng)用與分析

馬樹文

摘 要 近年來(lái)，隨著信息技術(shù)的飛速發(fā)展，智能設(shè)備正在逐漸地融入到人們的日常生活當(dāng)中，語(yǔ)音作為人機(jī)交互的最為便捷的方式之一，得到了廣泛的應(yīng)用。讓機(jī)器聽懂人類語(yǔ)言的同時(shí)，如何實(shí)現(xiàn)與人類有感情的自然交流，是無(wú)數(shù)科研工作者的目標(biāo)。語(yǔ)音情感識(shí)別的主要內(nèi)容就是建立一種能夠從語(yǔ)音中分析和識(shí)別人類情感的計(jì)算系統(tǒng)，實(shí)現(xiàn)人與機(jī)器的人性化交流。深度學(xué)習(xí)作為人工智能的核心技術(shù)，在圖像識(shí)別、目標(biāo)檢測(cè)和自然語(yǔ)言處理等領(lǐng)域發(fā)揮著舉足輕重的作用，取得了十分矚目的研究成果。文章簡(jiǎn)要地分析了語(yǔ)言情感識(shí)別系統(tǒng)的核心技術(shù)，并結(jié)合深度學(xué)習(xí)技術(shù)進(jìn)行了研究，最后總結(jié)了語(yǔ)音情感識(shí)別的應(yīng)用場(chǎng)景。

關(guān)鍵詞 人機(jī)交互；人工智能；語(yǔ)音情感識(shí)別；深度學(xué)習(xí)

中圖分類號(hào) TP3 文獻(xiàn)標(biāo)識(shí)碼 A 文章編號(hào) 1674-6708（2019）229-0147-02

語(yǔ)言信息是多種信息的混合載體，其中包括內(nèi)容信息、說(shuō)話人信息和情感信息。目前基于內(nèi)容信息的語(yǔ)音識(shí)別技術(shù)逐漸成熟并走向商用，由于缺乏情感的技術(shù)檢測(cè)，大多數(shù)語(yǔ)音助手和智能設(shè)備都被用戶反應(yīng)交流時(shí)過(guò)于呆板。因此若要真正實(shí)現(xiàn)與人類的自然交流，語(yǔ)音情感識(shí)別必不？可少。

現(xiàn)階段語(yǔ)音情感識(shí)別技術(shù)的實(shí)現(xiàn)存在著諸多難題，主要包含3個(gè)方面。首先缺少通用的數(shù)據(jù)庫(kù)，其中可根據(jù)語(yǔ)音數(shù)據(jù)是否貼近人類真實(shí)情感表達(dá)分為自然型，模仿型和誘發(fā)型[ 1 ]，而自然型數(shù)據(jù)的獲得成本非常高；其次，能夠有效區(qū)分不同情感類別的特征還沒(méi)有統(tǒng)一和明確的定義；最后，系統(tǒng)模型和識(shí)別算法性能不佳。深度學(xué)習(xí)能夠通過(guò)多層的非線性映射，能夠有效的擬合任意復(fù)雜的函數(shù)變換。因此，利用其技術(shù)強(qiáng)大的變換能力可以提取語(yǔ)音中情感信息更高級(jí)的特征，并建立更好的動(dòng)態(tài)？模型。

1 語(yǔ)音情感識(shí)別

語(yǔ)音情感識(shí)別的主要任務(wù)是將蘊(yùn)含在語(yǔ)音中的情感信息提取出來(lái)并識(shí)別出其類別。目前對(duì)于情感的描述主要有兩種方法。第一種是基于離散的情感劃分，將人類日常生活中廣泛使用的基本情感分為憤怒、開心、興奮、悲傷、厭惡等；另一種是基于連續(xù)維度情感劃分，主要通過(guò)不同的效價(jià)度和激活程度來(lái)對(duì)不同情感進(jìn)行區(qū)？分的。

語(yǔ)音情感識(shí)別本質(zhì)上屬于模式識(shí)別任務(wù)的一種，系統(tǒng)主要包含3個(gè)部分，分別是預(yù)處理、特征提取和情感分類與匹配。

1.1 預(yù)處理

預(yù)處理主要包括預(yù)加重、加窗分幀和端點(diǎn)檢測(cè)3個(gè)部分。預(yù)加重是將語(yǔ)音信號(hào)通過(guò)一個(gè)一階高通數(shù)字濾波器，去除口舌輻射，進(jìn)一步提高語(yǔ)音的高頻分辨率；加窗分幀是從發(fā)聲器官的慣性出發(fā)，利用語(yǔ)音信號(hào)的短時(shí)平穩(wěn)假設(shè)，使用漢明窗或者矩形窗將語(yǔ)音劃分成幀，同時(shí)為了保證幀間平滑，通常使得相鄰幀之間部分重疊，一般取幀長(zhǎng)為20ms，幀移10ms；端點(diǎn)檢測(cè)是一種能夠有效去除語(yǔ)音信號(hào)的靜音部分，檢測(cè)出有效的語(yǔ)音片段，從而提高計(jì)算效率的方法，也叫靜音切除？技術(shù)。

1.2 特征提取

特征提取是語(yǔ)音情感識(shí)別問(wèn)題的重難點(diǎn)，好的特征能夠在有效區(qū)分不同類別的同時(shí)，對(duì)類間差異具有較好的魯棒性。目前常用的情感特征主要有韻律學(xué)特征、譜特征和音質(zhì)特？征等[2]。

韻律學(xué)特征是領(lǐng)域內(nèi)基于人類語(yǔ)音學(xué)知識(shí)提取的最為主要的特征之一[3]，主要包括基音頻率、過(guò)零率、短時(shí)能量和共振峰等。這些韻律特征的變化構(gòu)成了語(yǔ)音中不同的情感，能夠有效的表征語(yǔ)調(diào)的變化和發(fā)音強(qiáng)度。如當(dāng)一個(gè)人憤怒時(shí)，他的語(yǔ)氣會(huì)不自覺的加重，音量升高，能量增加，音調(diào)高昂，語(yǔ)速加快；而當(dāng)悲傷時(shí)則語(yǔ)氣輕柔，音量降低，音調(diào)低沉，語(yǔ)速變慢等。目前韻律特征對(duì)情感的區(qū)分能力得到了學(xué)術(shù)界的一致？認(rèn)可。

譜特征從人耳的構(gòu)造和聲音處理機(jī)制出發(fā)，利用三角梅爾濾波器組來(lái)模擬人耳基底膜對(duì)不同頻率信號(hào)分辨率不同的特性。生理學(xué)家通過(guò)研究表明，人耳聽覺范圍為20Hz～20kHz，且對(duì)低頻信號(hào)的感知分辨率較高，高頻信號(hào)的感知分辨率則較低，由此得到的梅爾倒譜系數(shù)也成為語(yǔ)音信號(hào)處理領(lǐng)域的普適性特征，并得到了廣泛的應(yīng)用[4]。其他常用的還有線性預(yù)測(cè)倒譜系數(shù)，對(duì)數(shù)功率譜系？數(shù)等。

音質(zhì)特征是指人在不同情感狀態(tài)下語(yǔ)譜和音色方面的特征，諧波噪聲比是目前常用的一種。人類說(shuō)話時(shí)首先是通過(guò)聲帶的震動(dòng)，再通過(guò)口腔，鼻腔，最后發(fā)出音波。隨著情緒的波動(dòng)變化，人在說(shuō)話的過(guò)程中會(huì)不由自主地產(chǎn)生不同的音波形式，從而使音質(zhì)也產(chǎn)生了差異。

1.3 分類模型

語(yǔ)音情感識(shí)別的目標(biāo)是依據(jù)不同情感的特征將其劃分為不同類別，屬于機(jī)器學(xué)習(xí)中典型的分類問(wèn)題。目前被廣泛使用到的模式方法有：高斯混合模型、支持向量機(jī)、循環(huán)神經(jīng)網(wǎng)絡(luò)和隱馬爾可夫模型[5]等。高斯混合模型對(duì)語(yǔ)音情感數(shù)據(jù)的擬合性能高，但對(duì)訓(xùn)練數(shù)據(jù)的依據(jù)性強(qiáng)，且計(jì)算比較復(fù)雜；支持向量機(jī)僅基于樣本數(shù)據(jù)的少部分，便可獲得良好的分類結(jié)果，得到了廣泛？應(yīng)用。

從語(yǔ)音的時(shí)間連續(xù)性來(lái)看，動(dòng)態(tài)時(shí)間建模的隱馬爾科夫模型能夠較好的模擬語(yǔ)音信號(hào)的時(shí)間變化特性，通過(guò)與高斯混合模型結(jié)合，在深度學(xué)習(xí)大熱之前一直占據(jù)主要地位。目前較為常用的是基于循環(huán)神經(jīng)網(wǎng)絡(luò)的序列模型，其結(jié)合卷積神經(jīng)網(wǎng)絡(luò)提取的高層特征，能夠顯著提高識(shí)？別率。

2 基于深度學(xué)習(xí)的語(yǔ)音情感識(shí)別的關(guān)鍵應(yīng)用

深度學(xué)習(xí)的本質(zhì)是多層感知機(jī)，通過(guò)采用多個(gè)神經(jīng)元進(jìn)行多層疊加，構(gòu)成深度神經(jīng)網(wǎng)絡(luò)。這種多層的復(fù)雜結(jié)構(gòu)使得網(wǎng)絡(luò)能夠進(jìn)行多層嵌套的非線性變換運(yùn)算，隨著層數(shù)的增加，逐漸學(xué)習(xí)到輸入數(shù)據(jù)更加高級(jí)的特征表示，因此深度學(xué)習(xí)也可以被認(rèn)為是利用深層的神經(jīng)網(wǎng)絡(luò)來(lái)進(jìn)行高級(jí)特征提取的？過(guò)程。

2.1 基于CNN的高級(jí)特征提取

語(yǔ)音情感識(shí)別常用特征包括韻律學(xué)特征和譜特征，其中韻律特征是在時(shí)間域上進(jìn)行的特征提取，譜特征則采用離散傅里葉變換將時(shí)間域轉(zhuǎn)化為頻率域，并進(jìn)一步生成語(yǔ)音信號(hào)的頻域表示——語(yǔ)譜圖，進(jìn)一步的利用深度神經(jīng)網(wǎng)絡(luò)來(lái)處理語(yǔ)譜圖進(jìn)行高維的特征提取。目前常用的方法是基于人類視覺處理機(jī)制提出的卷積神經(jīng)網(wǎng)絡(luò)，該網(wǎng)絡(luò)通過(guò)參數(shù)共享的策略，能夠有效的減少網(wǎng)絡(luò)參數(shù)，使得網(wǎng)絡(luò)的收斂和訓(xùn)練更高效。

卷積神經(jīng)網(wǎng)絡(luò)的構(gòu)建主要有兩部分構(gòu)成。第一層是卷積層，通常采用尺寸為3*3或者5*5的多個(gè)卷積核來(lái)對(duì)原始語(yǔ)譜圖的局部特征進(jìn)行加權(quán)求和，這樣的操作使得網(wǎng)絡(luò)能夠?qū)D中不同位置出現(xiàn)的相同部分進(jìn)行特征提取，尤其是當(dāng)不同的說(shuō)話人表達(dá)相同的情感時(shí)，網(wǎng)絡(luò)能夠有效的提取出相對(duì)不變的情感特征。第二層是池化層，通常采用最大池化或平均池化兩種策略。在選定的尺寸之內(nèi)由其中的最大值或者平均值來(lái)代替本區(qū)域的輸出，能夠在有效的降低維度的同時(shí)提高特征的魯？棒性。

2.2 基于RNN的序列建模

語(yǔ)音信號(hào)是一種時(shí)間的連續(xù)信號(hào)，基于聲帶震動(dòng)的慣性引出的短時(shí)平穩(wěn)特性，通常采用漢明窗函數(shù)把其分割成20ms幀序列，由于人類平均說(shuō)話時(shí)長(zhǎng)遠(yuǎn)大于20ms，所以要建立能夠捕捉和表征每幀之間的相關(guān)性網(wǎng)絡(luò)。傳統(tǒng)的隱馬爾科夫模型在海量數(shù)據(jù)下處理能力有限，而循環(huán)神經(jīng)網(wǎng)絡(luò)的輸入除了包含待處理的數(shù)據(jù)之外，引入網(wǎng)絡(luò)對(duì)上一時(shí)刻信號(hào)處理之后的隱藏層輸出。這種做法通過(guò)引入了網(wǎng)絡(luò)本身上一時(shí)刻的“記憶”，使得網(wǎng)絡(luò)能夠結(jié)合上下文信息，即幀間相關(guān)性進(jìn)行有效的訓(xùn)練和學(xué)習(xí)。記憶單元的引入使得其非常善于處理上下文相關(guān)的序列問(wèn)題。由于在訓(xùn)練的過(guò)程中，網(wǎng)路隨著時(shí)間的增加逐漸延長(zhǎng)，訓(xùn)練時(shí)容易產(chǎn)生梯度消息和梯度爆炸的現(xiàn)象，實(shí)際應(yīng)用通常采用其變體長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)和邏輯門控？單元。

3 應(yīng)用場(chǎng)景

3.1 航天員心理疏導(dǎo)

在未來(lái)長(zhǎng)期的載人航天任務(wù)中，宇航員可能會(huì)因?yàn)榇摽臻g狹小、交流對(duì)象較為單一和長(zhǎng)期失重等因素，進(jìn)而引發(fā)心理問(wèn)題并導(dǎo)致工作任務(wù)無(wú)法高質(zhì)量的完成。因此，通過(guò)設(shè)計(jì)能夠有效檢測(cè)宇航員的情緒變化的系統(tǒng)，能夠在觀測(cè)到潛在的負(fù)面情緒時(shí)，通過(guò)集成的專業(yè)心理疏導(dǎo)設(shè)備來(lái)及時(shí)的進(jìn)行心理干預(yù)。

3.2 人性化電話服務(wù)

在遠(yuǎn)程電話服務(wù)中加入語(yǔ)音情感識(shí)別，可以根據(jù)客戶情緒的變化及時(shí)的提供更加符合客戶需求的服務(wù)，使自動(dòng)客服變得更加人性化，提升用戶的體驗(yàn)感和舒適感。此外，在人工服務(wù)時(shí)，如若話務(wù)員遇到態(tài)度惡劣的客戶而被投訴時(shí)，通過(guò)系統(tǒng)記錄的雙方情感狀態(tài)，來(lái)進(jìn)行審查，進(jìn)一步也可為員工考核提供技術(shù)支持。

3.3 優(yōu)化遠(yuǎn)程教育

線上教育已然成為未來(lái)教育行業(yè)的新興模式之一，但是由于遠(yuǎn)程教學(xué)時(shí)授課老師可能無(wú)法及時(shí)發(fā)現(xiàn)學(xué)生的情感變化，有可能導(dǎo)致上課效率下降。通過(guò)情感識(shí)別技術(shù)能夠?qū)崟r(shí)對(duì)學(xué)生的狀態(tài)進(jìn)行分析，輔助和提醒授課老師，酌情調(diào)整授課方式和內(nèi)容并適當(dāng)休息。

3.4 治愈空巢老人

目前大多數(shù)的老人身邊都缺少兒女的陪伴，具有情感識(shí)別能力的機(jī)器人能夠在他們感到孤獨(dú)和悲傷的時(shí)候，結(jié)合心理疏導(dǎo)技術(shù)與其進(jìn)行溝通，使其得到適當(dāng)?shù)木裎拷?。也可在老人思念兒女的時(shí)候自動(dòng)發(fā)送信息到他們的手機(jī)上，進(jìn)一步預(yù)防老年人心理疾病的發(fā)生。

4 結(jié)論

語(yǔ)音情感識(shí)別作為一項(xiàng)具有廣闊發(fā)展前景的領(lǐng)域，雖然經(jīng)過(guò)了幾十年的不斷發(fā)展，但是由于情感表達(dá)的本身具有極強(qiáng)的個(gè)性化特征，所以導(dǎo)致情感強(qiáng)度相似的情感語(yǔ)音仍然難以辨別。文中簡(jiǎn)要地分析了語(yǔ)音情感識(shí)別系統(tǒng)的框架如預(yù)處理、特征提取、模型建立等，并根據(jù)目前存在的問(wèn)題結(jié)合深度學(xué)習(xí)，探討了目前主流的技術(shù)路線，最后簡(jiǎn)要地總結(jié)了語(yǔ)音情感識(shí)別的應(yīng)用？場(chǎng)景。

參考文獻(xiàn)

[1]趙力，黃程韋.實(shí)用語(yǔ)音情感識(shí)別中的若干關(guān)鍵技術(shù)[J].數(shù)據(jù)采集與處理，2014，29（2）：157-170.

[2]韓文靜，李海峰，阮華斌，等.語(yǔ)音情感識(shí)別研究進(jìn)展綜述[J].軟件學(xué)報(bào)，2014，25（1）：37-50.

[3]趙力，將春輝，鄒采榮，等.語(yǔ)音信號(hào)中的情感特征分析和識(shí)別的研究[J].電子學(xué)報(bào)，2004，32（4）：606-609.

[4]韓一，王國(guó)胤，楊勇.基于MFCC的語(yǔ)音情感識(shí)別[J].重慶郵電大學(xué)學(xué)報(bào)（自然科學(xué)版），2008，20（5）：597-602.

[5]黃程韋，趙艷，金贊，等.實(shí)用語(yǔ)音情感的特征分析與識(shí)別的研究[J].電子與信息學(xué)報(bào)，2011，33（1）：112-116.