語義情感分析沉浸式智能客廳模型研究

孫東輝，張 珣

（杭州電子科技大學(xué)現(xiàn)代電路與智能信息研究所，浙江杭州 310018）

0 引言

語言作為人類情感思想的載體包含了豐富的信息，如果把計算機應(yīng)用于語音信息處理領(lǐng)域，則可讓計算機與人類進行語音交互。若將這項技術(shù)應(yīng)用于智能家居控制系統(tǒng)中，將會極大地方便人們對家庭電器的控制，因此以語音識別技術(shù)為基礎(chǔ)的智能家居控制系統(tǒng)應(yīng)運而生。與此同時，深度學(xué)習(xí)、大數(shù)據(jù)等新興技術(shù)近年來的迅猛發(fā)展，將智能家居的發(fā)展浪潮推向了一個新高度。情感分析也稱為觀點挖掘，是自然語言處理領(lǐng)域的研究熱點之一，其可提取文本中的情感及觀點。傳統(tǒng)機器學(xué)習(xí)方法可處理許多情感分析問題，通常會根據(jù)不同項目的特點選擇不同處理方式，一般需要很長時間來收集、組織與抽象背景知識。深度學(xué)習(xí)的出現(xiàn)迅速取代了傳統(tǒng)機器學(xué)習(xí)方法，并成為自然語言處理領(lǐng)域的領(lǐng)頭軍，在各個行業(yè)得到了廣泛應(yīng)用。與傳統(tǒng)機器學(xué)習(xí)算法相比，深度學(xué)習(xí)不取決于人工提取的特性，而具有獨立學(xué)習(xí)特征的能力，非常適合對非結(jié)構(gòu)化語言文本、序列等類型數(shù)據(jù)的抽象。

目前，國內(nèi)外許多研究人員采用長短期記憶模型與循環(huán)神經(jīng)網(wǎng)絡(luò)相結(jié)合的方式處理文本信息，并分析文本上下文的情感分類問題，取得了良好效果。其中，深度學(xué)習(xí)模型有著優(yōu)異表現(xiàn)，即使沒有特征的標(biāo)注也能提高分類準(zhǔn)確率［1］。Wang 等［2］將遞歸神經(jīng)網(wǎng)絡(luò)與隨機概率融合為統(tǒng)一的框架，用于顯式語義與特征向量的共同提取，分類準(zhǔn)確率得到明顯提升。但采用這種提取所有方面語義文本的方法，當(dāng)文本數(shù)量龐大時網(wǎng)絡(luò)層數(shù)會過深。因此，需要對文本中的重點區(qū)域進行突出，否則隨著訓(xùn)練時長的增加，容易出現(xiàn)梯度消失現(xiàn)象。

在圖像識別領(lǐng)域首次提出注意力機制概念，其使得模型能夠有效注意到特定區(qū)域的具體信息，并獲得更深入的特征信息。近些年，注意力機制被嘗試應(yīng)用于NLP 領(lǐng)域，結(jié)果證明這種特征提取方式更加高效。將注意力機制與循環(huán)神經(jīng)網(wǎng)絡(luò)相結(jié)合能夠?qū)⑽谋拘畔⒓靶蛄械哪骋恢虚g時刻狀態(tài)進行融合，使用注意力加權(quán)方式計算輸出，同時通過上下文互動監(jiān)測特定信息，能有效解決不同目標(biāo)的情緒兩極化問題，并提高情感極性預(yù)測的準(zhǔn)確性。譚皓等［3］提出可利用表情符作為分析文本的注入點，并提出基于表情符注意力機制的情感分析模型；Meng 等［4］利用平行語料庫提升詞典覆蓋率，采用最大化似然估計法對詞語進行標(biāo)注，以提升情感分類準(zhǔn)確率；栗雨晴等［5］通過構(gòu)建雙語詞典，在新浪微博評論區(qū)提取大量用戶評論進行多種類的文本情感分析。以上方法與語料庫緊密相連，文本語料庫的詞語質(zhì)量及規(guī)模將會直接影響預(yù)測準(zhǔn)確率。

本文設(shè)計一個能夠隨著用戶語音信息進行自適應(yīng)改變的沉浸式智能客廳系統(tǒng)，對用戶語音信號進行采集，并在云端使用如今已較為成熟的科大訊飛語音識別引擎進行語音到文本的轉(zhuǎn)換［6-7］。無需構(gòu)建龐大的語料庫，改用基于注意力機制的LSTM-RNN 網(wǎng)絡(luò)分析輸入神經(jīng)網(wǎng)絡(luò)的用戶語音文本信息［8］，進而挖掘出用戶的情感觀點，使得控制系統(tǒng)具有思考分析的能力，能夠作出預(yù)測，協(xié)調(diào)室內(nèi)各個模塊進行自適應(yīng)改變。例如，綜合用戶情感因素調(diào)控影片播放類型及客廳內(nèi)的燈光、窗簾、香薰等作出改變，讓用戶能夠沉浸其中，獲得極致體驗。

1 智能客廳設(shè)計

系統(tǒng)主要包括以下幾個模塊：

（1）語音錄入模塊。獲取原始的用戶語音數(shù)據(jù)后進行去噪預(yù)處理，經(jīng)A/D 轉(zhuǎn)換后將信號上傳云平臺，使用科大訊飛引擎將其轉(zhuǎn)換為文本信息返回到語音模塊。

（2）文本信息分析模塊。在該模塊內(nèi)部提前使用大量詞語文本進行語言情感信息訓(xùn)練，構(gòu)建語義文本庫。將獲取到的文本信息輸入訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)模型中，輸出的關(guān)鍵詞將會被轉(zhuǎn)換成控制指令，等待下發(fā)給各工作模塊。

（3）指令廣播模塊。指令將以json 格式廣播到各個工作節(jié)點的控制層中，工作節(jié)點對其分析處理完成后，會根據(jù)指令進行自適應(yīng)變化。

（4）工作節(jié)點模塊。由控制層、業(yè)務(wù)層與持久層組成，控制層負(fù)責(zé)接收指令模塊傳輸過來的json 指令，解析指令并下達(dá)至業(yè)務(wù)層進行相應(yīng)邏輯處理，最后將指令記錄在持久層中用作歷史備份。下次接收到相同的json 指令則不需要再次解析，直接處理相應(yīng)邏輯即可，以加快響應(yīng)速度。

系統(tǒng)模塊總概圖如圖1所示［9-10］。

Fig.1 General diagram of the system module圖1 系統(tǒng)模塊總概圖

2 算法原理

2.1 反向傳播網(wǎng)絡(luò)

反向傳播神經(jīng)網(wǎng)絡(luò)由輸入層、隱含層與輸出層構(gòu)成。網(wǎng)絡(luò)中前一層的輸出都可作為下一層的輸入，使提取到的特征信息可繼續(xù)被下一層使用。輸入層的數(shù)據(jù)為預(yù)處理過的文本信息，可實現(xiàn)分類與預(yù)測功能。其網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。

Fig.2 BP neural network structure圖2 BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

具體訓(xùn)練過程為：將權(quán)重初始化為隨機數(shù)，預(yù)處理輸入數(shù)據(jù)，通過神經(jīng)網(wǎng)絡(luò)得到輸出值，每一次訓(xùn)練都將輸出值與預(yù)期值進行比較。用梯度下降法更新權(quán)重值，重復(fù)訓(xùn)練過程使誤差變小，最終完成神經(jīng)網(wǎng)絡(luò)訓(xùn)練。

反向傳播網(wǎng)絡(luò)利用前向傳播網(wǎng)絡(luò)公式進行計算，前向傳播公式如下［11］：

式中，z(l)為第l層的激活值。第l+1 層包含以下元素：輸入a(l)，參數(shù)W(l)、b(l)，激活函數(shù)f(?)，中間結(jié)果z(l+1)，輸出a(l+1)。設(shè)神經(jīng)網(wǎng)絡(luò)的損失函數(shù)為J(W，b) ∈Rl，且輸入到語音文本的信息集包含m個樣例，采用批量梯度下降算法求解神經(jīng)網(wǎng)絡(luò)。當(dāng)處理單一樣本(x，y)時，代價函數(shù)計算公式如下：

對于一個給定的包含m個樣本的數(shù)據(jù)集，可定義整體代價函數(shù)為：

然后，針對l=nl-1，nl-2，nl-3，… 的各個層，第l層第i個節(jié)點的殘差計算方法如下：

最后，利用批量梯度下降法對目標(biāo)函數(shù)進行優(yōu)化，按照以下計算方法對參數(shù)W和b進行更新：

α是學(xué)習(xí)速率，根據(jù)公式，需要計算其中的偏導(dǎo)：

2.2 LSTM-RNN網(wǎng)絡(luò)算法

2.2.1 LSTM-RNN模型結(jié)構(gòu)分析

普通神經(jīng)網(wǎng)絡(luò)模型有許多輸入?yún)?shù)，數(shù)據(jù)傳播方向依賴于上一層的方向，并且數(shù)據(jù)樣本之間是不相關(guān)的，無法對時間序列進行有效的特征訓(xùn)練，因此不能應(yīng)用于自然語言處理、語音識別等領(lǐng)域。循環(huán)神經(jīng)網(wǎng)絡(luò)重新定義了神經(jīng)元之間的關(guān)系，即當(dāng)前時刻的輸入與上一時刻的輸出都會影響此時神經(jīng)元的輸出，該特性使得神經(jīng)網(wǎng)絡(luò)具備對時間序列的分析能力［12］。傳統(tǒng)RNN 網(wǎng)絡(luò)展開結(jié)構(gòu)如圖3所示。

Fig.3 Expanding structure of recurrent neural network圖3 循環(huán)神經(jīng)網(wǎng)絡(luò)展開結(jié)構(gòu)

但是由于文本序列過長，RNN 會導(dǎo)致時間軸上的梯度消失，此外RNN 在處理相關(guān)性較強的數(shù)據(jù)文本時，訓(xùn)練后的詞向量誤差較大，不能很好地聯(lián)系語義文本的上下文關(guān)系，經(jīng)常會作出錯誤判斷。因此，采用LSTM 與RNN 兩種網(wǎng)絡(luò)相結(jié)合的方法，可使網(wǎng)絡(luò)具有記憶功能，能夠綜合上下文所有信息再作出判斷［13-14］。

LSTM 是一種特殊的循環(huán)結(jié)構(gòu)，基于RNN 的結(jié)構(gòu)基礎(chǔ)，每一個LSTM 單元又都包含3 個門結(jié)構(gòu)：輸入門、輸出門與遺忘門。門與門之間通過嚴(yán)格的限制關(guān)系使詞向量之間的依賴性加強，訓(xùn)練后的網(wǎng)絡(luò)會具有更強的普適性與精確度。

RNN 與LSTM 結(jié)構(gòu)對比如圖4 所示。其中，LSTM 內(nèi)部結(jié)構(gòu)如圖5 所示。由圖5 可以看到，整體分為輸入與輸出兩部分，而每部分都由C和h組成。這里h表示隱藏狀態(tài)，C表示細(xì)胞狀態(tài)。

遺忘門是指以一定概率控制上一層LSTM 單元狀態(tài)被遺忘的程度，LSTM 遺忘門如圖6所示。

上一時刻序列的隱藏狀態(tài)h(t-1)與此時刻的序列數(shù)據(jù)x(t)經(jīng)過激活函數(shù)sigmoid，得到遺忘門的輸出f(t)。在sig?moid 的特性限制下，f(t)會在[0，1]區(qū) 間內(nèi)，所以f()t代表上一層隱藏細(xì)胞狀態(tài)被遺忘的概率，數(shù)學(xué)表達(dá)式為：

輸入門負(fù)責(zé)此時刻的序列輸入，LSTM 輸入門如圖7所示。

輸入門由兩部分組成，一部分通過sigmoid 激活函數(shù)輸出i(t)，另一部分通過tanh 激活函數(shù)輸出a(t)。數(shù)學(xué)表達(dá)式為：

Fig.4 Structural comparison of RNN and LSTM圖4 RNN與LSTM 結(jié)構(gòu)對比

Fig.5 LSTM unit structure圖5 LSTM 單元結(jié)構(gòu)

Fig.6 LSTM forgetting gate圖6 LSTM 遺忘門

然后細(xì)胞狀態(tài)c(t)會受到遺忘門與輸入門的共同影響，如圖8所示。

此時刻細(xì)胞狀態(tài)c(t)由兩部分乘積組成，一部分為上一時刻細(xì)胞狀態(tài)c(t-1)與遺忘門輸出f(t)的乘積，另一部分為輸入門i(t)與a(t)的乘積。數(shù)學(xué)表達(dá)式為：

Fig.7 LSTM input gate圖7 LSTM 輸入門

Fig.8 LSTM cell status update圖8 LSTM 細(xì)胞狀態(tài)更新

新的隱藏狀態(tài)更新后，LSTM 輸出門如圖9所示。

此時刻隱藏狀態(tài)h(t)由兩部分組成，一部分為σ(t)，由上一時刻序列隱藏狀態(tài)h(t-1)與此時刻序列數(shù)據(jù)x(t)及sig?moid 激活函數(shù)得到，另一部分由隱藏狀態(tài)c(t)與tanh 激活函數(shù)構(gòu)成。數(shù)學(xué)表示式為：

Fig.9 LSTM output gate圖9 LSTM 輸出門

綜上，t時刻的序列預(yù)測輸出數(shù)學(xué)表達(dá)式為：

2.2.2 LSTM-RNN反向傳播算法分析

使用梯度下降法是為了更新變量傳播模型參數(shù)，在LSTM 中計算出兩個隱藏狀態(tài)h(t)與c(t)基于損失函數(shù)的偏導(dǎo)數(shù)，具體如下：

在最后序列τ位置處的梯度公式為：

2.3 注意力機制情感分析

情感分析是指對帶有感情色彩的文本進行信息挖掘，分析出其中隱含的情感傾向，是近年來自然語言處理領(lǐng)域的新熱點之一。基于LSTM 的情感分析概圖如圖10所示。

Fig.10 Sentiment analysis diagram based on LSTM圖10 基于LSTM 的情感分析概圖

人腦會關(guān)注事物的重要部分，注意力機制就是基于這種思想抽象出來的模型。事物的主要部分被賦予了更大權(quán)重，并著重判別這部分，從而使模型更加關(guān)注重要信息的優(yōu)化訓(xùn)練過程。近年來，這種方法被引入到自然語言處理領(lǐng)域，根據(jù)當(dāng)前的文本詞語將輸出矩陣分配給不同的塊進行特定表示［15］。

根據(jù)LSTM 產(chǎn)生的隱藏層特征H=[h1，h2，…，hN]構(gòu)建注意力機制的輸入，H?Rd*N，其中d表示隱藏層長度，N為輸入的文本信息長度。注意力機制最終產(chǎn)生注意力權(quán)重矩陣α和特征表示ν，計算公式如下：

3 基于注意力的LSTM-RNN情感分析模型

為了增加對重要信息的提取，本文提出基于注意力機制的用戶情感分析模型。首先，將整句文本拆分成詞，采用獨熱編碼形式，通過訓(xùn)練好的詞嵌入矩陣將其轉(zhuǎn)化為具有特征信息含義的詞向量，注入LSTM 層，輸出的結(jié)果可視為隱藏層；然后，針對不同部分分配不同的注意力權(quán)重值α，重構(gòu)新的輸入，再注入RNN 層；在RNN 層中只關(guān)心最后t時刻序列的輸出，注入softmax 情感分析層得到預(yù)測的概率結(jié)果，并貼上對應(yīng)的情緒標(biāo)簽?；谧⒁饬C制的模型如圖11所示［16-17］。

模型網(wǎng)絡(luò)結(jié)構(gòu)主要包含5 層：詞向量輸入層、LSTM層、注意力計算層、RNN 層、情感預(yù)測層。詞向量層把語義文本的獨熱向量通過已訓(xùn)練好的嵌入矩陣轉(zhuǎn)換為具有編碼關(guān)系的詞向量；LSTM 層聯(lián)系上下文對詞向量進行建模，每個LSTM 輸出結(jié)果都會被注意力計算層分配不同的權(quán)重值；經(jīng)過LSTM 與注意力機制聯(lián)合處理過的中間向量已隱含了聯(lián)系全文的含義，因此將其直接注入RNN 層中不會產(chǎn)生語義分析的偏差；情感預(yù)測層會基于特定的情感特征向量進行預(yù)測，根據(jù)輸出概率所在區(qū)域，即能得知用戶情感傾向［18］。

3.1 詞向量輸入層

Fig.11 Model based on attention mechanism圖11 基于注意力機制的模型

基于注意力機制的情感分析模型輸入由整句文本分詞后的詞向量組成，每個詞語初始均用獨熱向量表示。為增強向量之間的關(guān)聯(lián)性，需通過詞嵌入矩陣將其轉(zhuǎn)換為語義詞向量。詞嵌入矩陣訓(xùn)練難度大，所需的數(shù)據(jù)集非常多，而在國內(nèi)有很多公司開源了已訓(xùn)練好的詞嵌入矩陣，根據(jù)所需下載相應(yīng)維度即可。處理好的詞向量為ws=，其中n為語義文本序列長度［19］。

3.2 LSTM 層

最開始采用LSTM 訓(xùn)練語義詞向量，在時刻i的輸入為：

式中，hi是向前傳播時LSTM 在時刻i隱藏狀態(tài)的輸出。在語義文本的s層產(chǎn)生的特征序列為hs=。

3.3 注意力計算層

為LSTM 每一時刻輸出值分配一個合適的注意力權(quán)重α，a為t 時刻的LSTM 的輸出值。用c表示t時刻分配好的注意力權(quán)重α 與此時刻輸出值a乘積的和，其中c<1>的表達(dá)式為：

其中，e為a及初始時刻的s采用小型神經(jīng)網(wǎng)絡(luò)訓(xùn)練的結(jié)果，從而生成了具有關(guān)聯(lián)特征的情感表示。注意力權(quán)重訓(xùn)練圖如圖12所示。

Fig.12 Attention weight training graph圖12 注意力權(quán)重訓(xùn)練圖

3.4 RNN層

將具備關(guān)聯(lián)特征的詞向量輸入RNN 層中，RNN 網(wǎng)絡(luò)具有記憶功能，可高效地對詞向量之間的非線性特征進行學(xué)習(xí)。同時此層還起到了訓(xùn)練層與情感分析層之間的過渡作用，大幅降低了單一訓(xùn)練可能導(dǎo)致的情感誤判概率。

3.5 情感預(yù)測層

語義詞向量的情感傾向預(yù)測需要對上下文信息進行綜合考慮，因此本文已在搭配注意力機制的LSTM-RNN 層中提取了特征信息。針對RNN 層中最后t時刻的隱藏狀態(tài)，通過softmax 函數(shù)計算出預(yù)測概率，表達(dá)式為：

其中，c表示情感標(biāo)簽個數(shù)，pc表示情感標(biāo)簽c的預(yù)測概率［20-21］。用戶的情緒預(yù)測分類如表1所示。

Table 1 Classification of emotion prediction表1 情緒預(yù)測分類

根據(jù)預(yù)測概率所在區(qū)間，模型可判別出此時用戶屬于哪種情感。每種情感會對應(yīng)不同的Emotion id，在json 指令集中預(yù)測出的情感種類會以key/value 形式存儲并進行傳輸。當(dāng)各個工作節(jié)點收到指令后會解析json 串，并根據(jù)具體的Emotion id 值作出相應(yīng)的自適應(yīng)改變。

3.6 模型訓(xùn)練

選取交叉熵作為優(yōu)化損失函數(shù)，其中D表示待訓(xùn)練的數(shù)據(jù)集?；谧⒁饬C制的語義情感分析模型損失函數(shù)如下［22］：

4 模型評估

4.1 數(shù)據(jù)集選取

使用分詞器對用戶語義文本進行分詞，過濾掉長度小于3 的語義文本，最后獲得5 000 條可用于訓(xùn)練模型的詞語并貼上相應(yīng)標(biāo)簽，并在預(yù)處理階段將其轉(zhuǎn)換為獨熱向量表示。按照快樂、傷心、生氣、驚恐4 類情感對文本進行人工標(biāo)注，詞語針對4種情感的分類情況如表2所示。

Table 2 Distribution of words表2 詞語分類

考慮到在日常生活中，快樂和傷心兩個極端情感相對其他類型情感會表現(xiàn)地更多，因此在模型訓(xùn)練中使用更多數(shù)據(jù)集進行模型的情感分析學(xué)習(xí)。

4.2 訓(xùn)練過程

使用word2vec 訓(xùn)練詞向量，設(shè)置語義詞向量維度為100，訓(xùn)練迭代次數(shù)為200，學(xué)習(xí)率α為0.05。文本長度與注意力權(quán)重的維度保持一致，每個單詞的輸出為100維。

使用TensorFlow 框架Keras 快速搭建并訓(xùn)練注意力機制的LSTM-RNN 模型，設(shè)置LSTM 層數(shù)為100 層，RNN 層數(shù)為100 層。訓(xùn)練過程將整個詞語庫按照7：2：1 分為訓(xùn)練集、測試集與驗證集。模型性能評估使用神經(jīng)網(wǎng)絡(luò)的通用指標(biāo)，即準(zhǔn)確率P、召回率R和F1值。F1表達(dá)式為：

4.3 訓(xùn)練結(jié)果分析

為體現(xiàn)出LSTM-RNN 模型在情感分析中的準(zhǔn)確性與高效性，以及采用注意力機制后模型對重要信息部分和較不重要信息部分判別的敏感性加強，對RNN 模型、注意力機制的RNN 模型、LSTM-RNN 模型與本文模型的性能進行比較，如表3所示。

Table 3 Comparison of 4 models表3 4種模型比較

分析不同模型的實驗結(jié)果可得出以下結(jié)論：

（1）由于語義文本中的上下文詞語緊密相連，單純使用RNN 模型盡管訓(xùn)練速度很快，但是上文特征并沒有很好地傳遞到下文，預(yù)測結(jié)果不準(zhǔn)確。

（2）使用注意力機制后的RNN 模型對整句語義文本的不同部分分配不同權(quán)重值，能夠增強模型對數(shù)據(jù)的敏感性，但其分析上下文特征的能力并沒有得到改善，預(yù)測結(jié)果并不穩(wěn)定。

（3）改用LSTM-RNN 模型后可很好地解決RNN 中的弊端，上下文特征提取與傳遞能力得到提升，預(yù)測情感結(jié)果的準(zhǔn)確性與穩(wěn)定性有所上升。

（4）本文引入注意力機制的LSTM-RNN 模型各項指標(biāo)均優(yōu)于以上算法。

實驗結(jié)果表明，本文模型在LSTM-RNN 網(wǎng)絡(luò)基礎(chǔ)上加入注意力機制，加強了語義文本之間隱含特征的關(guān)聯(lián)性，并且注意力的存在深度挖掘了語義詞向量的語義權(quán)重，使模型針對不同詞向量有著不同敏感度，提升了模型的整體預(yù)測效果，穩(wěn)定性也得到了改善。

5 結(jié)語

本文提出一種基于注意力機制的LSTM-RNN 語義文本情感分析模型，在云上利用科大訊飛語音識別引擎將用戶語音信號轉(zhuǎn)換為語義文本，利用分詞器將文本拆分成單詞以方便后續(xù)詞向量轉(zhuǎn)換。采用LSTM-RNN 模型進行特征訓(xùn)練，利用注意力機制，根據(jù)語義子句對詞匯賦予不同注意權(quán)重進行具有程度差異的特征融合，最終在注意力機制基礎(chǔ)上形成特征向量，得到更精確的語義向量表示。實驗結(jié)果表明，該模型能較為有效地根據(jù)用戶表達(dá)的語言信息預(yù)測并挖掘出此時用戶隱含的情感內(nèi)容，各項指標(biāo)超過了其他常規(guī)的深度學(xué)習(xí)算法，且預(yù)測結(jié)果趨于穩(wěn)定，基本滿足了場景自適應(yīng)改變的需求，能夠讓用戶沉浸其中。然而，模型中的F1 指標(biāo)還有待提高，在RNN 層中若采用雙向RNN 效果將更好，但代價是對應(yīng)的模型訓(xùn)練時間、控制節(jié)點準(zhǔn)備時間及各個工作節(jié)點響應(yīng)時間也會加長，可能導(dǎo)致用戶體驗的舒適感降低，因此需要從模型的精準(zhǔn)度與體驗感兩方面進行綜合權(quán)衡，這將是后續(xù)進一步優(yōu)化與改進的重要方向。