基于雙向LSTM的影評情感分析算法設(shè)計

欒迪 董玉娜

（1.南京理工大學(xué)紫金學(xué)院，江蘇 南京 210046；2.芝罘區(qū)黃務(wù)小區(qū)，山東 煙臺 264000）

1 引言

隨著互聯(lián)網(wǎng)技術(shù)的飛速發(fā)展及聯(lián)網(wǎng)的便捷，越來越多的人在網(wǎng)上表達(dá)自己的意見。其中，電影評論受到廣泛關(guān)注。很多人選擇在閑暇時間觀看電影，選擇哪一部電影則常常受到網(wǎng)上評論的影響。然而電影評論主觀性較強(qiáng)，個體化傾向明顯，單個評論不具備可參考性，因此需要對大量的影評進(jìn)行綜合性的情感分析[1]。

情感分析是自然語言處理領(lǐng)域的一個重要分支。在社交媒體中，評論文本的數(shù)量呈指數(shù)級增長，必須采用智能處理方式。目前的情感分析主要是基于機(jī)器學(xué)習(xí)的方法，基于CNN（Convolutional Neural Network，卷積神經(jīng)網(wǎng)絡(luò)）、RNN（Recurrent Neural Network，循環(huán)神經(jīng)網(wǎng)絡(luò)）等神經(jīng)網(wǎng)絡(luò)的處理比傳統(tǒng)的方法取得了更高的準(zhǔn)確率。文本分析屬于典型的時序數(shù)據(jù)處理問題，因此本文采用改進(jìn)的RNN網(wǎng)絡(luò)BiLSTM（Bidirectional Long-short Term Memory Network，雙向長短時記憶網(wǎng)絡(luò)）對電影評論進(jìn)行情感分析。

2 LSTM及BiLSTM

RNN一般用來處理序列信息，在文本、語音、視頻等具有上下文關(guān)聯(lián)的應(yīng)用場景中精度很高。其展開結(jié)構(gòu)如圖1所示。但是RNN會面臨梯度消失和梯度爆炸的問題，這將導(dǎo)致長時依賴丟失。為解決這個問題，LSTM網(wǎng)絡(luò)對RNN進(jìn)行了改進(jìn)。LSTM由遺忘門、輸入門和輸出門三個控制門組成，如圖2所示[2-4]。遺忘門控制上一時刻的單元狀態(tài)Ct-1有多少保留到當(dāng)前狀態(tài)Ct，輸入門控制當(dāng)前時刻的網(wǎng)絡(luò)輸入Xt有多少保存到單元狀態(tài)Ct，輸出門控制單元狀態(tài)Ct有多少輸出到LSTM網(wǎng)絡(luò)的當(dāng)前輸出ht。圖2中σ表示sigmoid函數(shù)，其取值范圍是[0-1]，決定了門控制器能夠通過信息的比例。sigmoid取值為1時，表示所有信息都能通過，完全保留這一分支的記憶，取值為0時，表示沒有信息能夠通過，即所有信息全部遺忘[5]。LSTM網(wǎng)絡(luò)的主要計算公式如下：

圖1 RNN結(jié)構(gòu)

從圖2可以看到，LSTM網(wǎng)絡(luò)只能利用前文信息。例如句子“我吃蘋果”，處理分詞“吃”時，LSTM只考慮前一個分詞“我”，這顯然是不夠的，其后面的分詞“蘋果”對吃具有更重要的影響。雙向LSTM應(yīng)運(yùn)而生，BiLSTM從兩個方向同時讀取文本，這樣就可以充分利用當(dāng)前時刻數(shù)據(jù)的所有上下文信息。如圖3所示，BiLSTM構(gòu)建了兩個方向相反的LSTM層，正向計算時，t時刻的隱藏狀態(tài)與t-1時刻有關(guān)，反向計算時，與t+1時刻有關(guān)，網(wǎng)絡(luò)的最終隱藏狀態(tài)向量由兩個方向的隱藏狀態(tài)組合生成。組合方式可拼接、加權(quán)求和或求平均。設(shè)X2為當(dāng)前時刻的輸入單元，A2為正向傳播通道上該單元的隱藏狀態(tài)，由前一時刻的隱藏狀態(tài)A1和當(dāng)前輸入X2共同決定，A2＇是反向傳播通道上的隱藏狀態(tài)，由下一時刻的隱藏狀態(tài)A3＇和X2共同決定，輸出y2是A2和A2＇加權(quán)和的函數(shù)。各變量的關(guān)系如圖3所示。

圖3 BiLSTM結(jié)構(gòu)

BiLSTM的實(shí)現(xiàn)方法非常簡單[6]。只需堆疊兩層LSTM，其中一層將數(shù)據(jù)集原樣輸入，相當(dāng)于按正向傳遞信息。另一層則將數(shù)據(jù)集翻轉(zhuǎn)后輸入，按反向傳遞信息。例如處理數(shù)字序列“1、2、3、4”，正向傳播層接收數(shù)據(jù)本身，反向傳播層接收“4、3、2、1”，即可同時有效提取過去和未來的上下文信息。

3 Dropout機(jī)制

對于規(guī)模大、訓(xùn)練參數(shù)較多的神經(jīng)網(wǎng)絡(luò)來說，非常容易發(fā)生過擬合現(xiàn)象。過擬合是指模型在訓(xùn)練數(shù)據(jù)上損失函數(shù)小，預(yù)測準(zhǔn)確率高，但是在測試數(shù)據(jù)上損失函數(shù)大，預(yù)測準(zhǔn)確率低，也就是模型的泛化能力太差。最初解決過擬合問題的方法是訓(xùn)練多個模型做組合，但這也帶來了模型過于復(fù)雜和費(fèi)時的問題。受此啟發(fā)，Hinton等人在2012年推出了Standard Dropout方法，之后Dropout又發(fā)展出了多個變種。Dropout是指在規(guī)模較大的神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程中，對于神經(jīng)網(wǎng)絡(luò)單元，按照一定的概率將其暫時從網(wǎng)絡(luò)中丟棄，如圖4所示。每輪迭代訓(xùn)練時，都按一定的概率拋棄不同的神經(jīng)元，這就相當(dāng)于在一個網(wǎng)絡(luò)上同時訓(xùn)練了多個模型，提高了泛化能力，能夠有效抑制過擬合。拋棄神經(jīng)元的概率不宜過大，否則會造成重點(diǎn)特征丟失，一般設(shè)置在0.3～0.5之間。Dropout機(jī)制最初用在密集度較大的深度神經(jīng)網(wǎng)絡(luò)，但后來發(fā)現(xiàn)在卷積和循環(huán)神經(jīng)網(wǎng)絡(luò)中作用也很顯著[7]。

圖4 Dropout機(jī)制

4 算法設(shè)計及實(shí)驗結(jié)果

本實(shí)驗的算法設(shè)計基于Keras平臺實(shí)現(xiàn)，模型搭建如圖4所示。首先是Embedding層，該層負(fù)責(zé)將文本數(shù)據(jù)轉(zhuǎn)化為單詞向量，為防止過擬合，其上疊加Dropout層，然后是BiLSTM層，也疊加Dropout，最后通過Sigmoid層進(jìn)行情感分類。

圖4 模型設(shè)計

本文采用IMDB電影評論數(shù)據(jù)集，該數(shù)據(jù)集包含5萬條電影評論，一半劃分為訓(xùn)練數(shù)據(jù)，一半劃分為測試數(shù)據(jù)。每條數(shù)據(jù)根據(jù)正、負(fù)面傾向標(biāo)注“positive”和“negative”。由于每條評論的單詞數(shù)量不等，統(tǒng)一預(yù)處理為400個單詞，即超過400個單詞進(jìn)行截斷，不足400的填零補(bǔ)足。字典大小設(shè)置為4000。Embedding層的輸出設(shè)置為36，即每個單詞通過Embedding轉(zhuǎn)化為36維的密集向量。模型中各參數(shù)設(shè)置如表1所示。

表1 模型參數(shù)設(shè)置

模型訓(xùn)練采用二進(jìn)制交叉熵binary crossentropy作為損失函數(shù)，優(yōu)化器選用Adam算法。為了對比，實(shí)驗共進(jìn)行了三次，第一次為上述模型BiLSTM加Dropout，第二次僅使用BiLSTM，不采用Dropout，第三次僅使用單向LSTM。每個epoch的損失率和準(zhǔn)確率曲線如圖5所示。最后一個epoch的具體數(shù)據(jù)如表2所示。另外，文獻(xiàn)[8]進(jìn)行了基于單向LSTM的IMDB數(shù)據(jù)集的分析實(shí)驗并與其他算法進(jìn)行了比較，如表3所示。從測試數(shù)據(jù)集的分析效果來看，本算法的BiLSTM加Dropout的效果是最好的。

圖5 損失率及準(zhǔn)確率

表2 損失率及準(zhǔn)確率對比

表3 文獻(xiàn)[8]實(shí)驗結(jié)果對比

5 結(jié)語

本文實(shí)驗表明，BiLSTM結(jié)合Dropout機(jī)制的算法在電影評論情感分析的應(yīng)用中準(zhǔn)確率很高。但來自各種網(wǎng)站的評論數(shù)據(jù)有表達(dá)不完善、不準(zhǔn)確等復(fù)雜問題，本實(shí)驗將進(jìn)一步完善算法的先進(jìn)性，提高分析準(zhǔn)確率。IMDB數(shù)據(jù)集是較為標(biāo)準(zhǔn)的英文電影評論數(shù)據(jù)集，下一步工作可以分析中文數(shù)據(jù)集、在豆瓣等社交網(wǎng)絡(luò)爬取數(shù)據(jù)，制作更加廣泛和貼近真實(shí)的電影評論數(shù)據(jù)集，驗證算法的實(shí)際應(yīng)用效果。另外，本文也驗證了BiLSTM處理時序數(shù)據(jù)的有效性，下一步工作也將探索該算法在復(fù)雜文本、語音、視頻處理等領(lǐng)域的應(yīng)用。