雙通道混合神經(jīng)網(wǎng)絡(luò)的文本情感分析模型

楊長利，劉 智，魯明羽

大連海事大學(xué) 信息科學(xué)技術(shù)學(xué)院，遼寧 大連116026

1 引言

文本情感分析是自然語言處理（Natural Language Processing，NLP）領(lǐng)域一個(gè)重要的分支，通過對(duì)含有情感傾向的文本評(píng)論進(jìn)行分析，幫助研究機(jī)構(gòu)、信息咨詢組織和政府部門掌握社會(huì)情緒動(dòng)態(tài)。

傳統(tǒng)的文本情感分析方法主要是基于情感詞典的方法和基于機(jī)器學(xué)習(xí)的方法。昝紅英等[1]將支持向量機(jī)與規(guī)則方法相結(jié)合并在KNN 和Bayes 分類器上進(jìn)行對(duì)比實(shí)驗(yàn)，證明其有效性；王志濤等[2]通過利用統(tǒng)計(jì)信息和點(diǎn)間互信息增加新感情詞擴(kuò)充已有情感詞典來識(shí)別微博新詞并理解其情感含義，并提出了基于詞典和規(guī)則集的方法利用附加信息輔助文本情感分析；Turney 等[3]提出一種半監(jiān)督方法，即標(biāo)記一部分種子詞，通過計(jì)算一個(gè)詞與種子詞同時(shí)出現(xiàn)的概率來決定情感傾向。基于機(jī)器學(xué)習(xí)的算法相較于基于情感詞典的方法有了一定的進(jìn)步，但需要人工和領(lǐng)域知識(shí)對(duì)文本特征進(jìn)行標(biāo)記，特征擴(kuò)展性不靈活。

深度學(xué)習(xí)（Deep Learning，DL）在不同領(lǐng)域都取得了優(yōu)異成績[4-9]，卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）和循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Networks，RNN）是深度學(xué)習(xí)中的兩大主流應(yīng)用。隨著膠囊網(wǎng)絡(luò)在圖像處理領(lǐng)域表現(xiàn)出的良好性能[10]，Zhao等[11]首次將膠囊網(wǎng)絡(luò)應(yīng)用在情感分析任務(wù)上，減少了CNN在池化層的特征信息丟失，分類性能超過了CNN[12]；Cho等[13]提出了GRU的基本結(jié)構(gòu)，解決了長距離依賴問題，消除了梯度爆炸或梯度消失的問題，而且模型結(jié)構(gòu)較LSTM 更加簡單，訓(xùn)練速度更為快速，BiGRU 能夠獲得雙向上下文信息。

本文提出雙通道混合神經(jīng)網(wǎng)絡(luò)（Two-Channel Hybrid Neural Network，TC-HNN）的文本情感分析模型?；旌仙窠?jīng)網(wǎng)絡(luò)將基于注意力機(jī)制的膠囊網(wǎng)絡(luò)和Bi-GRU拼接融合，通過注意力機(jī)制關(guān)注文本關(guān)鍵信息，結(jié)合提取局部特征和全局特征的優(yōu)勢，將兩種不同的詞向量經(jīng)過混合神經(jīng)網(wǎng)絡(luò)的結(jié)果進(jìn)一步進(jìn)行拼接融合。

2 相關(guān)工作

近年來，隨著深度學(xué)習(xí)技術(shù)在計(jì)算機(jī)視覺方面取得巨大成功，也成為文本情感分析的主流技術(shù)。Kim[12]利用word2vec 預(yù)訓(xùn)練的詞向量，通過單層卷積神經(jīng)網(wǎng)絡(luò)來處理文本情感分析取得了較好的成績。Lai等[14]提出使用雙向卷積神經(jīng)網(wǎng)絡(luò)提取上下文的信息，不需要通過設(shè)定窗口大小來決定對(duì)上下文的依賴長度。CNN 和RNN在文本情感分析方面各有優(yōu)勢，將兩者結(jié)合使用，取兩者的優(yōu)勢，也逐漸成為流行的方法，Lai 等[14]使用RNN 捕捉上下文信息，然后用CNN 來捕獲文本中的關(guān)鍵信息；Zhang等[15]利用單詞級(jí)CNN來提取每個(gè)單詞的特征，同時(shí)用BiGRU獲得語境的語境信息和語義分布，分類性能得到提升；王汝嬌等[16]提出了卷積神經(jīng)網(wǎng)絡(luò)與多特征融合的方法大大提高了情感分類的準(zhǔn)確性。

基于注意力機(jī)制的神經(jīng)網(wǎng)絡(luò)模型在各項(xiàng)任務(wù)中都取得了較好的結(jié)果，文本情感分析也不例外。Bahdanau等[17]將注意力機(jī)制與循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)合應(yīng)用到機(jī)器翻譯的任務(wù)，是NLP領(lǐng)域的第一次嘗試；Wang等[18]提出了基于注意力機(jī)制的LSTM，加強(qiáng)了提取特征信息的能力；Yang等[19]在字詞層面和句子層面分別使用注意力機(jī)制，給予重要程度不同的字詞和句子以不同關(guān)注程度。

本文用膠囊網(wǎng)絡(luò)、BiGRU、注意力機(jī)制和雙通道模式來進(jìn)行文本情感分析，膠囊網(wǎng)絡(luò)提取文本局部空間信息，減少CNN池化層信息的丟失，BiGRU提取文本全局空間信息，并利用注意力機(jī)制捕獲關(guān)鍵信息，將兩個(gè)結(jié)果拼接。同時(shí)，使用兩種不同的詞向量表示，將其經(jīng)過混合神經(jīng)網(wǎng)絡(luò)的結(jié)果在融合層進(jìn)行拼接融合，從而獲得更多的文本特征，提高分類準(zhǔn)確性。

3 雙通道混合神經(jīng)網(wǎng)絡(luò)模型

為了進(jìn)一步提高情感分類準(zhǔn)確性，本文提出雙通道混合神經(jīng)網(wǎng)絡(luò)的文本情感分析模型。先將文本序列向量化，用Glove和Fasttext兩種預(yù)訓(xùn)練的詞向量作為混合神經(jīng)網(wǎng)絡(luò)的輸入，分別將經(jīng)過基于注意力的膠囊網(wǎng)絡(luò)和BiGRU 的結(jié)果進(jìn)行拼接輸出，再將兩種不同詞向量經(jīng)過混合神經(jīng)網(wǎng)絡(luò)的結(jié)果進(jìn)行拼接，進(jìn)一步豐富文本輸入特征，提高文本情感分析效果。

TC-HNN的文本情感分析模型結(jié)構(gòu)如圖1所示。

圖1 雙通道混合神經(jīng)網(wǎng)絡(luò)模型

3.1 詞向量

首先，將文本內(nèi)容表示成深度學(xué)習(xí)能夠處理的形式。離散表示（One-hot Representation）將文本中的每個(gè)單詞用一個(gè)長向量表示，向量的維度就是詞表的大小，但這種表示方式無法反映詞之間的聯(lián)系，忽略了單詞的上下文語義，而且還會(huì)導(dǎo)致特征空間非常大。分布式表示（Distributed Representation）則考慮了單詞的上下文語義信息和刻畫語義之間的相似度，并且是維度較低的稠密向量表示，常用的詞向量表示有Word2Vec、Glove和Fasttext等。

為了豐富文本特征，本文采用雙通道輸入策略，將Glove 和Fasttext 詞向量分別放入本文提出的混合神經(jīng)網(wǎng)絡(luò)，將得到的兩個(gè)結(jié)果進(jìn)行拼接融合，從而達(dá)到豐富輸入特征的目的。

3.2 混合神經(jīng)網(wǎng)絡(luò)模型

混合神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)結(jié)合了膠囊網(wǎng)絡(luò)和BiGRU的優(yōu)點(diǎn)在學(xué)習(xí)局部特征的同時(shí)還可以學(xué)習(xí)上下文信息，并且通過注意力機(jī)制進(jìn)一步提取文本的關(guān)鍵信息，提高情感分類的準(zhǔn)確度。

3.2.1 膠囊網(wǎng)絡(luò)

原始CNN池化層會(huì)丟失大量的信息使得文本特征大大減少，并且神經(jīng)元節(jié)點(diǎn)只是一個(gè)標(biāo)量。而在膠囊網(wǎng)絡(luò)（Capsule Network，CapsNets）中使用矢量“膠囊”來替換表示傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的神經(jīng)元節(jié)點(diǎn)，并通過動(dòng)態(tài)路由來學(xué)習(xí)單詞之間的上下文語義關(guān)系。

其中，vj是膠囊j 的矢量輸出，sj是膠囊j 的輸入，Squash()是非線性激活函數(shù)將向量sj轉(zhuǎn)化成vj，是預(yù)測矢量，ui是上一層膠囊的輸出，cij為耦合系數(shù)，用來預(yù)測上層膠囊和下層膠囊之間的相關(guān)性，值越大表示相關(guān)性越強(qiáng)，反之，值越小表示相關(guān)性越弱。bij在膠囊i 連接到更高級(jí)別膠囊的所有耦合系數(shù)的新值之前進(jìn)行更新。從而得到局部特征：

3.2.2 BiGRU模型

GRU 相對(duì)LSTM 來說結(jié)構(gòu)更加簡潔、參數(shù)更少、收斂性更好。GRU中更新門控制前一時(shí)刻的狀態(tài)信息被帶入到當(dāng)前狀態(tài)中的程度。重置門控制忽略前一時(shí)刻的狀態(tài)信息的程度。具體結(jié)構(gòu)如圖2所示。

圖2 GRU模型結(jié)構(gòu)

GRU模型的更新方式如下：

其中，xt表示t 時(shí)刻給定的輸入，ht-1表示在(t-1)時(shí)刻隱藏層狀態(tài)，zt表示t 時(shí)刻的更新門，rt表示t 時(shí)刻的重置門，是控制信息選擇性通過的機(jī)制，由一個(gè)Sigmoid神經(jīng)網(wǎng)絡(luò)層和一個(gè)向量點(diǎn)乘組成。表示需要更新的信息，ht表示t 時(shí)刻隱藏層狀態(tài)，W WzWr表示權(quán)重矩陣，σ 和tanh 為激活函數(shù)。

給定文本中單詞wi，i ∈[ ]1,L ，L 是文本長度，文本單詞向量化xi=We?wi,i ∈[1 ,L] ，

3.2.3 注意力機(jī)制

在文本評(píng)論中，并非所有的單詞對(duì)文本意思的表達(dá)同等重要，對(duì)于重要的語義信息給予更多的注意力，反之，其他部分分配相對(duì)較少的注意力。例如，“well，it was nice while it lasted.”中的單詞“nice”，它對(duì)文本意思的表達(dá)相對(duì)于其他單詞來說更加重要，要對(duì)其給予更多的注意力。因此引入注意力機(jī)制（Attention Mechanism）從大量信息中選擇對(duì)當(dāng)前目標(biāo)更為重要的信息。公式如下：

經(jīng)過一層MLP（Multi-Layer Perception）得到hi的隱藏層表示ui，Wwbw是注意力的權(quán)重和偏置項(xiàng)。通過Softmax函數(shù)獲得每個(gè)單詞的標(biāo)準(zhǔn)化權(quán)重ai，最后通過加權(quán)計(jì)算得到文本表示r 。將BiGRU和CapsNets結(jié)果作為輸入經(jīng)混合神經(jīng)網(wǎng)絡(luò)分別得到：

3.3 融合層

混合神經(jīng)網(wǎng)絡(luò)中將基于注意力的膠囊網(wǎng)絡(luò)和BiGRU模型結(jié)果進(jìn)行融合，既能夠提取局部特征、減少池化層的信息丟失，又有處理文本序列全局特征的能力，兼顧兩者的優(yōu)勢。

⊕表示將結(jié)果進(jìn)行拼接。

用不同的詞向量來表示文本內(nèi)容，可以對(duì)文本特征進(jìn)行補(bǔ)充，將混合神經(jīng)網(wǎng)絡(luò)的輸出進(jìn)行融合，從而豐富輸入特征。將兩種不同的詞向量Glove 和Fasttext 作為輸入，經(jīng)過混合神經(jīng)網(wǎng)絡(luò)得到H'g和H'f，再將結(jié)果進(jìn)行拼接。

3.4 輸出層

將融合層的結(jié)果H 輸入到輸出層，利用Softmax函數(shù)對(duì)輸入進(jìn)行相應(yīng)的計(jì)算，進(jìn)而進(jìn)行文本分類，計(jì)算方式如下：

4 實(shí)驗(yàn)結(jié)果與分析

4.1 數(shù)據(jù)集

本文采用三個(gè)標(biāo)準(zhǔn)英文數(shù)據(jù)集：MR、Subj和MPQA對(duì)模型進(jìn)行評(píng)估，基本信息如表1所示。

表1 數(shù)據(jù)集信息

C 為類別個(gè)數(shù)，L 為文本平均長度，N 為數(shù)據(jù)集大小， ||V 為詞匯數(shù)量，CV表示10-foldCV。

MR（Movie Reviews）：電影評(píng)論語句極性數(shù)據(jù)集v1.0，每個(gè)評(píng)論一句話。它包含從Rotten Tomatoes網(wǎng)站頁面提取的5 331個(gè)正片段和5 331個(gè)負(fù)片段。

Subj：主觀性數(shù)據(jù)集包括主觀評(píng)論和客觀情節(jié)摘要。主觀性數(shù)據(jù)集是將文本分類為主觀或客觀。

MPQA：MPQA數(shù)據(jù)集的意見極性檢測的子任務(wù)。

4.2 神經(jīng)網(wǎng)絡(luò)模型參數(shù)設(shè)置

神經(jīng)網(wǎng)絡(luò)模型的參數(shù)設(shè)置如表2所示。

表2 參數(shù)設(shè)置

4.3 結(jié)果分析

本文所提方法的分類準(zhǔn)確率與其他方法的比較如表3所示，“—”表明該模型未在該數(shù)據(jù)集上評(píng)估。

實(shí)驗(yàn)結(jié)果如表3 所示，從表中可以看出，本文提出的基于深度學(xué)習(xí)的模型相對(duì)基于傳統(tǒng)機(jī)器學(xué)習(xí)算法的模型顯著提高了分類效果。在上述深度學(xué)習(xí)網(wǎng)絡(luò)中，CNN-rand 取得相對(duì)較低的分類效果，這是因?yàn)楹雎粤嗽~的上下文含義和詞之間的前后依賴關(guān)系，而Capsule取得相對(duì)CNN 較好的分類效果，說明Capsule 比CNN有更好的提取特征的能力，準(zhǔn)確率分別提高了5.2%和3.7%。ACNN（BiGRU）有很好的效果，既能獲得長距離的依賴信息，雙向結(jié)構(gòu)又能很好地包含每一個(gè)單詞的上下文信息。本文提出的模型準(zhǔn)確率達(dá)到86.65%、95.39%、94.0%，與其他模型最高準(zhǔn)確率相比提高了3.25%、1.19%、3.20%，可以看出本文提出的模型結(jié)構(gòu)在三種數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果，較其他基準(zhǔn)模型和先進(jìn)模型有較大幅度的提升，實(shí)驗(yàn)結(jié)果也證明了本文模型有效性。

表3 實(shí)驗(yàn)結(jié)果對(duì)比（準(zhǔn)確率-Accuracy）%

為了進(jìn)一步證明本文所提出的雙通道融合模型的有效性，設(shè)置模型對(duì)比實(shí)驗(yàn)，進(jìn)行分類性能驗(yàn)證。將本文所提模型TC-HNN 與基于Glove 混合神經(jīng)網(wǎng)絡(luò)的單通道模型和基于Fasttext混合神經(jīng)網(wǎng)絡(luò)的單通道模型進(jìn)行對(duì)比實(shí)驗(yàn)。比較結(jié)果如表4所示。

表4 各對(duì)比實(shí)驗(yàn)結(jié)果（準(zhǔn)確率-Accuracy）%

由表4可知，本文提出的雙通道融合模型在三個(gè)數(shù)據(jù)集上，較基于Glove混合神經(jīng)網(wǎng)絡(luò)的單通道模型分別提高了0.58%、0.09%、0.48%，較基于Fasttext 混合神經(jīng)網(wǎng)絡(luò)的單通道模型分別提高了1.32%、0.97%、10.77%，由此說明本文所提出的雙通道融合模型比單個(gè)模型能夠提取更多的文本特征，提高文本情感分類的效果。

用混淆矩陣對(duì)實(shí)驗(yàn)結(jié)果進(jìn)一步分析，數(shù)據(jù)集實(shí)際分類情況如圖3所示。

圖3縱向表示文本的實(shí)際類別，橫向表示模型預(yù)測文本的類別，右混淆矩陣右側(cè)的顏色深淺表示文本的數(shù)量多少。TN（True Negative）表示本身是負(fù)樣本，被分類為負(fù)樣本的樣本數(shù)，TP（True Positive）表示本身是正樣本，被分類為正樣本的樣本數(shù)，本文將標(biāo)記1 表示為正樣本，標(biāo)記0 表示為負(fù)樣本。由圖3 可知，TN 值為486，占比93.8%，TP 值為531，占比96.9%，可以很清楚地看出兩者差距較小，證明了該方法的有效性。

圖3 MR測試集實(shí)際分類效果

5 結(jié)束語

本文提出了TC-HNN 模型?；旌仙窠?jīng)網(wǎng)絡(luò)利用膠囊網(wǎng)絡(luò)處理CNN 池化層丟失特征信息的問題，更好地提取局部文本特征，BiGRU 模型能夠有效地提取全局文本特征，分別在膠囊網(wǎng)絡(luò)和BiGRU 后引入注意力機(jī)制，進(jìn)一步提取文本的關(guān)鍵信息，用并行的方式結(jié)合兩種模型，將結(jié)果進(jìn)行拼接融合，取兩者優(yōu)勢，豐富特征信息。用不同的詞向量來表示文本內(nèi)容，可以對(duì)文本特征進(jìn)行補(bǔ)充，將兩種不同的詞向量經(jīng)過混合神經(jīng)網(wǎng)絡(luò)的結(jié)果進(jìn)行融合，從而達(dá)到豐富輸入特征的目的，實(shí)驗(yàn)結(jié)果證明了本文模型的有效性。下一步研究工作將對(duì)模型進(jìn)一步優(yōu)化，在保證精度的同時(shí)縮短模型運(yùn)行時(shí)間，以便適應(yīng)大規(guī)模的文本情感分析。