基于門控循環(huán)單元和膠囊特征的文本情感分析

楊云龍，孫建強(qiáng)，宋國超

（山東科技大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院，山東青島 266590）

0 引言

近年來，在社交媒體中發(fā)表自己的觀點(diǎn)已變得非常流行，對社交網(wǎng)絡(luò)文本信息中蘊(yùn)涵的觀點(diǎn)和情感進(jìn)行挖掘，提取其情感的特征，可以有效地輔助決策者進(jìn)行決策。許多神經(jīng)網(wǎng)絡(luò)模型在情感分析領(lǐng)域都取得了良好的性能，如遞歸自動(dòng)編碼器［1-2］、循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network，RNN）［3-4］、卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）［5-7］以及CNN-BiLSTM（Convolutional Neural Network-Bidirectional Long Short-Term Memory）網(wǎng)絡(luò)［8］等。

對傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的優(yōu)化工作也得到了研究者的廣泛關(guān)注，并取得了重大進(jìn)展。例如：文獻(xiàn)［9］提出了通過批評學(xué)習(xí)用規(guī)則優(yōu)化卷積神經(jīng)網(wǎng)絡(luò)的情感分析方法，文獻(xiàn)［10］提出了基于特定目標(biāo)的句子對建模模型，文獻(xiàn)［11］提出了基于特定方面的關(guān)系分類模型。

從當(dāng)前國內(nèi)外文本情感分析的研究現(xiàn)狀［12］來看，盡管以上的神經(jīng)網(wǎng)絡(luò)模型取得了很大的成功，但仍存在一些缺陷?，F(xiàn)有的模型要求文本有正確的語法結(jié)構(gòu)，使用標(biāo)量來表示情緒。這就使得模型所能表達(dá)的效果是非常有限的，因?yàn)榍榫w及其所包含的意義是微妙和復(fù)雜的。若不能將特征向量化，即不考慮屬性信息，對情感的分析將會(huì)出現(xiàn)偏差。因此，需要將情感詞匯、否定詞（例如no，not）和強(qiáng)度詞（例如very）向量化輸入到模型中，實(shí)現(xiàn)更精確的預(yù)測。G-Caps（Gated Recurrent Unit-Capsule）有更好的情感表達(dá)能力。

門控循環(huán)單元（Gated Recurrent Unit，GRU）［13］方法可以很好地將文本上下文特征的關(guān)聯(lián)進(jìn)行有效的整合，對情感文本有良好的分類效果。GRU 同時(shí)避免了傳統(tǒng)RNN 中出現(xiàn)的梯度消失問題，具有更強(qiáng)的記憶功能。G-Caps 模型不需要人工作業(yè)的先驗(yàn)知識也能顯示文本屬性的強(qiáng)度。為了捕獲文本的信息特征［14］，G-Caps 模型將標(biāo)量信息向量化，使得文本特征的表示更加豐富。實(shí)驗(yàn)結(jié)果證明將特征向量化的模型會(huì)產(chǎn)生更準(zhǔn)確的分類效果。

1 相關(guān)工作

早期的情感分析方法大多是基于人工定義的規(guī)則，這些方法雖可以表達(dá)一定程度的情感，但需要大量人力資源。近年來，隨著深度學(xué)習(xí)技術(shù)的發(fā)展，基于神經(jīng)網(wǎng)絡(luò)的方法成為主流。在此基礎(chǔ)上，許多研究者將語言知識應(yīng)用于情感分析。但這些方法無法表達(dá)文本中出現(xiàn)的像感情強(qiáng)弱這樣的屬性。

1.1 基于規(guī)則的情感分析

基于規(guī)則的方法［15-16］融入到模型中，以實(shí)現(xiàn)預(yù)測精度方面的最佳效果。文獻(xiàn)［17］使用句子級注釋的數(shù)據(jù)對簡單模型進(jìn)行訓(xùn)練，并試圖對情感詞匯、否定詞和強(qiáng)度詞的語言角色進(jìn)行建模，從而在分類效果上得到了提升。也有從社會(huì)數(shù)據(jù)中自動(dòng)構(gòu)建情感詞典的研究［18］?；谧⒁獾拈L短時(shí)記憶（Long Short-Term Memory，LSTM）網(wǎng)絡(luò)進(jìn)行方面級情感分類［19］，其核心思想是在注意機(jī)制中添加方面信息。

1.2 基于深度學(xué)習(xí)的情感分析

文獻(xiàn)［9］提出了一種通過批判學(xué)習(xí)規(guī)則優(yōu)化卷積神經(jīng)網(wǎng)絡(luò)的方法，該方法由三個(gè)關(guān)鍵部分組成：基于特征的預(yù)測器、基于規(guī)則的預(yù)測器和批判學(xué)習(xí)網(wǎng)絡(luò)。批判學(xué)習(xí)網(wǎng)絡(luò)可以判斷知識規(guī)則的重要性并自適應(yīng)地使用規(guī)則。文中提出的濾波器初始化策略，能夠考慮復(fù)雜的規(guī)則，在情感分析方面表現(xiàn)出良好的性能。文獻(xiàn)［20］提出了在循環(huán)神經(jīng)網(wǎng)絡(luò)中加入自定義膠囊模型的方法，并引入了3 個(gè)模塊：表示模塊、概率模塊和重建模塊，在傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上提高了分類效果的準(zhǔn)確率。

本文提出的G-Caps 模型，在不使用語言規(guī)則的條件下依然能表現(xiàn)出優(yōu)異的性能。模型中的膠囊結(jié)構(gòu)［21］能夠?qū)⑻卣飨蛄炕蹲降侥鼙碚魑谋厩楦袕?qiáng)度的信息，提取其中的屬性特征并進(jìn)行特征重組，從而對不同類別的文本進(jìn)行有效的分類。

2 G-Caps模型

本文提出的模型結(jié)構(gòu)如圖1所示。

圖1 G-Caps模型結(jié)構(gòu)Fig.1 Structure of G-Caps model

它由三層網(wǎng)絡(luò)結(jié)構(gòu)組成：GRU 層、初始膠囊層和主膠囊層。本章會(huì)對這三層網(wǎng)絡(luò)的關(guān)鍵部分進(jìn)行詳細(xì)的介紹。

2.1 GRU模型

GRU 解決了傳統(tǒng)循環(huán)神經(jīng)網(wǎng)絡(luò)中出現(xiàn)的梯度彌散的問題，在保留了長短時(shí)記憶網(wǎng)絡(luò)很好的記憶功能的同時(shí)，較少的參數(shù)也使得GRU的訓(xùn)練過程能夠更快一些。

圖2 展示了本文GRU 模型神經(jīng)單元結(jié)構(gòu)，其中有兩個(gè)控制信息傳輸?shù)拈T，分別是重置門（reset gate）和更新門（update gate）。

圖2 GRU單元結(jié)構(gòu)Fig.2 Structure of GRU cell

GRU中更新門用于控制前一時(shí)間節(jié)點(diǎn)的隱藏層狀態(tài)ht-1保存到當(dāng)前時(shí)間節(jié)點(diǎn)的程度。更新門接收ht-1和xt進(jìn)行運(yùn)算并使用激活函數(shù)處理，激活結(jié)果越大就能使越多的信息被保存。其表達(dá)式為：

2.2 初始膠囊層

初始膠囊層的作用是對GRU 層提取的整體信息進(jìn)行初始的特征向量化。上層神經(jīng)單元傳遞到本層的標(biāo)量信息無法表達(dá)文本特征，但卻記憶了上下文之間的語義信息。

本文使用變換矩陣Win∈RN×d×d來生成GRU 層到初始膠囊層的預(yù)測量∈Rd，并采用權(quán)重共享的方式。其中d表示的維度，N表示初始膠囊層的膠囊個(gè)數(shù)。具體地，每一個(gè)預(yù)測量的計(jì)算為：

其中g(shù)i是GRU層的標(biāo)量信息,是偏倚項(xiàng)。

對于每個(gè)膠囊層的單元，如圖3 所示，通過動(dòng)態(tài)路由的方式增加或減小連接強(qiáng)度來表達(dá)文本中存在的特征，相較于CNN中的最大池策略更有效。在不損失具體空間信息的情況下，它能檢測到在文本的不同位置是否存在相似或相同特征。

圖3 動(dòng)態(tài)路由過程示意圖Fig.3 Process of dynamic routing

動(dòng)態(tài)路由的基本思想是以迭代的方式構(gòu)造一個(gè)非線性映射，以確保每個(gè)預(yù)測量發(fā)送到隨后的膠囊層中適當(dāng)?shù)膯卧?/p>

2.3 主膠囊層

相較于初始膠囊層使用標(biāo)量信息gj|i作為輸入，主膠囊層將特征向量uj作為輸入，圖4 中將這些輸入利用動(dòng)態(tài)路由算法進(jìn)行特征間的重新組合，從而提取到更能表征文本特征的關(guān)鍵信息：

圖4 特征向量間的組合Fig.4 Combinations among feature vectors

3 實(shí)驗(yàn)與分析

3.1 實(shí)驗(yàn)環(huán)境

本文的實(shí)驗(yàn)開發(fā)平臺如下：操作系統(tǒng)為CentOS 7，CPU 為Intel Xeon W-2102，GPU為GTX1060，開發(fā)工具為PyCharm。

3.2 實(shí)驗(yàn)數(shù)據(jù)

為了評估本模型的有效性，本文使用情感分析的基準(zhǔn)數(shù)據(jù)集MR（Movie Reviews）［22］，將其中80%的數(shù)據(jù)用作訓(xùn)練，20%的數(shù)據(jù)用作測試。本實(shí)驗(yàn)使用300維Word2vec初始化文本的詞嵌入信息，同時(shí)使用1E-3 學(xué)習(xí)率的Adam 優(yōu)化算法來訓(xùn)練模型。本實(shí)驗(yàn)對MR數(shù)據(jù)集進(jìn)行5次路由迭代，因?yàn)樗鼉?yōu)化損失更快，并在最后收斂到較低的損失。

3.3 實(shí)驗(yàn)參數(shù)

本文在固定其他參數(shù)的前提下，依次改變可變參數(shù)的數(shù)值，以得到使實(shí)驗(yàn)效果較好的最優(yōu)參數(shù)。

表1 列出了GRU 層的主要參數(shù)及參數(shù)值。表2 中列出的是初始膠囊層的主要參數(shù)及參數(shù)值。表3 列出了主膠囊層的參數(shù)及參數(shù)值。為了使各個(gè)層能夠自適應(yīng)地進(jìn)行學(xué)習(xí)，加快模型的收斂速度，本文使用Adam進(jìn)行網(wǎng)絡(luò)參數(shù)的迭代更新。

表1 GRU層參數(shù)列表Tab.1 Parameters of GRU layer

表2 初始膠囊層參數(shù)列表Tab.2 Parameters of initial capsule layer

表3 主膠囊層參數(shù)列表Tab.3 Parameters of main capsule layer

3.4 實(shí)驗(yàn)結(jié)果及分析

為了評估本文模型在情感分類方面的效果，本文分別與傳統(tǒng)的深度神經(jīng)網(wǎng)絡(luò)CNN_LSTM（Convolutional Neural Network_Long Short-Term Memory）［23］、BiLSTM（Bidirectional Long Short Term Memory）［24］，改進(jìn)后網(wǎng)絡(luò)模型Text-CNN（Text-Convolutional Neural Network）［6］、CNN-Rule（Convolutional Neural Network-Rule）［25］、CNN+INI （Convolutional Neural Network+INItializing convolutional filters）［26］、CL_CNN（Critic Learning_Convolutional Neural Network）［9］進(jìn)行了對比實(shí)驗(yàn)。

表4 傳統(tǒng)模型的情感分類結(jié)果 單位：%Tab.4 Sentiment classification results of traditional models unit：%

本文在與傳統(tǒng)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行比較時(shí)，相同參數(shù)的設(shè)置一致，例如Batch_size 和Epoch 等，這些參數(shù)的變化會(huì)對實(shí)驗(yàn)結(jié)果產(chǎn)生一定的影響。圖5 為本文模型和傳統(tǒng)神經(jīng)網(wǎng)絡(luò)模型的效果比較。雖然本文模型在迭代剛開始時(shí)的效果比CNN_LSTM 和BiLSTM 模型要差一些，但到了中間時(shí)刻本文模型的效果就逐漸趕超了傳統(tǒng)的模型并穩(wěn)定超過了它們。

如表4 所示，和CNN_LSTM、BiLSTM 相比，G-Caps 模型的準(zhǔn)確率分別提高了5.3 個(gè)百分點(diǎn)和7.6 個(gè)百分點(diǎn)。本文模型將向量特征當(dāng)作有效信息進(jìn)行提取，對比傳統(tǒng)網(wǎng)絡(luò)結(jié)構(gòu)模型取得了良好的分類效果。

圖5 與傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的比較Fig.5 Comparison with traditional neural networks

與改進(jìn)后的神經(jīng)網(wǎng)絡(luò)Text-CNN 和CL_CNN 相比，本文模型有更簡單的網(wǎng)絡(luò)結(jié)構(gòu)；與基于規(guī)則的網(wǎng)絡(luò)模型CNN-Rule相比，本文模型沒有定義規(guī)則時(shí)的人工的大量投入。如表5 所示，除本文模型外，分類效果最好的CL_CNN 的準(zhǔn)確率為84.3%。G-Caps 與其相比仍高出0.5 個(gè)百分點(diǎn)，證明了本文提出的利用GRU 模型捕獲整體上下文語義信息，之后通過膠囊從語義信息中提取到特征信息模型的切實(shí)有效性。

4 結(jié)語

本文研究了將動(dòng)態(tài)路由用于文本分類的膠囊網(wǎng)絡(luò)模型。該模型獲取文本的整體信息，并通過動(dòng)態(tài)路由過程進(jìn)行特征提取，以達(dá)到有效的分類結(jié)果。選取基準(zhǔn)數(shù)據(jù)集并對多個(gè)模型進(jìn)行對比實(shí)驗(yàn)，證明了本文模型在情感分類中的有效性。下一步的工作重心，是研究本文模型在多情緒分類任務(wù)中的有效性。