融合卷積神經網絡與層次化注意力網絡的中文文本情感傾向性分析

程 艷，葉子銘，王明文，張 強，張光河

(江西師范大學 計算機信息工程學院，江西 南昌 330022)

0 引言

情感分析，也稱觀點挖掘，是指人們對服務、產品、組織、個人、問題、事件、話題及其屬性的情感、觀點、評價、態(tài)度和情緒[1]。文本情感傾向性分析是情感分析的一個分支，其目的在于從原始文本中判斷說話者對事物的情感傾向性?；谥R的方法是最初被廣泛應用于此領域的技術，但其需要編寫十分復雜的規(guī)則，才能讓計算機較為準確地理解人類語言，難度較大。故該類方法僅能在小規(guī)模的數(shù)據(jù)上取得一定的成果[2]。隨著文本數(shù)據(jù)量的增多，使用基于知識的方法處理文本已是捉襟見肘。自20世紀90年代以來，機器學習方法開始在文本情感分析領域嶄露頭角[3-4]。但這些方法都屬于淺層學習范疇，函數(shù)模型和計算方法相對簡單，導致它們在有限樣本和計算單元下無法表達一些復雜的函數(shù)，泛化能力較弱，同時也需要人工選擇大量數(shù)據(jù)特征。這些缺陷導致機器學習方法在此任務上遇到了瓶頸。深度學習能夠從原始數(shù)據(jù)中自動學習重要的特征與特征表達方式來處理各種復雜任務，在建模、解釋、表達能力以及優(yōu)化等方面優(yōu)勢明顯。卷積神經網絡(Convolutional Neural Network，CNN)和循環(huán)神經網絡(Recurrent Neural Network，RNN)是目前深度學習領域比較熱門的兩種模型。卷積神經網絡能夠提取數(shù)據(jù)中的局部化結構信息，循環(huán)神經網絡則能夠處理序列化結構信息。近年來，也出現(xiàn)了結合兩者模型結構的復合模型，在文本情感分析領域取得了優(yōu)異效果。注意力機制是當前深度學習領域的最新成果，它能夠捕捉文本中最具代表性的特征，優(yōu)化模型結構。使用深度學習模型分析文本情感是當前熱門的研究方向[5]。

本文認為文本的情感傾向是由句子層面和詞語或字符層面兩個層級共同決定的。首先，文本是由句子組成的，不同的句子對于情感傾向性分析結果而言擁有不同程度的重要性。例如，若文本整體情感傾向為正，其中一些情感色彩較為負面的句子就不是重要的，并不是所有的句子都會影響最終結果的判定。同理，句子又是由詞語或字符構成，不同詞語或字符對于句子的情感傾向判定又有不同程度的影響。現(xiàn)有模型很少從這個角度出發(fā)探索文本的情感，未能很好地體現(xiàn)文本結構的層次化和文本內容的上下文關聯(lián)對傾向性分析結果的影響。故本文建立了層次化的情感傾向性分析模型，并引入注意力機制，從兩個層面篩選出對傾向性分析結果影響最高的文本信息。另一方面，詞向量的表示對于文本分類任務非常重要，近年來對詞向量粒度的研究越來越細，出現(xiàn)了一些基于字符級別的工作，但這些工作大都基于英文文本數(shù)據(jù)[6-7]，對于中文數(shù)據(jù)的研究較少。中文文本與英文文本的差別尤其體現(xiàn)在字符級別上。英文單詞由26個字母組成，單個字母往往不代表特殊含義。中文則不同，很多單個漢字就能表示明確的含義，組合起來能夠表達的語義更是多種多樣，故對中文文本進行字符級別的分析是很有意義的。由于中文的特殊性，大部分中文文本分類任務都會使用分詞操作。但分詞操作執(zhí)行的同時，固定了漢字間的組合形式，有時易導致歧義，無法切分出正確的漢字組合形式。為了解決此問題，本文使用卷積神經網絡的并行卷積層學習中文文本字級別特征，不依靠解析樹等句法分析方法，同時也避免了語言知識層面的分析與復雜的數(shù)據(jù)預處理過程。本文實驗結果表明：對于中文語料，使用訓練過后的字級別詞向量作為原始特征會好于使用訓練過后的詞級別詞向量作為原始特征。

1 相關工作

情感傾向性分析一直是情感分析領域的研究熱點。早前使用的方法主要包括基于情感詞典的方法和基于機器學習的方法。基于情感詞典的方法，通常是將詞典中已經記錄了情感傾向性的詞條對句子中的詞語進行匹配，然后通過對詞語的情感傾向進行聚合(如求平均或求和)得到最終的情感傾向性。Kamps和Marx使用WordNet判斷詞語的情感傾向性[8]。Budanitsky和Hirst通過在WordNet中計算詞語間的路徑距離從而得到情感相似度，以此計算詞語的情感傾向性[9]。規(guī)范的中文情感詞典相對缺乏，最早也是最普遍傳播的是知網(HowNet)提供的情感分析用詞語集[10]。其實，真正的情感判斷并不是一些簡單規(guī)則的堆砌，而是一個復雜、系統(tǒng)的工程，且情感詞典中的詞語需要人工進行選擇。因此該方法的性能很大程度上取決于先驗知識與人工設計?；跈C器學習的情感傾向性分析問題常被看成一個有監(jiān)督的學習問題。Pang等[11]早在2004年便利用樸素貝葉斯、最大熵和支持向量機等機器學習方法來嘗試解決情感分析問題。但這些方法需要復雜的特征選擇過程，此過程同樣依賴于人工設計，導致推廣能力差。

深度學習方法能夠對特征進行自動選擇，逐漸發(fā)展成為近年來情感分析領域的主流方法。Collobert等[12]于2011年首先提出使用CNN解決詞性標注等NLP領域的問題。2014年，Kim[13]提出將CNN應用于情感分析任務，Kalchbrenner等[14]在此基礎上提出寬卷積和K-max pooling方法。Conneau等[15]提出VDCNN模型，采用了深度卷積網絡方法。但CNN模型有其缺陷，即只能挖掘文本的局部信息。與CNN相比，RNN更能捕捉到文本間的長距離依賴。Tang等[16]為了對句子之間的關系進行建模，提出采用層次化RNN模型來對篇章級文本進行建模。Wang等[17]提出了DRNN模型，固定了信息流動的步長。結合CNN與RNN各自的優(yōu)點，Siwei Lai等[18]提出了RCNN模型，先使用雙向循環(huán)神經網絡得到上下文表示，再經過卷積、池化操作后輸出分類結果。Chunting Zhou等[19]提出了C-LSTM模型，先利用卷積神經網絡提取文本特征，再輸入循環(huán)神經網絡得到分類結果。注意力機制能夠捕捉到特征的重要性，在文本情感分析任務中亦有應用，例如，Yang等[20]提出層次化注意力模型進行情感分析任務。總之，深度學習方法應用在文本情感傾向性分析問題中，免去了傳統(tǒng)方法繁瑣的特征工程步驟，具有一定的優(yōu)勢。

本文模型結構是在Chunting Zhou等工作[19]基礎上進行的改進。這種傳統(tǒng)的CNN-RNN模型架構沒有充分考慮到文本不同成分對情感傾向判定的重要程度。本文模型在此架構基礎上加入層次化注意力機制，有利于模型學習到對情感傾向結果判定最重要的信息。此外，在卷積部分，本文參考了Kim等的工作[13]，不同的是將位置向量引入模型中，賦予每個詞以實際位置編碼從而構造新型詞向量編碼，使得模型能夠學習到更豐富的詞向量編碼信息。同時，本文也借鑒了Yang等的工作[20]，與之不同的是分別采用詞級別向量與字級別向量進行實驗。

本文模型的工作流程是：首先利用卷積神經網絡將詞向量編碼到新的向量空間中，學習到詞的位置信息與上下文信息，然后通過層次化注意力學習句子和文本的序列化信息及其對文本傾向判定的重要性?？偠灾撃Ｐ途C合利用了幾種深度學習方法的優(yōu)點，考慮了文本的局部信息和全局信息，既避免了信息的丟失，又能夠篩選出對結果影響最大的信息。

2 模型

2.1 卷積神經網絡

CNN最早應用于計算機視覺中。近年來，其在文本分類中也有著優(yōu)越表現(xiàn)[12-13，21]。傳統(tǒng)的CNN模型在處理文本任務時，常將詞語轉換為向量形式，將不同數(shù)目、不同大小的卷積核與向量進行按元素相乘操作，經過卷積、池化、dropout正則化等一系列操作后得到最終輸出。CNN能夠捕捉到文本任務中字或詞之間的局部關系，是文本情感分析任務中較為常用的處理手段。由于本文中采用CNN的目的在于抽取單個句子中詞語的N-gram特征輸入到模型下一層結構中，故僅使用了卷積操作。其結構如圖1所示。

圖1 CNN卷積層結構圖

圖1中padding表示補零操作，目的是為了保證轉換后的句子表示矩陣長度和詞向量矩陣長度一致。假設當前輸入為第i個句子中的第j個詞xij∈Rd，d表示詞向量維度。在本文中，每一個詞均被賦予一個位置編碼lij∈Rd，該編碼與詞向量語義無關，具體數(shù)值通過模型訓練學習得到。如此，每一個詞便擁有了一個新的編碼aij，如式(1)所示。

aij=xij+lij

(1)

(2)

2.2 GRU與Bi-GRU

GRU(Gated Recurrent Unit)由Cho等[22]于2014年提出，其結構如圖2所示。

圖2 GRU結構圖

相比LSTM，GRU模型更為簡單，僅由重置門r和更新門z組成，用于控制神經元信息的讀取、寫入。GRU的計算如式(3)～式(6)所示。

單向GRU在使用時是從上文向下文推進的，容易導致后面的詞比前面的詞更重要。而雙向GRU是GRU的變體，其輸出值同時取決于正向計算和后向計算過程，使得輸出結果更為精確。其模型結構如圖3所示。

圖3 雙向GRU結構圖

2.3 注意力機制

注意力機制早在2014年便在機器翻譯任務中得到應用[23]，經過一段時間的發(fā)展，亦產生了許多不同形式的變體[24-25]。

注意力模型可以抽象為由Module1和Module2兩個模塊組成。Module1一般為編碼器，對輸入數(shù)據(jù)做一定的變換；Module2為解碼器，同樣經過一定的變換后輸出數(shù)據(jù)。每個輸出值mi計算過程如式(7)所示。

mi=F(Ci,m1,m2,…mi -1)

(7)

其中，Ci為每一個輸出數(shù)據(jù)相對應的語義編碼，該編碼由輸入數(shù)據(jù)的分布生成，如式(8)所示。

(8)

其中，S(nj)表示經過Module1處理后得到的輸入數(shù)據(jù)的隱層狀態(tài)，T表示輸入數(shù)據(jù)的個數(shù)。aij表示輸入j對輸出mi的注意力分配概率，aij計算過程如式(9)、式(10)所示。

其中，eij指第j個輸入對第i個輸出的影響力評價分數(shù)，hj為module1中第j個輸入的隱層狀態(tài)，si-1為上一步過程中module2的輸出，W、U和V為權重矩陣，b為偏置值，均由訓練過程中學習得到。Attention語義編碼會作為module2的輸入，生成最終的深層特征，獲取最關鍵的語義信息。

2.4 具體模型結構

本文在上述基礎上提出一個融合卷積神經網絡與層次化注意力網絡的文本情感分析模型。該模型由經卷積神經網絡操作的字/詞級別初始化向量模塊、雙向循環(huán)神經網絡及字/詞級別注意力模塊、雙向循環(huán)神經網絡及句子級別注意力模塊組成。模型結構如圖4所示。

圖4 本文模型結構圖

模型首先將中文字符或詞語通過CNN層的操作轉化為相應的向量表達形式。假設一段文本有L個句子，表示為Si,i∈[1,L]。句子中又包含K個字符或單詞。由式(1)已經得到了第i個句子經過卷積操作后的向量表示zik,k∈[1,K]，故在完成第一步操作后，將經卷積神經網絡操作后輸出的結果通過Bi-GRU網絡將其上下文相關信息結合起來可以獲得隱藏層的輸出，具體計算過程如式(11)～式(13)所示。

其中，gik即為經過雙向GRU后得到的向量化表示形式。

這一步后加入Attention機制的目的是要把一個句子中對句子含義貢獻最大的字或詞語找出來。首先，將gik輸入到一個單層的感知機中得到的結果uik作為gik的隱含表示。單詞的重要性采用uik和一個隨機初始化的上下文向量Uw的相似度來決定。然后，經過softmax操作獲得了一個歸一化的Attention權重矩陣，代表句子i中第k個字或詞的權重。最后在得到Attention權重矩陣后，將句子向量看作組成這些字或詞向量的加權求和。計算過程如式(14)～式(16)所示。

uik=tanh(Wwgik+bw)

(14)

(15)

(16)

其中，Ww與bw分別為權重矩陣和偏置矩陣。aik為衡量句子i中第k個字或詞重要性的注意力權重因子。

在求得了Si的表示后，我們用相似的方法可以對句子進行處理，獲得經過雙向GRU后得到對應的隱層句子向量Gi，如式(17)～式(19)所示。

隨后通過引入一個句子級別的上下文向量US用以衡量句子在整個文本中的重要性程度，得到文本總向量V，最后可通過softmax層進行情感分析操作。計算過程如式(20)～式(23)所示。

同上，WS、W2與bS、b2分別為權重矩陣和偏置矩陣。ai為衡量衡量句子i重要性的注意力權重因子。

除此之外，本文訓練的最終目標為最小化損失函數(shù)(負對數(shù)似然函數(shù))，如式(24)所示。

(24)

其中j為文本d相對應的情感類別標簽。

3 實驗分析

3.1 情感傾向性分析數(shù)據(jù)集

本文數(shù)據(jù)集采用國內學者譚松波整理的酒店評論數(shù)據(jù)集，部分評論數(shù)據(jù)格式如表1所示，對原始數(shù)據(jù)集進行整理、欠采樣、合并等操作后，得到正面類別情感評論數(shù)據(jù)與負面類別情感評論數(shù)據(jù)各3 000條共6 000條評論數(shù)據(jù)，在此基礎上進行十折交叉驗證。

表1 酒店評論數(shù)據(jù)集示例

3.2 數(shù)據(jù)預處理與模型參數(shù)

詞向量在深度學習模型中具有十分重要的作用。詞向量的預訓練有助于提高模型準確率[26]。在詞向量的訓練過程中，一些句法與語義方面的信息也能夠被學習到，這在情感分析的過程中十分重要。本文運用word2vec工具[27]，計算詞語的向量形式表示，從而進行基于無監(jiān)督方法的詞向量學習。為了預先訓練好中文詞向量，本文使用大規(guī)模中文維基百科數(shù)據(jù)訓練skip-gram模型。中文詞向量的維度設置為300維。以中文字符作為初始化詞向量進行訓練時，針對句子中的每一個字，為其訓練一個詞向量放入字典中。以單個字符作為句子層面的基本單位。以詞語作為初始化詞向量訓練時，操作過程同上，但需要使用Jieba分詞工具對文本進行分詞，以分詞之后的詞語做為句子層面的基本單位。在word2vec模型的訓練過程中，指定訓練字符的最小出現(xiàn)次數(shù)為5，將出現(xiàn)次數(shù)超過5次的字加入字典中，對于沒有在字典中出現(xiàn)的字符，隨機初始化其向量形式表示。在句子層面，本文選取逗號、句號、感嘆號和問號作為句子間的分隔符進行句子切割。設置最大句子長度為50，小于該值時，對句子進行補零操作。大于該值時，進行截斷操作。設置文本中最大句子數(shù)目為20，預處理時同樣進行補零和截斷。

本文實驗基于Keras深度學習框架[28]。從整體模型架構看，我們使用了一個卷積層。字/詞級別注意力層使用一個雙向GRU層，在句子級別注意力層同樣使用一個雙向GRU層。對于卷積層，本文嘗試分別使用卷積窗口大小為2、3、4及其組合的卷積方式。根據(jù)模型表現(xiàn)最終選取單一窗口大小為3的卷積核，卷積核單元數(shù)量設置為300，采用“same”卷積模式；對于雙向GRU層，將其維度設置為300，對上下文向量進行隨機初始化。

在模型訓練方面，對亂序的微批次樣本采用隨機梯度下降，批量大小設置為32。訓練過程中采用Adam[29]更新規(guī)則，初始化學習率為0.001，防止過擬合的dropout參數(shù)設置為0.2，采用準確率指標對模型表現(xiàn)進行評估。訓練過程中對詞向量進行微調。

3.3 對比實驗與結果分析

本文運用多個模型在此數(shù)據(jù)集上進行了對比實驗并分析實驗結果。因超參數(shù)選取和具體任務密切相關，故本文參考原論文設置對比試驗的參數(shù)，以使模型準確率達到最高。所有對比試驗的深度學習模型中詞向量均進行微調。實驗結果如表2所示。對每個實驗的具體說明如下。

表2 模型準確率對比

Fasttext[30]：Fasttext是Facebook開源的文本分類工具。本實驗中，將模型學習率設為0.1，詞向量維度選為300。

SVM-word：抽取word2vec訓練出的詞級別詞向量作為輸入，使用SVM模型進行詞級別情感分類，采用線性核。在數(shù)據(jù)集上進行十折交叉驗證。

CNN-word[13]：詞級別單層卷積神經網絡模型。使用word2vec訓練出的詞級別詞向量進行試驗。卷積核相關超參數(shù)設置與本文相同。

RCNN-word[18]：結合雙向LSTM與CNN的模型。使用word2vec訓練出的詞級別詞向量進行試驗。超參數(shù)設置與原論文相同。

HAN-word[20]：層次化注意力機制模型。使用word2vec訓練出的詞級別詞向量進行試驗。超參數(shù)設置與原論文相同。

C-HAN-word：本文模型。使用word2vec訓練出的詞級別詞向量進行試驗。

SVM-character：抽取word2vec訓練出的字級別詞向量作為輸入，用SVM模型分類進行字級別情感分類，使用線性核。在數(shù)據(jù)集上進行十折交叉驗證。

CNN-character[13]：字級別單層卷積神經網絡模型。利用word2vec中文字級別詞向量進行實驗。卷積核相關超參數(shù)設置與本文相同。

RCNN-character[18]：結合雙向LSTM與CNN的模型。利用word2vec中文字級別詞向量進行實驗。超參數(shù)設置與原論文相同。

HAN-character[20]：層次化注意力機制模型。利用word2vec中文字級別詞向量進行實驗。超參數(shù)設置與原論文相同。

C-HAN-character：本文模型。利用word2vec中文字級別詞向量進行實驗。

3.3.1 模型準確率分析

由表2可知，F(xiàn)asttext模型的分類準確率(83.67%)高于SVM模型(80.68%)。在中文情感分析任務中取得了較好的分類效果，證明了Fasttext的優(yōu)良性能。因其模型簡單，擁有極快的訓練測試速度，在數(shù)據(jù)量龐大的情況下，可作為基線模型使用。此外，對比傳統(tǒng)的機器學習方法SVM(80.68%、81.36%)，基于神經網絡的深度學習方法(CNN等)對分類結果準確率的提升效果顯著。準確率可以達到90%左右，近乎提升了10%，證明深度學習方法在中文文本情感分析任務中是更有效的。

對幾種深度學習方法進行比較分析，在詞級別層面，CNN(89.14%)、RCNN(89.67%)、HAN(91.32%)的準確率依次上升；在字級別層面，RCNN(90.88%)的準確率相較CNN(90.98%)略有下降但相差無幾。而HAN(91.93%)模型準確率仍能達到將近92%，這表明注意力機制選擇性關注特定目標的優(yōu)勢，在情感傾向性判定中能夠得到充分體現(xiàn)。同時，以上結果也表明對于深度學習模型，多種不同類型模型的融合能夠帶來情感分類準確率的提高。觀察準確率，本文模型(C-HAN)在詞級別(91.96%)與字級別(92.34%)的準確率相較于之前幾種方法均有不同程度的提高，且模型綜合表現(xiàn)優(yōu)于HAN模型。原因在于C-HAN充分考率到了卷積神經網絡、循環(huán)神經網絡和注意力機制各自的優(yōu)點。相較于缺乏注意力機制的模型(如RCNN)，C-HAN引入了層次化注意力機制，使得模型學習過程中只關注有效的信息，降低了噪音影響；而針對缺乏卷積層的模型(如HAN)，C-HAN引入了卷積層并加入位置向量編碼，使得模型學習詞向量時能夠學習到更加準確且豐富的詞向量信息，從而有效提升中文文本情感分類的準確率。

3.3.2 字級別與詞級別比較分析

本文在SVM、CNN、RCNN與HAN模型上分別進行了字級別與詞級別的對比實驗。從實驗結果可看出：使用字級別詞向量后，模型表現(xiàn)會優(yōu)于詞級別詞向量。原因在于字級別向量特征的粒度更小，在模型訓練時，學習到的文本特征更為具體。這一點可以通過對比分析word2vec訓練過后的詞向量與字向量得證。表3給出了詞語間的詞級別詞向量余弦相似度和字級別詞向量相加得到的詞級別詞向量的余弦相似度。

表3 詞向量余弦相似度

由以上三個例子可以看出，經word2vec訓練過后的字級別詞向量相加得到的詞級別詞向量余弦相似度要高于經word2vec訓練過后的詞級別詞向量余弦相似度。當然，在實驗過程中我們發(fā)現(xiàn)也有少數(shù)詞語組合不符合上述情況。例如，“君悅”是一個酒店品牌，其和“酒店”間的相似度為0.647，然而分割開來后的相似度為0.523。這種情況出現(xiàn)的原因是因為訓練語料中關于“君悅”的內容少，所以字級別詞向量沒有較好地學習到相關信息。

3.3.3 卷積層分析

值得注意的是，與HAN相比，本文中卷積層的加入使得層次化注意力機制模型的分類效果提升。原因在于：傳統(tǒng)分詞技術并不是絕對有效的，有時會出現(xiàn)帶有歧義的切分，導致切分無法體現(xiàn)句子的正確語義。而在將字級別向量作為輸入，通過卷積層操作后，可以學習到相當于N-gram的信息與字符間的抽象聯(lián)系。

舉例來說，“果然是一家高大上酒店”。在這句話中，用傳統(tǒng)的中文分詞技術會將其切分為“高大/上/酒店”或是“高大/上酒/店”。這些切分都無法讓模型學習到句子的正確語義信息，后一種甚至將“酒店”這一關鍵詞錯誤切分。而以單個漢字字符為單位輸入時，通過卷積層設置，譬如設置卷積窗口大小為3，就可以學習到“高大上”這樣的正確語義。此外，語料中出現(xiàn)的一些地名、酒店名的出現(xiàn)亦會導致分詞出錯，通過以字符為單位增加并行化卷積層操作，可以學習到正確的局部語義信息。

3.3.4 注意力可視化

為了更加直觀地展示模型效果，本文在實驗時運用matplotlib庫分別從句子級別和字符級別對注意力權重分配進行可視化展示。分別選取一段短文本與一段長文本進行試驗。

文本一：非常糟糕的一個酒店，所有的東西都言過其實。我是看了網上的評論才會考慮入住這個酒店的。

文本二：這個酒店以前講來還是經濟實惠，我三月份來這住，服務員服務還不錯。今天就不好，來前臺登記說酒店系統(tǒng)升級沒有之前的資料了，要重新登記，空調嗡嗡響，修了一次又一次，我去找?guī)状?，前臺小姐說：不是修好了嗎？態(tài)度不好。我也算老顧客了，太差了。房間裝修的白灰袋還在房角堆放，明天就換，下次我不會再住了。

對于文本一，將其以逗號和句號劃分，可以分為3個子句。繪制句子級別注意力權重熱力如圖5(a)所示。圖中灰度值越大表示注意力分配權重越高。

圖5 文本一注意力權重圖

不難看出，第一個句子對評論文本的情感傾向影響較大，第二句次之，第三句最小。進一步地，對影響力最大的句子即第一句繪制字符級別注意力權重熱力圖如圖5(b)所示。

第一個子句中含有9個中文漢字，從圖中可以看出模型對第三、四、五個字符分配了較高的權重，對應文本中的“糟”“糕”“的”三個漢字。

對于文本二，將其以逗號、句號和問號劃分可以分為16個子句。繪制句子級別注意力權重熱力圖如圖6所示。

圖6 文本二句子級別注意力權重圖

由圖6可知，本文模型尋找到的對文本情感傾向性影響力較大的句子分別為第四句、第十一句、第十三句和最后一句，對它們分別繪制字符級別注意力權重熱力圖，如圖7所示。

圖7 文本二子句字符級別注意力權重圖

由圖7可知，“就”、“不”、“好”三個漢字在第四句中所占權重較高。同理，對其余三句話分析亦能得出相應分配權重高的漢字。

在兩段文本上進行的可視化實驗結果表明：本文模型能夠找出對情感傾向分析最大的句子，同時亦能在句子中找出對結果影響較大的漢字。特別是在處理文本二這種帶有轉折的文本時，模型亦有良好表現(xiàn)。具體體現(xiàn)在：文本二中前3句話情感傾向是偏積極的，而文本的總情感傾向卻是消極的。本文模型能夠做到忽略類似于前3句話這樣偏離文本總情感傾向的句子，找到對文本總體情感傾向結果影響大的句子。

4 總結與展望

本文結合卷積神經網絡、循環(huán)神經網絡與注意力機制，構建了一種新的層次化中文文本情感傾向性分析模型。其中，卷積神經網絡能夠抓取到字符或詞語間的抽象關系，循環(huán)神經網絡能夠找到語句上下文間的關系，而注意力機制能夠有效識別對判定情感傾向有用的隱含信息。實驗證明，模型準確率達到了92.34%，優(yōu)于SVM和其他深度學習模型，層次化注意力機制的引入是有效的。此外，本文通過模型在中文文本情感傾向性分析數(shù)據(jù)集上的表現(xiàn)，證明了對于中文語料，使用字級別詞向量作為原始特征會優(yōu)于使用詞級別的詞向量作為原始特征。今后，在本文基礎上探尋基于樹結構等不同形式卷積神經網絡對模型的影響，以及嘗試更多注意力模型結構的引入，優(yōu)化文本情感分析模型，會成為進一步研究的方向。