結合卷積神經(jīng)網(wǎng)絡和詞語情感序列特征的中文情感分析

陳釗，徐睿峰，桂林，陸勤

（1.哈爾濱工業(yè)大學深圳研究生院計算機科學與技術學院，廣東深圳518000；2.香港理工大學 電子計算學系，香港特別行政區(qū)）

1 引言

互聯(lián)網(wǎng)相關技術的飛速發(fā)展帶來人們日常生活的悄然改變。用戶通過微博等自媒體在社交網(wǎng)絡中表達自己的觀點，在電子商務平臺對網(wǎng)購的產(chǎn)品進行評價等行為已經(jīng)成為了日常生活中的一部分。如何利用機器學習、自然語言處理技術對此類文本進行分析，獲得其中的觀點傾向性、情感極性，成為了人工智能領域的一個重要研究問題［1］。

傳統(tǒng)的情感分析技術大體可以分為基于規(guī)則的方法和基于統(tǒng)計的方法?；谝?guī)則的方法主要從語言學角度出發(fā)，利用語言專家的人工知識編寫詞典和模板，對文本中的情感傾向性進行分析［2］?；诮y(tǒng)計的方法，則從機器學習的角度出發(fā)，利用人工標注的訓練語料，進行特征提取和統(tǒng)計模型構建，自動化地實現(xiàn)情感極性的判斷［3］。在文本情感分析發(fā)展的十余年中，兩類方法相互滲透，使得情感分析技術向著更高的水平邁進。在這個過程中，研究人員們積累了大量的資源、工具、算法與模型。

近年來，隨著深度學習相關技術的發(fā)展，研究人員利用基于深度神經(jīng)網(wǎng)絡的相關技術對文本中的情感進行分析。例如，利用構建在句法分析樹上的循環(huán)神經(jīng)網(wǎng)絡對電影評論文本進行五個級別的情感極性判別［4］，以及利用卷積神經(jīng)網(wǎng)絡進行情感分析［5］等。部分研究人員認為此類方法是模擬人類神經(jīng)元的工作方法，對文本進行了情感的理解。而另一部分研究人員則認為此類方法是在特征層面更好地構建了模型。不論是哪一種觀點，基于深度神經(jīng)網(wǎng)絡的方法是一種自動化的情感分析方法，并且由于其模型參數(shù)規(guī)模大，對于特征空間的構建與搜索、模型的建立等都更為精細，性能上也體現(xiàn)了相比于以往方法的優(yōu)越性。但這類方法忽略了對現(xiàn)有積累的大量情感資源，包括已有的規(guī)則、已有的情感詞典、知識庫等的有效利用。如何融合深度神經(jīng)網(wǎng)絡和現(xiàn)有情感計算資源，則是一個有待解決的問題。

為此，本文提出一種結合卷積神經(jīng)網(wǎng)絡和情感計算資源的中文文本情感分析方法，采用基于詞典資源的抽象表達方式來描述每個詞語的基本屬性特征，將詞語的情感極性和詞性特征應用到文本的特征表示。然后利用卷積神經(jīng)網(wǎng)絡提取與文本情感表達相關的序列特征作為文本的特征向量用于情感分類。在中文傾向性分析評測Chinese Opinion Analysis Evaluation（COAE2014）數(shù)據(jù)集的實驗顯示本文提出的方法取得了比目前主流的卷積神經(jīng)網(wǎng)絡（Convolutional Neural Network，CNN）以及樸素貝葉斯支持向量機（Na?ve Bayes Support Vector Machines，NBSVM）更好的性能，顯示了本文提出思路的有效性。

本文的內容組織結構如下：第二節(jié)介紹情感分析以及深度學習的相關工作，第三節(jié)主要介紹本文提出的情感分析方法，第四節(jié)將通過兩組實驗評估本文方法的有效性，第五節(jié)將對本文的主要貢獻做出梳理和總結。

2 相關工作

文本情感分析技術主要通過分析文本內容來判斷文本所表達的情感傾向。這一技術在產(chǎn)品評價分析、輿情監(jiān)控等方面具有較廣泛的應用。

情感分析技術大體可以分為基于規(guī)則的方法和基于統(tǒng)計的方法。其中基于情感詞典資源的有監(jiān)督機器學習方法是目前的研究熱點。這類方法主要基于有監(jiān)督的機器學習方法，如支持向量機（SVMs，Support Vector Machines）、樸素貝葉斯（NB，Na?ve Bayes）、最大熵（ME，Maxinum Entropy）。通過結合文本特征，包括一元詞特征（uni－gram）、二元詞特征（bigram）、詞性特征、情感詞特征等，將文本映射為特征向量，用于模型的訓練和分類預測。Sida Wang［6］等人采用樸素貝葉斯和支持向量機相結合的方法，在多個公開數(shù)據(jù)集上取得了不錯的效果。Bollegala［7］等人利用不同領域情感表達方式的共性來構建領域相關的情感詞典，擴充文本特征，以此提高跨領域情感分類的效果。謝麗星［8］等人針對中文微博的文本特征，提出了基于層次結構的多策略中文微博情感分析和特征抽取方法。

在自然語言處理領域，詞作為文本的基本組成單元，One－h(huán)ot Representation成為詞語最常用的一種表達方式。但是該方法忽略了詞與詞之間的上下文語義與語法關系，也無法提供詞本身所攜帶的信息。Bengio［9］等在2003年提出用神經(jīng)網(wǎng)絡構建二元語言模型的方法，把詞映射到低維實數(shù)向量，通過詞與詞之間的距離來判斷它們之間的語義相似度。Andriy Mnih［10］等人提出層次Log－Bilinear模型來訓練語言模型。Mikolov［11－12］借鑒Log－Bilinear模型的思想，在word2vec中實現(xiàn)了CBOW和Skipgram兩種語言模型。隨后，詞嵌入（也稱詞向量）被應用自然語言處理的多個領域。Socher［13］等人提出基于詞向量的遞歸神經(jīng)網(wǎng)絡，實現(xiàn)對文本的向量表示，并在情感分析方面取得不錯的效果。Johnson［14］提出基于One－h(huán)ot Representation的詞表達方式的卷積神經(jīng)網(wǎng)絡模型，顯示了詞序特征在文本分類上的有效性。上述基于詞向量的深度學習模型主要利用了詞的上下文語義信息和語法結構特征，而在情感分析任務中，詞語極性和詞性等詞語本身所具有的特征信息直接影響文本的情感表達。Maas［15］利用訓練語料的情感標注信息，提出了有監(jiān)督學習和無監(jiān)督學習相結合的語言模型。Tang［16］提出一種嵌入情感信息的語言模型，在Twitter情感分類任務中取得最好成績。Faruqiu［17］則采用后處理的方式，實現(xiàn)在任意詞向量上嵌入具有網(wǎng)絡結構的語義詞典。

目前的相關工作中，基于人工規(guī)則和詞典資源的特征抽取方法往往依賴于特定領域或特定語料，而且文本特征維度隨人工規(guī)則和詞典資源的增加而線性增長，不僅增加了模型的訓練成本，還降低了模型的泛化能力。

3 基于卷積神經(jīng)網(wǎng)絡的詞語情感序列特征抽取模型

為了實現(xiàn)文本情感特征信息的有效挖掘和表達，本文提出了一種結合詞語情感特征的卷積神經(jīng)網(wǎng)絡（Word Feature Convolutional Neural Networks，WFCNN）方法。這一方法首先建立一種基于情感詞典資源的抽象詞向量表達方式，通過該方法引入詞語的情感極性和詞性特征。然后用詞向量組成文本特征矩陣，將其作為卷積神經(jīng)網(wǎng)絡模型的輸入，并利用反向傳播算法訓練模型。最后，提取WFCNN模型產(chǎn)生的序列特征，將其作為輸入文本的情感特征表示，加入到支持向量機SVMs分類器，實現(xiàn)對文本的情感極性分類。

3.1 基于詞典的詞語抽象表示方法

網(wǎng)絡文本，如微博、產(chǎn)品評論，由于受到文本長度限制，內容往往較為精簡，偏向于口語化，整體情感較為單一，因此文本中的相關情感表達序列片段往往代表著文本的情感傾向。例如，“太逗了！看到蒙牛笑噴了”其中“太逗了”和“笑噴了”代表了整句的情感傾向。又如“所以我都不喝蒙牛，一直不喜歡蒙牛?！?，文本中的“不喜歡”表達了負面情緒。在對上述文本的傾向性進行識別時，若能提取與情感表達相關的序列片段，將有助于準確地判斷文本的情感極性?；谏鲜鰧ξ谋厩楦斜磉_序列規(guī)則的觀察，本文提出了利用詞典資源構建詞向量的方法。不同于word2vec等實數(shù)向量的表示方式，本文利用詞語本身具有的屬性特征來構建詞向量。

本文采用表1所示的詞語特征。

本文把每一個詞語映射到一個k維0，1向量空間，即x∈?k，其中k代表詞語本身具有的特征個數(shù)，每一維度的數(shù)值用0或1表示，0表示不具有該特征，1表示具有該特征。對于給定的句子，它包含n個詞xi，1≤i≤n，構成一個n×k的特征矩陣。本文將句子中第i個詞到第j個詞組成的短語片段記為。同理，包含n個詞的句子記做。

表1 情感分類采用的詞語特征

3.2 基于詞向量的卷積神經(jīng)網(wǎng)絡模型

卷積神經(jīng)網(wǎng)絡是一種前饋神經(jīng)網(wǎng)絡，由卷積層和下采樣層疊加組合而成。每一層的輸出是下一層的輸入。卷積層作為特征提取層，通過濾波器提取局部特征，經(jīng)過卷積核函數(shù)運算產(chǎn)生特征圖，輸出到下采樣層。下采樣層屬于特征映射層，對卷積層產(chǎn)生的特征圖進行采樣，輸出局部最優(yōu)特征。本文在Kim［5］的卷積神經(jīng)網(wǎng)絡模型的基礎上，引入了本文提出的基于詞典資源的詞向量表示方法。圖1為本文采用的卷積神經(jīng)網(wǎng)絡模型。

本文利用大小為h×k的濾波器對輸入特征矩陣進行卷積操作，即：

其中，ci代表特征圖中第i個特征值，f（·）為卷積核函數(shù)，w∈?hk為濾波器，h為滑動窗口大小，b為偏置值。Xi：i＋h－1表示由第i行到第i＋h－1行組成的局部特征矩陣。因此，特征圖C為：

下采樣層采用Gollobert［18］提出的max－overtime pooling方法進行特征采樣，得到的特征值為c＾：

卷積層和下采樣層組成WFCNN模型的特征提取層，WFCNN由多個不同類型的特征提取層（h取不同的值）并列組成，其中每種類型的特征提取層各m個，因此全連接層的特征向量V為：

圖1 本文提出的WFCNN模型結構

其中c＾l，hj為第j種類型的濾波器產(chǎn)生的第l個特征值。期望通過這樣的網(wǎng)絡結構，可以在本文提出的基于詞語特征表示的基礎上，進一步提取出與正負面情感標簽相關的詞語序列特征用于最終的情感分類。

下采樣層輸出的特征向量作為全連接層的輸入，然后利用Softmax輸出分類結果，并根據(jù)訓練數(shù)據(jù)的實際分類標簽，采用反向傳播算法對模型參數(shù)進行梯度更新。即：

最后，利用訓練好的WFCNN模型，將文本特征矩陣轉為特征向量V，并用SVMs分類器進行模型訓練和分類。

3.3 詞語序列特征融合方法

本文提出的WFCNN模型在對文本特征矩陣進行特征提取后，輸出文本的特征向量V。特征向量V可以作為其他模型的附加特征，為其他模型提供一種嵌入文本情感傾向性特征的簡單高效的方法。假設為增加文本情感傾向性特征后的特征向量，Voriginal模型原始特征向量，則：

其中⊕為向量拼接操作。

在本文提出的計算體系下，可以對文本中每一個詞語進行抽象，選擇離散特征來表示其可能的情感極性以及其他可能對情感極性造成反轉或增強的屬性。在此基礎上，通過卷積神經(jīng)網(wǎng)絡的卷積運算，在抽象出的詞語屬性序列上，進行基于卷積操作的特征提取。通過這一運算，獲得在抽象屬性基礎上的序列特征。例如，“否定詞＋負面極性詞＝正面極性”這一規(guī)則，可以結合序列特征和文本分類標簽，通過卷積運算獲得。

因此，本文提出的相關方法所抽取的特征，具有很好的可理解性。在此基礎上，可以將本文的相關方法與傳統(tǒng)的規(guī)則方法通過添加規(guī)則集的方式進行融合，也可以利用本文的相關方法和傳統(tǒng)的特征工程方法進行特征層面的融合。

4 實驗結果

在2014年中文觀點傾向性分析評測（Chinese Opinion Analysis Evaluation，COAE2014）微博數(shù)據(jù)集上，對本文提出方法有效性進行評估。COAE2014微博數(shù)據(jù)集分為訓練數(shù)據(jù)集和測試數(shù)據(jù)集。訓練數(shù)據(jù)來自同一個話題，總共2 174條，其中有1 003條帶有正面情緒，1 171條帶有負面情緒。測試數(shù)據(jù)分別選自手機、保險、翡翠三個不同話題，總共7 000條，其中帶有正面情感的有3 776條，帶有負面情感的有3 224條。

本文設計了兩組實驗來驗證本文提出方法的有效性。實驗一，對比本文提出的WFCNN模型與Kim提出的基于word2vec訓練的詞向量的CNN模型（標記為W2VCNN）以及Sida Wang提出的NBSVM①http：／／nlp.stanford.edu／～sidaw／home／projects：nbsvm模型的性能。實驗二，將本文方法提取的情感序列特征添加到W2VCNN模型和NBSVM模型中驗證本文方法在提取文本情感特征上的有效性。

4.1 實驗數(shù)據(jù)預處理與模型參數(shù)設置

本實驗使用的詞典資源由Hownet情感詞典和大連理工大學細粒度情感詞典構成。在數(shù)據(jù)預處理方面，利用ICTCLAS②http：／／ictclas.nlpir.org／分詞工具對實驗數(shù)據(jù)集進行分詞和詞性標注。詞向量采用Google開源的word2vec③http：／／word2vec.googlecode.com／svn／trunk／的Skip－gram模型，利用2 000萬條微博語料訓練產(chǎn)生。詞向量維度為50維，包含33萬個詞匯，在實驗數(shù)據(jù)集上的詞匯覆蓋率為90.08%。對于卷積神經(jīng)網(wǎng)絡模型，本文統(tǒng)一采用表2所示的卷積神經(jīng)網(wǎng)絡模型可調參數(shù)設置。在模型訓練階段，采用Zeiler［19］提出的Adadelta Update Rule進行隨機梯度下降更新模型參數(shù)。

表2 卷積神經(jīng)網(wǎng)絡參數(shù)設置

在NBSVM模型中，本文采用Unigram和Bigram語言模型構建文本特征向量。

4.2 模型對比實驗

第一組實驗對比本文提出的WFCNN模型與其他已有模型的性能。表3列出了在COAE2014數(shù)據(jù)集上實驗的對比結果。

表3 三種模型的情感分類性能對比（COAE 2014數(shù)據(jù)集）

從表3的實驗結果可以看出，本文提出的WFCNN模型與基于word2vec的詞向量的W2VCNN在性能上有一定的差距。但是WFCNN模型以低維度的詞語特征構造特征輸入，相比于50維乃至上百維的詞向量，降低了模型的復雜度和減少了模型參數(shù)，加快了模型訓練速度，同時保證了良好的性能。WFCNN模型基于詞典資源，提取表達文本情感傾向性的通用規(guī)則序列，具有較強的模型泛化能力。與傳統(tǒng)的基于領域知識的NBSVM相比，WFCNN不僅在模型訓練上具有優(yōu)勢，而且在性能上也具有較大的優(yōu)勢。從表3的實驗結果可知，在正面情緒識別的F－Score上，WFCNN比NBSVM高出1.68%，而負面情緒識別的F－Score，WFCNN比NBSVM高出6.56%。

4.3 特征融合實驗對比

第二個實驗為了驗證本文提出的WFCNN模型在提取文本情感傾向性特征序列上的有效性，將WFCNN模型生成的文本特征向量分別與W2VCNN模型和NBSVM模型的特征向量進行特征融合，對比特征融合前后的模型性能變化。表4列出了特征融合前后的實驗結果對比。

表4 情感序列特征對情感分類性能影響對比（COAE 2014數(shù)據(jù)集）

通過對模型特征融合前后的實驗對比，可以發(fā)現(xiàn)WFCNN模型產(chǎn)生的文本情感傾向性序列特征能夠有效地提升文本情感分類的效果。對于W2VCNN模型，融合WFCNN模型產(chǎn)生的情感傾向性序列特征后，在正面情緒識別的F－Score上獲得了0.97%的提升，而在負面情緒識別的F－Score上則提升了1.58%。對于基于領域知識的NBSVM模型而言，引入WFCNN模型產(chǎn)生的情感傾向性序列特征之后，分類性能得到極大的提升，在正面和負面情緒識別的F－Score上分別獲得了4.98%和7.51%的提升。

4.4 實驗結果分析

這里通過幾個具體實例來分析WFCNN模型在引入文本情感序列特征上的有效性。表5給出從測試數(shù)據(jù)集合中選取的具有代表性的數(shù)據(jù)機器分類結果。

如表5的樣例數(shù)據(jù)的分類結果所示。對于樣例1“三星的手機有點用不慣啊”，以及樣例2“珠寶是一項很好的投資，特別是翡翠升值空間是房產(chǎn)的n倍”，由于這一類樣例表達比較常見，在訓練集和測試集中都有類似的樣例，三種方法對此類樣例均有一定程度的覆蓋度，所以都做出了正確的情感分類。

表5 測試數(shù)據(jù)實驗結果樣例（COAE 2014數(shù)據(jù)集）

對于樣例3“加入保險是科學管理風險，轉移損失的最佳方式?！币约皹永?“買了保險，就意味著一個麻煩之后會跟著另外的一些麻煩”，由于這類樣例中的情感詞不是單獨起作用，而是通過詞的序列表達出了一定的邏輯關系。基于詞向量的CNN方法，在處理這類樣例時，由于樣例3中大量的負面詞“風險”“損失”等等，而被誤分類為負面。而在本文提出的詞語情感序列模型下，由于“風險”所在的序列為“科學管理風險”，是一個“正面極性詞＋動詞＋負面極性詞”序列；而“一些麻煩”則是作為“量詞＋負面極性詞”序列被判為反例。這類樣本在基于詞向量的CNN中均被錯誤分類，而基于序列特征的CNN可以正確處理。而綜合了此類序列特征之后，基于詞向量的方法可以將之前的錯誤分類糾正。對于樣例5“華為難道就只會技術了？”所有方法均未能正確分類。由于此樣例中出現(xiàn)了反問、諷刺的表達方式，而“會技術”這一關鍵詞無論是基于詞向量的表達，還是基于詞典的表示，均被判為正例。所以這一樣例在三種方法中均未能正確分類。

由此可見，WFCNN模型在處理具有情感詞的文本時，能通過提取包含情感詞的序列特征，如“科學管理風險”、“最佳方式”、“一些麻煩”等，準確地識別文本情感傾向性。而W2VCNN模型由于只利用詞語之間的語法和語義信息的詞向量，無法提取文本中表達情感傾向性的序列特征，因此對文本進行了錯誤的分類。而將WFCNN模型的情感序列特征加入到W2VCNN模型后，模型能夠準確地識別文本的情感傾向性。此外，從測試樣例中可以發(fā)現(xiàn)，無論是WFCNN模型還是W2VCNN模型都無法識別反諷句式的情感傾向性。對于如何識別這類特殊表達句式，也將是我們今后需要研究的一個課題。

5 結論

本文提出了一種基于卷積神經(jīng)網(wǎng)絡的文本情感傾向性序列特征挖掘的算法，通過利用詞語本身固有的特征，將文本映射為低維度的抽象的特征矩陣，在保證文本情感傾向性識別性能的基礎上，降低了卷積神經(jīng)網(wǎng)絡模型的復雜度，加快了模型訓練的速度。此外，本文提出的算法能夠從文本中挖掘表示情感傾向性的序列特征，可以為其他模型提供對情感分類有用的特征信息。

由于本文提出的算法依賴于詞典資源，詞典資源的數(shù)量和質量直接影響到算法的執(zhí)行效果。所以，如何利用卷積神經(jīng)網(wǎng)絡在抽象特征抽取方面的優(yōu)勢去挖掘和擴充詞典資源將是我們下一步需要研究的工作。

［1］ Pang B.，Lee L.，Vaithyanathan S.Thumbs up？：sentiment classification using machine learning techniques［C］／／Proceedings of the ACL.2002：79－86.

［2］ Xu R.F，Wong K.F，Xia Y.Coarse－Fine opinion mining－WIA in NTCIR－7MOAT task［C］／／Proceedings of NTCIR.2008：307－313.

［3］ Tan S.，Zhang J.An empirical study of sentiment analysis for Chinese documents［J］.Expert Systems with Applications，2008，34（4）：2622－2629.

［4］ Socher R.，Perelygin A.，Wu J.Y.，et al.Recursive deep models for semantic compositionality over a sentiment Treebank［C］／／Proceedings of the EMNLP.2013：1631－1642.

［5］ Kim Y.Convolutional neural networks for sentence classification［C］／／Proceedings of the EMNLP.2014：1746－1751.

［6］ Wang S.，Manning C.D Baselines and bigrams：Simple，good sentiment and topic classification［C］／／Proceedings of the ACL.2012：90－94.

［7］ Bollegala D.，Weir D.，Carroll J.Using multiple sources to construct a sentiment sensitive thesaurus for cross－domain sentiment classification［C］／／Proceedings of the ACL.2011：132－141.

［8］ 謝麗星，周明，孫茂松.基于層次結構的多策略中文微博情感分析和特征抽?。跩］.中文信息學報，2012，26（1）：73－83.

［9］ Bengio Y.，Ducharme R.，Vincent P.，et al.A neural probabilistic language model［J］.The Journal of Machine Learning Research，2003，3：1137－1155.

［10］ Mnih A.，Hinton G.E A scalable hierarchical distrib－uted language model［C］／／Proceedings of the NIPS.2009：1081－1088.

［11］ Mikolov T.，Sutskever I.，Chen K.，et al.Distributed representations of words and phrases and their compositionality［C］／／Proceedings of the NIPS.2013：3111－3119.

［12］ Mikolov T.，Chen K.，Corrado G.，et al.Efficient estimation of word representations in vector space［J］.Computing Research Repository，2013：1301，3781

［13］ Socher R.，Pennington J.，Huang E.H，et al.Semisupervised recursive autoencoders for predicting sentiment distributions［C］／／Proceedings of the ACL.2011：151－161.

［14］ Johnson R.，Zhang T.Effective use of word order for text categorization with convolutional neural networks［J］.Computing Research Repository，2014：1412，1058.

［15］ Maas A.L，Daly R.E，Pham P.T，et al.Learning word vectors for sentiment analysis［C］／／Proceedings of the ACL.2011：142－150.

［16］ Tang D.，Wei F.，Yang N.，et al.Learning sentiment－specific word embedding for twitter sentiment classification［C］／／Proceedings of the ACL.2014：1555－1565.

［17］ Faruqui M.，Dodge J.，Jauhar S.K，et al.Retrofitting word vectors to semantic lexicons［J］.Computing Research Repository，2014：1441，4166.

［18］ Collobert R.，Weston J.，Bottou L.，et al.Natural language processing（almost）from scratch［J］.The Journal of Machine Learning Research，2011，12：2493－2537.

［19］ Zeiler M.D ADADELTA：An adaptive learning rate method［J］.Computing Research Repository，2012：1212.5701.