基于觀點袋模型的汽車評論情感極性分類

廖 健，王素格,2，李德玉,2，張 鵬

(1. 山西大學 計算機與信息技術學院，太原 030006；2. 山西大學 計算智能與中文信息處理教育部重點實驗室，太原 030006)

?

基于觀點袋模型的汽車評論情感極性分類

廖 健1，王素格1,2，李德玉1,2，張 鵬1

(1. 山西大學 計算機與信息技術學院，太原 030006；2. 山西大學 計算智能與中文信息處理教育部重點實驗室，太原 030006)

該文針對網絡評論傾向分級問題，提出了一種基于觀點袋模型和語言學規(guī)則的多級情感分類方法。通過分析句子中的詞性搭配關系，設計了12種抽取特征-觀點搭配模式，并對存在問題給出了解決策略。依據漢語用詞特點和詞匯在汽車領域的特殊用法，提出搭配四元組的情感傾向極性值計算方法。在此基礎上，利用獲取的搭配四元組及其情感傾向極性，建立文本的向量化表示，并構造了權重計算公式。最后，利用文本余弦相似度計算方法實現對評論文本的五級情感極性分類。通過在COAE2012任務3的汽車數據集上進行的測試，取得了較好的分類結果。

情感分類；觀點袋模型；詞性搭配

1 引言

隨著互聯網的快速發(fā)展，普通網絡用戶已經從單純的信息接受者逐漸變成信息生產者，各類微博、論壇、電商中存在大量具有評論性和主觀傾向性的文本，例如商品評價、跟帖等。據統(tǒng)計，44%新聞文本包含觀點信息[1]。通過分析商品評論，可以讓普通用戶更容易了解某些產品的主流市場評價，方便用戶做出更正確的消費決定，對商家而言，也能利用這類結果來獲得最直觀的市場反饋，據此做出更有針對性的市場決策。

篇章級文本通常包含了作者的多種觀點，特別是關于產品的評論可能涉及到產品的多個方面，這些方面的傾向性有時并不一致。例如，“路虎的動力強勁，但油耗太大?！保謩e從動力和油耗兩個方面表達了完全相反的情感傾向。因此，綜合考慮產品的各方面的評價觀點是進行篇章級文本的傾向分類研究的基礎。

搭配通常被認為是一種具有任意性和可重復性的詞語組合[2-3]，大量的研究表明，搭配是一種行之有效的文本表示形式[4-5]。Qu等人[6]提出了觀點袋(bag-of-opinions)模型對商品評論自動進行評價極性分類，他們將文本轉化成基準詞(root word)與修飾詞(modifier word)的搭配，并使用嶺回歸(ridge regression)模型對每個觀點詞進行打分，但僅考慮到了否定副詞對情感搭配的反轉作用，沒有考慮到程度副詞對于情感極性的影響。Thet等人[7]使用句法依賴將句子轉換為子句，通過構造一系列規(guī)則計算各子句的情感極性，依照子句歸屬計算各方面極性值，他們據此構造分類器對電影評論文本分類，取得理想的效果。王素格等[8]提出了一種混合語言信息的詞語搭配的傾向判別方法，她們使用詞性匹配模式抽取詞語搭配，總結出了六種搭配模式并確定各自的概率潛在語義模型，以此判別搭配的情感傾向。

第四屆中文傾向性分析評測(COAE2012)[9]首次要求對于篇章的觀點傾向極性進行打分。文獻[10]利用篇章中正負面句子數將文本向量化表示后計算余弦相似度文獻。文獻[11]采用欠采樣集成學習的方法，構建了SVM、樸素貝葉斯、最大熵三種分類器并予以綜合。文獻[12]基于語言學特征，重點關注了篇章中的歸總句對篇章極性的影響。文獻[13]通過建立情感詞典和基于情感文本訓練語料來獲取句子中的情感要素，通過將單一情感要素和復合情感要素匯總計算，作為情感極性判斷的依據。文獻[14-15]均采用建立情感詞典或觀點詞詞典的方法，統(tǒng)計觀點詞的詞頻和極性。其中，文獻[15]以特征-觀點詞對的形式表示文本，但沒有更細致地考慮副詞對極性的加強或減弱作用。同時，對于搭配的情感傾向僅考慮了觀點詞的極性，而沒有對整個搭配進行綜合考量。

本文對汽車領域的評論文本開展研究，利用已有的資源，建立了汽車方面特征詞典和情感詞詞典?？紤]了12種模式的詞語詞性搭配，利用建立的語言學規(guī)則自動對抽取出的搭配四元組進行極性分類，以此將特征值建立文本的向量化表示，并進行五級情感極性分類。

2 汽車評論文本搭配抽取

本文利用詞語搭配模式抽取文本句子中特征、程度、觀點、反轉，以此建立四元組，其中，每個四元組表示一個觀點，這樣可對文本建立觀點袋模型。

2.1觀點袋模型

Qu等人[6]最早提出了觀點袋(bag-of-opinions)模型，該文將文本表示成為(root,modifier,negator)三元組。在此基礎上，本文考慮到漢語的用詞特點以及副詞對觀點傾向的加強或減弱影響，將文本表示為特征-觀點的觀點袋模型，即

其中，opi表示第i個觀點，用特征-觀點搭配四元組表示，fei,cdi,seni,ndi分別為特征詞、程度副詞、情感詞和否定副詞。N表示每篇文本中特征-觀點搭配四元組op的個數。

2.2 12種詞性搭配模式

本文使用中科院ICTCLAS[16]對文本進行分詞，利用文獻[17]中的汽車領域中的特征詞典，對特征詞表進行重新綁定以降低分詞錯誤對結果的影響，并將其詞性標注為fe。在此基礎上，本文依據詞性設計了12種搭配模式。

對于二元搭配，文獻[3]統(tǒng)計結果顯示候選搭配詞一般出現在目標詞后三個詞長度范圍內。本文在此基礎上，將模式進行了擴展，通過實驗考察了詞語之間窗口長度對情感詞語搭配的影響。各搭配模式所對應的詞窗口大小設置，如表1所示。

表1 情感搭配模式與窗口大小

其中，v、a、cd、nd分別表示動詞、形容詞、程度副詞和否定副詞。詞窗口設置以特征詞為基準向前、后各開辟三或五個詞長。

2.3 最小支持度minsup

根據 2.2節(jié)設計的搭配模式，在抽取搭配過程中，對于出現頻率極小的搭配四元組，本文認為其對文檔的情感傾向極性分類的作用不大。主要原因： ①搭配四元組確實是出現次數比較低； ②由于網絡不規(guī)范用語錯誤所致。因此，本文引入了最小支持度minsup對抽取的搭配四元組進行限制。對于搭配四元組opi，最小支持度計算見公式(1)所示。

(1)

2.4 模式存在的問題與解決策略

在抽取搭配四元組時，有時會遇到模式沖突和情感詞并列的問題。針對這些情況，給出如下解決策略。

(1) 模式沖突

① 對于v+fe、a+fe、fe+a、fe+v四種不含副詞的搭配模式，有時會出現與帶有副詞的搭配模式出現交集的情形。例如： “發(fā)動機非常好”按照模式fe+a可以抽出(發(fā)動機，null，好，null)，而按照fe+nd+cd+a則會得到(發(fā)動機，非常，好，null)。

策略1： 當同一子句中出現特征詞與情感詞相同的短搭配和長搭配時，舍去短搭配。

② 對于同一句子中同一個特征詞fe依表1中E+F和F+E類型均能抽取出搭配四元組。

策略2: 在保留最長搭配的前提下，使用公式(2)計算op中特征與情感詞對(fe,sen)的互信息值，取互信息值最大的搭配作為該句子的抽取搭配四元組。

(2)

其中，p(fe,sen)和p(sen,fe)表示op中特征詞與情感詞對(fe,sen)和(sen,fe)同現的概率，p(fe)表示特征fe出現的概率，p(sen)表示情感詞sen出現的概率。

(2) 模式中情感詞并列

在漢語中，頓號“、”和“，”以及“和”，用于并列連用的單字、詞語[18]。

策略3： 當多個特征詞存在并列關系且搭配同一情感詞，或是多個并列情感詞均修飾同一特征時，分別抽取所有的特征與情感詞搭配，而不受詞窗口長度限制。例如： “駕駛很輕盈、很舒適”可以得到兩個搭配四元組(駕駛，很，輕盈，null)和(駕駛，很，舒適，null)。

3 搭配傾向與情感分類

本文參考漢語詞語搭配的特點，結合汽車領域內的特有形式，構造了一系列規(guī)則計算搭配四元組的情感極性值，以此計算特征權重將文本向量化表示，并進行情感極性分類。

3.1 建立情感詞典與副詞詞典

本文通過構建情感詞詞典和副詞詞典為搭配四元組中的情感詞和副詞提供傾向極性，以便進行搭配四元組的自動情感傾向極性分類。

本文收集了漢語中常用的程度副詞cd以及否定副詞nd，建立了副詞詞典，共計196個。詞典的構成如表2所示。

表2 副詞詞典

對于情感詞詞典，本文將山西大學中文評價詞詞表和大連理工大學信息檢索研究室的情感詞匯本體[19]合并建立情感詞詞典。詞典規(guī)模如表3所示。

表3 情感詞詞典構成

3.2 搭配四元組的情感傾向極性

3.2.1 特征詞與情感詞分類

本文使用文獻[17]中的汽車領域特征詞作為本文的特征詞典。并對其進行如下處理。

(1) 特征詞分類

在漢語中，有些詞帶有明顯的情感傾向，而有些詞語盡管本身是中性的，但在特定的語境中搭配上帶有情感傾向或中性的其他詞語時，亦可表現出情感傾向[3]。我們分析了漢語用詞特點，并考慮了汽車領域的一些特殊用法，本文使用的特征詞分類如表4所示。

表4 各類型特征詞集的規(guī)模

(2) 情感詞分類

對于一些描述物體的物理性質的中性情感詞，雖然其本身并不具備情感傾向，但與不同的特征詞搭配會出現截然不同的情感傾向。本文選取了文獻[20]中歸納的部分中性形容詞，將最常見的12種中性詞單獨列出處理，即描述物體的體積、面積、長度、質量、數量等物理性質的，表達“大”、“小”、“高”、“低”、“長”、“短”、“軟”、“硬”、“輕”、“重”、“多”、“少”這12種概念的詞語，并擴展加入了這些形容詞的比較級和最高級形式。對這12種中性詞，再將其分為四類，如表5所示。

表5 各類型情感詞集的規(guī)模及其情感極性值

3.2.2 搭配四元組的情感傾向計算

為了計算搭配四元組op的情感極性值，假設s(op)，s(cd)，s(nd)，s(sen)分別表示搭配四元組op、程度副詞cd、否定副詞nd以及情感詞sen的情感極性值，當程度副詞或否定副詞出現缺省時，極性值默認值為1。對于特征詞和情感詞的不同類別，分三種情況計算搭配四元組op的情感極性值。

① 若op中的fe∈Sr且sen∈Snp1∨sen∈Snp2∨sen∈Snn1∨sen∈Snn2，則

這類特征詞可與“大”、“高”等概念的中性情感詞搭配時具有極性反轉作用，例如，

s(油耗，很，高，null)=-1×s(很)×s(null)×s(高)= -1×2×1×1= -2；

② 若op中的fe∈Sd且sen∈Snp1∨sen∈Snp2∨sen∈Snn1∨sen∈Snn2，則

這類特征詞的出現通常意味著貶義傾向，且同樣對表示“大”、“高”等概念的中性情感詞具有反轉作用，例如，

s(側傾，非常，大，null)=-1×(1+s(非常) ×s(null) ×s(大))=-1×(1+(2×1)×1)=-3；

③ 若op不滿足①和②的條件時，則

這類搭配四元組的情感極性主要由情感詞sen和副詞搭配決定，例如，

s(內飾，null，漂亮，不)=s(null)×s(不)×s(漂亮)= 1×-1×1= -1。

對于搭配四元組op，為了使最終情感極性值滿足s*(op)∈{-2,-1,0,1,2}，我們使用公式(3)對s(op)進行修正。

(3)

3.3 文本情感極性分類過程

(1) 文本表示

通常的文本分類問題將文本表示成特征為分量的向量空間模型。對于第i篇文本Di向量化表示為：

N表示特征詞總數，這里wik表示第i篇文本的第k個特征feik的權重。當一個特征feik存在多個搭配時，采用各搭配的情感極性值的算術平均值作為feik的情感極性值。其權重wik計算見公式(4)。

(4)

(2) 缺省值的補充

當有些特征在某些篇章中缺失時，說明作者并未對該特征發(fā)表自己的看法，因此，不能簡單將其傾向極性賦為0值。本文依據訓練集中其他文檔的對應傾向極性，將同一極性值下的所有文檔用于對這類缺失特征值進行補充。

當s(feik)=0時，使用如下公式(5)～(7)對其進行缺省值補充。

(5)

(6)

(7)

對于測試集中的文本極性值為0的特征項，使用測試集中全部文檔的該特征項非0項的均值作為該特征極性值的補充。

(3) 文本相似度計算

為了對文本進行情感極性分類，本文使用了文本相似度方法。對于訓練集中第c類文檔集的類中心的第k個特征詞feck，其權重計算見公式(8)。

(8)

利用公式(8)，得到第c類中心文檔如下：

(9)

其中，wik表示第i篇文檔的第k個特征的權重。

4 實驗結果及分析

4.1 實驗數據與評價指標

本文使用COAE2012任務3的汽車語料作為實驗數據，共計8 000篇。其中，訓練集3 000篇，測試集5 000篇。分析發(fā)現，評測數據存在較嚴重的不平衡性，訓練集和測試集中中性文檔即極性值為3的文檔分別占總體的71.8%和72.96%。實驗過程中我們也發(fā)現，數據的這種不平衡性將對結果產生一定負面的影響。

本文使用COAE2012任務3使用的兩個指標進行結果評價： 精確率(accuracy)以及平均均方錯誤率(Mean Square Error，MSE)。accuracy和MSE的計算方法如公式(10)及(11)所示。

(10)

(11)

公式(10)中，accuracy為分類正確的文檔數與測試集文檔總數的比值。公式(11)中，N表示測試樣本總數，i表示樣本編號，answeri表示答案中的每個樣本的打分，resulti為提交系統(tǒng)的答案中每個樣本的打分。

4.2 實驗結果及分析

對于文本情感極性分類，按照3.3節(jié)文本情感極性分類過程，我們進行了如下實驗。

實驗1： 最小支持度閾值確定

本實驗利用第2.2節(jié)設計的搭配四元組抽取模式，以及第2.3節(jié)構造的最小支持度minsup，選取了minsup在[5.0E-4，4.5E-3]之間跨度為2.0E-4的21個值分別對測試集文本進行情感搭配抽取并進行文檔傾向極性分類，實驗結果見圖1、2。

(1) 圖1隨著minsup的增加，抽取的搭配四元組越來越少，minsup的取值與抽取出的搭配四元組數目成反比。當在minsup≤5.0E-4時與不引入minsup進行限制相比較，抽取出的搭配數完全一致，

圖1 minsup的不同取值對搭配抽取的影響

圖2 極性分類實驗結果

因此本文以5.0E-4作為minsup起始取值。而當minsup值大于0.002 7時，抽取出的搭配四元組已不足5 000個，對部分文檔而言，搭配四元組已無法刻畫其整體情感極性傾向。

(2) 圖2是在minsup取不同值下抽取的21組搭配集合，分別對文檔進行情感極性分類的結果。在minsup=0.000 9時，情感極性分類達到最佳效果。當minsup取值過小時，抽取的搭配四元組包含大量無用或者無意義的搭配四元組，對準確刻畫文檔情感傾向產生了干擾效果。當minsup大于 0.002 7 后，由搭配四元組刻畫的文檔的情感傾向將隨著minsup的增大趨向于中性即極性值為3，但由于數據較為嚴重的不平衡性，整體結果最終會穩(wěn)定在72.96%，即全部分類至第三類中。

實驗2： 與COAE2012文檔傾向極性分類其他結果的比較

根據實驗1中各種最小支持度得到的分類結果，本實驗選取minsup=0.000 9，與COAE2012其它文檔傾向極性分類結果相比較，實驗結果見表6。

表6 實驗結果與COAE2012其他結果的比較

由表6可以看出，COAE2012 best>文獻[15]方法結果>本文最佳結果>COAE2012 average>COAE2012 median，本文的方法處于中上水平。

通過分析各參評單位在COAE2012該任務中取得的結果，取得最好成績的是中國傳媒大學[12]，他們利用了篇章中歸總句的特性進行了分類，通過加大篇章中歸總句的權重對篇章進行打分。文獻[15]采用的特征-觀點表示方法與本文類似，其accuracy結果與本文最好結果近似，但本文的MSE值較低，表明本文方法分類錯誤的偏離程度較小，且本文無需訓練分類器，所采用的特征詞表規(guī)模較文獻[15]的小，在低維特征下依然能對文本的情感進行較準確的刻畫，顯示出本文的方法具有一定的可行性與有效性。

5 結束語

本文考察了詞性間的搭配關系，設計了12種詞性搭配模式。對于不同類型的詞匯在特定領域下的特殊表達，設計了一系列的規(guī)則函數自動對抽取出的搭配四元組進行情感傾向極性分類。為了從篇章級文本中抽取特征-觀點搭配四元組并建立觀點袋模型，過濾掉一些無意義搭配，引入最小支持度minsup對抽取搭配進行限制，通過考察所有minsup取值對情感搭配關系抽取以及情感傾向極性分類的影響，確定minsup的最優(yōu)取值。為了檢驗本文的方法對篇章級文本情感極性分類的有效性，使用了COAE2012任務3的汽車語料。利用訓練集生成其類別中心文檔，在測試集上分別與各類別中心文檔計算余弦相似度，將測試集文檔分類到最相似的類別中。與COAE2012評測結果相比較，本文的方法處于中上水平，顯示其具有一定的可行性和有效性，然而本文的方法需要使用已有的領域本體特征，抽取的情感搭配無法覆蓋全部的文檔，同時沒有考慮歸總句對篇章極性的影響。因此，如何自動建立領域本體知識庫，引入對歸總句權重影響的研究，并對搭配模式進一步細化將是我們今后深入研究的課題。

[1] Wiebe J, Bruce R, Bell M, et al. A corpus study of evaluative and speculative language[C]//Proceedings of the 2nd ACL SIGdial Workshop on Discourse and Dialogue. USA: ACL, 2001: 1-10.

[2] Xia Y Q, Xu R F, Wong K F, et al. The unified collocation framework for opinion mining[C]//Proceedings of Machine Learning and Cybernetics, 2007 International Conference on. IEEE, 2007, 2: 844-850.

[3] 王素格. 基于 Web 的評論文本情感分類問題研究 [D]. 上海: 上海大學, 2008.

[4] Smadja F. Retrieving collocations from text: Xtract[J]. Computational linguistics, 1993, 19(1): 143-177.

[5] 王素格, 楊軍玲, 張武. 自動獲取漢語詞語搭配[J]. 中文信息學報, 2006, 20(6): 31-37.

[6] Qu L, Ifrim G, Weikum G. The bag-of-opinions method for review rating prediction from sparse text patterns[C]//Proceedings of the 23rd International Conference on Computational Linguistics. Association for Computational Linguistics, 2010: 913-921.

[7] Thet T T, Na J C, Khoo C S G. Aspect-based sentiment analysis of movie reviews on discussion boards[J]. Journal of Information Science, 2010, 36(6): 823-848.

[8] 王素格, 楊安娜. 基于混合語言信息的詞語搭配傾向判別方法[J]. 中文信息學報, 2010, 24(3): 69-74.

[9] 劉康, 王素格, 廖祥文,等. 第四屆中文傾向性分析評測總體報告[C]//Proceedings of the COAE2012, Nanchang, China,2012:1-33.

[10] 唐都鈺, 石秋慧,王沛，等. HITIRSYS:COAE2012情感分析系統(tǒng)[C]//Proceedings of the COAE2012, Nanchang, China, 2012: 44-52.

[11] 林莉媛, 蘇艷,戴敏，等. Suda_SAM_OMS情感傾向性分析技術報告[C]//Proceedings of the COAE2012, Nanchang, China, 2012:69-76.

[12] 程南昌, 侯敏,騰永林，等. 基于文本特征的語篇傾向性分析研究[C]//Proceedings of the COAE2012, Nanchang, China, 2012: 89-94.

[13] 劉楠, 賀飛艷，彭敏，等. 基于情感要素的否定句極性判別方法[C]//Proceedings of the COAE2012, Nanchang, China, 2012: 123-131.

[14] 魏現輝, 任巨偉,何文澤，等. DUTIR COAE2012評測報告[C]//Proceedings of the COAE2012, Nanchang, China,2012: 34-43.

[15] 崔安頎, 張永鋒,劉奕群，等. 基于情感詞典的中文傾向性分析[C]//Proceedings of the COAE2012, Nanchang, China,2012: 118-122.

[16] 計算所漢語詞法分析系統(tǒng)ICTCLAS. http://www.ictclas.cn/.

[17] 王素格, 尹學倩, 李茹, 等. 基于非完備信息系統(tǒng)的評價對象情感聚類[J]. 中文信息學報, 2012, 26(4): 98-102.

[18] 寧鴻彬, 徐同. 新頒《標點符號用法》通釋[M]. 教育科學出版社, 1992.

[19] 徐琳宏, 林鴻飛, 潘宇,等. 情感詞匯本體的構造[J]. 情報學報, 2008, 27(2): 180-185.

[20] 顧正甲, 姚天昉. 評價對象及其傾向性的抽取和判別[J]. 中文信息學報, 2012, 26(4): 91-97.

The Bag-of-Opinions Method for Car Review Sentiment Polarity Classification

LIAO Jian1, WANG Suge1,2,LI Deyu1,2, ZHANG Peng1

(1. School of Computer & Information Technology, Shanxi University, Taiyuan, Shanxi 030006, China; 2. Key Laboratory of Computational Intelligence and Chinese Information Processing of Ministry of Education, Shanxi University, Taiyuan, Shanxi 030006, China)

Focused on the online review sentiment polarity classification problem, a multi-level sentiment classification method is proposed based on bag-of-opinion model and a set of linguistic rules. According to the part-of-speech of each word in the sentences, 12 patterns are designed for the feature-opinion pairs’ extraction, which enable to represent the whole text in a series of four-tuple of “feature, degree word, opinion word, negation word”. After designing the estimation of the sentiment priority of the four-tuple, the cosine similarity is further adopted for a 5-level sentiment polarity classification. Experiments on the dataset from COAE2012 Task 3 car dataset indicate a good result compared to the performances of the other runs in COAE.

sentiment classification; bag of opinion; POS collocation

1003-0077(2015)03-0113-08

2013-04-08 定稿日期： 2013-07-31

國家自然科學基金(61175067,61272095); 山西省自然科學基金(2010011021-1,2013011066-4); 山西省科技攻關項目(20110321027-02)；山西省留學基金(2013-014)

TP391

A