微博情感分析的情感詞典構(gòu)造及分析方法研究

楊立月，王移芝

(北京交通大學 計算機與信息技術(shù)學院，北京 100044)

0 引 言

近年來隨著微博的廣泛應(yīng)用，微博用戶越來越多，微博成為人們關(guān)注世界、社會、記錄生活等的重要平臺之一。隨著網(wǎng)絡(luò)的發(fā)展，微博情感分析也越來越重要。通過微博情感分析，商家可以及時得到消費者的反饋，并對下一步產(chǎn)銷計劃做出調(diào)整；政府機關(guān)根據(jù)微博用戶對某一熱點事件的評論得到大眾對熱點事件的觀點,從而及時控制網(wǎng)絡(luò)輿情的發(fā)展來保證公共秩序安全；對于消費者來說可以通過對微博中某一商品評論的情感分析統(tǒng)計，得出這一商品的優(yōu)缺點，從而根據(jù)自身需求決定是否購買此商品。此研究正是基于這樣的研究目的，在前人研究的基礎(chǔ)上改進了微博情感詞典并創(chuàng)建了語氣詞詞典，利用中文語法規(guī)則判斷微博文本的情感傾向性。

1 相關(guān)工作

近年來，微博的廣泛使用使得微博情感分析成為熱點方向，國外的微博研究較早并且相對較成熟，英文情感詞典相對較豐富，如SentiWordNet和Inquirei。而國內(nèi)對于微博的研究是近幾年才開始的，情感詞典還不太成熟,目前主要有知網(wǎng)HowNet詞典和同義詞詞林、臺灣大學和大連理工大學等高校提供的情感詞匯庫。該研究采用分類效果較好的HowNet詞典作為基準情感詞詞典。

目前對于微博情感分析的研究主要分為兩大類：基于情感詞典的微博情感分析和機器學習。基于情感詞典的微博情感分析就是利用現(xiàn)有的情感詞典根據(jù)語義規(guī)則通過算法求出文本的情感值；機器學習是通過選取文本的一些特征標注訓(xùn)練集和測試集，使用樸素貝葉斯(Naive Bayes)、支持向量機(support vector machine，SVM)和最大熵(maximum entropy)等分類器進行文本分類。根據(jù)文獻[1-2]，常用的分類方法和特征選取方法有各自的適應(yīng)情況，但都無法帶來性能上實質(zhì)性的變化。還有一些基于模型及研究模型提高分類效果的研究，如王偉等[3]提出一種基于LDA主題模型的評論文本情感分類方法，黃發(fā)良等[4]提出一種基于多特征融合的微博主題情感挖掘模型TSMMF,證明了該模型有更好的微博主題情感檢測功能。

國內(nèi)研究主要針對于新浪微博、騰訊微博等平臺的微博信息進行研究。M Taboada等[5]提出了一種基于詞典的文本情感提取方法。謝麗星等[6]提出基于SVM的層次結(jié)構(gòu)多策略方法進行分類，且引入主題相關(guān)特征進行分類。周劍鋒[7]提出在分析海量微博數(shù)據(jù)過程中，自動構(gòu)建情感詞典的方法。自動從語料中篩選情感詞匯，獲取情感新詞。肖江等[8]構(gòu)建的具有自動識別和擴展功能的領(lǐng)域情感詞典具有可行性和準確率。王志濤等[9]提出基于詞典和規(guī)則集的中文微博情感分詞方法，根據(jù)規(guī)定的語義規(guī)則結(jié)合詞典進行情感分析。王振宇等[10]提出一種HowNet和PMI(point mutual information)相融合的詞語極性計算方法。實驗結(jié)果中微平均和宏平均性能提高了5%。

分析以上理論，通過改進詞典對微博進行分析和研究是微博分析的重點。

文中與傳統(tǒng)方法不同的是改進了微博情感詞典的構(gòu)建方法，在傳統(tǒng)新詞根據(jù)點互信息計算進行篩選的基礎(chǔ)上結(jié)合新詞根據(jù)積極訓(xùn)練語料和消極訓(xùn)練語料的文檔頻數(shù)差篩選出新詞并加入詞典，同時研究提出構(gòu)建語氣詞詞典。

2 中文情感詞典的構(gòu)建

2.1 分 詞

利用NLPIR分詞系統(tǒng)進行分詞，先構(gòu)建好開源情感詞典、表情情感詞典和網(wǎng)絡(luò)情感詞典，在分詞系統(tǒng)中將構(gòu)建好的詞典加入系統(tǒng)，從而提高分詞效果。例如，未加入詞典之前，網(wǎng)絡(luò)新詞“坑爹”得到的分詞效果是“坑/v 爹/n”，加入詞典后的分詞效果是“坑爹/a”。

2.2 開源情感詞典

目前中文情感詞典中沒有成熟完整的情感詞典可供研究。文中采用情感區(qū)分較明顯的HowNet中文情感詞典和臺灣大學NTUSD簡體中文情感極性詞典。知網(wǎng)的情感詞典分為正面情感詞、正面評價詞、負面情感詞、負面評價詞，程度副詞分為6個等級，分別為極其、很、較、稍、欠、超。知網(wǎng)情感詞典中正面情感詞、正面情感評價詞均賦權(quán)值為1，而負面情感詞和負面情感評價詞均賦權(quán)值為-1。臺灣大學NTUSD簡體中文情感極性詞典中分為兩類詞，積極詞匯和消極詞匯，將積極詞匯賦權(quán)值為1，而消極詞匯賦權(quán)值為-1，表1是開源詞典情感詞情況。

表1 情感詞示例

2.3 否定副詞詞典

否定副詞是整理的33個常用于否定后面詞語的否定副詞，將否定副詞的權(quán)值全部設(shè)置為-1，否定詞如“不”、“沒”、“沒有”、“無”、“非”等。

2.4 表情符號詞典

文中在分析文本情感詞的基礎(chǔ)上融入分析表情符號，隨著表情符號的流行人們越來越趨向于用表情符號表達自己的觀點，所以首先加入了新浪微博中常用的默認的表情符號并賦予相應(yīng)的權(quán)值。提取的微博語料中的表情詞以“[]”形式出現(xiàn)，表情詞列表見表2。

表2 表情詞典示例

2.5 程度副詞情感詞典

采用知網(wǎng)提供的程度副詞，示例見表3。

2.6 網(wǎng)絡(luò)情感詞典

網(wǎng)絡(luò)新詞：即多在網(wǎng)絡(luò)上流行的非正式語言。多為諧音、錯別字改成，也有象形字詞。

基于微博文本非正式、口語化的表達特點，網(wǎng)絡(luò)新詞在微博評論中的應(yīng)用越來越廣泛。

由于網(wǎng)絡(luò)新詞的流行使得微博語言更多樣化，如“我”不叫我，叫“偶”，“這樣子”不叫這樣子，叫“醬紫”，“喜歡”不叫喜歡叫“稀飯”，“新手”不叫新手叫“菜鳥”等。

文中選用百度引擎和搜狐引擎里的網(wǎng)絡(luò)新詞，集合了現(xiàn)在廣為流行的網(wǎng)絡(luò)用語，有較好的網(wǎng)絡(luò)用詞覆蓋率，網(wǎng)絡(luò)詞示例見表4。

表4 網(wǎng)絡(luò)情感詞示例

2.7 微博情感詞典構(gòu)建

由于HowNet情感詞典并不完整，在進行微博情感分析的過程中仍然有許多情感詞匯無法判別情感傾向，劉培玉等[11]在傳統(tǒng)詞典的基礎(chǔ)上構(gòu)建領(lǐng)域微博情感詞典，該方法在微博傾向性分析中得到了很好的效果。

根據(jù)微博數(shù)據(jù)分詞結(jié)果對各個詞語按詞頻統(tǒng)計并排序，對排好序的詞語從上到下進行篩選，篩選出含有明顯情感傾向且詞頻高的詞語作為基準詞，所以分詞的好壞直接影響到排序結(jié)果。文中用的是NLPIR分詞算法并且加入了知網(wǎng)情感詞典，臺灣情感詞典，網(wǎng)絡(luò)新詞詞典，表情詞典中的詞語，從而使得分詞效果更好，得到更準確的基準詞詞語。朱嫣嵐等[12]證明種子詞越多，詞的傾向性判斷準確性越高，故文中在詞頻閾值范圍內(nèi)選取了27對種子詞，同時考慮到表情符號元素，選取了2對高頻表情符號做基準詞。

2.7.2 點互信息

點互信息主要用于計算語義間的語義相似度，基本思想是統(tǒng)計兩個詞語在文本中同時出現(xiàn)的概率，概率越大相關(guān)性越緊密，關(guān)聯(lián)度越高。兩個詞語word1和word2的PMI計算公式如下：

(1)

其中，PMI(word1,word2)表示兩個詞語同時出現(xiàn)的概率，即word1和word2共同出現(xiàn)的文檔數(shù)；PMI(word1),PMI(word2)分別表示word1，word2單獨出現(xiàn)的概率。

褒義和貶義基準詞分別用Pw和Nw來表示，基準詞的選取是具有明顯情感傾向性的且極具領(lǐng)域代表性的詞語。則候選集中候選詞word1的情感傾向計算公式如下：

PMI(word1,Nwi)]

初中班主任要以科學合理的方式展開與學生之間的交流，幫助學生健康成長。能在談話中了解學生的心理傾向，深化學生的情感變化，進而能更好的把握學生的心理情感變化，并在交流中包含學生的自尊心、自信心。

(2)

若SO_PMI(word1)>0，word1具有正面情感傾向，為正向情感詞；SO_PMI(word1)<0，word1具有負面情感傾向，為負向情感詞；SO_PMI(word1)=0，word1沒有情感傾向，為中性情感詞。

中文情感詞情感傾向值計算方法首先選取基準詞，通過計算基準詞與候選詞間的共現(xiàn)概率來初步確定該情感詞的情感傾向值。計算情感詞點互信息的計算過程如下：首先根據(jù)詞頻和情感詞強度篩選得到基準詞，其次根據(jù)程度副詞提取新詞并按詞頻閾值篩選，最后將新詞和基準詞進行PMI計算。

2.7.3 文檔頻數(shù)

wt=Fpos(wd)-Fneg(wd)

(3)

其中，wt表示詞wd在語料中的頻數(shù)差，其中Fpos(wd)表示詞wd在正向語料中出現(xiàn)的次數(shù)，F(xiàn)neg(wd)表示表示詞wd在負向語料中出現(xiàn)的次數(shù)。當wt為0時，表示wd在正向語料和負向語料中出現(xiàn)的次數(shù)相等，直接刪除該詞。

2.7.4 微博新詞抽取方法

陳建美等[13]分析了不同語法規(guī)律對情感詞匯自動獲取的作用大小，并且證明了情感詞匯自動獲取方法是有效的，其中否定詞與詞性搭配規(guī)律和程度副詞修飾規(guī)律最為通用。漢語中程度副詞經(jīng)常修飾形容詞及部分心理動詞，而這些詞多為情感詞，如：非常開心，很郁悶等。所以在進行情感詞匯抽取時選擇程度副詞和否定詞后2/3/4個詞范圍內(nèi)的詞抽取出來。然后按照這些新詞出現(xiàn)的頻率進行排序，設(shè)定閾值，刪除掉頻率小于這個閾值的詞匯，將篩選出來的新詞和基準詞做點互信息計算，若計算得出的點互信息結(jié)果為0，則不可以將該詞加入情感詞典，故刪除該詞。否則對新詞進行文檔頻數(shù)統(tǒng)計，結(jié)合點互信息值進行篩選，若新詞計算的點互信息值和計算得出的文檔頻數(shù)同為正數(shù)或同為負數(shù)，則將該新詞加入詞典，將新詞的PMI值經(jīng)處理后(若PMI值在0到10范圍內(nèi)，賦權(quán)值為1，在-10到0范圍內(nèi)，賦權(quán)值為-1，以此類推)作為對應(yīng)的權(quán)值加入詞典，具體步驟如圖1所示。

2.8 語氣詞詞典

姜杰等[14]將語氣詞數(shù)量作為語義特征提取，證明了語氣詞在情感表達中有重要作用。語氣詞在中文表達中經(jīng)常會流露出感情傾向，例如“哎”，“啊”，“哇”，“耶”等。

文中從百度百科中查找的語氣詞大全，如“罷了”，“哈”，“呵”，“呸”等得到76個語氣詞，并擴展了沒有提到的語氣詞，如“哎”，“哎呀”，共22個。語氣詞在詞典中的權(quán)值設(shè)置和新詞加入新詞詞典的權(quán)值計算方法一樣，同樣根據(jù)點互信息法和文檔頻數(shù)法篩選，最后將語氣詞及其權(quán)值加入語氣詞詞典中。

3 語句情感分析

3.1 詞語情感值的計算

語義是語句進行情感分類的重要特征[15]，文檔分類判斷應(yīng)按照詞匯、句子、微博短文的步驟進行[16]。情感傾向情感詞前經(jīng)常有程度副詞修飾。當情感詞前有程度副詞修飾時，則會使情感詞的情感傾向加強或減弱。如開心是正向情感詞，其權(quán)值為1，則很開心使得情感詞情感傾向加強。而情感詞前有否定詞修飾時會使情感詞的情感傾向反轉(zhuǎn)，如“傷心”表示負向情感詞，而“不傷心”表示正向情感傾向。但是存在一個問題，形如：“否定詞+程度副詞+情感詞”的形式對情感詞的強度有減弱作用?！俺潭雀痹~+否定詞+情感詞”對情感詞的情感強度具有加強作用。如很不開心和不是很開心的情感強度截然不同。故需要區(qū)分兩種形式。情感詞語的情感值計算公式如下：

否定詞+程度副詞+情感詞：

w=d×a×t×0.5

(4)

程度副詞+否定詞+情感詞：

w=d×a×t×2

(5)

其中，w表示計算得到的情感詞語的情感強度值；t表示情感詞的權(quán)值；a表示該情感詞t前的程度副詞的權(quán)值；d表示否定詞的權(quán)值。

3.2 句間關(guān)系原則

趙天奇等[17]在語義規(guī)則描述部分，基本涵蓋了漢語中最常用的幾種句型規(guī)則和句間關(guān)系規(guī)則，從而使得對復(fù)雜句的情感分析更加準確。由于中文表達的傳統(tǒng)習慣，一個句子可能包含多個關(guān)聯(lián)詞，而這些關(guān)聯(lián)詞對句子的情感表達有很大影響。如：雖然s1但是s2，其中，s2=w5w6w7，其中wi是一些情感詞語。顯然句子s1表達的情感強度沒有s2的情感強度大?？偨Y(jié)句間規(guī)則如下所述。

3.2.1 轉(zhuǎn)折關(guān)系原則

當句子中出現(xiàn)轉(zhuǎn)折時，如：雖然……但是……由于出現(xiàn)轉(zhuǎn)折，則強調(diào)轉(zhuǎn)折后的句子的情感傾向而減弱轉(zhuǎn)折前的句子的情感傾向。邸鵬等[18]提出依據(jù)已有資源，并根據(jù)轉(zhuǎn)折句式中否定詞、轉(zhuǎn)折詞、情感詞的組合規(guī)律進行情感分析的啟發(fā)式規(guī)則，證明該方法能更好地對轉(zhuǎn)折句式進行情感傾向性分析。轉(zhuǎn)折語句情感分析規(guī)則如下，因為轉(zhuǎn)折關(guān)系連接詞并非都是成對出現(xiàn)，故分為以下三種情況。

將轉(zhuǎn)折關(guān)系連接詞分為轉(zhuǎn)折前接詞和轉(zhuǎn)折后接詞，其中轉(zhuǎn)折前接詞包括雖然、雖說、盡管等，轉(zhuǎn)折后接詞包括但是、可是、不過等。根據(jù)中文表達習慣，轉(zhuǎn)折前接詞會削弱用戶要表達的意思，而轉(zhuǎn)折后接詞會加強用戶要表達的意思。

(1)當分句只含有轉(zhuǎn)折前接詞時，設(shè)轉(zhuǎn)折前接詞出現(xiàn)在分句sk,則各句句間關(guān)系系數(shù)為：sk,sk+1,…=0.5。

(2)當分句只含有轉(zhuǎn)折后接詞時，設(shè)轉(zhuǎn)折后接詞出現(xiàn)在sk,則句間關(guān)系系數(shù)sk,sk+1,…=1.5。

(3)當分句既含有轉(zhuǎn)折前接詞又含有轉(zhuǎn)折后接詞時，句間系數(shù)為默認值1不變。

3.2.2 假設(shè)關(guān)系原則

當句子出現(xiàn)假設(shè)關(guān)系連接詞時，句子強調(diào)的是條件，例如：如果s1,那么s2，則句子強調(diào)的是“如果”后面的內(nèi)容即s1。設(shè)假設(shè)關(guān)系后接詞如上例中的“那么”出現(xiàn)在分句si，則令s1,s2,…,si-1=1,si,si+1,…,sn=0.5。

3.2.3 因果關(guān)系原則

當句子中出現(xiàn)因果關(guān)系連接詞時，表示強調(diào)的是因果關(guān)系前接詞后的句子。例如：因為s1,所以s2，強調(diào)的是子句子s1的情感傾向。設(shè)因果關(guān)系前接詞出現(xiàn)在分句si上，因果關(guān)系后接詞出現(xiàn)在分句sj上，則si,si+1,…,sj-1=1.5,sj,sj+1,…,sn=1。

3.2.4 分句情感傾向計算公式

E(sj)=∑E(wi)*rj

(6)

其中，E(sj)表示第j個句子的情感傾向值；E(wi)表示第j個句子中的情感詞的權(quán)值；rj表示第j個句子的句間關(guān)系系數(shù)。

3.3 句型關(guān)系

劉楠[19]將標點符號作為特征進行提取。當一個句子以“！”結(jié)尾時，該句的情感傾向明顯加強。例如：“海燕兒，你可長點心吧！”表示的是加強句子的感嘆作用，當句子以“！”結(jié)尾時，該句的情感傾向值變成原來的兩倍。

當句子以“？”結(jié)尾并且該句子存在反向疑問詞時，該句子表示的是質(zhì)疑。例如：“難道你就不能開開心心獨立自主嗎？”，該句子中出現(xiàn)的情感詞“開開心心、獨立自主”均為正向情感詞，該句子以“？”號結(jié)尾，并且出現(xiàn)反向疑問詞“難道”，故該句的情感傾向?qū)⒎聪蚣颖丁?fù)句情感傾向值計算公式如下：

E(Ti)=∑E(sj)*Mi

(7)

其中，E(Ti)表示第i個復(fù)句的情感傾向值；E(sj)表示第i個復(fù)句中各個子句的情感傾向值；Mi表示句型關(guān)系系數(shù)，若該復(fù)句Ti以“！”結(jié)尾，則Mi=2，若Ti以“？”結(jié)尾，且Ti中含有反向疑問詞，則Mi=-2。

3.4 首句和尾句

中文表達中有開門見山的表達習慣，故首句在短文本情感判斷中具有很重要的作用。如：中文表達中尾句的情感傾向在微博情感表達中占得權(quán)重很大，故設(shè)置首句的加權(quán)關(guān)系系數(shù)為2，微博語句的尾句具有很重要的情感傾向判斷價值，如“今年是交大120周年校慶，我很榮幸作為母校的學子。今天好開心呀，哈哈。但是沒有和曾經(jīng)的老同學們團聚真的太可惜了”。這段微博包含3句話，其中第1，2句表達了正向情感，而最后一句表達了負向情感。這段微博整體表達的是負向情感，以尾句的情感傾向為準，所以在微博表達中尾句的情感傾向具有非常重要的作用。故設(shè)尾句的加權(quán)關(guān)系系數(shù)為2，如計算首尾句的情感傾向值為E(Ti),則E(Ti)=E(Ti)*2。

4 實驗與分析

實驗選取NLPCC官方網(wǎng)站中Task A Annotated Training Data中的數(shù)據(jù)，主題包括IphoneSE、春節(jié)放鞭炮、俄羅斯在敘利亞的反恐行動、開放二胎、深圳禁摩限電，同時還加入了coae2014評測數(shù)據(jù)的task3& 4任務(wù)中對蒙牛的評論。正面數(shù)據(jù)2 019條，負面數(shù)據(jù)2 139條。判斷標準如下：當微博情感值>1時，判斷該微博為正面；當微博情感值<-1,判斷該微博為負面；當微博情感值為0時，判斷該微博為中性。實驗結(jié)果如圖2所示。

對比基準詞詞典+語義規(guī)則的結(jié)果和傳統(tǒng)新詞情感詞典+基準詞典+語義規(guī)則的結(jié)果可以發(fā)現(xiàn)，加入傳統(tǒng)的新詞詞典判斷的結(jié)果有個嚴重的弊端，負面微博的分類準確率驟降，而正面微博的準確率驟增，這是因為微博數(shù)據(jù)正面情感詞比例遠遠大于負面情感詞的比例。這對于分類判斷來說是無效的。通過新的新詞詞典+基準詞典+語義規(guī)則的結(jié)果可以觀察到，加入新的新詞詞典后，正負面的微博分類的準確率都有不同程度的提高，這是因為當加入了文檔頻數(shù)篩選方法后，可以篩掉那些在負面微博中出現(xiàn)的大量正面情感詞。

圖2 準確率對比

對比新的新詞詞典+基準詞典+語義規(guī)則的結(jié)果和語氣詞詞典+新的新詞詞典+語義規(guī)則的結(jié)果可以發(fā)現(xiàn)，加入語氣詞詞典后，正面微博的分類準確率沒有明顯變化，而負面微博的分類準確率有明顯的提高。

5 結(jié) 論

在分析已有情感詞典的基礎(chǔ)上，建立了更全面完整的微博情感詞典，在現(xiàn)有網(wǎng)絡(luò)資源的基礎(chǔ)上對微博語料進行統(tǒng)計建立網(wǎng)絡(luò)情感詞典和表情情感詞典，通過詞典的構(gòu)建形成了更加完備的情感詞典，用于情感分析。建好情感詞典后根據(jù)中文的語義規(guī)則包括句間規(guī)則和句型規(guī)則，進行句子級的微博情感分析。文中的特點是加入了首句和尾句情感分析傾向的權(quán)重系數(shù)，從而提高了微博情感分析的正確率。本次研究的創(chuàng)新之處首先在傳統(tǒng)的微博情感詞典的構(gòu)造上做出了改進，對新詞通過點互信息和文檔頻數(shù)法進行篩選再加入詞典。其次創(chuàng)建了語氣詞詞典，有了語氣詞詞典后負面微博分類的準確性有了明顯的提高。

6 結(jié)束語

微博情感分析的關(guān)鍵是詞典構(gòu)建，詞典的囊括范圍及準確性對分類的準確率具有關(guān)鍵作用。文中構(gòu)建了開源情感詞典、表情情感詞典、網(wǎng)絡(luò)情感詞典，并且改進了微博情感詞典的構(gòu)造方法，創(chuàng)建了語氣詞詞典。利用改進后的詞典，微博分類的準確率有了明顯提高，通過實驗證明了該方法的準確性。

但是微博分類還存在有待研究的方向。例如，微博文本中經(jīng)常出現(xiàn)反諷現(xiàn)象，具有反諷現(xiàn)象的微博文本的情感傾向和用算法算出來的情感分析值相反；微博用戶的情感表現(xiàn)不僅包括文本，還有微博的點贊信息，轉(zhuǎn)載量等；由于微博用戶發(fā)表的微博多接近于口語化，故微博文本經(jīng)常出現(xiàn)拼寫錯誤或符號省略等現(xiàn)象，如何識別這些錯誤并在情感分析中考慮這些因素帶來的影響需要進一步研究；文中采用基于詞典和語義規(guī)則的方法進行情感分類，將其作為特征，結(jié)合深度學習方式并與社會背景結(jié)合尚需進一步探索。