基于ECPA神經(jīng)網(wǎng)絡(luò)的情緒原因識別方法

刁宇峰，楊 亮，林鴻飛，樊小超,3，吳 迪，任 璐，張冬瑜，許 侃

(1. 大連理工大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院,遼寧 大連 116024；2. 內(nèi)蒙古民族大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院,內(nèi)蒙古 通遼 028043；3. 新疆師范大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院,新疆 烏魯木齊 830054)

0 引言

文本情緒分析是近幾年自然語言處理領(lǐng)域非常重要的研究方向之一，主要研究文本所蘊(yùn)含的情緒以及情緒有關(guān)的深層語義信息。王蓉等人[1]采用詞袋模型表示文本特征，使用聯(lián)合學(xué)習(xí)的方法進(jìn)行文本情緒分類。使用深度學(xué)習(xí)的情緒分類方法也有很多，如張志華[2]、Yaqi Wang[3]等，均采用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行句子級的建模，取得了較好的性能。對于文本的情緒分析任務(wù)，需要更深層次地挖掘語義信息，用以提升分析的性能。情緒原因識別任務(wù)作為文本情緒分析領(lǐng)域的一個(gè)前沿研究方向，越來越受到學(xué)者們的關(guān)注。

情緒原因識別是指給定一個(gè)文本中出現(xiàn)的特定人物的情緒，通過有效技術(shù)手段抽取出特定人物情緒產(chǎn)生的原因。眾所周知，互聯(lián)網(wǎng)是一個(gè)方便創(chuàng)建信息和傳播觀點(diǎn)的在線交流平臺，人們可以踴躍地分享其觀點(diǎn)和情緒。伴隨著網(wǎng)絡(luò)平臺的廣泛應(yīng)用，人們越來越關(guān)注情緒產(chǎn)生的動(dòng)機(jī)和根源，例如，蘋果公司對其旗下產(chǎn)品口碑好壞與否的原因格外關(guān)注，以便更好地理解用戶的需求和完善產(chǎn)品的性能；又如心理醫(yī)生對病人產(chǎn)生各種情緒的原因格外關(guān)心，這樣可以方便醫(yī)生更好地了解病人的病情和制定治療方案。因此，情緒原因識別任務(wù)在現(xiàn)實(shí)中有著廣泛的應(yīng)用場景。

早期關(guān)于情緒原因識別的研究主要采用基于規(guī)則和統(tǒng)計(jì)的方法[4-6]。隨著深度學(xué)習(xí)在自然語言處理中的廣泛應(yīng)用，有許多學(xué)者將深度學(xué)習(xí)應(yīng)用在識別情緒原因的任務(wù)上。慕永利等人[7]通過融合多個(gè)CNN的方法來識別情緒原因任務(wù)，Gui等人[8]提出一種改進(jìn)的深度記憶網(wǎng)絡(luò)模型ConvMS-Memnet，用它來抽取情緒原因，取得了較好的分類性能。由此可見，神經(jīng)網(wǎng)絡(luò)模型可以有效地幫助識別情緒原因。

本文針對文本情緒原因識別任務(wù)，在Bi-LSTM[9]和Attention[10]注意力機(jī)制的基礎(chǔ)之上，提出一種ECPA神經(jīng)網(wǎng)絡(luò)的情緒原因識別方法。該模型考慮情緒詞和情緒類別對識別情緒原因的影響，利用Bi-LSTM對句子的上下文進(jìn)行建模，同時(shí)引入結(jié)合相對位置和絕對位置的注意力機(jī)制，識別文本中的情緒原因。實(shí)驗(yàn)結(jié)果表明，本文提出的ECPA(emotion context position attention Bi-LSTM neural network)方法取得了最佳的分類性能。

1 相關(guān)工作

針對文本情緒分析，首先需要了解情緒的分類體系。目前有很多文本情緒分類體系，如Ekman[11]、Linhong Xu等[12]均提出了不同的情緒分類框架。在本文的情緒原因識別任務(wù)上，采用Ekman在1984年提出的情緒分類體系，該體系在W3C的情緒標(biāo)記語言的基礎(chǔ)上，設(shè)置了六大類情緒，如sadness、anger、fear、disgust、surprise和happiness。目前大多數(shù)的中文情緒分析都使用上述的情緒分類體系。而對于文本情緒分類任務(wù)大多使用深度學(xué)習(xí)方法進(jìn)行處理，如張志華[2]、Yaqi Wang[3]等，采用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行建模，取得了較好的效果。目前Bi-LSTM模型[9]、Attention模型[10]、CNN模型[13]等神經(jīng)網(wǎng)絡(luò)模型在自然語言處理的各項(xiàng)任務(wù)中均取得了不錯(cuò)的分類性能。

針對情緒原因識別任務(wù)，研究者主要采用基于規(guī)則、基于統(tǒng)計(jì)和基于深度學(xué)習(xí)的方法。對于基于規(guī)則的情緒原因識別方法，例如，Sophia Yat Mei Lee等人[4]建立了一個(gè)情緒歸因語料庫，同時(shí)根據(jù)規(guī)則來識別情緒原因句子；Kai Gao等人[5]提出的基于規(guī)則的情緒原因識別模型主要基于對微博數(shù)據(jù)抽取情緒原因；Weiyuan Li等人[6]使用基于規(guī)則的情緒原因特征進(jìn)行情緒分類。然而這些方法制定的規(guī)則難以覆蓋所有的語言現(xiàn)象，容易造成規(guī)則沖突。對于基于統(tǒng)計(jì)的情緒原因識別方法，例如，李逸薇等人[14]將情緒原因識別任務(wù)看作序列標(biāo)注問題，著重考慮上下文特征，標(biāo)記出哪些句子是情緒原因句；Gui等人[15]通過建立規(guī)則和分類兩種不同的方式來預(yù)測文本的情緒原因；Gui等人[16]在構(gòu)建的情緒原因語料庫上，考慮多核函數(shù)、詞性等信息訓(xùn)練情緒原因分類器；但是統(tǒng)計(jì)方法難以挖掘到更深層的潛在語義信息。對于基于深度學(xué)習(xí)的情緒原因識別方法，例如，慕永利等人[7]提出一種E-CNN的方法來識別情緒原因，同時(shí)結(jié)合了語言結(jié)構(gòu)；Gui等人[8]提出一種改進(jìn)的深度記憶網(wǎng)絡(luò)模型ConvMS-Memnet，著重考慮了深層的記憶網(wǎng)絡(luò)，并利用了上下文卷積的思想。

綜上可知，針對基于規(guī)則、基于統(tǒng)計(jì)和基于深度學(xué)習(xí)的方法，三者均利用語言現(xiàn)象有效地識別情緒原因?；诖?，本文提出一種基于ECPA神經(jīng)網(wǎng)絡(luò)的端到端情緒原因識別模型，它主要利用Bi-LSTM和注意力機(jī)制，同時(shí)融合了情緒、上下文、位置等語義信息，進(jìn)行情緒原因識別。

2 基于ECPA的情緒原因識別方法

本文首先對情緒原因識別任務(wù)進(jìn)行了相關(guān)的介紹，然后介紹本文提出的情緒原因識別神經(jīng)網(wǎng)絡(luò)模型ECPA，最后介紹本模型的訓(xùn)練方式。

2.1 情緒原因識別任務(wù)介紹

Gui等人[16]首次提出了情緒原因識別的任務(wù)，本文將該任務(wù)形式化地描述為: 給定一個(gè)包含情緒的文檔D，包括情緒詞E和該情緒產(chǎn)生的原因。該文檔D被手動(dòng)分割成多個(gè)子句c，D={c-3…,c-1,c0,c1,c2,…，cm}，子句由逗號、問號、感嘆號、句號進(jìn)行分割。對于任一子句c={w1,w2,…,wn}包含n個(gè)詞，情緒原因識別任務(wù)主要在于識別哪個(gè)子句中包含情緒原因。子句示例信息如表1所示，同時(shí)，本文給出數(shù)據(jù)集中關(guān)于情緒子句的情緒分布和位置分布的統(tǒng)計(jì)信息，具體如表2和表3所示。

表1 情緒原因識別示例表

表2 情緒類別信息分布表

表3 情緒原因與情緒表達(dá)相對位置信息分布表

其中，表1為情緒原因的具體示例。該文檔包含7個(gè)子句，子句c0是情緒表達(dá)句，其情緒表達(dá)為“激動(dòng)”，屬于Happiness(高興)情感類別。c-3，c-2，c-1表示情緒表達(dá)句的前三個(gè)子句，c-1，c-2，c-3表示情緒表達(dá)句的后三個(gè)子句。子句c-2為情緒原因句，情緒原因與情感表達(dá)的相對位置為-2，其標(biāo)簽為1，其余標(biāo)簽為0。本文的目的在于識別情緒原因子句。

(1) 從表1可知，該示例共有7個(gè)子句，情緒表達(dá)子句有1個(gè)，情緒原因子句有1個(gè)，非情緒原因子句有6個(gè)，即標(biāo)簽為1的子句僅有1個(gè)。由此看出，情緒原因子句與非情緒原因子句的數(shù)量比重處于不平衡狀態(tài)，在識別分析時(shí)可以利用的信息也較少，需要著重挖掘能夠發(fā)現(xiàn)情緒原因子句的本質(zhì)特征。

(2) 從表2可知，整個(gè)數(shù)據(jù)庫的情感類別分布共有6大類，分別為Fear、Surprise、Disgust、Sadness、Anger和Happiness，其中Sadness和Happiness的情緒分布比重最大，符合日常人們情緒表達(dá)的現(xiàn)狀[17]。同時(shí)，情緒詞和情緒類別能夠極大地影響情緒原因識別的性能，是本文需要著重考慮的關(guān)鍵因素。

(3) 從表3可知，情緒原因與情緒表達(dá)是同一個(gè)子句的比例，以及情緒原因在情緒表達(dá)的前一個(gè)子句的比例均比較高，這表明絕大多數(shù)情緒原因子句都位于緊鄰情緒表達(dá)子句的上下文信息中，與文獻(xiàn)[18]的結(jié)論相同。因此，情緒原因與情緒表達(dá)子句的位置信息也是情緒原因識別的關(guān)鍵。

2.2 ECAP模型

通過上述的討論分析，本文發(fā)現(xiàn)提升情緒原因識別任務(wù)性能主要依賴于情緒詞、情緒類別和位置信息。因此，本文提出一種ECPA模型，具體框架如圖1所示。該模型主要由四部分組成:①Embedding層: 該層由兩部分組成。首先，利用Word2Vec[19]工具進(jìn)行詞向量表示，將句子中的詞向量組合成一個(gè)詞向量矩陣Word Embedding。然后，將與情緒信息相關(guān)的情緒詞、情緒類別映射為詞向量矩陣。最后，將三者進(jìn)行拼接作為下一層的輸入。②Bi-LSTM層: 通過Bi-LSTM模型，充分學(xué)習(xí)詞與詞之間的語義信息，獲得句子的上下文信息。③Position Attention層: 將子句與情緒表達(dá)子句的相對位置、絕對位置映射為詞向量矩陣R-Position Embedding和A-Position Embedding，使用基于位置的注意力機(jī)制來挖掘能夠影響情緒原因識別的語義信息； ④Output層: 通過sigmoid分類函數(shù)得到該文檔中任意子句作為情緒原因子句的概率值，選取概率最大的子句作為最終的情緒原因子句。

圖1 ECPA(Emotion Context Position Attention Bi-LSTM)模型框架圖

(1)Embedding層

該層主要用于初始化輸入的子句數(shù)據(jù)，通過Word2Vec將子句中的詞語表示成詞向量(word embedding)，得到每個(gè)詞語的低維稠密向量，能夠更充分地表達(dá)詞匯豐富的語義信息，挖掘詞語間的語義關(guān)聯(lián)，解決詞袋模型中的向量稀疏問題。其中，wi∈Rk表示k維詞向量，k=300，W表示n*k維的詞向量矩陣。對于未登錄詞，需要使用進(jìn)行替代，隨機(jī)初始化k維的詞向量。

同時(shí)，在Embedding層，需要學(xué)習(xí)到情緒相關(guān)的深層次的語義信息，本文主要從情緒詞E和情緒類別EC兩個(gè)角度對情緒原因識別任務(wù)的影響。對于情緒詞E，其中，Ei∈Rk表示k維詞向量，k=300。若情緒詞為未登錄詞，則需要隨機(jī)初始化詞向量；否則在對應(yīng)詞向量矩陣中查找相應(yīng)的詞向量映射，得到情緒向量Emotion Embedding。對于情緒類別，數(shù)據(jù)集有{Fear, Surprise, Disgust, Sadness, Anger, Happiness}總共6個(gè)類別，對應(yīng)生成一個(gè)6*c_d的向量矩陣Category Embedding，ci∈Rc_d表示c_d維詞向量，這里的維度c_d選擇10維。

最后，將上述的Word Embedding、Emotion Embedding和Category Embedding三者進(jìn)行拼接操作，得到最終的輸入詞向量矩陣X={x1,x2,…,xn}，具體如式(1)所示。

xi=wi⊕Ei⊕eci

(1)

其中，xi是一維行向量，?表示矩陣的連接操作，xi的維度為(k+k+c_d)。

(2)Bi-LSTM層

Hochreiter等人[20]提出的LSTM(long short term memory)記憶單元主要在RNN模型的基礎(chǔ)上加入了門限制機(jī)制。LSTM主要由細(xì)胞狀態(tài)和門結(jié)構(gòu)組成，細(xì)胞狀態(tài)主要用于存儲歷史的信息，門結(jié)構(gòu)主要負(fù)責(zé)保護(hù)和控制記憶細(xì)胞的狀態(tài)。一個(gè)記憶單元一般有三個(gè)門結(jié)構(gòu)： 輸入門、輸出門和遺忘門。這里的遺忘門主要用于舍棄細(xì)胞狀態(tài)中的信息，過濾部分傳送的歷史信息，從而解決梯度消失的問題。具體計(jì)算如式(2)～式(6)所示。

其中，xt為當(dāng)前時(shí)刻的由上一層得到的輸入向量，σ為sigmoid激活函數(shù)，·為element-wise點(diǎn)乘操作，ht為當(dāng)前時(shí)刻的隱層狀態(tài)單元，i、f和o分別表示輸入門、遺忘門和輸出門，W{i,f,o,c}，U{i,f,o,c}，V{i,f,o,c}為訓(xùn)練學(xué)習(xí)到的參數(shù)。

(3)Position Attention層

由2.1節(jié)得知，子句與情緒表達(dá)子句的位置信息能夠影響情緒原因識別任務(wù)的性能。這里，本文主要考慮任一子句與情緒表達(dá)子句的相對位置和絕對位置，而情緒原因子句位于情緒表達(dá)子句在內(nèi)的上下文7個(gè)子句的比例為98.06%，因此，絕對位置設(shè)置為A-Position={1, 2, 3, 4, 5, 6, 7}，對應(yīng)生成一個(gè)7*a_d的向量矩陣A_Position Embedding(簡稱AP)，api∈Ra_d表示a_d維的詞向量，這里的維度a_d選擇10維。同時(shí)，對于相對位置可以設(shè)置為R-Position={-3,-2,-1, 0, 1, 2, 3}，對應(yīng)生成一個(gè)7*r_d的向量矩陣R_Position Embedding(簡稱RP)，rpi∈Rr_d表示r_d維詞向量，這里的維度r_d選擇10維。

Attention機(jī)制[10]實(shí)際上是一種神經(jīng)網(wǎng)絡(luò)中計(jì)算權(quán)重的方法，針對情緒原因子句與情緒表達(dá)子句特殊的位置結(jié)構(gòu)信息，本文通過在Bi-LSTM層后添加Attention層來增強(qiáng)情緒原因子句的語言現(xiàn)象對情緒原因子句識別任務(wù)的影響。這里，本文會得到一個(gè)在位置結(jié)構(gòu)信息影響下的隱層狀態(tài)向量表示r，具體如式(10)～式(12)所示。

其中，Hout為Bi-LSTM層的隱層狀態(tài)輸出，APa、RPr分別為絕對位置詞向量矩陣和相對位置詞向量矩陣，apa與rpr為詞向量矩陣中的一維詞向量，APa?apa表示向量AP重復(fù)N次后進(jìn)行拼接的操作，RPr?rpr表示向量RP重復(fù)N次后進(jìn)行拼接的操作，Wh、Wa、Wr、w均為訓(xùn)練后可學(xué)習(xí)到的參數(shù)。

(4)Output層

本層主要用于預(yù)測一個(gè)文檔中所有子句中成為情緒原因子句的概率，是一個(gè)二分類問題。這里，本文使用sigmoid函數(shù)對結(jié)果進(jìn)行預(yù)測，具體如式(13)所示。

y=sigmoid(Wyr+by)

(13)

其中，r為上一層輸出得到的結(jié)果，Wy、by為可訓(xùn)練學(xué)習(xí)到的參數(shù)。

2.3 模型訓(xùn)練

(14)

其中，i表示子句的索引號，j表示類別的索引號，本文的分類任務(wù)是二分類，λ是L2的正則項(xiàng)，θ是參數(shù)。

3 實(shí)驗(yàn)與分析

本書首先介紹實(shí)驗(yàn)的設(shè)置和數(shù)據(jù)集，然后與一些基線方法進(jìn)行性能上的對比與分析，最后列出一些可視化的結(jié)果，并對其進(jìn)行分析。

3.1 實(shí)驗(yàn)設(shè)置

在本部分，本文首先分析實(shí)驗(yàn)室使用的數(shù)據(jù)集，然后介紹具體的評價(jià)指標(biāo)和基線方法，最后給出在模型訓(xùn)練過程中的實(shí)現(xiàn)細(xì)節(jié)。

(1) 數(shù)據(jù)集

為了驗(yàn)證方法的有效性，本文使用Gui等人[16]標(biāo)注的情緒原因數(shù)據(jù)集。這是一個(gè)公開可下載的中文情緒原因數(shù)據(jù)集(1)http://hlt.hitsz.edn.cn/?page_id=694，該數(shù)據(jù)集有2 105篇文檔，主要來自新浪城市新聞(2)http://news.sina.com.cn/society。每個(gè)文檔都被手動(dòng)分割成若干個(gè)子句，這里的子句以逗號、句號、感嘆號和問號為結(jié)尾。每個(gè)文檔都包含一個(gè)情緒詞，以及一個(gè)或一個(gè)以上的情緒原因。該任務(wù)的目標(biāo)在于識別每個(gè)文檔中哪個(gè)子句是情緒原因子句，具體的數(shù)據(jù)集統(tǒng)計(jì)信息如表4所示。

表4 數(shù)據(jù)集統(tǒng)計(jì)信息

(2) 評價(jià)指標(biāo)

對于情緒原因的識別任務(wù)，本文的評價(jià)指標(biāo)與Gui等人[16]、慕永利等人[7]的評價(jià)方法一致，均采用準(zhǔn)確率、召回率和F1值這三個(gè)指標(biāo)。對于數(shù)據(jù)集的訓(xùn)練和測試的比例劃分，也采用相同的策略。在實(shí)驗(yàn)過程中，本文隨機(jī)將數(shù)據(jù)集的90%作為訓(xùn)練集，10%作為測試集，反復(fù)重復(fù)實(shí)驗(yàn)10次，即采用10倍交叉驗(yàn)證，求取各個(gè)衡量指標(biāo)的平均值。

(3) 基線方法

對于情緒原因的識別任務(wù)，本文設(shè)置了如下的基線方法。

?RB: 基于規(guī)則的方法[4]。

?CB: 基于常識的方法[21]。

?ML: 用基于規(guī)則的方法進(jìn)行特征抽取，然后利用機(jī)器學(xué)習(xí)方法進(jìn)行分類[22]。

?SVM: 該方法以SVM為分類器，采用許多有效的特征，如1-gram、2-gram和3-gram等，由Li和Xu提出[23]。

?Word2Vec: 該方法使用SVM的分類器，其詞向量由Word2Vec[18]學(xué)習(xí)得到。

?Multi-kernel: 該方法使用一種多核的方法來識別情緒原因[16]。

?Memnet: 該深度記憶網(wǎng)絡(luò)由Gui等人在2017年提出[8]，其詞向量由skip-gram模型提前預(yù)訓(xùn)練得到，網(wǎng)絡(luò)為3層結(jié)構(gòu)。

?ConvMS-Memnet: 該網(wǎng)絡(luò)同樣由Gui等人在2017年提出[8]，是目前情緒原因識別任務(wù)中性能最佳的模型。本文列舉該網(wǎng)絡(luò)的最佳結(jié)果，使用預(yù)訓(xùn)練好的詞向量，層數(shù)為3。

?CNN: 該方法由慕永利等人[7]在2017年提出，使用卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)識別情緒原因句。

?E-CNN: 該方法由慕永利等人[7]在2017年提出，使用融合多個(gè)的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)識別情緒原因子句，該結(jié)果為論文中的最佳結(jié)果。

?Bi-LSTM: 采用雙向LSTM模型進(jìn)行情緒原因識別[9]。

?ECPA: 該方法為在2.2節(jié)提出的本文方法，首先考慮了情緒詞向量和情緒類別向量，在Bi-LSTM模型的基礎(chǔ)上，使用了基于相對位置和絕對位置的注意力增強(qiáng)機(jī)制。

(4) 實(shí)驗(yàn)細(xì)節(jié)

對于情緒原因的識別任務(wù)，本文采用10倍交叉驗(yàn)證來進(jìn)行實(shí)驗(yàn)。本文使用Word2Vec詞向量[18]，使用twitter和新浪微博的未標(biāo)注數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練，其中對比了詞向量維度分別為100、200、300時(shí)的分類性能，最終選取詞向量維度為300。Bi-LSTM的神經(jīng)單元個(gè)數(shù)為100，其他參數(shù)均采用均勻分布U(-0.01, 0.01)進(jìn)行初始化。為防止過擬合，本文采用dropout策略，值為0.5。使用AdaGrad作為優(yōu)化方法，學(xué)習(xí)率為0.01，mini-batch為32。

3.2 實(shí)驗(yàn)性能對比

首先，本文將提出的ECAP方法與基線方法進(jìn)行對比，結(jié)果如表5所示。

表5 情緒原因識別任務(wù)中不同方法的結(jié)果對比

(1) 對于基于規(guī)則的方法，RB取得了較高的準(zhǔn)確率和較低的召回率，而基于常識的方法CB則相反，取得了較高的召回率和較低的準(zhǔn)確率，CB的召回率為目前方法的最高值71.30%，說明基于常識的方法是比較全面的一種方法，而兩者的融合方法RB+CB的F1值取得了較大的性能提升，相比于RB方法提升了1.27%。

(2) 對于機(jī)器學(xué)習(xí)方法，RB+CB+ML的F1值要高于RB+CB，說明使用規(guī)則和常識作為特征，機(jī)器學(xué)習(xí)方法作為分類器是更有效的；而SVM和Word2Vec方法都設(shè)計(jì)了詞級別的特征，取得了相似的性能；Multi-kernel方法取得了較高的性能，原因在于通過句法分析樹引入了上下文信息，同時(shí)使用了一個(gè)情感詞典。

(3) 對于深度學(xué)習(xí)方法，CNN和E-CNN均采用了卷積神經(jīng)網(wǎng)絡(luò)，其中E-CNN能夠識別不包含情緒原因的子句以及各種類型語言結(jié)構(gòu)的情緒原因子句；Memnet和ConvMS-Memnet采用了深度記憶網(wǎng)絡(luò)，這種多層網(wǎng)絡(luò)結(jié)構(gòu)能夠更深層次地挖掘語義信息，其中ConvMS-Memnet在該任務(wù)上取得了當(dāng)前最佳的F1值。

(4) 本文提出的ECPA模型能夠充分學(xué)習(xí)到文本的上下文信息，其結(jié)果明顯高于CNN和E-CNN；而本文的ECPA模型的準(zhǔn)確率和F1值明顯高于ConvMS-Memnet模型，說明本文的模型充分地考慮到了情緒詞和情緒類別對識別情緒原因的影響，也學(xué)習(xí)了表達(dá)子句之間的位置結(jié)構(gòu)信息。

3.3 ECPA模型的分析

本節(jié)列出了一系列的模型來驗(yàn)證我們提出的ECPA模型的有效性。首先，本文只使用Bi-LSTM模型識別情緒原因；然后，依次加入注意力機(jī)制、情緒詞詞向量(Emotion Embedding)、情緒類別詞向量(Category Embedding)、基于絕對位置(A-Position)的Attention機(jī)制和基于相對位置(R-Position)的Attention機(jī)制，驗(yàn)證對情緒原因識別任務(wù)的影響；最后，對ECPA模型進(jìn)行分析。具體的結(jié)果如表6所示。

表6 ECPA模型的性能分析

(1) 本模型使用Bi-LSTM來挖掘情緒原因的上下文信息，能夠從前向和后向兩個(gè)角度充分地學(xué)習(xí)潛在語義信息，與CNN模型相比取得了更好的結(jié)果；在此模型的基礎(chǔ)上，引入注意力機(jī)制，在該任務(wù)上其F1值提升了1.9%，表明使用注意力機(jī)制能更有效地挖掘到情緒原因的本質(zhì)特點(diǎn)并賦予更多的關(guān)注。

(2) 在Bi-LSTM和注意力機(jī)制的基礎(chǔ)上，本文嘗試先加入情緒詞向量，結(jié)果提升了近6%，說明情緒詞能夠深刻地影響著情緒原因的發(fā)現(xiàn)，體現(xiàn)出因與果的語義關(guān)聯(lián)性，在加入情緒類別詞向量后，性能提升了1.5%，這表明情緒詞所屬的情緒類別信息能夠從更高維的語義空間上影響情緒原因的識別。

(3) 對于注意力機(jī)制，本文首先引入基于絕對位置的Attention模型，結(jié)果提升了4%，然后在此基礎(chǔ)之上，引入基于相對位置的Attention模型，結(jié)果提升了4.5%，達(dá)到了ECPA模型的最佳結(jié)果，高于其他基線方法。這表明Attention機(jī)制與位置信息的結(jié)合是有效的，同時(shí)位置結(jié)構(gòu)信息能夠極大地影響情緒原因識別任務(wù)的性能。

4 結(jié)論與未來工作

本文重點(diǎn)在于識別情緒原因。為此，本文提出了一種有效的情緒原因識別模型ECPA，從情緒原因的語言學(xué)特點(diǎn)出發(fā)，首先考慮情緒信息，如情緒詞、情緒類別的影響力，然后通過Bi-LSTM模型理解句子的上下文信息，同時(shí)學(xué)習(xí)在相對位置和絕對位置信息作用下的注意力分配機(jī)制，最終有效地識別情緒原因句子。實(shí)驗(yàn)結(jié)果表明，本文的ECPA模型具有足夠的識別情緒原因句的能力，已達(dá)到國內(nèi)外先進(jìn)水平。對于未來的工作，我們需要找到更高效的特征和手段來識別和理解情緒原因句，也可以精確定位情緒原因子句的位置，同時(shí)可以嘗試開展情緒原因生成的工作。這些都是將來可探索的方向。