融合情感符號的自注意力BLSTM情感分析

劉臣　方結(jié)　郝宇辰

摘 要：利用深度學(xué)習(xí)方法進(jìn)行情感分析時，將文本作為一個整體進(jìn)行編碼，缺乏對表情符號與情感詞的有效關(guān)注。而傳統(tǒng)基于詞典的方法則過分依賴于情感詞典與判斷規(guī)則的質(zhì)量，不能充分考慮文本深層語義關(guān)系。針對該問題，構(gòu)建融合表情符號與情感詞的自注意力模型。通過BLSTM訓(xùn)練得到情感符號，并與文本特征向量融合，同時引入結(jié)構(gòu)化自注意力機(jī)制識別文本中不同情感符號的情感信息。在NLPCC2014和微博公開語料數(shù)據(jù)集上的實驗表明，相較傳統(tǒng)情感分析方法，該模型可有效提高情感分類準(zhǔn)確率。

關(guān)鍵詞：情感分析;情感符號;注意力機(jī)制;雙向長短期記憶網(wǎng)絡(luò)

DOI：10. 11907/rjdk. 191707

中圖分類號：TP301 ? 文獻(xiàn)標(biāo)識碼：A??????????????? 文章編號：1672-7800（2020）003-0039-05

Self-attention BLSTM Emotion Analysis with Emotion Symbols

LIU Chen， FANG Jie， HAO Yu-chen

（School of Management， University of Shanghai For Science and Technology，Shanghai 200093，China）

Abstract： In current emotion analysis tasks， deep learning usually encodes the text as a whole and lacks effective attention to emoticons and emotion words. The traditional dictionary-based approach relies too much on the quality of affective dictionaries and judgment rules and fails to fully consider the deep semantic relationship of texts. In this paper， a self-attention model integrating emoticons and emoticons is constructed， and emoticons and text features are obtained through BLSTM learning for fusion. At the same time， the self-attention mechanism is introduced to recognize the emotional information of different emotive symbols in the text. Experiments on NLPCCW 2014 and the Weibo public corpus data set show that compared with previous methods of emotion analysis， the model in this paper can effectively improve the accuracy of emotion classification.

Key Words： emotional analysis;emoticons;attention mechanism; bidirectional long short-term memory network

0 引言

情感分析，也稱為觀點挖掘，其目的是對特定文本進(jìn)行分析處理，挖掘其中蘊含的情感色彩[1]。作為自然語言處理（NLP）的重要分支，情感分析受到越來越多的關(guān)注。隨著互聯(lián)網(wǎng)行業(yè)的發(fā)展、微博社交平臺的推廣，網(wǎng)絡(luò)中產(chǎn)生了大量短文本信息數(shù)據(jù)。分析微博內(nèi)容是否包含用戶主觀情感、包含哪種極性的情感，對研究微博信息傳播機(jī)制與動態(tài)、突發(fā)事件趨勢預(yù)測，甚至股票市場預(yù)測均有重要意義[2-3]。

現(xiàn)有微博情感分析方法主要可分為3種：基于情感詞典的方法、傳統(tǒng)機(jī)器學(xué)習(xí)方法與深度學(xué)習(xí)方法。基于情感詞典的方法首先構(gòu)建微博情感分析知識庫，包括情感詞典、短語詞典、表情符號詞典、句法依存關(guān)系規(guī)則庫[1]，然后利用知識庫對微博情感進(jìn)行聚合計算[4]?；谔卣鞣诸惖臋C(jī)器學(xué)習(xí)方法首先進(jìn)行特征工程，構(gòu)建微博情感分類特征集;然后利用有監(jiān)督的機(jī)器學(xué)習(xí)方法對情感博情緒進(jìn)行分類[5]。其使用的特征集包括n-gram特征、詞性特征、句法依存關(guān)系特征、TF-IDF特征。常用于微博情感分析的機(jī)器學(xué)習(xí)方法包括樸素貝葉斯方法、支持向量機(jī)、條件隨機(jī)場，以及集成學(xué)習(xí)方法等[6]。首先基于深度學(xué)習(xí)的方法對微博文本進(jìn)行分詞，將詞匯表示為詞向量的形式;然后構(gòu)建深度神經(jīng)網(wǎng)絡(luò)模型抽取微博文本語義，構(gòu)建微博情感表征向量;最后進(jìn)行情感分類。常用深度學(xué)習(xí)模型包括循環(huán)神經(jīng)網(wǎng)絡(luò)、卷積神經(jīng)網(wǎng)絡(luò)等。文獻(xiàn)[7]利用雙向長短期記憶網(wǎng)絡(luò)模型針對微博用戶負(fù)面情緒進(jìn)行分析，將其分為憤怒、 悲傷和恐懼3種;文獻(xiàn)[8]利用卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行微博情感傾向性分析;文獻(xiàn)[9]將不同特征信息結(jié)合形成不同的網(wǎng)絡(luò)輸入，構(gòu)建多通道卷積神經(jīng)網(wǎng)絡(luò)用于微博情感分類。為提高模型情感語義抽取能力，研究者在深度學(xué)習(xí)模型中引入了多種更復(fù)雜的機(jī)制，例如注意力機(jī)制、深度記憶網(wǎng)絡(luò)等。

注意力機(jī)制最早用于處理圖像信息，Mnih等[10]根據(jù)人腦會集中關(guān)注自己感興趣的事物的特點，通過計算注意力概率分布，對關(guān)鍵性輸入進(jìn)行突出表達(dá)，從而提高了圖像分類效果。此外，注意力機(jī)制在文本分類和機(jī)器翻譯等領(lǐng)域[11-12]也得到了廣泛應(yīng)用。張浩宇等[13]構(gòu)建了自注意力網(wǎng)絡(luò)模型，Pavlopoulos [14]在用戶評論任務(wù)中首次運用深層注意力機(jī)制，取得了非常好的效果。

在目前微博情感分析任務(wù)中，文本過短、對表情符號與情感詞的作用體現(xiàn)不夠，文本信息特征體現(xiàn)不足。為了解決以上問題，本文提出一種融合情感符號與文本信息的BLSTM神經(jīng)網(wǎng)絡(luò)模型，將文本信息和情感符號信息同時作為輸入，通過BLSTM學(xué)習(xí)得到情感符號，與文本特征表示進(jìn)行融合，引入結(jié)構(gòu)化自注意力機(jī)制識別文本中不同情感符號的情感信息。

1 雙向LSTM模型

長短期記憶（Long-Short Term Memory，LSTM）屬于循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）的變種。依賴于其獨特機(jī)制，LSTM能處理間隔距離長的文本特征信息，在自然語言處理中獲得了廣泛應(yīng)用[15]。

LSTM模型是由t時刻的輸入詞[xt]、細(xì)胞狀態(tài)[Ct]、臨時細(xì)胞狀態(tài)[ct]，隱層狀態(tài)[ht]、遺忘門[ft]、記憶門[it]、輸出門[Ot]組成。通過遺忘細(xì)胞狀態(tài)中的信息、記憶新信息使對后續(xù)時刻計算有用的信息得以傳遞，而無用的信息被丟棄，并在每個時間步均會輸出隱層狀態(tài)[ht]，其中遺忘、記憶與輸出由通過上個時刻的隱層狀態(tài)[ht-1]和當(dāng)前輸入[xt]計算的遺忘門[ft]、記憶門[it]、輸出門[Ot]控制。

遺忘門待遺忘的信息有：

記憶門應(yīng)記憶的信息有：

當(dāng)前時刻細(xì)胞狀態(tài)為：

輸出門與當(dāng)前時刻隱層狀態(tài)為：

最終，可以得到長度相同的隱層狀態(tài)序列[h0，h1，？，hn-1}]。

傳統(tǒng)LSTM只能按次序讀取文本，考慮微博上下文信息，本文使用能夠雙向提取特征的BLSTM模型。在每一個時間序列前后配置一個正向LSTM，由[x1]讀取到[xt]，以及一個反向LSTM，由[xt]讀取到[x1]，連接在同一個輸出層，從而獲取時間點過去、未來完整的上下文信息。

2 注意力機(jī)制

注意力機(jī)制最開始用于圖像處理任務(wù)， 目的是從眾多畫面中找到對當(dāng)前目標(biāo)更關(guān)鍵的信息[16]。該方法借鑒了人類視覺注意力，即人類視覺掃描一個物體時，往往著重關(guān)注物體某個特定區(qū)域，而忽視一些次要信息，從大量信息中篩選出高價值的信息[17]。近年來，注意力機(jī)制在多個領(lǐng)域得到廣泛運用。2014 年，Mnih等[5] 在圖像分類任務(wù)上引入注意力機(jī)制，捕捉一幅圖像的重要特征，獲得了非常好的效果;隨后，Bahdanau 等[7]將注意力機(jī)制應(yīng)用于NLP 領(lǐng)域，在機(jī)器翻譯任務(wù)上引入注意力模型，使翻譯和對齊同時進(jìn)行;張仰森等[18]在文本上使用雙重注意力機(jī)制，成功提取到對文檔比較重要的詞或句子，提高了文本分類效果。

令[w=[w1，？，wn]]表示輸入序列，[h=[h1，？，hn]]=[gx] 為隱含層輸出。[g]可用RNN、CNN或其它神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)實現(xiàn)，用以對輸入數(shù)據(jù)進(jìn)行序列編碼。注意力機(jī)制的思想是在特征提取時，對隱層輸出序列的不同部分賦予不同程度的重要性權(quán)重。該權(quán)重是注意力機(jī)制的核心，表示為：

其中，[q]稱為查詢向量，當(dāng)[q]來自[h]時稱為自注意力，[f]為[q]和[hi]的匹配函數(shù)，可以使用多種實現(xiàn)方式[19]。

3 模型

本文融合情感符號和結(jié)構(gòu)化自注意力編碼機(jī)制， 提出一種結(jié)構(gòu)化BLSTM網(wǎng)絡(luò)模型，該模型將BLSTM網(wǎng)絡(luò)的長期上下文信息存儲機(jī)制與結(jié)構(gòu)化自注意力編碼抽取句子多方面信息的能力結(jié)合起來。

模型使用文本和情感符號信息作為輸入，通過BLSTM學(xué)習(xí)得到情感符號矩陣與文本特征表示進(jìn)行融合，引入自注意力模型提取句子中含有重要意義的表情符號與情感詞構(gòu)成新的文本表示向量。模型整體架構(gòu)如圖1所示。

3.1 詞向量輸入層

深度學(xué)習(xí)方法進(jìn)行情感分析的第一步是將文本句子序列向量化。將微博文本與情感符號兩部分作為模型輸入。本文應(yīng)用谷歌公司的一款開源詞向量工具Word2Vec，利用詞向量訓(xùn)練模型學(xué)習(xí)得到微博文本向量[w]與情感符號向量[E]。

對一條微博文本：，模型輸入主要包括兩部分：微博文本的詞向量矩陣[wi]與表情符號和情感詞集合的詞向量矩陣[Ej]。其中d為詞向量維數(shù)。

3.2 BLSTM層構(gòu)建

對于微博文本信息，不僅要考慮詞語上下文聯(lián)系，還要識別出不同文本詞語對情感的表達(dá)程度，對情感表現(xiàn)重要的詞語需要賦予更高權(quán)重。對于微博情感符號信息，則需要找出其中最重要的情感信號與情感詞。所以本文模型使用兩個雙向LSTM 層分別對微博文本、情感詞和表情符號進(jìn)行訓(xùn)練，獲取語義深層表達(dá)。其中，雙向LSTM在文本層面產(chǎn)生的特征向量為：

在情感符號層面產(chǎn)生的特征向量為：

同時使用一個池化層聚合情感符號特征，進(jìn)而產(chǎn)生單一的特征。在池化層生成情感符號特征向量表示為：

3.3 特征融合

在獲取純文本特征向量和情感符號的深層語義表達(dá)后，本文使用加的方式將文本經(jīng)過BLSTM產(chǎn)生的特征與經(jīng)過池化層將主題聚合后的特征進(jìn)行連接，對每一條文本形成融合特征。

3.4 結(jié)構(gòu)化自注意力機(jī)制

微博文本情感分析需更多地關(guān)注句子中的表情符號和情感詞信息。因此本文引入注意力機(jī)制提取句子中含有重要意義的表情符號和情感詞。為了提高句中針對主題表達(dá)情感詞向量的貢獻(xiàn)率，采用結(jié)構(gòu)化自注意力機(jī)制，用以衡量與表情結(jié)合后微博中詞語重要程度權(quán)重。

是特征融合層輸出，。其中，d 表示隱藏層維度，N 表示輸入句子的長度。注意力模型通過對每一個輸出狀態(tài)[h*i] 進(jìn)行加權(quán)，從而實現(xiàn)為輸入文本構(gòu)造一個上下文相關(guān)的文本表示向量S。

？S？表示句中每個詞結(jié)合情感符號后的特征表示，[at]表示情感符號對句中第t個詞的重要程度，其定義為：

其中，[ws1]是大小為[？a*2u]的權(quán)重矩陣，[ws2]是大小為[？a]的向量參數(shù)，[？a]隨機(jī)設(shè)定。將融合后獲得的文本情感符號特征[h*i]和注意力權(quán)重[at]進(jìn)行加權(quán)，即可得到一個定長的、與上下文相關(guān)的文本情感符號表示向量[S]，向量中的信息包含各個輸入狀態(tài)的重要程度。

3.5 情感分類

模型最后由一個全連接神經(jīng)網(wǎng)絡(luò)層構(gòu)成，其輸入為最后一個計算步微博文本表示矩陣S，最終微博情感類別為：

其中，W=[[w1，w2，？，wn]]為全連接層的權(quán)值矩陣，b=[[b1，b2，？，bn]]為殘差向量。

3.6 損失函數(shù)

模型中全連接層的激活函數(shù)采用softmax函數(shù)，可將輸出結(jié)果看作微博情感類別上的概率分布。因此模型采用交叉熵?fù)p失函數(shù)。

其中，[D]為微博文檔集合，t為集合里一條微博，[E]為情感類別集合，共分為3類（積極、消極、中性）;優(yōu)化目標(biāo)是將所有數(shù)據(jù)中已知情感類別與預(yù)測情感類別的交叉熵最小化。[y]是真實情感類別，[y]是模型預(yù)測情感類別。

3.7 注意力懲罰因子

模型訓(xùn)練過程中，[at]中不同的注意力向量可能會關(guān)注同一個微博情感特征，造成信息冗余，影響模型性能。為了強(qiáng)制不同的注意力向量關(guān)注不同的特征，文獻(xiàn)[20]提出一種懲罰機(jī)制，使不同的注意向量具有不同的分布，非零元素集中在不同的維度上。本文采用該懲罰機(jī)制，使最后一個計算步的注意力矩陣[at]中各注意力向量集中于不同的微博情感特征。該懲罰項作為目標(biāo)函數(shù)的一部分，與損失函數(shù)同時在訓(xùn)練中最小化，因此模型訓(xùn)練的目標(biāo)函數(shù)為：

其中，[p∈[0，1]]為懲罰因子，為矩陣的Frobenius范數(shù)，[I]為單位陣。

4 實驗

4.1 數(shù)據(jù)集

為探究情感符號在微博情感分類中發(fā)揮的作用，增加具有情感符號的語料在整個數(shù)據(jù)集中的比重。其中[高興]等歸納為消極類。本文將 NLPCC2014提供的中文評測數(shù)據(jù)集中所有包含情感符號的微博抽取出來，組成另一個語料，同時在微博平臺爬取10 000條微博數(shù)據(jù)構(gòu)建一個含有大量情感符號的微博語料，本部分以該語料作為實驗數(shù)據(jù)進(jìn)行分析，實驗數(shù)據(jù)如表1所示。

4.2 實驗設(shè)置

先對數(shù)據(jù)進(jìn)行預(yù)處理，去除微博文本中的鏈接、微博用戶名及部分標(biāo)點符號。對3個數(shù)據(jù)集采用10折交叉驗證進(jìn)行實驗，對于未包含表情符號與情感詞的微博，采用均勻分布的U（[-ε，ε]）進(jìn)行隨機(jī)初始化。

本文實驗采用已預(yù)訓(xùn)練的Word2vec詞向量進(jìn)行初始化，文本中詞向量維度、情感符號詞向量維度和經(jīng)過BLSTM 輸出的特征連接后的維度均為300。注意力權(quán)重的維度和文本中的長度一致。實驗中每 60 個樣本1個 batch，共迭代40個epoch，Adam學(xué)習(xí)率為0.001，代價函數(shù)懲罰項為0.001。Dropout 設(shè)置為0.5，LSTM設(shè)置為64層，BLSTM為128層。

4.3 實驗對比

為探究情感符號在微博情感分類中的作用，將本文提出的模型Att-BLSTM-text-emoij與以下5種模型在3個不同數(shù)據(jù)集上進(jìn)行實驗。

（1）情感詞典。該模型按規(guī)則進(jìn)行匹配[3]。

（2）SVM。該模型使用傳統(tǒng)機(jī)器學(xué)習(xí)算法支持向量機(jī)進(jìn)行情感分類[21]。

（3）BLSTM。該模型將純文本作為模型唯一輸入，使用BLSTM對詞向量進(jìn)行訓(xùn)練。該模型包括一個前向LSTM和一個反向LSTM，將兩者輸出序列合并作為文本序列的表征向量，同樣利用全連接層進(jìn)行分類[22]。

（4）BLSTM-text-emoji，即文本+表情符號輸入的BLSTM情感分析網(wǎng)絡(luò)模型。該模型考慮表情符號的特征信息，利用BLSTM模型訓(xùn)練提取文本深層語義信息。其優(yōu)化目標(biāo)及訓(xùn)練方法與本文模型相同。

（5）Att-BLSTM。在BiLSTM的基礎(chǔ)之上加入注意力機(jī)制，使隱含層的不同輸出在最終的句子表達(dá)中發(fā)揮不同作用[23]。

4.4 實驗結(jié)果分析

本文選取 NLPCC2014數(shù)據(jù)集與爬取的微博數(shù)據(jù)集的訓(xùn)練樣本作為模型訓(xùn)練集進(jìn)行模型訓(xùn)練和交叉校驗，采用其測試樣例進(jìn)行測試，使用準(zhǔn)確率作為情感分析的評估標(biāo)準(zhǔn)。結(jié)果如表2、圖2所示。由表2實驗結(jié)果可知，本文提出的融合情感符號特征的自注意力模型比其它4種模型效果更好，具有更高的準(zhǔn)確率。

圖2中，橫坐標(biāo)為模型序號，縱坐標(biāo)表示準(zhǔn)確率。在傳統(tǒng)情感分析方法中，SVM的準(zhǔn)確率普遍優(yōu)于構(gòu)建情感詞典模型，準(zhǔn)確率有很大提升。而深度學(xué)習(xí)方法比傳統(tǒng)方法（SVM、情感詞典）效果更好。

對比使用深度學(xué)習(xí)方法的4組實驗結(jié)果，相對于模型3僅使用文本特征作為情感特征的輸入，模型4、6使用情感符號與文本作為情感特征的輸入，豐富了文本特征信息，取得了更好效果。模型5引入注意力機(jī)制，從實驗結(jié)果來看，模型準(zhǔn)確捕捉到了對文本分類更重要的特征，相對于模型3提升效果顯著，但相對于結(jié)合情感符號模型4在微博文本分析中并沒有絕對優(yōu)勢，原因可能在于微博短文本內(nèi)容有限，不能充分表達(dá)情感信息。因此本文提出的模型6引入情感符號特征信息作為補(bǔ)充。綜合以上數(shù)據(jù)集實驗結(jié)果分析可知，本文提出的Att-BLSTM-text-emoji模型優(yōu)于單獨使用文本詞向量與注意力機(jī)制的模型。

由此可知，在情感分類任務(wù)上，引入情感符號特征和結(jié)構(gòu)化注意力機(jī)制對情感分類準(zhǔn)確率具有正面作用，可有效提高情感分類效果。

4.5 可視化注意力機(jī)制

本部分隨機(jī)抽取數(shù)據(jù)集中3條微博驗證本文自注意力模型的有效性。

圖3展示的是融合情感符號的自注意力模型分類結(jié)果。注意力向量α權(quán)重用顏色深度表示，權(quán)重越大顏色越深。文本（a）表示的情感符號是“[開心]”，模型注意力更多地體現(xiàn)在“好看”、“漂亮”等積極層面信息。

而文本（b）表示的情感符號是“[難過]”。模型更多地關(guān)注“費電”、“偏僻”等負(fù)面信息。

5 結(jié)語

本文提出了一種融合文本信息與情感符號特征的自注意力情感分析方法。將微博情感符號和文本作為模型輸入，通過雙向LSTM模型訓(xùn)練得到上下文深層語義特征并進(jìn)行融合，豐富了純文本情感信息;同時引入結(jié)構(gòu)化自注意力機(jī)制，提取文本中對情感分類具有重要意義的特征信息。在3個數(shù)據(jù)集上的實驗表明，相比于傳統(tǒng)情感分類研究方法，本文提出的模型準(zhǔn)確率更高，模型泛化性更強(qiáng)。

由于中文語義結(jié)構(gòu)歧義性與復(fù)雜程度，模型對于文本語義特征提取的能力還有待提高。該模型還可進(jìn)一步拓展，利用多分類方法進(jìn)行細(xì)粒度更高的微博情緒分析。此外，微博中包含的情緒可能超過一種，下一步工作將考慮多個情感符號相互關(guān)系對語義信息的影響，利用基于深度學(xué)習(xí)的多標(biāo)記分類方法進(jìn)行微博情緒分析。

參考文獻(xiàn)：

[1]宋祖康，閻瑞霞，辜麗瓊.? 基于機(jī)器學(xué)習(xí)與情感詞典的文本主題概括及情感分析[J].? 軟件導(dǎo)刊， 2019， 18（4）： 4-8.

[2]PENG H， CAMBRIA E， HUSSAIN A. A review of sentiment analysis research in Chinese language[J]. Cognitive Computation，2017，9 （4）：1-13.

[3]擁措，史曉東，尼瑪扎西. 短文本情感分析的研究現(xiàn)狀——從社交媒體到資源稀缺語言[J]. 計算機(jī)科學(xué)，2018，45（S1）：46-49+68.

[4]TANG D Y， QIN B， LIU T. Document modeling with gated recurrent neural network for sentiment classification[C]. Proceedings of Conference on Empirical Methods in Natural Language Processing， 2015： 1422-1432.

[5]MNIH V，HEESS N，GRAVES A，et al. Recurrent models of visual attention[C]. Proceedings of the 27th International Conference on Advances in Neural Information Processing Systems，2014：2204-2212.

[6]周才東，曾碧卿，王盛玉，等.? 結(jié)合注意力與卷積神經(jīng)網(wǎng)絡(luò)的中文摘要研究[J]. 計算機(jī)工程與應(yīng)用，2019， 55（8）： 132-137.

[7]BAHDANAU D，CHO K， BENGIO Y. Neural machine translation by jointly learning to align and translate[C]. Proceedings of International Conference on Learning Representations， 2015：1-15.

[8]張浩宇，張鵬飛，李真真，等. 基于自注意力機(jī)制的閱讀理解模型[J]. 中文信息學(xué)報，2018，32（12）：125-131.

[9]PAVLOPOULOS J，MALAKASIOTIS P，ANDROUTSOPOULOS I.Deeper attention to abusive user content moderation [C]. Proceedings of Conference on Empirical Methods in Natural Language Processing， 2017： 1136-1146.

[10]PANG Bo， LEE L， VAITHYANATHAN S. Thumbs up？： sentiment classification using machine learning techniques [C]. ACL Conference on Empirical Methods in Natural Language Processing，2002： 76-86.

[11]PONTIKI M，GALANIS D，PAVLOPOULOS J， et al. Semeval-2014 task4： aspect based sentiment analysis [C]. The 8th International Workshop on Semantic Evaluation. 2014： 27-35.

[12]ROSENTHAL S， FARRA N， NAKOV P. SemEval-2017 task4： sentiment analysis in Twitter [C].? Proceedings of SemEval，2017：1-5.

[13]KIRITCHENKO S，ZHU X D，CHERRY C，et al. NRC-Canada-2014： detecting aspects and sentiment in customer reviews [C]. Proceedings of the 8th International Workshop on Semantic Evaluation， 2014： 437-442.

[14]劉思葉，田原，馮雨寧，等. 游客微博主題情感分析方法比較研究[J]. 北京大學(xué)學(xué)報：自然科學(xué)版，2018，54（4）：687-692.

[15]TAI K S， SOCHER R， MANNING S D. Improved semantic representations from tree-structured long short-term memory networks[C].? Procedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing， 2015：1556-1566.

[16]TANG D Y， QIN B， FENG X C，et al. Effective LSTMs for target-dependent sentiment classification [C].? Proceedings of the 26th International Conference on Computational Linguistics，2016： 3298-3307.

[17]KIRITCHENKO S，ZHU X D，CHERRY C，et al. NRC-Canada-2014： detecting aspects and sentiment in customer reviews [C].? Proceedings of the 8th International Workshop on Semantic Evaluation， 2014： 437-442.

[18]張仰森，鄭佳，黃改娟，等. 基于雙重注意力模型的微博情感分析方法[J]. 清華大學(xué)學(xué)報：自然科學(xué)版，2018，58（2）：122-130.

[19]VASWANI A， SHAZEER N， PARMAR N et al. Attention is all you need [C]. Long Beach：Proceedings of the Conference and Workshop on Neural Information Processing Systems （NIPS），2017.

[20]LUONG M-T， PHAM H， MANNING C D. Effective approaches to attention-based neural machine translation[C]. Lisbon：Proceedings of the Conference on Empirical Methods in Natural Language Processing， 2015.

[21]韓開旭，任偉建. 基于改進(jìn)Fisher核函數(shù)的支持向量機(jī)在推特數(shù)據(jù)庫情感分析中的應(yīng)用[J]. 自動化技術(shù)與應(yīng)用，2015，34（11）：30-36.

[22]HOCHEREITER S，SCHMIDHUBER J. Long short-term memory[J].? Neural Computation， 2012， 9（8）： 1735-1780.

[23]QIU Y Y， LI H Z， LI S et al. Revisiting correlations between intrinsic and extrinsic evaluations of word embeddings[C]. Changsha： Proceedings of the Chinese Computational Linguistics and Natural Language Processing Based on Naturally Annotated Big Data， 2018.

（責(zé)任編輯：江 艷）

收稿日期：2019-05-21

基金項目：國家自然科學(xué)基金項目（7177411，71303157）

作者簡介：劉臣（1981-），男，上海理工大學(xué)管理學(xué)院副教授、碩士生導(dǎo)師，研究方向為互聯(lián)網(wǎng)用戶行為、Web數(shù)據(jù)挖掘;方結(jié)（1996-），男，上海理工大學(xué)管理學(xué)院碩士研究生，研究方向為自然語言處理、情感分析;郝宇辰（1995-），男，上海理工大學(xué)管理學(xué)院碩士研究生，研究方向為機(jī)器學(xué)習(xí)。