預(yù)訓(xùn)練模型下融合注意力機(jī)制的多語(yǔ)言文本情感分析方法

胡德敏，褚成偉，胡 晨，胡鈺媛

(上海理工大學(xué) 光電信息與計(jì)算機(jī)工程學(xué)院，上海200093)

1 引 言

互聯(lián)網(wǎng)的快速發(fā)展以及移動(dòng)設(shè)備的迅速普及使得用戶可以方便地通過(guò)網(wǎng)絡(luò)社交平臺(tái)發(fā)表自己的觀點(diǎn)評(píng)論.日常生活中，人們習(xí)慣于：在社交平臺(tái)分享個(gè)人觀點(diǎn)、在電商平臺(tái)發(fā)表商品評(píng)論、在影評(píng)網(wǎng)站上發(fā)表觀后感等等.這些文本大都反應(yīng)用戶的真實(shí)情感，通過(guò)分析評(píng)論中的情感取向可以有效把握社會(huì)輿論的趨勢(shì)，為政府和決策機(jī)構(gòu)提供支持，成為學(xué)術(shù)研究的熱點(diǎn)[1，2].

傳統(tǒng)情感分析方法主要分為三類：1)基于詞典的方法；2)基于機(jī)器學(xué)習(xí)的方法；3)基于深度學(xué)習(xí)的方法.基于詞典的方法以情感詞典為主要依據(jù)并結(jié)合句法規(guī)則判斷文本的情感傾向[3]，這類方法的優(yōu)劣性很大程度上取決于人工設(shè)計(jì)和先驗(yàn)知識(shí)，推廣能力較差，通常會(huì)與其他文本特征相結(jié)合作為情感分類依據(jù).Pang等人[4]首次提出通過(guò)標(biāo)準(zhǔn)機(jī)器學(xué)習(xí)的方法解決情感分類問(wèn)題，特征工程是這類方法的核心，常用的特征有n-gram特征(unigrams，bigrams，trigrams)、Part-of-Speech(POS)特征、句法特征、TF-IDF特征等.2006年Hinton[5]等提出深度學(xué)習(xí)后，深度學(xué)習(xí)方法被引入自然語(yǔ)言處理領(lǐng)域，解決傳統(tǒng)機(jī)器學(xué)習(xí)方法無(wú)法挖掘深層語(yǔ)義的問(wèn)題[6]，深度學(xué)習(xí)方法是目前情感分析領(lǐng)域的主流方法.

相比于傳統(tǒng)的單語(yǔ)言情感分析任務(wù)，多語(yǔ)言情感分析相關(guān)研究較少[7].但在如今的社交平臺(tái)上(微博、Facebook等)，多語(yǔ)言混合的表達(dá)形式使用廣泛，多語(yǔ)社區(qū)環(huán)境下的用戶更傾向于發(fā)表多語(yǔ)言混合的評(píng)論.E1-E5展示了微博上包含中英雙語(yǔ)的評(píng)論.

E1.“真hold不住我的快樂(lè).So happy!”

E2.“這首歌真的太有feel 了”

E3.”用了爵士的腔調(diào)，加了一點(diǎn) free style，so nice !”

E4.”難受 聽(tīng)了一下午 cry cry…”

E5.”John is an aggressive guy! 工作也很努力!”

可以看出，評(píng)論文本中同時(shí)存在兩種語(yǔ)言，兩者交替使用，類似這類同一文本中同時(shí)出現(xiàn)兩種甚至更多語(yǔ)言或語(yǔ)言變體的現(xiàn)象稱為編碼轉(zhuǎn)換(code-switching)，針對(duì)該類文本的情感分類問(wèn)題稱為編碼轉(zhuǎn)換情感分類問(wèn)題，本文研究的多語(yǔ)言情感分類問(wèn)題即編碼轉(zhuǎn)換情感分類問(wèn)題.上述評(píng)論大多以中文為主體，英文文本相對(duì)較少.在這類混合文本中，整體的情感極性不僅取決于中文詞語(yǔ)，還包括一些關(guān)鍵的英文詞(happy，nice，cry等).因此，準(zhǔn)確地提取出不同語(yǔ)言的情感詞對(duì)多語(yǔ)言文本情感分類來(lái)說(shuō)十分重要.

在不同語(yǔ)境下，同一個(gè)單詞可能有著不同的含義和情感傾向，例如E5中aggressive 有兩種含義，可以表示為有侵略性的，攻擊性的，也可以表示為有上進(jìn)心的，積極的，兩者有這截然不同的情感傾向，通過(guò)結(jié)合下文可知aggressive在這里具有正向的情感傾向，可以看出，錯(cuò)誤的詞義將對(duì)整體的情感極性產(chǎn)生嚴(yán)重的影響.因此，解決一詞多義問(wèn)題對(duì)文本情感分析任務(wù)來(lái)說(shuō)同樣十分重要.

針對(duì)上述問(wèn)題，本文以中英文混合文本為對(duì)象，提出了一種基于預(yù)訓(xùn)練語(yǔ)言模型并融合注意力機(jī)制的細(xì)粒度情感分類模型，通過(guò)預(yù)訓(xùn)練語(yǔ)言模型生成上下文語(yǔ)義相關(guān)的詞向量，避免文本中可能出現(xiàn)的一詞多義性問(wèn)題.考慮到文本的語(yǔ)序和上下文信息，使用BiLSTM模型挖掘文本情感表征，分別對(duì)中文、英文以及雙語(yǔ)情感表征使用注意力機(jī)制提取關(guān)鍵情感表征，最終將融合后的情感表征輸入到分類模型中得到結(jié)果.實(shí)驗(yàn)表明該方法在多語(yǔ)言情感分類任務(wù)上取得了較好的效果.

本文將在第一節(jié)介紹多語(yǔ)言文本情感分析的相關(guān)工作，在第二節(jié)介紹本文提出的情感分析模型結(jié)構(gòu)及原理，第三節(jié)介紹試驗(yàn)數(shù)據(jù)及評(píng)估標(biāo)準(zhǔn)，并在同一個(gè)數(shù)據(jù)集上對(duì)不同的多語(yǔ)言情感分析模型對(duì)比分析實(shí)驗(yàn)結(jié)果，最后對(duì)本論文的工作進(jìn)行總結(jié)并提出展望.

2 相關(guān)工作

如何準(zhǔn)確地挖掘出多語(yǔ)言文本中各個(gè)語(yǔ)言的情感表征并提取出其中的關(guān)鍵信息是多語(yǔ)言情感分類研究的難點(diǎn)[7].一種方法是直接將源語(yǔ)言翻譯為指定的目標(biāo)語(yǔ)言，然后針對(duì)目標(biāo)語(yǔ)言提取情感表征，進(jìn)行情感分類任務(wù).這類方法的困難在于如何彌補(bǔ)語(yǔ)言差距對(duì)分類效果的影響[8].Ethem等人[9]首先針對(duì)英文語(yǔ)料訓(xùn)練英文情感分類模型，對(duì)于多語(yǔ)言語(yǔ)料，將其他語(yǔ)言通過(guò)現(xiàn)有的機(jī)器翻譯方法翻譯為英文，輸入英文情感分類模型預(yù)測(cè)情感極性.Wang等[10]針對(duì)中英文混合文本，通過(guò)機(jī)器翻譯方法將英文文本翻譯為中文，結(jié)合雙語(yǔ)情感特征構(gòu)建二分圖，最后通過(guò)半監(jiān)督的標(biāo)簽傳播算法實(shí)現(xiàn)文本的情感分類，對(duì)比只考慮單語(yǔ)文本的方法，該方法在每個(gè)情感類別上F1值均有提升.

另一種方式是使用字符級(jí)的編碼代替詞級(jí)別編碼，不同于詞級(jí)別的編碼方式(2013，Mikolov等[11，12])，字符級(jí)編碼可以挖掘出更豐富的情感表征，并且，對(duì)于多語(yǔ)言混合文本能夠更準(zhǔn)確地挖掘出潛在的情感信息.Kim等人[13]首次提出基于字符卷積的詞嵌入方法Char-CNN，在英文數(shù)據(jù)集PennTreebank上模型困惑度(perplexity)與其他模型持平，在阿拉伯語(yǔ)、俄語(yǔ)等語(yǔ)言上模型困惑度均低于其他模型，取得較好結(jié)果.Prabhu[14]使用Char-CNN方法對(duì)印度語(yǔ)-英語(yǔ)混合文本進(jìn)行字符編碼，將編碼結(jié)果輸入多層LSTM網(wǎng)絡(luò)訓(xùn)練，最終得到情感分類結(jié)果，結(jié)果較傳統(tǒng)的詞級(jí)別編碼方法F1值有較大提升.Jhanwar等人[15]首先使用字符級(jí)的Trigram特征結(jié)合多層LSTM實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)分類器，接著通過(guò)詞級(jí)別的unigram、bigram特征構(gòu)建多項(xiàng)樸素貝葉斯分類器，最終通過(guò)集成學(xué)習(xí)方式綜合上述分類器得到分類結(jié)果，模型在印度語(yǔ)-英語(yǔ)混合文本數(shù)據(jù)集上得到較高的F1值.

還有許多學(xué)者提出其他針對(duì)多語(yǔ)言文本的情感分類方法.徐源音等[16]提出混合文本情感分析模型MF-CSEL，使用CBOW訓(xùn)練詞向量，分別針對(duì)中英文文本提取情感特征，融合情感特征、詞序特征以及TF-IDF權(quán)重矩陣后，通過(guò)集成學(xué)習(xí)的方式進(jìn)行細(xì)粒度的情感分析.Wang等[7]針對(duì)中英文混合文本提出一種基于多注意力機(jī)制的情感分類模型，分別對(duì)中文、英文以及中英文混合文本使用注意力機(jī)制提取關(guān)鍵詞信息并融合，最后輸入分類器中實(shí)現(xiàn)細(xì)粒度情感分類，模型對(duì)比傳統(tǒng)單語(yǔ)言情感分析模型F1值有較大提升.

本文首先在大規(guī)模的語(yǔ)料上使用深度語(yǔ)言模型框架ELMo訓(xùn)練得到語(yǔ)言模型，將原始文本輸入模型后得到上下文語(yǔ)義相關(guān)的詞向量，接著將詞向量輸入BiLSTM網(wǎng)絡(luò)學(xué)習(xí)文本情感表征，考慮到文本中的每個(gè)詞對(duì)整體情感極性影響不同，分別對(duì)中文、英文以及中英混合的情感表征使用注意力機(jī)制學(xué)出習(xí)每個(gè)詞對(duì)于情感傾向的權(quán)重分布，從而準(zhǔn)確有效地挖掘出文本中的關(guān)鍵情感信息，最終通過(guò)并行融合的方式提升情感分類效果.

3 多語(yǔ)言文本情感分類模型

本文采用細(xì)粒度情感分類方式，將情感分為5類，分別為happiness、sadness、anger、fear、surprise，對(duì)于不含任何情感極性的文本標(biāo)注為none.模型整體結(jié)構(gòu)如圖1所示.模型結(jié)合了預(yù)訓(xùn)練語(yǔ)言模型，BiLSTM網(wǎng)絡(luò)以及多語(yǔ)言注意力機(jī)制，通過(guò)預(yù)訓(xùn)練語(yǔ)言模型得到上下文相關(guān)的詞向量，使用BiLSTM學(xué)習(xí)文本情感表征，使用多語(yǔ)言注意力機(jī)制分別對(duì)單語(yǔ)文本和混合文本提取關(guān)鍵情感表征.

圖1 模型整體結(jié)構(gòu)Fig.1 Model structure

3.1 預(yù)訓(xùn)練語(yǔ)言模型

傳統(tǒng)淺層機(jī)器學(xué)習(xí)模型(SVM、LR等)依賴于人工提取特征，而人類的情感表達(dá)方式是復(fù)雜的，常常包含否定、雙重否定以及其他的語(yǔ)言模式，因此通過(guò)淺層機(jī)器學(xué)習(xí)模型無(wú)法有效地挖掘文本中的深層次的語(yǔ)義信息.相比于淺層模型，深度學(xué)習(xí)模型可以自動(dòng)從原始文本中學(xué)習(xí)出層次化的特征[6]，準(zhǔn)確挖掘出文本中深層語(yǔ)義信息.另外，在獲取詞嵌入向量時(shí)考慮文本的上下文信息，針對(duì)不同的上下文得到不同的詞嵌入向量可以有效解決文本中的一詞多義問(wèn)題.針對(duì)上述特點(diǎn)，本文使用深度學(xué)習(xí)框架ELMo訓(xùn)練語(yǔ)言模型.

Matthew等[17]提出了上下文相關(guān)的深層詞表征模型ELMo，模型結(jié)構(gòu)如圖2所示.模型包含兩個(gè)部分：Char-CNN嵌入層以及BiLSTM網(wǎng)絡(luò)層.

圖2 ELMo結(jié)構(gòu)Fig.2 Structure of ELMo

Char-CNN卷積層用于實(shí)現(xiàn)字符級(jí)別的詞嵌入，對(duì)于給定詞Wk=[C1，C2，…，Cl]，ci表示字符，l為詞長(zhǎng)，d表示嵌入字符的維度，則Wk可以表示為矩陣Ck∈Rd×l.使用寬度為w的卷積核H∈Rw×d對(duì)矩陣Ck進(jìn)行卷積，并添加非線性激活函數(shù)后得到特征矩陣fk∈Rl-w+1，fk中的每一個(gè)元素可以表示為：

fk[i]=tanh(+b)

(1)

Ck[*，i:i+w-1]表示第i個(gè)字符到第i+w-1個(gè)字符組成的嵌入矩陣，表示對(duì)兩矩陣逐元素進(jìn)行內(nèi)積.對(duì)卷積得到的特征，使用最大池化(Max-pooling)得到輸出向量：

(2)

zk=t⊙g(WHek+bH)+(1-t)⊙ek

(3)

其中，g表示非線性激活函數(shù)，類似LSTM網(wǎng)絡(luò)中的記憶單元，t=σ(WTek+bT)表示轉(zhuǎn)換門(mén)限(transform gate)，(1-t)表示傳送門(mén)限(carrygate)，在多層神經(jīng)網(wǎng)絡(luò)中，高速公路網(wǎng)絡(luò)允許低層輸入直接傳送至高層，并與輸出結(jié)合，有效解決梯度信息回流受阻所造成的網(wǎng)絡(luò)訓(xùn)練困難問(wèn)題.

(4)

(5)

3.2 BiLSTM學(xué)習(xí)情感表征

在文本情感分類中，由于單詞之間存在時(shí)序關(guān)系，且上下文之間存在語(yǔ)義依賴關(guān)系，因此，本文采用BiLSTM模型對(duì)句子進(jìn)行編碼，學(xué)習(xí)句子的情感表征.雙向長(zhǎng)短記憶網(wǎng)絡(luò)(Bidirectional Long Short-Term Memory，BiLSTM)是對(duì)單向長(zhǎng)短記憶網(wǎng)絡(luò)(Long Short-Term Memory，LSTM)[18]的擴(kuò)展，同時(shí)對(duì)輸入序列進(jìn)行正向和反向計(jì)算，最終將正向結(jié)果和反向結(jié)果拼接后輸出.

圖3展示了LSTM的基本單元結(jié)構(gòu).xt表示t時(shí)刻的輸入數(shù)據(jù)，ht表示該時(shí)刻LSTM單元的輸出，ct表示該時(shí)刻更新后的細(xì)胞狀態(tài).LSTM結(jié)構(gòu)的關(guān)鍵是細(xì)胞狀態(tài)c，狀態(tài)信息在LSTM單元中傳輸，其中線性操作用以控制狀態(tài)信息的保留，更新和輸出，分別對(duì)應(yīng)遺忘門(mén)、輸入門(mén)和輸出門(mén).

圖3 LSTM基本結(jié)構(gòu)Fig.3 Structure of LSTM

狀態(tài)信息首先經(jīng)過(guò)遺忘門(mén)ft，該門(mén)限決定上一時(shí)刻細(xì)胞狀態(tài)ct-1保留多少信息，丟棄多少信息.ft計(jì)算方式如下：

ft=σ(Wf[ht-1，xt]+bf)

(6)

將ht-1和xt拼接后進(jìn)行線性變換，傳遞給sigmoid激活函數(shù)，輸出0到1之間的值表示信息的保留量，Wf表示遺忘門(mén)權(quán)重，bf表示遺忘門(mén)偏置.

(7)

it=σ(Wi[ht-1，xt]+bi)

(8)

Wi表示輸入門(mén)權(quán)重，bi表示輸入門(mén)偏置.接著更新細(xì)胞狀態(tài)得到ct，計(jì)算公式如下：

(9)

輸出門(mén)Ot的計(jì)算方式同遺忘門(mén)、輸入門(mén)類似，如下所示：

Ot=σ(Wo[ht-1，xt]+bo)

(10)

Wo表示輸出門(mén)權(quán)重，bo表示輸出門(mén)偏置.得到輸出門(mén)Ot之后，便可以計(jì)算最終輸出ht：

ht=Ot*tanh(ct)

(11)

(12)

(13)

(14)

3.3 注意力機(jī)制提取關(guān)鍵情感表征

句子中的不同詞對(duì)整體的情感極性影響不同，通過(guò)分析語(yǔ)料發(fā)現(xiàn)，句子中的一些情感詞往往更能體現(xiàn)用戶的情感傾向，而在中英文混合的文本中，這些關(guān)鍵的情感詞可能是中文詞，也可能是英文詞，見(jiàn)表1.為了增強(qiáng)關(guān)鍵情感詞在情感分類中的作用，本文采用注意力機(jī)制(Bahdanau等[19])學(xué)習(xí)不同詞匯的權(quán)重分布.

表1 情感詞分布
Table 1 Affective word distribution

評(píng)論關(guān)鍵詞E6.前天各種玩各種happy,昨天五星級(jí)晚宴感覺(jué)很high!Happy、highE7. 一點(diǎn)都不開(kāi)心,一個(gè)個(gè)都幸福的回家過(guò)年了.微博刷下來(lái)全是各種party holiday 啊! 苦逼的還在辦公室,傷心!!!不開(kāi)心、傷心E8.一覺(jué)到現(xiàn)在能分得清夢(mèng)境和現(xiàn)實(shí)么?我不能,大多數(shù)時(shí)候都不能,非常不好,so bad and so sad.不好、bad、sadE9.感冒發(fā)燒,喉嚨還難受,誒,心累…還有做不完的功課,多么happy 的holiday…難受、誒、心累、happy

對(duì)于表1中的E6和E7而言，整體的情感極性只由單語(yǔ)詞決定.而E8和E9的整體情感極性由中文關(guān)鍵詞和英文關(guān)鍵詞同時(shí)決定，對(duì)于E9，如果只考慮英文詞happy，則整體的情感極性完全相反.因此，構(gòu)建模型時(shí)應(yīng)該同時(shí)考慮中文、英文情感詞以及上下文信息.

本文注意力結(jié)構(gòu)如圖4所示，vector(cn)、vector(en)、vector(bi)分別表示對(duì)中文、英文以及雙語(yǔ)文本應(yīng)用注意力機(jī)制得到的情感表征向量.

1)雙語(yǔ)注意力機(jī)制 針對(duì)雙語(yǔ)文本，模型會(huì)為文本中的每一個(gè)詞學(xué)習(xí)出一個(gè)自適應(yīng)權(quán)重，接著將詞的情感表征向量乘以權(quán)重后累加求和得到雙語(yǔ)文本情感表征向量vector(bi)，如式(15)-式(17)所示：

(15)

(16)

(17)

圖4 多語(yǔ)言注意力機(jī)制Fig.4 Multilingual attention mechanism

2)單語(yǔ)注意力機(jī)制 類似雙語(yǔ)文本，模型會(huì)分別針對(duì)中文詞和英文詞學(xué)習(xí)自適應(yīng)權(quán)重，將詞的情感表征向量乘以權(quán)重后累加求和得到單語(yǔ)文本情感表征向量vector(mo)，如式(18)-式(20)所示：

(18)

(19)

(20)

3.4 分類器

模型的最后一層為分類層，分類層將上一層得到的單語(yǔ)情感表征向量(vector(cn)、vector(en))和雙語(yǔ)情感表征向量(vector(bi))拼接后作為分類器輸入Finput=[vector(bi)，vector(cn)，vector(en)]輸出類別概率Pc：

Pc=softmax(W(s)Finput+b(s))

(21)

最終類別：

(22)

W(S)為n×c的權(quán)重矩陣，n為輸入向量Finput的維度，c為類別數(shù)，b(s)為分類層的偏置向量，在得到預(yù)測(cè)類別的概率分布后，本文使用交叉熵?fù)p失函數(shù)(cross entropy)衡量預(yù)測(cè)值與真實(shí)值之間的差距，利用反向傳播更新模型中的參數(shù).

3.5 情感分類流程

模型的情感分類流程如圖5所示.

a)輸入中英混合文本.

b)預(yù)處理：為混合文本分詞，分詞后為每個(gè)詞標(biāo)記語(yǔ)言屬性(中文或英文).

圖5 情感分類流程Fig.5 Affective classification process

c)將預(yù)處理的文本輸入預(yù)訓(xùn)練模型ELMo得到上下文相關(guān)詞向量(t1，t2，…，tn).

f)將上一步得到的情感表征拼接后輸入分類器中得到情感分類結(jié)果.

4 實(shí)驗(yàn)和分析

4.1 實(shí)驗(yàn)數(shù)據(jù)

本文預(yù)訓(xùn)練模型ELMo使用的訓(xùn)練數(shù)據(jù)集包括三部分：中文數(shù)據(jù)集、英文數(shù)據(jù)集以及中英文混合數(shù)據(jù)集.中文數(shù)據(jù)集使用維基百科開(kāi)放中文語(yǔ)料集以及Github開(kāi)源中文自然語(yǔ)言處理數(shù)據(jù)集ChineseNlpCorpus，其中ChineseNlpCorpus包括了來(lái)自微博、外賣(mài)、電影以及酒店平臺(tái)的30萬(wàn)條中文評(píng)論數(shù)據(jù).英文數(shù)據(jù)集使用維基百科開(kāi)放英文語(yǔ)料集以及斯坦福大學(xué)開(kāi)放的亞馬遜評(píng)論集，從亞馬遜評(píng)論集中抽取出30萬(wàn)條英文評(píng)論數(shù)據(jù).中英文混合數(shù)據(jù)集爬取自新浪微博，共計(jì)2萬(wàn)條數(shù)據(jù).

對(duì)于上述數(shù)據(jù)，本文統(tǒng)一進(jìn)行預(yù)處理(去除特殊字符、停用詞、詞形還原)，中文文本采用Jieba分詞器分詞.過(guò)濾詞量小于5以及詞量大于300的文本后得到500萬(wàn)條訓(xùn)練數(shù)據(jù).

本文使用的試驗(yàn)數(shù)據(jù)為NLPCC2018多語(yǔ)言情感分類評(píng)測(cè)任務(wù)數(shù)據(jù)集(中英文).數(shù)據(jù)分為訓(xùn)練集(6000條數(shù)據(jù))、驗(yàn)證集(728條數(shù)據(jù))、測(cè)試集(1200條數(shù)據(jù)).包含5個(gè)情感極性(happiness、sadness、anger、fear、surprise).數(shù)據(jù)分布如表2所示，其中，None表示不包含任何情感極性.

表2 情感類別分布
Table 2 Distribution of emotion

TrainDevTestHappiness1842220490Sadness1086120296Anger57084111Fear6488537Surprise6519268None1896221198

4.2 評(píng)價(jià)指標(biāo)

本文選用與NLPCC2018多語(yǔ)言情感分類評(píng)測(cè)任務(wù)相同的評(píng)價(jià)標(biāo)準(zhǔn)，使用精確度(Precision)、召回率(Recall)、F1值(F1-score)以及宏平均F1值(Macro-F1)評(píng)估本文方法.精確度和召回率計(jì)算方式如式(23)-式(24)所示：

(23)

(24)

其中，TPi、FPi和FNi分別表示第i個(gè)類別的真正例(truepositive)、假正例(falsepositive)和假反例(falsenegative)個(gè)數(shù).

宏平均F1值計(jì)算方式如式(25)-式(27)所示：

(25)

(26)

(27)

Pma表示準(zhǔn)確率均值，Rma表示召回率均值.

4.3 實(shí)驗(yàn)對(duì)比模型

為了驗(yàn)證模型的有效性，本文設(shè)計(jì)了對(duì)比實(shí)驗(yàn)，將本文模型分別和不使用注意力機(jī)制、不采用預(yù)訓(xùn)練方式的情感分類模型以及已有的多語(yǔ)言情感分類模型對(duì)比.如下所示：

Baseline：NLPCC2018多語(yǔ)言情感分析評(píng)測(cè)任務(wù)提出的基線模型，模型使用unigram特征，SVM作為分類器.

w2v+BiLSTM：使用word2vec訓(xùn)練詞向量，使用雙向LSTM模型學(xué)習(xí)文本情感表征.

w2v+BiLSTM+Attention：使用word2vec訓(xùn)練詞向量，使用雙向LSTM模型學(xué)習(xí)文本情感表征，使用注意力機(jī)制提取關(guān)鍵情感表征.

DeepIntell：NLPCC2018多語(yǔ)言情感分析評(píng)測(cè)任務(wù)中的最高成績(jī)，作者將多標(biāo)簽分類轉(zhuǎn)化為二分類，采用集成學(xué)習(xí)的方式利用文本中的情感詞匯進(jìn)行情感分類任務(wù).

MF-CSEL：徐源音等人提出的多特征融合的集成學(xué)習(xí)情感分析模型，使用CBOW訓(xùn)練詞向量，分別針對(duì)中英文文本提取情感特征，融合情感特征、詞序特征以及TF-IDF權(quán)重矩陣后，通過(guò)集成學(xué)習(xí)的方式進(jìn)行細(xì)粒度的情感分析.

ELMo+BiLSTM+Attention：本文提出的模型，使用ELMo預(yù)訓(xùn)練語(yǔ)言模型輸出詞向量，使用雙向LSTM模型學(xué)習(xí)文本情感表征，使用注意力機(jī)制提取關(guān)鍵情感表征.

4.4 實(shí)驗(yàn)環(huán)境及參數(shù)設(shè)置

本文使用Tensorflow1.13框架搭建模型，詞向量長(zhǎng)度定義為200，除詞向量長(zhǎng)度外，ELMo模型超參數(shù)均使用默認(rèn)參數(shù)，如表3所示.

表3 ELMo參數(shù)
Table 3 Parameters of ELMo

參數(shù)名參數(shù)值BiLSTM隱層單元個(gè)數(shù)4096BiLSTM輸出維度512Char-CNN卷積核個(gè)數(shù)2048

限定句子長(zhǎng)度為100，超出100的句子只截取前100個(gè)詞，不足的部分使用補(bǔ)全.BiLSTM模型及注意力機(jī)制的隱層單元個(gè)數(shù)為300，批次大小設(shè)置為64.使用Adam優(yōu)化器，學(xué)習(xí)率設(shè)置為0.001，模型中使用的主要參數(shù)和參數(shù)值如表4所示.

表4 模型參數(shù)
Table 4 Parameters of Model

參數(shù)名參數(shù)值BiLSTM隱層單元個(gè)數(shù)300詞向量維度200學(xué)習(xí)率0.001批處理大小64句長(zhǎng)100

4.5 實(shí)驗(yàn)結(jié)果及分析

本實(shí)驗(yàn)在服務(wù)器上進(jìn)行，CPU為雙核Intel至強(qiáng)處理器，GPU為NVIDIA Tesla P4.實(shí)驗(yàn)結(jié)果如圖6所示.

圖6 模型實(shí)驗(yàn)結(jié)果對(duì)比Fig.6 Comparison of model experiment results

從圖6中可以看出，僅使用word2vec和BiLSTM網(wǎng)絡(luò)時(shí)，模型在除Fear外所有情感類別上的F1值就已經(jīng)超越基線模型，加入了注意力機(jī)制后，模型在除Anger外的各類別上的F1值均有提升.而在使用了ELMo預(yù)訓(xùn)練模型后，模型在除anger、surprise類別外均取得最高分?jǐn)?shù)，宏平均F1值提高至0.581，表明了本文多語(yǔ)言情感分析模型的有效性.

模型在不同情感類別上的準(zhǔn)確率(Precision)、召回率(Recall)以及F1值如表5所示.可以看出，模型在Anger、Fear以及Surprise情感類別上的準(zhǔn)確率遠(yuǎn)遠(yuǎn)大于召回率，造成這一問(wèn)題的主要原因是數(shù)據(jù)類別的不平衡，通過(guò)分析語(yǔ)料發(fā)現(xiàn)，訓(xùn)練集中無(wú)情緒句子數(shù)量最多(1896)，其次是Happiness(1842)和Sadness(1086)，而其余類別數(shù)量較少，數(shù)據(jù)的不平衡將導(dǎo)致分類器偏向于占比較高的類別，對(duì)于Anger、Fear以及Surprise而言，由于本身類別較少，分類器則會(huì)傾向于將類別分類為無(wú)情緒(none)，故式(24)中FNi較大，從而降低召回率.

表5 本文模型實(shí)驗(yàn)結(jié)果
Table 5 Results of model experiment in this paper

類別PRF1Happiness0.9890.6160.759Sadness0.9460.6830.793Anger0.9440.2720.422Fear0.9530.2490.394Surprise0.9670.2630.413Macro-F10.581

為了觀察句子中的注意力分布，本文將單語(yǔ)和雙語(yǔ)注意力權(quán)重輸出，如圖7所示.其中，CN、EN、Bi分別表示對(duì)中文、英文、中英混合文本使用注意力機(jī)制.可以看到，通過(guò)多語(yǔ)言注意力機(jī)制可以有效提取出中文和英文的關(guān)鍵情感詞匯，對(duì)于情感詞前的否定詞匯(不、開(kāi)心)，模型也可以有效識(shí)別，這也驗(yàn)證了加入多語(yǔ)言注意力機(jī)制有助于模型效果的提升.

5 總結(jié)與展望

本文針對(duì)中英文混合文本提出了一種在預(yù)訓(xùn)練語(yǔ)言模型基礎(chǔ)上結(jié)合多語(yǔ)言注意力機(jī)制的情感分析模型.模型將預(yù)訓(xùn)練學(xué)習(xí)到的語(yǔ)義信息應(yīng)用在詞向量上，根據(jù)具體的上下文生成含有不同語(yǔ)義信息的詞向量，通過(guò)BiLSTM網(wǎng)絡(luò)學(xué)習(xí)文本情感表征.不同于傳統(tǒng)的單語(yǔ)言文本注意力機(jī)制，本文分別針對(duì)中文、英文以及中英文混合文本使用注意力機(jī)制提取關(guān)鍵情感信息，融合后進(jìn)行情感分類.實(shí)驗(yàn)表明，本文提出的模型在宏平均F1值上超越現(xiàn)有的情感分類模型.

本文在多語(yǔ)言情感分析上的研究任然存在不足之處，可以看到，由于類別數(shù)據(jù)不平衡，本文模型在Anger、Fear以及Surprise類別上的F1值較低，在后續(xù)的研究中將考慮通過(guò)樣本空間重構(gòu)的方式調(diào)整樣本分布，降低數(shù)據(jù)不平衡問(wèn)題對(duì)模型分類結(jié)果的影響.