多交互圖卷積網(wǎng)絡(luò)用于方面情感分析

王汝言 陶中原 趙容劍 張普寧 楊志剛

(重慶郵電大學(xué) 通信與信息工程學(xué)院 重慶 400065)

(先進(jìn)網(wǎng)絡(luò)與智能互聯(lián)技術(shù)重慶市高校重點(diǎn)實(shí)驗(yàn)室 重慶 400065)

(泛在感知與互聯(lián)重慶市重點(diǎn)實(shí)驗(yàn)室 重慶 400065)

1 引言

情感分析，又稱意見挖掘，是對(duì)主觀性文本中關(guān)于某個(gè)實(shí)體的觀點(diǎn)、情感、情緒及態(tài)度的計(jì)算研究。而基于方面的情感分析主要任務(wù)是建模方面詞和句子文本詞之間的聯(lián)系，從而識(shí)別句子中特定方面的情感極性(例如，消極、中性或積極)。如圖1所示，給定句子中包含兩個(gè)方面“food”和“service”，所對(duì)應(yīng)的情感極性分別是積極和消極。

圖1 方面情感分析任務(wù)樣例

傳統(tǒng)的基于機(jī)器學(xué)習(xí)的方法依賴于構(gòu)建特征工程的質(zhì)量[1]。Tang等人[2]利用長(zhǎng)短期記憶網(wǎng)絡(luò)(Long Short-Term Memory, LSTM)從方面和句子文本中取得句子級(jí)的特征信息，從而獲得情感極性。Ma等人[3]在LSTM的基礎(chǔ)上，引入注意力機(jī)制，將句子與方面詞的隱藏特征進(jìn)行交互。Fan等人[4]使用兩種不同粒度的注意力機(jī)制來(lái)捕獲方面詞與句子之間的交互信息。這些傳統(tǒng)通過(guò)注意力機(jī)制方法，使用方面詞嵌入向量和句子中各文本詞嵌入向量分別做內(nèi)積運(yùn)算，得到向量之間的空間距離，代表單詞之間的語(yǔ)義相似性，從而進(jìn)行方面詞與文本詞之間的語(yǔ)義交互。然而，僅從語(yǔ)義角度將文本詞與方面詞之間進(jìn)行交互，未考慮單詞之間的語(yǔ)法依存關(guān)系，注意力機(jī)制會(huì)錯(cuò)誤的關(guān)注與方面詞語(yǔ)法上不相關(guān)的情感意見詞，尤其在句子中包含極性相反的多個(gè)情感意見詞時(shí)，若不能正確區(qū)分方面詞所對(duì)應(yīng)的情感意見詞，則會(huì)導(dǎo)致模型做出錯(cuò)誤的判斷。如圖2所示，給定一個(gè)句子，基于注意力機(jī)制的模型僅關(guān)注單詞之間的語(yǔ)義相似度，由于“cooked”和“fine”兩個(gè)形容詞經(jīng)常可與名詞“chicken”搭配，因此它們對(duì)應(yīng)的詞嵌入向量與“chicken”嵌入向量之間空間距離十分相近，僅依靠向量空間距離的單一語(yǔ)義交互無(wú)法區(qū)分方面詞“chicken”所對(duì)應(yīng)的情感意見詞是“cooked”還是“fine”。結(jié)合語(yǔ)法依存樹，引入單詞之間的語(yǔ)法關(guān)系進(jìn)行交互，可使方面詞根據(jù)語(yǔ)法依存關(guān)系正確關(guān)注到其對(duì)應(yīng)的情感意見詞。根據(jù)單詞之間語(yǔ)法依存信息，方面詞“chicken”通過(guò)依存關(guān)系“nsubj”和“acomp”關(guān)注到相應(yīng)的情感意見詞“fine”，同樣，方面詞“falafel”通過(guò)相應(yīng)的依存關(guān)系關(guān)注到情感意見詞“cooked”。因此，引入單詞之間的語(yǔ)法交互是有必要的。近年來(lái)，由于圖卷積網(wǎng)絡(luò)(Graph Convolutional Networks, GCN)[5]能夠處理句子語(yǔ)法依存樹這種非結(jié)構(gòu)化數(shù)據(jù)的能力，其被應(yīng)用到方面情感分析中。Zhang等人[6]利用句子中的依存關(guān)系來(lái)構(gòu)建圖卷積網(wǎng)絡(luò)的鄰接矩陣，但沒(méi)有體現(xiàn)單詞距離特征信息。Huang等人[7]利用圖卷積網(wǎng)絡(luò)的一種變體形式識(shí)別方面所對(duì)應(yīng)的情感極性，但忽略了文本詞在依存樹中的語(yǔ)法距離信息。位置距離[8]和語(yǔ)法距離[8]可以分別體現(xiàn)方面詞與各文本詞在句子線性形式中和句子語(yǔ)法依存樹中的相對(duì)位置關(guān)系，并且關(guān)注方面詞距離較近文本詞的本地信息對(duì)情感分析有利[9]，因此，如何將這些距離特征饋入圖卷積網(wǎng)絡(luò)中是一個(gè)問(wèn)題。

圖2 包含相反極性方面詞的句子依存樹

針對(duì)上述問(wèn)題，本文提出多交互圖卷積網(wǎng)絡(luò)(Multi-Interaction Graph Convolutional Networks, MIGCN)。首先，將各文本詞在句子線性形式中的位置距離特征饋入到每層圖卷積網(wǎng)絡(luò)中，同時(shí)根據(jù)文本詞在依存樹中的語(yǔ)法距離特征對(duì)圖卷積網(wǎng)絡(luò)的鄰接矩陣進(jìn)行加權(quán)，最后，設(shè)計(jì)語(yǔ)義交互和語(yǔ)法交互，同時(shí)獲取單詞之間的語(yǔ)義信息和語(yǔ)法依存信息之后融合。

2 相關(guān)工作

情感分析旨在識(shí)別文本的情感極性，而方面級(jí)情感分析是情感分析中的一項(xiàng)子任務(wù)，其目標(biāo)是識(shí)別句子中一個(gè)特定方面的情感極性。經(jīng)典的神經(jīng)網(wǎng)絡(luò)模型主要是利用循環(huán)神經(jīng)網(wǎng)絡(luò)、卷積神經(jīng)網(wǎng)絡(luò)等變體模型來(lái)對(duì)文本進(jìn)行建模。Tang等人[2]提出了基于目標(biāo)依存的長(zhǎng)短期記憶網(wǎng)絡(luò) (Target-Dependent Long Short-Term Memory, TD-LSTM)模型，使用了兩個(gè)LSTM從兩個(gè)不同的方向分別對(duì)方面詞的左邊和右邊的文本建模，基于目標(biāo)關(guān)聯(lián)的長(zhǎng)短期記憶網(wǎng)絡(luò) (Target-Connection Long Short-Term Memory, TC-LSTM)在TD-LSTM的基礎(chǔ)上進(jìn)一步加強(qiáng)了方面詞與句子中每個(gè)詞的關(guān)聯(lián)?；谧⒁饬C(jī)制的方法可以使模型在訓(xùn)練過(guò)程中高度關(guān)注特定方面的特征信息，有效識(shí)別不同方面和句子中詞語(yǔ)的相互關(guān)系，挖掘更多的隱藏特征，取得更好的情感識(shí)別效果。Ma等人[3]首次讓句子與方面詞進(jìn)行交互式學(xué)習(xí)，提出交互式注意神經(jīng)網(wǎng)絡(luò) (Interactive Attention Networks, IAN)模型，分別對(duì)方面詞和句子進(jìn)行注意操作。此外,使用多頭注意機(jī)制可進(jìn)一步對(duì)文本和方面詞建模和進(jìn)行交互處理，獲得句子和方面詞的隱藏特征信息。近年來(lái)，基于語(yǔ)法特征的語(yǔ)言模型最近受到廣泛關(guān)注，由于GCN在處理非結(jié)構(gòu)化數(shù)據(jù)的優(yōu)勢(shì)，其被應(yīng)用到方面情感分析任務(wù)中。Zhang等人[6]使用句法依存樹獲取句子中的語(yǔ)法依賴信息，并使用圖卷積網(wǎng)絡(luò)對(duì)文本進(jìn)行建模，從而識(shí)別方面所對(duì)應(yīng)的情感極性。Sun等人[10]利用雙向長(zhǎng)短期記憶網(wǎng)絡(luò) (Bi-directional Long Short-Term Memory, Bi-LSTM)來(lái)學(xué)習(xí)句子表示，并使用結(jié)合依存樹的圖卷積網(wǎng)絡(luò)模型增強(qiáng)句子表示。Bai等人[11]在圖注意網(wǎng)絡(luò)模型的基礎(chǔ)上利用標(biāo)簽特征，考慮鄰接矩陣與依存關(guān)系的對(duì)應(yīng)關(guān)系。

3 提出模型

給定一個(gè)長(zhǎng)度為n的句子s={w1,w2,...,wn}和長(zhǎng)度為m的方面a={wt+1,wt+2,...,wt+m}，即方面詞a是句子s的一個(gè)子序列。本文框架如圖3所示，由6部分組成，分別是嵌入層、隱藏層、圖卷積網(wǎng)絡(luò)層、方面特定遮掩層、多交互注意層以及輸出層。其中，圖卷積網(wǎng)絡(luò)層分為位置編碼和加權(quán)圖卷積網(wǎng)絡(luò)兩部分，分別融入文本詞位置距離特征和語(yǔ)法距離特征；多交互注意層設(shè)計(jì)語(yǔ)義交互和語(yǔ)法交互；最后，輸出層門控進(jìn)行特征融合。

圖3 MIGCN模型框架

3.1 嵌入層與隱藏層

嵌入層是將每個(gè)詞或詞語(yǔ)通過(guò)嵌入矩陣映射到向量空間中。本文采用GloVe嵌入獲得每個(gè)詞向量，通過(guò)嵌入矩陣獲取每個(gè)詞向量wi ∈R|V|。通過(guò)Bi-LSTM學(xué)習(xí)句子中單詞隱藏信息。將經(jīng)過(guò)前向LSTM輸出hF與后向LSTM輸出hB拼接，得到隱藏層最終輸出結(jié)果hs=[hF;hB]。

3.2 圖卷積網(wǎng)絡(luò)層

圖卷積網(wǎng)絡(luò)層主要由兩部分組成，分別是位置編碼和加權(quán)圖卷積網(wǎng)絡(luò)。在位置編碼部分，結(jié)合各文本單詞在句子線性形式中的位置距離特征，計(jì)算不同文本單詞的權(quán)重，融合到每層網(wǎng)絡(luò)的輸出向量中。在加權(quán)圖卷積網(wǎng)絡(luò)部分，利用文本詞在句子語(yǔ)法依存樹中的語(yǔ)法距離特征，對(duì)圖卷積網(wǎng)絡(luò)的鄰接矩陣進(jìn)行加權(quán)。

3.2.1 位置編碼

結(jié)合文本詞在句子線性形式中的位置距離特征，增強(qiáng)距離方面詞較近單詞的本地信息，削弱距離方面詞較遠(yuǎn)單詞的信息。例如，在句子“Great food but the service was dreadful!”中，距方面詞“food”較近的單詞“Great”，更能表達(dá)對(duì)應(yīng)的情感信息。利用位置距離特征對(duì)句子中各文本詞計(jì)算相應(yīng)權(quán)重，并將其融入到每層網(wǎng)絡(luò)輸出向量中，如式(1)、式(2)所示

現(xiàn)有研究基于句子依存樹作為圖結(jié)構(gòu)，并未考慮文本單詞的語(yǔ)法距離特征，而語(yǔ)法距離特征已被證實(shí)對(duì)方面情感分析是有利的[8]。Zhou等人[12]利用單詞之間的語(yǔ)義相似度，即單詞嵌入向量之間的空間距離對(duì)圖卷積網(wǎng)絡(luò)的鄰接矩陣進(jìn)行加權(quán)，而本文結(jié)合依存樹中語(yǔ)法依存關(guān)系構(gòu)建鄰接矩陣，設(shè)計(jì)一種基于語(yǔ)法距離特征的加權(quán)圖卷積網(wǎng)絡(luò)。在實(shí)驗(yàn)中，語(yǔ)法距離(Syntactic Distance, SD)是指輸入文本詞到方面詞在句子語(yǔ)法依存樹上的最短距離。如圖4所示，依存樹中SD(amplifier, loudly)=2,SD(sound, loudly)=3, SD(sound amplifier,loudly)=2.5，語(yǔ)法距離加權(quán)鄰接矩陣由算法1得到，如表1所示。

表1 基于語(yǔ)法加權(quán)的鄰接矩陣算法(算法1)

圖4 方面為短語(yǔ)的依存樹樣例

權(quán)重函數(shù)為衡量計(jì)算輸入詞到方面詞的權(quán)重系數(shù)，與位置權(quán)重類似，距離越近，權(quán)重系數(shù)值越大。在提出的模型中，利用式(4)來(lái)計(jì)算語(yǔ)法權(quán)重系數(shù)

3.3 方面特定遮掩層

3.4 多交互注意層

為同時(shí)關(guān)注文本詞與方面詞之間語(yǔ)義關(guān)系和語(yǔ)法依存關(guān)系，設(shè)計(jì)語(yǔ)義和語(yǔ)法兩個(gè)角度的多交互注意機(jī)制，同時(shí)提取語(yǔ)義和語(yǔ)法特征信息。

3.5 輸出層

為學(xué)習(xí)包含語(yǔ)義和語(yǔ)法特征的復(fù)合表示，使用

4 實(shí)驗(yàn)

4.1 數(shù)據(jù)集

在5個(gè)數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)：分別是ACL14 Twitter[13], SemEval 2014[14], SemEval 2015[15], Sem-Eval 2016[16]評(píng)論集。如表2所示，給出數(shù)據(jù)集中訓(xùn)練集和測(cè)試集的實(shí)例數(shù)量。

表2 數(shù)據(jù)集的統(tǒng)計(jì)

4.2 參數(shù)設(shè)置

在實(shí)驗(yàn)中，使用嵌入維度為300的預(yù)訓(xùn)練GloVe作為初始詞嵌入，Bi-LSTM的隱藏層維度設(shè)置為300，模型中的權(quán)重采用滿足均勻分布進(jìn)行初始化。使用Adam作為優(yōu)化器，學(xué)習(xí)率設(shè)置為1×10?3，L2正則項(xiàng)系數(shù)設(shè)置為1×10?5，批量訓(xùn)練樣本設(shè)置為32。

4.3 實(shí)驗(yàn)結(jié)果

如表3所示，在基于GCN的模型中，MIGCN相比于利用依存樹并使用無(wú)向圖構(gòu)建鄰接矩陣的ASGCN-DG模型，在5個(gè)數(shù)據(jù)集上準(zhǔn)確率平均提升1.04 %，宏F1值平均提升2.24 %；與GCN的變體TD-GAT相比，準(zhǔn)確率平均提升1.05 %，宏F1值平均提升2.80 %。在Twitter和Rest15數(shù)據(jù)集上，由于網(wǎng)絡(luò)用戶評(píng)論語(yǔ)句的語(yǔ)法結(jié)構(gòu)較弱，而BiGCN使用雙重圖卷積網(wǎng)絡(luò)關(guān)注單詞共現(xiàn)信息，對(duì)英文中慣用表達(dá)更加敏感，因此在句子語(yǔ)法結(jié)構(gòu)較弱的情況下，所提MIGCN模型取得次優(yōu)效果。對(duì)于kumaGCN，其采用潛圖結(jié)構(gòu)，僅關(guān)注與方面詞有直接語(yǔ)法依存關(guān)系個(gè)別文本單詞信息，過(guò)濾掉與其間接依存文本詞語(yǔ)法信息，所以在Res15和Res16數(shù)據(jù)集上宏F1值高于MIGCN，但潛圖結(jié)構(gòu)會(huì)將一些重要的文本詞語(yǔ)法信息過(guò)濾，進(jìn)而導(dǎo)致其在Twitter和Lap14數(shù)據(jù)集上劣于MIGCN。

表3 不同模型結(jié)果對(duì)比(%)

5 實(shí)驗(yàn)分析

5.1 消融實(shí)驗(yàn)

如表4所示，w/o se表示僅去掉語(yǔ)義交互，w/o sy表示僅去掉語(yǔ)法交互，w/o we表示沒(méi)有使用語(yǔ)法距離加權(quán)構(gòu)建圖卷積網(wǎng)絡(luò)中的鄰接矩陣，w/o ga表示沒(méi)有使用門控機(jī)制對(duì)語(yǔ)法交互和語(yǔ)義交互進(jìn)行融合，w/o sy+ga代表利用門控機(jī)制融合未經(jīng)語(yǔ)法交互的特征向量，w/o se+ga代表利用門控機(jī)制融合未經(jīng)語(yǔ)義交互的特征向量。對(duì)比w/o se, w/o sy和基準(zhǔn)模型，證明單一交互性能低于多交互性能。觀察w/o we，驗(yàn)證語(yǔ)法距離加權(quán)后鄰接矩陣可提升網(wǎng)絡(luò)性能。同時(shí)，對(duì)比w/o sy+ga和w/o se+ga，在使用門控機(jī)制融合情況下，去掉任何一種交互方式，模型準(zhǔn)確率和宏F1值均下降，進(jìn)一步表明結(jié)合語(yǔ)法和語(yǔ)義多交互機(jī)制重要性。

表4 消融實(shí)驗(yàn)結(jié)果(%)

5.2 GCN層數(shù)分析

實(shí)驗(yàn)將GCN層數(shù)分別設(shè)置為L(zhǎng) ∈{1,2,...,12}，在5個(gè)數(shù)據(jù)集上的準(zhǔn)確率和宏F1值分別如圖5和圖6所示。MIGCN在網(wǎng)絡(luò)深度為2層時(shí)達(dá)到了最佳的性能，但隨著網(wǎng)絡(luò)深度的增加，模型在5個(gè)公共數(shù)據(jù)集上的性能隨之下降。在網(wǎng)絡(luò)深度為12層時(shí)，相比于最佳性能，準(zhǔn)確率平均下降2.1%，宏F1值平均下降3.6%，由于引入更多參數(shù)，模型產(chǎn)生過(guò)擬合現(xiàn)象。

圖5 GCN網(wǎng)絡(luò)深度與準(zhǔn)確率的關(guān)系

圖6 GCN網(wǎng)絡(luò)深度與宏F1值的關(guān)系

5.3 案例分析

實(shí)驗(yàn)從Rest14數(shù)據(jù)集中任取兩個(gè)句子進(jìn)行注意力可視化分析，第1行代表基于語(yǔ)法交互的注意力分?jǐn)?shù)，第2行是基于語(yǔ)義交互注意力分?jǐn)?shù)，區(qū)域顏色越深，代表注意權(quán)重越大。如圖7所示，基于語(yǔ)義和語(yǔ)法的注意力機(jī)制均能分別判斷出影響方面詞“staff”情感極性的詞為“should be a bit”，使MIGCN正確識(shí)別出方面所對(duì)應(yīng)情感極性，證明語(yǔ)義交互和語(yǔ)法交互對(duì)情感分析均有利。如圖8所示，無(wú)論基于語(yǔ)法注意力機(jī)制還是基于語(yǔ)義注意力機(jī)制，均正確識(shí)別影響方面詞情感極性關(guān)鍵詞為“Best”，說(shuō)明同時(shí)關(guān)注單詞語(yǔ)義信息和語(yǔ)法信息必要性。

圖7 方面為單詞“staff”的可視化結(jié)果

圖8 方面為短語(yǔ)“Indian food”的可視化結(jié)果

6 結(jié)論

本文提出一種多交互圖卷積網(wǎng)絡(luò)，首先將位置距離特征饋入到每層圖卷積網(wǎng)絡(luò)中，同時(shí)利用語(yǔ)法距離特征對(duì)圖卷積網(wǎng)絡(luò)的鄰接矩陣進(jìn)行加權(quán)，最后設(shè)計(jì)多交互機(jī)制將語(yǔ)法和語(yǔ)義特征融合。實(shí)驗(yàn)結(jié)果表明，文本詞的位置距離特征和語(yǔ)法距離特征均不可忽略，且在單詞之間同時(shí)進(jìn)行語(yǔ)義和語(yǔ)法交互是有利的，所提模型在公開數(shù)據(jù)集上準(zhǔn)確率和F1值優(yōu)于基準(zhǔn)模型。