基于Aspect帶有CNN注意力機(jī)制的門控卷積網(wǎng)絡(luò)與情感分析

孫承愛　趙瑞　田剛

摘? 要： 基于Aspect的情感分析（ABSA）是一個(gè)細(xì)粒度的任務(wù)，由于它可以比一般的情感分析提供更詳細(xì)的信息與數(shù)據(jù)，所以近年來他備受矚目。它的主要任務(wù)是判斷或預(yù)測(cè)句子在給定的場(chǎng)景中某些方面的情感極性。所以實(shí)體關(guān)注點(diǎn)的不同，就決定了一個(gè)句子的情緒極性的不同。例如，“這個(gè)筆記本電腦的性能很好，但是價(jià)格很高?！?，性能和價(jià)格就是兩個(gè)關(guān)注點(diǎn)。因此，有必要進(jìn)一步探討目標(biāo)實(shí)體關(guān)注點(diǎn)與句子內(nèi)容之間的聯(lián)系。為此，啟發(fā)的在Gated Tanh-ReLU單元的基礎(chǔ)上進(jìn)行改進(jìn)，提出了一個(gè)新穎的基于卷積神經(jīng)網(wǎng)絡(luò)帶有注意力機(jī)制的門控機(jī)制模型。一方面，它具有三重新型門控機(jī)制，進(jìn)行了三次Gated Tanh-ReLU單元的循環(huán)使用;其次，在模型最后再進(jìn)行一次GRU和注意力機(jī)制，進(jìn)行更好的篩選，最終總結(jié)為即基于Aspect的帶有注意力機(jī)制的門控卷積網(wǎng)絡(luò)（AGACE）模型。結(jié)果表明，（AGACE）模型在ACSA方面測(cè)試集上為86.77%、76.45%，在ATSA方面也有76.27%，73.27%。Semeval-2014數(shù)據(jù)集上的實(shí)驗(yàn)表明AGACE模型在基于Aspect情感分類方面具有更好的性能，能夠提高識(shí)別結(jié)果準(zhǔn)確度與識(shí)別效率。

關(guān)鍵詞： 情感分析;Gated Tanh-ReLU單元;實(shí)體關(guān)注點(diǎn);門控機(jī)制;AGACE模型

中圖分類號(hào)： TP391.1? ? 文獻(xiàn)標(biāo)識(shí)碼： A? ? DOI：10.3969/j.issn.1003-6970.2019.07.002

本文著錄格式：孫承愛，趙瑞，田剛. 基于Aspect帶有CNN注意力機(jī)制的門控卷積網(wǎng)絡(luò)與情感分析[J]. 軟件，2019，40（7）：0815

【Abstract】： Aspect-based sentiment analysis （ABSA） is a fine-grained task， and it has received much attention in recent years because it provides more detailed information and data than general sentiment analysis. Its main task is to judge or predict the emotional polarity of certain aspects of a sentence in a given scene. So the difference in entity concerns determines the difference in the emotional polarity of a sentence. For example， "The performance of this laptop is good， but the price is very high." Performance and price are two concerns. Therefore， it is necessary to further explore the relationship between the target entity's concerns and the content of the sentence. To this end， the inspiration is improved on the basis of the Gated Tanh-ReLU unit， and a novel gating mechanism model based on the convolutional neural network with attention mechanism is proposed. On the one hand， it has three re-gating mechanisms， and the three Gated Tanh-ReLU units are recycled. Secondly， a GRU and attention mechanism is performed at the end of the model for better screening. Finally， it is summarized as Aspect-based. A gated convolutional network （AGACE） model with an attention mechanism. The results show that the （AGACE） model is 86.77% and 76.45% on the ACSA test set and 76.27% and 73.27% on the ATSA. Experiments on the Semeval-2014 dataset show that the AGACE model has better performance based on Aspect sentiment classification， which can improve the accuracy and recognition efficiency of recognition results.

【Key words】： Sentiment analysis; Gated Tanh-ReLU unit; Entity focus; Gating mechanism; AGACE model

0? 引言

情感分析[1]是用于判斷人們所表達(dá)的情感的方法和算法的集合。又稱傾向性分析、意見挖掘，是一項(xiàng)近些年來備受矚目的NLP任務(wù)。其中基于Aspect的情感分析（ABSA）相較于傳統(tǒng)的情感分析更加高效。ABSA有兩個(gè)子任務(wù)：基于Aspect類的情感分析（Aspect-category sentiment analysis——ACSA）和基于Aspect詞的情感分析（Aspect-term sentiment analysis——ATSA）。例如，“盡管這個(gè)筆記本的性能很好，但是價(jià)格很高?！?，ATSA會(huì)詢問筆記本性能這個(gè)詞的情緒極性;而ACSA會(huì)詢問價(jià)格方面情緒極性，即使單詞收費(fèi)沒有出現(xiàn)在句子中?？紤]到不同方面時(shí)，情緒極性可能相反。

之前的神經(jīng)網(wǎng)絡(luò)模型只片面的考慮了Target方向而沒有考慮到Aspect，例如（TD-LSTM） 和（TC-LSTM） [2]。此外，一些模型需要單詞和目標(biāo)之間的位置信息來產(chǎn)生加權(quán)LSTM[3]，這在嘈雜的評(píng)論文本中是不可靠的。注意力機(jī)制也在神經(jīng)網(wǎng)絡(luò)中的出現(xiàn)率越來越高，例如[4]，他提高了閱讀理解的能力。同時(shí)我們參考了Aspect的實(shí)體提取[5]?；贏spect的門控卷積網(wǎng)絡(luò)分析（Gated Tanh-ReLU）[6]為我們提供了靈感。在本文中我們?cè)谄浠A(chǔ)上開發(fā)了一種新穎的基于卷積和門控控制的注意力機(jī)制模型，對(duì)于ACSA和ATSA同時(shí)準(zhǔn)確和高效，比基于LSTM的模型訓(xùn)練時(shí)間少得多，相比基于Aspect的門控卷積網(wǎng)絡(luò)，也提高了準(zhǔn)確性。

我們的模型對(duì)于ACSA和ATSA有著不同的表現(xiàn)。對(duì)于ACSA任務(wù)，有兩個(gè)獨(dú)立的卷積層在嵌入層頂部，嵌入層是由我們的新型門單元組成。卷積層上具有多重濾波器，使得可以在多粒度下有效抽取n-gram特征。參考GCAE模型[6]，我們的門單元所提具有兩個(gè)非線性門（Gated Tanh-ReLU）組成，門分別與卷積層一一連接。我們將該模型連續(xù)使用三次并輸出三次，將三次結(jié)果放進(jìn)GRU[7].中防止梯度彌散，進(jìn)行重要特征的篩選。在最后加一個(gè)self-attention機(jī)制，對(duì)目標(biāo)進(jìn)行加權(quán)變化，以此增加計(jì)算的并行性，并更好的有效利用特征。在給定的Aspect信息下，對(duì)于情感的預(yù)測(cè)能夠抽取Aspect-specific 情感信息。例如，在句子“盡管這個(gè)筆記本的性能很好，但是價(jià)格很高?！?，當(dāng)性能這個(gè)Aspect出現(xiàn)時(shí)，門單元忽略價(jià)格這個(gè)Aspect的消極情緒極性，只輸出前面的正面情緒。相對(duì)于LSTM模型機(jī)制 由于該模型的每個(gè)部分能夠并行化，因此能夠節(jié)省更多的時(shí)間。對(duì)于ATSA任務(wù)，當(dāng)Aspect有多個(gè)單詞實(shí)體時(shí)，我們就將其模型擴(kuò)展到其他單詞實(shí)體的卷積層。

我們?cè)u(píng)估我們的模型在Semeval 數(shù)據(jù)集上，其中包括Aspect級(jí)別標(biāo)簽得餐廳與筆記本電腦的評(píng)論。通過驗(yàn)證，我們的準(zhǔn)確性提高很多。

1? 相關(guān)研究

在本節(jié)中，我們將相關(guān)工作分為兩類：用于情感分類的神經(jīng)網(wǎng)絡(luò)和Aspect級(jí)別的情感分類。

1.1? 基于神經(jīng)網(wǎng)絡(luò)的情緒分類

如果說一種簡(jiǎn)單有效的分布式學(xué)習(xí)表示的方法[8]的提出，使得神經(jīng)網(wǎng)絡(luò)在情感分析方向得到大大推進(jìn)，那么Tree-LSTM[9]的提出則使得神經(jīng)網(wǎng)絡(luò)在情感分析或句子分類任務(wù)中獲得了很大的普及。通過利用句子結(jié)構(gòu)的語法解釋，基于樹的LSTM已被證明對(duì)許多NLP任務(wù)非常有效。然而，這樣的方法可能有審閱文本時(shí)的語法分析錯(cuò)誤和效率低下的特點(diǎn)。而大量模型在NLP方向中使用卷積神經(jīng)網(wǎng)絡(luò)（CNN）[10，11]。GRU也被[12]進(jìn)行對(duì)不定長度的數(shù)據(jù)進(jìn)行情感極性分析。盡管這些方法在細(xì)粒度的Aspect上仍有挑戰(zhàn)，不過也證明了卷積運(yùn)算捕獲文本的高效性。

1.2? Aspect層面的情緒分類

Aspect-level情感分析是一種細(xì)粒度的分類任務(wù)。隨著豐富的情感詞典[13]與基于詞典的特征被建立用于情感分析[14]的出現(xiàn)，檢測(cè)極性任務(wù)就開始由人工設(shè)計(jì)特征到使用SVM構(gòu)建具有特征的情感分類器，使得結(jié)構(gòu)化風(fēng)險(xiǎn)大大降低。對(duì)于基于Aspect類的情感分析（ACSA），模型需要預(yù)測(cè)向預(yù)定義Aspect的情緒極性方向篩選?；贏spect詞的情感分析（ATSA），是對(duì)給定句子中標(biāo)注的Aspect術(shù)語進(jìn)行情感分析。

2? 基于Aspect的帶有注意力機(jī)制的門控卷積網(wǎng)絡(luò)

本文提出了一種新的模型，即基于Aspect的帶有注意力機(jī)制的門控卷積網(wǎng)絡(luò)（AGACE）。能夠針對(duì)ACSA與ATSA完成任務(wù)。我們的模型有兩個(gè)獨(dú)立的卷積層在嵌入層頂部，嵌入層是由我們的新型門單元組成。讓Aspect嵌入在計(jì)算注意權(quán)重中發(fā)揮作用，卷積層上具有多重濾波器，使得每個(gè)濾波器可以在多粒度下有效抽取n-gram特征。我們的門單元所提具有兩個(gè)非線性門（Gated Tanh-ReLU）組成，門分別與卷積層一一連接。我們將該模型連續(xù)使用三次并輸出三次，將三次結(jié)果放進(jìn)GRU中防止梯度彌散，進(jìn)行重要特征的篩選。在最后加一個(gè)self- attention-pooling機(jī)制，對(duì)目標(biāo)進(jìn)行加權(quán)平均變化，以此增加計(jì)算的并行性，克服了遞歸神經(jīng)網(wǎng)絡(luò)中 不支持輸入并行化的問題，并更好的有效利用特征，極大限度的生成Aspect級(jí)別的情感特征。

卷積神經(jīng)網(wǎng)絡(luò)（CNN）由嵌入層、一維卷積層和最大池化層組成。嵌入層取索引 ，輸出相應(yīng)的嵌入向量 。 表示嵌入向量的維數(shù)大小。 是單詞詞匯量的大小。嵌入層通常使用預(yù)先訓(xùn)練好的嵌入初始化，如GloVe [15]，然后在訓(xùn)練階段對(duì)它們進(jìn)行微調(diào)。一維卷積層將輸入與多個(gè)不同寬度的卷積內(nèi)核進(jìn)行卷積。每個(gè)核對(duì)應(yīng)一個(gè)語言特征檢測(cè)器，該檢測(cè)器在不同粒度處提取特定的n-gram模式[16]。具體來說，輸入語句通過嵌入層用矩陣表示， ，其中 為帶填充的句子長度。卷積濾波器 將接受域中的 個(gè)單詞映射到一個(gè)特征 。當(dāng)我們將該濾波器滑動(dòng)到整個(gè)句子中時(shí)，我們得到了一系列新特征? ?。

其中 為偏置， 為非線性激活函數(shù)，如tanh函數(shù)， 則表示卷積運(yùn)算。如果有寬度 相同的 濾波器，則輸出特征形成矩陣 。對(duì)于每個(gè)卷積濾波器，self-attention pooling層在生成的卷積特征中取最大值，得到一個(gè)固定大小的向量，其大小等于濾波器 的個(gè)數(shù)。最后，使用soft-max層預(yù)測(cè)輸入句子的情感極性。

為了提取更高層次的語音信息，我們進(jìn)行了多次實(shí)驗(yàn)，經(jīng)實(shí)驗(yàn)證明，3-4層效果相似，超過4層效果有所衰弱，故選擇為3層，效果如表1所示。

圖1說明了我們的模型體系結(jié)構(gòu)。一對(duì)卷積神經(jīng)元計(jì)算一對(duì)門的特征（tanh門和ReLU門），共三對(duì)。ReLU門接收給定的Aspect信息來控制情緒特征的傳播。兩個(gè)門的輸出以元素方式相乘，通過GRU計(jì)算，最終用于注意力機(jī)制的最大池層。

為了更好地利用Aspect信息，我們將輸入Aspect嵌入到每個(gè)單詞輸入向量中。一共有3個(gè)門控Tanh-ReLU單元（GTRU），帶有方向嵌入的門控Tanh-ReLU單元（GTRU）在每個(gè)位置 上連接兩個(gè)卷積神經(jīng)元，具體計(jì)算特征 為

其中 為ACSA中給定Aspect類別的嵌入向量，或由另一個(gè)CNN計(jì)算ATSA中Aspect項(xiàng)的嵌入向量。式2中的ReLU門在正輸入上沒有上界，但在負(fù)輸入上嚴(yán)格為零。因此，它可以根據(jù)給定的Aspect信息 與 位置的Aspect特征 之間的相關(guān)性，輸出相似度得分。如果該得分為零，則情感特征 在門處被阻塞;否則，其規(guī)模將相應(yīng)擴(kuò)大。Self-attention-pooling進(jìn)一步刪除了在整個(gè)句子中不重要的情感特征。式2和式3中的兩個(gè)卷積與普通CNN中的卷積相同，但是卷積特征 通過ReLU激活函數(shù)接收額外的Aspect信息 。也就是說， 和 分別負(fù)責(zé)生成情感特征和Aspect特征。上面的self-attention-pooling池層生成一個(gè)固定大小的向量?，保留了整句話最顯著的情感特征。最后全層與softmax函數(shù)使用矢量 預(yù)測(cè)情緒極性 。其中目標(biāo)函數(shù)（損失函數(shù)）是交叉熵?fù)p失。設(shè) 是句子的目標(biāo)分布， 是預(yù)測(cè)的情緒分布。訓(xùn)練的目標(biāo)是最小化所有句子的 和 之間的交叉熵誤差。

3? AGACE ON ATSA

ATSA任務(wù)是用來預(yù)測(cè)句子中Aspect詞的情感極性。我們只是通過在Aspect項(xiàng)上添加一個(gè)小的卷積層來擴(kuò)展AGACE，如圖2所示。與ACSA相比，它在Aspect方面有一個(gè)額外的卷積層，同時(shí)保留了并行計(jì)算的能力。在acsa中，控制GTRU情感特征流動(dòng)的Aspect構(gòu)成是一個(gè)Aspect詞;而在ATSA中，這類信息是由一個(gè)小型CNN提供的Aspect的術(shù)語 。附加的CNN從多個(gè)單詞中提取重要特征。

4? 實(shí)驗(yàn)與分析

4.1? 實(shí)驗(yàn)數(shù)據(jù)集

為了驗(yàn)證算法的合理性，我們對(duì)Semeval? workshop [17]的公共數(shù)據(jù)集進(jìn)行了實(shí)驗(yàn)，這些數(shù)據(jù)集包含了客戶對(duì)餐館和筆記本電腦的評(píng)論。一些現(xiàn)有工作[18]從四個(gè)情緒標(biāo)簽中去掉了“沖突”標(biāo)簽，這使得他們的結(jié)果好[19]。我們重新實(shí)現(xiàn)了比較的方法，并使用了這些參考文獻(xiàn)中描述的超參數(shù)設(shè)置。

目標(biāo)實(shí)體關(guān)注點(diǎn)不同，句子的情感標(biāo)簽就可能不一樣。表2中的句子顯示了評(píng)論者對(duì)性能和價(jià)格兩個(gè)方面的不同態(tài)度。因此，為了更準(zhǔn)確地訪問模型在評(píng)論句子上的表現(xiàn)，我們需要一個(gè)量小而復(fù)雜的數(shù)據(jù)集，這些數(shù)據(jù)集由對(duì)不同Aspect/目標(biāo)有相反或不同情緒的句子組成。在表2中，數(shù)據(jù)集中的同一個(gè)句子句子，但是它們有不同的情感標(biāo)簽。如果一個(gè)句子有4個(gè)Aspect目標(biāo)，那么這個(gè)句子在數(shù)據(jù)集中就會(huì)有4個(gè)副本，每個(gè)副本都聯(lián)系著不同的情緒標(biāo)簽與目標(biāo)。

對(duì)于ACSA任務(wù)，我們對(duì)2014年Semeval 任務(wù)4的筆記本電腦評(píng)論數(shù)據(jù)進(jìn)行了實(shí)驗(yàn)。分為5個(gè)方面和四種極性，5個(gè)方面：性能、價(jià)格、服務(wù)、氛圍和雜項(xiàng);4種情緒極性：積極、消極、中立和沖突。通過合并2014-2017年三年的筆記本電腦評(píng)論，我們獲得了一個(gè)名為“Computer-data”的更大的數(shù)據(jù)集。在數(shù)據(jù)集中，我們將沖突標(biāo)簽替換為中性標(biāo)簽。其中可能有多對(duì)的“Aspect-terms”（ATSA）和“Aspect-category”（ACSA）。每個(gè)句子，讓 表示正標(biāo)簽的數(shù)量減去負(fù)標(biāo)簽的數(shù)量。 ，則為情緒極性為積極; ，則為情緒極性為消極; ，則為情緒極性為中性。統(tǒng)計(jì)結(jié)果如表3所示，分為6個(gè)Aspect：電腦城、筆記本電腦、服務(wù)、價(jià)格、位置和雜項(xiàng)。

對(duì)于ATSA任務(wù)，我們使用來自Semeval? 2014 task 4的筆記本電腦評(píng)論進(jìn)行實(shí)驗(yàn)。在每個(gè)數(shù)據(jù)集上，我們復(fù)制每個(gè)句子 次， 就是Aspect-terms（ATSA）/Aspect-category（ACSA）的數(shù)量[20]。數(shù)據(jù)集的統(tǒng)計(jì)數(shù)據(jù)如表3所示。

Hard-data的大小也如表3所示。該測(cè)試集旨在測(cè)試一個(gè)模型是否能夠在一個(gè)句子中檢測(cè)到對(duì)不同實(shí)體的多個(gè)不同情緒極性。

在我們的實(shí)驗(yàn)中，我們使用300維GloVe向量初始化詞嵌入向量，這些向量是根據(jù)許多未標(biāo)記數(shù)據(jù)來進(jìn)行預(yù)處理[21]。GloVe詞匯表的單詞隨機(jī)初始化為均勻分布 。我們使用了AdaGrad優(yōu)化器[22]，默認(rèn)學(xué)習(xí)率為 ，最大周期為30。所有的神經(jīng)模型都在PyTorch中實(shí)現(xiàn)。

4.2? 對(duì)比算法

為了證明模型的有效性，我們將我們的模型（AGACE）與LSTM，TC-LSTM，NRC，CNN，TD- LSTM，ATAE-LSTM，IAN，GCN和GCAE模型進(jìn)行比較。這些模型的簡(jiǎn)要介紹如下所示。

CNN：被廣泛用于文本分類任務(wù)。它不能直接捕獲ACSA任務(wù)上特定于Aspect的情緒信息，但是它為情緒分類提供了一個(gè)非常強(qiáng)大的基線。我們將過濾器的寬度設(shè)置為2，4，6，每個(gè)過濾器有100個(gè)特性。

LSTM：是一種時(shí)間循環(huán)神經(jīng)網(wǎng)絡(luò)，相對(duì)于RNN多了一個(gè)cell，適合于處理和預(yù)測(cè)時(shí)間序列中間隔和延遲相對(duì)較長的重要事件。

TD-LSTM[23]：使用兩個(gè)LSTM網(wǎng)絡(luò)對(duì)目標(biāo)的前后上下文進(jìn)行建模，生成目標(biāo)依賴的表示，用于情緒預(yù)測(cè)。

TC-LSTM[24]：在TD-LSTM的基礎(chǔ)上加入target words信息，很明顯地整合了target words與context words的相互關(guān)聯(lián)信息。

ATAE-LSTM[25]：是ACSA任務(wù)中基于注意力的LSTM。它將給定的Aspect嵌入與每個(gè)單詞嵌入一起作為LSTM的輸入，并在LSTM層之上有一個(gè)注意層。

NRC：是ACSA和ATSA task在Semeval 2014 task 4中的首選方法。SVM通過廣泛的特征工程訓(xùn)練：各種類型的n-gram、POS標(biāo)簽和詞典功能。情感詞典顯著提高了性能，但它需要大規(guī)模的標(biāo)記數(shù)據(jù)：18.3萬條Yelp評(píng)論、12.4萬條Amazon筆記本評(píng)論、5600萬條tweet和3個(gè)手動(dòng)標(biāo)記的情感詞匯。

IAN[26]：是ATSA任務(wù)的交互式注意網(wǎng)絡(luò)，也是基于LSTM和注意機(jī)制的。

GCN[27]：代表門控卷積神經(jīng)網(wǎng)絡(luò)，其中GTRU沒有將Aspect嵌入作為額外的輸入。

GCAE：使用了GTRU，而且將Aspect嵌入作為額外的輸入。

4.3? 結(jié)果分析

本節(jié)中，我們將我們的AGACE模型與其他的模型進(jìn)行對(duì)比，分為ACSA與ATSA兩部分，最后將運(yùn)行時(shí)間在數(shù)據(jù)集上進(jìn)行對(duì)比和評(píng)估。

4.3.1? ACSA

在 Semeval 研討會(huì)之后， 我們總結(jié)了所有競(jìng)爭(zhēng)模型在筆記本電腦評(píng)論測(cè)試數(shù)據(jù)集以及Hard-data上測(cè)試的總體準(zhǔn)確性。每個(gè)實(shí)驗(yàn)重復(fù)十次。平均值和標(biāo)準(zhǔn)偏差見表5。

基于lstm的模型atae-lstm在所有神經(jīng)網(wǎng)絡(luò)中的性能最差?；贏spect的情緒分析是提取與給定Aspect密切相關(guān)的情緒信息。將Aspect信息和情緒信息與句子提取的信息分開是很重要的。lstm 生成的上下文向量必須同時(shí)傳遞這兩種信息。此外，相似評(píng)分函數(shù)產(chǎn)生的注意分?jǐn)?shù)是針對(duì)整個(gè)上下文向量的。

與atae-lstm相比，AGACE的性能提高了1.1% 至2.5%。首先，我們的模型結(jié)合 gtru根據(jù)上下文向量的每個(gè)維度的給定方Aspect信息來控制情緒信息流。元素門控機(jī)構(gòu)的工作粒度很好，而不是對(duì)其他模型的關(guān)注層中上下文向量的所有維度進(jìn)行對(duì)齊評(píng)分。其次，AGACE 不生成單一的上下文向量，而是分別生成Aspect特征和情緒特征的兩個(gè)向量， 因此，Aspect和情緒信息被解開。通過將在Hard-data上測(cè)試的性能與 cnn 進(jìn)行比較，可以很容易地看到 AGACE的卷積層能夠區(qū)分多個(gè)實(shí)體的情緒。

卷積神經(jīng)網(wǎng)絡(luò)CNN和GCN不是為基于Aspect的情感分析而設(shè)計(jì)的，但它們的性能超過了ATAE-LSTM的性能SVM[28]的性能取決于它可以使用功能的可用性。如果沒有大量的情感字典，SVM的表現(xiàn)就比神經(jīng)方法差。使用多個(gè)情感詞典，性能就提高了7.6%。這激勵(lì)我們?cè)谖磥淼纳窠?jīng)網(wǎng)絡(luò)中多利用情感字典。

Hard-data測(cè)試集由不同Aspect的不同情緒的復(fù)制句子組成，對(duì)不同Aspect有不同的情感。無法利用給定Aspect信息（如CNN和GCN）的模型表現(xiàn)不佳，但AGACE比其他神經(jīng)網(wǎng)絡(luò)模型具有更高的準(zhǔn)確性。在ACSA任務(wù)中，在Computer-data數(shù)據(jù)集中，AGACE的準(zhǔn)確度比ATAE-LSTM高8%，在Semeval-2014上高7%。但是，在沒有Aspect的建模部分的GCN在筆記本電腦評(píng)論數(shù)據(jù)集上的得分高于AGACE。這說明當(dāng)目標(biāo)句子中只有一個(gè)情緒標(biāo)簽時(shí)，GCN的表現(xiàn)優(yōu)于AGACE，而在Hard-data測(cè)試集則不是這樣。

4.3.2? ATSA

我們將AGACE的擴(kuò)展版本應(yīng)用于ATSA任務(wù)。在這個(gè)任務(wù)中，Aspect術(shù)語被標(biāo)記在句子中，通常由多個(gè)單詞組成。我們比較IAN、RAM、TD-LSTM、ATAE-LSTM、GCAE模型和我們的AGACE模型如表6所示。來自NRC-Canada （Kiritchenko et al.，2014） 的SVM檢索結(jié)果用'*'表示。IAN比TD-LSTM和ATAE-LSTM具有更好的性能，因?yàn)閮蓚€(gè)注意層交互地指導(dǎo)上下文和實(shí)體的表示學(xué)習(xí)。GACE模型雖然各方面有了一定的進(jìn)步，但是精確度還是不夠。RAM通過將多個(gè)注意與遞歸神經(jīng)網(wǎng)絡(luò)相結(jié)合，也達(dá)到了很好的精度，但是需要更多的訓(xùn)練時(shí)間，如下面的部分所示。在Hard-data測(cè)試集上，AGACE在餐館數(shù)據(jù)的準(zhǔn)確率比RAM高2.3%，在筆記本數(shù)據(jù)上的準(zhǔn)確率高0.7%，由于用了多重GTRU，所以AGACE在筆記本數(shù)據(jù)上比GCAE高1%，餐廳數(shù)據(jù)上則高0.9%。在ATSA中，AGACE模型利用CNN來控制通過ReLU門控的情感特征的構(gòu)成。由于門控機(jī)制和Aspect項(xiàng)上的卷積層，AGACE優(yōu)于其他神經(jīng)模型和基本SVM。同樣，大規(guī)模的情感字典對(duì)支持向量機(jī)也有顯著的改進(jìn)。

4.3.3? 運(yùn)行時(shí)間

我們搭載在服務(wù)器上訓(xùn)練，并記錄所有模型的訓(xùn)練時(shí)間，如表7所示?；贚STM的模型比卷積模型需要更多的訓(xùn)練時(shí)間。在ATSA任務(wù)中，由于IAN和RAM中的多個(gè)注意力層，他們需要更多的時(shí)間來完成訓(xùn)練。與LSTM相比，卷積運(yùn)算和GTRU都沒有時(shí)間依賴性，因此AGACE比其他模型要快得多。由于SVM的性能是從原文中提取的，所以我們無法比較SVM的訓(xùn)練時(shí)間。但是由于具有3層CNN以及GRU機(jī)制，所以相較于GCAE，我們模型的時(shí)間更長一些，這是我們下一步需要改進(jìn)的目標(biāo)。

4.3.4? 門控機(jī)制

GTU和GLU顯示了門控機(jī)制的有效性[29]，GTU由 表示，其中S形門控制用于預(yù)測(cè)堆疊卷積塊中的下一個(gè)字的特征。為了克服GTU的梯度消失問題，GLU使用? ?代替，因此梯度不會(huì)縮減規(guī)模以通過大量堆疊卷積層。然而，GRU和只有一個(gè)卷積層的神經(jīng)網(wǎng)絡(luò)在訓(xùn)練過程中可以緩解梯度消失問題。結(jié)果表明，在文本分類問題上，我們的GTRU比上述兩種門控單元更有效。

我們將GLU，GTU，和用于AGCAE的GTRU進(jìn)行比較。表8顯示，這三組門控單元在筆記本數(shù)據(jù)集上都實(shí)現(xiàn)了較高的精度。但是GTRU的性能優(yōu)于其他門控單元。GTRU具有通過ReLU激活函數(shù)生成Aspect特征的卷積層，可以根據(jù)給定的Aspect信息控制情緒信號(hào)的幅度。另一方面，GTU和GLU中的S形函數(shù)具有上界+1，負(fù)輸入嚴(yán)格為0，可能無法有效提取情感特征。

5? 可視化

在本節(jié)中，我們主要實(shí)現(xiàn)了門權(quán)重的可視化。在標(biāo)準(zhǔn)化之后，我們?cè)趫D3中繪制每個(gè)單詞的值。給定不同的Aspect目標(biāo)，ReLU門將控制tanh門輸出的大小。

6? 結(jié)論與未來展望

本文針對(duì)ACSA和ATSA任務(wù)，提出了新穎的基于卷積和門控控制的注意力機(jī)制模型（AGACE）。GTRU可以根據(jù)給定的Aspect信息有效地控制情緒流，Attention可以進(jìn)行更好篩選，兩個(gè)卷積層分別對(duì)Aspect和情緒信息進(jìn)行建模。通過在Semeval 數(shù)據(jù)集上的大量實(shí)驗(yàn)，證明了與其他神經(jīng)模型相比的性能改進(jìn)。我們將情感詞匯在神經(jīng)網(wǎng)絡(luò)中的大規(guī)模應(yīng)用作為我們未來的目標(biāo)。

參考文獻(xiàn)

[1] NasukawaT， Yi J. Sentiment analysis：capturing favorability using natural language processing[C]//International Conference on Knowledge Capture.2003.

[2] 張玉環(huán)， 錢江. 基于兩種 LSTM 結(jié)構(gòu)的文本情感分析[J]. 軟件， 2018， 39（1）： 116-120

[3] Peng Chen， Zhongqian Sun， Lidong Bing， and Wei Yang. 2017. Recurrent Attention Network on Memory for Aspect Sentiment Analysis[C]. In EMNLP，pages 463–472.

[4] Hermann， Karl Moritz， Kocisky， Tomas， Grefenstette， Edward， Espeholt， Lasse， Kay， Will， Suleyman， Mustafa， and Blunsom，Phil. 2015.Teaching machines to read and comprehend. In Advances in Neural Information Proc-essing Systems 28[C]. pp. 1684-1692.

[5] Wei Xue， Wubai Zhou， Tao Li， and Qing Wang. 2017. Mtna： A neural multi-task model for aspect category classi?cation and aspect term extraction on restaurant reviews[C]. In Proceedings of the Eighth International Joint Conference on Natural Language Processing （Volume 2： Short Papers）， volume 2， pages 151-156.

[6] Xue W ， Li T . 2018. Aspect Based Sentiment Analysis with Gated Convolutional Networks[J]. In ACL， pages 2514-2523.

[7] Junyoung Chung， Caglar Gulcehre， Kyunghyun Cho， and Yoshua Bengio. 2014. Empirical Evaluation of Gated Recurrent Neural Networks on Sequence Modeling[C]. In NIPS.

[8] Mikolov T， Sutskever I， Chen K， et al. Distributed Representations of Words and Phrases and their Compositionality[J]. Advances in Neural Information Processing Systems， 2013， 26：3111-3119.

[9] Tai K S， Socher R， Manning C D. Improved Semantic Representations From Tree-Structured Long Short-Term Memory Networks[J]. Computer Science， 2015， 5（1）：： 36.

[10] Yoon Kim. 2014. Convolutional Neural Networks for Sentence Classi?cation[C]. In EMNLP， pages 1746-1751.

[11] 劉騰飛， 于雙元， 張洪濤， 等. 基于循環(huán)和卷積神經(jīng)網(wǎng)絡(luò)的文本分類研究[J]. 軟件， 2018， 39（01）： 64-69

[12] Duyu Tang， Bing Qin， and Ting Liu. 2015. Document Modeling with Gated Recurrent Neural Network for Sentiment Classi?cation[C]. In EMNLP， pages 1422-1432.

[13] Veronica Perez-Rosas， Carmen Banea， and Rada Mihalcea. 2012. Learningsentimentlexiconsinspanish[C]. In LREC， volume 12， page 73.

[14] Saif M Mohammad， Svetlana Kiritchenko， and Xiaodan Zhu. 2013. Nrc-canada： Building the state-of-theart in sentiment analysis of tweets. arXiv preprint arXiv：1308.6242.

[15] Jeffrey Pennington，Richard Socher，and Christopher D Manning. 2014. Glove： Global Vectors for Word Representation[C]. In EMNLP， pages 1532-1543.

[16] Nal Kalchbrenner， Edward Grefenstette， and Phil Blunsom. 2014. A convolutional neural network for modelling sentences[C]. In ACL， pages 655-665.

[17] Maria Pontiki， Dimitrios Galanis， John Pavlopoulos， Haris Papageorgiou， Ion Androutsopoulos， and Suresh Manandhar. 2014. Semeval-2014 task 4： Aspect based sentiment analysis[C]. In SemEval@COLING， pages 27-35， Stroudsburg， PA， USA. Association for Computational Linguistics.

[18] Duyu Tang， Bing Qin， Xiaocheng Feng， and Ting Liu. 2016a. Effective LSTMs for Target-DependentSentiment Classi?cation[C]. In COLING， pages 3298-3307.

[19] Svetlana Kiritchenko， Xiaodan Zhu， Colin Cherry， and SaifM.Mohammad.2014. NRC-Canada-2014： Detecting aspects and sentiment in customer reviews[C]. In SemEval@COLING， pages 437-442， Stroudsburg， PA， USA. Association for Computational Linguistics.

[20] Sebastian Ruder， Parsa Ghaffari， and John G Breslin. 2016a. A Hierarchical Model of Reviews for Aspect-based Sentiment Analysis[C]. In EMNLP， pages 999-1005.

[21] Sebastian Ruder， Parsa Ghaffari， and John G Breslin. 2016b. INSIGHT-1 at SemEval-2016 Task 5 - Deep Learning for Multilingual Aspect-based Sentiment Analysis[C]. In SemEval @NAACL-HLT， pages 330-336.

[22] John C Duchi， Elad Hazan， and Yoram Singer. 2011. Adaptive Subgradient Methods for Online Learning and Stochastic Optimization[J]. Journal of Machine Learning Research， pages 2121-2159

[23] Peng Chen， Zhongqian Sun， Lidong Bing， and Wei Yang. 2017. Recurrent Attention Network on Memory for Aspect Sentiment Analysis[C]. In EMNLP， pages 463-472.

[24] Dehong Ma， Sujian Li， Xiaodong Zhang， and Houfeng Wang. 2017. Interactive Attention Networks for Aspect-Level Sentiment Classi?cation[C]. In IJCAI， pages 4068-4074. International Joint Conferences on Arti?cial Intelligence Organization.

[25] Yequan Wang， Minlie Huang， Xiaoyan Zhu， and LiZhao. 2016b. Attention-basedLSTMforAspectlevel Sentiment Classi?cation[C]. In EMNLP， pages 606-615.

[26] Yann N Dauphi，Angela Fan，Michael Auli，and David Grangier. 2017. Language Modeling with Gated Convolutional Networks[C]. In ICML， pages 933-941.

[27] Jonas Gehring， ichael Auli， David Grangier， Denis Yarats， and Yann N Dauphin. 2017. Convolutional Sequence to Sequence Learning[C]. In ICML， pages 1243-1252.

[28] Nal Kalchbrenner， Lasse Espeholt， Karen Simonyan， A¨aron van den Oord， Alex Graves， and Koray Kavukcuoglu. 2016. Neural Machine Translation in Linear Time[J]. CoRR， abs/1610.10099.

[29] A¨aron van den Oord， Nal Kalchbrenner， Lasse Espeholt， Koray Kavukcuoglu， Oriol Vinyals， and Alex Graves. 2016. Conditional Image Generation with PixelCNN Decoders[C]. In NIPS， pages 4790-4798.