基于注意力編碼網(wǎng)絡(luò)的細(xì)粒度文本情感分析研究

◆顏孝為 肖 化

基于注意力編碼網(wǎng)絡(luò)的細(xì)粒度文本情感分析研究

◆顏孝為 肖 化

（華南師范大學(xué)物理與電信工程學(xué)院 廣東 510006）

傳統(tǒng)文本情感分析，通常從文本（可以是文檔、段落或句子）整體出發(fā)，只能給出一整句話的情感值，無法準(zhǔn)確表達(dá)用戶對不同目標(biāo)（情感附著物）的情感傾向。因此，本文以深度學(xué)習(xí)算法為基礎(chǔ)進(jìn)行細(xì)粒度情感分析研究。通過分析注意力編碼網(wǎng)絡(luò)的結(jié)構(gòu)和算法原理，提出相應(yīng)的情感分析框架，以及文本預(yù)處理和文本表示方法。該模型在公開數(shù)據(jù)集SemEval 2014上進(jìn)行了實(shí)驗(yàn)，結(jié)果顯示基于注意力編碼網(wǎng)絡(luò)的情感分析模型可以獲得更高的準(zhǔn)確率。

情感分類；注意力機(jī)制；深度學(xué)習(xí)，細(xì)粒度

1 引言

在現(xiàn)今移動互聯(lián)網(wǎng)和大數(shù)據(jù)的時(shí)代背景推動下，人們喜歡在網(wǎng)絡(luò)上發(fā)表自己的觀點(diǎn)，這種帶有個人主觀態(tài)度的文本在網(wǎng)絡(luò)輿情監(jiān)控，電商評論分析等方面具有很大的信息挖掘價(jià)值[1]。如何利用自然語言處理技術(shù)分析網(wǎng)絡(luò)評論文本的情感傾向，逐漸成為學(xué)術(shù)研究熱點(diǎn)領(lǐng)域。

隨著近年來深度學(xué)習(xí)的發(fā)展，許多研究人員將深度學(xué)習(xí)算法用于細(xì)粒度情感分析并取得顯著的成果[2]。劉全等人[3]提出了基于方面情感分析的深度分層網(wǎng)絡(luò)模型。Dong等人[4]提出一種自適應(yīng)RNN的用在特定目標(biāo)的Twitter文本情感分類任務(wù)中。文本的細(xì)粒度文本情感分析是指，判斷一個句子中對應(yīng)目標(biāo)詞的情感極性。例如，“這家餐館的食物味道很好，但是環(huán)境太差了。”，對“食物”這個目標(biāo)詞，它的情感極性是正面的，而對于“環(huán)境”這個目標(biāo)詞，它的情感極性是負(fù)面的。因此，本文提出基于一種自注意力機(jī)制的編碼網(wǎng)絡(luò)，用于提取句子的隱藏特征。再把隱藏特征進(jìn)行更高級的特征運(yùn)算。實(shí)驗(yàn)證明，該模型取得了不錯結(jié)果。

2 相關(guān)工作

深度學(xué)習(xí)的出現(xiàn)，極大減少了模型對人工規(guī)則和特征工程的依賴。把深度學(xué)習(xí)結(jié)合注意力機(jī)制，能在方面情感分類任務(wù)上取得更好的效果。梁斌等人[5]使用一種基于多注意力機(jī)制的卷積神經(jīng)網(wǎng)絡(luò)來解決方面情感分析問題，該網(wǎng)絡(luò)結(jié)合了三種注意力機(jī)制，使模型能通過多種渠道獲取文本有關(guān)特定方面的情感特征，判別出對應(yīng)的情感極性。Wang等人[6]提出了一種基于注意力機(jī)制的 LSTM 網(wǎng)絡(luò)模型，該方法在輸入層和 LSTM 隱藏層上同樣加入了方面信息，也在加入了方面信息的 LSTM 隱藏層上使用注意力機(jī)制，高度關(guān)注有關(guān)特定方面的特征信息，在方面情感分析任務(wù)中能得到較好的情感分類效果。Ma等人[7]提出一種交互式神經(jīng)網(wǎng)絡(luò)IAN（Interactive Attention Networks），使用交互式學(xué)習(xí)的方法分別學(xué)習(xí)屬性與其上下文的表示。

本文的研究內(nèi)容受上述文發(fā)表文章的啟發(fā)，將深度神經(jīng)網(wǎng)絡(luò)和注意力機(jī)制相結(jié)合，提出了一種新的模型以實(shí)現(xiàn)細(xì)粒度文本情感分析。

3 提出的算法

本文通過使用自注意力機(jī)制替代傳統(tǒng)的長短記憶網(wǎng)絡(luò)（LSTM）來實(shí)現(xiàn)對句子的特征抽取，并為自注意力機(jī)制抽取的特征設(shè)計(jì)了相應(yīng)的后續(xù)網(wǎng)絡(luò)結(jié)構(gòu)。模型結(jié)構(gòu)如圖1所示。

圖1 模型結(jié)構(gòu)圖

3.1 任務(wù)定義

3.2 詞嵌入層

3.3 注意力編碼層

注意力網(wǎng)絡(luò)編碼層是可以代替長短記憶網(wǎng)絡(luò)（LSTM）的結(jié)構(gòu)層，我們使用它來獲取詞嵌入層的隱藏狀態(tài)。我們采用多頭注意力（Multi-headed attention）機(jī)制的方法對embeeding層的輸出進(jìn)行編碼，使得句子中的每個單詞與其余所有詞進(jìn)行self-attention計(jì)算[8]，獲取句子的內(nèi)部結(jié)構(gòu)，得到上下文的隱藏狀態(tài)。

使用下面的注意力計(jì)算函數(shù)計(jì)算一個key句子序列:

其中，f為對齊函數(shù)，通過學(xué)習(xí)q和k的語義相關(guān)性：

3.4 交互注意力層

同理，對于每一個目標(biāo)詞，句子中每個隱藏狀態(tài)的影響不一樣。可以得到：

3.5 輸出層

把前面的層輸出拼接起來，得到輸出，再接一個全連接層映射為特定的個類別的子空間。

在我們的模型訓(xùn)練中，最小化交叉熵loss并使用L2正則法。

4 實(shí)驗(yàn)

4.1 實(shí)驗(yàn)數(shù)據(jù)和環(huán)境

數(shù)據(jù)源采用的實(shí)驗(yàn)將采用SemEval2014 任務(wù)42，包含restaurant和laptop兩個領(lǐng)域的數(shù)據(jù)，數(shù)據(jù)的情感極性分為三類：正面的、中立的、負(fù)面的。實(shí)驗(yàn)環(huán)境為Ubuntu操作系統(tǒng)、16G內(nèi)存、CPU為Inter酷睿i7-8700、GPU是NVIDIA GeForce GTX1080Ti，4G顯卡。編程語言為python3.6，開發(fā)工具為Pycharm，使用的深度學(xué)習(xí)框架為Tensorflow-1.12。

4.2 超參數(shù)設(shè)置

4.3 對比實(shí)驗(yàn)

為了驗(yàn)證我們在文中提出的模型AE-IAN，選出下面的經(jīng)典情感分析模型做比較：

LSTM：基于文獻(xiàn)[5]提出的 LSTM 網(wǎng)絡(luò)模型，該模型可以保留句中詞語的時(shí)序關(guān)系，獲取詞語間一定的語法和語義信息。

ATAE-LSTM：文獻(xiàn)[6]提出的融合了方面信息和注意力機(jī)制的 LSTM 網(wǎng)絡(luò)模型，該模型在訓(xùn)練過程中高度關(guān)注特定方面，有效識別情感極性。

IAN：文獻(xiàn)[7]用兩種LSTM和注意來學(xué)習(xí)目標(biāo)和上下文的表示，從而生成目標(biāo)和上下文的相互對應(yīng)的表示。

在我們模型的訓(xùn)練過程中，實(shí)驗(yàn)的預(yù)測準(zhǔn)確率有一定的浮動，因此，我們的結(jié)果是取n次試驗(yàn)的平均值。對于其他的經(jīng)典模型，我們選取他們的論文中的最好的值進(jìn)行比較。從表1可以發(fā)現(xiàn)在Restaurant和Laptop兩個數(shù)據(jù)集上，我們的模型比所有的基線模型的準(zhǔn)確率都要高。

表1 模型的準(zhǔn)確率對比

5 結(jié)束語

本文提出了一種基于深度神經(jīng)網(wǎng)絡(luò)的細(xì)粒度情感分類模型，我們的模型使用了多頭注意力機(jī)制去獲取句子和目標(biāo)詞的隱藏狀態(tài)，設(shè)計(jì)了句子和目標(biāo)詞之間的交互注意力，將我們關(guān)注的相關(guān)結(jié)果拼接起來。在SemEval2014數(shù)據(jù)集上訓(xùn)練，結(jié)果顯示我們的模型明顯優(yōu)于以前的基礎(chǔ)模型。

本文僅涉及自然語言處理應(yīng)用和領(lǐng)域需求分析研究的主要部分，這是一個復(fù)雜而廣泛的主題。未來，我們不僅將對產(chǎn)品評論數(shù)據(jù)的方面詞抽取和分類的準(zhǔn)確性再進(jìn)一步深入的研究，同時(shí)也會研究構(gòu)建以用戶需求為導(dǎo)向的評價(jià)體系。

[1]王仲遠(yuǎn)，程健鵬，王海勛，等.短文本理解研究[J].計(jì)算機(jī)研究與發(fā)展，2016，53（02）：262-269.

[2]劉全，梁斌，徐進(jìn)，等.一種用于基于方面情感分析的深度分層網(wǎng)絡(luò)模型[J].計(jì)算機(jī)學(xué)報(bào)，2018，41（12）：2637-2652.

[3]余凱，賈磊，陳雨強(qiáng)，等.深度學(xué)習(xí)的昨天、今天和明天[J].計(jì)算機(jī)研究與發(fā)展，2013，50（9）：1799-1804.

[4]Dong L，Wei F，Tan C，et al. Adaptive Recursive Neural Network for Target-dependent Twitter Sentiment，Classification[C]// Meeting of the Association for Computational Linguistics. 2014.

[5]梁斌，劉全，徐進(jìn)，等.基于多注意力卷積神經(jīng)網(wǎng)絡(luò)的特定目標(biāo)情感分析[J].計(jì)算機(jī)研究與發(fā)展，2017，54（8）： 1724-1735.

[6]Wang Y，Huang M，Zhao L，et al. Attention-based LSTM for Aspect-level Sentiment Classification[C]//Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing. Stroudsburg，PA：ACL，2016：606-615.

[7]Ma D，Li S，Zhang X，et al. Interactive attention networks for aspect-level sentiment classification[J]. arXiv preprint arXiv：1709.00893，2017.

[8]Vaswani A，Shazeer N， Parmar N，et al. Attention is all you need[C]//Advances in neural information processing systems. 2017：5998-6008.