基于深度學(xué)習(xí)的中文情感分析研究

摘要：對(duì)于各行各業(yè)來說，使用情感分析技術(shù)挖掘中文文本數(shù)據(jù)，并通過中文文本查找情感信息非常重要。因此，情感分析已成為自然語言處理領(lǐng)域最為活躍的部分之一。本文針對(duì)基于深度學(xué)習(xí)的中文情感分析模型進(jìn)行了基本研究，以CNN為重點(diǎn)分析對(duì)象，分別對(duì)多通道和多注意力CNN的情感分析模型進(jìn)行了深入探索。

關(guān)鍵詞：深度學(xué)習(xí);中文情感分析;CNN

引言

隨著網(wǎng)絡(luò)信息技術(shù)的飛快發(fā)展，社交網(wǎng)絡(luò)已成為人們生活必不可少的一部分。通過網(wǎng)絡(luò)平臺(tái)，人們可以更加自由地表達(dá)意見，并產(chǎn)生了大量帶有情感信息的中文數(shù)據(jù)。近年來，深度學(xué)習(xí)在自然語言處理領(lǐng)域得到了更加廣泛的應(yīng)用，基于深度學(xué)習(xí)的中文情感分析取得了良好的效果。

一、情感分析模型--CNN

2006年，Hinton首次提出了深度學(xué)習(xí)的概念，而卷積神經(jīng)網(wǎng)絡(luò)（CNN）是深度學(xué)習(xí)的模型之一。該模型最初主要是用于圖像識(shí)別和視覺開發(fā)，特別是在圖像識(shí)別領(lǐng)域，CNN的應(yīng)用帶來了質(zhì)的飛躍_[1]。一九九八年，有著“CNN之父”之稱的YannLeCun教授在其論文中提出了LeNet-5模型，這是CNN首次在數(shù)字識(shí)別中得到了成功應(yīng)用。CNN創(chuàng)建了一種監(jiān)督學(xué)習(xí)算法，通過減少空間的相對(duì)關(guān)系來減少參數(shù)的數(shù)量，從而提高模型訓(xùn)練性能。從本質(zhì)上來看，CNN使用數(shù)學(xué)中的卷積概念通過池化層以及卷積層從文本中提取特征。因此，它主要是由卷積層和池化層組成。

（一）卷積層

卷積層是CNN的關(guān)鍵部分，主要是由節(jié)點(diǎn)組成，每個(gè)節(jié)點(diǎn)的輸入由上一層神經(jīng)網(wǎng)絡(luò)中的一塊組成。對(duì)于大小不同的窗口，其過濾器通常是卷積層的一部分，并且大小取決于實(shí)際操作。過濾器是用于識(shí)別特征的識(shí)別器。通過使用相同的過濾器以減少參數(shù)的數(shù)量。過濾器也被稱為卷積核，是卷積層的核心部分。卷積過程可以理解為使用過濾器掃描整個(gè)圖矩陣并獲得新的矩陣，卷積層會(huì)更深入地分析神經(jīng)網(wǎng)絡(luò)的每個(gè)小塊，并獲得更多的抽象特征。

（二）池化層

它的作用主要是通過減少參數(shù)來篩選特征，也可以視為是一種刪除參數(shù)的過程，并留下主要參數(shù)計(jì)算數(shù)量。卷積將導(dǎo)致大量的特征圖數(shù)據(jù)龐大，訓(xùn)練數(shù)據(jù)也不足，從而導(dǎo)致過度擬合的問題。卷積層的主要特征之一是特征的不變性，例如圖像是一只小動(dòng)物，在壓縮之后依然可以看出是一只小動(dòng)物。在壓縮過程中，僅僅刪除了與小動(dòng)物無關(guān)的信息。第二，特征尺寸減小。如果圖片具有過多的信息和特征，下一步則需要簡(jiǎn)化其復(fù)雜性，刪除不相關(guān)的部分信息，并保留最重要的特征。

二、多通道CNN的情感分析模型

基于CNN的情感分類模型可以充分挖掘中文的情感特征信息，接收詞匯向量輸入，并通過不同大小的卷積核提取出輸入中文的豐富特征。在完成中文情感分析模型的過程中，由于中文文本中包含的信息有限，為了提取更豐富的情感特征，一些研究將這種詞向量和獨(dú)特的情感特征信息作為CNN輸入，在文本中挖掘隱藏的情感特征_[2]。盡管該方法增加了情感特征，并取得了比傳統(tǒng)方法更好的效果，但該方法在情感特征使用上通常取決于人工情感詞典，無法充分利用其他方法中的特征信息。為了解決這些問題，基于多通道CNN的情感分析模型已被廣泛使用。該模型采用詞性向量來表達(dá)中文中的情感詞，可以在訓(xùn)練過程中學(xué)習(xí)到更多細(xì)微的情感特征。通過介紹詞匯的位置特征，可以表達(dá)出詞匯在中文文本中的重要性。最后，通過多通道接收不同特征的組合信息，挖掘中文中豐富的特征信息。

三、多注意力CNN的情感分析模型

通過調(diào)整注意力矩陣，可以在訓(xùn)練過程中更加注意某些信息。例如，在特定目標(biāo)的情感分析過程中，網(wǎng)絡(luò)模型可以通過在訓(xùn)練過程中通過注意力特征映射，來密切關(guān)注特定目標(biāo)句子的情感信息，從而正確識(shí)別不同目標(biāo)的情感特征。為了更加關(guān)注情感信息分析的特定目標(biāo)，有效識(shí)別目標(biāo)特征，基于多注意力CNN的情感分析模型的提出顯得非常重要。通過將注意力機(jī)制與接收并行輸入的CNN相互結(jié)合，模型的訓(xùn)練速度與順序神經(jīng)網(wǎng)絡(luò)相比較更快。同時(shí)，基于多注意力CNN的情感分析模型增加了一些詞性關(guān)注機(jī)制，以另一種方式更加關(guān)注特定目標(biāo)的情感信息，從而更好地利用句子中特定目標(biāo)的特征信息。

（一）注意力機(jī)制

在情感分析模型的特定任務(wù)中，結(jié)合注意力機(jī)制的深度網(wǎng)絡(luò)模型可以通過調(diào)整注意力矩陣，識(shí)別同一句子中不同目標(biāo)的信息。該機(jī)制最初主要是應(yīng)用于圖像處理，這使得神經(jīng)網(wǎng)絡(luò)在處理數(shù)據(jù)時(shí)能夠處理到一些重要的信息。2014年，mnih等人提出將注意力機(jī)制在圖像分類任務(wù)中加以應(yīng)用，證明了該機(jī)制在圖像處理領(lǐng)域的有效性，并使神經(jīng)網(wǎng)絡(luò)與該機(jī)制的結(jié)合成為深度學(xué)習(xí)領(lǐng)域的研究熱點(diǎn)。

（二）多注意力卷積神經(jīng)網(wǎng)絡(luò)

本文將介紹如何通過CNN輸入層中的三種注意力機(jī)制將其與不同類型的注意機(jī)制結(jié)合起來，主要包括以下幾個(gè)部分：

（1）輸入矩陣。存儲(chǔ)了三種不同注意力機(jī)制的矩陣信息;

（2）操作層。針對(duì)三種不同的注意力矩陣，使用不同的操作來構(gòu)造輸入文本的特征表示，這使得模型在訓(xùn)練過程中從不同形式更加關(guān)注特定目標(biāo);

（3）卷積層。為了簡(jiǎn)化網(wǎng)絡(luò)模型，使用卷積層提取不同注意機(jī)制信息的特征，通過對(duì)多個(gè)窗口和卷積核的卷積運(yùn)算，可以獲得更加豐富的輸入特征;

（4）池化層。對(duì)于通過不同卷積運(yùn)算獲得的輸入信息的局部特征，分別進(jìn)行池化處理，挖掘不同注意力機(jī)制中最重要的情感特征;

（5）合并層。從上一層次中提取的重要信息用作合并層的輸入，以形成文本的深度特征向量表示，合并層的輸出向量可以用作完整連接層的輸入;

四、結(jié)束語

近年來，深度學(xué)習(xí)已在自然語言處理領(lǐng)域得到了越來越廣泛的應(yīng)用，并取得了良好效果。中文情感分析模型是自然語言處理領(lǐng)域的研究熱點(diǎn)之一，通過在中文中提取出情感信息加以應(yīng)用，對(duì)許多行業(yè)都具有重要意義。該領(lǐng)域的許多專家已經(jīng)進(jìn)行了深入研究，本文只是基于他們的理論進(jìn)行了初步探索，仍有許多需要改進(jìn)的地方，未來還將對(duì)基于深度學(xué)習(xí)的中文情感分析進(jìn)行深入學(xué)習(xí)和研究。

參考文獻(xiàn)

[1]楊丹，張夢(mèng)，朱毅.基于深度學(xué)習(xí)的中文情感分析研究[J].電腦知識(shí)與技術(shù)學(xué)術(shù)版，2019（7X）：188-190.

[2]金相宇.基于深度學(xué)習(xí)的中文短文本情感分析[D].沈陽工業(yè)大學(xué)

[3] 范濤， 吳鵬， 曹琪. 基于深度學(xué)習(xí)的多模態(tài)融合網(wǎng)民情感識(shí)別研究[J]. 信息資源管理學(xué)報(bào)， 2020（1）：39-48.

[4] 羅元， 王薄宇， 陳旭. 基于深度學(xué)習(xí)的目標(biāo)檢測(cè)技術(shù)的研究綜述[J]. 半導(dǎo)體光電， 2020， 41（1）.

[5] 余傳明， 李浩男， 王曼怡，等. 基于深度學(xué)習(xí)的知識(shí)表示研究：網(wǎng)絡(luò)視角*[J]. 數(shù)據(jù)分析與知識(shí)發(fā)現(xiàn)， 2020， 4（1）.

作者簡(jiǎn)介：賈鵬（1995-），男，漢族，山西省呂梁市人，碩士，單位：西華大學(xué)計(jì)算機(jī)與軟件工程學(xué)院，研究方向：情感分析