基于電商評價(jià)的文本情感分析研究與應(yīng)用

王 恒，唐孝國，郭俊亮

(銅仁職業(yè)技術(shù)學(xué)院，貴州 銅仁 554300)

文本情感分析又稱意見挖掘、傾向性分析等[1]。電商平臺為受眾提供了評論途徑，而這些評價(jià)信息是基于用戶對所見所聞的事情或購買商品時(shí)而表達(dá)的個(gè)人感受，具有很高的應(yīng)用價(jià)值，如果商家對這些評論信息進(jìn)行挖掘，獲得用戶的情感態(tài)度和涉及的話題，就可以針對用戶的評論改善商品，對未購買過的用戶進(jìn)行個(gè)性化推薦。同時(shí)，消費(fèi)者也可以根據(jù)后臺的計(jì)算程序快速得到店鋪的商品信息，幫助消費(fèi)者做出是否值得購買的建議，對電商平臺上的用戶評論信息進(jìn)行深度挖掘，可為人們提供更加便利和智能化的服務(wù)[2-3]。

1 文本情感分析

文本情感分析是將帶有情感色彩的文本進(jìn)行分析和挖掘。文本數(shù)據(jù)量由少量數(shù)據(jù)增長到大量數(shù)據(jù)，人們發(fā)現(xiàn)將情感分類應(yīng)用于文本處理具有重要的社會(huì)價(jià)值和商業(yè)價(jià)值，文本情感分析在此背景下成為自然語言處理的主要趨勢之一?；谠~典的應(yīng)用方法、基于機(jī)器學(xué)習(xí)的應(yīng)用方法、基于深度學(xué)習(xí)的應(yīng)用方法是傳統(tǒng)文本情感分類的主要應(yīng)用方法[4-5]?；谏疃葘W(xué)習(xí)的應(yīng)用方法無論是面對大量數(shù)據(jù)還是少量數(shù)據(jù)都能得到較好的分析效果?；谠~典的應(yīng)用方法在少量數(shù)據(jù)的情況下能得到較好的分類結(jié)果。隨著大數(shù)據(jù)時(shí)代的到來，傳統(tǒng)的情感分析方法已經(jīng)不適用，人們在發(fā)展和尋求新的情感分析方法，深度學(xué)習(xí)能在一定程度上解決這一問題[6]。文本情感分析是通過人工智能分析文本信息中的感情傾向，即發(fā)布者所表達(dá)的情感是消極還是積極的。隨著互聯(lián)網(wǎng)的發(fā)展，論壇、貼吧、微博、淘寶、京東等眾多APP為廣大用戶提供了可發(fā)表自己想法的平臺[7-8]，想要對這些文本信息進(jìn)行深度挖掘具有較大的難度，因此運(yùn)用自然語言處理技術(shù)中的文本挖掘技術(shù)對這些信息進(jìn)行處理就顯得尤為重要。

2 文本情感分類模型

2.1 LSTM 模型

LSTM也稱Long Short Term 網(wǎng)絡(luò)，是1997年由Hochreiter & Schmidhuber正式提出的。它可以學(xué)習(xí)長期的依賴信息，是RNN分類中特殊的一種。LSTM網(wǎng)絡(luò)在很多方面都取得了巨大的成功，因而廣受關(guān)注并得到了廣泛使用[9]。

LSTM模型由三個(gè)門構(gòu)成，如圖1所示，分別為“輸入門”“遺忘門”和“輸出門”。其中，“輸入門”和“遺忘門”能影響模型確定信息的丟棄和保留，起著決定性的作用[10]。

圖1 LSTM單元結(jié)果示意圖Fig.1 Schematic diagram of LSTM element results

2.2 基于貝葉斯的文本分類模型

樸素貝葉斯是一種常見的監(jiān)督學(xué)習(xí)的分類算法，人們熟知的有多項(xiàng)式模型及伯努利模型兩種[11]。

A.多項(xiàng)式模型的似然估計(jì)。

其中，c表示某個(gè)類別，wi表示某個(gè)詞語。

B.伯努利模型的似然估計(jì)。

首先看訓(xùn)練階段的去除停用詞(保留核心詞)操作對兩個(gè)概率的影響。先看多項(xiàng)式模型，如果執(zhí)行了去除停用詞操作，分母減小，分子不變，則會(huì)增大核心詞的概率。但是與多項(xiàng)式模型不同，貝努利模型執(zhí)行去除停用詞操作，其分母文檔數(shù)基本不太可能會(huì)減少，分子不變，所以最終核心詞的概率基本不會(huì)受到影響，這是因?yàn)椴挠?jì)算粒度是文件，而多項(xiàng)式的計(jì)算粒度是單詞，二者不同的計(jì)算粒度導(dǎo)致其概率計(jì)算方法不同。

2.3 BERT模型

BERT(Bidirectional Encoder Representation from Transformers)是由谷歌于2018年提出的一個(gè)預(yù)訓(xùn)練的語言表征模型[12]，該模型生成深度的雙向語言特征，采用新的masked language model(MLM)，不再采用之前傳統(tǒng)的單向語言模型，也不再采用簡單的拼接兩個(gè)單向語言模型的方法進(jìn)行預(yù)訓(xùn)練。Bert進(jìn)行預(yù)訓(xùn)練之后，會(huì)直接保存24層Transformer權(quán)重(BERT-LARGE)或Embedding table和Transformer權(quán)重(BERT-BASE)。使用訓(xùn)練好的Bert模型可以直接進(jìn)行文本分類、閱讀理解等操作。圖2是BERT模型的架構(gòu)圖。

圖2 BERT的架構(gòu)圖Fig.2 Framework of BERT

3 數(shù)據(jù)采集與預(yù)處理

3.1 數(shù)據(jù)采集

本次研究數(shù)據(jù)來源于某東的用戶評論，采用Python爬蟲技術(shù)，將爬取的數(shù)據(jù)存入對應(yīng)的文本中，選擇有研究意義的數(shù)據(jù)，實(shí)驗(yàn)數(shù)據(jù)爬取的是某東網(wǎng)站平臺上面10個(gè)類別的用戶評論，分別為杯子、電腦、鮮花、堅(jiān)果、手機(jī)、書籍、玩具、牛奶、鞋子、口紅，一共49 000多條用戶評論數(shù)據(jù)。需要大致分析爬取的數(shù)據(jù)，這些數(shù)據(jù)是電商平臺上面用戶真實(shí)的對商品的評論數(shù)據(jù)，通過分析把不同評論數(shù)據(jù)分到不同的類別中，且每條數(shù)據(jù)只能屬于10個(gè)類中的某一個(gè)類，還需要對這些評論進(jìn)行情感傾向性分析。要清洗掉數(shù)據(jù)中的空值和重復(fù)值，因?yàn)檫@些數(shù)據(jù)中可能會(huì)出現(xiàn)默認(rèn)好評和一個(gè)用戶的多次評論。

3.2 數(shù)據(jù)預(yù)處理

在進(jìn)行數(shù)據(jù)預(yù)處理之前先對數(shù)據(jù)進(jìn)行去重，因?yàn)檫@些數(shù)據(jù)中可能會(huì)含有用戶未作出評價(jià)顯示默認(rèn)好評的情況。在對中文文本進(jìn)行預(yù)處理時(shí)需要對不完整的數(shù)據(jù)進(jìn)行處理，還需要?jiǎng)h除重復(fù)數(shù)據(jù)，對數(shù)據(jù)進(jìn)行分詞。進(jìn)行分詞之后還是會(huì)產(chǎn)生很多的沒有實(shí)際含義的標(biāo)點(diǎn)符號和停用詞，需要將這些詞語刪除，因?yàn)檫@些符號和詞語對數(shù)據(jù)挖掘沒有意義，還會(huì)增加計(jì)算的復(fù)雜度和時(shí)間。清洗之后的分詞如表1所示。

表1 數(shù)據(jù)進(jìn)行分詞并去停用詞對比圖表Tab.1 Comparison of data segmentation and stop words elimination

對數(shù)據(jù)進(jìn)行分詞且對分詞去停用詞之后，對這些詞進(jìn)行詞頻統(tǒng)計(jì)，以便了解哪些詞是數(shù)據(jù)集中的高頻詞匯，這對實(shí)驗(yàn)數(shù)據(jù)判斷有一定的意義。為了方便文本分類模型的訓(xùn)練，將中文代表的類別轉(zhuǎn)換成數(shù)字ID，如表2。將類別由中文轉(zhuǎn)換成數(shù)字代替(0～9)。

表2 label對應(yīng)ID表Tab.2 ID corresponding to label

4 實(shí)驗(yàn)評估與結(jié)果分析

采用文本分類中3個(gè)常用的指標(biāo)對實(shí)驗(yàn)結(jié)果進(jìn)行評估。

第一個(gè)是系統(tǒng)選擇的正確項(xiàng)與全部正確項(xiàng)的比值準(zhǔn)確率(precision)。在情感分類中準(zhǔn)確率可以看成是正確的情感分類在總的情感分類中所占的比值，如公式(1)所示：

(1)

第二個(gè)是模型中情感分類的正確樣本結(jié)果與人工情感分類的文本數(shù)相比較的比率得到的召回率(recall)，具體的計(jì)算公式如(2)所示：

(2)

第三個(gè)是F值(F-measure)。將結(jié)果值統(tǒng)一到一個(gè)全面的度量尺度上，以便能夠更直觀地觀察實(shí)驗(yàn)結(jié)果，這個(gè)值稱為F值，如公式(3)所示：

(3)

根據(jù)表3數(shù)據(jù)類型及用戶評論數(shù)量分類統(tǒng)計(jì)表中的數(shù)據(jù)，分別用LSTM模型、貝葉斯模型和BERT模型對處理好的數(shù)據(jù)進(jìn)行訓(xùn)練和預(yù)測，結(jié)合公式(1)(2)(3)得到了LSTM模型、貝葉斯模型、BERT模型的訓(xùn)練結(jié)果圖，如表4所示。

表3 數(shù)據(jù)類型及用戶評論數(shù)量分類統(tǒng)計(jì)表Tab.3 Classification statistics of data type and the number of user’s comment

表4 LSTM模型、貝葉斯模型和BERT模型對比結(jié)果表Tab.4 Results of the comparison of LSTM, Bayesian and BERT model

貝葉斯模型和BERT模型的訓(xùn)練結(jié)果的精準(zhǔn)率、召回率，F(xiàn)1和準(zhǔn)確率均低于LSTM模型的訓(xùn)練結(jié)果。就準(zhǔn)確率而言，LSTM的訓(xùn)練模型準(zhǔn)確率為0.83，貝葉斯的訓(xùn)練模型準(zhǔn)確率為0.68，BERT模型的訓(xùn)練模型準(zhǔn)確率為0.75。LSTM的訓(xùn)練模型召回率為0.84，貝葉斯的訓(xùn)練模型召回率為0.66，BERT模型的訓(xùn)練模型召回率為0.69。LSTM的訓(xùn)練模型F1值為0.83，貝葉斯的訓(xùn)練模型F1值為0.69，BERT模型的訓(xùn)練模型F1值為0.78。由此可以看出，LSTM模型的訓(xùn)練效果要優(yōu)于以上兩種方法。

5 結(jié)語

隨著大數(shù)據(jù)時(shí)代的到來，情感分析在文本數(shù)據(jù)處理中有著越來越重要的社會(huì)價(jià)值和商業(yè)價(jià)值，挖掘這些信息對于商家和用戶都有很重要的實(shí)際意義。基于LSTM模型、貝葉斯模型、Bert模型三種方法進(jìn)行文本情感分析，綜合實(shí)驗(yàn)得出，LSTM模型在文本情感分析中的效果優(yōu)于另外兩種模型，情感分析模型將會(huì)越來越廣泛地應(yīng)用于人們的生活中，對這些數(shù)據(jù)進(jìn)行分析具有社會(huì)意義。