圖文融合在線民宿評(píng)論情感分析模型

李含宇，宋文廣，李 婉，張秋娟

(長江大學(xué) 計(jì)算機(jī)科學(xué)學(xué)院,湖北 荊州 434023)

在共享經(jīng)濟(jì)背景下，民宿的地理優(yōu)勢(shì)、主題化設(shè)計(jì)、個(gè)性化服務(wù)等特色很大程度地滿足了消費(fèi)者的住宿體驗(yàn)和需求[1]。一方面，用戶的反饋是影響消費(fèi)者決策的重要因素，另一方面，商家也能從這些反饋中獲取有價(jià)值的信息，改善不足，提升服務(wù)質(zhì)量[2]。反饋信息包括用戶打分和評(píng)論，它不僅包含文字，還有圖片、視頻、音頻、網(wǎng)頁鏈接等，多以圖文為主。

基于文本進(jìn)行情感分析來改進(jìn)需求方法有很多[3]，也有研究對(duì)圖片進(jìn)行了情感分析[4]。文獻(xiàn)[5]提出跨模態(tài)一致回歸模型(Cross-modality Consistent Regression，CCR)，在微調(diào)卷積神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上訓(xùn)練文本情感分析的段落向量模型和多模態(tài)回歸模型，使不同模態(tài)特征能夠達(dá)到一致性；文獻(xiàn)[6] 提出基于簡單多核學(xué)習(xí)(Simple Multiple Kernel Learning ，SimpleMKL)的情感分析方法，利用文本信息來提高通過SimpleMKL對(duì)圖像進(jìn)行分類的能力，指出得到圖像分類器，可以直接預(yù)測(cè)其他未標(biāo)記的圖像；文獻(xiàn)[7]針對(duì)單一文本或圖像的情感不明顯問題，提出了一種圖文融合媒體情感預(yù)測(cè)方法，該方法融合了圖像特征與文本特征以分析語義特征對(duì)情感預(yù)測(cè)的影響，通過分析文本情感特征和圖像情感特征之間的聯(lián)系，能夠更準(zhǔn)確地實(shí)現(xiàn)對(duì)圖文融合媒體情感的預(yù)測(cè)。但在圖文融合的情感分析中，僅僅通過文本或者圖片，情感極性得不到充分挖掘。為此，筆者以用戶打分與評(píng)論表達(dá)的情感不一致的現(xiàn)象為出發(fā)點(diǎn)，考慮到評(píng)論的內(nèi)容具有多樣化的特點(diǎn)，提出了一種基于在線民宿評(píng)論的圖文融合的情感分析方法。

1 模型設(shè)計(jì)

情感分析又稱情感分類或者意見挖掘，針對(duì)某個(gè)對(duì)象進(jìn)行研究，分析其中隱含的情感狀態(tài)， 判斷用戶的態(tài)度、觀點(diǎn)及意見[8]。筆者研究對(duì)象為在線民宿評(píng)論內(nèi)容，主要包含用戶打分、文本和圖片。其中用戶打分和評(píng)論不一致、評(píng)論與追評(píng)不一致、用戶打分和追評(píng)不一致等，具體的不一致現(xiàn)象如表1所示。

表1 用戶評(píng)論、打分、追評(píng)的不一致現(xiàn)象

筆者先對(duì)文本評(píng)論、圖像評(píng)論分別進(jìn)行分析，然后再設(shè)計(jì)方法將2種模型融合，最后分別用3個(gè)模型進(jìn)行預(yù)測(cè)，將得到的情感概率值與用戶打分作比較，分析3個(gè)模型的判斷不一致現(xiàn)象的準(zhǔn)確率。

1.1 文本情感分析

用于文本情感分析的方法主要有基于情感詞典和基于機(jī)器學(xué)習(xí)這2種方法?；谇楦性~典的情感分析方法是按照情感強(qiáng)度和情感傾向?qū)υ~語進(jìn)行賦權(quán)，負(fù)數(shù)代表偏負(fù)面的詞語，非負(fù)數(shù)代表偏正面的詞語，正負(fù)的程度體現(xiàn)于數(shù)值大小，然后計(jì)算出情感分值。這種方法難度較小，但是會(huì)存在情感字典覆蓋率不全、情感分類精度低、魯棒性不理想[9]等問題，并且同一情感詞在不同的場(chǎng)景下表達(dá)的意思也不一樣[10]?；跈C(jī)器學(xué)習(xí)的情感分析方法分為有監(jiān)督和無監(jiān)督2種。有監(jiān)督的方法需要人工標(biāo)注樣本，然后進(jìn)行特征提取，再輸入到構(gòu)建好的分類模型中進(jìn)行訓(xùn)練，最后在測(cè)試集上進(jìn)行預(yù)測(cè)。無監(jiān)督的方法不需要人工標(biāo)注樣本，但需要加入先驗(yàn)知識(shí)提升分類效果[11]。筆者采用機(jī)器學(xué)習(xí)中有監(jiān)督標(biāo)注樣本進(jìn)行情感分類試驗(yàn)，模型設(shè)計(jì)如圖1所示。

圖1 文本情感分析模型

1.2 圖片情感分析

基于卷積神經(jīng)網(wǎng)絡(luò)建立了圖片情感分析模型，如圖2所示，模型組成及作用如下：

1) 3個(gè)卷積層：通過卷積獲取圖像的局部特征，降低參數(shù)量；

2) 2個(gè)池化層：降低緯度，提高模型訓(xùn)練效率，原理就是將覆蓋區(qū)域的最大值作為主要特征輸出；

3) 2個(gè)全連接層：要求輸入必須是一維的；

4) 4個(gè)激活函數(shù)層：最后一層激活函數(shù)層是softmax層；

5) 1個(gè)Flatten層：將圖片“壓平”，將多維的輸入一維化之后進(jìn)入全連接層；

6) 2個(gè)Dropout層：每次按概率隨機(jī)刪減神經(jīng)元，防止過擬合。

1.3 圖文融合設(shè)計(jì)

將文本情感分類模型與圖片情感分類模型融合形成圖文融合情感分析模型。采用決策融合方法，對(duì)每個(gè)目標(biāo)概率賦予權(quán)重，計(jì)算得到?jīng)Q策后的概率[12]，具體公式如下：

P=λPt+(1-λ)Pi

(1)

式中：Pt是文本情感分析模型輸出的文本情感概率；Pi是圖片情感分析模型輸出的圖片情感概率；λ是權(quán)重，代表文本情感對(duì)最終分析結(jié)果的重要程度，通常取0.5，表示文本情感與圖像情感對(duì)最終結(jié)果的影響程度相同。各自的情感概率與權(quán)重相乘，再將乘積相加就得到模型融合后的情感概率值，情感概率值大于0.5表示是正面情感，否則就是負(fù)面情感。

圖2 圖片情感分析模型

2 試驗(yàn)與分析

2.1 數(shù)據(jù)來源

采集目標(biāo)是攜程網(wǎng)站的在線民宿評(píng)論和美團(tuán)上的榛果民宿在線評(píng)論，數(shù)據(jù)在清洗之后得到348800條評(píng)論?？紤]到人工標(biāo)記數(shù)據(jù)工作量巨大，項(xiàng)目采用了開源標(biāo)注工具Doccano，該平臺(tái)支持多人合作、分配標(biāo)注任務(wù)，在對(duì)文本進(jìn)行了部分標(biāo)注后，后臺(tái)通過學(xué)習(xí)，能自動(dòng)對(duì)文本進(jìn)行標(biāo)注，提高標(biāo)注效率。最后得到185760條正面圖文評(píng)論，163040條負(fù)面圖文評(píng)論。

由于每條評(píng)論可配多張圖，為了使圖文評(píng)論總體上達(dá)到平衡，在正面圖文評(píng)論里隨機(jī)篩選185760張圖，在負(fù)面圖文評(píng)論里隨機(jī)篩選163040張圖。

2.2 評(píng)價(jià)指標(biāo)

對(duì)比分類器的分類效果，采用準(zhǔn)確率P 、召回率 R 及F1指數(shù)作為評(píng)價(jià)指標(biāo)[13]：

(2)

(3)

(4)

式中：NTP為真正例(TP，True Positive)，即將好評(píng)預(yù)測(cè)為正的評(píng)論數(shù)；NFT為假正例(FT，F(xiàn)alse Positive)，即將差評(píng)預(yù)測(cè)為正的評(píng)論數(shù)；NTN為真負(fù)例(TN，True Negative)，即將差評(píng)預(yù)測(cè)為負(fù)的評(píng)論數(shù)；NFN為假負(fù)例(FN，F(xiàn)alse Negative)，即將好評(píng)預(yù)測(cè)為負(fù)的評(píng)論數(shù)。

2.3 文本情感分類

利用機(jī)器學(xué)習(xí)方法進(jìn)行文本情感分類，文本預(yù)處理階段主要包括以下步驟：

1)分詞。將句子拆分成詞語集合，首先采用jieba進(jìn)行分詞，jieba分詞支持3種分詞模式(即精確模式、全模式、搜索引擎模式)[14]、繁體分詞和自定義詞典等特性，這樣，可以極大程度地滿足了中文分詞的需求。然后糾正不合理的拆分，構(gòu)建領(lǐng)域詞典。

2)去停用詞。刪除評(píng)論中“#、￥、@、&”等對(duì)情感分析結(jié)果沒影響的特殊符號(hào)。

3)特征提取。文本情感分析就是對(duì)從文本中提取到的特征進(jìn)行分析，因此提取特征非常關(guān)鍵[15]。

首先對(duì)篩選出的名詞進(jìn)行詞頻統(tǒng)計(jì)，過濾不相關(guān)的名詞，按詞頻選取特征詞，得到評(píng)論特征詞集合{交通、位置、體驗(yàn)、服務(wù)、特色、環(huán)境、設(shè)施、餐飲、價(jià)格、衛(wèi)生……}。

模型的輸入是數(shù)據(jù)元組，所以要將每條數(shù)據(jù)的詞語組合轉(zhuǎn)化為一個(gè)數(shù)值向量，常見的轉(zhuǎn)化算法有：Bag of Words、TF-IDF和Word2Vec。這里選用Word2Vec[16]訓(xùn)練skip-gram模型將詞轉(zhuǎn)化成向量。

通過統(tǒng)計(jì)高頻詞歸納出特征主題，再基于特征構(gòu)建特征詞典，如表2所示。利用中心詞能找到對(duì)應(yīng)的特征屬性字典，接著對(duì)其進(jìn)行情感傾向識(shí)別分析[17]。

表2 特征屬性字典

4)情感分類。記錄貝葉斯、SVM、決策樹3種分類器對(duì)每個(gè)特征的準(zhǔn)確率、召回率，結(jié)果如表3所示。貝葉斯、SVM、決策樹3種分類器的平均準(zhǔn)確率分別為82.5%、79.8%、80.6%，其中貝葉斯分類器的準(zhǔn)確率最高，說明更適合用該模型進(jìn)行文本情感分類。

針對(duì)特征主題屬性表中的主題特征(交通、價(jià)格、體驗(yàn)、服務(wù)、特色、環(huán)境、設(shè)施、餐飲)，對(duì)特征提取后的文本評(píng)論進(jìn)行情感分析。分別將每個(gè)特征對(duì)應(yīng)的情感趨勢(shì)可視化，得到“餐飲”情感極性分布圖，通過可視化可以直觀體現(xiàn)每個(gè)特征的情感極性分布，如圖3所示。

表3 不同分類器的分類效果

圖3 特征對(duì)應(yīng)的情感趨勢(shì)分布圖

圖3中橫坐標(biāo)為特征的情感得分，趨勢(shì)往右代表當(dāng)前特征得分越高，評(píng)價(jià)越好；縱坐標(biāo)代表當(dāng)前情感得分對(duì)應(yīng)的評(píng)論數(shù)量。

2.4 圖片情感分類

圖片情感分類首先要進(jìn)行圖片預(yù)處理。文獻(xiàn)[6]的研究使用了2個(gè)數(shù)據(jù)集，分別來自Flickr網(wǎng)站(包含圖片和對(duì)應(yīng)的文字說明)和Twitter網(wǎng)站，共設(shè)置了2組試驗(yàn)：一組是在Flickr數(shù)據(jù)集上進(jìn)行訓(xùn)練，在Twitter數(shù)據(jù)集上測(cè)試；另一組是用80%的Flickr數(shù)據(jù)集進(jìn)行訓(xùn)練，20%用于測(cè)試。筆者用采集到的80%的數(shù)據(jù)作為訓(xùn)練集，20%作為測(cè)試集，并在訓(xùn)練集中預(yù)留1/4的數(shù)據(jù)為驗(yàn)證集。

由于圖片情感分析模型中特征提取的關(guān)鍵在于顏色特征的提取，若消費(fèi)者使用美圖軟件對(duì)圖片進(jìn)行了顏色、亮度等處理，特征提取的結(jié)果將以處理后的照片為準(zhǔn)。首先提取圖片中每個(gè)像素點(diǎn)的RGB參數(shù)，再將RGB參數(shù)轉(zhuǎn)換成對(duì)應(yīng)的色度、飽和度和亮度，即H、S、V[18]。

H位于不同的范圍時(shí)，有不同的取值，如表4所示。

表4 H值的量化表

S經(jīng)過量化之后，有2種取值：當(dāng)S≤0.1時(shí)，圖像接近灰度，可以忽略H，即色度的影響；當(dāng)0.1

V在經(jīng)過量化之后，只有1種取值：當(dāng)V<0.15時(shí)，圖像的顏色接近黑色，可以忽略H的影響；當(dāng)0.15

最后根據(jù)式(5)對(duì)H、S、V值進(jìn)行求和：

L=H*Qs*Qv+S*Qv+V

(5)

式中：Qs和Qv分別為S和V的量化級(jí)數(shù)，Qs=2，Qv=1，經(jīng)過求和之后，顏色特征就可以用一個(gè)值來代表了，取值范圍是[0，15]。

基于CNN的圖片情感分類模型包括3個(gè)卷積層，每一層卷積核的個(gè)數(shù)都是32個(gè)，大小為3*3，激活函數(shù)用relu，其中第一層中border_mode設(shè)置成valid(使圖片經(jīng)過卷積之后，尺寸減小)；2個(gè)池化層，采用max-pooling對(duì)數(shù)據(jù)做下采樣，poolsize為(2，2)；經(jīng)過三層卷積和兩層池化，每張圖片處理為4*4大小；2個(gè)Dropout層，設(shè)置概率隨機(jī)將其中一些元素的值置零，剩余元素的值會(huì)被放大，防止過擬合，這里設(shè)置概率為0.5；1個(gè)Flatten層，前一層輸出的二維特征圖經(jīng)過Flatten層的處理之后會(huì)被壓扁成一維的；2個(gè)全連接層，第1個(gè)全連接層指定512個(gè)神經(jīng)元；一個(gè)softmax層，采用softmax激活函數(shù)；模型betch設(shè)置為4，迭代次數(shù)為20。

2.5 融合模型性能分析

圖文融合在線民宿評(píng)論分析模型利用決策層融合，文本情感概率和圖片情感概率與各自的權(quán)重相乘，然后相加得到圖文融合之后的情感概率，判斷是否大于0.5，如果大于0.5，則認(rèn)為是正向情感，否則為負(fù)面情感，情感分類實(shí)驗(yàn)結(jié)果如圖4所示。

圖4 情感分類實(shí)驗(yàn)對(duì)比結(jié)果

由圖4可知，圖文融合的情感分類模型表現(xiàn)出更高的準(zhǔn)確率，這說明從整體上圖文融合在線民宿評(píng)論情感分析模型的分類效果確實(shí)比單一的文本情感分類模型、圖片情感分類模型或者用戶的打分的分類效果好，證明了筆者提出的圖文融合的情感分析方法的高效性和針對(duì)民宿評(píng)論進(jìn)行分析的有效性，且圖片的存在對(duì)情感極性有較大的影響。但是從召回率分析，文本情感分類模型的召回率較高，這是因?yàn)槔脵C(jī)器學(xué)習(xí)有監(jiān)督標(biāo)記樣本的分類方法能充分提取文本評(píng)論的特征主題，能很好地識(shí)別正面情感的評(píng)論，而圖片情感分類模型的特征提取的主要在于顏色特征的提取，不能充分提取圖片特征，所以導(dǎo)致圖片情感分類模型和融合之后的模型的召回率都比較低。

如圖5所示，利用模型對(duì)某一家民宿的評(píng)論進(jìn)行測(cè)試，選擇‘設(shè)施’主題進(jìn)行分析，可以看出用戶打分為“非常滿意”，而輸出的平均情感概率值小于0.5，這與實(shí)際嚴(yán)重不符，說明用戶打分不足以作為真實(shí)有效的參考。另外，通過統(tǒng)計(jì)情感概率值低的主題，商家也可以知道哪些方面有待加強(qiáng)。

圖5 打分情感不一分布圖

3 結(jié)語

以在線民宿評(píng)論為研究對(duì)象，進(jìn)行圖文融合情感分析。利用機(jī)器學(xué)習(xí)方法進(jìn)行文本情感分類，通過對(duì)比貝葉斯與SVM、決策樹3種方法的平均準(zhǔn)確率，推薦貝葉斯為文本情感分類。在CNN的基礎(chǔ)上，訓(xùn)練圖片分類模型。最后采用決策融合方法，綜合文本情感概率和圖片情感概率得到圖文情感概率，判斷情感極性，與用戶的打分作比較，能更有效地避免評(píng)論與打分不一致的問題。通過模型對(duì)比分析，得知圖文融合模型的方法具有更好的分類效果，更能挖掘到用戶的詳細(xì)意見，給出更科學(xué)合理的評(píng)分。