用于目標(biāo)級情感分析的全局指針模型

董慧潔，楊林楠+，陳 健，費 凡

(1.云南農(nóng)業(yè)大學(xué) 大數(shù)據(jù)學(xué)院，云南 昆明 650201；2.云南省科技廳 云南省農(nóng)業(yè)大數(shù)據(jù)工程技術(shù)研究中心，云南 昆明 650201；3.云南省發(fā)展與 改革委員會 綠色農(nóng)產(chǎn)品大數(shù)據(jù)智能信息處理工程研究中心，云南 昆明 650201)

0 引 言

網(wǎng)絡(luò)評論的數(shù)量與日俱增[1]，在電子商務(wù)產(chǎn)業(yè)中，用戶評論的一些細粒度的信息對于維護商家和客戶之間的關(guān)系尤為重要?？焖儆行У貜脑u論文本中得到產(chǎn)品的各個方面及其情感傾向(積極、中性、消極)，對企業(yè)決策及產(chǎn)品質(zhì)量優(yōu)化有著重要意義。因此，基于深度學(xué)習(xí)的文本目標(biāo)級情感分析成為深度學(xué)習(xí)的一個重要研究方向。文本目標(biāo)級情感分析要求探測出評論句子中提到的目標(biāo)詞以及其情感極性傾向表達。例如，針對“味道香醇，但包裝太簡陋”這句話，需要建模識別出的目標(biāo)詞分別為“味道”、“包裝”，并預(yù)測它們的情感極性類別。因為文本目標(biāo)級情感分析需要帶標(biāo)注的數(shù)據(jù)作為支撐，因此在研究的過程中誕生出幾種不同標(biāo)注的方式，包括分開標(biāo)注的BIO(begin-intermediate-other)標(biāo)簽與極性標(biāo)簽[2]、聯(lián)合標(biāo)注的BIO標(biāo)簽與極性標(biāo)簽[3]，還有基于跨度(SPAN)的標(biāo)注方式[4]，由于BIO的標(biāo)注方式解碼過程中存在搜索空間大的問題，本文選用基于跨度的方式對數(shù)據(jù)進行標(biāo)注，近幾年基于深度學(xué)習(xí)的方法成為文本目標(biāo)級情感分析的主流方法，因此，提出了一種基于依賴關(guān)系注意力的全局指針模型，結(jié)合了跨度標(biāo)注方式和全局指針的優(yōu)勢，大大提高了目標(biāo)的抽取及其情感分析的性能。

1 相關(guān)工作

目標(biāo)級情感分析包含兩個子任務(wù)即目標(biāo)抽取與極性分類。為了能充分利用兩個子任務(wù)之間的信息，讓兩個子任務(wù)之間能夠進行交互共享信息，很多研究者嘗試設(shè)計聯(lián)合的框架解決目標(biāo)級情感分析問題。Li等[3]采用一種聯(lián)合標(biāo)簽的標(biāo)注方式，以兩個長短時記憶網(wǎng)絡(luò)作為骨干網(wǎng)絡(luò)，一個用來預(yù)測實體標(biāo)簽，另一個用來檢測目標(biāo)實體的邊界信息，并設(shè)計組件提升目標(biāo)情感預(yù)測的質(zhì)量。Li等[5]認(rèn)為使用Word2Vec和GLoVe(global vectors)，或者LSTM(long short-term memory)、Transformer作為嵌入層，使得結(jié)果達到了瓶頸，因此采用具有上下文豐富信息的BERT(bidirectional encoder representation from transformers)預(yù)訓(xùn)練模型作為嵌入層，然后預(yù)測標(biāo)簽，使得整體獲得了良好的表現(xiàn)。但是這種方法存在一定的缺陷，針對每個字符要預(yù)測的標(biāo)簽種類太多，模型的搜索空間太大，而且在處理由多個字符組成的目標(biāo)詞時會出現(xiàn)字符間預(yù)測的情感極性不一致的情況。為此，Hu等[4]提出了基于跨度的標(biāo)注模式，從輸入序列中計算出目標(biāo)詞的開始和結(jié)束指針，并且提出了一種啟發(fā)式搜索算法解碼計算出目標(biāo)的跨度表示，再通過跨度表示進行目標(biāo)的極性分類。這種基于跨度的方式可以有效解決序列標(biāo)簽帶來的情感極性預(yù)測不一致的問題，但是這種方法需要分開識別開始指針和結(jié)束指針并且分別計算二者的損失值，而且在進行索引匹配的過程中也會差生錯位匹配的問題。

以上模型與方法均在數(shù)據(jù)集SemEval-2014 task4和Twitter上進行實驗，且兩個數(shù)據(jù)集均為英文數(shù)據(jù)集，因為中文語料稀少不易獲得且相比較英文發(fā)展緩慢，因此，本文自構(gòu)建一種針對文本目標(biāo)級情感分析的中文數(shù)據(jù)集。同時為了改善以上模型存在的問題，本文提出了一種基于依賴關(guān)系注意力的全局指針模型DA-GP(dependency-based attention-global pointer)，使用ERNIE-gram[6]預(yù)訓(xùn)練模型獲取豐富的字級別的動態(tài)特征，并且結(jié)合靜態(tài)詞向量獲得最終的字詞混合嵌入特征，采用了全局指針的方法對開始指針與結(jié)束指針建立鄰接關(guān)系，將首尾指針視為一個整體進行預(yù)測，同時設(shè)計基于依賴關(guān)系的注意力機制增強句法信息，使得模型更加健壯。

2 數(shù)據(jù)集構(gòu)建

圖1 評論句子長度分布

圖2 目標(biāo)詞分布情況

3 模型及方法介紹

表1 數(shù)據(jù)標(biāo)簽類別分布

3.1 字詞混合編碼層

自預(yù)訓(xùn)練模型被提出之后，大部分的工作利用預(yù)訓(xùn)練模型獲得字粒度的字符語義特征作為嵌入特征，但是這樣的方式失去了詞粒度的語義信息，而對于中文來說，詞粒度的信息也十分的重要。根據(jù)研究者的調(diào)查，利用字詞嵌入進行訓(xùn)練不僅可以得到字的自身特性又包含了上下文的信息[9]，因此，根據(jù)字嵌入與詞嵌入信息之間的互補性，本文將字向量與詞向量混合編碼作為模型整體的嵌入表示。首先，將文本數(shù)據(jù)進入編碼層進行文本表示，編碼層采用字向量與詞向量結(jié)合的混合表示方法，S={w1，w2，…，wn} 代表一個輸入序列的所有字的集合，St={wi，wi+1，…，wj} (1≤i

3.2 全局指針模塊

全局指針模塊的形式化定義如下

(1)

qi=Wqhi

(2)

ki=Wkhi

(3)

3.3 依賴關(guān)系注意力層

圖4 依賴關(guān)系圖示例

因此，本文提出一種基于依賴關(guān)系的注意力機制。對于一個輸入序列本文首先利用Stanford CoreNLP工具進行句法依存分析，建立字與字間的依賴關(guān)系圖，對于wi和wj如果存在依賴關(guān)系，在兩者之間添加一條邊，最后得到其鄰接矩陣A={ai，j}n×n，ai，j=1表示wi和wj之間有一條邊，ai，j=0表示沒有邊連接。通過wi和wj的邊的信息加權(quán)，與得到的序列編碼向量 [h1，h2，…，hn]， 計算得到一個上下文權(quán)重注意力矩陣P={pi，j}n×n，pi，j的計算方式如下

(4)

式中：hi·hj通過內(nèi)積的方式計算wi和wj之間的關(guān)系大小，使用鄰接矩陣A中的ai，j計算注意力得分pi，j， 用來弱化沒有邊連接的wi和wj之間的關(guān)系。

3.4 輸出層

將經(jīng)過依賴關(guān)系注意力網(wǎng)絡(luò)層得到的注意力矩陣進行歸一化，并且與全局指針抽取部分的結(jié)果做哈達瑪積，通過此操作弱化關(guān)系不密切的wi和wj，以此達到消除冗余片段的作用，將得到的結(jié)果與分類部分的結(jié)果相加得到最終輸出，具體如下

L=QKΤ

(5)

Att=softmax(P)

(6)

E=Att⊙L

(7)

S=E+Fα

(8)

其中，Q=[q1，q2，…，qn]，K=[k1，k2，…，kn]，P={pi，j}n×n，F(xiàn)α表示全局指針分類部分的結(jié)果。由于目標(biāo)詞開始位置的索引必定不大于結(jié)束位置的索引，因此只選用輸出的上三角部分作為結(jié)果，進行訓(xùn)練和評估。

3.5 模型訓(xùn)練

模型采用監(jiān)督學(xué)習(xí)的方式進行訓(xùn)練，在訓(xùn)練的過程中，使用多標(biāo)簽交叉熵分類損失函數(shù)作為待優(yōu)化的目標(biāo)函數(shù)，損失函數(shù)定義如下

(9)

其中，Pα是所有類型為α的目標(biāo)詞的首尾集合，Qα是所有非目標(biāo)或者類型非α的目標(biāo)詞的首尾集合，另外，本文通過FGM[14](fast gradient method)對抗訓(xùn)練在原始嵌入表示上增加對抗擾動，得到對抗樣本，利用對抗樣本進行訓(xùn)練，用來提高模型的穩(wěn)定性。

4 實驗與分析

4.1 實驗評估指標(biāo)

本文在自構(gòu)建的中文數(shù)據(jù)集上對所提出的模型進行實驗以驗證DA-GP模型在性能上的先進性和可解釋性。同時，由于數(shù)據(jù)分布不均衡，為了更好衡量模型性能，本文采用精確率P(Precision)、召回率R(Recall)和兩者的調(diào)和平均值F1(F1-measure)作為評價指標(biāo)。其計算公式如式(10)～式(12)所示，其中TP表示預(yù)測為正，實際也為正的數(shù)目，TN表示預(yù)測為負(fù)，實際也為負(fù)的數(shù)目，F(xiàn)P預(yù)測為正，實際為負(fù)，F(xiàn)N表示預(yù)測為負(fù)、實際為正的數(shù)目

(10)

(11)

(12)

4.2 實驗配置

本模型采取動態(tài)預(yù)訓(xùn)練模型ERNIE-GRAM和靜態(tài)預(yù)訓(xùn)練百度百科詞典模型結(jié)合作為詞嵌入進行實驗設(shè)計，使用Transformers[15]框架載入ERNIE-GRAM預(yù)訓(xùn)練模型參數(shù)，采取的深度學(xué)習(xí)框架為PyTorch 1.7.1，開發(fā)工具為Python 3.8，操作系統(tǒng)為Ubuntu 20.04，顯卡為NVIDIA 3090Ti，內(nèi)存為24 GB，CUDA版本為11.0具體的實驗參數(shù)設(shè)置見表2。

表2 實驗參數(shù)設(shè)置

4.3 與其它方法對比

為了驗證本文所提出DA-GP模型的準(zhǔn)確性和有效性，本文選取了多個對比模型進行對照實驗，首先對所選取的原對比模型進行復(fù)現(xiàn)，而后將本文的自構(gòu)建中文數(shù)據(jù)集在對比模型上實驗得出結(jié)果，實驗過程中BERT預(yù)訓(xùn)練模型均選用中文版本的BERTbase。對照實驗的模型介紹如下：

LSTM-BG+SC+OE[3]：以LSTM主要網(wǎng)絡(luò)，設(shè)計了邊界指導(dǎo)，情感一致，和觀點增強3個組件促進目標(biāo)級情感分析提高任務(wù)的效果，原模型針對英文數(shù)據(jù)集，采用的預(yù)訓(xùn)練詞典是GLoVe，在實驗的過程中，本文將GLoVe替換為中文維基百科預(yù)訓(xùn)練詞典。

文獻[5]中的BERT+LINEAR、BERT+CRF、BERT+GRU、BERT+SAN：BERT預(yù)訓(xùn)練模型加微調(diào)的模型解決目標(biāo)級情感分析，使用BERT作為嵌入層，下游模型包括，線性條件隨機場(CRF)、門控循環(huán)單元(GRU)、自注意力機制與殘差網(wǎng)絡(luò)結(jié)合的網(wǎng)絡(luò)(SAN)。

BERT-SPAN[4]：使用跨度標(biāo)注的方式，提出一種啟發(fā)式編碼算法提取多目標(biāo)，首先選取前K個分?jǐn)?shù)最好的開始索引和結(jié)束索引，然后列出所有開始索引小于結(jié)束索引的組合，通過設(shè)置閾值對所有組合進行過濾，得到最終的目標(biāo)候選，而后針對目標(biāo)候選進行情感極性預(yù)測。

DGCN[16]：采用聯(lián)合的目標(biāo)提取與情感分析方法，在圖卷積的基礎(chǔ)上提出了基于方向建模的圖卷積網(wǎng)絡(luò)，該網(wǎng)絡(luò)模型通過有效區(qū)分與應(yīng)用不同上下文信息，從而提升模型性能，原文中表示使用三層圖卷積表現(xiàn)最好，因此本實驗過程中也采用三層圖卷積。

Generative-ABSA[17]：使用文本到文本生成式的模型框架統(tǒng)一解決多個情感分析的任務(wù)，本實驗利用該模型解決目標(biāo)級情感分析任務(wù)，實驗采用的預(yù)訓(xùn)練模型為中文T5[18](text-to-text transfer transformer)模型。

本節(jié)比較了各個模型的實驗結(jié)果，其它模型與本文所提的DA-GP模型的對比實驗結(jié)果見表3。從表3中可以分析得出，本文所提出的DA-GP模型的所有指標(biāo)結(jié)果都優(yōu)于其它模型，相比LSTM+BG+SC+OE、BERT+LINEAR、BERT+CRF、BERT+GRU、BERT+SAN、BERT+SPAN、DGCN和Generative-ABSA模型，DA-GP模型在中文數(shù)據(jù)集上的F1值分別提高了12.53%、7.6%、8.74%、7.81%、7.47%、5.79%、5.11%、14.08%。LSTM+BG+SC+OE模型在下游任務(wù)設(shè)計了很多組件，但是存在嵌入表示能力差且標(biāo)簽解析空間大的問題，使得整個模型的性能不高；BERT+SPAN引入預(yù)訓(xùn)練模型和跨度標(biāo)簽，但是將開始位置和結(jié)束位置分開計算，使得模型性能的提升空間有限，本文的模型相比于兩者在性能上均有提升，基于依賴關(guān)系注意力的全局指針模型可以克服以上問題。由上可知，相比于其它神經(jīng)網(wǎng)絡(luò)模型，DA-GP模型在本文的中文數(shù)據(jù)集上具有明顯的優(yōu)勢，較大幅度提升了最終效果，同時驗證了本文所提出模型方法的有效性。

表3 模型對比實驗結(jié)果

4.4 消融實驗

為了驗證所提出模塊的有效性同時為了研究字詞結(jié)合和依賴注意力模塊產(chǎn)生的影響，本小節(jié)選取ERNIE+LINEAR作為基線模型，在所提出的DA-GP模型上進行了消融實驗研究，共分為4種情況，見表4。最終發(fā)現(xiàn)，與完整的模型相比，如果只引入其中一個模塊(模型2、模型3)，模型的性能有下降的趨勢，因此，說明兩個部分對模型的表現(xiàn)能力都有提高，且完整模型比基線模型F1值提升了6.3%，同時表明了本文所提模型具有良好的泛化能力。同時，通過觀察消融實驗的結(jié)果，可以得出，兩個模塊中對依賴注意力層對模型的性能影響較大，這充分說明關(guān)鍵特征的提取是十分重要的。與基線模型相比本文基于依賴關(guān)系注意力的全局指針模型DA-GP表現(xiàn)出了更好的效果，表明了全局指針模型在目標(biāo)級情感分析任務(wù)中的優(yōu)勢，使得模型的性能得到大幅度的提升。

表4 消融實驗結(jié)果

為了進一步了解本文所提出模型在訓(xùn)練過程中模型的表現(xiàn)情況，對評價指標(biāo)變化值進行可視化。模型每訓(xùn)練完一個輪次，對測試集進行一次評估，模型在測試集上的P，R，F(xiàn)1分?jǐn)?shù)變化如圖5所示，由圖5可知，模型訓(xùn)練初期精確率高而召回率低，表明模型捕捉并預(yù)測樣本的能力較弱，但針對捕捉到的樣本其置信度較高，訓(xùn)練的過程中模型逐漸捕捉到更多的樣本，但其置信度有下降的趨勢，即召回率逐漸升高，精確率逐漸降低，二者的曲線值在訓(xùn)練的過程中局部上下波動，在迭代次數(shù)達到40時二者都達到一個相對較好的效果且取得了平衡，同時可以看出完整模型的F1值隨著迭代次數(shù)的增加，逐漸增長且上下浮動，在迭代40次時取得了最優(yōu)值，迭代40次后模型P，R，F(xiàn)1值有微小變化但是基本趨于平穩(wěn)。

圖5 精確率、召回率、F1分?jǐn)?shù)變化

5 結(jié)束語

考慮到實際研究中中文目標(biāo)級情感分析數(shù)據(jù)集少的問題，本文自構(gòu)建一種目標(biāo)級情感分析中文數(shù)據(jù)集，與此同時，提出了一種基于依賴關(guān)系注意力的全局指針模型，該模型通過引入動態(tài)的字向量與靜態(tài)的詞向量混合的方式豐富模型的嵌入表示，而且將全局指針模塊與依賴關(guān)系注意力結(jié)合，能有效提高多目標(biāo)詞的抽取與分類的準(zhǔn)確性。文中的實驗結(jié)果表明，本文提出的模型在中文數(shù)據(jù)集上取得了較好的效果，可以為目標(biāo)級情感分析任務(wù)提供模型參考。