面向在線健康社區(qū)的生成式方面級情感分析

關(guān)鍵詞： 生成式模型； 方面級情感分析； 情感三元組； 在線健康社區(qū)

ＤＯＩ：１０．３９６９ ／ ｊ．ｉｓｓｎ．１００８－０８２１．２０２４．１０．０１２

〔中圖分類號〕Ｇ２０３ 〔文獻(xiàn)標(biāo)識碼〕Ａ 〔文章編號〕１００８－０８２１ （２０２４） １０－０１４２－１２

隨著互聯(lián)網(wǎng)技術(shù)的迅猛發(fā)展， 在線健康社區(qū)已成為醫(yī)生和患者群體間的重要溝通交流渠道， 積累了海量的用戶生成內(nèi)容（Ｕｓｅｒ Ｇｅｎｅｒａｔｅｄ Ｃｏｎｔｅｎｔ，ＵＧＣ）［１］ 。這些具有豐富情感信息的ＵＧＣ 不僅為健康服務(wù)質(zhì)量評價提供數(shù)據(jù)來源， 而且為醫(yī)療服務(wù)創(chuàng)新提供了新的契機［２－４］ 。傳統(tǒng)的粗粒度情感分析主要面向句子或篇章級的情感極性判斷， 難以深入挖掘文本數(shù)據(jù)中包含的細(xì)粒度情感信息。隨著醫(yī)療健康領(lǐng)域精準(zhǔn)知識服務(wù)需求的推動， 如何從ＵＧＣ 中更為精準(zhǔn)地進(jìn)行細(xì)粒度情感信息分析已成為當(dāng)前情感分析研究的重點和難點［５－７］ 。

作為細(xì)粒度情感分析的一種， 方面級情感分析（Ａｓｐｅｃｔ Ｂａｓｅｄ Ｓｅｎｔｉｍｅｎｔ Ａｎａｌｙｓｉｓ， ＡＢＳＡ）旨在抽取文本中的方面實體和評論實體并判斷相應(yīng)情感極性。相較于傳統(tǒng)的粗粒度情感分析， ＡＢＳＡ 涉及方面實體抽取、評論實體抽取和情感極性判斷， 其子任務(wù)方面實體抽取、情感對抽取和情感三元組抽取更具挑戰(zhàn)性［８］ 。盡管相關(guān)研究采用序列標(biāo)注和多分類方法能夠較好地處理ＡＢＳＡ 中的情感分類任務(wù)， 然而， 這些方法在情感三元組抽取任務(wù)上的效果仍不夠理想， 難以準(zhǔn)確對齊各方面實體和評論實體［９］ 。尤其在健康領(lǐng)域， ＵＧＣ 語義信息復(fù)雜且包含了對診療和康復(fù)等過程的多方面評價。如何深入理解其中復(fù)雜的語義信息， 進(jìn)而準(zhǔn)確抽取種類繁雜的方面、評論實體和情感極性對用戶精準(zhǔn)需求分析具有重要意義［８］ 。生成式模型由于其獨特的單向自回歸結(jié)構(gòu)，能夠根據(jù)復(fù)雜情境靈活地生成文本， 在這些復(fù)雜的自然語言處理任務(wù)上具有天然優(yōu)勢?；诖?， 為充分理解上下文語義信息并有效對齊ＵＧＣ 中各方面實體和評論實體， 本文將在線健康社區(qū)ＡＢＳＡ 轉(zhuǎn)換為文本生成任務(wù)， 構(gòu)建端到端的生成式模型ＢＥＲＴＷＷＭ－ＧＰＴ，探究其在方面級情感分析任務(wù)上的效果。具體而言， 首先利用具有雙向Ｔｒａｎｓｆｏｒｍｅｒ 結(jié)構(gòu)的ＢＥＲＴ－ＷＷＭ－ｅｘｔ 抽?。眨牵?中方面情感的上下文語義信息； 其次利用單向自回歸結(jié)構(gòu)的ＧＰＴ［１０］ 模型解碼語義信息并生成情感三元組序列以對齊方面和評價實體； 最終通過基于規(guī)則的方式過濾和篩選出有效的情感三元組。

１相關(guān)研究

１.１方面級情感分析研究

方面級情感分析旨在抽取文本中有關(guān)特定方面的情感信息， 主要包括方面實體抽取、評論實體抽取和情感分類３個子任務(wù)。相較于傳統(tǒng)的單一情感分類任務(wù)， ＡＢＳＡ中的多個子任務(wù)通常是同時進(jìn)行的， 因此難度更大， 復(fù)雜度更高。基于所采用的研究方法， ＡＢＳＡ可以分為序列標(biāo)注方法和多分類的方法。

基于序列標(biāo)注的方法將ＡＢＳＡ 視為序列標(biāo)注問題， 利用ＢｉＬＳＴＭ－ＣＲＦ［１１］ 等模型對文本中單詞或短語的標(biāo)簽進(jìn)行分類， 進(jìn)而抽取方面實體、評論實體和情感極性。為利用位置感知信息， Ｘｕ Ｌ 等［１２］提出一種能夠聯(lián)合提取情感三元組的端到端模型；為利用全局和局部上下文信息， Ｙａｎｇ Ｈ 等［１３］ 提出一種多任務(wù)學(xué)習(xí)情感分析模型， 能夠同步提取方面詞和情感極性； Ｗａｎｇ Ｗ 等［１４］ 提出一種融合依存句法信息的多層耦合注意力網(wǎng)絡(luò)， 實現(xiàn)了對方面詞和觀點術(shù)語的協(xié)同抽?。?為聚焦鄰近文本的語義信息， 肖宇晗等［１５］ 提出一種基于語境窗口自注意力機制的深度學(xué)習(xí)模型進(jìn)行方面實體抽?。?Ｚｈａｏ Ｍ等［１６］ 基于實體與上下文的定向依賴關(guān)系提出了一種新型依賴增強圖卷積網(wǎng)絡(luò)； 王登雄等［１７］ 構(gòu)建了一種結(jié)合句法和語義知識的跨領(lǐng)域方面詞抽取框架，以降低源域和目標(biāo)域數(shù)據(jù)之間差異性帶來的影響。基于序列標(biāo)注方法的模型易于設(shè)計且結(jié)構(gòu)簡單， 但隨著文本中方面實體的增多， 數(shù)據(jù)標(biāo)注難度也越來越大且模型難以對齊方面與評論實體［１８］ 。

基于多分類的方法將ＡＢＳＡ視為多分類問題，即對文本中多個連續(xù)片段及其關(guān)系進(jìn)行分類， 該方法不僅可以實現(xiàn)情感極性分類， 也可以實現(xiàn)方面和評論實體對齊。Ｗｕ Ｚ 等［１９］ 提出一個端到端的網(wǎng)格標(biāo)記模型， 并利用評論之間的相互指示作用抽取情感三元組； Ｚｈａｎｇ Ｃ 等［２０］ 提出一種基于多任務(wù)學(xué)習(xí)的方面實體和評論實體抽取框架， 并通過雙仿射評分器解析兩者之間的情感依賴關(guān)系； Ｘｕ Ｌ 等［２１］ 利用目標(biāo)方面詞和觀點交互信息提出一種跨度級情感三元組抽取模型； 郭榮榮等［２２］ 構(gòu)建了一種融合ＢＥＲＴ和多特征提取的圖卷積神經(jīng)網(wǎng)絡(luò)模型， 并使用雙仿射注意力模塊獲取文本中詞對之間的關(guān)系概率分布；Ｊｉａｎｇ Ｂ 等［２３］ 提出了一種基于ＢＥＲＴ 和圖卷積神經(jīng)網(wǎng)絡(luò)的情感三元組抽取框架， 實現(xiàn)了方面和觀點實體之間的信息交互； Ｇａｏ Ｌ 等［２４］ 構(gòu)建了一個基于問答的機器閱讀理解任務(wù)用于抽取方面和評論實體對。

１.２在線健康社區(qū)情感分析研究

在線健康社區(qū)情感分析較早的相關(guān)研究主要采用基于規(guī)則［２５－２６］ 、基于詞典［２７］ 和基于機器學(xué)習(xí)［２８－３０］的方法， 然而， 這些方法高度依賴專家知識且特征工程龐大［３１］ 。近期研究主要是基于深度學(xué)習(xí)的方法， 效果較早期的情感分析方法有較大提升［３２－３３］ 。Ｙａｄａｖ Ｓ 等［３４］ 、Ｊｅｌｏｄａｒ Ｈ 等［１］ 將傳統(tǒng)機器學(xué)習(xí)和深度學(xué)習(xí)方法進(jìn)行對比， 發(fā)現(xiàn)基于深度學(xué)習(xí)的方法在健康社區(qū)情感分析任務(wù)中取得了顯著改進(jìn)； 葉艷等［３５］采用ＬＤＡ 模型和ＢｉＬＳＴＭ 分析了在線醫(yī)療評論中負(fù)面服務(wù)質(zhì)量評價產(chǎn)生的原因； Ｍｉｎ Ｚ［３６］ 結(jié)合卷積神經(jīng)網(wǎng)絡(luò)（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ， ＣＮＮ）和ＢｉＬ?ＳＴＭ 在挖掘文本局部和全局特征上的優(yōu)勢， 對在線健康社區(qū)的評論進(jìn)行情感分析； Ｃｏｌóｎ－Ｒｕｉｚ Ｃ等［３７］ 、Ｂｉｓｅｄａ Ｂ 等［３８］ 對在線藥物評論進(jìn)行情感分析發(fā)現(xiàn)， 將預(yù)訓(xùn)練雙向編碼表征網(wǎng)絡(luò)（ＢｉｄｉｒｅｃｔｉｏｎａｌＥｎｃｏｄｅｒ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ｆｒｏｍ Ｔｒａｎｓｆｏｒｍｅｒｓ， ＢＥＲＴ）作為模型的嵌入層可進(jìn)一步提升情感分析效果； Ａｒ?ｂａｎｅ Ｍ 等［３９］ 提出一種改進(jìn)的ＢｉＬＳＴＭ 模型用于對社交媒體中有關(guān)健康問題的用戶生成內(nèi)容進(jìn)行情感分析； Ｃａｏ Ｙ 等［４０］ 、Ｓｈａｈ Ａ Ｍ 等［４１］ 提出了融合多模態(tài)數(shù)據(jù)的情感分析模型并對在線醫(yī)療評論進(jìn)行情感分析， 研究發(fā)現(xiàn)多模態(tài)情感分析效果較單一模態(tài)具有顯著提升。

隨著精準(zhǔn)知識服務(wù)需求推進(jìn)， 情感分析逐漸轉(zhuǎn)向更為細(xì)粒度的ＡＢＳＡ。Ｇｕｉ Ｌ 等［４２］ 對網(wǎng)絡(luò)平臺的在線醫(yī)療評論進(jìn)行情感分析， 提出一種可同時進(jìn)行句子級方面詞提取和文檔級情感分類的聯(lián)合學(xué)習(xí)框架； Ｓｈａｎ Ｙ Ｘ 等［４３］ 采用對抗學(xué)習(xí)訓(xùn)練在線醫(yī)療評論中的情感詞表征， 并通過注意力機制將情感特征向量與結(jié)構(gòu)化語義相結(jié)合， 進(jìn)而模型能夠更加關(guān)注文本中特定的方面信息； Ｈａｎ Ｙ 等［４４］ 提出一種預(yù)訓(xùn)練多任務(wù)學(xué)習(xí)模型， 該模型通過兩個ＢｉＧＲＵ 網(wǎng)絡(luò)生成特定藥物評論目標(biāo)的語義表征， 并利用多任務(wù)遷移學(xué)習(xí)短文本藥物評論中的領(lǐng)域知識； ?ｕｎｉｃ＇Ａ 等［４５］ 提出一種基于依存句法信息的方面級情感分析模型， 該模型通過圖卷積神經(jīng)網(wǎng)絡(luò)對給定方面進(jìn)行情感分類； Ｐｒａｖｅｅｎ Ｓ Ｖ 等［４６］ 使用ＢＥＲＴ 模型和主題建模方法分析了醫(yī)療保健領(lǐng)域的學(xué)者對生成式模型ＣｈａｔＧＰＴ 的情緒。從上述研究可以發(fā)現(xiàn)，細(xì)粒度ＡＢＳＡ 已成為當(dāng)前在線健康社區(qū)情感分析的研究重點。

１.３生成式模型應(yīng)用進(jìn)展

近年來， 生成式模型在眾多領(lǐng)域取得了令人矚目的成果。在計算機視覺領(lǐng)域， 變分自編碼器［４７］結(jié)合了自編碼器的結(jié)構(gòu)和概率圖模型的思想， 通過學(xué)習(xí)數(shù)據(jù)的潛在分布， 使得模型能夠生成多樣性的新樣本； 生成對抗網(wǎng)絡(luò)［４８］ 利用對抗訓(xùn)練的方式使得生成器不斷提高生成樣本質(zhì)量， 判別器則不斷提高辨別真?zhèn)蔚哪芰?。在自然語言處理領(lǐng)域， 基于Ｔｒａｎｓｆｏｒｍｅｒ 架構(gòu)的單向自回歸ＧＰＴ［１０］ 模型能夠?qū)W習(xí)文本長距離依賴關(guān)系， 進(jìn)而自動生成文本。隨著預(yù)訓(xùn)練模型的發(fā)展， 生成式模型逐漸應(yīng)用于文本摘要生成、機器翻譯和智能問答等自然語言處理任務(wù)。在文本摘要生成研究中， 全安坤等［４９］ 發(fā)現(xiàn)， 利用生成式模型融合圖片和文本特征能更好地定位關(guān)鍵內(nèi)容， 生成的摘要更具有概括性和可讀性； 李紅蓮等［５０］ 通過融合情感和主題雙通道信息并利用指針網(wǎng)絡(luò)生成文本評論摘要； 鄧露等［５１］ 基于端到端生成式模型提出一種知識增強的生成式摘要方法。在機器翻譯研究中， 申影利等［５２］ 提出一種基于多任務(wù)學(xué)習(xí)和Ｔｒａｎｓｆｏｒｍｅｒ 架構(gòu)的生成式機器翻譯模型；為提高模型對文本的表征能力， Ｋｕｍａｒ Ａ 等［５３］ 結(jié)合注意力和卷積神經(jīng)網(wǎng)絡(luò)提出一種新的生成對抗網(wǎng)絡(luò)； 劉婉月等［５４］ 提出一種加標(biāo)簽融合多種亞詞序列的生成式機器翻譯模型。在智能問答研究中， 為提高問題和答案的語義匹配度， 劉杰等［５５］ 構(gòu)建了基于答案引導(dǎo)的問答對聯(lián)合生成模型； Ｂｉｄｇｏｌｙ Ａ Ｊ等［５６］ 提出了以低資源語言生成式問答框架以解決訓(xùn)練數(shù)據(jù)不足的問題； Ｆｒａｎｃｉｓ Ｓ 等［５７］ 利用生成式問答框架結(jié)合上下文信息生成與問題相關(guān)的回答。在情感分析領(lǐng)域， 余傳明等［５８］ 為解決目標(biāo)語言標(biāo)注語料資源匱乏問題， 使用生成對抗網(wǎng)絡(luò)和ＳＶＭ對文本的情感極性分類； 龔振凱等［５９］ 為提取句子的方面詞、情感詞和情感極性， 提出一種硬約束限制下的情感文本生成方法； Ｈｏｓｓｅｉｎｉ－Ａｓｌ Ｅ 等［６０］ 借助具有單向注意力機制的生成語言模型進(jìn)行方面詞抽取和情感極性分類任務(wù)； Ｌｉ Ｚ 等［６１］ 構(gòu)建多模態(tài)生成框架ＵｎｉＳＡ 以提升模型的多模態(tài)情感感知能力及子任務(wù)間通用情感知識的學(xué)習(xí)能力。

通過上述研究可知， 針對在線健康社區(qū)的情感分析已取得了較大進(jìn)展， 近年來其研究焦點逐漸轉(zhuǎn)向更細(xì)粒度的ＡＢＳＡ。已有研究大多采用序列標(biāo)注方法或多分類方法進(jìn)行特定方面的實體抽取和情感極性分類任務(wù)， 但當(dāng)句中存在多重情感三元組時，現(xiàn)有方法仍然難以有效解決方面實體、評論實體和相應(yīng)情感極性的對齊問題［８，１５］ 。盡管已有研究表明生成式模型在解決此類復(fù)雜ＡＢＳＡ 子任務(wù)的潛力，但尚未深入探索生成式模型抽取多重情感三元組的效果。基于此， 本文將ＡＢＳＡ 任務(wù)轉(zhuǎn)換成序列生成任務(wù)， 進(jìn)一步探究生成式模型對在線健康社區(qū)進(jìn)行方面級情感分析的效果。

２基于生成式的在線健康社區(qū)方面級情感分析模型

２.１模型設(shè)計

為充分理解上下文語義信息并有效對齊ＵＧＣ中各方面實體和評論實體，本文提出一種端到端的生成式方面級情感分析模型ＢＥＲＴ－ＷＷＭ－ＧＰＴ。所提模型由雙向Ｔｒａｎｓｆｏｒｍｅｒ 結(jié)構(gòu)的編碼器和單向自回歸結(jié)構(gòu)的解碼器組成， 通過編碼器抽取上下文語義信息， 解碼器對此解碼生成情感三元組序列，模型具體結(jié)構(gòu)如圖１ 所示。模型中編碼器采用具有雙向Ｔｒａｎｓｆｏｒｍｅｒ結(jié)構(gòu)的ＢＥＲＴ－ＷＷＭ－ｅｘｔ 預(yù)訓(xùn)練模型， 主要包括雙向多頭注意力機制、前饋神經(jīng)網(wǎng)絡(luò)、層歸一化和殘差鏈接網(wǎng)絡(luò)機制； 解碼器采用單向自回歸結(jié)構(gòu)的ＧＰＴ 預(yù)訓(xùn)練模型， 主要包括單向多頭注意力機制、前饋神經(jīng)網(wǎng)絡(luò)、層歸一化和殘差鏈接網(wǎng)絡(luò)機制。

由于推理階段僅存在用戶評論文本Ｔ，而標(biāo)準(zhǔn)序列Ｇ 未知， 為使模型盡可能準(zhǔn)確地預(yù)測在線健康社區(qū)文本的情感信息， 推理策略是通過Ｄｅｃｏｄｅｒ解碼Ｅｎｃｏｄｅｒ 的語義向量進(jìn)而生成預(yù)測序列Ｐ， 并依據(jù)Ｐ 內(nèi)單個位置的預(yù)測得分使得整體預(yù)測準(zhǔn)確性最大化。具體而言， 首先通過Ｅｎｃｏｄｅｒ端得到文本的上下文表示Ｈ； 其次在Ｄｅｃｏｄｅｒ使用特殊任務(wù)標(biāo)志符“＜ｔｒｉ＞”作為任務(wù)的觸發(fā)器， 依據(jù)不斷生成的序列迭代預(yù)測下一個字符， 直到生成特殊的標(biāo)志符“＜ｅｎｄ＞”；然后利用集束算法優(yōu)化生成序列，避免模型陷入局部最優(yōu)陷阱；最終通過基于規(guī)則的方式過濾和篩選出有效的情感三元組表達(dá)。模型的推理階段如圖２所示。

３實驗設(shè)計

３.１實驗流程

為了利用生成式模型靈活解決在線健康社區(qū)中多重情感三元組抽取任務(wù)上的優(yōu)勢， 本文通過構(gòu)建基于端到端的生成式模型實現(xiàn)方面實體、評論實體和相應(yīng)情感極性的對齊， 以提升在線健康社區(qū)中ＡＢＳＡ 效果， 實驗流程如圖３ 所示。具體來說， 首先從在線健康社區(qū)收集用戶評論數(shù)據(jù)， 并對數(shù)據(jù)進(jìn)行清洗和預(yù)處理； 其次搭建深度學(xué)習(xí)模型ＢＥＲＴＷＷＭ－ＧＰＴ， 并在編碼器通過嵌入層獲取包含上下文語意信息的詞向量； 然后在解碼器對詞向量解碼，利用單項的自回歸結(jié)構(gòu)生成預(yù)測序列； 最終從預(yù)測序列中篩選出有效的情感三元組。

３.２數(shù)據(jù)準(zhǔn)備

中文領(lǐng)域目前尚未有公開的中文在線健康社區(qū)ＡＢＳＡ 任務(wù)數(shù)據(jù)集， 為驗證所提模型在在線健康社區(qū)ＡＢＳＡ任務(wù)上的有效性， 本文選擇好大夫網(wǎng)站作為實驗數(shù)據(jù)來源構(gòu)建數(shù)據(jù)集。好大夫網(wǎng)是中國使用較為廣泛的醫(yī)患交流平臺， 其中包括了對醫(yī)生、醫(yī)院的評論， 以及對藥物、治療和康復(fù)狀況的評論。本文利用爬蟲程序獲?。玻埃玻?年１ 月—２０２３ 年８ 月該網(wǎng)站的用戶評論， 初步清洗后得到７０００條數(shù)據(jù)。為確保數(shù)據(jù)標(biāo)注質(zhì)量， 本研究一方面對實驗數(shù)據(jù)采取了去重、降噪以及刪除低質(zhì)量數(shù)據(jù)等操作； 另一方面通過兩位標(biāo)注員分別標(biāo)注， 第三位標(biāo)注員對不確定數(shù)據(jù)進(jìn)行統(tǒng)一標(biāo)注的方式以確保標(biāo)注結(jié)果的準(zhǔn)確性， 并對方面實體和評論實體以及相應(yīng)的情感極性進(jìn)行標(biāo)注。最終構(gòu)建了包含４ ０００條數(shù)據(jù)的數(shù)據(jù)集， 數(shù)據(jù)集統(tǒng)計結(jié)果和樣例如表１ 和表２所示。

３.３實驗設(shè)計

為驗證ＢＥＲＴ－ＷＷＭ－ＧＰＴ 模型在健康社區(qū)方面級情感分析任務(wù)ＡＳＰＥ 和ＡＳＯＴＥ 上的有效性，本文設(shè)計了３ 組對照實驗， 每組實驗均采用五折交叉驗證， 并按７∶１∶２ 將數(shù)據(jù)集劃分為訓(xùn)練集、驗證集和測試集。具體實驗設(shè)計如下：

實驗一：對比基準(zhǔn)模型在ＡＢＳＡ任務(wù)中的實驗效果。探究采用基于序列標(biāo)注方法、基于多分類方法和單解碼器結(jié)構(gòu)的生成式模型ＧＰＴ 在ＡＳＰＥ 和ＡＳＯＴＥ任務(wù)上的效果。

實驗二：探究不同生成式模型在ＡＢＳＡ任務(wù)中的實驗效果。本實驗將在實驗一基礎(chǔ)上探究不同生成式模型和編碼器對實驗效果的影響； 同時探究集束搜索算法中不同集束寬對實驗效果的影響。

實驗三：檢驗?zāi)Ｐ偷念I(lǐng)域泛化能力。在實驗二基礎(chǔ)上利用公共數(shù)據(jù)進(jìn)行實驗， 以探究生成式模型ＢＥＲＴ－ＷＷＭ－ＧＰＴ的泛化能力。

在實驗一中，為驗證所提模型的有效性， 本文采用ＡＢＳＡ 領(lǐng)域主流的基線模型進(jìn)行對比實驗?；€模型介紹如表３所示。

３.４實驗環(huán)境

本文實驗環(huán)境如下： 實驗?zāi)Ｐ途捎茫校簦瑁铮睿?８.０ 和Ｐｙｔｏｒｃｈ深度學(xué)習(xí)框架１.９.０ 版本， 操作系統(tǒng)為Ｕｂｕｎｔｕ，ＧＰＵ型號為ＧｅＦｏｒｃｅ ＲＴＸ３０９０ ＧＰＵ，內(nèi)存２４ＧＢ。表４給出了模型的各超參數(shù)值及解釋，所有實驗均在此環(huán)境下運行。

３.５評估指標(biāo)

本文采用準(zhǔn)確率（Ａｃｃｕｒａｃｙ）、召回值（Ｒｅｃａｌｌ）、精確率（Ｐｒｅｃｉｓｉｏｎ）和Ｆ１ 值作為所有模型的評估指標(biāo)， 以下簡稱Ｐ、Ｒ 和Ｆ１。具體計算如式（９） ～（１１） 所示：

其中ＴＰ表示正類被預(yù)測為正類的數(shù)量； ＦＮ表示正類被預(yù)測為負(fù)類的數(shù)量； ＦＰ 表示負(fù)類被預(yù)測為正類的數(shù)量。

４實驗結(jié)果與分析

４.１基準(zhǔn)實驗對比

為驗證基準(zhǔn)模型在健康社區(qū)方面級情感分析任務(wù)上的效果， 第一組實驗采用序列標(biāo)注方法， 如ＢｉＬＳＴＭ－ＣＲＦ、ＬＣＦ 和ＰＡＴ、ＣＭＬＡ、ＨＡＳＴ； 第二組實驗采用基于多分類方法， 如ＧＴＳ、ＯＴＥ－ＭＴＬ和ＳＰＡＮ－ＡＳＴＥ；第三組實驗采用具有解碼器結(jié)構(gòu)的生成式模型ＧＰＴ。實驗結(jié)果如表５所示。

從表５可以發(fā)現(xiàn)， 在抽?。挤矫鎸嶓w，情感極性＞對任務(wù)ＡＳＰＥ 中：①序列標(biāo)注模型ＨＡＳＴ 和ＬＣＦ模型的Ｆ１值分別為６０.７３％和５９.７１％， 相較于ＢｉＬＳＴＭ－ＣＲＦ 和ＣＭＬＡ 模型均有明顯提升， 主要原因在于ＨＡＳＴ和ＬＣＦ 模型采用多任務(wù)學(xué)習(xí)共享情感極性分類和方面實體抽取任務(wù)的參數(shù)， 使得單個任務(wù)學(xué)習(xí)到更多信息，進(jìn)一步優(yōu)化了ＡＳＰＥ 任務(wù)結(jié)果。②多分類模型在ＡＳＰＥ 任務(wù)上效果優(yōu)于序列標(biāo)注模型。其中ＯＴＥ－ＭＴＬ 模型在多分類模型中表現(xiàn)最優(yōu)，Ｆ１ 值達(dá)到７７.１２％， 較ＨＡＳＴ 模型提升了１６.３９％，這是由于ＯＴＥ－ＭＴＬ 模型利用多任務(wù)學(xué)習(xí)在ＡＳＰＥ任務(wù)中引入評論實體抽取任務(wù)， 更加關(guān)注與評論實體相關(guān)的方面實體和情感極性信息， 進(jìn)一步提高了模型在ＡＳＰＥ 任務(wù)上的效果。③單解碼器生成式模型ＧＰＴ 在ＡＳＰＥ 任務(wù)上Ｆ１ 值為７７.９３％，較ＯＴＥＭＴＬ模型僅提升了０.８１％。進(jìn)一步分析可知，ＧＰＴ模型雖然能夠自回歸地生成情感三元組序列， 但其單向自回歸結(jié)構(gòu)的解碼器未能有效捕獲文本上下文語義信息， 因此， 相較于ＯＴＥ－ＭＴＬ 模型在ＡＳＰＥ任務(wù)上提升效果不顯著。

在抽?。挤矫鎸嶓w，評論實體， 情感極性＞三元組任務(wù)ＡＳＯＴＥ 中：①生成式ＧＰＴ 模型在ＡＳＯＴＥ 任務(wù)上表現(xiàn)最優(yōu)， Ｆ１＠ Ａｌｌ 值為８０.６９％， 較多分類模型ＧＴＳ 提高了７ ７１％。這表明將ＡＢＳＡ 任務(wù)轉(zhuǎn)化為生成任務(wù)是可行的， 且生成式模型在ＡＢＳＡ 任務(wù)上的表現(xiàn)明顯優(yōu)于基于序列標(biāo)注和多分類的方法。②序列標(biāo)注和多分類模型在ＡＳＯＴＥ 任務(wù)上的Ｆ１＠４ 明顯低于Ｆ１＠ １，而生成式模型Ｆ１＠ ４ 比Ｆ１＠ １高４.２２％， 這表明生成式模型更適合處理具有多重情感三元組表達(dá)的復(fù)雜文本。主要原因在于將情感三元組預(yù)測任務(wù)轉(zhuǎn)換成序列生成任務(wù)后， 生成式模型能夠更好地利用情感三元組序列的上下文語義信息， 進(jìn)而有效地處理ＡＳＯＴＥ 任務(wù)。③生成式模型在ＡＳＰＥ任務(wù)上Ｆ１值為７７.９３％， 低于在ＡＳＯＴＥ任務(wù)上的Ｆ１值８０.６９％，而多分類模型和序列標(biāo)注模型在ＡＳＰＥ 任務(wù)上Ｆ１ 值高于ＡＳＯＴＥ 任務(wù)， 這表明生成式模型能夠更好地處理方面級情感分析中的復(fù)雜任務(wù)。進(jìn)一步分析可以發(fā)現(xiàn)， 序列標(biāo)注和多分類模型需要對預(yù)測結(jié)果進(jìn)一步解碼生成情感三元組， 存在錯誤傳播的現(xiàn)象， 而生成式模型在訓(xùn)練和推理階段按照“方面， 評論， 情感極性” 格式對齊方面實體和評論實體并聯(lián)合抽取情感三元組， 減少了錯誤序列的生成。

４.２生成式模型對比

由４.１小節(jié)可知， 生成式模型ＧＰＴ 在基準(zhǔn)實驗對比中效果最優(yōu)。因此， 本實驗將在ＧＰＴ 模型基礎(chǔ)上探究不同編碼器和集束寬度對在線健康社區(qū)情感三元組抽取的影響。其中， Ｇｌｏｖｅ－ＧＰＴ 是在ＧＰＴ 模型的基礎(chǔ)上使用Ｇｌｏｖｅ 詞向量； ＢＥＲＴ－ＧＰＴ是采用ＢＥＲＴ［６２］ 作為嵌入層； ＢＥＲＴ－ＷＷＭ－ＧＰＴ采用ＢＥＲＴ－ＷＷＭ－ｅｘｔ［６３］ 作為詞嵌入層。實驗結(jié)果如表６ 所示。

從表６ 可以發(fā)現(xiàn)， ①Ｇｌｏｖｅ－ＧＰＴ模型在ＡＳＯＴＥ任務(wù)上的Ｆ１＠ Ａｌｌ為８０.８０％，相較于ＧＰＴ模型僅提升０.１１％，這是由于靜態(tài)詞向量Ｇｌｏｖｅ無法準(zhǔn)確捕獲字符在不同上下文的語義信息， 因此， 在復(fù)雜的ＡＳＯＴＥ 任務(wù)中不適用于生成式模型的編碼器。②ＢＥＲＴ－ＧＰＴ 和ＢＥＲＴ－ＷＷＭ－ＧＰＴ 模型相較于ＧＰＴ在ＡＳＯＴＥ任務(wù)上的Ｆ１ 值分別提升了２.４９％和３.５７％，表明預(yù)訓(xùn)練模型ＢＥＲＴ 和ＢＥＲＴ－ＷＷＭ－ｅｘｔ 作為編碼器對實驗效果提升較大，其中ＢＥＲＴ－ＷＷＭ－ｅｘｔ模型對實驗效果提升更為明顯。主要原因在于ＢＥＲＴＷＷＭ－ｅｘｔ相較于ＢＥＲＴ 采用了更大的語料庫和全字掩蔽預(yù)訓(xùn)練任務(wù)，能夠讓模型充分學(xué)習(xí)詞語的語義信息， 進(jìn)而有助于提升三元組抽取效果。③使用集束搜索后，ＢＥＲＴ－ＷＷＭ－ＧＰＴ模型在ＡＯＳＴＥ任務(wù)上的Ｆ１＠２、F１＠３ 和Ｆ１＠４ 總體上隨著集束寬度增大而提高， 當(dāng)提高集束寬度為４ 時Ｆ１＠ Ａｌｌ 值較ＧＴＳ 模型提升了１２.２５％， Ｆ１＠ ２、Ｆ１＠ ３ 和Ｆ１＠ ４分別提升了１.３２％、１.０１％和１.７６％。這是由于模型使用集束算法生成序列時考慮了多個備選項， 在一定程度上避免陷入局部最優(yōu)解。當(dāng)集束寬度增大至５ 時， 實驗效果出現(xiàn)了下降。進(jìn)一步分析可知，模型對預(yù)測序列上每個字符的預(yù)測并不完全準(zhǔn)確，導(dǎo)致選擇的備選項不一定是最佳備選項， 因此， 過度增大集束寬度可能會生成錯誤序列。

４. ３模型領(lǐng)域泛化能力驗證

為驗證基于端到端的生成式模型的泛化能力，本文選取方面級情感分析領(lǐng)域的５ 份中文公共數(shù)據(jù)進(jìn)行實驗， 其中Ｃａｍｅｒａ、Ｃａｒ、Ｐｈｏｎｅ 和Ｎｏｔｅｂｏｏｋ數(shù)據(jù)集［１３］ 是電子商務(wù)平臺的商品評價數(shù)據(jù)， 標(biāo)注了方面實體和情感極性， ４份數(shù)據(jù)集共包含６ ４３２條數(shù)據(jù)； Ｆｏｏｄ［６４］ 數(shù)據(jù)集包含了２７ ８３５條數(shù)據(jù)，標(biāo)注了餐飲行業(yè)在線評論的方面、評論實體和相應(yīng)的情感極性， 每條數(shù)據(jù)最多包含１９對情感三元組。其中，Ｃａｍｅｒａ、Ｃａｒ、Ｐｈｏｎｅ 和Ｎｏｔｅｂｏｏｋ數(shù)據(jù)集均未標(biāo)注評論實體，因此主要進(jìn)行ＡＳＰＥ 實驗； Ｆｏｏｄ數(shù)據(jù)集標(biāo)注了方面、評論實體和相應(yīng)的情感極性，可以進(jìn)行ＡＳＯＴＥ 實驗。為保證各實驗的可比較性，均采用Ｆ１ 值評價指標(biāo)對實驗結(jié)果進(jìn)行評價，實驗結(jié)果如表７所示。

由表７可以發(fā)現(xiàn)，①由于Ｃａｍｅｒａ、Ｃａｒ、ｈｏｎｅ和Ｎｏｔｅｂｏｏｋ數(shù)據(jù)集語料表述較為簡單， 每條數(shù)據(jù)僅包含一個方面的評價， 因此ＡＳＰＥ 任務(wù)整體實驗效果較好。所提模型ＢＥＲＴ－ＷＷＭ－ＧＰＴ 在４ 個數(shù)據(jù)集的ＡＳＰＥ 任務(wù)上效果均達(dá)到最優(yōu)， Ｆ１ 值分別為７６.８５％、８０.８０％、８３.５２％和７９.４８％， 較ＯＴＥＭＴＬ模型分別提升了３.７５％、１３.５７％、１０.８６％和８.５９％。ＬＣＦ、ＯＴＥ－ＭＴＬ、ＧＰＴ 和ＢＥＲＴ－ＷＷＭＧＰＴ模型在ＡＳＰＥ 任務(wù)上的Ｆ１ 值逐漸遞增， 這與實驗一和實驗二的結(jié)論相吻合， 表明生成式模型在ＡＳＰＥ 任務(wù)上的效果優(yōu)于序列標(biāo)注和多分類模型，且基于預(yù)訓(xùn)練的ＢＥＲＴ－ＷＷＭ－ｅｘｔ 編碼器對ＡＳＰＥ任務(wù)具有較好的提升效果。②由于Ｆｏｏｄ 數(shù)據(jù)集存在大量具有多重情感三元組的數(shù)據(jù)， 增加了情感三元組抽取的難度， 因此ＡＳＯＴＥ 任務(wù)整體實驗效果較低。其中， ＭｕＧ ＲｏＢＥＲＴａ－ｌａｒｇｅ模型較ＯＴＥ －ＭＴＬ 模型在Ｆ１ 值上僅提升了０.２８％， 主要原因在于ＯＴＥ－ＭＴＬ模型和ＭｕＧ ＲｏＢＥＲＴａ－ｌａｒｇｅ 模型均采用多分類的方法處理情感三元組抽取任務(wù)， 因此實驗結(jié)果相近。而生成式模型ＢＥＲＴ－ＷＷＭ－ＧＰＴ 較ＭｕＧ ＲｏＢＥＲＴａ－ｌａｒｇｅ 在Ｆ１ 值上提升了７.２２％， 在ＡＳＯＴＥ任務(wù)上效果最佳， 這進(jìn)一步表明了所提模型ＢＥＲＴ－ＷＷＭ－ＧＰＴ優(yōu)秀的泛化能力， 且在抽取多重情感三元組任務(wù)中更具有優(yōu)勢。

４.４案例分析

為進(jìn)一步理解ＢＥＲＴ－ＷＷＭ－ＧＰＴ在健康領(lǐng)域ＡＢＳＡ 任務(wù)上的效果， 本文選取了３ 個代表性案例進(jìn)行分析。其中案例一句式簡單， 包含３個情感三元組和兩種不同的情感極性； 案例二存在３ 個情感三元組， 但僅有兩個方面實體， 即關(guān)系重疊現(xiàn)象，且同一方面實體存在兩種不同情感極性的評論實體； 案例三句式復(fù)雜且存在６ 個情感三元組， 不僅存在關(guān)系重疊現(xiàn)象， 且存在隱性情感表達(dá)現(xiàn)象。表８給出了案例介紹與模型的抽取結(jié)果。

通過案例分析可知，ＢＥＲＴ－ＷＷＭ－ＧＰＴ 模型完整地抽取了案例一與案例二中的情感三元組。案例二中方面實體“王醫(yī)生” 存在兩種不同情感極性的評論實體，ＢＥＲＴ－ＷＷＭ－ＧＰＴ 不僅完整地抽取了相關(guān)的方面與評論實體對， 還準(zhǔn)確預(yù)測了兩種不同的情感極性， 這表明所提模型針對具有多重情感三元組的文本有較好的抽取能力。

案例三句式較為復(fù)雜， 其方面實體“刀口” 的評論實體“很小” 和“基本看不到” 屬于隱性情感表達(dá)， 針對不同方面有不同情感極性。例如， 方面實體“手術(shù)效果” 的評論同樣是“很小”， 但表達(dá)的情感極性卻完全相反， ＢＥＲＴ－ＷＷＭ－ＧＰＴ模型未能準(zhǔn)確識別情感極性； 此外， 當(dāng)方面實體的表達(dá)較為復(fù)雜， 例如“告知注意事項” 由動詞和名詞組成， ＢＥＲＴ－ＷＷＭ－ＧＰＴ 未能正確識別實體邊界。這表明所提模型未能較好地分析隱性情感和抽取復(fù)雜實體信息， 未來可通過遷移學(xué)習(xí)引入外部知識解決此類問題。

５結(jié)論

通過實現(xiàn)方面實體和評論實體對齊進(jìn)而更為準(zhǔn)確地抽取在線健康社區(qū)文本中的多重情感三元組，提出了一種基于端到端的生成式模型ＢＥＲＴ－ＷＷＭＧＰＴ。研究結(jié)果表明： ①單解碼器生成式模型ＧＰＴ相較于序列標(biāo)注和多分類模型更適合處理具有多重情感三元組表達(dá)的復(fù)雜文本， 其Ｆ１值較基準(zhǔn)模型ＧＴＳ提升了７.７１％。②預(yù)訓(xùn)練模型相較于靜態(tài)詞向量更加適合作為生成式模型的編碼器， 且ＢＥＲＴＷＷＭ相較于ＢＥＲＴ 在Ｆ１＠ Ａｌｌ值上提升了１.０８％。③在５ 份中文公開數(shù)據(jù)集和自建數(shù)據(jù)集上的實驗結(jié)果表明， 所提模型ＢＥＲＴ－ＷＷＭ－ＧＰＴ 能較好地抽取在線健康社區(qū)多重情感三元組， 且具有良好的泛化能力。目前在線健康社區(qū)中用戶評論表述復(fù)雜且包含大量隱性情感信息， 如何對隱性情感表達(dá)進(jìn)行有效抽取和情感極性分類是本文未來研究的重點。