情感導(dǎo)向?qū)υ捇貜?fù)生成模型

馬志強,王春喻,賈文超,杜寶祥

(1. 內(nèi)蒙古工業(yè)大學(xué) 數(shù)據(jù)科學(xué)與應(yīng)用學(xué)院,內(nèi)蒙古 呼和浩特 010080;2. 內(nèi)蒙古自治區(qū)基于大數(shù)據(jù)的軟件服務(wù)工程技術(shù)研究中心,內(nèi)蒙古 呼和浩特 010080)

0 引言

情感在人機交互中扮演著重要角色,如何為對話系統(tǒng)賦予情感表達的能力,成為了對話系統(tǒng)研究的重要內(nèi)容。當前對話系統(tǒng)中的情感表達研究主要針對情感表達的可控性問題與情感表達的恰當性問題展開。

針對回復(fù)的情感表達的充分性與可控性等問題,研究者主要通過情感標簽結(jié)合情感記憶、多任務(wù)學(xué)習(xí)[1]、對抗學(xué)習(xí)[2]和注意力機制[3]等方式,有效提升了對話模型生成回復(fù)的情感表達和控制能力。Xu等人提出了Multi-Task and Dual Attentions(MTDA,多任務(wù)和雙注意力)框架,將輸入語句分解為內(nèi)容層和情感層,并進行獨立的編碼和解碼,使端到端模型更加可解釋和可控。編碼器使用多任務(wù)學(xué)習(xí)以獲取內(nèi)容和情感的表示,解碼器使用雙注意力機制以確保指定情感的回復(fù)能夠與輸入的內(nèi)容一致并動態(tài)適應(yīng)輸入的情感,該模型能夠生成多樣化的回復(fù)并適應(yīng)性地控制回復(fù)的情感[1]。Kong等人提出了一種基于條件對抗學(xué)習(xí)的神經(jīng)對話回復(fù)生成方法,不僅能夠生成語義合理的回復(fù),還能夠通過情感標簽顯式地控制回復(fù)的情感[2]。Zhou等人[4]在大規(guī)模對話生成中處理情感因素,提出的情感聊天機(Emotional Chatting Machine,ECM)通過情感類別嵌入、內(nèi)部情感記憶和外部情感記憶,進行情感表達的抽象、隱式情感變化的捕獲以及顯式的情感表達,最終生成不僅內(nèi)容相關(guān)而且情感一致的恰當回復(fù)。

針對回復(fù)情感的恰當性問題,研究者主要通過預(yù)測用戶情感[5]或使用數(shù)據(jù)驅(qū)動的情感誘發(fā)[6-7]等方式實現(xiàn)。Hasegawa等人針對現(xiàn)有研究很少關(guān)注話語如何影響對話者情感的問題,提出了兩個新任務(wù): 預(yù)測對話者的情感以及生成能夠誘發(fā)對話者特定情感的回復(fù)。對于預(yù)測任務(wù),通過將多個二分類器組建為一個一對其余分類器實現(xiàn);對于生成任務(wù),通過對每一類情感構(gòu)建一個基于統(tǒng)計機器翻譯模型的回復(fù)生成器實現(xiàn)。通過大量對話數(shù)據(jù)的訓(xùn)練,模型能夠有效預(yù)測對話者的情感并生成誘發(fā)目標情感的回復(fù)[5]。Lubis等人擴展了對話模型,并增加了一個情感編碼器,以捕捉對話的情感背景,上文中的情感將對回復(fù)的生成產(chǎn)生影響,并且利用人工構(gòu)建積極情感對話語料進行積極情感誘發(fā)相關(guān)的研究生成能夠誘發(fā)用戶積極情感的回復(fù),但存在著一些問題,如構(gòu)建對話語料費時費力,對于語料過度依賴導(dǎo)致可遷移性較差,不能靈活地應(yīng)用到其他語種的對話場景中去[6-7]。

雖然現(xiàn)有的情感對話生成研究已經(jīng)能夠?qū)崿F(xiàn)回復(fù)生成中情感的表達,但是未考慮對話雙方的情感變化,同時回復(fù)情感的引導(dǎo)是一個亟待解決的問題。因此,有必要研究一種具有情感導(dǎo)向機制且不依賴于特殊語料的對話模型,實現(xiàn)對用戶進行情感引導(dǎo)的目標。本文提出了一種情感導(dǎo)向回復(fù)生成方法,稱為情感導(dǎo)向回復(fù)生成模型(Emotion Guidance Response Generation Model,EGRGM)。該模型中的情感導(dǎo)向決策單元和情感回復(fù)生成單元分別從情感與內(nèi)容兩個層面解決情感引導(dǎo)問題,同時提高模型的語言質(zhì)量。首先,利用時間序列模型構(gòu)建情感導(dǎo)向決策單元,對輸入語料進行情感類別判定;其次,把獲得的情感序列和目標情感極性送入情感導(dǎo)向決策模塊中,實現(xiàn)情感層面的情感引導(dǎo)工作;再次,利用大規(guī)模多輪情感對話語料以及GPT-2構(gòu)建情感回復(fù)生成單元;最后,利用情感導(dǎo)向決策單元得到的結(jié)果與對話歷史送入到回復(fù)生成單元中來實現(xiàn)情感導(dǎo)向的回復(fù)對話生成。本文不僅解決了情感層面的引導(dǎo)問題,而且還能基于GPT-2的情感回復(fù)生成單元生成內(nèi)容豐富的語句。

1 相關(guān)工作

情感對話生成最初的研究是基于模板與規(guī)則的[8-9],其中情感語句使用基于模式的方式生成,但是這種方式構(gòu)造難度大且不易拓展,難以進行廣泛的應(yīng)用。受統(tǒng)計機器翻譯的啟發(fā),Ritter[10]等人提出一個短文本的回復(fù)生成概率模型,激發(fā)了研究者對于生成式概率模型[11]的研究。Shang[12]、Mou[13]、Wu[14]、Li[15]等人在大規(guī)模數(shù)據(jù)上訓(xùn)練的神經(jīng)模型為對話生成研究奠定了基礎(chǔ),之后各種神經(jīng)網(wǎng)絡(luò)模型被廣泛地應(yīng)用于對話生成研究中。當前的生成式對話模型以序列到序列(Sequence-to-Sequence,Seq2Seq)、層級循環(huán)編碼器-解碼器(Hierarchical Recurrent Encoder-Decoder,HRED)與生成式的預(yù)訓(xùn)練Transformer(Generative Pre-trained Transformer,GPT-2)為主。

為了能夠?qū)崿F(xiàn)簡單對話語句的生成,Vinyals等人首次將序列到序列(Sequence-to-Sequence,Seq2Seq)框架應(yīng)用到對話生成領(lǐng)域中,給定之前的對話語句,模型預(yù)測下一個語句,該方法可以通過端到端的方式訓(xùn)練模型,從而大大降低了對人工規(guī)則的需要,經(jīng)過一個大語料對話數(shù)據(jù)集的訓(xùn)練,模型即可生成簡單的對話[16]。Zhou等人[4]首次提出基于Seq2Seq模型的情感聊天機(Emotional Chatting Machine,ECM)使用情感類別嵌入模擬情感表達,實現(xiàn)情感向量的編碼,對解碼器進行改進,實現(xiàn)情感語句的生成。Zhang等人[17]提出了一個多任務(wù)Seq2Seq學(xué)習(xí)框架,捕獲上文的文本信息并同時生成每一類情感的回復(fù)。該模型采用一對多架構(gòu),多個解碼器彼此獨立但共用同一個編碼器,以實現(xiàn)生成和目標情感類別一致的回復(fù),最終具備了很高的情感控制能力,使生成回復(fù)達到了很好的情感準確性。Ma等人[18]提出了一個基于Seq2Seq的情感控制單元框架,通過多個情感通道和詞注意力機制將情感詞結(jié)合到回復(fù)語句中,實現(xiàn)情感可控的對話生成。盡管研究者對Seq2Seq模型進行了多個方面的改進,但受限于RNN較弱的語言生成能力,Seq2Seq模型很難生成高質(zhì)量的回復(fù)語句,短回復(fù)、通用回復(fù)問題較為普遍。

為了提高模型生成語句的長度以及與上文的聯(lián)系。Serban等人將層級循環(huán)編碼器-解碼器(Hierarchical Recurrent Encoder-Decoder,HRED)擴展到了對話領(lǐng)域,取得了領(lǐng)先的語言建模效果[19]。Serban等人提出了一個新的基于神經(jīng)網(wǎng)絡(luò)的生成框架隱變量層級循環(huán)編碼器-解碼器(Latent Variable Hierarchical Recurrent Encoder-Decoder,VHRED),在對話回復(fù)生成任務(wù)中有助于長回復(fù)的生成以及上文信息的維持[20]。Xie等人[21]構(gòu)建了一個多輪情感對話系統(tǒng),該系統(tǒng)通過額外的情感向量對話語建模,并且增加了一個學(xué)習(xí)數(shù)據(jù)集中情感交流的情感編碼器,使得多輪對話系統(tǒng)能夠識別和產(chǎn)生情感上恰當?shù)幕貜?fù)。雖然HRED模型在一定程度上提高了回復(fù)文本的長度,但是也受限于RNN較弱的語言生成能力,通用回復(fù)的問題依然存在。

為了能夠緩解傳統(tǒng)Seq2Seq模型與HRED模型的通用回復(fù)問題,在Radford等人[22]提出的生成式的預(yù)訓(xùn)練Transformer(Generative Pre-trained Transformer,GPT-2)上針對對話生成任務(wù)進行少量改進,即可取得良好的效果。Zhang等人提出了一個用于對話回復(fù)生成的大規(guī)模生成式預(yù)訓(xùn)練模型DialoGPT,該模型擴展了GPT-2,使用MMI方法對生成的多個回復(fù)重新排序,能夠生成更加相關(guān)的、內(nèi)容豐富的且上下文一致的回復(fù)[23]。GPT-2在開放領(lǐng)域多輪對話的應(yīng)用,在語言質(zhì)量和內(nèi)容相關(guān)性、多樣性等方面均有顯著提升。

為了解決情感對話生成中的情感引導(dǎo)問題,本文采用時間序列模型的思想,融入情感導(dǎo)向門來實現(xiàn)對情感的導(dǎo)向決策,控制機器情感狀態(tài)合理生成,逐步引導(dǎo)用戶情感向目標情感自然轉(zhuǎn)化。在情感導(dǎo)向決策過程中,本文將用戶當前情感作為第一個輸入,為模型提供用戶當前的情感信息,同時增加了用戶目標情感極性作為第二個輸入,為模型提供引導(dǎo)目標情感信息,在情感導(dǎo)向門的影響下決策出當前回復(fù)最恰當?shù)那楦小嶒灲Y(jié)果表明,本文的模型在情感引導(dǎo)方面與基線模型相比提高了13%,能夠根據(jù)對話歷史和指定的條件引導(dǎo)目標情感極性,具備了一定的引導(dǎo)用戶情感的能力。

2 情感導(dǎo)向回復(fù)生成方法

情感導(dǎo)向?qū)υ捇貜?fù)生成模型(Emotion Guidance Response Generation Model,EGRGM)是在多輪對話的交互過程中,通過捕捉用戶的情感狀態(tài)變化,并結(jié)合對話上文和情感導(dǎo)向目標進行回復(fù)生成,最終將用戶引導(dǎo)至指定的情感目標。

2.1 任務(wù)定義

2.2 模型架構(gòu)

情感導(dǎo)向回復(fù)生成模型EGRGM主要包括三個部分: 情感分類器、情感導(dǎo)向決策單元和情感回復(fù)生成單元。情感分類器用于識別用戶話語和生成回復(fù)的情感類別;情感導(dǎo)向決策單元用于在對話交互過程中對生成回復(fù)的情感類別進行決策;情感回復(fù)生成單元用于回復(fù)的生成,通過對話上文和決策情感進行相應(yīng)的情感回復(fù)生成。EGRGM架構(gòu)如圖2所示。

2.2.1 情感導(dǎo)向決策單元

圖3 情感導(dǎo)向決策單元結(jié)構(gòu)圖[24]

2.2.2 情感回復(fù)生成單元

圖4 情感回復(fù)生成過程[25]

得到最終的生成回復(fù)RT。

2.3 回復(fù)生成算法

EGRGM在進行回復(fù)生成時,需要加載預(yù)先訓(xùn)練完成的情感分類器、情感導(dǎo)向決策單元和情感回復(fù)生成單元。在此基礎(chǔ)上,用戶輸入多輪對話歷史的文本序列,選擇情感導(dǎo)向目標極性并設(shè)置情感重排序[25]的候選語句數(shù)量,EGRGM將依此進行情感導(dǎo)向回復(fù)生成。EGRGM的回復(fù)生成算法如表1所示。

表1 EGRGM回復(fù)生成算法

其中,θCLS為情感分類器的模型參數(shù),θEGDMC為情感導(dǎo)向決策單元的模型參數(shù),θGPT為情感回復(fù)生成單元的模型參數(shù)。

3 實驗

3.1 數(shù)據(jù)準備

3.1.1 數(shù)據(jù)來源

本文實驗使用的原始數(shù)據(jù)為NLPCC 2018的開放領(lǐng)域多輪對話評測任務(wù)的語料[26],其中,訓(xùn)練集為500萬組多輪對話語句,驗證集和測試集均為8 000組多輪對話語句(1)由官方提供的40 000組測試集數(shù)據(jù)篩選得到。。

3.1.2 數(shù)據(jù)處理

本文使用訓(xùn)練好的基于BERT[27]的情感分類器(包含6個情感類別{高興,喜好,厭惡,悲傷,憤怒,無},總體分類準確率為81.1%)對以上三個數(shù)據(jù)集中的所有語句進行情感分類,得到帶有情感類別標簽的多輪對話數(shù)據(jù)集,作為情感回復(fù)生成數(shù)據(jù)。數(shù)據(jù)集的詳細情況如表2所示。

對于每組多輪對話數(shù)據(jù),將除最后一句以外的所有語句作為對話上文,最后一句作為目標語句,將最后一句的真實情感類別作為指定情感類別,用于情感回復(fù)生成實驗。

3.2 對比模型

本文使用提出的EGRGM模型進行多輪對話情感回復(fù)生成實驗,對比當前對話生成任務(wù)和情感對話生成任務(wù)主流的深度神經(jīng)網(wǎng)絡(luò)模型,包括Seq2Seq、ECM、HRED、VHRED和GPT-2。

Seq2Seq模型的超參數(shù): 編碼器為Bi-GRU,解碼器為GRU,嵌入層維度為128,隱藏層維度為256,網(wǎng)絡(luò)層數(shù)為2,丟棄率為0.5,使用Adam優(yōu)化算法,學(xué)習(xí)率為1e-3,權(quán)重衰減為1e-5,詞表大小為11 029,批處理大小為256。

ECM模型使用原文提供源碼的超參數(shù): 編碼器和解碼器均為GRU,嵌入層維度為100,情感嵌入維度為100,隱藏層維度為256,內(nèi)部記憶嵌入大小為256,網(wǎng)絡(luò)層數(shù)為2,集束搜索束大小為5,使用SGD優(yōu)化算法,學(xué)習(xí)率為0.5,詞表大小為40 000,情感類別數(shù)量為6,批處理大小為128。

HRED[19]和VHRED[20]的模型結(jié)構(gòu)相似,故采用相同的超參數(shù): 編碼器為Bi-GRU,解碼器為GRU,嵌入層維度為300,隱藏層維度為512,網(wǎng)絡(luò)層數(shù)為1,丟棄率為0.2,集束搜索束大小為5,使用Adam優(yōu)化算法,學(xué)習(xí)率為1e-3,批處理大小為256。

EGRGM和GPT-2[22]的參數(shù)保持一致: 隱藏單元大小為768,注意力頭數(shù)為6,隱藏層數(shù)為6,使用AdamW優(yōu)化算法,學(xué)習(xí)率為1.5e-4,詞表大小為11 029,情感類別數(shù)為6,最大序列長度為64,批處理大小為16。本文中情感重排序策略的候選語句數(shù)量K設(shè)置為5。

3.3 評價指標

通過自動評價和人工評價兩個方面對模型效果進行評價。

3.3.1 自動評價

自動評價指標包括: 情感句率(Emotional Sentences Rate,ESR)、面向召回的要旨評價(Recall-Oriented Understudy for Gisting Evaluation,ROUGE)、獨特性(Distinct)、基于詞向量的評價(Embedding Metrics)和平均回復(fù)長度(Average Length,Avg Len)。其中,面向召回的要旨評價是基于詞重疊率的評價矩陣的典型代表,基于詞向量的評價涵蓋了三種基于詞向量的評價矩陣[28-29]。各評價指標的含義如下:

(1) ESR表示生成的帶有情感的句子在所有生成句子中所占的比例,用于衡量模型的情感回復(fù)生成能力,是本研究自定義的一個評價指標。

計算方法如式(2)、式(3)所示。本文使用百度開源的中文情感分析工具Senta判斷生成的句子是否帶有情感,統(tǒng)計情感句的占比[30]。

(2)

(3)

其中,yi為指示變量,如果該語句的情感極性為積極或消極則為1,否則為0;N為語句的數(shù)量;Si為語句i通過Senta識別得到的情感極性。

(2) ROUGE是一種通過統(tǒng)計N-gram、詞序列和詞對等重疊單位來衡量生成摘要質(zhì)量的指標,主要應(yīng)用在機器翻譯和文本摘要領(lǐng)域,在本文中用于評價生成回復(fù)的準確性[31]。

(3) Embedding Metrics是基于詞向量的評價指標,包括向量均值法(Embedding Average,Average)、貪婪匹配法(Greedy Matching,Greedy)和向量極值法(Vector Extrema,Extrema)[32-33]。本文使用Word2Vec訓(xùn)練詞向量,使用以上三種方法進行評價指標的計算,從語義的層面對生成回復(fù)準確性進行評價[36]。

(4) Distinct是一種衡量文本多樣性的指標,在開放領(lǐng)域的對話生成中應(yīng)用較為廣泛,在本文中用于評價生成回復(fù)的多樣性。

(5) Avg Len指生成回復(fù)語句中字的個數(shù)(包含標點符號),由于生成回復(fù)的長度和質(zhì)量并無明顯的相關(guān)性,因此只作為評價生成回復(fù)質(zhì)量的一項參考依據(jù)。

3.3.2 人工評價

自動評價指標雖能區(qū)分不同模型的性能,但不能全面地模擬人的主觀感受,因此有必要開展人工評價。人工評價指標參考了NLPCC 2019的開放領(lǐng)域?qū)υ捹|(zhì)量評測任務(wù)的評價標準。結(jié)合實驗?zāi)康?設(shè)計了適用于本文實驗任務(wù)的人工評價指標[34]。人工評價的詳細標準如下:

(1)情感引導(dǎo): 是否能夠引發(fā)指定目標的情感。參考評價標準: 0,不能;1,稍有可能;2,很有可能。

(2)情感表達: 是否有主觀態(tài)度或明顯的情緒,是否會引發(fā)開心或難過等心情變化。參考評價標準: 0,沒有;1,有但不明顯;2,明顯。

(3)邏輯關(guān)聯(lián): 是否延續(xù)上文主題,是否有相關(guān)的內(nèi)容或?qū)嶓w。參考評價標準: 0,毫無關(guān)聯(lián);1,稍有關(guān)聯(lián);2,很有關(guān)聯(lián)。

(4)對話持續(xù): 是否能夠促進對話持續(xù)進行。參考評價標準: 0,不能繼續(xù)對話;1,勉強可以繼續(xù)對話;2,有較高的意愿繼續(xù)對話。

3.4 實驗結(jié)果與分析

3.4.1 自動評價實驗

由表3可知,VHRED生成的回復(fù)中有情感的語句占比最高,本文提出的EGRGM處于中等水平,表明EGRGM具有一定的情感回復(fù)生成能力,但不是最優(yōu)效果;而在ROUGE和Embedding Metrics指標下的結(jié)果表明,EGRGM生成的回復(fù)與真實回復(fù)更接近,具有最優(yōu)的生成回復(fù)準確性;Distinct指標下的結(jié)果顯示GPT-2生成的回復(fù)具有最優(yōu)的多樣性,而EGRGM略低于GPT-2,但明顯高于其他基線模型,表明情感導(dǎo)向機制為了動態(tài)控制生成回復(fù)的情感,會略微犧牲生成回復(fù)的多樣性。觀察AvgLen的結(jié)果可知,HRED和VHRED均存在著低質(zhì)量的短回復(fù)問題,但其ESR得分顯著高于其他模型。為了尋找造成此現(xiàn)象的原因,需要對生成回復(fù)進行進一步的統(tǒng)計,不同方法生成回復(fù)的高頻詞統(tǒng)計如表4所示。

表3 情感導(dǎo)向?qū)υ捝蓪嶒炞詣釉u價結(jié)果

表4 不同方法生成回復(fù)的高頻詞統(tǒng)計

3.4.2 人工評價實驗

在人工評價時,使用從測試集抽取出的100組多輪對話樣本進行了情感導(dǎo)向回復(fù)生成,并邀請了3位評審員進行了主觀的人工打分,最終歸一化的評價結(jié)果如表5所示。

表5 情感導(dǎo)向?qū)υ捝蓪嶒炄斯ぴu價結(jié)果

從情感引導(dǎo)能力來看,未使用ER策略的EGRGM已經(jīng)取得了領(lǐng)先于所有基線模型的實驗效果,比其他最優(yōu)模型提升了8.5%,表明了本文提出的EGRGM具有較好的情感引導(dǎo)能力;而使用ER策略后,情感引導(dǎo)得分進一步提升了13%,表明準確的回復(fù)情感控制有助于提升情感引導(dǎo)的效果。

從情感表達能力來看,VHRED取得了最高的得分,表明其具有最強的情感回復(fù)生成能力,然而結(jié)合表3和表4分析可知,VHRED存在低質(zhì)量的短回復(fù)問題,較高的情感表達得分源自常見情感詞的簡單堆砌;使用ER策略的EGRGM取得了較高的情感表達得分,平均回復(fù)長度也較長,且不存在情感詞堆砌問題,表明EGRGM在保證回復(fù)質(zhì)量的基礎(chǔ)上,仍具有良好的情感表達能力。

從邏輯關(guān)聯(lián)性來看,GPT-2和EGRGM大幅領(lǐng)先于其他基于RNN的編碼器-解碼器模型,表明基于Transformer的模型能夠生成更加相關(guān)的回復(fù);EGRGM小幅領(lǐng)先于GPT-2,表明情感導(dǎo)向機制對生成回復(fù)的相關(guān)性有促進作用;使用ER策略后,降低了EGRGM的邏輯關(guān)聯(lián)得分,表明并非越準確的回復(fù)情感控制就越好,反而會損害生成回復(fù)的相關(guān)性。

從對話持續(xù)性來看,GPT-2和EGRGM再次大幅領(lǐng)先于其他基于RNN的編碼器-解碼器模型,表明高質(zhì)量的回復(fù)生成有助于對話的延續(xù);EGRGM小幅領(lǐng)先于GPT-2,表明情感導(dǎo)向機制對生成回復(fù)情感的動態(tài)控制有助于提升用戶對話的意愿;而ER策略的使用再次降低了EGRGM的得分,表明對生成回復(fù)情感的控制需要一定的容錯空間,以保證對話的持續(xù)性。

綜上所述,EGRGM既能夠保證生成回復(fù)的質(zhì)量和內(nèi)容相關(guān)性,又能起到較好的情感引導(dǎo)作用,相較于多個基線模型,在多輪對話情感導(dǎo)向回復(fù)生成總?cè)蝿?wù)中具有最好的綜合表現(xiàn)。

3.4.3 案例分析

本文根據(jù)用戶不同的初始情感和不同的引導(dǎo)目標情感極性,對EGRGM進行了交互式對話生成測試,得到的四個對話案例如表6～表9所示。

表6 初始狀態(tài)為積極,引導(dǎo)目標為積極

表6的用戶初始情感狀態(tài)為積極,模型的情感引導(dǎo)目標也為積極,模型在多輪對話交互過程中傾向于生成積極情感的回復(fù)。

表7的用戶初始情感狀態(tài)為消極,模型的情感引導(dǎo)目標卻為積極,模型在多輪對話交互過程中傾向于生成積極情感的回復(fù)。

表7 初始狀態(tài)為消極,引導(dǎo)目標為積極

表8的用戶初始情感狀態(tài)為積極,模型的情感引導(dǎo)目標卻為消極,模型在多輪對話交互過程中會生成一些消極情感的冒犯性回復(fù)。

表8 初始狀態(tài)為積極,引導(dǎo)目標為消極

表9的用戶初始情感狀態(tài)為消極,模型的情感引導(dǎo)目標也為消極,模型在多輪對話交互過程中傾向于生成消極情感的回復(fù)。

表9 初始狀態(tài)為消極,引導(dǎo)目標為消極

通過以上案例可知,經(jīng)過多輪對話的交互過程,EGRGM能夠?qū)⒂脩舻那楦幸龑?dǎo)至指定的目標極性,具有一定的用戶情感引導(dǎo)能力。EGRGM傾向于生成與目標情感極性相同的情感回復(fù),對生成回復(fù)的情感控制較為單一,表明模型學(xué)習(xí)到的真實語料中的情感變化規(guī)律相對簡單,尚有一定的提升空間。

4 結(jié)論

為了在對話交互中提升用戶的情感體驗,本文提出了情感導(dǎo)向?qū)υ捇貜?fù)生成模型EGRGM,模型在對話的過程中能夠識別用戶情感并決策回復(fù)情感,最終控制情感回復(fù)的生成,實現(xiàn)對用戶情感的引導(dǎo)。根據(jù)自動評價和人工評價實驗結(jié)果,表明EGRGM模型能有效完成情感表達和內(nèi)容生成工作,在情感引導(dǎo)方面優(yōu)于其它模型。

然而,該方法還存在一定的局限性: 一方面EGRGM模型中使用的情感編碼較為簡單,影響情感回復(fù)生成的內(nèi)容;另一方面EGRGM模型沒有對用戶對話進行內(nèi)容與情感的分離,導(dǎo)致情感導(dǎo)向減弱。未來將在情感編碼和對話內(nèi)容與情感分離方面開展進一步的研究工作。