基于多粒度語義交互理解網(wǎng)絡(luò)的幽默等級(jí)識(shí)別

張瑾暉，張紹武，林鴻飛，樊小超,2，楊 亮

(1.大連理工大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，遼寧 大連 116024；2.新疆師范大學(xué) 計(jì)算機(jī)科學(xué)技術(shù)學(xué)院，新疆 烏魯木齊 830054)

0 引言

幽默普遍存在于人們的日常交流中，是化解尷尬、活躍氣氛、促進(jìn)交流的重要手段，可以對(duì)人類身心健康產(chǎn)生積極的影響[1]。隨著人工智能的快速發(fā)展，如何讓計(jì)算機(jī)識(shí)別幽默，并進(jìn)一步識(shí)別幽默的等級(jí)成為了目前自然語言處理領(lǐng)域的研究熱點(diǎn)之一。幽默識(shí)別涉及認(rèn)知語言學(xué)、人工智能、心理學(xué)等多個(gè)學(xué)科，其研究能夠更好地促進(jìn)計(jì)算機(jī)對(duì)人類語言的理解。同時(shí)，幽默識(shí)別能夠賦予計(jì)算機(jī)從更深層次理解人類情感的能力，在機(jī)器翻譯和人機(jī)交互等領(lǐng)域有著廣泛的應(yīng)用。因此，幽默識(shí)別及幽默等級(jí)識(shí)別具有重要的理論研究價(jià)值和廣泛的應(yīng)用價(jià)值。

傳統(tǒng)的幽默識(shí)別通常是識(shí)別一個(gè)句子或段落是否具有幽默的含義[2-4]。許多研究表明，幽默具有連續(xù)性[4-6]。幽默等級(jí)識(shí)別，作為幽默識(shí)別任務(wù)的延伸，旨在根據(jù)幽默程度的不同將幽默文本劃分為不同的等級(jí)。Paulos[7]的研究表明，幽默文本通常能夠被劃分為“鋪墊”和“笑點(diǎn)”兩個(gè)部分，其中“鋪墊”一般先于“笑點(diǎn)”表述，是對(duì)背景和前提的交代，而“笑點(diǎn)”則是“鋪墊”的延續(xù)和反轉(zhuǎn)。Weller等[5]指出，對(duì)“鋪墊”和“笑點(diǎn)”兩部分語義及其關(guān)系的深入理解有助于幽默等級(jí)識(shí)別。表1展示了一個(gè)幽默文本及其鋪墊和笑點(diǎn)兩部分。

表1 幽默中的鋪墊和笑點(diǎn)

在表1中，幽默文本被劃分為兩個(gè)子句，子句1為“鋪墊”，子句2為“笑點(diǎn)”?！靶c(diǎn)”既對(duì)鋪墊中的“failure”做了補(bǔ)充說明，是“鋪墊”的延續(xù)，又使用“successful”與“鋪墊”中的“failure”形成反轉(zhuǎn)?！颁亯|”和“笑點(diǎn)”之間對(duì)立統(tǒng)一的關(guān)系使句子包含了一定程度的幽默。

現(xiàn)有的幽默識(shí)別與幽默等級(jí)識(shí)別研究通常分兩步進(jìn)行：首先基于幽默理論，設(shè)計(jì)并實(shí)現(xiàn)一系列的幽默特征；然后采用傳統(tǒng)的機(jī)器學(xué)習(xí)方法或結(jié)合神經(jīng)網(wǎng)絡(luò)方法對(duì)幽默文本或幽默等級(jí)進(jìn)行識(shí)別。Weller等[5]采用基于Transformer的預(yù)訓(xùn)練模型對(duì)幽默等級(jí)進(jìn)行識(shí)別并取得了較好的效果。人工構(gòu)造特征耗時(shí)耗力，且難以對(duì)多樣性的幽默表達(dá)進(jìn)行全面表征，模型的泛化能力較弱?，F(xiàn)有的神經(jīng)網(wǎng)絡(luò)模型和預(yù)訓(xùn)練模型將“鋪墊”和“笑點(diǎn)”作為整體進(jìn)行建模，忽略了其獨(dú)立的語義信息和交互的關(guān)聯(lián)信息。此外，由于語言的細(xì)微差別可能造成幽默的程度不同，僅從單一的粒度提取幽默特征，模型的性能可能受到限制。

綜上所述，為了緩解幽默等級(jí)識(shí)別中的問題，本文提出了一種基于多粒度語義交互理解網(wǎng)絡(luò)的幽默等級(jí)識(shí)別方法。針對(duì)幽默語言多樣性的特點(diǎn)，采用了多種詞嵌入表示融合的方法對(duì)幽默文本進(jìn)行表征；針對(duì)幽默語義復(fù)雜性的特點(diǎn)，采用了局部語義交互理解模塊和全局語義交互理解模塊，分別從單詞粒度和子句粒度提取幽默文本的高維潛在語義特征；針對(duì)幽默中“鋪墊”和“笑點(diǎn)”的語義關(guān)聯(lián)特點(diǎn)，采用“交互型”的神經(jīng)網(wǎng)絡(luò)模型對(duì)二者的關(guān)聯(lián)信息進(jìn)行建模；最后對(duì)多粒度的語義特征和交互關(guān)聯(lián)特征進(jìn)行融合，并對(duì)幽默等級(jí)進(jìn)行識(shí)別。本文的貢獻(xiàn)有以下3點(diǎn):

(1)本文基于多種嵌入表示融合的幽默文本表示，提出了一種基于局部和全局語義理解的神經(jīng)網(wǎng)絡(luò)模型，分別從單詞級(jí)別和子句級(jí)別提取幽默文本特征。

(2)本文提出了一種基于交互語義關(guān)聯(lián)特征的神經(jīng)網(wǎng)絡(luò)模型，對(duì)幽默文本中“鋪墊”和“笑點(diǎn)”的關(guān)聯(lián)信息進(jìn)行建模以抽取幽默語義關(guān)聯(lián)特征。

(3)本文使用基于多粒度語義交互理解網(wǎng)絡(luò)的幽默等級(jí)識(shí)別方法，在Reddit公開幽默數(shù)據(jù)集上進(jìn)行對(duì)比實(shí)驗(yàn)。結(jié)果表明，本文方法能有效提升幽默等級(jí)識(shí)別的性能。

1 相關(guān)工作

作為日常生活中常見的語言現(xiàn)象，幽默理論研究歷史久遠(yuǎn)，基于幽默理論，幽默識(shí)別也有很多的研究成果，而幽默等級(jí)識(shí)別研究則剛剛起步。本節(jié)將從幽默理論、幽默識(shí)別和幽默等級(jí)識(shí)別三個(gè)方面總結(jié)前期的工作。

1.1 幽默理論

幽默理論對(duì)幽默等級(jí)識(shí)別研究具有重要的指導(dǎo)意義。在眾多幽默理論中，乖訛論被廣泛接受且具有深遠(yuǎn)的影響。乖訛論認(rèn)為幽默是人類對(duì)不協(xié)調(diào)事物的感知，當(dāng)事物的發(fā)展違背人們的常識(shí)和期望時(shí)，幽默就產(chǎn)生了[8]?；诠杂炚摚琑askin等[9]提出了第一個(gè)語言學(xué)意義上的幽默理論——腳本語義理論(Script Semantic Theory of Humor，SSTH)，該理論認(rèn)為語義對(duì)立是幽默產(chǎn)生的重要原因?；谝陨嫌哪碚?，Paulos等[7]將幽默分為“鋪墊”和“笑點(diǎn)”，認(rèn)為兩部分之間存在對(duì)立統(tǒng)一的關(guān)系。

1.2 幽默識(shí)別

傳統(tǒng)的機(jī)器學(xué)習(xí)方法被廣泛應(yīng)用于幽默識(shí)別領(lǐng)域。Yang等[10]從不一致性、歧義性、語音特性和人機(jī)交互特性四個(gè)方面提取幽默的語義特征，并采用了隨機(jī)森林方法識(shí)別幽默。Barbieri等[11]根據(jù)幽默問題的語音和歧義性特點(diǎn)，構(gòu)造了多種幽默特征。Zhang等[3]基于幽默的語言學(xué)理論，構(gòu)建50多種幽默特征并將它們劃分為五個(gè)類別。Liu等[12]提取了對(duì)話中的情感特征及情感關(guān)聯(lián)特征識(shí)別對(duì)話中的幽默。此外，他們對(duì)幽默文本中句法結(jié)構(gòu)特征進(jìn)行了深入的分析，并指出句法結(jié)構(gòu)和幽默文本具有高度的相關(guān)性[13]。

近年來，越來越多的深度學(xué)習(xí)方法被用于識(shí)別幽默。楊勇等[14]從音、形、義三個(gè)維度對(duì)幽默特征進(jìn)行建模，采用層次注意力機(jī)制對(duì)幽默進(jìn)行識(shí)別。Bertero等[15-16]由《生活大爆炸》中的文本和語音內(nèi)容構(gòu)建幽默數(shù)據(jù)集，采用長短時(shí)記憶網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)自動(dòng)抽取文本語義特征，從而預(yù)測(cè)對(duì)話中的幽默。Baziotis等[17]利用注意力機(jī)制，更好地關(guān)注到句子中的特定單詞，從而提高了幽默識(shí)別的性能。Zhao等[18]提出了一種采用張量分解的方法提取幽默的語義特征。除了英文，研究者采用深度學(xué)習(xí)方法對(duì)西班牙文[19]和俄文[4]語料進(jìn)行了幽默識(shí)別。

1.3 幽默等級(jí)識(shí)別

幽默等級(jí)識(shí)別使計(jì)算機(jī)能夠理解哪些語義和語義關(guān)系使句子更加有趣。Westbury等[20]對(duì)單詞的幽默程度建模并對(duì)4 997個(gè)單詞的幽默程度進(jìn)行了評(píng)分。Hossain等[6]通過重新編輯新聞標(biāo)題使其變得更加幽默，并對(duì)編輯前后文本語義的幽默程度進(jìn)行了分析。Cattle等[21]將文本劃分為“鋪墊”和“笑點(diǎn)”兩個(gè)部分，并指出二者的語義相關(guān)性對(duì)文本的幽默等級(jí)具有顯著影響。此外，一些國際著名評(píng)測(cè)也將幽默等級(jí)識(shí)別任務(wù)作為評(píng)測(cè)主題[22]。

綜上所述，幽默理論為幽默等級(jí)識(shí)別的研究提供了理論基礎(chǔ)。此外，從不同粒度提取幽默文本中“鋪墊”和“笑點(diǎn)”的語義特征和語義關(guān)系特征有助于幽默等級(jí)識(shí)別性能的提升。

2 幽默等級(jí)識(shí)別方法

基于多粒度語義交互理解網(wǎng)絡(luò)的幽默等級(jí)識(shí)別方法主要包括兩個(gè)層次，語義的嵌入式表示層和交互語義特征提取層。交互語義特征提取層包括兩個(gè)部分: 局部語義交互理解模塊和全局語義交互理解模塊。

基于多粒度語義交互理解的神經(jīng)網(wǎng)絡(luò)(MSIU)模型如圖1所示。語義的嵌入式表示層能夠獲取幽默文本中“鋪墊”和“笑點(diǎn)”的高維潛在語義表示。首先為了更好地獲取不同詞嵌入表示的語義信息，融合多種詞嵌入表示對(duì)“鋪墊”和“笑點(diǎn)”中的單詞進(jìn)行表征；其次，為了獲取高維潛在語義表示，采用雙向長短時(shí)記憶網(wǎng)絡(luò)(Bi-directional LSTM，Bi-LSTM)分別提取“鋪墊”和“笑點(diǎn)”的語義信息并得到上下文表示。交互語義特征提取層將上下文表示作為輸入，從局部和全局兩個(gè)維度交互地提取“鋪墊”和“笑點(diǎn)”中的語義特征及兩者之間的語義關(guān)聯(lián)特征。局部語義交互理解模塊計(jì)算得到“鋪墊”中單詞語義表示和“笑點(diǎn)”中單詞語義表示的關(guān)聯(lián)信息，全局語義交互理解模塊計(jì)算“鋪墊”子句和“笑點(diǎn)”子句的關(guān)聯(lián)信息。最后對(duì)局部和全局信息進(jìn)行融合并對(duì)幽默等級(jí)進(jìn)行識(shí)別。

圖1 MSIN模型框架圖

2.1 語義的嵌入式表示層

幽默是一種復(fù)雜的語言現(xiàn)象，一詞多義等特征使得幽默特征表示和提取變得更加困難[10]。Xu等[23]指出領(lǐng)域內(nèi)和領(lǐng)域外的詞嵌入表示的融合有助于文本分類模型性能的提升。目前還沒有由幽默語料訓(xùn)練得到的詞嵌入表示，而大規(guī)模的詞嵌入表示，如GloVe[24]、BERT[25]等，一般是利用通用語料或者新聞?wù)Z料訓(xùn)練得到的。直接采用單一的詞嵌入表示往往使得幽默等級(jí)識(shí)別的性能欠佳。此外，“鋪墊”和“笑點(diǎn)”在幽默等級(jí)識(shí)別中發(fā)揮著不同的作用，將二者統(tǒng)一建模，不利于文本的幽默等級(jí)識(shí)別。因此，本文將幽默文本的“鋪墊”和“笑點(diǎn)”分別建模，采用多個(gè)領(lǐng)域詞嵌入表示進(jìn)行融合，并采用Bi-LSTM提取兩個(gè)部分的高維語義特征。

2.1.1 語義表示層

該層將“鋪墊”和“笑點(diǎn)”中的每個(gè)單詞映射到多個(gè)高維特征空間，并對(duì)其進(jìn)行融合以獲取有意義的語義表示。設(shè)幽默語句為W={ws1,ws2,…,wsM,wp1,…,wpN}，其“鋪墊”為WS={ws1,ws2,…,wsM}，“笑點(diǎn)”為WP={wp1,wp2,…,wpN}，其中，wi為語句中的任一單詞，M+N為句子總長度，M和N分別為“鋪墊”和“笑點(diǎn)”的長度。將幽默語句中每個(gè)單詞表示為K種低維稠密向量，并對(duì)同一單詞的多種向量進(jìn)行拼接，得到單詞的向量表示。則“鋪墊”的向量表示為XS={xs1,xs2,…,xsM}∈D×M，“笑點(diǎn)”的向量表示為XP={xp1,xp2,…,xpN}∈D×N，D是詞向量的維度，D=D1+D2+…+DK。

2.1.2 特征表示層

在該層中，模型利用Bi-LSTM分別提取“鋪墊”和“笑點(diǎn)”子句的語義特征，作為幽默文本的“鋪墊”和“笑點(diǎn)”的特征表示。LSTM[26]能夠?qū)ξ谋菊Z義上的長距離依賴關(guān)系進(jìn)行建模，而Bi-LSTM能夠從正反兩個(gè)方向提取潛在語義特征，并融合兩部分的語義信息。在每個(gè)時(shí)間步t，正向和反向LSTM對(duì)輸入詞向量xt的處理過程可以分別形式化地表示為：

特征表示層能夠得到幽默文本的潛在語義特征，記為H=[HS,HP]=[hs1,hs2,…,hsM,hp1,hp2,…,hpN]∈(M+N)×2h，其中，HS和HP分別是鋪墊和笑點(diǎn)的潛在語義表示。

2.2 交互語義特征提取層

Chen等[27]指出不同粒度的語義單元及其交互信息能夠有效地提高模型對(duì)文本語義的理解。“鋪墊”和“笑點(diǎn)”作為兩個(gè)語義單元，兩者在不同粒度上相互作用，鋪墊中單個(gè)詞語及鋪墊整體都會(huì)影響到笑點(diǎn)的語義表達(dá)，反之亦然。此外，Engelthaler等[28]指出不同單詞在句子中表現(xiàn)出不同的幽默程度。單詞的語義信息與語句的幽默等級(jí)具有一定的相關(guān)性。

為使神經(jīng)網(wǎng)絡(luò)模型能夠?qū)W習(xí)到單詞和句子的語義信息，并且能夠獲取“鋪墊”和“笑點(diǎn)”之間的關(guān)聯(lián)信息，本文采用局部語義交互理解模塊和全局語義交互理解模塊對(duì)來自上層的潛在語義表示做處理。

2.2.1 局部語義交互理解模塊

Yang等[10]研究發(fā)現(xiàn)，在幽默文本中，不同詞語的重要程度不同，當(dāng)刪除幽默文本中的某些詞語后，文本的幽默程度下降，甚至完全消失。本文采用局部語義交互理解模塊從單詞級(jí)別提取幽默文本的語義信息和語義關(guān)聯(lián)信息。局部語義交互理解模塊包括單詞級(jí)語義交互層和單詞級(jí)語義特征提取層。

單詞級(jí)語義交互層單詞級(jí)語義交互層使用軟對(duì)齊的方式獲取“鋪墊”和“笑點(diǎn)”的單詞粒度語義交互表示。具體地講，對(duì)來自特征表示層的“鋪墊”和“笑點(diǎn)”的潛在語義表示HS和HP，該層首先將兩者中每個(gè)單詞對(duì)應(yīng)向量兩兩之間做點(diǎn)乘，如式(3)所示。

(3)

可以得到“鋪墊”和“笑點(diǎn)”的相似度矩陣E={eij|i∈[1,M],j∈[1,N]}∈M×N，其中，eij表示“鋪墊”中第i個(gè)單詞和“笑點(diǎn)”中第j個(gè)單詞的相似度。

然后，該層以加權(quán)求和的形式求出“鋪墊”和“笑點(diǎn)”中每個(gè)單詞對(duì)應(yīng)的交互表示，如式(4)、式(5)所示。

由上面兩個(gè)式子可知，交互表示包括由“鋪墊”表示的笑點(diǎn)和由“笑點(diǎn)”表示的鋪墊，模型使用“鋪墊”或者“笑點(diǎn)”中所有向量的加權(quán)和來得到對(duì)方每個(gè)單詞的表示，以這種方式實(shí)現(xiàn)“鋪墊”和“笑點(diǎn)”的交互。

最后，模型融合每部分文本各自的潛在語義表示及交互表示，得到兩部分在該層的輸出，如式(6)、式(7)所示。

其中，LS∈M×8h、LP∈N×8h分別是“鋪墊”和“笑點(diǎn)”的單詞級(jí)語義交互表示。本文使用如下方法對(duì)每個(gè)單詞的潛在語義表示和交互表示進(jìn)行融合，如式(8)、式(9)所示。

其中，lsi、lpj∈8h。

單詞級(jí)語義交互特征提取層該層對(duì)單詞級(jí)交互信息進(jìn)一步抽象，獲取單詞級(jí)語義交互特征。首先，該部分分別將LS和LP經(jīng)過Bi-LSTM來提取單詞級(jí)交互表示的高層特征，計(jì)算過程如式(10)、式(11)所示。

其中，GS∈M×2h，GP∈N×2h。分別對(duì)GS和GP做平均池化和最大池化，并將池化獲得的四個(gè)向量拼接，最終得到幽默文本的局部語義交互特征向量v，計(jì)算過程如式(12)～式(14)所示。

2.2.2 全局語義交互理解模塊

Ma等[29]研究表明，對(duì)于文本中的不同語義單元，其單詞的含義會(huì)受到其他語義單元的影響?！颁亯|”和“笑點(diǎn)”作為幽默文本的兩個(gè)子句級(jí)語義單元，二者互相作用，對(duì)幽默等級(jí)識(shí)別產(chǎn)生重要影響。本文采用全局語義交互理解模塊從子句級(jí)別提取幽默文本的語義信息和語義關(guān)聯(lián)信息。全局語義交互理解模塊包括子句級(jí)語義歸納層和子句級(jí)語義交互層。

子句級(jí)語義歸納層該層分別對(duì)“鋪墊”和“笑點(diǎn)”子句的上下文表示(HS或者HP)做平均池化和最大池化，將兩部分拼接得到二者的歸納表示，如式(15)～式(18)所示。

得到的向量rs、rp通過全連接層把它們的維度投影到2h。

子句級(jí)語義交互層該層對(duì)“鋪墊”和“笑點(diǎn)”子句做交互，然后對(duì)交互信息進(jìn)一步抽象，以獲取全局的語義交互特征。首先，計(jì)算子句與各詞之間的交互權(quán)重，如式(19)、式(20)所示。

其中，OS∈M×2h，OP∈N×2h。

然后，通過加權(quán)求和的方式獲得兩個(gè)子句的交互特征，并最終得到全局語義交互特征向量u，如式(21)～式(23)所示。

其中，us、up∈2h分別是“鋪墊”和“笑點(diǎn)”的子句級(jí)別交互特征，將兩者拼接得到u。

2.3 幽默等級(jí)識(shí)別層

該層由全連接層及softmax層組成。首先將局部和全局語義信息進(jìn)行融合，然后通過全連接層和softmax層，得到幽默等級(jí)的概率分布，計(jì)算如式(24)、式(25)所示。

其中，T∈12h，humorcls∈C是概率分布，C是幽默等級(jí)數(shù)量。本文采用交叉熵作為損失函數(shù)，其形式化表示如式(26)所示。

(26)

3 實(shí)驗(yàn)結(jié)果

本節(jié)首先介紹了實(shí)驗(yàn)數(shù)據(jù)、評(píng)價(jià)指標(biāo)、實(shí)驗(yàn)設(shè)置和基線方法，然后對(duì)比了基線方法和本文提出的MSIN方法的幽默等級(jí)識(shí)別性能，最后通過實(shí)驗(yàn)分析了本文方法的有效性。

3.1 實(shí)驗(yàn)數(shù)據(jù)與評(píng)價(jià)指標(biāo)

Reddit數(shù)據(jù)集：該數(shù)據(jù)集由Weller等[5]構(gòu)建。幽默語句來自Reddit中帶有“humor”標(biāo)簽的文本，采用眾包方式對(duì)幽默語句的“鋪墊”和“笑點(diǎn)”進(jìn)行了標(biāo)注，且對(duì)幽默語句的強(qiáng)弱進(jìn)行了人工標(biāo)注。數(shù)據(jù)集規(guī)模詳見表2。

表2 Reddit幽默數(shù)據(jù)集統(tǒng)計(jì)信息

評(píng)價(jià)指標(biāo)：為了便于和基線方法進(jìn)行比較，本文采用了被廣泛接受并應(yīng)用于文本分類任務(wù)中的精確率(Acc)、準(zhǔn)確率(P)、查全率(R)和F1 Score(F1)作為評(píng)價(jià)指標(biāo)。

3.2 實(shí)驗(yàn)設(shè)置

詞嵌入：在訓(xùn)練過程中，詞嵌入表示分別采用了Glove(1)https://nlp.stanford.edu/projects/glove/以及Word2Vce(2)https://code.google.com/archive/p/word2vec/[30]，維度均為300，詞嵌入在訓(xùn)練的過程中固定。對(duì)未登錄詞使用(-0.01,0.01)上的平均分布隨機(jī)初始化。

超參數(shù)：在實(shí)驗(yàn)中，設(shè)置L2正則化項(xiàng)的超參數(shù)λ=10-5，Bi-LSTM的神經(jīng)元個(gè)數(shù)為128，CNN三個(gè)卷積核的尺寸分別為2、3和5，優(yōu)化方法為Adam[31]，Batch大小為64，dropout為0.5。為了防止過度擬合，在訓(xùn)練過程中使用了學(xué)習(xí)率衰減和早停機(jī)制。為了便于和基線模型對(duì)比，采用了Weller等[5]對(duì)數(shù)據(jù)的劃分。

3.3 基線方法

本文使用下述基線方法進(jìn)行對(duì)比實(shí)驗(yàn)：

?Human[5]：人工預(yù)測(cè)結(jié)果。

?CNN[5]：采用CNN自動(dòng)提取幽默語句的潛在語義特征并進(jìn)行幽默等級(jí)識(shí)別。

?CNN[32]：本文復(fù)現(xiàn)的基于CNN的方法，使用3種不同尺寸卷積核的CNN提取幽默文本特征進(jìn)行幽默等級(jí)識(shí)別。

?LSTM[26]：使用LSTM提取幽默特征并進(jìn)行幽默等級(jí)識(shí)別。

?Bi-LSTM-Attention：使用雙向LSTM和注意力機(jī)制提取幽默文本特征，并對(duì)幽默等級(jí)進(jìn)行識(shí)別。

?Transformer[5]：使用基于Transformer結(jié)構(gòu)[33]的預(yù)訓(xùn)練模型對(duì)幽默文本整體做特征提取，以進(jìn)行幽默等級(jí)識(shí)別。

?BERT[25]：本文復(fù)現(xiàn)的基于BERT方法的結(jié)果，在任務(wù)語料上做微調(diào)，然后進(jìn)行幽默等級(jí)識(shí)別。

?ESIM[27]：只基于局部語義交互信息進(jìn)行幽默等級(jí)識(shí)別。

?MSIN：本文提出的多粒度語義交互理解網(wǎng)絡(luò)，綜合使用語義嵌入、局部語義交互和全局語義交互進(jìn)行幽默等級(jí)識(shí)別。

3.4 實(shí)驗(yàn)結(jié)果分析

本文在Reddit數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果如表3所示。表格整體分為三部分，第一部分為人工進(jìn)行幽默等級(jí)識(shí)別的結(jié)果；第二部分采用之前研究的通用方法，將幽默等級(jí)識(shí)別視作文本分類任務(wù)，把幽默文本整體編碼后進(jìn)行分類；第三部分基于本文觀點(diǎn)，將幽默等級(jí)識(shí)別任務(wù)視作自然語言推理任務(wù)，把幽默文本劃分為“鋪墊”和“笑點(diǎn)”兩個(gè)語義部分，以這兩部分作為模型的輸入，使用表示型模型或交互型模型預(yù)識(shí)別文本蘊(yùn)含的幽默等級(jí)。

表3 Reddit數(shù)據(jù)集實(shí)驗(yàn)結(jié)果

在第二部分，本文使用的CNN與Weller等[5]的CNN結(jié)果相近，且兩者均取得了明顯好于人工預(yù)測(cè)的結(jié)果，證明了神經(jīng)網(wǎng)絡(luò)在幽默等級(jí)識(shí)別上的有效性。然而CNN由于卷積核尺寸固定，難以捕獲長距離的語義關(guān)系，這對(duì)需要充分理解上下文的幽默等級(jí)識(shí)別任務(wù)是不利的。相比CNN，LSTM使用隱態(tài)向量捕獲句子在長距離上的語義關(guān)系，可對(duì)時(shí)間序列進(jìn)行有效建模，在數(shù)據(jù)集上取得了好于CNN的結(jié)果。然而LSTM是有偏倚的模型，后送入模型的信息會(huì)比先送入模型的信息擁有更大的權(quán)重，因此文本又使用Bi-LSTM+Attention進(jìn)行改進(jìn)。一方面，BiLSTM可以編碼句子從前到后和從后到前兩個(gè)方向上的信息，獲取的特征更豐富;另一方面，Attention將所有時(shí)間步上的隱態(tài)向量賦予權(quán)重，讓模型關(guān)注在文本分類過程中起關(guān)鍵作用的部分，緩解了由于LSTM的偏倚性造成的信息損失，因此模型相比LSTM取得了更好的結(jié)果。最后，本文使用BERT識(shí)別文本的幽默等級(jí)，其結(jié)果與Weller等[5]使用Transformer的結(jié)果相近，并且兩者均明顯優(yōu)于之前的模型。

本文第三部分分別使用表示型和交互型兩類模型進(jìn)行幽默等級(jí)識(shí)別。

表示模型分別將“鋪墊”和“笑點(diǎn)”編碼為向量，然后將兩向量與它們之間作差及點(diǎn)乘的結(jié)果拼接以捕獲兩部分的關(guān)系，最后基于拼接后的向量進(jìn)行分類。為方便與第一部分的結(jié)果做比較，本文仍采用CNN、LSTM、Bi-LSTM-Attention和BERT四個(gè)模型。首先做內(nèi)部比較，可以發(fā)現(xiàn)四個(gè)模型的結(jié)果依次遞增，與第一部分的趨勢(shì)保持一致；其次將表示模型與第一部分比較，發(fā)現(xiàn)四個(gè)模型的結(jié)果均高于第一部分中對(duì)應(yīng)的模型，證明將幽默文本拆分為“鋪墊”和“笑點(diǎn)”兩部分，并讓模型學(xué)習(xí)兩部分之間的關(guān)系信息，有助于幽默等級(jí)的識(shí)別。

在交互模型部分，本文使用ESIM與本文提出的MSIN進(jìn)行比較。ESIM通過計(jì)算兩部分文本之間單詞的相似度矩陣來構(gòu)建局部語義交互表示，并以此來推斷前后文本的關(guān)系，在沒有大量預(yù)訓(xùn)練知識(shí)的情況下，取得了略低于BERT的結(jié)果。本文提出的MSIN綜合考慮交互過程中局部和全局語義信息的影響，取得了好于ESIM的最優(yōu)結(jié)果。

因此可以證明，相比表示模型，交互模型可以更好地捕捉到“鋪墊”和“笑點(diǎn)”之間的關(guān)系；本文提出的多粒度語義交互理解模型融合單詞和子句兩個(gè)級(jí)別的交互信息，在幽默等級(jí)識(shí)別任務(wù)上取得了提升。

同時(shí)，本文進(jìn)行消融實(shí)驗(yàn)，證明了詞向量融合及多粒度交互兩個(gè)結(jié)構(gòu)的有效性，實(shí)驗(yàn)結(jié)果分別見表4和表5。表4前兩行分別為只使用Glove和只使用Word2Vec的結(jié)果，第三行是使用融合詞向量的結(jié)果，可以發(fā)現(xiàn)，融合之后效果更佳。表5前兩行分別為只使用單詞和子句交互的結(jié)果，第三行為融合兩個(gè)粒度進(jìn)行交互的結(jié)果，可以發(fā)現(xiàn)，多粒度交互網(wǎng)絡(luò)取得了最優(yōu)結(jié)果。

表4 不同詞向量使用方式結(jié)果比較

表5 不同粒度實(shí)驗(yàn)結(jié)果比較

4 結(jié)論

本文將幽默文本劃分為“鋪墊”和“笑點(diǎn)”兩部分，發(fā)現(xiàn)對(duì)兩者之間的關(guān)系進(jìn)行建模可以顯著提升模型識(shí)別幽默等級(jí)的性能?；谶@個(gè)觀點(diǎn)，首先，本文在融合多種嵌入表示的基礎(chǔ)上，從局部和全局兩個(gè)粒度來對(duì)幽默中的語義關(guān)系進(jìn)行理解和建模。其次，本文對(duì)幽默中“鋪墊”和“笑點(diǎn)”兩部分的關(guān)聯(lián)信息做交互建模，從而實(shí)現(xiàn)充分挖掘“鋪墊”和“笑點(diǎn)”之間的關(guān)系。最后，本文在Reddit幽默數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，取得了最優(yōu)結(jié)果，同時(shí)結(jié)合消融實(shí)驗(yàn)證實(shí)了模型設(shè)計(jì)的有效性。未來工作中，我們將在幽默文本自動(dòng)切分及基于“鋪墊”的“笑點(diǎn)”文本生成方面做更多的探索。