基于多特征融合的混合神經(jīng)網(wǎng)絡(luò)模型諷刺語用判別

孫 曉，何家勁，任福繼,2

(1. 合肥工業(yè)大學(xué) 計(jì)算機(jī)與信息學(xué)院，安徽 合肥 230009；2. 德島大學(xué) 工程學(xué)院,日本 7700855)

基于多特征融合的混合神經(jīng)網(wǎng)絡(luò)模型諷刺語用判別

孫 曉1，何家勁1，任福繼1,2

(1. 合肥工業(yè)大學(xué) 計(jì)算機(jī)與信息學(xué)院，安徽 合肥 230009；2. 德島大學(xué) 工程學(xué)院,日本 7700855)

在社交媒體中，存在大量的反諷和諷刺等語言現(xiàn)象，這些語言現(xiàn)象往往表征了一定的情感傾向性。然而這些特殊的語言現(xiàn)象所表達(dá)的語義傾向性，通常與其淺層字面含義相去甚遠(yuǎn)，因此加大了社交媒體中文本情感分析的難度。鑒于此，該文主要研究中文社交媒體中的諷刺語用識(shí)別任務(wù)，構(gòu)建了一個(gè)覆蓋反諷、諷刺兩種語言現(xiàn)象的語料庫?；诖送诰蚍粗S和諷刺的語言特點(diǎn)，該文通過對比一些有效領(lǐng)域特征，驗(yàn)證了在反諷和諷刺文本的識(shí)別中，其結(jié)構(gòu)和語義等深層語義特征的重要性。同時(shí)，該文提出了一種有效的多特征融合的混合神經(jīng)網(wǎng)絡(luò)判別模型，融合了卷積神經(jīng)網(wǎng)絡(luò)與LSTM序列神經(jīng)網(wǎng)絡(luò)模型，通過深層模型學(xué)習(xí)深層語義特征和深層結(jié)構(gòu)特征，該模型獲得了較好的識(shí)別精度，優(yōu)于傳統(tǒng)的單一的神經(jīng)網(wǎng)絡(luò)模型和BOW(Bag-of-Words)模型。

諷刺；神經(jīng)網(wǎng)絡(luò)；多特征融合；情感分析

1 引言

反諷和諷刺是特殊的修辭表達(dá)方式，反諷是通過說“反語”的方式來表達(dá)一種情感，通常為負(fù)面。諷刺是通過一些修辭的表達(dá)方式，對一種現(xiàn)象或事物加以批判，通常以積極的字面意思來表達(dá)消極的情緒。兩者存在細(xì)微的差別，因此兩者之間的識(shí)別更是一項(xiàng)富有挑戰(zhàn)性的工作。由于批判性、諷刺性的言論多見于微博、博客等社交媒體中，諷刺和反諷語言嚴(yán)重影響了社交媒體情感分析的識(shí)別精度，因此針對反諷和諷刺的研究，在情感分析和人機(jī)會(huì)話等NLP問題中，具有重要意義。

反諷和諷刺識(shí)別的研究目前主要存在以下難點(diǎn)： (1)至今沒有一個(gè)完整的、權(quán)威的中文語料庫用于研究；(2)單純的文本信息，缺乏說話人的語音、語調(diào)以及說話人的狀態(tài)信息，難以判斷是否是反諷或者諷刺；(3)由于社交媒體或者會(huì)話中，以短文本多見，文本長度制約了對上下文信息的獲取；(4)反諷和諷刺的表達(dá)方式與字面意思無關(guān)，需要獲取深層的語義信息，才能準(zhǔn)確的識(shí)別反諷和諷刺；(5)由于反諷和諷刺與語言習(xí)慣有關(guān)，不同語言的語言結(jié)構(gòu)對其有著重大影響。

針對反諷和諷刺的識(shí)別，目前已經(jīng)引起了部分研究人員的關(guān)注，但是主要是針對英文中反諷和諷刺的研究，面向中文的反諷和諷刺的識(shí)別研究較少。中文的語言結(jié)構(gòu)復(fù)雜，常常通過一些諧音詞、引用經(jīng)典語句、網(wǎng)絡(luò)流行詞匯等方式來表達(dá)反諷和諷刺，因此中文的反諷和諷刺研究相比外文的研究更有難度。鑒于此，本文在參考針對外文的相關(guān)研究基礎(chǔ)上，通過對比不同特征對諷刺語用識(shí)別的影響，分析諷刺語用現(xiàn)象的主要特點(diǎn)，做出一些基礎(chǔ)的研究工作。

此外，為了解決反諷和諷刺的識(shí)別問題，本文在結(jié)合了反諷和諷刺表達(dá)的語言結(jié)構(gòu)、深層語義、上下文關(guān)系特點(diǎn)的基礎(chǔ)上，提出了一種面向社交媒體中反諷和諷刺識(shí)別的混合神經(jīng)網(wǎng)絡(luò)模型，該模型能夠在各項(xiàng)指標(biāo)中，優(yōu)于其他模型。

2 相關(guān)工作

諷刺語用識(shí)別屬于文本情感分析中的重要組成部分，因此眾多學(xué)者對此展開了研究。近些年，針對諷刺語用的研究多為英文語料，中文由于其語言的復(fù)雜性，研究較少。Konstantin Buschmeier[1]等人在針對產(chǎn)品評論的“反諷”研究中，通過不同特征和模型的組合實(shí)驗(yàn)，發(fā)現(xiàn)在“反諷”這類特定任務(wù)的分類中，特定特征對實(shí)驗(yàn)的分類準(zhǔn)確率提升明顯，但是降低了召回率，研究表明這些特定特征和詞袋模型(BOW)的結(jié)合能夠很好解決召回率較低的問題，使用邏輯回歸獲得了最高F值為0.74。Edwin Lunando[2]在針對印尼社交媒體中諷刺檢測的研究，使用消極信息和感嘆詞數(shù)量等特征對文本分別進(jìn)行分級(jí)分類和直接分類，發(fā)現(xiàn)直接分類的效果更優(yōu)，在Max E模型上獲得了最高的實(shí)驗(yàn)準(zhǔn)確率78.4%。David Bamman[3]等人在針對Twitter的諷刺檢測時(shí)，發(fā)現(xiàn)Twitter的上下文特征對諷刺文本的分類起著至關(guān)重要的作用，比如同一作者的其他Twitter、其好友回復(fù)作者的內(nèi)容以及作者評論別的帖子的內(nèi)容，均對分類的精度有著重大影響。Aditya Joshi[4]等人在自動(dòng)檢測諷刺的文章中綜述性地表述了當(dāng)前該領(lǐng)域研究的現(xiàn)狀以及主流的模型和特征方法。Peng Liu[5]在不平衡語料的“反諷”檢測中提出一種多策略的分類器，能夠很好的解決“反諷”文本數(shù)據(jù)不平衡的問題，在多個(gè)語料上進(jìn)行實(shí)驗(yàn)最終獲得了最高為89.7%的準(zhǔn)確率。Santosh Kumar Bharti[6]提出了兩種諷刺的檢測方式： 一種是基于語義解析的詞典生成算法，另一種是感嘆詞出現(xiàn)的次數(shù)的統(tǒng)計(jì)方法，前者獲得了89%的準(zhǔn)確率，后者獲得了85%的準(zhǔn)確率。Francesco Barbieri[7]中對修辭性的語言現(xiàn)象進(jìn)行了研究，在Twitter上對多種修辭語言現(xiàn)象進(jìn)行了實(shí)驗(yàn)，其中包括諷刺的識(shí)別，但是該類別的識(shí)別僅僅達(dá)到0.60的F值。以上的所有模型均使用傳統(tǒng)的統(tǒng)計(jì)模型，未能將反諷的深層語義信息進(jìn)行挖掘，因此識(shí)別精度不高。

3 特征說明

3.1 詞統(tǒng)計(jì)特征

很多傳統(tǒng)經(jīng)典的NLP問題，比如文本分類，情感分析中，統(tǒng)計(jì)特征往往起著重要作用，比如TFIDF、卡方、n-gram(一元、二元、三元)等。本文為了實(shí)驗(yàn)的可靠性，對比了上述統(tǒng)計(jì)特征在SVM分類器中的最佳分類效果，最終選擇了TFIDF+2-gram作為最佳的特征組合。在解決反諷、諷刺問題上，基于詞的統(tǒng)計(jì)特征能夠很好的獲取到一些有利于反諷、諷刺識(shí)別的關(guān)鍵詞。

3.2 句法結(jié)構(gòu)特征

(1) 搭配規(guī)則

由于反諷屬于一種特殊的修辭手法，句式較普通陳述句不同，存在一些固定詞語的同現(xiàn)規(guī)則，為了不失研究的一般性，避免人為的主觀判斷對實(shí)驗(yàn)結(jié)果產(chǎn)生影響，本文采用一種自動(dòng)化的方式構(gòu)建反諷、諷刺常見搭配規(guī)則。文獻(xiàn)[8]重點(diǎn)介紹了針對反諷問題的一些手工收集的搭配規(guī)則。由于反諷的搭配規(guī)則多為skip-n的二次組合，本文采用一種skip-n元詞的方案，對文本進(jìn)行解析，自動(dòng)化構(gòu)造出skip-n元詞，其中涵蓋多數(shù)文獻(xiàn)[8]中所提出的手工模板(圖1)。

例 |很好|，|今天|下了|傾盆大雨|，|我|又|沒|帶|傘|。|

圖1 skip-n元詞解析示意圖

其中λ(P,C)表示了skip-n元詞P在C類文本中的卡方值。

部分解析計(jì)算結(jié)果如表1所示。

表1 skip-n元詞統(tǒng)計(jì)評分實(shí)例

(2) 情感語義特征

根據(jù)Tang[8]對反諷和諷刺的解讀，反諷又稱為說反話，一般會(huì)存在兩個(gè)分句或者兩個(gè)語義塊。反諷中存在一個(gè)特殊的語義現(xiàn)象，那就是前后兩分句的語義往往存在一個(gè)強(qiáng)烈的情感傾向的反差，這一特性可以用于實(shí)現(xiàn)對反諷和諷刺的識(shí)別。本文主要采用兩種方法，對語義傾斜現(xiàn)象加以檢測。

引入情感詞典(基于大連理工情感詞匯本體*http://www.datatang.com/data/45448的擴(kuò)充)，該詞典中包含了該詞語的情感傾向以及情感分?jǐn)?shù)，通過檢測句子中的情感詞以及否定詞對每個(gè)分句的語義情感，并計(jì)算兩分句的情感差值，將此作為情感傾斜特征，如式(2)所示。

為了克服情感詞典的局限性，很多新詞都難以識(shí)別其情感，因此引入Word2Vec[9](300W條中文微博語料訓(xùn)練獲得)來平衡這一缺陷，通過檢測兩個(gè)語義塊中的情感詞的詞向量之間的余弦值，若是前后存在明顯的語義偏差，則夾角大于90度，將余弦相似度這一特征引入本文中，如式(3)所示。

綜合上述兩種針對語義情感不平衡分?jǐn)?shù)(Imbalance Score，IS)計(jì)算的方法，本文在實(shí)驗(yàn)中綜合了二者的優(yōu)點(diǎn)，表達(dá)如式(4)所示。

其中，m,n分別為情感詞w1,w2前修飾否定詞的數(shù)量，Es(w)表示情感詞w的情感得分，vec(w)表示情感詞的詞向量。

3.3 詞向量(Word2Vec)

詞向量的表示方法有多種 ，Mikolov[9]提出了兩種新的模型，分別是ContinuousBag-of-WordsModel(CBOW)和ContinuousSkip-gramModel(Skip-gram)。本文采用Skip-gram算法計(jì)算詞向量，Skip-gram算法的目標(biāo)是使得如下條件概率最大，如式(5)所示。

其中D為單詞w和他的上下文詞匯構(gòu)成的集合，w為輸入的詞匯，c為上下文詞匯，尋找使得該概率乘積最大化的參數(shù)集合θ。在下文給出了詞向量訓(xùn)練過程的詳細(xì)參數(shù)設(shè)置以及訓(xùn)練過程。

3.4 詞序與隨機(jī)詞向量(Word_Index)

對所有詞序進(jìn)行編碼，并將詞序映射為隨機(jī)詞向量，進(jìn)而由詞序構(gòu)成句子向量。本文的語料通過文本文檔保存，通過讀取訓(xùn)練集和測試集文檔(Doc)中的所有句子(S)，構(gòu)建詞庫(Voc)，并對詞庫中的詞語進(jìn)行隨機(jī)編序，針對詞序進(jìn)行詞向量的映射，從而構(gòu)建句子特征矩陣(Mat)。

Doc=(S1,S2,S3......Sm)→Voc=(v1,v2,v3......vn)，其中Sm表示一條語料，vn表示一個(gè)詞語。由此可以將一條語料表示為Sm=(vp,vp+r......vq)，其中vp+r可映射為dim維的向量，該過程采用隨機(jī)初始化的方式實(shí)現(xiàn)，Vp+r=(e1,e2,e3......edim)，進(jìn)而構(gòu)成句子矩陣，實(shí)現(xiàn)對文本的細(xì)粒度序列特征表示。

4 混合神經(jīng)網(wǎng)絡(luò)模型

為了能更好地提取反諷、諷刺文本的特征，結(jié)合上文所述反諷、諷刺等語言現(xiàn)象的特殊語義結(jié)構(gòu)特征，本文提出一種基于神經(jīng)網(wǎng)絡(luò)的輸出層融合的混合模型。該模型主要由兩部分組成，選擇CNN[10]作為語義信息的特征提取器，將時(shí)間序列模型LSTM[11]作為上下文語義結(jié)構(gòu)的映射器，協(xié)同訓(xùn)練雙通道模型，并融合這兩者的輸出特征進(jìn)行分類。

圖2 多特征混合神經(jīng)網(wǎng)絡(luò)模型圖

4.1 卷積通道(ConvolutionalChannels，CCs)

本文為了增強(qiáng)卷積層的能力，選擇了32組卷積核獲得32組卷積輸出。式(7)表示第L層的第K組的特征映射。

由上述表達(dá)可知訓(xùn)練過程CCs的權(quán)值w和b是共享的，因此可以降低計(jì)算的復(fù)雜度，提升訓(xùn)練速度。

經(jīng)過卷積層C特征提取后能夠獲得多組卷積輸出，將該輸出作為采樣層S的輸入，采樣層能夠大大降低卷積輸出的高維向量的維度。采樣層的計(jì)算過程可表示如式(8)所示。

其中該模型選擇最大值池化函數(shù)作為采樣函數(shù)：

采樣層S的輸出作為帶有Dropout的全連接層F的輸入，并將全連接層的輸出作為卷積通道的輸出。

4.2 長短期記憶通道(LongshorttermmemoryChannels，LSTMCs)

LSTM單元結(jié)構(gòu)如圖3所示。

圖3 LSTM單元結(jié)構(gòu)圖

其中f(x)表示對輸入信息的激活值稱之為“遺忘門”，i(t)表示對t時(shí)刻的輸入信息的激活稱之為“輸入門”，o(t)表示t時(shí)刻的輸出值稱之為“輸出門”，c(t)表示細(xì)胞的狀態(tài)值，LSTM每個(gè)時(shí)間節(jié)點(diǎn)對應(yīng)于一個(gè)LSTM單元，會(huì)相應(yīng)地輸出一個(gè)值作為此前所有時(shí)間節(jié)點(diǎn)對下一時(shí)刻的預(yù)測，如式(11)所示。

本文的LSTM通道中，以最后一個(gè)時(shí)間節(jié)點(diǎn)的輸出信息作為LSTM的輸出，將LSTM作為文本另一個(gè)特征提取器，將輸入向量經(jīng)過映射和激活函數(shù)的處理，獲得一組輸出，并將該輸出進(jìn)行全連接，最為LSTMCs的最終輸出。

該模型將上述兩個(gè)通道的中間層輸出向量進(jìn)行幾何連接運(yùn)算，作為最終該模型的特征融合輸出，模型結(jié)構(gòu)如圖2所示。該輸出特征能夠?qū)刹糠值奶卣骷右匀诤?，綜合了兩種特征并協(xié)同訓(xùn)練。最后一步是運(yùn)用Softmax分類器計(jì)算每個(gè)輸出向量在類別空間中的置信度分布如式(12)所示。該模型根據(jù)輸出結(jié)果計(jì)算殘差并修正CCs和LSTMCs的參數(shù)，殘差公式如式(13)所示。

其中，P(yt=c)表示yt分為c類別的置信度概率；Loss表示通過交叉熵計(jì)算損失函數(shù)，yi表示正確標(biāo)簽，f(xi)表示預(yù)測標(biāo)簽。

5 數(shù)據(jù)和實(shí)驗(yàn)

5.1 數(shù)據(jù)集

中文針對反諷和諷刺的研究很少，更少有一份完整的訓(xùn)練數(shù)據(jù)，為了填補(bǔ)這一空缺，方便科研工作者深入對反諷和諷刺的研究，本文采用半自動(dòng)化的方式對微博、博客中的反諷和諷刺的文本進(jìn)行收集。本文中所用的數(shù)據(jù)集主要來自三個(gè)方面：

(1) 臺(tái)灣大學(xué)[8]針對反諷收集了950條實(shí)驗(yàn)語料，本文在此基礎(chǔ)上加入了一些未涵蓋在其中的特殊反諷文本，以擴(kuò)充語料。

(2) 通過爬蟲技術(shù)在新浪微博平臺(tái)抓取了300W余條微博[12]，Sun[13-14]在此語料上進(jìn)行多次情感分析任務(wù)，驗(yàn)證了語料的可靠性。本文通過人工收集的方式從中挑選出諷刺語料500條和正常語料500，使用卷積神經(jīng)網(wǎng)絡(luò)(CNN)+Word2Vec對諷刺語料進(jìn)行建模，訓(xùn)練模型并將剩下的微博作為測試集，最終獲得預(yù)測諷刺語料10W條(本文稱為“準(zhǔn)諷刺文本”)，為確保語料的可靠性，構(gòu)建平衡語料，避免對后續(xù)實(shí)驗(yàn)的干擾，本文加入了人工篩選的過程，對“準(zhǔn)諷刺文本”進(jìn)行多人投票挑選，選擇出諷刺語料1 030條。

(3) 為了方便開展實(shí)驗(yàn)，平衡語料數(shù)量，在微博、博客中隨機(jī)獲取了1 000條非反諷、非諷刺文本作為負(fù)類，其中包括正向、負(fù)向和中立情感的句子，以去除對實(shí)驗(yàn)的干擾。

根據(jù)以上構(gòu)建了一個(gè)涵蓋反諷、諷刺和正常三個(gè)類別的實(shí)驗(yàn)語料，共計(jì)3 030條(其中反諷： 1 000，諷刺： 1 030，正常： 1 000)，數(shù)據(jù)集部分語料示例如表2所示。

表2 數(shù)據(jù)集部分語料示例

部分訓(xùn)練集中樣本2.2所述不平衡分?jǐn)?shù)(IS)分布圖如圖4所示。

圖4 部分訓(xùn)練集樣本不平衡分?jǐn)?shù)分布圖

圖4證實(shí)，本文所述語義結(jié)構(gòu)特征和語義不平衡特征的有效性。

5.2 實(shí)驗(yàn)設(shè)置

(1)模型與參數(shù)設(shè)置

本文主要使用詞序隨機(jī)詞向量、Word2Vec[9]以及隨機(jī)詞向量的形式作為神經(jīng)網(wǎng)絡(luò)模型的初始化特征。其中詞向量的訓(xùn)練過程中涉及的算法和參數(shù)如表3所示。

表3 詞向量訓(xùn)練參數(shù)設(shè)置

本文對LSTM和CNN分別進(jìn)行了實(shí)驗(yàn)，并與本文所提出的混合神經(jīng)網(wǎng)絡(luò)(LSTMCNN)模型作對比實(shí)驗(yàn)，通過多次試驗(yàn)獲得最佳的訓(xùn)練參數(shù)以及卷積設(shè)置如表4所示。

表4 神經(jīng)網(wǎng)絡(luò)模型參數(shù)設(shè)置

(2) 對比試驗(yàn)

針對反諷、諷刺問題，在上文根據(jù)其語言特征加以分析并作出假設(shè)，反諷和諷刺現(xiàn)象與其語言結(jié)構(gòu)、句法結(jié)構(gòu)、以及深度語義相關(guān)。因此設(shè)置對比實(shí)驗(yàn)，驗(yàn)證假設(shè)的正確性。本文選擇實(shí)驗(yàn)效果最佳的二元詞和一元詞的作為文本特征，使用libSVM*https://www.csie.ntu.edu.tw/～cjlin/libsvm/進(jìn)行實(shí)驗(yàn)。除了淺層的詞頻特征，本文還提出了基于自動(dòng)學(xué)習(xí)的領(lǐng)域特征——具有諷刺、反諷意味的特征模板?？紤]到反諷、諷刺現(xiàn)象的識(shí)別與語義結(jié)構(gòu)的強(qiáng)烈相關(guān)性，本文引入句法結(jié)構(gòu)特征(SF)和語義不平衡特征(IS)。綜合上述，本文開展如下八組實(shí)驗(yàn)進(jìn)行三分類，如表5所示。

表5 七組實(shí)驗(yàn)設(shè)置說明

6 結(jié)果分析

表6 七組實(shí)驗(yàn)指標(biāo)一覽表

本文是針對反諷、諷刺和正常語料進(jìn)行的三分類實(shí)驗(yàn)，考慮實(shí)驗(yàn)指標(biāo)的科學(xué)性，本文采用宏平均作為評價(jià)指標(biāo)。分析上述八組實(shí)驗(yàn)結(jié)果(表6)，對比實(shí)驗(yàn)1和2,3可以得知，本文引入2.2所述的基于文本結(jié)構(gòu)(SF)和語義結(jié)構(gòu)(IS)的特征能夠在實(shí)驗(yàn)準(zhǔn)確率等指標(biāo)上有一定幅度的提升，論證了本文所提出的反諷和諷刺現(xiàn)象與句子結(jié)構(gòu)和語義結(jié)構(gòu)的相關(guān)度較高的假設(shè)。對比實(shí)驗(yàn)1、實(shí)驗(yàn)4及實(shí)驗(yàn)5可知，CNN和LSTM所提取的深度語義特征模型，相對于淺層特征的分類結(jié)果精度較高，表明CNN能夠很好地學(xué)習(xí)Word2Vec的語義信息，LSTM模型能夠獲得句子的更多上下文結(jié)構(gòu)信息，從而實(shí)驗(yàn)精度有所提升。對比實(shí)驗(yàn)4和實(shí)驗(yàn)6，LSTM詞序隨機(jī)詞向量模型相對CNN的隨機(jī)詞向量模型有一定提升，表明CNN在獲取上下文信息的同時(shí)，由于卷積的操作使得詞序信息遭到破壞，失去了部分重要的信息，因而實(shí)驗(yàn)6能夠優(yōu)于實(shí)驗(yàn)4的結(jié)果。對比實(shí)驗(yàn)7和實(shí)驗(yàn)8，實(shí)驗(yàn)7使用單純的Word2Vec作為輸入特征，實(shí)驗(yàn)結(jié)果相對于實(shí)驗(yàn)8稍次，由于LSTM存在自編碼和解碼的機(jī)制，對于相對原始的詞序信息性能更優(yōu)，預(yù)訓(xùn)練的詞向量會(huì)導(dǎo)致LSTM過多的學(xué)習(xí)詞向量維度間的信息而忽略了詞序的信息，從而降低了實(shí)驗(yàn)的精度。從實(shí)驗(yàn)結(jié)果可以清晰得知，本文所提出的混合神經(jīng)網(wǎng)絡(luò)模型LSTMCNN性能最優(yōu)，獲得94.19%的實(shí)驗(yàn)準(zhǔn)確率，該模型相對于實(shí)驗(yàn)6能夠獲得更多卷積通道所提取Word2Vec的深度語義信息，相對實(shí)驗(yàn)5能夠獲得更多上下文句法結(jié)構(gòu)的信息，并加以有效記憶。因此綜合這兩者的優(yōu)勢能夠獲得更好的實(shí)驗(yàn)性能。

圖6 實(shí)驗(yàn)宏平均準(zhǔn)確率(左)和F值(右)對比圖

圖7 七組實(shí)驗(yàn)指標(biāo)結(jié)果圖

圖8 Loss和Acc變化趨勢

由圖6、圖7可以直觀地看到，本文所提出的模型在三項(xiàng)常規(guī)指標(biāo)中，均表現(xiàn)最優(yōu)。觀察圖8可知，該模型在前五次迭代中，迅速收斂，在第20次迭代后，實(shí)驗(yàn)準(zhǔn)確率acc和loss基本趨于穩(wěn)定，獲得94.19%的實(shí)驗(yàn)準(zhǔn)確率。

7 結(jié)論和展望

本文主要研究社交媒體中諷刺語用識(shí)別問題，挖掘反諷和諷刺的語言特點(diǎn)，并以問題特征為導(dǎo)向，通過實(shí)驗(yàn)探討了解決混合神經(jīng)網(wǎng)絡(luò)模型對諸如反諷、諷刺難題的可行性。通過實(shí)驗(yàn)發(fā)現(xiàn)，本文所提出的多特征融合的混合神經(jīng)網(wǎng)絡(luò)模型(LSTMCNN)對于解決反諷和諷刺等上下文信息高度相關(guān)的問題，各項(xiàng)指標(biāo)優(yōu)于傳統(tǒng)的詞袋模型和傳統(tǒng)的CNN、LSTM等單一神經(jīng)網(wǎng)絡(luò)模型。

在下一步的工作中，將針對如下問題進(jìn)行提升，微博、博客等社交媒體的文本中含有較多新詞，應(yīng)加強(qiáng)新詞的識(shí)別。同時(shí)，原始數(shù)據(jù)中存在大量非中文詞匯(部分亂碼詞,字母等)會(huì)干擾分詞的精度，進(jìn)而影響特征提取。此外，應(yīng)當(dāng)改進(jìn)模型的泛化效果，將模型得以遷移，解決其他類似的修辭性語言現(xiàn)象。

[1] Konstantin Buschmeier, Philipp Cimiano, Roman Klinger. An impact analysis of features in a classification approach to irony detection in product reviews[C]//Proceedings of the 5th Workshop on Computational Approaches to Subjectivity, Sentiment and Social Media Analysis. 2014: 42-49.

[2] Edwin Lunando, Ayu Purwarianti. Indonesian social media sentiment analysis with sarcasm detection[C]//Proceedings of the Advanced Computer Science and Information Systems (ICACSIS), 2013 International Conference on. IEEE, 2013: 195-198.

[3] David Bamman, Noah A Smith. Contextualized sarcasm detection on twitter[C]//Proceedings of the Ninth International AAAI Conference on Web and Social Media. 2015.

[4] Aditya Joshi, Pushpak Bhattacharyya, Mark James Carman. Automatic Sarcasm Detection: A Survey[J]. arXiv preprint arXiv： 1602.03426, 2016.

[5] Peng Liu, Wei Chen, Gaoyan Ou, et al. Sarcasm detection in social media based on imbalanced classification[C]//Proceedings of the International Conference on Web-Age Information Management. Springer International Publishing, 2014: 459-471.

[6] Santosh Kumar Bharti, Korra Sathya Babu, Sanjay Kumar Jena. Parsing-based sarcasm sentiment recognition in twitter data[C]//Proceedings of the 2015 IEEE/ACM International Conference on Advances in Social Networks Analysis and Mining (ASONAM). IEEE, 2015: 1373-1380.

[7] Francesco Barbieri, Horacio Saggion, Francesco Ronzano. Modelling sarcasm in twitter, a novel approach[C]//Proceedings of the ACL 2014, 2014: 50.

[8] Yi-jie Tang, Hsin-Hsi Chen. Chinese Irony Corpus Construction and Ironic Structure Analysis[C]//Proceedings of the The 25th International Conference on Computational Linguistics: Technical Papers. Dublin, Ireland, 2014: 1269-1278.

[9] Mikolov T, Chen K, Corrado G, et al. Efficient Estimation of Word Representations in Vector Space[J]. arXiv preprint，arXiv： 1301，3781V3,2013.

[10] Kim Y. Convolutional Neural Networks for Sentence Classification[J]. arXiv preprint, arXiv： 1408.5882, 2014.

[11] Hochreiter S, Schmidhuber J. Long Short-Term Memory[J]. Neural computation, 1997, 9(8): 1735-1780.

[12] 孫曉，葉嘉麒，唐陳意，等. 基于多策略的新浪微博大數(shù)據(jù)抓取及應(yīng)用[J].合肥工業(yè)大學(xué)學(xué)報(bào)，2014, 39(10)： 1210-1215.

[13] Sun X, Li C, Ren F. Sentiment Analysis for Chinese microblog based on deep neural networks with convolutional extension features[J]. Neurocomputing, 2016,210:227-236.

[14] Sun X, Jiaqi Y E, Ren F. Detecting influenza states based on hybrid model with personal emotional factors from social networks[J]. Neurocomputing, 2016,210: 257-268.

[15] Graves A, Schmidhuber J. Framewise Phoneme Classification with Bidirectional LSTM and Other Neural Network Architectures[J]. Neural Networks, 2005, 18(5): 602-610.

[16] M Liwicki, A Graves, S Fernández, et al. A Novel Approach to On-Line Handwriting Recognition Based on Bidirectional Long Short-Term Memory Networks[C]//Proceedings of the 9th International Conference on Document Analysis and Recognition. 2007, 1: 367-371.

[17] Trask A, Michalak P, Liu J. sense2vec—A Fast and Accurate Method for Word Sense Disambiguation In Neural Word Embeddings[J]. arXiv preprint arXiv： 1511.06388VI, 2015.

[18] Aniruddha Ghosh, Guofu Li. Semeval-2015 task 11: Sentiment analysis of figurative language in twitter[C]//Proceedings of the 9th International Workshop on Semantic Evaluation (SemEval 2015). 2015: 470-478.

Pragmatic Analysis of Irony Based on Hybrid Neural Network Model with Multi-feature

SUN Xiao1, HE Jiajin1, REN Fuji1,2

(1. School of Computer and Information, Hefei University of Technology, Hefei, Anhui 230009, China; 2. Faculty of Engineering, The University of Tokushima, Tokushima 7700855, Japan)

In social media, there are a lot of ironies or satires, which imply certain emotional tendencies. However, the pragmatic tendency of these special language phenomena is most often a far cry from its literal meaning, which challerges the text sentiment analysis in social media. This paper studies irony recognition in Chinese social media, and constructs a corpus contains irony and satire. It demonstrates the importance of structural and semantic features of ironies in text recognition. This paper also presents an efficient multi-feature hybrid neural network model, which fuses the Convolutional Neural Network and LSTM sequential models. The experimental resitst prove that the proposed model is superior to the traditional neural network models and BOW (bag-of-words) model.

irony; neural networks; multi-feature fusion; sentiment analysis

孫曉(1980—),副教授,主要研究領(lǐng)域?yàn)樽匀徽Z言處理(詞法分析,情感計(jì)算,人機(jī)會(huì)話)情感機(jī)器人與人機(jī)交互。Email:suntian@gmail.com何家勁(1992—),碩士,主要研究領(lǐng)域?yàn)樽匀徽Z言處理(情感計(jì)算,機(jī)器學(xué)習(xí))。Email:hejudgin@mail.hfut.edu.cn任福繼(1959—),教授,主要研究領(lǐng)域?yàn)樾盘?hào)與信息處理,情感計(jì)算。Email:ren2fuji@gmail.com

1003-0077(2016)06-0215-09

2016-09-27 定稿日期： 2016-10-20

安徽省自然基金(1508085QF119);國家自然基金(61432004);模式識(shí)別國家重點(diǎn)實(shí)驗(yàn)室開放課題(NLPR)(201407345);中國博士后科學(xué)基金(2015M580532)

TP391

A