一種策略融合的跨語(yǔ)言文本情感傾向判別方法

張 鵬，王素格,2，李德玉,2

(1. 山西大學(xué) 計(jì)算機(jī)與信息技術(shù)學(xué)院，山西 太原 030006；2. 山西大學(xué) 計(jì)算智能與中文信息處理教育部重點(diǎn)實(shí)驗(yàn)室，山西 太原 030006)

一種策略融合的跨語(yǔ)言文本情感傾向判別方法

張 鵬1，王素格1,2，李德玉1,2

(1. 山西大學(xué) 計(jì)算機(jī)與信息技術(shù)學(xué)院，山西 太原 030006；2. 山西大學(xué) 計(jì)算智能與中文信息處理教育部重點(diǎn)實(shí)驗(yàn)室，山西 太原 030006)

隨著互聯(lián)網(wǎng)的迅速發(fā)展，網(wǎng)絡(luò)資源呈現(xiàn)領(lǐng)域開(kāi)放性和語(yǔ)言多樣性的特點(diǎn)。而語(yǔ)言多樣性將造成網(wǎng)絡(luò)信息交流上的障礙，整合多語(yǔ)言數(shù)據(jù)資源讓用戶快速了解其他語(yǔ)言信息具有重要的應(yīng)用價(jià)值和現(xiàn)實(shí)意義。該文結(jié)合跨語(yǔ)言情感傾向判別的特點(diǎn)，提出策略融合的跨語(yǔ)言文本情感傾向判別框架。通過(guò)跨語(yǔ)言一致文本和跨語(yǔ)言混合概念空間的文本兩種策略，構(gòu)建基于雙語(yǔ)協(xié)同文本情感傾向判別框架和基于跨語(yǔ)言特征混合文本情感傾向判別框架。在兩種判別框架的基礎(chǔ)上，融合兩種框架判別結(jié)果，給出文本整體情感傾向性。實(shí)驗(yàn)表明，該文提出的融合策略在跨語(yǔ)言文本情感傾向判別上是有效的。

跨語(yǔ)言；傾向分類(lèi)；多策略融合

1 引言

互聯(lián)網(wǎng)絡(luò)以及基于互聯(lián)網(wǎng)的電子商務(wù)、社會(huì)網(wǎng)絡(luò)等開(kāi)放應(yīng)用發(fā)展迅速，網(wǎng)絡(luò)資源全球化進(jìn)程加快，因特網(wǎng)所提供的資源呈現(xiàn)多語(yǔ)言化和跨語(yǔ)言的特點(diǎn)。網(wǎng)絡(luò)資源的多語(yǔ)言特點(diǎn)給普通用戶獲取非母語(yǔ)網(wǎng)絡(luò)信息造成語(yǔ)言障礙。如何整合多語(yǔ)言傾向信息，以通用的數(shù)據(jù)形式讓用戶了解多語(yǔ)言數(shù)據(jù)對(duì)某個(gè)對(duì)象的評(píng)價(jià)，具有重要的應(yīng)用價(jià)值和現(xiàn)實(shí)意義。

在跨語(yǔ)言情感傾向分析任務(wù)中，由于語(yǔ)言習(xí)慣差異，不同語(yǔ)言表述相同對(duì)象、相近情感傾向所使用的表達(dá)方式和詞匯差別較大，導(dǎo)致同義詞匯在不同語(yǔ)言間分布差異較大。因此，跨語(yǔ)言情感傾向分析目的是利用源語(yǔ)言帶情感傾向標(biāo)簽訓(xùn)練數(shù)據(jù)，克服詞匯跨語(yǔ)言分布差異，對(duì)目標(biāo)語(yǔ)言數(shù)據(jù)實(shí)現(xiàn)情感傾向分類(lèi)。多語(yǔ)言環(huán)境下的跨語(yǔ)言情感傾向分析面臨的主要困難有以下兩點(diǎn)：

(1) 不同語(yǔ)言在詞匯使用和句法結(jié)構(gòu)上差異巨大，跨語(yǔ)言詞匯特征的對(duì)應(yīng)關(guān)系難于發(fā)現(xiàn)，導(dǎo)致不同語(yǔ)言數(shù)據(jù)表示特征對(duì)齊困難，使得多語(yǔ)言數(shù)據(jù)缺少一致的表示空間；

(2) 情感傾向觀點(diǎn)本身具有分散性質(zhì)，正面觀點(diǎn)與負(fù)面觀點(diǎn)判別性能差異較大，判別效果不穩(wěn)定。

針對(duì)跨語(yǔ)言情感傾向分類(lèi)任務(wù)，本文采用了兩種跨語(yǔ)言情感傾向分析策略，一種是半監(jiān)督框架的跨語(yǔ)言情感傾向判別方法，它通過(guò)調(diào)整原始特征空間方式實(shí)現(xiàn)跨語(yǔ)言情感傾向判別；另一種是基于詞匯特征概念空間抽取策略的跨語(yǔ)言情感傾向判別方法，將特征一致性擴(kuò)展到具有相似分布的潛層語(yǔ)義一致層面，抽取分布相近的情感傾向特征作為概念空間，在概念空間上實(shí)現(xiàn)跨語(yǔ)言情感傾向判別，以彌補(bǔ)原始特征稀疏分散的問(wèn)題，這也是本文的主要?jiǎng)?chuàng)新。在這兩種策略的基礎(chǔ)上，本文提出了融合兩種策略判別結(jié)果的框架，通過(guò)COAE2014任務(wù)2的實(shí)驗(yàn)，最終給出情感傾向在參賽的提交結(jié)果，得到了較好成績(jī)。

2 相關(guān)工作

針對(duì)文本情感傾向判別分析，常采用機(jī)器學(xué)習(xí)方法，利用訓(xùn)練數(shù)據(jù)獲得判別分類(lèi)器，再對(duì)目標(biāo)數(shù)據(jù)進(jìn)行情感傾向分類(lèi)。文獻(xiàn)[1]首先使用了三種機(jī)器學(xué)習(xí)方法對(duì)文本情感傾向進(jìn)行了判別，文本的傾向判別性能劣于傳統(tǒng)話題分類(lèi)任務(wù)，說(shuō)明文本內(nèi)容的構(gòu)成對(duì)分類(lèi)效果的影響至關(guān)重要。對(duì)于情感傾向判別任務(wù)，需要找到合理的與文本情感傾向相關(guān)的特征，以構(gòu)建有效的數(shù)據(jù)表示空間。文獻(xiàn)[2]利用了Fisher線性判別準(zhǔn)則用于度量特征類(lèi)別區(qū)分能力，從而獲得類(lèi)內(nèi)聚集、類(lèi)間分散的特征表示空間。實(shí)驗(yàn)表明，基于Fisher的特征選擇方法可以在評(píng)論文本上獲得更好的情感傾向分類(lèi)效果。特征選擇方法所確定的特征是單個(gè)詞語(yǔ)，在數(shù)據(jù)量較大而文本篇幅較短時(shí)面臨數(shù)據(jù)空間維度高而數(shù)據(jù)表示稀疏的問(wèn)題，可利用數(shù)據(jù)壓縮方法獲得低維表示空間。文獻(xiàn)[3]采用了潛層語(yǔ)義分析(Latent Semantic Analysis)方法，對(duì)原始數(shù)據(jù)進(jìn)行降維表示，將原始數(shù)據(jù)表示在概念空間上。

對(duì)于特征對(duì)應(yīng)關(guān)系發(fā)現(xiàn)任務(wù)，結(jié)構(gòu)一致學(xué)習(xí)(SCL, Structural Correspondence Learning)[4]是一種較好的針對(duì)相同語(yǔ)言發(fā)現(xiàn)對(duì)應(yīng)情感傾向特征對(duì)的方法。SCL通過(guò)發(fā)現(xiàn)相同語(yǔ)法結(jié)構(gòu)和語(yǔ)義結(jié)構(gòu)來(lái)構(gòu)建特征對(duì)應(yīng)橋梁。文獻(xiàn)[5-6]則針對(duì)多語(yǔ)言任務(wù)提取高度相關(guān)的跨語(yǔ)言特征對(duì)。文獻(xiàn)[7]則利用文本中常出現(xiàn)的情感表情符號(hào)網(wǎng)絡(luò)建立情感傾向一致特征映射關(guān)系。本文借鑒了SCL發(fā)現(xiàn)一致語(yǔ)義結(jié)構(gòu)的思想，通過(guò)特征融合方式表示跨語(yǔ)言情感傾向語(yǔ)義。另外，文本中存在“Great!”，“Fantastic!”，“Poor!”等獨(dú)詞句情況。而這些獨(dú)詞句含義單一、準(zhǔn)確，具有類(lèi)似于文獻(xiàn)[7]中表情符號(hào)的性質(zhì)，本文的特征將這些獨(dú)詞句作為特征。文獻(xiàn)[8]則在已有基礎(chǔ)上首次采用聯(lián)合策略，將文本極性、表情符號(hào)和詞語(yǔ)強(qiáng)度相結(jié)合，協(xié)同篩選主客觀分類(lèi)和情感傾向分類(lèi)特征。

跨語(yǔ)言情感分類(lèi)任務(wù)處理的對(duì)象是不同語(yǔ)種的語(yǔ)言，該任務(wù)可以通過(guò)語(yǔ)言自動(dòng)翻譯技術(shù)在目標(biāo)語(yǔ)言和源語(yǔ)言上建立相同目標(biāo)的任務(wù)數(shù)據(jù)集，這樣便可以采用雙語(yǔ)協(xié)同方式進(jìn)行文本情感傾向判別[9]。文獻(xiàn)[9]提出一種雙語(yǔ)協(xié)同策略，針對(duì)源語(yǔ)言有少量可用標(biāo)記樣本點(diǎn)，而目標(biāo)語(yǔ)言又有大量未標(biāo)記樣本點(diǎn)的情況，采用雙語(yǔ)協(xié)同方式在源語(yǔ)言和目標(biāo)語(yǔ)言上學(xué)習(xí)對(duì)等的分類(lèi)器，對(duì)大量未標(biāo)注樣本點(diǎn)進(jìn)行標(biāo)注，之后利用一定的整合策略將源語(yǔ)言和目標(biāo)語(yǔ)言上的預(yù)測(cè)結(jié)果整合在一起。在迭代過(guò)程中逐步將預(yù)測(cè)置信度較高的未標(biāo)注樣本點(diǎn)加入已知標(biāo)記集合，這樣便可逐步判別目標(biāo)語(yǔ)言樣本點(diǎn)，達(dá)到逐步引入目標(biāo)語(yǔ)言樣本和詞匯特征的目的。文獻(xiàn)[10]則介紹了編輯距離概念，本文利用編輯距離對(duì)齊誤拼的西文單詞。

3 雙語(yǔ)協(xié)同跨語(yǔ)言文本情感傾向判別

在跨語(yǔ)言的文本情感傾向分類(lèi)任務(wù)中，一般給定兩部分?jǐn)?shù)據(jù)集，即帶有情感傾向標(biāo)注的源語(yǔ)言訓(xùn)練數(shù)據(jù)集和未標(biāo)注目標(biāo)語(yǔ)言數(shù)據(jù)集。兩部分?jǐn)?shù)據(jù)集的情感傾向表示空間是不同的，因此，本文采用雙語(yǔ)協(xié)同跨語(yǔ)言文本情感傾向判別策略，將情感傾向一致樣本點(diǎn)作為載體，采用半監(jiān)督學(xué)習(xí)方法在源語(yǔ)言和目標(biāo)語(yǔ)言候選特征的并集中，建立情感傾向一致的表示空間。

用SO標(biāo)記源語(yǔ)言數(shù)據(jù)集，用ST標(biāo)記目標(biāo)語(yǔ)言數(shù)據(jù)集。情感傾向標(biāo)簽y∈γ={-1，1}，1表示正面情感傾向標(biāo)簽，-1表示負(fù)面情感傾向標(biāo)簽。SO和ST表示如下：

SO={(xi,yi)|i=1...M}，F(xiàn)O={O1,O2,...,Om}。其中，SO為文本xi與標(biāo)簽yi映射對(duì)集合，F(xiàn)O為特征向量。ST={xj|j=1...N}，F(xiàn)T={T1,T2,...,Tn}，其中，ST為未標(biāo)記文本點(diǎn)集合，F(xiàn)T為特征詞向量。

為了建立FO和FT的部分語(yǔ)義映射關(guān)系，本文利用自動(dòng)翻譯技術(shù)實(shí)現(xiàn)FO和FT的語(yǔ)言互譯，令FInt=FO∩FT，且FO∩FT≠?。

跨語(yǔ)言文本情感傾向分類(lèi)任務(wù)的目標(biāo)是利用源語(yǔ)言數(shù)據(jù)集SO的情感傾向標(biāo)簽，預(yù)測(cè)ST中未標(biāo)注樣本點(diǎn)的情感傾向標(biāo)簽，即學(xué)習(xí)跨語(yǔ)言函數(shù)pSO(y|x)→pST(y|x)。為了構(gòu)造跨語(yǔ)言函數(shù)，需要定義以下概念。

定義1 一致語(yǔ)言樣本點(diǎn)是指在源語(yǔ)言和目標(biāo)語(yǔ)言上具有相同的情感傾向性的樣本點(diǎn)，即pO(y|x)和pT(y|x)是一致的，用Ssame表示。

根據(jù)定義1有Ssame?ST，即一致語(yǔ)言樣本點(diǎn)集Ssame是目標(biāo)數(shù)據(jù)的子集。這樣，Ssame包含了ST上與SO一致的情感傾向信息。因此，Ssame可以由SO上的判別模型給出正確情感傾向標(biāo)簽，同時(shí)Ssame還包含了ST的情感傾向判別信息。通過(guò)Ssame上的判別模型還可以正確給出ST的情感傾向標(biāo)簽。

令S_train=SO∪Ssame，S_train為跨語(yǔ)言情感傾向判別數(shù)據(jù)集。在S_train上訓(xùn)練情感傾向判別模型，即為跨語(yǔ)言情感傾向判別模型。為了獲得S_train，本文設(shè)計(jì)了雙語(yǔ)協(xié)同跨語(yǔ)言情感傾向判別框架，整體過(guò)程如圖1所示。

圖1 雙語(yǔ)協(xié)同半監(jiān)督文本情感傾向判別

圖1中的高置信度樣本即為在源語(yǔ)言和目標(biāo)語(yǔ)言上具有一致情感傾向性的樣本點(diǎn)，即源語(yǔ)言模型和目標(biāo)語(yǔ)言模型的判別結(jié)果是一致的。當(dāng)無(wú)法發(fā)現(xiàn)新的高置信度樣本點(diǎn)時(shí)，則迭代停止，此時(shí)獲得的訓(xùn)練數(shù)據(jù)集即為S_train。

在整個(gè)文本情感傾向判別過(guò)程中，高置信度樣本點(diǎn)的情感傾向在半監(jiān)督訓(xùn)練過(guò)程中已被確定下來(lái)，剩余目標(biāo)數(shù)據(jù)樣本點(diǎn)情感傾向性需要最終判別結(jié)果確定。

高置信度樣本點(diǎn)作為跨語(yǔ)言情感傾向信息的載體，可以看作包含源語(yǔ)言與目標(biāo)語(yǔ)言共享的情感傾向觀點(diǎn)詞，同時(shí)包含部分目標(biāo)語(yǔ)言常使用而源語(yǔ)言較少使用的情感傾向觀點(diǎn)詞。其中，共享情感傾向觀點(diǎn)詞數(shù)量已可以保證樣本點(diǎn)被正確判別，且具有較高的置信度。如圖2所示。

隨著高置信度樣本點(diǎn)逐步加入訓(xùn)練數(shù)據(jù)集中，目標(biāo)語(yǔ)言上的情感傾向觀點(diǎn)詞被逐漸引入S_train中，從而實(shí)現(xiàn)跨語(yǔ)言情感傾向判別。

在半監(jiān)督訓(xùn)練過(guò)程中，高置信度樣本是跨語(yǔ)言情感傾向判別的橋梁，其核心問(wèn)題是如何選擇高置信度樣本點(diǎn)。

3.1 高置信度樣本選擇

在單一語(yǔ)言上，判別模型對(duì)一個(gè)樣本x給出的結(jié)果有如式(1)所示的約束。

(1)

即樣本x屬于正面概率P+(x)與屬于負(fù)面概率P-(x)和為1。類(lèi)別概率值的大小，反映了樣本x屬于正類(lèi)或者負(fù)類(lèi)的可能性。因此，屬于正類(lèi)和負(fù)類(lèi)概率差值越大， 則說(shuō)明判別結(jié)果越可靠。在判別概率基礎(chǔ)上，定義置信度計(jì)算公式為式(2)。

(2)

Cfd(x)∈[-1,1]，|Cfd(x)|越大，說(shuō)明置信度越高，signal(Cfd(x))標(biāo)記了樣本x屬于正類(lèi)(正號(hào))或負(fù)類(lèi)(負(fù)號(hào))。

在目標(biāo)語(yǔ)言和源語(yǔ)言上同時(shí)具有較高可信度的樣本能夠?qū)ふ业礁咧眯哦鹊臉颖军c(diǎn)，因此，設(shè)置高置信度樣本的選擇條件如下：

圖2 高置信度樣本點(diǎn)包含的情感傾向觀點(diǎn)詞

其中，α為選擇閾值。滿足以上條件的樣本x應(yīng)在源語(yǔ)言和目標(biāo)語(yǔ)言上的判別結(jié)果同屬正面或者負(fù)面，且置信度應(yīng)同時(shí)高于閾值α。

3.2 雙語(yǔ)情感傾向判別結(jié)果融合算法

通過(guò)半監(jiān)督訓(xùn)練得到的訓(xùn)練數(shù)據(jù)集，包含原始訓(xùn)練數(shù)據(jù)和部分目標(biāo)語(yǔ)言數(shù)據(jù)。在融合兩種語(yǔ)言判別結(jié)果時(shí)，需要平衡目標(biāo)語(yǔ)言與源語(yǔ)言判別結(jié)果的置信度。本文采用置信度加權(quán)疊加方式計(jì)算雙語(yǔ)融合置信度，表示為式(3)。

(3)

其中，權(quán)重β調(diào)節(jié)源語(yǔ)言結(jié)果與目標(biāo)語(yǔ)言結(jié)果對(duì)最終結(jié)果的影響程度，β的選擇原則為偏向正確率較高的一方，若無(wú)法預(yù)知哪一方正確率較高時(shí)可以設(shè)置為相等權(quán)重。利用L(x)可以為樣本x標(biāo)記情感傾向標(biāo)簽。若L(x)≥0，則x為正面情感傾向，否則x為負(fù)面情感傾向。

綜合上述高置信度樣本點(diǎn)選擇策略和雙語(yǔ)情感傾向判別結(jié)果融合原則，基于雙語(yǔ)協(xié)同策略的半監(jiān)督情感傾向判別算法框架表述如下：

輸入：Oo，Do，Od，Dd；//Od和Dd分別表示目標(biāo)語(yǔ)言訓(xùn)練數(shù)據(jù)集和未標(biāo)注數(shù)據(jù)集，Od和Dd分別表示源語(yǔ)言的訓(xùn)練集和未標(biāo)注數(shù)據(jù)集，N為高置信度樣本

輸出：最終判別結(jié)果RF

Step 1分別在Oo，Od上,進(jìn)行特征選擇；

Step 2 在Oo和Od上分別訓(xùn)練分類(lèi)器So和Sd；

Step 3 利用So和Sd，分別對(duì)Do和Dd進(jìn)行情感傾向判別，得到帶類(lèi)別標(biāo)簽結(jié)果集為Ro和Rd；

Step 4若Ro∩Rd=?,則轉(zhuǎn)Step 8；

Step 5 若Ro∩Rd≠? ，則對(duì)每個(gè)x∈Ro∩Rd，若signal[CfdO(x)]=signal[CfdT(x)]，|CfdO(x)|≥α，|CfdT(x)|≥α，則N=N∪{x};

Step 6 若N≠?，則Oo=Oo∪N,Od=Od∪N,Do=Do-N,Dd=Dd-N；

Step 7 轉(zhuǎn)Step 1；

Step 8 輸出結(jié)果To=Ro，Td=Ed；

4 跨語(yǔ)言情感傾向特征混合

在雙語(yǔ)協(xié)同跨語(yǔ)言文本情感傾向判別中，是以原始候選特征的子集作為表示特征用于文本表示，而原始詞語(yǔ)作為空間表示仍然面臨表示稀疏問(wèn)題，本文采用跨語(yǔ)言情感傾向特征混合壓縮的思想，抽取跨語(yǔ)言情感傾向特征。

在語(yǔ)言學(xué)上，詞語(yǔ)具有同義關(guān)系，在概念上它們表達(dá)同一含義，這樣使用多個(gè)同義詞語(yǔ)作為特征會(huì)導(dǎo)致表示空間冗余、相同概念分散在多個(gè)特征詞上，使得文本表示出現(xiàn)特征稀疏現(xiàn)象。情感傾向特征混合策略核心思想為將數(shù)據(jù)集映射到概念空間中，從而疊加原始特征信息，解決共享特征和樣本點(diǎn)稀少問(wèn)題。本質(zhì)上，人對(duì)事物的認(rèn)知具有一致性，因此，在文本中分布相似的詞匯特征具有相近或相同的語(yǔ)義，本文采用提取同分布特征的方法獲得概念空間。

設(shè)Sall=SO∪ST，Sall的特征詞集為Fall=FO∪FT，Sall在Fall上的數(shù)據(jù)矩陣為Xall，其概念空間可以由奇異值分解(SVD)求得，如式(4)所示。

(4)

其中，U和V為兩個(gè)單位正交矩陣，∑為正實(shí)數(shù)奇異值對(duì)角陣，奇異值按降序排列，即σ1≥σ2≥…≥σl。V中第i列向量對(duì)應(yīng)表示重要程度為σi。選擇奇異值最大的k(k≤l)個(gè)主成分作為語(yǔ)義空間，令P為V的前k列部分，即為式(5)。

(5)

則數(shù)據(jù)在概念空間映射為式(6)。

(6)

圖3 跨語(yǔ)言特征混合

由圖3可知，目標(biāo)數(shù)據(jù)與訓(xùn)練數(shù)據(jù)混合后，混合情感傾向主成分會(huì)沿著混合數(shù)據(jù)分開(kāi)的方向，同時(shí)較好地區(qū)分訓(xùn)練數(shù)據(jù)和目標(biāo)數(shù)據(jù)。此時(shí)，訓(xùn)練集與目標(biāo)數(shù)據(jù)集上的情感傾向信息同時(shí)被投影到主成分方向上，使得主成分綜合了源語(yǔ)言數(shù)據(jù)和目標(biāo)語(yǔ)言數(shù)據(jù)上的情感傾向信息。而混合后的主成分方向，它又位于訓(xùn)練數(shù)據(jù)和目標(biāo)數(shù)據(jù)的主成分方向之間，是由源語(yǔ)言和目標(biāo)語(yǔ)言所共享的情感傾向信息構(gòu)成，因此，主成分可以強(qiáng)化不同語(yǔ)言間的情感傾向語(yǔ)義映射關(guān)系。

使用PCA混合情感傾向特征時(shí)，可將源語(yǔ)言和目標(biāo)語(yǔ)言兩種數(shù)據(jù)的并集作為PCA的輸入，跨語(yǔ)言情感傾向特征混合判別的整體框架如圖4所示。

圖4 PCA跨語(yǔ)言特征混合

圖4中所選取一致語(yǔ)言可以是目標(biāo)語(yǔ)言或者源語(yǔ)言，也可以是其他中間語(yǔ)言。經(jīng)過(guò)PCA跨語(yǔ)言特征混合后，選擇一定數(shù)量的主成分作為混合特征空間，它的維度遠(yuǎn)小于輸入原始數(shù)據(jù)維度，因此，通過(guò)PCA壓縮后數(shù)據(jù)表示可以更加緊湊，從而減小了數(shù)據(jù)在高維空間中的稀疏性。

基于跨語(yǔ)言情感傾向特征混合策略的半監(jiān)督跨語(yǔ)言學(xué)習(xí)過(guò)程，是將情感傾向特征混合方法替代雙語(yǔ)協(xié)同分類(lèi)過(guò)程，算法框架如下：

輸入：一致語(yǔ)言訓(xùn)練集O，一致語(yǔ)言目標(biāo)數(shù)據(jù)集D輸出：最終判別結(jié)果RF1 在O∪D上進(jìn)行PCA操作，獲得混合空間H2 在H上O表示為Oh，D表示為Dh3 在Oh上，訓(xùn)練分類(lèi)器S4 利用S對(duì)Dh進(jìn)行情感傾向判別，獲得結(jié)果集R5 利用第3．1節(jié)的高置信度選擇條件，選擇R上高置信度樣本N6 若N≠?，則Oh=Oh∪N，轉(zhuǎn)Step37 在Oh上訓(xùn)練分類(lèi)器Fd8 利用Fd對(duì)Dd進(jìn)行情感傾向判別，得到結(jié)果集RF

5 多策略跨語(yǔ)言情感傾向判別框架

在雙語(yǔ)協(xié)同和跨語(yǔ)言情感傾向特征混合兩種策略基礎(chǔ)上，本文提出融合兩種結(jié)果的多策略跨語(yǔ)言情感傾向判別框架，框架結(jié)構(gòu)如圖5所示。

圖5中，數(shù)據(jù)預(yù)處理是基本的語(yǔ)言翻譯、去停用詞等操作；詞語(yǔ)校準(zhǔn)步驟用于對(duì)齊誤拼的單詞，以進(jìn)一步對(duì)齊多語(yǔ)言詞匯。融合操作是該框架的核心步驟，目的是將兩種策略的判別結(jié)果合成為一個(gè)最終結(jié)果。

圖5 多策略跨語(yǔ)言情感傾向判別框架

5.1 詞語(yǔ)校準(zhǔn)

由于目標(biāo)數(shù)據(jù)為互聯(lián)網(wǎng)數(shù)據(jù)，存在較多的拼寫(xiě)錯(cuò)誤，所以需要對(duì)錯(cuò)誤拼寫(xiě)進(jìn)行校準(zhǔn)，將誤拼的單詞統(tǒng)一為相同的拼寫(xiě)方式，這樣可以增加一致特征數(shù)量，減小語(yǔ)言障礙。

根據(jù)拉丁語(yǔ)系語(yǔ)言特點(diǎn)，單詞以字母編碼表示，個(gè)別字母有拼寫(xiě)錯(cuò)誤或誤用的情況。較短的單詞便于記憶，因此，通常不會(huì)被寫(xiě)錯(cuò)，而生僻的長(zhǎng)單詞錯(cuò)誤率較高。通過(guò)計(jì)算編輯距離(edit distance /Levenshtein distance)可以度量?jī)蓚€(gè)字符串的最小差異， 文獻(xiàn)[10]介紹了學(xué)習(xí)字符串間編輯距離的相關(guān)方法。

定義2 定義兩個(gè)字符串a(chǎn)與b間的誤拼距離如式(7)所示。

(7)

(8)

公式(8)中l(wèi)en(a)表示字符串a(chǎn)的長(zhǎng)度，a[i]為字符串a(chǎn)的第i個(gè)字符。

由定義2中的ED(a,b)可以看出，若ED值越小(但不為0)，a與b誤拼的可能性越大。若a和b完全相同，ED值為零；在不同字母?jìng)€(gè)數(shù)相同時(shí)，長(zhǎng)字符串更容易為誤拼字符串。通過(guò)對(duì)ED(a,b)設(shè)置一定的篩選條件和閾值，可以有效發(fā)現(xiàn)數(shù)據(jù)中誤拼詞對(duì)。再對(duì)數(shù)據(jù)中出現(xiàn)的誤拼詞進(jìn)行合并操作，使它們具有相同拼寫(xiě)方式。

5.2 多策略結(jié)果融合

設(shè)雙語(yǔ)協(xié)同策略判別作為第一個(gè)結(jié)果，記為result1；以特征混合策略作為第二個(gè)結(jié)果，記為result2。根據(jù)第三節(jié)樣本置信度計(jì)算公式(1)，設(shè)計(jì)樣本整體置信度如式(9)所示。

(9)

由于樣本整體置信度所屬的區(qū)間不同，可能導(dǎo)致不同的判別結(jié)果，因此，設(shè)置如下融合策略：

(1) 若|cfd(x)|≥1，則說(shuō)明兩種策略判別結(jié)果相同，因此，直接將判別結(jié)果作為最終結(jié)果；

(2) 若 1>|cfd(x)|≥0.5，則說(shuō)明兩種策略判別結(jié)果不同，但結(jié)果區(qū)分度較大，以signal(cfd(x))作為最終結(jié)果；

(3) 若|cfd(x)|<0.5，兩種策略區(qū)分度較小，此時(shí)以詞語(yǔ)特征作為判別依據(jù)的結(jié)果1更為直接，所以將signal(cfdresult1(x))為最終結(jié)果。

6 實(shí)驗(yàn)與結(jié)果分析

本文實(shí)驗(yàn)針對(duì)COAE 2014的跨語(yǔ)言情感傾向分析任務(wù)(任務(wù)2)。實(shí)驗(yàn)數(shù)據(jù)包括四種語(yǔ)言，分別為德語(yǔ)(2 000篇)、英語(yǔ)(4 000篇)、西班牙語(yǔ)(2 000篇)、法語(yǔ)(2 000篇)，共10 000篇。所有數(shù)據(jù)均為從互聯(lián)網(wǎng)獲得的原始文本數(shù)據(jù)。訓(xùn)練數(shù)據(jù)集為中科院計(jì)算所公開(kāi)的帶情感傾向標(biāo)注的中文語(yǔ)料(2 000篇)。

對(duì)于COAE 2014的跨語(yǔ)言情感傾向分析任務(wù)(任務(wù)2)數(shù)據(jù)，進(jìn)行以下預(yù)處理：

利用Google在線翻譯器將訓(xùn)練數(shù)據(jù)和目標(biāo)數(shù)據(jù)翻譯為英文和中文兩種表示形式，去除文本中的虛詞、標(biāo)點(diǎn)符號(hào)、數(shù)字和無(wú)法識(shí)別的符號(hào)。對(duì)于英語(yǔ)文本利用NLTK工具包進(jìn)行詞根化和詞干化操作，將變形后的單詞還原為其詞根原形形式。

根據(jù)5.1節(jié)公式(7)，給定三個(gè)誤拼篩選條件：

(1) len(a)=len(b);

(2) len(a)>7,len(b)>7;

(3) B(a,b)≤3。

依據(jù)以上篩選條件，在任務(wù)數(shù)據(jù)集中共選擇出1 856個(gè)誤拼詞對(duì)。經(jīng)過(guò)語(yǔ)言處理和誤拼詞語(yǔ)校準(zhǔn)后，在評(píng)測(cè)任務(wù)提供的數(shù)據(jù)集上共保留8 826個(gè)不同的英文單詞，將其作為候選特征集，其他語(yǔ)言特征與英語(yǔ)相對(duì)應(yīng)。外文文本翻譯為中文后，錯(cuò)誤拼寫(xiě)的單詞無(wú)法被正確翻譯，全部作為停用詞去除。

采用LibSVM作為分類(lèi)模型，采用線性核函數(shù)，其他訓(xùn)練參數(shù)為軟件默認(rèn)設(shè)置；文本特征權(quán)重采用Boolean方法，即特征詞語(yǔ)是否出現(xiàn)。實(shí)驗(yàn)性能分析選用的評(píng)價(jià)指標(biāo)為COAE 2014評(píng)測(cè)任務(wù)提供的評(píng)判指標(biāo)。

為了驗(yàn)證本文提出的三種策略的有效性，設(shè)置三個(gè)實(shí)驗(yàn)。

(1) 雙語(yǔ)協(xié)同策略實(shí)驗(yàn)：利用第三節(jié)介紹的方法，可實(shí)現(xiàn)從原始候選特征空間選擇跨語(yǔ)言特征子集作為表示空間；

(2) 情感傾向特征混合策略實(shí)驗(yàn)：利用第四節(jié)介紹的方法，將得到的概念空間作為表示空間；

(3) 多策略結(jié)果融合實(shí)驗(yàn)，利用第五節(jié)介紹情感傾向判別框架，融合(1)和(2)兩種實(shí)驗(yàn)結(jié)果作為最終結(jié)果。

6.1 雙語(yǔ)協(xié)同策略實(shí)驗(yàn)

本實(shí)驗(yàn)使用文獻(xiàn)[2]提出的Fisher線性判別作為特征選擇方法，特征維度選100到1 500區(qū)間。雙語(yǔ)判別結(jié)果融合的權(quán)重β=0.3，樣本點(diǎn)置信度閾值α=0.95。實(shí)驗(yàn)結(jié)果為不同特征維度下性能指標(biāo)的均值和浮動(dòng)范圍，見(jiàn)表1。

表1 雙語(yǔ)協(xié)同策略實(shí)驗(yàn)結(jié)果

由表1可知，四種語(yǔ)言上正面觀點(diǎn)判別性能(F1+)遠(yuǎn)超過(guò)負(fù)面觀點(diǎn)判別性能(F1-)，而且正面觀點(diǎn)判別性能隨特征數(shù)量浮動(dòng)較小、較為穩(wěn)定，負(fù)面觀點(diǎn)判別性能浮動(dòng)明顯。主要原因如下：

(1) 由于正面觀點(diǎn)較為集中，其特征容易被特征選擇方法提取，在較少的特征區(qū)間上即可包含足夠數(shù)量的正面觀點(diǎn)特征，因此，正面觀點(diǎn)判別性能隨特征區(qū)間變化浮動(dòng)較小。

(2) 負(fù)面觀點(diǎn)相對(duì)較為分散，特征在不同數(shù)量的特征區(qū)間上分布不均勻，負(fù)面情感傾向判別性能變化幅度較大。互相沖突的負(fù)面觀點(diǎn)特征可能會(huì)產(chǎn)生相互抵消的效果。

在酒店的評(píng)論數(shù)據(jù)中，正面評(píng)論集中在位置、服務(wù)、環(huán)境、交通、早餐等粗類(lèi)別上，若沒(méi)有什么明顯缺陷之處時(shí)，評(píng)價(jià)通常不會(huì)太過(guò)于仔細(xì)，因此，正面評(píng)論原始特征相對(duì)集中；負(fù)面評(píng)價(jià)往往會(huì)指出具體不滿意之處，如房間隔音差、地毯破舊、寵物限制、床太小、床單污染、清掃拖延等細(xì)類(lèi)上，所以負(fù)面評(píng)論原始特征相對(duì)分散。

6.2 情感傾向特征混合策略實(shí)驗(yàn)

利用情感傾向特征混合策略替代特征選擇方法，采用英語(yǔ)作為中間語(yǔ)言，主成分維度選擇1 000維，以保持95%以上的樣本方差，其他設(shè)置與雙語(yǔ)協(xié)同策略實(shí)驗(yàn)相同。實(shí)驗(yàn)結(jié)果如表2所示。

表2 情感傾向特征混合策略實(shí)驗(yàn)結(jié)果

從表2結(jié)果可以看出：

(1) PCA跨語(yǔ)言特征混合方法在德語(yǔ)、西班牙語(yǔ)和法語(yǔ)上獲得較好的結(jié)果，僅在英語(yǔ)上結(jié)果較差；

(2) 與表1結(jié)果對(duì)比可知，在德語(yǔ)、西班牙語(yǔ)和法語(yǔ)上，特征混合判別對(duì)負(fù)面情感傾向的判別性能有顯著提高，正負(fù)面情感傾向差距減小。這是由于PCA特征混合有效地融合了較為分散的負(fù)面情感觀點(diǎn)，有助于加強(qiáng)跨語(yǔ)言間的情感傾向關(guān)聯(lián)；

(3) 在英語(yǔ)上面情感傾向的判別性能較表1下降。這是由于在PCA特征混合方法在選取主成分時(shí)，是以數(shù)據(jù)方差作為主成分重要性度量的。因此，PCA選取的混合特征與數(shù)據(jù)量有直接關(guān)系，數(shù)據(jù)量大的方向方差也大。實(shí)驗(yàn)英語(yǔ)數(shù)據(jù)集數(shù)據(jù)量遠(yuǎn)大于中文訓(xùn)練數(shù)據(jù)集，因而削弱了訓(xùn)練數(shù)據(jù)的指導(dǎo)性，使得判別性能下降。

6.3 多策略結(jié)果融合實(shí)驗(yàn)

對(duì)雙語(yǔ)協(xié)同策略實(shí)驗(yàn)結(jié)果和多策略結(jié)果融合實(shí)驗(yàn)進(jìn)行融合，并以評(píng)測(cè)任務(wù)作為橫向比較平臺(tái)。結(jié)果表明本文與其他單位的提交結(jié)果相比，取得較好的跨語(yǔ)言情感傾向判別性能。COAE2014任務(wù)2給出的性能指標(biāo)與中位數(shù)、最好結(jié)果的比較如表3所示[11]。

表3 評(píng)測(cè)任務(wù)結(jié)果

從表3可知，提交的評(píng)測(cè)結(jié)果的整體性能，在西班牙語(yǔ)和法語(yǔ)兩種語(yǔ)言上均達(dá)到了最高準(zhǔn)確率，在德語(yǔ)上略低于最高水平，在英語(yǔ)上達(dá)到平均水平。對(duì)比兩種策略融合后的結(jié)果與單獨(dú)采用兩種策略的結(jié)果見(jiàn)圖6所示，可以看出：

(1) 使用多策略融合框架提高了法語(yǔ)的判別性能，主要是在法語(yǔ)上各單獨(dú)策略結(jié)果之間具有互補(bǔ)性；

(2) 在德語(yǔ)、英語(yǔ)和西班牙語(yǔ)三種語(yǔ)言上，兩種策略的判別結(jié)果不具有互補(bǔ)性，融合后為兩種策略的平均化。

圖6 結(jié)果準(zhǔn)確度對(duì)比

7 結(jié)論與展望

本文提出采用多策略跨語(yǔ)言情感傾向判別框架，利用情感傾向一致點(diǎn)和情感傾向特征混合兩種方式進(jìn)行跨語(yǔ)言情感傾向判別。本文采用的方法可以有效地獲取多語(yǔ)言情感傾向語(yǔ)義信息，并在評(píng)測(cè)任務(wù)中取得了較好的整體準(zhǔn)確度。通過(guò)實(shí)驗(yàn)驗(yàn)證了情感傾向特征分布具有分散和聚集效應(yīng)，說(shuō)明了提出的特征混合策略在平衡情感傾向特征差異和緩解數(shù)據(jù)稀疏性上是有作用的。

情感傾向特征混合的目標(biāo)是發(fā)現(xiàn)源語(yǔ)言與目標(biāo)一致的跨語(yǔ)言情感傾向概念空間。在一致概念空間內(nèi)，源語(yǔ)言與目標(biāo)語(yǔ)言的情感傾向語(yǔ)義是獨(dú)立同分布的，因而可以實(shí)現(xiàn)跨語(yǔ)言情感傾向判別。由于源語(yǔ)言與目標(biāo)語(yǔ)言詞匯的分布差異，從源語(yǔ)言和目標(biāo)語(yǔ)言到一致情感傾向概念空間的變換方式應(yīng)該是不同的。本文提出的特征混合方式則是采用相同方式將源語(yǔ)言和目標(biāo)語(yǔ)言數(shù)據(jù)變換到相同的概念空間，且主成分特征提取方法受數(shù)據(jù)量大小的影響很大。因此，實(shí)驗(yàn)結(jié)果表現(xiàn)出了針對(duì)不同語(yǔ)言和不同數(shù)據(jù)量的判別性能存在差距的局限性。說(shuō)明本文提出的線性組合的特征混合方法還沒(méi)有反映出跨語(yǔ)言任務(wù)的本質(zhì)，跨語(yǔ)言情感傾向判別任務(wù)具有多語(yǔ)言上和概念上的內(nèi)在潛層語(yǔ)義結(jié)構(gòu)。今后工作應(yīng)從跨語(yǔ)言情感傾向概念空間結(jié)構(gòu)以及多種語(yǔ)言到情感傾向概念空間的變換結(jié)構(gòu)繼續(xù)深入開(kāi)展研究。

對(duì)于多策略方法融合而言，有效的融合集成需要基分類(lèi)器具有效性和基分類(lèi)器之間必要的差異性。如何針對(duì)跨語(yǔ)言任務(wù)設(shè)計(jì)一組好的基分類(lèi)器仍有待進(jìn)一步研究。基分類(lèi)器需要針對(duì)跨語(yǔ)言任務(wù)從不同角度理解數(shù)據(jù)，這需要在對(duì)跨語(yǔ)言任務(wù)本質(zhì)充分認(rèn)識(shí)的基礎(chǔ)上設(shè)計(jì)有效的融合集成策略。

[1] BoPang, Lillian Lee, Shivakumar Vaithyanathan. Thumbs up?: sentiment classification using machine learning techniques[C]//Proceedings of the ACL-02 Conference on Empirical Methods in Natural Language Processing, 2002,10: 79-86.

[2] Suge Wang, Deyu Li, Xiaolei Song, et al. A feature selection method based on improved fisher’s discriminant ratio for text sentiment classification[J]. Expert Systems with Applications, 2011, 38(7): 8696-8702.

[3] Thomas K Landauer, Susan T Dumais. Latent semantic analysis[J]. Annual Review of Information Science and Technology, 2004, 38(1): 188-230.

[4] John Blitzer, Ryan McDonald, Fernando Pereira. Domain adaptation with structural correspondence learning[C]//Proceedings of the 2006 Conference on Empirical Methods in Natural Language Processing, 2006: 120-128.

[5] Peter Prettenhofer, Benno Stein. Cross-language text classification using structural correspondence learning[C]//Proceedings of the 48th Annual Meeting of the Association for Computational Linguistics, 2010: 1118-1127.

[6] Peter Prettenhofer, Benno Stein.Cross-lingual adaptation using structural correspondence learning[J]. ACM Transactions on Intelligent Systems and Technology, 2011, 3(1):338-343.

[7] Lumin Zhang, Shaojie Pei, Lei Deng, et al. Microblog sentiment analysis based on emoticon networks model[C]//Proceedings of the Fifth International Conference on Internet Multimedia Computing and Service, 2013: 134-138.

[8] Felipe Bravo-Marquez, Marcelo Mendoza, Barbara Poblete. Combining strengths, emotions and polarities for boosting Twitter sentiment analysis[C]//Proceedings of the Second International Workshop on Issues of Sentiment Discovery and Opinion Mining, 2013,2:1-9.

[9] Xiaojun Wan. Co-training for cross-lingual sentiment classification[C]//Proceedings of the Joint Conference of the 47th Annual Meeting of the ACL and the 4th International Joint Conference on Natural Language Processing of the AFNLP,2009,1:235-243.

[10] Tric Sven Ristad, Peter N Yianilos. Learning string-edit distance[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1998, 20(5): 522-532.

[11] 譚松波，王素格，徐蔚然，等. 第六屆中文傾向性分析評(píng)測(cè)總體報(bào)告[R]，第六屆中文傾向性分析評(píng)測(cè)會(huì)議(COAE2014)，昆明，2014：5-25.

A Multi-strategy Approach to Cross-Lingual Sentiment Analysis

ZHANG Peng1, WANG Suge1, 2, LI Deyu1, 2

(1.School of Computer and Information Technology, Taiyuan, Shanxi 030006, China; 2. Key Laboratory of Computational Intelligence and Chinese Information Processing of Ministry of Education, Taiyuan, Shanxi 030006, China)

The rapid development of Internet has built up a large number of cyber sources. This multi-lingual information come from a global environment with diversification. Considering the characteristics of cross-language sentiment identification, this paper proposes multi-strategy approach to perform cross-language sentiment analysis. The linguistic consistent sample and hybrid concept space are used to construct a bilingual cooperative framework and a sentiment feature mixture framework, respectively. Then results of tow framework are combined to decide the final sentiment label for a single sample. Experiments show that our strategy works well on cross-language sentiment analysis tasks.

cross-language; sentiment classification; multi strategy integration

張鵬(1988—)，博士研究生，主要研究領(lǐng)域?yàn)槲谋厩楦蟹治觥?mail：zhpeng@sxu．edu．cn王素格(1964—)，博士，教授，主要研究領(lǐng)域?yàn)樽匀徽Z(yǔ)言處理與文本情感分析。E?mail：wsg@sxu．edu．cn李德玉(1965—)，博士，教授，主要研究領(lǐng)域?yàn)閿?shù)據(jù)挖掘與社會(huì)網(wǎng)絡(luò)。E?mail：lidy@sxu．edu．cn

1003-0077(2016)02-0032-09

2014-05-20 定稿日期： 2014-09-08

國(guó)家863高技術(shù)研究發(fā)展計(jì)劃基金(2015AA01407)；國(guó)家自然科學(xué)基金(61175067, 61272095，61573231，61432011，U1435212)；山西省科技基礎(chǔ)條件平臺(tái)計(jì)劃(2015091001-0102)；山西省回國(guó)留學(xué)人員科研項(xiàng)目(2013-014).

TP391

A