多視角特征共享的空間對(duì)齊跨領(lǐng)域情感分類

賈熹濱 靳 亞 陳軍成

1(北京工業(yè)大學(xué)信息學(xué)部 北京 100124) 2(多媒體與智能軟件技術(shù)北京市重點(diǎn)實(shí)驗(yàn)室(北京工業(yè)大學(xué)) 北京 100124) (jiaxibin@bjut.edu.cn)

隨著互聯(lián)網(wǎng)的快速發(fā)展，網(wǎng)絡(luò)上出現(xiàn)了大量由用戶發(fā)起的評(píng)論信息，包括對(duì)電影、產(chǎn)品、社會(huì)熱點(diǎn)事件等的評(píng)論,這些評(píng)論信息中通常包含了豐富的情感信息，表達(dá)了用戶對(duì)商品、電影等話題的觀點(diǎn)和看法.如果能自動(dòng)地將這些信息加以處理、分析和總結(jié)可以為用戶和公司等提供決策幫助[1]，同時(shí)也方便政府了解群眾對(duì)于社會(huì)熱點(diǎn)事件的觀點(diǎn)和看法[2].例如，用戶在網(wǎng)絡(luò)上購(gòu)買商品時(shí)可以參考該商品其他用戶的評(píng)價(jià)意見，為自己提供決策幫助；公司可以通過收集用戶對(duì)商品的評(píng)價(jià)信息并分析出商品在各個(gè)方面的優(yōu)點(diǎn)和不足，為公司改善商品質(zhì)量、對(duì)用戶進(jìn)行個(gè)性化推薦和增加商品銷售量提供幫助等.因此，情感分類技術(shù)(又稱意見挖掘技術(shù))因能及時(shí)地對(duì)網(wǎng)絡(luò)中帶有主觀情緒色彩的文本進(jìn)行分析并帶來巨大的經(jīng)濟(jì)和社會(huì)價(jià)值而引起了較廣泛的關(guān)注，成為了近年來的研究熱點(diǎn)[3].

傳統(tǒng)的機(jī)器學(xué)習(xí)算法，尤其是有監(jiān)督學(xué)習(xí)算法已經(jīng)被廣泛應(yīng)用在電影影評(píng)、產(chǎn)品評(píng)論和微博短文本等帶有主觀情感色彩的文本情感分類中[3-6]，并且作為情感分類問題主流的算法，也取得了很好的研究成果.但是，有監(jiān)督學(xué)習(xí)算法通常需要大量的標(biāo)定數(shù)據(jù)來訓(xùn)練情感分類器，并且要求訓(xùn)練樣本和測(cè)試樣本應(yīng)同分布以便共享信息[7].而網(wǎng)絡(luò)上評(píng)論信息涉及的領(lǐng)域范圍非常廣泛，為每一個(gè)領(lǐng)域手工標(biāo)定足夠的訓(xùn)練樣本是非常耗時(shí)耗力的[8].同時(shí)，不同的用戶在面對(duì)不同的評(píng)價(jià)主體時(shí)，評(píng)價(jià)角度和表達(dá)方式通常存在很大的差異，導(dǎo)致領(lǐng)域間信息非同分布.比如，“分辨率”、“電池”、“durable”等詞語(yǔ)經(jīng)常會(huì)出現(xiàn)在電子產(chǎn)品的評(píng)論語(yǔ)料中，而極少出現(xiàn)在電影、書籍類產(chǎn)品的評(píng)論語(yǔ)料中；同樣，“紙質(zhì)”、“印刷”、“misspelling”等詞語(yǔ)會(huì)頻繁出現(xiàn)在書籍類產(chǎn)品中，卻很少出現(xiàn)在電影、電子產(chǎn)品等的評(píng)論語(yǔ)料中.最后是情感詞的極性分歧問題，即同一情感詞在不同領(lǐng)域的語(yǔ)料中可能有不同的情感傾向.比如，“l(fā)ong”在廚房用具的評(píng)論語(yǔ)料中可能表示使用壽命長(zhǎng)，是一個(gè)正極性的情感詞，而在書籍的評(píng)論語(yǔ)料中可能表示段落冗長(zhǎng)，是一個(gè)負(fù)極性的情感詞.所以基于以上問題，很難將一個(gè)在源領(lǐng)域訓(xùn)練好的分類器直接應(yīng)用到一個(gè)全新的目標(biāo)領(lǐng)域[9-10].

近年來，為了解決領(lǐng)域間差異造成的情感分類器準(zhǔn)確率降低的問題.跨領(lǐng)域情感分類技術(shù)的研究得到了快速的發(fā)展，目前的解決方法主要從樣本、特征和主題3個(gè)方面的遷移進(jìn)行研究.就特征遷移而言，主要通過一些策略尋找源領(lǐng)域和目標(biāo)領(lǐng)域間的共享特征，構(gòu)建跨領(lǐng)域數(shù)據(jù)的統(tǒng)一特征表示空間來消除領(lǐng)域間的差異[8-9,11-13].

為解決領(lǐng)域間差異造成的情感分類器準(zhǔn)確率降低的問題，本文提出了一種基于多視角共享特征的領(lǐng)域空間對(duì)齊跨領(lǐng)域情感分類(domain alignment based on multi-viewpoint domain-shared feature for cross-domain sentiment classification, DAMF)算法.本文中的特征詞是指包含在各領(lǐng)域語(yǔ)料中的詞匯，通常分為有情感極性的特征詞(也叫情感詞)和其他特征詞(指描述對(duì)象等無(wú)極性詞匯).算法借助已有的情感詞典和改進(jìn)的互信息(mutual information, MI)[8]技術(shù)，建立領(lǐng)域間無(wú)歧義共享特征集合，并通過句法分析和關(guān)聯(lián)規(guī)則算法進(jìn)行領(lǐng)域間專有特征詞對(duì)的提取，實(shí)現(xiàn)領(lǐng)域詞典的擴(kuò)展和領(lǐng)域間信息分布空間的對(duì)齊.同時(shí)，在Amazon產(chǎn)品評(píng)論數(shù)據(jù)集[11]上和已有的相關(guān)算法進(jìn)行比較實(shí)驗(yàn)，表明本文提出的算法在一定程度上提高了跨領(lǐng)域情感分類的正確率.

1 相關(guān)研究

如引言所述，目前解決跨領(lǐng)域的情感分類問題的方法主要有3種：基于樣本加權(quán)重采樣的方法、基于特征對(duì)齊的方法和基于主題模型的方法.

基于樣本加權(quán)重采樣解決跨領(lǐng)域情感分類問題的關(guān)鍵技術(shù)在于為原始領(lǐng)域的標(biāo)定樣本采用加權(quán)策略，使訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù)有相似的分布，適用于源領(lǐng)域和目標(biāo)領(lǐng)域的樣本分布差距較小的情況.主要的研究成果有：Dai等人[14]提出的TrAdaBoost的半監(jiān)督算法，在訓(xùn)練過程中通過加入目標(biāo)領(lǐng)域少量的標(biāo)定樣本，在優(yōu)化損失函數(shù)的過程中，加強(qiáng)原始領(lǐng)域訓(xùn)練樣本中與目標(biāo)領(lǐng)域有相似分布的樣本權(quán)重值，減少與目標(biāo)領(lǐng)域不相似的樣本權(quán)重值，使訓(xùn)練過程更傾向于目標(biāo)領(lǐng)域的分布，從而建立目標(biāo)領(lǐng)域的情感分類器；Hu等人[15]提出了基于類分布的多領(lǐng)域自適應(yīng)算法(muti-domain adaptation algorithm based on the class distribution, MACD),算法通過多個(gè)源領(lǐng)域的標(biāo)定樣本訓(xùn)練多個(gè)基礎(chǔ)分類器，并根據(jù)源領(lǐng)域和目標(biāo)領(lǐng)域的類別分布距離來動(dòng)態(tài)調(diào)整和選擇高置信度的標(biāo)定數(shù)據(jù)加入訓(xùn)練樣本集，使每一個(gè)原始領(lǐng)域都更好地適應(yīng)目標(biāo)領(lǐng)域，建立應(yīng)用于目標(biāo)領(lǐng)域的情感分類器的集成分類器.Li等人[16]首先通過主動(dòng)學(xué)習(xí)的策略選取少量目標(biāo)領(lǐng)域帶標(biāo)簽的數(shù)據(jù)，然后用源領(lǐng)域和目標(biāo)領(lǐng)域中帶標(biāo)簽的數(shù)據(jù)訓(xùn)練2個(gè)獨(dú)立的分類器，采用委員會(huì)投票算法根據(jù)2個(gè)分類器的結(jié)果作出最后的決策.

基于特征對(duì)齊解決跨領(lǐng)域情感分類問題的關(guān)鍵技術(shù)在于學(xué)習(xí)2個(gè)領(lǐng)域信息的統(tǒng)一特征表示空間，減少領(lǐng)域信息分布的差異，適用于因源領(lǐng)域和目標(biāo)領(lǐng)域的樣本分布差距較大、很難在樣本層面找到2個(gè)領(lǐng)域間交集的情況.主要的研究成果有：Blitzer等人[9]提出了結(jié)構(gòu)對(duì)應(yīng)學(xué)習(xí)(structural correspondence learning, SCL)的算法,通過選擇原始領(lǐng)域和目標(biāo)領(lǐng)域都頻繁出現(xiàn)的“樞紐”特征集合，建立學(xué)習(xí)“樞紐”特征和其他特征間的關(guān)聯(lián)關(guān)系模型，實(shí)現(xiàn)源領(lǐng)域和目標(biāo)領(lǐng)域特征層面的對(duì)齊.Pan等人[8]提出了光譜對(duì)齊(spectral feature alignment, SFA)算法，通過改進(jìn)的互信息來選取領(lǐng)域?qū)Ｓ刑卣骱皖I(lǐng)域通用特征，并通過在通用特征和專有特征建立的二部圖中進(jìn)行圖譜聚類操作學(xué)習(xí)到新的特征表示，以領(lǐng)域通用特征為橋梁，實(shí)現(xiàn)領(lǐng)域?qū)Ｓ刑卣鞯膶?duì)齊，減少領(lǐng)域間的差距.吳瓊等人[7]提出了基于圖的隨機(jī)游走模型，通過利用源領(lǐng)域和目標(biāo)領(lǐng)域的文本和詞之間的關(guān)聯(lián)關(guān)系來實(shí)現(xiàn)知識(shí)在領(lǐng)域間的遷移，借助圖迭代計(jì)算的思想對(duì)待標(biāo)注文本計(jì)算情感分層，來判斷文本的情感傾向性.Glorot等人[17]提出了基于堆疊去噪自動(dòng)編碼機(jī)(stacked denoising auto-encoders, SDA)的跨領(lǐng)域情感分類算法,通過深度神經(jīng)網(wǎng)絡(luò)的隱層節(jié)點(diǎn)學(xué)習(xí)不同領(lǐng)域間通用的特征表示，通過通用特征構(gòu)建新的特征空間，減少不同領(lǐng)域間特征分布的差異，實(shí)現(xiàn)源領(lǐng)域和目標(biāo)領(lǐng)域特征的對(duì)齊.

基于主題的跨領(lǐng)域情感分類技術(shù)主要通過提取能代表不同領(lǐng)域文本的共有潛在特征(包括潛在主題、主要組成元素等)來減少領(lǐng)域間信息分布的差異.主要的研究成果有：Li等人[12]提出了主題關(guān)聯(lián)分析(topic correlation analysis, TCA)算法,通過提取領(lǐng)域間共享主題和各個(gè)領(lǐng)域的特定主題，計(jì)算各個(gè)領(lǐng)域特定主題間的相關(guān)性，利用相關(guān)性將各個(gè)領(lǐng)域的特征映射到新的特征空間，在新的特征空間訓(xùn)練情感分類器，用于目標(biāo)領(lǐng)域的情感分類.

這3種方法都是通過一定技術(shù)學(xué)習(xí)目標(biāo)領(lǐng)域與源領(lǐng)域之間具有相同分布的樣本或者潛在的共享特征，并以具有相同分布的源領(lǐng)域樣本或者共享特征為橋梁，實(shí)現(xiàn)目標(biāo)領(lǐng)域與源領(lǐng)域在樣本層面的對(duì)齊，來獲得領(lǐng)域間的統(tǒng)一特征表示空間.但是，當(dāng)2個(gè)領(lǐng)域的數(shù)據(jù)分布差異非常大或者選取的共享特征存在極性分歧時(shí)，都將會(huì)導(dǎo)致跨領(lǐng)域情感分類器的準(zhǔn)確率降低，甚至?xí)霈F(xiàn)負(fù)遷移[18].

2 一種空間對(duì)齊跨領(lǐng)域情感分類算法

2.1 總體框架

基于多視角共享特征的領(lǐng)域空間對(duì)齊的跨領(lǐng)域情感分類算法的總體框架如圖1所示.算法首先利用已有的情感詞典，建立無(wú)極性分歧的情感詞集合，并結(jié)合改進(jìn)的MI[8]技術(shù)來選擇預(yù)處理后的源領(lǐng)域和目標(biāo)領(lǐng)域語(yǔ)料中共享的無(wú)極性分歧的特征，構(gòu)成共享特征集合.然后，通過句法分析和關(guān)聯(lián)規(guī)則算法，分別迭代地獲取各領(lǐng)域中具有相同極性的特征詞對(duì)和具有強(qiáng)關(guān)聯(lián)關(guān)系的特征詞對(duì).在此基礎(chǔ)上，以領(lǐng)域間無(wú)歧義共享特征集合為橋梁，進(jìn)行領(lǐng)域間專有特征詞對(duì)的提取，實(shí)現(xiàn)領(lǐng)域詞典的擴(kuò)展和領(lǐng)域間信息分布空間的對(duì)齊.最后根據(jù)源領(lǐng)域?qū)R后的標(biāo)定樣本訓(xùn)練分類器，即可得到適用于目標(biāo)領(lǐng)域的情感分類模型.

Fig. 1 Overview of our proposed algorithm for cross-domain sentiment classification圖1 基于多視角共享特征的領(lǐng)域空間對(duì)齊跨領(lǐng)域情感分類算法的總體框架

2.2 領(lǐng)域間無(wú)歧義共享特征集合的構(gòu)建

本節(jié)我們將介紹如何從多視角構(gòu)建領(lǐng)域間無(wú)歧義共享特征集合，為消除不同領(lǐng)域中情感詞極性分歧和對(duì)齊領(lǐng)域信息分布空間，并建立跨領(lǐng)域情感分類模型做基礎(chǔ).

2.2.1 無(wú)極性分歧的情感詞集合的構(gòu)建

情感詞典通常為待分析文本的關(guān)鍵情感詞提供極性參考，所以在情感分析系統(tǒng)中扮演著重要的角色.常見的英文情感詞典有：SentiWordNet[19],Bing Liu’s Sentiment Lexicon[20](下文簡(jiǎn)寫為BLSentiLex),MPQA[21]等.這些情感詞典通常都是基于一定的語(yǔ)料庫(kù)進(jìn)行統(tǒng)計(jì)手工標(biāo)注或者利用算法學(xué)習(xí)獲得，包含情感詞的集合及其對(duì)應(yīng)的極性等屬性.因語(yǔ)料庫(kù)的差異，不同的情感詞典包含的情感詞和其對(duì)應(yīng)的極性不盡相同，如情感詞“defeat”在BLSentiLex[20]詞典中的情感極性為正極性，但是在MPQA[21]詞典中的情感極性為負(fù)極性.同時(shí)也有“good”,“wonderful”,“bad”,“worst”等情感詞在各詞典中的極性完全一致.所以為了消除情感詞的極性分歧，我們將常用的情感詞典進(jìn)行融合，構(gòu)建無(wú)極性分歧的情感詞集合.

3種英文情感詞典的詳細(xì)描述如表1所示.在對(duì)3種情感詞典中的情感詞進(jìn)行清洗整理時(shí)，去除情感詞極性強(qiáng)弱、詞性等屬性信息，僅保留正負(fù)極性信息.在SentiWordNet詞典中，分別給出了情感詞的正負(fù)極性的分?jǐn)?shù)值，我們通過計(jì)算情感詞正負(fù)極性分?jǐn)?shù)值的差值來標(biāo)注情感極性，即當(dāng)差值大于0時(shí)，該詞的情感極性被標(biāo)注為正極性；當(dāng)差值小于0時(shí)，該詞的情感極性被標(biāo)注為負(fù)極性；當(dāng)差值等于0時(shí)，該詞的情感極性被標(biāo)注為中性極性.在融合3個(gè)情感詞典時(shí)，通過選擇在3個(gè)情感詞典中均有出現(xiàn)的且具有相同的情感極性的詞，構(gòu)成無(wú)極性分歧的情感詞集合來消除情感詞在不同語(yǔ)料中的極性分歧問題.

Table 1 Detailed Description of the Four Sentiment Dictionaries

Table 2 An Example of the Fused Sentiment Word Set表2 融合后的情感詞集合舉例

2.2.2 領(lǐng)域間無(wú)歧義共享特征集合的構(gòu)建

除了消除各情感詞典因語(yǔ)料不同而造成的情感詞差異和極性分歧，我們還需確定在源領(lǐng)域和目標(biāo)領(lǐng)域間共享的特征集合，以及各領(lǐng)域的專有特征集合.通過構(gòu)建領(lǐng)域間無(wú)歧義共享特征集合，為實(shí)現(xiàn)領(lǐng)域間專有特征詞對(duì)的提取和領(lǐng)域間信息分布空間的對(duì)齊建立基礎(chǔ).

在信息論中，MI技術(shù)通常是用來描述2個(gè)變量之間的關(guān)聯(lián)關(guān)系.在文獻(xiàn)[8]中，同樣采用MI的方法來衡量2個(gè)領(lǐng)域中的特征詞與領(lǐng)域間的關(guān)聯(lián)關(guān)系.如果1個(gè)特征詞與領(lǐng)域有較高的MI值，則認(rèn)為該詞是領(lǐng)域的專有特征詞，否則認(rèn)為該詞是領(lǐng)域共享特征詞.所以本文也采用同樣的方法進(jìn)行領(lǐng)域間共享特征詞和專有特征詞的選取.

(1)

利用MI進(jìn)行領(lǐng)域間共享特征集合構(gòu)建時(shí)，僅考慮到特征詞在各個(gè)領(lǐng)域中和各領(lǐng)域間的出現(xiàn)頻率，所以會(huì)導(dǎo)致所選擇的共享特征集合中包含有極性分歧的情感詞.比如，在書籍和電子產(chǎn)品領(lǐng)域，用MI的方法，情感詞“easy”會(huì)被選為共享特征.但是“easy”在2個(gè)領(lǐng)域中存在極性分歧：在書籍領(lǐng)域中更多地表達(dá)了書籍過于簡(jiǎn)單的消極情感，是負(fù)極性；在電子產(chǎn)品領(lǐng)域中更傾向于表達(dá)使用便捷、操作簡(jiǎn)單的積極情感，是正極性.為了消除通過MI提取的共享特征集合中情感詞的極性分歧，本文將結(jié)合2.2.1節(jié)中構(gòu)建的無(wú)極性分歧的情感詞集合，完成領(lǐng)域間無(wú)歧義共享特征集合的構(gòu)建，確保所選擇作為橋梁進(jìn)行領(lǐng)域?qū)Ｓ刑卣髟~對(duì)提取的特征極性的唯一性.

Fig. 2 An illustrative example of extracting sentiment polarity relations based on syntactic parsing and dependency parsing圖2 基于句法和依存關(guān)系解析的情感詞極性關(guān)系提取的示意圖

2.3 領(lǐng)域間專有特征詞對(duì)的提取

2.2節(jié)通過情感詞典和MI的方法構(gòu)建領(lǐng)域間無(wú)歧義共享特征集合，并提取領(lǐng)域?qū)Ｓ刑卣?本節(jié)我們將通過2種方法以2.2節(jié)構(gòu)建的領(lǐng)域間無(wú)歧義共享特征為橋梁進(jìn)行專有特征詞對(duì)的提取，實(shí)現(xiàn)領(lǐng)域詞典的擴(kuò)展和領(lǐng)域間統(tǒng)一特征空間構(gòu)建.

2.3.1 基于語(yǔ)法規(guī)則進(jìn)行情感詞對(duì)提取

1) 相同極性的情感詞對(duì)挖掘

受文獻(xiàn)[22-24]的啟發(fā)，通?？赏ㄟ^4條規(guī)則來挖掘未標(biāo)定樣本中情感詞的極性關(guān)系：①情感詞間用連詞“and”,“or”,“as well as”相連，并且沒有否定詞修飾時(shí)，可以推斷2個(gè)情感詞可能具有相同的情感極性.比如：句子“The spoon is very cheap and easy-to-use.”中的情感詞“cheap”和“easy-to-use”在修飾“spoon”時(shí)可以推斷它們具有相同的情感極性.②情感詞在沒有否定詞修飾和連詞相連的情況下并列出現(xiàn)來描述同一對(duì)象時(shí)，可以推斷它們可能具有相同的情感極性.比如：句子“It is a beautiful，durable，convenient table lamp.”中的情感詞“beautiful”，“durable”，“convenient”通常具有相同的情感極性.③情感詞用連詞“but”，“however”相連并且沒有否定詞修飾時(shí)，可以推斷2個(gè)情感詞可能具有相反的情感極性.比如：句子“This book is very beautiful but too easy for me.”中的情感詞“beautiful”和“easy”的描述對(duì)象都是 “book”，但是用轉(zhuǎn)折詞“but”相連，它們可能表達(dá)了相反的情感極性.④情感詞并列出現(xiàn)或者用“and”，“or”，“as well as”連詞相連來描述同一對(duì)象，但是有否定詞修飾時(shí)，可以推斷它們可能具有相反的情感極性.比如：句子“The battery of this camera is small and not durable.”中的情感詞“small”和“durable”用連詞“and”相連但是“durable”用否定詞“not”作修飾，所以它們可能具有相反的情感極性.圖2中用句法解析樹和依存關(guān)系分析，具體說明了利用上面的①～④條規(guī)則從評(píng)論語(yǔ)句中提取情感詞極性關(guān)系的方法.

僅通過一條符合4條規(guī)則的評(píng)論語(yǔ)句進(jìn)行情感詞間極性關(guān)系判別時(shí)，會(huì)出現(xiàn)誤判的可能.比如，在電子產(chǎn)品領(lǐng)域中有一條評(píng)論語(yǔ)句為“This product has good and bad points.”根據(jù)判別規(guī)則，由于情感詞“good”和“bad”用連詞“and”相連，同時(shí)沒有否定詞修飾，可以判斷它們具有相同的情感極性，但是這明顯是一種誤判的情況.所以，本文將通過結(jié)合2個(gè)情感詞在領(lǐng)域的整個(gè)語(yǔ)料中，基于4條規(guī)則所提取到的情感極性關(guān)系來減少誤判的可能性.具體的2個(gè)特征詞的情感極性關(guān)系判別如式(2)：

(2)

其中，ns和no分別代表特征詞ωi和ωj在語(yǔ)料中基于語(yǔ)法規(guī)則所提取的相同和相反情感極性關(guān)系的頻率.當(dāng)PR(ωi,ωj)>0時(shí)，說明特征詞ωi和ωj有相同的情感極性；否則，特征詞間有相反的情感極性.本節(jié)需要提取所有具有相同情感極性關(guān)系的情感詞對(duì)，所以暫不考慮所有PR(ωi,ωj)<0的詞對(duì).

2) 領(lǐng)域間相同極性的專有情感詞對(duì)提取

根據(jù)從目標(biāo)領(lǐng)域和源領(lǐng)域中挖掘到的具有相同極性的情感詞對(duì)，并以2.2節(jié)提取的領(lǐng)域間無(wú)歧義共享特征集合為橋梁，進(jìn)行領(lǐng)域間專有情感詞對(duì)提取的描述如算法1.

利用4條規(guī)則在語(yǔ)法解析的基礎(chǔ)上進(jìn)行領(lǐng)域中相同極性的情感詞對(duì)的挖掘和領(lǐng)域間相同極性的專有情感詞對(duì)的提取，其結(jié)果通常有較高的準(zhǔn)確率.但是，由于語(yǔ)料中能滿足4條規(guī)則可以進(jìn)行極性關(guān)系挖掘的評(píng)論語(yǔ)句所占的比例非常小，比如在句子“What an amazing product for such a small price.”中，雖然可以推斷出情感詞“amazing”和“small price”有相同的極性，但是并不能通過4條規(guī)則進(jìn)行極性關(guān)系的挖掘.所以該方法不能挖掘到所有包含在領(lǐng)域語(yǔ)料中具有相同極性的情感詞，也不能對(duì)領(lǐng)域間中性特征詞的關(guān)系進(jìn)行挖掘，故僅通過語(yǔ)法解析進(jìn)行領(lǐng)域間情感詞對(duì)的提取無(wú)法構(gòu)建領(lǐng)域間統(tǒng)一特征空間.為了彌補(bǔ)這種不足，我們提出了第2種基于關(guān)聯(lián)規(guī)則提取領(lǐng)域間特征詞對(duì)的方法.

2.3.2 基于關(guān)聯(lián)規(guī)則進(jìn)行特征詞對(duì)提取

1) 強(qiáng)關(guān)聯(lián)規(guī)則集的挖掘

關(guān)聯(lián)規(guī)則算法的主要思想是通過統(tǒng)計(jì)分析，挖掘事物之間的聯(lián)系.較常用的是Apriori算法，通過最小支持度來進(jìn)行頻繁項(xiàng)集的挖掘，并利用頻繁項(xiàng)集和最小置信度來挖掘強(qiáng)關(guān)聯(lián)規(guī)則.本節(jié)將通過該算法挖掘領(lǐng)域中特征詞間的強(qiáng)關(guān)聯(lián)關(guān)系，并以領(lǐng)域間無(wú)歧義的共享特征集合為橋梁，提取領(lǐng)域間有強(qiáng)關(guān)聯(lián)關(guān)系的專有特征詞對(duì)，實(shí)現(xiàn)領(lǐng)域間統(tǒng)一特征空間的構(gòu)建.

首先，記D={Ds,Dt} 為領(lǐng)域集合，包括源領(lǐng)域Ds和目標(biāo)領(lǐng)域Dt，W為源領(lǐng)域和目標(biāo)領(lǐng)域的特征詞集合，即

(3)

其中，專有情感特征集合Wsp由源領(lǐng)域的專有特征詞集合Wspt和目標(biāo)領(lǐng)域的專有特征詞集合Wsps組成；Wsh為2個(gè)領(lǐng)域共享的無(wú)歧義特征詞集合;n，m，l分別表示目標(biāo)領(lǐng)域、源領(lǐng)域?qū)Ｓ刑卣髟~數(shù)量及領(lǐng)域間無(wú)歧義共享特征詞的數(shù)量.

算法1. 領(lǐng)域間相同極性的專有情感詞對(duì)挖掘算法.

① for each (ωi,ωj) inPairt

② ifωi∈Wshandωj∈Wspt

SET1.add((ωi,ωj));

elseωj∈Wshandωi∈Wspt

SET1.add((ωi,ωj));

③ end if

④ end for

⑤ for each (ωi,ωj) inPairs

⑥ ifωi∈Wshandωj∈Wsps

SET2.add((ωi,ωj));

⑦ elseωj∈Wshandωi∈Wsps

SET2.add((ωi,ωj));

⑧ end if

⑨ end for

⑩ for each (ωi,ωk) inSET1 and (ωk,ωj) inSET2

Couple1.add((ωi,ωj));

Apriori算法的主要思想是通過k項(xiàng)頻繁集的先驗(yàn)知識(shí)和最小支持度min_s來生成k+1項(xiàng)頻繁集，并根據(jù)最小置信度min_c完成強(qiáng)關(guān)聯(lián)關(guān)系的挖掘.本文將通過Apriori算法進(jìn)行各領(lǐng)域中特征詞間強(qiáng)關(guān)聯(lián)關(guān)系的挖掘.其中，用item1表示生成的1項(xiàng)頻繁集，item2表示生成的2項(xiàng)頻繁集.其中item1和item2表示為

頻繁集中的任意元素it的支持度都大于最小支持度min_s，支持度計(jì)算為

support(it)=P(it),

(4)

其中,it∈item1或it∈item2,P(it)表示it在樣本集中出現(xiàn)的概率.

在2項(xiàng)頻繁集中找到滿足最小置信度min_c并且由一個(gè)領(lǐng)域共享特征詞和一個(gè)領(lǐng)域?qū)Ｓ刑卣髟~構(gòu)成的強(qiáng)關(guān)聯(lián)規(guī)則，強(qiáng)關(guān)聯(lián)規(guī)則rk的挖掘和置信度計(jì)算為

(5)

(6)

算法2. 強(qiáng)關(guān)聯(lián)規(guī)則集挖掘算法.

①L1=find_frequent_1_itemsets(W),ωi∈W;

②L2_candidate=apriori_gen(L1,min_s);

③ fo rwinReviews

Cw=subset(w);

④ forcinCw

c.count++;

⑤ end for

⑥ end for

⑦L2={c},c∈L2_candidateandc.count

∑c.count≥min_s;

⑧ forrinL2

⑨ if(support_count(r)support_count(r.ωsh))≥min_c

⑩RS.add(r);

2) 領(lǐng)域間強(qiáng)關(guān)聯(lián)關(guān)系的專有特征詞對(duì)提取

Fig. 3 Directed graph G: the description of strong correlation relationship between domain-shared words and domain-specific words圖3 有向圖G：描述領(lǐng)域共享詞和專有詞的強(qiáng)關(guān)聯(lián)關(guān)系

(7)

(8)

(9)

2.4 領(lǐng)域間統(tǒng)一特征空間的構(gòu)建和分類模型的訓(xùn)練

本節(jié)將結(jié)合在2.3.1節(jié)和2.3.2節(jié)中提取的領(lǐng)域間相同極性的專有情感特征詞對(duì)和領(lǐng)域間強(qiáng)關(guān)聯(lián)關(guān)系的專有特征詞對(duì)進(jìn)行領(lǐng)域間統(tǒng)一特征空間的構(gòu)建，具體構(gòu)建過程如圖4前4層所示.并利用源領(lǐng)域標(biāo)定樣本的統(tǒng)一特征表示來訓(xùn)練跨領(lǐng)域情感分類模型，如圖4中的層5、層6.

Fig. 4 An illustrative example of training the cross-domain sentiment classifier圖4 訓(xùn)練跨領(lǐng)域情感分類器的示例圖

(10)

在此基礎(chǔ)上，利用源領(lǐng)域中的標(biāo)定樣本在領(lǐng)域間統(tǒng)一特征空間的映射，完成跨領(lǐng)域情感分類器的訓(xùn)練.具體分類器的選擇，在第3節(jié)中選擇LibSVM[25]作為跨領(lǐng)域情感分類器,其中參數(shù)均為默認(rèn)參數(shù).

3 實(shí)驗(yàn)設(shè)計(jì)與結(jié)果分析

本節(jié)使用本文提出構(gòu)建領(lǐng)域間統(tǒng)一特征空間的方法，消除領(lǐng)域間情感詞的極性分歧和信息空間分布的差異，完成跨領(lǐng)域情感分類器的訓(xùn)練，并且在Amazon產(chǎn)品評(píng)論數(shù)據(jù)集[9]測(cè)試了我們的方法.

3.1 數(shù)據(jù)集概述和預(yù)處理

在實(shí)驗(yàn)中，所采用的數(shù)據(jù)集是由Blitzer[9]收集的Amazon產(chǎn)品評(píng)論數(shù)據(jù)集，是被廣泛應(yīng)用在跨領(lǐng)域情感分類的基準(zhǔn)數(shù)據(jù)庫(kù).數(shù)據(jù)庫(kù)中包含了4個(gè)領(lǐng)域的英文評(píng)論數(shù)據(jù)，分別是B(Book),D(Dvds),E(Electronics)和K(Kitchen)領(lǐng)域.每個(gè)領(lǐng)域中均有2 000條標(biāo)定評(píng)論，其中1 000條是積極評(píng)論,1 000條是消極評(píng)論和若干條未標(biāo)定評(píng)論.積極評(píng)論的情感標(biāo)簽為+1，消極情感標(biāo)簽為-1.表3是對(duì)Amazon產(chǎn)品評(píng)論數(shù)據(jù)集的詳細(xì)描述.

Table 3 Detailed Description of Amazon Data Sets Used for Experiments

各領(lǐng)域的特征詞集合都是由每條評(píng)論語(yǔ)句在去除停用詞、詞干提取、小寫轉(zhuǎn)換后的一元和二元混合語(yǔ)法形式組成.如“i_love”,“worth”,“right”,“a_great”等.同時(shí)，Pang等人[3]用實(shí)驗(yàn)證明了采用所有詞作為特征，并且用一個(gè)詞出現(xiàn)與否作為權(quán)重，比使用詞出現(xiàn)的頻率作為權(quán)重，可以達(dá)到更好的情感分類效果.因此，在本文中也采用布爾值作為特征權(quán)重，即如果特征在評(píng)論語(yǔ)句中出現(xiàn)則權(quán)重為1，否則為0.同時(shí)，對(duì)于用于構(gòu)建統(tǒng)一特征空間中的特征詞對(duì)，只要其中一個(gè)在評(píng)論語(yǔ)句中出現(xiàn)，則權(quán)重為1，否則為0.

3.2 實(shí)驗(yàn)設(shè)計(jì)和結(jié)果分析

為了驗(yàn)證本文所提出的基于多視角共享特征的領(lǐng)域空間對(duì)齊模型對(duì)跨領(lǐng)域情感分類的有效性，本文將4個(gè)領(lǐng)域的產(chǎn)品評(píng)論語(yǔ)料組成了12個(gè)跨領(lǐng)域任務(wù)：D→B,D→E,D→K,B→D,B→E,B→K,E→B,E→D,E→K,K→B,K→D,K→E，其中箭頭左側(cè)表示源領(lǐng)域，箭頭右側(cè)表示目標(biāo)領(lǐng)域.在領(lǐng)域空間對(duì)齊階段采用的是2個(gè)領(lǐng)域所有的樣本；在分類器訓(xùn)練階段也就是圖4中5,6層，我們使用LibSVM[25]作為跨領(lǐng)域情感分類器,其中參數(shù)均為默認(rèn)參數(shù).源領(lǐng)域中消極評(píng)論和積極評(píng)論各800條構(gòu)為訓(xùn)練數(shù)據(jù)，用目標(biāo)領(lǐng)域消極評(píng)論和積極評(píng)論各200條進(jìn)行測(cè)試.實(shí)驗(yàn)涉及的超參數(shù)依次設(shè)置為：領(lǐng)域間無(wú)歧義共享特征個(gè)數(shù)l=600，最小支持度min_s=0.014，最小置信度min_c=0.08,關(guān)聯(lián)度閾值ε=0.005.為了避免實(shí)驗(yàn)結(jié)果的偶然性，我們對(duì)每個(gè)實(shí)驗(yàn)獨(dú)立重復(fù)進(jìn)行5次，并取平均值作為最終的跨領(lǐng)域情感分類的準(zhǔn)確率.選擇以下6種算法進(jìn)行對(duì)比實(shí)驗(yàn).

1) NoTransf.不進(jìn)行領(lǐng)域空間對(duì)齊，在源領(lǐng)域數(shù)據(jù)集上訓(xùn)練LibSVM[25]分類器,直接在目標(biāo)領(lǐng)域數(shù)據(jù)集上測(cè)試.

2) SCL[9].由Blitzer提出的結(jié)構(gòu)對(duì)應(yīng)學(xué)習(xí)算法進(jìn)行跨領(lǐng)域情感分類.

3) SFA[8].由Pan等人提出的光譜對(duì)齊算法進(jìn)行跨領(lǐng)域情感分類.

4) LP-based[16].由Li等人提出的基于圖排序的算法，實(shí)現(xiàn)情感標(biāo)簽從源領(lǐng)域到目標(biāo)領(lǐng)域的傳播，實(shí)現(xiàn)跨領(lǐng)域情感分類.

5) DAMF(Single).在DAMF算法中僅通過互信息進(jìn)行領(lǐng)域間共享特征的選擇，并僅通過關(guān)聯(lián)規(guī)則(Apriori)算法實(shí)現(xiàn)領(lǐng)域空間的對(duì)齊.

6) DAMF.本文提出的基于多視角共享特征的領(lǐng)域空間對(duì)齊的跨領(lǐng)域情感分類模型.

6種算法的實(shí)驗(yàn)結(jié)果比較如表4所示.

在表4中我們可以看出：

1) 無(wú)論哪一種方法，任務(wù)E→K和K→E的結(jié)果均優(yōu)于其他10項(xiàng)任務(wù)，這表明Electronics領(lǐng)域與Kitchen領(lǐng)域相較于其他領(lǐng)域的相關(guān)性較大.

2) 5種跨領(lǐng)域情感分類的算法幾乎在所有子任務(wù)中均優(yōu)于NoTransf，這表明在跨領(lǐng)域情感分類任務(wù)中，充分利用源領(lǐng)域和目標(biāo)領(lǐng)域的樣本來實(shí)現(xiàn)樣本層面和特征層面的對(duì)齊，有助于提高分類的準(zhǔn)確率.

3) DAMF與DAMF(Single)相比平均準(zhǔn)確率提高0.42%，說明從多視角提取領(lǐng)域間共享特征，有助于消除共享特征詞的極性分歧，并以共享特征為橋梁，通過2種方式提取領(lǐng)域中相同極性的情感詞對(duì)和強(qiáng)關(guān)聯(lián)關(guān)系詞對(duì)，更有助于消除領(lǐng)域間信息分布的差異，實(shí)現(xiàn)領(lǐng)域空間的對(duì)齊，更有利于跨領(lǐng)域情感分類.

4) 在任務(wù)B→E,D→K,E→K中，本文所提算法DAMF的準(zhǔn)確率略低于SCL和SFA，說明在一些情況下，基于語(yǔ)法規(guī)則和關(guān)聯(lián)規(guī)則，不能提取到潛在的強(qiáng)關(guān)聯(lián)關(guān)系，無(wú)法實(shí)現(xiàn)領(lǐng)域空間的對(duì)齊，使跨領(lǐng)域情感分類的準(zhǔn)確率得到提升.

5) 總體上，DAMF與SCL,SFA,LP-based跨領(lǐng)域情感分類算法相比，在9個(gè)任務(wù)上的準(zhǔn)確率均有提高，平均準(zhǔn)確率達(dá)到了78.7%，說明通過以無(wú)歧義共享特征為橋梁挖掘領(lǐng)域?qū)Ｓ刑卣鏖g的關(guān)聯(lián)關(guān)系，有助于消除領(lǐng)域信息分布的差異，實(shí)現(xiàn)跨領(lǐng)域情感分類.

Table 4 Accuracy on 12 Subtasks of 6 Cross-Domain Sentiment Classification Algorithms表4 6種跨領(lǐng)域算法在12個(gè)跨領(lǐng)域任務(wù)上的準(zhǔn)確率

Notes： The bold value in each cross-domain subtask means the best value.

Fig. 5 The transfer loss of 6 cross-domain sentiment classification algorithms on 12 subtasks圖5 6種算法在12個(gè)跨領(lǐng)域任務(wù)上的傳遞損失率

為了進(jìn)一步驗(yàn)證本文所提算法的有效性， 我們分別計(jì)算了各算法在知識(shí)傳遞過程中的傳遞損失，結(jié)果如圖5所示.傳遞損失的計(jì)算公式為

t(Ds,Dt)=e(Ds,Dt)-e(Dt,Dt),

(13)

其中，e(Ds,Dt)表示采用領(lǐng)域空間對(duì)齊策略后，用源領(lǐng)域樣本訓(xùn)練得到分類器，在目標(biāo)領(lǐng)域測(cè)試時(shí)產(chǎn)生的誤差；e(Dt,Dt)表示以目標(biāo)領(lǐng)域的標(biāo)定樣本訓(xùn)練分類器，并以目標(biāo)領(lǐng)域的樣本進(jìn)行測(cè)試所產(chǎn)生的誤差.t(Ds,Dt)表示采用跨領(lǐng)域情感分類所變化的傳遞誤差.

由圖5可看出在12個(gè)子任務(wù)中，不進(jìn)行領(lǐng)域知識(shí)傳遞的NoTransf方法的傳遞損失最大.同時(shí)，在其中7個(gè)子任務(wù)中，相較于其他跨領(lǐng)域算法，本文所提出的基于領(lǐng)域間無(wú)歧義共享特征詞為橋梁，實(shí)現(xiàn)領(lǐng)域空間對(duì)齊的傳遞損失最小.在子任務(wù)K→E中，除不進(jìn)行知識(shí)傳遞的NoTransf和LP-based算法，其他跨領(lǐng)域算法均出現(xiàn)傳遞損失為負(fù)的情況，說明電子產(chǎn)品領(lǐng)域的評(píng)論數(shù)據(jù)分布可能與廚房用品的評(píng)論數(shù)據(jù)分布相似，但由于源領(lǐng)域的標(biāo)定樣本更豐富，所以導(dǎo)致預(yù)測(cè)的準(zhǔn)確率更高，傳遞損失為負(fù)值.

3.3 參數(shù)分析

本節(jié)中，我們將分別進(jìn)行實(shí)驗(yàn)來探索在2.2節(jié)和2.3節(jié)中所涉及的4個(gè)參數(shù)：l,min_s,min_c,ε，在不同取值情況下對(duì)12個(gè)跨領(lǐng)域分類任務(wù)準(zhǔn)確率的影響.實(shí)驗(yàn)結(jié)果如圖6所示，它們分別代表這4個(gè)參數(shù)在不同取值時(shí)對(duì)準(zhǔn)確率的影響.

Fig. 6 Effect of four parameters value on the accuracy of experiments圖6 4個(gè)參數(shù)的取值對(duì)實(shí)驗(yàn)準(zhǔn)確率的影響

在圖6(a)中,領(lǐng)域間無(wú)歧義共享特征詞個(gè)數(shù)l的取值為400～1 100，步長(zhǎng)為100；并觀察到當(dāng)l的取值范圍在500～700之間時(shí)，實(shí)驗(yàn)結(jié)果的準(zhǔn)確相對(duì)較高.當(dāng)l取值較小時(shí)，部分可以作為領(lǐng)域間共享特征詞被丟失，導(dǎo)致相應(yīng)的關(guān)聯(lián)關(guān)系丟失，所提取的詞對(duì)數(shù)量減少，所以實(shí)驗(yàn)準(zhǔn)確率相對(duì)較低；同時(shí)當(dāng)l取值較大時(shí)，部分與領(lǐng)域相關(guān)度較大的特征詞會(huì)被誤選為共享特征，導(dǎo)致無(wú)法消除領(lǐng)域間的差異，使實(shí)驗(yàn)的準(zhǔn)確率降低.

在圖6(b)和圖6(c)中，通過設(shè)置最小支持度min_s和最小置信度min_c來進(jìn)行關(guān)聯(lián)規(guī)則的學(xué)習(xí)，發(fā)現(xiàn)最適合的參數(shù)取值使實(shí)驗(yàn)的準(zhǔn)確率達(dá)到最高.從圖6(b)看出，設(shè)置min_s為0.002～0.02，步長(zhǎng)為0.002進(jìn)行實(shí)驗(yàn).當(dāng)min_s的取值范圍在0.008～0.016之間時(shí)，有利于進(jìn)行頻繁項(xiàng)集的挖掘，使分類的準(zhǔn)確率較高；當(dāng)min_s<0.008時(shí)，部分領(lǐng)域間共享特征和專有特征不會(huì)被選為頻繁項(xiàng)集，則導(dǎo)致部分規(guī)則被丟失，使準(zhǔn)確率降低.同時(shí)從圖6(c)可看出,通過設(shè)置min_c為0.02～0.2，步長(zhǎng)為0.02進(jìn)行實(shí)驗(yàn).當(dāng)min_c取值范圍從0.06～0.12之間時(shí)，分類器的準(zhǔn)確率較高；當(dāng)min_c取值較大時(shí)，由于較多的無(wú)關(guān)規(guī)則被保留，所以對(duì)于領(lǐng)域空間對(duì)齊產(chǎn)生了干擾，準(zhǔn)確率較低；當(dāng)min_c取值較小時(shí)，部分有用規(guī)則會(huì)被丟棄所以使某些詞對(duì)未能提取，領(lǐng)域空間不能對(duì)齊，也會(huì)使準(zhǔn)確率降低.

在圖6(d)中，通過設(shè)置關(guān)聯(lián)度閾值ε為0.001～0.01、步長(zhǎng)為0.001來進(jìn)行分類器準(zhǔn)確率的分析.從圖6(d)中可以看出，雖然某些取值會(huì)使實(shí)驗(yàn)的準(zhǔn)確率波動(dòng)較大，但當(dāng)ε取值為0.005或0.007時(shí)，對(duì)各任務(wù)分類的準(zhǔn)確率都相對(duì)較高.

4 結(jié) 論

本文針對(duì)跨領(lǐng)域情感詞存在特征分布不一致性而導(dǎo)致的識(shí)別率低問題，提出了多視角共享特征提取和挖掘策略，在建立統(tǒng)一特征表示空間基礎(chǔ)上，實(shí)現(xiàn)了跨領(lǐng)域情感分類，提升了分類準(zhǔn)確率，降低了知識(shí)傳遞的損失。已完成的主要?jiǎng)?chuàng)新工作和下一步工作如下:

1) 本文提出的基于多視角共享特征的領(lǐng)域空間對(duì)齊的跨領(lǐng)域情感分類算法充分利用了現(xiàn)有的情感詞典并結(jié)合特征詞的互信息值進(jìn)行領(lǐng)域間無(wú)歧義共享特征詞的提取.以無(wú)歧義共享特征詞為橋梁，利用語(yǔ)法規(guī)則提取到的相同極性情感詞對(duì)和關(guān)聯(lián)規(guī)則算法學(xué)習(xí)到的領(lǐng)域中有強(qiáng)關(guān)聯(lián)關(guān)系的特征詞對(duì)，建立領(lǐng)域間專有特征詞的映射關(guān)系，構(gòu)建領(lǐng)域數(shù)據(jù)的統(tǒng)一特征表示空間.實(shí)現(xiàn)了共享特征詞中歧義情感詞的消除和領(lǐng)域空間的對(duì)齊，提升了跨領(lǐng)域情感分類的準(zhǔn)確性.

2) 本文工作中無(wú)論是通過特征互信息值來進(jìn)行領(lǐng)域共享特征和專有特征的選擇，還是利用語(yǔ)法規(guī)則和關(guān)聯(lián)規(guī)則來進(jìn)行相同情感詞對(duì)和有強(qiáng)關(guān)聯(lián)關(guān)系的特征詞對(duì)的提取，均可在未標(biāo)定樣本集上進(jìn)行，降低了對(duì)各個(gè)領(lǐng)域中標(biāo)定樣本的依賴，減少了標(biāo)注樣本所需的人力物力.擴(kuò)大了算法在各個(gè)領(lǐng)域上的適用性，降低了對(duì)訓(xùn)練樣本的依賴，提升了算法的泛化性能.

3) 本文所提算法僅以有共現(xiàn)關(guān)系的領(lǐng)域無(wú)歧義共享特征詞為橋梁，完成領(lǐng)域間專有特征詞的映射.所以當(dāng)2個(gè)領(lǐng)域間信息分布差距較大、共現(xiàn)的特征詞較少、挖掘到的領(lǐng)域間特征詞對(duì)較少時(shí)，無(wú)法實(shí)現(xiàn)領(lǐng)域空間對(duì)齊，如任務(wù)B→K和D→E.所以未來的研究工作將同時(shí)考慮如何利用多個(gè)源領(lǐng)域的語(yǔ)料來輔助單個(gè)目標(biāo)領(lǐng)域的情感分類問題，以及如何充分利用各領(lǐng)域中的未標(biāo)定數(shù)據(jù)基于數(shù)據(jù)驅(qū)動(dòng)挖掘領(lǐng)域間潛在的關(guān)聯(lián)關(guān)系，完成領(lǐng)域公共特征空間的學(xué)習(xí).