基于評(píng)論主題的個(gè)性化評(píng)分預(yù)測(cè)模型

馬春平 陳文亮,?

?

基于評(píng)論主題的個(gè)性化評(píng)分預(yù)測(cè)模型

馬春平1,2陳文亮1,2,?

1.蘇州大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院, 蘇州 215006; 2.軟件新技術(shù)與產(chǎn)業(yè)化協(xié)同創(chuàng)新中心, 蘇州 215006; ?通信作者, E-mail: wlchen@suda.edu.cn

針對(duì)現(xiàn)有基于評(píng)論分析的推薦算法沒有充分考慮個(gè)性化的問題, 通過(guò)對(duì)評(píng)論進(jìn)行主題分析, 挖掘用戶的喜好, 分別建立基于用戶和物品的個(gè)性化評(píng)分預(yù)測(cè)模型。在真實(shí)數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)驗(yàn)證, 結(jié)果表明該模型有效地提高了推薦系統(tǒng)的評(píng)分預(yù)測(cè)性能。

個(gè)性化推薦; 推薦系統(tǒng); 評(píng)分預(yù)測(cè); 評(píng)論信息

傳統(tǒng)的推薦算法主要根據(jù)用戶的歷史行為分析用戶喜好, 并做出推薦。隨著互聯(lián)網(wǎng)的普及和電子商務(wù)的發(fā)展, 用戶成為互聯(lián)網(wǎng)主動(dòng)的參與者, 并產(chǎn)生大量的用戶個(gè)性化內(nèi)容。這些內(nèi)容包括用戶評(píng)論、地理位置、好友關(guān)系等。傳統(tǒng)的推薦算法主要利用用戶的評(píng)分或者物品的描述性特征。相對(duì)于評(píng)分, 評(píng)論能夠更加具體、準(zhǔn)確地表達(dá)用戶對(duì)物品的喜好。與用戶和物品的描述信息相比, 用戶評(píng)論的內(nèi)容也更加豐富, 更能體現(xiàn)用戶的個(gè)性化特征, 可以在此基礎(chǔ)上構(gòu)建更準(zhǔn)確的個(gè)體畫像。以評(píng)論“這家店雖然環(huán)境一般, 但味道正宗, 老板人也很好?！睘槔? 該用戶給該飯店打5分滿分。從用戶的角度可以分析出, 該用戶比較注重服務(wù)和口味, 對(duì)環(huán)境要求較低; 而從商戶的角度可以分析出, 該商戶的口味、服務(wù)一流, 但環(huán)境欠佳?？梢娫u(píng)論的信息量遠(yuǎn)遠(yuǎn)大于評(píng)分。如果能從評(píng)論中精確地分析出用戶的喜好和物品的特征, 必定能在很大程度上提高推薦精度。

但是, 評(píng)論屬于非結(jié)構(gòu)化文本, 由網(wǎng)絡(luò)用戶自由表達(dá), 極具個(gè)性化特征, 不具有語(yǔ)法嚴(yán)謹(jǐn)、表達(dá)明確、邏輯清楚等特點(diǎn), 處理起來(lái)難度較大。近年來(lái), 情感分析和意見挖掘領(lǐng)域的研究者做了大量工作(具代表性的工作如文獻(xiàn)[1-3]), 有效地從評(píng)論中挖掘出評(píng)論的情感和潛在主題。如何充分利用評(píng)論分析得到的評(píng)論情感和主題來(lái)改進(jìn)推薦系統(tǒng), 已成為一個(gè)重要的研究課題[4-8]。

本文首先對(duì)評(píng)論進(jìn)行主題分析, 構(gòu)建用戶和物品的畫像。在此基礎(chǔ)上, 提出一種新的個(gè)性化評(píng)分預(yù)測(cè)模型。該模型針對(duì)各個(gè)用戶和物品進(jìn)行建模, 較大程度地進(jìn)行個(gè)性化處理。在大眾點(diǎn)評(píng)數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)驗(yàn)證, 結(jié)果表明本文提出的模型可以有效地提高推薦系統(tǒng)的評(píng)分預(yù)測(cè)性能。

1 相關(guān)工作

協(xié)同過(guò)濾系統(tǒng)是最先得到廣泛應(yīng)用的個(gè)性化推薦系統(tǒng), 分為基于用戶的協(xié)同過(guò)濾(User-based Collaborative Filtering[9])和基于物品的協(xié)同過(guò)濾(Item-based Collaborative Filtering[10])。但是, 這些方法沒有利用用戶或者物品的語(yǔ)義信息, 導(dǎo)致推薦系統(tǒng)的性能較低。

隨著Web2.0的發(fā)展, 在線評(píng)論逐漸進(jìn)入推薦系統(tǒng)研究者的視野[4-7,11-16]。Ganu等[4]通過(guò)人工標(biāo)注評(píng)論的主題和情感訓(xùn)練SVM模型, 將評(píng)論按角度和情感進(jìn)行分類, 最后綜合評(píng)論中的正面評(píng)價(jià)和負(fù)面評(píng)價(jià), 做出評(píng)分預(yù)測(cè)。Qu等[5]提出意見袋(bag-of-opinions)的概念, 用來(lái)表示評(píng)論中的每條評(píng)論意見的評(píng)價(jià)詞根、修飾詞和否定詞, 利用意見袋模型和評(píng)分訓(xùn)練線性模型進(jìn)行評(píng)分預(yù)測(cè)。這些算法都是根據(jù)用戶對(duì)物品的評(píng)論, 預(yù)測(cè)用戶對(duì)物品的評(píng)分, 還不能直接用于推薦系統(tǒng)。McAuley等[7]提出利用HFT (hidden factors as topics)將評(píng)分和評(píng)論信息結(jié)合, 構(gòu)建特征矩陣, 利用SVD算法來(lái)做推薦, 但無(wú)法同時(shí)考慮評(píng)論信息中的用戶角度和物品角度。Wang等[8]提出LARA(latent aspect rating analysis)算法, 首先利用自舉算法(boot-strapping)獲得與物品各個(gè)主題相關(guān)的情感詞, 然后利用LRR(latent rating regression)算法分析用戶對(duì)物品每個(gè)角度的情感和各個(gè)角度所占權(quán)重。

Zhang等[6]利用LDA (latent dirichlet allocation)算法[17]對(duì)評(píng)論進(jìn)行主題分析, 生成主題詞表。根據(jù)評(píng)論中是否含有主題詞, 將一條評(píng)論表示成一組向量, 根據(jù)用戶或者物品分類, 通過(guò)將這些向量平均、歸一化, 得到用戶特征和物品特征。同時(shí)利用向量和對(duì)應(yīng)的評(píng)分, 通過(guò)機(jī)器學(xué)習(xí)模型訓(xùn)練, 得到用戶對(duì)物品不同的主題的權(quán)重。與上述工作相比, 本文方法的最大不同之處是針對(duì)每個(gè)用戶或者物品分別建模, 進(jìn)行個(gè)性化處理。

2 基于評(píng)論主題的個(gè)性化模型

2.1 相關(guān)定義

用戶評(píng)論數(shù)據(jù)中包含個(gè)用戶組成的用戶集合= {1, …,u}和個(gè)物品組成的物品集合= {1, … ,i}。用戶-物品評(píng)分?jǐn)?shù)據(jù)集可以用×階矩陣表示,R表示用戶對(duì)物品的評(píng)分。C表示用戶對(duì)物品的評(píng)論。C表示用戶所有的評(píng)論集合,C表示用戶對(duì)物品所有的評(píng)論集合,表示集合中元素的個(gè)數(shù)。表示用戶的對(duì)所有物品評(píng)分的平均值。

2.2 評(píng)論主題分析

為了分析用戶評(píng)論所表達(dá)的潛在主題, 本文使用LDA算法對(duì)用戶評(píng)論進(jìn)行主題分析。LDA是一種主題模型, 屬于無(wú)監(jiān)督學(xué)習(xí)算法, 可以將文檔集中每篇文檔的主題按照概率分布的形式給出, 并且對(duì)于每一個(gè)主題均可以找出一些詞語(yǔ)來(lái)描述。大眾點(diǎn)評(píng)數(shù)據(jù)集在LDA 實(shí)驗(yàn)結(jié)果中的主題分布如表1所示, 其中主題詞按在該主題下的概率由大到小排列。實(shí)驗(yàn)主題數(shù)設(shè)置為6, 每個(gè)主題的主題詞個(gè)數(shù)設(shè)置為20, 超參數(shù)設(shè)置為0.2,設(shè)置為0.1, 迭代次數(shù)為1000。根據(jù)評(píng)論是否涉及各個(gè)主題, 將評(píng)論表示成一組維向量(是主題個(gè)數(shù)), 分析結(jié)果將在2.3節(jié)中被用于推薦系統(tǒng)。

表1 基于LDA的主題分布

說(shuō)明: 數(shù)據(jù)來(lái)自大眾點(diǎn)評(píng)網(wǎng)(www.dianping.com)。

2.3 用戶和物品的特征表示

根據(jù)評(píng)論分析結(jié)果, 對(duì)評(píng)論進(jìn)行特征表示。評(píng)論C的特征表示為:

其中是實(shí)驗(yàn)設(shè)置的主題的個(gè)數(shù),表示用戶對(duì)物品的評(píng)論第個(gè)特征值。特征值的計(jì)算方式如下:

其中,是各個(gè)主題下主題詞的個(gè)數(shù)。若評(píng)論中包含主題詞, 則是主題詞在主題下的概率; 反之, 若評(píng)論中不包含任何主題詞, 則為0。

然后, 生成用戶的特征表示p和物品的特征表示q。用戶第維特征用p表示:

式(4)是對(duì)相應(yīng)的特征進(jìn)行歸一化。同樣, 定義物品第維特征q:

2.4 基準(zhǔn)模型

本文以Zhang等[6]提出的模型為基準(zhǔn)模型。Zhang等通過(guò)對(duì)評(píng)論進(jìn)行主題分析生成主題詞表。根據(jù)評(píng)論中是否含有主題詞, 將每條評(píng)論表示成一組向量, 然后生成用戶和物品的特征向量表示。利用向量和對(duì)應(yīng)的評(píng)分, 通過(guò)機(jī)器學(xué)習(xí)模型訓(xùn)練得到用戶對(duì)物品不同主題的權(quán)重。在對(duì)飯店評(píng)論例子中, 經(jīng)過(guò)上述工作得到的權(quán)重可以理解為大多數(shù)用戶對(duì)飯店不同角度的偏好, 比如大多數(shù)用戶對(duì)飯店菜品的口味要求比較高, 那么所得口味主題的權(quán)重會(huì)比較大。

但是, 這種分析沒有充分考慮不同用戶的個(gè)性化需求, 比如用戶A為高收入者, 對(duì)環(huán)境要求比較高; 用戶B為低收入者, 對(duì)價(jià)格比較敏感。如果對(duì)用戶A和B用同樣的主題權(quán)重去預(yù)測(cè)評(píng)分, 給出推薦, 必然影響推薦的精準(zhǔn)度。

2.5 個(gè)性化模型

針對(duì)基準(zhǔn)模型的不足, 本文提出個(gè)性化評(píng)分預(yù)測(cè)模型。個(gè)性化評(píng)分預(yù)測(cè)模型可以分為用戶個(gè)性化(User-based)和物品個(gè)性化(Item-based), 其中用戶個(gè)性化可以解釋為向用戶推薦其喜歡的物品, 而物品個(gè)性化可以解釋為為物品尋找對(duì)其感興趣的用戶。在評(píng)分預(yù)測(cè)階段, 利用用戶對(duì)物品的評(píng)分以及用戶對(duì)物品的評(píng)論的特征表示, 可以通過(guò)線性回歸模型訓(xùn)練特征權(quán)重, 公式如下:

其中r是用戶對(duì)物品的評(píng)分,W和是基于用戶的個(gè)性化模型訓(xùn)練后所得各特征權(quán)重和誤差偏置,W和是基于物品的個(gè)性化模型訓(xùn)練后所得各特征權(quán)重和誤差偏置。然后, 對(duì)于給定的目標(biāo)用戶和目標(biāo)物品, 由式(4)產(chǎn)生的用戶特征和式(6)產(chǎn)生的物品特征模擬目標(biāo)用戶對(duì)目標(biāo)物品的評(píng)論特征表示為

根據(jù)線性回歸得到的權(quán)重和誤差偏置以及模擬的評(píng)論特征表示, 使用以下公式計(jì)算目標(biāo)用戶對(duì)物品的評(píng)分。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 數(shù)據(jù)集

本文實(shí)驗(yàn)采用大眾點(diǎn)評(píng)網(wǎng)(www.dianping.com)的數(shù)據(jù)集。大眾點(diǎn)評(píng)網(wǎng)是中國(guó)最大的獨(dú)立第三方消費(fèi)點(diǎn)評(píng)網(wǎng)站。本文使用的數(shù)據(jù)集為中文數(shù)據(jù)集, 全部來(lái)自上海地區(qū), 包含自大眾點(diǎn)評(píng)2003年成立至2013年9月, 60萬(wàn)個(gè)用戶對(duì)5萬(wàn)個(gè)商戶的360萬(wàn)條評(píng)論。評(píng)論信息包含用戶名、商戶名、總體評(píng)分、評(píng)論時(shí)間以及評(píng)論文本內(nèi)容。由于本文的目標(biāo)是建立針對(duì)用戶或者物品的個(gè)性化模型, 考慮到不同用戶或者不同商戶的評(píng)論數(shù)量差異對(duì)實(shí)驗(yàn)的影響, 需要對(duì)實(shí)驗(yàn)數(shù)據(jù)設(shè)置過(guò)濾值。例如, 進(jìn)行用戶個(gè)性化實(shí)驗(yàn)時(shí), 設(shè)置過(guò)濾值為10, 表示只取數(shù)據(jù)集中評(píng)論商戶數(shù)超過(guò)10的用戶的評(píng)論; 進(jìn)行物品個(gè)性化實(shí)驗(yàn)時(shí), 設(shè)置過(guò)濾值為10, 表示只取數(shù)據(jù)集中擁有10條以上用戶評(píng)論的商戶的評(píng)論。本試驗(yàn)在進(jìn)行基于個(gè)性化的實(shí)驗(yàn)以確定最佳過(guò)濾值時(shí), 按7:1:2的比例, 隨機(jī)將數(shù)據(jù)分為訓(xùn)練集、開發(fā)集和測(cè)試集。根據(jù)過(guò)濾值對(duì)數(shù)據(jù)過(guò)濾時(shí), 只對(duì)訓(xùn)練集進(jìn)行過(guò)濾, 保持開發(fā)集和測(cè)試集不變。

3.2 評(píng)價(jià)指標(biāo)

本文采用平均絕對(duì)偏差(mean absolute error, MAE)評(píng)價(jià)算法的預(yù)測(cè)準(zhǔn)確程度, MAE的計(jì)算公式如下:

3.3 參數(shù)選定

基于用戶個(gè)性化的開發(fā)集實(shí)驗(yàn)結(jié)果如表2所示, 第一列為過(guò)濾值, 第二列為過(guò)濾后開發(fā)集數(shù)據(jù)的實(shí)驗(yàn)結(jié)果, 為了與基準(zhǔn)模型做比較, 第三列為開發(fā)集總的數(shù)據(jù)集的實(shí)驗(yàn)結(jié)果?？偟臄?shù)據(jù)集實(shí)驗(yàn)結(jié)果生成方式為: 針對(duì)目標(biāo)用戶, 如果用戶在過(guò)濾后的數(shù)據(jù)集中, 則使用個(gè)性化預(yù)測(cè)結(jié)果, 反之則使用非個(gè)性化結(jié)果(基準(zhǔn)模型的結(jié)果)。從表2看出, 隨著過(guò)濾值的增大, 過(guò)濾后的數(shù)據(jù)MAE降低, 因?yàn)橛脩舻脑u(píng)論數(shù)增長(zhǎng)有利于訓(xùn)練用戶的特征權(quán)重。但是, 過(guò)濾值的增大也導(dǎo)致數(shù)據(jù)集中未建模的用戶數(shù)增大, 因此在總的數(shù)據(jù)集上實(shí)驗(yàn)效果呈現(xiàn)MAE先降低后升高的趨勢(shì), 而且升高的趨勢(shì)越來(lái)越大?；谖锲穫€(gè)性化的開發(fā)集實(shí)驗(yàn)結(jié)果如表3所示, 實(shí)驗(yàn)結(jié)果MAE變化趨勢(shì)與表2相同。根據(jù)實(shí)驗(yàn)結(jié)果,兩個(gè)模型都在過(guò)濾值為5時(shí)取得最小值。

表2 基于用戶個(gè)性化的開發(fā)集實(shí)驗(yàn)結(jié)果

說(shuō)明: 粗體表示最佳實(shí)驗(yàn)結(jié)果。

表3 基于物品個(gè)性化的開發(fā)集實(shí)驗(yàn)結(jié)果

說(shuō)明: 粗體表示最佳實(shí)驗(yàn)結(jié)果。

3.4 實(shí)驗(yàn)結(jié)果分析

根據(jù)上述在開發(fā)集上的實(shí)驗(yàn)結(jié)果, 本文將個(gè)性化模型的過(guò)濾值選為5, 在測(cè)試集上的實(shí)驗(yàn)結(jié)果如表4所示。實(shí)驗(yàn)1使用Zhang等[6]提出的非個(gè)性化方法, 實(shí)驗(yàn)結(jié)果MAE為0.6765; 實(shí)驗(yàn)2基于用戶的個(gè)性化模型, 實(shí)驗(yàn)結(jié)果MAE為0.6418; 實(shí)驗(yàn)3基于物品的個(gè)性化模型, 實(shí)驗(yàn)結(jié)果MAE為0.6359。本文主要討論的兩種基于個(gè)性化的模型, 其異同點(diǎn)分析如下: 基于物品個(gè)性化的實(shí)驗(yàn)結(jié)果與基于用戶個(gè)性化實(shí)驗(yàn)結(jié)果趨勢(shì)類似, 隨著過(guò)濾值的增大, 過(guò)濾后的數(shù)據(jù)實(shí)驗(yàn)結(jié)果MAE下降, 總的數(shù)據(jù)集上實(shí)驗(yàn)效果MAE呈現(xiàn)先降低后升高的趨勢(shì)。由于數(shù)據(jù)集中商戶的數(shù)量遠(yuǎn)少于用戶的數(shù)量, 平均每個(gè)商戶擁有的評(píng)論數(shù)量遠(yuǎn)大于用戶的平均評(píng)論數(shù), 更有利于訓(xùn)練特征權(quán)重, 因此基于物品個(gè)性化的實(shí)驗(yàn)結(jié)果比基于用戶個(gè)性化的實(shí)驗(yàn)結(jié)果MAE更低。圖1顯示在測(cè)試集上基于用戶個(gè)性化和基于物品個(gè)性化實(shí)驗(yàn)的結(jié)果比較。在實(shí)際應(yīng)用中, 用戶的增長(zhǎng)遠(yuǎn)比物品的增長(zhǎng)快得多, 因此基于物品的個(gè)性化模型在解決擴(kuò)展性和數(shù)據(jù)稀疏等問題上有一定的優(yōu)勢(shì)。

表4 主要實(shí)驗(yàn)結(jié)果

4 總結(jié)

本文在對(duì)評(píng)論進(jìn)行主題分析的基礎(chǔ)上, 針對(duì)用戶和物品分別建立不同的個(gè)性化解決方案。經(jīng)過(guò)大規(guī)模的數(shù)據(jù)實(shí)驗(yàn), 結(jié)果表明該方法顯著地提高了評(píng)分預(yù)測(cè)的預(yù)測(cè)精度。通過(guò)比較, 基于物品的個(gè)性化預(yù)測(cè)方法效果更好, 并且在解決擴(kuò)展性和數(shù)據(jù)稀疏等問題上有一定的優(yōu)勢(shì)。

[1]Titov I, McDonald R T. A joint model of text and aspect ratings for sentiment summarization // Pro-ceedings of the 46th Annual Meeting of the Associa-tion for Computational Linguistics on Human Lan-guage Technologies. Ohio, 2008: 308?316

[2]Brody S, Elhadad N. An unsupervised aspectsenti-ment model for online reviews // Human Language Technologies: the 2010 Annual Conference of the North American Chapter of the Association for Computational Linguistics. Los Angeles, 2010: 804?812

[3]Jo Y, Oh A H. Aspect and sentiment unification model for online review analysis // Proceedings of the fourth ACM International Conference on Web Search and Data Mining. Hong Kong, 2011: 815?824

[4]Ganu G, Elhadad N, Marian A. Beyond the stars: improving rating predictions using review text content // The 12th International Workshop on the Web and Databases. Providence, Rhode Island, 2009: 1?6

[5]Qu Lizhen, Ifrim G, Weikum G. The bag-of-opinions method for review rating prediction from sparse text patterns // Proceedings of the 23rd International Con-ference on Computational Linguistics. Beijing, 2010: 913?921

[6]Zhang Rong, Gao Yifan, Yu Wenzhe, et al. Review comment analysis for predicting ratings // The 16th International Conference on Web-Age Information Management. Qingdao, 2015: 247?259

[7]McAuley J, Leskovec J. Hidden factors and hidden topics: understanding rating dimensions with review text // Proceedings of the 7th ACM conference on Recommender systems. Hong Kong, 2013: 165?172

[8]Wang Hongqing, Lu Yue, Zhai Chengxiang. Latent aspect rating analysis on review text data: a rating regression approach // Proceedings of the 16th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. Washington, 2010: 783?792

[9]Resnick P, Iacovou N, Suchak M, et al. GroupLens: an open architecture for collaborative filtering of netnews // Proceedings of the 1994 ACM Conference on Computer Supported Cooperative Work. Chapel Hill, 1994: 175?186

[10]Sarwar B, Karypis G, Konstan J, et al. Item-based collaborative filtering recommendation algorithms // Proceedings of the 10th International Conference on World Wide Web. Hong Kong, 2001: 285?295

[11]Dave K, Lawrence S, Pennock D M. Mining the peanut gallery: opinion extraction and semantic classification of product reviews // Proceedings of the 12th International Conference on World Wide Web. Budapest, 2003: 519?528

[12]Devitt A, Ahmad K. Sentiment polarity identification in financial news: a cohesion-based approach. // Proceedings of the 45th Annual Meeting of the Association for Computational Linguistics on Human Language Technologies. Prague, 2007: 984?991

[13]Pang B, Lee L, Vaithyanathan S. Thumbs up?: senti-ment classification using machine learning techniques // Proceedings of the ACL-02 Conference on Empiri-cal methods in Natural Language Processing—Volume 10. Philadelphia, 2002: 79?86

[14]Pang B, Lee L. Seeing stars: exploiting class rela-tionships for sentiment categorization with respect to rating scales // Proceedings of the 43rd Annual Meet-ing on Association for Computational Linguistics. Ann Arbor, 2005: 115?124

[15]Goldberg A B, Zhu X. Seeing stars when there aren’t many stars: graph-based semi-supervised learning for sentiment categorization // Proceedings of the First Workshop on Graph Based Methods for Natural Lan-guage Processing. New York, 2006: 45?52

[16]Snyder B, Barzilay R. Multiple aspect ranking using the good grief algorithm // Human Language Tech-nologies: The 2007 Annual Conference of the North American Chapter of the Association for Computa-tional Linguistics. New York, 2007: 300?307

[17]Blei D M, Ng A Y, Jordan M I. Latent dirichlet allocation. The Journal of Machine Learning Re-search, 2003, 3(1): 993?1022

Personalized Model for Rating Prediction Based on Review Analysis

MA Chunping1,2, CHEN Wenliang1,2,?

1. School of Computer Science and Technology, Soochow University, Suzhou 215006; 2. Collaborative Innovation Center of Novel Software Technology and Industrialization, Suzhou 215006; ? Corresponding author, E-mail: wlchen@suda.edu.cn

Existing recommender systems do not take full advantage of personalization. To address this problem, a novel approach is proposed to mine the opinions and preference of users to build a personalized model for each user or item. Experimental results generated from a real data set show that the proposed approach can improve the accuracy of rating prediction.

personalized recommendation; recommender system; rating prediction; review comment

10.13209/j.0479-8023.2016.011

TP391

2015-06-07;

2015-08-19; 網(wǎng)絡(luò)出版日期: 2015-09-29

國(guó)家自然科學(xué)基金(61203314, 61373095)資助