社交網(wǎng)站中用戶評論行為預(yù)測

網(wǎng)絡(luò)出版地址：http://www.cnki.net/kcms/detail/23.1538.tp.20150403.1732.001.html

社交網(wǎng)站中用戶評論行為預(yù)測

孔慶超，毛文吉，張育浩

(中國科學(xué)院自動化研究所 復(fù)雜系統(tǒng)管理與控制國家重點實驗室，北京 100190)

摘要：社交網(wǎng)站為用戶相互交流、發(fā)表意見和觀點提供了非常便利的平臺。對社交網(wǎng)站的用戶行為進行建模和預(yù)測對于安全、商業(yè)等多個領(lǐng)域具有十分重要的社會意義和應(yīng)用價值，近年來逐漸得到研究者的重視。面向社交網(wǎng)站中用戶評論行為，預(yù)測用戶是否會參與討論。采用基于特征的機器學(xué)習(xí)方法，其中特征包括討論帖子及其內(nèi)容、用戶行為特征和社交關(guān)系，并引入?yún)?shù)控制數(shù)據(jù)集的不平衡性。實驗采用來自豆瓣小組的真實數(shù)據(jù)。實驗結(jié)果表明，新提出的用戶行為和社交關(guān)系特征以及對不平衡數(shù)據(jù)集的處理方法能夠有效提高用戶評論行為的預(yù)測效果，進一步說明用戶的歷史行為和所在的社交關(guān)系網(wǎng)絡(luò)對當(dāng)前的評論行為有較大影響。

關(guān)鍵詞：社交網(wǎng)絡(luò)；用戶評論；機器學(xué)習(xí)；行為建模；行為預(yù)測；不平衡性數(shù)據(jù)集

DOI:10.3969/j.issn.1673-4785.201403019

中圖分類號：TP391 文獻標(biāo)志碼：A

收稿日期：2014-03-05. 網(wǎng)絡(luò)出版日期：2015-04-03.

基金項目：國家自然科學(xué)基金資助項目(61175040, U1435221).

作者簡介：

中文引用格式：孔慶超，毛文吉，張育浩. 社交網(wǎng)站中用戶評論行為預(yù)測[J]. 智能系統(tǒng)學(xué)報, 2015, 10(3): 349-353.

英文引用格式：KONG Qingchao, MAO Wenji, ZHANG Yuhao. User comment behavior prediction in social networking sites[J]. CAAI Transactions on Intelligent Systems, 2015, 10(3): 349-353.

User comment behavior prediction in social networking sites

KONG Qingchao, MAO Wenji, ZHANG Yuhao

(State Key Laboratory of Management and Control for Complex Systems, Institute of Automation, Chinese Academy of Science, Beijing 100190, China)

Abstract：Social networking sites provide a convenient way for users to communicate with others and to present opinions. Related researches on modeling and predicting user behaviors in social networking sites are of vital importance for many applications in the domains of security and business. The aim of this paper is to predict user comment behavior based on postings in social networking sites. A feature-based machine learning approach is employed, which includes features from the postings, content, user behaviors and social relations, and introduces a parameter to control the imbalanceness of the dataset. Real-world datasets from Douban Group were used in the experiments. The experimental results showed that the user behavior and social relation features and the imbalance processing technique effectively improved the prediction performance of user comment behaviors. This further demonstrates that the user comment behavior is largely affected by their behavior history and social network.

Keywords：social network; user comments; machine learning; behavior modeling; behavior prediction; imbalance dataset

通信作者：毛文吉. E-mail: wenji.mao@ia.ac.cn.

社交網(wǎng)站如Facebook、Twitter等對人們的生活產(chǎn)生了巨大影響。人們在社交網(wǎng)站中更新狀態(tài)或發(fā)送廣播，以此來展現(xiàn)自己的生活狀態(tài)、發(fā)表感想或與朋友們分享信息。社交網(wǎng)站已成為人們獲取信息、參與討論和表達觀點的重要平臺。另一方面，用戶在社交網(wǎng)站中的行為則體現(xiàn)了用戶的行為模式和興趣。由于社交網(wǎng)站中用戶眾多，并且具有實時性的特點，人們討論的話題能夠迅速在網(wǎng)絡(luò)上傳播和演化，因此理解他們的行為，并對其進行建模和分析顯得十分重要。例如，在信息檢索領(lǐng)域，預(yù)測參與哪些話題的討論可以幫助服務(wù)提供者了解更多有關(guān)用戶興趣和需求的信息；在情報安全領(lǐng)域，追蹤和預(yù)測用戶參與的話題討論可以幫助決策者更好地了解和掌握用戶的行為特點。

面向社交網(wǎng)站的討論組用戶，本文提出一種預(yù)測用戶是否會參與討論的計算方法。具體而言，采用基于特征的方法，考慮了影響用戶評論行為的多種主要因素，并使用機器學(xué)習(xí)算法結(jié)合所有的特征，最終得到用戶對某個帖子進行回復(fù)的概率。此外，由于一個帖子中的評論用戶數(shù)量相對于討論組中的用戶總數(shù)而言總是很少，往往造成了數(shù)據(jù)集中的類不平衡問題，本文還針對這一問題做了相應(yīng)處理。本文主要貢獻在于：結(jié)合多類不同類型的特征，通過與評論行為相關(guān)聯(lián)的社交關(guān)系特征，如用戶活躍度、用戶間的關(guān)注關(guān)系等預(yù)測評論行為，并通過對類不平衡問題的處理提升預(yù)測的效果。

1相關(guān)研究工作

在博客和論壇中，網(wǎng)站大多都會提供用戶評論功能。用戶評論能夠促進用戶之間的交流，發(fā)帖人也能夠通過用戶評論得到反饋。目前已經(jīng)有一些預(yù)測博客評論數(shù)量的相關(guān)工作。M. Tsagkias等[1]基于文本、語義和現(xiàn)實世界特征預(yù)測一篇博文是否會有評論以及評論數(shù)量的多少。T. Yano和N. A. Smith[2]采用主題模型預(yù)測博客的評論數(shù)量。預(yù)測微博的轉(zhuǎn)發(fā)量[3-6]和博客中的評論數(shù)量這2項研究具有一定的相似性，如L. Hong等[4]通過抽取Twtiter中評論內(nèi)容、時序信息、評論及用戶的元數(shù)據(jù)以及用戶社交網(wǎng)絡(luò)的結(jié)構(gòu)關(guān)系等，基于特征的模型預(yù)測微博的轉(zhuǎn)發(fā)數(shù)量。其他的相關(guān)研究還包括視頻[7-8]、圖片[9-10]瀏覽數(shù)的預(yù)測等。

相對于預(yù)測用戶的評論數(shù)量，預(yù)測用戶評論行為(即用戶是否會對某個帖子進行回復(fù))是一項更具挑戰(zhàn)性的工作。T. Yano等[11]構(gòu)建了一個能夠同時生成評論和博文內(nèi)容的概率模型預(yù)測用戶會評論哪一篇博文。Tang等[12]構(gòu)建了一個用戶興趣和話題檢測模型(UTD)。在給定已有部分用戶對某個帖子進行回復(fù)的條件下，UTD模型通過獲取話題內(nèi)容和發(fā)展趨勢預(yù)測哪些用戶會對新的帖子產(chǎn)生興趣。

上述工作中提出了一系列影響用戶在博客和討論組評論行為的因素，如帖子和內(nèi)容信息。然而，除了帖子本身和話題相關(guān)的內(nèi)容信息以外，社交網(wǎng)絡(luò)中還存在著多個與用戶評論行為密切相關(guān)的社會關(guān)系、用戶行為特征等因素，充分利用這些信息可以更好地預(yù)測用戶行為。例如，用戶之間的“粉絲”關(guān)系可能會影響用戶對發(fā)帖人所發(fā)帖子的回復(fù)。

本文分析了影響用戶評論行為的主要因素，并構(gòu)建了一個結(jié)合多個關(guān)鍵影響因素、基于特征的評論行為預(yù)測模型。這些因素不僅包括話題內(nèi)容特征，也包括社會關(guān)系和行為特征。采用邏輯回歸模型進行分類，并通過采樣方法解決類不平衡問題，最終預(yù)測用戶評論某個帖子的可能性。

2問題定義

用U表示討論組中的用戶集合，D表示帖子的集合，每個帖子d(d∈D)包括標(biāo)題、內(nèi)容和發(fā)帖者ud(ud∈U)的信息，其中標(biāo)題和內(nèi)容都采用詞袋(bag of words, BOW)模型表示。除了帖子本身的內(nèi)容外，已知的信息還包括用戶間的關(guān)注關(guān)系和用戶的歷史行為信息。將問題定義為：給定帖子d的信息，預(yù)測目標(biāo)用戶u(u∈U)對帖子d進行評論的概率。

3用戶評論行為建模與預(yù)測

針對用戶評論行為，詳細介紹特征選取、如何計算內(nèi)容相似度以及構(gòu)建邏輯回歸模型進行預(yù)測，并討論對類不平衡問題的處理。

3.1特征選取和內(nèi)容相似度計算

考慮采用4類可能影響用戶評論行為的因素作為特征，包括帖子本身、內(nèi)容相似度、用戶行為和社交關(guān)系等特征。

1)帖子特征：包括標(biāo)題長度、正文長度、圖片和外鏈的數(shù)量，共4個特征。

2)內(nèi)容相似度特征：包括帖子內(nèi)容和目標(biāo)用戶興趣之間的相似度以及發(fā)帖者興趣和目標(biāo)用戶興趣之間的相似度，共2個特征。

3)用戶行為特征：包括發(fā)帖者和目標(biāo)用戶各自發(fā)過的帖子數(shù)量以及評論回復(fù)數(shù)量，共4個特征。

4)社交關(guān)系特征：包括發(fā)帖者和目標(biāo)用戶各自的關(guān)注和粉絲的數(shù)量，以及目標(biāo)用戶是否關(guān)注了發(fā)帖者，共5個特征。

在計算內(nèi)容相似度特征時，應(yīng)用LDA模型[13]得到用戶關(guān)注內(nèi)容在不同主題(topic)的分布情況來刻畫用戶興趣。LDA模型是近年來非常受關(guān)注的主題模型，其數(shù)學(xué)表達簡潔，而且文本建模效果很好。具體來說，首先，在整個數(shù)據(jù)集上訓(xùn)練得到一個LDA模型；然后，將每個用戶曾經(jīng)發(fā)布的所有帖子和評論組成一個文檔；最后，將該文檔輸入LDA模型中得到用戶感興趣的主題分布，即一定長度的向量(長度為訓(xùn)練LDA模型時指定的主題個數(shù))。通過應(yīng)用LDA模型，所有的文檔和用戶興趣可以表示為主題分布向量，而文本內(nèi)容之間的相似度則定義為2個主題分布之間的歐氏距離。

將以上4類特征(共15個)組成15維向量作為特征向量。需要注意的是，特征向量中的特征具有不同的數(shù)值類型，如“標(biāo)題長度”為離散型特征，而內(nèi)容相似度為連續(xù)型特征，取值范圍也不盡相同，所以需要在模型訓(xùn)練前對特征進行歸一化處理。本文分別對于每個特征進行歸一化：

(1)

式中：f為樣本的特征取值，fmin為該特征在所有樣本(包括訓(xùn)練集和測試集)中的最小取值，fmax為該特征在所有樣本中的最大取值。

3.2模型建立及類不平衡的處理

邏輯回歸(LR)模型是一種線性分類模型，可以得到樣本屬于每個類別的概率。對于每個目標(biāo)用戶和帖子，抽取出上面列舉的所有特征，組成一個特征向量。令x表示特征向量，w表示特征的權(quán)重向量。Y表示預(yù)測結(jié)果，為二值隨機變量，當(dāng)目標(biāo)用戶評論時Y=1，目標(biāo)用戶不評論時Y=0。

(2)

式中：g(x)=w1x1+w2x2+…+wnxn，P(Y=1|x)表示目標(biāo)用戶評論帖子的概率。根據(jù)式(1)，g(x)>0時模型預(yù)測y(x)=1，g(x)>0時模型預(yù)測y(x)=0。

在構(gòu)建分類器的訓(xùn)練集和測試集時，對于一個帖子來說，可以認為所有真正參與評論的用戶為正樣本，而沒有參與評論的用戶為負樣本。一般而言，由于負樣本的數(shù)量遠大于正樣本數(shù)量，這就造成數(shù)據(jù)集中存在類不平衡問題。在給定特征集合的條件下，如果數(shù)據(jù)集中類不平衡性較大，那么采用分類學(xué)習(xí)算法最終將預(yù)測所有樣本為負樣例。這樣的預(yù)測結(jié)果雖然準確率很高，但實質(zhì)上完全忽略了正樣本的重要性，即人們真正關(guān)心的是哪些用戶會參與評論，而不是哪些用戶不參與評論。

解決類不平衡問題的方法有多種，其中采樣法是最常采用的一種方法。具體來說，本文采用的采樣算法包括隨機上采樣和下采樣、EasyEnsemble[14]和SMOTE算法[15]，其中EasyEnsemble的性能相對較好[14]。需要說明的是，在使用EsayEnsemble算法時，我們將原文獻中EasyEnsemble的基本分類器AdaBoost替換為LR模型。

綜上，構(gòu)建分類預(yù)測框架的主要步驟是：首先構(gòu)建訓(xùn)練集與測試集并抽取和計算特征，然后采用以上采樣方法提高正樣例在訓(xùn)練集中所占的比例，最后建立LR模型得到用戶評論某個帖子的預(yù)測結(jié)果。

4實驗結(jié)果與分析

4.1數(shù)據(jù)集和預(yù)處理

實驗的數(shù)據(jù)集來自豆瓣小組。豆瓣是國內(nèi)流行的社交網(wǎng)站，有超過七千萬用戶。作為豆瓣網(wǎng)站的一部分，豆瓣小組允許用戶建立不同主題的小組。小組成員可以發(fā)布帖子，其他人可以對帖子進行評論，點擊“喜歡”或者推薦給關(guān)注自己的用戶。實驗抓取的是豆瓣“美劇fans”小組所有的帖子和評論。

訓(xùn)練集包括從2012-8-1—2012-12-1期間發(fā)布的所有帖子及評論，測試集包括從2012-12-1—2013-1-1發(fā)布的所有帖子及評論。在測試集中，實驗移除了一些用戶和帖子，以保證測試集中每個用戶至少發(fā)表過2次評論，每個帖子至少有5個用戶評論。

表1展示了預(yù)處理后訓(xùn)練集和測試集中帖子、評論和用戶數(shù)量的統(tǒng)計數(shù)據(jù)。

表 1　訓(xùn)練集和測試集統(tǒng)計數(shù)據(jù)

4.2目標(biāo)用戶集合

在進行模型訓(xùn)練和測試時，由于豆瓣小組中成員眾多(截止到目前，“美劇fans”小組共有178 298個成員)，因此需要選擇構(gòu)建一個較小的且大小可控的目標(biāo)用戶集。

用TSd表示帖子d的目標(biāo)用戶集合。對于每個帖子d，通過如下方式構(gòu)建TSd：首先將Sd中的所有用戶加入TSd，于是Sd∈TSd，然后從不在Sd中的其他小組成員中隨機選擇R×|Sd|個用戶放入TSd中，其中|Sd|代表集合Sd中的用戶數(shù)目，R為實驗中設(shè)定的正整數(shù)。于是，對數(shù)據(jù)集中的每個帖子d，都有|Sd|個正樣例(真正參與評論的用戶)和|TSd|-|Sd|個負樣例(沒有參與評論的用戶)。顯然，R越大，數(shù)據(jù)集不平衡問題就越嚴重，換句話說，R控制著數(shù)據(jù)集的不平衡性。

4.3評價標(biāo)準

(3)

4.4實驗結(jié)果

4.4.1用戶行為和社交關(guān)系特征的作用

首先考察用戶行為和社交關(guān)系這2類特征對Precision@K的作用。圖1(a)和(b)分別展示了R=5和R=10時，測試集中每個帖子的Precision@5分布情況，其中黑色線表示加入了用戶行為和社交關(guān)系特征的Precision@5分布，淺色線表示沒有考慮這2類特征的Precision@5分布。圖中所有帖子按Precision@5值降序排列。

從圖1中可以看出，在不考慮用戶行為和社交關(guān)系這2類特征時，雖然對于一小部分帖子，其Precision@5比考慮這2類特征時要高，但整體而言后者的效果更好。表2中的數(shù)據(jù)同樣支持這個結(jié)論。表2展示了當(dāng)R取不同值時，包含和不包含用戶行為和社交關(guān)系2類特征下的平均Precision@5。

表 2　平均Precision@5對比

4.4.2類不平衡性的影響

這里考察類不平衡問題對預(yù)測結(jié)果的影響。圖1(c)和(d)分別展示了R=5和R=10時，測試集中每個帖子的Precision@5分布情況，其中黑色線表示采用了EasyEnsemble采樣方法后的Precision@5分布，淺色線表示沒有對數(shù)據(jù)集進行采樣處理的帖子的Precision@5分布。圖中所有帖子按Precision@5值降序排列。從圖中可以看出，在對數(shù)據(jù)集進行采樣處理后，預(yù)測結(jié)果得到明顯提升。從表3中同樣可以看出，在對數(shù)據(jù)集進行采樣處理之后，當(dāng)R取不同值時，平均的Precision@K都有顯著提高。

(a)不包括用戶行為和社交關(guān)系特征 vs. 所有特征(R=5)

(b)不包括用戶行為和社交關(guān)系特征 vs. 所有特征(R=10)

(c)基準方法 vs. EasyEnsemble(R=5)

(d)基準方法 vs. EasyEnsemble(R=10) 圖1　當(dāng)R取5和10時不同方法的實驗結(jié)果比較 Fig. 1　 Experimental results comparison of different methods when R=5 and R=10

數(shù)據(jù)集R=5R=10R=15R=20不采樣處理0.380.250.180.14EasyEnsemble0.470.360.310.27

4.4.3Precision@K分布

圖2展示了當(dāng)R取不同值時，預(yù)測結(jié)果Precision@5的分布情況。從圖中可以看出，本文的預(yù)測框架的性能尚不夠穩(wěn)定，對于一些帖子的Precision@5接近1，而對于另一些帖子的Precision@5卻較低。

圖2　當(dāng)R取不同值時的實驗結(jié)果 Fig. 2　Experimental results with varying R

5結(jié)束語

本文以用戶評論行為為例，給出一種基于特征的行為預(yù)測方法。實驗結(jié)果表明，新提出的2種新特征，即用戶行為特征和社交關(guān)系特征，以及控制數(shù)據(jù)集的不平衡性的參數(shù)能夠有效提升行為預(yù)測準確度。同時，進一步說明用戶在社交網(wǎng)站中的評論行為受到其歷史行為和社交關(guān)系的影響。未來的研究工作將嘗試分析用戶評論行為的生成過程，探討其中起關(guān)鍵作用的因素并建立生成式模型，以提高預(yù)測結(jié)果的準確度和可解釋性。

參考文獻:

[1]TSAGKIAS M, WEERKAMP W, De RIJKE M. Predicting the volume of comments on online news stories[C]//Proceedings of the 18th ACM Conference on Information and Knowledge Management. New York, USA, 2009: 1765-1768.

[2]YANO T, SMITH N A. What’s worthy of comment? Content and comment volume in political blogs[C]//Proceedings of the Fourth International Conference on Weblogs and Social Media. Washington, DC, USA, 2010: 359-362.

[3]ZAMAN T, FOX E B, BRADLOW E T. A bayesian approach for predicting the popularity of tweets[J]. The Annals of Applied Statistics, 2014, 8(3): 1583-1611.

[4]HONG L, DAN O, Davison B D. Predicting popular messages in Twitter[C]//Proceedings of the 20th International Conference Companion on World Wide Web. New York, USA, 2011: 57-58.

[5]MA Haixin, QIAN Weining, XIA Fan, et al. Towards modeling popularity of microblogs[J]. Frontiers of Computer Science, 2013, 7(2): 171-184.

[6]JENDERS M, KASNECI G, NAUMANN F. Analyzing and predicting viral tweets[C]//Proceedings of the 22nd International Conference on World Wide Web Companion. Geneva, Switzerland, 2013: 657-664.

[7]FIGUEIREDO F. On the prediction of popularity of trends and hits for user generated videos[C]//Proceedings of the Sixth ACM International Conference on Web Search and Data Mining. New York, USA, 2013: 741-746.

[8]PINTO H, ALMEIDA J M, GONCALVES M A. Using early view patterns to predict the popularity of Youtube videos[C]//Proceedings of the Sixth ACM International Conference on Web Search and Data Mining. New York, USA, 2013: 365-374.

[9]KHOSLA A, DAS SARMA A, HAMID R. What makes an image popular?[C]//Proceedings of the 23rd International Conference on World Wide Web. Seoul, Korea, 2014: 1-10.

[10]CHENG J, ADAMIC L, DOW P A, et al. Can cascades be predicted?[C]//Proceedings of the 23rd International Conference on World Wide Web. Seoul, Korea, 2014: 925-936.

[11]YANO T, COHEN W W, SMITH N A. Predicting response to political blog posts with topic models[C]//Proceedings of Human Language Technologies: The 2009 Annual Conference of the North American Chapter of the Association for Computational Linguistics. Stroudsburg, USA, 2009: 477-485.

[12]TANG X N, YANG C C, ZHANG M. Who will be participating next? Predicting the participation of dark web community[C]//Proceedings of the ACM SIGKDD Workshop on Intelligence and Security Informatics. New York, USA, 2012: 1-7.

[13]BLEI D M, NG A Y, JORDAN M I. Latent dirichlet allocation[J]. Journal of Machine Learning Research, 2003, 3: 993-1022.

[14]LIU Xuying, WU Jianxin, ZHOU Zhihua. Exploratory undersampling for class-imbalance learning[J]. IEEE Transactions on Systems, Man, and Cybernetics, Part B: Cybernetics, 2009, 39(2): 539-550.

[15]CHAWLA N V, BOWYER K W, HALL L O, et al. SMOTE: Synthetic minority over-sampling technique[J]. Journal of Artificial Intelligence Research, 2002, 16: 321-357.

孔慶超，男，1987年生，博士研究生，主要研究方向為社會媒體信息分析與處理、數(shù)據(jù)挖掘。

毛文吉，女，1968年生，研究員，博士生導(dǎo)師，主要研究方向為智能信息處理、人工智能、社會計算。曾獲國家科技進步二等獎，“吳文俊人工智能科學(xué)技術(shù)獎”創(chuàng)新二等獎，“中國自動化學(xué)會科學(xué)技術(shù)進步獎”一等獎，發(fā)表學(xué)術(shù)論文40余篇。

張育浩，男，1989年生，博士研究生，主要研究方向為社會建模與計算。