基于簡介和評論的標(biāo)簽推薦方法研究

褚曉敏，王中卿，朱巧明，周國棟

（蘇州大學(xué)計算機科學(xué)與技術(shù)學(xué)院，江蘇蘇州215006）

1 引言

Web 2.0時代，人們很容易為各種在線資源標(biāo)注標(biāo)簽，由此誕生了眾多的標(biāo)簽推薦系統(tǒng)，如Folksonomy、Delicious等。社會標(biāo)簽作為信息資源的組織方式，越來越受到網(wǎng)絡(luò)用戶的歡迎，人們已經(jīng)習(xí)慣于使用標(biāo)簽來定位、收集和共享在線資源，例如網(wǎng)頁、照片、視頻、電影、書籍等。

并不是所有網(wǎng)站都提供針對實體資源的標(biāo)簽或標(biāo)簽推薦，因此自動標(biāo)簽推薦是一個十分重要的任務(wù)，通常自動標(biāo)簽推薦是指通過考察、分析、挖掘信息資源的內(nèi)容和用戶的歷史標(biāo)注以及顯式或隱式的關(guān)系為未標(biāo)注信息資源提供高質(zhì)量的候選標(biāo)簽。標(biāo)簽推薦的目的是：1）簡化標(biāo)注活動，為用戶提供方便，并增加標(biāo)簽的可用性和粘性；2）提高標(biāo)簽質(zhì)量，降低錯拼、歧義等情況，提高標(biāo)簽在信息資源組織、檢索、利用和發(fā)現(xiàn)中的作用；3）改變標(biāo)簽空間的結(jié)構(gòu)，使標(biāo)簽空間更快的穩(wěn)定和收斂。

通常標(biāo)簽推薦只是使用一種信息進(jìn)行推薦，最常用的就是各類簡介，相對于評論、討論等信息，簡介是對實體或資源內(nèi)容或?qū)傩缘拿枋?，一般來說更客觀。但事實上，實體或資源，比如電影，存在多種類型的信息，如短評、影評、問答、討論等，每一類信息都能反映電影一方面的信息，如短評、影評等能夠反映用戶對一部電影的主觀評價，因此結(jié)合多方面的信息進(jìn)行標(biāo)簽推薦能夠獲得更好的推薦效果。

在本文中，我們主要研究利用電影的劇情簡介和短評信息進(jìn)行標(biāo)簽推薦，并基于各種信息的推薦結(jié)果進(jìn)行多種方法的融合，以提高推薦效果。實驗結(jié)果表明利用不同種類的信息能夠有效的提高標(biāo)簽推薦的準(zhǔn)確率和有效性。

以下各章節(jié)組織如下：第一章節(jié)介紹標(biāo)簽推薦的相關(guān)工作，第二章節(jié)介紹本文的數(shù)據(jù)收集和統(tǒng)計情況，第三章節(jié)介紹本文的研究內(nèi)容和使用的研究方法，第四章節(jié)介紹實驗設(shè)置和相關(guān)結(jié)果，第五章節(jié)總結(jié)本文內(nèi)容以及對下一步工作做初步計劃。

2 相關(guān)工作

在標(biāo)簽推薦系統(tǒng)中，任何用戶都具有開放參與的特性，均可用自定義標(biāo)簽標(biāo)注資源；在鋪天蓋地的信息資源中用戶可以通過標(biāo)簽更方便和準(zhǔn)確的定位、查找和共享資源。標(biāo)簽推薦系統(tǒng)根據(jù)資源內(nèi)容、用戶信息、已有標(biāo)簽，自動提供一些與資源內(nèi)容相關(guān)或者用戶感興趣的標(biāo)簽供用戶選擇，大大減少用戶標(biāo)注所需時間，進(jìn)而改善用戶體驗。目前，社會標(biāo)簽已經(jīng)廣泛地被研究，并成功地應(yīng)用在標(biāo)簽推薦［1－3］、趨勢預(yù)測和跟蹤［4］、個性化［5］、廣告推送［6］等系統(tǒng)中。標(biāo)簽推薦的方法可以分為兩大類，即基于內(nèi)容（content－based）的標(biāo)簽推薦和基于協(xié)同過濾（CF－based）的標(biāo)簽推薦。這兩類方法各自利用了標(biāo)簽推薦問題中不同來源的信息來完成標(biāo)簽推薦任務(wù)。

2.1 基于內(nèi)容的標(biāo)簽推薦

基于內(nèi)容的方法是標(biāo)簽推薦的基本方法，往往與其他方法聯(lián)合使用?；趦?nèi)容的標(biāo)簽推薦以文檔的內(nèi)容為標(biāo)簽推薦的依據(jù)，可使用文檔的細(xì)粒度特征和粗粒度特征這兩種主要方式。1）使用文檔的細(xì)粒度特征，如詞匯。例如，Ohkura et al［7］用SVM為每個標(biāo)簽訓(xùn)練了一個文本分類器，根據(jù)文檔內(nèi)容計算哪個標(biāo)簽更合理，其研究成果已經(jīng)應(yīng)用于基于社會標(biāo)簽的網(wǎng)頁瀏覽輔助系統(tǒng)中。Mishne et al［8］利用近鄰法（KNN）進(jìn)行標(biāo)簽推薦，從文檔集合中選擇與新文檔最相關(guān)的K個文檔，將這K個文檔的標(biāo)簽推薦給新文檔。2）使用文檔的粗粒度特征，如主題。此時不再考慮單個詞匯與標(biāo)簽之間的關(guān)系，而是通過主題模型LDA（Latent Dirichlet Allocation）［9－10］，抽取新的文檔與已有標(biāo)簽的主題特征，找出其相似度，根據(jù)相似度推薦標(biāo)簽。例如，Blei et al［11］提出了一種有監(jiān)督的主題模型，這種模型是對LDA的一種改進(jìn)，增加了一個連續(xù)變量代表標(biāo)簽，并在此模型上訓(xùn)練出最優(yōu)的參數(shù)。Si et al［12］在LDA模型基礎(chǔ)上提出Tag－LDA，基于文檔內(nèi)容和標(biāo)簽聯(lián)合建模，并取得了比較好的推薦效果。

2.2 基于鏈接的標(biāo)簽推薦

目前研究最多的標(biāo)簽推薦技術(shù)是基于協(xié)同過濾（CF）［13－14］的技術(shù)，該方法根據(jù)用戶群中其他相似用戶的興趣和愛好推斷用戶可能需要的資源，利用該方法建立標(biāo)簽推薦系統(tǒng)已經(jīng)成為一種常見的研究方法［15］?；趨f(xié)同過濾的典型做法是基于給定的資源和用戶的標(biāo)簽歷史進(jìn)行標(biāo)簽推薦。例如，Nakamoto et al［16］依據(jù)標(biāo)簽推薦系統(tǒng)中用戶定義標(biāo)簽習(xí)慣的相似程度進(jìn)行基于模式的協(xié)同過濾，通過用戶聚類的方法推薦標(biāo)簽。Niwa et al［17］、Gemmell et al［18］借鑒了TF－IDF算法，分別依據(jù)標(biāo)簽與資源的緊密度和利用層次聚類法進(jìn)行標(biāo)簽聚類。Santos－Neto et al［19］通過構(gòu)建用戶網(wǎng)絡(luò)網(wǎng)，按結(jié)構(gòu)尋找相似團(tuán)體進(jìn)行協(xié)同過濾推薦。Liu et al［20］提出基于連續(xù)條件隨機場的標(biāo)簽推薦模型進(jìn)行標(biāo)簽推薦，在保證條件概率最大的情況下通過訓(xùn)練得出模型參數(shù)，在執(zhí)行模塊中得出排名分?jǐn)?shù)前十的標(biāo)簽。FlokRank［21］和矩陣分解［22］是基于CF方法進(jìn)行社會標(biāo)簽推薦的代表性方法。這些方法最常見的是冷啟動問題，也就是說如果沒有被標(biāo)注過，就很難進(jìn)行有效的標(biāo)簽推薦。

本文使用基于內(nèi)容的標(biāo)簽推薦方法進(jìn)行電影標(biāo)簽的研究，在上述的基于內(nèi)容的標(biāo)簽推薦方法中，通常只使用了一方面的文本信息，而本文使用了兩類文本信息來進(jìn)行標(biāo)簽推薦，以獲得更好的標(biāo)簽推薦效果。

3 數(shù)據(jù)統(tǒng)計

3.1 數(shù)據(jù)收集與統(tǒng)計

本文使用的數(shù)據(jù)來源于豆瓣網(wǎng)。從互聯(lián)網(wǎng)獲取“豆瓣電影”上的電影信息，使用爬蟲工具抓取1 751個電影的數(shù)據(jù)。通過數(shù)據(jù)預(yù)處理，選擇其中標(biāo)簽、劇情簡介、短評都齊全的1 634部電影數(shù)據(jù)，抽取這些電影的標(biāo)簽、劇情簡介和前20條短評數(shù)據(jù)進(jìn)行本文相關(guān)實驗。

在我們收集的電影數(shù)據(jù)中，一共存在2 204個不同的標(biāo)簽，但是由于大部分標(biāo)簽出現(xiàn)頻率很低并有部分重復(fù)的現(xiàn)象，因此我們選擇使用頻度最高并且不重復(fù)的十個標(biāo)簽，美國、喜劇、愛情、劇情、動畫、科幻、經(jīng)典、動作、搞笑、香港，并分別使用劇情簡介、短評作為特征內(nèi)容進(jìn)行分類器訓(xùn)練。這十個標(biāo)簽在數(shù)據(jù)集中包含標(biāo)簽的數(shù)據(jù)量如表1所示。

表1 數(shù)據(jù)集中包含標(biāo)簽的數(shù)據(jù)量

3.2 數(shù)據(jù)樣例

表2給出了一個具體電影的樣例，包含三方面信息，劇情簡介、標(biāo)簽（標(biāo)簽后面括號內(nèi)的數(shù)字為標(biāo)記此種標(biāo)簽的用戶數(shù)）和短評。從樣例中我們可以看出，標(biāo)簽簡明地指明了資源的主要內(nèi)容、特點以及用戶的興趣點。針對樣例《被解救的姜戈》，標(biāo)簽“黑色幽默”表明了電影的主要特點，標(biāo)簽“美國”表明了電影的發(fā)行方或故事的主要發(fā)生地點，標(biāo)簽“西部”、“暴力”、“動作”則讓觀眾了解到該部電影的主要題材和類型。劇情簡介摘要性地說明了電影的發(fā)生背景和主要內(nèi)容，以描述性文字為主，短評則是針對電影的評論，評論可能是針對內(nèi)容的，針對編劇或?qū)а莸?，針對電影演員的，針對場面和特技的，甚至是純粹的吐槽，以評論性文字為主。所列舉的標(biāo)簽中，“美國”、“暴力”、“動作”這些標(biāo)簽可以從劇情簡介中獲得，而“暴力”、“西部”、“西部片”則可以從電影的短評中獲得相關(guān)信息。因此劇情簡介和短評體現(xiàn)了不同類型的信息，并且都可以作為標(biāo)簽推薦的基礎(chǔ)。

表2 電影信息樣例

4 基于簡介和評論的電影標(biāo)簽推薦

為了融合簡介和評論兩方面的信息進(jìn)行電影標(biāo)簽推薦，我們將推薦任務(wù)轉(zhuǎn)化為分類任務(wù)，抽取簡介和評論文本的單詞作為特征，使用SVM構(gòu)建基分類器，并使用不同的方法進(jìn)行分類器融合。整體研究框架主要步驟包括：1）從互聯(lián)網(wǎng)上獲取批量的電影數(shù)據(jù)；2）分析網(wǎng)頁獲取標(biāo)簽，簡介文本，評論文本等信息；3）對原始數(shù)據(jù)進(jìn)行預(yù)處理，包括數(shù)據(jù)選擇、分詞等；4）訓(xùn)練劇情簡介、短評這兩個基分類器；5）進(jìn)行分類器融合，采用直接融合、投票規(guī)則和加法規(guī)則等策略；6）分析比較實驗結(jié)果。具體的研究框架和流程如圖1所示。

對于數(shù)據(jù)預(yù)處理的過程，我們選擇了劇情簡介和短評信息都完備的數(shù)據(jù)樣本，使用復(fù)旦的分詞工具①http：／／code.google.com／p／fudannlp／進(jìn)行分詞處理，做好數(shù)據(jù)準(zhǔn)備和預(yù)處理后再進(jìn)行分類器的訓(xùn)練和融合。

圖1 整體研究框架

我們把推薦問題轉(zhuǎn)化為分類問題，為每個標(biāo)簽建立一個分類器，根據(jù)包含標(biāo)簽的數(shù)量進(jìn)行正負(fù)樣本數(shù)據(jù)的選擇和整理，如果樣本包含標(biāo)簽則歸入正類樣本，不包含則歸入負(fù)類樣本，因為正類樣本數(shù)量較少，我們通過欠采樣策略使樣本保持平衡。

為了融合基于不同信息的基分類器的結(jié)果，我們提出了多種策略進(jìn)行融合，具體包括直接融合、投票規(guī)則、加法規(guī)則等［23］。為了描述我們的分類器融合算法，我們先進(jìn)行如下形式化定義：

R是分類器ck（k＝1，...，R ）中的元素，每個分類器作為樣本輸入（以xk來表示）標(biāo)簽Lk（Lk＝w1，…，wm）。假設(shè)分類器ck的輸出度量值，代表后驗概率向量，如式（1）所示。

其中p（wi｜xk）表示x標(biāo)記為wi的概率。

1）直接融合

直接融合時，我們將劇情簡介和短評這兩方面文本信息進(jìn)行文本組合后作為一個特征送入分類器，進(jìn)行分類訓(xùn)練，其分類結(jié)果也作為基分類器參與其他融合方法。

2）投票規(guī)則

將簡介、短評、直接融合三種方法訓(xùn)練出來的基分類器作為輸入，包含標(biāo)簽時投1票，不包含標(biāo)簽時投0票，投票結(jié)果大于等于2則表示測試樣本包含測試標(biāo)簽，否則不包含測試標(biāo)簽。應(yīng)用投票（Vote）規(guī)則時如式（2）所示。

3）加法規(guī)則

將簡介、短評、直接融合三種方法訓(xùn)練出來的基分類器作為輸入，正值概率和負(fù)值概率分別相加，如果正值概率和＞負(fù)值概率和，則測試樣本包含測試標(biāo)簽，否則不包含測試標(biāo)簽，如式（3）所示。

5 實驗

5.1 實驗設(shè)置

本實驗使用的數(shù)據(jù)來源于豆瓣電影的電影信息，使用爬蟲工具從互聯(lián)網(wǎng)獲取。選擇使用頻度最高的十個標(biāo)簽，分別使用劇情簡介、短評作為特征內(nèi)容進(jìn)行訓(xùn)練。對抽取的1 751個電影數(shù)據(jù)，進(jìn)行預(yù)處理，選擇其中劇情簡介和短評齊全的1 634個電影數(shù)據(jù)，經(jīng)過次序打亂后重新組織進(jìn)行本次實驗。整理后訓(xùn)練集和測試集樣本數(shù)量如表3所示。

表3 訓(xùn)練集和測試集數(shù)量

實驗使用復(fù)旦大學(xué)的NLP工具包FudanNLP（Version 1.5）進(jìn)行分詞處理。分類算法是支持向量機SVM，使用Joachims的SVM－light工具包中的SVM分類器進(jìn)行分類訓(xùn)練。使用簡介與短評的直接融合，投票規(guī)則，加法規(guī)則分別進(jìn)行分類器的融合，并將融合結(jié)果與單一使用簡介、短評和關(guān)鍵詞進(jìn)行分類的結(jié)果進(jìn)行對比，采用準(zhǔn)確率（precision）、召回率（recall）和F值（F－measure）這三個指標(biāo)對模型推薦結(jié)果進(jìn)行評價。

5.2 實驗結(jié)果與分析

實驗結(jié)果如表4和圖2所示，Summary表示使用劇情簡介進(jìn)行標(biāo)簽推薦，Comments表示使用短評信息進(jìn)行標(biāo)簽推薦，Keyword表示使用關(guān)鍵詞搜索匹配的方法進(jìn)行標(biāo)簽推薦，Sum＋Com表示使用劇情簡介和短評信息的直接融合進(jìn)行標(biāo)簽推薦，Vote表示使用投票規(guī)則融合分類器進(jìn)行標(biāo)簽推薦，Summation表示使用加法規(guī)則融合分類器進(jìn)行標(biāo)簽推薦。

表4 各分類器及融合分類器的準(zhǔn)確率、召回率、F1值比較

從表4的結(jié)果可以看出，使用直接融合、投票規(guī)則、加法規(guī)則的方法都比單一使用Summary或Comments的分類方法有較大的提高，F(xiàn)1平均值比Summary分別提高了3.99%，4.00%，3.70%，比Comments分別提高了9.69%，9.70%，9.40%，比Keyword分別提高了31.43%，31.44%，31.14%。從而證明融合兩方面信息比只用一方面信息更有效。

從圖2的結(jié)果可以看出，不同的標(biāo)簽分類結(jié)果有一定的差異，表示屬性的名詞類標(biāo)簽，如“美國”、“愛情”、“動畫”、“科幻”、“動作”、“香港”在Summary中大多已被描述，分類結(jié)果良好。而形容詞性的標(biāo)簽，如“經(jīng)典”、“搞笑”，在Summary中一般不包含，在短評中卻常被用戶描述，通過Summary與Comments的融合也獲得了比較好的結(jié)果。而名詞“劇情”既不表示電影的屬性，也不是對電影的評價，而是電影的二級屬性，在Summary和Comments中被描述的可能性都較低，分類結(jié)果低于平均水平。

實驗證明，融合方法對單一的訓(xùn)練具有更好的性能，可以充分利用Summary和Comments的優(yōu)勢，對電影標(biāo)簽進(jìn)行有效的自動推薦。

圖2 各分類器及融合分類器在不同標(biāo)簽上的F1值柱狀比較

6 結(jié)論和下一步工作

本文提出利用劇情簡介和短評信息各自的優(yōu)勢，使用劇情簡介和短評的信息進(jìn)行電影標(biāo)簽自動推薦。針對劇情簡介和短評的基分類結(jié)果，分別使用直接融合、投票規(guī)則、加法規(guī)則等方法進(jìn)行分類器融合，實驗結(jié)果表明融合后的結(jié)果都明顯的好于單一信息進(jìn)行標(biāo)簽推薦的方式。下一步計劃進(jìn)一步探討其他的融合方法的使用，以及利用電影相關(guān)的其他信息，如影評、問答、相關(guān)電影、相似電影等信息進(jìn)行標(biāo)簽推薦的研究。

［1］ Eck D，Lamere P，Bertin－Mahieux T，and Green S.Automatic Generation of Social Tags for Music Recommendation［C］／／Proceedings of the NIPS.2007，8：385－392.

［2］ Yanbe Y，Jatowt A，Nakamura S，and Tanaka K.Can Social Bookmarking Enhance Search in the Web？［C］／／Proceedings of the 7th ACM／IEEE－CS joint conference on Digital libraries.2007：107－116.

［3］ Zhou T C，Ma H，Lyu M，and King I.UserRec：A User Recommendation Framework in Social Tagging Systems［C］／／Proceedings of the AAAI.2010：1486－1491.

［4］ Hotho A，J?schke R，Schmitz C，and Stumme G.Trend detection in folksonomies［M］.Semantic Multimedia.Springer Berlin Heidelberg，2006：56－70.

［5］ Wetzker R，Zimmermann C，Bauckhage C，and Albayrak S.I tag，you tag：translating tags for advanced user models［C］／／Proceedings of the WSDM.2010：71－80.

［6］ Mirizzi R，Ragone A，Di Noia T，and Di Sciascio E.Semantic tags generation and retrieval for online advertising［C］／／Proceedings of the CIKM.2010：1089－1098.

［7］ Ohkura T，Kiyota Y，and Nakagawa H.Browsing System for Weblog Articles based on Automated Folksonomy［C］／／Proceedings of the WWW.2006：25－27.

［8］ Mishne G.AutoTag：a collaborative approach to automated tag assignment for weblog posts［C］／／Proceedings of the WWW.2006：953－954.

［9］ Blei D M，Ng A Y，and Jordan M I.Latent Dirichlet Allocation［J］.Journal of Machine Learning Research，2003：993－1022.

［10］ Hofmann T.Probabilistic Latent Semantic Indexing［C］／／Proceedings of the SIGIR.1999：50－57.

［11］ Blei D，and McAuliffe J.Supervised topic models［C］／／Proceedings of the NIPS.2008，20：121－128.

［12］ Si X，and Sun M.Tag－LDA for Scalable Real－time Tag Recommendation［J］.Journal of Computational Information Systems，2009：6（2）.

［13］ Herlocker J L，Konstan J A，Borchers A，Riedl J.An algorithmic framework for performing collaborative filtering［C］／／Proceedings of the SIGIR.1999：230－237.

［14］ Herlocker J L，Konstan J A，Terveen L G，and Riedl J.Evaluating collaborative filtering recommender systems［C］／／Proceedings of the ACM Transactions on Information Systems（TOIS）.2004，22（1）：5－53.

［15］ Resnick P，and Varian H R.Recommender systems［C］／／Proceedings of the Communications of the ACM，1997，40（3）：56－58.

［16］ Nakamoto R，Nakajima S，Miyazaki J，and Uemura S.Tag－Based Contextual Collaborative Filtering［J］.IAENG International Journal of Computer Science，2007，34（2）：35－37.

［17］ Niwa S，and Honiden S.Web Page Recommender System based on Folksonomy Mining［C］／／Proceedings of the Information Technology：New Generations.2006：388－393.

［18］ Gemmell J，Shepitsen A，Mobasher B，and Burke R.Personalizing navigation in folksonomies using hierarchical tag clustering［M］.Springer Berlin Heidelberg，2008：196－205.

［19］ Santos－Neto E，Ripeanu M，and Iamnitchi A.Tracking user attention in collaborative tagging communities［C］／／Proceedings of the International ACM／IEEE Workshop on Contextualized Attention Metadata：Personalized Access to Digital Resources，2007.

［20］ Liu X，Wang Y，Liu Z，and Xie M.Tag recommendation based on continuous conditional random fields［C］／／Proceedings of the Information Management，Innovation Management and Industrial Engineering，2009International Conference on IEEE，2009，3：475－480.

［21］ J?schke R，Marinho L，Hotho A，and Schmidt－Thieme L.Tag recommendations in social bookmarking systems［J］.Ai Communications，2008，21（4）：231－247.

［22］ Rendle S，Balby Marinho L，Nanopoulos A，and Schmidt－Thieme L.Learning optimal ranking with tensor factorization for tag recommendation［C］／／Proceedings of the KDD.2009：727－736.

［23］ Kittler J，Hatef M，Duin R P W，and Matas J.On combining classifiers［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，1998，20（3）：226－239.