論新聞個(gè)性化推薦系統(tǒng)

匡文波 陳小龍

個(gè)性化新聞推薦系統(tǒng)是目前最為火熱的研究領(lǐng)域，今日頭條、一點(diǎn)資訊等新聞閱讀產(chǎn)品都以自己的個(gè)性化算法作為吸引用戶的賣點(diǎn)。然而，新聞的個(gè)性化推薦系統(tǒng)是一個(gè)極為復(fù)雜的系統(tǒng)，需要自然語言處理、特征工程、機(jī)器學(xué)習(xí)、大數(shù)據(jù)計(jì)算等多個(gè)領(lǐng)域的知識(shí)。

個(gè)性化新聞推薦系統(tǒng)在實(shí)際的應(yīng)用中褒貶不一，對今日頭條的一些用戶的訪談，可以發(fā)現(xiàn)以目前個(gè)性化推薦算法的實(shí)際效果來看，由于其往往結(jié)合了一些低質(zhì)內(nèi)容，利用人性的弱點(diǎn)，導(dǎo)致過度娛樂化的新聞泛濫。這些刺激感官的內(nèi)容吸引人們點(diǎn)擊，造成了點(diǎn)擊量上的“虛假繁榮”，看似點(diǎn)擊量高，用戶喜愛，廣告效果好，其實(shí)卻是在大量推送垃圾信息，造成用戶的“信息成癮”。對于這些存在的問題，除了技術(shù)上繼續(xù)加強(qiáng)改進(jìn)外，企業(yè)應(yīng)當(dāng)改變唯點(diǎn)擊的慣例，注意履行社會(huì)責(zé)任。政府應(yīng)當(dāng)加強(qiáng)引導(dǎo)和監(jiān)管，對于有問題的企業(yè)和平臺(tái)予以懲戒。個(gè)人來說，應(yīng)當(dāng)注意到個(gè)性化推薦的雙刃劍作用，使自己不沉溺于其中。

2006年，F(xiàn)acebook最早在其網(wǎng)頁端推出了Newsfeed頁面，讓用戶能夠在個(gè)人主頁上以信息流的形式看到朋友們的更新。這個(gè)功能最開始并不是很被用戶喜歡，但是隨后Facebook對其不斷進(jìn)行更新，最終使其成為社交類App的主流信息展現(xiàn)方式。在移動(dòng)互聯(lián)網(wǎng)浪潮來襲之下，F(xiàn)acebook手機(jī)App，以及大量其他類別的App，特別是新聞信息類App，也都開始采用這種方式來構(gòu)建他們的手機(jī)頁面。

一、一般熱門推薦算法

熱門推薦算法（Hot）在互聯(lián)網(wǎng)早期就發(fā)展起來了，新聞網(wǎng)站如雅虎，常常可以看到類似“Trending”的欄目，這些欄目所推薦算法就被稱為熱門推薦算法。熱門推薦算法是一類算法，其本身原理比較簡單，也沒有運(yùn)用機(jī)器學(xué)習(xí)和人工智能技術(shù)，主要還是針對新聞當(dāng)前瀏覽情況，對全體用戶做無差別的推薦。

（一）聚合計(jì)算

熱門推薦算法是基于聚合計(jì)算的算法，這種算法使用發(fā)表時(shí)間、點(diǎn)擊量、點(diǎn)贊量、點(diǎn)踩量、獨(dú)立訪客數(shù)等指標(biāo)，綜合給出一個(gè)新聞推薦的排序列表。其中，所謂的聚合計(jì)算，指的就是數(shù)據(jù)的加總，包括求和、求平均值、求最大最小值等方式，如此處理完之后，再把結(jié)果排序并展示到頁面上。

（二）時(shí)間因素

新聞信息很關(guān)鍵的一個(gè)因素就是信息本身的時(shí)新性，其位列新聞價(jià)值五大要素之首。因此根據(jù)業(yè)務(wù)場景去合理考慮時(shí)間因素的作用是一個(gè)成功的Hot類算法的必要條件。

（三）案例

1.Hacker News新聞排序算法

Hacker News（https：//news.Ycombinator.com/）是一個(gè)很有特色的國外技術(shù)創(chuàng)投信息網(wǎng)站。

在Hacker News看來，時(shí)間因子對信息的作用是先使其價(jià)值快速下降，之后下降的速度會(huì)越來越慢。此外，HackerNews關(guān)心用戶對新聞主動(dòng)做出評價(jià)的點(diǎn)贊數(shù)目，而不關(guān)心點(diǎn)擊數(shù)本身。這樣的設(shè)計(jì)可能會(huì)使“標(biāo)題黨”“灌水”類新聞因?yàn)闆]人點(diǎn)贊快速沉下去，而真正被用戶好評的新聞會(huì)排名到比較高的位置，這體現(xiàn)了該網(wǎng)站所有者對優(yōu)質(zhì)內(nèi)容的傾向性。

2.Reddit信息排序算法

Reddit（https：//www.reddit.com）是一個(gè)國外知名的社交新聞?wù)军c(diǎn)。該網(wǎng)站的新聞條目已超過3000萬條，頁面瀏覽量達(dá)到370億次，獨(dú)立訪客超過4000萬人。

Reddit充分考慮了用戶評分絕對值， 是否正面， 以及發(fā)布時(shí)間。

第一，時(shí)間的因素

從時(shí)間角度，Hacker News的算法使得一個(gè)帖子的得分隨著時(shí)間流逝而下降。而Reddit則選擇是用帖子的發(fā)表時(shí)間來計(jì)算得分，因此一個(gè)帖子一旦發(fā)表之后得分不會(huì)隨著時(shí)間流逝而下降。但是新發(fā)表的帖子由于其時(shí)間t值較大，會(huì)有更高的得分。因此，Reddit算法事實(shí)上實(shí)現(xiàn)了讓一個(gè)帖子的相對排名隨著時(shí)間下降的效果。

第二，用戶評分的平滑處理

用戶評分絕對值使用了對數(shù)函數(shù)來做平滑，以適應(yīng)Reddit這樣高瀏覽量網(wǎng)站。由于對數(shù)函數(shù)的特性，因此最開始的10票，和接下去的100票，以及接下去的1000票對得分的提升作用是相等的。對數(shù)函數(shù)的平滑作用，使得某些獲得超高用戶評分絕對值的帖子不至于常年霸榜，使得新的帖子有機(jī)會(huì)”打敗”它們。

第三，爭議性大的帖子容易得到低分

在Reddit的算法中，如果贊踩數(shù)目相當(dāng)?shù)脑?，容易?dǎo)致帖子的得分較低。其他條件一致的話，100贊的帖子與1000贊900踩的帖子實(shí)際上會(huì)得到一樣的得分。這個(gè)特點(diǎn)可能會(huì)導(dǎo)致那些比較一邊倒的帖子被頂在頁面上方，而爭議性大的帖子容易沉下去。

二、個(gè)性化推薦系統(tǒng)的相關(guān)概念及變量

熱門推薦：聚合計(jì)算出實(shí)時(shí)的十大熱門新聞，如國乒退賽等推薦給用戶。這樣的新聞?dòng)泻艽罂赡軙?huì)引起用戶關(guān)注。

相關(guān)推薦：與用戶當(dāng)前正在閱讀文章主題相關(guān)的相關(guān)推薦。

用戶的短期興趣：根據(jù)用戶最近的行為來進(jìn)行推薦，比如用戶剛剛閱讀了和“朝鮮”相關(guān)的新聞，剛剛在App中搜索了“范冰冰”關(guān)鍵詞則識(shí)別出用戶短期的興趣是“范冰冰”和“朝鮮”。短期興趣和相關(guān)推薦技術(shù)上可能是一樣的。

用戶的長期興趣：也叫用戶畫像，是用戶的長期口味，技術(shù)上的本質(zhì)是一組用戶ID所對應(yīng)的一組Keyword；比如某個(gè)用戶常年閱讀軍事相關(guān)的新聞，就會(huì)形成一組相應(yīng)的Keyword。長期興趣還會(huì)考慮進(jìn)用戶的地理、年齡、性別、畢業(yè)院校等多個(gè)人口統(tǒng)計(jì)學(xué)因素。當(dāng)然了，長期興趣的推薦可能會(huì)不僅僅只使用用戶自身的用戶畫像，可能還會(huì)計(jì)算與用戶的用戶畫像相似的其他用戶，并找出其他用戶看過而這個(gè)用戶沒看過的新聞進(jìn)行推薦，這就構(gòu)成了協(xié)同過濾。

融合：把以上所述的推薦結(jié)果，都打亂了放在一起展示給用戶，就叫作融合。

例如，李老師是一個(gè)家住在北京海淀區(qū)的軍事迷，他用戶ID為10123，他的用戶畫像可能是這樣的：profiles[10123]={“戰(zhàn)斗機(jī)”“航母”“導(dǎo)彈”“重返亞太”“朝鮮”“核武器”“敘利亞”“俄羅斯”“海淀區(qū)”“北京”}。（假設(shè)系統(tǒng)數(shù)據(jù)庫只保存10個(gè)tag）

我們可以假設(shè)這么一個(gè)場景，李老師剛剛打開某某頭條App，點(diǎn)擊了兩則題為“朝鮮再次進(jìn)行導(dǎo)彈試驗(yàn)引發(fā)日本恐慌”，“范冰冰李晨快樂大本營再秀恩愛”。

算法在給李老師做推薦時(shí)，會(huì)獲取到三類新聞，第一類是當(dāng)前實(shí)時(shí)的熱門新聞Top10，第二類是根據(jù)李老師長期興趣所推薦的一些軍事、國際及北京海淀區(qū)的新聞，第三類則是朝鮮、導(dǎo)彈、范冰冰李晨相關(guān)的最新新聞。最終，在App用戶界面上，這三類界面可能是交錯(cuò)展示的，也就是按一定的比例進(jìn)行了融合。

三、新聞文本的特征提取

對一篇新聞文本，我們需要對其進(jìn)行特征提取，這樣才能進(jìn)行相似度計(jì)算。所謂特征，就是用來表征一個(gè)新聞，或者一個(gè)電影的一組值。比如對一部電影來說，可能有男主演、女主演、導(dǎo)演、國家、語言等這些特征。但是對于新聞文本來說，卻沒有這么簡單。提取新聞文本的特征需要使用TF-IDF方法。

TF-IDF（Term Frequency-Inverse Document Frequency）算法，計(jì)算的是一個(gè)關(guān)鍵詞的權(quán)重值（weight）。TF-IDF權(quán)重經(jīng)常被用作信息檢索和文本挖掘領(lǐng)域的應(yīng)用。

在提供了一個(gè)語料庫的前提下，該方法通過統(tǒng)計(jì)手段，得出某文本中的某一個(gè)詞語的重要性/獨(dú)特性。TF-IDF方法中，當(dāng)一個(gè)詞語在給定文本中的出現(xiàn)頻次越高，且在語料庫中包含該詞語的文檔數(shù)目越低，則該詞語的權(quán)重值（也可以說是得分）越高。TF-IDF算法，以及其的衍生變種算法，常常被搜索引擎用來給網(wǎng)頁打分和排序。

例如：一個(gè)文本中總共有100個(gè)詞語，其中cat這個(gè)詞出現(xiàn)了3次，那么cat的term frequency（TF）值就是3/100=0.03；而假設(shè)我們語料庫中有1000萬個(gè)文本。其中cat這個(gè)詞出現(xiàn)在1000個(gè)文本當(dāng)中，那么cat的inverse document frequency（IDF）就是log（10，000，000/1，000）=4；因此，cat單詞的TF-IDF得分就是0.03*4=0.12。

四、基于內(nèi)容的推薦（CB）

有兩種截然不同的技術(shù)在新聞推薦系統(tǒng)中十分常用：基于內(nèi)容的推薦和協(xié)同過濾。

基于內(nèi)容的推薦根據(jù)用戶畫像進(jìn)行信息的推薦， 這些用戶畫像是通過分析用戶已經(jīng)閱讀、收藏或者點(diǎn)贊過的信息來進(jìn)行構(gòu)建。 協(xié)同過濾算法則是不僅僅考慮信息內(nèi)容本身， 而更主要靠相似用戶的意見來生成推薦。

兩種推薦方法被廣泛運(yùn)用在內(nèi)容行業(yè)中， 包括在線新聞聚合網(wǎng)頁、移動(dòng)端新聞App、門戶網(wǎng)站、問答網(wǎng)站等。這些系統(tǒng)有的讓用戶在第一次進(jìn)入App時(shí)選擇自己關(guān)注的領(lǐng)域來構(gòu)建用戶畫像的標(biāo)簽， 有的則是通過分析用戶點(diǎn)擊記錄來確定這些標(biāo)簽， 然后后臺(tái)會(huì)根據(jù)用戶畫像和文章之間的相似性來選擇出個(gè)性化推薦內(nèi)容。

基于內(nèi)容的推薦，本質(zhì)上是對用戶畫像與文章特征之間進(jìn)行相似度計(jì)算。用戶畫像與文章特征形式上是完全一致的，都是一組獲得較高TF-IDF權(quán)重的關(guān)鍵詞的集合。

例如：profiles[10123]={“戰(zhàn)斗機(jī)”“航母”“導(dǎo)彈”“重返亞太”“朝鮮”“核武器”“敘利亞”“俄羅斯”“海淀區(qū)”“北京”}。

只要對用戶畫像和文章的特征之間計(jì)算相似度，然后在所有計(jì)算了相似度的文章中，選取相似度最高的K篇文章作為推薦文章發(fā)給用戶即可。

五、基于協(xié)同過濾的推薦（CF）

協(xié)同過濾算法，也叫作社會(huì)過濾方法，是一種通過他人推薦來過濾信息的有效辦法。我們生活中，都喜歡跟自己身邊的朋友來推薦一些電影、書籍和音樂，協(xié)同過濾就是這種樸素生活思想在算法上的體現(xiàn)。協(xié)同過濾首先為你找到和你口味相似的人群，然后把這個(gè)人群的選擇推薦給你。

以電影打分為例：

用戶X對電影I的打分，將由n個(gè)與其相似用戶的打分進(jìn)行加權(quán)平均得到，每個(gè)用戶的權(quán)重取決于其與用戶X的相似度Sxy。可以借鑒基于內(nèi)容推薦的方法，把用戶與用戶之間的相似度計(jì)算轉(zhuǎn)化為用戶畫像與用戶畫像之間的相似度計(jì)算，在找到n個(gè)與用戶X較為相似的用戶畫像之后，將這X個(gè)用戶的用戶畫像中X所沒有的關(guān)鍵詞與用戶X的用戶畫像進(jìn)行合并，構(gòu)成一個(gè)群體畫像。然后，再把這個(gè)群體畫像看作一個(gè)用戶，與各個(gè)新聞文本特征之間計(jì)算相似度，進(jìn)行推薦。

六、矩陣分解方法（MD）

矩陣分解方法（Matrix Decomposition），也叫隱含因子模型（Latent Factormodel），最早出現(xiàn)在電影評價(jià)和商品評價(jià)類別問題上，是一種通過把用戶對商品評價(jià)矩陣分解為用戶對隱含因子的偏好矩陣和商品中包含隱含因子的情況矩陣這么兩個(gè)矩陣來實(shí)現(xiàn)有效推薦的模型。我們可以形象地理解，認(rèn)為用戶對導(dǎo)演、電影類型、電影主演等多個(gè)隱含因子的偏好，那么包含了用戶偏好更多的一部電影，就會(huì)被用戶喜歡的更多。不過隱含因子模型的神奇之處在于，這些隱含因子都是通過矩陣分解方法得到的，并不是我們認(rèn)為從電影中提煉出來一系列特征。因此，有時(shí)候這些隱含因子并不是很容易去用容易理解的因果關(guān)系來解釋。

在新聞推薦問題中，隱含因子的應(yīng)用難度比較大，這主要是由于新聞推薦問題中我們往往只有用戶是否閱讀新聞的數(shù)據(jù)，而沒有打分的數(shù)據(jù)，因此無法進(jìn)行有效的矩陣分解。另外，矩陣分解的計(jì)算量十分巨大，這也影響了其在新聞推薦問題中的應(yīng)用。

七、推薦系統(tǒng)的融合

在實(shí)際新問題推薦中，單一使用某種推薦算法的效果往往不會(huì)有簡單熱門推薦的效果。因此，最好是將熱門推薦，基于內(nèi)容的推薦，基于協(xié)同過濾方法的推薦，乃至其他推薦方法得到的結(jié)果，進(jìn)行某種形式的融合，得到一個(gè)帶有各種算法推薦出來的新聞的集合，再展示給用戶。

一般的融合算法可以是簡單的線性融合，也就是說每個(gè)算法的結(jié)果被賦予一個(gè)固定的比例，然后簡單的加在一起。

八、結(jié)論與展望

個(gè)性化推薦算法的出現(xiàn)，是大數(shù)據(jù)和人工智能技術(shù)發(fā)展的必然結(jié)果。 個(gè)性化推薦算法成功地開辟了除搜索引擎之外又一條滿足用戶個(gè)性化信息獲取的道路， 大大提升了網(wǎng)絡(luò)上浩如煙海的信息被利用的效率， 因此其從技術(shù)上是一個(gè)值得肯定的進(jìn)步。

有時(shí)候用戶過去所點(diǎn)擊的文章，并不是其真正本來想看的， 很可能是被標(biāo)題吸引而點(diǎn)進(jìn)去， 從而導(dǎo)致注意力轉(zhuǎn)移的一種點(diǎn)擊。由于被用戶的點(diǎn)擊所指引，算法可能進(jìn)一步推薦被點(diǎn)擊過的話題相關(guān)的文章，從而往往導(dǎo)致低俗新聞泛濫和信息繭房娛樂至死的問題。

但是， 我們也應(yīng)該看到，由于目前自然語言處理的局限，我們對文章內(nèi)容含義無法做到深入理解，只能從其特有高頻關(guān)鍵詞層面進(jìn)行標(biāo)簽層面的相似度匹配，這樣產(chǎn)生的膚淺層面的話題、標(biāo)簽推薦內(nèi)容， 與用戶氣質(zhì)、性格、生活方式不相匹配，不全是用戶需要的推薦。計(jì)算機(jī)只能幫助我們快速完成簡單重復(fù)工作，很難更深層次地滿足新聞閱讀中的心理需求。 這是未來個(gè)性化推薦系統(tǒng)需要依靠人工智能技術(shù)解決的問題。

參考文獻(xiàn)：

[1]Fast company.com. Fac-

ebooks News Feed just turned 10.https：//www.fastcompany.com/4018352/facebooks-news-feed-just-turned-10.

[2]G.Linden，B.Smith，and J.York.Amazon.com recommendations：Item-to-item collaborative filtering.In IEEE Internet Computing，7（1）：76-80，Jan.2003.

[3]Abhinandan Das，Mayur Datar，Ashutosh Garg，Shyam Rajaram.Google News Persona lization：Scalable Online Collaborative Filtering.WWW2007/Track：Industrial Practiceand Experience，p271，http：//citeseerx.ist.psu.edu/viewdoc/download？doi=10.1.1.80.4329&rep;=rep1

&type;=pdf.

[4]Jure Leskovec，Anand Rajaraman，Jeffrey David Ullman.Mining of Massive Dataset，chapter3，section4.

[5]Jure Leskovec，Anand Ra-

jaraman，Jeffrey David Ullman.Mining of Massive Dataset，chapter3，section5.

[6]Thomas Hofmann.Probabilistic Latent Semantic Analysis.http：//www.iro.umontreal.ca/～nie/IFT6255/Hofmann-UAI99.pdf.

[7]IBMAnalytics.What is MapReduce？ibm.com，https：//www.ibm.com/analytics/hado-

op/mapreduce.

[8]Jiahui Liu，Peter Dolan，Elin R?nby Pedersen，Personalized news recommendation based on click behavior，ACM New York，NY，USA?2010；https：//dl.acm.org/citation.cfm？id=1719976.

[9]Lauren Johnson.Heres a Time line of Yahoos 22-Year History as a Digital Pioneer.Adweek.com.http：//www.adweek.com/digital/heres-timeline-yahoo-s-22-year-history-digital-pioneer-172663/.

[10]Amazon.com.What is St-

reaming Data？Aws.amazon.com.https：//aws.amazon.com/strea-

ming-data/.

[11]Amir Salihefendic.How Hacker News ranking algorithm works.Medium.com，https：//medium.com/hacking-and-gonzo/how-hacker-news-ranking-algorithm-works-1d9b0cf2c08d.

[12]Amir Salihefendic.How Reddit ranking algorithms work.Medium.com，https：//medium.com/hacking-and-gonzo/how-reddit-ranking-algorithms-work-ef111e33d0d9.

[13]Jure Leskovec，Anand Rajaraman，Jeffrey David Ullman.Mining of Massive Dataset，chapter3，section5.

[14]Jure Leskovec，Anand Rajaraman，Jeffrey David Ullman.Mining of Massive Dataset，chapter11，section1.

作者簡介：匡文波，中國人民大學(xué)新聞學(xué)院教授、博士生導(dǎo)師，中國人民大學(xué)新聞與社會(huì)發(fā)展研究中心研究員，全國新聞自考委員會(huì)秘書長，中國科技新聞學(xué)會(huì)常務(wù)理事；陳小龍，中國人民大學(xué)新聞學(xué)院研究生

編輯：徐 峰