基于改進(jìn)LDA主題模型的個(gè)性化新聞推薦算法

丁正祁 彭余輝 孫剛

摘 要：結(jié)合用戶興趣與新聞時(shí)效性的特點(diǎn)，對(duì)傳統(tǒng)推薦算法和標(biāo)準(zhǔn)LDA主題模型進(jìn)行思考，提出一種基于LDA（Latent Dirichlet Allocation）的文檔-主題-詞的三層貝葉斯概率模型結(jié)合時(shí)間函數(shù)的推薦算法，采用Gibbs Sampling進(jìn)行超參數(shù)推導(dǎo)，提升推薦效果。實(shí)驗(yàn)結(jié)果表明，該算法在適當(dāng)參數(shù)設(shè)定下的推薦結(jié)果比協(xié)同過(guò)濾及標(biāo)準(zhǔn)的基于改進(jìn)LDA模型的算法有更小的預(yù)測(cè)誤差，向用戶推薦偏好新聞更有效率。

關(guān)鍵詞：LDA主題模型;貝葉斯模型;推薦算法;時(shí)間函數(shù)

中圖分類號(hào)：TP391;O212.8 ?文獻(xiàn)標(biāo)識(shí)碼：A ?文章編號(hào)：1673-260X（2021）06-0028-05

在網(wǎng)絡(luò)迅速發(fā)展的今天，隨著各種新聞網(wǎng)站的出現(xiàn)，報(bào)紙等紙質(zhì)新聞已經(jīng)逐漸離開(kāi)人們的視線，給人們帶來(lái)了極大的方便，人們能夠通過(guò)網(wǎng)絡(luò)來(lái)了解自己所偏好的新聞信息，但隨著新聞信息井噴式的增加與高速的更新效率，海量的信息帶來(lái)了大量的無(wú)用新聞以及重復(fù)新聞，甚至無(wú)法使今日新聞及時(shí)準(zhǔn)確地推薦給用戶，導(dǎo)致用戶的需求無(wú)法及時(shí)滿足，失去用戶對(duì)新聞網(wǎng)站的友好度[1]。但隨著推薦系統(tǒng)的使用與普及，各大新聞網(wǎng)站通過(guò)適當(dāng)?shù)耐扑]算法對(duì)用戶的偏好、瀏覽記錄、點(diǎn)擊率等信息進(jìn)行分析整合，通過(guò)預(yù)測(cè)用戶的興趣計(jì)算出相應(yīng)的推薦列表，將靠前的新聞信息推薦給用戶。

當(dāng)前在新聞推薦中主流的推薦算法包括基于內(nèi)容的推薦和協(xié)同過(guò)濾推薦算法?；趦?nèi)容的推薦算法是通過(guò)對(duì)用戶瀏覽新聞歷史進(jìn)行提取關(guān)鍵詞，進(jìn)行統(tǒng)計(jì)整合，判斷用戶對(duì)新聞?lì)悇e的偏好，再將與用戶偏好新聞信息內(nèi)容相似的新聞推薦給該用戶，并且無(wú)冷啟動(dòng)問(wèn)題?；谟脩舻膮f(xié)同過(guò)濾推薦是通過(guò)獲取不同用戶的瀏覽記錄來(lái)找到和目標(biāo)用戶相似的用戶集合，并通過(guò)相似計(jì)算將用戶集合中的偏好新聞相似的但目標(biāo)用戶未瀏覽過(guò)的新聞推薦給目標(biāo)新聞。

1 相關(guān)文獻(xiàn)概述

隨著國(guó)內(nèi)外學(xué)者對(duì)推薦算法的深入研究，越來(lái)越多的因素被考慮進(jìn)推薦算法中，使推薦算法越來(lái)越復(fù)雜，準(zhǔn)確率也越來(lái)越高。在關(guān)于新聞信息方面的推薦，隨著對(duì)推薦算法的不斷研究和探討，其推薦效率也在逐漸提高。通過(guò)對(duì)用戶的喜好和需求來(lái)進(jìn)行推薦新聞內(nèi)容，將有可能是用戶偏好的新聞列表推薦給用戶，解決了用戶盲目尋找的問(wèn)題[2]，但推薦效率和準(zhǔn)確率仍有待提高。一種對(duì)推薦列表進(jìn)行增量更新并融合潛在語(yǔ)義分析的方法來(lái)將新聞文章的相關(guān)性保持正相關(guān)，解決了用戶偏好的不確定性問(wèn)題，但存在語(yǔ)義分歧的狀況[3]。根據(jù)社交和時(shí)間因素提出了一種融合社交網(wǎng)絡(luò)和時(shí)間函數(shù)的主題模型[4]，更多地考慮用戶特征來(lái)增加推薦效率，但卻忽略了內(nèi)容本身。使用LDA聚類的方法對(duì)數(shù)據(jù)進(jìn)行主題簇的劃分，快速給出合理的推薦列表[5]。在LDA模型基礎(chǔ)上加入了對(duì)用戶行為的分析來(lái)提高推薦的有效性和實(shí)時(shí)性[6]。為解決數(shù)據(jù)稀疏性，通過(guò)評(píng)分信息和每個(gè)時(shí)間段的訪問(wèn)量來(lái)構(gòu)建LDA模型，從召回率、F1值等方面進(jìn)行了充分地優(yōu)化[7]。Basilico J等[8-10]也充分說(shuō)明了時(shí)間在推薦算法中的重要性。同樣為了防止出現(xiàn)詞義的混淆、模糊提出了將文本交互信息作為數(shù)據(jù)基礎(chǔ)源來(lái)提高推薦準(zhǔn)確率的TIN-LDA模型[11]。通過(guò)設(shè)置用戶排序主題模型來(lái)反映文檔主題的重要性，進(jìn)而提高用戶對(duì)推薦算法的滿意度[12]。通過(guò)構(gòu)建LDA模型來(lái)發(fā)現(xiàn)用戶對(duì)與部分主題的偏好及興趣分布，極大地滿足了用戶對(duì)推薦算法的需求[13]。通過(guò)LDA結(jié)合多標(biāo)記源分類器得到性能更高的主題模型，并利用主動(dòng)學(xué)習(xí)思想來(lái)提高推薦的準(zhǔn)確度[14]。

基于以上主題模型的研究，通過(guò)分析新聞信息的更新速度以及時(shí)效性，本文通過(guò)構(gòu)造改進(jìn)的LDA主題模型（NR_TLDA）來(lái)進(jìn)行推薦，將用戶瀏覽過(guò)的新聞文本信息轉(zhuǎn)化成容易建模的數(shù)字信息，通過(guò)新聞主題分布及關(guān)鍵詞分布來(lái)判斷用戶的興趣偏好，并結(jié)合時(shí)間衰減函數(shù)緩解因時(shí)間跨度較大帶來(lái)的興趣遷移的影響，將更準(zhǔn)確地推薦列表推薦給目標(biāo)用戶，減少預(yù)測(cè)誤差。

2 NR_TLDA推薦算法

通過(guò)分析用戶瀏覽的新聞文本信息及其時(shí)效性特點(diǎn)，本文在LDA模型提取新聞主題的同時(shí)考慮到新聞發(fā)表時(shí)間，在建模過(guò)程中，對(duì)距離當(dāng)前時(shí)間更近的關(guān)鍵詞給予更大的時(shí)間權(quán)重，通過(guò)對(duì)時(shí)間的限制來(lái)優(yōu)化用戶偏好主題模型，如圖1所示。

2.1 LDA主題模型

LDA模型于2003年由Blei等人提出，是包含document-topic-word的無(wú)監(jiān)督貝葉斯概率模型[15]，訓(xùn)練集不需要手工標(biāo)注。該模型也是典型的詞袋模型[16]，認(rèn)為document由互不關(guān)聯(lián)且無(wú)先后順序的詞匯組成，根據(jù)詞在文中的概率分布來(lái)反映document中的主題分布信息，相對(duì)于提取關(guān)鍵詞技術(shù)[17]，LDA模型更注重語(yǔ)義信息，通過(guò)對(duì)文檔進(jìn)行建模，挖掘出文檔集中潛在的主題信息。

LDA三層貝葉斯模型如圖2所示。其中？琢→？酌m→Zm，n組成Dirichlet-multi共軛，表示從先驗(yàn)Dirichlet分布？琢中取樣生成文檔m的主題分布？酌m，再?gòu)模孔胢中取樣生成文檔m中第n個(gè)詞的doc-word分布Zm，n;

？茁→？啄k→Wm，n組成Dirichlet-multi共軛，表示從先驗(yàn)Dirichlet分布？茁中取樣生成topic-word分布？啄k，再?gòu)模孔膋中采樣生成詞Wm，n。

doc-topic分布和topic-word分布是相互獨(dú)立的，這是因?yàn)橹黝}產(chǎn)生詞時(shí)不依賴任何文檔。

根據(jù)LDA原理及貝葉斯公式可得：

其中p（w|m）表示文檔m中單詞n的分布概率， ?p（w|Zk）表示第k個(gè)主題Z中單詞w的分布概率，p（Zk|m）表示文檔m中第k個(gè)主題的分布概率。

Gibbs采樣是當(dāng)前LDA模型中主流的采樣方法，適用于長(zhǎng)文本信息例如新聞，通過(guò)多次迭代得出doc-topic分布矩陣？酌m和topic-word分布矩陣？啄k，其估算公式如下：

。

Gibbs Sampling是MCMC（馬爾科夫鏈蒙特卡洛）算法的一種，其在LDA模型中的物理意義是在k條doc-topic-word路徑中進(jìn)行采樣，路徑圖如圖3所示。通過(guò)迭代收斂即可得到所有word的主題z，然后統(tǒng)計(jì)topic-word關(guān)系矩陣，即可得到LDA模型。為了得到質(zhì)量更好的主題模型，本文取Gibbs采樣后的所有結(jié)果取平均值來(lái)做參數(shù)估計(jì)。

2.2 構(gòu)造結(jié)合時(shí)間因子的用戶權(quán)重矩陣

統(tǒng)計(jì)每個(gè)用戶中由LDA模型中得出的預(yù)測(cè)值大于0.4的主題個(gè)數(shù)，構(gòu)造user-topic矩陣，用戶在具體某一時(shí)間段的偏好被認(rèn)為是相對(duì)固定的，當(dāng)其對(duì)新聞信息進(jìn)行瀏覽或評(píng)論時(shí)具有時(shí)間屬性，用戶對(duì)同一類型新聞的瀏覽時(shí)間越接近，說(shuō)明其在此時(shí)間段的興趣偏好越相似，由此可以加入時(shí)間因子來(lái)計(jì)算用戶偏好矩陣。

時(shí)間衰減因子函數(shù)常用指數(shù)衰減函數(shù)，其時(shí)間因子權(quán)重公式：

tu，i=exp{-？子（tn-thu，i）} ?（4）

其中tu，i表示時(shí)間權(quán)重，tn表示當(dāng)前時(shí)間點(diǎn)，thu，i表示用戶u瀏覽新聞i的時(shí)間點(diǎn)，？子表示權(quán)重參數(shù)。

在計(jì)算相似度的過(guò)程中，用戶對(duì)某類新聞主題的評(píng)分用該類新聞主題的個(gè)數(shù)來(lái)代替，在這里使用Pearson系數(shù)來(lái)計(jì)算相似度，可得結(jié)合時(shí)間因子的用戶相似度為：

其中sim（u，v）指用戶u和v間考慮時(shí)間因子后的相似度，tui指用戶u瀏覽某類新聞i的時(shí)間權(quán)重，rui指用戶瀏覽某類新聞的次數(shù)（以下均以評(píng)分對(duì)待）。

根據(jù)sim（u，v）值按照順序排列選出用戶的最近鄰，然后使用平均偏差法對(duì)相應(yīng)新聞進(jìn)行預(yù)測(cè)評(píng)分，公式為：

其中qui表示用戶u對(duì)新聞i的預(yù)測(cè)評(píng)分，N（u）k表示與用戶u相似度最大的前k個(gè)用戶，ru表示用戶已有評(píng)分的平均值，rvi指用戶v對(duì)新聞i的評(píng)分，由此可得user-topic的偏好矩陣。

2.3 通過(guò)對(duì)user-topic矩陣加權(quán)處理產(chǎn)生推薦

根據(jù)上式得到的預(yù)測(cè)值進(jìn)行排序，取排在前N名的新聞推薦給用戶，針對(duì)推薦過(guò)程中的新用戶問(wèn)題，對(duì)其推薦熱門(mén)物品來(lái)解決冷啟動(dòng)問(wèn)題。

2.4 NR_TLDA推薦算法描述

算法：基于改進(jìn)LDA主題模型的個(gè)性化新聞推薦算法;輸入：分詞后的新聞信息文本集、主題數(shù)K、超參數(shù)？琢和？茁;輸出：doc-topic概率分布？酌、topic-word分布？啄、目標(biāo)用戶對(duì)新聞信息的預(yù)測(cè)評(píng)分pre。

步驟1 對(duì)爬取的新聞信息文本集D進(jìn)行數(shù)據(jù)預(yù)處理，通過(guò)LDA模型進(jìn)行建模處理，生成doc-topic和topic-word分布。

步驟2 通過(guò)Gibbs采樣得到最終收斂的？啄，？酌參數(shù)估計(jì)值（采樣結(jié)果取平均值），得到標(biāo)準(zhǔn)LDA模型。

步驟3 將預(yù)處理后的用戶新聞信息瀏覽記錄集d導(dǎo)入LDA模型，生成user-topic概率模型，每當(dāng)用戶瀏覽一條新聞信息文本，該概率模型會(huì)更新一次。

步驟4 根據(jù)步驟3中得到的主題模型，統(tǒng)計(jì)pre>0.4的主題數(shù)目，得到user-topic列表。

步驟5 加入時(shí)間權(quán)重tu，i，通過(guò)Pearson系數(shù)進(jìn)行相似度計(jì)算，得到user-topic矩陣。

步驟6 將步驟3和步驟5中的用戶偏好矩陣進(jìn)行加權(quán)處理，得到最終的偏好矩陣（即輸出目標(biāo)用戶對(duì)新聞信息的預(yù)測(cè)評(píng)分pre），將生成的Top-N列表推薦給用戶，并將用戶所瀏覽的記錄加入用戶新聞信息瀏覽記錄集d中。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)驗(yàn)設(shè)置

本實(shí)驗(yàn)數(shù)據(jù)集是通過(guò)Google瀏覽器及python爬蟲(chóng)爬取今日頭條新聞網(wǎng)站50，000多條各類新聞信息及50名用戶的新聞瀏覽記錄信息9，000余條。為了確保推薦的有效性，將瀏覽記錄數(shù)低于20條新聞信息的用戶過(guò)濾。

本文實(shí)驗(yàn)環(huán)境為Windows10操作系統(tǒng)，Pycharm，Seleuimn，Python。

本文中LDA建模過(guò)程中，根據(jù)經(jīng)驗(yàn)所得，設(shè)置超參數(shù)？琢=0.1，？茁=0.01，Gibbs采樣迭代次數(shù)為2000，設(shè)置N為10。

3.2 數(shù)據(jù)預(yù)處理

在進(jìn)行實(shí)驗(yàn)之前，為了保證數(shù)據(jù)的可塑性，需要對(duì)原始數(shù)據(jù)進(jìn)行預(yù)處理，通過(guò)去噪、處理缺失值、文本合并、分詞、去停用詞。選取用戶瀏覽記錄集中80%作為訓(xùn)練集，另外20%作為測(cè)試集。

3.3 實(shí)驗(yàn)評(píng)估指標(biāo)

通過(guò)閱讀文獻(xiàn)，Herlocker等人對(duì)推薦算法中的衡量標(biāo)準(zhǔn)進(jìn)行了詳細(xì)的講解，為了使模型的效果能更好地展現(xiàn)出來(lái)，本文采用準(zhǔn)確率（Precision）、召回率（Recall）、F-Measure（F1）作為衡量NR_TLDA推薦算法效果的標(biāo)準(zhǔn)[18]。

Precision是指命中的新聞信息數(shù)目占推薦新聞總數(shù)的比例，其公式為：

其中|hitsu|指在推薦的新聞列表中，用戶u所瀏覽過(guò)的新聞數(shù)目，|recsetu|指推薦給用戶u的新聞列表集合的總數(shù)目。

Recall是指命中新聞信息數(shù)目占理論上最大命中數(shù)量的比例，其公式為：

其中|testsetu|指用戶u理論上應(yīng)該推薦相關(guān)新聞數(shù)目的最大值。

為了觀察Precision和Recall之間的權(quán)衡變化，需要增加推薦集合的規(guī)模，命中相關(guān)新聞信息的機(jī)會(huì)就會(huì)增加，Recall就會(huì)增加，而Precision則會(huì)降低。為了有效地平衡Precision和Recall，使用F1衡量標(biāo)準(zhǔn)，其公式為：

F1值隨著Precision和Recall的變化而變化，并且當(dāng)F1值較高時(shí)，模型效果更好。

3.4 實(shí)驗(yàn)對(duì)比分析

根據(jù)當(dāng)前的研究成果和大量文獻(xiàn)表明，在推薦算法領(lǐng)域應(yīng)用LDA主題模型的準(zhǔn)確性要比協(xié)同過(guò)濾算法高，同時(shí)時(shí)間因素也是增加準(zhǔn)確性的因素之一。因此，本文所提出的算法NR_TLDA將與基于標(biāo)準(zhǔn)的LDA主題模型推薦算法、本文算法中未增加時(shí)間因素的NR_LDA算法及協(xié)同過(guò)濾（CF）推薦算法進(jìn)行比較。

3.4.1 LDA主題模型潛在主題個(gè)數(shù)K的確定

為了觀察LDA隱含主題的個(gè)數(shù)對(duì)推薦算法的影響，設(shè)置推薦列表N長(zhǎng)度為10時(shí)，K值為5、10、15、20、25、30，觀察Recall值的變化，如圖5所示。

從圖5中可以得知，當(dāng)推薦列表不變時(shí)，通過(guò)設(shè)置LDA隱含主題數(shù)目，觀察Recall值變化情況可以看出，Recall值先增加然后下降到一定高度后基本保持穩(wěn)定，當(dāng)K=10時(shí)，Recall值達(dá)到最大，說(shuō)明此時(shí)的K值最合適，推薦效果最好，以下實(shí)驗(yàn)均采用K=10進(jìn)行實(shí)驗(yàn)。

3.4.2 算法對(duì)比結(jié)果

為了使實(shí)驗(yàn)更具有說(shuō)服力，在這里對(duì)上述四種算法進(jìn)行實(shí)驗(yàn)，通過(guò)多次實(shí)驗(yàn)進(jìn)而比較它們的準(zhǔn)確率、召回率、F1值。

由圖6可知，通過(guò)對(duì)比四種算法，隨著推薦列表的增加，準(zhǔn)確率在降低，最后趨于平穩(wěn)，但當(dāng)推薦列表固定時(shí)，本文算法NR_LDA的準(zhǔn)確率是最高的，說(shuō)明結(jié)合時(shí)間因子的LDA模型推薦算法要比未考慮時(shí)間因素的靜態(tài)LDA推薦算法（NR_LDA）及CF等推薦算法的推薦效果更好。

召回率作為推薦算法中的一種評(píng)估方法，也可以有效評(píng)估推薦算法的推薦效果，從圖7可知，隨著Top-N的增加，召回率在增加，最后趨于平衡，本文算法NR_TLDA算法在固定推薦列表下召回率高于其他三種推薦算法，說(shuō)明NR_TLDA推薦算法的效果更好。

為了平衡準(zhǔn)確率和召回率，使用F1值來(lái)作為評(píng)估指標(biāo)，由圖8可知，隨著Top-N的增加，F(xiàn)1值在增加，最后趨于平穩(wěn)，而在四種算法中，NR_TLDA算法的F1值要高于其他算法，即NR_TLDA算法的推薦效果由于其他算法。

由表1可知，本文算法在離線階段進(jìn)行矩陣處理的時(shí)長(zhǎng)要比其他算法多，但在線階段所需時(shí)間較少，說(shuō)明該算法在本數(shù)據(jù)集中有較好的推薦體驗(yàn)。

4 實(shí)驗(yàn)總結(jié)

在NR_TLDA算法中，將新聞文本、新聞主題、詞作為三層貝葉斯結(jié)構(gòu)來(lái)進(jìn)行建模，通過(guò)統(tǒng)計(jì)主題數(shù)目來(lái)解決用戶對(duì)每一類新聞的評(píng)分問(wèn)題，再結(jié)合時(shí)間因子來(lái)完善用戶對(duì)新聞信息的偏好程度，再根據(jù)實(shí)驗(yàn)過(guò)程中用戶每一次瀏覽的新聞?dòng)涗泴?duì)LDA模型進(jìn)行完善，并將兩user-topic矩陣進(jìn)行加權(quán)融合，形成最終的偏好矩陣。在此次設(shè)計(jì)與實(shí)驗(yàn)過(guò)程中，用戶的閱讀興趣會(huì)隨著時(shí)間的變化而影響推薦質(zhì)量，時(shí)間因子很好地緩解了這種問(wèn)題。

下一步可以采用矩陣分解來(lái)對(duì)LDA模型進(jìn)行分解，更加全面地考慮新聞和用戶的屬性，并結(jié)合用戶的評(píng)論來(lái)提取特征詞，更全面地建立用戶的興趣模型，來(lái)更好地提升推薦質(zhì)量。

參考文獻(xiàn)：

〔1〕徐毅，葉衛(wèi)根，戴鑫，等.融合用戶信任度與相似度的推薦算法研究[J].小型微型計(jì)算機(jī)系統(tǒng)，2018， 39（01）：78-83.

〔2〕王博.新聞內(nèi)容推薦算法研究[J].信息與電腦（理論版），2016，28（06）：146-147.

〔3〕劉輝，萬(wàn)程峰，吳曉浩.基于增量協(xié)同過(guò)濾和潛在語(yǔ)義分析的混合推薦算法[J].計(jì)算機(jī)工程與科學(xué)，2019，41（11）：2033-2039.

〔4〕高茂庭，王吉.融合用戶關(guān)系和時(shí)間因素的主題模型推薦算法[J/OL].計(jì)算機(jī)工程：1-7[2020-07-25].https：//doi.org/10.19678/j.issn.1000-34 28.0054096.

〔5〕程磊，高茂庭.結(jié)合時(shí)間加權(quán)和LDA聚類的混合推薦算法[J].計(jì)算機(jī)工程與應(yīng)用，2019，55（11）：160-166.

〔6〕李散散.基于用戶行為分析和LDA模型的數(shù)字媒體推薦系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J].現(xiàn)代電子技術(shù)，2020，43（07）：146-149+154.

〔7〕魏童童，馮鈞，唐志賢，王純.基于時(shí)序背景LDA與協(xié)同過(guò)濾的混合推薦模型[J].計(jì)算機(jī)與現(xiàn)代化，2015，31（10）：1-5+9.

〔8〕Basilico J， Raimond Y. Déjà Vu： The Importance of Time and Causality in Recommender Systems[C].the Eleventh ACM Conference. 2017.

〔9〕Jin X， Zheng Q， Sun L. An Optimization of Collaborative Filtering Personalized Recommendation Algorithm Based on Time Context Information[M]. Information and Knowledge Management in Complex Systems. Springer International Publishing， 2015.

〔10〕Hu Y， Peng Q， Hu X， et al. Web Service Recommendation Based on Time Series Forecasting and Collaborative Filtering[C]. IEEE International Conference on Web Services. IEEE Computer Society， 2015.

〔11〕鄭偉.基于TIN-LDA模型的微博推薦方法研究及應(yīng)用[D].安徽理工大學(xué)，2019.

〔12〕車豐.基于排序主題模型的論文推薦系統(tǒng)[D].大連海事大學(xué)，2015.

〔13〕邸亮.基于主題模型的個(gè)性化信息推薦[D].北京工業(yè)大學(xué)，2014.

〔14〕侯濤文.基于LDA的多標(biāo)記源文本分類研究[D].北京建筑大學(xué)，2019.

〔15〕Jordan M I，Blei D M. Latent Dirichlet Allocation[J]. Journal of Machine Learning Research，2003，3： 465-473.

〔16〕陳二靜，姜恩波.文本相似度計(jì)算方法研究綜述[J].數(shù)據(jù)分析與知識(shí)發(fā)現(xiàn)，2017，1（06）：1-11.

〔17〕雷琨.電子商務(wù)個(gè)性化推薦系統(tǒng)研究[D].電子科技大學(xué)，2012.

〔18〕Herlocker J L， Konstan J A， Terveen L G， et al. Evaluating collaborative filtering recommender systems[J]. ACM Transactions on Information Systems （TOIS）， 2004，22（01）： 5-53.