一種融合知識圖譜與長短期偏好的下一項(xiàng)推薦算法

沈冬東，汪海濤，姜 瑛，陳 星

(昆明理工大學(xué) 信息工程與自動化學(xué)院，昆明 650500)

1 引 言

推薦系統(tǒng)研究工作主要可以歸納為兩個(gè)主要的研究內(nèi)容.一種為一般推薦方法，這些工作側(cè)重于挖掘用戶和項(xiàng)目之間的靜態(tài)相關(guān)性，這些工作通常由傳統(tǒng)協(xié)同過濾以及變體[1]來表示，其大多數(shù)從靜態(tài)視圖中挖掘用戶—項(xiàng)目的特定關(guān)系，而忽略了隨時(shí)間形成的用戶交互序列隱含著用戶興趣的衰減以及偏好的動態(tài)變化.另一種內(nèi)容是基于序列模式挖掘[2]為用戶推薦下一個(gè)感興趣項(xiàng)目，這些基于序列的模型在短期內(nèi)提供了對用戶決策過程的理解，但用戶偏好的動態(tài)變化以及如何將歷史穩(wěn)定偏好和當(dāng)前偏好完美地結(jié)合起來仍然在很大程度上未被探索.

在上述兩種研究內(nèi)容中，項(xiàng)目相似性的計(jì)算往往占有重要的地位，現(xiàn)有的序列推薦算法往往只關(guān)注用戶的歷史交互序列，而忽略了項(xiàng)目屬性、內(nèi)容之間的聯(lián)系，例如在電影推薦中，同一導(dǎo)演，同一主演等信息可能成為用戶選擇影片的重要決定因素.僅采用用戶的交互序列產(chǎn)生項(xiàng)目的嵌入往往忽略了項(xiàng)目內(nèi)容屬性之間的內(nèi)在聯(lián)系，知識圖譜[3]的引入能將項(xiàng)目之間隱含的聯(lián)系很好地嵌入到項(xiàng)目向量中.知識圖譜是一種結(jié)構(gòu)化的知識圖，圖中的節(jié)點(diǎn)表示現(xiàn)實(shí)世界中的實(shí)物，其中蘊(yùn)含著豐富的結(jié)構(gòu)化知識.對于推薦系統(tǒng)來說，結(jié)構(gòu)化的知識在提高推薦系統(tǒng)的準(zhǔn)確性和可解釋性上提供有效的支持.

另一方面現(xiàn)有的序列推薦算法僅考慮用戶的短期偏好，沒有建模用戶長期穩(wěn)定的歷史偏好與短期內(nèi)偏好的結(jié)合，更準(zhǔn)確的推薦系統(tǒng)不僅應(yīng)該考慮用戶的短期偏好，還應(yīng)該考慮區(qū)別地利用用戶行為信息來考慮歷史穩(wěn)定偏好.

基于上述原因，本文提出一種新的解決方案，稱為融合知識圖譜與長短期偏好的下一項(xiàng)推薦，該算法主要包含兩個(gè)主要組件：項(xiàng)目嵌入和判別性偏好學(xué)習(xí).特別地，本文提出一種新穎的項(xiàng)目嵌入方法，將項(xiàng)目之間更深層次關(guān)系嵌入到項(xiàng)目向量中，其可以捕獲項(xiàng)目之間的順序相似性和內(nèi)容屬性相似性.與傳統(tǒng)的item2vec[4]的方法不同，本文將item2vec與node2vec[5]相結(jié)合，將用戶的交互序列與知識圖譜獲取的隨機(jī)游走序列一起訓(xùn)練，訓(xùn)練得出的嵌入向量能更好地揭示項(xiàng)目之間的相似性.然后，在獲得嵌入項(xiàng)目的情況下，本文設(shè)計(jì)兩種不同的行為序列模型，通過區(qū)別地利用用戶的交互序列對用戶當(dāng)前偏好和歷史穩(wěn)定偏好進(jìn)行建模.具體到模型的構(gòu)建，本文分別設(shè)計(jì)兩個(gè)深度循環(huán)神經(jīng)網(wǎng)絡(luò)架構(gòu)，共同學(xué)習(xí)用戶的當(dāng)前偏好和長期穩(wěn)定偏好.最后通過本文獲得的偏好向量與所有的項(xiàng)目進(jìn)行相似度計(jì)算，選出相似度Top-N的項(xiàng)目生成推薦列表.

2 相關(guān)工作

隨著知識圖譜KG(Knowledge Graph)的研究引入推薦，推薦系統(tǒng)的準(zhǔn)確性和可解釋性得到了很好的提升.基于知識圖譜的推薦方法大致分為基于本體的推薦[6]、基于開放鏈接數(shù)據(jù)的推薦生成[7]和基于圖嵌入的推薦生成.其中基于圖嵌入的技術(shù)在推薦系統(tǒng)研究中扮演著重要的角色，DeepWalk[8]較早將圖嵌入技術(shù)應(yīng)用到推薦系統(tǒng)，其將用戶與項(xiàng)目嵌入到同一向量空間，計(jì)算用戶與項(xiàng)目的相似度生成推薦.其中DeepWalk中的隨機(jī)游走存在許多的變體，例如node2vec通過改變隨機(jī)游走的方式來更深層次學(xué)習(xí)項(xiàng)目之間的相似性.

具體到序列推薦算法，序列推薦的早期工作幾乎基于序列模式挖掘[9]和過渡建模[10]，隨著深度神經(jīng)網(wǎng)絡(luò)引入序列推薦，序列推薦算法得到了快速發(fā)展.Hidasi等人，首先應(yīng)用遞歸神經(jīng)網(wǎng)絡(luò)建立基于會話的推薦，顯著優(yōu)于基于項(xiàng)目的方法[11].Quadrana等人，重點(diǎn)關(guān)注一些基于會話的推薦場景，并開發(fā)了具有跨會話信息傳輸?shù)姆謱友h(huán)神經(jīng)網(wǎng)絡(luò)[12].Donkers等人，通過表示各個(gè)用戶來擴(kuò)展RNN，以便生成個(gè)性化的下一個(gè)項(xiàng)目推薦[2].

圖1 算法整體流程圖Fig.1 Algorithm overall flow chart

盡管這些模型已經(jīng)考慮了用戶的順序信息，但是用戶的順序行為和歷史偏好的動態(tài)一致性仍然很大程度上未被開發(fā).相比之下，在本文中，通過整合用戶的歷史偏好和當(dāng)前偏好來進(jìn)行項(xiàng)目推薦，這些都是從用戶對項(xiàng)目的豐富交互行為中學(xué)習(xí)的.

3 融合知識圖譜與長短期偏好的下一項(xiàng)推薦

在本節(jié)中，介紹本文提出的算法，本節(jié)首先正式定義下一項(xiàng)推薦任務(wù)，并概述所提出的算法，然后詳細(xì)描述該算法的兩個(gè)主要組成部分，即項(xiàng)目嵌入和判別性偏好學(xué)習(xí)，算法的整體流程圖如圖1所示.

3.1 預(yù)備知識

下一項(xiàng)推薦是根據(jù)歷史交互預(yù)測用戶下一步要訪問的內(nèi)容的任務(wù)，在本節(jié)給出下一項(xiàng)推薦的表述.

用戶的交互隨時(shí)間自然地形成序列，交互序列表述為H={S1,S2,…Sn}，其中H=n表示用戶數(shù).每個(gè)用戶u具有相應(yīng)的交互序列Su∈H，其可以表示為Su={(x1,b1),(x2,b2),…,(xn,bn)}，其中xj表示用戶u操作的第j項(xiàng)，bj表示評分信息或行為信息，個(gè)性化的下一項(xiàng)推薦任務(wù)可以定義如下：給定目標(biāo)用戶u的歷史交互序列Su={(x1,b1),(x2,b2),…,(xT,bT)}，及所有用戶的順序交互序列H，個(gè)性化下一項(xiàng)推薦任務(wù)是預(yù)測目標(biāo)用戶u在下次訪問中最有可能訪問的項(xiàng)目xT+1.

3.2 項(xiàng)目嵌入

在模型第一階段，項(xiàng)目嵌入旨在通過從項(xiàng)目上的大量順序行為中學(xué)習(xí)項(xiàng)目的相似性來為每一個(gè)項(xiàng)目生成統(tǒng)一表示.順序推薦的先前工作是使用one-hot編碼或在深度學(xué)習(xí)框架中添加額外的嵌入層表示項(xiàng)目[12].然而，對于大型推薦系統(tǒng)中的一系列物品，一方面，one-hot編碼可能花費(fèi)無法承受的時(shí)間，并且由于高度稀疏性導(dǎo)致無法很好地優(yōu)化[13].另一方面，添加額外的嵌入層可能會使網(wǎng)絡(luò)在某種程度上失去性能[4].更重要的是，這兩種方法不能揭示用戶交互序列中隱含的項(xiàng)目順序相似性.在這種情況下，有必要找到一種有效的表示方法，以直接從用戶的交互序列中學(xué)習(xí)高質(zhì)量的項(xiàng)目向量，結(jié)果揭示相似的項(xiàng)目往往彼此接近.

近年來，神經(jīng)嵌入技術(shù)在許多領(lǐng)域取得了巨大的進(jìn)步，如自然語言處理，社交網(wǎng)絡(luò)和推薦.在這些工作中，item2vec是Skip-gram與負(fù)抽樣的重要擴(kuò)展之一，用于為基于項(xiàng)目的協(xié)同過濾推薦產(chǎn)生項(xiàng)目嵌入.

圖2 電影知識圖譜Fig.2 Movie knowledge graph

Item2vec項(xiàng)目嵌入方法僅考慮到用戶的交互序列來學(xué)習(xí)項(xiàng)目之間的順序相似性，計(jì)算項(xiàng)目相似性不僅應(yīng)考慮項(xiàng)目的順序相似性，也需要考慮到項(xiàng)目之間的內(nèi)容屬性信息.在本文中，提出一種結(jié)合知識圖譜結(jié)構(gòu)信息的改進(jìn)item2vec來捕獲項(xiàng)目的相似性.同時(shí)將項(xiàng)目的交互信息與項(xiàng)目本身的信息結(jié)合起來嵌入到低維空間中，所得向量能很好的揭示項(xiàng)目之間的相似性.

3.2.1 知識圖譜抽取序列

本文首先構(gòu)建知識圖譜，然后使用node2vec算法思想構(gòu)建隨機(jī)游走序列，以電影特征為例，其中的實(shí)體包括影片、導(dǎo)演、演員類型等，基于電影信息構(gòu)建如下的知識圖譜，如圖2所示.

本文使用node2vec中的隨機(jī)游走方式獲取隨機(jī)游走路徑，然后從其中提取出電影實(shí)體序列.Node2vec的廣度遍歷和深度遍歷能很好的抽取實(shí)體間的同質(zhì)性和同構(gòu)性，其中隨機(jī)游走的概率為：

(1)

公式中πvx是未歸一化概率，z表示其中的歸一化常數(shù).對于常見的隨機(jī)游走，πvx和實(shí)體邊權(quán)重之間的關(guān)系為：πvx=αpq(t,x)·wvx，公式中的系數(shù)αpq(t,x)公式如下：

(2)

其中t表示上一個(gè)節(jié)點(diǎn)，x表示隨機(jī)游走中下一個(gè)可能的節(jié)點(diǎn)目標(biāo)，通過p和q的值來控制深度和廣度游走，dtx表示兩個(gè)節(jié)點(diǎn)t和x之間的最短距離.改進(jìn)的隨機(jī)游走能夠同時(shí)考慮到網(wǎng)絡(luò)中局部和宏觀信息，能夠有效的提取網(wǎng)絡(luò)中節(jié)點(diǎn)的信息.本文使用node2vec的深度游走策略獲取得項(xiàng)目序列作為下一步item2vec的輸入，更好的捕獲項(xiàng)目之間的相似性.通過知識圖譜的序列抽取得到序列集合Hk={I1,I2,…,In}，其中Ii={x1,x2,…,xn}表示生成的一條隨機(jī)游走序列.

3.2.2 項(xiàng)目嵌入

將從知識圖譜抽取的序列與現(xiàn)有的用戶交互序列相結(jié)合，作為item2vec的輸入，最終得到項(xiàng)目的嵌入向量.知識圖譜序列能夠彌補(bǔ)采用項(xiàng)目序列嵌入較少考慮項(xiàng)目內(nèi)容信息等缺點(diǎn).

神經(jīng)項(xiàng)目嵌入模型類比于詞向量模型，用戶交互的項(xiàng)目隨著時(shí)間自然地形成順序序列，知識圖譜得到項(xiàng)目序列，將兩者結(jié)合類比于自然語句.擁有相同的交互上下文的項(xiàng)目、同一主演、同一導(dǎo)演等項(xiàng)目在嵌入空間上也往往非常接近.具體來說，給定用戶交互序列集合H={S1,S2,…,Sn}以及知識圖譜得到的序列集合Hk={I1,I2,…,In}，item2vec技術(shù)的Skip-gram模型旨在最大化以下目標(biāo)：

(3)

其中K是序列Si和Ii的長度，xi表示序列中的項(xiàng)目，p(xj|xi)定義為softmax函數(shù)：

(4)

其中wi和vi對應(yīng)于xi的目標(biāo)和上下文表示的潛在向量，為了減少梯度下降(xj|xi)的計(jì)算復(fù)雜度，采用負(fù)抽樣來取代，公式(4)變?yōu)槿缦滤荆?/p>

(5)

其中σ(x)為sigmoid函數(shù)，E表示為每個(gè)正樣本繪制的負(fù)樣本數(shù)量，方便優(yōu)化模型.經(jīng)過上面的一系列變形，目標(biāo)函數(shù)由公式(3)變?yōu)槿缦滤荆?/p>

(6)

最后，通過傳統(tǒng)的梯度下降訓(xùn)練item2vec，并獲得所有項(xiàng)目的高質(zhì)量分布式矢量表示.

使用item2vec，可以在歷史交互序列以及知識圖譜抽取序列的幫助下捕獲項(xiàng)目的相似性，并生成統(tǒng)一的項(xiàng)目表示空間，其中嵌入產(chǎn)生的向量可以解釋項(xiàng)目的相似性和順序關(guān)系.并且，對于每個(gè)用戶u，可以生成具有嵌入項(xiàng)的交互序列，如下所示：

Pu={v1,v2,…,vT}

(7)

其中vj表示項(xiàng)目xj的d維潛在向量.

3.3 判別性學(xué)習(xí)

在獲得項(xiàng)目嵌入后，通過兩個(gè)獨(dú)立的循環(huán)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)用戶偏好，將該神經(jīng)網(wǎng)絡(luò)命名為偏好判別性神經(jīng)網(wǎng)絡(luò)PDNN(Preference Discriminant Neural Network)，以推薦目標(biāo)用戶在下次訪問中最有可能訪問的項(xiàng)目.

用戶的決策過程主要受兩個(gè)因素影響：短期偏好和長期偏好.更具體地，用戶的短期偏好在短期內(nèi)是動態(tài)的，并且最近的波動對于反映短期特征也是重要的.考慮到最近的所交互項(xiàng)目可能意味著用戶短期內(nèi)的用戶偏好，本文使用近期交互的項(xiàng)目序列學(xué)習(xí)用戶的當(dāng)前動機(jī).另一方面，至于利用用戶的歷史偏好，并非所有的用戶行為都能描繪出用戶偏好.例如，用戶為所交互的項(xiàng)目打出了一個(gè)比較低的分?jǐn)?shù)，則不喜歡該項(xiàng)目.因此，為了對用戶的歷史進(jìn)行建模，本文僅保留能從交互歷史中清楚地描繪用戶的潛在偏好的行為.實(shí)際上，用戶的交互過程是一系列隨時(shí)間的反饋.因此，與從靜態(tài)方式探索用戶—項(xiàng)目交互的傳統(tǒng)推薦系統(tǒng)不同，本文通過順序建模來處理下一項(xiàng)推薦.具體來說，本文設(shè)計(jì)了兩個(gè)獨(dú)立的行為學(xué)習(xí)模型：短期偏好學(xué)習(xí)和長期穩(wěn)定偏好學(xué)習(xí)以區(qū)別地學(xué)習(xí)用戶的短期偏好和歷史穩(wěn)定偏好.此外，在此基礎(chǔ)上，本文開發(fā)了兩個(gè)基于LSTM的獨(dú)立深度神經(jīng)架構(gòu)，共同學(xué)習(xí)這兩種行為對齊的動機(jī)和偏好，PDNN網(wǎng)絡(luò)結(jié)構(gòu)圖如圖3所示.

圖3 PDNN網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.3 PDNN network structure

如圖3所示，上半部分為短期偏好，采用長短期記憶網(wǎng)絡(luò)LSTM(Long Short-Term Memory)來實(shí)現(xiàn).下半部分為長期偏好學(xué)習(xí)，采用深度雙向LSTM來實(shí)現(xiàn)，最后兩個(gè)網(wǎng)絡(luò)通過一個(gè)全連接層生成下一個(gè)項(xiàng)目向量.

3.3.1 短期偏好學(xué)習(xí)

短期內(nèi)的交互行為可以揭示用戶的當(dāng)前的消費(fèi)動機(jī)，短期偏好學(xué)習(xí)對目標(biāo)用戶u的短期會話行為進(jìn)行建模.為了確定某個(gè)項(xiàng)目xi是否是會話行為的可能元素，短期會話的判別函數(shù)Dshort為：

Dshort(xi,xt)=Φ((t-i)≤h)

(8)

其中函數(shù)Φ(a)是判別信號，如果a為真則等于1否則等于0.xt-1是預(yù)測的前一項(xiàng)，h是控制短期會話長度的控制指示符.具體而言，對于基于會話的場景，h是會話的長度.對于非會話場景，h是人為指定的，在本文中，將h設(shè)置為10作為默認(rèn)值.

本文開發(fā)一個(gè)LSTM模型來學(xué)習(xí)用戶的短期偏好.LSTM的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如下所示，在初始化之后，第j個(gè)交互步驟如下所示，每個(gè)交互的隱藏狀態(tài)hj由先前隱藏狀態(tài)hj-1和當(dāng)前項(xiàng)目嵌入vj更新.

(9)

3.3.2 長期偏好學(xué)習(xí)

更智能的推薦系統(tǒng)不僅應(yīng)該考慮用戶當(dāng)前的偏好，還應(yīng)考慮歷史穩(wěn)定偏好.因此，除了利用短期內(nèi)的偏好外，還需要從長期的偏好行為中學(xué)習(xí)用戶穩(wěn)定的歷史偏好.實(shí)際上，只有部分行為意味著用戶的偏好，因此，為了確定某個(gè)交互(xi,bi)∈Su是否是偏好行為的可能，將長期偏好判別函數(shù)定義為：

Dlong(vi,bi)=Φ(bi∈P)

(10)

其中P是偏好的行為集，其中包含偏好行為的類型，本文的實(shí)驗(yàn)數(shù)據(jù)集為帶評分的數(shù)據(jù)，因此，偏好行為類型為評分大于4.0的行為信息，即偏好行為集P為{4.0，4.5，5.0}.

(11)

之后，通過平均合并層為用戶u生成偏好行為Plong的統(tǒng)一表示：

(12)

到目前為止，本文已經(jīng)學(xué)習(xí)了兩種偏好，即短期偏好Pshort和長期偏好Plong，然后，在完全連接的層之后，生成下一個(gè)項(xiàng)目的d維表示vt.

3.4 模型的訓(xùn)練與優(yōu)化

將連續(xù)項(xiàng)目嵌入作為網(wǎng)絡(luò)的輸入，判別行為學(xué)習(xí)能夠通過控制兩個(gè)網(wǎng)絡(luò)架構(gòu)的循環(huán)狀態(tài)更新來學(xué)習(xí)用戶短期偏好和歷史偏好.可以生成下一個(gè)項(xiàng)目表示vt的預(yù)測，這是一個(gè)d維向量.在全局學(xué)習(xí)階段，本文使用均方誤差(MSE)損失函數(shù)從整個(gè)連續(xù)交互集合中學(xué)習(xí)兩個(gè)行為對齊，可以定義為：

(13)

其中是ζ是MSE函數(shù)，vt是目標(biāo)用戶u在下次訪問時(shí)訪問的項(xiàng)目表示，h是控制指標(biāo)，控制短期偏好會話的長度，Su表示相互作用序列Su∈H，其中H表示序列的數(shù)量.本文使用Adagrad優(yōu)化損失函數(shù)[15]，設(shè)置的更多細(xì)節(jié)將在實(shí)驗(yàn)中指定.

3.5 算法描述

算法.一種融合知識圖譜和長短期偏好的下一項(xiàng)推薦算法

輸入：數(shù)據(jù)集S、本體庫

輸出：Top-N推薦列表

1.將數(shù)據(jù)集S和本體庫一起構(gòu)建知識圖譜

2.通過node2vec改進(jìn)的隨機(jī)游走獲得隨機(jī)游走序列

3.將獲得的隨機(jī)游走序列集合和用戶交互序列集合一起使用item2vec訓(xùn)練獲得項(xiàng)目向量

4.通過PDNN判別性學(xué)習(xí)用戶的長短期偏好，生成用戶的下一項(xiàng)預(yù)測向量

5.將候選項(xiàng)目與下一項(xiàng)預(yù)測向量計(jì)算相似性，生成Top-N推薦列表

4 實(shí) 驗(yàn)

在本節(jié)中，首先描述實(shí)驗(yàn)設(shè)置.然后，從以下幾個(gè)方面證明所提出模型的有效性：

1)總體推薦性能的比較;

2)融合知識圖譜的項(xiàng)目嵌入和傳統(tǒng)item2vec的性能比較;

3)融合時(shí)間特征和序列特征算法與傳統(tǒng)方法的比較;

4)模型冷啟動性能的分析.

4.1 數(shù)據(jù)集及環(huán)境介紹

本文采用真實(shí)世界中的數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)，即MovieLens10M，MovieLens數(shù)據(jù)集是來自真實(shí)世界中的用戶評分電影數(shù)據(jù)集，包含71567個(gè)用戶對10681部電影的10000054個(gè)評分信息.其中最短的用戶交互序列為20，平均交互序列長度為115，其中評分信息為1～5之間.

為了實(shí)驗(yàn)結(jié)果的可靠性，本文對數(shù)據(jù)集做如下處理.首先過濾掉與用戶交互次數(shù)小于5的項(xiàng)目.采用數(shù)據(jù)集隨機(jī)劃分，90%作為訓(xùn)練集，10%作為測試集.數(shù)據(jù)集中，本文根據(jù)評分信息來判斷性的學(xué)習(xí)用戶的偏好，將歷史評分信息中評分大于4的學(xué)習(xí)長期穩(wěn)定偏好，最近交互的序列長度為10的作為短期偏好的學(xué)習(xí).

本文的實(shí)驗(yàn)硬件環(huán)境為window10系統(tǒng)，Intel core i7CPU，16G內(nèi)存，軟件環(huán)境為Python3.6，使用Keras構(gòu)建神經(jīng)網(wǎng)絡(luò)訓(xùn)練模型.

4.2 基線方法

本文將提出模型與傳統(tǒng)的方法以及基于RNN模型的方法作對比，基線方法描述如下.

Item-based k-NN，為用戶推薦與交互歷史項(xiàng)目相似的前個(gè)項(xiàng)目.

Exp.Dec.Item-based k-NN[16]，在item-KNN基礎(chǔ)上加入了指數(shù)衰減分量，用來懲罰很久前交互的項(xiàng)目.

Matrix Factorization(MF)：是一種廣泛使用的矩陣分解方法，它通過隨機(jī)梯度下降優(yōu)化成對排序目標(biāo)函數(shù).

Seq.Matrix Factorization[17]：是一種在MF的基礎(chǔ)上加入用戶交互序列信息，擴(kuò)展為序列MF方法.

GRU[2]，使用了標(biāo)準(zhǔn)的GRU將用戶交互的項(xiàng)目和其對應(yīng)的動作一起嵌入學(xué)習(xí)用戶的交互模式，最后輸出用戶下一個(gè)可能的交互項(xiàng)目.

PDNN，本文提出的長短期偏好推薦算法，不加入知識圖譜嵌入的算法，僅采用用戶交互序列生成項(xiàng)目嵌入.

4.3 評估指標(biāo)

由于推薦系統(tǒng)每次都只能推薦較少的項(xiàng)目，相關(guān)項(xiàng)目應(yīng)該在推薦列表中排名第一.因此，本文使用以下兩個(gè)評估指標(biāo)評估個(gè)性化的下一項(xiàng)推薦質(zhì)量.

·Recall@ 20，主要評估指標(biāo)召回率，是所有測試案例中前20個(gè)推薦項(xiàng)目中具有所需項(xiàng)目的比例.其中，Recall @ 20不區(qū)分具有不同排名的項(xiàng)目，只要它們屬于推薦列表即可.

·MRR@ 20，另一個(gè)使用的度量是平均倒數(shù)排名(MRR)，它是期望項(xiàng)目的倒數(shù)排名的平均值.與Recall度量相同，本文將20設(shè)置為貢獻(xiàn)值，這意味著如果排名高于20，則將倒數(shù)等級設(shè)置為零.考慮到推薦的順序，MRR會考慮每個(gè)推薦項(xiàng)目的排名.

其中，兩個(gè)評估指標(biāo)越高，結(jié)果的表現(xiàn)越好.

4.4 實(shí)驗(yàn)結(jié)果及分析

本節(jié)首先對推薦算法的整體推薦性能做分析，然后逐步分析本文中所提出的模型的有效性，所提出模型與基線方法的性能比較如表1所示.

表1 提出算法與基線方法的性能比較Table 1 Compares the performance of proposed algorithm with baseline method

結(jié)果分析：

·本文提出的模型在真實(shí)數(shù)據(jù)集上體現(xiàn)出良好的推薦性能，相比較傳統(tǒng)的推薦算法和基于RNN的序列推薦有了顯著的改進(jìn)，歸功于知識圖譜與判別神經(jīng)網(wǎng)絡(luò)的有效設(shè)計(jì)；

·本文將增加知識圖譜的項(xiàng)目嵌入方法和未添加的方法做比較，兩種方法皆優(yōu)于未建模長期偏好的方法，證明建模長期穩(wěn)定偏好的有效性.其中加入知識圖譜嵌入的方法展現(xiàn)出更優(yōu)秀的推薦性能，證明知識圖譜的加入能更好的提取項(xiàng)目之間的相關(guān)性；

·從表1實(shí)驗(yàn)結(jié)果分析，加入了時(shí)間因素和序列因素的推薦算法相比傳統(tǒng)算法有提升，從Seq.Matrix Factorization與MF以及Exp.Dec.Item-based k-NN與Item-KNN實(shí)現(xiàn)結(jié)果中可以得出，證明考慮興趣的衰減和動態(tài)變化的有效性；

本文將測試數(shù)據(jù)集中的用戶從第二次交互開始到50次交互的實(shí)驗(yàn)結(jié)果考慮新用戶的冷啟動問題，實(shí)驗(yàn)結(jié)果如圖4所示.

圖4 新用戶冷啟動推薦性能Fig.4 New user cold start recommended performance

本文提出的算法在新用戶冷啟動上有先天的優(yōu)勢，相比較傳統(tǒng)的矩陣分解、協(xié)同過濾需要豐富的用戶交互記錄，該算法依然可以使用訓(xùn)練有素的神經(jīng)網(wǎng)絡(luò)來適應(yīng)新用戶.如圖4所示，本文提出的算法在新用戶冷啟動上也有較好的性能，在新用戶交互記錄不多時(shí),PDNN模型退化為LSTM模型.隨著用戶記錄的增加，模型的性能逐漸增強(qiáng)，且實(shí)驗(yàn)結(jié)果優(yōu)于標(biāo)準(zhǔn)的GRU，證明建模用戶長期穩(wěn)定偏好的重要性.

5 結(jié)論和未來的工作

在本文中，提出了一種新穎的下一項(xiàng)推薦模型.該模型能根據(jù)用戶隨時(shí)間形成的交互序列建模長期偏好和短期偏好，很好地考慮到了用戶興趣的動態(tài)變化.其中，本文提出了一種更深層次的項(xiàng)目嵌入方法，將知識圖譜學(xué)習(xí)到的信息嵌入到項(xiàng)目向量中，能更好地挖掘項(xiàng)目之間的相關(guān)性.在判別性學(xué)習(xí)中，本文設(shè)計(jì)兩個(gè)循環(huán)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)偏好，特別在長期偏好學(xué)習(xí)中，設(shè)計(jì)了一種深度雙向LSTM更深層次的建模長期偏好，最后在實(shí)驗(yàn)結(jié)果中證明了所提出模型的有效性.在未來，將考慮使用不同的用戶行為信息考慮推薦，更一步挖掘用戶的交互信息.