基于用戶會話的TF-Ranking推薦方法

賈 丹， 孫靜宇

1.太原理工大學(xué)信息與計算機學(xué)院，山西太原030024

2.太原理工大學(xué)軟件學(xué)院，山西太原030024

近年來，作為新型智能工具，推薦系統(tǒng)已經(jīng)被廣泛地應(yīng)用在視頻推薦、廣告推送、網(wǎng)上購物等諸多領(lǐng)域中。其作用表現(xiàn)在兩方面：1）推薦系統(tǒng)可以快速地為用戶提供有效信息；2）通過有效推薦促進消費，在用戶和商家之間建立穩(wěn)定牢固的關(guān)系。推薦系統(tǒng)的本質(zhì)是對用戶意圖的預(yù)測。在一定的時間內(nèi)，用戶意圖受到各種因素的影響會發(fā)生改變，如興趣演變、及時需求和全球主流時尚[1]。傳統(tǒng)的推薦方法只關(guān)注了用戶最后一次的反饋行為，忽略了用戶會話中的歷史行為。但用戶的歷史行為是用戶興趣的具體體現(xiàn)，對預(yù)測用戶興趣偏好具有重大意義。文獻[2] 提出了推薦系統(tǒng)的概念。2006年10月，Netflix 舉辦了一場算法比賽，其目標(biāo)是提高原有算法——Cinematch 算法的推薦準(zhǔn)確率。比賽獲勝團隊采用了融合矩陣分解的玻爾茲曼機算法，將推薦算法的正確率提高了10%，大大推動了推薦系統(tǒng)的發(fā)展[3]。2012年之后，隨著深度學(xué)習(xí)技術(shù)的日趨完善，深度神經(jīng)網(wǎng)絡(luò)也被廣泛應(yīng)用到了推薦系統(tǒng)領(lǐng)域中。2015年，文獻[4] 提出了基于用戶會話的推薦系統(tǒng)模型。該模型利用循環(huán)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)用戶的序列化數(shù)據(jù)信息。2016年，文獻[5] 加入了Dropout 網(wǎng)絡(luò)對數(shù)據(jù)進行降噪處理。同年，文獻[6]基于深度神經(jīng)網(wǎng)絡(luò)技術(shù)，實現(xiàn)了從大規(guī)模可選內(nèi)容中找到最有可能的推薦結(jié)果。這些模型充分利用循環(huán)神經(jīng)網(wǎng)絡(luò)和長短期神經(jīng)網(wǎng)絡(luò)的特點，學(xué)習(xí)具有序列化特征的商品用戶數(shù)據(jù)，從而大大提升了推薦系統(tǒng)的性能和用戶體驗。但是，這些模型均基于分類或回歸原理，忽略了推薦系統(tǒng)的本質(zhì)：為網(wǎng)絡(luò)用戶提供最佳的商品排名清單。2018年，谷歌研發(fā)團隊針對此問題提出了TF-Ranking 模型，該模型處理速度快，質(zhì)量高，是一個優(yōu)秀的排名模型[7]。本文基于用戶會話，提出了一種融合XGBoost 和門控循環(huán)單元網(wǎng)絡(luò)的改進TF-Ranking 推薦方法，并在Trivago RecSys Challenge 2019 數(shù)據(jù)集上進行了實驗。

1 相關(guān)技術(shù)

1.1 GRU 門控單元網(wǎng)絡(luò)

循環(huán)神經(jīng)網(wǎng)絡(luò)可以處理時間序列化數(shù)據(jù)。但是傳統(tǒng)的循環(huán)神經(jīng)網(wǎng)絡(luò)存在一個明顯的缺點，即短期記憶會對預(yù)測結(jié)果產(chǎn)生較大的影響，并且隨著序列數(shù)據(jù)長度的增加，這種影響也在不斷增強。為解決長短期依賴的問題，文獻[8] 于1997年提出了長短期記憶（long short-term memory, LSTM）網(wǎng)絡(luò)，LSTM 的核心是1 個神經(jīng)元狀態(tài)（cell state）和3 個不同作用的控制門（gates）機制。3 個門控制單元分別是輸入門（input gate）、輸出門（output gate）和遺忘門（forget gate）。3 個門用來調(diào)節(jié)信息流，通過學(xué)習(xí)一條完整序列中最重要的信息來減弱短期記憶的影響。但LSTM 結(jié)構(gòu)復(fù)雜且矩陣參數(shù)較多，因此增加了訓(xùn)練的難度[9-11]。

其工作原理主要包含3 個步驟。首先需要通過t ?1 時刻隱藏層狀態(tài)和t時刻的輸入得到2 個門控單元，如式(1) 和(2) 所示。

2014年，文獻[12] 提出了門控循環(huán)單元（gate recurrent unit, GRU），GRU 網(wǎng)絡(luò)簡化了LSTM 網(wǎng)絡(luò)，并且得到了與LSTM 幾乎相同的實驗結(jié)果。如圖1 所示，為代替LSTM 中的3個控制門，GRU 設(shè)置了更新門（update gate）和重置門（reset gate）。更新門用來決定哪些信息要被丟棄，哪些新的數(shù)據(jù)需要被保留；重置門用來決定網(wǎng)絡(luò)需要丟棄多少歷史信息。GRU將所有要傳遞的信息存儲于隱藏層狀態(tài)里。

圖1 門控循環(huán)單元Figure 1 Gated recurrent unit

式中：r是重置門，z是更新門，σ是sigmoid 激活函數(shù)。然后對重置門和t ?1 時刻隱藏層狀態(tài)ht?1進行點積運算，將得到的結(jié)果和t時刻的輸入拼接成向量并通過tanh 函數(shù)縮放到?1到1 之間，有

最后的關(guān)鍵步驟是決定t時刻隱藏層的狀態(tài)，即

式中：z ⊙h(t?1)表示t ?1 時刻要遺忘的數(shù)據(jù)，(1?z)⊙h′表示需要選擇性記住的數(shù)據(jù)。結(jié)構(gòu)更簡單的GRU 大大降低了神經(jīng)網(wǎng)絡(luò)對硬件計算能力的要求，從而也減少了時間成本。

1.2 提升樹模型和XGBoost

梯度提升樹與監(jiān)督學(xué)習(xí)有關(guān)，監(jiān)督學(xué)習(xí)一般涉及兩個問題：分類和回歸。分類問題強調(diào)的是歷史數(shù)據(jù)“是不是”以及“是什么”的問題；而回歸問題則強調(diào)如何根據(jù)歷史數(shù)據(jù)形成可預(yù)測的趨勢。

梯度消失是訓(xùn)練神經(jīng)網(wǎng)絡(luò)中經(jīng)常遇到的問題，為了避免梯度消失帶來的權(quán)重?zé)o法更新的問題，可以使用提升樹模型來學(xué)習(xí)參數(shù)。

本文之所以引入XGBoost 對特征進行描述是因為該技術(shù)具有以下3 個優(yōu)勢：

1）因為XGBoost 具有執(zhí)行單調(diào)約束的特點，所以輸入和目標(biāo)變量可以嚴(yán)格地沿一個方向變化。XGBoost 可以控制輸入變量和目標(biāo)變量之間的關(guān)系，使其僅為非遞減或非遞增，保證其變化速率恒定可測。

2）XGBoost 使用了最佳優(yōu)先樹生長策略。樹中的節(jié)點按順序展開，從而減少了大部分損失。

3）將Dropout 網(wǎng)絡(luò)應(yīng)用到提升樹中。傳統(tǒng)深度學(xué)習(xí)技術(shù)的Dropout 網(wǎng)絡(luò)用來隨機丟棄一些神經(jīng)元的連接，將Dropout 網(wǎng)絡(luò)應(yīng)用到提升樹中，可以代替收縮的正則項。

XGBoost 是改進的提升樹模型，它所定義的目標(biāo)函數(shù)不僅包含訓(xùn)練損失，還有一個正則項。訓(xùn)練損失函數(shù)決定模型在數(shù)據(jù)上如何學(xué)習(xí)參數(shù)，常用的損失函數(shù)有均方差和logistic 函數(shù)。正則項的作用是控制模型的復(fù)雜度，使得數(shù)據(jù)分布更加均勻、有效和整齊[13]。XGBoost中每一棵樹的節(jié)點代表數(shù)據(jù)的一個特征描述，每一條分支用來表達該特征是否被滿足。從根節(jié)點到葉子節(jié)點的這條路徑就是對每一個項目的部分特征描述[14-15]。在樹集成模型中包含k個函數(shù)，最終一個項目的評分預(yù)測就是這k個函數(shù)的累加和，公式為

式中

式中：Wq(x)表示葉子節(jié)點x的最終得分。最終的目標(biāo)函數(shù)為

式中：k棵樹的正則項

1.3 排名函數(shù)

傳統(tǒng)排序問題的本質(zhì)是分類和回歸問題，其目標(biāo)是盡可能準(zhǔn)確地預(yù)測一個商品的標(biāo)簽或者一個商品的評分[16]。但是，在推薦系統(tǒng)中，用戶并不關(guān)心商品是否為一支筆或者該筆的評分是否為4 顆星。因此，推薦系統(tǒng)主要研究的不再是評分和貼標(biāo)簽問題，而是排名問題。排名問題更多關(guān)注的是相關(guān)項目的相對順序，而不是項目的絕對得分。所以將組合不同的排序模型進行數(shù)據(jù)訓(xùn)練，通過神經(jīng)網(wǎng)絡(luò)不斷調(diào)節(jié)權(quán)重參數(shù)，從而得到最優(yōu)排名。這種方法叫做Learning to Rank 方法，簡稱LTR。

排序?qū)W習(xí)有3 個重要步驟：1）收集和標(biāo)注訓(xùn)練數(shù)據(jù)；2）通過訓(xùn)練數(shù)據(jù)得到排序模型；3）將學(xué)習(xí)到的排序模型應(yīng)用到新查詢中。圖2 是排序?qū)W習(xí)系統(tǒng)框架示意圖。LTR 模型有3 種訓(xùn)練數(shù)據(jù)的方法：1）針對每一個查詢，模型都給出了一個相關(guān)度系數(shù)，且每個相關(guān)度系數(shù)彼此獨立；2）模型會隨機組合結(jié)果列表中的兩個文檔，并計算這個兩文檔相對于查詢的相關(guān)度；3）模型會根據(jù)所有查詢結(jié)果形成一個關(guān)于相關(guān)度的排序列表。與3 種訓(xùn)練數(shù)據(jù)方法相對應(yīng)的3 種LTR 算法是Pointwise 方法、Pairwise 方法和Listwise 方法。

圖2 排序?qū)W習(xí)系統(tǒng)框架示意圖Figure 2 LTR system diagramm

Pointwise 方法關(guān)注的是某一個時刻查詢結(jié)果中單個文檔對于查詢的相關(guān)程度，最后通過結(jié)果列表中的得分簡單地進行排序。查詢列表結(jié)果中每一個文檔的得分是彼此獨立的。Pairwise 方法考慮了兩個文檔相對于目標(biāo)查詢的相關(guān)程度。使用Pairwise 方法得到1 組有序?qū)σ约斑@兩個文檔相對于查詢文檔的相關(guān)度，其目標(biāo)是盡量減少逆序的數(shù)量。

Listwise 方法對整個查詢結(jié)果集合進行排序，因此輸入數(shù)據(jù)量大，訓(xùn)練的復(fù)雜度也大。而本文使用Pairwise 方法，如圖3 所示。模型的輸入是兩個相對于查詢目標(biāo)的相關(guān)文檔，這兩個相關(guān)文檔相對于目標(biāo)文檔的相似度分別為（d1,p1）和（d2,p2），于是可以根據(jù)p1和p2來判斷兩個文檔相對于查詢目標(biāo)的相關(guān)度，相關(guān)度高的會被放在列表清單中的前端。該方法的優(yōu)勢在于，通過對兩個文檔相關(guān)系數(shù)進行標(biāo)記來比較這兩個文檔相對于查詢目標(biāo)的相關(guān)度，選擇出相似度高的文檔，盡可能地減少查詢結(jié)果逆排序的情況，從而達到為用戶提供一個盡可能滿足其意愿的排名列表。

圖3 Pairwise 方法Figure 3 Pairwise method

2 核心模型及模型改進

2.1 基于用戶會話的GRU 推薦

一般的推薦平臺只關(guān)注到了用戶最后一次的點擊事件，卻忽略了用戶的歷史行為。因此，使用GRU 學(xué)習(xí)用戶會話數(shù)據(jù)，更好地利用歷史數(shù)據(jù)建立長期的User-Item 模型，并預(yù)測下一時刻可能的用戶點擊事件。

在一個點擊會話中包含n個Items，即[x1,x2,··· ,xn]，構(gòu)建一個模型M只能接收一個會話S中的前j（1 ≤j

圖4 GRU 網(wǎng)絡(luò)處理單個序列Figure 4 Training procedure for a single sequence in our GRU

2.2 改進后的Dropout 網(wǎng)絡(luò)

通常用戶會話的長度是變化的，一些用戶在找到心儀項目之前可能已經(jīng)點擊了很多項目，而另一些用戶可能很快就找到了目標(biāo)項目。本文引入Dropout 網(wǎng)絡(luò)進行數(shù)據(jù)管理。如果輸入的訓(xùn)練序列是[x1,x2,··· ,xn]，則會產(chǎn)生一組序列及與之相對應(yīng)的標(biāo)簽([x1],V(x2))，([x1,x2],V(x3)),···, ([x1,x2,··· ,xn?1],V(xn))。通過一個嵌入的Dropout 網(wǎng)絡(luò)隨機刪除會話中的點擊，并對數(shù)據(jù)進行正則化處理，使輸入數(shù)據(jù)分布更加均勻，以此減少噪聲數(shù)據(jù)。

本文對Dropout 進行了優(yōu)化，如圖5 所示，所提到的方法不會隨機刪除點擊，而是選擇與前一點擊事件間隔時間較短的點擊即會話中停留時間（dwell time）最短的點擊進行刪除；同時還設(shè)置一個時間戳，當(dāng)計算出來的dwell time 小于該時間戳?xí)r，這個點擊會被刪除。因為當(dāng)用戶對一個項目產(chǎn)生興趣時，就會在本鏈接或網(wǎng)頁上瀏覽更多的信息，故停留在該項目上的時間就較長；反之，如果用戶匆匆關(guān)閉該頁面或跳轉(zhuǎn)到另一個鏈接上，則在本項目上的停留時間就較短，所以該點擊就被視作不被感興趣的項目或者是被誤點擊的項目。會話S中的每一個點擊事件xi是一個二元組，記作xi=(i,di)，其中i是點擊事件xi的唯一標(biāo)識，di表示用戶在會話S中的xi項目上的停留時間，di的計算式為

圖5 用改進后的Dropout 網(wǎng)絡(luò)處理數(shù)據(jù)Figure 5 Preprocessing with improved Dropout network

式中：ti+1為點擊事件xi+1發(fā)生的時間，t為點擊事件xi發(fā)生的時間。

2.3 TF-Ranking 模型

TF-Ranking 的核心組件是一個model_fn 函數(shù)，該函數(shù)會接收特征和標(biāo)簽作為輸入，并根據(jù)不同的模式（TRAIN、EVAL、PREDICT) 返回損失、預(yù)測、度量指標(biāo)和訓(xùn)練操作。使

2018年，谷歌提供了一個開源庫，叫作TF-Ranking，是一個基于Tensorflow 并且在深度學(xué)習(xí)場景中可以實現(xiàn)LTR 方法的框架。TF-Ranking 可以實現(xiàn)并優(yōu)化Pairwise 和Listwise 排名損失、多項目得分、排名指標(biāo)等。用TF-Ranking 構(gòu)建model_fn 函數(shù)是基于評分函數(shù)和排名頭[19]進行組合的。圖6 給出了一個TF-Ranking 模型，其使用方法很簡單，包含4 個核心步驟：定義評分函數(shù)、定義測量指標(biāo)（metric）、定義損失函數(shù)（loss function）、構(gòu)建排名統(tǒng)計量（ranking estimator）。

圖6 TF-Ranking 模型Figure 6 TF-Ranking model

Scoring Function 評分函數(shù)具有同時支持單個項目評分函數(shù)和多項評分函數(shù)的功能。單項評分函數(shù)通過函數(shù)f(x) = [h(x1),h(x2),··· ,h(xn)] 來建模，其中輸入數(shù)據(jù)h(xn) 代表單個示例的特征，計算出f(x) 作為輸出。一般情況下通過一組參數(shù)使f(x) 參數(shù)化，記作f(.,θ)。TF-Ranking 使用Ranking Head 為一個排名邏輯具體化指標(biāo)和損失。核心算法如圖7所示。

圖7 算法流程圖Figure 7 Algorithm flow diagram

本文使用具有以下結(jié)構(gòu)的正向神經(jīng)網(wǎng)絡(luò)：兩個分別具有256 和128 個神經(jīng)元的隱藏層，每個神經(jīng)元后跟一個批處理規(guī)范化層[20]，如圖8 所示。同時將批處理規(guī)范化應(yīng)用于輸入數(shù)據(jù)中。一個學(xué)習(xí)速率等于0.5 的Dropout 層會應(yīng)用到最后一個隱藏層中。而輸出層也是一個密集層，這個輸出層包含大量的神經(jīng)元，其數(shù)量等于需要評價得分的項目Item。

圖8 本文模型Figure 8 Proposed model

最終改進后的模型如圖9 所示，該模型不僅使用XGBoost 進行特征提取，還引入了具有位移不變性的皮爾遜相關(guān)系數(shù)描述項目之間的相似性。經(jīng)過改進Dropout 網(wǎng)絡(luò)后的會話點擊依次進入網(wǎng)絡(luò)，然后利用XGBoost 對其進行特征提取，并且利用GRU 學(xué)習(xí)數(shù)據(jù)，最終得知兩個文檔相對于目標(biāo)查詢的相關(guān)度強弱。

圖9 GRU 的排名模型Figure 9 Ranking model based on GRU

3 實驗結(jié)果及分析

本文使用了Trivago 網(wǎng)站提供的公開數(shù)據(jù)集，并且在Trivago RecSys Challenge 2019 數(shù)據(jù)集上測試了本文提出的模型。該數(shù)據(jù)集包含了700 000 位匿名用戶和81 770 個不同項目的近1 600 萬條的會話日志，Trivago RecSys Challenge 2019 數(shù)據(jù)集提供了4 個數(shù)據(jù)文件，每條日志會話都包含4 個公有字段user_id，session_id，timestamp 和step，分別如表1～3所示。

表1 數(shù)據(jù)集介紹Table 1 Information about data set

評價指標(biāo)選擇召回率和平均倒數(shù)排名（mean reciprocal rank, MRR）。

3.1 實驗數(shù)據(jù)集

表2 數(shù)據(jù)文件Table 2 Data files

表3 相關(guān)屬性Table 3 Relevant properties

3.2 實驗結(jié)果分析

1）針對不同模型平均倒數(shù)的排名情況。圖10 是Trivago RecSys Challenge 2019 數(shù)據(jù)集在不同模型上前20 的平均倒數(shù)排名情況，可以看出本文所提模型在性能上得到了很大提高。

圖10 模型比較Figure 10 Comparison of different models

BPR-MF 算法是結(jié)合矩陣分解的貝葉斯個性化排名算法。該算法容易出現(xiàn)冷啟動和矩陣高度稀疏的現(xiàn)象；Item-KNN 是基于項目商品的推薦算法，該算法將項目的隱形因子擴展到top-N問題上，在一定程度上解決了稀疏數(shù)據(jù)集的問題，較之BPR-MF 算法在MRR評價指標(biāo)上有明顯提高；GRU4Rec 算法的推薦性能與Item-KNN 算法相比并沒有顯著提升；TF-Ranking 算法解決了傳統(tǒng)推薦算法過度關(guān)注單一項目分類和評分的問題，因此在MRR 指標(biāo)上的表現(xiàn)明顯優(yōu)于其他3 種算法。

2）使用Dropout 網(wǎng)絡(luò)對模型正確率的影響。如表4 所示，選取dwell time 短的點擊進行刪除較之隨機刪除點擊的Dropout 網(wǎng)絡(luò)的召回率提高了1.32%。同時也在普通神經(jīng)網(wǎng)絡(luò)上對較小型的數(shù)據(jù)集進行實驗，實驗結(jié)果表明，改進后的Dropout 網(wǎng)絡(luò)正則化效果明顯，如圖11和12 所示，測試集的預(yù)測錯誤率和分類錯誤率明顯降低。

表4 不同Dropout 網(wǎng)絡(luò)對比Table 4 Comparison of different Dropout networks

圖11 改進后的Dropout 網(wǎng)絡(luò)預(yù)測錯誤率Figure 11 Error rate on improved Dropout network

圖12 改進后的Dropout 網(wǎng)絡(luò)分類錯誤率Figure 12 Misclassification rate on improved Dropout network

3）利用XGBoost 提高數(shù)據(jù)使用效率。圖13 是原始數(shù)據(jù)的分布情況，從圖中可以看到，數(shù)據(jù)分布較分散，不利于數(shù)據(jù)處理。XGBoost 的關(guān)鍵技術(shù)就在于同時使用正則化和訓(xùn)練損失來處理原始數(shù)據(jù)。如圖14 是單獨使用正則化處理數(shù)據(jù)的結(jié)果，雖然數(shù)據(jù)處理準(zhǔn)確率較高，但是尚存在過擬合化的問題。如圖15 是單獨使用訓(xùn)練損失后的數(shù)據(jù)分布情況，可以看到數(shù)據(jù)失真率較高。如圖16 是使用了XGBoost 后的數(shù)據(jù)分布情況，其中，橫坐標(biāo)為用戶停留時間，縱坐標(biāo)為用戶成功交易的百分比，即此時購買商品的人數(shù)占總?cè)藬?shù)的百分比。從圖16 中可以觀察到，數(shù)據(jù)分布得更加均勻有效。

圖13 原始數(shù)據(jù)Figure 13 Original data

圖14 使用正則化處理數(shù)據(jù)Figure 14 Data process with regularization

圖15 數(shù)據(jù)分布Figure 15 Data distribution

圖16 使用訓(xùn)練損失處理數(shù)據(jù)Figure 16 Data process with training loss

4）TF-Ranking 模型在推薦領(lǐng)域中的優(yōu)異表現(xiàn)。圖17 是pyGRU 模型，TF-Ranking 模型和改進的TF-Ranking 模型在不同迭代次數(shù)下MRR 的變化情況，從圖中可以發(fā)現(xiàn)，TFRanking 的數(shù)據(jù)收斂速度更快，性能更優(yōu)。

圖17 不同模型MRR 對比Figure 17 MRR compare on different models

5）設(shè)備的種類和預(yù)測準(zhǔn)確率的相關(guān)性。使用相同設(shè)備的用戶會話被聚集在一起。被關(guān)聯(lián)設(shè)備的會話占比和對應(yīng)的MRR 如表5 所示。

表5 與設(shè)備相關(guān)的推薦Table 5 Relevant to device recommendation

實驗結(jié)果表明，在移動設(shè)備上的推薦性能表現(xiàn)良好。因此提出假設(shè)如下：由于移動設(shè)備的導(dǎo)航性能受到限制，而且進行比較的靈活性較小，因此用戶主要關(guān)注頁面中前幾項。

6）用戶的交互行為對模型預(yù)測準(zhǔn)確率的影響。從表6 中可以得到，如果在成交之前恰好只發(fā)生了一次（編號1-1），則MRR 很高。相反，如果成交前發(fā)生了多次點擊（編號1-2），則性能會下降。值得注意的是，當(dāng)只發(fā)生一次點擊事件時（編號0-1），性能反而會降低。當(dāng)沒有發(fā)生過用戶交互時，模型依舊能夠以較高的正確率（編號0-0）為用戶提供個性化推薦。

表6 交互評估Table 6 Interaction evaluation

4 結(jié) 語

本文使用GRU 網(wǎng)絡(luò)學(xué)習(xí)用戶會話日志中的點擊事件，通過TF-Ranking 形成了相關(guān)度較高的列表，從而進行個性化的預(yù)測和推薦。引入改進的Dropout 網(wǎng)絡(luò)和樹提升模型正則化數(shù)據(jù)，使數(shù)據(jù)分布更加均勻同時避免過擬合化?；赥ensorflow 框架，使用TF-Ranking 排名函數(shù)得到一個相關(guān)性較強的正序排名酒店推薦清單。

本文使用的Pairwise 方法比傳統(tǒng)分類和回歸方法更加貼近推薦系統(tǒng)的本質(zhì)，該方法的特點是：被比較的查詢結(jié)果只有兩個，且都將不再被編碼。但真實的查詢結(jié)果往往多于兩個文檔，因此今后會進一步研究使用Listwise 方法來提供更加準(zhǔn)確的相關(guān)排名列表。另外，本文使用的所有數(shù)據(jù)均來自線下的數(shù)據(jù)集，下一步可以研究如何直接對線上數(shù)據(jù)進行學(xué)習(xí)，從而預(yù)測用戶的下一個點擊事件，使在線算法更能滿足推薦系統(tǒng)的即時性需要。