基于動態(tài)組合嵌入的輕量級序列推薦算法

羅 旭,汪海濤,姜 瑛,陳 星

(昆明理工大學 信息工程與自動化學院,云南 昆明 650500)

0 引言

隨著科學技術(shù)的持續(xù)迅速發(fā)展,互聯(lián)網(wǎng)迎來了一個信息化的全新時代。人們在日常生活中使用互聯(lián)網(wǎng)時,總是面對著海量的信息,也正是因為這些豐富多樣的信息,產(chǎn)生了信息過載這一比較棘手的問題。用戶如何在海量的信息中迅速地獲取自己想要得到的信息,而信息發(fā)送方又如何能夠盡可能快地將自己的信息展現(xiàn)給用戶呢?推薦系統(tǒng)的出現(xiàn)使得這一問題得到了很好的解決。推薦系統(tǒng)根據(jù)用戶過往的交互信息來對用戶將來最有可能訪問的項目進行推薦。目前,推薦系統(tǒng)已經(jīng)在相當多的領(lǐng)域中得到了應用,典型的包括電商平臺、影音軟件等。

推薦系統(tǒng)根據(jù)建模偏好的特性不同分為兩大類: 傳統(tǒng)的推薦系統(tǒng)以及序列推薦系統(tǒng)。前者當中具有代表性的當屬協(xié)同過濾推薦算法[1],協(xié)同過濾主要分為基于項目的和基于用戶的,兩種方法基本類似,都是根據(jù)用戶或者項目之間的相似性來進行推薦,這樣做的缺點也很明顯,即無法捕獲到用戶動態(tài)變化的偏好。而序列推薦則通過建模用戶-項目交互序列,隨后從中挖掘用戶最近的偏好以及歷史長期偏好,很好地彌補了傳統(tǒng)推薦系統(tǒng)的不足。

這些年來深度神經(jīng)網(wǎng)絡(luò)的迅速發(fā)展,促使越來越多的研究人員轉(zhuǎn)向?qū)⑿蛄型扑]與深度神經(jīng)網(wǎng)絡(luò)相結(jié)合[2]。其中典型的包括將循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)、卷積神經(jīng)網(wǎng)絡(luò)(CNN)、Transformer[3-5]等先進的模型引入序列推薦。盡管通過深度學習獲得了很多成果,但目前大多數(shù)序列推薦模型是潛在因子模型,即每個項目都被映射到一個唯一的向量進行表示,然后通過項目嵌入來獲取目標用戶的偏好。以電商平臺為例,其系統(tǒng)中必然存在著數(shù)以萬計的潛在項目,而如果將每個項目都一一映射到嵌入矩陣中的唯一向量,當在資源受到限制的環(huán)境中進行部署時,項目嵌入矩陣將成為內(nèi)存瓶頸。因此,急需輕量級的序列推薦來解決這一問題。

目前,主流的輕量級序列推薦[6-7]的做法是將項目嵌入矩陣進行壓縮,即用組合嵌入的思想,使用包含少量項目的基嵌入表來代替完整的項目嵌入。此外,這些采用組合嵌入方案的序列推薦通常與一些過度參數(shù)化的網(wǎng)絡(luò)[8]相結(jié)合,這樣做會產(chǎn)生過度計算的問題,降低推薦模型的性能。因此,除了在項目嵌入時采用更輕量的嵌入方式,還應該在序列模式挖掘階段采取更輕量的方式,換句話說,采用訓練參數(shù)更少的網(wǎng)絡(luò)來進行序列模式挖掘。

基于上述分析,本文提出了一種基于動態(tài)組合嵌入和動態(tài)卷積神經(jīng)網(wǎng)絡(luò)的序列推薦算法模型(DCE-DCN)。本文主要貢獻有以下3點:

(1) 引入組合嵌入的思想,設(shè)計一個新穎的組合嵌入方案,大大減少了項目嵌入矩陣的內(nèi)存消耗;

(2) 使用動態(tài)卷積神經(jīng)網(wǎng)絡(luò)學習用戶的短期偏好,大大減少訓練參數(shù)。同時在長期偏好學習階段,采用雙頭自注意力取代多頭自注意力機制,減少參數(shù)冗余;

(3) 在三個真實有效的公開數(shù)據(jù)集上進行實驗,證明了DCE-DCN模型在時間復雜度和空間復雜度方面具有輕量級的特性,并且模型的準確性也有所提升。

1 相關(guān)工作

在序列推薦[9]早期的研究中,大多數(shù)的模型都是與馬爾科夫鏈[10-11]相結(jié)合,對用戶-項目的交互序列進行建模,以預測下一次交互。Rendle等人[12]將矩陣分解和馬爾科夫鏈相結(jié)合來學習項目間遷移的概率矩陣,然后根據(jù)用戶交互的最新項目進行下一項預測,命名為FPMC。但基于馬爾科夫鏈的模型只能提取短期依賴關(guān)系卻忽略了長期依賴關(guān)系。

隨著深度學習在各個領(lǐng)域的飛速發(fā)展,序列推薦的研究也隨之轉(zhuǎn)向與深度神經(jīng)網(wǎng)絡(luò)相結(jié)合。Hidasi等人[3]提出將RNN引入到序列推薦當中去,利用門控循環(huán)單元,從用戶的歷史交互序列中提取長期依賴關(guān)系。袁濤等人[13]提出引入CW-RNN的序列推薦算法,從用戶項目交互序列中提取多尺度的用戶偏好。Tang等人[5]提出了基于CNN的Caser算法,其將項目嵌入看作圖像的特征映射,并對其進行卷積操作,以捕獲項目之間的局部依賴關(guān)系。然而,基于RNN的模型在序列太長時捕獲全局依賴存在局限性,而基于CNN的模型更關(guān)注局部特征,強調(diào)用戶近期的行為。自注意力機制由于其建模長期依賴的能力,近來得到了廣泛的使用。Kang等人[4]提出了一種叫作SASRec的序列推薦算法,其采用多頭自注意力機制來提取用戶的序列模式,也是首次將自注意力機制引入到序列推薦中。Li等人[14]提出了一種名為TiSASRec的算法,通過顯式地建模交互項目之間的時間間隔,來挖掘不同時間間隔對下一項推薦的影響。袁濤等人[15]提出了DHT4Rec,通過多層次結(jié)構(gòu)的動態(tài)層次Transformer,既學習用戶興趣的多尺度隱式表示,又顯式地建模層次結(jié)構(gòu)。

然而,上面所提到的序列推薦算法大多會在兩個方面存在著問題: 過大的項目嵌入帶來的內(nèi)存問題以及模型結(jié)構(gòu)帶來的計算問題。也正因為如此,許多研究人員開始研究如何使得推薦系統(tǒng)更加的輕量級。目前大部分的輕量級序列推薦的研究[6,16-17],主要集中于將項目嵌入矩陣進行壓縮以得到更高的內(nèi)存效率。而這些研究的核心思想是采用組合嵌入的方式,使用一組遠小于原始項目嵌入矩陣的基嵌入矩陣進行代替。除了針對內(nèi)存效率來實現(xiàn)輕量級的序列推薦,也有研究人員嘗試解決以往模型存在的過度計算問題,從而達到輕量級的效果,比如針對多頭自注意力機制雖然能有效地建模長距離依賴,但是計算量巨大的問題,Wu等人[18]提出了輕量卷積和動態(tài)卷積,大大減少了訓練參數(shù),提升訓練性能。然而,大多數(shù)序列推薦算法在進行組合嵌入時,都是靜態(tài)地進行,這導致其產(chǎn)生的結(jié)果無法體現(xiàn)用戶的動態(tài)興趣。因此在本文中,在引入組合嵌入的思想的基礎(chǔ)上,設(shè)計了一種動態(tài)組合嵌入方案來得到最終的項目嵌入,大大降低了項目嵌入表所占用的內(nèi)存成本,同時使用動態(tài)卷積神經(jīng)網(wǎng)絡(luò)和雙頭注意力分別學習用戶的長短期偏好,大大減少訓練參數(shù)。

2 算法模型

本節(jié)對本文提出的DCE-DCN算法進行具體的描述。該算法模型主要由兩部分組成: ①對項目的一種新的組合嵌入方式; ②動態(tài)卷積神經(jīng)網(wǎng)絡(luò)和雙頭自注意力提取用戶的長短期偏好。DCE-DCN算法整體模型如圖1所示。

2.1 問題定義

令U和V分別表示用戶集合和項目集合,Su={v1,v2,…,vt}表示用戶u按時間順序交互的t個項目,其中u∈U,vt表示在時間步t交互的項目。序列推薦的目標: 給定目標用戶u的交互序列Su,通過計算得到用戶在下一個時間步t+1最有可能交互的前N個項目的Top-N候選項目列表。

2.2 動態(tài)組合嵌入

對于一個集合中的向量x,y,z,滿足以下條件: ①自反性:x～x; ②對稱性:x～y并且y～x; ③傳遞性: 如果x～y并且y～z,則x～z。

具體如何劃分可以以服裝為例: 我們可以根據(jù)服裝的季節(jié)性、材質(zhì)、顏色、適用人群等屬性來劃分分區(qū),而每件衣服都可以由這些分區(qū)中的某一個特定值構(gòu)成,因此這些分區(qū)是互補的。通俗來講,項目的每個屬性都可以視為一個等價類,每個等價類對應一個分區(qū),而每個項目最終的項目嵌入向量,可以由從每個互補分區(qū)中選取自身特定的向量生成。

圖2 動態(tài)組合嵌入

(3)

(4)

其中,oi為項目vi的one-hot編碼。

(5)

其中,SiLU(x)=x·sigmoid(x)是一個使得模型為非線性并且收斂速度更快的激活函數(shù),W是一個變換矩陣。通過計算得到的權(quán)重,最終項目vi的嵌入向量可通過式(6)計算得到。

(6)

另外,為了充分利用交互序列中項目的絕對位置信息和相對位置信息,提高序列推薦的有效性。本文引入了一個使用Sinusoidal位置編碼[19]的位置嵌入矩陣P∈RT×D,P=[p1,p2,…,pT],具體如式(7)、式(8)所示。

其中,pos(pos=1,2,…,T)為項目在序列中的位置,因此位置嵌入本身就能建模絕對位置信息,i為向量索引。由于三角函數(shù)的特性,即sin(α+β)=sinαcosβ+cosαsinβ等變換,位置α+β的位置嵌入向量可以由位置α和位置β的位置嵌入向量線性表示,從而可以建模相對位置信息。

(9)

通過本文采用的一種新的動態(tài)組合嵌入的方案,既為每一個項目生成了一個唯一的嵌入向量,又保證了項目嵌入生成的動態(tài)性,同時大大減少了項目嵌入矩陣的內(nèi)存占用。

2.3 用戶偏好建模

本節(jié)主要介紹用戶的長期偏好和短期偏好是如何提取的,包含兩個部分: ①使用動態(tài)卷積神經(jīng)網(wǎng)絡(luò)提取用戶的短期偏好; ②使用雙頭自注意力提取用戶的長期偏好。最后,再使用特定的操作將提取到的短期偏好和長期偏好進行融合,生成用戶的最終偏好。

2.3.1 短期偏好提取

雖然輕量級CNN大大減少了訓練參數(shù)數(shù)量,但是其在卷積過程中不同時間步的卷積核是固定的,為了達到更好的效果,本文引入了動態(tài)卷積神經(jīng)網(wǎng)絡(luò)(DCN),其結(jié)構(gòu)如圖3所示。

圖3 動態(tài)卷積神經(jīng)網(wǎng)絡(luò)

DCN與Lightweight CNN的唯一區(qū)別在于,卷積過程中每個時間步的卷積核都是動態(tài)生成的,如式(10)所示。

(10)

其中,X為輸入,d為通道數(shù),i為卷積的位置,m為通道劃分的頭數(shù),DWCNN為DepthWiseCNN的縮寫,f(Xi)是對一個可學習的權(quán)重矩陣WQ∈RM×k×D的一個線性變換,如式(11)所示。

(11)

(12)

到這里,本文完成了對用戶短期偏好Pshort的提取。

2.3.2 長期偏好提取

Self-Attention(自注意力)這些年在機器翻譯、圖像識別等領(lǐng)域都得到了非常多的成果,其通過當前元素和其上下文元素來確定該元素應該得到的權(quán)重。現(xiàn)有的許多序列推薦算法通常使用自注意力機制來同時捕獲局部和全局模式。然而,有研究[22]中指出自注意力機制更傾向于關(guān)注局部模式,導致不能充分地建模全局長期依賴。而多頭自注意力機制,即多個注意力頭并行使用,雖然能夠更好地捕獲用戶的長短期偏好,但是注意力頭越多,模型的計算量也越大,由于每個注意力頭都是單獨計算,因此頭數(shù)越多,計算產(chǎn)生的不必要的冗余參數(shù)也越多,從而帶來較高的計算成本和內(nèi)存成本,例如,Transformer模型(8個注意力頭)。因此,為了達到更好的性能,并且使得模型更加的輕量級,本文采用雙頭自注意力機制代替多頭自注意力機制,來專門地提取用戶的長期偏好,同時減緩不必要的網(wǎng)絡(luò)結(jié)構(gòu)和訓練參數(shù)冗余問題。值得注意的是,本文并沒有使用一個注意力頭數(shù)的結(jié)構(gòu)來獲取更低的計算成本和內(nèi)存占用,這是因為雙頭自注意力帶來的性能更佳。雙頭自注意力機制如圖4所示。使用雙頭自注意力機制提取用戶長期偏好的具體實現(xiàn)過程如下。

圖4 雙頭自注意力

(13)

到這,本文已經(jīng)完成了對用戶的短期偏好和長期偏好的提取。將得到的短期偏好Pshort和長期偏好Plong通過Concat操作得到用戶最終的偏好表示Pfinal,如式(14)所示。

Pfinal=Concat(Pshort,Plong)

(14)

2.4 Top-N候選項目列表生成

(15)

2.5 模型訓練與優(yōu)化

本文使用一個交叉熵損失函數(shù)來量化預測DCE-DCN的下一項的誤差,如式(16)所示。

(16)

其中,L為訓練的樣本數(shù)目,l∈L為第l個樣本。同時在實驗的過程中,本文采用Adam優(yōu)化器[23]來對損失函數(shù)進行優(yōu)化,其是一個具有自適應矩估計的隨機梯度下降的變體。

3 實驗

本節(jié)首先介紹實驗過程中的一些設(shè)定,包括數(shù)據(jù)集的選擇、評價指標的選擇,然后通過充分的對比實驗來分析驗證本文提出的DCE-DCN模型的有效性,具體來說主要包含以下幾點:

(1) 從模型的準確性和模型性能方面,將DCE-DCN模型與目前先進的序列推薦模型進行對比實驗;

(2) 分析超參數(shù)對DCE-DCN模型的影響,比如自注意力的頭數(shù)等;

(3) 設(shè)置消融實驗驗證DCE-DCN模型中的關(guān)鍵組成部分是否真正影響模型的性能。

3.1 數(shù)據(jù)集及實驗環(huán)境

本文在三個序列推薦中比較常用的公開的數(shù)據(jù)集上進行實驗,分別為Beauty、 Yelp和MovieLens-1M。Beauty是從亞馬遜平臺收集得來的,包含了美妝等產(chǎn)品的產(chǎn)品評論和元數(shù)據(jù); Yelp數(shù)據(jù)集是從美國最大的點評網(wǎng)站Yelp提供的商戶、點評和用戶數(shù)據(jù)收集得到的,用于個人、教育和學術(shù);MovieLens-1M(簡稱為ML-1M)是廣泛使用在推薦系統(tǒng)中的數(shù)據(jù)集,包含100多萬條的用戶評分記錄。

在進行實驗之前,本文對這三個數(shù)據(jù)集進行了預處理,對預處理后的數(shù)據(jù)集進行了統(tǒng)計,得到數(shù)據(jù)的細節(jié)包含用戶數(shù)、項目數(shù)、交互數(shù)和數(shù)據(jù)集的稀疏性,如表1所示,數(shù)據(jù)集分別涵蓋了非常稀疏的Beauty以及相對稠密的ML-1M。

表1 實驗數(shù)據(jù)集的統(tǒng)計數(shù)據(jù)

對于每個數(shù)據(jù)集,每個用戶有自己的一個按交互的時間順序進行排序的項目交互序列,然后將不活躍的用戶和被交互的次數(shù)小于4次的項目全部去除掉。通過進行如上處理之后,得到的數(shù)據(jù)集對于模型的訓練更加有效。

本文實驗過程中搭載的硬件環(huán)境為Windows 10系統(tǒng),Intel CORE i7處理器,顯卡為英偉達2070,編程環(huán)境為Python 3.6,構(gòu)建神經(jīng)網(wǎng)絡(luò)訓練模型使用的是PyTorch。

3.2 實驗評價指標

本文使用的是命中率Hit Ratio(HR)和歸一化折損累計增益(NDCG)[24]這兩個廣泛應用于推薦系統(tǒng)的指標作為實驗的評價指標。

(1)HR@N: HR@N是一種用來評估召回率的指標,其表示Top-N列表中屬于測試集合中項目的占比。

(2)NDCG@N: NDCG用來評價排序結(jié)果的準確性。推薦系統(tǒng)通常為指定用戶返回一個Top-N列表,這時可以用NDCG@N評價該排序列表與用戶真實交互列表的差距。

3.3 對比的基線方法

本文將DCE-DCN模型與目前比較經(jīng)典或者比較先進的序列推薦模型進行對比,具體模型如下:

(1)FPMC[12]: 這是一種結(jié)合了矩陣分解和馬爾科夫鏈的模型,該模型可以在捕獲序列信息的同時,提取用戶的長期偏好。

(2)p-RNN[25]: 這是一種基于RNN的會話推薦模型,在GRU4Rec的基礎(chǔ)上考慮到了物品的更多特征,并使用各不相同的RNN并行訓練。

(3)Caser[5]: 這是一種典型的將CNN 應用到序列推薦中的模型,通過對項目嵌入矩陣進行卷積操作提取用戶的短期偏好。

(4)SASRec[4]: 這是一種將Transformer引入序列推薦的模型,該模型使用多頭自注意力機制為每個物品分配不同的權(quán)重,捕獲用戶的長期偏好。

(5)TiSASRec[14]: 這是一種對項目的絕對位置和交互項目間的時間間隔進行建模的模型。

(6)FISSA[26]: 這是一種使用SASRec模型學習用戶短期偏好,并且通過一個全局表示模塊來優(yōu)化用戶長期偏好建模的模型。

3.4 實驗參數(shù)設(shè)置

在DCE-DCN模型中,本文設(shè)置嵌入維度D為128,DCN卷積操作中的卷積核大小為5×5,自注意力頭數(shù)為2,基嵌入矩陣的個數(shù)統(tǒng)一設(shè)置為10。同時,為了使實驗能夠公平地比較不同方法之間的精度和模型大小,本文對所有方法的嵌入維度進行了統(tǒng)一的設(shè)置,嵌入維度均為128。

3.5 實驗結(jié)果與分析

3.5.1 整體性能比較

表2給出了實驗最終得到的在三個公開數(shù)據(jù)集上的各個模型的結(jié)果。通過對實驗數(shù)據(jù)進行總結(jié),本文得出以下結(jié)論:

表2 DCE-DCN與基線方法的性能比較

(1) 在所有的序列推薦模型中,性能表現(xiàn)最差的為FPMC模型,這是意料之中的,因為FPMC模型只考慮了項目之間的一階依賴關(guān)系,而忽略了項目之間存在的高階依賴關(guān)系。

(2) 相比于FPMC,基于深度神經(jīng)網(wǎng)絡(luò)的模型在性能上更具優(yōu)勢。值得注意的是,由于Caser模型的滑動窗口大小是固定的,其能夠計算的項目數(shù)量有限,導致其處理具有長距離依賴關(guān)系的交互序列時,效果并不好。例如,在Yelp數(shù)據(jù)集中,通過觀察表中的數(shù)據(jù)可以看到p-RNN的性能是優(yōu)于Caser模型的。而在其他數(shù)據(jù)集上Caser模型則具有更優(yōu)的性能。

(3) SASRec、TiSASRec和FISSA同時作為典型的基于自注意力機制的模型,與其他基線方法相比,具有一定的性能優(yōu)勢。這說明了自注意力結(jié)構(gòu)在序列推薦模型中更具優(yōu)勢。同時TiSASRec和FISSA模型分別利用了時間間隔信息和項目相似性信息,二者相比于SASRec,性能均有所提升。

(4) 而本文提出的DCE-DCN模型,在三個公開數(shù)據(jù)集上都取得了相比之下最好的性能。具體來說,動態(tài)組合嵌入方式所生成的項目嵌入更具個性化,能更有效地表示項目,從而有利于后續(xù)的偏好建模。而用戶偏好建模階段所采用的DCN和雙頭自注意力機制,使得訓練過程中的參數(shù)大幅減少,訓練時間也大幅縮短。得益于這二者,模型中參數(shù)所占用的內(nèi)存比起最小的SASRec也有所下降,這正好體現(xiàn)了DCE-DCN具有輕量級的特性,說明動態(tài)組合嵌入很好地壓縮了以往使用的項目嵌入矩陣,并且在使用較少參數(shù)的情況下,模型的性能并沒有降低。

3.5.2 超參數(shù)對模型性能的影響

本節(jié)主要驗證超參數(shù)對實驗結(jié)果的影響,包括嵌入維度D以及自注意力頭數(shù)H。在進行實驗時,本文采用控制變量的方法,即改變一個超參數(shù)的值,而將其他參數(shù)都設(shè)置為最佳效果時的值。具體結(jié)果如圖5、圖6所示。

圖5 嵌入維度的影響

圖6 自注意力頭數(shù)的影響

從圖5中可以看出,對于嵌入維度D而言,隨著維度的增大,模型的性能在三個數(shù)據(jù)集上都依次增加, 在D=128時,達到最高點,而當繼續(xù)增加至256時,模型的性能并沒有得到提升,反而有所下降,造成這一結(jié)果的原因可能是過擬合問題。由此驗證了當維度等于128時,本文提出的模型能夠得到最佳的性能。

同時,通過對圖6的觀察可以發(fā)現(xiàn),當自注意力頭數(shù)為2時,模型在三個數(shù)據(jù)集上基本都取得了最佳的性能,在Yelp數(shù)據(jù)集上,頭數(shù)為3時達到了最佳的性能,但與頭數(shù)為2的結(jié)果差距不大。當頭數(shù)繼續(xù)增加時,性能卻有所下降,因此,本文提出的模型將自注意力機制的頭數(shù)設(shè)置為2可使模型達到最佳的性能。

3.5.3 消融實驗

為了驗證本文提出的DCE-DCN模型中核心部分是否真正地對模型的性能產(chǎn)生了影響,本節(jié)設(shè)置了兩個消融實驗來驗證,最終結(jié)果如表3所示。

表3 消融實驗

(2)DCE-DCN2: 在提取用戶短期偏好階段,使用標準的卷積神經(jīng)網(wǎng)絡(luò)進行卷積操作,而非采用動態(tài)卷積神經(jīng)網(wǎng)絡(luò)。

從表3中的數(shù)據(jù)可以看出,當去除模型的某一核心組成部分時,模型的性能都有所下降,這也正好證明了在本文提出的模型中,各個關(guān)鍵組成部分對模型最終的性能都有積極的影響,能夠提升模型的性能,具有重要意義。

具體來說,在組合嵌入階段時如果直接采用相加的計算方式,則是為每個基嵌入向量分配了一個相同的權(quán)重,這樣會導致本應對最終的項目嵌入向量起到?jīng)Q定性作用的基嵌入向量沒有被重點體現(xiàn)出來,從而影響模型最終的準確性,從表3的數(shù)據(jù)中也可以很清楚地發(fā)現(xiàn)這一點。而采用動態(tài)的方法將每個基嵌入向量融合在一起的方式,很好地彌補了這一不足。而對于使用動態(tài)卷積神經(jīng)網(wǎng)絡(luò)來提取用戶的短期偏好,其相較于標準的卷積神經(jīng)網(wǎng)絡(luò),優(yōu)勢就在于在進行卷積操作時,每個時間步的卷積核都是動態(tài)變化的。

3.5.4 從模型的參數(shù)方面分析模型的輕量級

4 總結(jié)與未來工作

本文提出了基于一種動態(tài)組合嵌入方式的輕量級序列推薦模型DCE-DCN,很好地解決了現(xiàn)有的大多數(shù)基于深度神經(jīng)網(wǎng)絡(luò)的序列推薦模型中存在的項目嵌入矩陣所存在的內(nèi)存占用問題,同時在用戶偏好建模階段,能夠訓練更少的訓練參數(shù)來提取用戶的偏好,最終實現(xiàn)了一種輕量級的序列推薦模型。通過充分的實驗得到的實驗結(jié)果可以看出,本文提出的模型相比于其他典型的基線方法,在時間復雜度和空間復雜度上具有輕量級的特性,在性能上也有所提升。將來,我們還會繼續(xù)探索如何使項目嵌入矩陣所占用的內(nèi)存進一步減少,并且提升序列推薦模型的性能。