基于LSTM 的商品推薦模型研究

張潔

（東華大學(xué)，上海201620）

1 概述

電商行業(yè)的快速發(fā)展使得用戶購(gòu)買(mǎi)的商品由購(gòu)買(mǎi)服裝、日用品、電子產(chǎn)品等，轉(zhuǎn)為購(gòu)買(mǎi)肉類(lèi)、蔬菜、水果、等生鮮類(lèi)商品。不同生鮮類(lèi)別的商品周期性規(guī)律不同。新零售平臺(tái)需要對(duì)用戶的周期性購(gòu)買(mǎi)行為進(jìn)行建模[1]。但新零售平臺(tái)用戶量巨大，對(duì)所有用戶的周期性購(gòu)買(mǎi)行為進(jìn)行建模具有較大難度。因此，商品重構(gòu)推薦模型的構(gòu)建特點(diǎn)是要著重挖掘商品購(gòu)買(mǎi)記錄中的時(shí)序信息。

2 相關(guān)概念

2.1 Keras

Kerass 是由純python 編寫(xiě)的深度學(xué)習(xí)框架，是一個(gè)高層神經(jīng)網(wǎng)絡(luò)API，支持快速實(shí)驗(yàn)，具有用戶友好、模塊化、易擴(kuò)展的優(yōu)點(diǎn)。Keras 沒(méi)有單獨(dú)的模型配置文件，模型由python 代碼表述，更緊湊和更易debug.網(wǎng)絡(luò)層、損失函數(shù)、優(yōu)化器等都是獨(dú)立的模塊，可以使用它們構(gòu)建自己的模型[2]。根據(jù)需要想要添加新模塊比較容易，只需要仿照現(xiàn)有的模塊編寫(xiě)類(lèi)和方法函數(shù)即可。模塊創(chuàng)新的便利性使得Keras 更加適合模型訓(xùn)練研究[3]。

2.2 深度學(xué)習(xí)模型

2.2.1 RNN 模型

遞歸神經(jīng)網(wǎng)絡(luò)（也叫RNN 算法）源自于1982 年由Saratha Sathasivam 提出的霍普菲爾德網(wǎng)絡(luò)[4]。理論上，遞歸神經(jīng)網(wǎng)絡(luò)模型可以獲取到時(shí)間點(diǎn)為止的所有信息，并保存為隱藏狀態(tài)。然而，在實(shí)際應(yīng)用中，普通的遞歸神經(jīng)網(wǎng)絡(luò)模型并沒(méi)有這么好的效果，尤其是對(duì)于比較長(zhǎng)的輸入，很難學(xué)習(xí)長(zhǎng)距離依賴(lài)特征[5]。RNN 模型如下圖1 所示。

圖1 RNN 模型

2.2.2 LSTM模型

長(zhǎng)短期記憶網(wǎng)絡(luò)通常只稱(chēng)為“LSTM”，是一種特殊的RNN，能夠?qū)W習(xí)長(zhǎng)期的規(guī)律。它們是由Hochreiter＆Schmidhuber（1997）首先提出的[6]，并且在后來(lái)的工作中被許多人使用和推廣。LSTM明確旨在避免長(zhǎng)期依賴(lài)性的問(wèn)題。長(zhǎng)時(shí)間記住信息實(shí)際上是他們的默認(rèn)行為，而不是他們難以學(xué)習(xí)的東西。所有遞歸神經(jīng)網(wǎng)絡(luò)都具有神經(jīng)網(wǎng)絡(luò)重復(fù)模塊鏈的形式。在標(biāo)準(zhǔn)RNN 中，該重復(fù)模塊將具有非常簡(jiǎn)單的結(jié)構(gòu)，例如單個(gè)tanh 層[7]。LSTM也具有這種類(lèi)似鏈的結(jié)構(gòu)，但重復(fù)模塊具有不同的結(jié)構(gòu)。有四個(gè)，而不是一個(gè)神經(jīng)網(wǎng)絡(luò)層。LSTM 模型如下圖2 所示。

圖2 LSTM 模型結(jié)構(gòu)

圖中各種元素圖標(biāo)的解釋如下圖3。

圖3 圖標(biāo)解釋

3 實(shí)驗(yàn)與結(jié)果分析

3.1 模型選擇

基于DREAM的商品推薦模型曾被廣泛研究，該模型是把用戶購(gòu)物車(chē)中的商品向量化后構(gòu)建購(gòu)物車(chē)向量，將該購(gòu)物車(chē)向量應(yīng)用于神經(jīng)網(wǎng)絡(luò)模型繼而得到用戶購(gòu)買(mǎi)特點(diǎn)的個(gè)性化向量。最終結(jié)果是通過(guò)商品向量和用戶的個(gè)性化向量積來(lái)計(jì)算出商品購(gòu)買(mǎi)概率。明顯可以看出，此模型只考慮獨(dú)立商品和用戶之間的購(gòu)買(mǎi)關(guān)系但是并沒(méi)有考慮用戶的購(gòu)買(mǎi)時(shí)序，也就是說(shuō)沒(méi)有考慮用戶的購(gòu)買(mǎi)歷史。所以本文的商品推薦模型是基于LSTM模型，能夠在模型訓(xùn)練中充分考慮用戶時(shí)序信息。模型的特點(diǎn)如下：

3.1.1 商品重構(gòu)模型是根據(jù)購(gòu)物車(chē)數(shù)據(jù)得到的向量，在特征提取上是基于用USERID 和商品SKUID 為粒度，可以看出用戶和商品是一對(duì)多的關(guān)系，得到多條特征樣本。

3.1.2 矩陣不再是只有一個(gè)向量，USERID 和商品SKUID 組成的二元組將作為一部分時(shí)間步長(zhǎng)，時(shí)間步長(zhǎng)的輸入具有連續(xù)性，下一個(gè)時(shí)間步長(zhǎng)基于上一個(gè)時(shí)間步長(zhǎng)，這一點(diǎn)是商品重構(gòu)推薦模型的重點(diǎn)?；诖朔N時(shí)間步長(zhǎng)的單神經(jīng)元結(jié)構(gòu)預(yù)測(cè)得到用戶是否會(huì)再次購(gòu)買(mǎi)曾經(jīng)已經(jīng)購(gòu)買(mǎi)過(guò)的購(gòu)物車(chē)中的某個(gè)SKUID 商品的概率。

3.2 數(shù)據(jù)預(yù)處理

數(shù)據(jù)預(yù)處理是將用戶購(gòu)買(mǎi)記錄的源數(shù)據(jù)轉(zhuǎn)換成能夠用于模型訓(xùn)練的用戶商品向量。One-Hot 編碼是一種常用的數(shù)據(jù)預(yù)處理方式，本文也將采用這種方式，將商品映射為整數(shù)值，即每種商品唯一的商品id，然后再將商品id 進(jìn)行二進(jìn)制向量表示。例如{0,0,3,0,0…0}表示商品ID 為3 的商品。

4 實(shí)驗(yàn)與分析

4.1 實(shí)驗(yàn)環(huán)境

本章在深度學(xué)習(xí)框架Keras 上實(shí)現(xiàn)了設(shè)計(jì)的實(shí)驗(yàn)，Keras 是一個(gè)開(kāi)源的深度學(xué)習(xí)框架，對(duì)比較流行的深度學(xué)習(xí)框架Tensorflow、Theano 等進(jìn)行了高層API 的封裝，使用起來(lái)更加簡(jiǎn)便，使用的時(shí)候可以自由選擇后端框架，本文實(shí)驗(yàn)所使用的具體實(shí)驗(yàn)環(huán)境如下表1。

表1 實(shí)驗(yàn)環(huán)境

本文選擇Tensorflow框架作為Keras 的后端。相比于Keras框架，Tensorflow 框架的實(shí)驗(yàn)代碼編寫(xiě)更加靈活，可以自由的定義模型結(jié)構(gòu)以及損失函數(shù)。

4.2 實(shí)驗(yàn)數(shù)據(jù)與實(shí)驗(yàn)參數(shù)

實(shí)驗(yàn)數(shù)據(jù)集來(lái)于某新零售公司實(shí)際銷(xiāo)售數(shù)據(jù)，時(shí)間從2019年10 月到2019 年12 月，記錄總條數(shù)939060 條。其中用于模型訓(xùn)練的數(shù)據(jù)占80%，用于參數(shù)調(diào)優(yōu)的數(shù)據(jù)占10%，用于驗(yàn)證結(jié)果的數(shù)據(jù)則是剩下的10%。

4.3 評(píng)估指標(biāo)

算法的評(píng)價(jià)指標(biāo)是準(zhǔn)確率（Precision），是指在推薦給用戶的所有商品中用戶實(shí)際購(gòu)買(mǎi)的的商品所占的比例，見(jiàn)下式（1）：

T(u)表示用戶u 實(shí)際購(gòu)買(mǎi)的所有商品，R(u)表示推薦給用戶u 的所有商品。準(zhǔn)確率越高，表示推薦的商品越符合用戶的購(gòu)買(mǎi)意向。

4.4 對(duì)比實(shí)驗(yàn)和結(jié)果分析

下面展示本文算法的訓(xùn)練結(jié)果，與RNN 網(wǎng)絡(luò)網(wǎng)絡(luò)模型做一個(gè)比較，以展示二者的差異和本文算法的優(yōu)點(diǎn)，結(jié)果如下表2。

表2 推薦結(jié)果準(zhǔn)確率比較

實(shí)驗(yàn)結(jié)果顯示，在商品類(lèi)別相近的商品推薦上本文算法效果更好，反之，效果近似。此外，在序列長(zhǎng)度越長(zhǎng)的訓(xùn)練場(chǎng)景，本文效果更好，因?yàn)長(zhǎng)STM能夠考慮時(shí)序因素，將上一步長(zhǎng)的結(jié)果作為下一步長(zhǎng)的輸入。

5 結(jié)論

本文根據(jù)用戶在新零售電商平臺(tái)重構(gòu)商品行為和LTMS 的特點(diǎn)，將LSTM模型應(yīng)用于新零售商品推薦。

LSTM神經(jīng)網(wǎng)絡(luò)是對(duì)RNN 神經(jīng)網(wǎng)絡(luò)的優(yōu)化，上一步時(shí)間步長(zhǎng)作為下一步時(shí)間步長(zhǎng)的基礎(chǔ)，因此對(duì)于商品重構(gòu)模型這種時(shí)序性要求較強(qiáng)的應(yīng)用場(chǎng)景具有很好的訓(xùn)練效果。但是由于加入了遺忘門(mén)的存在，無(wú)法考慮全部歷史信息，在某種檢索場(chǎng)景，這是一個(gè)缺憾，一定程度上會(huì)對(duì)商品重構(gòu)準(zhǔn)確率造成影響。

在未來(lái)的研究中，需要不斷調(diào)優(yōu)參數(shù)，了解更多種類(lèi)可以應(yīng)用于商品推薦的模型，力求找到一種更好的模型，能夠具有更高的商品重構(gòu)推薦準(zhǔn)確率。