一種改進(jìn)的基于梯度提升回歸算法的O2O電子商務(wù)推薦模型

孫克雷， 鄧仙榮（安徽理工大學(xué) 計(jì)算機(jī)科學(xué)與工程學(xué)院， 安徽淮南 232001）

?

一種改進(jìn)的基于梯度提升回歸算法的O2O電子商務(wù)推薦模型

孫克雷， 鄧仙榮
（安徽理工大學(xué) 計(jì)算機(jī)科學(xué)與工程學(xué)院， 安徽淮南 232001）

摘要：位置屬性對(duì)于線下消費(fèi)的用戶具有重要影響。為了有效提高個(gè)性化推薦精度，在對(duì)O2O電子商務(wù)特點(diǎn)進(jìn)行用戶特征分析的基礎(chǔ)上，在推薦算法中引入當(dāng)前時(shí)間參數(shù)和位置參數(shù)，提出了一種改進(jìn)的基于梯度提升回歸算法的O2O電子商務(wù)推薦模型。實(shí)驗(yàn)結(jié)果表明，改進(jìn)的基于梯度提升回歸算法的O2O電子商務(wù)推薦模型在實(shí)時(shí)性和準(zhǔn)確性方面明顯優(yōu)于傳統(tǒng)的推薦算法。

關(guān)鍵詞：梯度提升回歸樹(shù)，位置服務(wù)，個(gè)性化推薦，行為日志分析

0　引　言

互聯(lián)網(wǎng)的快速發(fā)展將人類(lèi)帶進(jìn)了信息化時(shí)代，從根本上改變了個(gè)人生活和企業(yè)發(fā)展。對(duì)于個(gè)人而言，足不出戶就可以買(mǎi)到所需要的商品或服務(wù)，讓消費(fèi)者享受到電子商務(wù)模式的便利；對(duì)于企業(yè)而言，互聯(lián)網(wǎng)在企業(yè)和消費(fèi)者之間建立了直接聯(lián)系，為企業(yè)帶來(lái)更大的商機(jī)。貝恩公司與阿里巴巴研究院聯(lián)合開(kāi)展的2015年度中國(guó)電商報(bào)告顯示，2014年中國(guó)線上銷(xiāo)售額已經(jīng)達(dá)到2.9萬(wàn)億，其中一線城市人均支出超過(guò)10萬(wàn)元，由此可見(jiàn)，O2O電子商務(wù)改變了消費(fèi)者的消費(fèi)模式。推薦系統(tǒng)是利用數(shù)據(jù)挖掘等技術(shù)，分析消費(fèi)者在電子商務(wù)網(wǎng)站的訪問(wèn)行為，產(chǎn)生消費(fèi)者感興趣產(chǎn)品信息的推薦結(jié)果。

1　相關(guān)研究

O2O電子商務(wù)是基于大數(shù)據(jù)平臺(tái)架構(gòu)下的典型案例，關(guān)鍵問(wèn)題是依據(jù)海量的商品數(shù)據(jù)和用戶數(shù)據(jù)建立一個(gè)有效的推薦模型，目前流行的推薦模型主要有以下三種：

1）基于協(xié)同過(guò)濾的推薦：分為基于物品的協(xié)同過(guò)濾和基于用戶的協(xié)同過(guò)濾［1，2］。協(xié)同過(guò)濾通過(guò)對(duì)用戶偏好信息進(jìn)行分析，根據(jù)偏好數(shù)據(jù)計(jì)算相似用戶和相似物品，然后基于相似物品或相似用戶進(jìn)行推薦［3］。協(xié)同過(guò)濾的主要優(yōu)點(diǎn)是集合了他人的經(jīng)驗(yàn)，有利于推薦新信息，實(shí)現(xiàn)個(gè)性化推薦；缺點(diǎn)主要是稀疏性問(wèn)題和冷啟動(dòng)問(wèn)題。

2）基于關(guān)聯(lián)規(guī)則的推薦：關(guān)聯(lián)規(guī)則挖掘已經(jīng)是數(shù)據(jù)挖掘中的一個(gè)經(jīng)典的問(wèn)題，主要是挖掘不同商品在銷(xiāo)售過(guò)程中的相關(guān)性，由此預(yù)判消費(fèi)者在購(gòu)買(mǎi)了一些商品后的下一次購(gòu)物行為，當(dāng)關(guān)聯(lián)規(guī)則得到驗(yàn)證后，就可以建立基于關(guān)聯(lián)規(guī)則的推薦模型，Agrawal等在1993年最早提出了Aprior的關(guān)聯(lián)規(guī)則推薦算法［4］。

3）基于模型的推薦：本質(zhì)上是應(yīng)用機(jī)器學(xué)習(xí)方法解決推薦問(wèn)題，將已有用戶行為數(shù)據(jù)和商品屬性數(shù)據(jù)進(jìn)行預(yù)處理后，分析特征向量，獲取訓(xùn)練樣本［5］，再找到一個(gè)可行的訓(xùn)練算法驗(yàn)證預(yù)測(cè)結(jié)果。其關(guān)鍵在于如何分析和約簡(jiǎn)特征向量，將用戶實(shí)時(shí)偏好信息反饋給已建立模型，從而提高推薦準(zhǔn)確率。

本文采用基于模型的推薦，通過(guò)深入挖掘移動(dòng)O2O電子商務(wù)中的用戶行為日志，抽取出能辨別用戶對(duì)商品服務(wù)購(gòu)買(mǎi)行為的基本特征，然后將其融入梯度提升回歸算法，建立用戶興趣偏好模型來(lái)預(yù)測(cè)用戶的購(gòu)物行為。梯度提升回歸算法（Gradient Boost Decision Tree）是一種組合決策樹(shù)機(jī)器學(xué)習(xí)算法［6］，通過(guò)組合多個(gè)弱決策樹(shù)形成一個(gè)強(qiáng)決策樹(shù)預(yù)測(cè)模型。梯度提升回歸算法具有評(píng)價(jià)特征重要性的能力，和SVM一起被認(rèn)為是泛化能力較強(qiáng)的算法。

2　移動(dòng)用戶基于位置的偏好特征分析

O2O是典型的基于位置服務(wù)的一種電子商務(wù)模式，提供的商品以本地服務(wù)類(lèi)為主，如飲食，住宿，娛樂(lè)等，要求用戶線下實(shí)地體驗(yàn)，其主要特點(diǎn)是位置信息對(duì)于用戶行為特征有重大影響［7］。上述位置信息是個(gè)廣義概念，同時(shí)包含了時(shí)間和地理位置兩個(gè)維度的數(shù)據(jù)。

1）在時(shí)間維度上，如果用戶剛剛消費(fèi)一個(gè)項(xiàng)目，那短期內(nèi)再次消費(fèi)的可能性很低，例如理發(fā)服務(wù)。設(shè)用戶消費(fèi)某一商品或服務(wù)項(xiàng)目的平均周期為T(mén)，消費(fèi)時(shí)間周期T對(duì)用戶的相關(guān)性函數(shù)定義為：

其中，λ是時(shí)間衰減參數(shù)。顯然，當(dāng)t=T時(shí)，n（T）取得最大值。

2）在地理位置維度上，移動(dòng)位置不同對(duì)用戶消費(fèi)需求也有重大影響。在熱門(mén)消費(fèi)場(chǎng)景區(qū)域比如商場(chǎng)街區(qū)等，用戶會(huì)有一定的隨眾傾向，在一些偏遠(yuǎn)、冷門(mén)的場(chǎng)景，用戶平均消費(fèi)傾向又所降低。根據(jù)長(zhǎng)尾理論，雖然場(chǎng)景活躍度高的地方集中了大多數(shù)的用戶需求，但是冷門(mén)的地方往往代表了用戶個(gè)性化需求［8］。因此，需綜合考慮場(chǎng)景活躍度和用戶活躍度以計(jì)算位置信息影響因子［9，10］。假定場(chǎng)景活躍度是N（s），用戶活躍度是N（u），假定位置信息影響因子定義W為：

實(shí)驗(yàn)時(shí)，N（s）以場(chǎng)景所在地的品牌轉(zhuǎn)化率表示，N（u）以用戶在此場(chǎng)景所在地的品牌轉(zhuǎn)化率表示，其中0

3　梯度提升回歸算法（Gradient Boost Decision Tree）

3.1原理及方法

Gradient Boost Decision Tree（GBDT）是Fridedman在1999年提出的一種組合模型，它的基本思想是通過(guò)構(gòu)建M個(gè)弱分類(lèi)器，經(jīng)過(guò)多次迭代最終組合而成一個(gè)強(qiáng)分類(lèi)器。每一次迭代是為了改進(jìn)上一次結(jié)果，減少上一次模型的殘差。并且在殘差減少的梯度方向上建立新的組合模型［11］。為了描述模型的精確程度，引入損失函數(shù)。假定為訓(xùn)練樣本，代表參數(shù)集合，β是每個(gè)分類(lèi)器的權(quán)值，α是分類(lèi)器內(nèi)的參數(shù)，則以P為參數(shù)的x函數(shù)：

將式（2）寫(xiě)成梯度下降的形式為式（3），表示Fm（x）是之前所得模型Fm-1（x）的損失函數(shù)下降最快的方向：

對(duì)每個(gè)候選都計(jì)算偏導(dǎo)數(shù)gm（xi）：

最終得到一個(gè)N維梯度下降方向向量：

使用最小二乘法得αm：

進(jìn)而得到βm：

如此迭代M次最終得到參數(shù)集合P。

3.2改進(jìn)梯度提升回歸算法AGBDT：

梯度提升回歸算法是一種組合決策樹(shù)，通過(guò)對(duì)一系列的弱分類(lèi)器累加，同時(shí)迭代逼近找出各分類(lèi)器最佳權(quán)值，即損失函數(shù)在梯度下降方向時(shí)的參數(shù)，得出預(yù)測(cè)結(jié)果。原則上，各個(gè)分類(lèi)器的初始權(quán)值一般設(shè)置相等，但本文研究O2O實(shí)際場(chǎng)景中，當(dāng)前位置和時(shí)間對(duì)位置特征分類(lèi)器有明顯影響。通過(guò)多次實(shí)驗(yàn)將初始權(quán)值優(yōu)化設(shè)置如下：

最終改進(jìn)公式為：

其中，W是位置信息影響因子，n（T）是用戶商品服務(wù)消費(fèi)時(shí)間周期相關(guān)性函數(shù)。

4　實(shí)驗(yàn)結(jié)果與分析

4.1實(shí)驗(yàn)數(shù)據(jù)

實(shí)驗(yàn)數(shù)據(jù)為阿里巴巴公司在真實(shí)O2O電子商務(wù)業(yè)務(wù)場(chǎng)景下，一個(gè)月的移動(dòng)端行為數(shù)據(jù)和下一天用于準(zhǔn)確度計(jì)算的移動(dòng)端行為數(shù)據(jù)。數(shù)據(jù)項(xiàng)包含了脫敏處理的用戶ID、用戶行為、行為觸發(fā)時(shí)間、用戶位置信息數(shù)據(jù)和商品ID、商品類(lèi)別、商品位置信息。在真實(shí)的業(yè)務(wù)場(chǎng)景下，需要對(duì)所有商品的一個(gè)子集構(gòu)建個(gè)性化推薦模型。在完成任務(wù)的過(guò)程中，不僅需要利用用戶在這個(gè)商品子集上的行為數(shù)據(jù)，還需要利用更豐富的用戶行為數(shù)據(jù)。定義符號(hào)如下：U——用戶集合；I——商品全集；P——商品子集，P∩_I；D——用戶對(duì)商品全集的行為數(shù)據(jù)集合。本文目標(biāo)是利用D來(lái)構(gòu)造U中用戶對(duì)P中商品的推薦模型。

1）數(shù)據(jù)說(shuō)明：

數(shù)據(jù)包含兩個(gè)部分，如表1、2所示。第一部分是用戶在商品全集上的移動(dòng)端行為數(shù)據(jù)（D）：

表1　用戶行為日志字段說(shuō)明

表2　商品數(shù)據(jù)字段說(shuō)明

訓(xùn)練數(shù)據(jù)包含了抽樣出來(lái)的一定量用戶在一個(gè)月時(shí)間（11.18～12.18）內(nèi)的移動(dòng)端行為數(shù)據(jù)（D），測(cè)試數(shù)據(jù)是這些用戶此后一天（12.19）對(duì)商品子集（P）的購(gòu)買(mǎi)數(shù)據(jù)。實(shí)驗(yàn)將使用訓(xùn)練數(shù)據(jù)建立推薦模型，并輸出用戶在此后一天對(duì)商品子集購(gòu)買(mǎi)行為的預(yù)測(cè)結(jié)果。

2）評(píng)估指標(biāo)：

采用經(jīng)典的精確度（precision）、召回率（recall）和F1值作為評(píng)估指標(biāo)［8］。計(jì)算公式如下：

其中PredictionSet為算法預(yù)測(cè)的購(gòu)買(mǎi)數(shù)據(jù)集合，ReferenceSet為真實(shí)的答案購(gòu)買(mǎi)數(shù)據(jù)集合。我們以F1值作為最終的唯一評(píng)測(cè)標(biāo)準(zhǔn)。

4.2實(shí)驗(yàn)設(shè)計(jì)

4.2.1特征提取

原始數(shù)據(jù)包含字段：用戶ID、商品ID、商品類(lèi)別ID、時(shí)間（精確到小時(shí)）、地理位置、用戶行為。首先劃分特征類(lèi)別，比如分為用戶—商品類(lèi)特征，用戶—商品類(lèi)別類(lèi)特征，商品—商品類(lèi)別特征，商品類(lèi)特征，用戶類(lèi)特征，商品類(lèi)別類(lèi)特征，交叉特征等幾個(gè)方面。劃分粒度分為月，周，天，小時(shí)，初步數(shù)據(jù)統(tǒng)計(jì)之后會(huì)發(fā)現(xiàn)購(gòu)買(mǎi)時(shí)間熱段和冷段，來(lái)適當(dāng)調(diào)整時(shí)間片長(zhǎng)度。主要特征有：直接特征，按時(shí)間維度劃分點(diǎn)擊次數(shù)，購(gòu)買(mǎi)次數(shù)，收藏次數(shù)，加入購(gòu)物車(chē)次數(shù)；位置特征，劃分基于位置信息的各種用戶行為；轉(zhuǎn)化率特征，品牌被點(diǎn)擊，收藏，加入購(gòu)物車(chē)到成功購(gòu)買(mǎi)的轉(zhuǎn)化率；時(shí)間特征：最后一次購(gòu)買(mǎi)，點(diǎn)擊，收藏，加入購(gòu)物車(chē)的時(shí)間差，同類(lèi)商品平均購(gòu)買(mǎi)時(shí)間間隔，歷史至今點(diǎn)擊，購(gòu)買(mǎi)的天數(shù)。為了獲取基于位置信息的用戶活躍度N（u）和場(chǎng)景活躍度N（s），需要提取用戶-位置-轉(zhuǎn)化率三維特征，位置-轉(zhuǎn)化率二維特征。

4.2.2實(shí)驗(yàn)結(jié)果與分析

本文在構(gòu)建完成的訓(xùn)練集中，正負(fù)樣本的比例采取大約為1：300，首先為了評(píng)估特征個(gè)數(shù)對(duì)實(shí)驗(yàn)結(jié)果的影響，固定迭代次數(shù)k=300，得到圖1特征個(gè)數(shù)m與F1之間的曲線關(guān)系。由圖1可知，當(dāng)m在［10， 20］上升趨勢(shì)明顯，m>30，F(xiàn)1分?jǐn)?shù)平緩增長(zhǎng)，m=80時(shí)，取得最大值。m>80后，曲線有下降趨勢(shì)。綜合考慮F1分?jǐn)?shù)和算法復(fù)雜度，m=80效果最好。

圖1　特征個(gè)數(shù)與F1分?jǐn)?shù)相關(guān)曲線

在取特征個(gè)數(shù)m=80，評(píng)估在算法GBDT和改進(jìn)算法AGBDT下，迭代次數(shù)和F1分?jǐn)?shù)的關(guān)系，訓(xùn)練結(jié)果如圖2所示，迭代次數(shù)相同的情況下，改進(jìn)算法AGBDT取得更高F1分?jǐn)?shù)，說(shuō)明合理預(yù)判決策樹(shù)權(quán)值有助于降低迭代次數(shù)。迭代次數(shù)k在［50， 100］時(shí)，兩種算法的F1值趨勢(shì)明顯上升，k>100，增速放緩，k>400有明顯下降趨勢(shì)。綜合考慮，迭代次數(shù)選擇k=350。

圖2　迭代次數(shù)和F1分?jǐn)?shù)相關(guān)曲線

最終，在正負(fù)樣本比例取1：300，特征個(gè)數(shù)m=80，迭代次數(shù)k=350，取得實(shí)驗(yàn)結(jié)果如表3：

表3　實(shí)驗(yàn)最終結(jié)果

5　總結(jié)與展望

綜上所述，GBDT算法由多個(gè)弱分類(lèi)器組成的強(qiáng)分類(lèi)器具有較強(qiáng)的泛化能力，可以綜合考慮多個(gè)特征組合的不同情形，在本文中，為了在推薦模型中考慮當(dāng)前位置信息對(duì)用戶購(gòu)物行為的影響，在相對(duì)應(yīng)的特征分類(lèi)器上添加了相關(guān)位置信息相關(guān)因子，和時(shí)間消費(fèi)周期函數(shù)。實(shí)驗(yàn)結(jié)果表明，改進(jìn)算法取得了良好的準(zhǔn)確率和召回率。

本文在應(yīng)用GBDT算法實(shí)現(xiàn)基于用戶購(gòu)物行為歷史數(shù)據(jù)預(yù)測(cè)下一步購(gòu)物行為的基礎(chǔ)上，進(jìn)行了隨著位置改變引起的推薦內(nèi)容變化的算法改進(jìn)。不過(guò)由于條件限制，并未做線上實(shí)時(shí)推薦測(cè)試，因此關(guān)于算法推薦模型的實(shí)際運(yùn)行情況將成為下一個(gè)研究重點(diǎn)。

參考文獻(xiàn)

［1］許海玲，吳瀟，李曉東，等.互聯(lián)網(wǎng)推薦系統(tǒng)比較研究［J］. 軟件學(xué)報(bào)，2009，20（2）：350-262.

［2］Leungcw， Chansc， Chungf， et al. An empirical study of a cross-level association rule mining approach to cold-start recommendations［J］. Knowledge-Based Systems， 2008， 21（7）： 515-529.

［3］馬宏偉，張光衛(wèi)，李鵬.協(xié)同過(guò)濾推薦算法綜述［J］.小型微型計(jì)算機(jī)系統(tǒng)，2009，30（7）：1282-1288.

［4］Agrawal R， Imuekubsju R， Swami A. Mining association rules between sets of items in large databases［C］.//.Proc. of ACM SIGMOD International Conference on Management of Data. New York： ACM Press，1993；207-216.

［5］閆友彪，陳元琰.機(jī)器學(xué)習(xí)的主要策略綜述［J］. 計(jì)算機(jī)應(yīng)用研究，2004，（7）：4-11.

［6］Friedman JH. Greedy function approximation：a gardient boosting machine［J］. Annal of Statistics， 2000， 29（5）： 1189-1232.

［7］孟祥武，胡勛，王立才，等. 移動(dòng)推薦系統(tǒng)及其應(yīng)用［J］. 軟件學(xué)報(bào)，2013，24（1）：91-108.

［8］項(xiàng)亮.推薦系統(tǒng)實(shí)踐［M］.北京：人民郵電出版社，2012.

［9］張新猛，蔣盛益，張倩生，等.基于用戶偏好加權(quán)的混合網(wǎng)絡(luò)推薦算法［J］.山東大學(xué)學(xué)報(bào)（理學(xué)版），2015（50）：30-34.

［10］王興茂，張興明.基于貢獻(xiàn)因子的協(xié)同過(guò)濾推薦算法［J］.計(jì)算機(jī)應(yīng)用研究，2015， 32（12）： 3351- 3354.

［11］Friedman JH. Stochastic gradient boosting［J］. Computatianal Statistics & Data Analysis， 2002，38（4）： 367-378

基金支持：安徽省自然科學(xué)基金（1408085QE94）

A Recommendation Model for O2O E-commercebased on Improved Gradient Boosting Regression Trees

SUN Kelei，DENG Xianrong
（School of Computer Science and Engineering， Anhui University of Science and Technology， Huainan 232001， China）

Abstract：Location attribute exerts important infuences on offine consuers. In order to improve the accuracy of personalized recommendation， basing on the analysis of the O2O e-commerce with user characteristics， this paper introduces the current time and location parameters to the basis of the recommendation algorithm， and it proposes O2O e-commerce recommendation model on improved gradient boosting regression tree The results show this model is apparently superior to the traditional recommendation algorithm both in real-time and accuracy.

Keywords：GBDT， LBS， Personalized recommendations， behavior log analysis

作者簡(jiǎn)介：孫克雷（1980-），男，博士，副教授，主要研究方向?yàn)樾畔⑷诤稀?/p>

收稿日期：2015-12-08

DOI:10.11921/j.issn.2095-8382.20160217

中圖分類(lèi)號(hào)：TP391

文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：2095-8382（2016）02-087-05