用戶在線購買預(yù)測：一種基于用戶操作序列和選擇模型的方法

曾憲宇　劉　淇　趙洪科　徐　童　王怡君　陳恩紅

(中國科學技術(shù)大學計算機學院　合肥　230027)

?

用戶在線購買預(yù)測：一種基于用戶操作序列和選擇模型的方法

曾憲宇劉淇趙洪科徐童王怡君陳恩紅

(中國科學技術(shù)大學計算機學院合肥230027)

(zengxy@mail.ustc.edu.cn)

電商網(wǎng)站的興起與用戶在線購物習慣的形成，帶來了海量的在線消費行為數(shù)據(jù).如何從這些行為數(shù)據(jù)(如點擊數(shù)據(jù))中建模用戶對相似產(chǎn)品的比較和選擇過程，進而準確預(yù)測用戶的興趣偏好和購買行為，對于提高產(chǎn)品的購買轉(zhuǎn)化率具有重要意義.針對這一問題，提出了基于用戶行為序列數(shù)據(jù)和選擇模型的在線購買預(yù)測解決方案.具體而言，1)使用行為序列效用函數(shù)估計用戶在購買周期(session)中的最佳替代商品，然后對購買商品和最佳替代商品建立基于潛在因子的選擇模型(latentfactorbasedchoicemodel,LF-CM)，從而得到用戶的購買偏好，實現(xiàn)對用戶購買行為的預(yù)測.更進一步，為了充分地利用用戶在每個購買周期的所有選擇和比較信息，提高預(yù)測精度;2)提出了一種可以作用于購買周期內(nèi)所有商品的排序?qū)W習模型(latentfactorandsequencebasedchoicemodel,LFS-CM)，它通過融合潛在因子和行為序列的效用函數(shù)，提高了購買預(yù)測的精度;3)使用大規(guī)模真實數(shù)據(jù)集在分布式環(huán)境下進行了實驗，并與參照算法進行了對比，證實了所提出的2個方法在用戶在線購買預(yù)測上的有效性.

在線購買預(yù)測；選擇模型；行為序列；序列效用；分布式平臺

隨著電子商務(wù)的迅猛發(fā)展，電商消費者規(guī)模與在線交易量呈現(xiàn)激增態(tài)勢.根據(jù)第36次中國互聯(lián)網(wǎng)絡(luò)發(fā)展狀況統(tǒng)計報告的數(shù)據(jù)，截止2015年6月，我國在線購物用戶與網(wǎng)絡(luò)支付用戶規(guī)模均突破3.5億.國內(nèi)最大電商平臺阿里巴巴集團的財報亦顯示，其2014年全年成交量達2.3萬億元人民幣，同比增長47%.然而，電子商務(wù)在為人們的生活帶來便捷的同時，由于其所承載商品的類別豐富且營銷方式多樣，這些海量信息也為用戶挑選所需商品增添了諸多困難[1-2].因此，借助技術(shù)手段準確分析用戶購買行為，為用戶決策或商家營銷提供支撐，已成為當前面向商務(wù)智能的數(shù)據(jù)挖掘領(lǐng)域重要的研究問題，對于改善用戶體驗、提高電商收益具有重要意義.

在此背景下，協(xié)同過濾等定向推薦技術(shù)[3]應(yīng)運而生，并廣泛運用于各電商網(wǎng)站的營銷系統(tǒng)中.這些傳統(tǒng)的推薦技術(shù)主要分析用戶的購買行為，并以此為依據(jù)推薦相似或者相關(guān)的商品供用戶選擇[4].然而，它們僅著眼于孤立的交易(購買)行為，卻忽略了這些購買與用戶其他類型的行為(如在購買時為了比較相似產(chǎn)品而進行的點擊行為)之間的關(guān)聯(lián).因此，定向推薦技術(shù)往往能夠分析出用戶會購買哪一類型的產(chǎn)品，卻不能精準預(yù)測用戶在一個購買周期(session)內(nèi)最終選擇哪個商品進行購買.這里，購物周期包含用戶購買產(chǎn)品過程中所發(fā)生的一系列針對多種相似的、競爭產(chǎn)品的點擊、比較行為和最終所發(fā)生的購買行為所組成的用戶行為序列.可以看出，因為在線購物網(wǎng)站商品的多樣性，不同用戶在不同購買周期所面臨的選擇都千差萬別，而且在同一購買周期內(nèi)的產(chǎn)品經(jīng)常是同類型的、相似度很高的產(chǎn)品，造成了傳統(tǒng)的推薦技術(shù)難以進行用戶在線購買的預(yù)測.與此同時，在線購買預(yù)測對于提高電商網(wǎng)站經(jīng)濟效益(如預(yù)測和提高產(chǎn)品的購買轉(zhuǎn)化率、幫助用戶進行購買目標(選擇集)的篩選)有著重要的意義，所以，如何利用購買周期所包含的產(chǎn)品比較和選擇信息序列來描述用戶的當前購買意圖，準確預(yù)測用戶將要發(fā)生的購買行為是本文所關(guān)注的核心問題.

針對在線購買預(yù)測的問題場景和購物周期的數(shù)據(jù)特性，本文提出了基于用戶行為序列數(shù)據(jù)和選擇模型[5]的在線購買預(yù)測方案.具體而言，本文分別設(shè)計了基于潛在因子的選擇模型(latentfactorbasedchoicemodel,LF-CM)和基于潛在因子和行為序列效用的選擇模型(latentfactorandsequencebasedchoicemodel,LFS-CM).在LF-CM模型中，通過引入機會成本的概念，分析用戶行為序列，并使用行為序列效用函數(shù)估計用戶在購買周期中的最佳替代商品(即在同一周期中，除去最終的購買選擇外最可能購買的商品)，從而對購買商品和最佳替代品建立選擇模型，進而利用用戶歷史購買行為中同一周期內(nèi)的商品比較選擇信息，對用戶當前的購買偏好進行排序?qū)W習.在LF-CM模型基礎(chǔ)之上，為更好地利用購物周期所包含的所有產(chǎn)品選擇和比較信息，還提出了一個可以融合潛在因子和行為序列的效用函數(shù)，作用于購買周期內(nèi)所有商品的排序?qū)W習模型LFS-CM.相比于LF-CM模型，LFS-CM能夠更充分地分析用戶的選擇行為，以提升預(yù)測精度.

最后，為驗證本文所提算法，在國內(nèi)最大的電商網(wǎng)站Tmall的真實數(shù)據(jù)集上，借助Tmall提供的大規(guī)模、分布式數(shù)據(jù)處理服務(wù)(opendataprocessingservice,ODPS)平臺進行了分布式實驗，并與該領(lǐng)域的多個參照算法進行了對比.實驗結(jié)果證實了本文所提出的LF-CM和LFS-CM方法在用戶在線購買預(yù)測上的有效性.

1　相關(guān)工作

與本文相關(guān)的工作主要分為2個方面：1)離散選擇模型;2)在線購買預(yù)測.

1.1離散選擇模型

離散選擇模型是經(jīng)濟學中的重要概念，又稱為定性選擇模型(qualitativechoicemodel)[6].離散選擇模型表示了從2個或者更多的離散候選項目(產(chǎn)品)中做出選擇的過程.在可選項離散的情況下，研究的是選擇“哪一個”的問題[7].經(jīng)典的離散選擇模型有邏輯回歸(logisticregression,LR)[8]、Probit回歸(probitregression)[9]等.離散選擇模型將事件發(fā)生與否概率解釋為特征變量的函數(shù)，可以由模型計算得到選擇各個物品的概率而得到最終的結(jié)果.

由于其在決策建模上的有效性，離散選擇模型被廣泛應(yīng)用于社會學、生物統(tǒng)計學、數(shù)量心理學、市場營銷等多個領(lǐng)域[10].例如，市場調(diào)研人員使用選擇模型研究用戶的需求、預(yù)測商品的市場響應(yīng)[6]；交通管理人員使用選擇模型來規(guī)劃交通系統(tǒng)[11-12]；社會學研究者使用選擇模型來預(yù)測職業(yè)和訓練項目[13].此外，離散選擇模型還可用于描述一些新興應(yīng)用場景.例如，文獻[14]提出了一種基于用戶近期偏好的選擇模型用于解決興趣點(pointofinterest,POI)推薦；文獻[15]提出了一種使用絕對距離和相對距離作為特征輸入的選擇模型來模擬用戶在地圖上進行餐館選擇過程的方法.

1.2在線購買預(yù)測

在線購買預(yù)測對于電商網(wǎng)站提高經(jīng)濟效益有著重要的意義，在工業(yè)界已經(jīng)被廣泛重視，Tmall與Recsys都曾舉辦過關(guān)于在線購買預(yù)測的比賽.大部分隊伍使用了特征工程和模型融合的方法[16-18].這些方法首先提取出用戶序列中與購買有關(guān)的特征，然后借助不同的模型(例如邏輯回歸[8]、梯度提升決策樹(GBDT)等)進行擬合訓練及模型融合[19].例如，在Tmall舉辦的移動購買預(yù)測比賽中文獻[17]首先使用訓練數(shù)據(jù)得到多個GBDT模型，然后用其輸出作為LR模型的輸入，得到最終的預(yù)測結(jié)果.同時，相關(guān)問題在學術(shù)界也正被廣泛的研究，例如，文獻[20-22]使用社交信息，研究了在用戶的選擇與消費和社交因素之間的聯(lián)系.

與此同時，推薦技術(shù)在某種程度上也可以解決購買預(yù)測問題[23].傳統(tǒng)的推薦技術(shù)包括基于內(nèi)容推薦[24]、協(xié)同過濾(ModelBasedCF[25]，MemoryBasedCF[26])和混合推薦策略[27].然而，如在引言中所述，由于這些技術(shù)多著眼于孤立的用戶交易(購買)行為，卻忽略了這些購買與用戶其他類型的行為(如在購買時為了比較相似的、競爭的同類型產(chǎn)品而進行的點擊行為)之間的關(guān)聯(lián)，因此雖然能夠分析出用戶在之后一段時間內(nèi)可能會購買哪一類型的產(chǎn)品，卻不能精準預(yù)測用戶在一個購買周期內(nèi)最終選擇哪個商品.而本文引入購物周期和機會成本等概念，通過使用用戶的操作行為序列建模用戶在相似產(chǎn)品之間的比較信息，更加清晰地反應(yīng)了用戶的真實偏好，能夠更有效地解決用戶在線購買預(yù)測的問題.

2　預(yù)備知識

本節(jié)將首先介紹在線購買預(yù)測針對的場景和使用的數(shù)據(jù)形式，然后定義本文中涉及到的基本概念，最后對在線購買預(yù)測問題進行形式化描述.

2.1問題場景和數(shù)據(jù)描述

以Tmall為例，用戶在進行在線購物時，會看到許多待選商品，在對這些商品進行比較和選擇時，會產(chǎn)生一系列的行為序列數(shù)據(jù)，如點擊(click)、收藏(collect)、加入購物車(cart)、和購買(buy)等，并被系統(tǒng)記錄到用戶操作日志中.例如，Tmall提供的日志數(shù)據(jù)樣例如表1所示：

Table 1　Example of Original Records表1　原始數(shù)據(jù)示例

表1數(shù)據(jù)共包含6個字段，分別是用戶(user)、交互商品(item)、商品品牌(brand)、商品類別(category)、用戶操作類型(action)和時間戳(timestamp).每個用戶的行為日志記錄了此用戶在Tmall平臺上完整的行為數(shù)據(jù).

為了更加方便地描述用戶單次消費的選擇情形，按照時間戳信息對用戶行為序列進行劃分，從而獲得用戶在線購物中的購買周期(session).本文采用以下的啟發(fā)式方法進行購買周期劃分：以每次的購買行為作為分割點，向此分割點之前的操作記錄進行搜索，如果該記錄與下一個操作之間的時間間隔小于設(shè)定的閾值(如若干小時)，就將其歸到該次購買商品所對應(yīng)的周期中.需要注意的是，在該分割方法下，一個購買周期中只有一個被購買的產(chǎn)品.通過周期劃分，可以得到每個用戶在不同購買周期的行為序列，如表2所示：

Table 2　Example of Session Records表2　分段后的數(shù)據(jù)示例

例如，表2的第1行表示用戶U1在購買周期S1中的產(chǎn)品操作序列為a,b,b,b,a,c,c,b，而他最終購買的是產(chǎn)品b.需要注意的是，為了簡單起見，表2忽略了用戶不同的操作類型click,cart和collect的差異，而將其視為統(tǒng)一的瀏覽(點擊)操作，即本文主要關(guān)注于挖掘統(tǒng)一產(chǎn)品操作中的用戶序列模式.

2.2相關(guān)概念

本文主要討論用戶在線購買商品的行為及其預(yù)測方法.在本文中，所有的用戶構(gòu)成的用戶集合U表示為U={u1,u2,u3,…}，所有的商品構(gòu)成的商品集合I表示為I={i1,i2,i3,…}.在此基礎(chǔ)之上，給出購買周期以及其他相關(guān)概念的形式化定義：

定義1. 購買周期(session).一個購買周期s表示一個用戶在一定時間范圍內(nèi)經(jīng)過對比和選擇并最終產(chǎn)生購買行為的過程，可以表示為一個三元組s=(u,sq,ib).其中u∈U，表示該購買周期的用戶；sq={ib1,ib2,ib3,…}表示用戶在該購買周期內(nèi)的商品操作序列，即表2中的ItemSequence字段的商品記錄，ib∈sq表示用戶在此次購買周期中經(jīng)過比較和選擇之后最終購買的商品.所有購買周期的集合記為S={s1,s2,…}.

定義2. 商品效用.為了量化用戶對商品的購買意愿，在任一個購買周期s中，針對某一用戶u，對每件商品i定義一個效用值ws,u,i=w(s,u,i)，其表示該用戶在當前購買周期中對于該商品價值的衡量.效用值越高，說明用戶對商品價值的衡量越高，購買它的可能性也越大.

定義3. 機會成本.在購買周期s中，當用戶購買了商品ib時，就意味著會放棄其他的商品.機會成本ws,u,io c即指該購買周期中放棄的所有商品所對應(yīng)的最大效用值(是個估計值)，而具有該最大效用值的產(chǎn)品io c被稱為購買周期中的最佳替代商品，即:

最后，本文所研究的問題可總結(jié)為從用戶所有的歷史在線購買周期的序列模式中挖掘用戶對商品的潛在興趣和心理偏好，并根據(jù)當前購買周期中已出現(xiàn)的商品操作序列準確地預(yù)測用戶可能購買的商品.形式化描述為：給定歷史訓練數(shù)據(jù)ST,從中學習到預(yù)測模型M；對于任意待預(yù)測的購買周期s=(u,sq,ib)，在u和sq已知的情況下利用預(yù)測模型M預(yù)測出用戶u在此次購買周期中最有可能購買的商品ib.

3　模型介紹

針對上述的研究問題，本文提出了2種排序選擇模型：基于潛在因子的選擇模型(LF-CM)，及基于潛在因子和行為序列效用的選擇模型(LFS-CM).具體而言，兩者都借鑒了潛在因子模型中的潛在因子(latentfactor)概念，即通過對用戶操作序列的分析，將用戶和商品的屬性分別映射到低維空間中(潛在因子).

基于潛在因子的選擇模型(LF-CM)首先基于行為序列的特征設(shè)計出序列效用函數(shù)，接下來根據(jù)該效用函數(shù)計算購買周期內(nèi)所有商品的預(yù)估效用值，從而在當前購買周期內(nèi)確定最佳替代商品，然后在當前購買商品與最佳替代商品之間建立選擇模型.因此，在單個購買周期內(nèi)，LF-CM模型只需要在當前購買商品和最佳替代商品之間進行對比學習(潛在因子學習)，從而可以有效地減少學習訓練時間.

基于潛在因子和行為序列效用的選擇模型(LFS-CM)，將商品的潛在因子和在當前購買周期內(nèi)的行為序列效用結(jié)合在一起表示商品的效用，并在當前購買商品和本周期所有候選的商品之間建立選擇模型.相比于LF-CM模型，由于LFS-CM模型使用了購買周期內(nèi)所有商品，因此能夠更加充分地利用用戶的比較和選擇信息，提升模型的準確度.

3.1基于潛在因子的選擇模型(LF-CM)

LF-CM模型是建立在當前購買商品和最佳替代商品之間的選擇模型.它利用用戶行為序列設(shè)計效用函數(shù)來估計購買周期內(nèi)所購買商品的機會成本，從而鎖定候選商品中的最佳替代品.

3.1.1商品效用函數(shù)

在實際的在線購買過程中，用戶的選擇取決于他對購買周期內(nèi)商品的價值評估，即商品效用ws,u,i.本文借鑒潛在因子的思想，將商品對于用戶的效用ws,u,i表示為代表用戶的潛在因子向量pu與代表商品的潛在因子向量qi的內(nèi)積，即：

(1)

用戶的偏好與商品特征越契合，即商品越符合用戶的選擇習慣，則其內(nèi)積w越大；相反，商品越不符合用戶的選擇偏好，其效用值w就越小.Luce提出的選擇公理(Luce’schoiceaxiom)說明了在商品集合中進行選擇的方式：選擇某一件商品的概率依賴于其在整個商品集合中的相對效用，相對效用越大，選取這件商品的概率就越大[8].

假定用戶都是理性的，即他們會考慮到在進行決策時的機會成本和收益，最終選擇效用不小于機會成本ws,u,io c的商品購買，即在任意購買周期s中，用戶所購買商品ib的效用應(yīng)當不小于最佳替代產(chǎn)品的效用(機會成本)：

3.1.2確定最佳替代品

用戶最終購買的產(chǎn)品ib是可觀察到的，而最佳替代產(chǎn)品則是未知的(本周期內(nèi)的所有候選商品都有可能)，為了估計最佳替代產(chǎn)品必須首先得到商品效用(式(1)).然而，如果直接使用式(1)進行計算，則需要判斷每個周期內(nèi)所有候選商品的效用值.事實上，商品效用(用戶的選擇偏好)可以簡單通過用戶在每個購買周期內(nèi)的行為序列來預(yù)估(不需要進行式(1)的因子相乘).在本文中，提出序列效用函數(shù)f(s,i)的概念，可以使用f(s,i)來對商品的效用進行預(yù)估.然后，LF-CM模型以該效用函數(shù)計算得到商品效用為依據(jù)，確定預(yù)估的機會成本以及相應(yīng)的最佳替代品io c(除去購買商品ib外數(shù)值最大的序列效用函數(shù)對應(yīng)的商品).使用這種預(yù)估商品效用的方法，在每個購買周期中只需要在購買商品和最佳替代商品之間利用式(1)建立選擇模型.

本文設(shè)計的序列效用函數(shù)考慮2個影響商品選擇的因素：

1) 商品在購買周期中出現(xiàn)的頻率(frequency).直觀上，一件商品在購買周期中出現(xiàn)的頻率越高，說明用戶對其越感興趣，就有越大的可能性去選擇購買這件商品.例如，購買周期的商品點擊序列為{a,a,b,b,a,a,a,a,a}，那么用戶購買商品a的可能性應(yīng)該高于購買商品b的可能性.

2) 點擊與購買的時間間隔(recency).在一個購買周期中，用戶最近點擊的商品更有可能被選擇.假定一個購買周期的點擊序列為{a,a,a,b,c,b,a,b,b,b,b},那么商品b的購買概率應(yīng)該高于商品a.因為在經(jīng)過對比a,b,c之后，用戶將重點放在了商品b上，所以用戶對商品b的滿意度可能更高.

綜合frequency和recency因素，給出以下f(s,i)的具體定義形式.將購買周期s中用戶的點擊序列sq按照時間排序，其長度為N，sq從起始至結(jié)束各個位置分別編號為1,2,…,N,假定商品i出現(xiàn)的位置組成集合P(s,i),則在該購買周期中，商品i的序列效用函數(shù)可表示為

通過如上方式，可以計算得到購買周期內(nèi)所有商品的序列效用f(s,i)，從而預(yù)估出最佳替代商品io c.值得一提的是，對于f(s,i)的選擇也可以是其他的形式，但都需要能夠表現(xiàn)出序列的特征.

3.1.3基于潛在因子的選擇模型(LF-CM)

在使用f(s,i)確定了每個購買周期中當前購買商品的最佳替代商品之后，便可以在當前購買商品與最佳替代商品二者之間建立比較選擇模型.如下所示，其優(yōu)化目標是在所有的購買周期中購買商品和最佳替代品的效用差的和最小：

(2)

其中,θ為w包含的參數(shù).

將式(1)帶入到式(2)中可得LF-CM最終所要優(yōu)化求解的目標：

(3)

本文采用梯度下降法對式(3)進行求解.具體地，首先分別在固定qi和pu的情況下對式(3)進行求導(dǎo)：

(4)

(5)

對pu和qi交替地進行更新優(yōu)化:

(6)

(7)

其中,η為步長.

模型訓練收斂后即得到用戶和商品在隱特征空間的特征表示(pu,qi).需要注意的是，LF-CM模型雖然在每個購買周期中沒有考慮非最佳替代品，但是一個購買周期中的非最佳替代品可能是另一個購買周期中的購買商品或者最佳替代品，因此，使用LF-CM仍可以得到所有商品的潛在信息.

3.2基于潛在因子和行為序列的選擇模型(LFS-CM)

LF-CM模型使用行為序列效用函數(shù)估計用戶在購買周期中的最佳替代商品，并僅在當前購買商品和最佳替代品之間建立的選擇模型.它可能存在3個方面的缺點：

1) 損失用戶的部分比較選擇信息.在線消費的過程中，用戶不僅僅在最佳替代品和當前購買商品之間進行比較選擇，而是所有購買周期中的商品都需要與當前購買商品進行比較;

2) 采用行為序列效用函數(shù)估計機會成本，確定最佳替代品有一定的風險，即行為序列效用函數(shù)f(s,i)并不一定能找到真正的最佳替代品;

3) 無法解決冷啟動[28-29]問題.如果一個購買周期中的用戶和出現(xiàn)的商品在歷史記錄中沒有足夠的訓練數(shù)據(jù)，那么無法得到準確穩(wěn)定的用戶和商品的特征表示.

為了克服LF-CM模型的上述缺點，本節(jié)提出基于潛在因子和行為序列效用的選擇模型(LFS-CM).LFS-CM模型采用效用函數(shù)：

(8)

式(8)在式(1)的基礎(chǔ)上添加了行為序列效用函數(shù)f(s,i)項，并采用參數(shù)α調(diào)節(jié)潛在因子效用和行為序列效用的權(quán)重.

LFS-CM模型是在用戶購買周期內(nèi)所有候選商品和當前購買商品之間建立的選擇模型：

(9)

類似地，LFS-CM模型也采用梯度下降法求解，pu和qi交替地進行優(yōu)化：

(10)

(11)

由于LFS-CM模型的效用函數(shù)包含潛在因子效用和行為序列效用2項，所以LFS-CM模型在一定程度上可以解決用戶和商品的冷啟動問題.因而，相比于LF-CM模型，LFS-CM模型能夠更加充分、全面地利用用戶的選擇信息，進而提高預(yù)測精度.

4　實　　驗

Fig. 1　User and item count distribution.圖1　用戶與商品記錄數(shù)分布

本文實驗全部在Tmall提供的開放數(shù)據(jù)處理服務(wù)(ODPS)平臺上完成.ODPS平臺由阿里云自主研發(fā)，提供了針對TBPB級數(shù)據(jù)分布式處理能力，應(yīng)用于數(shù)據(jù)分析、挖掘、商業(yè)智能等領(lǐng)域.該平臺提供了SQL查詢接口、MapReduce編程接口等服務(wù).本文在該平臺下利用上述工具以分布式的方式設(shè)計和實現(xiàn)了實驗所用的算法，能夠?qū)Υ篌w量的數(shù)據(jù)進行處理，充分挖掘其中所包含的有價值信息，具有很好的擴展性.

4.1數(shù)據(jù)分析與預(yù)處理

實驗數(shù)據(jù)采用了Tmall網(wǎng)站2013年4月至9月全部的用戶行為記錄，數(shù)據(jù)格式如表1所示.該數(shù)據(jù)集一共包含1 333 729 303條記錄，涉及9 774 184位用戶、8 133 507件商品.其中，絕大多數(shù)行為記錄為點擊行為，購買行為僅占不到1%.

圖1展示了用戶與商品涉及記錄數(shù)的統(tǒng)計分布.其中橫軸為記錄數(shù)，縱軸為其數(shù)目，絕大部分的操作都在1 000次以內(nèi)，其中每個用戶的平均操作次數(shù)約為136，每個商品的平均操作次數(shù)約為164.從購買行為所占比例和商品、用戶的平均操作次數(shù)的分布可以看出，該數(shù)據(jù)十分稀疏，且呈現(xiàn)顯著的長尾特征，因此需要充分地利用用戶行為序列的信息以對購買進行預(yù)測.

4.1.1數(shù)據(jù)預(yù)處理

首先對數(shù)據(jù)進行預(yù)處理:1)去除低頻商品.為在一定程度上緩解冷啟動問題，在實驗中只選擇保留出現(xiàn)次數(shù)在500以上的商品，約占全部商品的10%;2)劃分購買周期.按照第3節(jié)中提到的方法進行劃分，并選擇2次操作的間隔閾值為12h.即若2次操作的間隔時間大于12h，則它們應(yīng)當位于不同的購買周期中.同時，由于長度較短的購買周期購買行為存在較強的隨機性，為了使模型的訓練有效和準確，本文僅考慮長度(行為記錄數(shù))大于5的購買周期.表3展示了劃分購買周期后的一些統(tǒng)計結(jié)果.

Table 3　Data after Pre-Processing表3　預(yù)處理后的數(shù)據(jù)

通過表3我們發(fā)現(xiàn)，在每個購買周期中，用戶通常會比較超過4個商品并在其中進行選擇購買，而每個商品的平均點擊次數(shù)接近3次.由此可見，購買周期的序列中包含著豐富的比較和選擇信息.

對于frequency，在每個購買周期中按照不同商品出現(xiàn)頻次從大到小進行排序，然后得到購買的商品所占排位的百分比.

對于recency，在每個購買周期中按照不同商品出現(xiàn)的時間從后向前進行排序，然后得到購買的商品所占排位的百分比.

圖2展示了所有購買周期中frequency和recency的分布.可以看出，無論是對于frequency還是recency，用戶所購買的商品很大一部分都在前30%中，即用戶傾向于購買在購買周期中出現(xiàn)頻率更高和操作時間更近的商品.這為本文所采用的行為序列效用函數(shù)f(s,i)考慮recency和frequency因素提供了統(tǒng)計依據(jù).

Fig. 2　Recencyfrequency rank of purchased items distribution.圖2　購買商品所占排位的分布

4.2實驗設(shè)置

本文在ODPS平臺上按照分布式的方式[30-31]實現(xiàn)了所提出的LF-CM和LFS-CM兩種選擇模型以及其他幾種對比方法.實驗中，按照4∶1的比例將用戶的購買周期集合劃分為訓練集和測試集，在訓練集的購買周期中對模型參數(shù)進行學習和調(diào)整，然后在測試集中按照學習得到的參數(shù)對新購買周期的商品進行購買預(yù)測.

在LF-CM模型和LFS-CM模型中，本文通過比較設(shè)置正則化項參數(shù)λu=λi=0.01，用戶和商品的特征維度設(shè)置為10，在計算過程中動態(tài)的調(diào)整步長來進行迭代訓練，待收斂后得到用戶和商品的特征向量(pu,qi).

4.2.1對比方法

為了驗證所提出模型的效果，本文選取了7種方法作為對比實驗.

1) 隨機選擇(Rand).對測試集中每個購買周期內(nèi)出現(xiàn)的商品，隨機地選取一個作為用戶購買預(yù)測的結(jié)果.

2) 最流行商品(Pop).在訓練集中統(tǒng)計每個商品被用戶操作的次數(shù)，作為商品流行度的指標.然后對測試集的購買周期，推薦該購買周期中最流行的商品.

3) 基于用戶的K近鄰(KNN)[32].使用傳統(tǒng)推薦系統(tǒng)中協(xié)同過濾的方法.具體地，在訓練集中，按照用戶購買的商品計算出用戶之間的相似度.然后在測試集中用相似度計算每個商品可能會被購買的權(quán)重，最后按照權(quán)重的高低衡量商品購買概率.

4) 使用用戶購買周期中所用商品進行排序?qū)W習(PQ)[33].在訓練集中，使用購買周期中的所有商品進行學習，這實際上就是LFS-CM模型在α=1時的特殊情形.

5) 使用用戶在購買周期中表現(xiàn)出的序列效用(FIS).根據(jù)用戶購買周期的序列計算得到的f(s,i)作為商品效用，這實際上是LFS-CM模型在α=0的特殊情形.

6) 邏輯回歸(LR)[8,34].為了與其他方法進行有效地對比，在LR模型中也使用了frequency和recency兩類特征.第1類frequency特征包括商品在購買周期中出現(xiàn)的次數(shù)以及頻率(相對次數(shù))；第2類recency特征包括商品在購買周期中最后出現(xiàn)的位次和相對位次(位次除以購買周期中的長度).將購買預(yù)測轉(zhuǎn)化為二分類問題，購買周期中LR預(yù)測概率最大的商品即為購買商品.

7) 梯度提升決策樹(GBDT)[35].與LR相同，使用frequency和recency特征.購買周期中預(yù)測概率最大的商品即為購買商品.

4.2.2衡量指標

實驗中，按照每種方法計算出不同商品的效用值，分別選取效用值最高的1個(Top1)、2個(Top2)、3個(Top3)商品作為預(yù)測購買的結(jié)果.

本文使用召回率(Recall)和精度(Precision)作為衡量預(yù)測方法的預(yù)測準確性的指標，其計算公式分別為

其中，TP為預(yù)測購買的商品數(shù)量；FP為預(yù)測購買而實際未被購買的商品數(shù)量.

4.3實驗結(jié)果

本節(jié)從多個方面對實驗結(jié)果進行展示和分析.首先，通過購買預(yù)測結(jié)果，再次驗證LF-CM模型中使用行為序列效用函數(shù) 估計最佳替代品的有效性.然后，測試LF-CM模型的效用函數(shù)中權(quán)重參數(shù)α的影響，并得到α的最優(yōu)取值.最后展示所提出的模型以及對比方法在預(yù)測準確性上的對比結(jié)果.

4.3.1f(s,i)估計最佳替代品的有效性

因為最佳替代商品不是可觀測的，所以為了說明使用f(s,i)來估計最佳替代品的有效性，本文的驗證方法如下：1)分別使用f(s,i)以及隨機選取的方法選擇購買周期中的其他商品作為最佳替代商品；2)在最佳替代商品和用戶購買商品之間建立選擇模型(使用的f(s,i)方法即為LF-CM)；3)在測試集上通過購買預(yù)測的效果驗證所選擇的最佳替代品的準確性.表4給出了2種方法效果對比：

Table4EffectComparisonoftwoMethodsofSelectingthe

OptimumSubstitutes

表4　2種選擇最佳替代品方法的效果對比

從表4中可以看出相比于隨機選擇，使用f(s,i)來估計最佳替代品的購買預(yù)測結(jié)果在精度和召回率2種指標上都有著顯著的提升，說明了使用行為序列效用函數(shù)f(s,i)估計最佳替代品的有效性.

4.3.2LFS-CM參數(shù)α的影響

為了測試LFS-CM模型對參數(shù)α的敏感性并得到最佳的α值，分別設(shè)置α= 0,0.2,0.4,0.6,0.8,1.0進行了Topk預(yù)測的實驗.

如圖3所示，在不同α的條件下，模型預(yù)測效果會有所差別，當α= 0.6時精度和召回率都有最好的效果，因此在后文與其他方法的對比實驗中，LFS-CM模型的α參數(shù)設(shè)置為0.6.

4.3.3預(yù)測準確性結(jié)果對比

圖4顯示了LF-CM模型、LFS-CM模型以及對比方法(Rand,Pop,KNN,PQ,FIS,LR,GBDT)在精度和召回率2種指標上的對比結(jié)果.

可以看出，Rand和Pop兩種方法的表現(xiàn)較差，因為它們并不能分辨出每個用戶的個性化偏好；由于數(shù)據(jù)的稀疏性，以及同一購買周期內(nèi)的產(chǎn)品的高度相似性，使得傳統(tǒng)的KNN方法也不能很好地進行預(yù)測，在Top2和Top3上的預(yù)測效果甚至不如Pop方法；通過使用用戶在購買周期中的偏好信息(frequency和recency)，LR和GBDT在效果上有了顯著的提升，由于GBDT相對LR模型本身的優(yōu)勢，GBDT取得了相對更高的預(yù)測準確度；同樣考慮了用戶的偏好和比較選擇信息以后，LF-CM模型的預(yù)測精度相比于Rand,Pop,KNN三種方法有了大幅提升；PQ方法相對于LF-CM模型，由于使用了購買周期內(nèi)全部商品的信息建立選擇模型，使得預(yù)測效果有了更進一步的提升，說明了選擇模型本身的合理性；而FIS使用了用戶在購買周期中的recency和frequency時序行為特征得到效用函數(shù)，也取得了不錯的表現(xiàn)；最后，LFS-CM模型充分利用了用戶的選擇和比較信息以及序列特征，在所有的方法中表現(xiàn)最好，即它可以最準確地預(yù)測用戶購買偏好和行為.

Fig. 3　Precision & Recall vs α.圖3　精度和召回率隨α變化情況

Fig. 4　Precision & Recall of different methods.圖4　不同方法的精度和召回率對比

4.3.4時間復(fù)雜度分析

本節(jié)簡單介紹所提算法的分布式實現(xiàn)過程，并分析相應(yīng)的運行時間開銷情況.在本文的算法設(shè)計中，將LF-CM和LFS-CM算法的實現(xiàn)都分為2個Map-Reduce過程：在第1個Reduce操作中對用戶的潛在因子pu進行更新迭代；在第2個Reduce中對商品的潛在因子qi進行更新迭代.將這2次操作看做整個算法的一次完整迭代.

記n為所有購買周期的數(shù)目，k為周期平均長度.在一次迭代過程中LF-CM只考慮購買周期中的2個商品(購買的商品和最佳替代的商品)，由式(6)(7)可以看出其需要計算n次；而LFS-CM模型(包括PQ算法，但不包括α=0的情況)考慮了購買周期中的所有商品，需要計算kn次，然而在實驗中由于其他因素的影響(平臺內(nèi)部的任務(wù)調(diào)度、機器集群的網(wǎng)絡(luò)狀況、磁盤IO占用的時間等)，這些方法的運行時間都大致相同.除了以上一些理論上分析的結(jié)果，我們也觀察到使用3臺機器、3個分布式結(jié)點的情況下：在數(shù)據(jù)集上訓練時，LF-CM以及LFS-CM一次完整迭代需要的2次Map-Reduce作業(yè)用時都是在210s左右，10～15次迭代后基本趨于收斂；KNN,Rand,Pop等算法(不包括預(yù)處理)都是單次Map-Reduce作業(yè)，運行時間約在100s.而在測試集上，對任一個購買周期所有的方法基本上都可實時地給出預(yù)測結(jié)果.

5　總　　結(jié)

本文主要研究電商網(wǎng)站中用戶的在線購買行為預(yù)測問題.通過引入購物周期和機會成本等概念，試圖將用戶在相似商品之間的比較和選擇行為進行建模，從而解決用戶實時偏好和真實購買意圖的理解問題.具體來說，本文首先將用戶的行為序列分成了不同的購買周期，然后通過考慮商品對用戶的效用情況，提出了針對所購買商品和最佳替代商品的、基于潛在因子的選擇模型LF-CM，以及針對所有商品的、基于潛在因子和行為序列效用的選擇模型LFS-CM兩種算法，分別實現(xiàn)對用戶購買行為的預(yù)測.本文使用了Tmall用戶的購物行為日志對所提出的模型進行了驗證，實驗結(jié)果證實了所提出的方法在用戶在線購買預(yù)測上的有效性.

在未來工作中，將重點關(guān)注更綜合的描述模型，考慮更多的潛在因素.例如，目前本文中沒有考慮到用戶的不同類型操作行為(點擊、購買和收藏)的不同作用，將在未來工作中加以區(qū)分；又如，考慮將商品的先驗知識，如類別、價格等因素納入建模，從而進一步提升模型預(yù)測的精度.

[1]RassinE,MurisP.Indecisivenessandtheinterpretationofambiguoussituations[J].PersonalityandIndividualDifferences, 2005, 39(7): 1285-1291

[2]LiuQ.etal.Miningindecisivenessincustomerbehaviors[C] //Procofthe15thIntConfonDataMining.Piscataway,NJ:IEEE, 2015: 281-290

[3]SarwarB,KarypisG,KonstanJ,etal.Item-basedcollaborativefilteringrecommendationalgorithms[C] //Procofthe10thIntConfonWorldWideWeb.NewYork:ACM, 2001: 285-295

[4]LindenG,SmithB,YorkJ.Amazon.comrecommendations:Item-to-itemcollaborativefiltering[J].IEEEInternetComputing, 2003, 7(1): 76-80

[5]LuceRD.Individualchoicebehavior:Atheoreticalanalysis[M].NorthChelmsford,Massachusetts:CourierCorporation, 2005

[6]TrainK.Qualitativechoiceanalysis:Theory,econometrics,andanapplicationtoautomobiledemand[M].Cambridge,Massachusetts:MITPress, 1986

[7]TalluriK,VanRyzinG.Revenuemanagementunderageneraldiscretechoicemodelofconsumerbehavior[J].ManagementScience, 2004, 50(1): 15-33

[8]HosmerJrDW,LemeshowS.Appliedlogisticregression[M].Hoboken,NJ:JohnWiley&Sons, 2004

[9]CappellariL,JenkinsSP.Multivariateprobitregressionusingsimulatedmaximumlikelihood[J].TheStataJournal, 2003, 3(3): 278-294

[10]HarrellFE.Regressionmodelingstrategies:Withapplicationstolinearmodels,logisticregression,andsurvivalanalysis[M].NewYork:SpringerScience&BusinessMedia, 2013

[11]TrainK.Avalidationtestofadisaggregatemodechoicemodel[J].TransportationResearch, 1978, 12(3): 167-174

[12]RammingMS.Networkknowledgeandroutechoice[D].Cambridge,MA:MassachusettsInstituteofTechnology, 2001

[13]FullerWC,ManskiCF,WiseDA.Newevidenceontheeconomicdeterminantsofpostsecondaryschoolingchoices[J].JournalofHumanResources, 1982, 17(4): 477-498

[14]LiXin,XuG,ChenE,etal.Learningrecencybasedcomparativechoicetowardspoint-of-interestrecommendation[J].ExpertSystemswithApplications, 2015, 42(9): 4274-4283

[15]KumarR,MahdianM,PangB,etal.Drivenbyfood:Modelinggeographicchoice[C] //Procofthe8thACMIntConfonWebSearchandDataMining.NewYork:ACM, 2015: 213-222

[16]ChenW,LiZ,ZhangM.Linearandnon-linearmodelsforpurchaseprediction[C] //Procofthe2015IntACMRecommenderSystemsChallenge.NewYork:ACM, 2015:No.9

[17]LiQ,GuM,ZhouK,etal.Multi-classesfeatureengineeringwithslidingwindowforpurchasepredictioninmobilecommerce[C] //Procofthe15thIntConfOnDataMiningWorkshop.Piscataway,NJ:IEEE, 2015: 1048-1054

[18]LiD,ZhaoG,WangZ,etal.Amethodofpurchasepredictionbasedonuserbehaviorlog[C] //Procofthe15thIntConfonDataMiningWorkshop.Piscataway,NJ:IEEE, 2015: 1031-1039

[19]RodriguezJJ,KunchevaLI,AlonsoCJ.Rotationforest:Anewclassifierensemblemethod[J].IEEETransonPatternAnalysisandMachineIntelligence, 2006, 28(10): 1619-1630

[20]ZhangY,PennacchiottiM.Predictingpurchasebehaviorsfromsocialmedia[C] //Procofthe22ndIntConfonWorldWideWeb.NewYork:ACM, 2013: 1521-1532

[21]TsuboiY,JatowtA,TanakaK.Productpurchasepredictionbasedontimeseriesdataanalysisinsocialmedia[C] //Procofthe2015IEEE//WIC//ACMIntConfonWebIntelligence.Piscataway,NJ:IEEE, 2015: 219-224

[22]WangY,LiJ,LiuQ,etal.Predictionofpurchasebehaviorsacrossheterogeneoussocialnetworks[J].TheJournalofSupercomputing, 2015, 71(9): 3320-3336

[23]SongQ,ChengJ,YuanT,etal.Personalizedrecommendationmeetsyournextfavorite[C] //Procofthe24thACMIntonConfonInformationandKnowledgeManagement.NewYork:ACM, 2015: 1775-1778

[25]SalakhutdinovR,MnihA.BayesianprobabilisticmatrixfactorizationusingMarkovchainMonteCarlo[C] //Procofthe25thIntConfonMachineLearning.NewYork:ACM, 2008: 880-887

[26]YuK,SchwaighoferA,TrespV,etal.Probabilisticmemory-basedcollaborativefiltering[J].IEEETransonKnowledgeandDataEngineering, 2004, 16(1): 56-69

[27]PennockDM,HorvitzE,LawrenceS,etal.Collaborativefilteringbypersonalitydiagnosis:Ahybridmemory-andmodel-basedapproach[C] //Procofthe16thConfonUncertaintyinArtificialIntelligence.SanFrancisco,CA:MorganKaufmann, 2000: 473-480

[28]LamXN,VuT,etal.Addressingcold-startprobleminrecommendationsystems[C] //Procofthe2ndIntConfonUbiquitousInformationManagementandCommunication.NewYork:ACM, 2008: 208-211

[29]YinP,LuoP,LeeWC,etal.Silenceisalsoevidence:Interpretingdwelltimeforrecommendationfrompsychologicalperspective[C] //Procofthe19thACMSIGKDDIntConfonKnowledgeDiscoveryandDataMining.NewYork:ACM, 2013: 989-997

[30]DingXiangwu,GuoTao,WangMei,etal.Aclusteringalgorithmforlarge-scalecategoricaldataanditsparallelimplementation[J].JournalofComputerResearchandDevelopment, 2016, 53(5): 1063-1071 (inChinese)

(丁祥武, 郭濤, 王梅, 等. 一種大規(guī)模分類數(shù)據(jù)聚類算法及其并行實現(xiàn)[J]. 計算機研究與發(fā)展, 2016, 53(5): 1063-1071)

[31]GemullaR,NijkampE,HaasPJ,etal.Large-scalematrixfactorizationwithdistributedstochasticgradientdescent[C] //Procofthe17thACMSIGKDDIntConfonKnowledgeDiscoveryandDataMining.NewYork:ACM, 2011: 69-77

[32]WangJ,DeVriesAP,ReindersMJT.Unifyinguser-basedanditem-basedcollaborativefilteringapproachesbysimilarityfusion[C] //Procofthe29thAnnualIntACMSIGIRConfonResearchandDevelopmentinInformationRetrieval.NewYork:ACM, 2006: 501-508

[33]RendleS,FreudenthalerC,GantnerZ,etal.BPR:Bayesianpersonalizedrankingfromimplicitfeedback[C] //Procofthe24thConfonUncertaintyinArtificialIntelligence.Arlington,Virginia:AUAI, 2009: 452-461

[34]JiangZhuoxuan,ZhangYan,LiXiaoming.LearningbehavioranalysisandpredictionbasedonMOOCdata[J].JournalofComputerResearchandDevelopment, 2015, 52(3): 614-628 (inChinese)

(蔣卓軒, 張巖, 李曉明. 基于數(shù)據(jù)的學習行為分析與預(yù)測[J]. 計算機研究與發(fā)展, 2015, 52(3): 614-628)

[35]FriedmanJH.Stochasticgradientboosting[J].ComputationalStatistics&DataAnalysis, 2002, 38(4): 367-378

ZengXianyu,bornin1991.MSccandidate.Hismainresearchinterestsincludedataminingandrecommendersystem.

LiuQi,bornin1986.PhD,associateprofessor.Hismainresearchinterestsincludedataminingandknowledgediscoveryindatabase,machinelearningmethodandapplication.

ZhaoHongke,bornin1988.PhDcandidate.Hismainresearchinterestsincludedatamining,internet-basedfinancesuchascrowdfundingandP2Plending.

XuTong,bornin1988.PhDcandidate,assistantresearcher.Hismainresearchinterestsincludesocialnetwork&mediaanalysis,mobilecomputing,recommendersystemandotherdataminingrelatedtechniques.

WangYijun,bornin1991.MSccandidate.Hermainresearchinterestsincludedataminingandrecommendersystem.

ChenEnhong,bornin1968.PhD,professorandPhDsupervisor.Hismainresearchinterestsincludedataminingandmachinelearning,socialnetworkanalysis,andrecommendersystems.

OnlineConsumptionsPredictionviaModelingUserBehaviorsandChoices

ZengXianyu,LiuQi,ZhaoHongke,XuTong,WangYijun,andChenEnhong

(School of Computer Science, University of Science and Technology of China, Hefei 230027)

Theriseofelectronice-commercesitesandtheformationoftheuser’sonlineshoppinghabits,havebroughtahugeamountofonlineconsumerbehavioraldata.Miningusers’preferencesfromthesebehaviorallogs(e.g.clickingdata)andthenpredictingtheirfinalconsumptionchoicesareofgreatimportanceforimprovingtheconversionrateofe-commerce.Alongthisline,thispaperproposesawayofcombiningusers’behavioraldataandchoicemodeltopredictwhichitemeachuserwillfinallyconsume.Specifically,wefirstestimatetheoptimumsubstituteineachconsumptionsessionbyautilityfunctionofusers’behavioralsequences,andthenwebuildalatentfactorbasedchoicemodel(LF-CM)fortheconsumeditemsandthesubstitutes.Inthisway,thepreferenceofuserscanbecomputedandthefutureconsumptionscanbepredicted.Onestepfurther,tomakefulluseofusers’informationofchoosingandimprovetheprecisionofconsumptionprediction,wealsoproposealearning-to-rankmodel(latentfactorandsequencebasedchoicemodel,LFS-CM),whichconsidersalltheitemsinonesession.Byintegratinglatentfactorsandutilityfunctionofusers’behavioralsequences,LFS-CMcanimprovethepredictionprecision.Finally,weusethereal-worlddatasetofTmallandevaluatetheperformanceofourmethodsonadistributedenvironment.TheexperimentalresultsshowthatbothLF-CMandLFS-CMperformwellinpredictingonlineconsumptionbehaviors.

onlineconsumptionprediction;choicemodel;behavioralsequence;sequenceutility;distributedplatform

2016-03-04；

2016-06-05

國家杰出青年科學基金項目(61325010)；國家自然科學基金項目(61403358)；科技惠民計劃項目(2013GS340302)；青年創(chuàng)新促進會會員專項基金項目(2014299)；多媒體計算與通信教育部-微軟重點實驗室基金項目

劉淇(qiliuql@ustc.edu.cn)

TP391

ThisworkwassupportedbytheNationalScienceFundforDistinguishedYoungScholars(61325010),theNationalNaturalScienceFoundationofChina(61403358),thePlanofScienceandTechnologytoBenefitthePeople(2013GS340302),theSpecialFundfortheMemberofYouthInnovationPromotionAssociationofCAS(2014299),andthetheFundforMinistryofEducation(MOE)-MicrosoftKeyLaboratoryofUSTC.