用戶交易數(shù)據(jù)不足情況下的商品關(guān)聯(lián)規(guī)則擴(kuò)展與應(yīng)用

陳可嘉 趙 政

(福州大學(xué)經(jīng)濟(jì)與管理學(xué)院， 福建福州 350108)

一、引言

隨著信息技術(shù)的不斷發(fā)展，信息數(shù)字化的程度不斷加深，各行各業(yè)每天都有海量的數(shù)據(jù)產(chǎn)生。而如何對這些數(shù)據(jù)進(jìn)行有效的處理，挖掘其中蘊(yùn)涵的商業(yè)價值，是目前一個亟待解決的問題。關(guān)聯(lián)規(guī)則挖掘是數(shù)據(jù)挖掘領(lǐng)域中最為常用的幾種研究方法之一[1]，其能夠挖掘出不同商品之間的關(guān)聯(lián)關(guān)系，獲得消費(fèi)者購買范式的一般性規(guī)則，因此被廣泛地應(yīng)用于電商、金融、醫(yī)療、物流等領(lǐng)域。[2]但傳統(tǒng)的關(guān)聯(lián)規(guī)則挖掘算法，需要大量的用戶交易數(shù)據(jù)作為支撐。如最早由Agrawal和Srikant提出的基于頻繁項(xiàng)集的經(jīng)典關(guān)聯(lián)規(guī)則挖掘Apriori算法，就需要用到大量的消費(fèi)者歷史購物籃信息。[3]而后續(xù)學(xué)者對關(guān)聯(lián)規(guī)則挖掘的研究，又大多是以Apriori算法為基礎(chǔ)，集中在對頻繁項(xiàng)集挖掘的效率和性能上進(jìn)行改進(jìn)。[4][5][6]這些研究仍然需要以用戶交易數(shù)據(jù)為基礎(chǔ)，對用戶交易數(shù)據(jù)不足的商品，比如剛上架的新品，往往會由于達(dá)不到置信度和支持度的要求而無法及時生成相應(yīng)的關(guān)聯(lián)規(guī)則。

現(xiàn)今隨著網(wǎng)購逐漸成為用戶的主流購物方式之一，電商平臺上每天都會有大量的新品上架。這些新上架的商品有成為爆款的潛力，但剛上架時卻沒有足夠的用戶交易數(shù)據(jù)可用來做關(guān)聯(lián)規(guī)則挖掘。因此，有學(xué)者嘗試在原有關(guān)聯(lián)規(guī)則的基礎(chǔ)上進(jìn)行擴(kuò)展。如李學(xué)明等注意到關(guān)聯(lián)規(guī)則中隱含著否定關(guān)系，提出了一種擴(kuò)展型關(guān)聯(lián)規(guī)則模型，從而得到更多的規(guī)則知識。[7]而董俊等在領(lǐng)域本體的規(guī)則擴(kuò)展上，通過KDD技術(shù)來進(jìn)行規(guī)則的擴(kuò)展，使擴(kuò)展得到的規(guī)則能與基于歷史數(shù)據(jù)的關(guān)聯(lián)規(guī)則保持一致。[8]Liu提出了一種基于用戶引導(dǎo)的多關(guān)系關(guān)聯(lián)規(guī)則挖掘算法，引入ID傳播思想，來對傳統(tǒng)的關(guān)聯(lián)規(guī)則挖掘方法進(jìn)行擴(kuò)展。[9]Abbache等則在關(guān)聯(lián)規(guī)則的基礎(chǔ)上，進(jìn)一步利用WordNet詞典進(jìn)行規(guī)則查詢擴(kuò)展，并通過實(shí)驗(yàn)證明了該方法在MAP和召回率指標(biāo)上具有更好的表現(xiàn)。[10]

但目前的關(guān)聯(lián)規(guī)則擴(kuò)展方法又大多是以用戶交易數(shù)據(jù)為基礎(chǔ)，研究如何有效地從這些交易數(shù)據(jù)中挖掘出更多的信息來進(jìn)行規(guī)則擴(kuò)展。那么是否可以借助一些反映商品本身信息的數(shù)據(jù)來生成關(guān)聯(lián)規(guī)則？比如通過商品相似度的構(gòu)建，來實(shí)現(xiàn)關(guān)聯(lián)規(guī)則的擴(kuò)展？事實(shí)上在進(jìn)行關(guān)聯(lián)規(guī)則挖掘時，除了考慮從用戶的交易數(shù)據(jù)中挖掘用戶對商品需求間的關(guān)系，商品自身的信息，如對商品的文字描述、商品圖片等也在一定程度上反映了商品間的相似性，而兩個足夠相似的商品則可認(rèn)為是能夠相互替代的。

因此，本文從相似性的角度出發(fā)，引入商品文本信息，以關(guān)聯(lián)規(guī)則推薦算法中經(jīng)典的Apriori算法為基礎(chǔ)，通過構(gòu)建商品間相似度矩陣來對關(guān)聯(lián)規(guī)則進(jìn)行擴(kuò)展，提出了一個基于商品相似度的關(guān)聯(lián)規(guī)則擴(kuò)展方法，解決了傳統(tǒng)關(guān)聯(lián)規(guī)則算法無法對用戶交易數(shù)據(jù)不足的商品得出具體關(guān)聯(lián)規(guī)則的缺陷，并通過實(shí)驗(yàn)驗(yàn)證了該方法的有效性和實(shí)用性。

二、用戶交易數(shù)據(jù)不足情況下的商品關(guān)聯(lián)規(guī)則擴(kuò)展

本文提出的用戶交易數(shù)據(jù)不足下的商品關(guān)聯(lián)規(guī)則擴(kuò)展方法主要分為以下三個階段：第一階段為數(shù)據(jù)收集和預(yù)處理，第二階段為關(guān)聯(lián)規(guī)則挖掘，第三階段為計(jì)算商品相似度并生成新規(guī)則。整個方法流程如圖1所示。

圖1 用戶交易數(shù)據(jù)不足情況下的關(guān)聯(lián)規(guī)則擴(kuò)展流程

(一)數(shù)據(jù)收集和預(yù)處理

1. 數(shù)據(jù)收集

用戶交易數(shù)據(jù)無法用爬蟲軟件從公開的網(wǎng)絡(luò)上直接獲取。因?yàn)橛脩艚灰讛?shù)據(jù)具有重大的商業(yè)價值，企業(yè)一般不會把這些數(shù)據(jù)完全公開在網(wǎng)絡(luò)上。但也有一些企業(yè)會把部分用戶交易數(shù)據(jù)在經(jīng)過脫敏處理后進(jìn)行公開，以供社會研究需要。而使用這些經(jīng)過脫敏處理的真實(shí)用戶交易數(shù)據(jù)來進(jìn)行研究則比用仿真模型構(gòu)造交易數(shù)據(jù)更加可靠、貼近實(shí)際。

2. 數(shù)據(jù)預(yù)處理

用戶在網(wǎng)購時并非都會一次性結(jié)清所有的商品，常常分次結(jié)賬。同時注意到有些互補(bǔ)商品的購買往往是在使用一段時間之后進(jìn)行的。因此，在數(shù)據(jù)預(yù)處理時需要對同一用戶在一段時間內(nèi)的所有購買記錄進(jìn)行匯總。此外，由于刷單現(xiàn)象的存在，為了盡可能降低其對推薦結(jié)果的影響，本文把短時間內(nèi)購買大量商品的行為視為異常，予以剔除。

(二)關(guān)聯(lián)規(guī)則挖掘

1. 關(guān)聯(lián)規(guī)則挖掘相關(guān)定義

定義1規(guī)則項(xiàng)。規(guī)則項(xiàng)一般可表示為, x是條件集, y是類標(biāo)簽。每個規(guī)則項(xiàng)代表一個規(guī)則“x=>y”。

定義2支持度。支持度指所有數(shù)據(jù)中同時包含x和y的事例的占比。

定義3置信度。置信度指所有數(shù)據(jù)中同時包含x和y的事例與只包含x的事例的比值。

定義4頻繁項(xiàng)。頻繁項(xiàng)指支持度大于最小支持度的規(guī)則項(xiàng)。

2. 規(guī)律規(guī)則挖掘算法

在進(jìn)行關(guān)聯(lián)規(guī)則挖掘時，本文主要采用Apriori算法。該算法的核心思想是從低維向高維循環(huán)生成頻繁項(xiàng)集，并用支持度進(jìn)行減枝去掉低價值的頻繁項(xiàng)，最后再把這些頻繁項(xiàng)集按置信度來生成關(guān)聯(lián)規(guī)則，其基本運(yùn)算步驟如圖2所示。

圖2 Apriori算法基本運(yùn)算步驟

(三)商品相似度的計(jì)算以及關(guān)聯(lián)規(guī)則的擴(kuò)展

傳統(tǒng)的關(guān)聯(lián)規(guī)則挖掘算法往往借助于用戶的交易數(shù)據(jù)來尋找這種商品對，但若交易數(shù)據(jù)不足，比如剛上架不久的新品，就會由于置信度過低而無法生成關(guān)聯(lián)規(guī)則。針對這些暫時沒有豐富的用戶交易數(shù)據(jù)的商品，本文從相似性的角度切入，引入商品文本信息作為補(bǔ)充數(shù)據(jù)源。

購買了商品A的用戶，有很大概率會購買商品B。關(guān)聯(lián)規(guī)則挖掘就是找到這種A、B組合的商品對。那么對通過關(guān)聯(lián)規(guī)則算法挖掘到的規(guī)則“A=>B”，若有一個商品C與商品B足夠相似，甚至在功能上可以相互替代，那么對用戶來說，購買商品C和購買商品B給他帶來的價值、滿足其需求的程度基本一樣。這也就意味著，在已知規(guī)則“A=>B”的前提下，若商品C與商品B足夠相似，那么“A=>C”也可以被視作一條合理的“關(guān)聯(lián)規(guī)則”。即使這種關(guān)聯(lián)關(guān)系暫時沒有體現(xiàn)在用戶的交易數(shù)據(jù)里，但若向購買了商品A的用戶推薦商品C，購買了商品A的用戶會接著購買商品C的概率可能非常大。

因此，可以通過商品間的相似度來對關(guān)聯(lián)規(guī)則進(jìn)行擴(kuò)展，從而實(shí)現(xiàn)在交易數(shù)據(jù)不足情況下的商品推薦。而要通過相似度來對關(guān)聯(lián)規(guī)則進(jìn)行擴(kuò)展，一個需要解決的問題就是商品間相似度的計(jì)算。

1. 商品相似度的計(jì)算

在相似度的計(jì)算上，本文主要引入了商品文本信息，把商品按照描述其特征的文本信息表示成一個多維向量，并通過計(jì)算向量間的余弦相似度構(gòu)造了一個商品的相似度矩陣。具體步驟如下。

首先把描述商品的數(shù)據(jù)按特征維度進(jìn)行劃分。商品各維度以什么標(biāo)準(zhǔn)來賦權(quán)，這主要取決于獲得的描述商品的數(shù)據(jù)。本文引入的是商品文本信息，因此將其按文本分詞的形式來處理權(quán)重。這樣對于商品A，就可以用維度向量表示，如公式(1)所示。

A=(A1,A2,…,An)

(1)

其中:n表示分詞數(shù)量；Ai表示商品A在第i個分詞上的重要程度。

接著，需要確定商品各維度的重要程度，即Ai值。由于商品維度向量以文本分詞的形式呈現(xiàn)，因此將其以評價文本分詞的常用方法來處理權(quán)重。而評價分詞重要度的一個較為客觀的標(biāo)準(zhǔn)就是該分詞出現(xiàn)的頻率，即一個分詞出現(xiàn)的次數(shù)越多，則該分詞就越重要。因此，商品分詞重要度di可用公式(2)表示。

Ai=ln(1/fi)·Vi

(2)

其中：fi表示商品A同類目的所有商品中，含有第i個分詞的商品的占比；Vi表示第i個分詞在商品x中出現(xiàn)的頻率。

最后則是計(jì)算不同商品的相似度，并構(gòu)建一個商品相似度矩陣。計(jì)算向量間相似度最常用的一個方法是余弦相似度，由于上述步驟已把商品描述成向量形式，因此可直接使用余弦相似度公式來計(jì)算商品間的相似度。本文把商品與其自身的相似度記為1，那么對于商品A和商品B，他們之間的相似度可用公式(3)表示。

(3)

其中：MA，B表示商品A與商品B之間的相似度。此外，由于MA，B=MB,A，故只需計(jì)算矩陣的上三角，就可求得任意兩商品間的相似度。

2. 關(guān)聯(lián)規(guī)則的擴(kuò)展

為了實(shí)現(xiàn)對關(guān)聯(lián)規(guī)則進(jìn)行擴(kuò)展，本文假定兩個相似度足夠高的商品是可以互相替代的，且新規(guī)則的置信度可以認(rèn)為是原規(guī)則的置信度與商品間相似度的乘積。

那么對已有的規(guī)則B,confidence=α>(即購買了商品A的用戶有α的可能性購買商品B)，若另一商品C與商品B的相似度為β，且α和β的乘積達(dá)到了置信度的要求，那么就可以認(rèn)為規(guī)則C,confidence=α·β>(即購買了商品A的用戶有α·β的可能性購買商品C)也是合理的。

在上述假設(shè)下，就可以用商品相似度矩陣M對原始關(guān)聯(lián)規(guī)則按置信度要求進(jìn)行擴(kuò)展。

三、 實(shí)例分析

(一)數(shù)據(jù)收集和預(yù)處理

淘寶網(wǎng)是中國目前最大的網(wǎng)購零售平臺，每天都有海量的用戶交易數(shù)據(jù)產(chǎn)生。阿里天池大數(shù)據(jù)競賽則向參賽者提供淘寶網(wǎng)上經(jīng)過脫敏處理后的海量真實(shí)交易數(shù)據(jù)。這些數(shù)據(jù)具有較高的可靠性和真實(shí)性，適用于數(shù)據(jù)挖掘方面的研究。因此，本文主要采用阿里天池大數(shù)據(jù)競賽中的數(shù)據(jù)進(jìn)行實(shí)證研究。

對阿里天池提供的數(shù)據(jù)，本文選取了其中169405條淘寶服裝類商品用戶交易數(shù)據(jù)和500350條服裝類商品數(shù)據(jù)進(jìn)行研究。

1. 對同一用戶的交易記錄進(jìn)行合并

以用來標(biāo)識用戶的“user_id”字段為標(biāo)準(zhǔn)，把所有“user_id”相同的交易記錄進(jìn)行合并，共把169405條交易記錄合并成13738條相關(guān)性交易記錄。

2. 對相關(guān)性交易記錄進(jìn)行統(tǒng)計(jì)分析

發(fā)現(xiàn)其中有99.94%的交易記錄里所包含的商品個數(shù)在100以內(nèi)。因此，單條交易記錄包含商品數(shù)超過100的交易可以視為極端情況，予以剔除。最終得到13738條相關(guān)性交易記錄。剔除極端交易后的交易記錄其每條包含商品數(shù)的均值10.79。

(二)關(guān)聯(lián)規(guī)則挖掘

在R-3.3.1版本的環(huán)境下用Apriori算法包對上述步驟得到的13738條相關(guān)性交易數(shù)據(jù)進(jìn)行關(guān)聯(lián)規(guī)則分析。為把錯誤推薦的負(fù)面影響降到最小，本文采取保守策略，認(rèn)為高置信度下的關(guān)聯(lián)推薦才是可靠的，因此選擇0.0005的支持度和0.6的置信度進(jìn)行實(shí)驗(yàn)，共挖掘出74條高質(zhì)量的關(guān)聯(lián)規(guī)則，如圖3所示。代表商品的氣泡當(dāng)置信度越高時距離越近，支持度越多則面積越大。從中可以直觀地感受商品間的關(guān)聯(lián)關(guān)系。

圖3 關(guān)聯(lián)規(guī)則分布

其中置信度最高的前20條關(guān)聯(lián)規(guī)則如表1所示。這些關(guān)聯(lián)規(guī)則提升度都非常高，具有很高的可靠性。此外，從中可以發(fā)現(xiàn)有一些關(guān)聯(lián)規(guī)則的規(guī)則左項(xiàng)和規(guī)則右項(xiàng)是互相顛倒的，如規(guī)則<3112554=>1865937>和<1865937=>3112554>，且其置信度均為1，這意味著3112554號商品和1865927號商品要么是捆綁銷售，要么是絕對的互補(bǔ)品，購買其中一個商品的用戶必定會買另一個商品。

表1 20條置信度最高的關(guān)聯(lián)規(guī)則

(三)商品相似度的計(jì)算以及關(guān)聯(lián)規(guī)則的擴(kuò)展

在上述關(guān)聯(lián)規(guī)則挖掘基礎(chǔ)上，針對用戶交易數(shù)據(jù)不足的情況，考慮進(jìn)一步引入商品文本信息，把商品按照文本特征表示成向量的形式，并可以通過計(jì)算向量間的余弦距離求得任意兩個商品間的相似度，從而構(gòu)建一個商品相似度矩陣。

此外，為了使擴(kuò)展得到的關(guān)聯(lián)規(guī)則具有較高的價值，本文把進(jìn)行規(guī)則擴(kuò)展的相似度要求從關(guān)聯(lián)規(guī)則挖掘時的0.6置信度提升到0.8。因此，若要在最低滿足0.8的相似度要求下對關(guān)聯(lián)規(guī)則進(jìn)行擴(kuò)展，則只需保留相似度在0.8之上的商品。再者，為了使擴(kuò)展得到的規(guī)則不會過于膨脹，本文只選取與同一商品相似度top10的商品來進(jìn)行關(guān)聯(lián)規(guī)則的擴(kuò)展。

綜上，為了得到較高價值的規(guī)則，在計(jì)算相似度矩陣時，本文只保留對同一商品相似度在0.8之上(包括0.8)且位列top10的商品，其余均設(shè)置為0。圖4展示了編號前30的商品的相似度矩陣。其中，有些商品比較獨(dú)特,沒有與其相似度在0.8之上的同類商品，比如23、24號商品，這類商品替代品較少；有些商品則比較大眾，與其相似度在0.8之上的同類商品較多，比如16、17號商品，有著較多的替代品。

圖4 商品相似度矩陣

在不同置信度下，得到的關(guān)聯(lián)規(guī)則擴(kuò)展情況如圖5所示。從中可以發(fā)現(xiàn)，用Apriori算法挖掘到的關(guān)聯(lián)規(guī)則數(shù)量和本文方法擴(kuò)展得到的關(guān)聯(lián)規(guī)則數(shù)量都隨著置信度的提高而下降。在0.96置信度前，用本文方法擴(kuò)展得到的新關(guān)聯(lián)規(guī)則數(shù)都比原關(guān)聯(lián)規(guī)則數(shù)量要多；但當(dāng)置信度不斷向1逼近時，用本文方法擴(kuò)展得到的新關(guān)聯(lián)規(guī)則數(shù)則下降得越快，而原關(guān)聯(lián)規(guī)則數(shù)則趨于穩(wěn)定。

圖5 擴(kuò)展規(guī)則與原規(guī)則數(shù)量對比

在對擴(kuò)展效率的評價上，用在Apriori算法下因用戶交易數(shù)據(jù)不足沒有生成關(guān)聯(lián)規(guī)則而在本文方法中生成了關(guān)聯(lián)規(guī)則的規(guī)則數(shù)占比(Vi)來衡量，可用公式(4)表示。

(4)

其中：Ni表示在置信度為i時，基于本文方法生成的新關(guān)聯(lián)規(guī)則的總數(shù)；Mi表示在置信度為i時，Apriori方法生成的原始關(guān)聯(lián)規(guī)則的總數(shù)。

計(jì)算結(jié)果如圖6所示。從中可以發(fā)現(xiàn)，本文方法的規(guī)則擴(kuò)展效率在置信度為0.94之前整體呈現(xiàn)一個較為平緩的態(tài)勢。這意味著本文提出的規(guī)則擴(kuò)展方法能在較高置信度下保持一個穩(wěn)定的擴(kuò)展效率。而在0.94置信度后，隨著置信度不斷向1逼近，規(guī)則擴(kuò)展的效率快速下降，在置信度達(dá)到0.98之后，擴(kuò)展效率為0。即隨著置信度越靠近1，無論是規(guī)則擴(kuò)展的數(shù)量還是效率都會快速下降直至為0。一個合理的解釋是與同一商品足夠相似的商品的數(shù)量會隨著相似度要求的提高而不斷減少?？傮w來看，本文方法能在較高置信度下，借助商品相似度實(shí)現(xiàn)對用戶交易數(shù)據(jù)不足的商品生成關(guān)聯(lián)規(guī)則，具有較高的有效性和實(shí)用性。

圖6 規(guī)則擴(kuò)展效率

四、結(jié)語

本文針對傳統(tǒng)關(guān)聯(lián)規(guī)則推薦算法在用戶交易數(shù)據(jù)不足情況下的推薦盲區(qū)，從相似度的角度出發(fā)，在用戶交易數(shù)據(jù)的基礎(chǔ)上，引入商品文本信息，并以關(guān)聯(lián)規(guī)則推薦算法中經(jīng)典的Apriori算法為基礎(chǔ)，通過構(gòu)建商品間相似度矩陣，提出了一個基于商品相似度的關(guān)聯(lián)規(guī)則擴(kuò)展方法，并以淘寶平臺上的真實(shí)用戶數(shù)據(jù)進(jìn)行實(shí)證研究，證實(shí)該規(guī)則擴(kuò)展方法能在較高的置信度下，得到對用戶交易數(shù)據(jù)不足的商品的關(guān)聯(lián)規(guī)則，具有較高的有效性和一定的實(shí)用性。此外，能用來衡量商品間相似性的數(shù)據(jù)并非只有文本信息，圖片信息也是衡量商品相似性的一個重要數(shù)據(jù)源。如何在商品文本信息基礎(chǔ)上，再引入圖片信息來綜合計(jì)算商品相似度需要做進(jìn)一步的研究。

注釋：

[1] Wu X., Kumar V., Quinlan J. R., et al.,“Top 10 algorithms in data mining”，Knowledge&InformationSystems, vol.14,no.1(2007),pp.1-37.

[2] 洪亮、李雪思、周莉娜：《領(lǐng)域跨越:數(shù)據(jù)挖掘的應(yīng)用和發(fā)展趨勢》，《圖書情報知識》 2017年第4期。

[3] Agrawal R., Srikant R.,Fastalgorithmsforminingassociationrules，Proc of International Conference on Very Large Databases,1994,pp. 487-499．

[4] Czibula G., Marian Z., Czibula I. G.,“Detecting software design defects using relational association rule mining”,Knowledge&InformationSystems, vol.42,no.3(2015),pp.545-577.

[5] Liu Z., Hu L., Wu C., et al.,“A novel process-based association rule approach through maximal frequent itemsets for big data processing”,FutureGenerationComputerSystems, vol.81(2017),pp.414-424.

[6] Rachburee N., Arunrerk J., Punlumjeak W.,FailurePartMiningUsinganAssociationRulesMiningbyFP-GrowthandAprioriAlgorithms:CaseofATMMaintenanceinThailand，International Conference on IT Convergence and Security, 2017，pp.19-26.

[7]李學(xué)明、劉勇國、彭軍,等：《擴(kuò)展型關(guān)聯(lián)規(guī)則和原關(guān)聯(lián)規(guī)則及其若干性質(zhì)》，《計(jì)算機(jī)研究與發(fā)展》2002年第12期。

[8] 董俊、王鎖萍、熊范綸,等：《基于多維關(guān)聯(lián)規(guī)則的本體規(guī)則擴(kuò)展方法》，《模式識別與人工智能》2009年第5期。

[9] Liu D.,“Research on the multi-relational association rule mining algorithm based on user guidance”,InternationalJournalofAdvancementsinComputingTechnology, vol.4,no.22(2012),pp.779-787.

[10] Abbache A., Meziane F., Belalem G., et al. ,“Arabic Query Expansion Using WordNet and Association Rules”,InternationalJournalofIntelligentInformationTechnologies,vol.12,no.3(2016),pp.51-64.