基于用戶屬性和生成對抗網(wǎng)絡(luò)的推薦系統(tǒng)

王永強(qiáng)，陳徐洪，張壯壯，董云泉

(1.南京信息工程大學(xué) 電子與信息工程學(xué)院，江蘇 南京 210044；2.國家開發(fā)銀行 重慶市分行，重慶 400023)

0 引 言

隨著互聯(lián)網(wǎng)技術(shù)的飛速發(fā)展，互聯(lián)網(wǎng)上的信息呈現(xiàn)爆炸式增長。因此，為滿足用戶的特殊需求而設(shè)計(jì)的各種推薦系統(tǒng)得到廣泛的研究[1-3]，如基于內(nèi)容的推薦[4，5]和基于協(xié)同過濾的推薦[6-8]等。深度學(xué)習(xí)在模式識別領(lǐng)域的廣泛應(yīng)用[9-12]為推薦系統(tǒng)的發(fā)展提供了新的研究方向。然而深度學(xué)習(xí)模型的損失函數(shù)設(shè)計(jì)對于缺乏較強(qiáng)領(lǐng)域知識的研究者頗為困難。Goodfellow等[13]在2014年提出的生成對抗網(wǎng)絡(luò)(generative adversarial networks，GAN)，代替設(shè)計(jì)復(fù)雜的損失函數(shù)，將問題置于極小極大的二人零和博弈框架中。隨后Wang等[14]將GAN應(yīng)用于信息檢索(information retrieval，IR)領(lǐng)域，提出IRGAN模型，之后Dong-KyuChae等[15]又提出CFGAN模型，相比IRGAN模型，CFGAN推薦精度更好，推薦結(jié)果更理想。

CFGAN模型中考慮以用戶交互向量作為條件，然而用戶交互向量中存在未交互項(xiàng)語義模糊，即未評分項(xiàng)可能是用戶不感興趣或者尚未觀察到的，使用這種不明確信息作為條件引導(dǎo)生成器生成接近真實(shí)情況的交互向量，會導(dǎo)致判別器回傳不精確的梯度給生成器，從而造成推薦精度的降低。在實(shí)際推薦場景中，用戶的很多屬性信息可以被利用，將這些信息進(jìn)行特征化可以充分表達(dá)和區(qū)分用戶之間的關(guān)系，因而在設(shè)計(jì)推薦模型時(shí)考慮到用戶屬性對推薦質(zhì)量的提升也起到關(guān)鍵作用。因此，本文在CFGAN的基礎(chǔ)上，融合用戶基本屬性并進(jìn)行特征提取和編碼，將提取出的用戶屬性特征向量規(guī)范化，并作為生成對抗網(wǎng)絡(luò)的條件指導(dǎo)生成器生成更加準(zhǔn)確的推薦序列，提升用戶體驗(yàn)。

1 相關(guān)工作

1.1 生成對抗網(wǎng)絡(luò)模型

GAN包含兩個(gè)模型：生成模型(Generator，G)生成盡可能真實(shí)的數(shù)據(jù)，判別模型(Discriminator，D)估計(jì)樣本來自真實(shí)數(shù)據(jù)的概率。為了學(xué)習(xí)生成器在數(shù)據(jù)x上的分布pg(x)， 生成器構(gòu)建了一個(gè)從先驗(yàn)噪聲分布pz(z) 到數(shù)據(jù)空間的映射G(z；θg)； 判別器D(x；θd) 輸出一個(gè)單一標(biāo)量，表示x來自訓(xùn)練樣本而不是來自生成器的概率，其中θg和θd分別為生成器和判別器的模型參數(shù)。G和D同時(shí)訓(xùn)練，D和G用價(jià)值函數(shù)V(D，G) 進(jìn)行二人最小最大博弈

(1)

圖1中給出了GAN的可視化表示，其中x′表示噪聲z經(jīng)生成器G映射到數(shù)據(jù)空間的合成數(shù)據(jù)樣本，即x′=G(z；θg)。 通過先驗(yàn)噪聲分布pz(z)， 生成器G生成合成數(shù)據(jù)樣本x′， 與真實(shí)數(shù)據(jù)樣本x共同送入判別器D判別真假，利用回傳的梯度學(xué)習(xí)G在數(shù)據(jù)x上的分布pg(x)， 使其接近真實(shí)數(shù)據(jù)分布pdata(x)， 重復(fù)對抗訓(xùn)練直到判別器無法判別數(shù)據(jù)是來自生成器還是真實(shí)數(shù)據(jù)。

圖1 GAN基本結(jié)構(gòu)

傳統(tǒng)的GAN不能控制生成器生成數(shù)據(jù)的模式。因此，以便有條件地生成數(shù)據(jù)點(diǎn)，條件對抗模型(conditional GAN，cGAN)應(yīng)運(yùn)而生。圖2為cGAN的模型框架，生成和判別模型都為多層感知機(jī)模型。在生成器G中，先驗(yàn)輸入噪聲z和y串聯(lián)通過隱藏層生成與真實(shí)數(shù)據(jù)樣本x相同維度的生成數(shù)據(jù)樣本G(z|y)； 在判別器D中，真實(shí)數(shù)據(jù)樣本x或者生成數(shù)據(jù)樣本G(z|y) 和y串接作為輸入，送至隱藏層最后通過激活函數(shù)判定樣本來自真實(shí)數(shù)據(jù)樣本的概率D(x|y)。 為了公式的簡潔性，省略生成器和判別器的模型參數(shù)θg和θd， 則cGAN的優(yōu)化目標(biāo)函數(shù)為

圖2 cGAN基本框架

(2)

1.2 基于GAN的推薦模型

GAN模型在訓(xùn)練過程中只用到了反向傳播，避免了復(fù)雜的推理過程，可以生成更加真實(shí)的樣本。在推薦系統(tǒng)中，使用GAN可以模擬用戶的偏好程度，進(jìn)而實(shí)現(xiàn)用戶的個(gè)性化推薦。

Dong-Kyu Chae等[15]指出IRGAN模型沒有充分利用對抗性訓(xùn)練的優(yōu)勢，原因在于其訓(xùn)練方案使G生成離散的物品索引，這不同于原始GAN生成每個(gè)元素有連續(xù)值的向量，這種離散的物品索引時(shí)而標(biāo)記為真時(shí)而標(biāo)記為假，使判別器陷入困惑，不能傳遞正確的梯度給生成器，因此會降低推薦的精度。為了解決這一問題提出CFGAN模型，引入了向量形式的訓(xùn)練，其核心思想是將用戶的歷史交互信息作為特征向量，并以用戶的交互信息作為條件，通過對抗訓(xùn)練使G生成看似合理的歷史交互向量，而不是對相關(guān)物品進(jìn)行離散抽樣。判別器負(fù)責(zé)區(qū)分生成的用戶交互向量和真實(shí)的用戶交互向量。這也有助于避免使用強(qiáng)化算法來更新生成器，因?yàn)橥ㄟ^向量訓(xùn)練，G和D都可以使用SGD進(jìn)行訓(xùn)練。

2 基于用戶屬性的CFGAN模型

假設(shè)系統(tǒng)有m個(gè)用戶，n個(gè)物品，用ru表示用戶u對所有物品的評分向量。為了模型的簡潔性，本文考慮隱式反饋，即用戶u對物品i有交互行為，則rui為1，沒有交互行為則為0。沒有交互行為不能表示用戶對物品不感興趣，也可能存在其它情況，比如用戶尚未觀察發(fā)現(xiàn)該物品。在原始CFGAN模型中，將用戶(或物品的)交互向量作為額外的先驗(yàn)條件，通常用戶交互向量非常稀疏，由于沒有交互行為而語義模糊會導(dǎo)致判別器的性能下降繼而影響生成器以及推薦的準(zhǔn)確性。并且在實(shí)際推薦系統(tǒng)中，用戶或物品數(shù)可高達(dá)百萬，因此將用戶交互向量作為條件與用戶生成交互向量或真實(shí)交互向量合并進(jìn)行訓(xùn)練，輸入向量的維度較長，在隱藏層進(jìn)行特征降維時(shí)會有一定的精度損失，并且訓(xùn)練時(shí)間較長。

為解決這一問題，本文將用戶的屬性特征進(jìn)行編碼作為CFGAN模型額外的信息條件，不同用戶有不同的屬性特征，常見的用戶屬性特征包括：性別、年齡、職業(yè)、收入、興趣、郵政編碼等。本文將用戶屬性分為類別類型、枚舉類型和數(shù)值型變量進(jìn)行編碼。對于類別型變量利用one-hot進(jìn)行編碼，例如性別中男和女可分別表示為[0，1]和[1，0]，此方法映射后將生成多個(gè)特征。對于枚舉型用戶屬性，將標(biāo)稱型數(shù)據(jù)映射稱為一組數(shù)字，相同的標(biāo)稱型映射為相同的數(shù)字，例如用遞增整數(shù)值映射用戶不同的職業(yè)，這種映射最后只生成一個(gè)特征。對于數(shù)值類型，通過減去均值然后除以方差(或標(biāo)準(zhǔn)差)標(biāo)準(zhǔn)化數(shù)據(jù)，這種數(shù)據(jù)標(biāo)準(zhǔn)化方法經(jīng)過處理后數(shù)據(jù)符合標(biāo)準(zhǔn)正態(tài)分布。年齡、收入類等數(shù)值類屬性可通過該方法特征化。最后將所有處理好的各類屬性特征串接起來作為用戶的屬性特征向量，該特征向量的每一項(xiàng)都有明確的含義，不存在二義性。不同的數(shù)據(jù)集會收集不同的用戶屬性，本文使用Movielens電影評分?jǐn)?shù)據(jù)集，該數(shù)據(jù)集提供用戶的性別、年齡、職業(yè)和郵編，將其進(jìn)行編碼轉(zhuǎn)換為五維的屬性特征向量，其中性別占兩維，對比使用上千維的用戶交互向量作為條件，極大減小了條件特征維度。

圖3 基于用戶屬性的CFGAN的結(jié)構(gòu)

JD=-xpdata[log(D(x|y))]-

(3)

G的目標(biāo)函數(shù)JG可表示為

(4)

為了解決平凡解的問題，CFGAN作者[15]引入了3種方法。它們的主要思想是，在每輪訓(xùn)練迭代開始時(shí)，為每個(gè)用戶選擇一部分未交互的物品作為負(fù)樣本，負(fù)樣本表示用戶不感興趣的項(xiàng)。負(fù)樣本的占比用S表示，例如S=20， 則未交互項(xiàng)物品的20%將被選為負(fù)樣本，3種方法的負(fù)樣本抽樣占比可分別表示為SZR、SPM和SZP。 假設(shè)它們與用戶不相關(guān)而不是缺失，訓(xùn)練G在生成用戶交互向量中將這些負(fù)樣本物品項(xiàng)輸出為零，3種方法如下：

零-重構(gòu)正則化法(zero-reconstruction regularization，ZR)：未交互項(xiàng)物品以SZR的比例隨機(jī)選擇并假設(shè)為不相關(guān)。生成器的目標(biāo)函數(shù)修改為

(5)

(6)

(7)

且滿足

零-重構(gòu)和部分掩藏的組合方法(zero-reconstruction regularization and partial-masking，ZP)：同時(shí)使用零重構(gòu)正則化和部分掩藏方法，D的目標(biāo)函數(shù)與部分掩藏方法的目標(biāo)函數(shù)相同，G的目標(biāo)函數(shù)修改如下

(8)

算法1：基于用戶屬性的CFGAN模型(CFGAN-A)

輸入：用戶的屬性信息，用戶對物品的交互矩陣，G和D的學(xué)習(xí)率μG、μD， 批處理大小MG、MD， 推薦序列的長度N

輸出：G的參數(shù)θg，給用戶推薦top-N個(gè)物品序列

(1) 用戶屬性進(jìn)行特征編碼并串接為向量

(2) 初始化G和D的模型參數(shù)θg和θd

(3)repeat:

(4) 對所有用戶的未交互項(xiàng)進(jìn)行負(fù)采樣:

(7)forG-stepdo

(8) 抽樣批處理MG個(gè)用戶

(11)endfor

(12)forD-stepdo

(13) 抽樣批處理MD個(gè)用戶

(14) 獲取真實(shí)交互向量 {r1,r2,…rMD}

(16)endfor

(17)until: 當(dāng)D無法判別樣本來自真實(shí)訓(xùn)練數(shù)據(jù)還是G生成數(shù)據(jù)時(shí)結(jié)束循環(huán),并保存模型

算法1為基于用戶屬性的CFGAN模型的訓(xùn)練過程。首先將用戶屬性編碼，并初始化生成模型和判別模型的參數(shù)。接著對用戶未交互項(xiàng)進(jìn)行負(fù)采樣，使用零重構(gòu)正則化法跳過步驟(6)，部分掩藏法跳過步驟(5)，組合方法同時(shí)使用步驟(5)和(6)進(jìn)行抽樣，然后分別通過生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)更新模型參數(shù)直至判別器無法區(qū)分真實(shí)數(shù)據(jù)與生成數(shù)據(jù)，保存模型參數(shù)。最后通過將生成器生成的用戶偏好倒序排序，取前N個(gè)最相關(guān)的物品進(jìn)行推薦。

3 實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證提出方法可以改善推薦性能，在真實(shí)數(shù)據(jù)集上與一些常用的top-N推薦方法進(jìn)行比較，并考慮不同的負(fù)采樣比例和正則化系數(shù)對推薦性能的影響。

3.1 實(shí)驗(yàn)設(shè)置與數(shù)據(jù)集

表1 數(shù)據(jù)集的統(tǒng)計(jì)信息

經(jīng)多次實(shí)驗(yàn)比較，將神經(jīng)網(wǎng)絡(luò)隱藏層設(shè)置為三層，判別器網(wǎng)絡(luò)隱藏層節(jié)點(diǎn)數(shù)設(shè)置為{1024，128，16}，生成器網(wǎng)絡(luò)隱藏層節(jié)點(diǎn)數(shù)設(shè)置為{256，512，1024}。并且確定一些在經(jīng)驗(yàn)上表現(xiàn)良好的超參數(shù)，使用sigmoid函數(shù)作為神經(jīng)網(wǎng)絡(luò)的激活函數(shù)，設(shè)置學(xué)習(xí)率為0.0001，批量大小為32，用{10，30，50，70，90}改變SZR和SPM，用{0.5，0.25，0.1，0.05，0.01}改變正則化系數(shù)α，比較這些超參數(shù)對推薦精度的影響。

3.2 評價(jià)指標(biāo)

本文為top-N推薦任務(wù)采用了4種常用的準(zhǔn)確度指標(biāo)：準(zhǔn)確率(precision，P@N)、召回率(recall，R@N)、歸一化折損累計(jì)增益(normalized discounted cumulative gain，NDCG@N)和平均倒數(shù)排名(mean reciprocal rank，MRR@N)。前兩個(gè)指標(biāo)關(guān)注推薦列表中包含多少正確的項(xiàng)目，后兩個(gè)指標(biāo)關(guān)注正確項(xiàng)目在推薦列表中的排名位置。對用戶u推薦N個(gè)物品(記為R(u))， 另用戶u在測試集上交互的物品集合為T(u)， 則準(zhǔn)確率和召回率計(jì)算公式分別為

(9)

(10)

NDCG@N可表示為

(11)

MRR@N計(jì)算公式為

(12)

其中，|U| 為測試集的用戶數(shù)，ranku表示用戶u的推薦列表中第一個(gè)推薦正確所在的位置。

以上4個(gè)評價(jià)指標(biāo)越大，模型的推薦性能越好。本文設(shè)置推薦列表長度N固定為5和20。

3.3 不同超參數(shù)下的比較

以評價(jià)指標(biāo)準(zhǔn)確率(precision，P@N)為例，設(shè)置N=5，在ml-100k數(shù)據(jù)集上比較不同參數(shù)對改進(jìn)CFGAN推薦性能的影響。

首先固定正則化系數(shù)α=0.1， 圖4分別為零-重構(gòu)正則化法和部分掩藏法下不同負(fù)采樣占比對推薦精度的影響，觀察到當(dāng)負(fù)采樣比例較低時(shí)，有很多未交互項(xiàng)無法判斷是否與用戶相關(guān)，當(dāng)負(fù)采樣比例較高時(shí)，有一些相關(guān)項(xiàng)被選為不相關(guān)，因此會產(chǎn)生一些噪聲，影響梯度的傳播，導(dǎo)致準(zhǔn)確度偏低。當(dāng)SZR和SPM取到{50，70}時(shí)準(zhǔn)確度較高，并且CFGAN作者[15]的經(jīng)驗(yàn)表明，零-重構(gòu)和部分掩藏的組合方法ZP在推薦性能上優(yōu)于單一的ZR或PM方法，所以在下面的實(shí)驗(yàn)中使用混合方法，并固定SZR和SPM為70。

圖4 不同負(fù)采樣占比對推薦準(zhǔn)確度的影響

圖5為混合方法ZP使用不同正則化系數(shù)對推薦準(zhǔn)確度的影響。觀察到當(dāng)α取0.1時(shí)推薦準(zhǔn)確度最高，當(dāng)α取值較大時(shí) (α≥0.5)， 生成器G將集中大量注意力使輸出趨于0，而不是實(shí)現(xiàn)初始的目標(biāo)生成看似真實(shí)的交互向量，當(dāng)α取值較小時(shí) (α≤0.01)， G受零-重構(gòu)正則化項(xiàng)影響較小，因而容易生成平凡解的交互向量。故下文對比實(shí)驗(yàn)設(shè)置α取0.1。

圖5 不同正則化系數(shù)對推薦準(zhǔn)確度的影響

3.4 對比實(shí)驗(yàn)

本節(jié)比較本文提出方法與常用top-N推薦算法的推薦性能來驗(yàn)證提出方法是否可以改善推薦精度。具體比較方法如下：

ItemPop：最簡單的非個(gè)性化推薦算法，按照受歡迎程度降序(即購買記錄的數(shù)量)對物品進(jìn)行排序。

MF-BPR：一種基于矩陣分解的排序算法，針對每一個(gè)用戶自己的商品喜好程度做排序優(yōu)化，需要用戶對商品的喜好排序三元組做訓(xùn)練集。

IRGAN：使用條件生成對抗網(wǎng)絡(luò)生成離散物品索引來模仿用戶真實(shí)相互行為。

CFGAN-I：采用向量式條件對抗網(wǎng)絡(luò)學(xué)習(xí)真實(shí)數(shù)據(jù)分布，學(xué)習(xí)條件為用戶真實(shí)交互行為。

CFGAN-A：將用戶屬性編碼并作為CFGAN模型的引導(dǎo)條件，模擬用戶的交互行為。

圖6為ml-100k數(shù)據(jù)集上基于用戶屬性和用戶交互向量的性能比較，其中虛線為基于用戶屬性推薦，實(shí)線為基于用戶交互向量推薦，設(shè)置迭代次數(shù)1000。首先，從圖中可以看出基于用戶屬性的CFGAN推薦方法在各評價(jià)指標(biāo)上總體都略優(yōu)于基于用戶交互向量推薦，克服了基于用戶交互向量CFGAN模型中未知項(xiàng)的二義性輸入神經(jīng)網(wǎng)絡(luò)全連接層帶來的誤差，從而驗(yàn)證了提出方法的有效性。其次，由于基于GAN模型零和博弈收斂較為困難，易受超參數(shù)影響。從圖中可以看出基于用戶交互的CFGAN算法的各項(xiàng)評價(jià)指標(biāo)整體呈現(xiàn)先增后減的趨勢，其在運(yùn)行約600輪時(shí)開始收斂，但是隨著運(yùn)行輪次的增加其各項(xiàng)評價(jià)指標(biāo)開始下降，這是因?yàn)橛脩艚换ハ蛄砍霈F(xiàn)過擬合現(xiàn)象，導(dǎo)致推薦精度開始下降；而基于用戶屬性的CFGAN模型的各項(xiàng)評價(jià)指標(biāo)在收斂之后保持平穩(wěn)。通過以上分析可知基于用戶屬性的CFGAN推薦模型的推薦精度收斂更為平滑穩(wěn)定，也驗(yàn)證了該方法收斂性能較好。

圖6 兩種輸入條件下CFGAN模型推薦性能比較

表2和表3進(jìn)一步比較了兩個(gè)數(shù)據(jù)集推薦top-5和top-20相關(guān)電影在不同推薦方法下的指標(biāo)性能，分別用P、R、G、M表示Precision、Recall、NDCG和MRR。從表2中可以看出基于用戶屬性的CFGAN-A在各評價(jià)指標(biāo)上都略優(yōu)于其它推薦方法，在推薦準(zhǔn)確度P@5是非個(gè)性化推薦ItemPop的2.5倍，較基于用戶交互向量CFGAN-I提高了0.04，R@5較于CFGAN-I提高了0.01；在推薦位置排序指標(biāo)G@5是ItemPop的兩倍，較于CFGAN-I提高了0.03，M@5較于CFGAN-I提升了0.04。在推薦top-20電影時(shí)CFGAN-A對比其它方法也有一定的精度改進(jìn)，但由于推薦了相關(guān)性不是很高的電影，對比top-5改進(jìn)效果略微下降。表3在ml-1m數(shù)據(jù)集上的各項(xiàng)推薦性能指標(biāo)同樣可看出本文提出方法優(yōu)于其它推薦方法，從而驗(yàn)證了基于用戶屬性的CFGAN推薦模型可以改善推薦性能。

表2 ml-100k數(shù)據(jù)集不同推薦方法的性能比較

表3 ml-1m數(shù)據(jù)集不同推薦方法的性能比較

4 結(jié)束語

本文提出了一種基于用戶屬性的條件生成對抗網(wǎng)絡(luò)推薦方法，在原始CFGAN模型的基礎(chǔ)上，將模型的原始條件用戶交互向量替換為用戶屬性編碼向量，以此指導(dǎo)生成盡可能接近真實(shí)的用戶偏好分布，根據(jù)用戶對項(xiàng)目的偏好程度進(jìn)行排序生成Top-N推薦，該方法能夠降低向量表示維度，去除用戶交互向量中不明確項(xiàng)帶來的噪聲，減少模型的訓(xùn)練參數(shù)。實(shí)驗(yàn)結(jié)果表明，基于用戶屬性信息的CFGAN模型可以改善推薦精度。未來將從項(xiàng)目角度入手，嘗試融合項(xiàng)目的附加信息，使用神經(jīng)網(wǎng)絡(luò)深入挖掘用戶和項(xiàng)目的特征表示，將其與生成對抗網(wǎng)絡(luò)模型融合，實(shí)現(xiàn)更精準(zhǔn)的推薦。