基于支持向量機(jī)回歸多屬性智能電視電影推薦

趙廣杰，尹四清

（中北大學(xué) a.計(jì)算機(jī)與控制工程學(xué)院；b.軟件學(xué)院，山西 太原 030051）

基于支持向量機(jī)回歸多屬性智能電視電影推薦

趙廣杰a，尹四清b

（中北大學(xué) a.計(jì)算機(jī)與控制工程學(xué)院；b.軟件學(xué)院，山西 太原 030051）

針對智能電視電影推薦領(lǐng)域，新用戶難以推薦問題，提出電影按用戶屬性過濾的推薦模型。該模型結(jié)合電影用戶歷史評分，由貝葉斯定理得出每個(gè)電影對用戶屬性的概率評分。為用戶推薦電影時(shí)，由用戶屬性和概率評分得出電影預(yù)測評分列表，進(jìn)而推薦預(yù)測評分較高的電影。針對電影屬性概率評分間并線性的，提出支持向量機(jī)回歸的方法，解決用戶多屬性結(jié)合的問題。實(shí)驗(yàn)結(jié)果表明，該模型提高了召回率。得到結(jié)論，該用戶多屬性推薦模型提高了召回率，并能為新用戶推薦。

電影推薦；冷啟動；支持向量機(jī)回歸；最大最小值方法

傳統(tǒng)協(xié)同過濾推薦技術(shù)存在新用戶難以推薦的冷啟動問題，尤其在智能電視網(wǎng)絡(luò)、視頻網(wǎng)站等，只有用戶信息，沒有瀏覽或評分記錄，智能電視電影系統(tǒng)難以有效推薦。而基于內(nèi)容過濾技術(shù)可有效解決新用戶冷啟動問題。對于新用戶，Chen Lin提出向用戶推薦“專家用戶”瀏覽的電影[1]。施鳳仙等提出基于用戶屬性分類區(qū)分用戶興趣度的協(xié)同過濾算法[2]。按比重分配用戶相似性和商品的用戶興趣度。但它們的關(guān)系并不一定是線性的。而支持向量機(jī)在解決非線性回歸問題有著不錯(cuò)的效果。

支持向量機(jī)算法在文本分類、模式識別等分類問題有很好的效果，并被引入非線性回歸領(lǐng)域，展示了不錯(cuò)的性能。王宏宇建立的基于電影屬性支持向量機(jī)回歸的用戶模型[3]，提高了推薦精度。但只是根據(jù)電影的屬性和評分，并沒有考慮電影的用戶屬性分類。Liu在Google News用戶個(gè)性化新聞推薦中，利用用戶點(diǎn)擊新聞類別的歷史記錄，建立了用戶長期和短期興趣模型[4]。Mahiye Uluyagmur提出了基于電影特征集的推薦系統(tǒng)，但并沒有有效解決多個(gè)特征集結(jié)合問題。本文根據(jù)電影用戶歷史評分，基于不同年齡段用戶對電影喜愛程度不同，電影按用戶屬性有不同的概率評分，并采用支持向量機(jī)回歸結(jié)合用戶多個(gè)屬性。

本文根據(jù)電影用戶歷史評分，基于電影被不同年齡段用戶喜愛程度不同，計(jì)算得出電影年齡段概率評分。由于每個(gè)電影評分用戶數(shù)量不同，采用min-max方法標(biāo)準(zhǔn)化概率評分，使數(shù)據(jù)具有可比性。針對用戶不同的屬性，如年齡段、職業(yè)等，采用支持向量機(jī)回歸的方法擬合電影不同屬性概率評分，解決不同屬性結(jié)合的問題。實(shí)驗(yàn)采用movielens數(shù)據(jù)集評測了算法的召回率，并與傳統(tǒng)基于電影的knn推薦算法做了對比，實(shí)驗(yàn)證明本文采用的方法提高了召回率，并可為新用戶產(chǎn)生推薦。

1 理論基礎(chǔ)

1.1 min-max標(biāo)準(zhǔn)化

在數(shù)據(jù)分析之前，通常需要先將數(shù)據(jù)標(biāo)準(zhǔn)化，利用標(biāo)準(zhǔn)化后的數(shù)據(jù)進(jìn)行數(shù)據(jù)分析。不同數(shù)量的用戶對電影評過分，所以電影的屬性評分概率可能在不同的區(qū)間，為了消除這種影響，需要將數(shù)據(jù)標(biāo)準(zhǔn)化處理，以解決數(shù)據(jù)指標(biāo)之間的可比性。本文采用min-max標(biāo)準(zhǔn)化方法，也稱為離差標(biāo)準(zhǔn)化，就是對原始數(shù)據(jù)的線性變換，使結(jié)果值映射到0和1之間，轉(zhuǎn)化函數(shù)為

式中：xmin為樣本數(shù)據(jù)最小值；xmax為樣本數(shù)據(jù)最大值；x為樣本數(shù)據(jù)。

1.2 支持向量機(jī)回歸

回歸問題是從訓(xùn)練樣本中學(xué)習(xí)輸入輸出變量之間的關(guān)系f（x）?？紤]一個(gè)訓(xùn)練樣本數(shù)據(jù)集{（x1,y1），（x2,y2），…，（xi, yi），…r（xn,yn）}。對于i=1，2，3，…，n，其中每個(gè)xi∈Rn表示樣本的輸入空間，與其相對應(yīng)的目標(biāo)值yi?；貧w問題的思想是從中學(xué)習(xí)一個(gè)函數(shù)，給定xi的值，能夠預(yù)測yi的值。一般的SVR函數(shù)形式為

式中：w和b是要尋找的確定最優(yōu)超平面的參數(shù)值，Φ（xi）代表了從Rn到高維空間的一個(gè)非線性變換，目標(biāo)是找出w和b的值，使回歸風(fēng)險(xiǎn)系數(shù)最小化，回歸風(fēng)險(xiǎn)系數(shù)為

其中：Γ（·）是損失函數(shù)，常數(shù)C＞0，表示對估計(jì)偏差的懲罰度，最常用的損失函數(shù)Vapnik提出的ε-敏感度函數(shù)[5]為

此處的目標(biāo)是確定適當(dāng)?shù)膮?shù)值w和b，從而使f（xi）逼近未知目標(biāo)函數(shù)。如果f（xi）與yi的差值的絕對值大于ε，損失函數(shù)Γ（·）的值等于f（xi）的估計(jì)與期望響應(yīng)yi的差值的絕對值再減去ε，否則損失函數(shù)值為0。原問題可以表示為

由式（4）,可知受限于

式中：ξi和代表輸出結(jié)果上下界的松弛變量。

使用拉格朗日乘子法得到對偶問題是

使用二次優(yōu)化方法求解αi和αi*，進(jìn)而得出w。設(shè)置偏移量b=0，自由參數(shù)ε和懲罰因子C就控制了式（10）逼近函數(shù)的VC維[6]

式中：K（xi,x）表示核函數(shù)。

2 基于支持向量機(jī)回歸的用戶多屬性推薦算法

2.1 電影對用戶屬性的概率評分

電影用戶評分矩陣，是電影被用戶評分的歷史記錄，而每個(gè)用戶都有年齡段、職業(yè)等屬性。電影被某個(gè)年齡段的用戶評分大小及個(gè)數(shù)，反映了這個(gè)年齡段的用戶對電影的喜愛程度。本文用7個(gè)年齡段代表人的年齡。借鑒貝葉斯定理，電影受某個(gè)年齡段的喜愛程度可表示為

式中：m（agek）表示年齡段的先驗(yàn)概率；m（itemi）表示電影被用戶評分的總個(gè)數(shù)；m（itemi|agek）表示電影被這個(gè)年齡段評分的總和；而m（agek|itemi）表示電影對各個(gè)年齡段的概率評分。

求出每個(gè)電影對年齡段的概率評分，每個(gè)電影被不同用戶數(shù)量評分，所以用min-max方法標(biāo)準(zhǔn)化電影的屬性概率評分。

偽代碼如下：

2.2 單屬性預(yù)測用戶對電影的評分

為用戶u推薦最喜歡的前N個(gè)電影。根據(jù)用戶u的年齡段和電影的年齡段概率評分，預(yù)測用戶u對每個(gè)電影的評分。根據(jù)預(yù)測評分大小，為用戶推薦預(yù)測評分最大的前N個(gè)電影。

2.3 支持向量機(jī)回歸用戶多屬性模型

不同年齡段k，不同電影i的概率評分不同。同理，不同職業(yè)，電影的概率評分也不同。對于用戶，年齡段、職業(yè)的組合，決定了用戶的喜好，但它們并非是線性的。因而構(gòu)建一個(gè)SVR用戶多屬性回歸模型。

回歸模型的輸入和輸出，從用戶對電影i的年齡段概率評分、職業(yè)概率評分到實(shí)際評分ri。實(shí)際評分和概率評分都是標(biāo)準(zhǔn)化后的數(shù)據(jù)。特定年齡段和職業(yè)有著鮮明喜好的用戶u，回歸模型能很好的預(yù)測其偏好。模型可構(gòu)建為

式中：ri是用戶u給電影i的實(shí)際評分，m（agek|i）是電影i對用戶年齡段k的概率評分。k∈{0，1，…，6}，共7個(gè)年齡段。m（ocups|i）是電影i對用戶職業(yè)s的概率評分。s∈{0，1，…，18}，共19個(gè)職業(yè)類型。

線性回歸模型并不能取得很好的回歸效果，召回率甚至小于單個(gè)屬性概率評分的結(jié)果。支持向量機(jī)回歸通過核函數(shù)K（xi,x）將數(shù)據(jù)從輸入空間非線性變換到高維空間，從而使得數(shù)據(jù)在該空間中被轉(zhuǎn)換成線性組合的。用支持向量機(jī)回歸的方法構(gòu)建非線性回歸模型，基于式（10），可構(gòu)建支持向量機(jī)回歸的用戶多屬性模型

求解模型時(shí)，使用序列最小優(yōu)化方法求解算法，求解該支持向量機(jī)回歸問題。

2.4 多屬性預(yù)測用戶電影評分

為每個(gè)用戶構(gòu)建SVR回歸模型，并利用模型，輸入用戶屬性、電影屬性概率評分，輸出電影預(yù)測評分并排序。

已知用戶u的年齡段、職業(yè)，預(yù)測用戶對電影的評分。首先利用用戶屬性，得出用戶對每個(gè)電影的年齡段和職業(yè)屬性概率評分m（age|i）和m（ocup|i）。輸入到支持向量機(jī)回歸模型，得出預(yù)測評分r。預(yù)測評分最高的前N個(gè)電影推薦給用戶。

3 實(shí)驗(yàn)設(shè)計(jì)及結(jié)果分析

3.1 數(shù)據(jù)集和評測方法

采用movielens數(shù)據(jù)集，943個(gè)用戶對1 682個(gè)電影的10萬個(gè)評分?jǐn)?shù)據(jù)。用戶的年齡段和職業(yè)屬性。訓(xùn)練（train）數(shù)據(jù)集采用全部10萬個(gè)評分，驗(yàn)證（test）數(shù)據(jù)集采用20%的評分?jǐn)?shù)據(jù)。使用C++語言，在Windows平臺編寫程序，實(shí)現(xiàn)了基于支持向量機(jī)回歸的用戶多屬性推薦算法。

智能電視電影系統(tǒng)的最終目的是為用戶推薦感興趣的電影，本文沒有采用RMSE指標(biāo)，而是采用召回率評測。為用戶推薦前N個(gè)電影，推薦的電影個(gè)數(shù)和用戶實(shí)際選擇的電影個(gè)數(shù)的比值，即召回率評測。召回率式為

3.2 實(shí)驗(yàn)結(jié)果及分析

實(shí)驗(yàn)首先評測了單個(gè)屬性前30的召回率。評測用戶年齡段屬性、職業(yè)屬性的召回率。出于降低計(jì)算復(fù)雜度的考慮，隨機(jī)選擇了200個(gè)用戶的召回率，做了8次重復(fù)實(shí)驗(yàn)，得出召回率的平均值。召回率結(jié)果見表1。

表1 用戶年齡、職業(yè)屬性的召回率 %

本文使用libsvm工具訓(xùn)練基于支持向量機(jī)回歸的用戶多屬性推薦模型，并預(yù)測評分。核函數(shù)K（xi,x）采用徑向基核exp（-g||x-xi||2）。需要找出最優(yōu)的g和懲罰因子C，本文使用網(wǎng)格搜索來尋找最優(yōu)的g和C。網(wǎng)格搜索就是嘗試各種（g，C）對值，然后進(jìn)行交叉驗(yàn)證，找出精確度最高的（g，C）對。網(wǎng)格搜索參數(shù)g和C的范圍，g∈{0.6，0.8，…，3.0}，懲罰因子C∈{0.02，0.04，…，0.10，0.40，0.70，1.00}。詳細(xì)設(shè)置見圖1。

比較了本文的算法和基于電影的KNN算法的召回率，基于電影KNN算法的參數(shù)k取值100，就是取最相似的100個(gè)電影。相似性公式采用cos相關(guān)系數(shù)。

圖1 SVM網(wǎng)格搜索交叉驗(yàn)證圖

由圖1的網(wǎng)格搜索交叉驗(yàn)證圖可知，SVR參數(shù)g取1.6，C取0.4時(shí)召回率達(dá)到了最大值。

由表1可知，基于支持向量機(jī)回歸用戶多屬性推薦算法15.25%的召回率高于單個(gè)屬性的召回率。

由表2的實(shí)驗(yàn)數(shù)據(jù)，基于支持向量機(jī)回歸用戶多屬性15.25%的召回率遠(yuǎn)高于基于電影的KNN推薦算法5.12%的召回率。實(shí)驗(yàn)結(jié)果表明基于支持向量機(jī)回歸用戶多屬性推薦算法提高了召回率，并可為新用戶產(chǎn)生有效推薦。

表2 基于電影的KNN、基于SVM回歸用戶多屬性推薦算法召回率 %

4 結(jié)論

本文主要對智能電視電影系統(tǒng)新用戶難以推薦的冷啟動問題進(jìn)行了深入研究。采用年齡段對電影的概率評分來表示對電影喜愛程度的方法，解決用戶按屬性選擇電影的問題。采用支持向量機(jī)回歸方法訓(xùn)練用戶多屬性模型，有效解決了用戶多屬性結(jié)合問題。訓(xùn)練數(shù)據(jù)都用min-max方法標(biāo)準(zhǔn)化，使數(shù)據(jù)具有可比性。由實(shí)驗(yàn)結(jié)果可知，該基于支持向量機(jī)回歸用戶多屬性推薦模型提高了召回率，有效解決了新用戶推薦的冷啟動問題。

[1] LIN Chen，XIE Runquan，LI Lei，et al.PRemiSE:personalized news recommendation via implicit social experts[C]//Proc.21st ACM international conference on information and knowledge man?agement.Maui，HI，USA：[s.n.]，2012：1607-1611.

[2]施鳳仙，陳恩紅.結(jié)合項(xiàng)目區(qū)分用戶興趣度的協(xié)同過濾算法[J].小型微型計(jì)算機(jī)系統(tǒng)，2012，33（7）:1533-1536.

[3] 王宏宇，糜仲春，梁曉艷，等.一種基于支持向量機(jī)回歸的推薦算法[J].中國科學(xué)院研究生院學(xué)報(bào)，2007，24（6）：742-748.

[4]LIU J，DOLAN P，PEDERSEN E R.Personalized news recommen?dation based on click behavior[C]//Proc.15th international confer?ence on Intelligent user interfaces.[S.l.]：ACM Press，2010：31-40.

[5]ALPAYDIN E.機(jī)器學(xué)習(xí)導(dǎo)論[M].范明，等，譯.北京：機(jī)械工業(yè)出版社，2009.

[6] WU X D，KUMAR V.數(shù)據(jù)挖掘十大算法[M].李文波，等，譯.北京：清華大學(xué)出版社，2014.

Movie Recommendation Using SVR Algorithm Combining Different Attributes

ZHAO Guangjiea,YIN Siqingb
（a.Computer and Control Engineering；b.Software School,North University of China,Taiyuan 030051,China）

As the smart TV can hardly recommend for the new users,recommendation model that users’attributes filtering is proposed.Based on the Bayes’theorem,the model uses the ratings to compute items’probability ratings of different attributes.The users’attributes and items’probability ratings are used to recommend for users.As the items’probability ratings are not statistical independence,the SVR is proposed to combining different attributes.The experimental results show that the model improving the recall.The conclusion is users’different attributes filtering model not only provides better recommendation recall,but also can recommend for new users.

movie recommendation;cold start problem;SVR;min-max method

TP393 文獻(xiàn)標(biāo)志碼：A DOI：10.16280/j.videoe.2015.06.008

【本文獻(xiàn)信息】趙廣杰，尹四清.基于支持向量機(jī)回歸多屬性智能電視電影推薦[J].電視技術(shù)，2015，39（6）.

趙廣杰（1986—），碩士生，CCF會員（E200038900G），研究方向?yàn)橥扑]算法和網(wǎng)絡(luò)技術(shù)應(yīng)用；

尹四清（1964—），副教授，碩士生導(dǎo)師，主要研究方向?yàn)樽匀徽Z言處理和網(wǎng)絡(luò)信息處理。

許 盈

2014-12-02