云計算環(huán)境中資源優(yōu)化推薦技術(shù)研究

呂曉晴

（河北師范大學匯華學院，河北石家莊050000）

云計算環(huán)境中資源優(yōu)化推薦技術(shù)研究

呂曉晴

（河北師范大學匯華學院，河北石家莊050000）

隨著系統(tǒng)規(guī)模的不斷擴大和數(shù)據(jù)獲取量的指數(shù)級增長，在傳統(tǒng)推薦系統(tǒng)的冷啟動、精確性、擴展性等問題嚴峻化的同時，實時性問題亦成為面向海量數(shù)據(jù)推薦系統(tǒng)新的瓶頸點?；趥鹘y(tǒng)推薦領(lǐng)域的主流算法，提出了一個擴展向量推薦模型。根據(jù)擴展模型對推薦算法中對象的向量進行合理擴展，通過相似度計算等過程動態(tài)選取推薦集，完成對目標對象更精確的推薦。實驗結(jié)果表明，與傳統(tǒng)推薦算法相比，基于新模型的推薦算法可以顯著地提升推薦效果，成功克服冷啟動問題。

擴展向量推薦模型；協(xié)同過濾；Slope One；ALS-WR；分布式計算

0　引言

由于推薦系統(tǒng)應用的普及，提高系統(tǒng)的用戶體驗一直是各個系統(tǒng)應用不斷的追求。由于推薦系統(tǒng)中的推薦算法在運行過程中涉及大量的數(shù)據(jù)計算過程，而海量數(shù)據(jù)環(huán)境下，運算所需的時間越來越大，實時完成系統(tǒng)應用是面向海量數(shù)據(jù)推薦系統(tǒng)的瓶頸點。面對海量數(shù)據(jù)的存儲，常用數(shù)據(jù)庫早已超出負荷，系統(tǒng)的可擴展性問題也日益凸顯。針對其瓶頸點，很多研究方案被提出，但將精度、實時性和可擴展性同時完美的融合在一個系統(tǒng)中是該領(lǐng)域一直以來面臨的挑戰(zhàn)。

針對傳統(tǒng)推薦算法面向海量數(shù)據(jù)時的可擴展性和數(shù)據(jù)稀疏性問題，基于分布式環(huán)境下的數(shù)據(jù)挖掘和并行處理技術(shù)，本文除對推薦算法本身進行優(yōu)化改進外，提出了一種基于Hadoop分布式平臺完成推薦算法分布式實現(xiàn)的改進方案，即使用對海量稀疏數(shù)據(jù)具有良好支持的HDFS來存儲用戶交互矩陣并將其作為數(shù)據(jù)源，同時基于MapReduce分布式計算框架，將推薦算法的計算任務均衡地分配給Hadoop集群內(nèi)的每臺機器，從而有效地提高推薦算法的執(zhí)行效率，同時在大規(guī)模分布式數(shù)據(jù)計算點，再次有效地將GPU引入進行輔助計算。

1　基于擴展向量的推薦模型

將新模型具體應用在基于項目的協(xié)同過濾推薦算法中，優(yōu)化后的算法流程如下：

擴展向量：基于新模型對項目的特征向量進行擴展，即可得項目的擴展特征向量表示為：

式中：eitemj表示第j個項目對應的擴展特征向量，1≤j≤M,M為站點中的項目集合I的總數(shù)；p(i,j)表示第i個用戶對第j個項目的偏好值，l≤i≤N，N為站點中的用戶集合U的總數(shù)；aitem(j,k)表示第j個項目本身具有的第k個屬性值，l≤k≤Q，Q為站點中項目的屬性個數(shù)。所述偏好值可以代表系統(tǒng)中用戶對項目的評分大小、評論長短、購買與否以及瀏覽次數(shù)等信息。所述項目屬性值可以是項目本身具有的項目內(nèi)容、類別、價格、年份、適用人群，產(chǎn)地等屬性信息。同理，用戶的擴展特征向量可以表示為：

式中：euseri表示useri的擴展特征向量，l≤i≤N,N為站點中的用戶總數(shù)，p(i,j)表示第i個用戶對第j個項目的偏好值；auser(i,k)表示第i個用戶本身具有的第k個屬性值，l≤k≤R,R為站點中用戶相關(guān)屬性的個數(shù)。具體的，所述用戶屬性值可以包括年齡段、性別、專業(yè)類別等。

最近鄰搜索：最近鄰搜索意味著尋找目標項目的最相似鄰居。所有的相似度計算基于擴展特征向量和相似性度量方法展開，優(yōu)化后的相似性度量方法具體如下所示：

基于歐式距離的相似度，如下：

基于谷本相關(guān)的相似度，如下：

式中：sim′(j,j′)表示對象j和對象j′的擴展特征向量之間的相似度，其相似度計算方法基于擴展向量展開。其中，基于項目的協(xié)同過濾算法即為計算候選被推薦項目與其他項目的相似值，itemj和itemj′代表兩個不同的項目，Uj代表對itemj給出評分的用戶集合，Uj′代表對itemj′給出評分的用戶集合，Aj意味著itemj的屬性信息集合，Aj′意味著itemj′的屬性信息集合。由于項目的擴展特征向量考慮了項目本身具有的屬性信息，使其參與相似度計算的向量更加精確，所以在理論上相似度是更加準確的。完成所有相關(guān)的計算后可以得到項目的相似矩陣。而且基于sim，項目的最近鄰居也被獲取到。

得到預期偏好矩陣：計算候選推薦項目的預測評分值，如下：

式中：R′(u,j′)用來評估用戶useru對itemj′的偏好值，其計算基于目標項目的最近鄰的偏好值；Iu代表對用戶u給出過偏好值的item集合。

做出推薦：對候選推薦對象的推薦值R′(u,j)按照從大到小的順序進行排序。選取前W個項目推薦給用戶useru，W是人為設(shè)定的某一正整數(shù)。經(jīng)過上述操作步驟，即可完成新模型在基于項目的協(xié)同過濾推薦模型的應用。

2　云計算環(huán)境下大數(shù)據(jù)的推薦系統(tǒng)設(shè)計

2.1系統(tǒng)的體系結(jié)構(gòu)

不同時期的推薦系統(tǒng)，面對的數(shù)據(jù)量也有質(zhì)的不同，從幾十條記錄到現(xiàn)在的一千萬條記錄，單機的推薦系統(tǒng)已無法滿足其處理需求。

面向海量數(shù)據(jù)的推薦系統(tǒng)的架構(gòu)如圖1所示，其構(gòu)建于物理集群之上，基于本地數(shù)據(jù)庫和推薦算法的使用，為用戶提供注冊、節(jié)目推薦和節(jié)目交互等功能，其中節(jié)目交互包括新節(jié)目的推薦榜單、熱播節(jié)目的榜單、用戶對節(jié)目評分，以及用戶可以獲取對其產(chǎn)生的推薦列表等功能。其中系統(tǒng)將服務工程中產(chǎn)生的數(shù)據(jù)存儲在文件中，并部署在HDFS上，并運用Map-Reduce并行計算框架和CUDA并行計算框架處理系統(tǒng)運行過程面對的海量數(shù)據(jù)處理問題，最終高性能、高質(zhì)量的完成系統(tǒng)的各個功能，提高用戶的體驗。所以，從下至上，系統(tǒng)的體系結(jié)構(gòu)分為三成：物理資源層、數(shù)據(jù)處理層（存儲和計算）和應用層。

圖1　云計算環(huán)境下大數(shù)據(jù)的推薦系統(tǒng)的架構(gòu)圖

2.2系統(tǒng)的數(shù)據(jù)支撐平臺的設(shè)計

系統(tǒng)的數(shù)據(jù)支撐平臺的設(shè)計如圖2所示。對于面向海量數(shù)據(jù)的推薦系統(tǒng)，在用戶數(shù)量較多的情況下可以對其按照地域進行分區(qū)存儲，將系統(tǒng)應用層涉及的目標用戶的最終推送數(shù)據(jù)存儲在目標用戶對應的地域數(shù)據(jù)庫中。本地數(shù)據(jù)庫對應的數(shù)據(jù)庫表增加分區(qū)partition即可。這些數(shù)據(jù)庫可以部署在不同的地域。對于每一個用戶，其對電影的評分信息存儲在分布式文件系統(tǒng)中，分布在該地域的Hadoop集群上。因為大多數(shù)對數(shù)據(jù)庫的訪問操作都具有局部性，所以，通過地域進行劃分，降低了數(shù)據(jù)傳送的代價，而且當網(wǎng)絡出現(xiàn)故障時，仍然允許對局部數(shù)據(jù)庫的操作。

由于底層采用HDFS，所以可以存儲海量數(shù)據(jù)、也便于擴充。利用地域進行數(shù)據(jù)分區(qū)，對用戶推薦的同時間接考慮了地域文化，一方水土孕育一方文化，一方文化造就一方人的性格，利用人性格的地域同一性使得對用戶的推薦更加準確。

圖2　系統(tǒng)數(shù)據(jù)支撐平臺的設(shè)計

2.3系統(tǒng)的智能推薦模塊設(shè)計

（1）推薦算法的選擇

系統(tǒng)采用提出的新混合算法，即基于項目的Slope One分布式推薦算法，對應于混合推薦算法文本框。此外，本系統(tǒng)還采用了基于雙重相似的協(xié)同過濾推薦算法、ALS-WR多種推薦算法彼此并行運行。對于系統(tǒng)提供的功能，采用多種算法呈現(xiàn)結(jié)果，可以最大程度地消除冷啟動問題，同時可以為用戶提供更為豐富的推薦列表供其選擇，最大程度地滿足用戶的需求。

（2）數(shù)據(jù)預處理模塊

數(shù)據(jù)預處理模塊的功能分為兩類：一種是對從系統(tǒng)功能層取得的數(shù)據(jù)進行優(yōu)化整合并轉(zhuǎn)化成算法需要的數(shù)據(jù)源格式存儲在數(shù)據(jù)支撐平臺的HDFS上；第二種是將推薦算法所需要的數(shù)據(jù)從數(shù)據(jù)支撐平臺獲取，進行相應的優(yōu)化整合轉(zhuǎn)化成算法所需要的二次數(shù)據(jù)源，供算法運行過程中使用。由于數(shù)據(jù)預處理過程中涉及的數(shù)據(jù)處理可以分為離線進行和在線進行兩種，所以提高數(shù)據(jù)支撐平臺利用率的同時也減小了系統(tǒng)的在線負載。其中可以離線進行處理的數(shù)據(jù)，比如對HDFS上的數(shù)據(jù)進行定時更新、選擇性存儲并更新算法運行過程中產(chǎn)生的臨時文件以供下次使用，比如項目與項目之間的相似性文件等。

（3）算法運行模塊

算法運行模塊功能為運行基于Hadoop的推薦算法。其中輸入為數(shù)據(jù)庫中經(jīng)過數(shù)據(jù)預處理得到的數(shù)據(jù)源，比如，系統(tǒng)指定格式的用戶對項目的評分數(shù)據(jù)。輸出是系統(tǒng)各項功能中所需的數(shù)據(jù)，比如對目標用戶的具體的推薦項目列表。

3　推薦結(jié)果評估及系統(tǒng)實現(xiàn)

仿真實驗對三種推薦算法分布式實現(xiàn)的實驗結(jié)果進行呈現(xiàn)和分析，具體包括評估標準的介紹、實驗數(shù)據(jù)集的選取以及不同維度推薦效果的對比。

本文取用GroupLens實驗室提供的MovieLens 100K，1M以及10M數(shù)據(jù)集，其中分別包含了十萬條，一百萬條和一千萬條用戶的偏好記錄。這些信息記錄是從1997年9月19日—1998年4月22日，7個月時間里MovieL-ens網(wǎng)站（movielens.umn.edu）的用戶對電影的真實評分。使用這些不同大小的數(shù)據(jù)集可以很好地測試基于新模型的三種推薦算法分布式實現(xiàn)的實際性能。

3.1推薦結(jié)果比較

為對比不同推薦算法基于新模型的推薦結(jié)果，在一個小型HOD集群上進行了驗證。實機配置為：Dell Power Edge SC1430，英特爾至強5110（1.6 GHz）CPU兩顆（雙核），4 GB物理內(nèi)存，300 GB硬盤（RAID 0模式），都處在100M局域網(wǎng)中。使用3臺實機搭建Hadoop集群，三臺實機分別作為pbs_server，namenod和datanode節(jié)點。在所有的節(jié)點上安裝Python 2.5.1以及Hadoop發(fā)行版本的可執(zhí)行程序。依次使用GroupLens三個數(shù)據(jù)集在實驗集群上進行測試。

3.1.1不同推薦算法使用新模型前后的比較

使用MovieLens 100K數(shù)據(jù)集，分別運行三種推薦算法的分布式實現(xiàn)，得到使用新模型前后算法的準確率和召回率的對比實驗結(jié)果，如表1所示。

表1　100K數(shù)據(jù)集的不同推薦算法使用新模型前后的對比

由表1可以看出，新模型的應用使推薦算法的準確率和召回率都得到了不同程度的提升。所以基于擴展向量的推薦模型可以在一定程度上解決推薦算法在精度方面的問題。另外，三種推薦算法的成功應用也說明了新模型廣泛的適用性。

3.1.2基于新模型的不同推薦算法的比較

為了得到基于新模型的三種推薦算法的對比性能，本實驗分別使用MovieLens 100K和1M數(shù)據(jù)集來運行三種算法的分布式實現(xiàn)，將得到的關(guān)于精準度和運行速度兩方面的實驗結(jié)果直觀地呈現(xiàn)在表2～表4和圖3，圖4中。

表2　基于新模型和100K數(shù)據(jù)集的不同推薦算法的比較

表3　基于新模型和1M數(shù)據(jù)集的不同推薦算法的比較

表4　運行100K數(shù)據(jù)集的不同推薦算法的時間對比ms

圖3　基于新模型和100K數(shù)據(jù)集的算法推薦效果對比圖

圖4　基于新模型和1M數(shù)據(jù)集的算法推薦效果對比圖

通過圖3，圖4可以得出，基于新模型的ALS推薦算法的準確率最高，基于新模型的Slope One推薦算法的召回率最高，而協(xié)同過濾推薦算法在準確率和召回率兩方面都處于較低水平。綜合考慮準確率和召回率兩個方面，可以得出基于新模型的ALS推薦算法的精準度最好，基于新模型的Slope One推薦算法次之。同時，由表4可以得出，協(xié)同過濾推薦算法的運行時間最短，與其他兩個算法相比，有質(zhì)的飛躍。

3.1.3關(guān)于冷啟動的解決

針對三種推薦算法關(guān)于解決冷啟動的理論，可以采用MovieLens 100K數(shù)據(jù)集對其進行實驗驗證。針對數(shù)據(jù)集中有歷史評分的項目對象，隨機選取20個將其評分數(shù)據(jù)變?yōu)?。運行三種推薦算法，得到對實驗對象的預測評分，與原始評分進行對比，得到準確率，實驗結(jié)果如表5所示。

表5　關(guān)于冷啟動不同推薦算法的精度對比

根據(jù)實驗結(jié)果可以得出，新模型的使用使三種推薦算法都成功地解決了冷啟動問題。而且三種推薦算法對基于項目的協(xié)同過濾推薦算法的應用最為成功。所以新模型可以在一定程度上解決傳統(tǒng)推薦算法的冷啟動問題。

3.2推薦效果綜合總結(jié)

將推薦結(jié)果的評估和算法的復雜度以表格的形式呈現(xiàn)，即可得到如表6所示的內(nèi)容。

表6　推薦算法的綜合效果呈現(xiàn)

從表6中可以得出以下結(jié)論：協(xié)同過濾推薦算法雖然在商業(yè)實際應用中較為流行，但是其推薦精度次于其他兩種算法；ALS-WR推薦算法雖然推薦的精準度較高，但是面向海量數(shù)據(jù)，其分布式實現(xiàn)中涉及的U和M會非常巨大，運行時要將它們放入內(nèi)存，極大地影響了程序的運行效率。而且，算法中含有循環(huán)，由于Hadoop在處理循環(huán)時性能不夠好，所以在運行過程中，此算法的性能不如其他兩種算法。

Slope One推薦算法的推薦精度、冷啟動的解決、運行速度均為三種算法的折中水平，但是其實現(xiàn)原理較為簡單，所以實現(xiàn)復雜度較低。三種推薦算法中，基于項目的協(xié)同過濾的運行速度最優(yōu)，從實驗結(jié)果中可以得出，相對于其他兩種算法，它有很大的優(yōu)勢。

4　結(jié)論

本文通過對現(xiàn)有個性化推薦算法的研究，提出了基于擴展向量的推薦模型，并基于Mahout中的組件對三種算法進行模型的具體應用和分布式實現(xiàn)，三種算法具體為Slope One推薦算法、ALS推薦算法和基于項目的協(xié)同過濾推薦算法。實驗結(jié)果表明，新模型的應用能顯著提高推薦效果，并且解決了推薦算法常有的冷啟動問題。

針對云計算環(huán)境下大數(shù)據(jù)的推薦系統(tǒng)，采用分布式文件系統(tǒng)對數(shù)據(jù)進行存儲，從而實現(xiàn)大數(shù)據(jù)負載均衡存儲的功能。另外，分數(shù)據(jù)數(shù)據(jù)庫的設(shè)計中使用地域?qū)ζ溥M行數(shù)據(jù)庫分區(qū)，此方法間接考慮了地域文化對人的性格和品位的影響，即利用一個地區(qū)的人的性格的同一性，間接達到推薦結(jié)果更優(yōu)的效果。針對面向海量數(shù)據(jù)推薦系統(tǒng)的精確性問題，基于協(xié)同過濾算法和Slope One推薦算法，提出了一種新的混合算法，即基于項目的Slope One分布式推薦算法，并將其分布式實現(xiàn)應用于推薦系統(tǒng)中。針對海量數(shù)據(jù)處理，使用基于Hadoop的云計算平臺的同時，針對一些巨大矩陣運算，采用GPU計算框架完成其并行化實現(xiàn)。云計算和GPU技術(shù)的融入緩解了面向海量數(shù)據(jù)推薦系統(tǒng)面臨的擴展性和實時性問題。

[1]相海泉.迎接大數(shù)據(jù)時代[J].中國信息界，2013（5）：38-42.

[2]趙衛(wèi)中，馬慧芳，傅燕翔，等.基于云計算平臺Hadoop的并行kmeans聚類算法設(shè)計研究[J].計算機科學，2011，38（10）：166-168.

[3]曹潤濤.基于Hadoop的移動感知系統(tǒng)的設(shè)計與實現(xiàn)[D].西安：西安電子科技大學，2012.

[4]SU H Y，WANG C Q，ZHU Y，et al.Distributed collaborative filtering recommendation model based on expand-vector[C]// Proceedings of 2014 International Conference on Multisensor Fusion and Information Integration for Intelligent Systems.[S.l.]：IEEE，2014，989-994.

[5]朱保華，張曉濱.移動用戶餐飲個性化需求推薦研究[J].現(xiàn)代電子技術(shù)，2015，38（11）：13-15.

[6]任品.基于置信用戶偏好模型的電視推薦系統(tǒng)[J].現(xiàn)代電子技術(shù)，2014，37（16）：30-33.

[7]OWEN S，ANIL R，DUNNING T，et al.Mahout in action[M]. US：Manning，2011.

[8]邵澤云，劉正岐.云計算關(guān)鍵技術(shù)研究[J].信息安全與技術(shù)，2014，5（4）：24-25.

Research on resource optimization recommendation technology in cloud computing environment

Lü Xiaoqing
（Huihua College of Hebei Normal University，Shijiazhuang 050000，China）

With the continuously extending of the system scale and exponential order increase of data acquisition quantity，the problems of cold start-up，accuracy and scalability of the traditional recommendation system are severe，and the real-time problem becomes a new bottleneck of the massive data recommendation system.On the basis of the mainstream algorithm in the traditional recommendation field，an expand-vector recommendation model is put forward.The object vector in recommendation algorithm is expanded reasonably according to the extended model.The recommendation set is selected by means of the similarity calculation and other dynamic processes to recommend the accurate target object.The experimental results show that，in comparison with the traditional collaborative recommendation algorithm，the recommendation algorithm based on this new model can promote the recommendation effect significantly，and overcome the cold start-up successfully.

expand-vector recommendation model；collaborative filtering；Slope One；ALS-WR；distributed computing

TN911-34；TM417

A

1004-373X（2016）21-0024-05

10.16652/j.issn.1004-373x.2016.21.006

2015-12-21

引企入?！獎?chuàng)新IT類人才培養(yǎng)的實踐平臺（2012GJJG136）；以培養(yǎng)IT企業(yè)適應型人才為目標的軟件測試KPI考核體系的構(gòu)建與研究（2015GJJG275）

呂曉晴（1982—），女，河北石家莊人，碩士，講師。主要從事計算機應用方面的研究。