融合深度情感分析和評(píng)分矩陣的推薦模型

李淑芝 余樂(lè)陶* 鄧小鴻

①(江西理工大學(xué)信息工程學(xué)院 贛州 341000)

②(江西理工大學(xué)應(yīng)用科學(xué)學(xué)院 贛州 341000)

1 引言

隨著互聯(lián)網(wǎng)的蓬勃發(fā)展，電子商務(wù)也流行開(kāi)來(lái)，相應(yīng)的產(chǎn)品和服務(wù)層出不窮，對(duì)于用戶而言，很難處理提供的大量信息。因此，推薦系統(tǒng)在緩解信息超載方面發(fā)揮著越來(lái)越重要的作用，它可幫助用戶根據(jù)他們的喜好、需求和過(guò)去的購(gòu)買行為在平臺(tái)上展示他們可能感興趣的產(chǎn)品或服務(wù)。如今，推薦系統(tǒng)成為日常生活中不可缺少的部分，如網(wǎng)上購(gòu)物、聽(tīng)音樂(lè)以及看電影等方面。為了提供更好的個(gè)性化推薦服務(wù)，如何準(zhǔn)確地預(yù)測(cè)用戶對(duì)商品的評(píng)分是推薦系統(tǒng)需要解決的關(guān)鍵問(wèn)題[1]。

協(xié)同過(guò)濾(Collaborative Filtering， CF)是目前主流的推薦方法，它側(cè)重于通過(guò)歷史記錄對(duì)用戶偏好和物品特性進(jìn)行適當(dāng)?shù)慕2]。矩陣分解是協(xié)同過(guò)濾中最常用的算法，它直接從用戶對(duì)項(xiàng)目的評(píng)分矩陣中學(xué)習(xí)他們的潛在向量，不僅能發(fā)現(xiàn)用戶項(xiàng)目之間隱藏的因素，還能了解這些因素對(duì)用戶的重要性以及與項(xiàng)目之間的聯(lián)系。隱語(yǔ)義模型(Latent Factor Model， LFM)[3]是目前矩陣分解中使用比較多的模型，找出潛在的主題進(jìn)行分類，通過(guò)隱含特征聯(lián)系用戶偏好和物品屬性來(lái)進(jìn)行推薦，但是用戶偏好僅通過(guò)物品評(píng)分來(lái)度量是不準(zhǔn)確的。對(duì)此，物品評(píng)分可結(jié)合近鄰用戶的影響力來(lái)度量，通過(guò)云模型[4]計(jì)算用戶間評(píng)分的相似性得到近鄰用戶。但是當(dāng)評(píng)分矩陣非常稀疏時(shí)，這類模型的發(fā)展也會(huì)受到制約。為了緩解數(shù)據(jù)稀疏性，有大量研究學(xué)者使用文本評(píng)論信息來(lái)提高評(píng)分預(yù)測(cè)性能[5，6]，如基于隱因子主題(Hidden Factors and hidden Topics， HFT)的推薦模型[7]，基于社交的回歸推薦(social Collaborative Viewpoint Regression， sCVR)模型[8]。這些模型將主題模型集成到框架中，得到用戶和項(xiàng)目的評(píng)論文本的潛在因子，通過(guò)對(duì)評(píng)論文本的短詞語(yǔ)進(jìn)行情感分析，提取用戶偏好和項(xiàng)目特征。然而，這些基于用戶評(píng)分和評(píng)論的模型也具有一些局限性：評(píng)論的情感分析和特征提取只是從評(píng)論文本簡(jiǎn)單地提取詞語(yǔ)或短語(yǔ)，學(xué)習(xí)文本的淺層線性特征，未挖掘深層非線性特征，從而破壞了評(píng)論的完整性；另外，上述模型也未考慮到上下文的語(yǔ)義聯(lián)系，導(dǎo)致評(píng)論在語(yǔ)義層面上會(huì)存在相似之處。

深度神經(jīng)網(wǎng)絡(luò)在自然語(yǔ)言處理、計(jì)算機(jī)視覺(jué)方面取得了突破性的進(jìn)展，其中有一些研究嘗試將不同的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)與協(xié)同過(guò)濾相結(jié)合，從而克服了傳統(tǒng)推薦方法的局限性，并提高了推薦性能。2017年文獻(xiàn)[9]提出了深度協(xié)同神經(jīng)網(wǎng)絡(luò)(Deep Cooperative Neural Networks， DeepCoNN)模型，該模型使用卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network， CNN)分別處理用戶評(píng)論和物品評(píng)論，通過(guò)最后一層共享層耦合兩個(gè)評(píng)論的并行部分，達(dá)到聯(lián)合建模，最后進(jìn)行評(píng)分預(yù)測(cè)。2018年文獻(xiàn)[10]提出了在文獻(xiàn)[9]的基礎(chǔ)上結(jié)合雙向長(zhǎng)短期記憶結(jié)構(gòu)網(wǎng)絡(luò)(Long Short-Term Memory， LSTM)處理用戶和物品的評(píng)論文本，在預(yù)測(cè)評(píng)分的同時(shí)生成用戶的偏好，提高了提取隱性特征的質(zhì)量。深度神經(jīng)網(wǎng)絡(luò)保留了文本的詞序信息，并且可以結(jié)合注意力機(jī)制提高提取特征的質(zhì)量，文獻(xiàn)[11]結(jié)合注意力機(jī)制對(duì)評(píng)論文本的特征進(jìn)行加權(quán)，提取對(duì)評(píng)分預(yù)測(cè)有用的特征，用來(lái)提高預(yù)測(cè)結(jié)果的可解釋性。但是上述方法未能利用評(píng)分矩陣進(jìn)行評(píng)分預(yù)測(cè)，提取用戶和物品的隱因子，僅僅利用評(píng)分矩陣會(huì)受到評(píng)分矩陣稀疏性的影響，導(dǎo)致推薦結(jié)果精度不高，從而不能真正體現(xiàn)用戶的偏好。因此，文獻(xiàn)[12]提出了評(píng)論文本結(jié)合評(píng)分矩陣的模型(Neural Attentional Regression model with Review-level Explanations，NARRE)，該模型主要探討評(píng)論的有用性，使用Word2Vec模型[13]得到用戶、物品評(píng)論的隱向量，通過(guò)并行的神經(jīng)網(wǎng)絡(luò)得到隱含因子特征，最后將隱含因子特征和評(píng)分矩陣作為隱含因子模型的輸入，進(jìn)行評(píng)分預(yù)測(cè)。但是該模型中Word2Vec產(chǎn)生的詞是靜態(tài)的，未考慮上下文。由于相同的詞在不同的語(yǔ)境中表示的信息是不一樣的，因此忽略上下文信息會(huì)導(dǎo)致模型對(duì)單詞語(yǔ)義的理解有偏差。

對(duì)此，本文提出了一種結(jié)合評(píng)論文本和評(píng)分矩陣的深度模型(a depth model combining Review Text and Rating Matrix， RTRM)。首先，RTRM模型使用預(yù)訓(xùn)練的Electra模型[14]得到每條評(píng)論的隱表達(dá)，并結(jié)合深度情感分析及注意力機(jī)制實(shí)現(xiàn)從上下文語(yǔ)義層面對(duì)評(píng)論文本的分析，度量每條評(píng)論對(duì)用戶、物品的貢獻(xiàn)度；其次，使用基于近鄰用戶影響力的矩陣分解模型對(duì)評(píng)分矩陣進(jìn)行特征分解，得到用戶和物品的隱因子；最后，在融合層模塊中，用戶(物品)評(píng)論的深層特征和評(píng)分矩陣的淺層特征進(jìn)行交互，使它們?cè)谄渌K中相對(duì)獨(dú)立。在6組數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，與多種經(jīng)典和當(dāng)前的先進(jìn)算法進(jìn)行性能對(duì)比，采用均方誤差進(jìn)行性能評(píng)價(jià)。

2 RTRM商品推薦模型

2.1 RTRM模型結(jié)構(gòu)

推薦系統(tǒng)問(wèn)題可定義為給定一個(gè)包含N個(gè)樣本的數(shù)據(jù)集D，其中每個(gè)樣本(u，i，Ru，i，Wu，i)表示用戶u對(duì)物品i的評(píng)論Wu，i以及相應(yīng)的評(píng)分Ru，i，模型可以利用用戶u的評(píng)論集、物品i的評(píng)論集、用戶和物品自身的屬性來(lái)預(yù)測(cè)出評(píng)分r?u，i，使得r?u，i與ru，i之間的誤差最小。本文提出的RTRM模型的目的是推薦給用戶合適的商品，該模型由兩個(gè)并行的網(wǎng)絡(luò)模塊NETu， NETi以及矩陣分解模塊組成，它們分別通過(guò)輸入用戶評(píng)論文本和物品評(píng)論文本對(duì)用戶和物品進(jìn)行建模，得到用戶和物品的深層特征向量，再和矩陣分解模型分解得到淺層特征向量相結(jié)合，得到預(yù)測(cè)模型，如圖1所示。

圖1 RTRM模型結(jié)構(gòu)

2.2 評(píng)論情感建模

評(píng)論情感分析模塊由兩個(gè)并行的神經(jīng)網(wǎng)絡(luò)NETu，NETi組成，它們分別通過(guò)輸入用戶評(píng)論文本和物品評(píng)論文本對(duì)用戶與物品進(jìn)行建模，得到用戶和物品的深層特征向量，如圖2所示。由于NETu，NETi結(jié)構(gòu)相似，只是輸入向量不同，因此本小節(jié)主要介紹對(duì)物品評(píng)論建模的網(wǎng)絡(luò)NETi(對(duì)用戶評(píng)論進(jìn)行建模的NETu同理)，建模過(guò)程有以下步驟：

圖2 評(píng)論情感分析模型

(1) 給定某物品i的評(píng)論集，即該物品各條評(píng)論組成的列表{Wi1，Wi2，...，Win}，其中n表示模型輸入該物品的最大評(píng)論數(shù)，若物品的歷史評(píng)論數(shù)少于模型輸入最大的評(píng)論數(shù)，模型會(huì)先映射這些評(píng)論，再使用零向量填充得到輸出列表；若物品的歷史評(píng)論數(shù)大于模型輸入最大的評(píng)論數(shù)，則模型只會(huì)映射前n條評(píng)論。本文采用Electra模型[14]執(zhí)行替換令牌檢測(cè)任務(wù)，將每條評(píng)論組成的序列輸入到Electra模型映射為上下文化的c維向量表示，得到了每條評(píng)論的隱表示，輸出向量序列表示為S={Oi1，Oi2，...，Oin}∈Tn×c。

(2) 得到每條評(píng)論的隱表示后，普遍做法[4]是利用加權(quán)平均的方式對(duì)向量進(jìn)行處理，更先進(jìn)的做法是采用注意力機(jī)制將它們匯聚為評(píng)論集的隱表示。但是這些處理方法會(huì)忽略詞語(yǔ)間的排列順序以及各個(gè)評(píng)論的內(nèi)在聯(lián)系，因此本文采用自注意力機(jī)制結(jié)合雙向LSTM技術(shù)來(lái)生成可解釋句子向量。將Electra模型映射的輸出序列輸入到一個(gè)雙向LSTM中，可獲得句子中相鄰單詞之間的依賴關(guān)系，第t個(gè)單詞對(duì)應(yīng)的前向和后向隱藏狀態(tài)的計(jì)算方法如式(1)、式(2)所示

2.3 融合近鄰用戶影響力的矩陣分解

2.3.1 近鄰用戶相似度

本文采用云模型[4]計(jì)算用戶間評(píng)分的相似性，模型中定義u:U →[0，1]?i ∈Ui →u(x)U為具有數(shù)值的定量論域，C為U的定性概念，期望 EX是定值i在U分布的期望，熵 EN是C的可度量性，超熵HE表示熵的不確定性。因此，C(EX，EN，HE)為云的特征向量。若用戶間的云模型是相似的，則他們的云的特征向量也是相似的。由于考慮到空間性等問(wèn)題，本文采用距離表達(dá)式來(lái)量化相似性，一般的兩個(gè)向量之間的距離與相似度成反比，假設(shè)兩個(gè)向量為X(EX1，EN1，HE1)，Y(EX2，EN2，HE2)，則X和Y的距離表達(dá)式如式(5)所示

2.3.2 矩陣分解模型

通過(guò)上述步驟得到的近似用戶影響力的反饋W，本文將它融入到矩陣分解模型中，使用LFM模型[3]根據(jù)用戶和物品將評(píng)分矩陣分解成兩個(gè)低維度矩陣向量PT和Q，又因?yàn)橛脩魧?duì)物品的評(píng)分不僅僅取決于用戶和物品之間的關(guān)系，還取決于用戶的偏好和物品的性質(zhì)。并且，得到一個(gè)新的評(píng)分模型

2.4 評(píng)論文本和評(píng)分矩陣的融合層模塊

為了將評(píng)論文本特征和評(píng)分矩陣特征映射到相同的特征空間，本文使用融合層進(jìn)行耦合得到深度特征，最后通過(guò)線性回歸得出預(yù)測(cè)評(píng)分。評(píng)論文本通過(guò)預(yù)訓(xùn)練Electra模型、情感分析模型和注意力機(jī)制得到了深層次非線性特征向量Text_U， Text_I，評(píng)分矩陣通過(guò)LFM模型分解得到淺層次線性特征向量Bias_U， Bias_I，為了將兩種特征向量進(jìn)行融合，本文采用因子分解機(jī)(Factorization Machine，F(xiàn)M)[15]，首先將用戶的兩種特征Text_U和Bias_U拼接為一個(gè)向量z=Text_U⊕Bias_U，其次引入因子分解機(jī)計(jì)算用戶的2次項(xiàng)特征U

2.5 評(píng)分預(yù)測(cè)

根據(jù)融合層模塊得到的用戶和物品的2次項(xiàng)特征，通過(guò)全連接層進(jìn)行線性組合，得到最終的預(yù)測(cè)

3 實(shí)驗(yàn)結(jié)果與分析

3.1 數(shù)據(jù)集

本文使用的數(shù)據(jù)集來(lái)自https://nijianmo.github.io/amazon網(wǎng)站，它是Amazon.com電商網(wǎng)站評(píng)論公共數(shù)據(jù)集中的6個(gè)類型的子數(shù)據(jù)集，分別為Arts and Crafts， Digital Music， Software， Kindle Store，Luxury Beauty， Video Games。該數(shù)據(jù)集的主要內(nèi)容包括用戶編號(hào)、商品編號(hào)以及用戶對(duì)商品的評(píng)分(1-5分)、評(píng)論，其中Kindle Store是個(gè)大型數(shù)據(jù)集，共包含2.22×106多條評(píng)論；Software數(shù)據(jù)集最小，含有1.2×104多條評(píng)論。具體統(tǒng)計(jì)數(shù)量見(jiàn)表1。

表1 數(shù)據(jù)集基本信息

為了讓本文模型與對(duì)比模型在同一方法下進(jìn)行性能評(píng)估，本文使用MSE作為模型性能的評(píng)價(jià)指標(biāo)，它廣泛用于推薦系統(tǒng)的評(píng)分預(yù)測(cè)[9]。MSE的值越低，模型性能越好。定義如式(14)所示

3.2 實(shí)驗(yàn)設(shè)計(jì)

為了評(píng)估模型預(yù)測(cè)評(píng)分的性能，本文提出的RTRM模型與以下5種傳統(tǒng)方法進(jìn)行對(duì)比實(shí)驗(yàn)。

(1) 奇異值分解(Singular Value Decomposition，SVD++)[2]：基于隱語(yǔ)義模型的改進(jìn)算法，融入用戶對(duì)物品的隱式行為的奇異值分解模型。該模型沒(méi)有用到評(píng)論文本信息。

(2) HFT[7]：融合評(píng)論文本和評(píng)分矩陣較為經(jīng)典的模型，將用戶的評(píng)論文本集或者物品的評(píng)論文本集輸入到文檔主題生成模型(Latent Dirichlet Allocation，LDA)進(jìn)行處理，得到了主題后與LFM分解后的用戶隱因子和物品隱因子相結(jié)合，得到預(yù)測(cè)評(píng)分。該模型的評(píng)論文本沒(méi)有使用深度學(xué)習(xí)。

(3) DeepCoNN[9]：首個(gè)利用深度學(xué)習(xí)技術(shù)對(duì)用戶和物品的評(píng)論文本進(jìn)行聯(lián)合建模的模型，性能顯著改善。該模型未使用評(píng)分矩陣。

(4) NARRE[10]：該模型在DeepCoNN模型的基礎(chǔ)上加入注意力機(jī)制以區(qū)分無(wú)用的評(píng)論，有效結(jié)合了評(píng)分矩陣和評(píng)論文本，使得模型預(yù)測(cè)更準(zhǔn)確。該模型使用了評(píng)分矩陣和評(píng)論文本。

(5) 引導(dǎo)偏好的矩陣分解模型(Preference Guided in Matrix Factorization， PMF)[16]：該模型將評(píng)論文本輸入到LDA得到的主題偏好作為用戶潛在因子的引導(dǎo)項(xiàng)，與用戶的評(píng)分偏好相關(guān)聯(lián)，得到預(yù)測(cè)的評(píng)分。該模型使用了評(píng)分矩陣和評(píng)論文本。

(6) RTRM模型：本文提出的RTRM模型能夠提取評(píng)論文本和評(píng)分矩陣的深層次特征，并且有效地使用因子分解機(jī)將兩者結(jié)合，使得性能進(jìn)一步提升。

在實(shí)驗(yàn)設(shè)置上，本文將數(shù)據(jù)集隨機(jī)分成訓(xùn)練集(80%)、測(cè)試集(10%)以及驗(yàn)證集(10%)，測(cè)試集用于模型的性能評(píng)估，驗(yàn)證集對(duì)各個(gè)超參數(shù)進(jìn)行調(diào)優(yōu)。針對(duì)以上5種對(duì)比模型，本文根據(jù)其對(duì)應(yīng)論文所提供的實(shí)驗(yàn)代碼進(jìn)行復(fù)現(xiàn)，并且根據(jù)原文設(shè)置初始化參數(shù)，使其實(shí)現(xiàn)最優(yōu)的性能。對(duì)于為了防止過(guò)擬合化，本文使用格子搜索法從[0.1， 0.3， 0.5， 0.7，0.9]中尋找最佳的正則項(xiàng)系數(shù)，從[50， 100， 150]中尋找訓(xùn)練的樣本數(shù)，從[8， 16， 32， 64]確定最佳隱因子數(shù)量。對(duì)于矩陣分解模型SVD++，經(jīng)過(guò)調(diào)優(yōu)過(guò)程后隱因子數(shù)k為10。對(duì)于HFT以及PMF，隱因子數(shù)設(shè)置5或10時(shí)，大部分的誤差趨于穩(wěn)定，因此本文將隱因子數(shù)設(shè)置為5，正則參數(shù)為0.5。基于深度學(xué)習(xí)的DeepCoNN， NARRE模型以及本文模型RTRM，在[0.005， 0.01， 0.02， 0.05]范圍內(nèi)尋找最佳學(xué)習(xí)率。由于超參數(shù)過(guò)多，針對(duì)不同的超參數(shù)的設(shè)置，實(shí)驗(yàn)效果往往不同，所以本文在3.4節(jié)對(duì)這些參數(shù)進(jìn)行靈敏度實(shí)驗(yàn)分析。對(duì)于DeepCoNN，NARRE模型使用預(yù)先訓(xùn)練好的glove中300維詞向量，將CNN組件中卷積核的大小設(shè)置為3，個(gè)數(shù)為100；RTRM使用Electra模型的版本為Electrasmall，隱藏單元數(shù)為256，層數(shù)為12，為了更好地對(duì)比，本文參照NARRE模型的一些參數(shù)的設(shè)置，每個(gè)用戶和每個(gè)商品的評(píng)論集文本截取長(zhǎng)度覆蓋90%的用戶，用戶和商品擁有最多的評(píng)論分別為10條和20條，注意力向量權(quán)重a的維度設(shè)為400，因子分解機(jī)中參數(shù)yi的維度為6，近鄰用戶個(gè)數(shù)設(shè)置為60。

3.3 模型性能對(duì)比

本文模型和對(duì)比模型的評(píng)分預(yù)測(cè)結(jié)果如表2所示，可以看出融入評(píng)論的模型(除了SVD++模型)通常比只考慮評(píng)分矩陣作為輸入的協(xié)同過(guò)濾模型(SVD++)性能更好，因?yàn)樵u(píng)論文本是對(duì)評(píng)分矩陣的補(bǔ)充，能夠提高潛在因子的表現(xiàn)質(zhì)量；其次，融合評(píng)論文本中利用深度學(xué)習(xí)技術(shù)的模型(DeepCoNN，NARRE， RTRM)也會(huì)優(yōu)于利用傳統(tǒng)方法的模型(HFT， PMF)。研究[9，17]表明使用神經(jīng)網(wǎng)絡(luò)分析文本信息比主題模型分析能獲得更好的性能，然后傳統(tǒng)方法只能使用線性特征，而深度學(xué)習(xí)可以以非線性的方式對(duì)用戶和物品進(jìn)行建模，還能避免一些影響精度的問(wèn)題從而提高性能，比如使用dropout抑制過(guò)擬合，因此融合評(píng)論文本和評(píng)分矩陣是一個(gè)值得研究的重要領(lǐng)域；本文模型對(duì)比結(jié)果優(yōu)于其他模型，評(píng)論文本雖然能幫助提高性能，但是如何利用文本使評(píng)分結(jié)果最優(yōu)化也是需要考慮到的，比如和NARRE模型進(jìn)行對(duì)比，平均預(yù)測(cè)誤差提高了2.385%，NARRE模型采用Word2Vec和CNN進(jìn)行結(jié)合，而Word2Vec產(chǎn)生的詞是靜態(tài)的，不考慮上下文，從而不能解決一詞多義的問(wèn)題，使得準(zhǔn)確度不高，而本文提出的RTRM模型使用預(yù)訓(xùn)練的Electra解決靜態(tài)詞向量的問(wèn)題，并結(jié)合深度情感分析及注意力機(jī)制實(shí)現(xiàn)從上下文語(yǔ)義層面對(duì)評(píng)論文本的分析，融合帶有近影響力的評(píng)分矩陣，實(shí)驗(yàn)結(jié)果表明RTRM模型具有更優(yōu)的性能。

表2 RTRM模型與其他模型的性能比較

3.4 參數(shù)靈敏度分析

本節(jié)主要討論驗(yàn)證集中參數(shù)設(shè)置的問(wèn)題，由于篇幅有限，本文只展示兩個(gè)數(shù)據(jù)集的表現(xiàn)，即Digital Music和Software數(shù)據(jù)集。以下將從4個(gè)方面來(lái)驗(yàn)證本文模型的有效性：不同隱因子數(shù)量對(duì)RTRM模型的影響；不同dropout比率對(duì)RTRM的性能的影響；RTRM模型在不同近鄰用戶個(gè)數(shù)條件下的差別；獲取近鄰用戶個(gè)數(shù)時(shí)采用余弦相似度和云模型的影響。

首先討論隱因子數(shù)量對(duì)模型的影響，在設(shè)置的對(duì)比模型中，對(duì)于HFT， PMF等主題模型而言，隱因子的數(shù)量等于主題的個(gè)數(shù)，但是隱因子對(duì)主題模型影響不大[16]，因此在實(shí)驗(yàn)中省略；對(duì)于SVD++，DeepCoNN， NARRE， RTRM等矩陣分解模型和深度學(xué)習(xí)模型，用戶和物品的隱向量長(zhǎng)度就是隱因子個(gè)數(shù)。隱因子數(shù)量對(duì)模型的影響的實(shí)驗(yàn)結(jié)果如圖3所示，明顯看出，RTRM模型在兩個(gè)數(shù)據(jù)集上的不同隱因子數(shù)下性能優(yōu)秀，在隱因子數(shù)為16時(shí)性能最好。并且SVD++模型的性能隨著隱因子數(shù)量的增加顯著下降，出現(xiàn)過(guò)擬合現(xiàn)象。

圖3 不同隱因子個(gè)數(shù)對(duì)模型性能的影響

其次，討論不同dropout比率對(duì)RTRM的性能的影響，dropout是基于深度學(xué)習(xí)的技術(shù)，如果設(shè)置恰當(dāng)?shù)闹悼梢跃徑膺^(guò)擬合現(xiàn)象，會(huì)使性能得到提升。圖4顯示了DeepCoNN， NARRE， RTRM在不同的dropout比率的表現(xiàn)，可以看出RTRM模型在兩個(gè)數(shù)據(jù)集上的最佳dropout比率為0.5，并且比率在Digital Music上表現(xiàn)更穩(wěn)定，本文認(rèn)為原因是Digital Music的數(shù)據(jù)長(zhǎng)度大于Software，模型可以學(xué)習(xí)到更穩(wěn)定的參數(shù)。

圖4 Dropout比率對(duì)模型性能的影響

由于對(duì)比模型都未使用近鄰用戶的因素，RTRM模型與基于用戶相似度的協(xié)同過(guò)濾方法(Collaborative Filtering Method Based On User Similarity，UBCF)[2]進(jìn)行對(duì)比，驗(yàn)證不同近鄰用戶個(gè)數(shù)對(duì)它們的影響，如圖5所示，直觀看出在近鄰個(gè)數(shù)為60個(gè)時(shí)，RTRM模型顯示的MSE指標(biāo)最低，并且RTRM模型性能優(yōu)于UBCF算法，所以增加近鄰用戶的影響力潛在地提高用戶推薦準(zhǔn)確性，但是推薦精度不會(huì)隨近鄰用戶的數(shù)目增加而提高。

圖5 不同近鄰個(gè)數(shù)對(duì)模型性能的影響

最后，在獲取近鄰用戶個(gè)數(shù)時(shí)比較采用余弦相似度(cosine similarity， cos)和云模型(cloud model，cm)對(duì)模型的影響，如圖6所示，在近鄰個(gè)數(shù)為60時(shí)取得最優(yōu)的性能，并且RTRM模型相對(duì)于余弦相似在使用云模型時(shí)性能更好，因?yàn)閷?duì)于“冷門”物品，用戶間的共同的評(píng)分較少甚至沒(méi)有共同的評(píng)分，使用余弦相似度得到目標(biāo)用戶的近鄰用戶準(zhǔn)確性會(huì)降低，但是云模型是從統(tǒng)計(jì)學(xué)的角度根據(jù)用戶的評(píng)分趨勢(shì)來(lái)求得近鄰用戶，從而有效地避免了冷啟動(dòng)問(wèn)題。

圖6 余弦相似度和云模型對(duì)模型性能的影響

4 結(jié)束語(yǔ)

本文提出了融合評(píng)論文本和評(píng)分矩陣的RTRM推薦模型，首先使用深度情感分析對(duì)評(píng)論文本進(jìn)行深層特征提取，解決了短文本語(yǔ)義難以分析的不足；然后結(jié)合近似用戶影響力的矩陣分解模型對(duì)評(píng)分矩陣進(jìn)行淺層特征提取，其次將深層特征和淺層特征進(jìn)行融合，有效地緩解了數(shù)據(jù)稀疏性的問(wèn)題，提高了推薦精度；最后在6組亞馬遜數(shù)據(jù)集上與多種相關(guān)的模型進(jìn)行性能對(duì)比實(shí)驗(yàn)，結(jié)果表明，本文提出的RTRM模型能降低實(shí)驗(yàn)的誤差，推薦質(zhì)量有進(jìn)一步的提升。

對(duì)于今后的工作，有幾個(gè)方向可以做進(jìn)一步研究：(1)在矩陣分解中本文加入近似用戶影響力解決冷啟動(dòng)問(wèn)題，但是用戶影響力是具有時(shí)效性的，研究關(guān)于時(shí)效性影響力的模型改進(jìn)矩陣分解模型；(2)對(duì)于評(píng)分矩陣還可考慮融入社交網(wǎng)絡(luò)進(jìn)行特征提取，或者采用深度學(xué)習(xí)模型來(lái)提取評(píng)分矩陣中的動(dòng)態(tài)特征。