• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    融合評論文本特征和評分圖卷積表示的推薦模型

    2022-03-31 07:11:22馮海林張瀟劉同存
    通信學(xué)報 2022年3期
    關(guān)鍵詞:注意力卷積特征

    馮海林,張瀟,劉同存

    (浙江農(nóng)林大學(xué)數(shù)學(xué)與計算機科學(xué)學(xué)院,浙江 杭州 311300)

    0 引言

    互聯(lián)網(wǎng)的迅速發(fā)展帶來了信息過載問題,這使用戶從海量的信息中獲取自己需要的信息極其困難,推薦系統(tǒng)作為解決信息過載的重要工具,可以幫助用戶發(fā)現(xiàn)他們感興趣的內(nèi)容。推薦系統(tǒng)的評分預(yù)測可看作矩陣補全任務(wù),即基于矩陣中已有的數(shù)據(jù)來填補矩陣中缺失的部分,然而觀測到的用戶行為數(shù)據(jù)是極其稀疏的,如何根據(jù)極其稀疏的觀測數(shù)據(jù)來較準(zhǔn)確地預(yù)測未觀測數(shù)據(jù)一直以來都是推薦系統(tǒng)研究的關(guān)鍵課題。早期的方法主要是利用矩陣分解技術(shù),僅僅利用用戶對商品的評分來推斷[1-2],但用戶的反饋行為不僅有評分,還包含豐富的評論信息,這些評論文本能夠體現(xiàn)出用戶的購物偏好以及商品的屬性吸引性,可以加強對用戶和商品的表征學(xué)習(xí)能力,從而提高推薦系統(tǒng)的推薦質(zhì)量[3]。

    近年來,深度學(xué)習(xí)技術(shù)所具備的較強特征提取能力[4-7]使其在推薦系統(tǒng)中得到了廣泛應(yīng)用,也在一定程度上緩解了用戶評分的稀疏性問題[8-9]。但是現(xiàn)有的基于深度學(xué)習(xí)的方法仍然存在可以改進(jìn)的地方,比如在評分?jǐn)?shù)據(jù)的處理上,脫離傳統(tǒng)的矩陣分解方法,以其他方式學(xué)習(xí)評分特征可能會提升推薦模型的精準(zhǔn)度;另外,不同的評論所包含的語義信息不同,如何對重要的評論進(jìn)行選取和建模,也需要進(jìn)行進(jìn)一步的研究分析。

    本文對以上提出的可改進(jìn)的部分加以研究,提出了融合評論文本和評分圖卷積表示(CRRG,combining review’s feature and rating graph convolutional representation)的推薦模型。該模型利用圖卷積編碼學(xué)習(xí)用戶和商品的評分特征表示,首先獲取用戶-商品評分集(用戶對商品的評分?jǐn)?shù)據(jù)),根據(jù)用戶對商品的評分等級,在用戶-商品二部圖上進(jìn)行信息傳遞;然后獲取用戶評論集(用戶對商品的評論信息)和商品評論集(商品中各個用戶的評論信息),通過卷積神經(jīng)網(wǎng)絡(luò)分別提取用戶和商品的文本卷積特征,引入注意力機制,利用用戶(商品)在評分上的特征表示區(qū)分評論重要性,從而獲取更準(zhǔn)確的評論文本特征;最后將評論文本特征和評分特征拼接融合,將得到的用戶和商品最終特征表示輸入隱因子模型中產(chǎn)生推薦結(jié)果。本文所提CRRG模型的貢獻(xiàn)可以總結(jié)為以下3 點。

    1)本文提出的模型結(jié)合卷積神經(jīng)網(wǎng)絡(luò)和圖卷積編碼器對用戶及商品評論文本以及評分?jǐn)?shù)據(jù)進(jìn)行聯(lián)合建模,學(xué)習(xí)用戶和商品的特征表示。

    2)在評分?jǐn)?shù)據(jù)上使用圖卷積編碼器并結(jié)合注意力機制對用戶和商品特征進(jìn)行表示,使模型在評論建模時可以區(qū)分評論的重要性,融合用戶和商品評分特征及相應(yīng)的評論文本特征,通過增強用戶和商品的信息交互提升模型精度。

    3)在亞馬遜公共數(shù)據(jù)集上進(jìn)行了對比實驗,結(jié)果表明本文提出的CRRG 模型在評分預(yù)測上的均方誤差(MSE,mean square error)低于現(xiàn)有的相關(guān)模型,證明了本文提出的模型的有效性。

    1 相關(guān)工作

    1.1 基于主題建模的推薦

    早期的研究工作主要使用主題建模技術(shù)從用戶的評論文本中進(jìn)行語義分析,提取語義特征,將潛在的語義主題整合到學(xué)習(xí)模型中進(jìn)行推薦。文獻(xiàn)[10]提出了最早期的基于用戶的評論數(shù)據(jù)進(jìn)行推薦的方法,分別使用用戶和商品的評論數(shù)據(jù)進(jìn)行評分的預(yù)測;文獻(xiàn)[11]使用每個用戶對某個具體商品的評論建模,并且用不同的關(guān)聯(lián)機制將用戶和商品的表示和學(xué)到的主題模型進(jìn)行關(guān)聯(lián);文獻(xiàn)[12]將文本信息上的降噪自編碼器(SDAE,stacked denoising autoencoder)[13]與隱式評分矩陣的概率矩陣分解(PMF,probabilistic matrix factorization)[1]緊密耦合,從文本中學(xué)習(xí)可解釋的潛在因素。這些方法都優(yōu)于僅依賴用戶商品評分?jǐn)?shù)據(jù)交互的模型,但是都屬于詞袋模型,忽略了單詞順序和局部上下文信息,導(dǎo)致評論中重要信息的丟失。

    1.2 基于深度學(xué)習(xí)的推薦

    國內(nèi)外研究者提出了許多方法對評論的上下文信息進(jìn)行建模,顯著提高了推薦精度。例如,Kim等[4]提出了卷積矩陣分解(ConvMF,convolutional matrix factorization)模型,使用卷積神經(jīng)網(wǎng)絡(luò)從商品描述中提取商品特征,將上下文信息合成為連續(xù)的實值矢量表示;文獻(xiàn)[14]模型從用戶和商品文檔中提取特征,利用該特征來校準(zhǔn)學(xué)習(xí)模型中的潛在因子;深度協(xié)同神經(jīng)網(wǎng)絡(luò)(DeepCoNN,deep cooperative neural network)[5]模型使用并行的卷積神經(jīng)網(wǎng)絡(luò)從用戶和商品文檔中發(fā)現(xiàn)語義特征。這些方法的推薦效果優(yōu)于基于詞袋的方法,但它們僅以靜態(tài)和獨立的方式學(xué)習(xí)用戶和商品的潛在特征向量,忽略了不同評論的重要性差異,以及評論內(nèi)部不同單詞的重要性差異。

    最近的許多工作利用注意力機制從文本信息中學(xué)習(xí)上下文感知的潛在表示。例如,文獻(xiàn)[15]利用Local和Global 這2 個注意力機制來識別評論文檔中的重要單詞;文獻(xiàn)[16]利用基于指針的共同注意力方法,選出重要的評論及重要的單詞;Chen等[8]提出NARRE(neural attentional regression model with review-level explanation)模型,通過評論級別的注意力機制來刻畫每一條評論的權(quán)重,選擇有用的評論進(jìn)行評分預(yù)測;文獻(xiàn)[17]應(yīng)用詞注意力機制對商品文本進(jìn)行編碼,從而更好地理解商品的內(nèi)容;Zhou 等[18]提出了雙頭注意力融合自動編碼器模型,應(yīng)用早期融合模塊,利用注意力機制選擇與推薦任務(wù)相關(guān)的評論;Liu 等[19]提出一種個性化的注意力模型NRPA(neural recommendation with personalized attention),為不同的用戶或商品選擇不同的重要單詞和評論;梁順攀等[20]提出 SACR(self-attention capsule network rate)模型,通過自注意力膠囊網(wǎng)絡(luò)來挖掘用戶評論文檔,對低質(zhì)量評論進(jìn)行編號標(biāo)記。這些基于注意力機制的推薦研究考慮到單詞或評論的重要性,更準(zhǔn)確地學(xué)習(xí)到用戶或商品特征表示,取得了較好的推薦效果。另外,還有一些基于深度學(xué)習(xí)的推薦方法,馮興杰等[21]以及李昆侖等[22]提出的推薦算法都使用了預(yù)訓(xùn)練的雙向編碼器表示(BERT,bidirectional encoder representation from transformer)模型提取評論文本信息,構(gòu)造評論文本的特征表示,提升了模型對同一單詞在不同語義環(huán)境下具體含義的理解能力。

    近年來,多視圖的結(jié)構(gòu)也被應(yīng)用到推薦中,Gao等[23]構(gòu)建了一個深度可解釋網(wǎng)絡(luò)的初始結(jié)構(gòu),利用注意力多視圖學(xué)習(xí)對深度可解釋網(wǎng)絡(luò)中每層的參數(shù)進(jìn)行優(yōu)化,通過無監(jiān)督的方式分析了用戶是對低層特征感興趣還是對高層特征整體感興趣;圖卷積矩陣補全(GC-MC,gragh convolutional matrix completion)模型[24]設(shè)計了一種對矩陣進(jìn)行補全的圖自編碼器框架,將評分作為用戶-商品圖的鏈接邊,通過在用戶和商品的交互圖上進(jìn)行信息傳遞學(xué)習(xí)節(jié)點的嵌入,但是該模型并沒有結(jié)合評論文本信息;Gao 等[25]將評論的輔助信息混合,提出了集合-序列-圖的多視圖方法,采用3 種方式編碼器架構(gòu),共同學(xué)習(xí)用戶和商品的表示形式。雖然這些研究在一定程度上提升了推薦的準(zhǔn)確度,但在獲取重要性評論方面仍然可以進(jìn)行進(jìn)一步的研究,并且可以繼續(xù)探究融合評論文本和評分?jǐn)?shù)據(jù)對推薦模型優(yōu)化的有用性。

    2 推薦模型

    本文提出的CRRG 模型架構(gòu)如圖1 所示。CRRG模型共包括4 個模塊:1)文本向量化,將用戶和商品評論集分別通過嵌入層輸出評論文本的嵌入向量;2)特征工程,首先將評論文本的嵌入向量通過卷積層利用卷積神經(jīng)網(wǎng)絡(luò)獲取文本的卷積特征,再將用戶-商品評分集通過圖卷積編碼獲取用戶和商品在評分上的特征表示;3)特征交互,通過注意力層將用戶和商品的文本卷積特征與評分特征進(jìn)行交互,得到用戶和商品最終的評論文本特征,再通過連接操作和內(nèi)積運算得到融合特征;4)評分預(yù)測,利用隱因子模型計算用戶對商品的預(yù)測評分。

    圖1 CRRG 模型架構(gòu)

    2.1 文本向量化

    對于用戶u的評論集,合并所有評論形成用戶文檔Du=[w1,w2,…,wm],其中m表示用戶u的評論數(shù)量,然后將文檔中每條評論的單詞進(jìn)行嵌入表示,使用word2vec 進(jìn)行詞向量的預(yù)訓(xùn)練,得到用戶u的評論文本向量化表示Eu為

    其中,Eu,j∈?c×d表示用戶u第j條評論的嵌入矩陣,c表示該條評論的長度,d表示單詞嵌入維度。同樣地,可以用類似的方式獲得商品v的評論文本向量化表示,其中n表示商品v的評論數(shù)量。

    2.2 特征工程

    2.2.1 卷積神經(jīng)網(wǎng)絡(luò)

    首先,基于用戶和商品的評論文本向量化表示,利用卷積神經(jīng)網(wǎng)絡(luò)提取用戶和商品的評論文本卷積特征。卷積層由α個神經(jīng)元組成,每一個神經(jīng)元與卷積濾波器F∈?h×d關(guān)聯(lián),其中h表示滑動窗口,該濾波器通過在嵌入矩陣上應(yīng)用卷積運算產(chǎn)生卷積特征。第k個神經(jīng)元產(chǎn)生的局部特征zk表示為

    其中,bk∈?h表示偏置,*表示卷積運算符號,ReLU表示激活函數(shù)。

    然后,執(zhí)行最大池化操作,得到第k個神經(jīng)元產(chǎn)生的最終特征ok,把α個神經(jīng)元產(chǎn)生的特征根據(jù)滑動窗口h的維度進(jìn)行連接,得到用戶u第j條評論的文本卷積特征ou,j∈,最后得到用戶u的所有評論文本卷積特征Ou∈,該過程表示為

    其中,z1,z2,…,表示第k個神經(jīng)元在滑動窗口h上產(chǎn)生的特征。同樣地,也可以生成商品v的所有評論文本卷積特征,其中,,ov,n∈表示商品v第n條評論的文本卷積特征。

    2.2.2 圖卷積編碼

    給定用戶-商品評分集,構(gòu)建圖編碼模型獲取用戶和商品的評分特征,相比于將評分矩陣分解為2 個低維矩陣的乘積,只能提取模型的淺層次特征,構(gòu)建圖編碼模型可以在用戶-商品二部圖上進(jìn)行信息傳遞,用戶(商品)節(jié)點可以由與其交互過的商品(用戶)進(jìn)行表示。具體來說,將用戶-商品評分集轉(zhuǎn)換為評分矩陣M∈,其中,Nu表示用戶數(shù)量,Nv表示商品數(shù)量,Mi,j表示用戶i對商品j的評分。用戶-商品的評分交互數(shù)據(jù)可以用二部圖G=(?,?,?)表示,其中,?表示用戶節(jié)點ui∈?u,i∈ {1,…,Nu}和商品節(jié)點vj∈?v,j∈{1,…,Nv)的集合,(ui,r,vj)∈?表示二部圖的邊,攜帶表示評分等級的標(biāo)簽,如r∈{1,…,R}=R,R表示評分等級的最大值。本文借鑒GC-MC[24]的圖編碼模型進(jìn)行編碼,表示為

    圖編碼模型可以有效利用圖形中各個位置之間的權(quán)重分配,并為每種評分類型r∈{1,…,R}分配單獨的處理通道。局部圖卷積可以看作信息傳遞,其中特征值的信息被沿著圖的邊傳遞和轉(zhuǎn)換,即用戶可以用被它交互過的商品來表示,因此這里在二部圖上進(jìn)行信息傳遞,獲取用戶節(jié)點的評分邊類型特征信息,表示為

    其中,accum(·)可以表示為向量總和sum(·),也可以表示為向量串聯(lián)stack(·);σ表示激活函數(shù)ReLU。通過一個全連接層獲取用戶i的評分特征,即

    2.3 特征交互

    用戶和商品評分交互數(shù)據(jù)經(jīng)過圖卷積編碼后,能夠獲取到更準(zhǔn)確的用戶和商品的評分特征,將其和評論文本卷積特征相交互,對于辨別評論信息的有用性會更有效。因此對于商品建模來說,在輸入商品v的第l條評論文本卷積特征ov,l后,結(jié)合該評論的用戶評分特征pu,l,計算每條評論的重要性,即

    在獲得每條評論的注意力權(quán)重后,將商品v的特征向量計算為加權(quán)總和,通過一個全連接層,則經(jīng)過注意力操作的商品v的評論文本特征可表示為

    對于得到的用戶u的評論文本特征以及評分特征,將2 個特征相連接,得到用戶u的最終特征表示,類似地,計算獲取商品v的最終特征表示,將用戶和商品的最終特征表示通過內(nèi)積運算進(jìn)行組合得到,如式(13)所示。

    其中,⊙表示內(nèi)積符號。

    2.4 評分預(yù)測

    在評分預(yù)測層利用隱因子模型(LFM,latent factor model)來完成最終評分的預(yù)測。LFM 是一種基于矩陣分解的算法,可獲得用戶u對商品v的預(yù)測評分,表示為

    其中,W0∈表示參數(shù),bu、bv、γ分別表示用戶的偏置、商品偏置、全局偏置,將W0設(shè)置為1 即可恢復(fù)標(biāo)準(zhǔn)的隱因子模型。

    本文的評分預(yù)測可以看作回歸任務(wù),使用MSE構(gòu)建損失函數(shù),表示為

    其中,Γ表示模型訓(xùn)練數(shù)據(jù)集,Ru,v表示用戶u對商品v的評分的真實值。為了優(yōu)化目標(biāo)函數(shù),本文采用自適應(yīng)矩估計(Adam,adaptive moment estimation)作為優(yōu)化器,它是一個尋找全局最優(yōu)點的優(yōu)化算法,引入了二次梯度校正,相對于其他算法有一定的優(yōu)越性。

    3 實驗

    3.1 數(shù)據(jù)集和評估方法

    本文在亞馬遜公開的5-core 評論數(shù)據(jù)集上進(jìn)行實驗,選用亞馬遜網(wǎng)站的用戶ID、商品ID、評論信息和評分?jǐn)?shù)據(jù)信息,其中評論數(shù)據(jù)中每個用戶和商品至少有5 條評論,本次實驗采用其中4 種類別的數(shù)據(jù)集,分別是Musical Instruments(MI)、Patio Lawn and Garden(PLG)、Automotive(Auto)以及Amazon Instant Video(AIV)。表1 顯示了這4 種數(shù)據(jù)集的統(tǒng)計信息。

    表1 數(shù)據(jù)集統(tǒng)計信息

    實驗采用MSE 作為模型的評估方法,這是一種常用的回歸算法的評價指標(biāo),并且在相關(guān)文獻(xiàn)中被廣泛使用。在獲取評分預(yù)測結(jié)果Ru,v后,求得其與真實值Ru,v誤差的平方和再與所有測試實例數(shù)目N的比值,如式(16)所示。在本文實驗中,MSE 的值越低,表示模型的預(yù)測評分越準(zhǔn)確,模型的推薦性能越好;反之,表示模型的推薦性能越差。

    3.2 對比模型

    本文將提出的CRRG 模型和以下推薦模型進(jìn)行比較,檢驗?zāi)P偷耐扑]效果。表2 展示了實驗的對比模型使用的輸入數(shù)據(jù)以及方法類型。

    表2 模型比較

    1)PMF[1]。經(jīng)典的概率矩陣分解模型,只輸入了評分?jǐn)?shù)據(jù)。

    2)LFM[2]。隱因子模型,通過矩陣奇異值分解(SVD,singular value decomposition)的方法預(yù)測商品評分,同樣只輸入了評分?jǐn)?shù)據(jù)。

    3)ConvMF[4]。利用卷積神經(jīng)網(wǎng)絡(luò)提取商品的評論文本特征,和PMF 模型相結(jié)合完成推薦任務(wù),沒有使用用戶的評論文本信息。

    4)DeepCoNN[5]。使用2 個并行的卷積神經(jīng)網(wǎng)絡(luò),分別從用戶和商品的評論文本中提取相應(yīng)的特征表示來進(jìn)行推薦。

    5)NARRE[8]。在DeepCoNN 模型的基礎(chǔ)上,考慮到不同評論的重要性不一致,在對評論文本進(jìn)行建模的時候,引入了注意力機制,將用戶和商品的ID 嵌入作為注意力分?jǐn)?shù)計算的輔助信息來獲取相對重要的評論。

    6)GC-MC[24]?;谟脩?商品的二部圖,設(shè)計了一種圖自編碼器框架,從鏈路預(yù)測的角度解決推薦系統(tǒng)中的評分預(yù)測問題,僅輸入了評分?jǐn)?shù)據(jù)。

    3.3 實驗設(shè)置

    實驗在每個數(shù)據(jù)集上隨機選取80%作為訓(xùn)練集,10%作為驗證集,10%作為測試集。對于需要輸入評論文本的模型,使用GoogleNews 預(yù)訓(xùn)練的300 維詞向量;對于使用卷積神經(jīng)網(wǎng)絡(luò)的模型,本文使用了基準(zhǔn)模型DeepCoNN和NARRE中大部分參數(shù)設(shè)置,其中CNN 的卷積核大小在{3,4,5}中選取,每種卷積核個數(shù)為100,并對參數(shù)進(jìn)行微調(diào),在{4,8,16,32}中遍歷尋找最佳的隱因子個數(shù),選取最優(yōu)結(jié)果進(jìn)行展示。

    3.4 結(jié)果分析

    本文提出的CRRG 推薦模型和現(xiàn)有的幾個模型在4 種數(shù)據(jù)集上MSE 的對比實驗結(jié)果如表3 所示。

    表3 MSE 的對比實驗結(jié)果

    通過分析以上對比實驗,可以得出以下結(jié)論。①只考慮評分?jǐn)?shù)據(jù)的推薦模型(PMF、LFM、GC-MC)的預(yù)測結(jié)果不如使用評論文本的推薦模型(DeepCoNN、NARRE、CRRG)效果好,因為評論文本中含有豐富的語義信息,可以對評分?jǐn)?shù)據(jù)進(jìn)行補充,更有可能得到相對準(zhǔn)確的評分預(yù)測結(jié)果;②根據(jù)PMF、LFM、ConvMF 模型與GC-MC 模型的對比實驗結(jié)果,使用圖卷積編碼對模型性能可以有實質(zhì)性的提升,這是因為圖卷積編碼在用戶-商品二分圖上讓節(jié)點進(jìn)行信息傳遞,使用戶和商品的特征表示更加具體;③使用了注意力機制的模型(NARRE、CRRG)比DeepCoNN 模型的推薦性能更優(yōu),因為注意力機制可以區(qū)分評論文本的重要性,獲取更深層次的語義信息;④本文提出的CRRG模型在NARRE 模型的基礎(chǔ)上,使用圖卷積編碼的方式對評分?jǐn)?shù)據(jù)進(jìn)行特征表示學(xué)習(xí),從多維度特征交叉角度學(xué)習(xí)用戶和商品的特征表示,增強了用戶和商品的交互,獲取了最好的評分預(yù)測結(jié)果。

    3.5 模型性能優(yōu)化

    本文在模型的圖卷積編碼過程中,將式(8)中的函數(shù)accum(·)設(shè)置為向量求和函數(shù)sum(·)或者向量串聯(lián)函數(shù)stack(·),以2 種不同的方式獲取用戶和商品節(jié)點的評分特征表示。實驗為了優(yōu)化模型性能,并且分析模型參數(shù)中的隱因子數(shù)量給模型帶來的影響,分別比較了不同的隱因子個數(shù)在2 個不同的數(shù)據(jù)集上使用sum(·)或stack(·)給模型性能帶來的影響,結(jié)果如圖2所示,其中CRRG-ST 表示使用了向量串聯(lián)函數(shù),CRRG-SU 表示使用了向量求和函數(shù)。

    通過圖2 可以看出,在不同的隱因子數(shù)量下,模型的預(yù)測結(jié)果有很大的差別。在PLG和MI 這2 個數(shù)據(jù)集上,使用CRRG-ST和CRRG-SU 算法的預(yù)測結(jié)果表現(xiàn)最好時的隱因子數(shù)量也是不一樣的,但是從 2 種算法最好的表現(xiàn)效果來看,使用CRRG-SU算法總體上比CRRG-ST算法得到的誤差更小,表明使用向量求和函數(shù)比向量串聯(lián)函數(shù)更好,因此,CRRG 模型在式(8)中最好使用向量求和函數(shù)。另外,隨著隱因子數(shù)量的增加,使用CRRG-SU 算法得到的誤差逐步上升,這可能是由于參數(shù)過多導(dǎo)致的過擬合現(xiàn)象。

    圖2 不同隱因子數(shù)量下函數(shù)accum(·)設(shè)置對模型性能的影響

    3.6 消融實驗

    為了驗證圖卷積編碼在評分特征表示學(xué)習(xí)上的有效性,本文在CRRG 模型基礎(chǔ)上進(jìn)行消融實驗,設(shè)計了以下變體算法。

    1)CRRG-G1。在注意力層進(jìn)行注意力分?jǐn)?shù)計算時,將對應(yīng)評論的用戶或商品特征改為它們的ID嵌入特征。

    2)CRRG-G2。在最后進(jìn)行評論文本特征和評分特征的融合時,將通過圖卷積編碼獲取的評分特征改為相應(yīng)的用戶或商品的ID 嵌入特征。

    在2 個不同的數(shù)據(jù)集上對CRRG-ST、CRRG-SU、CPPG-G1、CPPG-G2 以及沒有引入評分圖卷積表示的NARRE 模型進(jìn)行對比實驗,實驗結(jié)果如圖3 所示。

    通過圖3 可以看出,雖然在不同的數(shù)據(jù)集上變體算法的表現(xiàn)不盡相同,但是總體都比NARRE 模型效果更好。通過分別比較CRRG-G1、CRRG-G2變體算法和NARRE 的實驗結(jié)果可知,圖卷積編碼獲取的評分特征能夠提高判斷用戶和商品重要性評論的準(zhǔn)確性,對融合評論文本特征的有效性也有所提升。另外,將通過圖卷積得到的評分特征在注意力層和最后的融合部分與評論文本特征都進(jìn)行交互,能夠最大程度地發(fā)揮作用,提升推薦效果。

    圖3 消融實驗

    4 結(jié)束語

    本文提出了融合評論文本和評分圖卷積表示的推薦模型CRRG,該模型使用卷積神經(jīng)網(wǎng)絡(luò)以及圖卷積編碼分別學(xué)習(xí)用戶和商品的評論文本與評分的特征表示,并通過注意力機制結(jié)合2 種特征獲取更有效的評論信息,融合評論文本特征和評分圖卷積表示的特征得到了用戶和商品更準(zhǔn)確的表示。在亞馬遜公開數(shù)據(jù)集上進(jìn)行對比實驗,實驗表明本文提出的推薦模型能夠進(jìn)一步降低評分預(yù)測的誤差,提升推薦效果。今后的研究可以探索通過用戶和商品的其他交互行為,比如用戶對商品時序偏好、點擊率等來提升推薦性能。

    猜你喜歡
    注意力卷積特征
    讓注意力“飛”回來
    基于3D-Winograd的快速卷積算法設(shè)計及FPGA實現(xiàn)
    如何表達(dá)“特征”
    從濾波器理解卷積
    電子制作(2019年11期)2019-07-04 00:34:38
    不忠誠的四個特征
    基于傅里葉域卷積表示的目標(biāo)跟蹤算法
    抓住特征巧觀察
    “揚眼”APP:讓注意力“變現(xiàn)”
    傳媒評論(2017年3期)2017-06-13 09:18:10
    A Beautiful Way Of Looking At Things
    一種基于卷積神經(jīng)網(wǎng)絡(luò)的性別識別方法
    午夜免费观看网址| a级毛片在线看网站| 身体一侧抽搐| 操美女的视频在线观看| 国产欧美日韩精品亚洲av| 精品国产超薄肉色丝袜足j| 午夜日韩欧美国产| 国产高清国产精品国产三级| x7x7x7水蜜桃| 欧美激情极品国产一区二区三区| 成人特级黄色片久久久久久久| 国产欧美日韩一区二区精品| 亚洲精品一二三| 国产精品1区2区在线观看. | 国产一区二区三区在线臀色熟女 | 欧美日韩av久久| 欧美成狂野欧美在线观看| 欧美黑人欧美精品刺激| 亚洲专区国产一区二区| av天堂久久9| 亚洲五月天丁香| 国产在线观看jvid| 91麻豆av在线| 亚洲av成人av| 久久精品亚洲熟妇少妇任你| 欧美丝袜亚洲另类 | 亚洲色图 男人天堂 中文字幕| 一区二区日韩欧美中文字幕| 国产乱人伦免费视频| 性少妇av在线| 成在线人永久免费视频| 9191精品国产免费久久| 一级片免费观看大全| 国产男靠女视频免费网站| 免费在线观看视频国产中文字幕亚洲| 亚洲第一欧美日韩一区二区三区| 69av精品久久久久久| 亚洲美女黄片视频| 国产精品国产高清国产av | 免费在线观看影片大全网站| 啦啦啦在线免费观看视频4| 午夜老司机福利片| av有码第一页| 自线自在国产av| 又紧又爽又黄一区二区| 精品卡一卡二卡四卡免费| av片东京热男人的天堂| 国产午夜精品久久久久久| 中文字幕制服av| 热re99久久国产66热| 大码成人一级视频| 亚洲一码二码三码区别大吗| 亚洲成人国产一区在线观看| 亚洲三区欧美一区| 久久久久久久久免费视频了| 亚洲人成电影观看| 亚洲熟妇中文字幕五十中出 | 精品卡一卡二卡四卡免费| 久久精品国产99精品国产亚洲性色 | 1024香蕉在线观看| 中文亚洲av片在线观看爽 | 国产一区有黄有色的免费视频| 国产精品乱码一区二三区的特点 | 国产欧美日韩一区二区三区在线| 欧美日韩国产mv在线观看视频| 亚洲第一欧美日韩一区二区三区| 国产精品 国内视频| 1024香蕉在线观看| 国产精品影院久久| 欧美精品亚洲一区二区| 91精品国产国语对白视频| 成年女人毛片免费观看观看9 | 欧美色视频一区免费| 久久久久久久午夜电影 | 精品国产亚洲在线| 一级毛片高清免费大全| 18禁裸乳无遮挡动漫免费视频| a级毛片在线看网站| 亚洲av电影在线进入| 在线观看免费视频网站a站| 精品一区二区三区视频在线观看免费 | 老司机靠b影院| 久久 成人 亚洲| 少妇的丰满在线观看| 久久午夜亚洲精品久久| 美女 人体艺术 gogo| 久久人妻福利社区极品人妻图片| 国产免费av片在线观看野外av| 日韩免费av在线播放| 国产精品国产高清国产av | 18禁观看日本| 女性被躁到高潮视频| 亚洲精品国产色婷婷电影| 国产男女超爽视频在线观看| 日本欧美视频一区| 国产成人欧美| 国产成+人综合+亚洲专区| 午夜91福利影院| 国产激情久久老熟女| 超色免费av| 中文字幕人妻丝袜制服| 美女高潮喷水抽搐中文字幕| 亚洲美女黄片视频| 不卡一级毛片| av不卡在线播放| 精品国内亚洲2022精品成人 | 大码成人一级视频| 精品熟女少妇八av免费久了| 亚洲七黄色美女视频| 欧美日本中文国产一区发布| 三上悠亚av全集在线观看| 老司机亚洲免费影院| 久久午夜综合久久蜜桃| 亚洲欧美激情综合另类| 美女 人体艺术 gogo| 欧美日韩视频精品一区| 国产成人精品在线电影| 欧美黄色片欧美黄色片| 亚洲国产精品sss在线观看 | 日韩一卡2卡3卡4卡2021年| 国产色视频综合| 国产av精品麻豆| 国产欧美日韩精品亚洲av| 在线永久观看黄色视频| 亚洲国产精品sss在线观看 | 欧美一级毛片孕妇| 69精品国产乱码久久久| 精品福利永久在线观看| videosex国产| 999久久久国产精品视频| 亚洲色图综合在线观看| 熟女少妇亚洲综合色aaa.| 欧美在线一区亚洲| 人妻一区二区av| 老司机在亚洲福利影院| 99久久99久久久精品蜜桃| 精品久久久久久久久久免费视频 | 亚洲成人免费av在线播放| 黄网站色视频无遮挡免费观看| 高清欧美精品videossex| 99国产精品99久久久久| 久久热在线av| 老司机午夜福利在线观看视频| 国产国语露脸激情在线看| 一边摸一边抽搐一进一小说 | 精品少妇久久久久久888优播| 校园春色视频在线观看| 可以免费在线观看a视频的电影网站| 免费在线观看黄色视频的| 欧美激情高清一区二区三区| 午夜福利免费观看在线| 欧美午夜高清在线| 久热这里只有精品99| 国产在线观看jvid| 99国产极品粉嫩在线观看| 女人被躁到高潮嗷嗷叫费观| 亚洲色图av天堂| 国产成+人综合+亚洲专区| 看黄色毛片网站| 黄色怎么调成土黄色| 最新美女视频免费是黄的| av网站在线播放免费| 久久久久久亚洲精品国产蜜桃av| 久久精品亚洲av国产电影网| 一级,二级,三级黄色视频| 黄频高清免费视频| 99精品在免费线老司机午夜| 欧美丝袜亚洲另类 | 亚洲 欧美一区二区三区| 校园春色视频在线观看| 欧美日韩福利视频一区二区| 18禁裸乳无遮挡免费网站照片 | 久热爱精品视频在线9| 成年版毛片免费区| 老司机深夜福利视频在线观看| 中文字幕高清在线视频| 高潮久久久久久久久久久不卡| 欧美国产精品一级二级三级| 一级片'在线观看视频| 最新在线观看一区二区三区| 亚洲欧美激情综合另类| 国产成人一区二区三区免费视频网站| 亚洲色图 男人天堂 中文字幕| 亚洲人成电影观看| 中国美女看黄片| 免费女性裸体啪啪无遮挡网站| 90打野战视频偷拍视频| 视频区欧美日本亚洲| 美女高潮喷水抽搐中文字幕| 亚洲成人国产一区在线观看| 午夜福利一区二区在线看| 精品国产一区二区三区四区第35| 久久久国产欧美日韩av| 国产在线一区二区三区精| 国产深夜福利视频在线观看| 日韩制服丝袜自拍偷拍| 免费在线观看影片大全网站| 麻豆成人av在线观看| 老司机在亚洲福利影院| 又黄又爽又免费观看的视频| 激情在线观看视频在线高清 | 十八禁网站免费在线| 国产精品二区激情视频| 亚洲,欧美精品.| 国产欧美日韩一区二区三| 久久精品国产清高在天天线| 两个人免费观看高清视频| 久久亚洲精品不卡| 国产又色又爽无遮挡免费看| 国产不卡一卡二| 一a级毛片在线观看| 欧美黑人精品巨大| 丰满的人妻完整版| 80岁老熟妇乱子伦牲交| 国产欧美日韩一区二区三| a级片在线免费高清观看视频| 午夜福利一区二区在线看| 亚洲精品一二三| 亚洲 国产 在线| 好男人电影高清在线观看| 自线自在国产av| 亚洲美女黄片视频| 90打野战视频偷拍视频| 国产精品自产拍在线观看55亚洲 | 女人精品久久久久毛片| 可以免费在线观看a视频的电影网站| 亚洲精品国产一区二区精华液| 男女高潮啪啪啪动态图| 最新美女视频免费是黄的| 人妻丰满熟妇av一区二区三区 | 97人妻天天添夜夜摸| 国产亚洲av高清不卡| 日本黄色视频三级网站网址 | 在线观看免费午夜福利视频| 久久久精品国产亚洲av高清涩受| 国产亚洲欧美98| 国产激情久久老熟女| 制服人妻中文乱码| 色综合婷婷激情| 人人妻,人人澡人人爽秒播| 成在线人永久免费视频| 精品欧美一区二区三区在线| 色婷婷久久久亚洲欧美| 日本五十路高清| 精品久久久久久久毛片微露脸| 18在线观看网站| 9色porny在线观看| 少妇 在线观看| 久久国产精品男人的天堂亚洲| 精品久久久久久久毛片微露脸| 国产精品美女特级片免费视频播放器 | 欧洲精品卡2卡3卡4卡5卡区| 亚洲专区字幕在线| 丝瓜视频免费看黄片| 中文字幕人妻丝袜一区二区| 亚洲aⅴ乱码一区二区在线播放 | 激情在线观看视频在线高清 | 久久中文字幕人妻熟女| 欧美日韩乱码在线| 国产精华一区二区三区| 女人精品久久久久毛片| 欧美精品av麻豆av| av天堂久久9| 怎么达到女性高潮| 亚洲专区字幕在线| 亚洲欧美精品综合一区二区三区| 美女视频免费永久观看网站| 国产一区在线观看成人免费| 国产91精品成人一区二区三区| 宅男免费午夜| 国产欧美亚洲国产| 国产有黄有色有爽视频| 一级作爱视频免费观看| 免费av中文字幕在线| 成人永久免费在线观看视频| 99re在线观看精品视频| av网站免费在线观看视频| 无人区码免费观看不卡| 在线国产一区二区在线| av天堂在线播放| a级毛片在线看网站| av国产精品久久久久影院| 国产野战对白在线观看| 亚洲性夜色夜夜综合| 免费在线观看黄色视频的| a级毛片黄视频| 一a级毛片在线观看| 精品福利永久在线观看| 国产日韩一区二区三区精品不卡| 在线观看66精品国产| 国产又色又爽无遮挡免费看| 香蕉丝袜av| 免费av中文字幕在线| 国产亚洲一区二区精品| 美女高潮喷水抽搐中文字幕| 国产区一区二久久| 两性午夜刺激爽爽歪歪视频在线观看 | 精品国产美女av久久久久小说| 亚洲人成电影观看| 50天的宝宝边吃奶边哭怎么回事| 在线观看www视频免费| 亚洲片人在线观看| tube8黄色片| 午夜激情av网站| 国产精品综合久久久久久久免费 | 亚洲精品美女久久av网站| 在线观看免费午夜福利视频| 欧美日韩国产mv在线观看视频| 涩涩av久久男人的天堂| a级毛片在线看网站| 精品国产乱子伦一区二区三区| 久久人人97超碰香蕉20202| 国产精品.久久久| 人成视频在线观看免费观看| 国内久久婷婷六月综合欲色啪| 国产亚洲一区二区精品| 久久国产精品大桥未久av| 狂野欧美激情性xxxx| av免费在线观看网站| 一二三四社区在线视频社区8| 中文欧美无线码| 精品国内亚洲2022精品成人 | 天堂动漫精品| 日本一区二区免费在线视频| 国产成人精品久久二区二区免费| 欧美日韩亚洲高清精品| 久久久久精品人妻al黑| 欧美日韩视频精品一区| 国产激情欧美一区二区| 国产精品香港三级国产av潘金莲| 久久午夜亚洲精品久久| 我的亚洲天堂| 日韩中文字幕欧美一区二区| www.999成人在线观看| 亚洲人成伊人成综合网2020| 美女国产高潮福利片在线看| av中文乱码字幕在线| 大香蕉久久网| 女人精品久久久久毛片| 色婷婷久久久亚洲欧美| tube8黄色片| 中亚洲国语对白在线视频| 精品久久久久久久久久免费视频 | 中文欧美无线码| 国产精品电影一区二区三区 | 电影成人av| 国产精品 欧美亚洲| 热re99久久精品国产66热6| 欧美激情极品国产一区二区三区| 性少妇av在线| 久久精品亚洲精品国产色婷小说| 精品人妻1区二区| 少妇裸体淫交视频免费看高清 | 久久午夜综合久久蜜桃| 国产亚洲精品久久久久久毛片 | 成年女人毛片免费观看观看9 | 日韩制服丝袜自拍偷拍| 极品教师在线免费播放| av片东京热男人的天堂| 国产成人精品久久二区二区免费| 欧美+亚洲+日韩+国产| 国产男女超爽视频在线观看| 三级毛片av免费| 在线观看舔阴道视频| 免费少妇av软件| 最近最新免费中文字幕在线| 久久久久精品国产欧美久久久| 麻豆乱淫一区二区| 99热只有精品国产| 国产极品粉嫩免费观看在线| 男男h啪啪无遮挡| 老司机靠b影院| 亚洲男人天堂网一区| 久99久视频精品免费| 韩国av一区二区三区四区| 免费黄频网站在线观看国产| cao死你这个sao货| 伦理电影免费视频| 国产无遮挡羞羞视频在线观看| 久久中文看片网| 国产精品美女特级片免费视频播放器 | aaaaa片日本免费| 久久精品亚洲精品国产色婷小说| 国产亚洲精品第一综合不卡| 午夜亚洲福利在线播放| 国产男女内射视频| 激情在线观看视频在线高清 | 久久草成人影院| a级毛片黄视频| 他把我摸到了高潮在线观看| 青草久久国产| 成人18禁在线播放| 女人高潮潮喷娇喘18禁视频| 丝袜人妻中文字幕| 精品卡一卡二卡四卡免费| 午夜福利乱码中文字幕| 在线观看日韩欧美| 又紧又爽又黄一区二区| 久久人妻熟女aⅴ| 中文字幕最新亚洲高清| 看免费av毛片| 18禁国产床啪视频网站| 亚洲精品国产一区二区精华液| 国产野战对白在线观看| 操出白浆在线播放| 欧美日韩亚洲高清精品| 久9热在线精品视频| 亚洲精品国产区一区二| 在线观看免费日韩欧美大片| 欧美成人午夜精品| 亚洲精品中文字幕一二三四区| 9191精品国产免费久久| 岛国毛片在线播放| 久久人人爽av亚洲精品天堂| 一区二区日韩欧美中文字幕| 女人被狂操c到高潮| 91字幕亚洲| 久久久国产成人免费| 亚洲精品国产区一区二| 国产成人影院久久av| 在线国产一区二区在线| 日韩熟女老妇一区二区性免费视频| av国产精品久久久久影院| 亚洲熟妇中文字幕五十中出 | 正在播放国产对白刺激| 无遮挡黄片免费观看| 亚洲精品乱久久久久久| 久久久国产欧美日韩av| 国产精华一区二区三区| 亚洲人成电影观看| 中文字幕高清在线视频| 热re99久久精品国产66热6| 成人免费观看视频高清| 人妻久久中文字幕网| 亚洲欧美色中文字幕在线| 亚洲一区高清亚洲精品| 国产野战对白在线观看| 女人精品久久久久毛片| 久久人人97超碰香蕉20202| 久久久国产成人免费| 麻豆乱淫一区二区| 这个男人来自地球电影免费观看| 老司机亚洲免费影院| 亚洲精品粉嫩美女一区| 久久影院123| 国产一区在线观看成人免费| 黄色片一级片一级黄色片| 亚洲中文字幕日韩| videosex国产| 制服人妻中文乱码| 十八禁高潮呻吟视频| 国产国语露脸激情在线看| 飞空精品影院首页| 电影成人av| 色老头精品视频在线观看| 欧美激情高清一区二区三区| 美女福利国产在线| 午夜福利,免费看| 日韩大码丰满熟妇| 色婷婷久久久亚洲欧美| 岛国毛片在线播放| 久久久久久久久免费视频了| 在线观看一区二区三区激情| 无人区码免费观看不卡| 999精品在线视频| 老司机影院毛片| 欧洲精品卡2卡3卡4卡5卡区| 亚洲片人在线观看| 可以免费在线观看a视频的电影网站| 欧美成人午夜精品| 国产亚洲精品第一综合不卡| 亚洲熟女精品中文字幕| 97人妻天天添夜夜摸| 国产精品自产拍在线观看55亚洲 | 好男人电影高清在线观看| 最近最新中文字幕大全免费视频| 午夜日韩欧美国产| 大香蕉久久网| 亚洲 欧美一区二区三区| 亚洲第一青青草原| 美女扒开内裤让男人捅视频| 亚洲全国av大片| 如日韩欧美国产精品一区二区三区| 老司机深夜福利视频在线观看| 欧美日韩亚洲综合一区二区三区_| 日日摸夜夜添夜夜添小说| 精品国产美女av久久久久小说| 夫妻午夜视频| 亚洲第一av免费看| 麻豆国产av国片精品| 亚洲精品成人av观看孕妇| 啪啪无遮挡十八禁网站| 一级毛片精品| 欧美日本中文国产一区发布| 亚洲一区高清亚洲精品| 脱女人内裤的视频| 欧美激情 高清一区二区三区| 欧美一级毛片孕妇| 一区福利在线观看| 国产aⅴ精品一区二区三区波| av在线播放免费不卡| 大码成人一级视频| 亚洲成人免费av在线播放| 熟女少妇亚洲综合色aaa.| 国产精品久久久av美女十八| 国产成人欧美在线观看 | 啪啪无遮挡十八禁网站| 亚洲一区中文字幕在线| 少妇裸体淫交视频免费看高清 | 无人区码免费观看不卡| 黑人巨大精品欧美一区二区蜜桃| 日本撒尿小便嘘嘘汇集6| 精品亚洲成a人片在线观看| 欧美丝袜亚洲另类 | 交换朋友夫妻互换小说| 色老头精品视频在线观看| 夜夜爽天天搞| 欧美精品啪啪一区二区三区| 精品国产乱码久久久久久男人| 757午夜福利合集在线观看| 一级,二级,三级黄色视频| 国产亚洲一区二区精品| 午夜精品久久久久久毛片777| 亚洲全国av大片| 国产区一区二久久| 日本欧美视频一区| 欧美日韩亚洲国产一区二区在线观看 | 精品国产乱子伦一区二区三区| 国产精品九九99| 一级毛片精品| 国产免费av片在线观看野外av| 日韩欧美在线二视频 | 午夜免费鲁丝| 国产精品.久久久| 国产1区2区3区精品| 91精品三级在线观看| 夜夜躁狠狠躁天天躁| 成人亚洲精品一区在线观看| 精品久久久精品久久久| 精品免费久久久久久久清纯 | 免费看十八禁软件| 999精品在线视频| 国产熟女午夜一区二区三区| 18禁观看日本| 久久香蕉激情| 国产精品综合久久久久久久免费 | 午夜精品国产一区二区电影| 中文字幕人妻熟女乱码| 久久久久久久国产电影| 亚洲欧美激情综合另类| av在线播放免费不卡| 最近最新中文字幕大全电影3 | 国产亚洲欧美在线一区二区| 国产亚洲精品一区二区www | 国产精品免费视频内射| 国产av又大| 乱人伦中国视频| 欧美成人免费av一区二区三区 | 如日韩欧美国产精品一区二区三区| 亚洲成人免费电影在线观看| 一进一出抽搐动态| 巨乳人妻的诱惑在线观看| 中文字幕最新亚洲高清| 男女床上黄色一级片免费看| 黑人操中国人逼视频| 啪啪无遮挡十八禁网站| 一边摸一边做爽爽视频免费| 在线观看午夜福利视频| 欧美 日韩 精品 国产| 国产精品亚洲av一区麻豆| 国产真人三级小视频在线观看| svipshipincom国产片| 国产精品免费一区二区三区在线 | 欧美人与性动交α欧美软件| 99热只有精品国产| 叶爱在线成人免费视频播放| 中文字幕av电影在线播放| 十八禁网站免费在线| 亚洲午夜理论影院| 久久99一区二区三区| 又黄又爽又免费观看的视频| 国产精品久久视频播放| 亚洲三区欧美一区| 在线观看日韩欧美| 三上悠亚av全集在线观看| 久久久国产成人免费| www.自偷自拍.com| 亚洲人成伊人成综合网2020| 日本五十路高清| 两人在一起打扑克的视频| 精品亚洲成a人片在线观看| 国产亚洲欧美精品永久| av欧美777| 成人18禁高潮啪啪吃奶动态图| 美女高潮喷水抽搐中文字幕| 久久国产亚洲av麻豆专区| 叶爱在线成人免费视频播放| 91在线观看av| 成人亚洲精品一区在线观看| 丁香六月欧美| 99精品欧美一区二区三区四区| 精品国内亚洲2022精品成人 | 久久国产精品大桥未久av| 亚洲欧美一区二区三区久久| 中文字幕人妻丝袜制服| 成年人午夜在线观看视频| 中亚洲国语对白在线视频| 在线观看免费视频日本深夜| 久久久久国内视频| 亚洲欧美日韩另类电影网站| 一区二区三区精品91| 亚洲精品国产区一区二| 无人区码免费观看不卡| 在线视频色国产色| 夫妻午夜视频|