• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于全局圖和多粒度意圖單元的會話推薦

    2023-10-17 05:50:02李婉樺孫英娟劉藝璇劉乾
    計算機(jī)工程 2023年10期
    關(guān)鍵詞:會話集上意圖

    李婉樺,孫英娟,劉藝璇,劉乾

    (長春師范大學(xué) 計算機(jī)科學(xué)與技術(shù)學(xué)院,長春 130032)

    0 概述

    推薦系統(tǒng)[1-2]在許多在線平臺中扮演著重要角色,通過向用戶推薦有用內(nèi)容,從而有效解決信息超載問題。傳統(tǒng)推薦算法常常依賴于用戶配置文件的可用性和長期歷史交互。協(xié)同過濾[3-4]等經(jīng)典算法基于不同興趣愛好對用戶進(jìn)行劃分并推薦興趣相似的商品給用戶,基于內(nèi)容的推薦算法[5-6]根據(jù)相關(guān)的項(xiàng)目信息完成推薦。但在現(xiàn)實(shí)中更多的交互信息來自未登錄用戶的瀏覽或短期歷史行為,這就造成傳統(tǒng)算法推薦效果較差。為了解決這一類問題,便出現(xiàn)了會話推薦[7-9],根據(jù)給定的匿名行為序列,按照時間順序預(yù)測用戶下一個可能感興趣的項(xiàng)目。

    在會話推薦模型研究之初,許多學(xué)者為了有效地對會話進(jìn)行建模,采用馬爾可夫鏈[10-11]作為核心算法。WU等[12]提出一種馬爾可夫鏈嵌入模型,該模型將用戶和物品映射到歐幾里得空間,用戶和物品之間的距離代表兩者之間的轉(zhuǎn)移概率,最后根據(jù)嵌入結(jié)果對候選項(xiàng)進(jìn)行排序。RENDLE等[13]提出一種混合模型(FPMC),將矩陣分解方法與馬爾可夫鏈方法相結(jié)合,同時學(xué)習(xí)用戶的一般興趣和下一個興趣,取得了較好的效果,但由于馬爾可夫鏈模型的假設(shè)是基于前一個動作來預(yù)測用戶的下一個動作,這種強(qiáng)獨(dú)立性假設(shè)容易受噪聲數(shù)據(jù)的影響,因此限制了其在基于會話推薦中的使用。

    針對上述問題,學(xué)者們提出了很多基于深度神經(jīng)網(wǎng)絡(luò)的會話推薦模型并取得了良好性能。HIDASI等[14]提出基于循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)的會話推薦模型(GRU4Rec),利用門控循環(huán)單元(GRU)層將會話數(shù)據(jù)嚴(yán)格按照時間順序建模成單向序列。LI等[15]提出NARM 模型,該模型基于RNN 且將注意力機(jī)制引入GRU 編碼器,捕獲短期會話信息。LIU等[16]提出STAMP 模型,該模型基于多層感知機(jī)(MLP)和注意力機(jī)制提取用戶潛在興趣。以上模型都是簡單地根據(jù)時間序列進(jìn)行會話建模來提取用戶信息,但事實(shí)上項(xiàng)目轉(zhuǎn)換非常復(fù)雜,用戶的行為可能不嚴(yán)格按照時間順序發(fā)展,也就是說即使會話中項(xiàng)目順序調(diào)換,也不影響用戶對項(xiàng)目的偏好,而對會話中項(xiàng)目嚴(yán)格按照時間順序建??赡軐?dǎo)致過度擬合。

    為了更好地表達(dá)項(xiàng)目之間的關(guān)系,學(xué)者們引入圖神經(jīng)網(wǎng)絡(luò)(Graph Neural Network,GNN)模擬會話數(shù)據(jù)的項(xiàng)目復(fù)雜關(guān)系,提高會話推薦性能。WU等[17]提出基于圖神經(jīng)網(wǎng)絡(luò)的會話推薦模型(SR-GNN),將會話建模成圖以捕捉項(xiàng)目之間的關(guān)系。QIU等[18]提出FGNN 模型,利用多頭注意力機(jī)制挖掘鄰居信息。WANG等[19]提出GCE-GNN 模型,從會話和全局的角度學(xué)習(xí)項(xiàng)目之間的轉(zhuǎn)換關(guān)系。XIA等[20]提出DHCN 模型,基于超圖挖掘項(xiàng)目的高階信息。然而,以上模型只是孤立地考慮會話中的每一項(xiàng),在當(dāng)前會話中沒有從更高層次的角度捕捉會話語義。GUO等[21]提出MIHSG 模型,通過構(gòu)造多粒度意圖單元異構(gòu)會話圖從高層次的角度捕捉完整會話意圖,因此得到了不錯的模型效果。

    雖然MIHSG 模型的效果較好,但是其多粒度意圖單元異構(gòu)會話圖只是捕捉了當(dāng)前會話內(nèi)的項(xiàng)目信息,忽略了不同會話之間的項(xiàng)目信息。本文建立基于全局圖和多粒度意圖單元的會話推薦模型(GGMIU),在多粒度意圖單元異構(gòu)會話圖[21]的基礎(chǔ)上,添加跨會話圖[19]以獲取不同會話之間的項(xiàng)目信息。

    1 問題描述

    會話推薦旨在根據(jù)用戶當(dāng)前的連續(xù)會話數(shù)據(jù),預(yù)測用戶下一步將單擊哪個項(xiàng)目,并不需要訪問長期偏好配置文件。在本文會話推薦任務(wù)中,設(shè)I={v1,v2,…,v|I|}表示所有會話中用戶產(chǎn)生交互項(xiàng)目的集合,vi表示交互過的項(xiàng)目,|I|表示所有項(xiàng)目的總數(shù)量。一個匿名會話由s={vt1,vt2,…,vtM}表示,其中,tn表示項(xiàng)目在位置n處被點(diǎn)擊的編號,且會話s的長度為M。本文的目標(biāo)是對當(dāng)前會話下一步可能點(diǎn)擊的項(xiàng)目進(jìn)行預(yù)測,即預(yù)測vtM+1。將會話進(jìn)行寫入,模型會依據(jù)輸入數(shù)據(jù)經(jīng)過一系列處理得到候選項(xiàng)目概率值y^,將項(xiàng)目概率值通過排序篩選出概率值最高的前幾個推薦項(xiàng)目,建立候選項(xiàng)目推薦序列。GGMIU 模型框架如圖1 所示。

    2 GGMIU 模型

    GGMIU 模型是在MIHSG 模型的基礎(chǔ)上進(jìn)行改進(jìn)。MIHSG 模型表示不同的粒度長度有不同的用戶意圖,可從高層次的角度捕捉完整會話意圖,通過圖2(a)進(jìn)行說明。在圖2(a)中,給出會話“面粉-黃油-雞蛋”:當(dāng)粒度長度為1時,該用戶可能想買早餐類,則可以嘗試推薦牛奶;當(dāng)粒度長度為2 時就關(guān)注“黃油-雞蛋”,該用戶可能是想煎雞蛋,則可以嘗試推薦平底鍋;當(dāng)粒度長度為3時,該用戶可能是想制作蛋糕,則可以嘗試推薦烤箱。通過該示例表明,在MIHSG 模型中,單個項(xiàng)目就是最小的粒度,不同的粒度長度有不同的用戶意圖,因此可以從高層次捕捉不同的語義。

    圖2 同一會話和不同會話之間的項(xiàng)目信息Fig.2 Project informations between the same session and different sessions

    雖然MIHSG 模型效果較好,但是其多粒度意圖單元異構(gòu)會話圖只是捕捉當(dāng)前會話內(nèi)的項(xiàng)目信息,忽略了不同會話之間的項(xiàng)目信息。根據(jù)文獻(xiàn)[19]推測,當(dāng)前會話的項(xiàng)目出現(xiàn)在其他會話時,項(xiàng)目的鄰居信息所展示的行為也能反映當(dāng)前會話的用戶意圖,通過圖2(b)進(jìn)行說明。在圖2(b)中,設(shè)當(dāng)前會話是會話1,會話1 的“雞蛋”也出現(xiàn)在會話2中,其項(xiàng)目對是“雞蛋-油條”,所表現(xiàn)的意圖可能是早餐類,可以嘗試給會話1 的用戶推薦“油條”。又比如,會話1 的“黃油”出現(xiàn)在會話3,其項(xiàng)目對是“美的平底鍋-黃油-雞翅”,所表現(xiàn)的意圖可能是用“平底鍋”煎“雞翅”,可以嘗試給會話1 的用戶推薦“美的平底鍋”。通過該示例表明:利用項(xiàng)目在其他會話中的鄰居信息也能反映相似的用戶意圖,從而更好地推斷當(dāng)前會話的用戶偏好。

    2.1 跨會話圖模塊

    為了捕獲跨會話級別的項(xiàng)目轉(zhuǎn)換信息,將其用于學(xué)習(xí)所有會話中的項(xiàng)目依賴關(guān)系,根據(jù)WANG等[22]提出的方法進(jìn)行跨會話圖的構(gòu)建。對于當(dāng)前會話的項(xiàng)目,它的近鄰集合N?(v)是在步長?階范圍內(nèi)交互過的項(xiàng)目,其中N表示集合。當(dāng)前會話Sa的節(jié)點(diǎn)vi,a的近鄰集合可以表示如下:

    其中:va,i是會話sa的節(jié)點(diǎn)i;i′是會話sa中項(xiàng)目va,i在會話sb的順序位置;?是一個控制項(xiàng)目與項(xiàng)目之間轉(zhuǎn)換建模的超參數(shù),若?超出范圍,則它捕獲的跨會話項(xiàng)目轉(zhuǎn)換信息會帶有噪聲。

    跨會話圖是基于所有會話中的一個?階相鄰項(xiàng)目集構(gòu)建的圖,如圖3 所示。設(shè)Gc=(Vc,Ec)為跨會話圖,其中,c表示跨會話圖,Vc∈I表示所有會話被點(diǎn)擊的項(xiàng)目集合,Ec={ec,i,j}表示邊的集合,ec,i,j表示節(jié)點(diǎn)vi和節(jié)點(diǎn)vj之間的邊,每條邊(vi,vj,ec,i,j)對應(yīng)于所有會話中的兩個成對項(xiàng)目,vi∈I,vj∈N?(vi)。此外,對于每個節(jié)點(diǎn)vi,會為其相鄰邊產(chǎn)生權(quán)重,以區(qū)分鄰居的重要性,即每條邊的權(quán)重是由相應(yīng)邊在所有會話中的頻率確定??紤]到效率問題,跨會話圖Gc的每個節(jié)點(diǎn)vi只保留最高權(quán)重的邊數(shù),邊數(shù)自定義。需要注意的是,跨會話圖Gc是一個無向加權(quán)圖,因?yàn)?階鄰居集是無向的。在測試階段,沒有動態(tài)更新跨會話圖Gc的拓?fù)浣Y(jié)構(gòu)。

    圖3 跨會話圖的構(gòu)造Fig.3 Construction of cross-session graph

    2.2 跨會話表示

    受到LI等[23]和WANG等[19]方法的啟發(fā),根據(jù)在跨會話圖上的傳播特性,編碼來自其他會話的項(xiàng)目轉(zhuǎn)換信息,從而輔助推薦。本文基于圖卷積網(wǎng)絡(luò)的體系結(jié)構(gòu)構(gòu)建,運(yùn)用圖注意力網(wǎng)絡(luò)理論得到連接項(xiàng)目的權(quán)重。每一層都由信息傳播和信息聚合構(gòu)成,先介紹單層,再推廣到多層。

    1)信息傳播。一個項(xiàng)目可能涉及多個會話,從中可以獲得有用的項(xiàng)目轉(zhuǎn)換信息,從而有效地輔助當(dāng)前預(yù)測。

    設(shè)xv∈Rd(d表示項(xiàng)目嵌入的維度)為項(xiàng)目的向量表示,利用會話感知注意力將鄰居集中的每個項(xiàng)目進(jìn)行線性計算,得到項(xiàng)目的鄰居表示xNc.v,如式(1)所示:其中:ξ(vi,vj)代表不同鄰居的重要性權(quán)重,即一個項(xiàng)目越接近當(dāng)前會話的偏好,這個項(xiàng)目就越重要。ξ(vi,vj)計算如下:

    其中:σ為LeakyReLU 激活函數(shù);⊙表示元素乘積;[;]表示拼接操作;λi,j∈Rm表示跨會話圖的邊(vi,vj)的權(quán) 值;W1∈R(d+1)×d和P1∈R(d+1×1)是可訓(xùn)練的參 數(shù)矩陣;s為當(dāng)前會話的特征,通過計算當(dāng)前會話項(xiàng)目表示的平均值得到。s計算如下:

    采用Softmax 激活函數(shù)將項(xiàng)目vi的所有鄰居進(jìn)行系數(shù)規(guī)范化,如式(4)所示:

    2)信息聚合。將項(xiàng)目表示xv和項(xiàng)目的鄰居表示xNc,v進(jìn)行聚合得到當(dāng)前跨會話圖的項(xiàng)目vi表示,如式(5)所示:

    其中:ψ為ReLU 激活函數(shù);W2∈Rd×2d為變換權(quán)重。通過聚合器層,項(xiàng)目的表示依賴于它自己及其近鄰項(xiàng)目。采用聚合器從一個層擴(kuò)展到多個層來探索高階連接信息,這樣可以將更多與當(dāng)前會話相關(guān)的信息納入當(dāng)前表示。第u層的一個項(xiàng)目表示計算如式(6)所示:

    其中:Γ為聚合函數(shù);xu-1,v表示由前面的u-1 層信息傳播生成的v項(xiàng)目表示,設(shè)x0,v為xv的初始傳播迭代。由此可知,一個項(xiàng)目的u層表示由它的初始表示和它的鄰居循環(huán)到u層組成。這樣可以將更有效的消息合并到當(dāng)前會話的表示中。

    在跨會話表示中,使用丟棄率來避免過度擬合,如式(7)所示:

    其中:D為丟棄率函數(shù)。

    2.3 連續(xù)意圖單元

    當(dāng)前基于會話的推薦方法分別考慮每個項(xiàng)目,但這容易忽略本地會話片段的更高層次的意圖。為了能更加深層次地挖掘用戶在當(dāng)前會話中的意圖,利用項(xiàng)目的連續(xù)意圖單元進(jìn)行提取。連續(xù)意圖單元表示一組連續(xù)相鄰的項(xiàng)目,設(shè)vk,j=(vj,vj+1,…,vj+k-1)為一個連續(xù)的意圖單元,它是一個連續(xù)片段,在原會話中從第j個位置開始到j(luò)+k-1 位置結(jié)束,長度為k,同時將會話的單個項(xiàng)目定義為單粒度,2 個或2 個以上的項(xiàng)目定義為多粒度。為了能更好了解連續(xù)意圖單元的結(jié)構(gòu),通過圖4 進(jìn)行說明。在圖4中,2 級連續(xù)意圖單元v2,1是從原會話{v1,v3,v2,v4,v3,v2}第1 個位置開始且長度為2 的連續(xù)片段,v2,2是從原會話第2 個位置開始且長度為2 的連續(xù)片段(v3,v2),其他以此類推。連續(xù)意圖單元的長度k用粒度級別來表示,即k級連續(xù)意圖單元的粒度級別為k。需要注意的是同級的意圖單元是不重復(fù)的。

    圖4 連續(xù)意圖單元、k 級意圖會話圖和多粒度意圖單元異構(gòu)會話圖的構(gòu)造Fig.4 Construction of continuous intention unit,k-level intention session graph and multi-granularity intention unit heterogeneous session graph

    對于會話s,vk,j的k級連續(xù)意圖單元的意圖用xk,j表示,如式(8)所示:

    其中:R 是Readout 函數(shù)。

    為了提取高階意圖單元的完整意圖,考慮使用基于序列和基于集合的Readout 函數(shù)分別得到xk,q,j和xk,p,j。一方面xk,q,j能得到節(jié)點(diǎn)順 序相關(guān)的潛在 信息,另一方面xk,p,j能得到節(jié)點(diǎn)順序無關(guān)的潛在信息。為此,vk,j的k級連續(xù)意圖單元的意圖計算如式(9)所示:

    其中,xk,q,j∈R1×d可通過門控遞歸單元得到;xk,p,j∈R1×d可通過平均值和最大值得到。

    2.4 意圖會話圖和多粒度意圖單元異構(gòu)會話圖

    設(shè)有向圖Gk,s=(Vk,s,Ek,s)為k級意圖會話圖,其中,節(jié)點(diǎn)Vk,s表示k級連續(xù)意圖單元,Ek,s是兩個k級連續(xù)意圖單元的邊,s表示會話。將不同k級意圖會話圖統(tǒng)一,得到多粒度意圖單元異構(gòu)會話圖。在多粒度意圖單元異構(gòu)會話圖中,節(jié)點(diǎn)vk的邊類型有粒度內(nèi)邊(?)和粒度間邊(?),粒度內(nèi)邊在同級意圖會話圖中進(jìn)行項(xiàng)目之間的連接,粒度間邊將1 級和高級意圖會話圖進(jìn)行連接。在3級意圖會話圖中能構(gòu)造6條粒度間邊,分別是(v3,1,?,v1,4)、(v1,1,?,v3,2)、(v3,2,?,v1,2)、(v1,2,?,v3,3)、(v3,3,?,v1,3)和(v1,3,?,v3,4)。針對(v3,1,?,v1,4),v3,1是從原會話第1 個位置開始且長度為3 的連續(xù)片段(v1,v3,v2),v1,4是從原會話第4 個位置開始的項(xiàng)目v4且是連續(xù)片段(v1,v3,v2)的后一個項(xiàng)目,又因?yàn)榱6乳g邊是將1 級和高級意圖會話圖進(jìn)行連接,因此粒度間邊將v3,1和v1,4連接。針 對(v1,1,?,v3,2)和(v3,2,?,v1,2),v3,2是從原會話第2 個位置開始且長度為3 的連續(xù)片段(v3,v2,v4),v1,1是原會話第1 個位置的項(xiàng)目v1且是原會話片段(v3,v2,v4)的前一個項(xiàng)目,v1,2是從原會話第2 個位置開始的項(xiàng)目v3且是原會話片段(v3,v2,v4)的后一個項(xiàng)目,同時因?yàn)榱6乳g邊是將1 級和高級意圖會話圖進(jìn)行連接,所以粒度間邊將v3,2和v1,1、v1,2分別進(jìn)行連接,其他以此類推。

    2.5 連續(xù)意圖單元會話學(xué)習(xí)

    采用異構(gòu)圖注意力(Heterogeneous Graph ATtention,HGAT)網(wǎng)絡(luò)得到每個連續(xù)意圖單元的表示。對于有向邊(α,e,β),其中,e是邊,α和β分別表示為源和目標(biāo)意圖單元,同時可表示任何粒度級別。在一個k級的異構(gòu)會話圖中,將kα∈{1,2,…,K}和kβ∈{1,2,…,K}分別定義為意圖單元α和β的粒度級別。ε定義為邊緣類型,它包含粒度內(nèi)邊和粒度間邊。在異構(gòu)圖注意力網(wǎng)絡(luò)的每一層中,通過注意力機(jī)制聚合內(nèi)鄰居和外鄰居的表示。內(nèi)鄰居集合Nε計算如式(10)所示:

    其中:Λ為Softmax 函數(shù);Wl,ε∈Rd×d和al,ε∈R2d×1是權(quán)重;B0,α=xα和B0,β=xβ分別是意圖單元α和β的初始表示;Bl,α和Bl,β分別表示意圖單元α和β在HGAT 上的第l層表示。

    同時,利用多向注意力機(jī)制通過Readout 函數(shù)得到輸出節(jié)點(diǎn)的表示,如式(11)所示:

    其中:i表示注意力的頭數(shù)索引;H為注意力機(jī)制的總頭數(shù)。

    因?yàn)楫悩?gòu)會話圖為有向圖,每個節(jié)點(diǎn)都具有來自內(nèi)鄰居和外鄰居的上下文。為從兩個方向提取上下文信息,應(yīng)用HGAT 來聚合內(nèi)鄰居和外鄰居信息以生成節(jié)點(diǎn)表示。因此,對于該圖的每個意圖單元v,聚合v兩個方向的嵌入,即和,其中,表示v左邊方向的信息嵌入表示v右邊方向的信息嵌入。節(jié)點(diǎn)v的最終表示Bl+1,v為兩個方向的嵌入之和以及會話中所有節(jié)點(diǎn)嵌入的平均值之和其中,表示會話中所有節(jié)點(diǎn)的嵌入平均值之和。

    利用局部表示Hk,l和全局表示Hk,g挖掘連續(xù) 意圖單元每個級別的用戶偏好。當(dāng)給出會話si和相應(yīng)的連續(xù)意圖單元嵌入Bk,i∈Rd(i=1,2,…,nk,k=1,2,…,K)時,將最后一個意圖單元Bk,nk作為局部表示Hk,l,軟注意力機(jī)制得到全局表示Hk,g,其中,nk是k級意圖單元數(shù),K是意圖級別數(shù)。

    全局表示Hk,g通過聚合所有意圖單元的嵌入來表示。設(shè)C={Bk,i|i=1,2,…,nk,k=1,2,…,K}為意圖的上下文集合,Bc是上下文集合中的一個嵌入。Hk,g計算過程如下:

    其中:Wk,0∈Rd;Wk,3∈Rd×d;Wk,4∈Rd×d;bk∈Rd為可學(xué)習(xí)的權(quán)重;σ(·)為Sigmoid 函數(shù);χk,c為權(quán)重系數(shù)。

    最后,將全局表示、局部和跨會話表示相拼接,得到連續(xù)意圖單元的每個級別用戶偏好,如式(14)所示:

    其中:Wk,5為權(quán)重。

    2.6 意圖融合排序和預(yù)測

    式(14)生成的不同粒度級別會話嵌入(H1,s,…,Hk,s,…,HK,s)通過意圖融合排名(IFR)機(jī)制[21]融合所有粒度級別的意圖預(yù)測推薦結(jié)果得到用戶的意圖。首先根據(jù)每一級的意圖得到一個單獨(dú)的推薦;然后將結(jié)果進(jìn)行融合形成最終的推薦;最后對于每個k級別意圖,可采用內(nèi)積來計算候選項(xiàng)目意圖和k級別會話嵌入之間的相似度。對于候選項(xiàng)集I={v1,v2,…,v|I|},計算項(xiàng)目vi的意圖在會話嵌入Hk,s和x1,i之間的相似度,如式(15)所示:

    其中:<,>是內(nèi)積運(yùn)算。

    同時,受文獻(xiàn)[24-25]的啟發(fā),可對會話重復(fù)點(diǎn)擊行為和探索行為進(jìn)一步分析以提高準(zhǔn)確性,這首先需要將內(nèi)部會話項(xiàng)目和外部會話項(xiàng)目分開,通過使用Softmax 函數(shù)進(jìn)行歸一化,計算過程如下:

    其中:R={r1,…,ri,…,r|R|}為內(nèi)部會話項(xiàng)目,O={o1,…,oi,…,o|O|}為外部會話項(xiàng)目,|R| +|O|=|I|;∈R和∈O分別是內(nèi)部會話項(xiàng)目和外部會話項(xiàng)目的概率分布。然后使用一個鑒別器來重新加權(quán)項(xiàng)目得分,以平衡重復(fù)點(diǎn)擊和探索點(diǎn)擊之間的焦點(diǎn)。分?jǐn)?shù)y就是這兩部分的組合,計算過程如下:

    其中:W6∈Rd×2、W7∈Rd×d為權(quán)重矩陣;πk,r、πk,o為權(quán)重系數(shù)。

    式(16)~式(18)為重復(fù)探索規(guī)范化(RENorm)策略的具體過程。

    遵循意圖融合排序機(jī)制,通過一個加權(quán)和運(yùn)算符聚合各個層次的意圖所產(chǎn)生的概率分布得到最終的概率分布y^,計算過程如下:

    其中:和yk為標(biāo)準(zhǔn)化權(quán)重;θk為每個概率分布的可學(xué)習(xí)因素。

    最后使用交叉熵函數(shù)作為損失函數(shù),計算如下:

    3 實(shí)驗(yàn)與結(jié)果分析

    3.1 數(shù)據(jù)預(yù)處理

    采用Diginetica 和Tmall 數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)評估GGMIU 模型的性能。在Diginetica 數(shù)據(jù)集中,使用的數(shù)據(jù)是其用戶的互動信息,可以從CIKM Cup2016比賽下載得到。在Tmall 數(shù)據(jù)集中,使用的數(shù)據(jù)是隱藏個人信息的用戶在天貓電商上的購買信息,數(shù)據(jù)可從IJCA15 大賽下載得到。實(shí)驗(yàn)?zāi)7翿ENDLE等[13]提出的預(yù)處理方式,篩選數(shù)據(jù)集中數(shù)據(jù)長度是1的會話,同時去除測試集中點(diǎn)擊次數(shù)低于5 的項(xiàng)目。經(jīng)過上述預(yù)處理后,Diginetica 數(shù)據(jù)集剩下43 097 個項(xiàng)目,Tmall 數(shù)據(jù)集剩下40 728 個項(xiàng)目。此外,為了能有更多的會話數(shù)據(jù)進(jìn)行訓(xùn)練,將每個會話進(jìn)行再次劃分,具體為:對于每個會話s={ts,1,ts,2,…,ts,m},劃分為點(diǎn)擊項(xiàng)序 列以及對應(yīng)的標(biāo)簽,即([ts,1],ts,2),([ts,1,ts,2],ts,3),…,([ts,1,ts,2,…,ts,m-1],ts,m),應(yīng)用于這兩個數(shù)據(jù)集的訓(xùn)練和測試。數(shù)據(jù)集統(tǒng)計信息如表1所示。

    表1 數(shù)據(jù)集信息Table 1 Data set information

    3.2 評價指標(biāo)

    實(shí)驗(yàn)選用推薦系統(tǒng)經(jīng)常使用的兩個評價指標(biāo):平均倒數(shù)排名(Mean Reciprocal Rank,MRR)和精確度(Precision,P)進(jìn)行模型有效性測試。同時,選用概率值最高的前10 或者20 個推薦項(xiàng)目作為候選項(xiàng)目推薦序列。

    MRR@20 表示正確推薦項(xiàng)目在前20 個推薦項(xiàng)目中位置倒數(shù)的平均值。若正確推薦項(xiàng)目未出現(xiàn)在推薦序列上,則MRR@20 值為0。值越高,表明算法預(yù)測性能越好,計算如下:

    其中:N表示測試集樣本總數(shù);M表示正確推薦項(xiàng)目在推薦序列前20 個中所占的數(shù)量;τ(it)表示推薦列表中推薦項(xiàng)目i所在的位置。

    P@20 常作為推薦系統(tǒng)預(yù)測精確度的衡量指標(biāo),表示正確推薦的項(xiàng)目在前20 個項(xiàng)目中的比例,計算如下:

    其中:V表示返回前20 個推薦項(xiàng)目中正確推薦的項(xiàng)目數(shù)。

    3.3 實(shí)驗(yàn)參數(shù)設(shè)定

    在驗(yàn)證集上選取其他超參數(shù),驗(yàn)證集是訓(xùn)練集的10%隨機(jī)子集。所有參數(shù)均采用高斯分布初始化,均值為0、標(biāo)準(zhǔn)差為0.1。GGMIU 模型設(shè)定節(jié)點(diǎn)隱向量的維度d為100,迭代次數(shù)為20,訓(xùn)練批次大小為100。此外,模型使用Adam 算法優(yōu)化器,初始學(xué)習(xí)率為0.001,每迭代3 次學(xué)習(xí)率衰減0.1,正則化系數(shù)為10-5。實(shí)驗(yàn)參考文獻(xiàn)[19,21],設(shè)置評估指標(biāo)連續(xù)迭代3 次小于最佳指標(biāo)則停止迭代。

    3.4 對比模型

    對比模型具體如下:

    1)Item-KNN,基于當(dāng)前會話的項(xiàng)目和其他會話的項(xiàng)目之間的相似度來推薦項(xiàng)目。

    2)GRU4Rec[14],是一種通過門控循環(huán)單元捕捉用戶序列的依賴關(guān)系的模型。

    3)NARM[15],是一種基于RNN 的通過注意力機(jī)制捕捉當(dāng)前會話用戶意圖的模型。

    4)SR-GNN[17],在圖神經(jīng)網(wǎng)絡(luò)層獲得項(xiàng)目嵌入,對最后一個項(xiàng)目應(yīng)用注意力機(jī)制,以計算基于會話推薦的會話級嵌入。

    5)GCE-GNN[19],首先通過構(gòu)建會話圖和全局圖,學(xué)習(xí)全局項(xiàng)目嵌入層和會話項(xiàng)目嵌入層,然后利用軟注意力機(jī)制聚合兩層的項(xiàng)目嵌入得到會話嵌入,最后添加位置信息以獲得最終結(jié)果。

    6)DHCN[20],利用基于超圖的神經(jīng)網(wǎng)絡(luò)捕獲項(xiàng)目之間的高階信息,并將自監(jiān)督學(xué)習(xí)作為增強(qiáng)超圖建模的輔助方法。

    7)MIHSG[21],通過構(gòu)造多粒度意圖單元異構(gòu)會話圖從高層次的角度捕捉完整的會話意圖。

    3.5 與MIHSG 模型的比較

    GGMIU 模型是在多粒度意圖單元異構(gòu)會話圖的基礎(chǔ)上添加了跨會話圖。為了證明GGMIU 模型的有效性,與沒有加入跨會話圖的MIHSG 模型在Tmall 和Diginetica 數(shù)據(jù)集上進(jìn)行比較,如圖5 和圖6所示。由圖5 和圖6 可以看出,在Tmall 和Diginetica數(shù)據(jù)集上,GGMIU 和MIHSG 模型均在第4 次迭代后MRR@20 和P@20 指標(biāo)未出現(xiàn)劇烈波動,模型趨于平穩(wěn),GGMIU 模型在MRR@20 和P@20 指標(biāo)上的表現(xiàn)優(yōu)于MIHSG 模型,且差距也趨于穩(wěn)定。由此可以證明添加了跨會話圖的模型能更深層次地挖掘不同會話之間的潛在信息,從而提高模型推薦效果。

    圖5 Tmall 數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果Fig.5 Experimental results on the Tmall data set

    圖6 Diginetica 數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果Fig.6 Experimental results on the Diginetica data set

    3.6 整體性能比較

    GGMIU 模型和基線模型在兩個真實(shí)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果如表2 所示,其中,使用粗體突出每列的最佳結(jié)果,下劃線表示次優(yōu)結(jié)果。由表2 可以看出,GGMIU 模型表現(xiàn)最優(yōu),并得到以下結(jié)論:

    表2 不同模型在兩個數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果Table 2 Experimental results of different models on two data sets %

    1)SR-GNN、GCE-GNN、DHCN、MIHSG、GGMIU等應(yīng)用圖神經(jīng)網(wǎng)絡(luò)的模型比Item-KNN、GRU4Rec、NARM 等沒有應(yīng)用圖神經(jīng)網(wǎng)絡(luò)的模型預(yù)測效果更好,這是因?yàn)閳D神經(jīng)網(wǎng)絡(luò)模擬會話中項(xiàng)目轉(zhuǎn)換關(guān)系建模成圖能更好地捕獲項(xiàng)目之間的依賴關(guān)系,證明了基于圖神經(jīng)網(wǎng)絡(luò)的模型更適合會話推薦。

    2)除了Diginetica 數(shù)據(jù)集上的P@20 指標(biāo)外,MIHSG 模型優(yōu)于SR-GNN、GCE-GNN 和DHCN 模型。這是因?yàn)镾R-GNN、GCE-GNN 和DHCN 模型只是孤立地考慮會話中的每一項(xiàng),沒有從高層次的角度捕捉會話語義,MIHSG 模型通過多粒度連續(xù)用戶意圖單元從高層次角度捕捉會話完整的意圖,從而提高了模型性能。

    3)GGMIU 模型優(yōu)于所有模型,相較于MIHSG 最優(yōu)基線模型在Tmall 數(shù)據(jù)集上 的MRR@20 和P@20上增益分別高達(dá)2.12%和1.27%。這是因?yàn)镚GMIU模型在多粒度意圖單元異構(gòu)會話圖的基礎(chǔ)上,添加了跨會話的全局圖,以獲取不同會話之間項(xiàng)目的信息??梢?,GGMIU 模型不僅考慮了高層次角度的會話語義,而且還考慮了跨會話角度的項(xiàng)目信息,從而提高了模型精度。

    3.7 參數(shù)調(diào)整實(shí)驗(yàn)

    跨會話表示的丟棄率是影響模型性能的重要因素。在Tmall 和Diginetica 數(shù)據(jù)集上探究不同的丟棄率對模型性能的影響,如圖7 所示。由圖7 可以看出,在丟棄率為0.3時,GGMIU 模型在Tmall 數(shù)據(jù)集上能取到P@20 和MRR@20 的最大值,因此在Tmall數(shù)據(jù)集上取丟棄率為0.3 更合適。在丟棄率為0.3 和0.1時,GGMIU 模型在Diginetica 數(shù)據(jù)集上能取 到P@20和MRR@20 的最大值,但在丟棄率為0.1 時P@20 和MRR@20 的差值小于在丟棄率為0.3 的差值,因此在Diginetica 數(shù)據(jù)集上取丟棄率為0.1 更合適。

    圖7 在Tmall 和Diginetica 數(shù)據(jù)集上的不同丟棄率分析Fig.7 Analysis of different dropouts on the Tmall and Diginetica data sets

    3.8 消融實(shí)驗(yàn)

    項(xiàng)目的推薦概率結(jié)果由IFR 和RENorm 決定。為了研究IFR 和RENorm 的有效性,進(jìn)行消融實(shí)驗(yàn),如表3 所示,其中,使用粗體突出每列的最佳結(jié)果,GGMIU 模型結(jié)合IFR 和RENorm,模 型1 移除了RENorm,模型2 移除了IFR。由表3 可以看出,結(jié)合IFR 和RENorm 的GGMIU 模型結(jié)果遠(yuǎn)優(yōu)于模型1 和模型2,在Tmall 數(shù)據(jù)集上的MRR@20 和P@20 增益分別高達(dá)11.20%和17.42%。這說明將探求會話重復(fù)點(diǎn)擊行為和探索行為的RENorm 與融合所有粒度級別的意圖預(yù)測推薦結(jié)果的IFR 相結(jié)合達(dá)到了較好的推薦效果,這也證明了每個模塊都是有效的。

    表3 消融實(shí)驗(yàn)結(jié)果Table 3 Results of ablation experiment %

    3.9 隱向量維度對模型性能的影響

    為了方便GGMIU 模型與其他模型進(jìn)行比較,設(shè)置隱向量維度d為100,其實(shí)不同的隱向量維度會影響GGMIU 模型的推薦效果。在本節(jié)中,通過設(shè)置隱向量維度d為50、100、150、200、250 和300,分析隱向量維度d對模型性能的影響,如圖8 所示。由圖8 可以看出,隨著隱向量維度d的增加,MRR@20 和P@20 指標(biāo)也隨之增加,當(dāng)達(dá)到一定的維度時,指標(biāo)開始下降。對于Tmall 數(shù)據(jù)集:在隱向量維度d提升到100后,MRR@20 指標(biāo)開始趨于平穩(wěn);在隱向量維度d提升到250后,P@20 指標(biāo)開始下降。對于Diginetica數(shù)據(jù)集:在隱向量維度d提升到150時,MRR@20 指標(biāo)開始下降;

    圖8 隱向量維度d 對模型效果的影響Fig.8 Influence of hidden vector dimension d on model effect

    在隱向量維度d提升到200時,P@20 指標(biāo)開始下降。由此可知,即使同一個數(shù)據(jù)集,不同的評估指標(biāo)對應(yīng)的最優(yōu)隱向量維度d是不同的。在一定范圍內(nèi),增加隱向量維度d有助于模型預(yù)測效果的提升,但繼續(xù)提高維度效果反而會越來越差,不僅容易導(dǎo)致過擬合,而且會加大計算代價。綜合考慮性能和計算代價來看,在Tmall 和Diginetica 數(shù)據(jù)集上,GGMIU 模型的隱向量維度d設(shè)為200 更合適。

    4 結(jié)束語

    本文考慮了會話信息表示中當(dāng)前會話的高層次會話語義和不同會話間的項(xiàng)目信息,建立基于全局圖和多粒度意圖單元的會話推薦模型。首先構(gòu)造跨會話圖,利用圖神經(jīng)網(wǎng)絡(luò)得到跨會話表示;接著在連續(xù)意圖單元上構(gòu)造多粒度意圖單元異構(gòu)會話圖,得到全局和局部表示;最后將三者表示進(jìn)行融合,捕獲會話中項(xiàng)目之間的復(fù)雜依賴關(guān)系。三者所融合的表示經(jīng)過會話重復(fù)點(diǎn)擊和探索行為分析后,聚合所有級別的單元預(yù)測結(jié)果得到最終的預(yù)測概率值。通過大量的實(shí)驗(yàn)結(jié)果驗(yàn)證了所提模型的有效性。后續(xù)將對多粒度意圖單元異構(gòu)圖做進(jìn)一步改進(jìn),探究意圖單元的潛在信息以挖掘用戶的意圖,提高推薦性能。

    猜你喜歡
    會話集上意圖
    原始意圖、對抗主義和非解釋主義
    法律方法(2022年2期)2022-10-20 06:42:20
    陸游詩寫意圖(國畫)
    制定法解釋與立法意圖的反事實(shí)檢驗(yàn)
    法律方法(2021年3期)2021-03-16 05:56:58
    Cookie-Cutter集上的Gibbs測度
    鏈完備偏序集上廣義向量均衡問題解映射的保序性
    復(fù)扇形指標(biāo)集上的分布混沌
    有意冒犯性言語的會話含義分析
    漢語教材中的會話結(jié)構(gòu)特征及其語用功能呈現(xiàn)——基于85個會話片段的個案研究
    燕山秋意圖
    沖突語的會話分析研究
    午夜激情福利司机影院| 亚洲va日本ⅴa欧美va伊人久久| 国产精品99久久久久久久久| 最近中文字幕高清免费大全6 | 搞女人的毛片| 亚洲第一电影网av| 亚洲五月婷婷丁香| 听说在线观看完整版免费高清| 内地一区二区视频在线| 欧美高清性xxxxhd video| 中文字幕久久专区| 熟妇人妻久久中文字幕3abv| 欧美日韩黄片免| 免费看a级黄色片| 久久婷婷人人爽人人干人人爱| 亚洲国产精品999在线| 久久精品夜夜夜夜夜久久蜜豆| 美女黄网站色视频| 狠狠狠狠99中文字幕| 国产精品久久久久久人妻精品电影| 国产精品嫩草影院av在线观看 | 亚州av有码| 久久精品综合一区二区三区| www.www免费av| 在线看三级毛片| 亚洲精品乱码久久久v下载方式| 日韩欧美国产在线观看| 中文资源天堂在线| 女同久久另类99精品国产91| 成人三级黄色视频| 99在线人妻在线中文字幕| 最近中文字幕高清免费大全6 | 久久人人爽人人爽人人片va | 国产高清有码在线观看视频| 热99re8久久精品国产| 中出人妻视频一区二区| 国产在线男女| 在线天堂最新版资源| 97碰自拍视频| 男女床上黄色一级片免费看| 最新中文字幕久久久久| 男人舔奶头视频| 一本综合久久免费| 成熟少妇高潮喷水视频| 亚洲一区高清亚洲精品| 日韩 亚洲 欧美在线| 天天躁日日操中文字幕| 色播亚洲综合网| 老鸭窝网址在线观看| 最近中文字幕高清免费大全6 | 欧美性感艳星| 好男人电影高清在线观看| 欧美激情国产日韩精品一区| 亚洲va日本ⅴa欧美va伊人久久| 国产精品98久久久久久宅男小说| 好男人电影高清在线观看| 精华霜和精华液先用哪个| 日韩欧美精品v在线| 露出奶头的视频| 亚洲成人久久爱视频| 真实男女啪啪啪动态图| 一个人看视频在线观看www免费| 国产精品伦人一区二区| 一个人观看的视频www高清免费观看| 搡老妇女老女人老熟妇| 亚洲精华国产精华精| 午夜亚洲福利在线播放| www.www免费av| 亚洲精品456在线播放app | 少妇人妻精品综合一区二区 | 免费人成在线观看视频色| 国产老妇女一区| 一区福利在线观看| 亚洲av一区综合| 欧美色视频一区免费| 精品日产1卡2卡| 好看av亚洲va欧美ⅴa在| 每晚都被弄得嗷嗷叫到高潮| 久久婷婷人人爽人人干人人爱| 极品教师在线免费播放| 久久九九热精品免费| 亚洲人成网站在线播| 精品人妻一区二区三区麻豆 | 亚洲av免费在线观看| 亚洲欧美日韩卡通动漫| 国产日本99.免费观看| 精品人妻一区二区三区麻豆 | 免费看光身美女| 精品福利观看| av中文乱码字幕在线| 99热只有精品国产| av视频在线观看入口| 久久午夜亚洲精品久久| 国产视频内射| 国产精品永久免费网站| 亚洲av中文字字幕乱码综合| 国产白丝娇喘喷水9色精品| 成人av一区二区三区在线看| 搡老岳熟女国产| 久久精品国产亚洲av香蕉五月| 在线免费观看的www视频| 一级毛片久久久久久久久女| 嫁个100分男人电影在线观看| 国产视频内射| 午夜精品一区二区三区免费看| 国产伦在线观看视频一区| 国产精品亚洲一级av第二区| 亚洲精品在线观看二区| 欧美午夜高清在线| 制服丝袜大香蕉在线| 日本一二三区视频观看| 夜夜夜夜夜久久久久| 国产 一区 欧美 日韩| 国产精品99久久久久久久久| 午夜两性在线视频| 国产一区二区三区视频了| 深夜a级毛片| 精品午夜福利在线看| 岛国在线免费视频观看| 熟女人妻精品中文字幕| 中文字幕人妻熟人妻熟丝袜美| 国产精品人妻久久久久久| 国内精品一区二区在线观看| 麻豆久久精品国产亚洲av| 3wmmmm亚洲av在线观看| 亚洲av日韩精品久久久久久密| 俺也久久电影网| 国产v大片淫在线免费观看| 99久久精品一区二区三区| 免费无遮挡裸体视频| 亚洲 国产 在线| 他把我摸到了高潮在线观看| 亚洲性夜色夜夜综合| 1024手机看黄色片| 亚洲人成网站在线播| 真人做人爱边吃奶动态| 国产精品98久久久久久宅男小说| 午夜影院日韩av| 国产一区二区在线av高清观看| 日本免费a在线| 国产精华一区二区三区| www.熟女人妻精品国产| 欧美+日韩+精品| 国产精品综合久久久久久久免费| 在线观看一区二区三区| 色哟哟·www| 亚洲七黄色美女视频| 老司机午夜十八禁免费视频| 国产在线精品亚洲第一网站| 亚洲精品一卡2卡三卡4卡5卡| 午夜福利在线在线| 黄片小视频在线播放| 亚洲av第一区精品v没综合| 午夜精品久久久久久毛片777| 欧美另类亚洲清纯唯美| 99久久99久久久精品蜜桃| 免费在线观看影片大全网站| 日本 av在线| 成人午夜高清在线视频| 很黄的视频免费| 免费一级毛片在线播放高清视频| 激情在线观看视频在线高清| 波多野结衣高清无吗| 一进一出好大好爽视频| 国产精品久久视频播放| 久久草成人影院| 日韩大尺度精品在线看网址| 在线观看舔阴道视频| 亚洲av二区三区四区| 久久精品91蜜桃| 91麻豆精品激情在线观看国产| 嫁个100分男人电影在线观看| 乱码一卡2卡4卡精品| 免费av不卡在线播放| av国产免费在线观看| 制服丝袜大香蕉在线| 亚洲欧美精品综合久久99| 久久久久国产精品人妻aⅴ院| av国产免费在线观看| 岛国在线免费视频观看| 国内精品久久久久久久电影| 国产精品野战在线观看| 日本成人三级电影网站| avwww免费| 国产精品三级大全| 床上黄色一级片| 性插视频无遮挡在线免费观看| 午夜激情福利司机影院| 免费一级毛片在线播放高清视频| 久久香蕉精品热| 91麻豆精品激情在线观看国产| 亚洲av熟女| 简卡轻食公司| 国产aⅴ精品一区二区三区波| 成人永久免费在线观看视频| 精品一区二区三区视频在线观看免费| 又粗又爽又猛毛片免费看| 日本 av在线| 一二三四社区在线视频社区8| 狠狠狠狠99中文字幕| 成人无遮挡网站| 国产欧美日韩一区二区精品| 老司机午夜福利在线观看视频| 国产精品久久电影中文字幕| 黄色日韩在线| 好男人电影高清在线观看| 日本 av在线| 国产精品三级大全| 嫩草影院入口| 简卡轻食公司| 蜜桃亚洲精品一区二区三区| 精品久久久久久久久久免费视频| 精品久久久久久久人妻蜜臀av| 搡老熟女国产l中国老女人| 成人高潮视频无遮挡免费网站| 亚洲人成网站在线播放欧美日韩| 国产精品一区二区性色av| 久久久久久九九精品二区国产| 三级国产精品欧美在线观看| 2021天堂中文幕一二区在线观| 日本 av在线| 国产91精品成人一区二区三区| 国产精品一区二区三区四区久久| 欧美黄色片欧美黄色片| 国产一区二区在线av高清观看| 久久久久久大精品| 天天躁日日操中文字幕| 桃色一区二区三区在线观看| 天堂影院成人在线观看| 国产精品99久久久久久久久| 老熟妇仑乱视频hdxx| 男女做爰动态图高潮gif福利片| 日韩欧美精品免费久久 | 白带黄色成豆腐渣| 一a级毛片在线观看| 午夜福利视频1000在线观看| 亚洲天堂国产精品一区在线| 一个人看视频在线观看www免费| 午夜福利高清视频| 国产成人福利小说| 久久精品国产99精品国产亚洲性色| 欧美不卡视频在线免费观看| 日韩欧美一区二区三区在线观看| 麻豆成人午夜福利视频| 亚洲精品乱码久久久v下载方式| 久久国产精品影院| 国产伦精品一区二区三区视频9| 欧美成人a在线观看| 黄色丝袜av网址大全| 欧美激情久久久久久爽电影| 97人妻精品一区二区三区麻豆| 少妇裸体淫交视频免费看高清| 国产精品亚洲av一区麻豆| 亚洲av中文字字幕乱码综合| 神马国产精品三级电影在线观看| 超碰av人人做人人爽久久| 久久久国产成人精品二区| 成人高潮视频无遮挡免费网站| 久久精品久久久久久噜噜老黄 | 中文字幕人成人乱码亚洲影| 国产高清有码在线观看视频| 亚洲精品乱码久久久v下载方式| 久久香蕉精品热| 有码 亚洲区| 一级av片app| 麻豆成人av在线观看| 88av欧美| 非洲黑人性xxxx精品又粗又长| 两性午夜刺激爽爽歪歪视频在线观看| 九九热线精品视视频播放| 直男gayav资源| 2021天堂中文幕一二区在线观| av女优亚洲男人天堂| 看十八女毛片水多多多| 国产黄色小视频在线观看| 脱女人内裤的视频| 久久精品国产亚洲av香蕉五月| 性欧美人与动物交配| 日本免费一区二区三区高清不卡| 欧美成狂野欧美在线观看| 亚洲色图av天堂| 国产精品自产拍在线观看55亚洲| 中文字幕av在线有码专区| 欧美黑人欧美精品刺激| 日韩欧美国产在线观看| 丰满的人妻完整版| 色尼玛亚洲综合影院| 美女免费视频网站| 日本撒尿小便嘘嘘汇集6| 不卡一级毛片| 嫁个100分男人电影在线观看| 国产精品国产高清国产av| 欧美性感艳星| 色5月婷婷丁香| 欧美精品国产亚洲| 国内精品久久久久精免费| 搡女人真爽免费视频火全软件 | 美女xxoo啪啪120秒动态图 | 毛片一级片免费看久久久久 | 日本成人三级电影网站| 中亚洲国语对白在线视频| 两性午夜刺激爽爽歪歪视频在线观看| 我要搜黄色片| 欧美绝顶高潮抽搐喷水| 99国产综合亚洲精品| 亚洲av中文字字幕乱码综合| 国产精品日韩av在线免费观看| 国产成人a区在线观看| 色综合亚洲欧美另类图片| 色综合欧美亚洲国产小说| 午夜影院日韩av| bbb黄色大片| 两个人的视频大全免费| 在现免费观看毛片| 国产精品一区二区性色av| 99riav亚洲国产免费| 精品福利观看| 亚洲精华国产精华精| 国内精品一区二区在线观看| 亚洲av熟女| 内射极品少妇av片p| 欧美性猛交╳xxx乱大交人| 国产探花在线观看一区二区| 天堂动漫精品| 免费在线观看日本一区| 亚洲国产欧洲综合997久久,| 国产色婷婷99| 欧美精品国产亚洲| 窝窝影院91人妻| 一二三四社区在线视频社区8| 久久人妻av系列| 亚洲美女视频黄频| 亚洲第一电影网av| 高清日韩中文字幕在线| 级片在线观看| 国产精品一及| 中文字幕人妻熟人妻熟丝袜美| 搡女人真爽免费视频火全软件 | 日本 欧美在线| 亚洲va日本ⅴa欧美va伊人久久| 免费大片18禁| 国产精品99久久久久久久久| 亚洲av第一区精品v没综合| 一本综合久久免费| 动漫黄色视频在线观看| 欧美成人一区二区免费高清观看| av福利片在线观看| 日本 欧美在线| 老熟妇乱子伦视频在线观看| 久久午夜福利片| 亚洲精品一卡2卡三卡4卡5卡| 国产精品久久久久久人妻精品电影| 老司机深夜福利视频在线观看| 超碰av人人做人人爽久久| 亚洲一区二区三区不卡视频| 深爱激情五月婷婷| 国产精品亚洲美女久久久| 露出奶头的视频| 少妇的逼水好多| 亚洲av日韩精品久久久久久密| 亚洲av中文字字幕乱码综合| 亚洲性夜色夜夜综合| netflix在线观看网站| 亚洲最大成人av| 欧美高清成人免费视频www| 久久久久久大精品| 国产伦在线观看视频一区| 偷拍熟女少妇极品色| 小蜜桃在线观看免费完整版高清| 国产主播在线观看一区二区| 青草久久国产| 国产午夜精品论理片| 国产一区二区三区在线臀色熟女| 在线观看舔阴道视频| 黄色视频,在线免费观看| 国产熟女xx| 国产精品精品国产色婷婷| 国产亚洲精品综合一区在线观看| 黄色视频,在线免费观看| 色5月婷婷丁香| 在线观看美女被高潮喷水网站 | 亚洲av成人av| 成人欧美大片| a级毛片a级免费在线| 午夜视频国产福利| 我要看日韩黄色一级片| 国产伦在线观看视频一区| 观看美女的网站| 搞女人的毛片| 成人午夜高清在线视频| 日本成人三级电影网站| 精品欧美国产一区二区三| 亚洲 欧美 日韩 在线 免费| 简卡轻食公司| 自拍偷自拍亚洲精品老妇| 男人狂女人下面高潮的视频| 亚洲美女视频黄频| 久久久久久久亚洲中文字幕 | 中文资源天堂在线| 欧美成人性av电影在线观看| 国产白丝娇喘喷水9色精品| 久久午夜福利片| 在线天堂最新版资源| 久久午夜亚洲精品久久| 嫩草影视91久久| 亚洲五月婷婷丁香| 欧美不卡视频在线免费观看| 免费看a级黄色片| 亚洲成人久久性| 久久6这里有精品| av专区在线播放| 久久婷婷人人爽人人干人人爱| 别揉我奶头~嗯~啊~动态视频| 国产精品99久久久久久久久| 亚洲黑人精品在线| 欧美日韩综合久久久久久 | 在线观看美女被高潮喷水网站 | or卡值多少钱| 99国产精品一区二区三区| 国产高清有码在线观看视频| 国产老妇女一区| 男人和女人高潮做爰伦理| 免费在线观看影片大全网站| 国产视频内射| 亚洲片人在线观看| 国产大屁股一区二区在线视频| 在线免费观看的www视频| 免费在线观看日本一区| av在线天堂中文字幕| 在线十欧美十亚洲十日本专区| 亚洲aⅴ乱码一区二区在线播放| 一级黄色大片毛片| 国产淫片久久久久久久久 | 成年人黄色毛片网站| 午夜福利高清视频| 亚洲精品456在线播放app | 日本免费a在线| 熟妇人妻久久中文字幕3abv| 久久6这里有精品| 免费无遮挡裸体视频| 男女视频在线观看网站免费| 99视频精品全部免费 在线| 亚洲精品影视一区二区三区av| 成年版毛片免费区| 色精品久久人妻99蜜桃| 亚洲 欧美 日韩 在线 免费| 在线天堂最新版资源| 一边摸一边抽搐一进一小说| 成人特级黄色片久久久久久久| 给我免费播放毛片高清在线观看| 国产高潮美女av| 简卡轻食公司| 99国产极品粉嫩在线观看| 国产成人aa在线观看| 中文字幕av成人在线电影| 热99re8久久精品国产| 亚洲国产精品sss在线观看| 色尼玛亚洲综合影院| 亚洲av成人av| 欧美+日韩+精品| 最近最新免费中文字幕在线| 91久久精品电影网| 蜜桃亚洲精品一区二区三区| 久久中文看片网| a级一级毛片免费在线观看| 亚洲性夜色夜夜综合| 伦理电影大哥的女人| 成人无遮挡网站| 成人毛片a级毛片在线播放| 麻豆av噜噜一区二区三区| 婷婷色综合大香蕉| 乱码一卡2卡4卡精品| 国产成年人精品一区二区| 又爽又黄a免费视频| 久久亚洲精品不卡| 午夜激情欧美在线| 国产综合懂色| 日韩欧美一区二区三区在线观看| 在线播放国产精品三级| 国产免费av片在线观看野外av| 精品日产1卡2卡| 国产一区二区在线观看日韩| 精品久久久久久成人av| 一a级毛片在线观看| 人妻久久中文字幕网| 欧美在线黄色| 国产久久久一区二区三区| 国产精品av视频在线免费观看| 特大巨黑吊av在线直播| 国产精品av视频在线免费观看| 精品久久久久久成人av| 日韩欧美一区二区三区在线观看| 中出人妻视频一区二区| av欧美777| 久久久久精品国产欧美久久久| 日韩欧美一区二区三区在线观看| 精品久久久久久久久久久久久| 国产91精品成人一区二区三区| 色尼玛亚洲综合影院| av国产免费在线观看| 蜜桃久久精品国产亚洲av| 亚洲美女视频黄频| 天堂影院成人在线观看| 国产高清视频在线观看网站| 国产色婷婷99| 亚洲国产欧美人成| 91九色精品人成在线观看| 国产精品精品国产色婷婷| 伊人久久精品亚洲午夜| 日本a在线网址| 天堂av国产一区二区熟女人妻| 欧美一区二区国产精品久久精品| 免费人成在线观看视频色| 长腿黑丝高跟| 老司机深夜福利视频在线观看| 国产精华一区二区三区| 日韩欧美精品v在线| 中文字幕人妻熟人妻熟丝袜美| 淫秽高清视频在线观看| 久久国产精品影院| 免费在线观看亚洲国产| 亚洲av.av天堂| 看黄色毛片网站| 一区二区三区四区激情视频 | 一个人免费在线观看电影| 51国产日韩欧美| 在线观看一区二区三区| 国产欧美日韩精品一区二区| 亚洲国产精品成人综合色| 身体一侧抽搐| 老司机福利观看| 亚洲综合色惰| a级一级毛片免费在线观看| 免费人成视频x8x8入口观看| 日韩人妻高清精品专区| 亚洲第一欧美日韩一区二区三区| 免费高清视频大片| 国产精品国产高清国产av| 成人av在线播放网站| 国产不卡一卡二| 看免费av毛片| 91久久精品国产一区二区成人| 日韩免费av在线播放| 色av中文字幕| 少妇的逼好多水| 757午夜福利合集在线观看| 国产真实乱freesex| 男女下面进入的视频免费午夜| 国产激情偷乱视频一区二区| 亚洲精华国产精华精| 欧美又色又爽又黄视频| 成人亚洲精品av一区二区| 长腿黑丝高跟| 国产白丝娇喘喷水9色精品| 无人区码免费观看不卡| 日韩欧美一区二区三区在线观看| 亚洲午夜理论影院| 免费观看的影片在线观看| 日本与韩国留学比较| 国产 一区 欧美 日韩| 日本免费a在线| 精品一区二区三区人妻视频| 欧美另类亚洲清纯唯美| 90打野战视频偷拍视频| 全区人妻精品视频| 国产69精品久久久久777片| 国产高清视频在线观看网站| 日韩精品中文字幕看吧| 午夜激情欧美在线| 美女黄网站色视频| 少妇熟女aⅴ在线视频| 精品人妻熟女av久视频| 亚洲综合色惰| 内射极品少妇av片p| 精品一区二区三区视频在线| 热99在线观看视频| 欧美日本视频| 午夜福利视频1000在线观看| eeuss影院久久| 亚洲中文日韩欧美视频| 男人的好看免费观看在线视频| 97人妻精品一区二区三区麻豆| 美女被艹到高潮喷水动态| 欧美xxxx黑人xx丫x性爽| 国产精品影院久久| 国产综合懂色| 亚洲av熟女| 久久欧美精品欧美久久欧美| 亚洲天堂国产精品一区在线| 嫩草影院新地址| 中文字幕av成人在线电影| 乱码一卡2卡4卡精品| 69人妻影院| 一区二区三区高清视频在线| 高清在线国产一区| 欧美日韩乱码在线| 国产免费一级a男人的天堂| 久久伊人香网站| 日韩欧美免费精品| 国产精品99久久久久久久久| 在现免费观看毛片| 国产伦精品一区二区三区视频9| 国产午夜精品论理片| 国产真实乱freesex| 免费av毛片视频| 国产精品乱码一区二三区的特点| 欧美日韩福利视频一区二区| 亚洲激情在线av| 757午夜福利合集在线观看| 非洲黑人性xxxx精品又粗又长| 日本精品一区二区三区蜜桃| 国产白丝娇喘喷水9色精品| 两人在一起打扑克的视频| 床上黄色一级片| 国产亚洲精品久久久久久毛片|