• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于自編碼器與多模態(tài)數(shù)據(jù)融合的視頻推薦方法

    2021-03-11 07:39:10顧秋陽(yáng)琚春華吳功興
    電信科學(xué) 2021年2期
    關(guān)鍵詞:編碼器模態(tài)文本

    顧秋陽(yáng),琚春華,吳功興

    研究與開(kāi)發(fā)

    基于自編碼器與多模態(tài)數(shù)據(jù)融合的視頻推薦方法

    顧秋陽(yáng)1,琚春華2,吳功興2

    (1. 浙江工業(yè)大學(xué)管理學(xué)院,浙江 杭州 310023;2. 浙江工商大學(xué),浙江 杭州 310018)

    現(xiàn)今常用的線性結(jié)構(gòu)視頻推薦方法存在推薦結(jié)果非個(gè)性化、精度低等問(wèn)題,故開(kāi)發(fā)高精度的個(gè)性化視頻推薦方法迫在眉睫。提出了一種基于自編碼器與多模態(tài)數(shù)據(jù)融合的視頻推薦方法,對(duì)文本和視覺(jué)兩種數(shù)據(jù)模態(tài)進(jìn)行視頻推薦。具體來(lái)說(shuō),所提方法首先使用詞袋和TF-IDF方法描述文本數(shù)據(jù),然后將所得特征與從視覺(jué)數(shù)據(jù)中提取的深層卷積描述符進(jìn)行融合,使每個(gè)視頻文檔都獲得一個(gè)多模態(tài)描述符,并利用自編碼器構(gòu)造低維稀疏表示。本文使用3個(gè)真實(shí)數(shù)據(jù)集對(duì)所提模型進(jìn)行了實(shí)驗(yàn),結(jié)果表明,與單模態(tài)推薦方法相比,所提方法推薦性能明顯提升,且所提視頻推薦方法的性能優(yōu)于基準(zhǔn)方法。

    自編碼器;多模態(tài)表示;數(shù)據(jù)融合;視頻推薦

    1 引言

    隨著信息技術(shù)的不斷發(fā)展,用戶和企業(yè)對(duì)推薦方法的需求不斷提升[1]。推薦方法已在許多領(lǐng)域獲得成功應(yīng)用(包括商品推薦、音樂(lè)推薦、電影推薦等),主要通過(guò)學(xué)習(xí)用戶歷史信息得到其偏好,以生成相關(guān)推薦列表,這一過(guò)程也被稱(chēng)為top-推薦。近年,國(guó)內(nèi)外學(xué)者已提出了若干個(gè)top-推薦算法[2-6],主要可分為潛空間算法(latent space method,LSM)和基于鄰域的算法(又分為基于用戶或目標(biāo)的方法)?,F(xiàn)已證明潛空間算法是解決推薦排名問(wèn)題的最優(yōu)方法,而鄰域算法則能夠更好地進(jìn)行top-推薦問(wèn)題[7]。而基于用戶與目標(biāo)的兩種推薦方法中,基于目標(biāo)的鄰域方法是通過(guò)預(yù)先定義的度量方式計(jì)算得到目標(biāo)間的相似性進(jìn)行推薦的方法,顯然優(yōu)于基于用戶的推薦方法[8]。

    但當(dāng)對(duì)目標(biāo)的描述處于稀疏高維空間時(shí),基于目標(biāo)的推薦算法存在歐氏距離(由于高維數(shù)據(jù)的稀疏性,將低維空間中的距離度量函數(shù)應(yīng)用到高維空間時(shí),隨著維數(shù)的增加,數(shù)據(jù)對(duì)象之間距離的對(duì)比性將不復(fù)存在,其有效性大大降低)和維數(shù)膨脹(當(dāng)維數(shù)越來(lái)越多時(shí),數(shù)據(jù)計(jì)算量迅速上升,所需的空間樣本數(shù)會(huì)隨維數(shù)的增加而呈指數(shù)增長(zhǎng),分析和處理多維數(shù)據(jù)的復(fù)雜度和成本呈指數(shù)級(jí)增長(zhǎng))等方面的困難,也會(huì)出現(xiàn)推薦結(jié)果非個(gè)性化、精度不高等問(wèn)題[4]。有學(xué)者引入了稀疏線性方法(sparse linear method,SLIM)以解決和緩解上述困難和問(wèn)題。當(dāng)目標(biāo)的相關(guān)信息(如電影描述等)不斷增加時(shí),Ning等[9]認(rèn)為應(yīng)充分利用這些信息,而不是僅關(guān)注由用戶過(guò)去信息組成的偏好。但其關(guān)注的始終是目標(biāo)描述的單一模態(tài),即文本信息模態(tài)。而現(xiàn)實(shí)網(wǎng)絡(luò)信息存在多種輸入渠道,包括配有情節(jié)和架構(gòu)的視頻與帶有說(shuō)明文字和標(biāo)簽的圖片等。每種模態(tài)的統(tǒng)計(jì)特征都大為不同,如何將其有效結(jié)合起來(lái)進(jìn)行推薦是現(xiàn)今學(xué)術(shù)界的一大困難。例如,當(dāng)給一張圖片配上說(shuō)明文本時(shí),文本往往會(huì)對(duì)一些從圖片中無(wú)法直接得到的信息(如地點(diǎn)、人名和事件等)進(jìn)行描述。故研究如何基于多模態(tài)數(shù)據(jù)融合方法進(jìn)行目標(biāo)推薦十分重要。

    本文提出了一種基于自編碼器與多模態(tài)數(shù)據(jù)融合的視頻推薦方法,其中的關(guān)鍵問(wèn)題是如何對(duì)不同模態(tài)的信息進(jìn)行有效組合,以便向用戶提供目標(biāo)信息的推薦。與現(xiàn)今學(xué)術(shù)界常用的方法不同,本文通過(guò)兩種數(shù)據(jù)模態(tài)來(lái)制定視頻推薦方法——視覺(jué)(即圖像序列等)模態(tài)和文本(即標(biāo)簽、標(biāo)題和描述等)模態(tài),它們構(gòu)成了視頻的基本數(shù)據(jù)。在本文所提的多模態(tài)數(shù)據(jù)融合推薦方法中,數(shù)據(jù)由不同的輸入模態(tài)組成,且各模態(tài)的表示方式也各不相同。如圖像通常通過(guò)像素強(qiáng)度或特征提取器的輸出結(jié)果進(jìn)行呈現(xiàn),它們都為實(shí)值且分布密集;相反,文本信息傾向于以離散的稀疏文本向量來(lái)呈現(xiàn),故要找到各模態(tài)間的關(guān)系非常困難。一個(gè)好的多模態(tài)表示項(xiàng)目首先需滿足在某些模態(tài)缺失的情況下,也須能得出最終結(jié)果;且其結(jié)果必須有利于目標(biāo)間的相似性計(jì)算。

    本文所提基于自編碼器與多模態(tài)數(shù)據(jù)融合的視頻推薦算法可較好地滿足以上條件。自編碼器是一種自主全連接的單隱層神經(jīng)網(wǎng)絡(luò),其目的是從無(wú)標(biāo)記的數(shù)據(jù)集中進(jìn)行學(xué)習(xí)[11]。傳統(tǒng)的自編碼器常用于特征學(xué)習(xí)或維數(shù)約簡(jiǎn),本文使用自編碼器來(lái)融合來(lái)自多個(gè)模態(tài)的目標(biāo)信息。本文的主要貢獻(xiàn)如下,首先,設(shè)計(jì)了一種基于自編碼器的多模態(tài)推薦架構(gòu),有效融合文本與視覺(jué)兩種模態(tài)的數(shù)據(jù),顯著提升了視頻推薦性能。其次,本文所提視頻推薦模型可有效避免單模態(tài)數(shù)據(jù)缺失帶來(lái)的不能得到推薦結(jié)果的情況。再次,本文所提視頻推薦方法首先使用詞袋和TF-IDF方法來(lái)描述文本數(shù)據(jù),并將所得特征與從視覺(jué)數(shù)據(jù)中提取的深層卷積描述符進(jìn)行融合,以使每個(gè)視頻文檔都獲得一個(gè)多模態(tài)描述符,并利用自編碼器構(gòu)造低維稀疏表示,有效提升了推薦技術(shù)的可行性。最后,基于多個(gè)具有明顯特征的真實(shí)數(shù)據(jù)集進(jìn)行了實(shí)驗(yàn),證明了本文所提架構(gòu)的有效性。

    2 研究現(xiàn)狀

    近年,隨著電子商務(wù)網(wǎng)站的不斷流行,學(xué)術(shù)界在用戶信息及產(chǎn)品推薦上已做出了許多突破??蓪⒋祟?lèi)推薦算法分為3類(lèi):考慮用戶個(gè)人信息及其偏好的協(xié)同過(guò)濾算法、基于內(nèi)容及相似性的算法以及基于用戶偏好和內(nèi)容的算法。

    首先對(duì)協(xié)同過(guò)濾視頻推薦算法進(jìn)行介紹。Davidson等[12]發(fā)明了一種針對(duì)Youtube的視頻推薦方法。假設(shè)用戶觀看或點(diǎn)贊了某個(gè)視頻,該視頻就為此用戶的相關(guān)視頻,之后可以使用關(guān)聯(lián)規(guī)則基于該用戶的相關(guān)視頻進(jìn)行推薦。Zhou等[13]證明了視頻推薦是YouTube上視頻瀏覽量的最重要來(lái)源之一。而Linden 等[14]在Amazon網(wǎng)站上嘗試使用協(xié)同過(guò)濾算法和分組技術(shù),旨在向其客戶進(jìn)行有效的產(chǎn)品推薦。此外,Ahmed等[15]通過(guò)對(duì)用戶偏好分類(lèi)來(lái)進(jìn)行視頻推薦。

    基于內(nèi)容的過(guò)濾算法是現(xiàn)今應(yīng)用最為廣泛的推薦算法[16]。這類(lèi)方法的一個(gè)關(guān)鍵特征是用戶建模過(guò)程。與其他推薦方法相比,這類(lèi)算法能夠顯著提高推薦質(zhì)量,其根據(jù)用戶購(gòu)買(mǎi)的物品對(duì)其偏好進(jìn)行測(cè)算。某些內(nèi)容可能對(duì)提高推薦的準(zhǔn)確度有較強(qiáng)影響,如標(biāo)簽、消息和多媒體信息等[17]。故基于內(nèi)容的過(guò)濾算法對(duì)視頻推薦非常重要,這是由于該算法結(jié)合了來(lái)自Web2.0環(huán)境中用戶的多源信息?,F(xiàn)已有幾種推薦系統(tǒng)使用了這類(lèi)算法,其中某些利用文檔標(biāo)題進(jìn)行推薦[18],另外一些利用文檔中的文本信息進(jìn)行推薦[19]。

    還有一些學(xué)者使用混合推薦算法,將協(xié)同過(guò)濾算法與基于內(nèi)容的過(guò)濾算法相結(jié)合。Kim等[20]證實(shí)了這種混合過(guò)濾算法能提高推薦質(zhì)量。在其使用的推薦算法中,使用標(biāo)簽信息來(lái)推斷用戶偏好,尤其當(dāng)用戶(冷啟動(dòng)新用戶)的相關(guān)信息很少或沒(méi)有信息時(shí),標(biāo)簽?zāi)軌驗(yàn)橥扑]提供一些線索。此外,Yang等[21]提出了一種混合算法,將評(píng)價(jià)與電影的文本信息相結(jié)合以實(shí)現(xiàn)推薦。其中,文本信息由電影標(biāo)簽和流派表示。Zhang等[28]使用另一種混合算法來(lái)進(jìn)行視頻推薦,其利用視頻內(nèi)容(標(biāo)題和描述)訓(xùn)練神經(jīng)網(wǎng)絡(luò),并利用模糊算子將其結(jié)果與用戶的個(gè)人資料相結(jié)合,從而做出推薦。

    Bobadilla等[1]提出利用物品重要性來(lái)提高推薦質(zhì)量。為了衡量目標(biāo)的重要性,使用一些標(biāo)準(zhǔn),如通過(guò)瀏覽量和/或評(píng)論的數(shù)量來(lái)判斷目標(biāo)的受歡迎程度等。還通過(guò)分析最受歡迎的Twitter話題,對(duì)Twitter上的分享視頻進(jìn)行推薦。Beutel等[23]利用用戶狀態(tài)(如時(shí)間和設(shè)備類(lèi)型等)來(lái)提高推薦準(zhǔn)確性。電影推薦系統(tǒng)旨在通過(guò)使用諸如類(lèi)型和影片名稱(chēng)等內(nèi)容信息為其用戶推薦新電影。黃立威等[24]通過(guò)自深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)獲得的描述符,與顏色和紋理的描述符相結(jié)合實(shí)現(xiàn)推薦。參考文獻(xiàn)[25-26]使用了神經(jīng)網(wǎng)絡(luò)的不同架構(gòu)來(lái)表示影片內(nèi)容。這些研究的目標(biāo)是改進(jìn)目標(biāo)內(nèi)容的表現(xiàn)形式,從而提高推薦質(zhì)量。Cheng等[27]提出了不同的表示方法,其使用一種基于神經(jīng)網(wǎng)絡(luò)來(lái)改進(jìn)用戶與目標(biāo)間關(guān)系的表示。

    還有一些研究考慮了多種模態(tài)維度的數(shù)據(jù),如視頻幀和文本元數(shù)據(jù),并將其結(jié)合起來(lái)進(jìn)行推薦,這些方法被稱(chēng)為多模態(tài)推薦系統(tǒng)。如Zhang等[28]提出了一種深度學(xué)習(xí)方法,以便結(jié)合多種維度的信息(圖像、文本和評(píng)分等)進(jìn)行產(chǎn)品推薦。而Li等[29]提出了基于音頻和圖像特征(顏色)的多模態(tài)視頻推薦方法。另外,為計(jì)算視頻間的相似度,使用了余弦距離函數(shù);考慮推薦系統(tǒng)中的信息稀疏,提出了一種基于自編碼器的推薦方法;為實(shí)現(xiàn)推薦,使用了分層貝葉斯模態(tài)的變分自編碼器,以使得其能夠在潛在概率變化下對(duì)每個(gè)項(xiàng)目進(jìn)行表示。

    通過(guò)上述對(duì)現(xiàn)有研究成果的梳理發(fā)現(xiàn),關(guān)于視頻推薦方法的研究已受到國(guó)內(nèi)外學(xué)者的重視并得到豐富的研究成果。上述研究成果雖對(duì)本文具有一定的借鑒意義,但也存在一些不足:(1)現(xiàn)有參考文獻(xiàn)中的視頻推薦方法多使用單模態(tài)數(shù)據(jù)實(shí)現(xiàn)視頻推薦(如王娜等[30]),較少有將多模態(tài)數(shù)據(jù)融合進(jìn)行視頻推薦的參考文獻(xiàn)記錄。(2)現(xiàn)有參考文獻(xiàn)多只對(duì)推薦方法進(jìn)行了改進(jìn),沒(méi)有考慮其所提方法在高維數(shù)據(jù)等計(jì)算情況中的適用性(如蘇賦等[31]),本文利用自編碼器構(gòu)造低維稀疏表示,有效提升了推薦技術(shù)的可行性。(3)現(xiàn)有關(guān)于基于視覺(jué)數(shù)據(jù)的推薦方法多使用特征提取方法實(shí)現(xiàn)推薦(如Felipe等[32]),很少有使用詞袋和TF-IDF方法先進(jìn)行描述文本數(shù)據(jù),并將所得特征與視覺(jué)數(shù)據(jù)中提取的深層卷積描述符進(jìn)行融合的參考文獻(xiàn)記錄。

    本文認(rèn)為應(yīng)設(shè)計(jì)基于自編碼器的多模態(tài)推薦架構(gòu),有效融合文本與視覺(jué)兩種模態(tài)的數(shù)據(jù),顯著提升視頻推薦性能。使用詞袋和TF-IDF方法來(lái)描述文本數(shù)據(jù),并將所得特征與從視覺(jué)數(shù)據(jù)中提取的深層卷積描述符進(jìn)行融合,使每個(gè)視頻文檔都獲得一個(gè)多模態(tài)描述符,并利用自編碼器構(gòu)造低維稀疏表示,有效提升了推薦技術(shù)的可行性。最后,基于多個(gè)具有明顯特征的真實(shí)數(shù)據(jù)集進(jìn)行了實(shí)驗(yàn),證明本文所提架構(gòu)能有效提升推薦的精度與效率。故本文將文本與視覺(jué)兩種模態(tài)數(shù)據(jù)進(jìn)行融合,以期在現(xiàn)實(shí)生活中提升視頻推薦效率,為有關(guān)部門(mén)進(jìn)行視頻監(jiān)控與推薦服務(wù)提供參考。

    3 預(yù)備知識(shí)

    3.1 top-N推薦方法

    表1 本文使用的參數(shù)符號(hào)與定義

    目標(biāo)問(wèn)題包括根據(jù)用戶的偏好(根據(jù)矩陣推斷)和從項(xiàng)目中提取的描述性的邊信息確定最符合用戶興趣的前個(gè)項(xiàng)目。

    如Cremonesi等[33]所討論的,本文應(yīng)考慮評(píng)分預(yù)測(cè)問(wèn)題,包括預(yù)測(cè)用戶給項(xiàng)目的評(píng)分。由此,可基于預(yù)測(cè)的評(píng)分對(duì)項(xiàng)目進(jìn)行排序,以最終生成推薦列表。正如Cremonesi等[33]所指出的,top-推薦是模擬真實(shí)推薦系統(tǒng)的最佳建模方法。故在本文框架中,將為用戶生成top-個(gè)最相關(guān)項(xiàng)目的推薦列表。

    3.2 稀疏線性方法

    值得注意的是,SLIM只能用于處理單模態(tài)數(shù)據(jù),不能直接用于多模態(tài)信息處理。故在本文中,對(duì)SLIM進(jìn)行了改善,引入了一種新的推薦算法,使其能夠同時(shí)對(duì)多種模態(tài)數(shù)據(jù)進(jìn)行處理。

    3.3 自編碼器

    自編碼器作為無(wú)監(jiān)督全連接的隱層神經(jīng)網(wǎng)絡(luò),其目的是對(duì)未標(biāo)記的數(shù)據(jù)集進(jìn)行學(xué)習(xí)[11]。本文希望在訓(xùn)練中將輸入數(shù)據(jù)復(fù)制到輸出時(shí),得到的隱藏層能夠呈現(xiàn)有用的屬性。本文將隱藏層中的表示同來(lái)自不同模態(tài)的信息進(jìn)行融合,以得到一個(gè)新的項(xiàng)目表示,用于構(gòu)建代表用戶偏好的推薦模型。自編碼通常是由輸入層、隱藏層和重構(gòu)層組成的前饋神經(jīng)網(wǎng)絡(luò)進(jìn)行搭建,隱藏層將目標(biāo)值設(shè)置為與輸入層相同。通用自編碼器框架如圖1所示。

    圖1 通用自編碼器框架

    而解碼器則是將得到的表示映射回原始輸入重構(gòu)層。故存在另一個(gè)映射函數(shù)定義為如式(7)所示。

    3.3.1 欠完備自編碼器

    欠完備自編碼器試圖通過(guò)使隱藏層的維度小于輸入層的維度來(lái)找到有用的數(shù)據(jù)表示。故其目的是迫使自編碼器學(xué)習(xí)一個(gè)欠完備的表示,在此過(guò)程中捕獲訓(xùn)練數(shù)據(jù)最顯著的特征。這一學(xué)習(xí)過(guò)程可以簡(jiǎn)單描述為最小化損失函數(shù)如式(8)所示。

    3.3.2 稀疏自編碼器

    3.3.3 去噪自編碼器

    3.4 卷積神經(jīng)網(wǎng)絡(luò)

    卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network,CNN)為一種特殊的神經(jīng)網(wǎng)絡(luò),其目的是在網(wǎng)格狀拓?fù)浣Y(jié)構(gòu)中處理數(shù)據(jù)[34]。卷積神經(jīng)網(wǎng)絡(luò)已成功地應(yīng)用于圖像[35]、圖形[36]和時(shí)間序列[37]數(shù)據(jù)處理中。卷積網(wǎng)絡(luò)是在其至少一層中使用卷積的神經(jīng)網(wǎng)絡(luò)。故其訓(xùn)練方法包括通過(guò)卷積濾波器層反向傳播、恢復(fù)和池化等其他操作。卷積神經(jīng)網(wǎng)絡(luò)的關(guān)鍵數(shù)學(xué)運(yùn)算稱(chēng)為卷積運(yùn)算,其為一種專(zhuān)門(mén)學(xué)習(xí)數(shù)據(jù)局部平穩(wěn)屬性的線性運(yùn)算。

    4 模型構(gòu)建

    本節(jié)描述了本文所提推薦方法的基本架構(gòu),以基于項(xiàng)目的多種模態(tài)和用戶偏好(即評(píng)分)向用戶進(jìn)行項(xiàng)目推薦。本模型將項(xiàng)目的不同多模態(tài)高維模態(tài)移動(dòng)到一個(gè)低維潛空間中,接收不同模態(tài)的輸入項(xiàng)目(在本文中項(xiàng)目為視頻)。本文假定項(xiàng)目會(huì)隨少數(shù)解釋變量而共同變化,故不能直接被觀察到,本文將這些解釋變量稱(chēng)作隱性因素[38]。圖2表示將多維數(shù)據(jù)映射到公共潛空間的思想。其中,圖2左邊為嵌入文本和圖像的形式從其來(lái)源到一個(gè)潛在空間,而圖2右邊為項(xiàng)目和用戶映射到公共空間的示例。

    本文提出用降維方法根據(jù)特定的準(zhǔn)則從高維數(shù)據(jù)中發(fā)現(xiàn)和提取這些潛在因素。通過(guò)將這些項(xiàng)目的表示映射到一個(gè)低維潛在空間中,并自動(dòng)降低了模態(tài)的稀疏性。然后利用這種新的低維項(xiàng)目表示來(lái)計(jì)算項(xiàng)目對(duì)間的相似度,最終提高推薦質(zhì)量。

    圖3表示本文所提推薦方法的框架。首先,本文假設(shè)使用的數(shù)據(jù)集包含以下內(nèi)容:用戶偏好歷史記錄,即用戶對(duì)視頻進(jìn)行的評(píng)分記錄;項(xiàng)目集,即種不同的模態(tài)表示形式。然后將該數(shù)據(jù)集分成兩個(gè)數(shù)據(jù)集,即訓(xùn)練集和測(cè)試集。當(dāng)處于訓(xùn)練模式時(shí),本文所提推薦方法構(gòu)建了一個(gè)推薦模型,該模型表示用戶的偏好模式;而在測(cè)試模式中,使用先前訓(xùn)練過(guò)的推薦模型向用戶推薦不在訓(xùn)練集中的項(xiàng)目。

    圖2 多模態(tài)數(shù)據(jù)融合在推薦系統(tǒng)中的應(yīng)用實(shí)例

    圖3 多模式數(shù)據(jù)融合的推薦框架

    其框架中包含兩個(gè)模塊:邊信息構(gòu)建和推薦引擎。邊信息構(gòu)建通過(guò)處理項(xiàng)目的視覺(jué)和文本特征并計(jì)算其間的相似性來(lái)創(chuàng)建邊信息矩陣。推薦引擎為用戶生成了一個(gè)top-推薦列表。

    4.1 邊信息構(gòu)建模塊

    邊信息構(gòu)建模塊包含與項(xiàng)目表示相關(guān)的兩個(gè)重要任務(wù)。首先,本文詳細(xì)說(shuō)明如何根據(jù)原始特征來(lái)表示項(xiàng)目。故本文展示了如何組合不同模態(tài)的信息,各個(gè)模態(tài)都以原始特征表示,從而為數(shù)據(jù)集中的所有項(xiàng)目提供一個(gè)新的表示形式。最后,該模塊輸出的是邊信息矩陣,正如在第3.2節(jié)提到的,稀疏線性推薦模態(tài)引入了項(xiàng)目間的相似性矩陣(具體如第4.2節(jié)所述),提高了推薦的質(zhì)量。

    4.1.1 特征提取

    本文考慮了兩種模態(tài)來(lái)對(duì)項(xiàng)目進(jìn)行表示,即文本表示和視覺(jué)表示。本文的重點(diǎn)是視頻推薦,故將視頻的標(biāo)題和情節(jié)看作文本信息,并將視頻幀看作視覺(jué)信息。

    其次,對(duì)視覺(jué)幀建模進(jìn)行介紹。關(guān)于視覺(jué)特征,本文首先提取給定視頻的幀集。由于每個(gè)視頻需要用相同數(shù)量的特征進(jìn)行表示,故考慮集合中最小的視頻,以均勻的采樣間隔從中選擇幀。以使有一個(gè)視頻的代表性樣本,同時(shí)減少此特征提取過(guò)程的計(jì)算成本。

    4.1.2 特征轉(zhuǎn)換

    在這個(gè)模塊中,通過(guò)融合多個(gè)模態(tài)來(lái)執(zhí)行特征轉(zhuǎn)換,為項(xiàng)目構(gòu)建一個(gè)新的表示形式。在執(zhí)行該融合后,每個(gè)視頻被表示為矩陣中的行f?;谧跃幋a器與多模態(tài)數(shù)據(jù)融合的推薦框架如圖4所示,本文提出了3種基于自編碼器的體系結(jié)構(gòu)來(lái)進(jìn)行這種新項(xiàng)目表示的學(xué)習(xí)。自編碼器由于其簡(jiǎn)單性和高效性,能夠在各種條件下進(jìn)行特征學(xué)習(xí),本文在多模態(tài)數(shù)據(jù)融合的推薦推薦方法中利用了這種特性。

    關(guān)于本文提出的3個(gè)融合多模態(tài)數(shù)據(jù)的體系結(jié)構(gòu),其原理是利用模態(tài)間和模態(tài)內(nèi)的語(yǔ)義相關(guān)性。在3個(gè)體系結(jié)構(gòu)中,都計(jì)算了一個(gè)潛在的項(xiàng)目表示,這些項(xiàng)目在一個(gè)公共空間中組合為不同的模態(tài)。

    共享單層自編碼器(shared single-layered autoencoder,S-SLAE)架構(gòu)指直接地使用自編碼器進(jìn)行新數(shù)據(jù)表示學(xué)習(xí)的架構(gòu)。本文將文本和視覺(jué)模態(tài)連接起來(lái),作為特定自編碼器的輸入。并將該自編碼器的隱藏層作為輸入項(xiàng)的新表示,以保持模態(tài)間的語(yǔ)義關(guān)系。最后得到了一個(gè)自編碼器,在一個(gè)單一層次的體系結(jié)構(gòu)中,可以在模態(tài)間共享。

    圖4 基于自編碼器與多模態(tài)數(shù)據(jù)融合的推薦框架

    獨(dú)立單層自編碼器(independent single-layer autoencoder,I-SLAE)架構(gòu)指使用自編碼器來(lái)探索數(shù)據(jù)中的模態(tài)內(nèi)語(yǔ)義關(guān)系。具體地說(shuō),每一個(gè)模態(tài)都是用不同的編碼器來(lái)處理的,即對(duì)每一個(gè)模態(tài)都有一個(gè)不同的特征學(xué)習(xí)過(guò)程。將從每個(gè)自編碼器學(xué)習(xí)到的新表示進(jìn)行連接,以構(gòu)建新的項(xiàng)目表示。此處的每個(gè)模態(tài)都有獨(dú)立的自編碼器,且仍然在體系結(jié)構(gòu)中保留一個(gè)單層。

    雙層自編碼器(two-layered autoencoder,TLAE)架構(gòu)指通過(guò)同時(shí)利用模態(tài)間和模態(tài)內(nèi)的語(yǔ)義關(guān)系來(lái)結(jié)合前述兩種體系的結(jié)構(gòu)。為了實(shí)現(xiàn)這一目的,本文提出了一個(gè)雙層體系結(jié)構(gòu),以不同的方式進(jìn)行信息融合。在底層,和獨(dú)立單層自編碼體系一樣,使用不同的自編碼器來(lái)學(xué)習(xí)模態(tài)間的語(yǔ)義關(guān)系;在頂層,先將學(xué)習(xí)到的表示連接起來(lái),并使用不同的自編碼器來(lái)探索模態(tài)間的語(yǔ)義關(guān)系。

    值得注意的是,在獨(dú)立單層自編碼器和雙層自編碼器中,能夠并行化模態(tài)內(nèi)學(xué)習(xí)的步驟,這在處理大規(guī)模數(shù)據(jù)集時(shí)非常重要。最后,本文所提自編碼器中的所有訓(xùn)練都為無(wú)監(jiān)督的,而在項(xiàng)目無(wú)標(biāo)簽的情況下,這是本文的一個(gè)重要優(yōu)勢(shì)。

    4.2 推薦模塊

    本文結(jié)合前文中討論的概念對(duì)推薦模塊進(jìn)行詳細(xì)介紹。首先,定義SLIM的聚集系數(shù)矩陣表示項(xiàng)目特征空間的函數(shù)。故可直接在矩陣(也稱(chēng)為邊信息矩陣)中展現(xiàn)項(xiàng)目間的相似性。這種方法的優(yōu)點(diǎn)是能夠捕獲項(xiàng)目間基于特征的關(guān)系。值得關(guān)注的是,本文所提方法不像SLIM那樣只考慮一種模態(tài),而是能夠考慮任意數(shù)量的項(xiàng)目模態(tài),這是本文的重要優(yōu)勢(shì)之一,這在數(shù)據(jù)稀疏和冷啟動(dòng)的情況下尤為明顯。

    首先,本文利用矩陣給出的項(xiàng)目表示形式,構(gòu)造項(xiàng)目間的相似性矩陣。如前所述,矩陣通過(guò)使用自編碼器融合模態(tài),擁有項(xiàng)目的新表示形式。值得關(guān)注的是,本文使用新的項(xiàng)目表示形式可以避免原始項(xiàng)描述的稀疏性(如用于文本模態(tài)的詞袋等)。最初提出稀疏線性模型時(shí),使用一次范數(shù)來(lái)控制模型復(fù)雜度和避免過(guò)擬合。本文還使用此范數(shù),通過(guò)在非稀疏維度中表示項(xiàng)目來(lái)強(qiáng)調(diào)稀疏性問(wèn)題。

    算法1 本文所提多模態(tài)數(shù)據(jù)融合推薦方法

    Require Matrices R and F, and item similarity function g

    (4)end for

    (5)end for

    coefficient matrix

    (9)end for

    本文所提推薦方法是靈活的,這是由于可設(shè)置輸入為:(1)通過(guò)矩陣融合的任何模態(tài);(2)項(xiàng)目間的相似度函數(shù)(此處使用余弦函數(shù)進(jìn)行相似度計(jì)算)。該算法的工作分兩個(gè)步驟:第一步,根據(jù)給定的相似度函數(shù)識(shí)別項(xiàng)目對(duì)間的相似性(第1~5行)。第二步,計(jì)算聚集系數(shù)矩陣,并在此遵循SLIM的優(yōu)化方案,運(yùn)用坐標(biāo)下降法來(lái)求得矩陣(第6~9行)。

    5 實(shí)驗(yàn)結(jié)果與分析

    5.1 數(shù)據(jù)說(shuō)明

    本文實(shí)驗(yàn)中使用了來(lái)自電影推薦領(lǐng)域常用的3個(gè)真實(shí)數(shù)據(jù)集。其中包括兩個(gè)版本的MovieLens數(shù)據(jù)集(關(guān)于電影評(píng)分的數(shù)據(jù)集):MovieLens-1M和MovieLens-10M。除此之外,本文團(tuán)隊(duì)利用Python工具分別利用API爬取豆瓣的真實(shí)用戶評(píng)分?jǐn)?shù)據(jù)集作為實(shí)驗(yàn)的基礎(chǔ)數(shù)據(jù),爬取時(shí)間為2019年8月19日至2020年1月24日。表2為經(jīng)過(guò)數(shù)據(jù)預(yù)處理后的數(shù)據(jù)集統(tǒng)計(jì)結(jié)果。MovieLens-1M數(shù)據(jù)集包括來(lái)自3 582個(gè)視頻的6 383個(gè)用戶的1 023 839條評(píng)分?jǐn)?shù)據(jù)。MovieLens-10M數(shù)據(jù)集包含來(lái)自8 923個(gè)視頻的75 124個(gè)用戶的11 293 834條評(píng)級(jí)數(shù)據(jù)。豆瓣數(shù)據(jù)集包含2 694個(gè)用戶對(duì)2 445個(gè)視頻的601 543條評(píng)級(jí)數(shù)據(jù)。在上述數(shù)據(jù)集中,為創(chuàng)建用戶—項(xiàng)目矩陣,當(dāng)用戶對(duì)該視頻的評(píng)分至少為4星及4星以上時(shí),則認(rèn)為該視頻與該用戶相關(guān),并從數(shù)據(jù)庫(kù)中提取相關(guān)電影的預(yù)告片進(jìn)行分析,其中豆瓣數(shù)據(jù)集中的視頻長(zhǎng)度較短。

    5.2 評(píng)估方法

    表2 實(shí)驗(yàn)使用數(shù)據(jù)集統(tǒng)計(jì)

    本文參照參考文獻(xiàn)[42]的做法,選取top-的歸一化折現(xiàn)累積增益(NDCG@)作為判斷標(biāo)準(zhǔn),其常用于衡量推薦與理想排名間的接近程度,具體計(jì)算方法如式(14)所示。在此得出的為100次迭代后的平均度量結(jié)果。

    本文對(duì)第3.3節(jié)中介紹的3種自編碼器(欠完備自編碼器、稀疏自編碼器和去噪自編碼器)進(jìn)行了實(shí)例化。還測(cè)試了原始特征的級(jí)聯(lián),本文稱(chēng)之為非自編碼特征融合(non-autoencoder feature fusion,NOAE)。最后,為從視頻幀中進(jìn)行原始視覺(jué)特征的提取,本文使用了現(xiàn)今最先進(jìn)的卷積網(wǎng)絡(luò),即AOP框架下的interception-V3算法[40]。為實(shí)現(xiàn)這一點(diǎn),本文使用倒數(shù)第二個(gè)全連接層的輸出表示視頻的單個(gè)幀,其維度為2 048。

    5.3 基準(zhǔn)方法

    為比較本文所提基準(zhǔn)方法與經(jīng)典推薦方法和現(xiàn)今前沿推薦方法相比的優(yōu)劣,選取下列推薦方法作為基準(zhǔn)進(jìn)行比較。

    (1)貝葉斯個(gè)性化排名矩陣分解推薦方法(the Bayesian personalized ranking matrix factorization recommendation approach,BPRMF)是目前最先進(jìn)的基于排名的top-推薦方法之一[5]。

    (2)加權(quán)正則化矩陣分解(weighted regularized matrix factorization,WRMF)將用戶評(píng)級(jí)作為二進(jìn)制值,并考慮觀察到的評(píng)級(jí)和未觀察到的評(píng)級(jí)的不同機(jī)密值,從而對(duì)該模型進(jìn)行擬合[2]。

    (3)稀疏線性方法(sparse linear method,SLIM)使用一個(gè)稀疏線性模型來(lái)進(jìn)行項(xiàng)目推薦,通過(guò)其他項(xiàng)目的集合來(lái)計(jì)算新項(xiàng)目的評(píng)分[9]。

    (4)協(xié)同主題回歸(collaborative topic regression,CTR)模型是一種同時(shí)進(jìn)行主題建模和協(xié)同過(guò)濾的生成式推薦模型。該方法側(cè)重于在學(xué)習(xí)語(yǔ)義主題的過(guò)程中從項(xiàng)目描述中挖掘文本信息[6]。

    (5)協(xié)同變分自編碼器推薦方法(collaborative variational autoencoder recommendation approach,CVAE)是一種將變分自編碼器集成到概率矩陣分解中的層次貝葉斯模型,用其學(xué)習(xí)概率潛在變量來(lái)表示項(xiàng)目?jī)?nèi)容信息[41]。

    (6)聯(lián)合表示學(xué)習(xí)(joint representation learning,JRL)是一種最新的推薦方法,將多個(gè)證據(jù)源結(jié)合起來(lái),以產(chǎn)生與產(chǎn)品推薦有關(guān)的前個(gè)項(xiàng)目。

    本文為每種模態(tài)的數(shù)據(jù)來(lái)源(圖像、評(píng)論文本和評(píng)分等)創(chuàng)建了深層表示。為對(duì)文本進(jìn)行表示,使用了Le等[42]提出的方法,并使用Jia等[43]提出的方法對(duì)圖形進(jìn)行表示,即由在包含1 200 000張ImageNet的圖像數(shù)據(jù)集中進(jìn)行預(yù)先訓(xùn)練的Caffe深度學(xué)習(xí)網(wǎng)絡(luò)進(jìn)行表示。本文對(duì)用戶對(duì)所有物品的評(píng)分及所有用戶對(duì)項(xiàng)目的評(píng)分進(jìn)行了深度學(xué)習(xí)表示。為了結(jié)合這些數(shù)據(jù),增加了一個(gè)新的層,然后結(jié)合成對(duì)學(xué)習(xí)排序方法生成一個(gè)top-推薦列表。

    5.4 實(shí)驗(yàn)結(jié)果

    5.4.1 總體績(jī)效

    圖5 測(cè)試數(shù)據(jù)集中不同推薦方法的NDCG@N值

    由圖5可知,本文所提AE-MDF推薦方法較其他推薦方法具有更好的性能。JRL方法也具有較好的表現(xiàn),而B(niǎo)PRMF方法性能較差,這是由于其只考慮了用戶評(píng)分,而忽略了項(xiàng)目描述內(nèi)容。本文所提AE-MDF推薦方法與基準(zhǔn)方法JRL相比,性能在不同的數(shù)據(jù)集中提升了7%~32%不等。尤其是在最大的數(shù)據(jù)集MovieLens-10M數(shù)據(jù)集中,JRL方法與本文所提AE-MDF方法性能最為接近。而圖6的不同數(shù)據(jù)集中的視頻推薦算法精度也證明了本文所提視頻推薦方法的優(yōu)越性。

    圖6 測(cè)試數(shù)據(jù)集中不同推薦方法的精度值

    圖7 使用不同模態(tài)數(shù)據(jù)實(shí)例化的情況下的NDCG@N值

    由圖7還可看出,在所有數(shù)據(jù)集中基于視覺(jué)推薦的表現(xiàn)要比基于文本的推薦效果更好。另外,基于文本推薦可能有助于改進(jìn)推薦結(jié)果,這是由于多模態(tài)協(xié)同推薦比單獨(dú)使用兩種模式效果更好。這一點(diǎn)在豆瓣數(shù)據(jù)集中表現(xiàn)得尤為明顯。圖8報(bào)告了不同數(shù)據(jù)集中使用不同模態(tài)數(shù)據(jù)實(shí)例化的情況下的Precision值,由結(jié)果可知本文所提多模態(tài)融合的視頻推薦方法相對(duì)具有更優(yōu)的精度。

    圖8 使用不同模態(tài)數(shù)據(jù)實(shí)例化的情況下的精度值

    表3 本文所提推薦方法在使用不同自編碼器時(shí)的NDCG@10值

    注:加粗項(xiàng)為每列最佳項(xiàng)。

    5.4.2 自編碼器類(lèi)型

    為呈現(xiàn)不同類(lèi)型的自編碼器對(duì)本文所提AE-MDF推薦方法的影響,在最簡(jiǎn)單的共享單層自編碼架構(gòu)下進(jìn)行實(shí)驗(yàn)。表3列出了本文所提模型使用不同自編碼器時(shí)(欠完備自編碼器(UAE)、去噪自編碼器(DAE)和稀疏自編碼器(SAE)),在不同數(shù)據(jù)集中的NDCG@10值。本文還在不使用自編碼器(NOAE)的情況下提供了不同模態(tài)數(shù)據(jù)的NDCG@10值。

    從表3結(jié)果可知,對(duì)單獨(dú)模態(tài)而言,使用視覺(jué)信息時(shí)的性能要優(yōu)于使用文本描述時(shí)的性能。另外,在使用多模態(tài)數(shù)據(jù)時(shí),文本信息與視覺(jué)信息相結(jié)合效果要優(yōu)于使用任何單獨(dú)模態(tài)的性能。在MovieLens-1M和豆瓣數(shù)據(jù)集中,稀疏自編碼器在所有模態(tài)上都取得了比其他方法更好的表現(xiàn);而對(duì)于MovieLens-10M數(shù)據(jù)集,雖然稀疏自編碼器表現(xiàn)較好,但欠完備自編碼器在視覺(jué)模態(tài)和多模態(tài)表示方面表現(xiàn)優(yōu)于任何其他自編碼器。

    5.4.3 數(shù)據(jù)融合結(jié)構(gòu)

    本文對(duì)使用不同組合的自編碼器對(duì)多模態(tài)數(shù)據(jù)金融融合的方式進(jìn)行實(shí)驗(yàn)。如第4.1.2節(jié)所述,本文提出了3種基于自編碼器的不同結(jié)構(gòu)對(duì)多模態(tài)數(shù)據(jù)進(jìn)行融合。為實(shí)現(xiàn)這一點(diǎn),本文使用了稀疏自動(dòng)編碼器,這是由于其在第5.4.2節(jié)中的性能效果最好。圖9表示本文所提AE-MDF推薦方法在不同特征轉(zhuǎn)換結(jié)構(gòu)下的性能,同時(shí)給出了僅使用多模態(tài)數(shù)據(jù)(即當(dāng)不使用自動(dòng)編碼器進(jìn)行不同模態(tài)的數(shù)據(jù)融合)的NDCG@值。

    圖9 不同特征轉(zhuǎn)換結(jié)構(gòu)的NDCG@N值

    當(dāng)對(duì)MoiveLens-1M和MoiveLens-10M數(shù)據(jù)集進(jìn)行處理時(shí),最佳策略是使用獨(dú)立單層自編碼器來(lái)挖掘數(shù)據(jù)中的模態(tài)語(yǔ)義關(guān)系,這是由于在這兩張數(shù)據(jù)集中有足夠多的視頻信息可供提取模態(tài)信息。當(dāng)對(duì)豆瓣數(shù)據(jù)集進(jìn)行處理時(shí),使用雙層自編碼器架構(gòu)可獲得最優(yōu)結(jié)果。在此情況下,可利用模態(tài)內(nèi)和模態(tài)間的語(yǔ)義關(guān)系克服該數(shù)據(jù)集內(nèi)視頻太短的問(wèn)題。

    6 結(jié)束語(yǔ)

    本文提出了一種基于自編碼器與多模態(tài)數(shù)據(jù)融合的推薦方法。提出3種架構(gòu)來(lái)進(jìn)行項(xiàng)目的多模態(tài)表示(本文使用的模態(tài)包括文本和視覺(jué),其中本文使用Inception卷積神經(jīng)網(wǎng)絡(luò)算法進(jìn)行視覺(jué)模態(tài)特征提?。?,并展示了如何使用多模態(tài)數(shù)據(jù)融合項(xiàng)目表示來(lái)提高推薦的質(zhì)量。值得注意的是,本文提出的視頻推薦方法非常靈活,除文本與視覺(jué)還可以使用其他類(lèi)型的模態(tài)數(shù)據(jù)進(jìn)行融合推薦。最后,在3個(gè)不同特征的真實(shí)數(shù)據(jù)集進(jìn)行實(shí)驗(yàn),對(duì)本文所提架構(gòu)進(jìn)行驗(yàn)證。實(shí)驗(yàn)結(jié)果表明,本文所提AE-MDF推薦方法優(yōu)于其他基準(zhǔn)算法。

    盡管本文已提出了上述具有重要意義的發(fā)現(xiàn),但還是具有一些局限性,其中一些可能會(huì)為未來(lái)的進(jìn)一步研究指明方向:首先,可對(duì)圖像的其他原始特征表示進(jìn)行研究,并分析其對(duì)本文所提方法性能的影響。其次,可嘗試增加其他模態(tài)(如音頻等)的數(shù)據(jù)到模型中,以進(jìn)一步提升其對(duì)視頻的推薦性能。最后,可針對(duì)其他推薦領(lǐng)域(如社交網(wǎng)絡(luò)、產(chǎn)品和音樂(lè)等)進(jìn)行研究和算法優(yōu)化。

    [1]BOBADILLA J, ORTEGA F, HERNANDO A, et al. Recommender systems survey[J]. Knowledge-based systems, 2013(46): 109-132.

    [2]HU Y, KOREN Y, VOLINSKY C. Collaborative filtering for implicit feedback datasets[C]//Proceedings of 2008 Eighth IEEE International Conference on Data Mining. Piscataway: IEEE Press, 2008: 263-272.

    [3]LI Z, PENG J Y, GENG G H, et al. Video recommendation based on multi-modal information and multiple kernel[J]. Multimedia Tools and Applications, 2015, 74(13): 4599-4616.

    [4]NING X, KARYPIS G. Slim: sparse linear methods for top-n recommender systems[C]//Proceedings of 2011 IEEE 11th International Conference on Data Mining. Piscataway: IEEE Press, 2011: 497-506.

    [5]RENDLE S, FREUDENTHALER C, GANTNER Z, et al. Bpr: Bayesian personalized ranking from implicit feedback. UAI’09[J]. Arlington, Virginia, United States, 2009: 452-461.

    [6]WANG C, BLEI D M. Collaborative topic modeling for recommending scientific articles[C]//Proceedings of the 17th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York: ACM Press, 2011: 448-456.

    [7]KABBUR S, NING X, KARYPIS G. Fism: factored item similarity models for top-recommender systems[C]//Proceedings of the 19th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York: ACM Press, 2013: 659-667.

    [8]DESHPANDE M, KARYPIS G. Item-based top-n recommendation algorithms[J]. ACM Transactions on Information Systems, 2004, 22(1): 143-177.

    [9]NING X, KARYPIS G. Sparse linear methods with side information for top-recommendations[C]//Proceedings of the Sixth ACM Conference on Recommender Systems. New York: ACM Press, 2012: 155-162.

    [10]任永功, 楊柳, 劉洋. 基于熱擴(kuò)散影響力傳播的社交網(wǎng)絡(luò)個(gè)性化推薦算法[J]. 模式識(shí)別與人工智能, 2019, 32(8): 746-757.

    REN Y G, YANG L, LIU Y. Heat diffusion influence propagation based personalized recommendation algorithm for social network[J]. Pattern Recognition and Artificial Intelligence, 2019, 32(8): 746-757.

    [11]RUMELHART D E, HINTON G E, WILLIAMS R J. Learning representations by back-propagating errors[J]. Nature, 1986, 323(6088): 533-536.

    [12]DAVIDSON J, LIEBALD B, LIU J, et al. The YouTube video recommendation system[C]//Proceedings of the Fourth ACM Conference on Recommender Systems. New York: ACM Press, 2010: 293-296.

    [13]ZHOU R, KHEMMARAT S, GAO L. The impact of YouTube recommendation system on video views[C]//Proceedings of the 10th ACM SIGCOMM Conference on Internet Measurement. New York: ACM Press, 2010: 404-410.

    [14]LINDEN G, SMITH B, YORK J. Amazon. com recommendations: Item-to-item collaborative filtering[J]. IEEE Internet Computing, 2003, 7(1): 76-80.

    [15]AHMED M, IMTIAZ M T, KHAN R. Movie recommendation system using clustering and pattern recognition network[C]//Proceedings of 2018 IEEE 8th Annual Computing and Communication Workshop and Conference (CCWC). Piscataway: IEEE Press, 2018: 143-147.

    [16]BEEL J, GIPP B, LANGER S, et al. paper recommender systems: a literature survey[J]. International Journal on Digital Libraries, 2016, 17(4): 305-338.

    [17]BOBADILLA J, HERNANDO A, ORTEGA F, et al. Collaborative filtering based on significances[J]. Information Sciences, 2012, 185(1): 1-17.

    [18]LAO N, COHEN W W. Relational retrieval using a combination of path-constrained random walks[J]. Machine Learning, 2010, 81(1): 53-67.

    [19]NASCIMENTO C, LAENDER A H F, DA SILVA A S, et al. A source independent framework for research paper recommendation[C]//Proceedings of the 11th Annual International ACM/IEEE Joint Conference on Digital Libraries. New York: ACM Press, 2011: 297-306.

    [20]KIM H N, JI A T, HA I, et al. Collaborative filtering based on collaborative tagging for enhancing the quality of recommendation[J]. Electronic Commerce Research and Applications, 2010, 9(1): 73-83.

    [21]YANG C, CHEN X, LIU L, et al. A hybrid movie recommendation method based on social similarity and item attributes[C]// Proceedings of International Conference on Sensing and Imaging. Heidelberg: Springer, 2018: 275-285.

    [22]CHRISTAKOU C, VRETTOS S, STAFYLOPATIS A. A hybrid movie recommender system based on neural networks[J]. International Journal on Artificial Intelligence Tools, 2007, 16(5): 771-792.

    [23]BEUTEL A, COVINGTON P, JAIN S, et al. Latent cross: making use of context in recurrent recommender systems[C]//Proceedings of the Eleventh ACM International Conference on Web Search and Data Mining. New York: ACM Press, 2018: 46-54.

    [24]黃立威, 江碧濤, 呂守業(yè), 等. 基于深度學(xué)習(xí)的推薦系統(tǒng)研究綜述[J]. 計(jì)算機(jī)學(xué)報(bào), 2018, 41(7): 1619-1647.

    HUANG L W, JIANG B T, LV S Y, et al. A review of recommendation Systems based on deep learning[J]. Journal of Computer Science, 2018, 41(7): 1619-1647.

    [25]COVINGTON P, ADAMS J, SARGIN E. Deep neural networks for youtube recommendations[C]//Proceedings of the 10th ACM Conference on Recommender Systems. New York: ACM Press, 2016: 191-198.

    [26]FAN Y, WANG Y, YU H, et al. Movie recommendation based on visual features of trailers[C]//Proceedings of International Conference on Innovative Mobile and Internet Services in Ubiquitous Computing. Heidelberg: Springer, 2017: 242-253.

    [27]CHENG H T, KOC L, HARMSEN J, et al. Wide & deep learning for recommender systems[C]//Proceedings of the 1st Workshop on Deep Learning for Recommender Systems. [S.l.:s.n.], 2016: 7-10.

    [28]ZHANG Y, AI Q, CHEN X, et al. Joint representation learning for top-recommendation with heterogeneous information sources[C]//Proceedings of the 2017 ACM on Conference on Information and Knowledge Management. New York: ACM Press, 2017: 1449-1458.

    [29]LI Z, PENG J Y, GENG G H, et al. Video recommendation based on multi-modal information and multiple kernel[J]. Multimedia Tools and Applications, 2015, 74(13): 4599-4616.

    [30]王娜, 何曉明, 劉志強(qiáng), 等. 一種基于用戶播放行為序列的個(gè)性化視頻推薦策略[J]. 計(jì)算機(jī)學(xué)報(bào), 2020, 43(1): 123-135.

    WANG N, HE X M, LIU Z Q, et al. Personalized video recommendation strategy based on user’s playback behavior sequence[J]. Journal of Computer Science, 2020, 43(1): 123-135.

    [31]蘇賦, 呂沁, 羅仁澤. 基于深度學(xué)習(xí)的圖像分類(lèi)研究綜述[J]. 電信科學(xué), 2019, 35(11): 58-74.

    SU F, LV Q, LUO R Z. Review of image classification based on deep learning[J]. Telecommunications Science, 2019, 35(11): 58-74.

    [32]FELIPE L A, CONCEIC A L C, Pádua A L A C, et al Multimodal data fusion framework based on autoencoders for top-recommender systems[J]. Applied Intelligence, 2019, 49(9). 3267-3282.

    [33]CREMONESI P, KOREN Y, TURRIN R. Performance of recommender algorithms on top-recommendation tasks[C]// Proceedings of the fourth ACM conference on Recommender systems. New York: ACM Press, 2010: 39-46.

    [34]LECUN Y, BOSER B, DENKER J S, et al. Backpropagation applied to handwritten zip code recognition[J]. Neural computation, 1989, 1(4): 541-551.

    [35]NASCIMENTO G, LARANIEIRA C, BRAZ V, et al. A robust indoor scene recognition method based on sparse representation[C]//Proceedings of Iberoamerican Congress on Pattern Recognition. Heidelberg: Springer, 2017: 408-415.

    [36]DEFFERRARD M, BRESSON X, VANDERGHEYNST P. Convolutional neural networks on graphs with fast localized spectral filtering[C]//Advances in Neural Information Processing Systems.[S.l.:s.n.], 2016: 3844-3852.

    [37]YANG J, NGUYEN M N, SAN P P, et al. Deep convolutional neural networks on multichannel time series for human activity recognition[C]//Proceedings of Twenty-Fourth International Joint Conference on Artificial Intelligence. [S.l.:s.n.],2015: 3995-4001.

    [38]CUNNINGHAM J P, BYRON M Y. Dimensionality reduction for large-scale neural recordings[J]. Nature Neuroscience, 2014, 17(11): 1500-1509.

    [39]BAEZA-YATES R, RIBEIRO-NETO B. Modern information retrieval[M]. New York: ACM Press, 1999.

    [40]SZEGEDY C, VANHOUCKE V, IOFFE S, et al. Rethinking the inception architecture for computer vision[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Piscataway: IEEE Press, 2016: 2818-2826.

    [41]RUSSAKOVSKY O, DENG J, SU H, et al. Imagenet large scale visual recognition challenge[J]. International Journal of Computer Vision, 2015, 115(3): 211-252.

    [42]LE Q, MIKOLOY T. Distributed representations of sentences and documents[C]//Proceedings of International Conference on Machine Learning. [S.l.:s.n.], 2014: 1188-1196.

    [43]JIA Y, SHELHAMER E, DONAHUE J, et al. Caffe: Convolutional architecture for fast feature embedding[C]//Proceedings of the 22nd ACM International Conference on Multimedia. New York: ACM Press, 2014: 675-678.

    [44]胡春華, 童小芹, 梁偉. 基于信任和不信任關(guān)系的實(shí)值受限玻爾茲曼機(jī)推薦算法[J]. 系統(tǒng)工程理論與實(shí)踐, 2019, 39(7): 1817-1830.

    HU C H, TONG X X, LIANG W. The real-value restricted Boltzmann machine recommendation algorithm based on trust-distrust relationship[J]. Systems Engineering-Theory & Practice, 2019, 39(7): 1817-1830.

    [45]肖云鵬, 孫華超, 戴天驥, 等. 一種基于云模型的社交網(wǎng)絡(luò)推薦系統(tǒng)評(píng)分預(yù)測(cè)方法[J]. 電子學(xué)報(bào), 2018, 46(7): 1762-1767.

    XIAO Y P, SUN H C, DAI T J, et al. A rating prediction method based on cloud model in social recommendation system[J]. Acta Electronica Sinica, 2018, 46(7): 1762-1767.

    Fusion of auto encoders and multi-modal data based video recommendation method

    GU Qiuyang1, JU Chunhua2, WU Gongxing2

    1. Zhejiang University of Technology, School of Management, Hangzhou 310023, China 2.Zhejiang Gongshang University, Hangzhou 310018, China

    Nowadays, the commonly used linear structure video recommendation methods have the problems of non-personalized recommendation results and low accuracy, so it is extremely urgent to develop high-precision personalized video recommendation method. A video recommendation method based on the fusion of autoencoders and multi-modal data was presented. This method fused two data including text and vision for video recommendation. To be specific, the method proposed firstly used bag of words and TF-IDF methods to describe text data, and then fused the obtained features with deep convolutional descriptors extracted from visual data, so that each video document could get a multi-modal descriptors, and constructed low-dimensional sparse representation by autoencoders. Experiments were performed on the proposed model by using three real data sets. The result shows that compared with the single-modal recommendation method, the recommendation results of the proposed method are significantly improved, and the performance is better than the reference method.

    autoencoder, multi-modal representation, data fusion, video recommendation

    TP391

    A

    10.11959/j.issn.1000?0801.2021031

    2020?04?30;

    2021?01?30

    顧秋陽(yáng),guqiuyang123@163.com

    國(guó)家自然科學(xué)基金資助項(xiàng)目(No.71571162);浙江省社會(huì)科學(xué)規(guī)劃重點(diǎn)課題項(xiàng)目(No.20NDJC10Z);國(guó)家社會(huì)科學(xué)基金應(yīng)急管理體系建設(shè)研究專(zhuān)項(xiàng)(No.20VYJ073);浙江省哲學(xué)社會(huì)科學(xué)重大課題項(xiàng)目(No.20YSXK02ZD)

    The National Natural Science Foundation of China (No.71571162), The Social Science Planning Key Project of Zhejiang Province (No.20NDJC10Z), The National Social Science Fund Emergency Management System Construction Research Project (No.20VYJ073), Zhejiang Philosophy and Social Science Major Project (No.20YSXK02ZD)

    顧秋陽(yáng)(1995? ),男,浙江工商大學(xué)博士生,主要研究方向?yàn)橹悄苄畔⑻幚怼?shù)據(jù)挖掘、電子商務(wù)與物流優(yōu)化等。

    琚春華(1962? ),男,博士,浙江工商大學(xué)教授、博士生導(dǎo)師,主要研究方向?yàn)橹悄苄畔⑻幚?、?shù)據(jù)挖掘、電子商務(wù)與物流優(yōu)化等。

    吳功興(1974? ),男,博士,浙江工商大學(xué)副教授,主要研究方向?yàn)橹悄苄畔⑻幚?、?shù)據(jù)挖掘、電子商務(wù)與物流優(yōu)化等。

    猜你喜歡
    編碼器模態(tài)文本
    在808DA上文本顯示的改善
    基于doc2vec和TF-IDF的相似文本識(shí)別
    電子制作(2018年18期)2018-11-14 01:48:06
    基于FPGA的同步機(jī)軸角編碼器
    基于PRBS檢測(cè)的8B/IOB編碼器設(shè)計(jì)
    文本之中·文本之外·文本之上——童話故事《坐井觀天》的教學(xué)隱喻
    JESD204B接口協(xié)議中的8B10B編碼器設(shè)計(jì)
    電子器件(2015年5期)2015-12-29 08:42:24
    國(guó)內(nèi)多模態(tài)教學(xué)研究回顧與展望
    基于HHT和Prony算法的電力系統(tǒng)低頻振蕩模態(tài)識(shí)別
    多總線式光電編碼器的設(shè)計(jì)與應(yīng)用
    由單個(gè)模態(tài)構(gòu)造對(duì)稱(chēng)簡(jiǎn)支梁的抗彎剛度
    欧美日韩乱码在线| 亚洲av中文字字幕乱码综合| 老司机在亚洲福利影院| av福利片在线观看| 美女大奶头视频| videosex国产| 久久久精品国产亚洲av高清涩受| 亚洲 欧美一区二区三区| 精品不卡国产一区二区三区| 两个人免费观看高清视频| 国产伦人伦偷精品视频| 很黄的视频免费| 精品一区二区三区av网在线观看| 在线观看66精品国产| 美女午夜性视频免费| 亚洲中文av在线| 日韩大码丰满熟妇| 国产片内射在线| 欧美日韩瑟瑟在线播放| 国产男靠女视频免费网站| 久久精品综合一区二区三区| 中文字幕精品亚洲无线码一区| 中文在线观看免费www的网站 | 日韩三级视频一区二区三区| 免费在线观看黄色视频的| 久久午夜综合久久蜜桃| 身体一侧抽搐| 久久久久久国产a免费观看| 一本一本综合久久| 国产成人av激情在线播放| 亚洲人成网站在线播放欧美日韩| 中文字幕人成人乱码亚洲影| 免费搜索国产男女视频| 在线播放国产精品三级| 小说图片视频综合网站| 亚洲片人在线观看| 久久精品成人免费网站| 最近最新中文字幕大全电影3| 又黄又爽又免费观看的视频| 午夜福利欧美成人| 男女视频在线观看网站免费 | 国产免费av片在线观看野外av| 亚洲精品中文字幕一二三四区| 国产97色在线日韩免费| 亚洲国产精品合色在线| 亚洲精品久久成人aⅴ小说| 两个人视频免费观看高清| 少妇的丰满在线观看| 无限看片的www在线观看| 最好的美女福利视频网| 欧美日韩乱码在线| 国产单亲对白刺激| 亚洲专区国产一区二区| 岛国视频午夜一区免费看| 成人手机av| 日本一二三区视频观看| 欧美最黄视频在线播放免费| 人人妻,人人澡人人爽秒播| 久久精品综合一区二区三区| 国产69精品久久久久777片 | 伊人久久大香线蕉亚洲五| 国产一区二区在线av高清观看| 欧美色视频一区免费| 精品一区二区三区av网在线观看| 欧美+亚洲+日韩+国产| 视频区欧美日本亚洲| 18禁黄网站禁片午夜丰满| 看片在线看免费视频| 每晚都被弄得嗷嗷叫到高潮| 最近视频中文字幕2019在线8| 99热6这里只有精品| 一区二区三区国产精品乱码| 精品人妻1区二区| 丝袜美腿诱惑在线| 99热这里只有精品一区 | 精品国产亚洲在线| 欧美性猛交黑人性爽| 三级毛片av免费| 99久久99久久久精品蜜桃| av天堂在线播放| av在线天堂中文字幕| 免费在线观看成人毛片| 亚洲午夜精品一区,二区,三区| www日本黄色视频网| 岛国在线免费视频观看| 日韩欧美国产在线观看| 日本黄色视频三级网站网址| 久久久久久大精品| 91麻豆av在线| 国产精品久久久久久久电影 | 国产又色又爽无遮挡免费看| 亚洲五月天丁香| 黄色丝袜av网址大全| 亚洲 欧美 日韩 在线 免费| 亚洲精品国产精品久久久不卡| 日本一区二区免费在线视频| 欧美性长视频在线观看| 少妇被粗大的猛进出69影院| 可以在线观看的亚洲视频| 成人精品一区二区免费| 在线视频色国产色| 亚洲精华国产精华精| 中文字幕最新亚洲高清| ponron亚洲| 久久久久久国产a免费观看| 亚洲欧美激情综合另类| 日韩精品中文字幕看吧| 99热只有精品国产| 一进一出抽搐动态| 久久精品亚洲精品国产色婷小说| 少妇被粗大的猛进出69影院| 亚洲一卡2卡3卡4卡5卡精品中文| 两性午夜刺激爽爽歪歪视频在线观看 | 母亲3免费完整高清在线观看| www.熟女人妻精品国产| 国产一级毛片七仙女欲春2| 国产av不卡久久| bbb黄色大片| 人人妻人人看人人澡| 亚洲精品一区av在线观看| 性色av乱码一区二区三区2| 欧美极品一区二区三区四区| 999精品在线视频| 国产午夜精品久久久久久| 非洲黑人性xxxx精品又粗又长| 国产熟女xx| 国产真人三级小视频在线观看| cao死你这个sao货| 免费观看精品视频网站| 天天躁狠狠躁夜夜躁狠狠躁| 国产精华一区二区三区| 中文资源天堂在线| 国产av一区二区精品久久| 国产成人影院久久av| 亚洲第一电影网av| 亚洲av成人不卡在线观看播放网| 久久久久久久精品吃奶| 夜夜躁狠狠躁天天躁| 18禁观看日本| 亚洲精品中文字幕一二三四区| 久久久久精品国产欧美久久久| 色哟哟哟哟哟哟| 舔av片在线| 成熟少妇高潮喷水视频| 白带黄色成豆腐渣| 国产三级黄色录像| 美女扒开内裤让男人捅视频| 亚洲中文字幕一区二区三区有码在线看 | 一级a爱片免费观看的视频| 99久久无色码亚洲精品果冻| 伦理电影免费视频| 大型黄色视频在线免费观看| 日韩av在线大香蕉| 高清在线国产一区| 天天躁夜夜躁狠狠躁躁| 岛国在线免费视频观看| 亚洲欧美日韩高清在线视频| 老熟妇仑乱视频hdxx| 成在线人永久免费视频| 校园春色视频在线观看| 亚洲一区二区三区色噜噜| 久久天堂一区二区三区四区| 亚洲av第一区精品v没综合| 久久精品国产亚洲av高清一级| 女生性感内裤真人,穿戴方法视频| 狠狠狠狠99中文字幕| 久9热在线精品视频| 黑人欧美特级aaaaaa片| 国产野战对白在线观看| 俺也久久电影网| 国产激情欧美一区二区| av国产免费在线观看| www.www免费av| 欧美一级a爱片免费观看看 | 国产真实乱freesex| 中文字幕高清在线视频| 草草在线视频免费看| 亚洲色图 男人天堂 中文字幕| 波多野结衣巨乳人妻| 亚洲美女黄片视频| 成人手机av| 亚洲成av人片在线播放无| 亚洲真实伦在线观看| 狠狠狠狠99中文字幕| 国产高清videossex| 色老头精品视频在线观看| 男人舔女人的私密视频| 欧美激情久久久久久爽电影| 国产真人三级小视频在线观看| 舔av片在线| 国产亚洲欧美98| 欧美高清成人免费视频www| 亚洲熟女毛片儿| 国内揄拍国产精品人妻在线| 国产精品久久视频播放| 日韩欧美在线二视频| 精品福利观看| 国产亚洲精品第一综合不卡| 国产亚洲精品久久久久5区| e午夜精品久久久久久久| 国产av麻豆久久久久久久| 日韩大码丰满熟妇| 我的老师免费观看完整版| 亚洲精品av麻豆狂野| 日本一区二区免费在线视频| 久久久国产成人精品二区| 91老司机精品| 国产黄片美女视频| 国产亚洲精品第一综合不卡| 在线免费观看的www视频| 成人特级黄色片久久久久久久| 亚洲欧美日韩无卡精品| 黄色视频不卡| 欧美性长视频在线观看| av超薄肉色丝袜交足视频| 国产亚洲av嫩草精品影院| 欧美av亚洲av综合av国产av| 久久久久久九九精品二区国产 | 欧美不卡视频在线免费观看 | 欧美日韩一级在线毛片| www.精华液| 白带黄色成豆腐渣| 国产一区在线观看成人免费| 精品国产乱码久久久久久男人| 无人区码免费观看不卡| 欧美一级a爱片免费观看看 | 免费人成视频x8x8入口观看| 久久久久久亚洲精品国产蜜桃av| 一卡2卡三卡四卡精品乱码亚洲| 中文字幕av在线有码专区| 国产精品亚洲美女久久久| 两个人看的免费小视频| xxx96com| 国产精品野战在线观看| 亚洲成人免费电影在线观看| 两性午夜刺激爽爽歪歪视频在线观看 | 老鸭窝网址在线观看| 亚洲欧美精品综合久久99| 国产成+人综合+亚洲专区| 欧美最黄视频在线播放免费| 动漫黄色视频在线观看| 欧美乱色亚洲激情| 成人三级黄色视频| 好男人电影高清在线观看| 国产一区二区激情短视频| 亚洲,欧美精品.| 色播亚洲综合网| 这个男人来自地球电影免费观看| 狂野欧美白嫩少妇大欣赏| 最新在线观看一区二区三区| 一级毛片女人18水好多| 成人国产综合亚洲| 久久精品夜夜夜夜夜久久蜜豆 | 99久久综合精品五月天人人| 亚洲乱码一区二区免费版| 99在线人妻在线中文字幕| 香蕉国产在线看| 久久热在线av| 精品久久久久久久久久免费视频| 激情在线观看视频在线高清| 亚洲电影在线观看av| 一级毛片高清免费大全| 五月伊人婷婷丁香| 国产一级毛片七仙女欲春2| 久99久视频精品免费| 欧美国产日韩亚洲一区| 国产精品98久久久久久宅男小说| 久久精品aⅴ一区二区三区四区| 精品免费久久久久久久清纯| 女人被狂操c到高潮| 两性午夜刺激爽爽歪歪视频在线观看 | 国产av不卡久久| 午夜福利免费观看在线| 日韩高清综合在线| 欧美成狂野欧美在线观看| 精品一区二区三区四区五区乱码| 欧美成人免费av一区二区三区| 亚洲成人久久爱视频| 看片在线看免费视频| 免费在线观看影片大全网站| 久久国产精品影院| 美女免费视频网站| 亚洲,欧美精品.| 国产黄色小视频在线观看| 国产熟女午夜一区二区三区| 国产久久久一区二区三区| 黄色成人免费大全| av免费在线观看网站| 午夜福利18| 亚洲精品中文字幕在线视频| 亚洲精品粉嫩美女一区| 深夜精品福利| 国产av一区在线观看免费| 国产成人精品无人区| 狂野欧美激情性xxxx| 国产成人影院久久av| 精品第一国产精品| 手机成人av网站| 日本 av在线| 亚洲成人国产一区在线观看| 久9热在线精品视频| 国产aⅴ精品一区二区三区波| 小说图片视频综合网站| 在线免费观看的www视频| 中文字幕熟女人妻在线| 女人被狂操c到高潮| 可以在线观看毛片的网站| 久久热在线av| 伊人久久大香线蕉亚洲五| 久久精品影院6| 欧美日本亚洲视频在线播放| 国产成人系列免费观看| 亚洲一码二码三码区别大吗| svipshipincom国产片| 成人一区二区视频在线观看| 精品国产亚洲在线| 人人妻,人人澡人人爽秒播| 90打野战视频偷拍视频| 免费高清视频大片| 无人区码免费观看不卡| 国产av麻豆久久久久久久| 久久伊人香网站| 在线十欧美十亚洲十日本专区| 日韩精品青青久久久久久| 国产精品自产拍在线观看55亚洲| 日韩av在线大香蕉| 国产v大片淫在线免费观看| 99国产精品99久久久久| 夜夜看夜夜爽夜夜摸| 久久香蕉国产精品| 床上黄色一级片| 又爽又黄无遮挡网站| 两个人看的免费小视频| 亚洲中文字幕日韩| 欧美成人午夜精品| 久久久久久大精品| 精品欧美国产一区二区三| 欧美色视频一区免费| 看片在线看免费视频| 亚洲 国产 在线| 岛国视频午夜一区免费看| 日本精品一区二区三区蜜桃| 国产欧美日韩一区二区精品| 亚洲人成网站高清观看| 国产午夜精品论理片| 国产99白浆流出| 18禁美女被吸乳视频| 欧美国产日韩亚洲一区| 亚洲专区字幕在线| 国产成年人精品一区二区| 久9热在线精品视频| 中文资源天堂在线| 色在线成人网| 国产亚洲欧美在线一区二区| 美女 人体艺术 gogo| 又黄又爽又免费观看的视频| 国产亚洲精品久久久久久毛片| 女生性感内裤真人,穿戴方法视频| 精品欧美国产一区二区三| 色综合欧美亚洲国产小说| 国产精品综合久久久久久久免费| av在线天堂中文字幕| 欧美大码av| 亚洲中文字幕日韩| 五月玫瑰六月丁香| 老司机午夜十八禁免费视频| 少妇熟女aⅴ在线视频| 丰满的人妻完整版| xxxwww97欧美| 色综合婷婷激情| 精品国产美女av久久久久小说| 精品一区二区三区四区五区乱码| 国产精品久久电影中文字幕| 国内少妇人妻偷人精品xxx网站 | 亚洲av熟女| xxx96com| 欧美在线黄色| 青草久久国产| 级片在线观看| 亚洲一区二区三区色噜噜| 国内毛片毛片毛片毛片毛片| 中文字幕最新亚洲高清| 999久久久精品免费观看国产| а√天堂www在线а√下载| 午夜成年电影在线免费观看| 国产精品99久久99久久久不卡| 欧美日韩精品网址| 国产精品精品国产色婷婷| 精品午夜福利视频在线观看一区| 欧美极品一区二区三区四区| 国产三级中文精品| 一边摸一边抽搐一进一小说| 成人永久免费在线观看视频| 国产主播在线观看一区二区| 成年人黄色毛片网站| 啦啦啦韩国在线观看视频| 男人舔女人的私密视频| 日韩欧美国产一区二区入口| 久久久久九九精品影院| 无人区码免费观看不卡| 亚洲熟女毛片儿| 舔av片在线| 国产成人啪精品午夜网站| 在线观看www视频免费| 国产av在哪里看| 好男人在线观看高清免费视频| 黑人操中国人逼视频| 又粗又爽又猛毛片免费看| 在线观看午夜福利视频| 中文字幕最新亚洲高清| 日韩 欧美 亚洲 中文字幕| 久久久久国内视频| 成人一区二区视频在线观看| 欧美黑人精品巨大| 无人区码免费观看不卡| 国产亚洲精品综合一区在线观看 | 久久午夜亚洲精品久久| 看片在线看免费视频| 亚洲精品国产精品久久久不卡| 免费在线观看黄色视频的| 91在线观看av| 亚洲熟妇中文字幕五十中出| 99久久国产精品久久久| 精品国产超薄肉色丝袜足j| 老汉色av国产亚洲站长工具| 在线播放国产精品三级| 亚洲全国av大片| 1024手机看黄色片| 特级一级黄色大片| 亚洲男人天堂网一区| 夜夜夜夜夜久久久久| 国产精品亚洲一级av第二区| 不卡一级毛片| 18禁裸乳无遮挡免费网站照片| 久久久久国产精品人妻aⅴ院| 黄色视频,在线免费观看| 亚洲精品av麻豆狂野| 日本精品一区二区三区蜜桃| 久久天躁狠狠躁夜夜2o2o| 亚洲最大成人中文| 少妇的丰满在线观看| 亚洲精品一卡2卡三卡4卡5卡| 男人舔奶头视频| 国产真实乱freesex| 日韩中文字幕欧美一区二区| 欧美zozozo另类| 一卡2卡三卡四卡精品乱码亚洲| 国产男靠女视频免费网站| 在线观看免费日韩欧美大片| 色尼玛亚洲综合影院| www日本黄色视频网| 日本一区二区免费在线视频| 日本黄大片高清| 老鸭窝网址在线观看| 欧美一级a爱片免费观看看 | 国产伦人伦偷精品视频| 亚洲国产欧美网| 中文亚洲av片在线观看爽| 岛国在线免费视频观看| 国产在线精品亚洲第一网站| 久久精品国产清高在天天线| 午夜亚洲福利在线播放| 久久精品亚洲精品国产色婷小说| 亚洲成人国产一区在线观看| 美女扒开内裤让男人捅视频| 国产爱豆传媒在线观看 | 91九色精品人成在线观看| 国产免费av片在线观看野外av| 成人18禁在线播放| 神马国产精品三级电影在线观看 | 99热这里只有是精品50| 国产私拍福利视频在线观看| 女警被强在线播放| 精品欧美一区二区三区在线| 人人妻人人澡欧美一区二区| 在线看三级毛片| 少妇粗大呻吟视频| 欧美色视频一区免费| 人妻夜夜爽99麻豆av| 在线观看免费日韩欧美大片| www日本在线高清视频| 一个人免费在线观看电影 | 观看免费一级毛片| 丰满的人妻完整版| av视频在线观看入口| 日日爽夜夜爽网站| 免费高清视频大片| 性欧美人与动物交配| 国产在线观看jvid| 可以在线观看的亚洲视频| 成年免费大片在线观看| 国产三级在线视频| aaaaa片日本免费| 午夜影院日韩av| 一进一出抽搐动态| ponron亚洲| 欧美人与性动交α欧美精品济南到| 人妻夜夜爽99麻豆av| 最好的美女福利视频网| 日韩av在线大香蕉| 亚洲色图av天堂| 国产三级黄色录像| 国产激情欧美一区二区| 国产精品免费视频内射| 丝袜人妻中文字幕| 国产成+人综合+亚洲专区| 黄色视频不卡| svipshipincom国产片| 国产精品,欧美在线| 18禁黄网站禁片午夜丰满| 伊人久久大香线蕉亚洲五| 麻豆成人午夜福利视频| 亚洲va日本ⅴa欧美va伊人久久| 男女做爰动态图高潮gif福利片| 两人在一起打扑克的视频| 女人高潮潮喷娇喘18禁视频| 国产视频内射| av福利片在线观看| 黄片大片在线免费观看| 欧美日韩黄片免| 九九热线精品视视频播放| 韩国av一区二区三区四区| 亚洲人成77777在线视频| 9191精品国产免费久久| a级毛片a级免费在线| 久久久久久久精品吃奶| 国产精品1区2区在线观看.| 久久人妻福利社区极品人妻图片| 精品无人区乱码1区二区| 欧美一区二区精品小视频在线| 99久久国产精品久久久| 人妻丰满熟妇av一区二区三区| 精品午夜福利视频在线观看一区| 在线观看舔阴道视频| 一个人免费在线观看电影 | 亚洲国产精品久久男人天堂| 午夜免费观看网址| 国产精品 欧美亚洲| 在线免费观看的www视频| 给我免费播放毛片高清在线观看| 999精品在线视频| 给我免费播放毛片高清在线观看| 免费在线观看视频国产中文字幕亚洲| 久久精品国产亚洲av高清一级| 婷婷亚洲欧美| 亚洲精华国产精华精| 午夜日韩欧美国产| 亚洲七黄色美女视频| 国产精品亚洲美女久久久| 好男人电影高清在线观看| 桃色一区二区三区在线观看| 一a级毛片在线观看| 一边摸一边抽搐一进一小说| 动漫黄色视频在线观看| 亚洲黑人精品在线| 黄色成人免费大全| 国产av又大| 变态另类成人亚洲欧美熟女| a级毛片在线看网站| 日本黄大片高清| 成人三级黄色视频| 欧美日韩亚洲国产一区二区在线观看| 男女下面进入的视频免费午夜| 国内久久婷婷六月综合欲色啪| 美女免费视频网站| e午夜精品久久久久久久| 91麻豆av在线| 我的老师免费观看完整版| 国产视频内射| 亚洲成人中文字幕在线播放| 伦理电影免费视频| 久久精品国产清高在天天线| 久久久精品大字幕| videosex国产| 精品国内亚洲2022精品成人| 18禁黄网站禁片免费观看直播| 亚洲国产中文字幕在线视频| 亚洲精品色激情综合| 亚洲天堂国产精品一区在线| 日韩成人在线观看一区二区三区| 性欧美人与动物交配| 少妇被粗大的猛进出69影院| 免费在线观看日本一区| 国产精品久久久人人做人人爽| 高潮久久久久久久久久久不卡| 国产私拍福利视频在线观看| 两人在一起打扑克的视频| 天天躁狠狠躁夜夜躁狠狠躁| www.熟女人妻精品国产| 成人av一区二区三区在线看| 最近在线观看免费完整版| 男女午夜视频在线观看| x7x7x7水蜜桃| 国产伦一二天堂av在线观看| a级毛片在线看网站| 每晚都被弄得嗷嗷叫到高潮| 色综合站精品国产| 日韩精品中文字幕看吧| 午夜免费激情av| 欧美成人午夜精品| 久久天躁狠狠躁夜夜2o2o| 日韩国内少妇激情av| 一本久久中文字幕| 神马国产精品三级电影在线观看 | 欧美日本亚洲视频在线播放| 99精品久久久久人妻精品| 欧美三级亚洲精品| 中文字幕精品亚洲无线码一区| 男女下面进入的视频免费午夜| 又爽又黄无遮挡网站| 免费电影在线观看免费观看| 成人18禁高潮啪啪吃奶动态图| 九九热线精品视视频播放| 老司机在亚洲福利影院| 精品欧美国产一区二区三|