應(yīng)用知識(shí)圖譜的推薦方法與系統(tǒng)

饒子昀 張 毅 劉俊濤 曹萬(wàn)華

1.武漢數(shù)字工程研究所武漢 430205

推薦系統(tǒng)是一種向目標(biāo)用戶(hù)建議可能感興趣物品的軟件工具.隨著網(wǎng)絡(luò)與現(xiàn)實(shí)信息的爆炸式增長(zhǎng),越來(lái)越多的在線(xiàn)服務(wù)商為用戶(hù)提供商品、音樂(lè)、電影等(以下統(tǒng)稱(chēng)為物品)的推薦服務(wù).推薦系統(tǒng)能夠滿(mǎn)足用戶(hù)的個(gè)性化需求,為在線(xiàn)服務(wù)商帶來(lái)巨大商業(yè)價(jià)值.同時(shí),推薦方法與系統(tǒng)的研究促進(jìn)了偏好挖掘、大數(shù)據(jù)處理、決策支持等領(lǐng)域的相關(guān)理論和實(shí)踐的飛速發(fā)展,其學(xué)術(shù)價(jià)值也引起了廣泛的關(guān)注.

推薦系統(tǒng)面臨的重要挑戰(zhàn)主要是數(shù)據(jù)稀疏性問(wèn)題和冷啟動(dòng)問(wèn)題.數(shù)據(jù)稀疏問(wèn)題指的是相對(duì)于數(shù)量龐大的用戶(hù)和物品,僅有少量的物品獲得了用戶(hù)的評(píng)價(jià)或者購(gòu)買(mǎi),難以據(jù)此獲得相似的用戶(hù)或相似的物品,使得傳統(tǒng)推薦方法失效了.冷啟動(dòng)問(wèn)題指的

是系統(tǒng)由于并不知道新加入用戶(hù)的歷史行為,無(wú)法給他們推薦物品,同樣新加入的物品也由于沒(méi)有被用戶(hù)評(píng)價(jià)或購(gòu)買(mǎi)過(guò)而無(wú)法被針對(duì)性的推薦.

推薦系統(tǒng)中通常利用附加信息來(lái)解決上述問(wèn)題,以提高性能.附加信息(一般也稱(chēng)上下文信息)分為顯式信息和隱式信息[1].顯式信息是通過(guò)諸如物理設(shè)備感知、用戶(hù)問(wèn)詢(xún)、用戶(hù)主動(dòng)設(shè)定等方式獲取的與用戶(hù)、物品相關(guān)聯(lián)的上下文信息.隱式信息即利用已有數(shù)據(jù)或周?chē)h(huán)境間接獲取的一些上下文信息,例如可根據(jù)用戶(hù)與系統(tǒng)的交互日志獲取時(shí)間上下文信息.

近年來(lái),利用以知識(shí)圖譜為表示形式的附加信息的推薦方法受到了學(xué)者們的關(guān)注.知識(shí)圖譜最初用于提升搜索系統(tǒng)的性能[2],刻畫(huà)了海量實(shí)體之間的多種關(guān)系,具有網(wǎng)狀結(jié)構(gòu),能夠用于推薦系統(tǒng)中來(lái)增強(qiáng)用戶(hù)、物品之間聯(lián)系的認(rèn)知與解釋,從而提高推薦準(zhǔn)確度.本文綜述了2015～2019年發(fā)表在DLRS、RecSys、KDD、CIKM、NIPS、TIST、UMAP、SIGIR 等會(huì)議和期刊中的利用知識(shí)圖譜的推薦方法的文獻(xiàn),共23 篇.在利用知識(shí)圖譜的推薦系統(tǒng)中,通常首先將收集到的用戶(hù)信息、物品信息、用戶(hù)歷史行為等數(shù)據(jù)或者一些相關(guān)的外部數(shù)據(jù)表示成知識(shí)圖譜的形式.然后,設(shè)計(jì)推薦算法,利用知識(shí)圖譜生成推薦.此類(lèi)推薦系統(tǒng)通常包含知識(shí)圖譜構(gòu)建和利用知識(shí)圖譜產(chǎn)生推薦兩個(gè)環(huán)節(jié).本文根據(jù)這兩個(gè)環(huán)節(jié)中構(gòu)建知識(shí)圖譜數(shù)據(jù)的不同來(lái)源,以及推薦方法中利用知識(shí)圖譜信息的不同形式提出了分類(lèi)框架,并據(jù)此對(duì)相關(guān)文獻(xiàn)進(jìn)行了分類(lèi)綜述,詳情可參見(jiàn)本文第3 節(jié).與本文最為相關(guān)的是文獻(xiàn)[3].該文獻(xiàn)綜述了2009～2017年16 篇利用知識(shí)圖譜的推薦方法的文獻(xiàn).本文在綜述的文章數(shù)量上超過(guò)了文獻(xiàn)[3].此外,本文提出文獻(xiàn)分類(lèi)框架能夠更好地覆蓋新提出的方法.

本文結(jié)構(gòu)安排如下:第1 節(jié)介紹了利用知識(shí)圖譜的推薦方法的相關(guān)背景知識(shí);第2 節(jié)對(duì)利用知識(shí)圖譜的推薦方法文獻(xiàn)進(jìn)行分類(lèi)與綜述;第3 節(jié)整理了目前常用的推薦系統(tǒng)數(shù)據(jù)集和知識(shí)圖譜數(shù)據(jù)集;第4 節(jié)和第5 節(jié)分別討論了應(yīng)用知識(shí)圖譜的推薦系統(tǒng)的研究難點(diǎn)與發(fā)展前景;最后,在第6 節(jié)中對(duì)全文進(jìn)行了總結(jié).

1 背景知識(shí)

本節(jié)介紹了推薦方法與系統(tǒng)、知識(shí)圖譜等相關(guān)領(lǐng)域的背景知識(shí),并對(duì)本文涉及的知識(shí)圖譜與推薦系統(tǒng)相關(guān)術(shù)語(yǔ)與概念進(jìn)行了說(shuō)明.

1.1 推薦方法及系統(tǒng)概述

推薦系統(tǒng)通用架構(gòu)流程如圖1所示.推薦系統(tǒng)一方面從用戶(hù)處收集用戶(hù)信息和歷史行為,挖掘用戶(hù)偏好;另一方面,收集和挖掘被推薦物品的信息和特征.然后,建立評(píng)價(jià)模型,據(jù)此對(duì)用戶(hù)需求信息和物品特征信息進(jìn)行匹配、篩選,得到用戶(hù)可能感興趣的物品.最后,將推薦結(jié)果返回給用戶(hù),并根據(jù)用戶(hù)的反饋,進(jìn)一步改進(jìn)推薦結(jié)果.

圖1 推薦系統(tǒng)通用架構(gòu)Fig.1 General architecture of recommendation system

傳統(tǒng)上,推薦系統(tǒng)被分為基于內(nèi)容的推薦系統(tǒng)、協(xié)同過(guò)濾推薦系統(tǒng)和混合推薦系統(tǒng)[4].基于內(nèi)容的推薦系統(tǒng)關(guān)注用戶(hù)和物品的特征描述.該方法根據(jù)用戶(hù)與物品的交互歷史(如選擇、購(gòu)買(mǎi)、瀏覽歷史等)[2],從待推薦物品中選擇特征匹配度高的物品作為推薦結(jié)果.這類(lèi)推薦方法首先挖掘物品的內(nèi)容特征,再與分析建模得到的用戶(hù)偏好進(jìn)行相似性分析.基于內(nèi)容的推薦系統(tǒng)優(yōu)勢(shì)[5]在于這類(lèi)方法往往有比較成熟的數(shù)據(jù)挖掘、聚類(lèi)分析方法提供支持,并且對(duì)推薦任務(wù)相關(guān)的領(lǐng)域知識(shí)要求低.但這類(lèi)方法的效果受提取物品特征能力的局限.特別是對(duì)圖片、音頻和視頻等物品的信息挖掘、提取特征的方法還需要進(jìn)一步研究完善.另外,此類(lèi)方法得到的推薦結(jié)果往往局限于同一類(lèi)或相似的物品,推薦結(jié)果缺乏多樣性.此類(lèi)方法不可避免地面臨新用戶(hù)的冷啟動(dòng)問(wèn)題.

協(xié)同過(guò)濾推薦系統(tǒng)的基本思想來(lái)源于生活中的日常經(jīng)驗(yàn):人們?cè)谔暨x物品時(shí),往往受到身邊朋友的選擇影響;另外,人們往往會(huì)喜歡與挑選的物品相似、且被其他人高度評(píng)價(jià)的物品.文獻(xiàn)[5]中指出,協(xié)同過(guò)濾推薦一般分為三類(lèi):基于用戶(hù)的方法、基于物品的方法和基于模型的方法.基于用戶(hù)的方法為用戶(hù)推薦有相似偏好的用戶(hù)喜歡的物品;基于物品的方法則是找到與用戶(hù)喜歡的物品相似的物品,將其推薦給該用戶(hù);基于模型的方法通過(guò)建立一個(gè)用戶(hù)描述模型來(lái)進(jìn)一步預(yù)測(cè)評(píng)價(jià).協(xié)同過(guò)濾推薦系統(tǒng)優(yōu)勢(shì)[6-7]在于推薦性能會(huì)隨著用戶(hù)數(shù)量增長(zhǎng)而提升,擅長(zhǎng)處理特征信息難以挖掘的物品.但也存在新物品帶來(lái)的冷啟動(dòng)問(wèn)題,并且受到數(shù)據(jù)稀疏性問(wèn)題的制約[5].

實(shí)際應(yīng)用中針對(duì)具體問(wèn)題采用推薦策略的組合進(jìn)行推薦,即混合推薦系統(tǒng).混合推薦系統(tǒng)組合不同的推薦策略,揚(yáng)長(zhǎng)避短,從而產(chǎn)生更符合用戶(hù)需求的推薦.傳統(tǒng)的研究最多的是把基于內(nèi)容的推薦和協(xié)同過(guò)濾推薦進(jìn)行結(jié)合[8-11].然而,混合推薦系統(tǒng)也不能避免稀疏性問(wèn)題和冷啟動(dòng)問(wèn)題帶來(lái)的影響.

1.2 推薦系統(tǒng)中的知識(shí)圖譜技術(shù)

通常知識(shí)圖譜被表示為形如(頭實(shí)體,關(guān)系,尾實(shí)體)的三元組集合.在推薦系統(tǒng)應(yīng)用中,頭實(shí)體和尾實(shí)體可以是用戶(hù)和用戶(hù)購(gòu)買(mǎi)過(guò)的物品,也可以是其他與用戶(hù)或物品相關(guān)的事物,第1.3 節(jié)中將對(duì)這些概念進(jìn)行詳細(xì)說(shuō)明.如何根據(jù)收集到的數(shù)據(jù)(或鏈接外部相關(guān)數(shù)據(jù))構(gòu)建用于推薦的知識(shí)圖譜、如何從知識(shí)圖譜中挖掘有助于產(chǎn)生推薦結(jié)果的信息,成為應(yīng)用知識(shí)圖譜的推薦系統(tǒng)的重點(diǎn)關(guān)注的問(wèn)題.知識(shí)圖譜的關(guān)鍵技術(shù)主要有知識(shí)抽取、知識(shí)表示、知識(shí)融合和知識(shí)推理,本節(jié)介紹在推薦系統(tǒng)中應(yīng)用較多的知識(shí)表示和知識(shí)推理技術(shù).

1.2.1 知識(shí)表示學(xué)習(xí)

知識(shí)圖譜的三元組(頭實(shí)體,關(guān)系,尾實(shí)體)表示形式能夠直觀(guān)描述實(shí)體與關(guān)系的結(jié)構(gòu),但是不便于計(jì)算和分析.因此,需要將知識(shí)圖譜中的實(shí)體或關(guān)系表示為低維向量空間中的向量,即所謂的知識(shí)表示學(xué)習(xí),也稱(chēng)為知識(shí)圖譜的嵌入.知識(shí)表示的結(jié)果是推薦系統(tǒng)中后續(xù)利用知識(shí)圖譜的基礎(chǔ).文獻(xiàn)[12]較為系統(tǒng)地回顧了現(xiàn)有的知識(shí)圖譜嵌入技術(shù).其中,以TransE[13]為基礎(chǔ)的一系列翻譯模型以簡(jiǎn)約的參數(shù)、較低的計(jì)算復(fù)雜度和良好的擴(kuò)展性成為最流行的一類(lèi)知識(shí)表示模型.文獻(xiàn)[14-15]分別介紹了這些模型.

TransE 模型是從一個(gè)文獻(xiàn)[16] 中受到啟發(fā),學(xué)習(xí)實(shí)體和關(guān)系的向量嵌入的模型.但是該方法難以對(duì)1-N,N-1 和N-N關(guān)系建模,為此,提出一個(gè)TransH 模型[14]用來(lái)解決上述問(wèn)題.TransE 模型和TransH 模型都假設(shè)實(shí)體和關(guān)系嵌入在相同的空間中,而TransR 模型[15]則是將實(shí)體和關(guān)系投影到不同的空間中,以處理不同的關(guān)系關(guān)注實(shí)體的不同屬性的現(xiàn)象.為進(jìn)一步細(xì)化實(shí)體與關(guān)系的交互、考慮關(guān)系對(duì)應(yīng)的不同語(yǔ)義,文獻(xiàn)[17]和文獻(xiàn)[18]分別提出了TransD 模型和TransG 模型來(lái)提升知識(shí)表示性能.

1.2.2 知識(shí)推理

知識(shí)圖譜中存在關(guān)系缺失或者屬性缺失的問(wèn)題.同時(shí)由于知識(shí)圖譜構(gòu)建算法錯(cuò)誤或構(gòu)建過(guò)程中的人為因素,知識(shí)圖譜中也存在錯(cuò)誤的關(guān)系或?qū)傩訹19].這使得知識(shí)圖譜存在一定程度的不完備性和不正確性.為此,有學(xué)者提出采用知識(shí)推理的方法對(duì)知識(shí)圖譜進(jìn)行補(bǔ)全或?qū)ζ渲幸延嘘P(guān)系和屬性進(jìn)行甄別.推薦系統(tǒng)中,對(duì)用戶(hù)是否會(huì)購(gòu)買(mǎi)某個(gè)物品的預(yù)測(cè)可以看做是用戶(hù)和物品之間關(guān)系的補(bǔ)全,也可以用知識(shí)推理的方法來(lái)解決.知識(shí)推理方法主要分為基于邏輯的推理與基于圖的推理兩種類(lèi)別[20].基于邏輯的推理通過(guò)在知識(shí)庫(kù)中定義邏輯規(guī)則,實(shí)現(xiàn)圖譜上新的關(guān)系推斷.例如,文獻(xiàn)[21]通過(guò)挖掘圖譜鏈接結(jié)構(gòu)中的信息構(gòu)建邏輯模型.基于圖的推理方法利用關(guān)系路徑中蘊(yùn)涵的信息,來(lái)預(yù)測(cè)它們之間的語(yǔ)義關(guān)系,或者預(yù)測(cè)與給定實(shí)體關(guān)聯(lián)的另一個(gè)實(shí)體.文獻(xiàn)[22]中將知識(shí)補(bǔ)全任務(wù)與推薦任務(wù)相結(jié)合,來(lái)推測(cè)針對(duì)用戶(hù)的推薦結(jié)果.

1.3 相關(guān)術(shù)語(yǔ)

本節(jié)對(duì)本文中用到的知識(shí)圖譜與推薦系統(tǒng)的相關(guān)概念術(shù)語(yǔ)進(jìn)行闡述和說(shuō)明.

1)用戶(hù).本文中的用戶(hù)是指推薦系統(tǒng)的服務(wù)對(duì)象.推薦系統(tǒng)中,用戶(hù)通常用年齡、性別、職業(yè)等個(gè)人信息來(lái)描述.同時(shí),推薦系統(tǒng)也會(huì)收集用戶(hù)的歷史行為、社交關(guān)系等數(shù)據(jù).這些數(shù)據(jù)和用戶(hù)個(gè)人信息是推薦系統(tǒng)產(chǎn)生推薦的重要參考.

2)物品.本文將被推薦的對(duì)象統(tǒng)稱(chēng)為物品,被推薦的對(duì)象可以是實(shí)際的商品,也可以是新聞、音樂(lè)、電影等,或者是為用戶(hù)提供的某種服務(wù).

3)實(shí)體.知識(shí)圖譜的基本元素.知識(shí)圖譜中的實(shí)體通常是指現(xiàn)實(shí)世界中事物.實(shí)體可以是實(shí)際存在的事物,也可以是虛擬的概念.將知識(shí)圖譜用于推薦時(shí),實(shí)體包含了推薦系統(tǒng)中的用戶(hù)和物品,也包含了與用戶(hù)和物品相關(guān)的事物,例如電影的導(dǎo)演、書(shū)籍的作者等.

4)關(guān)系.知識(shí)圖譜的基本元素,描述了實(shí)體之間的關(guān)聯(lián)關(guān)系.參與推薦任務(wù)時(shí),關(guān)系可以是用戶(hù)對(duì)物品的偏好、購(gòu)買(mǎi)、點(diǎn)擊等,也可以是用戶(hù)或物品與屬性之間的關(guān)系.例如,物品的屬性可以表示為三元組(衣服,顏色,紅色).從知識(shí)圖譜的視角看,推薦系統(tǒng)即是要預(yù)測(cè)“用戶(hù)”與“物品”之間可能的購(gòu)買(mǎi)、點(diǎn)擊、喜好等關(guān)系,并根據(jù)預(yù)測(cè)的結(jié)果產(chǎn)生推薦.

2 利用知識(shí)圖譜的推薦方法綜述

推薦系統(tǒng)的核心問(wèn)題是如何從各種信息中挖掘和提取特征,在這個(gè)過(guò)程中,信息的稀疏性和冷啟動(dòng)問(wèn)題制約了推薦系統(tǒng)的效果.知識(shí)圖譜作為一種結(jié)構(gòu)化描述客觀(guān)世界實(shí)體及關(guān)系的信息形式,包含豐富的實(shí)體間語(yǔ)義關(guān)聯(lián),為推薦系統(tǒng)提供了多樣化的輔助信息來(lái)源、以及在組織、管理和理解信息方面的幫助,從而有效緩解了推薦任務(wù)中的稀疏性問(wèn)題與冷啟動(dòng)問(wèn)題.

具體而言,知識(shí)圖譜引入豐富的語(yǔ)義關(guān)系,以便推薦系統(tǒng)深層次地發(fā)現(xiàn)用戶(hù)興趣;此外,知識(shí)圖譜中多樣化的關(guān)系鏈接,能幫助推薦系統(tǒng)避免過(guò)于單一的推薦結(jié)果;同時(shí),知識(shí)圖譜的三元組結(jié)構(gòu)包含的關(guān)系信息幫助提高了推薦結(jié)果的可解釋性.

知識(shí)圖譜的技術(shù)發(fā)展還在日漸完善中,在推薦系統(tǒng)中的應(yīng)用也是一個(gè)新興研究領(lǐng)域,因此,目前關(guān)于知識(shí)圖譜推薦系統(tǒng)的文獻(xiàn)綜述較少.文獻(xiàn)[3]根據(jù)推薦過(guò)程中知識(shí)圖譜的表現(xiàn)形式,將利用知識(shí)圖譜的推薦方法分為基于本體的推薦生成、基于開(kāi)放鏈接數(shù)據(jù)的推薦生成和基于圖嵌入的推薦生成.基于本體的推薦生成利用對(duì)概念的細(xì)粒度的分類(lèi)描述來(lái)更加精準(zhǔn)的表示實(shí)體特征,從而挖掘出事實(shí)中蘊(yùn)含的深層次信息.基于開(kāi)放鏈接數(shù)據(jù)的推薦生成將鏈接數(shù)據(jù)庫(kù)中豐富的語(yǔ)義信息融入到現(xiàn)有的方法中,著重考慮用戶(hù)偏好、物品屬性之間的相似度.通過(guò)利用數(shù)據(jù)庫(kù)中大量相互關(guān)聯(lián)的數(shù)據(jù),更加精細(xì)化的衡量物品之間的相似性,挖掘用戶(hù)的偏好,最后結(jié)合上下文信息生成推薦結(jié)果.基于圖嵌入的推薦生成基于隨機(jī)游走等算法對(duì)圖中節(jié)點(diǎn)進(jìn)行采樣生成節(jié)點(diǎn)序列,然后通過(guò)神經(jīng)網(wǎng)絡(luò)或者是其他機(jī)器學(xué)習(xí)算法將節(jié)點(diǎn)序列以及邊映射到低維向量空間.

本文將近年提出的應(yīng)用知識(shí)圖譜的推薦方法和系統(tǒng)進(jìn)行了綜合分析,整理了利用知識(shí)圖譜的推薦方法和系統(tǒng)的通用流程,提出基于此流程的分類(lèi)框架.該分類(lèi)框架依據(jù)構(gòu)建知識(shí)圖譜的數(shù)據(jù)來(lái)源將利用知識(shí)圖譜的推薦系統(tǒng)和方法分為利用本地?cái)?shù)據(jù)構(gòu)建知識(shí)圖譜和鏈接外部知識(shí)圖譜兩類(lèi)方法;針對(duì)推薦生成過(guò)程中利用知識(shí)圖譜信息的不同形式將現(xiàn)有方法分為基于向量表示的方法、基于路徑的方法和基于鄰域的方法三類(lèi).對(duì)現(xiàn)有方法的分類(lèi)框架如圖2所示,我們?cè)诿恳活?lèi)方法后面列出了有代表性的文獻(xiàn)編號(hào).每類(lèi)方法將在第2.2 節(jié)和第2.3 節(jié)中詳細(xì)介紹.本節(jié)的最后整合分類(lèi)結(jié)果,綜合分析了近年研究的貢獻(xiàn)與特點(diǎn).

圖2 應(yīng)用知識(shí)圖譜的推薦系統(tǒng)分類(lèi)樹(shù)形圖Fig.2 Classification tree diagram of recommendation system using knowledge graph

2.1 應(yīng)用知識(shí)圖譜的推薦系統(tǒng)流程

如圖3所示,應(yīng)用知識(shí)圖譜的推薦系統(tǒng)的流程主要有如下步驟:

圖3 應(yīng)用知識(shí)圖譜的推薦系統(tǒng)框架流程Fig.3 Framework flow of recommendation system using knowledge graph

1)根據(jù)推薦任務(wù)特點(diǎn)采集數(shù)據(jù).數(shù)據(jù)一般包括用戶(hù)信息、物品信息、用戶(hù)-物品交互信息(購(gòu)買(mǎi)、點(diǎn)擊、收藏等歷史行為或評(píng)分).

2)根據(jù)收集到的數(shù)據(jù)(或者鏈接外部數(shù)據(jù)),構(gòu)

建用于推薦的知識(shí)圖譜.

3)設(shè)計(jì)推薦模型或方法,并利用步驟1)中收集到的數(shù)據(jù)和步驟2)中構(gòu)建的知識(shí)圖譜訓(xùn)練和驗(yàn)證推薦模型或方法.

4)利用訓(xùn)練好的推薦模型或方法生成推薦,為用戶(hù)提供推薦服務(wù).

2.2 構(gòu)建用于推薦的知識(shí)圖譜的方法

利用知識(shí)圖譜進(jìn)行推薦生成,首先要構(gòu)建知識(shí)圖譜.按照構(gòu)建知識(shí)圖譜的數(shù)據(jù)來(lái)源,現(xiàn)有方法可以分為鏈接外部知識(shí)圖譜和利用本地?cái)?shù)據(jù)構(gòu)建知識(shí)圖譜兩類(lèi)方法,本節(jié)將對(duì)這兩類(lèi)方法進(jìn)行詳細(xì)介紹.

2.2.1 鏈接外部知識(shí)圖譜的推薦方法

外部知識(shí)圖譜通常包含了更加豐富的物品信息,以及物品與其他實(shí)體之間的關(guān)系,這些實(shí)體往往是推薦系統(tǒng)中沒(méi)有的.鏈接外部知識(shí)圖譜的推薦方法將外部知識(shí)圖譜作為已有信息的補(bǔ)充,一定程度上緩解了由于數(shù)據(jù)稀疏和推薦冷啟動(dòng)帶來(lái)的問(wèn)題,特別是物品冷啟動(dòng)問(wèn)題.利用的外部知識(shí)圖譜多數(shù)是公開(kāi)的.這些知識(shí)圖譜有易于獲得、數(shù)據(jù)信息豐富、預(yù)處理成本低、易對(duì)比結(jié)果等優(yōu)點(diǎn),便于研究人員專(zhuān)注于推薦方法的設(shè)計(jì)和驗(yàn)證.

鏈接外部知識(shí)圖譜的推薦方法一個(gè)關(guān)鍵問(wèn)題是如何將推薦系統(tǒng)收集的數(shù)據(jù)與外部知識(shí)圖譜進(jìn)行鏈接,即要找到推薦系統(tǒng)中的實(shí)體與外部知識(shí)圖譜實(shí)體之間的對(duì)應(yīng)關(guān)系.推薦系統(tǒng)中的用戶(hù)通常無(wú)法直接與外部知識(shí)圖譜中的實(shí)體鏈接.現(xiàn)有方法大多是將推薦系統(tǒng)中的物品鏈接到外部知識(shí)圖譜.

有些推薦系統(tǒng)中的物品(如電影、書(shū)籍等)就是外部知識(shí)圖譜中的實(shí)體.這類(lèi)推薦系統(tǒng)只要將物品與外部知識(shí)圖譜中的實(shí)體按照名稱(chēng)或?qū)傩赃M(jìn)行匹配就能建立兩者的對(duì)應(yīng)關(guān)系.文獻(xiàn)[23]和文獻(xiàn)[24]中均通過(guò)電影的標(biāo)題和發(fā)行日期將MovieLens-1M與IMDB 數(shù)據(jù)集鏈接起來(lái).

文獻(xiàn)[25]應(yīng)用了文獻(xiàn)[26]中所述的兩階段方法(標(biāo)題匹配和屬性匹配),將每個(gè)電影從MovieLens-1M 數(shù)據(jù)集映射到知識(shí)庫(kù)中的一個(gè)實(shí)體.文獻(xiàn)[27]對(duì)于A(yíng)mazon-book 和Last-FM 數(shù)據(jù)集,通過(guò)標(biāo)題匹配將物品映射到Freebase 實(shí)體中,并且忽略物品是頭實(shí)體還是尾實(shí)體的區(qū)別.同時(shí),與僅提供物品的一跳實(shí)體的現(xiàn)有知識(shí)感知數(shù)據(jù)集不同,文中還考慮了涉及物品的兩跳鄰居實(shí)體的三元組.

文獻(xiàn)[28]通過(guò)鏈接MIMIC-III(患者)、Drug-Bank(藥物)和ICD-9 ontology(疾病)三個(gè)數(shù)據(jù)集構(gòu)建知識(shí)圖譜,其中患者、藥物、疾病作為實(shí)體,患者-疾病和患者-藥物形成關(guān)系.然后將疾病、藥物、患者及其相應(yīng)關(guān)系共同嵌入同一低維空間.文中通過(guò)構(gòu)造患者-疾病二部圖、患者-藥物二部圖來(lái)連接MIMIC-III 數(shù)據(jù)集、ICD-9 ontology 數(shù)據(jù)集和DrugBank 數(shù)據(jù)集.為構(gòu)造患者-疾病二部圖,MIMIC-III 提供了用于診斷的ICD-9 代碼,通過(guò)字符串匹配將MIMIC-III 的診斷鏈接到ICD-9 中的本體.為構(gòu)造患者-藥物二部圖,文中使用實(shí)體鏈接方法[29]來(lái)解決直接應(yīng)用字符串匹配時(shí)由于MIMICIII 中包含的噪聲字詞(20%,50 ml,玻璃瓶等)導(dǎo)致的名稱(chēng)鏈接錯(cuò)誤.

除此之外,一些推薦系統(tǒng)中的物品無(wú)法在外部知識(shí)圖譜中找到對(duì)應(yīng)的實(shí)體,例如一篇新聞報(bào)道、一段音樂(lè)等.這類(lèi)推薦系統(tǒng)通常首先從物品的名稱(chēng)、屬性、描述、評(píng)論等中提取實(shí)體,然后再進(jìn)行實(shí)體鏈接.

例如文獻(xiàn)[30]首先利用Freesound.org、Songfacts.com、Last.fm 數(shù)據(jù)集中的標(biāo)簽和文本描述來(lái)提取本地實(shí)體.然后使用實(shí)體鏈接和消歧工具Babelfy[31]將得到的本地實(shí)體鏈接到外部知識(shí)圖譜(例如WordNet 和DBpedia)中,從而構(gòu)建了聲音和音樂(lè)兩個(gè)知識(shí)圖譜.

文獻(xiàn)[32]通過(guò)在Microsoft Satori 知識(shí)圖譜中尋找新聞標(biāo)題(數(shù)據(jù)來(lái)源Bing News)中詞語(yǔ)的對(duì)應(yīng)實(shí)體.例如,對(duì)于新聞標(biāo)題“新冠肺炎疫情席卷全球”,需要查找單詞“新冠肺炎”在Satori 中對(duì)應(yīng)的實(shí)體,即“新型冠狀病毒肺炎(Corona virus disease 2019,COVID-19)”.知識(shí)抽取模塊在抽取相應(yīng)實(shí)體及實(shí)體在原知識(shí)圖譜中的鏈接關(guān)系后,基于新聞標(biāo)題構(gòu)建子圖譜.

還有一些方法通過(guò)構(gòu)建和鏈接多個(gè)子圖來(lái)完成知識(shí)圖譜的鏈接.文獻(xiàn)[33]中使用MovieLens-20M、Book-Crossing、Last.FM 和Microsoft Satori 為每個(gè)數(shù)據(jù)集構(gòu)造知識(shí)圖譜.首先以大于0.9 的置信度從整個(gè)知識(shí)圖譜中選擇一個(gè)三元組子集,對(duì)于給定的子圖譜,收集所有有效的電影/書(shū)籍/音樂(lè)家的名字對(duì)應(yīng)的Satori ID 來(lái)與子集中三元組(頭實(shí)體,電影.電影名稱(chēng),尾實(shí)體)、(頭實(shí)體,書(shū)籍.書(shū)籍標(biāo)題,尾實(shí)體)或(頭實(shí)體,類(lèi)別.物品名稱(chēng),尾實(shí)體)的尾實(shí)體匹配.為簡(jiǎn)化步驟,排除有多個(gè)匹配或無(wú)匹配實(shí)體的物品.然后再將物品對(duì)應(yīng)的Satori ID 與子集中三元組的頭部匹配,最后從子集中選擇所有匹配好的三元組作為要應(yīng)用的數(shù)據(jù).

2.2.2 利用本地?cái)?shù)據(jù)構(gòu)建知識(shí)圖譜的推薦方法

依托于公共知識(shí)庫(kù)的推薦方法研究不免會(huì)受到數(shù)據(jù)庫(kù)結(jié)構(gòu)和信息的制約,影響推薦方法的設(shè)計(jì)和應(yīng)用.利用本地?cái)?shù)據(jù)構(gòu)建知識(shí)圖譜的推薦方法致力于將鏈接知識(shí)實(shí)體與推薦數(shù)據(jù)的任務(wù)和推薦任務(wù)相融合,或者在表示實(shí)體的同時(shí)挖掘用于推薦系統(tǒng)的有效信息.由于推薦方法不再受到知識(shí)庫(kù)數(shù)據(jù)的限制,可以利用知識(shí)圖譜的結(jié)構(gòu)特點(diǎn),更加充分應(yīng)用知識(shí)圖譜相關(guān)技術(shù).

利用本地?cái)?shù)據(jù)構(gòu)建知識(shí)圖譜的推薦方法深入挖掘推薦系統(tǒng)中用戶(hù)、物品及其關(guān)聯(lián)關(guān)系等信息,以知識(shí)圖譜的形式充實(shí)到推薦系統(tǒng)中,進(jìn)而緩解數(shù)據(jù)稀疏等問(wèn)題.此類(lèi)方法在構(gòu)建知識(shí)圖譜時(shí)將用戶(hù)、物品、與物品相關(guān)的其他事物(如電影的導(dǎo)演、演員、書(shū)籍的作者等)直接轉(zhuǎn)化知識(shí)圖譜中的實(shí)體.實(shí)體之間的關(guān)系包括用戶(hù)對(duì)物品的購(gòu)買(mǎi)、點(diǎn)擊、評(píng)論等,以及物品與相關(guān)實(shí)體之間的關(guān)系,如物品與廠(chǎng)家之間的生產(chǎn)關(guān)系、書(shū)籍與作者之間的關(guān)系等.文獻(xiàn)[27]對(duì)于Yelp2018 數(shù)據(jù)集,從本地業(yè)務(wù)信息網(wǎng)絡(luò)中提取商品知識(shí)(例如類(lèi)別、位置和屬性)作為構(gòu)建知識(shí)圖譜的數(shù)據(jù).為了確保知識(shí)圖譜的質(zhì)量,文中通過(guò)濾除不常見(jiàn)的實(shí)體(這類(lèi)實(shí)體在兩個(gè)數(shù)據(jù)集中數(shù)量都少于10 個(gè))并保留至少出現(xiàn)在50 個(gè)三元組中的關(guān)系來(lái)預(yù)處理知識(shí)圖譜的數(shù)據(jù).文獻(xiàn)[34]依據(jù)旅游預(yù)訂數(shù)據(jù)集CEM 構(gòu)建了包含用戶(hù)和旅游目的地信息的知識(shí)圖譜,其中實(shí)體包括用戶(hù)類(lèi)實(shí)體和旅游目的地類(lèi)實(shí)體,其中旅游目的地實(shí)體包含模式(公民建筑、博物館或海灘···)、種類(lèi)(大學(xué)、劇場(chǎng)···)和所在城市三類(lèi)屬性.用戶(hù)和旅游目的地之間的關(guān)系則是根據(jù)用戶(hù)歷史旅游行為構(gòu)建.

2.3 推薦系統(tǒng)利用知識(shí)圖譜的方法

利用知識(shí)圖譜進(jìn)行推薦生成,是應(yīng)用知識(shí)圖譜的推薦系統(tǒng)的主要特點(diǎn).本節(jié)從基于向量表示的方法、基于路徑的方法和基于鄰域的方法三個(gè)方面介紹近期研究中對(duì)知識(shí)圖譜的利用方式.

2.3.1 基于向量表示的方法

基于向量表示的方法利用知識(shí)圖譜表示學(xué)習(xí)得到的實(shí)體/關(guān)系向量進(jìn)行推薦.此類(lèi)方法的實(shí)質(zhì)是將知識(shí)圖譜中包含的附加信息編碼為實(shí)體或關(guān)系的向量表示.以這些向量表示做為補(bǔ)充來(lái)緩解推薦系統(tǒng)的數(shù)據(jù)稀疏和冷啟動(dòng)問(wèn)題.此時(shí),需要設(shè)計(jì)用戶(hù)和物品等實(shí)體以及關(guān)系的向量表示學(xué)習(xí)方法,然后根據(jù)推薦問(wèn)題的特點(diǎn),設(shè)計(jì)合理的推薦模型.這些模型的輸入即為用戶(hù)或物品等實(shí)體以及關(guān)系的向量表示,輸出通常為用戶(hù)對(duì)物品的感興趣程度的估計(jì).由于深度學(xué)習(xí)的興起,近年來(lái)文獻(xiàn)中提出的推薦模型通常是深度神經(jīng)網(wǎng)絡(luò).

1)直接利用現(xiàn)有知識(shí)表示學(xué)習(xí)結(jié)果的方法

基于向量表示的方法首先需要獲得知識(shí)圖譜中實(shí)體和關(guān)系的向量表示.最直接的方法是利用TransE、TransD 等已有的知識(shí)表示學(xué)習(xí)方法得到實(shí)體或關(guān)系的向量表示[28,32,34-36].

文獻(xiàn)[28]針對(duì)醫(yī)學(xué)推薦領(lǐng)域問(wèn)題提出了稱(chēng)為安全醫(yī)學(xué)推薦(Safe medicine recommendation,SMR)的框架,用于解決由于知識(shí)圖譜的不完整性引起的推薦系統(tǒng)穩(wěn)定性問(wèn)題.SMR 首先通過(guò)鏈接MIMIC-III(患者)、DrugBank(藥物)和ICD-9 ontology(疾病)三個(gè)數(shù)據(jù)集構(gòu)建知識(shí)圖譜,其中患者、藥物、疾病作為實(shí)體,患者-疾病和患者-藥物形成關(guān)系.然后應(yīng)用能夠?qū)?shí)體編碼到連續(xù)向量空間的LINE 模型[37]將疾病、藥物、患者及其相應(yīng)關(guān)系共同嵌入同一低維空間.基于(患者,疾病)向量表示和藥物表示,設(shè)計(jì)用于前k項(xiàng)最佳藥物推薦的評(píng)分函數(shù).數(shù)據(jù)集MIMIC-III、DrugBank 和ICD-9 ontology上的實(shí)驗(yàn)結(jié)果表明SMR 能夠提升推薦結(jié)果的準(zhǔn)確率.

文獻(xiàn)[32]關(guān)注根據(jù)用戶(hù)對(duì)新聞的點(diǎn)擊歷史預(yù)測(cè)用戶(hù)是否會(huì)點(diǎn)擊某個(gè)候選新聞的問(wèn)題.由于新聞具有簡(jiǎn)潔、時(shí)敏、專(zhuān)業(yè)性強(qiáng)等特點(diǎn),一些傳統(tǒng)的推薦方法無(wú)法給出足夠準(zhǔn)確的推薦結(jié)果.該方法利用TransD 模型[17]學(xué)習(xí)實(shí)體的嵌入表示,同時(shí)考慮這些實(shí)體一跳關(guān)系的實(shí)體作為上下文實(shí)體.其核心部件為知識(shí)感知卷積神經(jīng)網(wǎng)絡(luò)(Knowledge-aware convolutional neural network,KCNN).KCNN 將詞(用語(yǔ)料庫(kù)或隨機(jī)初始化得到嵌入表示)、知識(shí)實(shí)體、上下文實(shí)體的向量表示作為多通道輸入,連續(xù)的非線(xiàn)性變換能在卷積過(guò)程中保持實(shí)體的原始空間關(guān)系,得到多通道的詞表示:

其中,n為一個(gè)新聞標(biāo)題中詞的個(gè)數(shù),wi為詞向量,ei為wi對(duì)應(yīng)的知識(shí)實(shí)體向量,為ei的上下文向量.最后通過(guò)濾波器對(duì)多通道的詞表示處理獲得新聞標(biāo)題的表示.注意力模塊使用深度神經(jīng)網(wǎng)絡(luò)[38](一個(gè)用戶(hù)點(diǎn)擊過(guò)的某條新聞標(biāo)題和候選新聞標(biāo)題的嵌入作為輸入)來(lái)計(jì)算一個(gè)用戶(hù)點(diǎn)擊過(guò)的某條新聞對(duì)于候選新聞的影響力權(quán)重,基于權(quán)重得到用戶(hù)點(diǎn)擊某候選新聞的概率.提出的方法用在從真實(shí)的新聞平臺(tái)Bing 新聞上搜集2016年10月16日到2017年7月11日的數(shù)據(jù)進(jìn)行了驗(yàn)證.該實(shí)驗(yàn)數(shù)據(jù)集包含時(shí)間戳、用戶(hù)ID、新聞鏈接、新聞標(biāo)題、用戶(hù)點(diǎn)擊次數(shù).實(shí)驗(yàn)通過(guò)比較AUC(Area under curve)和F1 等評(píng)價(jià)指標(biāo),將文中提出的深度知識(shí)感知網(wǎng)絡(luò)(Deep knowledge-aware network,DKN)與一些最先進(jìn)的深度推薦模型相比較,準(zhǔn)確率最多提高了10%.DKN 融合了新聞的語(yǔ)義層次和知識(shí)層次表示,通過(guò)實(shí)體和單詞的對(duì)齊機(jī)制融合了異構(gòu)信息源,提高捕捉新聞之間隱含關(guān)系的表現(xiàn).

文獻(xiàn)[34]提出了一種基于神經(jīng)網(wǎng)絡(luò)和知識(shí)圖譜的推薦方法來(lái)預(yù)測(cè)旅行者的下一個(gè)旅行目的地.該方法在真實(shí)世界的預(yù)訂數(shù)據(jù)集CEM 上獲取旅客旅游信息,使用TransE 方法對(duì)構(gòu)建的知識(shí)圖譜中的用戶(hù)實(shí)體和旅游地點(diǎn)實(shí)體進(jìn)行向量表示學(xué)習(xí),用戶(hù)-旅游地點(diǎn)關(guān)系根據(jù)用戶(hù)歷史旅游行為構(gòu)建,即用戶(hù)“旅游過(guò)”旅游地點(diǎn).用戶(hù)實(shí)體向量、旅游地點(diǎn)實(shí)體向量、用戶(hù)-旅游地點(diǎn)關(guān)系矩陣、用戶(hù)統(tǒng)計(jì)信息如年齡、國(guó)籍等、旅游地點(diǎn)上下文信息作為深度神經(jīng)網(wǎng)絡(luò)的輸入,通過(guò)提出的神經(jīng)網(wǎng)絡(luò)模型—深度知識(shí)分解機(jī)(Deep knowledge factorization machines,DKFM)得到一個(gè)旅客下一次選擇某個(gè)旅游目的地的概率.知識(shí)嵌入信息作為輸入可以有效提高推薦任務(wù)的指標(biāo)表現(xiàn).

文獻(xiàn)[35]用知識(shí)圖譜結(jié)合協(xié)同過(guò)濾信息,提出了一種基于圖嵌入的推薦技術(shù).文中將知識(shí)圖譜節(jié)點(diǎn)嵌入到二維向量空間中,節(jié)點(diǎn)的具體映射將通過(guò)實(shí)際的圖形嵌入技術(shù)來(lái)實(shí)現(xiàn),如Fruchterman-Reingold 算法[39]、自組織圖嵌入技術(shù)[40]、在Java 通用網(wǎng)絡(luò)/圖框架[41]中實(shí)現(xiàn)的圖嵌入、Kamada-Kawai 技術(shù)[42]等,并通過(guò)為每個(gè)節(jié)點(diǎn)分配的實(shí)值坐標(biāo)來(lái)定義節(jié)點(diǎn)之間的歐幾里得距離.對(duì)于用戶(hù)-物品評(píng)分,文中選擇從相似用戶(hù)的評(píng)分出發(fā)定義一個(gè)用戶(hù)對(duì)物品的迭代評(píng)分函數(shù),評(píng)分函數(shù)以時(shí)間戳升序遍歷已知評(píng)分值列表,然后將代表已知評(píng)分值的邊添加到知識(shí)圖譜中.對(duì)冷啟動(dòng)實(shí)例(指該方法無(wú)法為其生成達(dá)到要求長(zhǎng)度的推薦列表)的數(shù)量、精度、召回率等指標(biāo)的評(píng)估表明,與通常的協(xié)同過(guò)濾進(jìn)行前k項(xiàng)推薦的方法相比提高了性能.

文獻(xiàn)[36]將音樂(lè)推薦表述為知識(shí)庫(kù)補(bǔ)全任務(wù),為單個(gè)用戶(hù)提供、個(gè)性化的音樂(lè)推薦.該方法將用戶(hù)視為與藝術(shù)家/專(zhuān)輯相關(guān)的知識(shí)庫(kù)中的特殊實(shí)體,利用知識(shí)嵌入算法TransE 得到用戶(hù)和物品的向量表示.用如下函數(shù)估計(jì)用戶(hù)u與專(zhuān)輯或藝術(shù)家t之間的距離

其中,‖·‖1是L1范數(shù).Eu,ELike,Et分別是用戶(hù)u、關(guān)系Like、專(zhuān)輯或藝術(shù)家t的訓(xùn)練得到的嵌入表示,通過(guò)選擇距離小于定義閾值的那些專(zhuān)輯作為給用戶(hù)u推薦的要購(gòu)買(mǎi)的下一專(zhuān)輯.此推薦系統(tǒng)已順利集成到基于MPD 協(xié)議的播放器中,提高了在準(zhǔn)確率和MRR(Mean reciprocal rank)指標(biāo)上的表現(xiàn).

2)根據(jù)推薦問(wèn)題特點(diǎn)改進(jìn)現(xiàn)有知識(shí)表示學(xué)習(xí)的方法

除了直接利用已有知識(shí)圖譜表示學(xué)習(xí)方法得到實(shí)體或關(guān)系的向量表示外,一些方法根據(jù)推薦問(wèn)題的特點(diǎn),設(shè)計(jì)了更有針對(duì)性的用戶(hù)和物品實(shí)體嵌入模型[22,43-47].

文獻(xiàn)[22]試圖通過(guò)對(duì)用戶(hù)喜歡某物品的原因建模,提出基于翻譯的推薦模型結(jié)合知識(shí)補(bǔ)全任務(wù)的KTUP(Knowledge-enhanced translation-based user preference)模型,將描述用戶(hù)與物品關(guān)系的知識(shí)圖譜三元組作為用戶(hù)-物品關(guān)系建模的補(bǔ)充.基礎(chǔ)推薦模型TUP(Translation-based user preference)由兩部分組成:首先在知識(shí)圖譜DBpedia 上通過(guò)“硬策略”和“軟策略”進(jìn)行用戶(hù)偏好歸納,以了解用戶(hù)喜歡某個(gè)物品的原因.例如如果用戶(hù)觀(guān)看了由同一個(gè)人執(zhí)導(dǎo)(關(guān)系)的幾部電影(實(shí)體),可以推斷出導(dǎo)演關(guān)系在用戶(hù)做出決定時(shí)起著關(guān)鍵作用.其中,“硬策略”假設(shè)用戶(hù)做出決定時(shí)只受一種關(guān)系的影響.“軟策略”則假設(shè)用戶(hù)做出決定時(shí)受多種關(guān)系的影響,這些關(guān)系按照影響重要性加權(quán)處理.其次在偏好歸納表示的基礎(chǔ)上,定義基于翻譯的損失函數(shù)Lp來(lái)作為推薦生成的約束

式中,Lk是TransH 的損失函數(shù).文獻(xiàn)[22]還與文獻(xiàn)[25]中的方法進(jìn)行了對(duì)比,分別通過(guò)在1-1、1-N、N-1、N-N不同情況下推薦準(zhǔn)確率的實(shí)驗(yàn)結(jié)果,驗(yàn)證了理解用戶(hù)偏好方面的優(yōu)勢(shì).

文獻(xiàn)[43]對(duì)實(shí)體間的交互和實(shí)體內(nèi)的交互建模,提出了注意增強(qiáng)知識(shí)感知用戶(hù)偏好模型(Attention-enhanced knowledge-aware user preference model,AKUPM),通過(guò)結(jié)合知識(shí)圖中的不同類(lèi)別實(shí)體來(lái)推斷用戶(hù)的潛在興趣,使用戶(hù)-物品間關(guān)系更明確,避免知識(shí)圖譜中模糊的用戶(hù)-物品關(guān)系帶來(lái)的稀疏性問(wèn)題.該方法首先利用TransR 方法獲得實(shí)體的嵌入向量表示.其中,實(shí)體間交互是指當(dāng)實(shí)體被包含在不同的實(shí)體集中時(shí),實(shí)體不同屬性的重要性差異很大.該方法設(shè)計(jì)了自注意網(wǎng)絡(luò),以某個(gè)用戶(hù)點(diǎn)擊過(guò)的物品的k階鄰域的物品的向量表示為輸入,該網(wǎng)絡(luò)通過(guò)學(xué)習(xí)不同物品對(duì)某個(gè)用戶(hù)的不同重要性來(lái)表示實(shí)體間的交互.實(shí)體內(nèi)交互是指對(duì)于某個(gè)用戶(hù),實(shí)體在涉及不同關(guān)系時(shí)可能有不同的特征.實(shí)體內(nèi)的交互通過(guò)將實(shí)體投影到關(guān)系空間中來(lái)表示.該方法用知識(shí)圖譜三元組的評(píng)分函數(shù)[15]做為點(diǎn)擊率概率預(yù)測(cè)函數(shù).在MovieLens-1M和Book-Crossing 上的實(shí)驗(yàn)結(jié)果表明AKUPM 在一些評(píng)估指標(biāo)(例如,AUC,準(zhǔn)確率(Accuracy,ACC)和召回率(Recall)@K)上取得了高于常用模型的結(jié)果.

文獻(xiàn)[44]提出嵌入聯(lián)合圖譜查詢(xún)的框架用于藥物推薦.聯(lián)合邏輯查詢(xún)是藥物推薦領(lǐng)域的常見(jiàn)問(wèn)題,是針對(duì)多個(gè)實(shí)體間邏輯關(guān)系的預(yù)測(cè)(而不是像通常的單個(gè)邊預(yù)測(cè)),通過(guò)聯(lián)合查詢(xún)可以推斷節(jié)點(diǎn)集之間子圖關(guān)系的存在.例如在一個(gè)不完整的生物學(xué)知識(shí)圖譜上,預(yù)測(cè)哪些藥物可能對(duì)與X和Y兩種疾病有關(guān)的蛋白質(zhì)作用,就需要同時(shí)推理所有可能與兩種疾病X和Y癥狀相關(guān)的蛋白質(zhì).處理聯(lián)合邏輯查詢(xún)是知識(shí)圖譜推理——預(yù)測(cè)實(shí)體之間缺失邊任務(wù)的一個(gè)挑戰(zhàn).文中提出的方法首先將知識(shí)圖譜中節(jié)點(diǎn)嵌入低維空間中,再通過(guò)定義的算子將查詢(xún)表示為嵌入向量,根據(jù)圖結(jié)構(gòu)上的查詢(xún)關(guān)系訓(xùn)練算子來(lái)優(yōu)化算子的嵌入準(zhǔn)確率.然后使用生成的查詢(xún)嵌入來(lái)預(yù)測(cè)節(jié)點(diǎn)滿(mǎn)足查詢(xún)的可能性.該方法在兩個(gè)具有數(shù)百萬(wàn)關(guān)系的真實(shí)數(shù)據(jù)集Bio data 和Reddit data 上能夠準(zhǔn)確預(yù)測(cè)藥物-基因-疾病相互作用網(wǎng)絡(luò)中的邏輯關(guān)系.

文獻(xiàn)[45]考慮物品的不同屬性對(duì)用戶(hù)偏好的影響,提出了entity2rec 方法.該方法在僅含某一個(gè)特定屬性的子圖譜上,通過(guò)無(wú)監(jiān)督學(xué)習(xí)node2vec[48]得到該子圖上實(shí)體的面向特定屬性的向量表示.進(jìn)而提出了計(jì)算特定屬性下用戶(hù)-物品相關(guān)性(參見(jiàn)文獻(xiàn)[45]中第3.2 節(jié)).最后,該方法采用排序?qū)W習(xí)方法,根據(jù)不同屬性下用戶(hù)-物品相關(guān)性,得到全局用戶(hù)-物品相關(guān)性度量,并據(jù)此給出top-N推薦結(jié)果.作者將影評(píng)數(shù)據(jù)集MovieLens-1M 與DBpedia 相鏈接,在其上的實(shí)驗(yàn)結(jié)果顯示,entity2rec 方法在P@5、P@10、M@P 指標(biāo)下均優(yōu)于ItemKNN、SVD、NMF、MostPop 等常用的推薦技術(shù).作者發(fā)現(xiàn)依據(jù)“反饋”關(guān)系產(chǎn)生的推薦結(jié)果精度最好.entity2rec 方法允許系統(tǒng)在提供建議時(shí)考慮特定屬性(例如推薦具有類(lèi)似演員的電影),而且允許讓排序?qū)W習(xí)算法隱式地對(duì)屬性進(jìn)行加權(quán),提高了推薦結(jié)果的可理解性和精確度.

文獻(xiàn)[46]通過(guò)融合知識(shí)圖譜嵌入和推薦任務(wù)得到實(shí)體的向量表示,提出了多任務(wù)特征學(xué)習(xí)方法

(Multi-task feature learning approachfor knowledge graph enhanced recommendation,MKR).其中的交叉壓縮單元將知識(shí)圖譜嵌入任務(wù)和推薦任務(wù)相關(guān)聯(lián),根據(jù)推薦系統(tǒng)中物品與知識(shí)圖譜中實(shí)體之間的交互,得到實(shí)體的向量表示.在推薦模塊中,通過(guò)交叉壓縮單元得到用戶(hù)和物品的特征表示,用于計(jì)算用戶(hù)對(duì)物品的感興趣概率;知識(shí)圖譜嵌入模塊根據(jù)Microsoft Satori 知識(shí)庫(kù)通過(guò)交叉壓縮單元得到三元組的頭實(shí)體和關(guān)系的表示,用于計(jì)算得分從而預(yù)測(cè)尾實(shí)體.除此外,通過(guò)交叉壓縮單元還能調(diào)整知識(shí)傳播和任務(wù)之間關(guān)聯(lián)的權(quán)重,從而優(yōu)化模型.該方法在MovieLens-1M、Book-Crossing、Last.FM、Bing-News 數(shù)據(jù)集上優(yōu)于多個(gè)常用推薦方法.

文獻(xiàn)[47]提出了一個(gè)貝葉斯框架BEM(Bayes embedding).該方法利用了外部知識(shí)圖譜(Freebase 15,FB 15)和用戶(hù)歷史行為構(gòu)成的行為知識(shí)圖譜的信息.行為知識(shí)圖譜以用戶(hù)行為(如購(gòu)買(mǎi)、引用等)鏈接兩個(gè)被同一個(gè)用戶(hù)執(zhí)行該行為的物品.BEM 針對(duì)推薦任務(wù),通過(guò)貝葉斯生成模型橋接結(jié)合外部知識(shí)圖譜和行為知識(shí)圖譜的嵌入(其中前者被視為作為先驗(yàn)數(shù)據(jù),而后者作為觀(guān)測(cè)數(shù)據(jù)),優(yōu)化圖嵌入.文中發(fā)現(xiàn)BEM 可以通過(guò)整合知識(shí)圖譜信息,提高行為知識(shí)圖譜的嵌入表示性能,從而改善簡(jiǎn)化為“預(yù)測(cè)用戶(hù)實(shí)體與物品實(shí)體之間關(guān)系”的商品推薦任務(wù)的結(jié)果.事實(shí)證明,無(wú)論是用于預(yù)測(cè)實(shí)體間未觀(guān)察到的邊或是進(jìn)行內(nèi)容推薦任務(wù),外部知識(shí)圖譜和行為知識(shí)圖譜的低維嵌入都很有幫助,兩種類(lèi)型的圖可以包含相同實(shí)體/節(jié)點(diǎn)的不同信息和互補(bǔ)信息.但是先前的工作要么集中在知識(shí)圖嵌入上,要么集中在行為圖嵌入上,而很少有人以統(tǒng)一的方式考慮這兩者.

隨著圖神經(jīng)網(wǎng)絡(luò)模型研究的深入,也有學(xué)者提出將圖神經(jīng)網(wǎng)絡(luò)應(yīng)用于推薦系統(tǒng)中用戶(hù)和物品等實(shí)體的向量表示任務(wù).文獻(xiàn)[49]提出帶有標(biāo)簽平滑度正則化的知識(shí)感知圖神經(jīng)網(wǎng)絡(luò)(Knowledge graph neural network-label smoothing,KGNN-LS)來(lái)緩解知識(shí)圖譜信息挖掘?qū)κ謩?dòng)特征工程的依賴(lài)問(wèn)題.該方法首先訓(xùn)練用戶(hù)對(duì)關(guān)系重要性的評(píng)分函數(shù),將知識(shí)圖譜轉(zhuǎn)換為針對(duì)特定用戶(hù)的加權(quán)圖.然后將其輸入到圖神經(jīng)網(wǎng)絡(luò)中,計(jì)算針對(duì)特定用戶(hù)的物品向量表示.為優(yōu)化歸納偏差,基于標(biāo)簽平滑度假設(shè)[50-51](該假設(shè)認(rèn)為知識(shí)圖譜中的相鄰物品可能具有相似的用戶(hù)相關(guān)標(biāo)簽/分?jǐn)?shù))對(duì)邊緣權(quán)重進(jìn)行正則化.用戶(hù)與物品的預(yù)測(cè)函數(shù)和用于約束權(quán)重的標(biāo)簽平滑模塊共同構(gòu)成訓(xùn)練的損失函數(shù).在數(shù)據(jù)集MovieLens-20M、Book-Crossing、Last.FM 和Dianping-Food上進(jìn)行的實(shí)驗(yàn)表明,提出的方法優(yōu)于對(duì)比算法,而且在冷啟動(dòng)場(chǎng)景中也具有出色的性能.

3)將其他非結(jié)構(gòu)化信息與知識(shí)圖譜融合的方法

為了提高嵌入表示的準(zhǔn)確性,一些文獻(xiàn)提出將知識(shí)圖譜中的結(jié)構(gòu)化信息與物品的文字描述、圖像等非結(jié)構(gòu)化信息相融合,得到實(shí)體的向量表示,進(jìn)一步產(chǎn)生推薦.

文獻(xiàn)[25]融合了知識(shí)圖譜的結(jié)構(gòu)信息、物品描述的文本信息和物品的視圖信息,提出一種協(xié)同聯(lián)合學(xué)習(xí)CKE(Collaborative knowledge base embedding)方法.該方法利用擴(kuò)展的貝葉斯TransR方法根據(jù)知識(shí)圖譜結(jié)構(gòu)信息得到實(shí)體結(jié)構(gòu)信息向量表示;使用堆疊降噪自編碼器(Stacked denoising autoencoder,SDAE)[52]從物品的文本信息(如書(shū)、電影的摘要、簡(jiǎn)介等)中得到其文本信息向量表示;利用改進(jìn)的SDAE 方法處理物品的視圖信息(如書(shū)的封面、電影的海報(bào)等圖像)得到視圖類(lèi)信息的向量表示,其中的全連接層替換為卷積層的堆疊卷積自編碼器(Stacked convolutional autoencoder,SCAE).結(jié)合上述三種信息的向量表示,構(gòu)造了用戶(hù)興趣概率計(jì)算函數(shù).這些信息從不同側(cè)面描述了物品特征,對(duì)其進(jìn)行綜合利用可以幫助緩解制約協(xié)同過(guò)濾性能的數(shù)據(jù)稀疏問(wèn)題.與貝葉斯個(gè)性化排序(Bayesian personalized ranking,BPR)類(lèi)似,該方法采用了基于比較對(duì)的目標(biāo)函數(shù).作者在MovieLens-1M 和IntentBooks 上對(duì)CKE 進(jìn)行了驗(yàn)證和比較.

2.3.2 基于路徑的方法

知識(shí)圖譜中的附加信息還可以通過(guò)分析其中節(jié)點(diǎn)和節(jié)點(diǎn)之間的路徑來(lái)獲得基于路徑的方法著重考慮用戶(hù)與用戶(hù)、用戶(hù)與物品之間的關(guān)聯(lián)路徑,基于關(guān)系和路徑進(jìn)行知識(shí)圖譜上的推理,預(yù)測(cè)用戶(hù)與物品的匹配度.捕捉用戶(hù)偏好路徑、設(shè)計(jì)路徑傳播挖掘方法從而表示用戶(hù)偏好等是推薦系統(tǒng)中這類(lèi)知識(shí)圖譜應(yīng)用方法的關(guān)鍵.與基于向量表示的方法相比,此類(lèi)方法具有更好的可解釋性.

1)利用知識(shí)圖譜中已有路徑的方法

此類(lèi)方法可以直接利用知識(shí)圖譜中已有的路徑,形成實(shí)體/路徑的向量表示或設(shè)計(jì)基于路徑的評(píng)分函數(shù),從而優(yōu)化推薦算法[23,27,53-54].

文獻(xiàn)[23]中的知識(shí)圖譜嵌入方法(Recurrent knowledge graph embedding,RKGE),可自動(dòng)學(xué)習(xí)實(shí)體和實(shí)體(實(shí)體包含了用戶(hù)、電影、與電影相關(guān)的屬性實(shí)體)之間路徑的語(yǔ)義表示,以表征用戶(hù)對(duì)物品的偏好.該方法首先在知識(shí)圖譜中找到從用戶(hù)到物品的路徑,并且按照路徑長(zhǎng)度篩選,避免過(guò)長(zhǎng)路徑帶來(lái)的噪聲.其次在由嵌入層和注意控制隱藏層組成的循環(huán)網(wǎng)絡(luò)中,在嵌入層中對(duì)路徑中的每個(gè)實(shí)體進(jìn)行向量表示學(xué)習(xí),形成路徑表示;在注意控制隱藏層將路徑中某實(shí)體前面所有的實(shí)體向量信息作為輸入,控制閾值優(yōu)化下一個(gè)實(shí)體的向量表示.最后通過(guò)顯著性判斷賦予兩個(gè)實(shí)體之間不同路徑不同的權(quán)重,得到實(shí)體間的關(guān)系預(yù)測(cè)函數(shù).在基于Movielens-1M 和IMDB 數(shù)據(jù)集上驗(yàn)證了提出方法的有效性.

文獻(xiàn)[27]設(shè)計(jì)了一個(gè)知識(shí)圖譜注意網(wǎng)絡(luò)(Knowledge graph attention network,KGAT),從相似用戶(hù)、相似物品屬性之外的角度來(lái)處理用戶(hù)偏好推薦問(wèn)題.該方法在考慮知識(shí)圖譜的路徑傳播時(shí),盡量沿著不同的關(guān)系擴(kuò)展用戶(hù)與物品之間的路徑.該方法主要是為了對(duì)用戶(hù)和物品之間的多跳關(guān)系建模.建立的知識(shí)圖譜注意網(wǎng)絡(luò)KGAT 包含三層:協(xié)同知識(shí)圖譜(Collaborative knowledge graph,CKG)嵌入層、注意嵌入傳播層、預(yù)測(cè)層.CKG 嵌入層采用TransR 方法學(xué)習(xí)向量表示,注意嵌入傳播層通過(guò)實(shí)體關(guān)聯(lián)路徑傳播、知識(shí)感知模型構(gòu)建、信息聚合三個(gè)部分,得到用戶(hù)、物品的多維向量表示.最后設(shè)計(jì)用戶(hù)對(duì)物品的評(píng)分函數(shù)為神經(jīng)網(wǎng)絡(luò)得到的用戶(hù)和物品的向量表示的內(nèi)積.通過(guò)對(duì)損失函數(shù)的優(yōu)化學(xué)習(xí)知識(shí)圖譜注意網(wǎng)絡(luò)中的參數(shù).該方法的結(jié)果與文獻(xiàn)[55]中RippleNet 方法等相比有了顯著的性能提升.

文獻(xiàn)[53]提出了一種可解釋的交互驅(qū)動(dòng)用戶(hù)建模(Explainable interaction-driven user modeling,EIUM)算法,該方法除利用了物品的內(nèi)容信息(如文字描述、圖像等)來(lái)緩解數(shù)據(jù)稀疏問(wèn)題外,還利用知識(shí)圖譜來(lái)構(gòu)建可解釋的順序推薦器.所謂順序推薦是根據(jù)用戶(hù)的歷史行為序列來(lái)預(yù)測(cè)其當(dāng)前可能需要的物品[56].該方法首先融合了物品的內(nèi)容信息和知識(shí)圖譜中的結(jié)構(gòu)信息,利用知識(shí)圖譜表示學(xué)習(xí)方法得到物品和關(guān)系的向量表示,然后提取用戶(hù)-物品對(duì)之間的語(yǔ)義路徑,例如和是知識(shí)圖譜中用戶(hù)user和電影m5之間的兩條不同語(yǔ)義路徑.在交互表示模塊中設(shè)計(jì)了基于注意力機(jī)制的神經(jīng)網(wǎng)絡(luò),將用戶(hù)-物品語(yǔ)義路徑上融合了內(nèi)容信息和結(jié)構(gòu)信息的實(shí)體向量輸入到該網(wǎng)絡(luò)中,得到每個(gè)語(yǔ)義路徑的向量表示,結(jié)合賦權(quán)的池化層計(jì)算每條路徑的重要性得分.在順序交互建模模塊中,基于物品的表示,定義了表示用戶(hù)偏好的預(yù)測(cè)函數(shù),用來(lái)預(yù)測(cè)用戶(hù)選擇某個(gè)物品的概率.最后,對(duì)兩個(gè)模塊的目標(biāo)函數(shù)進(jìn)行聯(lián)合訓(xùn)練.該方法通過(guò)對(duì)用戶(hù)-物品對(duì)之間的語(yǔ)義顯式路徑(而不是隱式嵌入)進(jìn)行建模,通過(guò)賦權(quán)的池化層中每條路徑的權(quán)重產(chǎn)生推薦結(jié)果,使推薦系統(tǒng)能夠按路徑進(jìn)行解釋.在MovieLens-20M 上進(jìn)行的大量實(shí)驗(yàn)表明,就準(zhǔn)確性和可解釋性而言,該方法在提出順序推薦建議方面具有更好的性能.文中表示將進(jìn)一步研究將用戶(hù)的個(gè)人資料和上下文信息與外部知識(shí)圖譜結(jié)合在一起,以解決冷啟動(dòng)推薦問(wèn)題.

文獻(xiàn)[54] 提出的策略引導(dǎo)路徑推理(Policyguided path reasoning,PGPR)方法,將推薦問(wèn)題轉(zhuǎn)化為在知識(shí)圖譜中尋找以用戶(hù)為起點(diǎn)物品為終點(diǎn)的路徑的問(wèn)題,并據(jù)此提供推薦的理由.該問(wèn)題通過(guò)強(qiáng)化學(xué)習(xí)的方法來(lái)解決.核心路徑推理方法是,將用戶(hù)向量表示和在定義的評(píng)分函數(shù)下與用戶(hù)評(píng)分計(jì)算在閾值內(nèi)的(關(guān)系,實(shí)體)集合所形成的路徑,基于其路徑推理策略、路徑跳數(shù)限制和每一跳的采樣范圍,輸出路徑集合、跳躍概率集合和跳躍獎(jiǎng)勵(lì)集合.用馬爾科夫決策過(guò)程描述實(shí)體間的路徑傳播,定義了實(shí)體的路徑狀態(tài)表示、基于用戶(hù)的(關(guān)系,實(shí)體)對(duì)的采樣限制、終點(diǎn)態(tài)實(shí)體的“軟獎(jiǎng)勵(lì)”、路徑狀態(tài)轉(zhuǎn)移的概率函數(shù)、用于最優(yōu)化獎(jiǎng)勵(lì)的隨機(jī)策略?xún)?yōu)化函數(shù),得到針對(duì)單個(gè)用戶(hù)的路徑推理策略.其中基于用戶(hù)的(關(guān)系,實(shí)體)對(duì)的剪枝由定義的評(píng)分函數(shù)進(jìn)行.在A(yíng)mazon e-commerce 數(shù)據(jù)集上取得了出色的結(jié)果,且結(jié)果能夠展示可解釋的推理過(guò)程.

除利用實(shí)體間的單條路徑外,一些方法同時(shí)挖掘知識(shí)圖譜中多條路徑蘊(yùn)含的信息.例如,文獻(xiàn)[24]利用知識(shí)圖譜的連通性來(lái)挖掘用戶(hù)偏好,提出了知識(shí)路徑遞歸網(wǎng)絡(luò)(Knowledge-aware path recurrent network,KPRN)模型.該方法重點(diǎn)關(guān)注路徑中的順序依存關(guān)系和整體語(yǔ)義建模.KPRN 嵌入層將實(shí)體、實(shí)體類(lèi)型和指向下一節(jié)點(diǎn)的關(guān)系三者嵌入向量空間;LSTM(Long short term memory)層按順序?qū)τ脩?hù)和物品之間的實(shí)體和關(guān)系語(yǔ)義信息進(jìn)行編碼,從而生成路徑的表示;最后結(jié)合多條路徑表示,計(jì)算用戶(hù)對(duì)物品的評(píng)分.其中,定義了一個(gè)含超參數(shù)的函數(shù)來(lái)區(qū)分用戶(hù)和物品之間不同路徑的權(quán)重影響,并且展示了用于預(yù)測(cè)一個(gè)用戶(hù)評(píng)分的三條路徑以表明可解釋性.在MovieLens-1M 和IMDb 上進(jìn)行了實(shí)驗(yàn),表現(xiàn)出對(duì)協(xié)同知識(shí)嵌入(Collaborative knowledge base embedding)和神經(jīng)因子分解(Neural factorization machine)方法性能的提升.

2)挖掘路徑規(guī)則的方法

為了獲得更好的可解釋性,一些學(xué)者提出挖掘已有路徑中蘊(yùn)含的推薦規(guī)則來(lái)產(chǎn)生推薦.此類(lèi)方法通過(guò)挖掘已有路徑中的推薦規(guī)則,提高推薦結(jié)果的有效性和可解釋性[21,57].這種推薦規(guī)則具有普適性,能夠在一定程度上緩解數(shù)據(jù)稀疏和冷啟動(dòng)問(wèn)題.

文獻(xiàn)[21]使用稱(chēng)為ProPPR 的通用概率邏輯系統(tǒng)研究了提高基于知識(shí)圖譜推薦系統(tǒng)性能的三種方法.EntitySim 模型僅使用知識(shí)圖譜單一實(shí)體-關(guān)系路徑鏈接結(jié)構(gòu)構(gòu)成規(guī)則集,進(jìn)行預(yù)測(cè).擴(kuò)展模型TypeSim 建立在EntitySim 之上,另外模擬了實(shí)體類(lèi)型的流行度和相似性,使用節(jié)點(diǎn)的類(lèi)型信息來(lái)優(yōu)化圖譜路徑.提出的基于圖的潛在因子模型GraphLF結(jié)合了潛在因子分解[58]和圖譜優(yōu)勢(shì),主要規(guī)則是潛在因子相似性simLF 的定義:兩個(gè)輸入實(shí)體X和Y,選取一個(gè)維度D,沿著D測(cè)量X和Y的值.如果有許多維度D上X和Y的值都很高,那么概率上它們的相似性得分也很高.GraphLF 沿著每個(gè)維度分別學(xué)習(xí)用戶(hù)和物品的權(quán)重,計(jì)算用戶(hù)與物品的相關(guān)性.三種模型在Yelp2013 和IM100K數(shù)據(jù)集上與 HeteRecp[59]模型、樸素貝葉斯模型公布的結(jié)果進(jìn)行比較,在Precision@K 結(jié)果精度上有大幅提升.在改變數(shù)據(jù)集密度的情況下進(jìn)一步實(shí)驗(yàn),發(fā)現(xiàn)在更高密度下,只需圖譜鏈接結(jié)構(gòu)形成規(guī)則集就足以提出準(zhǔn)確的建議.這表明,稀疏數(shù)據(jù)集中,知識(shí)圖譜是一種很有價(jià)值的信息來(lái)源,但當(dāng)對(duì)于每個(gè)用戶(hù)的訓(xùn)練樣例足夠時(shí),它的效用會(huì)降低.這從側(cè)面表現(xiàn)出了知識(shí)圖譜在推薦系統(tǒng)冷啟動(dòng)問(wèn)題中的效用.

文獻(xiàn)[57]提出了一種聯(lián)合學(xué)習(xí)框架,該方法包含規(guī)則學(xué)習(xí)模塊和推薦模塊.規(guī)則學(xué)習(xí)模塊采用隨機(jī)游走方法,從知識(shí)圖譜中提取物品-物品之間的路徑,進(jìn)而學(xué)習(xí)以物品為中心的多跳關(guān)系模式,即規(guī)則.然后得到物品對(duì)的向量表示,其中的每一個(gè)元素表示兩個(gè)物品之間由某個(gè)規(guī)則相連的概率.在推薦模塊中提出了結(jié)合現(xiàn)有用戶(hù)-物品評(píng)分預(yù)測(cè)結(jié)果和前述物品對(duì)向量表示的評(píng)分函數(shù)框架.規(guī)則學(xué)習(xí)和推薦模塊的目標(biāo)函數(shù)加權(quán)求和后得到多任務(wù)學(xué)習(xí)的目標(biāo)函數(shù),對(duì)該目標(biāo)函數(shù)優(yōu)化后即可產(chǎn)生推薦結(jié)果.得到的規(guī)則權(quán)重可用于解釋推薦結(jié)果.該方法將基于矩陣分解的方法(Bayesian personalized ranking matrix factorization,BPRMF)和基于深度學(xué)習(xí)的方法(Neural collaborative filtering,NCF)集成到提出的評(píng)分函數(shù)框架中,作者將Amazon Cellphone 和Amazon Electronic 數(shù)據(jù)集與公開(kāi)的知識(shí)圖譜Freebase 和DBPedia 相鏈接,在其中對(duì)提出的方法進(jìn)行了驗(yàn)證.

2.3.3 基于鄰域的方法

知識(shí)圖譜結(jié)構(gòu)的復(fù)雜性導(dǎo)致單一路徑的挖掘往往不能充分利用實(shí)體間的復(fù)雜關(guān)聯(lián)關(guān)系.因此,一些推薦方法利用用戶(hù)或物品在知識(shí)圖譜中的鄰接實(shí)體來(lái)挖掘更多特征,以更充分地利用知識(shí)圖譜中的附加信息.將知識(shí)圖譜結(jié)構(gòu)以中心-鄰域的方式考量,能夠充分發(fā)揮知識(shí)圖譜網(wǎng)狀結(jié)構(gòu)的優(yōu)勢(shì),其向量形式也便于對(duì)用戶(hù)或關(guān)系進(jìn)行數(shù)值建模,從而產(chǎn)生推薦.高效利用知識(shí)圖譜的鄰域結(jié)構(gòu)信息是這類(lèi)方法研究的關(guān)鍵.此類(lèi)方法通?？梢苑譃槲锲窞橹行牡姆椒ê鸵杂脩?hù)為中心的方法.

1)以物品為中心的鄰域方法

文獻(xiàn)[33]考慮了物品為中心的知識(shí)圖譜鄰域信息,設(shè)計(jì)了端到端框架知識(shí)圖譜卷積網(wǎng)絡(luò)(Knowledge graph convolutional networks,KGCN).該方法通過(guò)在知識(shí)圖譜上挖掘物品的相關(guān)屬性來(lái)有效地捕獲物品間相關(guān)性,相關(guān)而不是孤立的物品信息可以減輕數(shù)據(jù)稀疏性問(wèn)題帶來(lái)的影響.在每一層KGCN 上,首先將用戶(hù)-物品關(guān)聯(lián)矩陣和描述物品屬性信息的知識(shí)圖譜作為輸入,再?gòu)闹R(shí)圖譜的每個(gè)實(shí)體鄰居實(shí)體中抽樣形成物品的“感受域”,然后將鄰域?qū)嶓w表示與實(shí)體之間的表示偏差結(jié)合形成特定物品實(shí)體的表示.擴(kuò)展“感受域”到多跳實(shí)體可以得到高階鄰居信息,推理出用戶(hù)潛在的遠(yuǎn)期興趣.基于高階鄰居信息和物品實(shí)體的表示設(shè)計(jì)用戶(hù)評(píng)分函數(shù).在MovieLens-20M、Book-Crossing、Last.FM三個(gè)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果優(yōu)于同期優(yōu)秀推薦方法.

2)以用戶(hù)為中心的鄰域方法

文獻(xiàn)[55]挖掘以用戶(hù)為中心的鄰域信息,以提供個(gè)性化的推薦.提出的RippleNet 首先將一個(gè)用戶(hù)點(diǎn)擊過(guò)的物品作為網(wǎng)絡(luò)的“種子節(jié)點(diǎn)”,然后將種子節(jié)點(diǎn)作為頭實(shí)體的三元組形成第一環(huán)“漣漪集”,其中的尾實(shí)體就是第一環(huán)的“漣漪實(shí)體”.以此類(lèi)推,可以得到H 環(huán)的“漣漪集”.在每一環(huán)根據(jù)該環(huán)遵循的關(guān)系、頭實(shí)體向量表示構(gòu)建激勵(lì)函數(shù),在尾實(shí)體上作用,從而得到這一環(huán)的用戶(hù)表示,所有環(huán)的用戶(hù)向量表示相加形成一個(gè)用戶(hù)的向量表示,從而完成用戶(hù)建模過(guò)程.用戶(hù)向量與用戶(hù)-物品關(guān)聯(lián)矩陣作為RippleNet 的輸入,訓(xùn)練參數(shù)后得到用戶(hù)和物品關(guān)聯(lián)概率(也即用戶(hù)點(diǎn)擊某物品概率)的預(yù)測(cè).在MovieLens-1M、Book-Crossing、Bing-News數(shù)據(jù)集上采用Precision@K、Recall@K、F1@K 指標(biāo)評(píng)價(jià)的實(shí)驗(yàn)中,RippleNet 相比其他推薦方法表現(xiàn)出顯著優(yōu)勢(shì).

2.4 綜合分析

在本文第2.2 節(jié)和第2.3 節(jié)對(duì)近年文獻(xiàn)的綜述基礎(chǔ)上,本節(jié)主要依據(jù)圖2 對(duì)上述研究進(jìn)行進(jìn)一步的分析:

1)就推薦系統(tǒng)中知識(shí)圖譜的來(lái)源而言,由于公共知識(shí)圖譜數(shù)據(jù)集便于獲取,現(xiàn)有方法中選擇鏈接公共知識(shí)庫(kù)的較多.

2)在知識(shí)圖譜利用方式上,基于向量表示的方法更受關(guān)注.因?yàn)橄蛄繉W(xué)習(xí)和向量計(jì)算方面的各類(lèi)算法已經(jīng)較為成熟,便于結(jié)合知識(shí)圖譜進(jìn)行推薦的生成.

3)基于路徑和基于鄰域來(lái)挖掘知識(shí)圖譜信息的推薦方法是有待繼續(xù)發(fā)展研究的方向,理論研究和算法設(shè)計(jì)都不夠完善.

3 知識(shí)圖譜推薦系統(tǒng)數(shù)據(jù)集

本文綜述的文獻(xiàn)中涉及的數(shù)據(jù)集有推薦系統(tǒng)數(shù)據(jù)、外部知識(shí)圖譜數(shù)據(jù)和將推薦數(shù)據(jù)和知識(shí)圖譜鏈接后的完整數(shù)據(jù).下面分別對(duì)這些數(shù)據(jù)進(jìn)行簡(jiǎn)要介紹.

3.1 推薦系統(tǒng)數(shù)據(jù)集

推薦系統(tǒng)數(shù)據(jù)集目前較為豐富,本文涉及文獻(xiàn)中用到的數(shù)據(jù)集主要有MovieLens、Book-Crossings、Last.FM、Yelp、Bing News、Drug interactions、IntentBooks、ICD-9 ontology、Freesound、MIMIC-III、CEM、Amazon-book、Amazon e-commerce datasets collection、All Music Guide、Alibaba Taobao.表1列出了這些數(shù)據(jù)集的主要信息.

表1 主要推薦系統(tǒng)數(shù)據(jù)集信息Table 1 Main recommendation system datasets information

3.2 知識(shí)圖譜數(shù)據(jù)集

推薦系統(tǒng)中鏈接的外部知識(shí)庫(kù)數(shù)據(jù)集主要有:DBpedia、Wikidata、Freebase、YAGO,其中包含大量半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù).下面分別詳細(xì)介紹.

1)DBpedia

DBpedia[62]是一個(gè)多語(yǔ)言綜合型知識(shí)庫(kù),由德國(guó)萊比錫大學(xué)和曼海姆大學(xué)科研人員創(chuàng)建,從維基百科中抽取結(jié)構(gòu)化信息,以關(guān)聯(lián)數(shù)據(jù)的形式發(fā)布.DBpedia 的數(shù)據(jù)來(lái)源覆蓋范圍廣闊,包含了眾多領(lǐng)域?qū)嶓w信息.DBpedia 2014 版的資料集具有超過(guò)458 萬(wàn)實(shí)體,包括144.5 萬(wàn)人、73.5 萬(wàn)個(gè)地點(diǎn)、12.3萬(wàn)張唱片、8.7 萬(wàn)部電影、1.9 萬(wàn)種電腦游戲、24.1 萬(wàn)個(gè)組織、25.1 萬(wàn)種物種和6 000 個(gè)疾病.它不僅被BBC、路透社、紐約時(shí)報(bào)所采用,也是Google、Yahoo 等搜尋引擎檢索的對(duì)象.DBpedia 還能夠自動(dòng)同步維基百科.

2)Wikidata

Wikidata[63]是有超過(guò)4 600 萬(wàn)個(gè)數(shù)據(jù)項(xiàng)的維基數(shù)據(jù)庫(kù)(2018年),為維基百科、維基共享資源以及其他的維基媒體物品提供支持,也是Wikipedia、Wikivoyage、Wikisource 中結(jié)構(gòu)化數(shù)據(jù)的中央存儲(chǔ)器,并支持免費(fèi)使用.Wikidata 可以被用戶(hù)和機(jī)器閱讀和編輯,包含豐富的數(shù)據(jù)類(lèi)型(文本、圖像、數(shù)量、坐標(biāo)、地理形狀、日期等),使用SPARQL 查詢(xún).Wikidata 的數(shù)據(jù)主要以文檔的形式進(jìn)行存儲(chǔ),每個(gè)文檔都有一個(gè)主題或一個(gè)管理頁(yè)面,并被唯一的標(biāo)識(shí)符標(biāo)記.

3)Freebase

Freebase 知識(shí)庫(kù)[64]由美國(guó)軟件公司Metaweb開(kāi)發(fā),于2007年3月公開(kāi).它整合了包括部分私人wiki 站點(diǎn)在內(nèi)的許多網(wǎng)上資源內(nèi)容,主要來(lái)自其社區(qū)成員的貢獻(xiàn).其中一部分?jǐn)?shù)據(jù)來(lái)源于維基百科、IMDB、Flickr 等網(wǎng)站或語(yǔ)料庫(kù).Freebase 的結(jié)構(gòu)分為三層:Domain →Type →Topic.Freebase2014版包含了6 800 萬(wàn)個(gè)實(shí)體,10 億條關(guān)系信息,超過(guò)24 億條事實(shí)三元組信息.Freebase 具有查詢(xún)簡(jiǎn)單便捷的特點(diǎn),在2015年6月整體移入WikiData.

4)YAGO

YAGO[65]由德國(guó)馬普研究所研制,主要集成了來(lái)自Wikipedia、WordNet 和GeoNames 的數(shù)據(jù).YAGO 融合集成了WordNet 的詞匯定義和Wikipedia 的分類(lèi)體系,使得YAGO 實(shí)體分類(lèi)體系更加豐富,同時(shí)還考慮了時(shí)間和空間知識(shí),為許多知識(shí)條目添加了時(shí)空維度的屬性描述.目前YAGO 包含1.2 億條三元組知識(shí),是IBM Watson 的后端知識(shí)庫(kù)之一.

5)ICD-92(國(guó)際疾病分類(lèi)第9 版)

包含13 000 條診斷的國(guó)際標(biāo)準(zhǔn)代碼及之間的關(guān)系.

6)DrugBank

是由醫(yī)學(xué)相關(guān)實(shí)體組成的生物信息學(xué)/化學(xué)信息學(xué)數(shù)據(jù)庫(kù).版本3 包含8 054 種藥物,4 038 個(gè)其他相關(guān)實(shí)體(例如蛋白質(zhì)或藥物靶標(biāo))和21 種關(guān)系.

3.3 鏈接了推薦系統(tǒng)和知識(shí)圖譜的數(shù)據(jù)集

為了便于開(kāi)展研究,一些學(xué)者將推薦數(shù)據(jù)中的物品和知識(shí)圖譜中的實(shí)體建立連接后形成完整的數(shù)據(jù)集.這種數(shù)據(jù)集能夠直接用于基于知識(shí)圖譜的推薦算法產(chǎn)生推薦結(jié)果.

文獻(xiàn)[66]提供了一個(gè)用于推薦系統(tǒng)的公共鏈接知識(shí)庫(kù)(Knowledge base,KB)數(shù)據(jù)KB4Rec v1.0.該數(shù)據(jù)集將三個(gè)推薦系統(tǒng)廣泛使用的數(shù)據(jù)集Movielens(電影)、Last.FM(音樂(lè))和Amazon Book(書(shū)籍)與知識(shí)庫(kù)Freebase 建立鏈接.建立鏈接時(shí)將物品標(biāo)題作為關(guān)鍵詞檢索知識(shí)庫(kù)中的實(shí)體,如果沒(méi)有返回具有相同標(biāo)題的實(shí)體,則認(rèn)為相關(guān)推薦數(shù)據(jù)集中的項(xiàng)目在鏈接過(guò)程中被拒絕;如果返回至少一個(gè)具有相同標(biāo)題的KB 實(shí)體,則進(jìn)一步用輔助信息作為精確約束以準(zhǔn)確鏈接(例如IMDB ID、藝術(shù)家姓名和作家姓名分別用于電影,音樂(lè)和書(shū)籍三個(gè)領(lǐng)域).在鏈接過(guò)程中,處理了會(huì)影響字符串匹配算法結(jié)果的問(wèn)題,例如小寫(xiě),縮寫(xiě)等.對(duì)于MovieLens-20M,LFM-1b 和Amazon book 分別找到了25 982、1 254 923 和109 671 個(gè)鏈接ID 對(duì).文獻(xiàn)[66]還發(fā)現(xiàn)物品流行度越高,越有可能在知識(shí)庫(kù)中成功鏈接;物品越新穎,即發(fā)布時(shí)間越晚,鏈接比率越低.

4 應(yīng)用知識(shí)圖譜的推薦系統(tǒng)研究難點(diǎn)

應(yīng)用知識(shí)圖譜的推薦系統(tǒng)是一個(gè)充滿(mǎn)挑戰(zhàn)的研究方向,面臨如下研究難點(diǎn):

1)數(shù)據(jù)集制約

較完整地構(gòu)建一個(gè)完整、準(zhǔn)確、實(shí)用的知識(shí)圖譜是一項(xiàng)艱巨且復(fù)雜的工程.因此,當(dāng)前應(yīng)用知識(shí)圖譜的推薦系統(tǒng)絕大多數(shù)采用已公開(kāi)的知識(shí)圖譜數(shù)據(jù)集和推薦系統(tǒng)數(shù)據(jù)集(如第2 節(jié)中介紹).公開(kāi)的數(shù)據(jù)集方便了各種方法的效用評(píng)價(jià)與比較,但同時(shí)也對(duì)方法設(shè)計(jì)造成了一定程度上的限制和影響.例如,現(xiàn)行的知識(shí)圖譜多為描述用戶(hù)-偏好-物品或者物品-屬性的數(shù)據(jù)集,有利于基于內(nèi)容的推薦方法和基于物品的協(xié)同過(guò)濾推薦,但基于用戶(hù)的協(xié)同過(guò)濾推薦面臨稀疏性問(wèn)題.此外,用戶(hù)與物品之間的關(guān)聯(lián)在數(shù)據(jù)集中的體現(xiàn)往往較為單一,給進(jìn)一步細(xì)化關(guān)系推理的方法設(shè)計(jì)造成了一些困難.

2)數(shù)據(jù)稀疏和冷啟動(dòng)問(wèn)題

推薦系統(tǒng)大多面臨數(shù)據(jù)稀疏和冷啟動(dòng)問(wèn)題.知識(shí)圖譜的加入為用戶(hù)和物品提供了更多的描述信息,一定程度上緩解了數(shù)據(jù)稀疏和冷啟動(dòng)問(wèn)題.但是,知識(shí)圖譜本身也是非常稀疏的,知識(shí)圖譜中的關(guān)系數(shù)量相對(duì)于實(shí)體數(shù)量非常少.同時(shí),知識(shí)圖譜也存在冷啟動(dòng)問(wèn)題,不容易完整地獲得新加入的實(shí)體與已有實(shí)體之間的關(guān)系.知識(shí)圖譜的這些特點(diǎn)使得應(yīng)用知識(shí)圖譜的推薦系統(tǒng)同樣面臨數(shù)據(jù)稀疏和冷啟動(dòng)問(wèn)題.其中,用戶(hù)和物品與知識(shí)圖譜中的其他實(shí)體往往關(guān)系稀疏.同時(shí),新用戶(hù)和新物品等新加入的實(shí)體難以與已有的知識(shí)圖譜中的實(shí)體建立鏈接.

3)推薦規(guī)則單一

應(yīng)用知識(shí)圖譜的推薦系統(tǒng)在推薦建模中所依據(jù)的推薦規(guī)則往往是知識(shí)圖譜中物品相似的特征、推薦系統(tǒng)中用戶(hù)相似的評(píng)價(jià)、時(shí)空距離上相近的信息(例如新聞推薦、旅游推薦中考慮時(shí)效性)等.現(xiàn)實(shí)中用戶(hù)的選擇往往受到更多復(fù)雜因素的影響,而且不同類(lèi)型的推薦任務(wù)中,推薦生成的因素可能有差異.例如電子商務(wù)推薦任務(wù)中,用戶(hù)購(gòu)買(mǎi)過(guò)耐用型產(chǎn)品后,短期內(nèi)按照物品特征相似規(guī)則給出推薦結(jié)果,未必得到用戶(hù)的積極反饋;而旅游推薦或者求職推薦任務(wù)中,特征相似的物品推薦較符合用戶(hù)的選擇心理.在充分利用知識(shí)圖譜技術(shù)的同時(shí),結(jié)合推薦任務(wù)情景知識(shí),能夠提高模型性能和結(jié)果表現(xiàn).

4)網(wǎng)絡(luò)社交信息

隨著在線(xiàn)社交網(wǎng)絡(luò)成為現(xiàn)代生活的重要組成部分,網(wǎng)絡(luò)用戶(hù)的交互信息成為生成推薦的重要參考.例如文獻(xiàn)[67]將社交網(wǎng)絡(luò)信息應(yīng)用于汽車(chē)推薦領(lǐng)域.文獻(xiàn)[68]則提出了基于信任關(guān)系傳遞的推薦模型.在社交網(wǎng)絡(luò)中除了上述信任關(guān)系外,還包含了用戶(hù)之間的其他關(guān)系,例如朋友關(guān)系、敵對(duì)關(guān)系、不信任關(guān)系等.此外社交網(wǎng)絡(luò)中的用戶(hù)影響力、交互頻率、交互對(duì)象和各類(lèi)隱性反饋都極具參考價(jià)值.如何應(yīng)用知識(shí)圖譜技術(shù)將社交網(wǎng)絡(luò)中的多種信息進(jìn)行統(tǒng)一表示并綜合利用是一個(gè)難點(diǎn)問(wèn)題,解決此問(wèn)題有望進(jìn)一步提高推薦的效率和準(zhǔn)確率.

5)隱私安全

信息安全逐漸成為上至國(guó)家、企業(yè),下至團(tuán)體、個(gè)人都非常關(guān)注的問(wèn)題.隨著知識(shí)圖譜信息收集和傳播成本的下降帶來(lái)的個(gè)人隱私的泄露,用戶(hù)的個(gè)人信息保護(hù)意識(shí)在增強(qiáng).推薦系統(tǒng)所相關(guān)的知識(shí)圖譜記錄、收集用戶(hù)信息和行為數(shù)據(jù)的難度在增加,如何安全收集記錄更多可信的用戶(hù)數(shù)據(jù),從而突破已有數(shù)據(jù)集的制約、緩解稀疏性和冷啟動(dòng)問(wèn)題也成為一個(gè)關(guān)注點(diǎn).

5 應(yīng)用知識(shí)圖譜的推薦系統(tǒng)前景展望

應(yīng)用知識(shí)圖譜的推薦方法和系統(tǒng)是推薦系統(tǒng)領(lǐng)域的一個(gè)新興方向.目前來(lái)看,應(yīng)用知識(shí)圖譜的推薦方法和系統(tǒng)在未來(lái)的研究中有如下幾個(gè)潛在的方向:

1)知識(shí)圖譜應(yīng)用多樣化

應(yīng)用知識(shí)圖譜的推薦系統(tǒng)中,知識(shí)圖譜多作為上下文信息的補(bǔ)充,使得用戶(hù)偏好和物品特征挖掘環(huán)節(jié)能夠得到更多有價(jià)值信息.隨著知識(shí)圖譜技術(shù)的發(fā)展,將推薦任務(wù)結(jié)合到知識(shí)推理過(guò)程中的推薦方法嶄露頭角,知識(shí)圖譜與推薦模型之間不再是簡(jiǎn)單的輔助關(guān)系.有效利用知識(shí)圖譜多樣性信息,將推薦任務(wù)與知識(shí)圖譜中的知識(shí)抽取、知識(shí)表示、知識(shí)融合和知識(shí)推理結(jié)合,極有可能成為應(yīng)用知識(shí)圖譜的推薦系統(tǒng)的研究方向之一.

2)圖神經(jīng)網(wǎng)絡(luò)的應(yīng)用

圖神經(jīng)網(wǎng)絡(luò)(Graph neural network,GNN)是最近興起的深度學(xué)習(xí)模型,此類(lèi)模型能夠很好地利用知識(shí)圖譜的圖結(jié)構(gòu).在知識(shí)圖譜的表示學(xué)習(xí)、關(guān)系抽取、補(bǔ)全與擴(kuò)展、知識(shí)推理等任務(wù)中利用圖生成、圖編碼或圖神經(jīng)網(wǎng)絡(luò)等技術(shù),可以精確捕獲許多種要結(jié)構(gòu)特征信息,有助于更準(zhǔn)確地預(yù)測(cè)用戶(hù)、物品在知識(shí)圖譜中的關(guān)聯(lián)關(guān)系.探索圖神經(jīng)網(wǎng)絡(luò)等圖模型在知識(shí)圖譜上應(yīng)用,提高推薦的準(zhǔn)確性、可解釋性,緩解稀疏性和冷啟動(dòng)問(wèn)題,將成為今后的研究熱點(diǎn).

3)直接利用現(xiàn)有知識(shí)表示學(xué)習(xí)結(jié)果的方法

將用戶(hù)的歷史行為構(gòu)建為知識(shí)圖譜,有助于挖掘?qū)W習(xí)用戶(hù)選擇物品因果關(guān)系,進(jìn)而提高推薦結(jié)果的可解釋性.通過(guò)訓(xùn)練模型學(xué)習(xí)和理解用戶(hù)-物品的“配對(duì)原因”,推薦系統(tǒng)就如同能夠“讀心”.如何提高推薦系統(tǒng)對(duì)推理規(guī)則的感知,甚至對(duì)推理規(guī)則的自動(dòng)拓展學(xué)習(xí),都可能成為今后推薦系統(tǒng)設(shè)計(jì)的關(guān)鍵技術(shù).

4)知識(shí)圖譜的演化與用戶(hù)偏好變化的聯(lián)合利用

用于推薦生成的相關(guān)知識(shí)會(huì)隨著時(shí)間、空間發(fā)生變化.相應(yīng)的,知識(shí)圖譜中的關(guān)聯(lián)關(guān)系也會(huì)發(fā)生變化.同時(shí),用戶(hù)的偏好也會(huì)隨著時(shí)間發(fā)生改變.例如,某些偏好可能出現(xiàn)周期性變化規(guī)律.知識(shí)的演化與用戶(hù)偏好隨時(shí)間的改變是否有某種同步關(guān)系? 兩者變化的規(guī)律是什么? 如何利用這些變化和規(guī)律指導(dǎo)推薦方法和系統(tǒng)的設(shè)計(jì)? 回答這些問(wèn)題需要將知識(shí)演化與用戶(hù)偏好的變化相結(jié)合,開(kāi)展更深入的研究.

6 結(jié)論

本文綜述了2015～2019年發(fā)表在DLRS、RecSys、KDD、CIKM、NIPS、TIST、UMAP、SIGIR 等會(huì)議和期刊中的利用知識(shí)圖譜的推薦方法的文獻(xiàn).本文根據(jù)此類(lèi)推薦方法中知識(shí)圖譜構(gòu)建和利用知識(shí)圖譜產(chǎn)生推薦兩個(gè)環(huán)節(jié)中構(gòu)建知識(shí)圖譜數(shù)據(jù)的不同來(lái)源、推薦方法中利用知識(shí)圖譜信息的不同形式提出了分類(lèi)框架,對(duì)相關(guān)文獻(xiàn)進(jìn)行了分類(lèi)綜述.最后,本文分析和總結(jié)了當(dāng)前利用知識(shí)圖譜的推薦方法和系統(tǒng)的研究難點(diǎn),提出了基于圖神經(jīng)網(wǎng)絡(luò)的方法、考慮因果關(guān)系的推薦方法等有價(jià)值的研究方向.未來(lái),我們將進(jìn)一步研究近年的這些利用知識(shí)圖譜的推薦方法在表1 中所整理的benchmark 數(shù)據(jù)集上的表現(xiàn)結(jié)果對(duì)比,以更全面地探討這些方法的優(yōu)勢(shì)與特點(diǎn).

隨著知識(shí)表示、知識(shí)推理等知識(shí)圖譜關(guān)鍵技術(shù)研究的深入,知識(shí)圖譜在推薦系統(tǒng)將獲得更廣泛的應(yīng)用,利用知識(shí)圖譜的推薦方法和系統(tǒng)的研究也將獲得更多關(guān)注.