基于雙曲圖注意力網(wǎng)絡的知識圖譜鏈路預測方法

吳 錚 陳鴻昶 張建朋

(戰(zhàn)略支援部隊信息工程大學信息技術研究所 鄭州 450002)

1 引言

知識圖譜是一種用圖模型來描述知識和建模世界萬物之間關聯(lián)關系的技術方法[1]?，F(xiàn)如今，大規(guī)模知識圖譜已經(jīng)成為推動實現(xiàn)信息檢索[2]、自動問答[3]和推薦系統(tǒng)[4]等人工智能相關應用的重要基礎。知識圖譜將現(xiàn)實世界中的知識建模成(vh,r,vt) 三元組的形式，其中vh和vt分別表示頭、尾實體，r表示實體之間的關系，例如(Beijing,capital_of, China)。雖然知識圖譜的應用取得了巨大的成功，但是目前例如FreeBase, WordNet,Yago, DBpedia以及NELL等現(xiàn)代著名知識圖譜存儲的知識是稀疏的和不完整的，很多存在于真實世界中的關系在知識圖譜的實體之間卻是缺失的，因此需要知識圖譜補全技術來提高知識圖譜的完整程度和數(shù)據(jù)質量。知識圖譜補全目前主要被抽象成一個鏈路預測問題，即預測出三元組中缺失的部分，如頭實體預測 ( ?,r,vt)、 尾實體預測(vh,r,?)和關系預測(vh,?,vt)，問號表示要預測的部分，而另外兩個部分是已知的。

近年來，網(wǎng)絡表示學習在特征提取方面展現(xiàn)出了強大的能力。許多研究者將網(wǎng)絡表示學習遷移到知識圖譜數(shù)據(jù)上，完成知識圖譜中的各類任務，其中就包含基于知識表示學習的知識圖譜鏈路預測?；谥R表示學習的知識圖譜鏈路預測方法，大多將知識網(wǎng)絡中的實體與實體之間的語義關系嵌入到歐式空間中連續(xù)的低維稠密向量空間中，當學習到知識圖譜的歐式空間嵌入式向量后，實體和關系之間可以進行計算與推理，再利用線性模型或神經(jīng)網(wǎng)絡模型就可以高效地完成知識三元組中缺失元素的預測。盡管基于歐式空間的表示學習取得了成功，但是最近研究結果表明，歐幾里德對稱模型不能很好地反映復雜的數(shù)據(jù)模式，歐幾里德空間里的嵌入表示不是最有意義的幾何表示[5]。現(xiàn)實世界中的網(wǎng)絡很多情況下表現(xiàn)為樹形結構的無標度圖，在這樣的結構中，圖的體積(以一個節(jié)點為中心，某個半徑范圍內的節(jié)點數(shù)量)以半徑的指數(shù)級增長，而歐式空間中球的體積只以半徑的多項式級增長，這就會造成嵌入式向量的高度失真。知識圖譜是一個典型的樹狀分層多關系結構的圖數(shù)據(jù)，知識圖譜中的許多關系呈現(xiàn)出了實體之間明顯的分層結構。大多數(shù)現(xiàn)有的知識圖譜鏈路預測方法將知識圖譜嵌入到歐式空間中進行表示學習，容易造成嵌入式向量的失真，而將知識圖譜嵌入到雙曲空間中則可能會有較明顯的性能改進。此外，大多數(shù)方法孤立地分析每個知識三元組，忽視了對三元組中實體周圍局部結構化信息的挖掘和利用。

針對以上問題，本文提出了一種基于雙曲注意力網(wǎng)絡的知識圖譜鏈路預測方法(Hyperbolic Graph ATtention networks for Link Prediction in knowledge graph, HyGAT-LP)，通過聚合雙曲幾何對層級結構圖數(shù)據(jù)的建模能力和圖注意力網(wǎng)絡對網(wǎng)絡結構的學習能力，共同學習知識圖譜上的嵌入式表示。首先設計雙曲空間中的鄰居融合和非線性激活的函數(shù)表達式，在每一層中用不同的可訓練的曲率將歐式輸入特征轉化為雙曲空間中的表示向量。然后計算不同鄰居關系的權重，并計算對應每種關系下不同鄰居實體的權重，最后綜合衡量鄰居實體和關系的影響，分別通過實體和關系級別的注意力機制聚合雙曲空間中的鄰居信息來學習和更新雙曲嵌入式表示向量。多個知識圖譜數(shù)據(jù)集上的實驗結果表明，HyGAT-LP的性能優(yōu)于目前最先進的知識圖譜鏈路預測方法。

2 相關工作

2.1 知識表示學習

最近幾年，知識圖譜補全技術受到廣泛關注并取得深入發(fā)展，在所有知識補全方法中，最有效的就是基于知識表示學習方法，此類方法可以在保留知識圖譜內在結構的基礎上，通過學習實體和關系低維向量表示，使用線性或者神經(jīng)網(wǎng)絡模型來預測知識三元組中缺失的信息[6]。眾多算法模型大致可以被分為4類：(1)轉移距離模型，典型的模型為TransE[7]。受詞向量中平移不變性的啟發(fā)，在TransE中，把關系的向量表示解釋成頭實體向量向尾實體向量的轉移向量，把衡量知識圖譜中三元組的合理性問題，轉化成衡量頭實體到尾實體的距離問題。后續(xù)的RotatE[8]模型在復數(shù)空間中建模，把關系當作頭尾實體之間的旋轉，從理論上證明能夠解決對稱/反對稱、翻轉、組合關系。(2)語義匹配模型，早期典型的模型為RESCAL[9]，核心思想是將整個知識圖譜編碼為一個3維張量，將關系表示成實體向量的線性變換，得分函數(shù)設計成頭實體向量、關系矩陣以及尾實體向量的雙線性乘積的形式。DistMult[10]通過限制關系矩陣為對角矩陣來簡化和修正RESCAL模型容易過擬合的問題，但是DistMult限定所有關系對稱，無法解決非對稱關系。ComplEx[11]通過將實體和關系在復數(shù)域進行向量表示來擴展DistMult，實現(xiàn)了對非對稱關系的預測，但是它不能推斷組合模式。TuckER[12]通過對三元組向量的Tucker分解實現(xiàn)了不同關系之間多任務學習，以上語義匹配模型都可以看作TuckER模型的特例。相比較于轉移距離模型，語義匹配模型通過挖掘向量化后的實體和關系的潛在語義來度量事實的可信性。(3)基于卷積神經(jīng)網(wǎng)絡(Convolutional Neural Networks, CNN)的模型，ConvE[13]和ConvKB[14]是最近兩年新提出的基于CNN的知識圖譜表示學習模型，ConvE通過一個2維卷積來預測鏈路，模型包括卷積層、全連接層和最后輸出的內積層。ConvKB和ConvE類似，把每個三元組看作一個k×3的矩陣，卷積層中尺寸為1 ×3的過濾器對矩陣的每一行進行遍歷，提取實體之間的全局關系。相比較于其他模型，這些模型雖然提取局部特征的效率較高，但是仍將實體和關系視為獨立的元素，損壞了三元組的完整性，并且忽視了對相鄰的不同三元組之間關系的考量。(4)基于圖神經(jīng)網(wǎng)絡(Graph Neural Networks,GNN)的模型，典型代表為R-GCN[15](Relational Graph Convolutional Networks)，基于已知實體或關系在圖中周圍節(jié)點的表示，推理得到未知實體的表示，從而可以獲取知識圖譜中缺失實體的表示向量。此外還有RGHAT[16]模型基于圖注意力網(wǎng)絡(Graph ATtention networks, GAT)來進行鏈接預測和實體發(fā)現(xiàn)等任務。GNN模型可以處理數(shù)據(jù)之間具有復雜關系和相互依賴的圖結構數(shù)據(jù)[17]。GNN模型的引入豐富了知識圖譜中實體和關系的表達，尤其在得到未知實體和關系的表示方面具備一定的推理能力。

2.2 雙曲空間知識表示學習

知識圖譜鏈路預測的性能取決于模型對圖數(shù)據(jù)結構和關系模式建模的契合程度。雙曲空間是最近機器學習領域中十分活躍的研究熱點之一，已有研究表明，在建模多關系樹形層次結構的知識圖譜數(shù)據(jù)時，負常數(shù)曲率空間即雙曲空間要優(yōu)于零曲率空間即歐式空間[18]。近年來，許多研究嘗試把各種各樣的層級數(shù)據(jù)嵌入到雙曲空間，在嵌入向量維度更少的條件下卻在下游的機器學習任務中取得了更好的效果，并在知識問答、機器翻譯、圖分析等應用上取得了性能上的提升。Zhang等人[19]通過雙曲層級注意力網(wǎng)絡模型Hype-HAN生成從詞向量到句向量，再到最終的文檔向量，然后利用生成的這些語義向量用于自動文本分類任務。Bala?evic等人[20]提出的MuRP模型在雙曲幾何空間中學習知識圖譜表示向量，通過最小化頭實體向量和尾實體向量轉移后的雙曲距離，學習到最佳雙曲嵌入式向量，但是其缺點在于它像其他轉移距離模型一樣無法挖掘關系中的邏輯屬性，且模型曲率固定會導致準確率的喪失。針對此問題，Chami等人[21]提出ATTH模型對其進行改進，使用旋轉、反射、平移變換對知識圖譜中的邏輯和層次模式進行建模，取得了更佳的預測效果。

3 相關概念及定義

3.1 知識圖譜鏈路預測

3.2 雙曲幾何模型

4 算法介紹

本文的目的是學習可以保存復雜邏輯關系和層次結構的雙曲空間中的知識圖譜表示向量，并用學到的向量通過得分函數(shù)在知識圖譜上進行鏈路預測，還原損壞三元組中丟失的信息，從而完成知識圖譜補全任務。為此，本文提出了基于雙曲圖注意力網(wǎng)絡的知識圖譜鏈路預測算法HyGAT-LP，算法總共包括3個部分：(1)歐式空間到雙曲空間的映射；(2)雙曲空間中的特征變換；(3)雙曲空間中的鄰居信息聚合。

4.1 歐式空間到雙曲空間的映射

圖1 歐式正切平面空間和雙曲空間之間映射關系示意圖

4.2 雙曲空間中的特征變換

4.3 雙曲空間中的鄰居信息聚合

在圖注意力網(wǎng)絡GAT中，注意力機制被看作一種更具表達能力的信息融合手段。區(qū)別于圖卷積神經(jīng)網(wǎng)絡(Graph Convolutional Networks, GCN)，GAT通過衡量中心節(jié)點與鄰居節(jié)點的相關度區(qū)別對待不同的鄰居節(jié)點，并將其作為分配權重應用到聚合鄰居結構信息和屬性信息的操作中，從而更加準確地刻畫了中心節(jié)點，提升了模型的表達能力。在知識圖譜網(wǎng)絡中，除了鄰居節(jié)點類型的多種多樣之外，不同節(jié)點之間的關系類型也并非單一的。同一實體在不同的關系中也扮演了不同的角色，起到了不同的作用，并且不同關系在描述對實體時，其對實體的限定信息程度也是不同的，例如在描述美國籃球職業(yè)聯(lián)賽布魯克林“籃網(wǎng)隊”實體時，關系“has_players”比關系“based_in_city”更具有指向性，因為一個球隊的運動員可以唯一確定一支球隊，但是同一個城市卻有可能會有兩支球隊，比如籃網(wǎng)隊所在的城市紐約還有尼克斯隊。因此Hy-GAT-LP分別考慮兩種層面的注意力機制，即關系注意力和節(jié)點注意力。

4.4 模型整體框架

基于以上章節(jié)對HyGAT-LP各個模塊的介紹，HyGAT-LP整體框架如圖2所示。

圖2 HyGAT-LP模型框架圖

為了進行鏈路預測，利用式(20)計算三元組的得分作為衡量其成立可能性的依據(jù)，

4.5 模型訓練與復雜度分析

5 實驗結果及分析

5.1 數(shù)據(jù)集

為了評估所提算法的有效性，本文在FB15k-237和WN18RR這2個常用的基準數(shù)據(jù)集上開展實驗。數(shù)據(jù)集的統(tǒng)計信息如表1所示。其中ρ表示平均每一類關系的三元組數(shù)，體現(xiàn)了數(shù)據(jù)的稠密程度。FB15k-237數(shù)據(jù)集是知識圖譜 Freebase的一個子集，包含真實世界中的事實，少部分關系具有層級特性，如part-of等，數(shù)據(jù)集稀疏(每一類關系對應的實體數(shù)量較小)，網(wǎng)絡分層特性不明顯。WN18RR數(shù)據(jù)集是知識圖譜WordNet的子集，包含了單詞之間的層級關系，如hypernym，has_part等，數(shù)據(jù)集稠密(每一類關系對應的實體數(shù)量較大)，具備天然的層次結構，網(wǎng)絡分層特性明顯。

表1 FB15k-237數(shù)據(jù)集和WN18RR數(shù)據(jù)集統(tǒng)計量信息

5.2 評價指標和參數(shù)設置

實驗中使用倒數(shù)平均排序(Mean Reciprocal Rank，MRR)和Hits@1, Hits@3, Hits@10(排在前1，3，10名的有效實體的比例)作為評價指標。MRR是將排名取倒數(shù)使結果落在(0,1]之間，值越大則模型效果越好。Hits@1，Hits@3，Hits@10表示在所有的候選集中正確答案排在前1，3，10名的比例，值越大模型效果越好。將驗證集上MRR最好的模型在測試集上運行來獲取最終結果。

在訓練階段，共使用L= 2即兩層卷積層來訓練學習實體和關系的雙曲嵌入式向量，多頭注意力機制對應頭的數(shù)量為8，卷積層中的非線性激活函數(shù)采用LeakyReLU函數(shù)，模型采用Glorot方式進行模型參數(shù)初始化，Adam優(yōu)化器最小化代價函數(shù)，學習率為0.01。實體和關系的嵌入式向量維度為200，批處理大小為128，負采樣數(shù)為50，模型迭代次數(shù)為500。

5.3 實驗結果和分析

5.3.1 模型總體性能對比

為評估所提算法對知識圖譜鏈路預測任務的有效性，實驗選取轉移距離模型TransE[7]，RotatE[8]，MuRE[20]，語義匹配模型DistMult[10]，ComplEx[11]，TuckER[12]，基于卷積神經(jīng)網(wǎng)絡的模型ConvE[13]、ConvKB[14]，基于圖神經(jīng)網(wǎng)絡的模型RGHAT[16]和基于雙曲空間的轉移距離模型MuRP[20]、ATTH[21]共11種模型作為基準算法與本文所提HyGAT-LP模型進行對比，基準算法的實驗數(shù)據(jù)參照原文獻中的實驗結果進行選取。

實驗結果如表2所示，其中加粗的為最優(yōu)結果，帶下劃線的為次優(yōu)結果。所有對比算法所屬的流形總共可以分為3類：歐式空間 R 、復數(shù)域空間C和雙曲空間 B。實驗結果顯示，歐式空間模型中，TransE模型的向量平移在以組合關系模式占主體的稀疏數(shù)據(jù)集FB15k-237上能有效捕捉三元組的全局特征；但在對稱關系模式占主體的WN18RR稠密數(shù)據(jù)集上，特別在處理復雜關系類型時，實體的嵌入式表示向量會趨向于相近，導致MRR得分較低。與轉移距離模型相反，DistMult和ComplEx所使用的雙線性乘法運算擅長提取實體相似性特征，在稠密數(shù)據(jù)集WN18RR上表現(xiàn)較好，但在稀疏數(shù)據(jù)集FB15k-237上，則難以提取足夠的信息優(yōu)化實體表示，MRR和 Hits@10都有明顯下滑。ConvE在兩個數(shù)據(jù)集的幾乎所有指標上都表現(xiàn)出色，說明對實體和關系向量的拼接及2維轉化有助于CNN提取局部模式與關系特征。ConvKB結合了CNN和TransE的平移特性，但卻沒有解決實體嵌入式表示向量會趨向于相近的問題，因此在WN18RR的MRR指標上同樣表現(xiàn)出性能下滑。RotatE模型實現(xiàn)了推導對稱/反對稱、反向以及組合模式，性能相較于以上幾種模型有較大提升。TuckER模型是對以上模型的統(tǒng)一，性能十分優(yōu)秀。而RGHAT證明了基于圖神經(jīng)網(wǎng)絡的模型相比較于以上幾乎所有的非圖神經(jīng)網(wǎng)絡模型性能更優(yōu)，則體現(xiàn)了圖卷積網(wǎng)絡和注意力機制提取的特征比傳統(tǒng)算法提取的特征更加豐富和準確，對知識圖譜這類圖結構數(shù)據(jù)的學習能力更強。

表2 FB15k-237數(shù)據(jù)集和WN18RR數(shù)據(jù)集上知識圖譜鏈路預測結果

整體而言，在分層特性不明顯的FB15k-237數(shù)據(jù)集上，基于雙曲空間的模型和基于歐式空間的模型以及基于復數(shù)域空間的模型性能相當，MuRP和ATTH兩種雙曲空間模型與9種非雙曲空間模型相比，MRR, Hits@1, Hits@3, Hits@10分別平均提升9.7%, 3.7%, 4.8%和5.5%，但是在分層特性明顯的WN18RR數(shù)據(jù)集上，MRR, Hits@1, Hits@3,Hits@10分別平均提升16.2%, 14.9%, 5%和4.7%，說明雙曲空間比歐式空間更適合建模知識圖譜類型的樹狀層級多關系圖數(shù)據(jù)。

本文所提的HyGAT-LP方法，綜合了雙曲空間嵌入式表示學習和圖注意力網(wǎng)絡兩者的優(yōu)勢，且分層級地考慮了鄰居三元組的影響，在絕大多數(shù)的評價指標上都取得了最好的結果。HyGAT-LP模型與單獨基于雙曲空間的模型MuRP和ATTH相比，在FB15k-237數(shù)據(jù)上，MRR, Hits@1, Hits@3,Hits@10 4種指標分別平均提升了47.1%, 88.7%,50.7%和22.9%；在WN18RR數(shù)據(jù)上，4種指標分別平均提升了7.8%, 0%, 2.9%和8.7%。相對而言，在FB15k-237數(shù)據(jù)集上提升幅度比在WN18RR數(shù)據(jù)集上提升幅度大，驗證了在同樣的雙曲空間條件下，挖掘和利用鄰居三元組信息能有效地學習不同邏輯模式的關系類型，進一步豐富雙曲空間嵌入式向量包含的特征信息，從而提高鏈路預測的性能。

5.3.2 不同類型關系的性能度量分析

由于并非所有類型的關系都可以在實體上誘導出層級結構，因此本文研究由每類關系形成的知識圖譜的圖曲率ξG[24]以及層次得分(Krackhardt hierarchy score, Khs)[25]，進而分析每類關系的性能度量。圖曲率是幾何群論中的一個概念，用于衡量圖的樹形結構化程度。層次得分僅針對有向網(wǎng)絡定義，并且測量其中存在有向路徑 (x →y)而不存在(y →x) 的 節(jié)點對(x,y)的比重。對于所有有向非循環(huán)圖，該分數(shù)取值為1，對于圈和自環(huán)，該分數(shù)取值為0。圖曲率ξG越低，層次得分Khs越高，則該圖的分層特性越明顯，圖數(shù)據(jù)結構越趨向于樹形結構。以WN18RR數(shù)據(jù)集為例，此數(shù)據(jù)集中總共有11種類型的關系，其中可以誘導出層級結構的關系有8種，另外3種語義關系不具備層次結構，每類數(shù)據(jù)的基本統(tǒng)計量信息如表3所示。

表3 在WN18RR數(shù)據(jù)集中每類關系的統(tǒng)計量信息

為了分析不同類型關系的性能度量受雙曲空間和鄰域三元組注意力機制的影響情況，實驗比較了MuRE模型、MuRP模型和HyGAT-LP模型的每類關系的MRR指標。對比結果如圖3所示。從圖3可以看出，雙曲空間嵌入式表示方式提升了層級關系的預測性能，而在非層級關系的預測方面，基于雙曲空間和基于歐式空間的預測效果相似。HyGAT-LP模型相比較于MuRP模型而言，對非層級關系的預測效果有進一步的提升，且同時優(yōu)于MuRE模型，說明如果層級信息沒有在數(shù)據(jù)集中起到?jīng)Q定性作用，則模型的結構和深度對預測結果的影響會更加占據(jù)主導地位。

圖3 WN18RR數(shù)據(jù)集上各類關系MRR指標對比圖

5.3.3 知識三元組實例的性能度量分析

在WN18RR數(shù)據(jù)集中，當測試三元組分別為具備層級關系的(european_union, member_meronym, denmark)和非層級關系的(geology, derivationally_related_form, geologist)時，在已知頭實體和關系的條件下預測尾實體，實驗比較了MuRE模型、MuRP模型和HyGAT-LP模型對尾實體的排序情況如圖4所示，其中模型每訓練迭代5次，測試輸出1次排序結果。從圖4可以看出，隨著訓練迭代次數(shù)的增加，3個模型對目標尾實體預測的排名都呈逐步上漲的趨勢，其中雙曲空間模型對層級關系三元組的預測優(yōu)于歐式空間模型，同等迭代次數(shù)條件下，雙曲空間模型對尾實體的排名基本上都比歐式空間模型對尾實體的排名更加靠前，且雙曲空間模型的最佳排名優(yōu)于歐式空間的最佳排名。HyGAT-LP模型在3個對比模型中收斂最快，且最佳排名最靠前。對于非層級關系三元組的預測，3個模型的最佳排名都是第1名，但是HyGAT-LP模型最快收斂到最佳排名，優(yōu)于其余兩個對比模型。

圖4 實例三元組尾實體預測排名對比圖

3個模型在最后一輪訓練后的預測排名前10尾實體列表如表4所示。底色加深的實體為目標實體。從表4可以看出，MuRE模型和MuRP模型都會選出與目標實體語義差別較大的實體，如層級關系中的united_states和非層級關系中的give, film和chronologize，而HyGAT-LP模型不會出現(xiàn)這種情況，且選出的排名靠前的尾實體與目標尾實體更加相似，與頭實體和關系形成的三元組更加符合現(xiàn)實意義。以上實驗結果也從具體個體實例層面進一步驗證了HyGAT-LP模型的有效性。

表4 預測排名前10尾實體情況

6 結束語

現(xiàn)有基于歐式空間表示學習的知識圖譜鏈路預測算法，仍然存在表示向量高度失真和三元組局部鄰居信息利用不充分的問題。因此本文提出了Hy-GAT-LP算法，旨在學習知識圖譜中實體和關系的雙曲嵌入式表示，提升知識圖譜鏈路預測的準確度，主要創(chuàng)新點在于設計并實現(xiàn)了基于雙曲注意力網(wǎng)絡模型，將多關系知識圖譜嵌入到符合其所需幾何特性的雙曲空間，聯(lián)合圖注意力網(wǎng)絡對局部結構化信息的挖掘能力，共同應對其復雜的網(wǎng)絡結構和實體間復雜的關系。多個數(shù)據(jù)集上的實驗結果表明，算法的性能穩(wěn)定，與主流的基準算法相比有一定程度上的提高，特別是在樹狀分層特性更加明顯的WN18RR數(shù)據(jù)集上優(yōu)勢更為明顯。未來的工作包括探索將本文所提算法擴展到對話系統(tǒng)、自動問答系統(tǒng)等知識圖譜領域中。此外還將探索融合球型、歐式以及雙曲等不同曲率空間的注意力網(wǎng)絡模型，從而契合各式各樣結構的圖數(shù)據(jù)，使得算法的適用場景更加廣闊。