基于動態(tài)圖注意力聚合多跳鄰域的實(shí)體對齊*

汪浣沙，黃瑞陽，宋旭暉，余詩媛，胡楠

(1.國家數(shù)字交換系統(tǒng)工程技術(shù)研究中心，河南 鄭州 450002；2.中國人民解放軍戰(zhàn)略支援部隊信息工程大學(xué)，河南 鄭州 450002；3.鄭州大學(xué) 軟件學(xué)院，河南 鄭州 450001)

0 引言

實(shí)體對齊任務(wù)指利用模型或算法判斷多個不同表示的實(shí)體是否指代現(xiàn)實(shí)世界中的同一對象，隨著知識圖譜因其結(jié)構(gòu)性表示知識等優(yōu)勢而在各大自然語言處理與計算機(jī)視覺領(lǐng)域任務(wù)中廣泛應(yīng)用，實(shí)體對齊作為知識圖譜補(bǔ)全任務(wù)的重要組成部分受到越來越多研究者的關(guān)注。

現(xiàn)有實(shí)體對齊方法主要分為基于轉(zhuǎn)移距離模型與基于圖卷積網(wǎng)絡(luò)模型，即利用轉(zhuǎn)移距離模型或圖卷積網(wǎng)絡(luò)將多源實(shí)體表示為低維向量并計算相似性以找到對齊實(shí)體對。目前主流的基于圖卷積網(wǎng)絡(luò)的實(shí)體對齊模型常使用傳統(tǒng)的靜態(tài)圖注意力網(wǎng)絡(luò)對實(shí)體進(jìn)行特征提取與語義建模，但靜態(tài)圖注意力網(wǎng)絡(luò)注意力函數(shù)存在單調(diào)性，即對于任意查詢節(jié)點(diǎn)i，圖注意力網(wǎng)絡(luò)都傾向給予同一節(jié)點(diǎn)j 更高的注意力權(quán)重，這將會嚴(yán)重影響網(wǎng)絡(luò)的特征提取能力。而文獻(xiàn)[1]所提出的動態(tài)圖注意力網(wǎng)絡(luò)中每個查詢(Query)對鍵(Key)的注意系數(shù)都有不同的排序，因此具有更強(qiáng)的表示能力。圖1 展示了靜態(tài)與動態(tài)圖注意力網(wǎng)絡(luò)注意力傾向示意。

圖1 靜態(tài)、動態(tài)圖注意力網(wǎng)絡(luò)注意力傾向?qū)Ρ?/p>

針對該問題，本文提出了一種基于基于動態(tài)圖注意力聚合多跳鄰域的實(shí)體對齊方法，基于AliNet 架構(gòu)，方法首先使用圖卷積層建模目標(biāo)實(shí)體的單跳節(jié)點(diǎn)表示，其次應(yīng)用動態(tài)圖注意力網(wǎng)絡(luò)獲得多跳節(jié)點(diǎn)注意力系數(shù)并建模，再次利用逐層門控網(wǎng)絡(luò)聚合圖卷積層與動態(tài)圖注意力層輸出的單跳、多跳節(jié)點(diǎn)信息，最后拼接通過外部知識預(yù)訓(xùn)練自然語言模型提取的實(shí)體名稱屬性嵌入并進(jìn)行相似度計算。

本文的主要貢獻(xiàn)如下：

(1)基于AliNet 模型架構(gòu)，應(yīng)用動態(tài)圖注意力網(wǎng)絡(luò)于實(shí)體對齊任務(wù)中，使模型獲得了更強(qiáng)表示能力的同時提高了模型的魯棒性；

(2)模型使用逐層門控網(wǎng)絡(luò)改進(jìn)AliNet 模型中所使用的門控機(jī)制，使其更為全面合理地聚合節(jié)點(diǎn)的單多跳特征；

(3)利用經(jīng)外部知識預(yù)訓(xùn)練的類BERT 模型翻譯提取實(shí)體名稱屬性語義嵌入，并與結(jié)構(gòu)嵌入進(jìn)行拼接，以尋求目標(biāo)實(shí)體的更優(yōu)表示；

(4)通過實(shí)驗驗證了應(yīng)用動態(tài)圖注意力網(wǎng)絡(luò)、翻譯、提取、拼接實(shí)體名稱屬性語義嵌入的有效性。

1 相關(guān)工作

早期開源知識圖譜主要利用眾包手工標(biāo)注或基于實(shí)體符號特征的相似度計算機(jī)制進(jìn)行實(shí)體對齊，該機(jī)制效率低下、泛化能力差。隨著表示學(xué)習(xí)展現(xiàn)出其對語義特征的優(yōu)秀建模能力，部分研究者嘗試應(yīng)用知識圖譜表示學(xué)習(xí)技術(shù)于實(shí)體對齊任務(wù)中，其核心思想是通過算法在低維向量空間尋求實(shí)體與關(guān)系的低維向量表示，并對該向量進(jìn)行相似度計算從而獲得潛在的對齊實(shí)體對。

基于表示學(xué)習(xí)的實(shí)體對齊技術(shù)按照知識圖譜表示學(xué)習(xí)機(jī)制可分為基于轉(zhuǎn)移距離與基于圖卷積模型兩種?；谵D(zhuǎn)移距離模型的核心思想是將實(shí)體與關(guān)系映射到同一向量空間后將關(guān)系視為低維向量空間中頭尾實(shí)體向量的平移，如TransE[2]、TransH[3]、TransR[4]、RotatE[5]、HAKE[6]等模型。隨著圖卷積網(wǎng)絡(luò)的不斷發(fā)展，部分研究者嘗試?yán)脠D卷積網(wǎng)絡(luò)在學(xué)習(xí)圖結(jié)構(gòu)節(jié)點(diǎn)、邊表示上的優(yōu)勢，從而更好地學(xué)習(xí)知識圖譜的實(shí)體、關(guān)系嵌入，進(jìn)而提高實(shí)體對齊的準(zhǔn)確率與效率，如GCN-Align[7]、GMNN[8]、MuGNN[9]、NAEA[10]、HMAN[11]等模型。實(shí)體屬性作為實(shí)體的重要組成，在早期實(shí)體對齊任務(wù)中大多僅視為屬性三元組以優(yōu)化通過關(guān)系三元組所訓(xùn)練獲得的實(shí)體特征。而利用文本預(yù)訓(xùn)練模型可較好地獲取文本深層語義信息，因此基于對齊實(shí)體屬性語義相似性以優(yōu)化知識圖譜表示學(xué)習(xí)嵌入已成為重要的研究方向。

為了克服靜態(tài)圖注意力網(wǎng)絡(luò)的局限性并利用實(shí)體屬性語義信息，本文提出了一種基于動態(tài)圖注意力聚合多跳鄰域的實(shí)體對齊模型(Entity Alignment Based on Dynamic Graph Attention Aggregation in Multi -hop Neighborhood，DGAT-EA)。該模型受AliNet[12]的模型架構(gòu)啟發(fā)，首先使用圖卷積層建模目標(biāo)實(shí)體的單跳節(jié)點(diǎn)表示，其次應(yīng)用動態(tài)圖注意力網(wǎng)絡(luò)獲得多跳節(jié)點(diǎn)注意力系數(shù)并建模，再次利用逐層門控網(wǎng)絡(luò)聚合圖卷積層與動態(tài)圖注意力層輸出的單跳、多跳節(jié)點(diǎn)信息，最后拼接通過外部知識預(yù)訓(xùn)練自然語言模型提取的實(shí)體名稱屬性嵌入并進(jìn)行相似度計算。經(jīng)在DBP15K 中的3 個大規(guī)模跨語言數(shù)據(jù)集上評估，該模型與使用靜態(tài)圖注意力模型相比獲得了一定的提升，證明了應(yīng)用動態(tài)圖注意力及融入實(shí)體語義信息對實(shí)體對齊任務(wù)的積極效果。

2 基于動態(tài)圖注意力聚合多跳鄰域的實(shí)體對齊模型

本文受AliNet 模型以端到端的方式緩解對應(yīng)實(shí)體鄰域結(jié)構(gòu)的非同構(gòu)問題的啟發(fā)，提出了一種基于動態(tài)圖注意力聚合多跳鄰域的實(shí)體對齊模型DGAT-EA，模型架構(gòu)主要分為圖卷積層、動態(tài)圖注意力層與屬性嵌入層。圖卷積層負(fù)責(zé)聚合表示實(shí)體單跳節(jié)點(diǎn)特征，動態(tài)圖注意力層則利用動態(tài)圖注意力機(jī)制獲取多跳鄰域的注意力系數(shù)并聚合實(shí)體的多跳節(jié)點(diǎn)特征表示，屬性嵌入層利用預(yù)訓(xùn)練模型獲取實(shí)體屬性嵌入，最后利用逐層門控網(wǎng)絡(luò)對單跳與多跳信息進(jìn)行聚合并拼接實(shí)體屬性嵌入以獲得最終的實(shí)體表示，其訓(xùn)練過程如圖2 所示。

圖2 基于動態(tài)圖注意力聚合多跳鄰域的實(shí)體對齊模型架構(gòu)及訓(xùn)練流程

2.1 圖卷積層

模型的圖卷積層負(fù)責(zé)對輸入的節(jié)點(diǎn)特征及其單跳鄰域特征向量進(jìn)行遞歸聚合從而學(xué)習(xí)該節(jié)點(diǎn)的單跳特征表示。其核心思想是通過對于每個實(shí)體迭代增加其鄰居節(jié)點(diǎn)的特征信息以提高實(shí)體特征的表示能力。

基于該思想，在本模型中實(shí)體在圖卷積第l 層的隱含特征表示可以表示為[13]：

式中，Ni指代實(shí)體i 的一跳鄰域節(jié)點(diǎn)集，ci為歸一化常數(shù)，本模型圖卷積層中不使用激活函數(shù)。

2.2 動態(tài)圖注意力層

模型的動態(tài)圖注意力層負(fù)責(zé)計算目標(biāo)實(shí)體的兩跳鄰域節(jié)點(diǎn)的注意力權(quán)重，以突出有用的多跳鄰居節(jié)點(diǎn)，并對其特征進(jìn)行聚合，從而更好地表征目標(biāo)實(shí)體特征。

通過對所有鄰居節(jié)點(diǎn)進(jìn)行加權(quán)求和便可得節(jié)點(diǎn)經(jīng)過圖注意力網(wǎng)絡(luò)后得到的輸出特征：

式中，σ 為激活函數(shù)。

對于實(shí)體對齊任務(wù)，傳統(tǒng)圖注意力網(wǎng)絡(luò)的局限性主要體現(xiàn)在共享權(quán)重矩陣與靜態(tài)性兩方面。

在實(shí)體對齊任務(wù)中，知識圖譜中的實(shí)體節(jié)點(diǎn)與其鄰接節(jié)點(diǎn)通常具有較大差異，因此若應(yīng)用共享的權(quán)重矩陣W 將導(dǎo)致模型難以正確區(qū)分實(shí)體節(jié)點(diǎn)與鄰接節(jié)點(diǎn)，從而降低模型的表示能力。為了解決該問題，模型使用兩個不同的矩陣W1、W2分別對實(shí)體節(jié)點(diǎn)與鄰接節(jié)點(diǎn)進(jìn)行線性變換，其修改后的注意力系數(shù)計算公式如下：

而傳統(tǒng)圖注意力網(wǎng)絡(luò)的靜態(tài)性則體現(xiàn)為給定一組節(jié)點(diǎn)和一個訓(xùn)練過的圖注意力層，對于任意查詢節(jié)點(diǎn)i，注意函數(shù)α 都有相同的最大傾向節(jié)點(diǎn)j。由鄰接節(jié)點(diǎn)與實(shí)體關(guān)系的有限性以及softmax 函數(shù)與LeakyReLU 函數(shù)的單調(diào)性可知，針對任意節(jié)點(diǎn)i 都存在節(jié)點(diǎn)j 使得最大化，以至于靜態(tài)圖注意力網(wǎng)絡(luò)總是傾向于賦予節(jié)點(diǎn)j 最大的注意力系數(shù)而忽視不同輸入節(jié)點(diǎn)i 與節(jié)點(diǎn)j 的不同關(guān)系。因此靜態(tài)圖注意力對于實(shí)體對齊任務(wù)中不同查詢輸入i 與不同節(jié)點(diǎn)j 具有不同相關(guān)性的情況，難以較好建模。

為了解決傳統(tǒng)圖注意力網(wǎng)絡(luò)由于其靜態(tài)性所導(dǎo)致的表示能力不足等問題，本文嘗試將文獻(xiàn)[1]所提出的動態(tài)圖注意力網(wǎng)絡(luò)模型應(yīng)用于實(shí)體對齊任務(wù)中。動態(tài)圖注意力網(wǎng)絡(luò)在注意力機(jī)制計算時先對拼接后的多跳節(jié)點(diǎn)特征應(yīng)用非線性函數(shù)LeakyReLU 再輸入前饋神經(jīng)網(wǎng)絡(luò)其表達(dá)式如下所示：

綜上，模型的動態(tài)圖注意力層通過對目標(biāo)節(jié)點(diǎn)與鄰接節(jié)點(diǎn)使用不同權(quán)重矩陣增強(qiáng)了圖注意力網(wǎng)絡(luò)對于節(jié)點(diǎn)的辨別能力，并應(yīng)用更適合實(shí)體對齊任務(wù)的動態(tài)圖注意力機(jī)制，增強(qiáng)了傳統(tǒng)圖注意力機(jī)制的特征提取能力，因此能夠更好地獲得目標(biāo)節(jié)點(diǎn)的多跳特征聚合。

2.3 逐層門控網(wǎng)絡(luò)

逐層門控網(wǎng)絡(luò)負(fù)責(zé)對圖卷積層輸出的單跳節(jié)點(diǎn)特征與動態(tài)圖注意力層輸出的多跳節(jié)點(diǎn)特征進(jìn)行聚合從而獲得目標(biāo)實(shí)體更為全面的特征表示。AliNet 中的門控機(jī)制函數(shù)可以表示為：

式中，M 為門控網(wǎng)絡(luò)權(quán)重矩陣，實(shí)際訓(xùn)練時dropout 率為0，g 為門控機(jī)制函數(shù)表示動態(tài)圖注意力層的輸出。

為了更為全面合理地聚合節(jié)點(diǎn)的單多跳特征，同時為了增強(qiáng)門控網(wǎng)絡(luò)的擬合能力以及提高網(wǎng)絡(luò)在多跳節(jié)點(diǎn)小范圍變化時的敏感性，模型改進(jìn)AliNet 模型中所使用的門控機(jī)制。逐層門控機(jī)制函數(shù)如下所示：

逐層門控網(wǎng)絡(luò)使用兩個不同的權(quán)重矩陣分別獲取節(jié)點(diǎn)的單跳與多跳信息，全面聚合節(jié)點(diǎn)特征，且增加了偏移矩陣b 以增強(qiáng)門控網(wǎng)絡(luò)的表征能力。增加非線性因素時使用tanh 函數(shù)代替ReLU 函數(shù)以提高輸出對節(jié)點(diǎn)特征變化的敏感性，且擴(kuò)展值域以更靈活地平衡單多跳特征的不同權(quán)重，其最終節(jié)點(diǎn)特征如下所示：

2.4 屬性嵌入層

模型的屬性嵌入層負(fù)責(zé)將實(shí)體的屬性信息轉(zhuǎn)化為相應(yīng)的語義嵌入，并與經(jīng)門控網(wǎng)絡(luò)聚合而得的結(jié)構(gòu)特征進(jìn)行拼接，進(jìn)而進(jìn)行相似度計算。本模型基于huggingface[14]庫中的bert-base-multilingual-cased、opus-mt-zh-en、opus-mt-ja-en 模型分別處理來自DBP15K 的3 個跨語言數(shù)據(jù)集中的實(shí)體名稱屬性，并利用模型輸出的pooler_output 獲取屬性嵌入并進(jìn)行拼接。

3 實(shí)驗

3.1 實(shí)驗數(shù)據(jù)集

本文實(shí)驗使用來自DBP15K[15]的3 個大規(guī)?？缯Z言數(shù)據(jù)集，此數(shù)據(jù)集基于中文、英語、日語和法語的DBpedia建立，表1 給出了數(shù)據(jù)集的統(tǒng)計數(shù)據(jù)。

表1 DBP15K 數(shù)據(jù)集具體數(shù)據(jù)統(tǒng)計

3.2 實(shí)驗配置

本文基于TensorFlow 深度學(xué)習(xí)框架進(jìn)行實(shí)驗研究，深度學(xué)習(xí)平臺為TensorFlow2.0，編譯環(huán)境為Python3.7.11，操作系統(tǒng)為Ubuntu18.04。實(shí)驗硬件配置：CPU 為Intel?Xeon?Gold 6132 2.60 GHz，內(nèi)存為256 GB，GPU 為Nvidia Geforce 3090 24 GB。

3.3 評測指標(biāo)

本文實(shí)驗采用在實(shí)體對齊任務(wù)中常用的Hits@n、平均倒數(shù)排序(Mean Reciprocal Rank，MRR)、平均秩(Mean Rank，MR)來客觀評價各模型的實(shí)體對齊準(zhǔn)確率。Hits@n、MRR 越大，MR 越小表示模型性能越好。其計算公式分別為：

式中，S為總?cè)M集合，ranki為第i 個三元組的實(shí)體對齊預(yù)測排名，‖(x)表示Indicator 函數(shù)。

3.4 實(shí)驗結(jié)果與分析

3.4.1 DGAT-EA 有效性分析

為了驗證在實(shí)體對齊模型中融合實(shí)體屬性語義信息、應(yīng)用動態(tài)圖注意力網(wǎng)絡(luò)以及改良逐層門控網(wǎng)絡(luò)的有效性，本文對DGAT-EA 與相似架構(gòu)的AliNet 模型在相同實(shí)驗配置與環(huán)境下進(jìn)行了對比實(shí)驗，并與其他實(shí)體對齊模型在DBP15K 數(shù)據(jù)集上的對齊結(jié)果進(jìn)行比較。實(shí)驗結(jié)果如表2 所示，其中最好結(jié)果加黑標(biāo)注。

從表2 可得，在DBP15K 的3 個大規(guī)?？缯Z言數(shù)據(jù)集上DGAT-EA 模型與相似架構(gòu)的AliNet 模型相比，各指標(biāo)都獲得了一定的提升，證明了融合實(shí)體屬性語義信息、應(yīng)用動態(tài)圖注意力機(jī)制與逐層門控機(jī)制對提高實(shí)體對齊任務(wù)效果的積極作用。

表2 實(shí)體對齊模型性能對比

3.4.2 消融實(shí)驗

為了驗證不同數(shù)據(jù)集效果優(yōu)劣原因及各模型改進(jìn)對效果的具體提升，本文將僅應(yīng)用動態(tài)圖注意力的模型、僅改用逐層門控網(wǎng)絡(luò)的模型、未添加實(shí)體語義信息的模型與原模型作比較，結(jié)果如表3 所示，最好結(jié)果加黑表示，次好結(jié)果下劃線表示。

如表3 所示，模型添加語義信息、應(yīng)用動態(tài)圖注意力網(wǎng)絡(luò)或逐層門控機(jī)制后，各指標(biāo)相比相似架構(gòu)模型AliNet 均獲得了一定的提高，充分地證明了添加實(shí)體屬性語義信息、動態(tài)圖注意力機(jī)制及逐層門控機(jī)制聚合單多跳節(jié)點(diǎn)特征對于實(shí)體對齊任務(wù)的有效性。

表3 消融實(shí)驗?zāi)Ｐ托Ч麑Ρ缺?/p>

在添加實(shí)體屬性語義信息后，模型在DBP15KFR-EN數(shù)據(jù)集上收獲了較高的指標(biāo)提升，實(shí)體對齊受屬性語義信息提升程度與特征提取模型的語義理解能力有較高相關(guān)性，因此實(shí)驗嘗試應(yīng)用bert-base-multilingual-cased提取中文、日語實(shí)體屬性。

由表4 可得，改用bert-base-multilingual-cased 提取屬性嵌入后，在DBP15KZH-EN、DBP15KJA-EN數(shù)據(jù)集上指標(biāo)并沒有收獲提高。本文猜測原因可能是相較日語、中文，法語與英語在形式和語法上更為相似，因此對于指代現(xiàn)實(shí)中相同實(shí)物的跨語言實(shí)體更易獲得相似的語義嵌入，從而提高實(shí)體對齊效果。

表4 使用不同屬性嵌入提取模型實(shí)體對齊效果對比

4 結(jié)論

為了解決實(shí)體對齊任務(wù)中傳統(tǒng)圖注意力機(jī)制存在的難以擬合、有限注意及忽略實(shí)體屬性信息等問題，本文嘗試應(yīng)用動態(tài)圖注意力機(jī)制于實(shí)體對齊模型中，并使用RDGCN 模型中的逐層門控網(wǎng)絡(luò)機(jī)制聚合目標(biāo)實(shí)體的單跳與多跳節(jié)點(diǎn)特征，進(jìn)而拼接經(jīng)過外部知識預(yù)訓(xùn)練的BERT 類預(yù)訓(xùn)練模型所獲得的實(shí)體屬性嵌入，從而提出了基于動態(tài)圖注意力聚合多跳鄰域的實(shí)體對齊模型DGAT-EA，最后通過實(shí)驗證明了融入實(shí)體屬性信息、應(yīng)用動態(tài)圖注意力對于實(shí)體對齊任務(wù)的有效性。在后續(xù)的工作中，希望能優(yōu)化傳統(tǒng)圖卷積網(wǎng)絡(luò)對實(shí)體單跳節(jié)點(diǎn)特征的學(xué)習(xí)能力，同時為關(guān)系事先對齊建模從而提高模型的對齊效果，并通過優(yōu)化代碼實(shí)現(xiàn)過程以提高訓(xùn)練效率。