基于層級(jí)池化序列匹配的知識(shí)圖譜復(fù)雜問(wèn)答最優(yōu)查詢圖選擇方法

摘 要： 在處理知識(shí)圖譜復(fù)雜問(wèn)答任務(wù)時(shí)，傳統(tǒng)的查詢圖語(yǔ)義解析方法需要在排序階段對(duì)大量結(jié)構(gòu)復(fù)雜的候選查詢圖進(jìn)行語(yǔ)義編碼，用以獲得各自多維特征表示。然而，在編碼過(guò)程中采用的全局最大或平均池化操作通常存在對(duì)代表性特征提取能力不足的問(wèn)題。針對(duì)以上問(wèn)題，提出一種基于層級(jí)池化序列匹配的最優(yōu)查詢圖選擇方法。在實(shí)現(xiàn)候選查詢圖的交互建模過(guò)程中，同時(shí)采用層級(jí)池化滑動(dòng)窗口技術(shù)分層提取問(wèn)句和查詢圖序列對(duì)的局部顯著性特征與全局語(yǔ)義特征，使得到的特征向量更好地用于候選查詢圖的語(yǔ)義匹配打分。所提方法在兩個(gè)流行的復(fù)雜問(wèn)答數(shù)據(jù)集MetaQA和WebQuestionsSP上開(kāi)展廣泛實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果表明：引入層級(jí)池化操作能夠有效提取復(fù)雜查詢圖序列的代表性語(yǔ)義特征，增強(qiáng)原有排序模型的交互編碼能力，有助于進(jìn)一步提升知識(shí)圖譜復(fù)雜問(wèn)答系統(tǒng)的性能。

關(guān)鍵詞： 知識(shí)圖譜復(fù)雜問(wèn)答; 查詢圖語(yǔ)義解析; 層級(jí)池化; 交互編碼

中圖分類號(hào)： TP 391

文獻(xiàn)標(biāo)志碼： A

DOI：10.12305/j.issn.1001-506X.2024.08.16

Hierarchical pooling sequence matching based optimal selection method of

query graph for complex question answering over knowledge graph

WANG Dong， ZHOU Sihang， HUANG Jian^*， ZHANG Zhongjie

（School of Intelligence Science， National University of Defense Technology， Changsha 410073， China）

Abstract： When dealing with complex question answering task over knowledge graph， traditional semantic parsing method for query graphs requires encoding massive candidate query graphs with complex structures in the ranking stage to obtain their respective multi-dimensional feature representations. However， the global maximum or average pooling operation used during the encoding process often suffers from insufficient extracting capability for representative feature. To address the aforementioned problem， an optimal selection method for query graphs based on hierarchical pooling sequence matching is proposed. Meanwhile， sliding window technique based on hierarchical pooling is adopted to hierarchically extract local salient features and global semantic features of question and query graph sequence pairs during the interactive modeling of candidate query graphs， making the resulting feature vectors better used for semantic matching scoring of candidate query graphs. The proposed method is extensively evaluated on two popular complex question answering datasets， MetaQA and WebQuestionsSP. Experiment results show that by introducing hierarchical pooling operation， representative semantic features of complex query graph sequences can be effectively extracted， and the interactive encoding capability of the original ranking model can be enhanced， which helps further improve the performance of complex question answering systems over knowledge graph.

Keywords： complex question answering over knowledge graph; semantic parsing for query graph; hierarchical pooling; interactive encoding

0 引 言

在大數(shù)據(jù)時(shí)代，傳統(tǒng)搜索引擎檢索信息的方法越來(lái)越難以滿足用戶對(duì)精確答案的需求。而知識(shí)圖譜問(wèn)答（knowledge graph question answering， KGQA）^［1-3］作為一種高級(jí)的信息檢索方式，是依靠人工智能快速發(fā)展而產(chǎn)生的新技術(shù)，可以支持用戶便捷地獲取相對(duì)細(xì)粒度的知識(shí)，使其在眾多人機(jī)交互的實(shí)際智能應(yīng)用中發(fā)揮出強(qiáng)大的作用。基于知識(shí)圖譜的問(wèn)答系統(tǒng)試圖理解用戶的問(wèn)題意圖，自動(dòng)將自然語(yǔ)言問(wèn)題轉(zhuǎn)化為標(biāo)準(zhǔn)的可執(zhí)行查詢語(yǔ)句，然后通過(guò)結(jié)構(gòu)化查詢將知識(shí)圖譜中與所提問(wèn)題相關(guān)的實(shí)體、屬性值等信息，作為問(wèn)題可能的答案反饋給用戶。在學(xué)界和工業(yè)界的共同關(guān)注下，KGQA逐步成為近年來(lái)的研究熱點(diǎn)^［4-5］。

早期KGQA的研究主要集中在回答簡(jiǎn)單的問(wèn)題^［6-7］，即只需要根據(jù)一個(gè)事實(shí)三元組就能回答問(wèn)題，例如“斯蒂芬·庫(kù)里目前在哪一支NBA球隊(duì)效力？”這個(gè)簡(jiǎn)單問(wèn)題可以直接從一個(gè)事實(shí)三元組（斯蒂芬·庫(kù)里，效力于，金州勇士）推出答案。而隨著問(wèn)題難度增大，越來(lái)越多研究者們開(kāi)始關(guān)注如何在知識(shí)圖譜上解決復(fù)雜問(wèn)答（complex question answering， CQA）任務(wù)，在回答復(fù)雜問(wèn)題的過(guò)程中通常涉及多個(gè)實(shí)體、多個(gè)語(yǔ)義關(guān)系或不同的聚合操作（例如比較大小、統(tǒng)計(jì)數(shù)量、判斷等）^［8］，主要包括多跳類、約束類等復(fù)雜問(wèn)題類型。

為應(yīng)對(duì)CQA中的多跳問(wèn)題，需正確預(yù)測(cè)答案檢索的多跳關(guān)系路徑。在基于信息檢索的問(wèn)答方法中，Xu等^［9］通過(guò)強(qiáng)化傳統(tǒng)的鍵值對(duì)記憶網(wǎng)絡(luò)提出一個(gè)可解釋推理方法，該方法采用新的查詢更新策略考慮了過(guò)去多跳推理過(guò)程中已尋址的鍵值信息。而Sun等^［10-11］提出在迭代構(gòu)建的問(wèn)題子圖上利用圖卷積網(wǎng)絡(luò)（graph convolutional network， GCN）進(jìn)行多跳推理，但該方法在構(gòu)建子圖時(shí)容易犧牲掉對(duì)答案實(shí)體的召回。為設(shè)計(jì)多跳推理框架，EmbedKGQA^［12］分別學(xué)習(xí)知識(shí)圖譜嵌入和問(wèn)題嵌入，最后將其結(jié)合起來(lái)，與評(píng)分模型選擇答案，但在面對(duì)過(guò)長(zhǎng)關(guān)系路徑或約束類復(fù)雜問(wèn)題時(shí)，該模型的表示學(xué)習(xí)效率仍有待提高。而TransferNet^［13］會(huì)計(jì)算每個(gè)路徑關(guān)系在當(dāng)前查詢狀態(tài)下的激活概率，然后在這些激活關(guān)系之間實(shí)現(xiàn)答案實(shí)體分?jǐn)?shù)的傳遞。以上方法在處理多跳問(wèn)答任務(wù)時(shí)擁有較好的性能，但在長(zhǎng)關(guān)系路徑的形成過(guò)程中難免會(huì)積累與傳播由逐跳推理產(chǎn)生的預(yù)測(cè)誤差。

為了更好地將復(fù)雜問(wèn)題解析為表達(dá)能力更強(qiáng)的邏輯形式，許多研究者提出使用基于查詢圖的語(yǔ)義解析方法來(lái)處理約束類復(fù)雜問(wèn)題^［8］，一般可以分為查詢圖生成和查詢圖選擇兩個(gè)階段。在階段性查詢圖生成方法^［14］的基礎(chǔ)上，Bao等^［15］提出多約束查詢圖模型，通過(guò)增加約束條件類型，使模型可以生成更多結(jié)構(gòu)復(fù)雜的候選查詢圖，并使用排序模型來(lái)選擇候選集中的最優(yōu)查詢圖。Maheshwari等^［16］則根據(jù)動(dòng)態(tài)的問(wèn)題表示以及候選查詢圖的結(jié)構(gòu)，使用槽匹配方法對(duì)生成的查詢圖進(jìn)行排序。Qin等^［17］基于關(guān)系子圖提出一種新的查詢圖生成方法。而Lan等^［18］提出一種同時(shí)掛載約束和擴(kuò)展關(guān)系路徑的方法，有效地減小了查詢圖生成的搜索空間。然而，這些方法在查詢圖生成階段，會(huì)枚舉出規(guī)定跳步范圍內(nèi)所有可能結(jié)構(gòu)的候選查詢圖，不可避免地引入了一些拓?fù)浣Y(jié)構(gòu)不同但語(yǔ)義表達(dá)高度相似的噪聲查詢圖，削弱了排序模型的預(yù)測(cè)準(zhǔn)確率。針對(duì)這個(gè)問(wèn)題，Chen等^［19］和Li等^［20］提出將查詢圖的語(yǔ)義結(jié)構(gòu)預(yù)測(cè)問(wèn)題定義為抽象查詢圖生成或分類排序問(wèn)題，通過(guò)濾除操作減少候選查詢圖中的結(jié)構(gòu)噪聲干擾。雖然經(jīng)過(guò)以上改進(jìn)，噪聲干擾問(wèn)題有了較大的改進(jìn)，但以上兩種方法仍缺少對(duì)于查詢圖選擇階段的性能提升，導(dǎo)致最后選擇的最優(yōu)查詢圖可能并非是問(wèn)題對(duì)應(yīng)的正例查詢圖，限制了KGQA系統(tǒng)整體性能的進(jìn)一步提升。

為提升最優(yōu)查詢圖選擇的精準(zhǔn)度，部分研究者為查詢圖選擇階段設(shè)計(jì)了性能更加良好的查詢圖排序模型，并將問(wèn)句和候選查詢圖的語(yǔ)義相似度作為評(píng)判最優(yōu)查詢圖的重要依據(jù)。其中，Luo等^［21］提出在統(tǒng)一的向量表示框架內(nèi)對(duì)問(wèn)句和查詢圖進(jìn)行編碼，并從局部和全局視角出發(fā)，利用雙向門(mén)控循環(huán)單元（bidirectional gate recurrent unit， BiGRU）獲得問(wèn)句或查詢圖的最終特征表示，并結(jié)合其他人工定義特征參與最后的排序打分。Jia等^［22］基于Transformers的雙向編碼器表示（bidirectional encoder representations from Transformers， BERT）^［23］排序模型實(shí)現(xiàn)問(wèn)句和查詢圖的交互編碼，同時(shí)引入全局排序策略，使BERT模型能從候選集合中更好地識(shí)別出最優(yōu)查詢圖。文獻(xiàn)［18］和文獻(xiàn)［22］以序列對(duì)形式進(jìn)行編碼，雖然可以彌補(bǔ)查詢圖缺失的部分問(wèn)句信息，但在對(duì)查詢圖進(jìn)行語(yǔ)義編碼之前，還需要提前迭代生成查詢圖序列或設(shè)定查詢圖子序列的編碼順序，這些編碼前的準(zhǔn)備工作使得問(wèn)句和查詢圖的交互建模過(guò)程變得復(fù)雜且缺乏一定的適用性。此外，隨著問(wèn)句難度的增加，其對(duì)應(yīng)候選查詢圖的圖結(jié)構(gòu)和序列表示也會(huì)變得更加復(fù)雜，以上排序模型如果在編碼過(guò)程中仍采用常見(jiàn)的平均或最大池化操作來(lái)降采樣提取問(wèn)句或查詢圖復(fù)雜序列的特征向量，將無(wú)法全面地表征其代表性語(yǔ)義特征，最終影響候選查詢圖與問(wèn)句之間的語(yǔ)義相似度匹配結(jié)果。

為簡(jiǎn)化問(wèn)句和查詢圖序列的交互建模過(guò)程，本文考慮直接使用兩個(gè)問(wèn)答數(shù)據(jù)集中的邏輯形式SPARQL^［24］或關(guān)系路徑來(lái)描述候選查詢圖序列，并在不增加額外人工特征的情況下，提出一種基于層級(jí)池化序列匹配的最優(yōu)查詢圖選擇方法。該方法利用層級(jí)池化滑動(dòng)窗口分層提取問(wèn)句和查詢圖序列對(duì)的代表性語(yǔ)義特征向量，并通過(guò)實(shí)驗(yàn)結(jié)果驗(yàn)證了本文提出的最優(yōu)查詢圖選擇方法對(duì)于提升復(fù)雜問(wèn)答系統(tǒng)性能的有效性。

本文的主要貢獻(xiàn)如下：

（1） 本文提出一種序列對(duì)交互編碼方法。在編碼前，問(wèn)句和查詢圖按要求以序列對(duì)形式進(jìn)行線性預(yù)處理，然后再基于BERT模型對(duì)問(wèn)句和查詢圖序列對(duì)進(jìn)行交互建模。此時(shí)，序列對(duì)中的問(wèn)句信息可直接作為查詢圖的補(bǔ)充信息，而無(wú)需引入額外的人工編碼特征。

（2） 此外，提出一種基于層級(jí)池化的查詢圖排序模型。利用層級(jí)池化滑動(dòng)窗口技術(shù)，有效提取問(wèn)句和查詢圖序列對(duì)的局部顯著和全局特征信息，用于增強(qiáng)排序時(shí)候選查詢圖的語(yǔ)義表征。

（3） 提出融合層級(jí)池化序列匹配方法來(lái)構(gòu)建基于知識(shí)圖譜的復(fù)雜問(wèn)答系統(tǒng)。相較于其他最優(yōu)方法，本文所提方法在MetaQA和WebQuestionsSP問(wèn)答數(shù)據(jù)集上均獲得了較好的性能指標(biāo)。例如，將MetaQA 3-hop和WebQuestionsSP的Hits@1值分別提升至99.8%和71.7%。

1 系統(tǒng)總體方案

1.1 復(fù)雜問(wèn)答任務(wù)定義

給定一個(gè)可用的知識(shí)圖譜^［25-26］，CQA任務(wù)被定義為用令牌化序列的形式回答復(fù)雜的自然語(yǔ)言問(wèn)題^［27-29］。一般情況下，KGQA假設(shè)問(wèn)題的答案都能在知識(shí)圖譜的實(shí)體集中檢索到。與通過(guò)單跳查詢即可得到答案的簡(jiǎn)單問(wèn)答不同，CQA任務(wù)通常涉及多個(gè)事實(shí)三元組，需要從主題實(shí)體開(kāi)始，經(jīng)過(guò)由多個(gè)中間關(guān)系和中間實(shí)體組成的關(guān)系路徑，才能推斷出最終答案，有時(shí)候還需要關(guān)注關(guān)系路徑上添加的約束條件或聚合計(jì)算。

以圖1中的兩個(gè)復(fù)雜問(wèn)題為例，問(wèn)題1“What is the population of China’s capital？”是一個(gè)典型的復(fù)雜多跳問(wèn)題，需要從主題實(shí)體“China”出發(fā)，經(jīng)過(guò)“Is_Capital_of→Has_Population”這個(gè)兩跳的關(guān)系路徑，才能到達(dá)最后答案實(shí)體。而圖1中問(wèn)題2“How many rivers flow through China and India？”則是一個(gè)具有約束條件和聚合計(jì)算的復(fù)雜問(wèn)題，以“river”作為答案類型約束，需分別找到問(wèn)題“rivers flow through China”和問(wèn)題“rivers flow through India”的實(shí)體集合，然后對(duì)兩個(gè)實(shí)體集合求交集，并統(tǒng)計(jì)交集中元素的個(gè)數(shù)，才能得到問(wèn)題2的最終答案。

1.2 基于查詢圖的語(yǔ)義解析方法

與基于模板的語(yǔ)義解析方法不同^［30-31］，基于查詢圖的語(yǔ)義解析方法并不受限于復(fù)雜問(wèn)題的跳步數(shù)和約束條件數(shù)，因此對(duì)于復(fù)雜問(wèn)題具有較好的表達(dá)能力。作為一種圖結(jié)構(gòu)形式的邏輯形式，查詢圖與知識(shí)圖譜模式緊密匹配，是可執(zhí)行查詢語(yǔ)言SPARQL^［24］的替代方案。

由表1可知，查詢圖g_q可以看作由頂點(diǎn)集合V_q和邊集合E_q構(gòu)成，其中V_q主要包括知識(shí)圖譜實(shí)體、知識(shí)圖譜類型、變量等，而E_q由知識(shí)圖譜關(guān)系和一些內(nèi)置屬性組成。如果能正確創(chuàng)建并識(shí)別出問(wèn)題對(duì)應(yīng)的最優(yōu)查詢圖（正例查詢圖），將其轉(zhuǎn)換為可執(zhí)行查詢語(yǔ)句，則可在已知知識(shí)圖譜上檢索到問(wèn)題答案。

1.3 基于知識(shí)圖譜的復(fù)雜問(wèn)答系統(tǒng)框架

為了能正確選擇問(wèn)題的最優(yōu)查詢圖，典型的查詢圖語(yǔ)義解析方法通常會(huì)在最后選擇階段，采用神經(jīng)網(wǎng)絡(luò)排序模型計(jì)算問(wèn)句和每個(gè)候選查詢圖之間的語(yǔ)義匹配得分。但隨著問(wèn)題難度的增大，候選查詢圖的語(yǔ)義圖結(jié)構(gòu)變得復(fù)雜，候選集合中也將產(chǎn)生更多的噪聲查詢圖。此外，若排序模型仍采用常用的語(yǔ)義編碼方法來(lái)表征候選查詢圖，將無(wú)法全面地提取其代表性復(fù)雜語(yǔ)義特征，降低了語(yǔ)義匹配時(shí)最優(yōu)查詢圖的識(shí)別準(zhǔn)確率。為此，本文主要針對(duì)查詢圖語(yǔ)義特征提取問(wèn)題，提出一種基于層級(jí)池化序列匹配的最優(yōu)查詢圖選擇方法，用以增強(qiáng)KGQA排序模型對(duì)于復(fù)雜語(yǔ)義結(jié)構(gòu)查詢圖語(yǔ)義特征的提取能力，并在此基礎(chǔ)之上，構(gòu)建基于知識(shí)圖譜的復(fù)雜問(wèn)答系統(tǒng)，其系統(tǒng)組成和工作流程如圖2所示，主要包括候選查詢圖集合生成與最優(yōu)查詢圖選擇這兩個(gè)階段。圖2中，在已知知識(shí)圖譜上執(zhí)行CQA任務(wù)，由用戶輸入問(wèn)題Q。在候選查詢圖集合生成階段，首先需根據(jù)問(wèn)句Q的語(yǔ)義解析結(jié)果，結(jié)合候選查詢圖生成模塊的一系列操作步驟，構(gòu)建相應(yīng)的候選查詢圖集合G={g₁，g₂，…，g_n}，其中g(shù)_n表示生成的第n個(gè)候選查詢圖。然后，利用構(gòu)建的查詢圖結(jié)構(gòu)預(yù)測(cè)分類器^［20］對(duì)問(wèn)句Q的查詢圖拓?fù)浣Y(jié)構(gòu)進(jìn)行預(yù)測(cè)，并以預(yù)測(cè)結(jié)果標(biāo)簽作為結(jié)構(gòu)約束條件，對(duì)候選集合G中的噪聲查詢圖執(zhí)行過(guò)濾操作，從而通過(guò)篩選得到新的候選查詢圖集合G*。當(dāng)?shù)竭_(dá)最優(yōu)查詢圖選擇階段時(shí)，該階段的處理工作主要由查詢圖排序模型執(zhí)行完成，通常包括3個(gè)子任務(wù)，分別是：① 序列化預(yù)處理。使用問(wèn)答數(shù)據(jù)集提供多跳關(guān)系或使用描述性查詢圖語(yǔ)言SPARQL來(lái)表示候選查詢圖的語(yǔ)義信息，將其和問(wèn)句分別轉(zhuǎn)換為詞元序列后，再以序列對(duì)的形式實(shí)現(xiàn)問(wèn)句序列和候選查詢圖序列的拼接;② 基于層級(jí)池化的序列對(duì)交互編碼。在利用排序模型對(duì)問(wèn)句和查詢圖序列對(duì)編碼時(shí)，通過(guò)增加層級(jí)池化滑動(dòng)窗口操作，以增強(qiáng)候選查詢圖交互建模的語(yǔ)義特征提取能力;③ 語(yǔ)義相似度匹配。使用余弦距離來(lái)衡量候選查詢圖和問(wèn)句之間的語(yǔ)義相似度，根據(jù)余弦相似度來(lái)選擇最優(yōu)查詢圖，將其轉(zhuǎn)化為可執(zhí)行查詢語(yǔ)句后，并在知識(shí)圖譜上完成答案的檢索和返回。接下來(lái)，本文將展開(kāi)介紹圖2中復(fù)雜問(wèn)答系統(tǒng)主要模塊的設(shè)計(jì)方案及其工作原理。

2 候選查詢圖集合生成

2.1 查詢圖生成

區(qū)別于完全依賴問(wèn)句的語(yǔ)義理解，查詢圖生成旨在充分利用知識(shí)圖譜中實(shí)體關(guān)系減小問(wèn)句解析的搜索空間，并通過(guò)匹配和搜索知識(shí)圖譜，逐步擴(kuò)展查詢圖。如圖2所示，查詢圖生成過(guò)程實(shí)質(zhì)上簡(jiǎn)化了語(yǔ)義匹配問(wèn)題，并有助于實(shí)現(xiàn)自身與排序方法的融合。通過(guò)完成焦點(diǎn)鏈接、核心關(guān)系路徑抽取和約束掛載3個(gè)主要步驟^{［14，21］}，即可生成問(wèn)句Q對(duì)應(yīng)的候選查詢圖。

首先，本文對(duì)問(wèn)句Q進(jìn)行焦點(diǎn)鏈接，通過(guò)識(shí)別出問(wèn)題涉及的實(shí)體詞、類型詞、時(shí)間詞和序數(shù)詞來(lái)獲取不同類型的語(yǔ)義約束。接著，從識(shí)別出的主題實(shí)體出發(fā)，將其在知識(shí)圖譜中規(guī)定跳步數(shù)范圍內(nèi)所有的關(guān)系路徑進(jìn)行提取，并將其作為候選核心推理鏈。最后，將實(shí)體約束、類型約束、時(shí)間約束和序數(shù)約束依次掛載到核心推理鏈上完成問(wèn)句Q最后的語(yǔ)義解析，將得到的多個(gè)不同查詢圖共同組成候選集合G。

值得注意的是，這種傳統(tǒng)的查詢圖生成方法會(huì)產(chǎn)生大量語(yǔ)義結(jié)構(gòu)有歧義的噪聲查詢圖，盡管其與正確查詢圖有相同的拓?fù)涑煞郑窃肼暱赡軙?huì)使得查詢圖表達(dá)的語(yǔ)義差別很大。因此，候選查詢圖集合G需要經(jīng)過(guò)噪聲過(guò)濾后才能被輸入查詢圖排序模型。

2.2 查詢圖語(yǔ)義結(jié)構(gòu)預(yù)測(cè)

如果能提前預(yù)測(cè)問(wèn)句Q對(duì)應(yīng)查詢圖的語(yǔ)義結(jié)構(gòu)，則可利用其作為約束條件來(lái)指導(dǎo)噪聲過(guò)濾操作，通過(guò)減少查詢圖候選集合G中語(yǔ)義結(jié)構(gòu)的噪聲干擾，提高復(fù)雜問(wèn)答系統(tǒng)排序模型對(duì)最優(yōu)查詢圖的選擇準(zhǔn)確率。

為實(shí)現(xiàn)噪聲過(guò)濾操作，這里可將問(wèn)句對(duì)應(yīng)查詢圖的語(yǔ)義結(jié)構(gòu)預(yù)測(cè)任務(wù)看作是一個(gè)多分類問(wèn)題，即不同類別標(biāo)簽可對(duì)應(yīng)不同的查詢圖語(yǔ)義結(jié)構(gòu)。如圖3所示，列舉了6種查詢圖語(yǔ)義結(jié)構(gòu)（S1～S6），基本涵蓋了MetaQA問(wèn)題類型的100%和WebQuestionsSP問(wèn)題類型的77.02%^［20］，WebQuestionsSP中定義的3種問(wèn)題類型為S1、S2、S3;MetaQA中定義的5種問(wèn)題類型為S1、S2、S4、S5、S6。其中，e表示一個(gè)實(shí)體，r表示所有類型的關(guān)系，v表示中間變量或答案變量，C表示一個(gè)約束條件。本文將以上列舉的查詢圖結(jié)構(gòu)作為監(jiān)督學(xué)習(xí)標(biāo)簽，并參考文獻(xiàn)［20］中設(shè)計(jì)的基于BERT模型的分類器對(duì)輸入問(wèn)題Q執(zhí)行結(jié)構(gòu)預(yù)測(cè)分類任務(wù)，期間將采用不同的編碼器分別提取問(wèn)句和實(shí)體的語(yǔ)義編碼信息，并基于信息融合方法得到編碼增強(qiáng)后的向量表示。

如圖4所示，基于BERT的結(jié)構(gòu)預(yù)測(cè)分類器主要由3個(gè)模塊組成，其中問(wèn)句編碼器負(fù)責(zé)對(duì)問(wèn)句Q進(jìn)行語(yǔ)義編碼，并在最后隱藏狀態(tài)輸出問(wèn)句的向量表示e^q。實(shí)體編碼器可采用不同的知識(shí)嵌入預(yù)訓(xùn)練模型來(lái)抽取問(wèn)句實(shí)體e的向量表示e^h。而RotatE^［32］預(yù)訓(xùn)練模塊被用來(lái)進(jìn)行信息融合，利用e^h和e^q分別計(jì)算得到尾實(shí)體向量表示e^t和問(wèn)句信息融合后的最終向量表示F，后者將被輸入到全連接層進(jìn)行Softmax預(yù)測(cè)分類，并在G中濾除與預(yù)測(cè)標(biāo)簽不同的查詢圖，從而得到新的候選查詢圖集合G*。

3 最優(yōu)查詢圖選擇

為了正確返回用戶的問(wèn)題查詢，需要從候選集合G*中選擇最優(yōu)查詢圖執(zhí)行答案檢索，為此提出新的查詢圖選擇方法是很有必要的。在本文設(shè)計(jì)的方法中，首先對(duì)候選查詢圖按照規(guī)定格式進(jìn)行序列化處理。然后，通過(guò)層級(jí)池化操作實(shí)現(xiàn)問(wèn)句和查詢圖序列對(duì)的交互建模，并將得到的序列對(duì)語(yǔ)義特征向量用于最后的相似度匹配任務(wù)。

3.1 查詢圖序列化預(yù)處理

在使用排序模型對(duì)問(wèn)句和查詢圖編碼之前，需要預(yù)先對(duì)兩者進(jìn)行序列化預(yù)處理。然而，在序列化預(yù)處理之前，文獻(xiàn)［21］需提前對(duì)問(wèn)句進(jìn)行依存句法分析，以及對(duì)查詢圖進(jìn)行語(yǔ)義組件分割，而文獻(xiàn)［22］則需要同時(shí)設(shè)定查詢圖子序列的編碼順序。為簡(jiǎn)化以上預(yù)處理工作，本文考慮使用問(wèn)答數(shù)據(jù)集提供的邏輯形式SPARQL^［33］或關(guān)系路徑來(lái)描述候選查詢圖。首先，需將問(wèn)句和查詢圖分別做以下處理：① 問(wèn)句序列化處理，可得到q_s=［w₁，w₂，…，w_m］， 其中w_m表示問(wèn)句中的第m個(gè)單詞。② 查詢圖序列化處理，可得到g_s=［u₁，u₂，…，u_n］，其中u_n表示查詢圖序列被“空格”或特殊字符（如“.”和“_”）分割后的第n個(gè)組成單元。

如圖5所示，給定一個(gè)問(wèn)題的查詢圖（andrew jackson，politician.party，political_party_tenure.party， V），其對(duì)應(yīng)的查詢圖序列由u₁=andrew，u₂=jackson，u₃=politician，…，u₇=tenure，u₈=party，u₉=V這9個(gè)單元組成。此時(shí)，最優(yōu)查詢圖選擇問(wèn)題將轉(zhuǎn)變?yōu)楹蜻x查詢圖序列與問(wèn)句序列間的語(yǔ)義匹配問(wèn)題。

描述性查詢語(yǔ)言SPARQL和關(guān)系路徑盡管可以較好地表征候選查詢圖的查詢語(yǔ)義，但是二者在語(yǔ)義表達(dá)能力上仍然與問(wèn)句有一定差別，若直接對(duì)SPARQL或關(guān)系路徑表示的查詢圖序列g(shù)_s進(jìn)行語(yǔ)義編碼，編碼結(jié)果將無(wú)法全面地表征查詢圖本身復(fù)雜的語(yǔ)義特征，進(jìn)而影響排序階段與問(wèn)句序列的語(yǔ)義匹配。由于原始問(wèn)句序列中已包含豐富的語(yǔ)義信息，其本身與查詢圖在語(yǔ)義層面的天然關(guān)聯(lián)性，使其可以作為補(bǔ)充的信息源增強(qiáng)查詢圖序列的語(yǔ)義編碼。因此，本文采用問(wèn)句和查詢圖序列對(duì)交互建模的方法，在無(wú)需設(shè)計(jì)其他人工特征的情況下，可以在一定程度上彌補(bǔ)查詢圖序列編碼時(shí)缺失的問(wèn)句語(yǔ)義交互信息。將問(wèn)句序列q_s=［w₁，w₂，…，w_m］和候選查詢圖集合G*中的每個(gè)查詢圖序列g(shù)_s=［u₁，u₂，…，u_n］拼接成序列對(duì)p_s=［［CLS］，w₁，w₂，…，w_m，［SEP］，u₁，u₂，…，u_n，［SEP］］，然后經(jīng)過(guò)BERT模型^［23］進(jìn)行語(yǔ)義編碼，并使用［CLS］節(jié)點(diǎn)的輸出向量P=［v₁，v₂，…，v_L］∈R^Ld作為問(wèn)句和查詢圖序列對(duì)的語(yǔ)義特征表示，其中L表示p_s的序列長(zhǎng)度，d表示序列單詞嵌入表示后的特征維度，而v_k∈R^d表示p_s第k個(gè)單詞的特征向量。

3.2 層級(jí)池化交互編碼

采用序列對(duì)交互建模方法雖然有利于增強(qiáng)候選查詢圖的語(yǔ)義表征，但同時(shí)也增大了其語(yǔ)義特征向量的計(jì)算維度。尤其在CQA任務(wù)中，查詢圖對(duì)應(yīng)的序列對(duì)語(yǔ)義特征向量P的向量維度會(huì)隨著問(wèn)題難度增大而不斷增大。面對(duì)這種情形，最優(yōu)查詢圖選擇階段的排序模型^{［14，20-21］}通常會(huì)在執(zhí)行語(yǔ)義相似度匹配任務(wù)前，針對(duì)第3.1節(jié)中候選查詢圖的多維語(yǔ)義特征向量P進(jìn)行額外的降采樣處理，如采用最基本的最大池化^［34］或平均池化^［35］操作，以達(dá)到進(jìn)一步提取代表性特征向量和降低多維向量計(jì)算維度的目的。

如圖6所示，當(dāng)采用圖中列舉的常用池化方法對(duì)輸入的查詢圖序列對(duì)特征向量［v₁，v₂，…，v_L］進(jìn)行池化處理時(shí)，將得到降采樣后的代表性語(yǔ)義特征向量v_out。可知，最大池化通常提取連續(xù)特征向量的局部顯著性特征，而缺乏對(duì)全局特征信息的描述。相反，平均池化則是對(duì)全局范圍內(nèi)的樣本特征進(jìn)行平均處理，而忽略了局部顯著性特征信息。而在圖3（c）中，連接池化^［36］則通過(guò)連接最大池化和平均池化的輸出結(jié)果來(lái)平衡局部特征與全局特征的提取。然而，以上3種池化方法仍然缺乏對(duì)于長(zhǎng)文本序列詞序信息的提取^［37］。

實(shí)際上，問(wèn)句和查詢圖序列對(duì)p_s本身的局部詞序信息在很多時(shí)候也會(huì)影響查詢圖排序模型的語(yǔ)義匹配結(jié)果。因此，為了能兼顧查詢圖序列對(duì)的局部顯著性特征和全局特征，可針對(duì)p_s的特征向量P進(jìn)行基于滑動(dòng)窗口的層級(jí)池化操作。以圖7為例，描述了層級(jí)池化方法中（最大-平均）層級(jí)池化的交互編碼過(guò)程，即在特征向量P上按照固定滑動(dòng)步長(zhǎng)s，設(shè)置多個(gè)跨度范圍為m的滑動(dòng)窗口，用于分別獲取當(dāng)前窗口下的局部池化信息，然后對(duì)有限的局部窗口特征向量執(zhí)行全局池化操作。很顯然，通過(guò)設(shè)計(jì)滑動(dòng)窗口來(lái)實(shí)現(xiàn)層級(jí)池化操作，既有利于降低長(zhǎng)序列特征向量的計(jì)算維度，又可以滿足特征向量局部特征與全局特征的分層提取。

對(duì)于層級(jí)池化操作前的序列對(duì)語(yǔ)義特征向量P，定義v_i：i+m-1={v_i，v_i+1，…，v_i+m-1}為包含m個(gè)連續(xù)詞元向量的滑動(dòng)窗口，通過(guò)設(shè)定滑動(dòng)步長(zhǎng)s，整個(gè)向量序列可以被分割為一系列窗口大小為m的局部窗口v_1：m，v_1+s：m+s，v_1+2s：m+2s，…，v_L-m+1：L。

首先，在每個(gè)局部窗口v_1+ks：m+ks上做最大池化操作：

v^max_kj=maxm+ksi=1+ks v_ij（1）

式中：v_ij是特征向量v_i的第j個(gè)分量;v^max_k是局部窗口最大池化特征向量;v^max_kj表示v^max_k的第j個(gè)分量。

在對(duì)所有局部窗口進(jìn)行最大池化操作后，接著對(duì)所有的局部最大池化特征向量v^max_k執(zhí)行全局平均池化操作：

f（p_s）=1N∑Nk=1v^max_k（2）

式中： f（p_s）為查詢圖序列對(duì)層級(jí)池化后最終輸出的語(yǔ)義特征向量，與特征向量v_i維度相同。

另一種（平均-最大）層級(jí)池化方法的處理步驟則與上述（最大-平均）層級(jí)池化方法相反。如圖8所示，其優(yōu)先對(duì)每個(gè)局部滑動(dòng)窗口執(zhí)行平均池化操作，然后再對(duì)所有的局部平均池化特征向量進(jìn)行最大池化?？芍?，（平均-最大）層級(jí)池化雖然改變了（最大-平均）層級(jí)池化的特征分層提取順序，但同樣可實(shí)現(xiàn)局部顯著特征與全局特征的互補(bǔ)融合。本文將采用以上兩種基于滑動(dòng)窗口的層級(jí)池化方法對(duì)語(yǔ)義特征向量P進(jìn)行降采樣處理，并將分層提取的代表性特征向量f（p_s）輸入至排序模型，用于計(jì)算候選查詢圖與問(wèn)句的語(yǔ)義相似度。此外，考慮到將滑動(dòng)窗口作為實(shí)現(xiàn)層級(jí)池化交互編碼的重要組件，本文將在實(shí)驗(yàn)部分針對(duì)不同窗口參數(shù)設(shè)置對(duì)問(wèn)答系統(tǒng)排序模型性能的影響，開(kāi)展相應(yīng)的測(cè)試工作。

3.3 候選查詢圖排序

這里使用三元組損失函數(shù)Triplet loss^［38］來(lái)訓(xùn)練基于BERT的層級(jí)池化排序模型，實(shí)際上該查詢圖排序模型有3個(gè)輸入，分別是問(wèn)句的語(yǔ)義表示f（q_s），正例查詢圖序列對(duì)的語(yǔ)義表示f（p⁺_s）和負(fù)例查詢圖序列對(duì)的語(yǔ)義表示f（p^—_s），并通過(guò)最小化Triplet loss來(lái)優(yōu)化BERT模型的特征提取。

Triplet loss=max（f（q_s）-f（p⁺_s）-f（q_s）-f（p^-_s）+α， 0）（3）

式中：·表示歐氏距離;α是一個(gè)邊距超參數(shù)，本文默認(rèn)設(shè)置為1。在訓(xùn)練過(guò)程中，Triplet loss逐漸縮小f（q_s）和f（p⁺_s）之間的距離，并同時(shí)增大f（q_s）和f（p^-_s）之間的距離。在測(cè)試階段，本文將計(jì)算問(wèn)句序列與其候選集合中每個(gè)查詢圖序列對(duì)之間的語(yǔ)義相似度得分，選擇得分最高的候選查詢圖作為最優(yōu)查詢圖。

4 實(shí)驗(yàn)設(shè)計(jì)

本文在兩個(gè)廣泛使用的KGQA公測(cè)數(shù)據(jù)集MetaQA^［39］和WebQuestionsSP^［40］上對(duì)所提層級(jí)池化序列匹配方法展開(kāi)性能測(cè)試，并與目前復(fù)雜問(wèn)答領(lǐng)域中7個(gè)最先進(jìn)的模型進(jìn)行比較。同時(shí)，開(kāi)展一系列拓展實(shí)驗(yàn)，如池化方法對(duì)比實(shí)驗(yàn)、滑動(dòng)窗口參數(shù)測(cè)試和負(fù)例查詢圖影響測(cè)試，用來(lái)探究不同條件下層級(jí)池化序列匹配方法對(duì)于查詢圖排序模型性能的影響。

4.1 實(shí)驗(yàn)設(shè)置

4.1.1 數(shù)據(jù)集

MetaQA是一個(gè)大規(guī)模KGQA數(shù)據(jù)集，包含了1跳簡(jiǎn)單問(wèn)題和2跳、3跳的復(fù)雜問(wèn)題，共有超過(guò)40萬(wàn)個(gè)問(wèn)答對(duì)。本文使用MetaQA的普通版本，提供了關(guān)于電影領(lǐng)域的43 233個(gè)實(shí)體、9種關(guān)系類型以及134 741個(gè)三元組。

WebQuestionsSP對(duì)WebQuestions數(shù)據(jù)集中每個(gè)問(wèn)句增加了相應(yīng)的SPARQL查詢，除了簡(jiǎn)單問(wèn)題，還包含部分帶有約束條件的復(fù)雜問(wèn)題。為便于實(shí)驗(yàn)，本文使用了Saxena等^［12］提供的輕量級(jí)版本，這個(gè)版本數(shù)據(jù)集有180萬(wàn)個(gè)實(shí)體和570萬(wàn)個(gè)三元組。

實(shí)驗(yàn)中，MetaQA和WebQuestionsSP數(shù)據(jù)集均按照訓(xùn)練集、驗(yàn)證集和測(cè)試集進(jìn)行劃分，具體劃分情況如表2所示。

4.1.2 參數(shù)設(shè)置

本文問(wèn)答系統(tǒng)中關(guān)于查詢圖語(yǔ)義結(jié)構(gòu)預(yù)測(cè)分類器的模型參數(shù)可參考文獻(xiàn)［20］進(jìn)行設(shè)置，并且在實(shí)驗(yàn)中為BERT排序模型設(shè)計(jì)了一個(gè)額外層級(jí)池化層，其中層級(jí)池化層的滑動(dòng)窗口尺寸和步長(zhǎng)分別設(shè)置為3和2。本文使用AdamW作為基于層級(jí)池化的排序模型訓(xùn)練的優(yōu)化器，設(shè)置學(xué)習(xí)率為2×10^-5，最大訓(xùn)練回合數(shù)為10次，并且采用梯度裁剪將梯度的最大L₂范數(shù)限制為1。另外，在構(gòu)建本文排序模型的訓(xùn)練數(shù)據(jù)時(shí)，需按照1∶150的比例創(chuàng)建正、負(fù)例候選查詢圖集合，其中負(fù)例查詢圖從過(guò)濾后的候選查詢圖集合G*中隨機(jī)選取。

4.1.3 基準(zhǔn)模型

本文將在兩個(gè)數(shù)據(jù)集上，對(duì)基于本文方法構(gòu)建的問(wèn)答系統(tǒng)與以下典型模型進(jìn)行性能比較。

在基于信息檢索方法中，PullNet^［10］利用“Pull”操作自主抽取與問(wèn)題相關(guān)的子圖，最后利用GCN對(duì)節(jié)點(diǎn)進(jìn)行表示學(xué)習(xí)，進(jìn)而判斷答案是否正確;EmbedKGQA^［12］通過(guò)結(jié)合知識(shí)嵌入來(lái)提高推理性能，并在沒(méi)有邏輯形式的幫助下，將CQA任務(wù)當(dāng)成鏈接預(yù)測(cè)任務(wù)推理出最后答案;TransferNet^［13］提出了一個(gè)有效且可解釋的復(fù)雜問(wèn)答模型，可以在統(tǒng)一的模型框架中同時(shí)在標(biāo)簽或文本形式的關(guān)系圖上進(jìn)行多跳問(wèn)答。

在基于查詢圖的語(yǔ)義解析方法中，QGG（query graph generation）^［18］是一種改進(jìn)的分階段查詢圖生成方法，可以同時(shí)添加約束條件和擴(kuò)展關(guān)系路徑;SSKGQA^［20］同樣通過(guò)預(yù)測(cè)查詢圖語(yǔ)義結(jié)構(gòu)的方法來(lái)濾除噪聲查詢圖干擾，但在最優(yōu)查詢圖選擇階段，并非采用序列對(duì)形式對(duì)問(wèn)句和查詢圖進(jìn)行層級(jí)池化交互編碼。

在強(qiáng)調(diào)多跳路徑推理的問(wèn)答方法中，通過(guò)Uhop^［41］設(shè)計(jì)了一種多跳推理停止機(jī)制，能有效增強(qiáng)模型對(duì)于更長(zhǎng)關(guān)系路徑的推理能力;通過(guò)NSM^［42］提出利用教師網(wǎng)絡(luò)提供的中間監(jiān)督信號(hào)來(lái)緩解稀疏獎(jiǎng)勵(lì)問(wèn)題，并以此提高學(xué)生網(wǎng)絡(luò)的學(xué)習(xí)能力。

4.2 現(xiàn)有方法對(duì)比實(shí)驗(yàn)

在MetaQA和WebQuestionsSP問(wèn)答數(shù)據(jù)集上開(kāi)展性能測(cè)試，本文方法與其他方法的對(duì)比結(jié)果如表3所示，1-hop、2-hop、3-hop分別表示1跳、2跳、3跳問(wèn)題。

很顯然，PullNet和EmbedKGQA在MetaQA數(shù)據(jù)集上取得不錯(cuò)的性能，但在WebQuestionsSP上性能略顯不足，表明僅僅通過(guò)聚合子圖特征或者依靠關(guān)系路徑的嵌入表示實(shí)現(xiàn)復(fù)雜問(wèn)題的建模和推理是不夠的。在處理多跳數(shù)據(jù)集MetaQA時(shí)，NSM憑借其雙向推理機(jī)制，使其在MetaQA 2-hop取得了最佳性能，并將EmbedKGQA在MetaQA 3-hop時(shí)的Hits@1提高了4.1%。然而，對(duì)于更加復(fù)雜的WebQuestionsSP問(wèn)題，由于在關(guān)系路徑推理過(guò)程中依然存在單跳預(yù)測(cè)的錯(cuò)誤傳播，使得NSM和Uhop的模型性能有待提高。盡管QGG和本文方法在WebQuestions-SP數(shù)據(jù)集上均取得最佳性能，但前者在迭代生成候選查詢圖時(shí)仍然可能產(chǎn)生大量語(yǔ)義結(jié)構(gòu)不同的噪聲查詢圖，并且還需要結(jié)合其他人工定義特征來(lái)選擇最優(yōu)查詢圖。相反，本文方法在不加入額外人工定義特征的情況下，仍然可以在兩個(gè)問(wèn)答數(shù)據(jù)集上取得較好的性能，并且將SSKGQA在MetaQA 3-hop和WebQuestionsSP的Hits@1值分別提高到99.8%和71.7%，表明通過(guò)引入層級(jí)池化交互編碼機(jī)制可以在一定程度上提升原有問(wèn)答模型的系統(tǒng)性能。

4.3 池化方法對(duì)比實(shí)驗(yàn)

為驗(yàn)證本文所提層級(jí)池化方法對(duì)于基于BERT的排序模型性能的影響，可選擇與其他常用池化方法，如平均池化、最大池化以及連接池化等方法進(jìn)行對(duì)比實(shí)驗(yàn)，不同方法在MetaQA和WebQuestionsSP上的實(shí)驗(yàn)結(jié)果如圖9所示。

圖9 不同池化方法下的性能測(cè)試結(jié)果

Fig.9 Performance test results with different pooling methods從整體來(lái)看，兩種層級(jí)池化方法和平均池化方法要優(yōu)于其他對(duì)比方法，無(wú)論是針對(duì)單跳簡(jiǎn)單問(wèn)題或多跳/約束類復(fù)雜問(wèn)題，層級(jí)池化方法都能很好地提取查詢圖序列對(duì)的語(yǔ)義特征。而最大池化方法性能最差，表明全局特征信息與詞序信息對(duì)于查詢圖復(fù)雜序列語(yǔ)義表征的重要性。平均池化方法由于缺乏文本序列的局部顯著性特征，因此在處理MetaQA 3-hop與WebQuestionsSP復(fù)雜問(wèn)題時(shí)性能要低于層級(jí)池化方法。此外，相較于（平均-最大）層級(jí)池化方法，（最大-平均）層級(jí)池化方法在兩個(gè)數(shù)據(jù)集上均取得最高Hits@1值，表明首先對(duì)查詢圖長(zhǎng)序列進(jìn)行基于局部滑動(dòng)窗口的最大池化處理，然后再對(duì)局部最大特征進(jìn)行平均處理，能更好地兼顧查詢圖復(fù)雜序列的局部顯著性特征、全局整體特征以及序列詞序信息。

4.4 滑動(dòng)窗口參數(shù)測(cè)試

接下來(lái)，為了研究層級(jí)池化方法中超參數(shù)對(duì)于基于BERT的排序模型性能的影響，本文將在WebQuestionsSP公測(cè)數(shù)據(jù)集上對(duì)（最大-平均）層級(jí)池化排序模型開(kāi)展參數(shù)敏感性測(cè)試，其中滑動(dòng)窗口大小m的取值范圍為［2，5］，滑動(dòng)步長(zhǎng)s的取值范圍為［1，5］，實(shí)驗(yàn)結(jié)果如圖10所示，圖10以柱狀圖的形式展示了不同參數(shù)條件下的Hits@1準(zhǔn)確率。

由圖10可知，在相同窗口尺寸下，隨著滑動(dòng)步長(zhǎng)的增加，層級(jí)池化排序模型的性能基本保持不變，表明滑動(dòng)步長(zhǎng)參數(shù)對(duì)模型性能影響較小。相反，在相同滑動(dòng)步長(zhǎng)下，當(dāng)滑動(dòng)窗口大小設(shè)置為3時(shí)，獲得最優(yōu)準(zhǔn)確率，繼續(xù)增大窗口大小可能會(huì)引入過(guò)多的序列片段噪聲，從而影響最后的編碼結(jié)果，導(dǎo)致排序模型性能下降，因此層級(jí)池化操作在實(shí)際應(yīng)用中應(yīng)優(yōu)先調(diào)整滑動(dòng)窗口尺寸大小。

4.5 負(fù)例查詢圖影響測(cè)試

通過(guò)分析候選查詢圖集合G*可知，每一個(gè)問(wèn)句可能在知識(shí)圖譜中生成大量的負(fù)例查詢圖，并且在使用三重?fù)p失函數(shù)對(duì)基于BERT的層級(jí)池化排序模型進(jìn)行訓(xùn)練時(shí)，也需要確定參與模型訓(xùn)練的負(fù)樣本數(shù)量。因此，將本文設(shè)計(jì)的層級(jí)池化排序模型與SSKGQA^［20］的排序模型在數(shù)據(jù)集WebQuestionsSP上進(jìn)行對(duì)比測(cè)試，分析不同數(shù)量負(fù)例查詢圖對(duì)于兩個(gè)排序模型的性能影響，實(shí)驗(yàn)結(jié)果如圖11所示。

在一定范圍內(nèi)，兩個(gè)排序模型的Hits@1性能會(huì)隨著負(fù)樣本數(shù)量的增加而提高，但負(fù)樣本超過(guò)一定數(shù)量時(shí)，可能會(huì)增加模型訓(xùn)練的計(jì)算壓力，使得排序模型性能有略微下降的趨勢(shì)。同時(shí)，在相同數(shù)量負(fù)樣本條件下，層級(jí)池化排序模型的性能始終優(yōu)于SSKGQA的排序模型，表明層級(jí)池化排序模型只需要使用少量的負(fù)樣本即可獲得較高的Hits@1，且當(dāng)n=150時(shí)，層級(jí)池化排序模型獲得最高Hits@1值。

5 結(jié) 論

本文面向知識(shí)圖譜復(fù)雜問(wèn)答任務(wù)中查詢圖語(yǔ)義特征提取能力不足的問(wèn)題，提出一種新的最優(yōu)查詢圖選擇方法。在具體實(shí)現(xiàn)中，首先通過(guò)預(yù)測(cè)給定問(wèn)題的查詢圖語(yǔ)義結(jié)構(gòu)來(lái)進(jìn)行過(guò)濾，得到噪聲較少的候選查詢圖集合。然后，使用基于BERT的層級(jí)池化排序模型，抽取查詢圖復(fù)雜序列的代表性語(yǔ)義特征，在語(yǔ)義建模過(guò)程中引入基于層級(jí)池化的序列對(duì)交互編碼機(jī)制，增強(qiáng)查詢圖復(fù)雜序列的局部顯著和全局語(yǔ)義特征表征能力。同時(shí)，在MetaQA和WebQuestionsSP上開(kāi)展大量實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果表明本文所提最優(yōu)查詢圖選擇方法能夠進(jìn)一步提高知識(shí)圖譜復(fù)雜問(wèn)答系統(tǒng)的性能，驗(yàn)證了所提方法的有效性。

參考文獻(xiàn)

［1］ZHANG J， CHEN B， ZHANG L X， et al. Neural， symbolic and neural-symbolic reasoning on knowledge graphs［J］. AI Open， 2021， 2： 14-35.

［2］王智悅， 于清， 王楠， 等. 基于知識(shí)圖譜的智能問(wèn)答研究綜述［J］. 計(jì)算機(jī)工程與應(yīng)用， 2020， 56（23）： 1-11.

WANG Z Y， YU Q， WANG N， et al. Survey of intelligent question answering research based on knowledge graph［J］. Computer Engineering and Applications， 2020， 56（23）： 1-11.

［3］薩日娜， 李艷玲， 林民. 知識(shí)圖譜推理問(wèn)答研究綜述［J］. 計(jì)算機(jī)科學(xué)與探索， 2022， 16（8）： 1727-1741.

SA R N， LI Y L， LIN M. A Survey of question answering based on knowledge graph reasoning［J］. Computer Science and Technology， 2022， 16（8）： 1727-1741.

［4］劉勝. 聯(lián)合邏輯形式解析和答案生成的知識(shí)圖譜問(wèn)答方法及應(yīng)用［D］. 杭州： 浙江大學(xué)， 2023.

LIU S. Knowledge graph question answering method and application based on logical form parsing and answer generation［D］. Hangzhou： Zhejiang University， 2023.

［5］CAO X， ZHAO Y S， SHEN B. Improving and evaluating complex question answering over knowledge bases by constructing strongly supervised data［J］. Neural Computing and Applications， 2023， 35（7）： 5513-5533.

［6］LAN Y S， WANG S H， JIANG J. Knowledge base question answering with topic units［C］∥Proc.of the 28th International Joint Conference on Artificial Intelligence， 2019： 5046-5052.

［7］LAN Y S， WANG S H， JIANG J. Knowledge base question answering with a matching-aggregation model and question-specific contextual relations［J］. IEEE/ACM Trans.on Audio， Speech， and Language Processing， 2019， 27（10）： 1629-1638.

［8］LAN Y S， HE G， JIANG J， et al. A survey on complex know-ledge base question answering： methods， challenges and solutions［C］∥Proc.of the 30th International Joint Conference on Artificial Intelligence， 2021： 4483-4491.

［9］XU K， LAI Y X， FENG Y S， et al. Enhancing key-value memory neural networks for knowledge based question answering［C］∥Proc.of the Conference of the North American Chapter of the Association for Computational Linguistics： Human Language Technologies， 2019： 2937-2947.

［10］SUN H， BEDRAX-WEISS T， COHEN W W. PullNet： open domain question answering with iterative retrieval on know-ledge bases and text［C］∥Proc.of the Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing， 2019： 2380-2390.

［11］SUN H， DHINGRA B， ZAHEER M， et al. Open domain question answering using early fusion of knowledge bases and text［C］∥Proc.of the Conference on Empirical Methods in Na-tural Language Processing， 2018： 4231-4242.

［12］SAXENA A， TRIPATHI A， TALUKDAR P. Improving multi-hop question answering over knowledge graphs using knowledge base embeddings［C］∥Proc.of 58th Annual Meeting of the Association for Computational Linguistics， 2020： 4498-4507.

［13］SHI J X， CAO S L， HOU L， et al. TransferNet： an effective and transparent framework for multi-hop question answering over relation graph［C］∥Proc.of the Conference on Empirical Methods in Natural Language Processing， 2021： 4149-4158.

［14］YIH S W， CHANG M W， HE X， et al. Semantic parsing via staged query graph generation： question answering with know-ledge base［C］∥Proc.of the 53rd Annual Meeting of the ACL and the 7th International Joint Conference on Natural Language Processing， 2015： 1321-1331.

［15］BAO J W， DUAN N， YAN Z， et al. Constraint-based question answering with knowledge graph［C］∥Proc.of the 26th International Conference on Computational Linguistic： Technical Papers， 2016： 2503-2514.

［16］MAHESHWARI G， TRIVED P， LUKOVNIKOV D， et al. Learning to rank query graphs for complex question answering over knowledge graphs［C］∥Proc.of the 18th International Semantic Web Conference， 2019： 26-30.

［17］QIN K， LI C， PAVLU V， et al. Improving query graph generation for complex question answering over knowledge base［C］∥Proc.of the Conference on Empirical Methods in Natural Language Processing， 2021： 4201-4207.

［18］LAN Y S， JIANG J. Query graph generation for answering multi-hop complex questions from knowledge bases［C］∥Proc.of the 58th Annual Meeting of the Association for Computational Linguistics， 2020： 969-974.

［19］CHEN Y R， LI H Y， HUA Y C， et al. Formal query building with query structure prediction for complex question answering over knowledge base［C］∥Proc.of the 29th International Joint Conference on Artificial Intelligence， 2021： 3751-3758.

［20］LI M， JI S H. Semantic structure based query graph prediction for question answering over knowledge graph［C］∥Proc.of the 29th International Conference on Computational Linguistics， 2022： 1569-1579.

［21］LUO K Q， LIN F L， LUO X S， et al. Knowledge base question answering via encoding of complex query graphs［C］∥Proc.of the Conference on Empirical Methods in Natural Language Processing， 2018： 2185-2194.

［22］JIA Y H， CHEN W L. Better query graph selection for know-ledge base question answering［EB/OL］. ［2022-10-22］. https：∥doi.org/10.48550/arXiv.2204.12662.

［23］DEVLIN J， CHANG M W， LEE K， et al. BERT： pre-training of deep bidirectional transformers for language understanding［C］∥Proc.of the Conference of the North American Chapter of the Association for Computational Linguistics： Human Language Technologies， 2019： 4171-4186.

［24］YIN X， GROMANN D， RUDOLPH S. Neural machine translating from natural language to SPARQL［J］. Future Generation Computer Systems， 2021， 117： 510-519.

［25］馬玉鳳， 向南， 豆亞杰， 等. 軍事系統(tǒng)工程中的知識(shí)圖譜應(yīng)用及研究［J］. 系統(tǒng)工程與電技術(shù)， 2022， 44（1）： 146-153.

MA Y F， XIANG N， DOU Y J， et al. Application and research of knowledge graph in military system engineering［J］. Systems Engineering and Electronics， 2022， 44（1）： 146-153.

［26］封皓君， 段立， 張碧瑩， 等. 雙向循環(huán)進(jìn)化的實(shí)體鏈接及知識(shí)推理框架［J］. 系統(tǒng)工程與電技術(shù)， 2022， 44（9）： 2878-2885.

FENG H J， DUAN L， ZHANG B Y， et al. Bidirectional cyclic evolutionary framework of entity linking and knowledge reasoning［J］. Systems Engineering and Electronics， 2022， 44（9）： 2878-2885.

［27］HUA Y， LI Y F， HAFFARI G， et al. Few-shot complex know-ledge base question answering via meta reinforcement learning［C］∥Proc.of the Conference on Empirical Methods in Natural Language Processing， 2020： 5827-5837.

［28］HUA Y， LI Y F， QI G， et al. Less is more： data-efficient complex question answering over knowledge bases［J］. Journal of Web Semantics， 2020， 65： 100612.

［29］ZHANG Q X， WENG X Y， ZHOU G Y， et al. RL： an adaptive reinforcement learning framework for complex question answering over knowledge base［J］. Information Processing and Management， 2022， 59（3）： 102933.

［30］BAST H， HAUSSMANN E. More accurate question answering on freebase［C］∥Proc.of the 24th ACM International on Conference on Information and Knowledge Management， 2015： 1431-1440.

［31］JIA Z， ABUJABAL A， SAHA R R， et al. Temporal question answering over knowledge bases［C］∥Proc.of the 27th ACM International Conference on Information and Knowledge Management， 2018： 1807-1810.

［32］SUN Z， DENG Z H， NIE J Y， et al. Rotate： knowledge graph embedding by relational rotation in complex space［EB/OL］. ［2022-10-22］. https：∥doi.org/10.48550/arXiv.1902.10197.

［33］楊東華， 鄒開(kāi)發(fā)， 王宏志， 等. 基于Seq2Seq模型的SparQL查詢預(yù)測(cè)［J］. 軟件學(xué)報(bào)， 2021， 32（3）： 805-817.

YANG D H， ZOU K F， WANG H Z， et al. SparQL query prediction based on Seq2Seq model［J］. Journal of Software， 2021， 32（3）： 805-817.

［34］KRIZHEVSKY A， SUTSKEVER I， HINTON G E. Imagenet classification with deep convolutional neural networks［J］. Communications of the ACM， 2017， 60（6）： 84-90.

［35］SNELL J， SWERSKY K， ZEMEL R， et al. Prototypical networks for few-shot learning［C］∥Proc.of the 31st International Conference on Neural Information Processing Systems， 2017： 4080-4090.

［36］SHEN D H， WANG G Y， WANG W L， et al. Baseline needs more love： on simple word-embedding-based models and associated pooling mechanisms［C］∥Proc.of the 56th Annual Meeting of the Association for Computational Linguistics， 2018： 440-450.

［37］PAN C Y， HUANG J， GONG J X. Few-shot learning with hierarchical pooling induction network［J］. Multimedia Tools and Applications， 2022， 81（23）： 32937-32952.

［38］SCHROFF F， KALENICHENKO D， PHILBIN J. Facenet： a unified embedding for face recognition and clustering［C］∥Proc.of the IEEE Conference on Computer Vision and Pattern Recognition， 2015： 815-823.

［39］ZHANG Y， DAI H， KOZAREVA Z， et al. Variational reasoning for question answering with knowledge graph［C］∥Proc.of the 32nd AAAI Conference on Artificial Intelligence， 2018.

［40］YIH W， RICHARDSON M， MEEK C， et al. The value of semantic parse labeling for knowledge base question answering［C］∥Proc.of the 54th Annual Meeting of the Association for Computational Linguistics， 2016： 201-206.

［41］CHEN Z Y， CHANG C H， CHEN Y P， et al. UHop： an unrestricted-hop relation extraction framework for knowledge-based question answering［C］∥Proc.of the Conference of the North American Chapter of the Association for Computational Linguistics： Human Language Technologies， 2019： 345-356.

［42］HE G L， LAN Y S， JIANG J， et al. Improving multi-hop knowledge base question answering by learning intermediate supervision signals［C］∥Proc.of the 14th ACM International Conference on Web Search and Data Mining， 2021： 553-561.

作者簡(jiǎn)介

王 冬（1989—），男，博士研究生，主要研究方向?yàn)橹R(shí)圖譜、知識(shí)推理與問(wèn)答。

周思航（1991—），男，助理研究員，博士，主要研究方向?yàn)橹R(shí)圖譜、模式識(shí)別、機(jī)器學(xué)習(xí)。

黃 健（1971—），女，研究員，博士，主要研究方向?yàn)榉植际椒抡媾c任務(wù)規(guī)劃、知識(shí)圖譜。

張中杰（1988—），男，講師，博士，主要研究方向?yàn)閿?shù)據(jù)挖掘。