融合事實(shí)文本的問(wèn)句分解式語(yǔ)義解析方法

楊玉倩,高盛祥,余正濤,宋 燃

(昆明理工大學(xué) 信息工程與自動(dòng)化學(xué)院,昆明 650500)

(昆明理工大學(xué) 云南省人工智能重點(diǎn)實(shí)驗(yàn)室,昆明 650500)

1 引 言

知識(shí)庫(kù)問(wèn)答(Knowledge Base Question Answering,KBQA)技術(shù)旨在從預(yù)先建立好的結(jié)構(gòu)化知識(shí)庫(kù)中查找問(wèn)題的答案,因其廣泛的應(yīng)用場(chǎng)景和巨大的應(yīng)用價(jià)值成為學(xué)術(shù)界和工業(yè)界的研究熱點(diǎn)之一.隨著知識(shí)庫(kù)的規(guī)模越來(lái)越大,如Freebase[1]、DBpedia[2]、Wikidata[3]等大型知識(shí)庫(kù)中存儲(chǔ)了豐富的關(guān)聯(lián)知識(shí),這為知識(shí)庫(kù)問(wèn)答提供了數(shù)據(jù)基礎(chǔ).

然而,目前的問(wèn)答系統(tǒng)大多只能回答事實(shí)型問(wèn)題,不能很好的處理復(fù)雜問(wèn)題,難以理解問(wèn)題中的復(fù)雜語(yǔ)義[4].原因在于,回答一個(gè)復(fù)雜問(wèn)題通常會(huì)涉及知識(shí)庫(kù)中多個(gè)關(guān)聯(lián)的三元組信息,三元組需要滿足與問(wèn)題相關(guān)的約束條件,再經(jīng)過(guò)一系列多跳推理或數(shù)值計(jì)算才能得到正確答案[5,6].比如:“The author of The Art of War lived in what city? ”,這個(gè)復(fù)雜問(wèn)題的主題實(shí)體是“The Art of War”,涉及知識(shí)庫(kù)中兩個(gè)三元組信息和,以“The Art of War”作為第1跳推理過(guò)程的起點(diǎn),即第1個(gè)三元組的頭實(shí)體,滿足相應(yīng)的謂詞約束“work_author”找到尾實(shí)體“Machiavelli”,再以該實(shí)體作為第二跳推理過(guò)程的起點(diǎn),找到滿足約束條件的謂詞關(guān)系“places_lived”和尾實(shí)體“Florence”,并把該實(shí)體作為正確答案返回.

語(yǔ)義解析(Semantic Parsing,SP)作為知識(shí)庫(kù)問(wèn)答技術(shù)的主流方法之一,核心是將非結(jié)構(gòu)化的自然語(yǔ)言問(wèn)題轉(zhuǎn)化成機(jī)器能夠理解和執(zhí)行的形式語(yǔ)言,如SPARQL等,并使用該形式語(yǔ)言作為結(jié)構(gòu)化查詢語(yǔ)句對(duì)知識(shí)庫(kù)進(jìn)行查詢,從而獲取答案[7,8].目前,此類(lèi)方法在解析復(fù)雜問(wèn)題時(shí)主要依賴(lài)于句法分析方法,為句子中不同的詞標(biāo)記不同的角色,輔助解析句子的語(yǔ)義.但是,單純依靠基于句法的模型并不能很好的理解復(fù)雜問(wèn)題中的語(yǔ)義,會(huì)導(dǎo)致語(yǔ)義角色標(biāo)注錯(cuò)誤,從而影響后續(xù)推理與計(jì)算.并且,隨著問(wèn)題復(fù)雜度的提高,語(yǔ)義解析的方法幾乎失效.因此,如何更好地理解自然語(yǔ)言問(wèn)句中的復(fù)雜語(yǔ)義依舊是一個(gè)難點(diǎn)問(wèn)題.

事實(shí)上,當(dāng)人類(lèi)在面臨復(fù)雜問(wèn)題時(shí),往往先將其簡(jiǎn)化成若干個(gè)簡(jiǎn)單問(wèn)題,先逐個(gè)回答簡(jiǎn)單問(wèn)題,再進(jìn)行整合和推理獲得最終答案.因此,將復(fù)雜問(wèn)題分解為若干簡(jiǎn)單問(wèn)題是解決復(fù)雜問(wèn)題語(yǔ)義理解的有效途徑.同樣地,我們可以借鑒這個(gè)分治的思想,先把復(fù)雜問(wèn)題分解得到簡(jiǎn)單問(wèn)題序列,這些簡(jiǎn)單問(wèn)題往往可以直接從知識(shí)庫(kù)中獲取答案,再整合簡(jiǎn)單問(wèn)題的信息生成查詢語(yǔ)句,這也更符合形式語(yǔ)言的邏輯結(jié)構(gòu),從而更好地生成查詢語(yǔ)句.然而,在將復(fù)雜問(wèn)題分解成簡(jiǎn)單問(wèn)題序列的過(guò)程中,模型往往會(huì)錯(cuò)誤地判斷或丟失問(wèn)句中的主題實(shí)體,這將導(dǎo)致分解后的子問(wèn)題與原始的復(fù)雜問(wèn)題并不匹配,從而生成錯(cuò)誤的查詢語(yǔ)句.如圖1(a)給出的錯(cuò)誤示例,原始復(fù)雜問(wèn)題的主題實(shí)體為“The Art of War”,經(jīng)問(wèn)句分解后得到兩個(gè)簡(jiǎn)單問(wèn)題,其中簡(jiǎn)單問(wèn)題1錯(cuò)誤地將“author”判斷為一個(gè)地點(diǎn),并且分解后的兩個(gè)簡(jiǎn)單問(wèn)題都丟失了主題實(shí)體,正確的分解結(jié)果如圖1(b)中第1階段所示.

圖1 示例圖Fig.1 Sample graph

針對(duì)上述問(wèn)題,本文提出了一種融合事實(shí)文本的問(wèn)句分解式語(yǔ)義解析模型.我們將知識(shí)庫(kù)中的三元組轉(zhuǎn)化成用自然語(yǔ)言描述的事實(shí)文本信息,構(gòu)建了一個(gè)事實(shí)文本庫(kù).并采用注意力機(jī)制獲取更豐富的知識(shí)表示作為輔助信息,使生成的子問(wèn)句與原問(wèn)題更加切合,提高了子問(wèn)句的質(zhì)量,有效減少了錯(cuò)誤傳播,進(jìn)而指導(dǎo)模型生成更好的查詢語(yǔ)句.本文將復(fù)雜問(wèn)題的語(yǔ)義解析過(guò)程分為3個(gè)階段,如圖1(b)所示,首先在問(wèn)句分解階段,將復(fù)雜問(wèn)題分解成一系列簡(jiǎn)單的子問(wèn)題序列;然后在信息抽取階段,對(duì)原問(wèn)題和子問(wèn)題序列進(jìn)行信息抽取和整合,獲取關(guān)鍵信息;最后在語(yǔ)義解析階段,生成相應(yīng)的結(jié)構(gòu)化查詢語(yǔ)句.本文的主要貢獻(xiàn)如下:

1)構(gòu)建了一個(gè)事實(shí)文本庫(kù),將知識(shí)庫(kù)中用圖結(jié)構(gòu)表示的事實(shí)轉(zhuǎn)化成用自然語(yǔ)言描述的文本,使知識(shí)與問(wèn)句在形式上保持一致;

2)利用文本庫(kù)感知注意力機(jī)制融合了關(guān)鍵的事實(shí)信息,改善了主題實(shí)體殘缺或錯(cuò)誤的問(wèn)題,進(jìn)而提高了分解后子問(wèn)題的質(zhì)量,減少了錯(cuò)誤傳播;

3)提出了一種融合事實(shí)文本的問(wèn)句分解式語(yǔ)義解析模型,借鑒分治的思想對(duì)復(fù)雜問(wèn)題進(jìn)行分解,使模型更好地理解復(fù)雜語(yǔ)義,指導(dǎo)模型生成更精準(zhǔn)的查詢語(yǔ)句;

4)在大規(guī)模公開(kāi)數(shù)據(jù)集ComplexWebQuestions[9]上驗(yàn)證了方法的合理性和有效性.

2 相關(guān)工作

2.1 語(yǔ)義解析

基于語(yǔ)義解析的方法將自然語(yǔ)言描述的問(wèn)句解析為邏輯形式語(yǔ)言,然后在知識(shí)庫(kù)上執(zhí)行獲得答案.核心是從自然語(yǔ)言到邏輯形式的轉(zhuǎn)換.

語(yǔ)義解析模型首先要充分理解一個(gè)問(wèn)題,分析問(wèn)句的語(yǔ)義和句法,將非結(jié)構(gòu)化的文本轉(zhuǎn)換為結(jié)構(gòu)表示.與簡(jiǎn)單問(wèn)題相比,復(fù)雜問(wèn)題具有更復(fù)雜的查詢類(lèi)型和組合語(yǔ)義,這增加了語(yǔ)言分析的難度.為了提高模型的理解能力,許多現(xiàn)有方法依賴(lài)于句法分析,如依存句法[10,11]和抽象語(yǔ)義表示[12],使句子成分和邏輯要素之間做到更好的對(duì)齊.但是在具有長(zhǎng)距離依賴(lài)的復(fù)雜問(wèn)題上,句法解析的準(zhǔn)確率較低,為了提升句法分析到下游語(yǔ)義解析任務(wù)的準(zhǔn)確率,Sun[13]等人用一種骨架結(jié)構(gòu)來(lái)表示復(fù)雜問(wèn)題的高級(jí)結(jié)構(gòu),本質(zhì)上是一個(gè)依賴(lài)語(yǔ)法的備選子集,以骨架結(jié)構(gòu)作為粗粒度的表示來(lái)獲取復(fù)雜問(wèn)題的主干.而另一類(lèi)方法旨在改進(jìn)邏輯形式和問(wèn)題之間的匹配程度,主要利用邏輯形式的結(jié)構(gòu)屬性(如樹(shù)結(jié)構(gòu)或圖結(jié)構(gòu))對(duì)候選解析進(jìn)行排序.Zhu[14]等人將查詢視為一棵樹(shù),將實(shí)體和關(guān)系的順序編碼到其表示中,首先從實(shí)體、類(lèi)型和數(shù)值運(yùn)算中構(gòu)造給定問(wèn)題的候選查詢,然后對(duì)候選查詢進(jìn)行編碼并將其解碼為給定的問(wèn)題,用一種基于樹(shù)的編碼器-解碼器結(jié)構(gòu)來(lái)正確建模查詢中實(shí)體或關(guān)系的上下文.Chen[15]等人將復(fù)雜的邏輯形式語(yǔ)法視為一個(gè)圖,將查詢圖生成視為一個(gè)分層決策問(wèn)題,先通過(guò)簡(jiǎn)單策略收集相關(guān)實(shí)例作為候選實(shí)例,然后通過(guò)槽填充分層生成查詢圖.但是復(fù)雜問(wèn)題的類(lèi)型多種多樣,其邏輯形式的表達(dá)方式也非常豐富,使得模型在生成邏輯形式的過(guò)程中面臨很多挑戰(zhàn).Lan[16]等人提出了一種迭代序列匹配模型來(lái)解析問(wèn)題,為找到答案實(shí)體迭代地增加候選關(guān)系路徑,逐步將匹配分?jǐn)?shù)分配給路徑,在回答多跳類(lèi)型的問(wèn)題上取得了很好的效果.為了使模型適應(yīng)更多的復(fù)雜類(lèi)型,Lan[17]提出了一種分段查詢圖生成方法,可以同時(shí)支持具有約束條件或多跳關(guān)系的復(fù)雜查詢,該方法可以更靈活地生成查詢圖,而且還有效地縮減了搜索空間.但是上述方法更關(guān)注于問(wèn)句的結(jié)構(gòu)信息,沒(méi)有充分利用迭代分解的思想來(lái)解決復(fù)雜知識(shí)庫(kù)問(wèn)答的研究難點(diǎn).

2.2 問(wèn)句分解

問(wèn)句分解技術(shù)逐漸成為解決復(fù)雜問(wèn)答的主流方法之一.通常復(fù)雜問(wèn)題具有組合性或嵌套性等特征,因此可以利用其結(jié)構(gòu)特征對(duì)復(fù)雜問(wèn)題進(jìn)行分解.Talmor[9]等人將復(fù)雜問(wèn)題的分解視為一顆計(jì)算樹(shù),采用指針網(wǎng)絡(luò)生成分割點(diǎn)做為計(jì)算樹(shù)的結(jié)點(diǎn),將原始輸入切割成若干文段,每一段是一個(gè)簡(jiǎn)單問(wèn)題.Shin[18]等人將復(fù)雜問(wèn)題視為一個(gè)完整查詢圖,根據(jù)復(fù)雜問(wèn)題的語(yǔ)法模式和依存句法樹(shù)將其拆分為多個(gè)子問(wèn)題,從預(yù)先定義的查詢圖庫(kù)中搜索對(duì)應(yīng)的子查詢圖.Guo[19]等人利用復(fù)雜問(wèn)題的組合性,采用迭代語(yǔ)義分割的方式來(lái)增強(qiáng)神經(jīng)語(yǔ)義解析器,從輸入中分割一個(gè)跨度并將其解析為部分表示,并將這一過(guò)程進(jìn)行迭代.此類(lèi)方法的優(yōu)勢(shì)是不需要任何手工模板或額外標(biāo)注數(shù)據(jù)來(lái)進(jìn)行語(yǔ)義分割,但得到的子問(wèn)題往往是不完整的,因此丟失了很多關(guān)鍵的有效信息.為了使模型在訓(xùn)練過(guò)程中能夠利用更多的知識(shí)信息,He[20]等人結(jié)合了實(shí)體信息和領(lǐng)域知識(shí)信息,用序列標(biāo)注的方式準(zhǔn)確地識(shí)別實(shí)體和相關(guān)屬性信息,將簡(jiǎn)單子問(wèn)題集合起來(lái)實(shí)現(xiàn)復(fù)雜問(wèn)題的自動(dòng)分解.Das[21]等人提出了一種基于案例推理的知識(shí)庫(kù)問(wèn)答方法,通過(guò)檢索的方式從訓(xùn)練集中檢索相關(guān)案例,利用其標(biāo)注信息和結(jié)構(gòu)信息,進(jìn)一步將復(fù)雜問(wèn)題轉(zhuǎn)化成若干簡(jiǎn)單問(wèn)題的表示.此類(lèi)方法在問(wèn)題分解時(shí)得到了完整的子問(wèn)題,具備更強(qiáng)的可解釋性,能夠獲得更豐富的知識(shí)信息,但模型遇到新的復(fù)雜問(wèn)題時(shí)泛化能力較差.Perez[22]等人采用無(wú)監(jiān)督的方法來(lái)生成子問(wèn)題,提出了一種一對(duì)多的無(wú)監(jiān)督序列轉(zhuǎn)導(dǎo)算法,將一個(gè)困難的多跳問(wèn)題映射到若干更簡(jiǎn)單的單跳子問(wèn)題.Zhang[23]等人則采用端到端的序列生成模型,將分解任務(wù)轉(zhuǎn)化成生成任務(wù),在Embedding層將復(fù)雜問(wèn)題分解成若干簡(jiǎn)單問(wèn)題,直接生成完整的子問(wèn)題,并且能夠適應(yīng)4種主流的復(fù)雜類(lèi)型.Zhang[24]等人則進(jìn)一步優(yōu)化了子問(wèn)題的回答順序,提出了一種強(qiáng)化學(xué)習(xí)的方法,動(dòng)態(tài)地決定在每個(gè)推理階段回答哪個(gè)子問(wèn)題.但此類(lèi)生成式的方法在分解階段不可避免的會(huì)產(chǎn)生很多錯(cuò)誤,導(dǎo)致子問(wèn)題與原始復(fù)雜問(wèn)題并不匹配,為后續(xù)的任務(wù)帶來(lái)錯(cuò)誤積累.

3 任務(wù)定義

本文對(duì)知識(shí)庫(kù)問(wèn)答技術(shù)的研究基于語(yǔ)義解析的方法,即對(duì)于一個(gè)給定的復(fù)雜問(wèn)題q={w1,…,w|q|}(wi(1≤i≤|q|)表示問(wèn)句中的詞),將其轉(zhuǎn)化為邏輯形式lf={w1…,w|lf|}(wi(1≤i≤|lf|)表示查詢語(yǔ)句中的詞).

為了使模型能理解和回答復(fù)雜問(wèn)題,借鑒分治的思想:1)問(wèn)句分解模塊將復(fù)雜問(wèn)題分解成若干簡(jiǎn)單子問(wèn)題dq={w1,…,w|dq|}(wi(1≤i≤|dq|)表示子問(wèn)題中的詞);2)信息抽取模塊會(huì)抽取原始復(fù)雜問(wèn)題和子問(wèn)題序列中的有效信息ei={w1,…,w|ei|}(wi(1≤i≤|ei|)表示抽取的信息中的詞),包括問(wèn)題類(lèi)型和謂詞信息等;3)語(yǔ)義解析模塊會(huì)整合前兩階段的信息生成相應(yīng)的SPARQL語(yǔ)句.

同時(shí),為了解決上述步驟中存在的錯(cuò)誤積累問(wèn)題,在每一階段都融入外部知識(shí).首先將知識(shí)庫(kù)K={V,R}(其中V代表實(shí)體集合,R代表關(guān)系集合)中與主題實(shí)體相關(guān)的三元組(vs,r,vo)∈K(其中vs,vo∈V,r∈R) 根據(jù)模板轉(zhuǎn)換成事實(shí)文本信息ft={w1,…,w|ft|}(wi(1≤i≤|ft|)表示事實(shí)文本句中的詞).然后計(jì)算它們與原始復(fù)雜問(wèn)題之間的語(yǔ)義相似度,選取top-n的句子作為外部知識(shí).最后采用注意力機(jī)制更新各階段的特征向量,融入外部信息.

每個(gè)訓(xùn)練樣本都是一個(gè)五元組(q,lf,dq,ei,F),其中F=(ft1,…,ftn)為這一復(fù)雜問(wèn)題對(duì)應(yīng)的事實(shí)文本集合,包含n個(gè)事實(shí)文本句子.

4 模 型

4.1 模型總覽

針對(duì)上述分治思想和錯(cuò)誤積累問(wèn)題,本文提出了融合事實(shí)文本的問(wèn)句分解式語(yǔ)義解析模型,整體結(jié)構(gòu)如圖2所示,主要包括4個(gè)部分:事實(shí)文本庫(kù)、問(wèn)句分解模塊、信息抽取模塊和語(yǔ)義解析模塊.其中,問(wèn)句分解模塊、信息抽取模塊和語(yǔ)義解析模塊都是基于Transformer[25]的編碼器-解碼器框架,在Transformer的基礎(chǔ)上利用文本庫(kù)感知注意力機(jī)制融入事實(shí)文本信息.其輸入是由輸入序列i=(i1,…,ii)和附加信息e=(e1,…,ee)兩部分組成,輸出是目標(biāo)序列o=(o1,…,oo),事實(shí)文本集合是F=(ft1,…,ftn).

圖2 模型整體結(jié)構(gòu)示意圖Fig.2 Overall structure of the model

4.2 事實(shí)文本庫(kù)

本文構(gòu)建了一個(gè)事實(shí)文本庫(kù)作為知識(shí)來(lái)源.在知識(shí)庫(kù)中,信息以三元組的形式存在,包括頭實(shí)體、關(guān)系和尾實(shí)體,通過(guò)<頭實(shí)體,關(guān)系,尾實(shí)體>這樣的結(jié)構(gòu)構(gòu)建了一張圖網(wǎng)絡(luò).但是不同的知識(shí)圖譜中三元組的表述形式也不相同,為了將知識(shí)庫(kù)的信息與自然語(yǔ)言的問(wèn)題在形式上保持一致,方便后續(xù)的序列建模,本文將三元組通過(guò)人工設(shè)計(jì)模版轉(zhuǎn)化成用自然語(yǔ)言描述的句子.

在數(shù)據(jù)預(yù)處理時(shí),首先用斯坦福的命名實(shí)體識(shí)別工具(1)https://nlp.stanford.edu/software/CRF-NER.html識(shí)別出問(wèn)句中的實(shí)體,得到一個(gè)實(shí)體集合,以該集合中的實(shí)體作為頭實(shí)體或尾實(shí)體抽取知識(shí)庫(kù)(2)本文在Freebase知識(shí)庫(kù)上進(jìn)行抽取.中的三元組.然后根據(jù)人工設(shè)計(jì)模板將三元組表示為事實(shí)文本(如5.2節(jié)所示).最后利用BERT[26]將問(wèn)句和事實(shí)文本編碼成向量,計(jì)算問(wèn)句和事實(shí)文本之間的余弦相似度,選取top-n的事實(shí)文本句子構(gòu)建事實(shí)文本庫(kù).

4.3 文本庫(kù)感知注意力機(jī)制

為獲取更豐富的知識(shí)信息,在編碼端和解碼端都利用了文本庫(kù)感知注意力機(jī)制動(dòng)態(tài)地關(guān)注輸入序列中的局部信息,讓模型在面對(duì)當(dāng)前輸入序列時(shí)更專(zhuān)注于與事實(shí)文本相關(guān)聯(lián)的實(shí)體信息或關(guān)系信息,有效地緩解了主題實(shí)體殘缺或錯(cuò)誤的問(wèn)題,減少了錯(cuò)誤傳播.如圖3所示,為基于文本庫(kù)感知注意力機(jī)制的編碼器-解碼器結(jié)構(gòu)示意圖.

圖3 基于文本庫(kù)感知注意力機(jī)制的編碼器-解碼器結(jié)構(gòu)Fig.3 Encoder-decoder architecture based on text base-aware attention mechanism

在編碼端,首先使用Transformer的編碼器對(duì)輸入序列i=(i1,…,ii)進(jìn)行編碼得到向量表示hi,對(duì)事實(shí)文本集合F=(ft1,…,ftn)中每個(gè)事實(shí)文本序列進(jìn)行編碼得到向量集合(hft1,…,hftn)并將其進(jìn)行拼接,拼接后的向量為hF,然后經(jīng)過(guò)文本庫(kù)感知注意力機(jī)制,計(jì)算輸入序列對(duì)事實(shí)文本序列的注意力向量為h.整個(gè)過(guò)程表示為:

hi=fenc(i)

(1)

hft=fenc(ft)

(2)

hF=hft1⊕…⊕hftn

(3)

(4)

其中,fenc(·)代表Transformer編碼器的編碼過(guò)程.

在解碼端,Transformer解碼器的主要由Masked Multi-Head Attention和Encoder-Decoder Attention兩大機(jī)制組成.本文在解碼端主要做了兩處改進(jìn):1)在Encoder-Decoder Attention處,用注意力向量h取代原來(lái)的輸入序列向量hi作為編碼器傳遞到解碼器的隱向量,即K=V=h,Q=hV;2)在解碼器中新增了文本庫(kù)感知注意力機(jī)制,輸入是事實(shí)文本序列的特征向量hF和Encoder-Decoder Attention輸出的向量henc-dec,輸出是注意力向量ht-aware.解碼過(guò)程遇到“[BOS]”標(biāo)簽代表解碼開(kāi)始,遇到“[EOS]”標(biāo)簽代表解碼結(jié)束.

整個(gè)過(guò)程表示為:

(5)

henc-dec=Attention(hF,henc-dec)

(6)

綜上,本文使用了基于文本庫(kù)感知注意力機(jī)制的編解碼框架,在后續(xù)論述中用fenc(·)表示模型的編碼過(guò)程,fdec(·)表示模型的解碼過(guò)程.

4.4 問(wèn)句分解模塊

該模塊的學(xué)習(xí)目標(biāo)是把復(fù)雜問(wèn)題分解成簡(jiǎn)單子問(wèn)題序列.輸入為復(fù)雜問(wèn)題q,事實(shí)文本集合為F,輸出為分解后的子問(wèn)題序列dq.首先在編碼端,對(duì)輸入問(wèn)題q進(jìn)行編碼得到問(wèn)題嵌入hi=fenc1(q),對(duì)事實(shí)文本F進(jìn)行編碼后拼接得到事實(shí)文本嵌入hF=fenc1(F),經(jīng)過(guò)文本庫(kù)感知注意力機(jī)制得到一個(gè)注意力向量h=Attention(hi,hF).然后在解碼端,接收注意力向量h,并通過(guò)文本庫(kù)感知注意力機(jī)制預(yù)測(cè)分解的表示dq=fdec1(h).在每個(gè)時(shí)間步,先前的輸出右移并送入解碼器.

4.5 信息抽取模塊

4.6 語(yǔ)義解析模塊

4.7 損失函數(shù)

本文的訓(xùn)練目標(biāo)是生成簡(jiǎn)單子問(wèn)題序列,抽取關(guān)鍵謂詞和實(shí)體信息,最終生成相應(yīng)的查詢語(yǔ)句.設(shè)計(jì)的聯(lián)合訓(xùn)練損失函數(shù)如下,分別由3個(gè)階段的損失函數(shù)l1,l2和l3組成:

L(θ)=λ1l1+λ2l2+l3

(7)

其中,3個(gè)階段的任務(wù)都使用生成式模型的損失函數(shù):

P(x)=softmax(Wx+b)

(8)

(9)

5 實(shí)驗(yàn)及分析

5.1 數(shù)據(jù)集

本文在大規(guī)模復(fù)雜問(wèn)題數(shù)據(jù)集ComplexWebQuestions(version1.0)[9]上進(jìn)行了實(shí)驗(yàn).該數(shù)據(jù)集包含27734訓(xùn)練樣本、3480驗(yàn)證樣本和3475測(cè)試樣本.每個(gè)樣本都包含復(fù)雜問(wèn)題、分解的子問(wèn)題序列、SPARQL格式的結(jié)構(gòu)化查詢語(yǔ)句.該數(shù)據(jù)集有4種復(fù)雜類(lèi)型:組合問(wèn)題(46.7%)、聚合問(wèn)題(42.4%)、最高級(jí)問(wèn)題(5.3%)和比較級(jí)問(wèn)題(5.6%).

5.2 事實(shí)文本庫(kù)模版

根據(jù)Freebase的數(shù)據(jù)格式,三元組包含頭實(shí)體,謂詞關(guān)系和尾實(shí)體,其中謂詞關(guān)系為三段式,如“people.person.places_lived”.通過(guò)分析該特征,本文只保留謂詞關(guān)系的第3段,設(shè)計(jì)了通用模版為“頭實(shí)體+謂詞關(guān)系+is+尾實(shí)體”生成一句事實(shí)文本,如表1所示.

表1 事實(shí)文本庫(kù)的生成模版Table 1 Generating Template for Factual Text Database

5.3 實(shí)驗(yàn)設(shè)置

本文的語(yǔ)料庫(kù)由復(fù)雜問(wèn)題、所有的中間表示、SPARQL查詢語(yǔ)句和事實(shí)文本構(gòu)成,構(gòu)造詞表時(shí)是由語(yǔ)料庫(kù)中詞頻大于3的所有單詞構(gòu)成.本文使用預(yù)訓(xùn)練的詞嵌入GloVe[27],維度為300維.對(duì)于沒(méi)有預(yù)訓(xùn)練的詞嵌入(包括UNK、BOS和EOS)使用隨機(jī)初始化.本文所有的編碼器和解碼器都是由6個(gè)相同層堆疊起來(lái)的,隱向量為300維.使用Adam優(yōu)化器,β1=0.9,β2=0.98,ε=10-9.學(xué)習(xí)率在訓(xùn)練過(guò)程中動(dòng)態(tài)調(diào)整.Dropout[28]設(shè)置為0.2.標(biāo)簽平滑率設(shè)置為0.1.在訓(xùn)練過(guò)程中,batchsize=64,訓(xùn)練步長(zhǎng)為40000.每1200步驗(yàn)證一次,驗(yàn)證過(guò)程的batchsize=160.訓(xùn)練結(jié)束后,采用beam size=16的束搜索策略生成SPARQL語(yǔ)句.

5.4 基線模型

為了驗(yàn)證融合事實(shí)文本的問(wèn)句分解式語(yǔ)義解析方法的有效性和優(yōu)越性,選取了7個(gè)當(dāng)前主流的方法作為基線模型進(jìn)行對(duì)比實(shí)驗(yàn).

1)PointerGenerator[29]使用了序列到序列的模型,第1次將語(yǔ)義解析任務(wù)視為以自然語(yǔ)言作為源語(yǔ)言,其邏輯形式作為目標(biāo)語(yǔ)言的翻譯任務(wù).主要是利用數(shù)據(jù)重組的框架將先驗(yàn)知識(shí)注入序列到序列的模型中,并且使用了一種基于注意力的復(fù)制機(jī)制.

2)Transformer同樣采用序列到序列的模型,拋棄了傳統(tǒng)的RNN和LSTM,整個(gè)網(wǎng)絡(luò)結(jié)構(gòu)完全由注意力機(jī)制組成,運(yùn)用在很多的自然語(yǔ)言處理任務(wù)上都取得了更好的成績(jī).本文主要利用Transformer在ComplexWebQuestions數(shù)據(jù)集上做語(yǔ)義解析任務(wù).

3)Coarse2Fine[30]提出一個(gè)結(jié)構(gòu)感知的神經(jīng)架構(gòu),采用由粗到細(xì)的兩階段生成方法,先生成忽略細(xì)節(jié)的表示,再將細(xì)節(jié)填充到之前的表示中.將語(yǔ)義解析任務(wù)分步驟進(jìn)行,比一步生成目標(biāo)序列的方法準(zhǔn)確率更高.

4)PointerNetwork[9]主要針對(duì)復(fù)雜問(wèn)題提出了一個(gè)基于問(wèn)題分解和與Web交互的框架,主要通過(guò)指針網(wǎng)絡(luò)生成分割點(diǎn),直接切分原始復(fù)雜問(wèn)題,得到一系列簡(jiǎn)單問(wèn)題片段.

5)SPARQA[13]用一種骨架結(jié)構(gòu)來(lái)表示復(fù)雜問(wèn)題的主干,采用基于BERT的解析算法的粗粒度表示,還采用了一種多策略的方法結(jié)合句子級(jí)和單詞級(jí)語(yǔ)義.

6)PDE[19]提出了一個(gè)迭代分解的框架,該框架在兩個(gè)神經(jīng)模塊之間迭代:一個(gè)是從問(wèn)句中分解跨度的分解器,另一個(gè)是將跨度映射為局部意義表征的解析器.

7)HSP[23]主要針對(duì)復(fù)雜問(wèn)題提出基于序列到序列模型的層次語(yǔ)義解析方法,主要利用復(fù)雜問(wèn)題的分解性為復(fù)雜問(wèn)題直接生成完整的子問(wèn)題,將語(yǔ)義解析任務(wù)轉(zhuǎn)化為多層次的生成任務(wù),在ComplexWebQuestions數(shù)據(jù)集上的實(shí)驗(yàn)效果顯著提高.

5.5 實(shí)驗(yàn)結(jié)果

本文對(duì)模型在語(yǔ)義解析任務(wù)和問(wèn)題分解任務(wù)中的實(shí)驗(yàn)結(jié)果都進(jìn)行了相應(yīng)的對(duì)比實(shí)驗(yàn)和消融實(shí)驗(yàn).下面將介紹本文的方法在兩大任務(wù)中的性能表現(xiàn),并且直觀地給出了相應(yīng)的實(shí)例分析.

5.5.1 語(yǔ)義解析任務(wù)的對(duì)比實(shí)驗(yàn)和消融實(shí)驗(yàn)

本文提出的方法是針對(duì)復(fù)雜問(wèn)題的語(yǔ)義解析任務(wù),模型的目標(biāo)是將自然語(yǔ)言描述的復(fù)雜問(wèn)題最終解析為邏輯形式,即SPARQL格式的結(jié)構(gòu)化查詢語(yǔ)句.因此語(yǔ)義解析任務(wù)的實(shí)驗(yàn)效果是驗(yàn)證該方法有效性的重要指標(biāo).在該任務(wù)中,選取PointerGenerator、Transformer、Coarse2Fine、SPARQA和HSP作為基線模型在驗(yàn)證集和測(cè)試集上進(jìn)行了對(duì)比實(shí)驗(yàn).評(píng)價(jià)指標(biāo)為EM值,即模型生成SPARQL語(yǔ)句的正確率.實(shí)驗(yàn)結(jié)果如表2所示.

表2 語(yǔ)義解析任務(wù)的對(duì)比實(shí)驗(yàn)結(jié)果Table 2 Comparative experimental results on semantic parsing

通過(guò)分析表中數(shù)據(jù)可以得出以下3點(diǎn)結(jié)論:

1)Transformer在測(cè)試集上的準(zhǔn)確率為53.41%,比PointerGenerator高2.41%.這組實(shí)驗(yàn)證明,對(duì)于傳統(tǒng)的序列到序列模型來(lái)說(shuō),在ComplexWebQuestions數(shù)據(jù)集上做語(yǔ)義解析任務(wù)是比較困難的.因此針對(duì)復(fù)雜問(wèn)題的語(yǔ)義解析任務(wù)本身是存在難度的.

2)HSP在測(cè)試集上的準(zhǔn)確率為66.18%,比Coarse2Fine高8.11%,比SPARQA高5.48%,性能得到很大提升.這組實(shí)驗(yàn)證明,與其他的神經(jīng)語(yǔ)義解析模型相比,HSP的性能提升顯著.說(shuō)明將復(fù)雜問(wèn)題分解成簡(jiǎn)單問(wèn)題,采用分治的思想可以簡(jiǎn)化模型在每個(gè)階段的表示學(xué)習(xí),同時(shí)通過(guò)信息整合可以幫助模型更好的生成結(jié)構(gòu)化查詢語(yǔ)句.

3)本文的方法在測(cè)試集上的準(zhǔn)確率為67.62%,比HSP高1.44%.這組實(shí)驗(yàn)證明,本文提出的文本庫(kù)感知注意力機(jī)制能夠?qū)⒅R(shí)庫(kù)中的事實(shí)文本信息融入模型的學(xué)習(xí)過(guò)程,使模型在生成任務(wù)中獲得更高的準(zhǔn)確率.

為了驗(yàn)證文本庫(kù)感知注意力機(jī)制對(duì)語(yǔ)義解析任務(wù)的作用,本文做了相應(yīng)的消融實(shí)驗(yàn).實(shí)驗(yàn)設(shè)置如表3所示:完全剔除文本庫(kù)感知注意力機(jī)制,只剔除編碼端的文本庫(kù)感知注意力機(jī)制,只剔除解碼端的文本庫(kù)感知注意力機(jī)制,完全保留文本庫(kù)感知注意力機(jī)制.實(shí)驗(yàn)結(jié)果表明,在語(yǔ)義解析任務(wù)中融入文本庫(kù)感知注意力機(jī)制是有效的.分析數(shù)據(jù)可知,融入的事實(shí)信息越多實(shí)驗(yàn)效果越好,說(shuō)明高質(zhì)量的外部知識(shí)能夠減少生成模型的誤差,使結(jié)果更精確.

表3 語(yǔ)義解析任務(wù)的消融實(shí)驗(yàn)結(jié)果Table 3 Ablation experimental results on semantic parsing

5.5.2 問(wèn)題分解任務(wù)的對(duì)比實(shí)驗(yàn)和消融實(shí)驗(yàn)

本文提出的方法旨在緩解問(wèn)題分解過(guò)程中的錯(cuò)誤積累問(wèn)題,減少實(shí)體誤判和丟失的情況,為后續(xù)的語(yǔ)義解析任務(wù)提供保障.因此提升問(wèn)題分解任務(wù)的實(shí)驗(yàn)效果是十分必要的,能夠充分驗(yàn)證分治思想的有效性.在該任務(wù)中,選取PointerNetwork、PointerGenerator、PDE和HSP作為基線模型在驗(yàn)證集和測(cè)試集上進(jìn)行了對(duì)比實(shí)驗(yàn).評(píng)價(jià)指標(biāo)為 Bleu-4[31]和Rouge-L[32]得分.對(duì)于所有模型,輸入是復(fù)雜問(wèn)題,輸出是分解的子問(wèn)題序列.實(shí)驗(yàn)結(jié)果如表4所示.

表4 問(wèn)題分解任務(wù)的對(duì)比實(shí)驗(yàn)結(jié)果Table 4 Experimental results on question decomposition

通過(guò)分析表中數(shù)據(jù)可以得出以下3點(diǎn)結(jié)論:

1)與PointerNetwork 相比,其他3個(gè)模型的實(shí)驗(yàn)結(jié)果更好,說(shuō)明對(duì)于問(wèn)題分解任務(wù),相比利用直接切分的思想在問(wèn)題中尋找分割點(diǎn)的方法,采用神經(jīng)生成問(wèn)題的方法更有效.

2)PDE和HSP與其他兩個(gè)模型相比性能提升顯著.說(shuō)明將復(fù)雜問(wèn)題分解成簡(jiǎn)單問(wèn)題的思想能夠指導(dǎo)模型更好的理解復(fù)雜語(yǔ)義.而相比之下,HSP的方法在性能上仍大幅優(yōu)于PDE的方法,說(shuō)明生成完整的子問(wèn)題能夠有效減少片段式的子問(wèn)題所丟失的關(guān)鍵信息.

3)本文的方法與HSP相比,在測(cè)試集上Bleu-4值提升了2.2,Rouge-L值提升了0.9.說(shuō)明在分解任務(wù)中,融入事實(shí)文本信息能夠使模型獲取更豐富的知識(shí)表示,有效減少錯(cuò)誤傳播.

為了驗(yàn)證文本庫(kù)感知注意力機(jī)制對(duì)問(wèn)題分解任務(wù)的作用,本文做了相應(yīng)的消融實(shí)驗(yàn).實(shí)驗(yàn)設(shè)置如表5所示,完全剔除文本庫(kù)感知注意力機(jī)制,只剔除編碼端的文本庫(kù)感知注意力機(jī)制,只剔除解碼端的文本庫(kù)感知注意力機(jī)制,完全保留文本庫(kù)感知注意力機(jī)制.實(shí)驗(yàn)結(jié)果表明,在問(wèn)題分解任務(wù)中融入文本庫(kù)感知注意力機(jī)制可以有效提升分解的準(zhǔn)確率和子問(wèn)題的連續(xù)性.分析數(shù)據(jù)表明,融入事實(shí)文本可以使模型更關(guān)注問(wèn)句的局部信息,有助于理解復(fù)雜問(wèn)題的深層語(yǔ)義.

表5 問(wèn)題分解任務(wù)的消融實(shí)驗(yàn)結(jié)果Table 5 Ablation experimental results on question decomposition

5.6 實(shí)例分析

為了直觀的對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行分析和對(duì)比,使本文的方法具備更高的可解釋性,此節(jié)將結(jié)合測(cè)試集中的一個(gè)實(shí)例來(lái)分析模型在每個(gè)階段的實(shí)驗(yàn)效果,選取性能較好的HSP作為基線模型,驗(yàn)證以上實(shí)驗(yàn)結(jié)果的準(zhǔn)確性.

比如輸入一個(gè)復(fù)雜問(wèn)題“The author of The Art of War lived in what city?”,主題實(shí)體為“The Art of War”.基線模型HSP在經(jīng)過(guò)每個(gè)模塊后,輸出的序列如表6所示.當(dāng)輸入的復(fù)雜問(wèn)題經(jīng)過(guò)問(wèn)題分解模塊后,分解成兩個(gè)簡(jiǎn)單子問(wèn)題序列,使用“[#]”作為分割符,通常第2個(gè)子問(wèn)題會(huì)包含第1個(gè)子問(wèn)題的答案實(shí)體,使用“[#entity#]”作為占位符.接下來(lái),信息抽取模塊將抽取原始復(fù)雜問(wèn)題和簡(jiǎn)單子問(wèn)題的關(guān)鍵信息,包括復(fù)雜類(lèi)型和謂詞信息,使用“[#]”作為分割符.最后,語(yǔ)義解析模塊生成對(duì)應(yīng)的邏輯形式,使用“[.]”作為分隔符,使用“[#entity#]”作為占位符.

表6 基線模型HSP的輸出序列Table 6 Output sequence of baseline model HSP

對(duì)表6中的實(shí)例進(jìn)行分析,可知基線模型HSP中問(wèn)題分解模塊的輸出序列是錯(cuò)誤的.實(shí)現(xiàn)結(jié)果表明,問(wèn)題分解階段的Bleu-4值為0.35×10-4,Rouge-L值為0.46.因?yàn)榈谝粋€(gè)子問(wèn)題將“author”解析成一個(gè)居住地點(diǎn),且兩個(gè)子問(wèn)題中都不包含主題實(shí)體“The Art of War”,導(dǎo)致后續(xù)信息抽取和語(yǔ)義解析模塊的輸出序列仍然是錯(cuò)誤的.實(shí)驗(yàn)結(jié)果表明,語(yǔ)義解析階段的Bleu-4值為0.43×10-3,Rouge-L值為0.54.

所以,本文的方法將融入事實(shí)文本信息以緩解實(shí)體識(shí)別錯(cuò)誤和實(shí)體丟失的現(xiàn)象.仍以該復(fù)雜問(wèn)題為例,融入的事實(shí)文本如表7所示.這些文本信息雖然在語(yǔ)法上并不符合規(guī)范,但卻極大程度的保留了三元組的事實(shí)信息.

表7 融入的事實(shí)文本序列Table 7 Incorporated factual text sequence

因此,本文的模型在經(jīng)過(guò)每個(gè)模塊后,輸出的序列如表8所示.可以看出,問(wèn)題分解模塊的輸出序列已經(jīng)被矯正,一定程度上緩解了錯(cuò)誤積累的問(wèn)題.實(shí)驗(yàn)結(jié)果表明,問(wèn)題分解階段和語(yǔ)義解析階段的的Bleu-4值均為1,Rouge-L值均為1.由此驗(yàn)證了本文方法的優(yōu)越性和準(zhǔn)確性.

表8 本文模型的輸出序列Table 8 Output sequence of our model

5.7 錯(cuò)誤分析

本文針對(duì)語(yǔ)義解析任務(wù)和問(wèn)題分解任務(wù)的實(shí)驗(yàn)結(jié)果進(jìn)行了錯(cuò)誤分析,分別從任務(wù)對(duì)應(yīng)的輸出序列中隨機(jī)挑選了Bleu-4值和Rouge-L值均低于0.3的100條樣例.本文的方法仍有需要改進(jìn)的地方,總結(jié)如下:

1)當(dāng)面對(duì)最高級(jí)問(wèn)題(5.3%)和比較級(jí)問(wèn)題(5.6%),模型的處理能力較弱,在問(wèn)題分解時(shí)無(wú)法獲得子問(wèn)題之間正確的邏輯關(guān)系,在語(yǔ)義解析時(shí)無(wú)法生成正確的運(yùn)算符號(hào).比如一個(gè)最高級(jí)問(wèn)題”What tourist attraction in Miami Florida that was first opened on 2008-06-06?”,要回答這個(gè)問(wèn)題首先需要枚舉出所有的旅游景點(diǎn)及它們的開(kāi)放時(shí)間,再進(jìn)行數(shù)值運(yùn)算或邏輯運(yùn)算.而本文的方法注重于外部知識(shí)輔助,缺少人工設(shè)計(jì)規(guī)則來(lái)學(xué)習(xí)這類(lèi)問(wèn)題.

2)本文在構(gòu)造事實(shí)文本庫(kù)時(shí)需要從知識(shí)庫(kù)中抽取相關(guān)的三元組,在這一過(guò)程中發(fā)現(xiàn)知識(shí)庫(kù)中有少量的實(shí)體或關(guān)系存在缺失的現(xiàn)象,知識(shí)庫(kù)的不完整性會(huì)影響構(gòu)造的事實(shí)文本庫(kù)的質(zhì)量.而大型的知識(shí)圖譜往往都會(huì)存在不完整性的問(wèn)題,為知識(shí)庫(kù)問(wèn)答的研究工作帶來(lái)了挑戰(zhàn).

6 總 結(jié)

本文提出了融合事實(shí)文本的問(wèn)句分解式語(yǔ)義解析模型,實(shí)現(xiàn)了對(duì)復(fù)雜問(wèn)題采用分治的方法進(jìn)行回答,構(gòu)建了一個(gè)事實(shí)文本庫(kù)作為外部知識(shí)指導(dǎo)模型學(xué)習(xí)更豐富的知識(shí)信息,在語(yǔ)義解析的過(guò)程中兼顧了實(shí)體的完整性,降低了錯(cuò)誤積累帶來(lái)的負(fù)面影響,增強(qiáng)了模型對(duì)復(fù)雜語(yǔ)義的理解能力.實(shí)驗(yàn)結(jié)果表明本文的方法在ComplexWebQuestions數(shù)據(jù)集上取得了更好的性能.未來(lái),我們將針對(duì)錯(cuò)誤分析中的難點(diǎn)問(wèn)題探索性能更優(yōu)的應(yīng)對(duì)方法,進(jìn)一步提升知識(shí)庫(kù)問(wèn)答的性能.