問答系統(tǒng)中復雜問題分解方法研究綜述

馮 鈞，李 艷，杭婷婷

河海大學 計算機與信息學院 水利部水利大數(shù)據(jù)重點實驗室，南京 211100

問答系統(tǒng)[1]作為目前自然語言處理（natural language processing，NLP）領域中備受人們關注且具有廣泛發(fā)展前景的研究方向之一，允許用戶以自然語言問句的形式表達復雜的信息需求，并針對用戶提出的問題直接返回精準的答案。現(xiàn)有的問答系統(tǒng)根據(jù)答案獲取途徑可以分為檢索式問答系統(tǒng)、生成式問答系統(tǒng)[2]。檢索式問答系統(tǒng)是從已有的知識庫、數(shù)據(jù)集、文檔或者網(wǎng)頁中檢索與問題最相關的答案，例如基于知識庫的問答（KBQA）、基于文檔的問答（DBQA）。而生成式問答系統(tǒng)則根據(jù)用戶查詢的問題，由模型自動生成相關的答案[3]。根據(jù)問題的類型以及答案特點，問答又分為事實型問答和非事實型問答[4]。事實型問答一般詢問的某一客觀事實，答案是唯一確定的，通常是實體或短語，例如以Who、Where、When 等疑問詞為首的問句[5]。而非事實型問答的問題可以是詢問觀點、方法等，答案不具有確定性，可能是段落或句子，注重回答是否合理，例如How、Why、解釋類問題，以及閑聊類問題[6]。

問答系統(tǒng)一般分為三個模塊：問題理解、信息檢索和答案抽取[7]。問題理解作為問答系統(tǒng)的首要環(huán)節(jié)，其重要性顯而易見，其結果為后續(xù)的信息檢索和答案抽取兩個環(huán)節(jié)提供了指導信息。隨著大數(shù)據(jù)時代的到來，用戶不再滿足于僅限于單一屬性或單一實體的問答，而更傾向于涉及多個本體、多個類的復雜問題，如“中國的首都有哪些展示抗戰(zhàn)精神的景點？”[8]。復雜問題有兩個特征：一是具有比較復雜的句法結構；二是問句內(nèi)容可能包含多個本體的多個類及屬性或者具有多個約束條件，因此其語義結構也比較復雜。傳統(tǒng)的問題理解方法（如問句類型識別[9]、問句主題識別[10]、查詢擴展[11]、關鍵詞項賦權[12]以及問句復述[13]等）不足以有效地幫助問答系統(tǒng)處理復雜問題。通過對復雜問題進行分解，可以有效地達到理解問題的目的。同時，問題分解的有效性和必要性在復雜問題回答領域的許多研究中得到了證明[14-16]。問答系統(tǒng)中的復雜問題分解技術是指將一個復雜問題分解為若干簡單問題，將這些簡單問題與其答案作為原始復雜問題的上下文提供給模型，從而降低直接回答復雜問題的難度。這些子問題之間相互依賴、相互支持。問答系統(tǒng)體系結構如圖1所示。

圖1 問答系統(tǒng)結構圖Fig.1 Structure of question answering system

問題分解研究的意義如下：

（1）豐富復雜問題的語義信息。將分解得到的子問題與子問題答案作為復雜問題上下文信息，由此復雜問題語義信息得到進一步的豐富。

（2）使問答系統(tǒng)不受限于檢索的資源空間。在回答復雜問題的子問題時可以不限于依賴一種資源（一篇文檔或知識圖譜中的一個三元組）。

（3）去除復雜問題中的冗余信息，精簡問句。由于自然語言往往具有復雜的語義結構，用戶在提出問題時，容易增加一些冗余信息，可能降低問答系統(tǒng)處理問題的能力。

（4）增強問答系統(tǒng)處理復雜問題過程的可解釋性。將復雜問題分解后，通過展示子問題、子問題答案、子問題之間的限制關系，可以讓用戶了解問答系統(tǒng)回答問題的過程，增強了問答系統(tǒng)的可解釋性。

本文將針對問答系統(tǒng)中復雜問題分解任務，梳理從傳統(tǒng)機器學習方法到深度學習方法的相關代表工作，對其中模型的核心思想以及方法的優(yōu)勢和不足進行分析和總結。在此基礎上，為接下來的研究方向提出可能性的建議。

1 模型介紹

1.1 基于傳統(tǒng)機器學習的問題分解

傳統(tǒng)的機器學習方法借助特征工程的方法，提取問句的代表性特征，包括句子的詞法特征、語義特征。根據(jù)這些特征借助規(guī)則或模板等生成相應的簡單子問題，通過單跳問答系統(tǒng)得到子問題的答案，再經(jīng)過組合與評分得到原問題的答案，傳統(tǒng)機器學習的問題分解框架如圖2 所示。主要包括基于規(guī)則模板的方法和基于分割的方法。

圖2 傳統(tǒng)機器學習方法的解決框架Fig.2 Solution framework of traditional machine learning

1.1.1 基于規(guī)則模板的方法

基于規(guī)則模板的方法在很多NLP任務中都有應用，屬于比較傳統(tǒng)的方法。通過人工構造的規(guī)則模板匹配處理問答的過程不涉及問題的分析，這種方法獲得的答案準確性高，系統(tǒng)響應速度快。根據(jù)分解的步驟不同，進一步劃分為規(guī)則匹配的方法和模板匹配的方法。

（1）規(guī)則匹配的方法

規(guī)則匹配的核心思想是根據(jù)預先設定好的經(jīng)驗規(guī)則來識別復雜問題中的事實，再根據(jù)上下文將事實重寫，進而生成子問題。Hartrumpf[17]提出基于問題語義表示的分解，定義了六個分解規(guī)則：針對問句中時間的分解、針對主題實體中地名的分解、針對問題條件中地名的分解、針對并列情景的分解、針對描述的分解、針對運算的分解。利用上述六個分解規(guī)則為問題生成具有足夠語義表示的解析器。文獻[18-20]中DeepQA 系統(tǒng)主要處理復合事實型問句的分解，分解類型分為并列類和嵌套類。并行類問題包含相互獨立評估的子問題。嵌套問題需要按順序進行分解。具體地，首先，分解識別器使用一套分解規(guī)則來識別基于詞典句法特征的復雜問題中的事實；然后，問題重寫器根據(jù)原始問題的上下文將得到的事實重寫為子問題，并添加關鍵的上下文信息。在問題分解之后，通過候選答案合成并由重新排序器生成最終排序的答案列表。但是，該方法的初衷是為了解決DeepQA 回答知識競賽節(jié)目《危險邊緣（Jeopardy!）》中的復雜問題，很難應用于其他問答系統(tǒng)。

（2）模板匹配的方法

模板匹配是根據(jù)問題的特征成分匹配相似度最高的模板，直接生成子問題，再將子問題進行組合。王振宇等[21]提出了一種基于句法模板的復雜問題分解方法，經(jīng)過對復雜問題進行實體抽取、將抽取到的實體與模板匹配、生成子問題間關系的問題依賴圖等步驟，實現(xiàn)對復雜問題的分解。該分解方法受限于制定的模板，可分解的問題類型十分有限，并且制定模板難度大，需要相關領域知識和語言學基礎的支持。針對上述的問題，Zheng等[22]提出了一種利用知識圖譜和大規(guī)模文本語料庫自動構建大量模板的低成本方法。先將輸入的問題分解為一組子問題，這些子問題生成一個依賴圖，再生成原問題的結構化查詢語句。該方法窮舉復雜問題Q的每一個子問題q并計算q與每個模板的問題模式之間的相似性。這些選中的模板可以形成用于描述問題語義結構的概念語義依賴圖，它是輸入問題和結構化查詢的中間表示。但是，采用窮舉的方法生成復雜問題的子問題，雖然準確率高，但是效率低下。所以該文提出了基于類型和基于順序的方法來進行子問題與模板的匹配，大大縮減了搜索空間。雖然，自動化構建模板的方法可以克服耗時耗力的問題。但是，模板不具備通用性，覆蓋面不足，無法進行跨領域的移植。

1.1.2 基于分割的方法

基于分割的思想是通過分析問句的詞法和語義特征，找到子問句之間的邊界，制定合適的分割方案。由于對問句分析的角度不同，進一步分為基于分割點的分割和基于句法分析的分割。

（1）基于分割點的分割

Saquete 等[23]針對包含“隱式時間標志”的問題進行分解，例如“after the Iraqi annexation of Kuwait”。該方法根據(jù)時序標識將問句分割，并轉化為簡單時間問句和“when”類型問句。顯而易見，該方法僅適用于時間類的問句，適用范圍有限。2019 年，Min 等[24]設計了DECOMPRC 系統(tǒng)，通過跨度預測尋找分裂點對組合多跳問題進行分割。DECOMPRC將問題的推理類型分為橋接、交叉和比較，其中，橋接類型需要先找到第一跳證據(jù)才能找到第二跳或其他跳的證據(jù)，交叉類型需要找到滿足兩個獨立條件的兩個實體，比較類型需要比較兩個不同實體的屬性。DECOMPRC首先根據(jù)問句推理類型將原始的多跳問題分解為幾個單跳子問題。然后，利用單跳閱讀理解模型來回答子問題，并依據(jù)子問題的推理類型組合答案。最后，利用一個分解評分器來判斷合適的分解，采用一種新的全局重新打分方法，考慮每一種分解來獲得答案，并用答案重新評分每種分解以決定最終答案，這樣做不僅大幅提高了整體性能，而且提高了正確分解的概率。

然而，這種通過跨度預測來分解復雜問題可能找不到最佳子問題，子問題中可能仍然存在多重關系或約束，得到的子問題通常是不完整的，有時會丟失一些信息。并且，以問題跨度作為子問題的方法只適用于并列組合式復雜問題，不適用于嵌套類的復雜問題。

（2）基于句法分析的分割

句法分析又稱為文法分析，是很多NLP任務的基礎環(huán)節(jié)，旨在分析輸入的句子并得到它的句法結構。句法分析的形式一般分為成分句法分析和依存句法分析[25]。成分句法分析旨在識別句子中的短語和短語之間的層次句法結構。依存句法分析側重于識別句子中詞匯之間的二元依存關系。依存句法樹以層次化結構的方式展示句子的結構信息，它包含了句子成分之間的依賴關系。

歐石燕等[26]提出通過句法分析將復雜問題分解為若干個簡單問題。分解過程：首先，對復雜問題進行句法解析，輸出詞語之間的依賴關系，根據(jù)依賴關系生成依存句法分析樹。依賴關系密切的詞語一般位于同一棵子樹中，而關系疏遠的詞語位于不同的子樹中。依存句法樹就是子樹之間的組合。然后，根據(jù)生成的依賴樹進行分割。分析子樹是否為一個有效問句，如果是有效問句，則將其作為一個子問題分割出來。最后，判斷上一步分割出來的子問題是簡單句還是復雜句。如果是復雜句，則將其看作一個完整的子樹，對其進一步分割。這樣，關系密切的詞語被分割在一個簡單問題中，同時也能保證分解之后的語義信息不會發(fā)生變化。

劉雄等[27]提出的分解方法將復合事實型問句分解類型總結歸納為三種：原子類、并列類以及嵌套類。首先，問句分解類型識別。問句分解類別的不同體現(xiàn)在句法結構上，采用基于樹核支持向量機的方法準確識別問句的分解類別。然后，采用基于依存句法分析的方法生成子問句。在子問句的生成過程中，保留了依存句法樹的整體結構，將句法樹中的邊上的依存關系標簽修改為分解標簽，用來表征問句分解信息。該方法可以較好地生成嵌套類問句的子問句，但是對于并列類的復合問句的分解表現(xiàn)一般。劉雄[28]采用條件隨機場模型實現(xiàn)了基于序列標注的子問句生成，可以較好地解決并列類的復雜問題分解。

基于句法分析的方法處理問題分解任務的關鍵技術在于能否正確地構造出依存句法樹。基于規(guī)則匹配的方法具有準確度高的優(yōu)點，將句法分析與規(guī)則匹配結合，通過規(guī)則匹配識別依存句法樹中的句法成分，是未來的一個研究方向。中文句法分析是基于詞級別的，正確的分詞與正確的句法分析樹相互依賴，相互影響[29]。最近的研究[30-31]將中文分詞和句法分析作為聯(lián)合任務，采用基于圖的聯(lián)合模型在中文分詞和依存分析方面都取得了較好的性能。因此，未來可以考慮通過改進依存分析來解決中文復雜問題分解。

總而言之，傳統(tǒng)機器學習方法處理問題分解時，采用流水線的方法，多模塊逐個分開學習，并且嚴重依賴自然語言處理工具抽取的特征。其存在的問題，一方面每個模塊單獨優(yōu)化，其優(yōu)化目標和任務的總目標可能不一致，另一方面自然語言處理工具往往會產(chǎn)生特征提取錯誤，這些錯誤在模塊之間傳播會被不斷放大，最終影響問答系統(tǒng)的效果。

1.1.3 傳統(tǒng)機器學習的問題分解模型對比

上面介紹和分析了基于傳統(tǒng)機器學習的問題分解的基本思想和相關代表工作，表1就分解類型、機制、優(yōu)勢以及劣勢進行了總結。

表1 傳統(tǒng)機器學習問題分解方法總結Table 1 Summary of question decomposition methods based on traditional machine learning

1.2 基于深度學習的問題分解

深度學習（deep learning，DL）[32]被公認為是機器學習領域中研究得最深入的方向之一。近年來，眾多學者將DL應用到智能問答任務中[33]?；谏窠?jīng)網(wǎng)絡的深度學習采用端到端方法，模型訓練過程不進行模塊劃分，統(tǒng)一優(yōu)化任務目標，并且自動化地提取特征，不需要人為干預?；谏疃葘W習的方法主要解決兩個問題：子問題生成、子問題組合排序，如圖3 所示。子問題生成大多采用序列編碼-解碼框架，使用神經(jīng)網(wǎng)絡完成復雜問題到子問題的轉換。由于回答復雜問題需要單一事實或多個事實進行比較、聚合等推理，如果子問題的回答是任意順序，將導致更大的搜索空間和更高的丟失答案的風險，因此這些子問題的順序對回答問題的效率和準確性有至關重要的作用。有一些模型為了解決復雜問題存在子問題之間嵌套的問題，其子問題生成和排序是一個不斷迭代的過程。

圖3 基于深度學習的問題分解方法的框架Fig.3 Framework of question decomposition method based on deep learning

1.2.1 基于Transformer

Transformer[34]是Google 在2017 年提出的一種NLP經(jīng)典模型，采用端到端的編碼器-解碼器（encoder-decoder）結構。Transformer 完全基于注意力機制，由于encoder和decoder 中采用具有較強特征學習能力的自注意（self-attention）和多頭注意（multi-head self-attention）機制，所以Transformer具有較強的特征抽取能力。

Zhang 等[35]提出一個基于Transformer 的問題分解器，根據(jù)輸入的復雜問題直接生成完整自然的子問題，沒有詞序和內(nèi)容限制。這個問題分解器由一個Transformer編碼器和迭代的解碼器組成，直接生成子問題表示。該文專注于復雜問題的語義解析，提出了一種分層語義解析（hierarchical semantic parsing，HSP）模型，利用復雜問題的分解性進行語義解析，基于分解-集成的思想，以三階段的解析架構設計。在第一階段，運用問題分解器將一個復雜的問題分解為一系列子問題。在第二階段，利用信息提取器導出問題的類型和謂詞信息。在最后階段，將先前階段生成的信息進行整合，為復雜問題生成邏輯形式。該模型在生成子問題表示時不考慮問題的分解類型，因此適合所有問題的分解。

Khot 等[36]提出一個TMN 框架，并基于該框架構建了一個ModularQA系統(tǒng)，該系統(tǒng)由單跳的事實型問答系統(tǒng)和問題邏輯計算器組成。TMN框架通過一系列子模型將復雜問題分解為子問題。其中，子模型是任意的，在框架中是黑盒模型。模型通過下一問題生成器獲得子問題，并通過問答模型回答子問題，當下一問題生成器達到最終節(jié)點標記時，問答模型返回最終結果。子問題生成模型采用Transformer 結構，并通過復制機制增強解碼器。同時，這一分解過程是遠程監(jiān)督的，不需要分解標注。

Fu等[37]提出一個三階段框架RERC（relation extractorreader and comparator）。關系提取器對復雜問題進行分解，然后閱讀器依次回答子問題，最后比較器進行數(shù)值比較并總結所有子問題以得到最終答案。Relation Extractor 可以從復雜的文本表示中提取問題的主題和關系，有兩種不同的結構，一種是classification-type，針對四種分解類型Compositional、Inference、Comparison和Bridge-Comparison 進行具體的推理；另一種是spantype，問題關系的類型不受限制，從問題中提取多個跨度作為問題關系。關系提取器使用Transformer網(wǎng)絡作為交互層，通過對問句的表示進行編碼來表達自我交互，從而找到問題的主題和關系。在這個分解模型中，不生成完整的句子狀子問題，只提取主題實體和問題關系，通過模板進行構造子問題，降低了復雜問題分解的難度。

Wolfson 等[38]提出一種問題分解意義表示（question decomposition meaning representation，QDMR），基于數(shù)據(jù)庫查詢語言（SQL，SPARQL）和語義解析所設計，將復雜的問題通過一系列簡單的原子可執(zhí)行步驟來表示，復雜問題的答案是最后一步的答案。同時，提出一個基于序列到序列的模型將問題解析為QDMR。QDMR從根本上描述了輸入問題中跨度之間的標記關系。受此啟發(fā)，Hasson 等[39]提出通過使用依賴圖（dependency graphs，DG）監(jiān)督向編碼器提供更多信息來改進序列到序列解析器。使用結構化的中間邏輯形式表示LF自動將問題DG映射到QDMR。DG中的節(jié)點對應于QDMR步驟中的token，邊描述對應于不同計算步驟的邏輯關系。編碼器由一個RAT 層和Transformer 組成，RAT 層在Transformer 自注意力機制中注入token 之間關系的信息。RAT層可以明確表示標記之間的關系，并且可用于在語義解析的上下文中對輸入圖上的token 進行編碼[40]。但是，QDMR 依賴于昂貴的人工注釋，可能無法推廣到具有其他分解類型的領域。

Transformer 由于性能良好，在NLP 領域獲得了廣泛應用，但是也存在缺陷，如，序列上下文需要固定長度，長序列可以得到高效處理，短序列的效率一般。2019 年，Dai等[41]提出Transformer-XL，引入片段級遞歸機制和相對位置編碼方案兩種技術，有效地解決了這一限制。未來將改進的Transformer應用到問題分解任務有待進一步的探索。

1.2.2 基于圖神經(jīng)網(wǎng)絡

圖神經(jīng)網(wǎng)絡（graph neural network，GNN）[42]是一種基于深度學習的處理圖數(shù)據(jù)結構的方法，通過將深度學習算法和圖廣播操作結合，可以讓圖的結構和頂點屬性信息參與到學習中，在信息傳播、關系歸納偏置等應用中表現(xiàn)出良好的效果。GNN中的每個節(jié)點在信息傳播時學習其鄰居節(jié)點的狀態(tài)表示，以此更新自己的節(jié)點表示。顯然，將GNN 用于復雜問題分解任務時必須解決以下問題：（1）確定圖中的節(jié)點以及其初始節(jié)點表示；（2）確定節(jié)點之間連邊的情況；（3）設計節(jié)點之間信息傳遞的算法。

Wang等[43]采用早期圖神經(jīng)網(wǎng)絡的思想研究多問句分割方法，將問句和語境中的所有句子作為圖的頂點，根據(jù)它們的關系建立邊，依據(jù)是否是上下句關系、是否具有共指關系以及KL 散度等條件給邊設置初始權重，并設計權重的傳播算法，通過迭代地傳播鄰居信息來更新頂點的表示，直到達到穩(wěn)定的平衡，最后得到權重較高的邊相連的問句和語境對即為分割后的結果。但是，這種遞歸函數(shù)在層與層間參數(shù)共享，導致訓練過程的計算代價很大。并且該方法是針對社區(qū)問答的多問句分割，并且分割過程需要依靠答案，無法應用于其他問答系統(tǒng)。

1.2.3 基于注意力機制

注意力機制（attention mechanism，簡稱Attention）是一種模擬人腦注意力機制的模型，在提取特征的時重點關心某些重要的信息。近兩年，Attention被廣泛應用在NLP、圖像識別等各種深度學習任務當中[44]。

2018 年，Talmor 等[45]提出的SplitQA 模型采用指針網(wǎng)絡[46]分解問題的方法。指針網(wǎng)絡將Attention 分布作為指針指向輸入中的某些部分，然后組合輸入序列，輸出是輸入序列的子集，如圖4所示。主要用于解決組合優(yōu)化問題。具體地，先構造問題的計算樹，通過計算樹分析問題語義并拆分問題，然后使用KG或搜索引擎計算答案和該答案的得分，并將其與原來得分作比較，從而決定是否進行分解。但是，該方法需要大量的訓練數(shù)據(jù)，目前帶有分解標簽的復雜問題數(shù)據(jù)集還比較匱乏。

圖4 指針網(wǎng)絡的基本結構Fig.4 Basic architecture of pointer network

2019 年，Bhutani 等[47]設計出了TextRay 模型，提出分解-連接-執(zhí)行的方法來通過子查詢構建復雜查詢。首先，他們借鑒了Talmor等采用指針網(wǎng)絡生成子問題的思想，使用一個增強指針網(wǎng)絡生成計算方案，即子查詢的執(zhí)行序列。然后，分階段生成子查詢的候選集，通過計算子查詢候選集與問題的語義相似性，找到最佳候選子查詢。最后，按照計算方案依次組合子查詢并執(zhí)行它們。由于原問題語法語義相對復雜，并且要匹配多個子查詢的表達式，問題中的無關信息會分散匹配的注意力，因此，作者在基于LSTM 的語義匹配模型中加入了注意力機制，以強調(diào)問題的特別部分，對子查詢候選集進行篩選。對于缺乏標記數(shù)據(jù)的問題，作者采用了隱式監(jiān)督的方法。隨后，Bhutani 等[48]提出了MULTIQUE 模型，在TextRay 系統(tǒng)基礎上，MULTIQUE 可以結合多個數(shù)據(jù)源為每個子查詢生成其對應的候選集。這樣做可以聚合分散在多個KB 上的證據(jù)，同時不同KB 上的證據(jù)可以相互補充。

李威宇[49]改進了指針網(wǎng)絡生成子問句方法，所提出的mul-attention PGN在指針網(wǎng)絡模型的基礎上，加入多注意力機制，既能復制源文本中的關鍵信息，又能通過生成器生成新的詞匯，同時保證生成的多個子問題可以出現(xiàn)原問題的同一個詞匯和短語。

Jiang 等[50]基于堆棧的思想提出了一個基于控制器的模塊自組裝神經(jīng)網(wǎng)絡，包括四個模塊（Find，Relocation，Compare，No），每個模塊分別執(zhí)行一種類型的推理。該自組裝網(wǎng)絡通過一個控制器從復雜問題中推斷所需要的每一步推理行為來進行問句分解。控制器計算所有問題詞注意力分布來識別隱藏的子問題。Find模塊在給定上下文和問題表示的情況下，會在上下文詞上生成注意力圖。Relocate模塊將前一個子問題的中間答案與當前子問題結合，輸出一個以前一個問題為條件的新注意力圖。Compare 模塊根據(jù)問題直觀地“比較”來自前兩個模塊的輸出。控制器采用堆棧來存儲模塊的輸出。在控制器輸出子問題的同時，預測所有可用模塊的軟組合，該軟組合會引導主網(wǎng)絡遵循推理路徑。該方法根據(jù)三種推理類型將原始的復雜問題分解為簡單子問題，可分解的問題類型有限，可能存在無法分解的情況。

1.2.4 基于查詢圖

查詢圖在基于知識圖譜的問答系統(tǒng)中具有廣泛的應用，基于查詢圖的方法將自然語言問題抽象成結構化的查詢圖，查詢圖可以直接匹配問題的邏輯形式，在知識圖譜上執(zhí)行查詢就能得到問題的答案?；诓樵儓D的問題分解就是生成子問題的查詢圖。

Shin 等[51]提出了分解-重組的問答方法。在分解任務中，首先根據(jù)問題的語法結構和依存分析樹將復雜問題拆分為多個子問題，同時過濾需要數(shù)學運算的約束。然后，從問題查詢圖庫中搜索與子問題對應的子圖。在這個階段，模型從局部角度計算每個子圖的語義。接下來，通過使用基于BiGRU 的語義匹配模型從全局角度捕獲組合語義，并選擇得分最高的子查詢圖組合作為完整的查詢圖。最后，將捕獲的約束反映到完整的查詢圖中，合并中間結果來提取答案集。但是該方法需要從訓練問題-答案對中收集所有問題中的正確查詢圖，然后將問題和查詢圖分別拆分為子問題和子查詢圖，并將它們存儲到問題查詢圖庫中，該圖庫包括原始問題-查詢圖對，原始問題的子問題-子查詢圖對。構建這樣的問題查詢圖庫并不是一件容易的事。

Hu等[52]提出了一種稱為實體描述圖（entity description graph，EDG）的新型圖結構來表示復雜問題。使用基于規(guī)則的方法迭代地將問題表示為EDG，并將EDG運用到一個QA 系統(tǒng)，得到EDGQA。具體地，首先，對問題成分進行解析得到問題的解析樹。然后，識別問題類型并生成初始EDG，初始的EDG包含一個根節(jié)點、一個實體節(jié)點、一個用于描述實體的描述節(jié)點，問題邊連接根節(jié)點與實體節(jié)點，約束邊連接實體節(jié)點和描述節(jié)點。根節(jié)點用于描述問題的類型。最后，根據(jù)一組規(guī)則和成分解析樹迭代地分解問題描述，生成問題的EDG。問題的EDG 由多個塊組成，每個塊對應一個子問句。在得到問題的EDG后，通過實體鏈接、關系路徑生成、子查詢生成與子查詢集成模塊，生成問題的查詢語句，在LC-QuAD1.0 數(shù)據(jù)集[53]取得了53.1%的F1 值。但是，這種基于查詢圖的方法不到搜索結束，不會產(chǎn)生中間解析結果，即無法把中間結果應用于后續(xù)步驟。

1.2.5 基于強化學習的方法

強化學習方法在問答系統(tǒng)中有著廣泛的應用，尤其是知識圖譜問答推理[54]。利用實體間的復雜路徑特征學習一個隨機游走器，進而推斷出答案。較為典型的模型DeepPath[55]將路徑搜索轉化為強化學習過程，通過控制所找到的路徑的屬性來縮減搜索空間。

先前的工作大多集中于子問題生成，但優(yōu)化子問題順序的工作卻很少。Zhang等[56]提出利用強化學優(yōu)化子問題的回答順序，同時使用知識圖譜結構捕捉子問題之間的聯(lián)系。該模型動態(tài)地決定在每個推理狀態(tài)下應該回答哪個子問題，通過計算子問題答案對正確預測整個問題的程度與給定狀態(tài)下子問題預測出錯的可能性兩個原則設計獎勵。模型由一個狀態(tài)編碼網(wǎng)絡、一個用于跟蹤已回答子問題的兩層LSTM 和一個用于選擇動作的策略網(wǎng)絡組成，如圖5所示。狀態(tài)編碼網(wǎng)絡采用當前子圖表示向量，并對其進行多頭編碼。輸出將與LSTM的輸出連接起來，并饋送到一個兩層策略網(wǎng)絡中，該網(wǎng)絡的末端有一個softmax 層，用于操作的輸出分布。該模型旨在學習一個子問題序列，而不是設計復雜的QA模型，與經(jīng)典的MIERVA 模型[57]比較，該模型在WC-14數(shù)據(jù)集[58]上取得了Hit@1值14%的提升。

圖5 基于強化學習的復雜問題分解Fig.5 Decomposition of complex question based on reinforcement learning

基于強化學習的方法將復雜問答任務當作序列決策過程，模型的泛化能力強，無須大量的標注語句。同時，通過強化學習優(yōu)化子問題回答順序，不僅能夠提高模型的正確率，而且增強了問答過程的可解釋性。

1.2.6 基于深度學習問題分解模型對比

上面介紹和分析了基于深度學習的問題分解的基本思想和相關代表工作，表2就問答類型、分解類型、機制、優(yōu)勢以及劣勢進行了總結。

表2 深度學習問題分解方法總結Table 1 Summary of question decomposition methods based on deep learning

1.3 無監(jiān)督的方法

無論傳統(tǒng)機器學習的方法還是基于深度學習的分解，都是基于監(jiān)督的方法，需要大量高質(zhì)量的分解案例。而Perez等[59]提出了一種在完全無監(jiān)督的情況下自動分解問題的方法。分解的過程包括三個階段：（1）通過使用嵌入相似性的方法從一個簡單的問題語料庫S中檢索類似于復雜問題Q的候選子問題，并創(chuàng)建一個偽分解語料庫D。（2）使用Q和D作為訓練數(shù)據(jù)，通過一種One-to-N 無監(jiān)督序列轉換算法（ONUS），以改進問題的偽分解。（3）使用現(xiàn)有的QA系統(tǒng)回答子問題，將子問題及其答案提供給重組模型，以組合生成復雜問題的答案。該方法在無監(jiān)督的情況下，實現(xiàn)了與依賴于強監(jiān)督的方法一樣的效果，即無監(jiān)督產(chǎn)生的子問題的答案與數(shù)據(jù)集中標注的證據(jù)事實一致。但是，這種無監(jiān)督的問題分解很大程度上是抽取式的，雖然對于組合式的復雜問題也有效，但是不能處理所有的復雜問題。因此，探索魯棒的無監(jiān)督問題分解也是一種研究思路。

2 數(shù)據(jù)集與評測指標

2.1 數(shù)據(jù)集介紹

問答系統(tǒng)可追溯到1950 年，早期的問答系統(tǒng)不能對自然語言真正理解，隨著大量的研究成果出現(xiàn)，今天在單一問題上已經(jīng)取得較好的成果[60]。問答系統(tǒng)取得的巨大發(fā)展離不開數(shù)據(jù)集。目前QA 領域復雜問題的常用數(shù)據(jù)集如下：

（1）HotpotQA 數(shù)據(jù)集[61]是一個基于維基百科的具有自然、多跳問題的問答數(shù)據(jù)集，包含了112 779個問答對。該數(shù)據(jù)集的問題本身沒有考慮任何預先存在的知識庫或知識模式，問題必須經(jīng)過兩步及以上推理才能得到答案，并且提供了回答問題所必需的證據(jù)事實。問題的推理類型有三種：①需要對比兩個實體或者需要橋實體；②通過檢查多個屬性來定位答案實體；③通過橋實體推斷相關實體的屬性。

（2）ComplexWebQuestions數(shù)據(jù)集[45]是基于WebQSP數(shù)據(jù)集[62]構建的，包含34 689個問答對和SPARQL查詢。從WebQSP中采樣問題-SPARQL查詢對，自動地構造包含組合、連接、最高級和比較級形式的復雜SPARQL 查詢，然后由眾包平臺將SPARQL查詢轉化為自然語言問題，通過在Freebase 執(zhí)行SPARQL 查詢來獲得問題的答案。

（3）WebQuestiosSP 數(shù)據(jù)集[62]是WebQuestions 數(shù)據(jù)集的升級版。WebQSP 刪除了WebQuestions 中的有歧義且答案不清晰的問題，它的每一個問題都有其對應的SPARQL查詢。WebQSP包含了4 737個簡單或復雜問題。

2.2 評測指標

問答系統(tǒng)中常用的評價指標包括：準確率（Precision）、召回率（Recall）、F1 值、Hit@1。Precision 從查準率對模型進行評估。Recall 從查全率對模型進行評估。F1 值是Precision 和Recall 的等權調(diào)和平均。將問答看作問題答案檢索任務，Hit@1指正確答案是最終排序的第一個的占比。

表3 收集了相關論文和典型模型在數(shù)據(jù)集上的表現(xiàn)。其中，HotpotQA具有Distractor和Fullwiki兩個任務。

表3 不同模型的數(shù)據(jù)集及其評測標準Table 3 Different models of data sets and their evaluation criteria

3 未來的研究方向

目前，研究者針對問題分解任務開展了很多有益的研究，但仍然存在著提升空間，值得進一步探索。未來的研究工作可以從以下幾個方面展開：

（1）構建統(tǒng)一的復雜問題分解類型體系?，F(xiàn)有的研究大多根據(jù)各自的應用領域自行定義分解類型，導致研究人員無法共享訓練數(shù)據(jù)。所以，未來需要一個統(tǒng)一的問句分解類型體系，從而促進問題分解的研究和發(fā)展。

（2）將預訓練模型應用到問題分解任務中。近年來，BERT等預訓練模型在眾多NLP任務中取得了驚人的成績，預訓練模型采用預訓練+微調(diào)的模式，先使用大規(guī)模無監(jiān)督語料進行模型的預訓練，再使用小規(guī)模標注語料進行下游任務上的微調(diào)。未來研究可以考慮將現(xiàn)有的問題分解模型與預訓練模型結合，進一步提升問題分解的效果。

（3）缺乏問題分解任務的評價指標。EDGQA 通過比較分解的塊數(shù)與SPARQL 中變量個數(shù)是否相等來評價分解的好壞；HSP采用Bleu-4[68]和Rouge-L[69]作為問題分解的評價指標；模塊自組裝方法將問題分解作為問答系統(tǒng)的一個步驟，通過評價問答系統(tǒng)的好壞來表現(xiàn)問題分解的性能。當下缺乏一種針對問題分解的評價指標，這極大地阻礙了模型的對比與提升。因此未來考慮制定一種評價指標，從而促進問題分解的研究和發(fā)展。

（4）結合生成對抗網(wǎng)絡（generative adversarial networks，GAN），提高問題分解的準確性。GAN[70]采用對抗博弈思想，通過讓生成器和判別器相互博弈的方式進行學習，經(jīng)過不斷地優(yōu)化迭代，模型達到最優(yōu)。因此，未來研究中可以考慮引入GAN，考慮生成器分解問題，判別器判別分解的正確性。

4 結束語

復雜問題分解作為理解復雜問題的一種有效手段，在問答系統(tǒng)回答復雜問題的過程中發(fā)揮了不可估量的作用，受到學術界和工業(yè)界的廣泛關注。本文綜述了復雜問題分解的研究進展，分析和總結了前人研究的不足，提出了對未來研究方向的建議，希望有助于問題分解任務未來進一步的研究和發(fā)展。