• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    問答系統(tǒng)中復雜問題分解方法研究綜述

    2022-09-06 11:08:00杭婷婷
    計算機工程與應用 2022年17期
    關鍵詞:語義模板方法

    馮 鈞,李 艷,杭婷婷

    河海大學 計算機與信息學院 水利部水利大數(shù)據(jù)重點實驗室,南京 211100

    問答系統(tǒng)[1]作為目前自然語言處理(natural language processing,NLP)領域中備受人們關注且具有廣泛發(fā)展前景的研究方向之一,允許用戶以自然語言問句的形式表達復雜的信息需求,并針對用戶提出的問題直接返回精準的答案。現(xiàn)有的問答系統(tǒng)根據(jù)答案獲取途徑可以分為檢索式問答系統(tǒng)、生成式問答系統(tǒng)[2]。檢索式問答系統(tǒng)是從已有的知識庫、數(shù)據(jù)集、文檔或者網(wǎng)頁中檢索與問題最相關的答案,例如基于知識庫的問答(KBQA)、基于文檔的問答(DBQA)。而生成式問答系統(tǒng)則根據(jù)用戶查詢的問題,由模型自動生成相關的答案[3]。根據(jù)問題的類型以及答案特點,問答又分為事實型問答和非事實型問答[4]。事實型問答一般詢問的某一客觀事實,答案是唯一確定的,通常是實體或短語,例如以Who、Where、When 等疑問詞為首的問句[5]。而非事實型問答的問題可以是詢問觀點、方法等,答案不具有確定性,可能是段落或句子,注重回答是否合理,例如How、Why、解釋類問題,以及閑聊類問題[6]。

    問答系統(tǒng)一般分為三個模塊:問題理解、信息檢索和答案抽取[7]。問題理解作為問答系統(tǒng)的首要環(huán)節(jié),其重要性顯而易見,其結果為后續(xù)的信息檢索和答案抽取兩個環(huán)節(jié)提供了指導信息。隨著大數(shù)據(jù)時代的到來,用戶不再滿足于僅限于單一屬性或單一實體的問答,而更傾向于涉及多個本體、多個類的復雜問題,如“中國的首都有哪些展示抗戰(zhàn)精神的景點?”[8]。復雜問題有兩個特征:一是具有比較復雜的句法結構;二是問句內(nèi)容可能包含多個本體的多個類及屬性或者具有多個約束條件,因此其語義結構也比較復雜。傳統(tǒng)的問題理解方法(如問句類型識別[9]、問句主題識別[10]、查詢擴展[11]、關鍵詞項賦權[12]以及問句復述[13]等)不足以有效地幫助問答系統(tǒng)處理復雜問題。通過對復雜問題進行分解,可以有效地達到理解問題的目的。同時,問題分解的有效性和必要性在復雜問題回答領域的許多研究中得到了證明[14-16]。問答系統(tǒng)中的復雜問題分解技術是指將一個復雜問題分解為若干簡單問題,將這些簡單問題與其答案作為原始復雜問題的上下文提供給模型,從而降低直接回答復雜問題的難度。這些子問題之間相互依賴、相互支持。問答系統(tǒng)體系結構如圖1所示。

    圖1 問答系統(tǒng)結構圖Fig.1 Structure of question answering system

    問題分解研究的意義如下:

    (1)豐富復雜問題的語義信息。將分解得到的子問題與子問題答案作為復雜問題上下文信息,由此復雜問題語義信息得到進一步的豐富。

    (2)使問答系統(tǒng)不受限于檢索的資源空間。在回答復雜問題的子問題時可以不限于依賴一種資源(一篇文檔或知識圖譜中的一個三元組)。

    (3)去除復雜問題中的冗余信息,精簡問句。由于自然語言往往具有復雜的語義結構,用戶在提出問題時,容易增加一些冗余信息,可能降低問答系統(tǒng)處理問題的能力。

    (4)增強問答系統(tǒng)處理復雜問題過程的可解釋性。將復雜問題分解后,通過展示子問題、子問題答案、子問題之間的限制關系,可以讓用戶了解問答系統(tǒng)回答問題的過程,增強了問答系統(tǒng)的可解釋性。

    本文將針對問答系統(tǒng)中復雜問題分解任務,梳理從傳統(tǒng)機器學習方法到深度學習方法的相關代表工作,對其中模型的核心思想以及方法的優(yōu)勢和不足進行分析和總結。在此基礎上,為接下來的研究方向提出可能性的建議。

    1 模型介紹

    1.1 基于傳統(tǒng)機器學習的問題分解

    傳統(tǒng)的機器學習方法借助特征工程的方法,提取問句的代表性特征,包括句子的詞法特征、語義特征。根據(jù)這些特征借助規(guī)則或模板等生成相應的簡單子問題,通過單跳問答系統(tǒng)得到子問題的答案,再經(jīng)過組合與評分得到原問題的答案,傳統(tǒng)機器學習的問題分解框架如圖2 所示。主要包括基于規(guī)則模板的方法和基于分割的方法。

    圖2 傳統(tǒng)機器學習方法的解決框架Fig.2 Solution framework of traditional machine learning

    1.1.1 基于規(guī)則模板的方法

    基于規(guī)則模板的方法在很多NLP任務中都有應用,屬于比較傳統(tǒng)的方法。通過人工構造的規(guī)則模板匹配處理問答的過程不涉及問題的分析,這種方法獲得的答案準確性高,系統(tǒng)響應速度快。根據(jù)分解的步驟不同,進一步劃分為規(guī)則匹配的方法和模板匹配的方法。

    (1)規(guī)則匹配的方法

    規(guī)則匹配的核心思想是根據(jù)預先設定好的經(jīng)驗規(guī)則來識別復雜問題中的事實,再根據(jù)上下文將事實重寫,進而生成子問題。Hartrumpf[17]提出基于問題語義表示的分解,定義了六個分解規(guī)則:針對問句中時間的分解、針對主題實體中地名的分解、針對問題條件中地名的分解、針對并列情景的分解、針對描述的分解、針對運算的分解。利用上述六個分解規(guī)則為問題生成具有足夠語義表示的解析器。文獻[18-20]中DeepQA 系統(tǒng)主要處理復合事實型問句的分解,分解類型分為并列類和嵌套類。并行類問題包含相互獨立評估的子問題。嵌套問題需要按順序進行分解。具體地,首先,分解識別器使用一套分解規(guī)則來識別基于詞典句法特征的復雜問題中的事實;然后,問題重寫器根據(jù)原始問題的上下文將得到的事實重寫為子問題,并添加關鍵的上下文信息。在問題分解之后,通過候選答案合成并由重新排序器生成最終排序的答案列表。但是,該方法的初衷是為了解決DeepQA 回答知識競賽節(jié)目《危險邊緣(Jeopardy!)》中的復雜問題,很難應用于其他問答系統(tǒng)。

    (2)模板匹配的方法

    模板匹配是根據(jù)問題的特征成分匹配相似度最高的模板,直接生成子問題,再將子問題進行組合。王振宇等[21]提出了一種基于句法模板的復雜問題分解方法,經(jīng)過對復雜問題進行實體抽取、將抽取到的實體與模板匹配、生成子問題間關系的問題依賴圖等步驟,實現(xiàn)對復雜問題的分解。該分解方法受限于制定的模板,可分解的問題類型十分有限,并且制定模板難度大,需要相關領域知識和語言學基礎的支持。針對上述的問題,Zheng等[22]提出了一種利用知識圖譜和大規(guī)模文本語料庫自動構建大量模板的低成本方法。先將輸入的問題分解為一組子問題,這些子問題生成一個依賴圖,再生成原問題的結構化查詢語句。該方法窮舉復雜問題Q的每一個子問題q并計算q與每個模板的問題模式之間的相似性。這些選中的模板可以形成用于描述問題語義結構的概念語義依賴圖,它是輸入問題和結構化查詢的中間表示。但是,采用窮舉的方法生成復雜問題的子問題,雖然準確率高,但是效率低下。所以該文提出了基于類型和基于順序的方法來進行子問題與模板的匹配,大大縮減了搜索空間。雖然,自動化構建模板的方法可以克服耗時耗力的問題。但是,模板不具備通用性,覆蓋面不足,無法進行跨領域的移植。

    1.1.2 基于分割的方法

    基于分割的思想是通過分析問句的詞法和語義特征,找到子問句之間的邊界,制定合適的分割方案。由于對問句分析的角度不同,進一步分為基于分割點的分割和基于句法分析的分割。

    (1)基于分割點的分割

    Saquete 等[23]針對包含“隱式時間標志”的問題進行分解,例如“after the Iraqi annexation of Kuwait”。該方法根據(jù)時序標識將問句分割,并轉化為簡單時間問句和“when”類型問句。顯而易見,該方法僅適用于時間類的問句,適用范圍有限。2019 年,Min 等[24]設計了DECOMPRC 系統(tǒng),通過跨度預測尋找分裂點對組合多跳問題進行分割。DECOMPRC將問題的推理類型分為橋接、交叉和比較,其中,橋接類型需要先找到第一跳證據(jù)才能找到第二跳或其他跳的證據(jù),交叉類型需要找到滿足兩個獨立條件的兩個實體,比較類型需要比較兩個不同實體的屬性。DECOMPRC首先根據(jù)問句推理類型將原始的多跳問題分解為幾個單跳子問題。然后,利用單跳閱讀理解模型來回答子問題,并依據(jù)子問題的推理類型組合答案。最后,利用一個分解評分器來判斷合適的分解,采用一種新的全局重新打分方法,考慮每一種分解來獲得答案,并用答案重新評分每種分解以決定最終答案,這樣做不僅大幅提高了整體性能,而且提高了正確分解的概率。

    然而,這種通過跨度預測來分解復雜問題可能找不到最佳子問題,子問題中可能仍然存在多重關系或約束,得到的子問題通常是不完整的,有時會丟失一些信息。并且,以問題跨度作為子問題的方法只適用于并列組合式復雜問題,不適用于嵌套類的復雜問題。

    (2)基于句法分析的分割

    句法分析又稱為文法分析,是很多NLP任務的基礎環(huán)節(jié),旨在分析輸入的句子并得到它的句法結構。句法分析的形式一般分為成分句法分析和依存句法分析[25]。成分句法分析旨在識別句子中的短語和短語之間的層次句法結構。依存句法分析側重于識別句子中詞匯之間的二元依存關系。依存句法樹以層次化結構的方式展示句子的結構信息,它包含了句子成分之間的依賴關系。

    歐石燕等[26]提出通過句法分析將復雜問題分解為若干個簡單問題。分解過程:首先,對復雜問題進行句法解析,輸出詞語之間的依賴關系,根據(jù)依賴關系生成依存句法分析樹。依賴關系密切的詞語一般位于同一棵子樹中,而關系疏遠的詞語位于不同的子樹中。依存句法樹就是子樹之間的組合。然后,根據(jù)生成的依賴樹進行分割。分析子樹是否為一個有效問句,如果是有效問句,則將其作為一個子問題分割出來。最后,判斷上一步分割出來的子問題是簡單句還是復雜句。如果是復雜句,則將其看作一個完整的子樹,對其進一步分割。這樣,關系密切的詞語被分割在一個簡單問題中,同時也能保證分解之后的語義信息不會發(fā)生變化。

    劉雄等[27]提出的分解方法將復合事實型問句分解類型總結歸納為三種:原子類、并列類以及嵌套類。首先,問句分解類型識別。問句分解類別的不同體現(xiàn)在句法結構上,采用基于樹核支持向量機的方法準確識別問句的分解類別。然后,采用基于依存句法分析的方法生成子問句。在子問句的生成過程中,保留了依存句法樹的整體結構,將句法樹中的邊上的依存關系標簽修改為分解標簽,用來表征問句分解信息。該方法可以較好地生成嵌套類問句的子問句,但是對于并列類的復合問句的分解表現(xiàn)一般。劉雄[28]采用條件隨機場模型實現(xiàn)了基于序列標注的子問句生成,可以較好地解決并列類的復雜問題分解。

    基于句法分析的方法處理問題分解任務的關鍵技術在于能否正確地構造出依存句法樹。基于規(guī)則匹配的方法具有準確度高的優(yōu)點,將句法分析與規(guī)則匹配結合,通過規(guī)則匹配識別依存句法樹中的句法成分,是未來的一個研究方向。中文句法分析是基于詞級別的,正確的分詞與正確的句法分析樹相互依賴,相互影響[29]。最近的研究[30-31]將中文分詞和句法分析作為聯(lián)合任務,采用基于圖的聯(lián)合模型在中文分詞和依存分析方面都取得了較好的性能。因此,未來可以考慮通過改進依存分析來解決中文復雜問題分解。

    總而言之,傳統(tǒng)機器學習方法處理問題分解時,采用流水線的方法,多模塊逐個分開學習,并且嚴重依賴自然語言處理工具抽取的特征。其存在的問題,一方面每個模塊單獨優(yōu)化,其優(yōu)化目標和任務的總目標可能不一致,另一方面自然語言處理工具往往會產(chǎn)生特征提取錯誤,這些錯誤在模塊之間傳播會被不斷放大,最終影響問答系統(tǒng)的效果。

    1.1.3 傳統(tǒng)機器學習的問題分解模型對比

    上面介紹和分析了基于傳統(tǒng)機器學習的問題分解的基本思想和相關代表工作,表1就分解類型、機制、優(yōu)勢以及劣勢進行了總結。

    表1 傳統(tǒng)機器學習問題分解方法總結Table 1 Summary of question decomposition methods based on traditional machine learning

    1.2 基于深度學習的問題分解

    深度學習(deep learning,DL)[32]被公認為是機器學習領域中研究得最深入的方向之一。近年來,眾多學者將DL應用到智能問答任務中[33]?;谏窠?jīng)網(wǎng)絡的深度學習采用端到端方法,模型訓練過程不進行模塊劃分,統(tǒng)一優(yōu)化任務目標,并且自動化地提取特征,不需要人為干預?;谏疃葘W習的方法主要解決兩個問題:子問題生成、子問題組合排序,如圖3 所示。子問題生成大多采用序列編碼-解碼框架,使用神經(jīng)網(wǎng)絡完成復雜問題到子問題的轉換。由于回答復雜問題需要單一事實或多個事實進行比較、聚合等推理,如果子問題的回答是任意順序,將導致更大的搜索空間和更高的丟失答案的風險,因此這些子問題的順序對回答問題的效率和準確性有至關重要的作用。有一些模型為了解決復雜問題存在子問題之間嵌套的問題,其子問題生成和排序是一個不斷迭代的過程。

    圖3 基于深度學習的問題分解方法的框架Fig.3 Framework of question decomposition method based on deep learning

    1.2.1 基于Transformer

    Transformer[34]是Google 在2017 年提出的一種NLP經(jīng)典模型,采用端到端的編碼器-解碼器(encoder-decoder)結構。Transformer 完全基于注意力機制,由于encoder和decoder 中采用具有較強特征學習能力的自注意(self-attention)和多頭注意(multi-head self-attention)機制,所以Transformer具有較強的特征抽取能力。

    Zhang 等[35]提出一個基于Transformer 的問題分解器,根據(jù)輸入的復雜問題直接生成完整自然的子問題,沒有詞序和內(nèi)容限制。這個問題分解器由一個Transformer編碼器和迭代的解碼器組成,直接生成子問題表示。該文專注于復雜問題的語義解析,提出了一種分層語義解析(hierarchical semantic parsing,HSP)模型,利用復雜問題的分解性進行語義解析,基于分解-集成的思想,以三階段的解析架構設計。在第一階段,運用問題分解器將一個復雜的問題分解為一系列子問題。在第二階段,利用信息提取器導出問題的類型和謂詞信息。在最后階段,將先前階段生成的信息進行整合,為復雜問題生成邏輯形式。該模型在生成子問題表示時不考慮問題的分解類型,因此適合所有問題的分解。

    Khot 等[36]提出一個TMN 框架,并基于該框架構建了一個ModularQA系統(tǒng),該系統(tǒng)由單跳的事實型問答系統(tǒng)和問題邏輯計算器組成。TMN框架通過一系列子模型將復雜問題分解為子問題。其中,子模型是任意的,在框架中是黑盒模型。模型通過下一問題生成器獲得子問題,并通過問答模型回答子問題,當下一問題生成器達到最終節(jié)點標記時,問答模型返回最終結果。子問題生成模型采用Transformer 結構,并通過復制機制增強解碼器。同時,這一分解過程是遠程監(jiān)督的,不需要分解標注。

    Fu等[37]提出一個三階段框架RERC(relation extractorreader and comparator)。關系提取器對復雜問題進行分解,然后閱讀器依次回答子問題,最后比較器進行數(shù)值比較并總結所有子問題以得到最終答案。Relation Extractor 可以從復雜的文本表示中提取問題的主題和關系,有兩種不同的結構,一種是classification-type,針對四種分解類型Compositional、Inference、Comparison和Bridge-Comparison 進行具體的推理;另一種是spantype,問題關系的類型不受限制,從問題中提取多個跨度作為問題關系。關系提取器使用Transformer網(wǎng)絡作為交互層,通過對問句的表示進行編碼來表達自我交互,從而找到問題的主題和關系。在這個分解模型中,不生成完整的句子狀子問題,只提取主題實體和問題關系,通過模板進行構造子問題,降低了復雜問題分解的難度。

    Wolfson 等[38]提出一種問題分解意義表示(question decomposition meaning representation,QDMR),基于數(shù)據(jù)庫查詢語言(SQL,SPARQL)和語義解析所設計,將復雜的問題通過一系列簡單的原子可執(zhí)行步驟來表示,復雜問題的答案是最后一步的答案。同時,提出一個基于序列到序列的模型將問題解析為QDMR。QDMR從根本上描述了輸入問題中跨度之間的標記關系。受此啟發(fā),Hasson 等[39]提出通過使用依賴圖(dependency graphs,DG)監(jiān)督向編碼器提供更多信息來改進序列到序列解析器。使用結構化的中間邏輯形式表示LF自動將問題DG映射到QDMR。DG中的節(jié)點對應于QDMR步驟中的token,邊描述對應于不同計算步驟的邏輯關系。編碼器由一個RAT 層和Transformer 組成,RAT 層在Transformer 自注意力機制中注入token 之間關系的信息。RAT層可以明確表示標記之間的關系,并且可用于在語義解析的上下文中對輸入圖上的token 進行編碼[40]。但是,QDMR 依賴于昂貴的人工注釋,可能無法推廣到具有其他分解類型的領域。

    Transformer 由于性能良好,在NLP 領域獲得了廣泛應用,但是也存在缺陷,如,序列上下文需要固定長度,長序列可以得到高效處理,短序列的效率一般。2019 年,Dai等[41]提出Transformer-XL,引入片段級遞歸機制和相對位置編碼方案兩種技術,有效地解決了這一限制。未來將改進的Transformer應用到問題分解任務有待進一步的探索。

    1.2.2 基于圖神經(jīng)網(wǎng)絡

    圖神經(jīng)網(wǎng)絡(graph neural network,GNN)[42]是一種基于深度學習的處理圖數(shù)據(jù)結構的方法,通過將深度學習算法和圖廣播操作結合,可以讓圖的結構和頂點屬性信息參與到學習中,在信息傳播、關系歸納偏置等應用中表現(xiàn)出良好的效果。GNN中的每個節(jié)點在信息傳播時學習其鄰居節(jié)點的狀態(tài)表示,以此更新自己的節(jié)點表示。顯然,將GNN 用于復雜問題分解任務時必須解決以下問題:(1)確定圖中的節(jié)點以及其初始節(jié)點表示;(2)確定節(jié)點之間連邊的情況;(3)設計節(jié)點之間信息傳遞的算法。

    Wang等[43]采用早期圖神經(jīng)網(wǎng)絡的思想研究多問句分割方法,將問句和語境中的所有句子作為圖的頂點,根據(jù)它們的關系建立邊,依據(jù)是否是上下句關系、是否具有共指關系以及KL 散度等條件給邊設置初始權重,并設計權重的傳播算法,通過迭代地傳播鄰居信息來更新頂點的表示,直到達到穩(wěn)定的平衡,最后得到權重較高的邊相連的問句和語境對即為分割后的結果。但是,這種遞歸函數(shù)在層與層間參數(shù)共享,導致訓練過程的計算代價很大。并且該方法是針對社區(qū)問答的多問句分割,并且分割過程需要依靠答案,無法應用于其他問答系統(tǒng)。

    1.2.3 基于注意力機制

    注意力機制(attention mechanism,簡稱Attention)是一種模擬人腦注意力機制的模型,在提取特征的時重點關心某些重要的信息。近兩年,Attention被廣泛應用在NLP、圖像識別等各種深度學習任務當中[44]。

    2018 年,Talmor 等[45]提出的SplitQA 模型采用指針網(wǎng)絡[46]分解問題的方法。指針網(wǎng)絡將Attention 分布作為指針指向輸入中的某些部分,然后組合輸入序列,輸出是輸入序列的子集,如圖4所示。主要用于解決組合優(yōu)化問題。具體地,先構造問題的計算樹,通過計算樹分析問題語義并拆分問題,然后使用KG或搜索引擎計算答案和該答案的得分,并將其與原來得分作比較,從而決定是否進行分解。但是,該方法需要大量的訓練數(shù)據(jù),目前帶有分解標簽的復雜問題數(shù)據(jù)集還比較匱乏。

    圖4 指針網(wǎng)絡的基本結構Fig.4 Basic architecture of pointer network

    2019 年,Bhutani 等[47]設計出了TextRay 模型,提出分解-連接-執(zhí)行的方法來通過子查詢構建復雜查詢。首先,他們借鑒了Talmor等采用指針網(wǎng)絡生成子問題的思想,使用一個增強指針網(wǎng)絡生成計算方案,即子查詢的執(zhí)行序列。然后,分階段生成子查詢的候選集,通過計算子查詢候選集與問題的語義相似性,找到最佳候選子查詢。最后,按照計算方案依次組合子查詢并執(zhí)行它們。由于原問題語法語義相對復雜,并且要匹配多個子查詢的表達式,問題中的無關信息會分散匹配的注意力,因此,作者在基于LSTM 的語義匹配模型中加入了注意力機制,以強調(diào)問題的特別部分,對子查詢候選集進行篩選。對于缺乏標記數(shù)據(jù)的問題,作者采用了隱式監(jiān)督的方法。隨后,Bhutani 等[48]提出了MULTIQUE 模型,在TextRay 系統(tǒng)基礎上,MULTIQUE 可以結合多個數(shù)據(jù)源為每個子查詢生成其對應的候選集。這樣做可以聚合分散在多個KB 上的證據(jù),同時不同KB 上的證據(jù)可以相互補充。

    李威宇[49]改進了指針網(wǎng)絡生成子問句方法,所提出的mul-attention PGN在指針網(wǎng)絡模型的基礎上,加入多注意力機制,既能復制源文本中的關鍵信息,又能通過生成器生成新的詞匯,同時保證生成的多個子問題可以出現(xiàn)原問題的同一個詞匯和短語。

    Jiang 等[50]基于堆棧的思想提出了一個基于控制器的模塊自組裝神經(jīng)網(wǎng)絡,包括四個模塊(Find,Relocation,Compare,No),每個模塊分別執(zhí)行一種類型的推理。該自組裝網(wǎng)絡通過一個控制器從復雜問題中推斷所需要的每一步推理行為來進行問句分解。控制器計算所有問題詞注意力分布來識別隱藏的子問題。Find模塊在給定上下文和問題表示的情況下,會在上下文詞上生成注意力圖。Relocate模塊將前一個子問題的中間答案與當前子問題結合,輸出一個以前一個問題為條件的新注意力圖。Compare 模塊根據(jù)問題直觀地“比較”來自前兩個模塊的輸出。控制器采用堆棧來存儲模塊的輸出。在控制器輸出子問題的同時,預測所有可用模塊的軟組合,該軟組合會引導主網(wǎng)絡遵循推理路徑。該方法根據(jù)三種推理類型將原始的復雜問題分解為簡單子問題,可分解的問題類型有限,可能存在無法分解的情況。

    1.2.4 基于查詢圖

    查詢圖在基于知識圖譜的問答系統(tǒng)中具有廣泛的應用,基于查詢圖的方法將自然語言問題抽象成結構化的查詢圖,查詢圖可以直接匹配問題的邏輯形式,在知識圖譜上執(zhí)行查詢就能得到問題的答案?;诓樵儓D的問題分解就是生成子問題的查詢圖。

    Shin 等[51]提出了分解-重組的問答方法。在分解任務中,首先根據(jù)問題的語法結構和依存分析樹將復雜問題拆分為多個子問題,同時過濾需要數(shù)學運算的約束。然后,從問題查詢圖庫中搜索與子問題對應的子圖。在這個階段,模型從局部角度計算每個子圖的語義。接下來,通過使用基于BiGRU 的語義匹配模型從全局角度捕獲組合語義,并選擇得分最高的子查詢圖組合作為完整的查詢圖。最后,將捕獲的約束反映到完整的查詢圖中,合并中間結果來提取答案集。但是該方法需要從訓練問題-答案對中收集所有問題中的正確查詢圖,然后將問題和查詢圖分別拆分為子問題和子查詢圖,并將它們存儲到問題查詢圖庫中,該圖庫包括原始問題-查詢圖對,原始問題的子問題-子查詢圖對。構建這樣的問題查詢圖庫并不是一件容易的事。

    Hu等[52]提出了一種稱為實體描述圖(entity description graph,EDG)的新型圖結構來表示復雜問題。使用基于規(guī)則的方法迭代地將問題表示為EDG,并將EDG運用到一個QA 系統(tǒng),得到EDGQA。具體地,首先,對問題成分進行解析得到問題的解析樹。然后,識別問題類型并生成初始EDG,初始的EDG包含一個根節(jié)點、一個實體節(jié)點、一個用于描述實體的描述節(jié)點,問題邊連接根節(jié)點與實體節(jié)點,約束邊連接實體節(jié)點和描述節(jié)點。根節(jié)點用于描述問題的類型。最后,根據(jù)一組規(guī)則和成分解析樹迭代地分解問題描述,生成問題的EDG。問題的EDG 由多個塊組成,每個塊對應一個子問句。在得到問題的EDG后,通過實體鏈接、關系路徑生成、子查詢生成與子查詢集成模塊,生成問題的查詢語句,在LC-QuAD1.0 數(shù)據(jù)集[53]取得了53.1%的F1 值。但是,這種基于查詢圖的方法不到搜索結束,不會產(chǎn)生中間解析結果,即無法把中間結果應用于后續(xù)步驟。

    1.2.5 基于強化學習的方法

    強化學習方法在問答系統(tǒng)中有著廣泛的應用,尤其是知識圖譜問答推理[54]。利用實體間的復雜路徑特征學習一個隨機游走器,進而推斷出答案。較為典型的模型DeepPath[55]將路徑搜索轉化為強化學習過程,通過控制所找到的路徑的屬性來縮減搜索空間。

    先前的工作大多集中于子問題生成,但優(yōu)化子問題順序的工作卻很少。Zhang等[56]提出利用強化學優(yōu)化子問題的回答順序,同時使用知識圖譜結構捕捉子問題之間的聯(lián)系。該模型動態(tài)地決定在每個推理狀態(tài)下應該回答哪個子問題,通過計算子問題答案對正確預測整個問題的程度與給定狀態(tài)下子問題預測出錯的可能性兩個原則設計獎勵。模型由一個狀態(tài)編碼網(wǎng)絡、一個用于跟蹤已回答子問題的兩層LSTM 和一個用于選擇動作的策略網(wǎng)絡組成,如圖5所示。狀態(tài)編碼網(wǎng)絡采用當前子圖表示向量,并對其進行多頭編碼。輸出將與LSTM的輸出連接起來,并饋送到一個兩層策略網(wǎng)絡中,該網(wǎng)絡的末端有一個softmax 層,用于操作的輸出分布。該模型旨在學習一個子問題序列,而不是設計復雜的QA模型,與經(jīng)典的MIERVA 模型[57]比較,該模型在WC-14數(shù)據(jù)集[58]上取得了Hit@1值14%的提升。

    圖5 基于強化學習的復雜問題分解Fig.5 Decomposition of complex question based on reinforcement learning

    基于強化學習的方法將復雜問答任務當作序列決策過程,模型的泛化能力強,無須大量的標注語句。同時,通過強化學習優(yōu)化子問題回答順序,不僅能夠提高模型的正確率,而且增強了問答過程的可解釋性。

    1.2.6 基于深度學習問題分解模型對比

    上面介紹和分析了基于深度學習的問題分解的基本思想和相關代表工作,表2就問答類型、分解類型、機制、優(yōu)勢以及劣勢進行了總結。

    表2 深度學習問題分解方法總結Table 1 Summary of question decomposition methods based on deep learning

    1.3 無監(jiān)督的方法

    無論傳統(tǒng)機器學習的方法還是基于深度學習的分解,都是基于監(jiān)督的方法,需要大量高質(zhì)量的分解案例。而Perez等[59]提出了一種在完全無監(jiān)督的情況下自動分解問題的方法。分解的過程包括三個階段:(1)通過使用嵌入相似性的方法從一個簡單的問題語料庫S中檢索類似于復雜問題Q的候選子問題,并創(chuàng)建一個偽分解語料庫D。(2)使用Q和D作為訓練數(shù)據(jù),通過一種One-to-N 無監(jiān)督序列轉換算法(ONUS),以改進問題的偽分解。(3)使用現(xiàn)有的QA系統(tǒng)回答子問題,將子問題及其答案提供給重組模型,以組合生成復雜問題的答案。該方法在無監(jiān)督的情況下,實現(xiàn)了與依賴于強監(jiān)督的方法一樣的效果,即無監(jiān)督產(chǎn)生的子問題的答案與數(shù)據(jù)集中標注的證據(jù)事實一致。但是,這種無監(jiān)督的問題分解很大程度上是抽取式的,雖然對于組合式的復雜問題也有效,但是不能處理所有的復雜問題。因此,探索魯棒的無監(jiān)督問題分解也是一種研究思路。

    2 數(shù)據(jù)集與評測指標

    2.1 數(shù)據(jù)集介紹

    問答系統(tǒng)可追溯到1950 年,早期的問答系統(tǒng)不能對自然語言真正理解,隨著大量的研究成果出現(xiàn),今天在單一問題上已經(jīng)取得較好的成果[60]。問答系統(tǒng)取得的巨大發(fā)展離不開數(shù)據(jù)集。目前QA 領域復雜問題的常用數(shù)據(jù)集如下:

    (1)HotpotQA 數(shù)據(jù)集[61]是一個基于維基百科的具有自然、多跳問題的問答數(shù)據(jù)集,包含了112 779個問答對。該數(shù)據(jù)集的問題本身沒有考慮任何預先存在的知識庫或知識模式,問題必須經(jīng)過兩步及以上推理才能得到答案,并且提供了回答問題所必需的證據(jù)事實。問題的推理類型有三種:①需要對比兩個實體或者需要橋實體;②通過檢查多個屬性來定位答案實體;③通過橋實體推斷相關實體的屬性。

    (2)ComplexWebQuestions數(shù)據(jù)集[45]是基于WebQSP數(shù)據(jù)集[62]構建的,包含34 689個問答對和SPARQL查詢。從WebQSP中采樣問題-SPARQL查詢對,自動地構造包含組合、連接、最高級和比較級形式的復雜SPARQL 查詢,然后由眾包平臺將SPARQL查詢轉化為自然語言問題,通過在Freebase 執(zhí)行SPARQL 查詢來獲得問題的答案。

    (3)WebQuestiosSP 數(shù)據(jù)集[62]是WebQuestions 數(shù)據(jù)集的升級版。WebQSP 刪除了WebQuestions 中的有歧義且答案不清晰的問題,它的每一個問題都有其對應的SPARQL查詢。WebQSP包含了4 737個簡單或復雜問題。

    2.2 評測指標

    問答系統(tǒng)中常用的評價指標包括:準確率(Precision)、召回率(Recall)、F1 值、Hit@1。Precision 從查準率對模型進行評估。Recall 從查全率對模型進行評估。F1 值是Precision 和Recall 的等權調(diào)和平均。將問答看作問題答案檢索任務,Hit@1指正確答案是最終排序的第一個的占比。

    表3 收集了相關論文和典型模型在數(shù)據(jù)集上的表現(xiàn)。其中,HotpotQA具有Distractor和Fullwiki兩個任務。

    表3 不同模型的數(shù)據(jù)集及其評測標準Table 3 Different models of data sets and their evaluation criteria

    3 未來的研究方向

    目前,研究者針對問題分解任務開展了很多有益的研究,但仍然存在著提升空間,值得進一步探索。未來的研究工作可以從以下幾個方面展開:

    (1)構建統(tǒng)一的復雜問題分解類型體系?,F(xiàn)有的研究大多根據(jù)各自的應用領域自行定義分解類型,導致研究人員無法共享訓練數(shù)據(jù)。所以,未來需要一個統(tǒng)一的問句分解類型體系,從而促進問題分解的研究和發(fā)展。

    (2)將預訓練模型應用到問題分解任務中。近年來,BERT等預訓練模型在眾多NLP任務中取得了驚人的成績,預訓練模型采用預訓練+微調(diào)的模式,先使用大規(guī)模無監(jiān)督語料進行模型的預訓練,再使用小規(guī)模標注語料進行下游任務上的微調(diào)。未來研究可以考慮將現(xiàn)有的問題分解模型與預訓練模型結合,進一步提升問題分解的效果。

    (3)缺乏問題分解任務的評價指標。EDGQA 通過比較分解的塊數(shù)與SPARQL 中變量個數(shù)是否相等來評價分解的好壞;HSP采用Bleu-4[68]和Rouge-L[69]作為問題分解的評價指標;模塊自組裝方法將問題分解作為問答系統(tǒng)的一個步驟,通過評價問答系統(tǒng)的好壞來表現(xiàn)問題分解的性能。當下缺乏一種針對問題分解的評價指標,這極大地阻礙了模型的對比與提升。因此未來考慮制定一種評價指標,從而促進問題分解的研究和發(fā)展。

    (4)結合生成對抗網(wǎng)絡(generative adversarial networks,GAN),提高問題分解的準確性。GAN[70]采用對抗博弈思想,通過讓生成器和判別器相互博弈的方式進行學習,經(jīng)過不斷地優(yōu)化迭代,模型達到最優(yōu)。因此,未來研究中可以考慮引入GAN,考慮生成器分解問題,判別器判別分解的正確性。

    4 結束語

    復雜問題分解作為理解復雜問題的一種有效手段,在問答系統(tǒng)回答復雜問題的過程中發(fā)揮了不可估量的作用,受到學術界和工業(yè)界的廣泛關注。本文綜述了復雜問題分解的研究進展,分析和總結了前人研究的不足,提出了對未來研究方向的建議,希望有助于問題分解任務未來進一步的研究和發(fā)展。

    猜你喜歡
    語義模板方法
    鋁模板在高層建筑施工中的應用
    鋁模板在高層建筑施工中的應用
    語言與語義
    可能是方法不對
    “上”與“下”語義的不對稱性及其認知闡釋
    用對方法才能瘦
    Coco薇(2016年2期)2016-03-22 02:42:52
    鋁模板在高層建筑施工中的應用
    城市綜改 可推廣的模板較少
    四大方法 教你不再“坐以待病”!
    Coco薇(2015年1期)2015-08-13 02:47:34
    捕魚
    av在线播放免费不卡| 亚洲成人国产一区在线观看| 欧美国产精品va在线观看不卡| 亚洲人成伊人成综合网2020| 亚洲国产精品成人综合色| 成人手机av| 亚洲成av片中文字幕在线观看| 悠悠久久av| 欧美国产精品va在线观看不卡| 啦啦啦观看免费观看视频高清| 免费在线观看成人毛片| 视频在线观看一区二区三区| 90打野战视频偷拍视频| 国产在线观看jvid| 国产亚洲精品久久久久久毛片| 中文字幕高清在线视频| 欧美国产日韩亚洲一区| 国产亚洲欧美精品永久| 亚洲成人久久爱视频| 极品教师在线免费播放| 国产精品免费一区二区三区在线| 神马国产精品三级电影在线观看 | 一本久久中文字幕| 亚洲狠狠婷婷综合久久图片| 国产不卡一卡二| 成人av一区二区三区在线看| 国产伦在线观看视频一区| 久久午夜综合久久蜜桃| 精品无人区乱码1区二区| 满18在线观看网站| 亚洲精品久久成人aⅴ小说| 国语自产精品视频在线第100页| 中文字幕高清在线视频| 中文字幕最新亚洲高清| 中文字幕精品亚洲无线码一区 | 国产熟女午夜一区二区三区| 叶爱在线成人免费视频播放| 国产精品久久久久久精品电影 | 国产精华一区二区三区| 国产成人精品久久二区二区91| 亚洲久久久国产精品| 男人舔女人下体高潮全视频| 欧美日本亚洲视频在线播放| 亚洲精品国产区一区二| 欧美绝顶高潮抽搐喷水| 黑人欧美特级aaaaaa片| 女人被狂操c到高潮| 好男人在线观看高清免费视频 | 国产精品国产高清国产av| 757午夜福利合集在线观看| 香蕉久久夜色| 久久 成人 亚洲| xxx96com| 国产av一区在线观看免费| 成年免费大片在线观看| 一夜夜www| 国产又色又爽无遮挡免费看| 日本五十路高清| 国产一区二区三区视频了| 亚洲自偷自拍图片 自拍| 一级毛片精品| 伦理电影免费视频| 女人被狂操c到高潮| 最新在线观看一区二区三区| 香蕉国产在线看| 亚洲国产欧美一区二区综合| 中文字幕人妻丝袜一区二区| 在线观看一区二区三区| 色哟哟哟哟哟哟| 日韩国内少妇激情av| 久久青草综合色| 欧美一级a爱片免费观看看 | 亚洲成人久久爱视频| 亚洲一区高清亚洲精品| www.精华液| 91大片在线观看| 九色国产91popny在线| 黄色丝袜av网址大全| www国产在线视频色| 在线观看日韩欧美| 久久久久九九精品影院| 最新在线观看一区二区三区| 亚洲五月婷婷丁香| 国产色视频综合| 禁无遮挡网站| 又大又爽又粗| 满18在线观看网站| 亚洲性夜色夜夜综合| 久久久水蜜桃国产精品网| 亚洲,欧美精品.| 国产高清激情床上av| 日本 av在线| 亚洲国产精品sss在线观看| www.自偷自拍.com| 国产高清视频在线播放一区| 亚洲电影在线观看av| 久久婷婷成人综合色麻豆| 国产成人系列免费观看| 国产欧美日韩一区二区三| 欧美日本亚洲视频在线播放| 国产一卡二卡三卡精品| 波多野结衣高清无吗| 老汉色∧v一级毛片| 亚洲 欧美 日韩 在线 免费| 国产av在哪里看| 久久人人精品亚洲av| 国产真人三级小视频在线观看| 午夜福利欧美成人| 美女高潮喷水抽搐中文字幕| 国产精品九九99| 亚洲七黄色美女视频| 中亚洲国语对白在线视频| 真人一进一出gif抽搐免费| 亚洲精品中文字幕一二三四区| 亚洲五月天丁香| 18禁裸乳无遮挡免费网站照片 | 人人澡人人妻人| 日韩欧美在线二视频| 麻豆一二三区av精品| 欧美乱色亚洲激情| 又黄又粗又硬又大视频| 麻豆一二三区av精品| 黄片播放在线免费| 日韩欧美国产在线观看| 久久精品国产综合久久久| 亚洲中文字幕日韩| 久久亚洲精品不卡| 亚洲片人在线观看| videosex国产| 日韩大码丰满熟妇| 欧美色视频一区免费| 欧美丝袜亚洲另类 | 非洲黑人性xxxx精品又粗又长| 国产真实乱freesex| 日本 欧美在线| 国产精品美女特级片免费视频播放器 | 宅男免费午夜| 香蕉丝袜av| 十八禁网站免费在线| 亚洲中文av在线| 亚洲av成人av| 极品教师在线免费播放| 99久久无色码亚洲精品果冻| 又大又爽又粗| 亚洲精华国产精华精| 99在线视频只有这里精品首页| 亚洲成a人片在线一区二区| 国产单亲对白刺激| 99热这里只有精品一区 | 99国产精品99久久久久| 亚洲一区中文字幕在线| 50天的宝宝边吃奶边哭怎么回事| 男人舔女人下体高潮全视频| 女性生殖器流出的白浆| 人成视频在线观看免费观看| 国产成人av教育| 黄色丝袜av网址大全| 免费在线观看视频国产中文字幕亚洲| 国产一级毛片七仙女欲春2 | 国内毛片毛片毛片毛片毛片| 午夜亚洲福利在线播放| 男女之事视频高清在线观看| 俄罗斯特黄特色一大片| 90打野战视频偷拍视频| 国产一区二区三区在线臀色熟女| 国产一区二区三区在线臀色熟女| 露出奶头的视频| 久久久精品欧美日韩精品| 午夜福利免费观看在线| 俄罗斯特黄特色一大片| 亚洲七黄色美女视频| 亚洲av熟女| 视频在线观看一区二区三区| 男人的好看免费观看在线视频 | 亚洲av熟女| 最近最新免费中文字幕在线| 精品久久久久久久末码| 欧美成人一区二区免费高清观看 | 国产精品国产高清国产av| 中文字幕精品免费在线观看视频| 免费在线观看视频国产中文字幕亚洲| 少妇 在线观看| 悠悠久久av| 久久久久亚洲av毛片大全| 欧美av亚洲av综合av国产av| 18禁黄网站禁片免费观看直播| 婷婷六月久久综合丁香| 亚洲激情在线av| 18禁国产床啪视频网站| 久久中文字幕一级| 亚洲成av人片免费观看| 亚洲成av人片免费观看| 精品熟女少妇八av免费久了| 国内精品久久久久久久电影| 两人在一起打扑克的视频| 狂野欧美激情性xxxx| 午夜成年电影在线免费观看| 午夜久久久久精精品| 免费在线观看日本一区| 91在线观看av| 亚洲色图av天堂| 动漫黄色视频在线观看| 久久欧美精品欧美久久欧美| 村上凉子中文字幕在线| 欧美激情 高清一区二区三区| 成人免费观看视频高清| 日韩欧美免费精品| 欧美成人一区二区免费高清观看 | av电影中文网址| 国产精品1区2区在线观看.| 亚洲精品在线美女| 亚洲精品在线观看二区| 婷婷六月久久综合丁香| 亚洲精品国产精品久久久不卡| 国产亚洲精品久久久久5区| a级毛片在线看网站| bbb黄色大片| 午夜久久久在线观看| 国产成人av激情在线播放| 国产亚洲精品av在线| 精品福利观看| 每晚都被弄得嗷嗷叫到高潮| 国产又爽黄色视频| 岛国视频午夜一区免费看| 搡老妇女老女人老熟妇| 亚洲五月婷婷丁香| 一级毛片精品| 免费观看精品视频网站| 一边摸一边做爽爽视频免费| 免费电影在线观看免费观看| 久久精品91无色码中文字幕| 亚洲欧美精品综合久久99| 色婷婷久久久亚洲欧美| 久久精品夜夜夜夜夜久久蜜豆 | 亚洲精品国产区一区二| 日韩成人在线观看一区二区三区| 色综合亚洲欧美另类图片| 琪琪午夜伦伦电影理论片6080| 两个人视频免费观看高清| 91国产中文字幕| 欧美色欧美亚洲另类二区| 欧美国产日韩亚洲一区| 高潮久久久久久久久久久不卡| 久久精品91蜜桃| 欧美+亚洲+日韩+国产| 国产真人三级小视频在线观看| 欧美黑人欧美精品刺激| 香蕉丝袜av| 青草久久国产| 老司机午夜福利在线观看视频| 亚洲人成网站高清观看| 欧美 亚洲 国产 日韩一| 久久婷婷成人综合色麻豆| 一级a爱片免费观看的视频| 亚洲久久久国产精品| 18美女黄网站色大片免费观看| 成人亚洲精品av一区二区| 欧美久久黑人一区二区| 成人永久免费在线观看视频| 黄网站色视频无遮挡免费观看| 村上凉子中文字幕在线| 日本精品一区二区三区蜜桃| av视频在线观看入口| 免费在线观看成人毛片| 中文字幕最新亚洲高清| 国产免费男女视频| 亚洲真实伦在线观看| 久久久精品欧美日韩精品| 在线观看午夜福利视频| 最新美女视频免费是黄的| 久久精品国产综合久久久| 亚洲中文字幕日韩| 精品人妻1区二区| 88av欧美| 亚洲av熟女| 日本一区二区免费在线视频| 亚洲av电影不卡..在线观看| 亚洲av中文字字幕乱码综合 | 成人亚洲精品一区在线观看| 99riav亚洲国产免费| 精品久久蜜臀av无| 亚洲国产欧美网| 亚洲精品在线美女| 亚洲片人在线观看| 黑丝袜美女国产一区| 香蕉国产在线看| 伦理电影免费视频| 国产乱人伦免费视频| 香蕉av资源在线| 午夜福利视频1000在线观看| 久久伊人香网站| 久久精品91蜜桃| 久久香蕉国产精品| 国产单亲对白刺激| 免费在线观看视频国产中文字幕亚洲| 日本免费一区二区三区高清不卡| 99精品欧美一区二区三区四区| 黄片大片在线免费观看| 高潮久久久久久久久久久不卡| 中文亚洲av片在线观看爽| 国产高清激情床上av| 日韩大码丰满熟妇| 成熟少妇高潮喷水视频| 国产激情欧美一区二区| 悠悠久久av| 波多野结衣高清作品| 中国美女看黄片| 国产av一区在线观看免费| 免费无遮挡裸体视频| 亚洲国产精品sss在线观看| 亚洲精品粉嫩美女一区| 国产成人一区二区三区免费视频网站| 黄片播放在线免费| 日本免费一区二区三区高清不卡| 男女床上黄色一级片免费看| 男女视频在线观看网站免费 | 日韩一卡2卡3卡4卡2021年| 久久久久久久久免费视频了| 丝袜在线中文字幕| 国产91精品成人一区二区三区| 亚洲一码二码三码区别大吗| 精品一区二区三区四区五区乱码| 久久久久精品国产欧美久久久| av免费在线观看网站| 欧美在线黄色| 免费高清在线观看日韩| av福利片在线| 成人一区二区视频在线观看| 亚洲精品中文字幕在线视频| 一二三四社区在线视频社区8| 在线观看午夜福利视频| 99热这里只有精品一区 | 欧美性猛交黑人性爽| 亚洲成av人片免费观看| 一级毛片女人18水好多| 亚洲三区欧美一区| 男女下面进入的视频免费午夜 | 高清毛片免费观看视频网站| 国产aⅴ精品一区二区三区波| 婷婷精品国产亚洲av| 国产高清有码在线观看视频 | 亚洲精品色激情综合| 久久香蕉激情| 超碰成人久久| 亚洲精品美女久久久久99蜜臀| 国产97色在线日韩免费| 国产成+人综合+亚洲专区| 嫩草影视91久久| 国产精品爽爽va在线观看网站 | 午夜久久久在线观看| 欧美乱色亚洲激情| 熟女电影av网| 日韩欧美 国产精品| 国产成年人精品一区二区| 午夜福利在线观看吧| 1024手机看黄色片| 国产激情久久老熟女| 国产精品一区二区免费欧美| 在线免费观看的www视频| 极品教师在线免费播放| 狂野欧美激情性xxxx| 香蕉久久夜色| 精品国产一区二区三区四区第35| 老鸭窝网址在线观看| 久久久久国产一级毛片高清牌| 欧美乱色亚洲激情| 久久久国产欧美日韩av| 一夜夜www| 国产视频内射| 久久精品亚洲精品国产色婷小说| 亚洲av成人av| 亚洲精品国产一区二区精华液| 国产成人欧美| 国产亚洲欧美在线一区二区| 麻豆国产av国片精品| 久久久久久久久免费视频了| 亚洲一区中文字幕在线| 精品国产一区二区三区四区第35| 欧美成人性av电影在线观看| 亚洲免费av在线视频| 女人爽到高潮嗷嗷叫在线视频| 午夜福利高清视频| 久久久水蜜桃国产精品网| 成人手机av| 亚洲av中文字字幕乱码综合 | 男人的好看免费观看在线视频 | 成人国语在线视频| 免费在线观看视频国产中文字幕亚洲| 久久人人精品亚洲av| 亚洲一码二码三码区别大吗| 特大巨黑吊av在线直播 | 欧美黑人欧美精品刺激| 俺也久久电影网| 黄色a级毛片大全视频| 999精品在线视频| 国产三级黄色录像| 操出白浆在线播放| 欧美乱码精品一区二区三区| 久久欧美精品欧美久久欧美| 欧美性猛交黑人性爽| 美女 人体艺术 gogo| 精品国产乱子伦一区二区三区| 精品不卡国产一区二区三区| 久久天堂一区二区三区四区| 亚洲,欧美精品.| 国产日本99.免费观看| 成人一区二区视频在线观看| 91成人精品电影| 精品国产乱码久久久久久男人| 精品欧美一区二区三区在线| 欧美精品啪啪一区二区三区| 少妇裸体淫交视频免费看高清 | 天堂√8在线中文| 成熟少妇高潮喷水视频| 此物有八面人人有两片| 嫁个100分男人电影在线观看| 中文字幕av电影在线播放| 久久久久久免费高清国产稀缺| 国产精品免费一区二区三区在线| 非洲黑人性xxxx精品又粗又长| 国产精品98久久久久久宅男小说| 中文字幕人成人乱码亚洲影| 国产真实乱freesex| 啦啦啦观看免费观看视频高清| 韩国精品一区二区三区| 久久精品国产亚洲av高清一级| 法律面前人人平等表现在哪些方面| 大型黄色视频在线免费观看| 啪啪无遮挡十八禁网站| 亚洲精品av麻豆狂野| 91成人精品电影| 亚洲精华国产精华精| 一本精品99久久精品77| 国产精品影院久久| av视频在线观看入口| 亚洲欧洲精品一区二区精品久久久| 每晚都被弄得嗷嗷叫到高潮| 丝袜美腿诱惑在线| 久久久久久久久中文| 18禁裸乳无遮挡免费网站照片 | 免费看美女性在线毛片视频| 免费在线观看亚洲国产| 久久国产亚洲av麻豆专区| 好男人电影高清在线观看| 欧美激情极品国产一区二区三区| 中文字幕最新亚洲高清| 日韩成人在线观看一区二区三区| 欧美成人一区二区免费高清观看 | 久久精品国产综合久久久| 亚洲成人国产一区在线观看| 亚洲免费av在线视频| 少妇 在线观看| 国产三级黄色录像| 久久久国产成人精品二区| 久久精品91蜜桃| 国产精品九九99| 欧美丝袜亚洲另类 | 天堂√8在线中文| 国产成人欧美在线观看| 在线观看www视频免费| 精品国产乱码久久久久久男人| 啦啦啦韩国在线观看视频| 亚洲国产毛片av蜜桃av| 色播亚洲综合网| 国内精品久久久久精免费| 亚洲精品一区av在线观看| 亚洲精品久久国产高清桃花| 99国产精品99久久久久| 一a级毛片在线观看| av福利片在线| 99国产精品一区二区三区| av有码第一页| 人人澡人人妻人| 国产av一区二区精品久久| 性欧美人与动物交配| 国产亚洲av高清不卡| cao死你这个sao货| 精品高清国产在线一区| 一进一出好大好爽视频| 欧美成人免费av一区二区三区| 神马国产精品三级电影在线观看 | 夜夜爽天天搞| 国产伦一二天堂av在线观看| or卡值多少钱| 一级毛片高清免费大全| 男女床上黄色一级片免费看| xxx96com| 国产一卡二卡三卡精品| 美女扒开内裤让男人捅视频| 村上凉子中文字幕在线| 热99re8久久精品国产| 亚洲 欧美 日韩 在线 免费| 色精品久久人妻99蜜桃| 亚洲av片天天在线观看| 中文字幕人妻丝袜一区二区| 国产人伦9x9x在线观看| 亚洲国产精品999在线| xxxwww97欧美| 麻豆久久精品国产亚洲av| 国产成人精品无人区| 久久青草综合色| 他把我摸到了高潮在线观看| 免费在线观看成人毛片| 欧美日韩黄片免| 久久亚洲真实| 熟妇人妻久久中文字幕3abv| 美女高潮到喷水免费观看| 午夜久久久在线观看| 91成人精品电影| 国产熟女午夜一区二区三区| 一级黄色大片毛片| 精品免费久久久久久久清纯| 热re99久久国产66热| 少妇被粗大的猛进出69影院| 女人被狂操c到高潮| 麻豆久久精品国产亚洲av| 色精品久久人妻99蜜桃| 757午夜福利合集在线观看| 久久中文字幕一级| 精品高清国产在线一区| 亚洲国产欧洲综合997久久, | 精品国产亚洲在线| 大型av网站在线播放| 热re99久久国产66热| 久久久久久久久久黄片| 国产av一区在线观看免费| 亚洲片人在线观看| 成年免费大片在线观看| 亚洲成人免费电影在线观看| 成人午夜高清在线视频 | 久久久精品欧美日韩精品| 成人欧美大片| 国产av不卡久久| 久久久久久久久免费视频了| 国产精品久久久人人做人人爽| 亚洲av电影不卡..在线观看| 欧美+亚洲+日韩+国产| 一级作爱视频免费观看| 亚洲人成网站在线播放欧美日韩| 成人三级黄色视频| 欧美日韩乱码在线| 怎么达到女性高潮| 国产成人系列免费观看| 非洲黑人性xxxx精品又粗又长| 日韩欧美 国产精品| 成年人黄色毛片网站| 精品不卡国产一区二区三区| 日本a在线网址| 午夜日韩欧美国产| 色综合站精品国产| xxx96com| 色综合亚洲欧美另类图片| 校园春色视频在线观看| 免费看a级黄色片| 欧美日韩福利视频一区二区| 国产亚洲精品久久久久久毛片| 最近最新中文字幕大全免费视频| 久久精品亚洲精品国产色婷小说| 亚洲狠狠婷婷综合久久图片| 丁香六月欧美| videosex国产| 成人精品一区二区免费| 啦啦啦 在线观看视频| 日本一本二区三区精品| 国产私拍福利视频在线观看| 午夜成年电影在线免费观看| av在线播放免费不卡| 91麻豆av在线| 村上凉子中文字幕在线| 免费在线观看亚洲国产| 亚洲美女黄片视频| 欧美黄色淫秽网站| 亚洲国产精品999在线| 中出人妻视频一区二区| 97人妻精品一区二区三区麻豆 | 丰满人妻熟妇乱又伦精品不卡| 午夜福利欧美成人| 丰满人妻熟妇乱又伦精品不卡| 日韩欧美三级三区| 中文字幕久久专区| 波多野结衣高清作品| 亚洲 欧美一区二区三区| 一二三四社区在线视频社区8| 国产精品一区二区免费欧美| 国产一卡二卡三卡精品| www.熟女人妻精品国产| 国产不卡一卡二| 亚洲第一欧美日韩一区二区三区| 亚洲自拍偷在线| 国产区一区二久久| 久久狼人影院| 热re99久久国产66热| 久久精品影院6| 真人做人爱边吃奶动态| 国产一区二区激情短视频| 亚洲av中文字字幕乱码综合 | 精品午夜福利视频在线观看一区| 无遮挡黄片免费观看| 国产v大片淫在线免费观看| 日韩 欧美 亚洲 中文字幕| 熟女少妇亚洲综合色aaa.| 国产一区在线观看成人免费| 欧美丝袜亚洲另类 | 亚洲精品在线美女| 久久精品国产亚洲av香蕉五月| 中文字幕最新亚洲高清| 他把我摸到了高潮在线观看| 亚洲在线自拍视频| 91成年电影在线观看| 无限看片的www在线观看| 日本a在线网址| 熟女电影av网| 欧美日韩一级在线毛片| 村上凉子中文字幕在线| 色av中文字幕|