• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    問答系統(tǒng)中復雜問題分解方法研究綜述

    2022-09-06 11:08:00杭婷婷
    計算機工程與應用 2022年17期
    關鍵詞:語義模板方法

    馮 鈞,李 艷,杭婷婷

    河海大學 計算機與信息學院 水利部水利大數(shù)據(jù)重點實驗室,南京 211100

    問答系統(tǒng)[1]作為目前自然語言處理(natural language processing,NLP)領域中備受人們關注且具有廣泛發(fā)展前景的研究方向之一,允許用戶以自然語言問句的形式表達復雜的信息需求,并針對用戶提出的問題直接返回精準的答案。現(xiàn)有的問答系統(tǒng)根據(jù)答案獲取途徑可以分為檢索式問答系統(tǒng)、生成式問答系統(tǒng)[2]。檢索式問答系統(tǒng)是從已有的知識庫、數(shù)據(jù)集、文檔或者網(wǎng)頁中檢索與問題最相關的答案,例如基于知識庫的問答(KBQA)、基于文檔的問答(DBQA)。而生成式問答系統(tǒng)則根據(jù)用戶查詢的問題,由模型自動生成相關的答案[3]。根據(jù)問題的類型以及答案特點,問答又分為事實型問答和非事實型問答[4]。事實型問答一般詢問的某一客觀事實,答案是唯一確定的,通常是實體或短語,例如以Who、Where、When 等疑問詞為首的問句[5]。而非事實型問答的問題可以是詢問觀點、方法等,答案不具有確定性,可能是段落或句子,注重回答是否合理,例如How、Why、解釋類問題,以及閑聊類問題[6]。

    問答系統(tǒng)一般分為三個模塊:問題理解、信息檢索和答案抽取[7]。問題理解作為問答系統(tǒng)的首要環(huán)節(jié),其重要性顯而易見,其結果為后續(xù)的信息檢索和答案抽取兩個環(huán)節(jié)提供了指導信息。隨著大數(shù)據(jù)時代的到來,用戶不再滿足于僅限于單一屬性或單一實體的問答,而更傾向于涉及多個本體、多個類的復雜問題,如“中國的首都有哪些展示抗戰(zhàn)精神的景點?”[8]。復雜問題有兩個特征:一是具有比較復雜的句法結構;二是問句內(nèi)容可能包含多個本體的多個類及屬性或者具有多個約束條件,因此其語義結構也比較復雜。傳統(tǒng)的問題理解方法(如問句類型識別[9]、問句主題識別[10]、查詢擴展[11]、關鍵詞項賦權[12]以及問句復述[13]等)不足以有效地幫助問答系統(tǒng)處理復雜問題。通過對復雜問題進行分解,可以有效地達到理解問題的目的。同時,問題分解的有效性和必要性在復雜問題回答領域的許多研究中得到了證明[14-16]。問答系統(tǒng)中的復雜問題分解技術是指將一個復雜問題分解為若干簡單問題,將這些簡單問題與其答案作為原始復雜問題的上下文提供給模型,從而降低直接回答復雜問題的難度。這些子問題之間相互依賴、相互支持。問答系統(tǒng)體系結構如圖1所示。

    圖1 問答系統(tǒng)結構圖Fig.1 Structure of question answering system

    問題分解研究的意義如下:

    (1)豐富復雜問題的語義信息。將分解得到的子問題與子問題答案作為復雜問題上下文信息,由此復雜問題語義信息得到進一步的豐富。

    (2)使問答系統(tǒng)不受限于檢索的資源空間。在回答復雜問題的子問題時可以不限于依賴一種資源(一篇文檔或知識圖譜中的一個三元組)。

    (3)去除復雜問題中的冗余信息,精簡問句。由于自然語言往往具有復雜的語義結構,用戶在提出問題時,容易增加一些冗余信息,可能降低問答系統(tǒng)處理問題的能力。

    (4)增強問答系統(tǒng)處理復雜問題過程的可解釋性。將復雜問題分解后,通過展示子問題、子問題答案、子問題之間的限制關系,可以讓用戶了解問答系統(tǒng)回答問題的過程,增強了問答系統(tǒng)的可解釋性。

    本文將針對問答系統(tǒng)中復雜問題分解任務,梳理從傳統(tǒng)機器學習方法到深度學習方法的相關代表工作,對其中模型的核心思想以及方法的優(yōu)勢和不足進行分析和總結。在此基礎上,為接下來的研究方向提出可能性的建議。

    1 模型介紹

    1.1 基于傳統(tǒng)機器學習的問題分解

    傳統(tǒng)的機器學習方法借助特征工程的方法,提取問句的代表性特征,包括句子的詞法特征、語義特征。根據(jù)這些特征借助規(guī)則或模板等生成相應的簡單子問題,通過單跳問答系統(tǒng)得到子問題的答案,再經(jīng)過組合與評分得到原問題的答案,傳統(tǒng)機器學習的問題分解框架如圖2 所示。主要包括基于規(guī)則模板的方法和基于分割的方法。

    圖2 傳統(tǒng)機器學習方法的解決框架Fig.2 Solution framework of traditional machine learning

    1.1.1 基于規(guī)則模板的方法

    基于規(guī)則模板的方法在很多NLP任務中都有應用,屬于比較傳統(tǒng)的方法。通過人工構造的規(guī)則模板匹配處理問答的過程不涉及問題的分析,這種方法獲得的答案準確性高,系統(tǒng)響應速度快。根據(jù)分解的步驟不同,進一步劃分為規(guī)則匹配的方法和模板匹配的方法。

    (1)規(guī)則匹配的方法

    規(guī)則匹配的核心思想是根據(jù)預先設定好的經(jīng)驗規(guī)則來識別復雜問題中的事實,再根據(jù)上下文將事實重寫,進而生成子問題。Hartrumpf[17]提出基于問題語義表示的分解,定義了六個分解規(guī)則:針對問句中時間的分解、針對主題實體中地名的分解、針對問題條件中地名的分解、針對并列情景的分解、針對描述的分解、針對運算的分解。利用上述六個分解規(guī)則為問題生成具有足夠語義表示的解析器。文獻[18-20]中DeepQA 系統(tǒng)主要處理復合事實型問句的分解,分解類型分為并列類和嵌套類。并行類問題包含相互獨立評估的子問題。嵌套問題需要按順序進行分解。具體地,首先,分解識別器使用一套分解規(guī)則來識別基于詞典句法特征的復雜問題中的事實;然后,問題重寫器根據(jù)原始問題的上下文將得到的事實重寫為子問題,并添加關鍵的上下文信息。在問題分解之后,通過候選答案合成并由重新排序器生成最終排序的答案列表。但是,該方法的初衷是為了解決DeepQA 回答知識競賽節(jié)目《危險邊緣(Jeopardy!)》中的復雜問題,很難應用于其他問答系統(tǒng)。

    (2)模板匹配的方法

    模板匹配是根據(jù)問題的特征成分匹配相似度最高的模板,直接生成子問題,再將子問題進行組合。王振宇等[21]提出了一種基于句法模板的復雜問題分解方法,經(jīng)過對復雜問題進行實體抽取、將抽取到的實體與模板匹配、生成子問題間關系的問題依賴圖等步驟,實現(xiàn)對復雜問題的分解。該分解方法受限于制定的模板,可分解的問題類型十分有限,并且制定模板難度大,需要相關領域知識和語言學基礎的支持。針對上述的問題,Zheng等[22]提出了一種利用知識圖譜和大規(guī)模文本語料庫自動構建大量模板的低成本方法。先將輸入的問題分解為一組子問題,這些子問題生成一個依賴圖,再生成原問題的結構化查詢語句。該方法窮舉復雜問題Q的每一個子問題q并計算q與每個模板的問題模式之間的相似性。這些選中的模板可以形成用于描述問題語義結構的概念語義依賴圖,它是輸入問題和結構化查詢的中間表示。但是,采用窮舉的方法生成復雜問題的子問題,雖然準確率高,但是效率低下。所以該文提出了基于類型和基于順序的方法來進行子問題與模板的匹配,大大縮減了搜索空間。雖然,自動化構建模板的方法可以克服耗時耗力的問題。但是,模板不具備通用性,覆蓋面不足,無法進行跨領域的移植。

    1.1.2 基于分割的方法

    基于分割的思想是通過分析問句的詞法和語義特征,找到子問句之間的邊界,制定合適的分割方案。由于對問句分析的角度不同,進一步分為基于分割點的分割和基于句法分析的分割。

    (1)基于分割點的分割

    Saquete 等[23]針對包含“隱式時間標志”的問題進行分解,例如“after the Iraqi annexation of Kuwait”。該方法根據(jù)時序標識將問句分割,并轉化為簡單時間問句和“when”類型問句。顯而易見,該方法僅適用于時間類的問句,適用范圍有限。2019 年,Min 等[24]設計了DECOMPRC 系統(tǒng),通過跨度預測尋找分裂點對組合多跳問題進行分割。DECOMPRC將問題的推理類型分為橋接、交叉和比較,其中,橋接類型需要先找到第一跳證據(jù)才能找到第二跳或其他跳的證據(jù),交叉類型需要找到滿足兩個獨立條件的兩個實體,比較類型需要比較兩個不同實體的屬性。DECOMPRC首先根據(jù)問句推理類型將原始的多跳問題分解為幾個單跳子問題。然后,利用單跳閱讀理解模型來回答子問題,并依據(jù)子問題的推理類型組合答案。最后,利用一個分解評分器來判斷合適的分解,采用一種新的全局重新打分方法,考慮每一種分解來獲得答案,并用答案重新評分每種分解以決定最終答案,這樣做不僅大幅提高了整體性能,而且提高了正確分解的概率。

    然而,這種通過跨度預測來分解復雜問題可能找不到最佳子問題,子問題中可能仍然存在多重關系或約束,得到的子問題通常是不完整的,有時會丟失一些信息。并且,以問題跨度作為子問題的方法只適用于并列組合式復雜問題,不適用于嵌套類的復雜問題。

    (2)基于句法分析的分割

    句法分析又稱為文法分析,是很多NLP任務的基礎環(huán)節(jié),旨在分析輸入的句子并得到它的句法結構。句法分析的形式一般分為成分句法分析和依存句法分析[25]。成分句法分析旨在識別句子中的短語和短語之間的層次句法結構。依存句法分析側重于識別句子中詞匯之間的二元依存關系。依存句法樹以層次化結構的方式展示句子的結構信息,它包含了句子成分之間的依賴關系。

    歐石燕等[26]提出通過句法分析將復雜問題分解為若干個簡單問題。分解過程:首先,對復雜問題進行句法解析,輸出詞語之間的依賴關系,根據(jù)依賴關系生成依存句法分析樹。依賴關系密切的詞語一般位于同一棵子樹中,而關系疏遠的詞語位于不同的子樹中。依存句法樹就是子樹之間的組合。然后,根據(jù)生成的依賴樹進行分割。分析子樹是否為一個有效問句,如果是有效問句,則將其作為一個子問題分割出來。最后,判斷上一步分割出來的子問題是簡單句還是復雜句。如果是復雜句,則將其看作一個完整的子樹,對其進一步分割。這樣,關系密切的詞語被分割在一個簡單問題中,同時也能保證分解之后的語義信息不會發(fā)生變化。

    劉雄等[27]提出的分解方法將復合事實型問句分解類型總結歸納為三種:原子類、并列類以及嵌套類。首先,問句分解類型識別。問句分解類別的不同體現(xiàn)在句法結構上,采用基于樹核支持向量機的方法準確識別問句的分解類別。然后,采用基于依存句法分析的方法生成子問句。在子問句的生成過程中,保留了依存句法樹的整體結構,將句法樹中的邊上的依存關系標簽修改為分解標簽,用來表征問句分解信息。該方法可以較好地生成嵌套類問句的子問句,但是對于并列類的復合問句的分解表現(xiàn)一般。劉雄[28]采用條件隨機場模型實現(xiàn)了基于序列標注的子問句生成,可以較好地解決并列類的復雜問題分解。

    基于句法分析的方法處理問題分解任務的關鍵技術在于能否正確地構造出依存句法樹。基于規(guī)則匹配的方法具有準確度高的優(yōu)點,將句法分析與規(guī)則匹配結合,通過規(guī)則匹配識別依存句法樹中的句法成分,是未來的一個研究方向。中文句法分析是基于詞級別的,正確的分詞與正確的句法分析樹相互依賴,相互影響[29]。最近的研究[30-31]將中文分詞和句法分析作為聯(lián)合任務,采用基于圖的聯(lián)合模型在中文分詞和依存分析方面都取得了較好的性能。因此,未來可以考慮通過改進依存分析來解決中文復雜問題分解。

    總而言之,傳統(tǒng)機器學習方法處理問題分解時,采用流水線的方法,多模塊逐個分開學習,并且嚴重依賴自然語言處理工具抽取的特征。其存在的問題,一方面每個模塊單獨優(yōu)化,其優(yōu)化目標和任務的總目標可能不一致,另一方面自然語言處理工具往往會產(chǎn)生特征提取錯誤,這些錯誤在模塊之間傳播會被不斷放大,最終影響問答系統(tǒng)的效果。

    1.1.3 傳統(tǒng)機器學習的問題分解模型對比

    上面介紹和分析了基于傳統(tǒng)機器學習的問題分解的基本思想和相關代表工作,表1就分解類型、機制、優(yōu)勢以及劣勢進行了總結。

    表1 傳統(tǒng)機器學習問題分解方法總結Table 1 Summary of question decomposition methods based on traditional machine learning

    1.2 基于深度學習的問題分解

    深度學習(deep learning,DL)[32]被公認為是機器學習領域中研究得最深入的方向之一。近年來,眾多學者將DL應用到智能問答任務中[33]?;谏窠?jīng)網(wǎng)絡的深度學習采用端到端方法,模型訓練過程不進行模塊劃分,統(tǒng)一優(yōu)化任務目標,并且自動化地提取特征,不需要人為干預?;谏疃葘W習的方法主要解決兩個問題:子問題生成、子問題組合排序,如圖3 所示。子問題生成大多采用序列編碼-解碼框架,使用神經(jīng)網(wǎng)絡完成復雜問題到子問題的轉換。由于回答復雜問題需要單一事實或多個事實進行比較、聚合等推理,如果子問題的回答是任意順序,將導致更大的搜索空間和更高的丟失答案的風險,因此這些子問題的順序對回答問題的效率和準確性有至關重要的作用。有一些模型為了解決復雜問題存在子問題之間嵌套的問題,其子問題生成和排序是一個不斷迭代的過程。

    圖3 基于深度學習的問題分解方法的框架Fig.3 Framework of question decomposition method based on deep learning

    1.2.1 基于Transformer

    Transformer[34]是Google 在2017 年提出的一種NLP經(jīng)典模型,采用端到端的編碼器-解碼器(encoder-decoder)結構。Transformer 完全基于注意力機制,由于encoder和decoder 中采用具有較強特征學習能力的自注意(self-attention)和多頭注意(multi-head self-attention)機制,所以Transformer具有較強的特征抽取能力。

    Zhang 等[35]提出一個基于Transformer 的問題分解器,根據(jù)輸入的復雜問題直接生成完整自然的子問題,沒有詞序和內(nèi)容限制。這個問題分解器由一個Transformer編碼器和迭代的解碼器組成,直接生成子問題表示。該文專注于復雜問題的語義解析,提出了一種分層語義解析(hierarchical semantic parsing,HSP)模型,利用復雜問題的分解性進行語義解析,基于分解-集成的思想,以三階段的解析架構設計。在第一階段,運用問題分解器將一個復雜的問題分解為一系列子問題。在第二階段,利用信息提取器導出問題的類型和謂詞信息。在最后階段,將先前階段生成的信息進行整合,為復雜問題生成邏輯形式。該模型在生成子問題表示時不考慮問題的分解類型,因此適合所有問題的分解。

    Khot 等[36]提出一個TMN 框架,并基于該框架構建了一個ModularQA系統(tǒng),該系統(tǒng)由單跳的事實型問答系統(tǒng)和問題邏輯計算器組成。TMN框架通過一系列子模型將復雜問題分解為子問題。其中,子模型是任意的,在框架中是黑盒模型。模型通過下一問題生成器獲得子問題,并通過問答模型回答子問題,當下一問題生成器達到最終節(jié)點標記時,問答模型返回最終結果。子問題生成模型采用Transformer 結構,并通過復制機制增強解碼器。同時,這一分解過程是遠程監(jiān)督的,不需要分解標注。

    Fu等[37]提出一個三階段框架RERC(relation extractorreader and comparator)。關系提取器對復雜問題進行分解,然后閱讀器依次回答子問題,最后比較器進行數(shù)值比較并總結所有子問題以得到最終答案。Relation Extractor 可以從復雜的文本表示中提取問題的主題和關系,有兩種不同的結構,一種是classification-type,針對四種分解類型Compositional、Inference、Comparison和Bridge-Comparison 進行具體的推理;另一種是spantype,問題關系的類型不受限制,從問題中提取多個跨度作為問題關系。關系提取器使用Transformer網(wǎng)絡作為交互層,通過對問句的表示進行編碼來表達自我交互,從而找到問題的主題和關系。在這個分解模型中,不生成完整的句子狀子問題,只提取主題實體和問題關系,通過模板進行構造子問題,降低了復雜問題分解的難度。

    Wolfson 等[38]提出一種問題分解意義表示(question decomposition meaning representation,QDMR),基于數(shù)據(jù)庫查詢語言(SQL,SPARQL)和語義解析所設計,將復雜的問題通過一系列簡單的原子可執(zhí)行步驟來表示,復雜問題的答案是最后一步的答案。同時,提出一個基于序列到序列的模型將問題解析為QDMR。QDMR從根本上描述了輸入問題中跨度之間的標記關系。受此啟發(fā),Hasson 等[39]提出通過使用依賴圖(dependency graphs,DG)監(jiān)督向編碼器提供更多信息來改進序列到序列解析器。使用結構化的中間邏輯形式表示LF自動將問題DG映射到QDMR。DG中的節(jié)點對應于QDMR步驟中的token,邊描述對應于不同計算步驟的邏輯關系。編碼器由一個RAT 層和Transformer 組成,RAT 層在Transformer 自注意力機制中注入token 之間關系的信息。RAT層可以明確表示標記之間的關系,并且可用于在語義解析的上下文中對輸入圖上的token 進行編碼[40]。但是,QDMR 依賴于昂貴的人工注釋,可能無法推廣到具有其他分解類型的領域。

    Transformer 由于性能良好,在NLP 領域獲得了廣泛應用,但是也存在缺陷,如,序列上下文需要固定長度,長序列可以得到高效處理,短序列的效率一般。2019 年,Dai等[41]提出Transformer-XL,引入片段級遞歸機制和相對位置編碼方案兩種技術,有效地解決了這一限制。未來將改進的Transformer應用到問題分解任務有待進一步的探索。

    1.2.2 基于圖神經(jīng)網(wǎng)絡

    圖神經(jīng)網(wǎng)絡(graph neural network,GNN)[42]是一種基于深度學習的處理圖數(shù)據(jù)結構的方法,通過將深度學習算法和圖廣播操作結合,可以讓圖的結構和頂點屬性信息參與到學習中,在信息傳播、關系歸納偏置等應用中表現(xiàn)出良好的效果。GNN中的每個節(jié)點在信息傳播時學習其鄰居節(jié)點的狀態(tài)表示,以此更新自己的節(jié)點表示。顯然,將GNN 用于復雜問題分解任務時必須解決以下問題:(1)確定圖中的節(jié)點以及其初始節(jié)點表示;(2)確定節(jié)點之間連邊的情況;(3)設計節(jié)點之間信息傳遞的算法。

    Wang等[43]采用早期圖神經(jīng)網(wǎng)絡的思想研究多問句分割方法,將問句和語境中的所有句子作為圖的頂點,根據(jù)它們的關系建立邊,依據(jù)是否是上下句關系、是否具有共指關系以及KL 散度等條件給邊設置初始權重,并設計權重的傳播算法,通過迭代地傳播鄰居信息來更新頂點的表示,直到達到穩(wěn)定的平衡,最后得到權重較高的邊相連的問句和語境對即為分割后的結果。但是,這種遞歸函數(shù)在層與層間參數(shù)共享,導致訓練過程的計算代價很大。并且該方法是針對社區(qū)問答的多問句分割,并且分割過程需要依靠答案,無法應用于其他問答系統(tǒng)。

    1.2.3 基于注意力機制

    注意力機制(attention mechanism,簡稱Attention)是一種模擬人腦注意力機制的模型,在提取特征的時重點關心某些重要的信息。近兩年,Attention被廣泛應用在NLP、圖像識別等各種深度學習任務當中[44]。

    2018 年,Talmor 等[45]提出的SplitQA 模型采用指針網(wǎng)絡[46]分解問題的方法。指針網(wǎng)絡將Attention 分布作為指針指向輸入中的某些部分,然后組合輸入序列,輸出是輸入序列的子集,如圖4所示。主要用于解決組合優(yōu)化問題。具體地,先構造問題的計算樹,通過計算樹分析問題語義并拆分問題,然后使用KG或搜索引擎計算答案和該答案的得分,并將其與原來得分作比較,從而決定是否進行分解。但是,該方法需要大量的訓練數(shù)據(jù),目前帶有分解標簽的復雜問題數(shù)據(jù)集還比較匱乏。

    圖4 指針網(wǎng)絡的基本結構Fig.4 Basic architecture of pointer network

    2019 年,Bhutani 等[47]設計出了TextRay 模型,提出分解-連接-執(zhí)行的方法來通過子查詢構建復雜查詢。首先,他們借鑒了Talmor等采用指針網(wǎng)絡生成子問題的思想,使用一個增強指針網(wǎng)絡生成計算方案,即子查詢的執(zhí)行序列。然后,分階段生成子查詢的候選集,通過計算子查詢候選集與問題的語義相似性,找到最佳候選子查詢。最后,按照計算方案依次組合子查詢并執(zhí)行它們。由于原問題語法語義相對復雜,并且要匹配多個子查詢的表達式,問題中的無關信息會分散匹配的注意力,因此,作者在基于LSTM 的語義匹配模型中加入了注意力機制,以強調(diào)問題的特別部分,對子查詢候選集進行篩選。對于缺乏標記數(shù)據(jù)的問題,作者采用了隱式監(jiān)督的方法。隨后,Bhutani 等[48]提出了MULTIQUE 模型,在TextRay 系統(tǒng)基礎上,MULTIQUE 可以結合多個數(shù)據(jù)源為每個子查詢生成其對應的候選集。這樣做可以聚合分散在多個KB 上的證據(jù),同時不同KB 上的證據(jù)可以相互補充。

    李威宇[49]改進了指針網(wǎng)絡生成子問句方法,所提出的mul-attention PGN在指針網(wǎng)絡模型的基礎上,加入多注意力機制,既能復制源文本中的關鍵信息,又能通過生成器生成新的詞匯,同時保證生成的多個子問題可以出現(xiàn)原問題的同一個詞匯和短語。

    Jiang 等[50]基于堆棧的思想提出了一個基于控制器的模塊自組裝神經(jīng)網(wǎng)絡,包括四個模塊(Find,Relocation,Compare,No),每個模塊分別執(zhí)行一種類型的推理。該自組裝網(wǎng)絡通過一個控制器從復雜問題中推斷所需要的每一步推理行為來進行問句分解。控制器計算所有問題詞注意力分布來識別隱藏的子問題。Find模塊在給定上下文和問題表示的情況下,會在上下文詞上生成注意力圖。Relocate模塊將前一個子問題的中間答案與當前子問題結合,輸出一個以前一個問題為條件的新注意力圖。Compare 模塊根據(jù)問題直觀地“比較”來自前兩個模塊的輸出。控制器采用堆棧來存儲模塊的輸出。在控制器輸出子問題的同時,預測所有可用模塊的軟組合,該軟組合會引導主網(wǎng)絡遵循推理路徑。該方法根據(jù)三種推理類型將原始的復雜問題分解為簡單子問題,可分解的問題類型有限,可能存在無法分解的情況。

    1.2.4 基于查詢圖

    查詢圖在基于知識圖譜的問答系統(tǒng)中具有廣泛的應用,基于查詢圖的方法將自然語言問題抽象成結構化的查詢圖,查詢圖可以直接匹配問題的邏輯形式,在知識圖譜上執(zhí)行查詢就能得到問題的答案?;诓樵儓D的問題分解就是生成子問題的查詢圖。

    Shin 等[51]提出了分解-重組的問答方法。在分解任務中,首先根據(jù)問題的語法結構和依存分析樹將復雜問題拆分為多個子問題,同時過濾需要數(shù)學運算的約束。然后,從問題查詢圖庫中搜索與子問題對應的子圖。在這個階段,模型從局部角度計算每個子圖的語義。接下來,通過使用基于BiGRU 的語義匹配模型從全局角度捕獲組合語義,并選擇得分最高的子查詢圖組合作為完整的查詢圖。最后,將捕獲的約束反映到完整的查詢圖中,合并中間結果來提取答案集。但是該方法需要從訓練問題-答案對中收集所有問題中的正確查詢圖,然后將問題和查詢圖分別拆分為子問題和子查詢圖,并將它們存儲到問題查詢圖庫中,該圖庫包括原始問題-查詢圖對,原始問題的子問題-子查詢圖對。構建這樣的問題查詢圖庫并不是一件容易的事。

    Hu等[52]提出了一種稱為實體描述圖(entity description graph,EDG)的新型圖結構來表示復雜問題。使用基于規(guī)則的方法迭代地將問題表示為EDG,并將EDG運用到一個QA 系統(tǒng),得到EDGQA。具體地,首先,對問題成分進行解析得到問題的解析樹。然后,識別問題類型并生成初始EDG,初始的EDG包含一個根節(jié)點、一個實體節(jié)點、一個用于描述實體的描述節(jié)點,問題邊連接根節(jié)點與實體節(jié)點,約束邊連接實體節(jié)點和描述節(jié)點。根節(jié)點用于描述問題的類型。最后,根據(jù)一組規(guī)則和成分解析樹迭代地分解問題描述,生成問題的EDG。問題的EDG 由多個塊組成,每個塊對應一個子問句。在得到問題的EDG后,通過實體鏈接、關系路徑生成、子查詢生成與子查詢集成模塊,生成問題的查詢語句,在LC-QuAD1.0 數(shù)據(jù)集[53]取得了53.1%的F1 值。但是,這種基于查詢圖的方法不到搜索結束,不會產(chǎn)生中間解析結果,即無法把中間結果應用于后續(xù)步驟。

    1.2.5 基于強化學習的方法

    強化學習方法在問答系統(tǒng)中有著廣泛的應用,尤其是知識圖譜問答推理[54]。利用實體間的復雜路徑特征學習一個隨機游走器,進而推斷出答案。較為典型的模型DeepPath[55]將路徑搜索轉化為強化學習過程,通過控制所找到的路徑的屬性來縮減搜索空間。

    先前的工作大多集中于子問題生成,但優(yōu)化子問題順序的工作卻很少。Zhang等[56]提出利用強化學優(yōu)化子問題的回答順序,同時使用知識圖譜結構捕捉子問題之間的聯(lián)系。該模型動態(tài)地決定在每個推理狀態(tài)下應該回答哪個子問題,通過計算子問題答案對正確預測整個問題的程度與給定狀態(tài)下子問題預測出錯的可能性兩個原則設計獎勵。模型由一個狀態(tài)編碼網(wǎng)絡、一個用于跟蹤已回答子問題的兩層LSTM 和一個用于選擇動作的策略網(wǎng)絡組成,如圖5所示。狀態(tài)編碼網(wǎng)絡采用當前子圖表示向量,并對其進行多頭編碼。輸出將與LSTM的輸出連接起來,并饋送到一個兩層策略網(wǎng)絡中,該網(wǎng)絡的末端有一個softmax 層,用于操作的輸出分布。該模型旨在學習一個子問題序列,而不是設計復雜的QA模型,與經(jīng)典的MIERVA 模型[57]比較,該模型在WC-14數(shù)據(jù)集[58]上取得了Hit@1值14%的提升。

    圖5 基于強化學習的復雜問題分解Fig.5 Decomposition of complex question based on reinforcement learning

    基于強化學習的方法將復雜問答任務當作序列決策過程,模型的泛化能力強,無須大量的標注語句。同時,通過強化學習優(yōu)化子問題回答順序,不僅能夠提高模型的正確率,而且增強了問答過程的可解釋性。

    1.2.6 基于深度學習問題分解模型對比

    上面介紹和分析了基于深度學習的問題分解的基本思想和相關代表工作,表2就問答類型、分解類型、機制、優(yōu)勢以及劣勢進行了總結。

    表2 深度學習問題分解方法總結Table 1 Summary of question decomposition methods based on deep learning

    1.3 無監(jiān)督的方法

    無論傳統(tǒng)機器學習的方法還是基于深度學習的分解,都是基于監(jiān)督的方法,需要大量高質(zhì)量的分解案例。而Perez等[59]提出了一種在完全無監(jiān)督的情況下自動分解問題的方法。分解的過程包括三個階段:(1)通過使用嵌入相似性的方法從一個簡單的問題語料庫S中檢索類似于復雜問題Q的候選子問題,并創(chuàng)建一個偽分解語料庫D。(2)使用Q和D作為訓練數(shù)據(jù),通過一種One-to-N 無監(jiān)督序列轉換算法(ONUS),以改進問題的偽分解。(3)使用現(xiàn)有的QA系統(tǒng)回答子問題,將子問題及其答案提供給重組模型,以組合生成復雜問題的答案。該方法在無監(jiān)督的情況下,實現(xiàn)了與依賴于強監(jiān)督的方法一樣的效果,即無監(jiān)督產(chǎn)生的子問題的答案與數(shù)據(jù)集中標注的證據(jù)事實一致。但是,這種無監(jiān)督的問題分解很大程度上是抽取式的,雖然對于組合式的復雜問題也有效,但是不能處理所有的復雜問題。因此,探索魯棒的無監(jiān)督問題分解也是一種研究思路。

    2 數(shù)據(jù)集與評測指標

    2.1 數(shù)據(jù)集介紹

    問答系統(tǒng)可追溯到1950 年,早期的問答系統(tǒng)不能對自然語言真正理解,隨著大量的研究成果出現(xiàn),今天在單一問題上已經(jīng)取得較好的成果[60]。問答系統(tǒng)取得的巨大發(fā)展離不開數(shù)據(jù)集。目前QA 領域復雜問題的常用數(shù)據(jù)集如下:

    (1)HotpotQA 數(shù)據(jù)集[61]是一個基于維基百科的具有自然、多跳問題的問答數(shù)據(jù)集,包含了112 779個問答對。該數(shù)據(jù)集的問題本身沒有考慮任何預先存在的知識庫或知識模式,問題必須經(jīng)過兩步及以上推理才能得到答案,并且提供了回答問題所必需的證據(jù)事實。問題的推理類型有三種:①需要對比兩個實體或者需要橋實體;②通過檢查多個屬性來定位答案實體;③通過橋實體推斷相關實體的屬性。

    (2)ComplexWebQuestions數(shù)據(jù)集[45]是基于WebQSP數(shù)據(jù)集[62]構建的,包含34 689個問答對和SPARQL查詢。從WebQSP中采樣問題-SPARQL查詢對,自動地構造包含組合、連接、最高級和比較級形式的復雜SPARQL 查詢,然后由眾包平臺將SPARQL查詢轉化為自然語言問題,通過在Freebase 執(zhí)行SPARQL 查詢來獲得問題的答案。

    (3)WebQuestiosSP 數(shù)據(jù)集[62]是WebQuestions 數(shù)據(jù)集的升級版。WebQSP 刪除了WebQuestions 中的有歧義且答案不清晰的問題,它的每一個問題都有其對應的SPARQL查詢。WebQSP包含了4 737個簡單或復雜問題。

    2.2 評測指標

    問答系統(tǒng)中常用的評價指標包括:準確率(Precision)、召回率(Recall)、F1 值、Hit@1。Precision 從查準率對模型進行評估。Recall 從查全率對模型進行評估。F1 值是Precision 和Recall 的等權調(diào)和平均。將問答看作問題答案檢索任務,Hit@1指正確答案是最終排序的第一個的占比。

    表3 收集了相關論文和典型模型在數(shù)據(jù)集上的表現(xiàn)。其中,HotpotQA具有Distractor和Fullwiki兩個任務。

    表3 不同模型的數(shù)據(jù)集及其評測標準Table 3 Different models of data sets and their evaluation criteria

    3 未來的研究方向

    目前,研究者針對問題分解任務開展了很多有益的研究,但仍然存在著提升空間,值得進一步探索。未來的研究工作可以從以下幾個方面展開:

    (1)構建統(tǒng)一的復雜問題分解類型體系?,F(xiàn)有的研究大多根據(jù)各自的應用領域自行定義分解類型,導致研究人員無法共享訓練數(shù)據(jù)。所以,未來需要一個統(tǒng)一的問句分解類型體系,從而促進問題分解的研究和發(fā)展。

    (2)將預訓練模型應用到問題分解任務中。近年來,BERT等預訓練模型在眾多NLP任務中取得了驚人的成績,預訓練模型采用預訓練+微調(diào)的模式,先使用大規(guī)模無監(jiān)督語料進行模型的預訓練,再使用小規(guī)模標注語料進行下游任務上的微調(diào)。未來研究可以考慮將現(xiàn)有的問題分解模型與預訓練模型結合,進一步提升問題分解的效果。

    (3)缺乏問題分解任務的評價指標。EDGQA 通過比較分解的塊數(shù)與SPARQL 中變量個數(shù)是否相等來評價分解的好壞;HSP采用Bleu-4[68]和Rouge-L[69]作為問題分解的評價指標;模塊自組裝方法將問題分解作為問答系統(tǒng)的一個步驟,通過評價問答系統(tǒng)的好壞來表現(xiàn)問題分解的性能。當下缺乏一種針對問題分解的評價指標,這極大地阻礙了模型的對比與提升。因此未來考慮制定一種評價指標,從而促進問題分解的研究和發(fā)展。

    (4)結合生成對抗網(wǎng)絡(generative adversarial networks,GAN),提高問題分解的準確性。GAN[70]采用對抗博弈思想,通過讓生成器和判別器相互博弈的方式進行學習,經(jīng)過不斷地優(yōu)化迭代,模型達到最優(yōu)。因此,未來研究中可以考慮引入GAN,考慮生成器分解問題,判別器判別分解的正確性。

    4 結束語

    復雜問題分解作為理解復雜問題的一種有效手段,在問答系統(tǒng)回答復雜問題的過程中發(fā)揮了不可估量的作用,受到學術界和工業(yè)界的廣泛關注。本文綜述了復雜問題分解的研究進展,分析和總結了前人研究的不足,提出了對未來研究方向的建議,希望有助于問題分解任務未來進一步的研究和發(fā)展。

    猜你喜歡
    語義模板方法
    鋁模板在高層建筑施工中的應用
    鋁模板在高層建筑施工中的應用
    語言與語義
    可能是方法不對
    “上”與“下”語義的不對稱性及其認知闡釋
    用對方法才能瘦
    Coco薇(2016年2期)2016-03-22 02:42:52
    鋁模板在高層建筑施工中的應用
    城市綜改 可推廣的模板較少
    四大方法 教你不再“坐以待病”!
    Coco薇(2015年1期)2015-08-13 02:47:34
    捕魚
    卡戴珊不雅视频在线播放| 日韩成人av中文字幕在线观看| 在线观看国产h片| 女性被躁到高潮视频| 国产深夜福利视频在线观看| 国产精品99久久久久久久久| 久久热精品热| 自拍欧美九色日韩亚洲蝌蚪91 | 国产av一区二区精品久久| 国产黄片美女视频| 久久久久精品久久久久真实原创| 91在线精品国自产拍蜜月| 99热全是精品| 久久这里有精品视频免费| 制服丝袜香蕉在线| 中文精品一卡2卡3卡4更新| 人妻人人澡人人爽人人| 观看免费一级毛片| 亚洲欧美精品自产自拍| 又粗又硬又长又爽又黄的视频| 99九九在线精品视频 | 免费不卡的大黄色大毛片视频在线观看| 啦啦啦视频在线资源免费观看| 韩国高清视频一区二区三区| av视频免费观看在线观看| 久久精品熟女亚洲av麻豆精品| 看十八女毛片水多多多| 日韩不卡一区二区三区视频在线| 国产成人免费无遮挡视频| 91精品国产九色| 80岁老熟妇乱子伦牲交| 亚洲精品久久久久久婷婷小说| 2018国产大陆天天弄谢| 亚洲精品第二区| 成人午夜精彩视频在线观看| 国产精品国产三级专区第一集| 多毛熟女@视频| 国产老妇伦熟女老妇高清| 日本91视频免费播放| 亚洲成人av在线免费| 亚洲欧美成人综合另类久久久| av国产精品久久久久影院| 热re99久久精品国产66热6| 成年女人在线观看亚洲视频| 久久99精品国语久久久| 国产黄片视频在线免费观看| 精品99又大又爽又粗少妇毛片| 在线精品无人区一区二区三| 99热国产这里只有精品6| av国产精品久久久久影院| 国产精品久久久久久久久免| 三级经典国产精品| 色婷婷av一区二区三区视频| 亚洲四区av| 一级爰片在线观看| 久久热精品热| 人人妻人人添人人爽欧美一区卜| 内地一区二区视频在线| 国产精品久久久久久久电影| 亚洲国产欧美在线一区| 亚洲欧美一区二区三区国产| 亚洲,欧美,日韩| 国产精品偷伦视频观看了| 国产精品一区二区在线不卡| 晚上一个人看的免费电影| 哪个播放器可以免费观看大片| 青青草视频在线视频观看| 青春草国产在线视频| 亚洲性久久影院| av播播在线观看一区| 欧美日韩视频高清一区二区三区二| 色视频www国产| 欧美老熟妇乱子伦牲交| 少妇人妻一区二区三区视频| 91久久精品国产一区二区成人| 特大巨黑吊av在线直播| 国产精品.久久久| 日韩不卡一区二区三区视频在线| 热99国产精品久久久久久7| 国产一区有黄有色的免费视频| 欧美三级亚洲精品| 久久久久视频综合| 最近的中文字幕免费完整| 午夜视频国产福利| 国产亚洲5aaaaa淫片| 一级二级三级毛片免费看| 国产亚洲一区二区精品| 色94色欧美一区二区| 菩萨蛮人人尽说江南好唐韦庄| videossex国产| 国产日韩欧美亚洲二区| 伊人亚洲综合成人网| 色哟哟·www| 国产成人aa在线观看| 亚洲人成网站在线观看播放| 亚洲真实伦在线观看| 综合色丁香网| 国产欧美日韩一区二区三区在线 | av免费观看日本| 免费观看无遮挡的男女| 久久久久久久亚洲中文字幕| 国产黄色免费在线视频| 国产成人免费无遮挡视频| 亚洲av不卡在线观看| 国产成人午夜福利电影在线观看| 日韩,欧美,国产一区二区三区| 边亲边吃奶的免费视频| 日本午夜av视频| 十分钟在线观看高清视频www | 我的老师免费观看完整版| 日本-黄色视频高清免费观看| 这个男人来自地球电影免费观看 | 亚洲精品一区蜜桃| 国产伦精品一区二区三区四那| 色94色欧美一区二区| 日韩av不卡免费在线播放| 国产精品秋霞免费鲁丝片| 狂野欧美激情性xxxx在线观看| 性色avwww在线观看| 国产69精品久久久久777片| 99热这里只有是精品50| www.av在线官网国产| 91久久精品电影网| 日本vs欧美在线观看视频 | 国产伦理片在线播放av一区| 日本免费在线观看一区| 欧美少妇被猛烈插入视频| 建设人人有责人人尽责人人享有的| 精品少妇黑人巨大在线播放| 精品一区二区免费观看| 秋霞在线观看毛片| 亚洲经典国产精华液单| 欧美少妇被猛烈插入视频| 热re99久久精品国产66热6| 国产白丝娇喘喷水9色精品| 国产成人免费观看mmmm| 国产精品国产三级国产专区5o| 欧美+日韩+精品| 国内揄拍国产精品人妻在线| 国产片特级美女逼逼视频| 欧美高清成人免费视频www| 久久国产乱子免费精品| 久久国内精品自在自线图片| 久久精品国产亚洲av涩爱| 99久久精品热视频| 国产淫片久久久久久久久| 午夜免费男女啪啪视频观看| 美女主播在线视频| 日韩亚洲欧美综合| 伊人久久精品亚洲午夜| 精品亚洲乱码少妇综合久久| 黄色一级大片看看| 少妇的逼好多水| 国产精品一二三区在线看| 三级经典国产精品| av天堂久久9| 久久久久久久国产电影| 欧美精品人与动牲交sv欧美| 高清不卡的av网站| av专区在线播放| 欧美精品一区二区免费开放| 色婷婷久久久亚洲欧美| 九草在线视频观看| 中文精品一卡2卡3卡4更新| 欧美精品亚洲一区二区| 国产欧美亚洲国产| 一边亲一边摸免费视频| 午夜精品国产一区二区电影| 中文字幕人妻丝袜制服| 久久青草综合色| 中文字幕制服av| 99精国产麻豆久久婷婷| 中国国产av一级| 老熟女久久久| 久久久午夜欧美精品| 日本爱情动作片www.在线观看| av黄色大香蕉| 街头女战士在线观看网站| 嫩草影院入口| 麻豆成人av视频| av网站免费在线观看视频| 啦啦啦在线观看免费高清www| 国产老妇伦熟女老妇高清| 精品亚洲乱码少妇综合久久| 亚洲av国产av综合av卡| 性色avwww在线观看| 欧美变态另类bdsm刘玥| 少妇被粗大猛烈的视频| 亚洲av免费高清在线观看| 亚洲无线观看免费| 国产国拍精品亚洲av在线观看| 热re99久久精品国产66热6| 美女脱内裤让男人舔精品视频| 一级a做视频免费观看| 如何舔出高潮| 男人舔奶头视频| 一二三四中文在线观看免费高清| 久久久欧美国产精品| 精品国产乱码久久久久久小说| 在现免费观看毛片| 国产一区二区三区综合在线观看 | 一区二区三区精品91| 亚洲婷婷狠狠爱综合网| 国产伦在线观看视频一区| 我的女老师完整版在线观看| 丰满饥渴人妻一区二区三| 亚洲成人av在线免费| 噜噜噜噜噜久久久久久91| 国产在线一区二区三区精| 边亲边吃奶的免费视频| 精品久久久精品久久久| www.av在线官网国产| 九色成人免费人妻av| 亚洲国产成人一精品久久久| 亚洲真实伦在线观看| 亚洲va在线va天堂va国产| 中国美白少妇内射xxxbb| 国产成人免费观看mmmm| 久久久久久久国产电影| 国产精品成人在线| av女优亚洲男人天堂| 日韩,欧美,国产一区二区三区| 国产成人精品婷婷| av在线app专区| 一区二区三区精品91| 一本大道久久a久久精品| 高清视频免费观看一区二区| 国产精品蜜桃在线观看| 精品国产露脸久久av麻豆| 一级二级三级毛片免费看| 又黄又爽又刺激的免费视频.| 91aial.com中文字幕在线观看| 亚洲综合精品二区| av有码第一页| 在线观看国产h片| 国产亚洲av片在线观看秒播厂| 黄片无遮挡物在线观看| 熟女人妻精品中文字幕| 成人亚洲精品一区在线观看| 伦理电影免费视频| 精品久久久噜噜| 国产熟女午夜一区二区三区 | av专区在线播放| 亚洲怡红院男人天堂| 秋霞在线观看毛片| 中文天堂在线官网| 2021少妇久久久久久久久久久| 不卡视频在线观看欧美| 啦啦啦在线观看免费高清www| 国产精品久久久久久久久免| freevideosex欧美| 精品人妻熟女av久视频| 永久网站在线| 午夜老司机福利剧场| 伦精品一区二区三区| 亚洲av福利一区| 在线亚洲精品国产二区图片欧美 | 久久午夜综合久久蜜桃| 亚洲人成网站在线播| 欧美日韩一区二区视频在线观看视频在线| 久久久久久伊人网av| 男人和女人高潮做爰伦理| 两个人免费观看高清视频 | 国产黄色视频一区二区在线观看| 亚洲久久久国产精品| 日韩不卡一区二区三区视频在线| 99九九线精品视频在线观看视频| 亚洲精品第二区| 久久久国产欧美日韩av| 亚洲成色77777| 久久久久久久久大av| av国产久精品久网站免费入址| 亚洲国产精品国产精品| 中文字幕人妻丝袜制服| 中文精品一卡2卡3卡4更新| 国产 精品1| 国产精品人妻久久久久久| 欧美日韩在线观看h| 午夜福利视频精品| 涩涩av久久男人的天堂| 亚洲欧美精品自产自拍| 国产一区亚洲一区在线观看| 国产精品久久久久久精品电影小说| 少妇的逼水好多| 成人黄色视频免费在线看| 91精品国产国语对白视频| tube8黄色片| 一区二区三区精品91| 麻豆成人午夜福利视频| 欧美xxⅹ黑人| 午夜老司机福利剧场| 九草在线视频观看| 啦啦啦中文免费视频观看日本| 欧美变态另类bdsm刘玥| 欧美少妇被猛烈插入视频| 一级爰片在线观看| 一本—道久久a久久精品蜜桃钙片| 极品教师在线视频| 国产精品无大码| 国产 精品1| 亚洲第一区二区三区不卡| 卡戴珊不雅视频在线播放| 99re6热这里在线精品视频| 国产成人精品婷婷| 中文字幕久久专区| 777米奇影视久久| 国产91av在线免费观看| 中文欧美无线码| 亚洲人与动物交配视频| 一级,二级,三级黄色视频| 日本欧美国产在线视频| 寂寞人妻少妇视频99o| 日韩欧美精品免费久久| 国产av精品麻豆| 免费观看无遮挡的男女| 少妇高潮的动态图| 久久精品久久精品一区二区三区| 免费看光身美女| 又粗又硬又长又爽又黄的视频| 日本黄色片子视频| 9色porny在线观看| 国产精品一区www在线观看| 精品一品国产午夜福利视频| 天天躁夜夜躁狠狠久久av| 人人澡人人妻人| 国产乱人偷精品视频| 欧美精品一区二区免费开放| 欧美丝袜亚洲另类| 深夜a级毛片| 日韩一区二区三区影片| 免费人妻精品一区二区三区视频| 久久精品久久久久久久性| 日韩av不卡免费在线播放| 曰老女人黄片| 久久久亚洲精品成人影院| 国产精品嫩草影院av在线观看| 国产精品久久久久久久电影| 大香蕉97超碰在线| 美女脱内裤让男人舔精品视频| 嫩草影院入口| 人体艺术视频欧美日本| 国产亚洲精品久久久com| 日韩熟女老妇一区二区性免费视频| 久久人人爽av亚洲精品天堂| 亚洲性久久影院| 一级a做视频免费观看| 在线观看一区二区三区激情| 桃花免费在线播放| 国产色爽女视频免费观看| 桃花免费在线播放| av在线老鸭窝| 在线观看三级黄色| 精品视频人人做人人爽| 一级毛片电影观看| 日韩欧美一区视频在线观看 | 新久久久久国产一级毛片| 精品久久久久久电影网| 中文在线观看免费www的网站| 少妇人妻久久综合中文| 老女人水多毛片| 我的女老师完整版在线观看| 国产成人精品一,二区| 日韩三级伦理在线观看| 大又大粗又爽又黄少妇毛片口| 午夜激情久久久久久久| 国产欧美日韩精品一区二区| 又粗又硬又长又爽又黄的视频| 日韩视频在线欧美| 男女边吃奶边做爰视频| 久久亚洲国产成人精品v| 亚洲av电影在线观看一区二区三区| 91精品一卡2卡3卡4卡| av一本久久久久| 久久久欧美国产精品| 国产视频首页在线观看| 99国产精品免费福利视频| 综合色丁香网| 成人免费观看视频高清| 插阴视频在线观看视频| 在线天堂最新版资源| 精品国产国语对白av| 九九在线视频观看精品| 日韩亚洲欧美综合| 亚洲精品亚洲一区二区| 妹子高潮喷水视频| 久久久久精品久久久久真实原创| 国产日韩欧美亚洲二区| 久久人人爽人人爽人人片va| 久久久欧美国产精品| 亚洲av电影在线观看一区二区三区| 午夜福利,免费看| 在线观看美女被高潮喷水网站| 国产探花极品一区二区| 久久精品久久精品一区二区三区| 欧美最新免费一区二区三区| 欧美 亚洲 国产 日韩一| 寂寞人妻少妇视频99o| 男人爽女人下面视频在线观看| 我的老师免费观看完整版| 国产精品久久久久久精品电影小说| 久久久久久久久久久久大奶| 久久精品夜色国产| 亚洲精品日韩av片在线观看| 九九爱精品视频在线观看| 极品人妻少妇av视频| 丁香六月天网| 亚洲欧洲日产国产| 久久av网站| 国产高清有码在线观看视频| 夫妻性生交免费视频一级片| 亚洲精品日本国产第一区| 午夜福利在线观看免费完整高清在| 国产老妇伦熟女老妇高清| a级毛片在线看网站| 在线免费观看不下载黄p国产| 日产精品乱码卡一卡2卡三| 免费看av在线观看网站| 少妇人妻 视频| 国产日韩欧美亚洲二区| 免费久久久久久久精品成人欧美视频 | av在线观看视频网站免费| 人妻 亚洲 视频| 97超视频在线观看视频| 一级爰片在线观看| 精品一区在线观看国产| 在线精品无人区一区二区三| 好男人视频免费观看在线| 日本免费在线观看一区| 51国产日韩欧美| 日本与韩国留学比较| 啦啦啦啦在线视频资源| 视频区图区小说| 精品亚洲成a人片在线观看| av又黄又爽大尺度在线免费看| 精品一品国产午夜福利视频| 久久人人爽人人爽人人片va| 国产在线一区二区三区精| 五月开心婷婷网| 婷婷色麻豆天堂久久| 老司机影院成人| 亚洲国产精品一区二区三区在线| 中文字幕av电影在线播放| 午夜免费观看性视频| 菩萨蛮人人尽说江南好唐韦庄| 在线观看www视频免费| 最新的欧美精品一区二区| 老司机亚洲免费影院| 看免费成人av毛片| 国国产精品蜜臀av免费| av在线app专区| 人人妻人人澡人人看| 三上悠亚av全集在线观看 | 中文字幕制服av| 七月丁香在线播放| 国产在线男女| 免费观看无遮挡的男女| 日本-黄色视频高清免费观看| 最近2019中文字幕mv第一页| 国产熟女午夜一区二区三区 | 日本免费在线观看一区| 亚洲精品第二区| av福利片在线| 欧美精品高潮呻吟av久久| 激情五月婷婷亚洲| 精品酒店卫生间| 高清欧美精品videossex| 久久久亚洲精品成人影院| 嘟嘟电影网在线观看| 亚洲av男天堂| 午夜免费男女啪啪视频观看| 国产成人免费无遮挡视频| 中文字幕人妻丝袜制服| 麻豆乱淫一区二区| 亚洲怡红院男人天堂| 大又大粗又爽又黄少妇毛片口| 欧美性感艳星| 精品国产一区二区三区久久久樱花| 国产精品久久久久久精品电影小说| 久久99蜜桃精品久久| av线在线观看网站| 国产精品欧美亚洲77777| 不卡视频在线观看欧美| 国产亚洲精品久久久com| 最新的欧美精品一区二区| 亚洲人成网站在线播| 自拍欧美九色日韩亚洲蝌蚪91 | 欧美日韩国产mv在线观看视频| 国产女主播在线喷水免费视频网站| 国产69精品久久久久777片| 九九久久精品国产亚洲av麻豆| 久久精品熟女亚洲av麻豆精品| 色视频在线一区二区三区| 人体艺术视频欧美日本| 久久人人爽人人片av| 免费播放大片免费观看视频在线观看| 成人综合一区亚洲| 18禁在线播放成人免费| 美女脱内裤让男人舔精品视频| 最近的中文字幕免费完整| 精品国产乱码久久久久久小说| 久久久久久久亚洲中文字幕| 一级毛片久久久久久久久女| 全区人妻精品视频| 韩国高清视频一区二区三区| 色吧在线观看| 亚洲精品一二三| 精品卡一卡二卡四卡免费| 国产永久视频网站| 狠狠精品人妻久久久久久综合| 亚洲av福利一区| 欧美激情国产日韩精品一区| 亚洲欧美清纯卡通| 国产精品福利在线免费观看| 乱码一卡2卡4卡精品| a级毛片免费高清观看在线播放| 五月开心婷婷网| 精品一区二区三区视频在线| 最黄视频免费看| 亚洲三级黄色毛片| 久久97久久精品| 亚洲欧美一区二区三区黑人 | 黑人高潮一二区| 日韩成人伦理影院| 一区二区三区乱码不卡18| 久久久午夜欧美精品| 国产在线一区二区三区精| 黑人猛操日本美女一级片| 亚洲中文av在线| 久久久久精品性色| 久久精品久久久久久噜噜老黄| 欧美97在线视频| 久久久久久久精品精品| 亚洲av日韩在线播放| 久热久热在线精品观看| 中文精品一卡2卡3卡4更新| 国产在线视频一区二区| 麻豆成人午夜福利视频| 日韩精品有码人妻一区| 少妇的逼水好多| 一区二区三区免费毛片| 2022亚洲国产成人精品| 免费黄频网站在线观看国产| 一级二级三级毛片免费看| 欧美日韩一区二区视频在线观看视频在线| 韩国高清视频一区二区三区| 亚洲精品乱久久久久久| 十八禁网站网址无遮挡 | 亚洲精品日韩av片在线观看| 精品久久久噜噜| 久久97久久精品| 美女大奶头黄色视频| 欧美成人午夜免费资源| 噜噜噜噜噜久久久久久91| 美女脱内裤让男人舔精品视频| 色视频www国产| 国产一区亚洲一区在线观看| 看免费成人av毛片| 国产成人aa在线观看| 国产一区二区在线观看av| 亚洲精品一二三| 一本大道久久a久久精品| 午夜av观看不卡| 中文字幕久久专区| 少妇猛男粗大的猛烈进出视频| 日韩av在线免费看完整版不卡| 久久精品国产亚洲av天美| 男女国产视频网站| 最近中文字幕2019免费版| 青春草国产在线视频| 日韩中文字幕视频在线看片| 亚洲欧美日韩东京热| 精品人妻熟女av久视频| 国产成人91sexporn| 国产成人一区二区在线| 中文乱码字字幕精品一区二区三区| 最新中文字幕久久久久| 少妇精品久久久久久久| 欧美另类一区| 精品人妻熟女毛片av久久网站| 中文字幕av电影在线播放| av天堂中文字幕网| 久久久久精品性色| 欧美精品一区二区免费开放| 丰满饥渴人妻一区二区三| 免费播放大片免费观看视频在线观看| 日日啪夜夜爽| 日韩三级伦理在线观看| 日韩视频在线欧美| 成人18禁高潮啪啪吃奶动态图 | 18禁动态无遮挡网站| 欧美国产精品一级二级三级 | 午夜激情福利司机影院| 成人国产av品久久久| 成人毛片60女人毛片免费| 亚洲人成网站在线播| 中国国产av一级| 三级国产精品欧美在线观看| 蜜桃久久精品国产亚洲av| 青春草亚洲视频在线观看| 亚洲欧美一区二区三区黑人 | 夫妻午夜视频| 九九在线视频观看精品| 欧美成人精品欧美一级黄| 欧美少妇被猛烈插入视频| 夜夜看夜夜爽夜夜摸| 亚洲精品国产av蜜桃| 成人影院久久| 亚洲国产精品一区二区三区在线| 亚洲不卡免费看| 青青草视频在线视频观看| 久久久久久久久久久久大奶| 丁香六月天网| 91久久精品国产一区二区成人| 只有这里有精品99| 免费人成在线观看视频色|