• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于共指消解的實(shí)體搜索模型研究

    2018-06-14 07:47:06徐增壯王瀟斌朱巧明
    中文信息學(xué)報(bào) 2018年5期
    關(guān)鍵詞:歧義文檔檢索

    熊 玲,徐增壯,王瀟斌,洪 宇,朱巧明

    (蘇州大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院,江蘇 蘇州 215006)

    0 引言

    SF是文本分析會議(text analysis conference)發(fā)起的知識庫構(gòu)建任務(wù)(knowledge base population,KBP)下的第二項(xiàng)子任務(wù)。作為信息抽取的一個(gè)重要方向,SF旨在從開放的數(shù)據(jù)源中抽取查詢實(shí)體(簡稱查詢)的屬性值[1]。SF系統(tǒng)包含三個(gè)基本模塊: ①文檔檢索模塊; ②屬性抽取模塊; ③后處理模塊[2]。其中,文檔檢索模塊旨在從海量的文檔集中檢索出包含查詢實(shí)體的相關(guān)文檔;屬性抽取模塊旨在從相關(guān)文檔中抽取出查詢實(shí)體的候選屬性值。例如對于查詢實(shí)體“Alexander Haig(亞歷山大·海格)”,從檢索得到的文檔包含的句子“Former US Secretary of State Alexander Haig died on Saturday in hospital at 85.(美國前國務(wù)卿亞歷山大·海格于周六在醫(yī)院去世,享年85歲。)”中可以抽取屬性值如表1所示;后處理模塊旨在從候選屬性值中合并同一屬性的結(jié)果,并篩選出最終屬性值。

    表1 查詢“Alexander Haig”屬性值

    文檔檢索的結(jié)果是SF的基礎(chǔ)。因此,如何有效地提高文檔檢索模塊的性能是提高SF整體性能的關(guān)鍵[3]。本文把SF中查詢的相關(guān)文檔檢索問題定義為實(shí)體搜索問題,即給定一個(gè)實(shí)體(人或組織)的名稱(稱為查詢),從指定文檔集中檢索所有包含該實(shí)體的文檔,即相關(guān)文檔?;诓紶栠壿嫷臋z索模型[4],在應(yīng)用到實(shí)體搜索問題上時(shí)存在以下兩個(gè)問題: ①實(shí)體同名歧義問題,例如,在維基百科中,與查詢“John Graham(約翰·格拉漢姆)”同名的人物共有25個(gè)。檢索得到的文檔雖然包含與查詢實(shí)體名稱相匹配的字符串,但是,該字符串在文中指代的實(shí)體不是給定的查詢實(shí)體; ②實(shí)體別名問題,即同一個(gè)實(shí)體可能對應(yīng)多個(gè)別名。例如,對于查詢“Public Library of Science(美國科學(xué)公共圖書館)”存在別名“PLoS”,文檔中可能出現(xiàn)與給定查詢形式不同的別名,前者導(dǎo)致檢索結(jié)果的準(zhǔn)確率較低,后者導(dǎo)致檢索結(jié)果的召回率較低。

    在信息檢索領(lǐng)域,通常使用查詢擴(kuò)展方法,在本問題上使用實(shí)體的別名(稱為擴(kuò)展查詢)對查詢進(jìn)行擴(kuò)展,以達(dá)到提高檢索召回率的目的[3]。但是該方法無法解決問題1,且該方法會加重問題1的影響,因?yàn)槭褂玫臄U(kuò)展查詢本身也會存在歧義。例如,對于查詢“National Restaurant Association(全國餐飲協(xié)會)”的擴(kuò)展查詢“NRA”,還可能表示“National Rifle Association(全國槍支協(xié)會)”。目前,SF領(lǐng)域關(guān)于實(shí)體搜索的相關(guān)研究較少,雖然已經(jīng)能夠較好地解決問題2,但是尚未有較好的對問題1的解決方法。本文將重點(diǎn)研究問題1的解決方法。

    針對實(shí)體搜索的實(shí)體同名歧義問題,本文提出一種基于跨文檔實(shí)體共指消解的實(shí)體搜索方法,該方法以基于布爾邏輯的檢索模型為基礎(chǔ),共分為兩個(gè)階段:

    (1) 使用查詢擴(kuò)展方法對原始查詢(即給定查詢)進(jìn)行擴(kuò)展,然后使用基于布爾邏輯的檢索模型從大規(guī)模文檔中獲取召回率較高的候選文檔集合;

    (2) 通過使用偽相關(guān)反饋方法擴(kuò)充查詢的描述信息、使用CDCR過濾候選文檔集合中由同名歧義問題引起的錯(cuò)誤結(jié)果(不相關(guān)文檔),優(yōu)化得到最終檢索結(jié)果。

    實(shí)驗(yàn)結(jié)果表明,通過使用偽相關(guān)反饋檢索方法可以提高檢索結(jié)果的召回率,通過使用CDCR可以提高檢索結(jié)果的準(zhǔn)確率,二者的結(jié)合可以獲得比現(xiàn)有檢索模型更好的性能。

    圍繞基于共指消解的實(shí)體搜索方法研究,本文其余部分組織結(jié)構(gòu)如下: 第2節(jié)介紹相關(guān)工作;第3節(jié)詳細(xì)介紹本文提出的基于共指消解的實(shí)體搜索方法;第4節(jié)給出對本文方法的實(shí)驗(yàn)驗(yàn)證與分析;最后,第5節(jié)總結(jié)全文并簡單闡述未來工作。

    1 相關(guān)工作

    現(xiàn)有SF研究聚焦于屬性抽取方法。使用的方法主要包括基于遠(yuǎn)程監(jiān)督分類的屬性抽取方法,如Roth等[5]和Angeli等[6],基于依存模式匹配的屬性抽取方法,如Yu等[7]和Li等[8],以及基于OpenIE屬性抽取方式,如Stephen等[9]。

    但是,在對實(shí)體搜索方法方面研究工作較少[3],現(xiàn)有的檢索模型只是簡單使用附帶查詢擴(kuò)展的基于布爾邏輯的檢索模型,差異主要在擴(kuò)展查詢的獲取方式。常用的查詢擴(kuò)展方式主要分為兩類,利用知識庫信息的查詢擴(kuò)展和基于規(guī)則的查詢擴(kuò)展。

    基于知識庫的查詢擴(kuò)展方法主要利用現(xiàn)有的實(shí)體知識庫(如維基百科)及給定的參考文檔信息獲取擴(kuò)展查詢。Roth等[5],Xu等[10]以及Yu等[7]通過統(tǒng)計(jì)維基頁面的重定向關(guān)系信息,構(gòu)建重定向詞典,通過重定向詞典的查找獲得給定查詢的候選擴(kuò)展。Xu等[10]從給定查詢的參考文檔中搜索查詢的縮寫形式和全稱形式來獲取擴(kuò)展查詢。這類方法對知識庫有較強(qiáng)的依賴性,對未收錄的實(shí)體無法進(jìn)行有效處理。

    基于規(guī)則的查詢擴(kuò)展方法使用人工編寫的規(guī)則對查詢字符串進(jìn)行變換,獲得擴(kuò)展查詢。

    Li等[8]通過去除特殊后綴(如“Ltd.”、“Corp.”等),利用參考文檔中的實(shí)體共指信息,以及基于規(guī)則從參考文檔中抽取別名,獲取擴(kuò)展查詢。Min等[11]使用特殊后綴去除、人名改寫(如將查詢“George Walker Bush”變?yōu)椤癎eorge W. Bush”)等方法來獲取擴(kuò)展查詢。這類方法集中于對詞一級實(shí)體名稱的變形和抽象,忽略了內(nèi)容更為豐富的文檔一級的特征對實(shí)體的刻畫能力,獲得的擴(kuò)展查詢僅有助于發(fā)現(xiàn)實(shí)體名稱的多種變形,能提高檢索結(jié)果召回率,而無法保證結(jié)果的準(zhǔn)確率。

    本文在附帶查詢擴(kuò)展的基于布爾邏輯的檢索模型基礎(chǔ)上,增加了對檢索結(jié)果的過濾,既能有效保留附帶查詢擴(kuò)展的檢索模型召回率高的優(yōu)點(diǎn),也能有效解決查詢歧義性引起的問題,從而獲得更好的檢索結(jié)果。

    2 基于共指消解的實(shí)體搜索方法

    基于共指消解的實(shí)體搜索方法以基于布爾邏輯的檢索模型為基礎(chǔ),通過運(yùn)用偽相關(guān)反饋方法和跨文檔實(shí)體共指消解方法,對基本的檢索結(jié)果進(jìn)行優(yōu)化。圖1給出了該方法的流程圖。

    圖1 基于共指消解的實(shí)體搜索方法流程圖

    圖1中使用不同線型表示模型的兩個(gè)階段:①虛線部分表示偽相關(guān)文檔檢索與共指消解,其中7表示偽相關(guān)反饋; ②實(shí)線部分表示候選文檔檢索與共指消解。前者旨在使用偽相關(guān)文檔擴(kuò)充查詢實(shí)體的描述信息,提高最終結(jié)果的召回率;后者旨在從大規(guī)模數(shù)據(jù)集中檢索獲得最終檢索結(jié)果的候選集合,并通過過濾候選集合中的錯(cuò)誤結(jié)果,即未包含給定查詢實(shí)體的文檔,以提高最終結(jié)果的準(zhǔn)確率。接下來先介紹本文使用的跨文檔實(shí)體共指消解方法,然后詳細(xì)介紹本文提出的方法的兩個(gè)處理階段。

    2.1 跨文檔實(shí)體共指消解

    實(shí)體共指消解分為單文檔共指消解(within document coreference resolution,WDCR)和跨文檔共指消解(cross document coreference resolution,CDCR)。WDCR旨在判斷同一篇文檔內(nèi)部的多個(gè)實(shí)體名稱是否指代同一個(gè)實(shí)體,然后形成多個(gè)實(shí)體鏈,每個(gè)實(shí)體鏈中的實(shí)體名稱都指代同一個(gè)實(shí)體。CDCR旨在判斷不同文檔中多個(gè)實(shí)體描述是否指代同一個(gè)實(shí)體。為了降低問題復(fù)雜度,CDCR通常在WDCR的基礎(chǔ)上進(jìn)行,即判斷各個(gè)文檔中不同的實(shí)體鏈?zhǔn)欠裰赶蛲粚?shí)體?,F(xiàn)有研究主要使用聚類算法實(shí)現(xiàn)實(shí)體共指消解,區(qū)別主要在于聚類算法的選擇及實(shí)體的相似度度量標(biāo)準(zhǔn)。

    本文WDCR方法使用Manning等[12]的方法,使用的 CDCR方法借鑒Rao等[13],該方法相比于傳統(tǒng)的層次聚類算法,具有算法復(fù)雜度低的優(yōu)點(diǎn),適用于本文這種需要對大量文檔進(jìn)行共指消解的場合。其算法如下:

    算法CDCR-cluster 輸入: WDCR后的文檔集合,表示為序列,其中,Ei為待共指消解的實(shí)體在Di中的實(shí)體鏈。1 C←φ2 For each entity chain :3 For each cluster ck in C:4 simk ← Similarity( , ck ) //①5 n ← the k maximize the simk6 if simn>T:7 cn←cn ∪{} //將文檔加入最相似類簇8 else9 C∪{} //創(chuàng)建新的類簇輸出: C

    算法CDCR-cluster表示對每篇輸入文檔計(jì)算與所有類簇的相似度(第4行),如果最大相似度值大于設(shè)定的閾值T(依據(jù)經(jīng)驗(yàn),本文設(shè)定該閾值為0.1),該文檔加入取得最大相似度值的類簇(第7行),否則創(chuàng)建新的類簇(第9行)。最終輸出聚類結(jié)果。其中①處相似度計(jì)算如式(1)所示。

    (1)

    式(1)中Jaccard(C,E)表示實(shí)體鏈E包含的所有實(shí)體名稱包含的單詞的unigram集合與類簇C中所有實(shí)體名稱包含的單詞(忽略代詞)的unigram集合的Jaccard系數(shù),計(jì)算如式(2)所示。

    (2)

    cos(C,D)表示文檔D的特征向量與文檔C的特征向量的余弦相似度。文檔特征向量采用向量空間模型表示,聚類結(jié)果的特征向量使用類簇中所有文檔的特征向量之和表示,也稱為該類簇的中心向量。α表示平衡系數(shù),依據(jù)經(jīng)驗(yàn)設(shè)定為0.2。因此,式(1)的含義就是: 實(shí)體名稱以及其上下文與類簇中實(shí)體名稱與上下文共同信息越多,實(shí)體與類簇越相似。

    2.2 候選相關(guān)文檔檢索

    候選相關(guān)文檔指包含給定查詢實(shí)體名或其別名的文檔,但無法確定此實(shí)體名是否指代給定的實(shí)體。本文對候選相關(guān)文檔集進(jìn)行優(yōu)化,獲得最終的檢索結(jié)果。首先,候選相關(guān)文檔集決定了本文最終結(jié)果的文檔范圍,因此要求其具有較高的召回率,即獲取候選相關(guān)文檔集的檢索模型需要很好地解決實(shí)體別名問題。正如相關(guān)工作中所述,現(xiàn)有的在SF中使用的檢索模型對此已有研究,且該問題不在本文研究范圍之內(nèi),本文直接借鑒目前較好的系統(tǒng)的模型。具體的,本文使用薩爾大學(xué)口語系統(tǒng)研究所(Spoken Language Systems at Saarland University,LSV)在2013年SF任務(wù)中使用的檢索模型*https://github.com/beroth/relationfactory作為基本檢索模型,用以獲取候選相關(guān)文檔。LSV在2012、2013年SF評測中均獲得第一的成績,其檢索模型可以代表目前較高水平。該檢索模型先獲取原始查詢的擴(kuò)展查詢,采用的方式如下:

    (1) 使用重定向詞典。根據(jù)維基頁面的重定向關(guān)系,整理得到頁面標(biāo)題的重定向詞典。如對于標(biāo)題為“Obama(奧巴馬)”頁面被重定向到頁面“Barack Obama(巴拉克·奧巴馬)”,這兩個(gè)頁面標(biāo)題構(gòu)成的二元組為重定向詞典的一條記錄;

    (2) 人名擴(kuò)展。對于人名查詢,使用人名姓氏作為擴(kuò)展。例如,將“Jobs(喬布斯)”作為查詢“Steve Jobs(斯蒂夫·喬布斯)”的擴(kuò)展;

    (3) 組織名后綴替換。對于組織名查詢,通過改變表示組織名查詢的后綴獲得擴(kuò)充查詢。如對于查詢“ABC Corp.(美國廣播公司)”可以獲得擴(kuò)展查詢“ABC Inc.(美國廣播公司)”。

    然后,該檢索模型利用原始查詢和擴(kuò)展查詢進(jìn)行檢索,要求檢索到的文檔或者包含原始查詢或者包含擴(kuò)展查詢。擴(kuò)展查詢使用方式如下:

    (1) 選擇與原始查詢互信息最大的擴(kuò)展查詢對原始查詢進(jìn)行擴(kuò)展,從大規(guī)模文檔中進(jìn)行檢索;

    (2) 如果檢索結(jié)果中文檔數(shù)量小于閾值(設(shè)定為500),則使用所有擴(kuò)展查詢對原始查詢進(jìn)行擴(kuò)展,重新進(jìn)行檢索。

    通過使用上述的檢索模型本文獲取候選相關(guān)文檔集,且該檢索結(jié)果的召回率較高。但是,由于該檢索模型沒有考慮查詢歧義性問題,其準(zhǔn)確率較低,需要對結(jié)果進(jìn)行優(yōu)化,接下來,本文將詳細(xì)描述如何使用本文提出的方法優(yōu)化該結(jié)果。

    2.3 候選相關(guān)文檔集優(yōu)化

    候選相關(guān)文檔集雖然較好地解決了實(shí)體別名問題,具有較高的召回率,但無法解決實(shí)體同名歧義問題,因此其準(zhǔn)確率較低。本文使用CDCR方法,對其進(jìn)行優(yōu)化。具體的,通過將候選相關(guān)文檔集進(jìn)行共指消解聚類,可以將不同實(shí)體的相關(guān)文檔聚成不同類簇,對應(yīng)給定查詢實(shí)體類簇中所有文檔都是相關(guān)文檔。

    從上文CDCR-cluster算法中可以看出,實(shí)體共指消解需要在具體的文檔中進(jìn)行,文檔與查詢字符串無法進(jìn)行共指消解。另外,CDCR-cluster算法只能將實(shí)體分成不同實(shí)體的實(shí)體鏈,并不能給出哪個(gè)實(shí)體鏈指代本文所需的實(shí)體。此時(shí),KBP為每個(gè)查詢提供的參考文檔,即包含給定查詢實(shí)體的文檔可以發(fā)揮作用。具體的,本文對CDCR-cluster算法進(jìn)行一些修改: 初始時(shí)將參考文檔作為一個(gè)類簇,將聚類結(jié)果中處于該類的文檔都看作相關(guān)文檔。

    然而,這些參考文檔包含的相關(guān)查詢實(shí)體的描述信息并不是很充分,有些僅僅只是提到相關(guān)查詢實(shí)體,即使人工閱讀也很難總結(jié)出有效的用于區(qū)分實(shí)體的信息。這些參考文檔在CDCR時(shí)由于與候選文檔相同信息較少,過濾過程造成召回率損失較大。為此,本文采用偽相關(guān)反饋的方式對查詢實(shí)體的描述信息進(jìn)行擴(kuò)充。偽相關(guān)反饋指使用初步檢索結(jié)果中相關(guān)度前幾位的文檔(稱為偽相關(guān)文檔)對查詢進(jìn)行擴(kuò)充。相關(guān)研究表明,當(dāng)查詢信息不足時(shí),使用偽相關(guān)反饋可以獲得更好的檢索結(jié)果[14]。本文借助基本檢索模型,不使用其查詢擴(kuò)展功能,僅僅使用文檔檢索功能,檢索結(jié)果按照文檔與查詢的相關(guān)度排序。參照偽相關(guān)反饋的一般方法,本文從基本檢索結(jié)果中選取排序靠前的部分文檔作為偽相關(guān)文檔,用以擴(kuò)充查詢描述信息。具體擴(kuò)充方法為: 將偽相關(guān)文檔和參考文檔同時(shí)加入CDCR初始類簇中。

    但是,偽相關(guān)文檔中同樣會存在同名歧義問題,如果不對此問題進(jìn)行處理,必然在擴(kuò)充查詢信息時(shí)引入較多噪聲,影響最終結(jié)果的準(zhǔn)確率。因此,本文使用參考文檔作為初始類簇,先對所有偽相關(guān)文檔進(jìn)行共指消解,將聚類結(jié)果中保留的文檔作為最終使用的偽相關(guān)文檔。

    至此,本文提及多個(gè)文檔集合,圖2解釋了它們之間的關(guān)系: 使用參考文檔作為初始條件提高偽相關(guān)文檔集a的準(zhǔn)確率,并用得到的結(jié)果b對候選文檔集c進(jìn)行優(yōu)化,得到準(zhǔn)確率與召回率兼顧的最終結(jié)果d。

    圖2 各個(gè)文檔集之間的關(guān)系

    算法Two-stage-CDCR描述了本文對候選相關(guān)文檔的優(yōu)化過程:

    算法Two-stage-CDCR輸入: 候選相關(guān)文檔集{},偽相關(guān)文檔集{},參考文檔,輸入文檔均經(jīng)過WDCR處理。1 C ← 2 For each entity chain :3 sim ← Similarity ( , C)4 if sim>T:5 C ← C ∪ {}6 For each entity chain :7 sim ← Similarity ( , C)8 if sim>T:9 C ← C ∪{}輸出: C

    從算法Two-stage-CDCR可以看出,本文對候選結(jié)果的優(yōu)化分為兩個(gè)階段: 首先,本文通過對偽相關(guān)反饋的結(jié)果進(jìn)行共指消解(1~5行),從而解決其自身存在的同名歧義問題。然后,本文將偽相關(guān)文檔共指消解的結(jié)果作為候選文檔集共指消解的初始條件,對候選文檔集進(jìn)行共指消解(6~9行),從而克服參考文檔包含的有關(guān)查詢的信息不充分的問題,保證結(jié)果的召回率。

    3 實(shí)驗(yàn)設(shè)置與分析

    3.1 實(shí)驗(yàn)數(shù)據(jù)集與評價(jià)方法

    本文采用KBP2013 SF任務(wù)評測所用的查詢作為輸入查詢,共包含100條查詢,其中人名實(shí)體查詢和組織名實(shí)體查詢各為50條。為了驗(yàn)證本文方法在歧義性較大的查詢上的作用,本文又從KBP2014 SF任務(wù)評測所用的查詢中選取存在歧義的15個(gè)查詢[3]作為輸入查詢。本文采用KBP2013 SF任務(wù)評測提供的文檔集(LDC2014E13)作為相關(guān)文檔的檢索范圍。該文檔集共包含文檔2 099 319篇,包含文檔類型如下: 新聞文本(1 000 257篇)、網(wǎng)頁頁面(999 999篇)和論壇數(shù)據(jù)(99 063篇)。

    KBP對所有SF輸出結(jié)果進(jìn)行人工標(biāo)注,本文從KBP2013標(biāo)注結(jié)果中抽取被標(biāo)注為正確的文檔編號形成2013年100個(gè)查詢檢索結(jié)果的參考答案集,并且對Yu等[7]和Roth等[4]系統(tǒng)檢索模塊對此100個(gè)查詢的檢索結(jié)果進(jìn)行人工標(biāo)注,作為參考答案集的補(bǔ)充。對于2014年的輸入查詢,由于缺乏KBP的標(biāo)注數(shù)據(jù),使用對Yu等[7]和Roth等[4]系統(tǒng)檢索模塊對此15個(gè)查詢的檢索結(jié)果的人工標(biāo)注結(jié)果作為參考答案集。本文對檢索結(jié)果采用的評價(jià)指標(biāo)為準(zhǔn)確率(Precision,P),召回率(Recall,R)和F1值(F1)。

    3.2 實(shí)驗(yàn)系統(tǒng)設(shè)置

    為驗(yàn)證本文方法的有效性,本文設(shè)置了如下幾個(gè)系統(tǒng)作為對比系統(tǒng):

    (1) Baseline: 該系統(tǒng)采用LSV在2013年SF評測使用的系統(tǒng)的檢索模塊;

    (2) Sys_R: 該系統(tǒng)僅將參考文檔加入第二階段聚類的初始類簇,不使用偽相關(guān)反饋方法;

    (3) Sys_PF: 該系統(tǒng)將所有偽相關(guān)文檔加入第二階段聚類的初始類簇,省去第一階段聚類;

    (4) Sys_R_PF: 完整使用本文的方法,即使用參考文檔作為初始條件進(jìn)行第一階段聚類,優(yōu)化偽相關(guān)文檔集,將此結(jié)果作為第二階段聚類的初始條件,再對候選文檔集進(jìn)行聚類。

    LSV參與了2012年與2013年的SF評測,并均取得了第一名的成績,本文認(rèn)為LSV系統(tǒng)的檢索模型能夠在一定程度上代表目前SF中檢索模型的較優(yōu)水平,因此將其作為基準(zhǔn)系統(tǒng)。設(shè)置Sys_R的目的在于,通過與Sys_R_PF的結(jié)果進(jìn)行對比,可以分析偽相關(guān)反饋的作用。設(shè)置Sys_PF的目的在于,通過與Sys_R_PF的結(jié)果進(jìn)行對比,可以分析人工標(biāo)注的參考文檔的作用。

    3.3 實(shí)驗(yàn)分析

    表2給出了各個(gè)系統(tǒng)的性能數(shù)據(jù)。從表中數(shù)據(jù)可以看出,根據(jù)本文提出的基于實(shí)體共指的實(shí)體搜索方法實(shí)現(xiàn)的系統(tǒng)Sys_R,Sys_PF,Sys_R_PF相比與根據(jù)基于布爾邏輯的檢索模型實(shí)現(xiàn)的實(shí)體搜索系統(tǒng)Baseline,F(xiàn)1值都有一定程度的提升,分別提升1.79%,2.34%,2.56%??梢?,本文提出的方法對現(xiàn)有的實(shí)體搜索方法有一定改進(jìn)。下面本文分別從共指消解的作用、參考文檔的作用與偽相關(guān)反饋的作用三個(gè)方面分析本文方法優(yōu)于Baseline的原因。

    表2 各個(gè)系統(tǒng)性能

    3.3.1 共指消解的作用

    表3給出了對各個(gè)系統(tǒng)在候選文檔集中文檔過濾準(zhǔn)確率的統(tǒng)計(jì),過濾準(zhǔn)確率即被過濾文檔中確為不相關(guān)的文檔數(shù)量占過濾總數(shù)的比例。從表3中數(shù)據(jù)可以看出,通過使用實(shí)體共指消解方法,對候選文檔的過濾準(zhǔn)確率基本都能達(dá)到80%左右,即能夠排除候選文檔中大量的錯(cuò)誤,所以能夠有效提升結(jié)果的準(zhǔn)確率,由此,F(xiàn)1值得到提升。

    表3 各個(gè)系統(tǒng)過濾準(zhǔn)確率統(tǒng)計(jì)

    3.3.2 參考文檔的作用

    根據(jù)表2數(shù)據(jù),通過Baseline與Sys_R的對比可以看出,引入?yún)⒖嘉臋n對候選文檔集進(jìn)行共指消解,可以有效提升檢索結(jié)果的準(zhǔn)確率,雖然召回率受到了損失,但是總體的F1值有所提高。同樣,對比Sys_PF與Sys_R_PF的結(jié)果,通過引入?yún)⒖嘉臋n對偽相關(guān)反饋結(jié)果進(jìn)行提升,使得最終檢索結(jié)果的準(zhǔn)確率與F1值也能得到有效提升??梢?,通過人工標(biāo)注給出查詢的正確相關(guān)文檔,在提升檢索結(jié)果的性能上至關(guān)重要。而查詢一篇相關(guān)文檔的標(biāo)注工作量較小,在實(shí)際應(yīng)用中完全可以接受。因此本文提出的方法在給定查詢沒有參考文檔的應(yīng)用場景下依然具有使用價(jià)值。

    3.3.3 偽相關(guān)反饋的作用

    然而,從另一個(gè)角度觀察表3中的數(shù)據(jù),由于實(shí)體共指的結(jié)果并不是100%的準(zhǔn)確,導(dǎo)致對候選結(jié)果的過濾中丟棄了一部分相關(guān)文檔,表2的數(shù)據(jù)反映了相同的問題,即相比于Baseline,其余各個(gè)系統(tǒng)的召回率都有不同程度的損失。本文通過引入偽相關(guān)反饋降低該問題的影響。

    Sys_R、Sys_R_PF、Sys_PF在對候選文檔集進(jìn)行聚類時(shí),使用的偽相關(guān)文檔數(shù)量依次增加,其中Sys_R不使用偽相關(guān)文檔,Sys_R_PF使用部分偽相關(guān)文檔、Sys_PF使用了全部偽相關(guān)文檔,對比表2中數(shù)據(jù)可以看出,隨著使用偽相關(guān)文檔的數(shù)量的增加,檢索結(jié)果的召回率也在提高。從另一個(gè)角度看,相比于Baseline,這些系統(tǒng)的召回率都較低,提高這些系統(tǒng)的召回率可以保證盡量減少候選文檔中相關(guān)文檔的損失。此外,從表3數(shù)據(jù)也能大致看出偽相關(guān)文檔的作用: 僅將參考文檔用于共指消解,過濾準(zhǔn)確率相對較低,而使用偽相關(guān)文檔可以有效提升過濾準(zhǔn)確率,證明使用偽相關(guān)反饋是本文方法優(yōu)于Baseline的一個(gè)關(guān)鍵原因。

    綜合以上分析,本文方法優(yōu)于Baseline的原因主要有三點(diǎn):

    (1) 通過使用實(shí)體共指消解過濾不相關(guān)文檔,提升了檢索結(jié)果的準(zhǔn)確率;

    (2) 共指消解中引入?yún)⒖嘉臋n,進(jìn)一步提升過濾的準(zhǔn)確率;

    (3) 使用偽相關(guān)反饋降低過濾過程中的召回率損失,保證了F1的提升。

    表4給出在SF 2014年的15個(gè)歧義性較大的查詢上的性能。需要說明的是,由于2014年查詢的參考答案標(biāo)注范圍小于2013年(缺少KBP的標(biāo)注數(shù)據(jù)),因此,表4中所有系統(tǒng)的召回率都偏高,但是對于分析系統(tǒng)之間的差異依然具有一定的參考價(jià)值。

    表4 歧義查詢上各個(gè)系統(tǒng)的性能

    從表4中數(shù)據(jù)可以看出,在歧義性較大的查詢上,系統(tǒng)之間的差異更加明顯。相比Baseline,Sys_R_PF的準(zhǔn)確率、F1值分別提升16.27%、5.07%??梢姳疚姆椒ㄔ谄缌x性較大的查詢上作用更加明顯。相比Sys_R,Sys_R_PF準(zhǔn)確率有所下降,與表3中體現(xiàn)的規(guī)律不一致,主要原因在于,當(dāng)查詢歧義性較大時(shí),偽相關(guān)的準(zhǔn)確率也較低,使用偽相關(guān)文檔會引入一些噪聲,這從Sys_PF的準(zhǔn)確率明顯低于Sys_R、Sys_R_PF也能得到證明。Sys_R_PF相比于Sys_R,召回率提升明顯,且F1值提升3.92%,再次證明偽相關(guān)反饋機(jī)制的作用。

    4 總結(jié)與展望

    針對目前SF任務(wù)中使用的檢索模型無法處理查詢歧義性、檢索結(jié)果準(zhǔn)確率較低的問題,本文提出一種基于跨文檔實(shí)體共指消解的實(shí)體搜索模型,該模型借助偽反饋機(jī)制獲取的文檔對查詢的參考文檔進(jìn)行補(bǔ)充,豐富用于共指消解的信息,使用實(shí)體共指消解方法對候選結(jié)果進(jìn)行優(yōu)化,過濾不相關(guān)文檔,獲取比目前常見的僅基于布爾邏輯的檢索模型更好的檢索性能。實(shí)驗(yàn)結(jié)果表明,本文提出的方法能夠有效過濾不相關(guān)文檔,進(jìn)一步提升檢索結(jié)果的準(zhǔn)確率和F1值。

    但是,從實(shí)驗(yàn)數(shù)據(jù)可以看出,本文的方法依然還有很大的提升空間,檢索結(jié)果的準(zhǔn)確率依然較低。本文的未來工作圍繞以下幾方面進(jìn)行:

    (1) 改變單一的使用別名對原始查詢按照“或”邏輯擴(kuò)展的查詢擴(kuò)展方式,使用從參考文檔中提取的關(guān)鍵詞對原始查詢按照“與”邏輯擴(kuò)展,提高候選相關(guān)文檔的準(zhǔn)確率;

    (2) 改進(jìn)共指消解聚類所用的相似度計(jì)算方法,如融入文檔主題信息、使用實(shí)體上下文替代整篇文檔、區(qū)分不同類型詞對相似度計(jì)算的重要性等,使得相似度值能夠更加客觀地反映文檔間實(shí)體共指情況。

    [1] Dang H T, Surdeanu M. Task description for knowledge-base population at TAC 2013[C]//Proceedings of the 6th Text Analysis Conterence,2013.

    [2] Ji H, Grishman R. Knowledge base population: Successful approaches and challenges[C]//Proceedings of the 49th ACL: Human Language Technologies-Volume 1,2011: 1148-1158.

    [3] Surdeanu M, Ji H. Overview of the English slot filling track at the TAC2014 knowledge base population evaluation[C]//Proceeding of Text Analysis Conference(TAC2014),2014.

    [4] Manning C D, Raghavan P, Schütze H. Introduction to information retrieval[M]. Cambridge: Cambridge university press, 2008: 1-18.

    [5] Roth B, Barth T, Wiegand M, et al. Effective slot filling based on shallow distant supervision methods[C]//Proceedings of the Sixth Text Analysis Conference,2013.

    [6] Angeli G, Chaganty A, Chang A, et al. Stanford’s 2013 KBP system[C]//Proceedings of the Sixth Text Analysis Conference,2013.

    [7] Yu D, Li H, Cassidy T, et al. RPI-BLENDER TAC-KBP2013 knowledge base population system[C]//Proceedings of the Sixth Text Analysis Conference,2013.

    [8] Li Y, Zhang Y C, Li D Y, et al. PRIS at knowledge base population 2013[C]//Proceedings of the Sixth Text Analysis Conference,2013.

    [9] Soderland S, Gilmer J, Bart R, et al. Open information extraction to KBP relations in 3 hours[C]//Proceedings of the Sixth Text Analysis Conference,2013.

    [10] Xu S, Zhang C X, Niu Z D, et al. BIT’s slot-filling method for TAC-KBP 2013[C]//Proceedings of the Sixth Text Analysis Conference,2013.

    [11] Min B, Li X, Grishman R, et al. New York University 2012 system for KBP slot filling[C]//Proceedings of the Fifth Text Analysis Conference.2012.

    [12] Manning Christopher D, Mihai Surdeanu, JohnBauer, et al. The Stanford CoreNLP Natural Language Processing Toolkit[C]//Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics: System Demonstrations, 2014: 55-60

    [13] Rao D, McNamee P, Dredze M. Streaming cross document entity coreference resolution[C]//Proceedings of the 23rd International Conference on Computational Linguistics: Posters. Association for Computational Linguistics, 2010: 1050-1058.

    [14] Xu J, Croft W B. Query expansion using local and global document analysis[C]//Proceedings of the 19th Annual International ACM SIGIR Conference on Research and Development in Information Retrieval. ACM, 1996: 4-11.

    猜你喜歡
    歧義文檔檢索
    有人一聲不吭向你扔了個(gè)文檔
    eUCP條款歧義剖析
    中國外匯(2019年12期)2019-10-10 07:26:58
    2019年第4-6期便捷檢索目錄
    English Jokes: Homonyms
    基于RI碼計(jì)算的Word復(fù)制文檔鑒別
    專利檢索中“語義”的表現(xiàn)
    專利代理(2016年1期)2016-05-17 06:14:36
    “那么大”的語義模糊與歧義分析
    Persistence of the reproductive toxicity of chlorpiryphos-ethyl in male Wistar rat
    不讓他人隨意下載Google文檔
    電腦迷(2012年4期)2012-04-29 06:12:13
    尋求歧義研究的解釋力度:從認(rèn)知視角到社會視角——兼評《現(xiàn)代漢語歧義識別與消解的認(rèn)知研究》
    欧美成人午夜免费资源| 日本av手机在线免费观看| 亚洲av日韩在线播放| 三级经典国产精品| 欧美+日韩+精品| 国产精品人妻久久久久久| 欧美一级a爱片免费观看看| 亚洲精品一区蜜桃| 香蕉精品网在线| 国产人妻一区二区三区在| 一本一本综合久久| 大片免费播放器 马上看| 日韩成人av中文字幕在线观看| 少妇的逼好多水| 啦啦啦在线观看免费高清www| 中国三级夫妇交换| 99久久精品热视频| 精品国产三级普通话版| 看非洲黑人一级黄片| 99热国产这里只有精品6| 亚洲欧美成人综合另类久久久| 午夜日本视频在线| 亚洲精品aⅴ在线观看| 1000部很黄的大片| 亚洲精品自拍成人| 黄片无遮挡物在线观看| 亚洲美女黄色视频免费看| 日本午夜av视频| 看非洲黑人一级黄片| 最新中文字幕久久久久| 国产精品av视频在线免费观看| 99热网站在线观看| 99久久中文字幕三级久久日本| 黑人高潮一二区| 国产成人免费观看mmmm| 高清日韩中文字幕在线| 免费播放大片免费观看视频在线观看| 免费播放大片免费观看视频在线观看| 观看av在线不卡| 国产午夜精品久久久久久一区二区三区| 欧美日韩在线观看h| 免费观看a级毛片全部| 日韩伦理黄色片| 高清日韩中文字幕在线| 国产精品国产三级国产av玫瑰| 有码 亚洲区| 亚洲国产欧美人成| 欧美性感艳星| 校园人妻丝袜中文字幕| av卡一久久| 啦啦啦视频在线资源免费观看| 亚洲精品国产成人久久av| 大片电影免费在线观看免费| 伦理电影免费视频| 高清不卡的av网站| 性色avwww在线观看| 日本欧美国产在线视频| 麻豆乱淫一区二区| 国产精品久久久久久久久免| 狠狠精品人妻久久久久久综合| 晚上一个人看的免费电影| 狠狠精品人妻久久久久久综合| 欧美极品一区二区三区四区| 精品亚洲成国产av| 午夜免费观看性视频| 欧美日本视频| 看免费成人av毛片| 97在线人人人人妻| 久久久精品94久久精品| 婷婷色麻豆天堂久久| 麻豆成人av视频| 国产高清国产精品国产三级 | 深爱激情五月婷婷| 亚洲色图综合在线观看| 亚洲va在线va天堂va国产| 水蜜桃什么品种好| 亚洲av综合色区一区| 伊人久久国产一区二区| 久久久精品免费免费高清| 在线精品无人区一区二区三 | 免费观看无遮挡的男女| 一区二区三区乱码不卡18| av女优亚洲男人天堂| 一级av片app| videos熟女内射| 人人妻人人看人人澡| 日韩,欧美,国产一区二区三区| 九九在线视频观看精品| 日本-黄色视频高清免费观看| 亚洲精品乱码久久久久久按摩| 亚洲成人中文字幕在线播放| 久久久久久伊人网av| 高清av免费在线| 18禁在线播放成人免费| 日本爱情动作片www.在线观看| 欧美xxxx黑人xx丫x性爽| 国产淫片久久久久久久久| 天堂俺去俺来也www色官网| 亚洲人成网站在线播| 亚洲人成网站高清观看| 中国美白少妇内射xxxbb| 久久久久久久久久久免费av| 亚洲av日韩在线播放| 成人黄色视频免费在线看| 亚洲av男天堂| 国产国拍精品亚洲av在线观看| 久久久久人妻精品一区果冻| 少妇裸体淫交视频免费看高清| av国产久精品久网站免费入址| 亚洲人与动物交配视频| 国产69精品久久久久777片| 99热这里只有精品一区| 国产高清三级在线| 色5月婷婷丁香| 国产av精品麻豆| 国产黄色免费在线视频| 国产精品av视频在线免费观看| 欧美精品国产亚洲| 免费大片18禁| 国语对白做爰xxxⅹ性视频网站| 狂野欧美激情性bbbbbb| 亚洲不卡免费看| 国产成人精品一,二区| 熟女av电影| 99精国产麻豆久久婷婷| 午夜福利在线在线| 又大又黄又爽视频免费| 有码 亚洲区| 六月丁香七月| 久久久久性生活片| 99热这里只有精品一区| 久久毛片免费看一区二区三区| 亚洲成色77777| 蜜臀久久99精品久久宅男| 视频区图区小说| 日韩强制内射视频| 嫩草影院入口| 青春草国产在线视频| 涩涩av久久男人的天堂| 一个人看视频在线观看www免费| 日韩人妻高清精品专区| 精品国产乱码久久久久久小说| 国产成人免费观看mmmm| 成人漫画全彩无遮挡| 精品久久久精品久久久| 99热全是精品| 久久久a久久爽久久v久久| 在线精品无人区一区二区三 | 国产成人a∨麻豆精品| 亚洲国产精品成人久久小说| 欧美成人精品欧美一级黄| av专区在线播放| av天堂中文字幕网| 亚洲精品久久久久久婷婷小说| 中国三级夫妇交换| 久久99热这里只频精品6学生| 国产人妻一区二区三区在| 亚洲av在线观看美女高潮| 日韩成人伦理影院| 制服丝袜香蕉在线| 最黄视频免费看| 一级毛片电影观看| 老司机影院成人| 99热这里只有精品一区| 国产成人午夜福利电影在线观看| 欧美日韩综合久久久久久| 黄片无遮挡物在线观看| 精品久久久久久久久av| 六月丁香七月| 熟妇人妻不卡中文字幕| 久热这里只有精品99| 国产精品一区二区三区四区免费观看| 精品熟女少妇av免费看| 少妇丰满av| 嫩草影院入口| 久久99热6这里只有精品| 国产色婷婷99| 免费看光身美女| 亚洲精品aⅴ在线观看| 少妇人妻久久综合中文| 偷拍熟女少妇极品色| 人妻少妇偷人精品九色| 国产日韩欧美亚洲二区| 久久久久国产网址| 91午夜精品亚洲一区二区三区| 日本vs欧美在线观看视频 | 成人特级av手机在线观看| 欧美xxxx黑人xx丫x性爽| 成人二区视频| 国产淫语在线视频| 国产成人freesex在线| 久久热精品热| 在线观看三级黄色| 一二三四中文在线观看免费高清| 国产精品一区www在线观看| 观看免费一级毛片| 女人久久www免费人成看片| 国产乱人视频| 各种免费的搞黄视频| 午夜免费鲁丝| 水蜜桃什么品种好| 亚洲三级黄色毛片| 大陆偷拍与自拍| 美女主播在线视频| 黑人猛操日本美女一级片| 国产在视频线精品| 极品教师在线视频| 人人妻人人看人人澡| 九九在线视频观看精品| 亚洲怡红院男人天堂| 天美传媒精品一区二区| 国产 精品1| 国产日韩欧美在线精品| 国产成人精品福利久久| 国产黄色免费在线视频| 五月玫瑰六月丁香| 亚洲欧美清纯卡通| 精品亚洲成a人片在线观看 | 国产亚洲最大av| 国产精品熟女久久久久浪| 欧美成人精品欧美一级黄| 久久毛片免费看一区二区三区| 1000部很黄的大片| 黑人高潮一二区| 97热精品久久久久久| 欧美 日韩 精品 国产| 亚洲国产精品999| 亚洲精品久久久久久婷婷小说| 国产精品三级大全| 国产精品久久久久久精品电影小说 | 成年免费大片在线观看| 人妻 亚洲 视频| 制服丝袜香蕉在线| 亚洲欧洲国产日韩| 在线观看美女被高潮喷水网站| a 毛片基地| 成人午夜精彩视频在线观看| av在线蜜桃| 一级毛片 在线播放| 国产精品久久久久久av不卡| 国产一级毛片在线| 伦精品一区二区三区| 亚洲精品久久久久久婷婷小说| 午夜激情久久久久久久| 国产在视频线精品| 免费黄频网站在线观看国产| 亚洲经典国产精华液单| 在线观看一区二区三区| 在线观看美女被高潮喷水网站| 国产精品99久久99久久久不卡 | 国产精品人妻久久久久久| 国产有黄有色有爽视频| 亚洲av成人精品一二三区| 日韩成人av中文字幕在线观看| 欧美xxxx性猛交bbbb| 乱码一卡2卡4卡精品| 网址你懂的国产日韩在线| 欧美bdsm另类| 国产高清有码在线观看视频| 国产精品久久久久久久久免| 亚洲无线观看免费| av播播在线观看一区| 久久综合国产亚洲精品| 久久久久精品性色| videos熟女内射| 亚洲av二区三区四区| 国内揄拍国产精品人妻在线| 91精品伊人久久大香线蕉| 国产精品蜜桃在线观看| 少妇高潮的动态图| 日本wwww免费看| 91久久精品国产一区二区成人| 香蕉精品网在线| 在线播放无遮挡| 亚洲美女黄色视频免费看| 久久久久久久精品精品| 久久久久精品性色| 国产成人a区在线观看| 国产高清不卡午夜福利| 日韩中字成人| 黑人猛操日本美女一级片| 久久久久网色| 久久久久久人妻| 国产成人精品福利久久| 看非洲黑人一级黄片| 亚洲国产精品一区三区| 人妻系列 视频| 一个人看视频在线观看www免费| av播播在线观看一区| 亚洲精品国产色婷婷电影| 日韩一区二区三区影片| 日韩一区二区视频免费看| 成人毛片a级毛片在线播放| 日韩欧美精品免费久久| 久久99热6这里只有精品| 久久国产精品男人的天堂亚洲 | 一个人看视频在线观看www免费| 日韩中字成人| 亚洲精品久久午夜乱码| 成人二区视频| 少妇的逼水好多| 日本免费在线观看一区| 国产一区二区在线观看日韩| 黄色怎么调成土黄色| 晚上一个人看的免费电影| 精品少妇黑人巨大在线播放| 汤姆久久久久久久影院中文字幕| 黑人猛操日本美女一级片| 午夜老司机福利剧场| 蜜桃久久精品国产亚洲av| 九草在线视频观看| 成人黄色视频免费在线看| 久久精品久久精品一区二区三区| 午夜激情福利司机影院| 国产精品人妻久久久久久| 国产极品天堂在线| 日韩强制内射视频| 在线免费观看不下载黄p国产| 欧美变态另类bdsm刘玥| 亚洲精品视频女| 欧美日韩视频高清一区二区三区二| 精品99又大又爽又粗少妇毛片| av天堂中文字幕网| 爱豆传媒免费全集在线观看| 日韩免费高清中文字幕av| 精品亚洲乱码少妇综合久久| 午夜福利在线观看免费完整高清在| 日本猛色少妇xxxxx猛交久久| 建设人人有责人人尽责人人享有的 | 国产成人精品一,二区| 精品国产露脸久久av麻豆| 午夜激情久久久久久久| 日韩一区二区三区影片| 日韩,欧美,国产一区二区三区| 国产伦精品一区二区三区视频9| 插阴视频在线观看视频| 人妻 亚洲 视频| 黄片无遮挡物在线观看| 在线观看免费高清a一片| 国产一区有黄有色的免费视频| 久久久久久九九精品二区国产| 欧美另类一区| 亚洲美女搞黄在线观看| 大话2 男鬼变身卡| 男女国产视频网站| 亚洲av不卡在线观看| 九九在线视频观看精品| 精品久久国产蜜桃| 一级黄片播放器| 国产在线免费精品| 亚洲一级一片aⅴ在线观看| 亚洲av免费高清在线观看| 精品视频人人做人人爽| 国产永久视频网站| 人人妻人人添人人爽欧美一区卜 | 国产一区二区三区综合在线观看 | 亚洲国产精品专区欧美| 亚洲国产最新在线播放| 久久久a久久爽久久v久久| 久久久亚洲精品成人影院| 偷拍熟女少妇极品色| 极品少妇高潮喷水抽搐| 边亲边吃奶的免费视频| 深爱激情五月婷婷| 老熟女久久久| 22中文网久久字幕| 深爱激情五月婷婷| 久久久色成人| 精品视频人人做人人爽| 男人舔奶头视频| 美女xxoo啪啪120秒动态图| 久久久久久人妻| 亚洲国产高清在线一区二区三| 最近最新中文字幕免费大全7| 日韩 亚洲 欧美在线| 欧美+日韩+精品| 视频区图区小说| 国产精品99久久99久久久不卡 | 边亲边吃奶的免费视频| 国产亚洲欧美精品永久| 99热6这里只有精品| 麻豆成人av视频| 久久精品久久久久久噜噜老黄| 亚洲国产色片| 人妻制服诱惑在线中文字幕| 国产成人精品婷婷| 国产精品蜜桃在线观看| av在线蜜桃| 有码 亚洲区| 欧美 日韩 精品 国产| 日本黄大片高清| 一级毛片久久久久久久久女| 国产成人a区在线观看| av免费观看日本| 高清欧美精品videossex| 91狼人影院| 一本色道久久久久久精品综合| 麻豆乱淫一区二区| 亚洲经典国产精华液单| 亚洲国产欧美人成| 亚洲av在线观看美女高潮| 2022亚洲国产成人精品| 日韩欧美精品免费久久| 精品一品国产午夜福利视频| 国产精品福利在线免费观看| 日本爱情动作片www.在线观看| 国产 一区 欧美 日韩| 亚洲真实伦在线观看| 我要看黄色一级片免费的| 在线播放无遮挡| 亚洲一级一片aⅴ在线观看| 国产精品一二三区在线看| 欧美区成人在线视频| 国产视频首页在线观看| 亚洲美女搞黄在线观看| 久久久久久九九精品二区国产| av卡一久久| 成人午夜精彩视频在线观看| 亚洲综合色惰| 国产精品伦人一区二区| 91久久精品电影网| 91精品伊人久久大香线蕉| 久久久久久久久久久丰满| 男的添女的下面高潮视频| 欧美zozozo另类| 久久久精品免费免费高清| 国产精品欧美亚洲77777| 国内精品宾馆在线| 日韩成人伦理影院| 免费不卡的大黄色大毛片视频在线观看| 国产视频内射| 亚洲第一区二区三区不卡| 久久综合国产亚洲精品| 一级爰片在线观看| 亚洲成人中文字幕在线播放| av女优亚洲男人天堂| 一个人看的www免费观看视频| 国产亚洲最大av| 狠狠精品人妻久久久久久综合| 午夜福利高清视频| 亚洲欧美日韩卡通动漫| 成年女人在线观看亚洲视频| 视频区图区小说| 亚洲人与动物交配视频| 亚洲成色77777| 偷拍熟女少妇极品色| 国产深夜福利视频在线观看| 久久人妻熟女aⅴ| 色视频在线一区二区三区| 亚洲av成人精品一区久久| 婷婷色综合大香蕉| 狂野欧美激情性bbbbbb| 国产精品久久久久久久电影| av国产精品久久久久影院| 国产欧美日韩精品一区二区| 七月丁香在线播放| 免费看日本二区| 日韩一本色道免费dvd| 日韩免费高清中文字幕av| 免费看光身美女| 亚洲精品国产成人久久av| tube8黄色片| 草草在线视频免费看| 亚洲精品成人av观看孕妇| 在线天堂最新版资源| 免费观看无遮挡的男女| 国产成人午夜福利电影在线观看| av国产精品久久久久影院| 久久久久久久久久久丰满| 欧美亚洲 丝袜 人妻 在线| 国产精品熟女久久久久浪| av天堂中文字幕网| 综合色丁香网| 国产精品人妻久久久久久| 亚洲国产欧美在线一区| 九九爱精品视频在线观看| 少妇人妻一区二区三区视频| 国产精品久久久久久精品电影小说 | 日本黄大片高清| 精品久久久久久久末码| 国产探花极品一区二区| 欧美另类一区| 国产免费又黄又爽又色| 99久久精品热视频| 欧美日韩亚洲高清精品| 欧美日韩视频精品一区| 成年免费大片在线观看| 日韩人妻高清精品专区| 亚洲av免费高清在线观看| 色网站视频免费| 美女福利国产在线 | 久久99蜜桃精品久久| 简卡轻食公司| 永久网站在线| 日本一二三区视频观看| 大陆偷拍与自拍| 久久午夜福利片| 老司机影院毛片| 国精品久久久久久国模美| 蜜桃在线观看..| 成人影院久久| 在线观看免费视频网站a站| 亚洲精品色激情综合| 欧美高清性xxxxhd video| 日本午夜av视频| 国产无遮挡羞羞视频在线观看| 国产爱豆传媒在线观看| 中文字幕精品免费在线观看视频 | 国产精品国产三级专区第一集| 熟女人妻精品中文字幕| 三级国产精品欧美在线观看| 在线 av 中文字幕| 成人免费观看视频高清| 成人影院久久| 尤物成人国产欧美一区二区三区| 在线看a的网站| 午夜激情久久久久久久| 少妇人妻精品综合一区二区| 国产大屁股一区二区在线视频| 成人免费观看视频高清| 最黄视频免费看| 成人无遮挡网站| 亚洲三级黄色毛片| 国产精品一及| 国产深夜福利视频在线观看| 久久国产乱子免费精品| 国产一级毛片在线| 一区在线观看完整版| 超碰97精品在线观看| 黄片无遮挡物在线观看| 三级国产精品片| 免费高清在线观看视频在线观看| 免费在线观看成人毛片| 免费高清在线观看视频在线观看| 97精品久久久久久久久久精品| 成人毛片a级毛片在线播放| 国产片特级美女逼逼视频| 身体一侧抽搐| 亚洲国产精品成人久久小说| av网站免费在线观看视频| 国产精品久久久久成人av| 肉色欧美久久久久久久蜜桃| 午夜福利影视在线免费观看| 熟女电影av网| 欧美日韩国产mv在线观看视频 | 视频中文字幕在线观看| 99re6热这里在线精品视频| 午夜免费鲁丝| 人妻制服诱惑在线中文字幕| 亚洲欧美日韩卡通动漫| 成人高潮视频无遮挡免费网站| 午夜免费鲁丝| 免费大片黄手机在线观看| 欧美成人a在线观看| 国产黄片美女视频| 国产免费视频播放在线视频| 少妇高潮的动态图| 国产免费视频播放在线视频| 国产成人精品福利久久| 久久国产亚洲av麻豆专区| 成人高潮视频无遮挡免费网站| 久久 成人 亚洲| 亚洲国产高清在线一区二区三| 国产精品熟女久久久久浪| 亚洲精品aⅴ在线观看| 亚洲欧美一区二区三区国产| 国产乱人视频| 97精品久久久久久久久久精品| 亚洲精品久久久久久婷婷小说| 99热全是精品| 日本与韩国留学比较| 国产精品伦人一区二区| 日本色播在线视频| 久久久久久久国产电影| 免费高清在线观看视频在线观看| 干丝袜人妻中文字幕| 婷婷色综合大香蕉| 久久久久久久国产电影| 草草在线视频免费看| 中文在线观看免费www的网站| 各种免费的搞黄视频| 男女无遮挡免费网站观看| av一本久久久久| 熟女av电影| 亚洲色图综合在线观看| 伦理电影大哥的女人| 天天躁日日操中文字幕| h日本视频在线播放| 精品久久久精品久久久| 亚洲国产高清在线一区二区三| 国产片特级美女逼逼视频| 天天躁夜夜躁狠狠久久av| 一级黄片播放器| 哪个播放器可以免费观看大片| 纯流量卡能插随身wifi吗| 亚洲av男天堂| 免费少妇av软件| av一本久久久久| 99re6热这里在线精品视频| 美女福利国产在线 | 一本色道久久久久久精品综合| 欧美一级a爱片免费观看看| 久久久精品94久久精品| 亚洲久久久国产精品| av在线播放精品| 一级毛片黄色毛片免费观看视频| 男人爽女人下面视频在线观看| 亚洲一区二区三区欧美精品| 久久精品国产亚洲网站| 美女主播在线视频| 伊人久久国产一区二区| 男女边吃奶边做爰视频| 伦精品一区二区三区| 国精品久久久久久国模美| 看十八女毛片水多多多|