• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    中文篇章級(jí)句間語(yǔ)義關(guān)系識(shí)別

    2013-10-15 01:52:02張牧宇
    中文信息學(xué)報(bào) 2013年6期
    關(guān)鍵詞:關(guān)聯(lián)詞因果關(guān)系語(yǔ)料

    張牧宇,宋 原,秦 兵,劉 挺

    (哈爾濱工業(yè)大學(xué),黑龍江 哈爾濱150001)

    1 引言

    隨著詞匯語(yǔ)義、句子語(yǔ)義研究的逐漸成熟,篇章級(jí)語(yǔ)義分析逐漸成為研究熱點(diǎn)。作為篇章語(yǔ)義分析的重要內(nèi)容,篇章句間關(guān)系識(shí)別(Discourse Relation Recognition)也受到了越來(lái)越多的關(guān)注。該研究檢測(cè)同一篇章內(nèi),兩個(gè)文本單元(片段、分句、復(fù)句、句群、段落等)之間的邏輯語(yǔ)義關(guān)聯(lián)(例如,因果關(guān)系)。通過(guò)定義層次化的語(yǔ)義關(guān)系類(lèi)型體系將句內(nèi)的語(yǔ)義分析結(jié)果擴(kuò)展為篇章級(jí)的語(yǔ)義信息,從而成為語(yǔ)義分析的重要解決途徑之一,對(duì)自動(dòng)文摘[1]、自動(dòng)問(wèn)答[2]、傾向性分析[3-4]以及文本質(zhì)量評(píng)價(jià)[5]、文本連貫性評(píng)價(jià)[6]等許多NLP任務(wù)起到了很大的幫助。

    根據(jù)文本單元間是否存在篇章連接詞(也稱(chēng)作篇章關(guān)聯(lián)詞),可將篇章句間關(guān)系分為顯式篇章句間關(guān)系(Explicit Discourse Relation,簡(jiǎn)稱(chēng)顯式關(guān)系)與隱式篇章句間關(guān)系(Implicit Discourse Relation,簡(jiǎn)稱(chēng)隱式關(guān)系)兩類(lèi)。其中顯式關(guān)系包含篇章關(guān)聯(lián)詞,如例1所示,篇章關(guān)聯(lián)詞“因?yàn)椤敝甘疽蚬?lèi)型的關(guān)系實(shí)例;隱式關(guān)系缺少顯式關(guān)聯(lián)詞,需要根據(jù)上下文推測(cè)語(yǔ)義類(lèi)型,如例2所示。

    例1:因?yàn)槲沂悄惆职?,我愿意為你做所有一切。(顯式因果關(guān)系)

    例2:他生病了,今天沒(méi)有來(lái)上課。(隱式因果關(guān)系)

    已有篇章句間關(guān)系識(shí)別研究主要針對(duì)英文[7],印度語(yǔ)[8]、土耳其語(yǔ)[9]和阿拉伯語(yǔ)[10]。雖然已有一些面向中文的研究[11-13],但主要集中在分析和語(yǔ)料標(biāo)注,對(duì)關(guān)系識(shí)別研究不足;另外,已有研究大都直接使用了英文關(guān)系類(lèi)型體系,忽略了中文本身的特點(diǎn)。

    本文對(duì)中文篇章句間關(guān)系識(shí)別進(jìn)行了探索,包括顯式關(guān)系識(shí)別和隱式關(guān)系識(shí)別兩方面。

    針對(duì)顯式關(guān)系識(shí)別,我們提出一種基于關(guān)聯(lián)詞的識(shí)別方案,通過(guò)分析中文篇章句間關(guān)系語(yǔ)料獲得關(guān)聯(lián)詞對(duì)關(guān)系類(lèi)型的指示能力,并根據(jù)關(guān)聯(lián)詞指示規(guī)則決定顯式關(guān)系的語(yǔ)義關(guān)系類(lèi)型。針對(duì)隱式關(guān)系識(shí)別,由于缺少篇章關(guān)聯(lián)詞,我們主要采用機(jī)器學(xué)習(xí)方法,抽取詞匯、句法和語(yǔ)義等特征訓(xùn)練分類(lèi)模型,根據(jù)模型輸出判定最終的關(guān)系類(lèi)型。以上識(shí)別研究均采用面向中文的篇章句間關(guān)系體系,更好的適應(yīng)中文特點(diǎn)。

    實(shí)驗(yàn)結(jié)果顯示,基于關(guān)聯(lián)詞的顯式關(guān)系識(shí)別方法取得了非常好的效果,取得了90%左右的識(shí)別準(zhǔn)確率,F(xiàn)值達(dá)到80%;此外,我們的隱式關(guān)系識(shí)別方法也取得了較好的效果。文章內(nèi)容組織如下:第2節(jié)介紹相關(guān)工作;第3節(jié)介紹顯式關(guān)系識(shí)別方法,給出實(shí)驗(yàn)結(jié)果與分析;第4節(jié)介紹隱式關(guān)系特征、識(shí)別方法及實(shí)驗(yàn)結(jié)果;第5節(jié)分給出結(jié)論。

    2 相關(guān)工作

    篇章句間關(guān)系體系及語(yǔ)料:作為有指導(dǎo)方法的基礎(chǔ),英文中已經(jīng)出現(xiàn)一些篇章句間關(guān)系語(yǔ)料[14-16]。這些語(yǔ)料采用不同的關(guān)系類(lèi)型體系[14-17]描述文本單元之間的語(yǔ)義關(guān)系。典型的篇章句間關(guān)系語(yǔ)料包括以下兩種:基于RST理論[17]的修辭結(jié)構(gòu)理論樹(shù)庫(kù)(Rhetorical Structure Theory Discourse Treebank)[15]和基于PDTB體系的賓州篇章樹(shù)庫(kù)(Penn Discourse Tree Bank)[16],它們采用不同的關(guān)系類(lèi)型體系和標(biāo)注標(biāo)準(zhǔn)[18]。目前已有的語(yǔ)料和標(biāo)注理論關(guān)注英語(yǔ)、印度語(yǔ)[8]、土耳其語(yǔ)[9]和阿拉伯語(yǔ)[10]。Xue[11]、Zhou和 Xue[12]、Huang 和 Chen[13]在中文上做了部分分析工作,不過(guò)這些研究直接將英文關(guān)系類(lèi)型體系平移到中文,忽略了中文本身的特點(diǎn)。本文采用了Zhang在2012年提出的面向中文的篇章句間關(guān)系類(lèi)型體系[19],更好的適應(yīng)中文問(wèn)題。

    顯式篇章句間關(guān)系識(shí)別:顯式篇章句間關(guān)系通常由篇章關(guān)聯(lián)詞作為指示,Pitler et al.[7]使用無(wú)指導(dǎo)方法,僅僅利用關(guān)聯(lián)詞的統(tǒng)計(jì)特征識(shí)別顯式篇章句間關(guān)系類(lèi)型,取得了較好的效果,證明關(guān)聯(lián)詞對(duì)顯式關(guān)系識(shí)別的重要性。除無(wú)指導(dǎo)方法之外,有指導(dǎo)模型也被用于顯式關(guān)系識(shí)別,Pitler et al.[20]使用關(guān)聯(lián)詞相關(guān)的標(biāo)準(zhǔn)句法特征幫助提高顯式關(guān)系識(shí)別性能;Wellner和Pustejovsky[21]采用有指導(dǎo)方法識(shí)別篇章句間關(guān)系元素范圍;Elwell和 Baldridge[22]使用關(guān)聯(lián)詞排序器識(shí)別關(guān)系元素范圍。本文提出基于中文關(guān)聯(lián)詞統(tǒng)計(jì)信息的識(shí)別方案探索顯式關(guān)系識(shí)別,并且取得比較好的效果。

    隱式篇章句間關(guān)系識(shí)別:隱式篇章句間關(guān)系通常存在于相鄰句子之間,同時(shí)缺少關(guān)聯(lián)詞。類(lèi)似于顯式關(guān)系識(shí)別,隱式關(guān)系識(shí)別的相關(guān)研究最早出現(xiàn)在英文中,主要關(guān)注詞匯特征,例如,詞匯之間的依存關(guān)系[23-24]、詞匯的語(yǔ)義類(lèi)別[20]和關(guān)聯(lián)詞預(yù)測(cè)[25]。

    由于隱式關(guān)系識(shí)別不同于顯式關(guān)系[26],除了詞匯特征之外,一些額外信息被逐漸引入,例如,句法限制[20,27]、核函數(shù)[28]、實(shí)體特征[29]以及事件配對(duì)特征[30]。這些研究提高了隱式關(guān)系識(shí)別效果,但到目前為止,隱式關(guān)系識(shí)別效果依然不佳,而且缺少面向中文的隱式關(guān)系識(shí)別研究。本文提出基于中文篇章句間關(guān)系體系的隱式關(guān)系識(shí)別模型,通過(guò)引入詞匯、句法和語(yǔ)義特征識(shí)別隱式篇章句間關(guān)系。

    3 顯式篇章句間關(guān)系識(shí)別

    顯式關(guān)系的具體類(lèi)型通常由關(guān)聯(lián)詞標(biāo)識(shí),如例3、例4所示。

    例3:如果大家都同意這個(gè)方案,咱們就按照它來(lái)執(zhí)行;(條件關(guān)系)

    例4:因?yàn)榇蠹叶纪膺@個(gè)方案,咱們就按照它來(lái)執(zhí)行;(因果關(guān)系)

    例3、例4中,除關(guān)聯(lián)詞外的句子成分完全一

    在顯式關(guān)系識(shí)別中,關(guān)聯(lián)詞往往作為關(guān)系類(lèi)型的指示標(biāo)志出現(xiàn)。本文提出基于關(guān)聯(lián)詞的中文顯式關(guān)系識(shí)別模型,利用關(guān)聯(lián)詞規(guī)則識(shí)別顯式關(guān)系。

    3.1 基于關(guān)聯(lián)詞的識(shí)別方案

    致,但不同的關(guān)聯(lián)詞使得兩個(gè)句子具有不同的語(yǔ)義和關(guān)系類(lèi)型??梢酝茰y(cè):關(guān)聯(lián)詞標(biāo)識(shí)了具體關(guān)系類(lèi)型?;谶@種想法,我們提出了基于關(guān)聯(lián)詞的顯式篇章句間關(guān)系識(shí)別方案。據(jù)我們了解,這是首個(gè)利用中文篇章關(guān)聯(lián)詞識(shí)別顯式關(guān)系類(lèi)型的研究工作。

    3.1.1 識(shí)別方案

    我們將中文篇章句間關(guān)系語(yǔ)料分為兩部分:Set 1包含996篇文本,用于抽取篇章關(guān)聯(lián)詞和對(duì)應(yīng)的關(guān)系類(lèi)型;Set 2包含100篇文本,用于測(cè)試識(shí)別方案。首先,我們從Set 1中抽取所有的篇章關(guān)聯(lián)詞和相應(yīng)的關(guān)系類(lèi)型;之后采用極大似然估計(jì)計(jì)算關(guān)聯(lián)詞對(duì)各關(guān)系類(lèi)型的指示能力,獲得“關(guān)聯(lián)詞—關(guān)系類(lèi)型”矩陣:其中橫軸對(duì)應(yīng)某一篇章關(guān)聯(lián)詞,縱軸對(duì)應(yīng)某一具體關(guān)系類(lèi)型。具體的計(jì)算方法如式(1)所示。

    其中ci對(duì)應(yīng)某一關(guān)聯(lián)詞;sj表示待計(jì)算的關(guān)系類(lèi)型;S是所有關(guān)系類(lèi)型的集合。

    對(duì)Set 2中的每一個(gè)測(cè)試實(shí)例,我們首先抽取篇章關(guān)聯(lián)詞;隨后查找“關(guān)聯(lián)詞—關(guān)系類(lèi)型”矩陣,獲得該關(guān)聯(lián)詞對(duì)各關(guān)系類(lèi)型的指示能力,從中選取最大值;并將該類(lèi)型作為測(cè)試實(shí)例的最終標(biāo)簽。

    3.2 實(shí)驗(yàn)設(shè)置

    3.2.1 類(lèi)型體系及語(yǔ)料獲取

    為了支持關(guān)聯(lián)詞分析和后續(xù)的有指導(dǎo)識(shí)別方法,我們采用Zhang[19]提出的中文篇章句間關(guān)系體系,我們從 OntoNotes 4.0[31]中隨機(jī)篩選出1 096篇文本并進(jìn)行了人工標(biāo)注。在這份語(yǔ)料中,三名標(biāo)注人員獨(dú)立標(biāo)注了顯式關(guān)系和隱式關(guān)系。為了驗(yàn)證標(biāo)注質(zhì)量,檢驗(yàn)標(biāo)注一致性,我們計(jì)算了用于統(tǒng)計(jì)多類(lèi)、多標(biāo)注人員標(biāo)注一致性的Fleiss Kappa指標(biāo)[32]。

    在最終的計(jì)算結(jié)果中,我們獲得了66.52%的Fleiss’Kappa值,根據(jù)Fleiss’Kappa指標(biāo)的性能分布區(qū)間,該數(shù)值反映了較好的標(biāo)注一致性;此外,該結(jié)果包括顯式關(guān)系和隱式關(guān)系在所有類(lèi)別上的標(biāo)注一致性,如果單獨(dú)計(jì)算顯式關(guān)系的標(biāo)注一致性,我們會(huì)獲得更好的結(jié)果。據(jù)我們所知,這是第一份中文篇章句間關(guān)系語(yǔ)料。

    3.2.2 實(shí)驗(yàn)結(jié)果

    訓(xùn)練語(yǔ)料中共標(biāo)記出1 273個(gè)不同的篇章關(guān)聯(lián)詞,利用這1 273個(gè)關(guān)聯(lián)詞構(gòu)成“關(guān)聯(lián)詞-關(guān)系類(lèi)型”矩陣,并根據(jù)該矩陣對(duì)測(cè)試實(shí)例進(jìn)行分類(lèi)。對(duì)每一個(gè)測(cè)試實(shí)例,我們抽取相應(yīng)的篇章關(guān)聯(lián)詞,之后檢索矩陣,找到概率最大的關(guān)系類(lèi)別作為最終結(jié)果。

    我們?cè)谥形钠戮溟g關(guān)系體系[19]的六個(gè)頂層類(lèi)別進(jìn)行實(shí)驗(yàn),包括“時(shí)序關(guān)系”、“因果關(guān)系”、“條件關(guān)系”、“比較關(guān)系”、“擴(kuò)展關(guān)系”、“并列關(guān)系”,采用標(biāo)準(zhǔn)P、R、F進(jìn)行評(píng)價(jià),結(jié)果如表1所示。

    表1 基于關(guān)聯(lián)詞的顯式關(guān)系識(shí)別方法實(shí)驗(yàn)結(jié)果

    分析表1,我們?cè)凇耙蚬P(guān)系”、“條件關(guān)系”、“比較關(guān)系”三類(lèi)獲得了非常好的效果:準(zhǔn)確率均高于0.96,F(xiàn)值均高于0.91。效果最好的“條件關(guān)系”精確率達(dá)到0.989 0,召回率為0.904 5,F(xiàn)值則是0.944 9。這意味著絕大多數(shù)情況下,“條件關(guān)系”對(duì)應(yīng)的篇章關(guān)聯(lián)詞(例如,如果)都是無(wú)歧義的;一旦這些關(guān)聯(lián)詞出現(xiàn),我們可以以非常高的概率將該關(guān)系實(shí)例判定為條件關(guān)系。類(lèi)似的情況同樣存在于 “因果關(guān)系”和“比較關(guān)系”中。

    “時(shí)序關(guān)系”的實(shí)驗(yàn)結(jié)果略有不同,我們獲得了較高的準(zhǔn)確率(0.951 2),但召回率較低(0.715 6)。高準(zhǔn)確率說(shuō)明“時(shí)序關(guān)系”對(duì)應(yīng)的篇章關(guān)聯(lián)詞歧義性較小,低召回率說(shuō)明統(tǒng)計(jì)信息的覆蓋率較差。對(duì)于“擴(kuò)展關(guān)系”和“并列關(guān)系”情況則比較復(fù)雜。在這兩類(lèi)中,準(zhǔn)確率和召回率都相對(duì)較低,這意味著除了覆蓋率問(wèn)題外,兩類(lèi)關(guān)系對(duì)應(yīng)的篇章關(guān)聯(lián)詞歧義性也比較高。對(duì)于歧義問(wèn)題,很難單純通過(guò)語(yǔ)料擴(kuò)充或分析解決,需要后續(xù)工作的更多關(guān)注。

    總的來(lái)說(shuō),基于關(guān)聯(lián)詞的識(shí)別方案在各個(gè)類(lèi)別上的平均表現(xiàn)較好。但是,最高的F值(0.944 9)和最低的F值(0.563 8)之間差距較大,說(shuō)明不同的關(guān)系類(lèi)型之間差異非常明顯,這提示我們:不同的關(guān)系類(lèi)型適合不同的處理方法。

    3.2.3 錯(cuò)誤分析與討論

    進(jìn)一步分析實(shí)驗(yàn)結(jié)果,我們發(fā)現(xiàn),大部分篇章關(guān)聯(lián)詞歧義較小;識(shí)別錯(cuò)誤主要由少部分高歧義導(dǎo)致。這些關(guān)聯(lián)詞種類(lèi)較少,但常用關(guān)聯(lián)詞較多(例如,而)。圖1描述出現(xiàn)次數(shù)Top 10的篇章關(guān)聯(lián)詞在各關(guān)系類(lèi)型上的分布情況:柱狀圖的不同顏色代表關(guān)聯(lián)詞對(duì)應(yīng)的關(guān)系類(lèi)型;不同的高度代表對(duì)應(yīng)關(guān)系類(lèi)型所占的比例;同一關(guān)聯(lián)詞對(duì)應(yīng)的關(guān)系類(lèi)型越少、類(lèi)型越集中,該詞的歧義性越小。從圖中可知,大部分關(guān)聯(lián)詞(例如,因?yàn)椋┑钠缌x性較小,90%以上指示同一關(guān)系類(lèi)型,但同時(shí)存在部分高歧義關(guān)聯(lián)詞。

    圖1 Top 10關(guān)聯(lián)詞的關(guān)系類(lèi)型分布情況

    以關(guān)聯(lián)詞“而”為例,它對(duì)應(yīng)的關(guān)系類(lèi)型分布情況包括以下幾類(lèi):

    (1)48.6% 對(duì)應(yīng)“擴(kuò)展關(guān)系”;

    (2)41.8% 對(duì)應(yīng)“比較關(guān)系”;

    (3)7.6% 對(duì)應(yīng)“并列關(guān)系”;

    (4)2% 對(duì)應(yīng)“因果關(guān)系”。

    根據(jù)3.1.1的計(jì)算公式,“擴(kuò)展關(guān)系”對(duì)應(yīng)的得分最高。在分類(lèi)過(guò)程中,所有由“而”標(biāo)識(shí)的篇章句間關(guān)系實(shí)例都被分為“擴(kuò)展關(guān)系”類(lèi)別。對(duì)于48.6%的實(shí)例而言,我們獲得了正確結(jié)果;然而對(duì)于剩余的51.4%,則發(fā)生了分類(lèi)錯(cuò)誤。實(shí)驗(yàn)分析發(fā)現(xiàn),大部分分類(lèi)錯(cuò)誤都和該類(lèi)關(guān)聯(lián)詞有關(guān)。這提示我們對(duì)于歧義性大,出現(xiàn)次數(shù)較多的關(guān)聯(lián)詞,需要特殊的處理方案。

    4 隱式篇章句間關(guān)系識(shí)別

    隱式篇章句間關(guān)系缺少篇章關(guān)聯(lián)詞,沒(méi)有明顯的語(yǔ)義類(lèi)型標(biāo)志,需要人類(lèi)推理才能判斷關(guān)系的存在和具體類(lèi)型。這使得隱式篇章句間關(guān)系具有不同于顯式關(guān)系的分布特點(diǎn)。

    4.1 隱式關(guān)系分析

    在很多情況下,關(guān)聯(lián)詞不僅僅起銜接作用,還會(huì)影響關(guān)系類(lèi)型的分布,如例5、例6所示。

    例5:如果你身體還沒(méi)恢復(fù),就先不用來(lái)上班了。(條件關(guān)系)

    例6:你身體還沒(méi)恢復(fù),先不用來(lái)上班了。(因果關(guān)系)

    例5首先描述某一假設(shè)條件,隨后說(shuō)明假設(shè)成立時(shí)的結(jié)果,屬于“條件關(guān)系”;例6首先描述某一事實(shí),隨后指出事實(shí)引發(fā)的結(jié)果,屬于“因果關(guān)系”。除關(guān)聯(lián)詞“如果……就……”之外兩個(gè)例句內(nèi)容完全相同,但卻具有完全不同的語(yǔ)義類(lèi)型。換言之,對(duì)某些關(guān)系類(lèi)型來(lái)說(shuō)(例如,條件關(guān)系),如果刪除篇章句間關(guān)系關(guān)聯(lián)詞,句子語(yǔ)義會(huì)發(fā)生翻轉(zhuǎn)。這種現(xiàn)象使得對(duì)應(yīng)類(lèi)型的隱式關(guān)系實(shí)例大大減少,形成和顯式關(guān)系完全不同的分布特征。圖2描述了隱式關(guān)系和顯式關(guān)系在中文篇章句間關(guān)系體系[19]中六個(gè)頂層類(lèi)別上的分布情況,其中圖2(a)為顯式關(guān)系分布圖,圖2(b)為隱式關(guān)系分布圖。

    分析圖2可知,相較于顯式關(guān)系,隱式關(guān)系的分布非常不均衡,其中“擴(kuò)展關(guān)系”的比例大大增加,占到了總數(shù)的60.37%;而“條件關(guān)系”、“時(shí)序關(guān)系”、“比較關(guān)系”的數(shù)量則大大壓縮,其中“條件關(guān)系”和“時(shí)序關(guān)系”分別只占0.72%和2.57%;只有“并列關(guān)系”和“因果關(guān)系”比例相對(duì)穩(wěn)定。

    分析原因,對(duì)“條件關(guān)系”和“時(shí)序關(guān)系”而言,由于關(guān)聯(lián)詞的省略導(dǎo)致了語(yǔ)義翻轉(zhuǎn),使得對(duì)應(yīng)類(lèi)型很少出現(xiàn)在隱式關(guān)系中,而“擴(kuò)展關(guān)系”則非常適合用隱式關(guān)系來(lái)表達(dá),這導(dǎo)致了圖2中分布現(xiàn)象的出現(xiàn)。該特點(diǎn)提示我們,在隱式關(guān)系識(shí)別中,不同關(guān)系類(lèi)型具有不同的分布特性,適合不同的識(shí)別方法。考慮到隱式關(guān)系中“條件關(guān)系”和“時(shí)序關(guān)系”數(shù)量極少,我們主要識(shí)別“擴(kuò)展關(guān)系”、“因果關(guān)系”、“比較關(guān)系”、“并列關(guān)系”四類(lèi)。

    圖2 顯式/隱式關(guān)系類(lèi)型分布圖

    4.2 基于有指導(dǎo)方法的隱式關(guān)系識(shí)別模型

    根據(jù)以上的分析,對(duì)隱式關(guān)系識(shí)別主要集中在“擴(kuò)展關(guān)系”、“因果關(guān)系”、“比較關(guān)系”、“并列關(guān)系”四類(lèi)。我們抽取了詞匯、句法、語(yǔ)義等多層次的特征,采用最大熵和SVM兩類(lèi)學(xué)習(xí)方法訓(xùn)練四元分類(lèi)模型,根據(jù)模型輸出判定隱式篇章句間關(guān)系類(lèi)型。

    4.2.1 特征集合

    核心動(dòng)詞:作為句子的主要成分,動(dòng)詞往往在語(yǔ)義表達(dá)中起很重要的作用,動(dòng)詞之間的關(guān)系常常反映了句子間的語(yǔ)義關(guān)系。如例7所示。

    例7:塔利班10日晚襲擊了阿富汗北部一個(gè)村落,導(dǎo)致18人喪生。(因果關(guān)系)

    上例中,“襲擊—喪生”之間存在因果聯(lián)系,同時(shí)也指示了兩個(gè)分句之間的因果關(guān)系。通過(guò)挖掘動(dòng)詞之間的搭配特性,有助于識(shí)別篇章句間關(guān)系類(lèi)型。這兩詞在依存句法分析結(jié)果中均作為“SBV(主謂關(guān)系)”的謂語(yǔ)動(dòng)詞出現(xiàn),因此我們利用依存句法分析找到前后分句中的“SBV”關(guān)系,抽取其中的謂語(yǔ)動(dòng)詞;同時(shí)為了避免稀疏,我們將兩個(gè)謂語(yǔ)動(dòng)詞在同義詞詞林中泛化至第三層,并將泛化結(jié)果配對(duì)構(gòu)成核心動(dòng)詞特征。

    極性特征:不同的極性信息常常指示特定的篇章句間關(guān)系類(lèi)型,如例8所示。

    例8:他很喜歡 蘋(píng)果公司的產(chǎn)品,遺憾的是價(jià)格太高了。(轉(zhuǎn)折關(guān)系)

    例8中“喜歡”指示“Positive”的極性信息;“價(jià)格太高”指示“Negative”的極性信息,前后分句的極性信息相反,指示該實(shí)例屬于“轉(zhuǎn)折關(guān)系”?;谶@種現(xiàn)象,我們引入了篇章單元的極性特征,采用極性詞匹配的方法判定篇章單元極性,并作為特征使用。

    依存句法特征:篇章單元的句法結(jié)構(gòu)中,最核心的關(guān)系包括“SBV(主謂)”和“VOB(動(dòng)賓)”兩類(lèi),它們描述了文本單元的主要信息。本文將兩個(gè)篇章單元中的“SBV”和“VOB”關(guān)系抽取出來(lái),并將對(duì)應(yīng)詞匯在同義詞詞林中泛化至第三層,作為特征使用。

    Unigram(句首):在中文里,句首詞語(yǔ)通常起承上啟下的作用,對(duì)篇章句間關(guān)系類(lèi)型具有一定的指示作用。本文分別抽取兩個(gè)篇章單元中的第一個(gè)詞,作為識(shí)別特征使用。

    Bigram(句首):中文里承上啟下的可以是單個(gè)詞,也可以是雙詞或短語(yǔ)。因此除Unigram特征之外,本文還抽取兩個(gè)篇章單元中的前兩個(gè)詞,作為識(shí)別特征使用。

    4.3 實(shí)驗(yàn)結(jié)果

    我們?nèi)匀徊捎?.2.1中提到的中文篇章句間關(guān)系語(yǔ)料庫(kù)進(jìn)行實(shí)驗(yàn),該語(yǔ)料庫(kù)包含1 096篇文本,手工標(biāo)注了顯式篇章句間關(guān)系和隱式篇章句間關(guān)系兩類(lèi)信息。我們將其中996篇作為訓(xùn)練語(yǔ)料,另外100篇作為測(cè)試語(yǔ)料,抽取前文提出的詞匯、句法、語(yǔ)義等特征,分別訓(xùn)練最大熵和SVM兩種模型進(jìn)行分類(lèi)。我們?cè)谥形钠戮溟g關(guān)系體系的四個(gè)頂層類(lèi)別進(jìn)行分類(lèi),包括:“擴(kuò)展關(guān)系”、“因果關(guān)系”、“比較關(guān)系”、“并列關(guān)系”,結(jié)果如表2所示。

    分析表2,除“擴(kuò)展關(guān)系”外,其他類(lèi)型存在高準(zhǔn)確率、低召回率的特性。以最大熵模型下的“因果關(guān)系”為例,識(shí)別準(zhǔn)確率達(dá)到0.687 5,召回率卻只有0.080 3。而“擴(kuò)展關(guān)系”情況恰恰相反。這說(shuō)明數(shù)據(jù)不均衡性使得模型傾向于將測(cè)試實(shí)例分為“擴(kuò)展關(guān)系”,導(dǎo)致“擴(kuò)展關(guān)系”類(lèi)型召回率增加,準(zhǔn)確率下降;同時(shí)使得其他類(lèi)型召回率降低。系統(tǒng)的整體性能不佳,很大一個(gè)原因是由于低召回率導(dǎo)致的。這提示我們?cè)陬?lèi)別分布嚴(yán)重不均衡的情況下,傳統(tǒng)的統(tǒng)一識(shí)別思路存在很大的困難。

    表2 隱式篇章句間關(guān)系識(shí)別結(jié)果

    注意到SVM實(shí)驗(yàn)結(jié)果普遍高于最大熵,這主要是由于隱式關(guān)系在各類(lèi)型上分布不均衡,而SVM模型對(duì)邊界實(shí)例敏感,但對(duì)數(shù)據(jù)不平衡有較強(qiáng)的容忍度,因此取得了相對(duì)較好的效果。此外,對(duì)比前文的顯式關(guān)系識(shí)別結(jié)果,我們發(fā)現(xiàn)“并列關(guān)系”識(shí)別效果始終不佳,這在一定程度上反映該類(lèi)型的特征不明顯,區(qū)分度較弱;同時(shí)考慮圖1,主要的關(guān)聯(lián)詞歧義集中在“擴(kuò)展關(guān)系”和“并列關(guān)系”,說(shuō)明這兩個(gè)類(lèi)別特征接近。從語(yǔ)義體系定義上來(lái)說(shuō),是否有必要將“擴(kuò)展關(guān)系”和“并列關(guān)系”區(qū)分開(kāi)來(lái),是值得考慮的一個(gè)問(wèn)題。

    5 結(jié)論與展望

    本文首次探索面向中文的篇章句間關(guān)系識(shí)別任務(wù),嘗試了顯式篇章句間關(guān)系識(shí)別和隱式篇章句間關(guān)系識(shí)別兩方面研究。對(duì)于顯式篇章句間關(guān)系識(shí)別,我們首次提出基于篇章關(guān)聯(lián)詞的顯式關(guān)系識(shí)別方法,在關(guān)聯(lián)詞統(tǒng)計(jì)的基礎(chǔ)上識(shí)別關(guān)系類(lèi)型,取得了非常好的效果。對(duì)于隱式篇章句間關(guān)系識(shí)別,我們首先分析了隱式關(guān)系和顯式關(guān)系在類(lèi)型分布上的差別,指出隱式關(guān)系的特點(diǎn),并在識(shí)別過(guò)程中進(jìn)行了針對(duì)性處理;隨后我們提出詞匯、句法、語(yǔ)法等一系列特征,采用最大熵和SVM兩種方案嘗試了隱式篇章句間關(guān)系識(shí)別。本文的分析和實(shí)驗(yàn)結(jié)果為后續(xù)的工作提供了參考,推動(dòng)了中文篇章分析研究,尤其是篇章句間關(guān)系分析的進(jìn)一步發(fā)展。

    [1]D Marcu.The rhetorical parsing of unrestricted texts:A surface-based approach[J].Computational Linguistics,2000,26(3):395-448.

    [2]R Girju.Automatic detection of causal relations for question answering[C]//Proceedings of the ACL 2003 workshop on multilingual summarization and question answering.2003,12:76-83.

    [3]S Somasundaran,J Wiebe,J Ruppenhofer.Discourselevel opinion interpretation[C]//Proceedings of Coling 2008.

    [4]Zhou L,Li B,Gao W,et al.Unsupervised Discovery of Discourse Relations for Eliminating Intra-sentence Polarity Ambiguities[C]//Proceedings of the EMNLP 2011(Oral presentation),Edinburgh,Scotland,July:27-31.

    [5]E Pitler,A Nenkova.Revisiting readability:A unified framework for predicting text quality[C]//Proceedings of EMNLP 2008:186-195.

    [6]Ziheng Lin,Hwee Tou NG,Min-Yen Kan.Automatically Evaluating Text Coherence Using Discourse Relations.[C]//Proceedings of ACL-HLT,2011:997-1006.

    [7]E Pitler,M Raghupathy,H Mehta,et al.Easily identifiable discourse relations[C]//Proceedings of COLING 08.

    [8]Rashmi Prasad,Samar Husain,Dipti Sharma,et al.Towards an annotated corpus of discourse relations in Hindi[C]//Proceedings of the IJCNLP 2008,Hyderabad,India,2008.

    [9]Deniz Zeyrek,Bonnie Webber.A Discourse Resource for Turkish:Annotating Discourse Connectives in theMETU Corpus[C]//Proceedings of IJCNLP-2008.Hyderabad,India,2008.

    [10]A AlSaif,K Markert.The leeds arabic discourse treebank:Annotating discourse connectives for arabic[C]//Proceedings of LREC 2010.

    [11]Xue Nianwen.Annotating discourse connectives in the Chinese Treebank[C]//Proceedings of the ACL Workshop in Frontiers in Annotation II.2005.

    [12]Hen-Hsen Huang, Hsin-Hsi Chen.Chinese Discourse Relation Recognition[C]//Proceedings of IJCNLP 2011:1442-1446.

    [13]Yuping Zhou,Nianwen Xue.PDTB-style Discourse Annotation of Chinese Text[C]//Proceedings of ACL 2012.

    [14]J.R.Hobbs.On the coherence and structure of dis-course[M].CSLI,1985:37-85.

    [15]Carlson L,Marcu D,Okurowski ME.Building a discourse-tagged corpus in the framework of rhetorical structure theory[M].Springer Netherlands,2003:85-112.

    [16]R Prasad,N Dinesh,A Lee,et al.The Penn discourse treebank 2.0[C]//Proceedings of LREC 2008.

    [17]William Mann,Sandra Thompson.Rhetorical structure theory:Toward a functional theory of text organization[J].Text,1988,8(3):243-281.

    [18]A AlSaif,K Markert.The leeds arabic dis-course treebank:Annotating discourse connectives for arabic[C]//Proceedings of LREC 2010.

    [19]張牧宇,秦兵,劉挺.中文篇章級(jí)句間語(yǔ)義關(guān)系體系及標(biāo)注[C]//Proceedings of CCIR 2012.

    [20]Pitler E,Louis A,Nenkova A.Automatic Sense Predication for Implicit Discourse Relations in Text[C]//Proceedings of ACL-IJCNLP 2009.

    [21]Ben Wellner,James Pustejovsky.Automati-cally identifying the arguments of discourse connec tives[C]//Proceedings of EMNLP-CoNLL 2007,Prague,Czech Republic.

    [22]R Elwell,J Baldridge.Discourse connective argument identification with connective specific rankers[C]//Proceedings of the International Conference on Semantic Computing.2008.

    [23]D Marcu,A Echihabi.An unsupervised approach to recognizing discourse relations[C]//Proceedings of ACL 2001:368-375.

    [24]S Blair-Goldensohn,K R McKeown,O C Rambow.Building and Refining Rhetorical-Semantic Relation Models[C]//Proceedings of NAACL HLT,2007:428-435.

    [25]Z Zhou,Y Xu,Z Niu,et al.Predicting discourse connectives for implicit discourse relation recognition[C]//Proceedings of Coling 2010:1507-1514.

    [26]C Sporleder,A Lascarides.Using automatically labelled examples to classify rhetorical relations:an assessment[J].NLE 2008:14(3).

    [27]Lin Z,Kan M,Ng H.Recognizing Implicit Discourse Relations in the Penn Discourse Tree-bank[C]//Proceedings of EMNLP 2009,Singapore,August.

    [28]W Wang,J Su,C Tan.Kernel-based discourse relation recognition with temporal ordering information[C]//Proceedings of ACL 2010:710-719.

    [29]A Louis,A Nenkova.Creating local coherence:An empirical assessment[C]//Proceedings of NAACL 2010.

    [30]C Chiarcos.Towards the Unsupervised Acquisition of Discourse Relations[C]//Proceedings of ACL 2012.

    [31]Eduard Hovy,Mitchell Marcus,Martha Palmer,et al.Ontonotes:The 90%solution[C]//Proceedings of the Human Language Technology Conference of the NAACL,Companion Volume:Short Papers,2012:57-60.

    [32]Fleiss,J.L.Measuring nominal scale agreement among many raters[J].Psychological Bulletin,1971,76(5):378-382.

    猜你喜歡
    關(guān)聯(lián)詞因果關(guān)系語(yǔ)料
    巧用關(guān)聯(lián)詞
    用關(guān)聯(lián)詞造句
    Your high school friends are your lifelong friends
    玩忽職守型瀆職罪中嚴(yán)重不負(fù)責(zé)任與重大損害后果的因果關(guān)系
    做完形填空題,需考慮的邏輯關(guān)系
    基于語(yǔ)料調(diào)查的“連……都(也)……”出現(xiàn)的語(yǔ)義背景分析
    幫助犯因果關(guān)系芻議
    華語(yǔ)電影作為真實(shí)語(yǔ)料在翻譯教學(xué)中的應(yīng)用
    介入因素對(duì)因果關(guān)系認(rèn)定的影響
    《苗防備覽》中的湘西語(yǔ)料
    午夜福利在线在线| 久久久国产成人精品二区| 人人澡人人妻人| 欧美日韩精品网址| 欧美黑人精品巨大| 啪啪无遮挡十八禁网站| 亚洲av电影不卡..在线观看| 欧美 亚洲 国产 日韩一| 成人国产一区最新在线观看| 欧美性猛交黑人性爽| 男人操女人黄网站| 久久青草综合色| 中文亚洲av片在线观看爽| 男女下面进入的视频免费午夜 | 首页视频小说图片口味搜索| 亚洲av片天天在线观看| 亚洲真实伦在线观看| 岛国视频午夜一区免费看| 夜夜爽天天搞| www.熟女人妻精品国产| 亚洲精品一卡2卡三卡4卡5卡| 亚洲国产毛片av蜜桃av| 性色av乱码一区二区三区2| 两人在一起打扑克的视频| 麻豆一二三区av精品| 老司机靠b影院| 欧美黄色片欧美黄色片| 一本一本综合久久| 亚洲av中文字字幕乱码综合 | e午夜精品久久久久久久| 国产激情偷乱视频一区二区| 国产精品综合久久久久久久免费| 久久香蕉国产精品| 免费在线观看成人毛片| 久久精品亚洲精品国产色婷小说| 日韩精品免费视频一区二区三区| 久久精品91无色码中文字幕| 亚洲欧美日韩高清在线视频| 日韩免费av在线播放| 欧美激情极品国产一区二区三区| av片东京热男人的天堂| 亚洲va日本ⅴa欧美va伊人久久| 自线自在国产av| 日本 av在线| АⅤ资源中文在线天堂| 久久久久久国产a免费观看| 国产三级黄色录像| 亚洲一码二码三码区别大吗| 中国美女看黄片| 国产精华一区二区三区| 久久午夜亚洲精品久久| 午夜老司机福利片| xxxwww97欧美| 特大巨黑吊av在线直播 | 麻豆成人av在线观看| 看黄色毛片网站| 亚洲三区欧美一区| 国产亚洲欧美在线一区二区| 97超级碰碰碰精品色视频在线观看| 男男h啪啪无遮挡| 男人舔奶头视频| 天天添夜夜摸| 美女扒开内裤让男人捅视频| 真人做人爱边吃奶动态| 在线十欧美十亚洲十日本专区| 欧美另类亚洲清纯唯美| 午夜日韩欧美国产| 悠悠久久av| 欧美黄色片欧美黄色片| 日韩av在线大香蕉| 男人操女人黄网站| 九色国产91popny在线| 色老头精品视频在线观看| 老汉色∧v一级毛片| 久久精品国产亚洲av香蕉五月| 国产精品爽爽va在线观看网站 | 成熟少妇高潮喷水视频| 我的亚洲天堂| 亚洲精品一卡2卡三卡4卡5卡| 嫩草影视91久久| 美女午夜性视频免费| 黑丝袜美女国产一区| 国产精品亚洲av一区麻豆| 美国免费a级毛片| 国产野战对白在线观看| 69av精品久久久久久| 欧美另类亚洲清纯唯美| 亚洲中文字幕日韩| 琪琪午夜伦伦电影理论片6080| 国产精品美女特级片免费视频播放器 | 国产精品精品国产色婷婷| 一进一出抽搐动态| 美国免费a级毛片| 久久国产精品男人的天堂亚洲| 大型av网站在线播放| www.熟女人妻精品国产| 一区二区三区高清视频在线| or卡值多少钱| 特大巨黑吊av在线直播 | 午夜精品久久久久久毛片777| 亚洲av中文字字幕乱码综合 | √禁漫天堂资源中文www| 女同久久另类99精品国产91| 19禁男女啪啪无遮挡网站| 日本一区二区免费在线视频| 中文字幕精品免费在线观看视频| 国产蜜桃级精品一区二区三区| 欧美成人一区二区免费高清观看 | 欧美另类亚洲清纯唯美| 亚洲欧美精品综合一区二区三区| 国产一区二区在线av高清观看| 日本一区二区免费在线视频| 啦啦啦免费观看视频1| 嫩草影院精品99| 免费看日本二区| 白带黄色成豆腐渣| 一二三四社区在线视频社区8| 久久久国产成人免费| 色播在线永久视频| 久久婷婷人人爽人人干人人爱| 免费人成视频x8x8入口观看| 国产又黄又爽又无遮挡在线| 精品人妻1区二区| 搡老妇女老女人老熟妇| 久久久久精品国产欧美久久久| 日本黄色视频三级网站网址| 欧美日韩亚洲综合一区二区三区_| 中出人妻视频一区二区| 精品国产超薄肉色丝袜足j| 国产精品九九99| 最新在线观看一区二区三区| 麻豆成人av在线观看| 国产av不卡久久| 久久这里只有精品19| 美国免费a级毛片| 久久亚洲精品不卡| 免费在线观看黄色视频的| 男男h啪啪无遮挡| 18禁黄网站禁片免费观看直播| 久久精品91无色码中文字幕| 人妻丰满熟妇av一区二区三区| 久久精品人妻少妇| 母亲3免费完整高清在线观看| 观看免费一级毛片| 亚洲自拍偷在线| 成人午夜高清在线视频 | 久久久精品欧美日韩精品| 欧美中文日本在线观看视频| 亚洲中文字幕一区二区三区有码在线看 | 不卡一级毛片| a级毛片a级免费在线| 午夜福利成人在线免费观看| 老司机靠b影院| 国内毛片毛片毛片毛片毛片| 久久热在线av| 亚洲欧美日韩无卡精品| 最近最新免费中文字幕在线| 精品高清国产在线一区| 午夜福利一区二区在线看| 一本一本综合久久| 欧美不卡视频在线免费观看 | 欧美成狂野欧美在线观看| 人人妻人人看人人澡| 国产成人系列免费观看| av福利片在线| 午夜激情av网站| 亚洲熟妇熟女久久| 熟女少妇亚洲综合色aaa.| 欧美精品亚洲一区二区| 巨乳人妻的诱惑在线观看| 亚洲 国产 在线| 一本大道久久a久久精品| 久久久久久九九精品二区国产 | 亚洲黑人精品在线| 国产亚洲精品综合一区在线观看 | 国产精品 国内视频| 50天的宝宝边吃奶边哭怎么回事| 成人三级黄色视频| 午夜精品在线福利| 精品福利观看| av有码第一页| 最近最新中文字幕大全电影3 | 香蕉国产在线看| 亚洲一区二区三区不卡视频| 亚洲第一青青草原| 99久久综合精品五月天人人| 日韩欧美 国产精品| 少妇裸体淫交视频免费看高清 | 人人妻人人看人人澡| 亚洲精品久久成人aⅴ小说| 后天国语完整版免费观看| 韩国av一区二区三区四区| 丰满的人妻完整版| 久久久国产成人精品二区| 夜夜看夜夜爽夜夜摸| 99国产综合亚洲精品| 国产精品 欧美亚洲| 好男人电影高清在线观看| 久久精品国产亚洲av高清一级| 99热6这里只有精品| 日日夜夜操网爽| 国产精品综合久久久久久久免费| 日韩欧美免费精品| 午夜免费鲁丝| 他把我摸到了高潮在线观看| 国产真实乱freesex| 亚洲午夜精品一区,二区,三区| 亚洲精品美女久久av网站| 中出人妻视频一区二区| 日韩欧美 国产精品| 51午夜福利影视在线观看| 欧美久久黑人一区二区| 99re在线观看精品视频| aaaaa片日本免费| 亚洲专区国产一区二区| 国产精品久久久久久精品电影 | 动漫黄色视频在线观看| 亚洲欧美一区二区三区黑人| 国产激情偷乱视频一区二区| 欧美黑人欧美精品刺激| 色综合欧美亚洲国产小说| 老熟妇仑乱视频hdxx| 大型av网站在线播放| 国产1区2区3区精品| 亚洲片人在线观看| 国产区一区二久久| 老汉色∧v一级毛片| cao死你这个sao货| 搡老熟女国产l中国老女人| 免费av毛片视频| 免费在线观看成人毛片| 午夜福利高清视频| 久久久久九九精品影院| 亚洲午夜精品一区,二区,三区| 久久久国产精品麻豆| 天堂影院成人在线观看| 99re在线观看精品视频| 成年人黄色毛片网站| 在线播放国产精品三级| 村上凉子中文字幕在线| 中文字幕精品亚洲无线码一区 | 日韩av在线大香蕉| 一本大道久久a久久精品| 深夜精品福利| www.熟女人妻精品国产| 男人舔女人下体高潮全视频| 可以免费在线观看a视频的电影网站| 99久久久亚洲精品蜜臀av| 69av精品久久久久久| 亚洲中文日韩欧美视频| 在线天堂中文资源库| 欧美另类亚洲清纯唯美| 人人妻人人澡欧美一区二区| 欧美色视频一区免费| 亚洲午夜精品一区,二区,三区| 91成年电影在线观看| 久久午夜综合久久蜜桃| 国产不卡一卡二| 高清毛片免费观看视频网站| 国产精品电影一区二区三区| 深夜精品福利| 观看免费一级毛片| 亚洲片人在线观看| 国产亚洲欧美精品永久| 午夜福利18| 日韩有码中文字幕| 每晚都被弄得嗷嗷叫到高潮| 制服诱惑二区| 熟女电影av网| 日韩高清综合在线| 欧美日韩精品网址| 国产成人精品久久二区二区91| 精品国内亚洲2022精品成人| 一进一出好大好爽视频| 成年人黄色毛片网站| 一区二区三区国产精品乱码| 天堂动漫精品| 久久午夜综合久久蜜桃| 一区二区日韩欧美中文字幕| 91麻豆av在线| 美女免费视频网站| 国产成人欧美在线观看| 色在线成人网| 夜夜夜夜夜久久久久| 老汉色∧v一级毛片| 免费看十八禁软件| 久热爱精品视频在线9| 久久人妻福利社区极品人妻图片| 人人妻人人看人人澡| 亚洲av成人av| 亚洲人成网站高清观看| 免费av毛片视频| 成熟少妇高潮喷水视频| 美女午夜性视频免费| 亚洲成a人片在线一区二区| 一区二区三区激情视频| 国产av不卡久久| 国内久久婷婷六月综合欲色啪| 无遮挡黄片免费观看| 热99re8久久精品国产| 老汉色∧v一级毛片| 十八禁人妻一区二区| 欧美绝顶高潮抽搐喷水| 俄罗斯特黄特色一大片| 久久久久免费精品人妻一区二区 | 人人澡人人妻人| 国产精品久久久久久精品电影 | 男女床上黄色一级片免费看| 最新美女视频免费是黄的| 久久亚洲精品不卡| 亚洲国产精品久久男人天堂| 婷婷六月久久综合丁香| 亚洲avbb在线观看| 久久精品夜夜夜夜夜久久蜜豆 | 高清在线国产一区| 国产精品久久久久久精品电影 | 十八禁网站免费在线| 国产av一区在线观看免费| 一a级毛片在线观看| 成年免费大片在线观看| 日本五十路高清| 99久久国产精品久久久| 91字幕亚洲| 91国产中文字幕| 亚洲精品一卡2卡三卡4卡5卡| av视频在线观看入口| 精品高清国产在线一区| 国产主播在线观看一区二区| 久久久久九九精品影院| 老司机福利观看| 老熟妇乱子伦视频在线观看| 日韩三级视频一区二区三区| 中文字幕久久专区| 亚洲av成人av| 中文字幕av电影在线播放| 一二三四社区在线视频社区8| xxx96com| 免费高清视频大片| 精品国产乱子伦一区二区三区| 精品乱码久久久久久99久播| 久久人妻av系列| 国产av一区二区精品久久| 久久久久国产一级毛片高清牌| 久久久国产欧美日韩av| 中出人妻视频一区二区| 巨乳人妻的诱惑在线观看| www国产在线视频色| 日本五十路高清| 很黄的视频免费| 97碰自拍视频| aaaaa片日本免费| 欧美又色又爽又黄视频| 日韩一卡2卡3卡4卡2021年| 国内少妇人妻偷人精品xxx网站 | 亚洲色图 男人天堂 中文字幕| 超碰成人久久| 十八禁网站免费在线| 国产成人av激情在线播放| 88av欧美| 可以在线观看毛片的网站| 哪里可以看免费的av片| 50天的宝宝边吃奶边哭怎么回事| 19禁男女啪啪无遮挡网站| 99精品在免费线老司机午夜| 日韩三级视频一区二区三区| 丁香六月欧美| 天天添夜夜摸| 不卡av一区二区三区| 久久人妻福利社区极品人妻图片| 少妇熟女aⅴ在线视频| 免费女性裸体啪啪无遮挡网站| 中文字幕精品免费在线观看视频| 18禁美女被吸乳视频| 欧美国产精品va在线观看不卡| 精品免费久久久久久久清纯| 久久久久国产精品人妻aⅴ院| 国产伦人伦偷精品视频| 欧美国产精品va在线观看不卡| 狠狠狠狠99中文字幕| 色婷婷久久久亚洲欧美| 69av精品久久久久久| 手机成人av网站| 欧美黑人巨大hd| 在线观看66精品国产| 18禁裸乳无遮挡免费网站照片 | 国产成人精品无人区| 老熟妇乱子伦视频在线观看| 亚洲精品久久国产高清桃花| 一边摸一边做爽爽视频免费| 99在线视频只有这里精品首页| 身体一侧抽搐| 女警被强在线播放| 午夜福利18| 亚洲欧美精品综合久久99| 久久久国产欧美日韩av| 国产精品久久电影中文字幕| 黄片小视频在线播放| 久久热在线av| 国产精品九九99| 久久久久久久久中文| 成在线人永久免费视频| 亚洲国产精品合色在线| 母亲3免费完整高清在线观看| 久久国产精品影院| 午夜福利视频1000在线观看| 丝袜在线中文字幕| 免费在线观看亚洲国产| 欧美av亚洲av综合av国产av| 亚洲av电影不卡..在线观看| 国产私拍福利视频在线观看| 国产激情欧美一区二区| 亚洲人成77777在线视频| 香蕉久久夜色| 亚洲精品中文字幕一二三四区| 亚洲av五月六月丁香网| 国产成人影院久久av| 国产一区二区三区视频了| 在线观看免费午夜福利视频| 精品人妻1区二区| 成年女人毛片免费观看观看9| 久久国产精品男人的天堂亚洲| 欧美中文综合在线视频| 久久中文看片网| 精品一区二区三区av网在线观看| 欧美性猛交黑人性爽| 黑人操中国人逼视频| 叶爱在线成人免费视频播放| 欧美日韩精品网址| 老鸭窝网址在线观看| 老司机深夜福利视频在线观看| а√天堂www在线а√下载| 国产精品99久久99久久久不卡| 丝袜人妻中文字幕| 麻豆久久精品国产亚洲av| 热99re8久久精品国产| 国产男靠女视频免费网站| 特大巨黑吊av在线直播 | 久久国产亚洲av麻豆专区| 久久久久久大精品| 熟妇人妻久久中文字幕3abv| 麻豆av在线久日| 国产一区二区三区视频了| 黄色片一级片一级黄色片| 亚洲成人精品中文字幕电影| 在线播放国产精品三级| 黄色视频不卡| 一本综合久久免费| 亚洲全国av大片| 一进一出抽搐动态| 一级a爱片免费观看的视频| 成人18禁在线播放| 18禁黄网站禁片免费观看直播| 免费在线观看亚洲国产| 在线观看一区二区三区| 我的亚洲天堂| 亚洲av日韩精品久久久久久密| 免费在线观看视频国产中文字幕亚洲| 免费搜索国产男女视频| 在线观看免费视频日本深夜| 久久午夜亚洲精品久久| 国产三级在线视频| www.精华液| 99热只有精品国产| 亚洲中文日韩欧美视频| 人成视频在线观看免费观看| 999精品在线视频| 国产日本99.免费观看| 男人舔女人下体高潮全视频| 夜夜躁狠狠躁天天躁| videosex国产| 亚洲最大成人中文| 给我免费播放毛片高清在线观看| 国产av在哪里看| 法律面前人人平等表现在哪些方面| 欧美黑人欧美精品刺激| 美国免费a级毛片| 最近最新免费中文字幕在线| 日本免费一区二区三区高清不卡| 99久久综合精品五月天人人| 岛国视频午夜一区免费看| 亚洲国产欧美网| 亚洲黑人精品在线| 成人av一区二区三区在线看| 十分钟在线观看高清视频www| 久久精品国产亚洲av香蕉五月| 啦啦啦观看免费观看视频高清| 嫩草影院精品99| 午夜激情av网站| 麻豆成人午夜福利视频| 美女免费视频网站| 亚洲在线自拍视频| 亚洲性夜色夜夜综合| 亚洲欧美精品综合一区二区三区| 日本一区二区免费在线视频| 日韩精品免费视频一区二区三区| 啦啦啦韩国在线观看视频| 国产伦人伦偷精品视频| 久久精品91蜜桃| 国产成人一区二区三区免费视频网站| 国产主播在线观看一区二区| 一级毛片精品| 色播亚洲综合网| 99久久久亚洲精品蜜臀av| 狂野欧美激情性xxxx| 精品乱码久久久久久99久播| 香蕉久久夜色| 一区二区三区精品91| 国产av在哪里看| 久久久久精品国产欧美久久久| 成人免费观看视频高清| 色婷婷久久久亚洲欧美| 欧美色视频一区免费| 国产成人系列免费观看| 午夜免费鲁丝| 国产高清有码在线观看视频 | 人人妻,人人澡人人爽秒播| 欧美日韩亚洲国产一区二区在线观看| 99在线人妻在线中文字幕| 天天一区二区日本电影三级| 国产欧美日韩一区二区精品| www日本黄色视频网| 久久久久久久久免费视频了| 日本免费a在线| 精品一区二区三区视频在线观看免费| 麻豆国产av国片精品| 午夜福利高清视频| 成人亚洲精品av一区二区| 99在线人妻在线中文字幕| 女性被躁到高潮视频| 亚洲成av人片免费观看| 亚洲美女黄片视频| √禁漫天堂资源中文www| 免费av毛片视频| 两个人看的免费小视频| 亚洲精品色激情综合| 国产在线精品亚洲第一网站| 99热只有精品国产| 国产成人av激情在线播放| 国产av不卡久久| 亚洲av中文字字幕乱码综合 | 波多野结衣巨乳人妻| 女性生殖器流出的白浆| 波多野结衣巨乳人妻| 叶爱在线成人免费视频播放| 天天一区二区日本电影三级| 男女视频在线观看网站免费 | 成人国产一区最新在线观看| 日本撒尿小便嘘嘘汇集6| 搡老岳熟女国产| 欧洲精品卡2卡3卡4卡5卡区| 黄片小视频在线播放| 国产99久久九九免费精品| 90打野战视频偷拍视频| 国产伦一二天堂av在线观看| 午夜亚洲福利在线播放| 亚洲av五月六月丁香网| 丝袜人妻中文字幕| 老司机靠b影院| 欧美色欧美亚洲另类二区| 美女免费视频网站| 中文在线观看免费www的网站 | а√天堂www在线а√下载| 超碰成人久久| a在线观看视频网站| 无遮挡黄片免费观看| 啦啦啦观看免费观看视频高清| 69av精品久久久久久| 91字幕亚洲| 天堂影院成人在线观看| 免费观看人在逋| 黄色 视频免费看| 亚洲第一欧美日韩一区二区三区| 变态另类丝袜制服| 国产精品1区2区在线观看.| 无人区码免费观看不卡| 久久中文看片网| 99国产精品一区二区三区| 好男人在线观看高清免费视频 | 国产激情欧美一区二区| 精品久久久久久久末码| 97碰自拍视频| 欧美久久黑人一区二区| 大型av网站在线播放| 日韩精品青青久久久久久| 国产又黄又爽又无遮挡在线| 狠狠狠狠99中文字幕| 男人舔女人的私密视频| 国产久久久一区二区三区| 国产精品自产拍在线观看55亚洲| 亚洲成人免费电影在线观看| 欧美黄色淫秽网站| 在线天堂中文资源库| 亚洲专区国产一区二区| 久久久国产成人精品二区| 国产黄a三级三级三级人| 一二三四在线观看免费中文在| 日韩一卡2卡3卡4卡2021年| 国产精品二区激情视频| 欧美日韩精品网址| 国产97色在线日韩免费| 日韩三级视频一区二区三区| 精品少妇一区二区三区视频日本电影| 少妇的丰满在线观看| 国产亚洲欧美在线一区二区| 亚洲熟女毛片儿| 校园春色视频在线观看| 欧美性猛交╳xxx乱大交人| 熟女电影av网| 日本撒尿小便嘘嘘汇集6| 国产免费av片在线观看野外av| 免费一级毛片在线播放高清视频| 国产精品自产拍在线观看55亚洲| 国产伦一二天堂av在线观看| 丁香欧美五月| 亚洲男人的天堂狠狠|