• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    中文篇章級(jí)句間語(yǔ)義關(guān)系識(shí)別

    2013-10-15 01:52:02張牧宇
    中文信息學(xué)報(bào) 2013年6期
    關(guān)鍵詞:關(guān)聯(lián)詞因果關(guān)系語(yǔ)料

    張牧宇,宋 原,秦 兵,劉 挺

    (哈爾濱工業(yè)大學(xué),黑龍江 哈爾濱150001)

    1 引言

    隨著詞匯語(yǔ)義、句子語(yǔ)義研究的逐漸成熟,篇章級(jí)語(yǔ)義分析逐漸成為研究熱點(diǎn)。作為篇章語(yǔ)義分析的重要內(nèi)容,篇章句間關(guān)系識(shí)別(Discourse Relation Recognition)也受到了越來(lái)越多的關(guān)注。該研究檢測(cè)同一篇章內(nèi),兩個(gè)文本單元(片段、分句、復(fù)句、句群、段落等)之間的邏輯語(yǔ)義關(guān)聯(lián)(例如,因果關(guān)系)。通過(guò)定義層次化的語(yǔ)義關(guān)系類(lèi)型體系將句內(nèi)的語(yǔ)義分析結(jié)果擴(kuò)展為篇章級(jí)的語(yǔ)義信息,從而成為語(yǔ)義分析的重要解決途徑之一,對(duì)自動(dòng)文摘[1]、自動(dòng)問(wèn)答[2]、傾向性分析[3-4]以及文本質(zhì)量評(píng)價(jià)[5]、文本連貫性評(píng)價(jià)[6]等許多NLP任務(wù)起到了很大的幫助。

    根據(jù)文本單元間是否存在篇章連接詞(也稱(chēng)作篇章關(guān)聯(lián)詞),可將篇章句間關(guān)系分為顯式篇章句間關(guān)系(Explicit Discourse Relation,簡(jiǎn)稱(chēng)顯式關(guān)系)與隱式篇章句間關(guān)系(Implicit Discourse Relation,簡(jiǎn)稱(chēng)隱式關(guān)系)兩類(lèi)。其中顯式關(guān)系包含篇章關(guān)聯(lián)詞,如例1所示,篇章關(guān)聯(lián)詞“因?yàn)椤敝甘疽蚬?lèi)型的關(guān)系實(shí)例;隱式關(guān)系缺少顯式關(guān)聯(lián)詞,需要根據(jù)上下文推測(cè)語(yǔ)義類(lèi)型,如例2所示。

    例1:因?yàn)槲沂悄惆职?,我愿意為你做所有一切。(顯式因果關(guān)系)

    例2:他生病了,今天沒(méi)有來(lái)上課。(隱式因果關(guān)系)

    已有篇章句間關(guān)系識(shí)別研究主要針對(duì)英文[7],印度語(yǔ)[8]、土耳其語(yǔ)[9]和阿拉伯語(yǔ)[10]。雖然已有一些面向中文的研究[11-13],但主要集中在分析和語(yǔ)料標(biāo)注,對(duì)關(guān)系識(shí)別研究不足;另外,已有研究大都直接使用了英文關(guān)系類(lèi)型體系,忽略了中文本身的特點(diǎn)。

    本文對(duì)中文篇章句間關(guān)系識(shí)別進(jìn)行了探索,包括顯式關(guān)系識(shí)別和隱式關(guān)系識(shí)別兩方面。

    針對(duì)顯式關(guān)系識(shí)別,我們提出一種基于關(guān)聯(lián)詞的識(shí)別方案,通過(guò)分析中文篇章句間關(guān)系語(yǔ)料獲得關(guān)聯(lián)詞對(duì)關(guān)系類(lèi)型的指示能力,并根據(jù)關(guān)聯(lián)詞指示規(guī)則決定顯式關(guān)系的語(yǔ)義關(guān)系類(lèi)型。針對(duì)隱式關(guān)系識(shí)別,由于缺少篇章關(guān)聯(lián)詞,我們主要采用機(jī)器學(xué)習(xí)方法,抽取詞匯、句法和語(yǔ)義等特征訓(xùn)練分類(lèi)模型,根據(jù)模型輸出判定最終的關(guān)系類(lèi)型。以上識(shí)別研究均采用面向中文的篇章句間關(guān)系體系,更好的適應(yīng)中文特點(diǎn)。

    實(shí)驗(yàn)結(jié)果顯示,基于關(guān)聯(lián)詞的顯式關(guān)系識(shí)別方法取得了非常好的效果,取得了90%左右的識(shí)別準(zhǔn)確率,F(xiàn)值達(dá)到80%;此外,我們的隱式關(guān)系識(shí)別方法也取得了較好的效果。文章內(nèi)容組織如下:第2節(jié)介紹相關(guān)工作;第3節(jié)介紹顯式關(guān)系識(shí)別方法,給出實(shí)驗(yàn)結(jié)果與分析;第4節(jié)介紹隱式關(guān)系特征、識(shí)別方法及實(shí)驗(yàn)結(jié)果;第5節(jié)分給出結(jié)論。

    2 相關(guān)工作

    篇章句間關(guān)系體系及語(yǔ)料:作為有指導(dǎo)方法的基礎(chǔ),英文中已經(jīng)出現(xiàn)一些篇章句間關(guān)系語(yǔ)料[14-16]。這些語(yǔ)料采用不同的關(guān)系類(lèi)型體系[14-17]描述文本單元之間的語(yǔ)義關(guān)系。典型的篇章句間關(guān)系語(yǔ)料包括以下兩種:基于RST理論[17]的修辭結(jié)構(gòu)理論樹(shù)庫(kù)(Rhetorical Structure Theory Discourse Treebank)[15]和基于PDTB體系的賓州篇章樹(shù)庫(kù)(Penn Discourse Tree Bank)[16],它們采用不同的關(guān)系類(lèi)型體系和標(biāo)注標(biāo)準(zhǔn)[18]。目前已有的語(yǔ)料和標(biāo)注理論關(guān)注英語(yǔ)、印度語(yǔ)[8]、土耳其語(yǔ)[9]和阿拉伯語(yǔ)[10]。Xue[11]、Zhou和 Xue[12]、Huang 和 Chen[13]在中文上做了部分分析工作,不過(guò)這些研究直接將英文關(guān)系類(lèi)型體系平移到中文,忽略了中文本身的特點(diǎn)。本文采用了Zhang在2012年提出的面向中文的篇章句間關(guān)系類(lèi)型體系[19],更好的適應(yīng)中文問(wèn)題。

    顯式篇章句間關(guān)系識(shí)別:顯式篇章句間關(guān)系通常由篇章關(guān)聯(lián)詞作為指示,Pitler et al.[7]使用無(wú)指導(dǎo)方法,僅僅利用關(guān)聯(lián)詞的統(tǒng)計(jì)特征識(shí)別顯式篇章句間關(guān)系類(lèi)型,取得了較好的效果,證明關(guān)聯(lián)詞對(duì)顯式關(guān)系識(shí)別的重要性。除無(wú)指導(dǎo)方法之外,有指導(dǎo)模型也被用于顯式關(guān)系識(shí)別,Pitler et al.[20]使用關(guān)聯(lián)詞相關(guān)的標(biāo)準(zhǔn)句法特征幫助提高顯式關(guān)系識(shí)別性能;Wellner和Pustejovsky[21]采用有指導(dǎo)方法識(shí)別篇章句間關(guān)系元素范圍;Elwell和 Baldridge[22]使用關(guān)聯(lián)詞排序器識(shí)別關(guān)系元素范圍。本文提出基于中文關(guān)聯(lián)詞統(tǒng)計(jì)信息的識(shí)別方案探索顯式關(guān)系識(shí)別,并且取得比較好的效果。

    隱式篇章句間關(guān)系識(shí)別:隱式篇章句間關(guān)系通常存在于相鄰句子之間,同時(shí)缺少關(guān)聯(lián)詞。類(lèi)似于顯式關(guān)系識(shí)別,隱式關(guān)系識(shí)別的相關(guān)研究最早出現(xiàn)在英文中,主要關(guān)注詞匯特征,例如,詞匯之間的依存關(guān)系[23-24]、詞匯的語(yǔ)義類(lèi)別[20]和關(guān)聯(lián)詞預(yù)測(cè)[25]。

    由于隱式關(guān)系識(shí)別不同于顯式關(guān)系[26],除了詞匯特征之外,一些額外信息被逐漸引入,例如,句法限制[20,27]、核函數(shù)[28]、實(shí)體特征[29]以及事件配對(duì)特征[30]。這些研究提高了隱式關(guān)系識(shí)別效果,但到目前為止,隱式關(guān)系識(shí)別效果依然不佳,而且缺少面向中文的隱式關(guān)系識(shí)別研究。本文提出基于中文篇章句間關(guān)系體系的隱式關(guān)系識(shí)別模型,通過(guò)引入詞匯、句法和語(yǔ)義特征識(shí)別隱式篇章句間關(guān)系。

    3 顯式篇章句間關(guān)系識(shí)別

    顯式關(guān)系的具體類(lèi)型通常由關(guān)聯(lián)詞標(biāo)識(shí),如例3、例4所示。

    例3:如果大家都同意這個(gè)方案,咱們就按照它來(lái)執(zhí)行;(條件關(guān)系)

    例4:因?yàn)榇蠹叶纪膺@個(gè)方案,咱們就按照它來(lái)執(zhí)行;(因果關(guān)系)

    例3、例4中,除關(guān)聯(lián)詞外的句子成分完全一

    在顯式關(guān)系識(shí)別中,關(guān)聯(lián)詞往往作為關(guān)系類(lèi)型的指示標(biāo)志出現(xiàn)。本文提出基于關(guān)聯(lián)詞的中文顯式關(guān)系識(shí)別模型,利用關(guān)聯(lián)詞規(guī)則識(shí)別顯式關(guān)系。

    3.1 基于關(guān)聯(lián)詞的識(shí)別方案

    致,但不同的關(guān)聯(lián)詞使得兩個(gè)句子具有不同的語(yǔ)義和關(guān)系類(lèi)型??梢酝茰y(cè):關(guān)聯(lián)詞標(biāo)識(shí)了具體關(guān)系類(lèi)型?;谶@種想法,我們提出了基于關(guān)聯(lián)詞的顯式篇章句間關(guān)系識(shí)別方案。據(jù)我們了解,這是首個(gè)利用中文篇章關(guān)聯(lián)詞識(shí)別顯式關(guān)系類(lèi)型的研究工作。

    3.1.1 識(shí)別方案

    我們將中文篇章句間關(guān)系語(yǔ)料分為兩部分:Set 1包含996篇文本,用于抽取篇章關(guān)聯(lián)詞和對(duì)應(yīng)的關(guān)系類(lèi)型;Set 2包含100篇文本,用于測(cè)試識(shí)別方案。首先,我們從Set 1中抽取所有的篇章關(guān)聯(lián)詞和相應(yīng)的關(guān)系類(lèi)型;之后采用極大似然估計(jì)計(jì)算關(guān)聯(lián)詞對(duì)各關(guān)系類(lèi)型的指示能力,獲得“關(guān)聯(lián)詞—關(guān)系類(lèi)型”矩陣:其中橫軸對(duì)應(yīng)某一篇章關(guān)聯(lián)詞,縱軸對(duì)應(yīng)某一具體關(guān)系類(lèi)型。具體的計(jì)算方法如式(1)所示。

    其中ci對(duì)應(yīng)某一關(guān)聯(lián)詞;sj表示待計(jì)算的關(guān)系類(lèi)型;S是所有關(guān)系類(lèi)型的集合。

    對(duì)Set 2中的每一個(gè)測(cè)試實(shí)例,我們首先抽取篇章關(guān)聯(lián)詞;隨后查找“關(guān)聯(lián)詞—關(guān)系類(lèi)型”矩陣,獲得該關(guān)聯(lián)詞對(duì)各關(guān)系類(lèi)型的指示能力,從中選取最大值;并將該類(lèi)型作為測(cè)試實(shí)例的最終標(biāo)簽。

    3.2 實(shí)驗(yàn)設(shè)置

    3.2.1 類(lèi)型體系及語(yǔ)料獲取

    為了支持關(guān)聯(lián)詞分析和后續(xù)的有指導(dǎo)識(shí)別方法,我們采用Zhang[19]提出的中文篇章句間關(guān)系體系,我們從 OntoNotes 4.0[31]中隨機(jī)篩選出1 096篇文本并進(jìn)行了人工標(biāo)注。在這份語(yǔ)料中,三名標(biāo)注人員獨(dú)立標(biāo)注了顯式關(guān)系和隱式關(guān)系。為了驗(yàn)證標(biāo)注質(zhì)量,檢驗(yàn)標(biāo)注一致性,我們計(jì)算了用于統(tǒng)計(jì)多類(lèi)、多標(biāo)注人員標(biāo)注一致性的Fleiss Kappa指標(biāo)[32]。

    在最終的計(jì)算結(jié)果中,我們獲得了66.52%的Fleiss’Kappa值,根據(jù)Fleiss’Kappa指標(biāo)的性能分布區(qū)間,該數(shù)值反映了較好的標(biāo)注一致性;此外,該結(jié)果包括顯式關(guān)系和隱式關(guān)系在所有類(lèi)別上的標(biāo)注一致性,如果單獨(dú)計(jì)算顯式關(guān)系的標(biāo)注一致性,我們會(huì)獲得更好的結(jié)果。據(jù)我們所知,這是第一份中文篇章句間關(guān)系語(yǔ)料。

    3.2.2 實(shí)驗(yàn)結(jié)果

    訓(xùn)練語(yǔ)料中共標(biāo)記出1 273個(gè)不同的篇章關(guān)聯(lián)詞,利用這1 273個(gè)關(guān)聯(lián)詞構(gòu)成“關(guān)聯(lián)詞-關(guān)系類(lèi)型”矩陣,并根據(jù)該矩陣對(duì)測(cè)試實(shí)例進(jìn)行分類(lèi)。對(duì)每一個(gè)測(cè)試實(shí)例,我們抽取相應(yīng)的篇章關(guān)聯(lián)詞,之后檢索矩陣,找到概率最大的關(guān)系類(lèi)別作為最終結(jié)果。

    我們?cè)谥形钠戮溟g關(guān)系體系[19]的六個(gè)頂層類(lèi)別進(jìn)行實(shí)驗(yàn),包括“時(shí)序關(guān)系”、“因果關(guān)系”、“條件關(guān)系”、“比較關(guān)系”、“擴(kuò)展關(guān)系”、“并列關(guān)系”,采用標(biāo)準(zhǔn)P、R、F進(jìn)行評(píng)價(jià),結(jié)果如表1所示。

    表1 基于關(guān)聯(lián)詞的顯式關(guān)系識(shí)別方法實(shí)驗(yàn)結(jié)果

    分析表1,我們?cè)凇耙蚬P(guān)系”、“條件關(guān)系”、“比較關(guān)系”三類(lèi)獲得了非常好的效果:準(zhǔn)確率均高于0.96,F(xiàn)值均高于0.91。效果最好的“條件關(guān)系”精確率達(dá)到0.989 0,召回率為0.904 5,F(xiàn)值則是0.944 9。這意味著絕大多數(shù)情況下,“條件關(guān)系”對(duì)應(yīng)的篇章關(guān)聯(lián)詞(例如,如果)都是無(wú)歧義的;一旦這些關(guān)聯(lián)詞出現(xiàn),我們可以以非常高的概率將該關(guān)系實(shí)例判定為條件關(guān)系。類(lèi)似的情況同樣存在于 “因果關(guān)系”和“比較關(guān)系”中。

    “時(shí)序關(guān)系”的實(shí)驗(yàn)結(jié)果略有不同,我們獲得了較高的準(zhǔn)確率(0.951 2),但召回率較低(0.715 6)。高準(zhǔn)確率說(shuō)明“時(shí)序關(guān)系”對(duì)應(yīng)的篇章關(guān)聯(lián)詞歧義性較小,低召回率說(shuō)明統(tǒng)計(jì)信息的覆蓋率較差。對(duì)于“擴(kuò)展關(guān)系”和“并列關(guān)系”情況則比較復(fù)雜。在這兩類(lèi)中,準(zhǔn)確率和召回率都相對(duì)較低,這意味著除了覆蓋率問(wèn)題外,兩類(lèi)關(guān)系對(duì)應(yīng)的篇章關(guān)聯(lián)詞歧義性也比較高。對(duì)于歧義問(wèn)題,很難單純通過(guò)語(yǔ)料擴(kuò)充或分析解決,需要后續(xù)工作的更多關(guān)注。

    總的來(lái)說(shuō),基于關(guān)聯(lián)詞的識(shí)別方案在各個(gè)類(lèi)別上的平均表現(xiàn)較好。但是,最高的F值(0.944 9)和最低的F值(0.563 8)之間差距較大,說(shuō)明不同的關(guān)系類(lèi)型之間差異非常明顯,這提示我們:不同的關(guān)系類(lèi)型適合不同的處理方法。

    3.2.3 錯(cuò)誤分析與討論

    進(jìn)一步分析實(shí)驗(yàn)結(jié)果,我們發(fā)現(xiàn),大部分篇章關(guān)聯(lián)詞歧義較小;識(shí)別錯(cuò)誤主要由少部分高歧義導(dǎo)致。這些關(guān)聯(lián)詞種類(lèi)較少,但常用關(guān)聯(lián)詞較多(例如,而)。圖1描述出現(xiàn)次數(shù)Top 10的篇章關(guān)聯(lián)詞在各關(guān)系類(lèi)型上的分布情況:柱狀圖的不同顏色代表關(guān)聯(lián)詞對(duì)應(yīng)的關(guān)系類(lèi)型;不同的高度代表對(duì)應(yīng)關(guān)系類(lèi)型所占的比例;同一關(guān)聯(lián)詞對(duì)應(yīng)的關(guān)系類(lèi)型越少、類(lèi)型越集中,該詞的歧義性越小。從圖中可知,大部分關(guān)聯(lián)詞(例如,因?yàn)椋┑钠缌x性較小,90%以上指示同一關(guān)系類(lèi)型,但同時(shí)存在部分高歧義關(guān)聯(lián)詞。

    圖1 Top 10關(guān)聯(lián)詞的關(guān)系類(lèi)型分布情況

    以關(guān)聯(lián)詞“而”為例,它對(duì)應(yīng)的關(guān)系類(lèi)型分布情況包括以下幾類(lèi):

    (1)48.6% 對(duì)應(yīng)“擴(kuò)展關(guān)系”;

    (2)41.8% 對(duì)應(yīng)“比較關(guān)系”;

    (3)7.6% 對(duì)應(yīng)“并列關(guān)系”;

    (4)2% 對(duì)應(yīng)“因果關(guān)系”。

    根據(jù)3.1.1的計(jì)算公式,“擴(kuò)展關(guān)系”對(duì)應(yīng)的得分最高。在分類(lèi)過(guò)程中,所有由“而”標(biāo)識(shí)的篇章句間關(guān)系實(shí)例都被分為“擴(kuò)展關(guān)系”類(lèi)別。對(duì)于48.6%的實(shí)例而言,我們獲得了正確結(jié)果;然而對(duì)于剩余的51.4%,則發(fā)生了分類(lèi)錯(cuò)誤。實(shí)驗(yàn)分析發(fā)現(xiàn),大部分分類(lèi)錯(cuò)誤都和該類(lèi)關(guān)聯(lián)詞有關(guān)。這提示我們對(duì)于歧義性大,出現(xiàn)次數(shù)較多的關(guān)聯(lián)詞,需要特殊的處理方案。

    4 隱式篇章句間關(guān)系識(shí)別

    隱式篇章句間關(guān)系缺少篇章關(guān)聯(lián)詞,沒(méi)有明顯的語(yǔ)義類(lèi)型標(biāo)志,需要人類(lèi)推理才能判斷關(guān)系的存在和具體類(lèi)型。這使得隱式篇章句間關(guān)系具有不同于顯式關(guān)系的分布特點(diǎn)。

    4.1 隱式關(guān)系分析

    在很多情況下,關(guān)聯(lián)詞不僅僅起銜接作用,還會(huì)影響關(guān)系類(lèi)型的分布,如例5、例6所示。

    例5:如果你身體還沒(méi)恢復(fù),就先不用來(lái)上班了。(條件關(guān)系)

    例6:你身體還沒(méi)恢復(fù),先不用來(lái)上班了。(因果關(guān)系)

    例5首先描述某一假設(shè)條件,隨后說(shuō)明假設(shè)成立時(shí)的結(jié)果,屬于“條件關(guān)系”;例6首先描述某一事實(shí),隨后指出事實(shí)引發(fā)的結(jié)果,屬于“因果關(guān)系”。除關(guān)聯(lián)詞“如果……就……”之外兩個(gè)例句內(nèi)容完全相同,但卻具有完全不同的語(yǔ)義類(lèi)型。換言之,對(duì)某些關(guān)系類(lèi)型來(lái)說(shuō)(例如,條件關(guān)系),如果刪除篇章句間關(guān)系關(guān)聯(lián)詞,句子語(yǔ)義會(huì)發(fā)生翻轉(zhuǎn)。這種現(xiàn)象使得對(duì)應(yīng)類(lèi)型的隱式關(guān)系實(shí)例大大減少,形成和顯式關(guān)系完全不同的分布特征。圖2描述了隱式關(guān)系和顯式關(guān)系在中文篇章句間關(guān)系體系[19]中六個(gè)頂層類(lèi)別上的分布情況,其中圖2(a)為顯式關(guān)系分布圖,圖2(b)為隱式關(guān)系分布圖。

    分析圖2可知,相較于顯式關(guān)系,隱式關(guān)系的分布非常不均衡,其中“擴(kuò)展關(guān)系”的比例大大增加,占到了總數(shù)的60.37%;而“條件關(guān)系”、“時(shí)序關(guān)系”、“比較關(guān)系”的數(shù)量則大大壓縮,其中“條件關(guān)系”和“時(shí)序關(guān)系”分別只占0.72%和2.57%;只有“并列關(guān)系”和“因果關(guān)系”比例相對(duì)穩(wěn)定。

    分析原因,對(duì)“條件關(guān)系”和“時(shí)序關(guān)系”而言,由于關(guān)聯(lián)詞的省略導(dǎo)致了語(yǔ)義翻轉(zhuǎn),使得對(duì)應(yīng)類(lèi)型很少出現(xiàn)在隱式關(guān)系中,而“擴(kuò)展關(guān)系”則非常適合用隱式關(guān)系來(lái)表達(dá),這導(dǎo)致了圖2中分布現(xiàn)象的出現(xiàn)。該特點(diǎn)提示我們,在隱式關(guān)系識(shí)別中,不同關(guān)系類(lèi)型具有不同的分布特性,適合不同的識(shí)別方法。考慮到隱式關(guān)系中“條件關(guān)系”和“時(shí)序關(guān)系”數(shù)量極少,我們主要識(shí)別“擴(kuò)展關(guān)系”、“因果關(guān)系”、“比較關(guān)系”、“并列關(guān)系”四類(lèi)。

    圖2 顯式/隱式關(guān)系類(lèi)型分布圖

    4.2 基于有指導(dǎo)方法的隱式關(guān)系識(shí)別模型

    根據(jù)以上的分析,對(duì)隱式關(guān)系識(shí)別主要集中在“擴(kuò)展關(guān)系”、“因果關(guān)系”、“比較關(guān)系”、“并列關(guān)系”四類(lèi)。我們抽取了詞匯、句法、語(yǔ)義等多層次的特征,采用最大熵和SVM兩類(lèi)學(xué)習(xí)方法訓(xùn)練四元分類(lèi)模型,根據(jù)模型輸出判定隱式篇章句間關(guān)系類(lèi)型。

    4.2.1 特征集合

    核心動(dòng)詞:作為句子的主要成分,動(dòng)詞往往在語(yǔ)義表達(dá)中起很重要的作用,動(dòng)詞之間的關(guān)系常常反映了句子間的語(yǔ)義關(guān)系。如例7所示。

    例7:塔利班10日晚襲擊了阿富汗北部一個(gè)村落,導(dǎo)致18人喪生。(因果關(guān)系)

    上例中,“襲擊—喪生”之間存在因果聯(lián)系,同時(shí)也指示了兩個(gè)分句之間的因果關(guān)系。通過(guò)挖掘動(dòng)詞之間的搭配特性,有助于識(shí)別篇章句間關(guān)系類(lèi)型。這兩詞在依存句法分析結(jié)果中均作為“SBV(主謂關(guān)系)”的謂語(yǔ)動(dòng)詞出現(xiàn),因此我們利用依存句法分析找到前后分句中的“SBV”關(guān)系,抽取其中的謂語(yǔ)動(dòng)詞;同時(shí)為了避免稀疏,我們將兩個(gè)謂語(yǔ)動(dòng)詞在同義詞詞林中泛化至第三層,并將泛化結(jié)果配對(duì)構(gòu)成核心動(dòng)詞特征。

    極性特征:不同的極性信息常常指示特定的篇章句間關(guān)系類(lèi)型,如例8所示。

    例8:他很喜歡 蘋(píng)果公司的產(chǎn)品,遺憾的是價(jià)格太高了。(轉(zhuǎn)折關(guān)系)

    例8中“喜歡”指示“Positive”的極性信息;“價(jià)格太高”指示“Negative”的極性信息,前后分句的極性信息相反,指示該實(shí)例屬于“轉(zhuǎn)折關(guān)系”?;谶@種現(xiàn)象,我們引入了篇章單元的極性特征,采用極性詞匹配的方法判定篇章單元極性,并作為特征使用。

    依存句法特征:篇章單元的句法結(jié)構(gòu)中,最核心的關(guān)系包括“SBV(主謂)”和“VOB(動(dòng)賓)”兩類(lèi),它們描述了文本單元的主要信息。本文將兩個(gè)篇章單元中的“SBV”和“VOB”關(guān)系抽取出來(lái),并將對(duì)應(yīng)詞匯在同義詞詞林中泛化至第三層,作為特征使用。

    Unigram(句首):在中文里,句首詞語(yǔ)通常起承上啟下的作用,對(duì)篇章句間關(guān)系類(lèi)型具有一定的指示作用。本文分別抽取兩個(gè)篇章單元中的第一個(gè)詞,作為識(shí)別特征使用。

    Bigram(句首):中文里承上啟下的可以是單個(gè)詞,也可以是雙詞或短語(yǔ)。因此除Unigram特征之外,本文還抽取兩個(gè)篇章單元中的前兩個(gè)詞,作為識(shí)別特征使用。

    4.3 實(shí)驗(yàn)結(jié)果

    我們?nèi)匀徊捎?.2.1中提到的中文篇章句間關(guān)系語(yǔ)料庫(kù)進(jìn)行實(shí)驗(yàn),該語(yǔ)料庫(kù)包含1 096篇文本,手工標(biāo)注了顯式篇章句間關(guān)系和隱式篇章句間關(guān)系兩類(lèi)信息。我們將其中996篇作為訓(xùn)練語(yǔ)料,另外100篇作為測(cè)試語(yǔ)料,抽取前文提出的詞匯、句法、語(yǔ)義等特征,分別訓(xùn)練最大熵和SVM兩種模型進(jìn)行分類(lèi)。我們?cè)谥形钠戮溟g關(guān)系體系的四個(gè)頂層類(lèi)別進(jìn)行分類(lèi),包括:“擴(kuò)展關(guān)系”、“因果關(guān)系”、“比較關(guān)系”、“并列關(guān)系”,結(jié)果如表2所示。

    分析表2,除“擴(kuò)展關(guān)系”外,其他類(lèi)型存在高準(zhǔn)確率、低召回率的特性。以最大熵模型下的“因果關(guān)系”為例,識(shí)別準(zhǔn)確率達(dá)到0.687 5,召回率卻只有0.080 3。而“擴(kuò)展關(guān)系”情況恰恰相反。這說(shuō)明數(shù)據(jù)不均衡性使得模型傾向于將測(cè)試實(shí)例分為“擴(kuò)展關(guān)系”,導(dǎo)致“擴(kuò)展關(guān)系”類(lèi)型召回率增加,準(zhǔn)確率下降;同時(shí)使得其他類(lèi)型召回率降低。系統(tǒng)的整體性能不佳,很大一個(gè)原因是由于低召回率導(dǎo)致的。這提示我們?cè)陬?lèi)別分布嚴(yán)重不均衡的情況下,傳統(tǒng)的統(tǒng)一識(shí)別思路存在很大的困難。

    表2 隱式篇章句間關(guān)系識(shí)別結(jié)果

    注意到SVM實(shí)驗(yàn)結(jié)果普遍高于最大熵,這主要是由于隱式關(guān)系在各類(lèi)型上分布不均衡,而SVM模型對(duì)邊界實(shí)例敏感,但對(duì)數(shù)據(jù)不平衡有較強(qiáng)的容忍度,因此取得了相對(duì)較好的效果。此外,對(duì)比前文的顯式關(guān)系識(shí)別結(jié)果,我們發(fā)現(xiàn)“并列關(guān)系”識(shí)別效果始終不佳,這在一定程度上反映該類(lèi)型的特征不明顯,區(qū)分度較弱;同時(shí)考慮圖1,主要的關(guān)聯(lián)詞歧義集中在“擴(kuò)展關(guān)系”和“并列關(guān)系”,說(shuō)明這兩個(gè)類(lèi)別特征接近。從語(yǔ)義體系定義上來(lái)說(shuō),是否有必要將“擴(kuò)展關(guān)系”和“并列關(guān)系”區(qū)分開(kāi)來(lái),是值得考慮的一個(gè)問(wèn)題。

    5 結(jié)論與展望

    本文首次探索面向中文的篇章句間關(guān)系識(shí)別任務(wù),嘗試了顯式篇章句間關(guān)系識(shí)別和隱式篇章句間關(guān)系識(shí)別兩方面研究。對(duì)于顯式篇章句間關(guān)系識(shí)別,我們首次提出基于篇章關(guān)聯(lián)詞的顯式關(guān)系識(shí)別方法,在關(guān)聯(lián)詞統(tǒng)計(jì)的基礎(chǔ)上識(shí)別關(guān)系類(lèi)型,取得了非常好的效果。對(duì)于隱式篇章句間關(guān)系識(shí)別,我們首先分析了隱式關(guān)系和顯式關(guān)系在類(lèi)型分布上的差別,指出隱式關(guān)系的特點(diǎn),并在識(shí)別過(guò)程中進(jìn)行了針對(duì)性處理;隨后我們提出詞匯、句法、語(yǔ)法等一系列特征,采用最大熵和SVM兩種方案嘗試了隱式篇章句間關(guān)系識(shí)別。本文的分析和實(shí)驗(yàn)結(jié)果為后續(xù)的工作提供了參考,推動(dòng)了中文篇章分析研究,尤其是篇章句間關(guān)系分析的進(jìn)一步發(fā)展。

    [1]D Marcu.The rhetorical parsing of unrestricted texts:A surface-based approach[J].Computational Linguistics,2000,26(3):395-448.

    [2]R Girju.Automatic detection of causal relations for question answering[C]//Proceedings of the ACL 2003 workshop on multilingual summarization and question answering.2003,12:76-83.

    [3]S Somasundaran,J Wiebe,J Ruppenhofer.Discourselevel opinion interpretation[C]//Proceedings of Coling 2008.

    [4]Zhou L,Li B,Gao W,et al.Unsupervised Discovery of Discourse Relations for Eliminating Intra-sentence Polarity Ambiguities[C]//Proceedings of the EMNLP 2011(Oral presentation),Edinburgh,Scotland,July:27-31.

    [5]E Pitler,A Nenkova.Revisiting readability:A unified framework for predicting text quality[C]//Proceedings of EMNLP 2008:186-195.

    [6]Ziheng Lin,Hwee Tou NG,Min-Yen Kan.Automatically Evaluating Text Coherence Using Discourse Relations.[C]//Proceedings of ACL-HLT,2011:997-1006.

    [7]E Pitler,M Raghupathy,H Mehta,et al.Easily identifiable discourse relations[C]//Proceedings of COLING 08.

    [8]Rashmi Prasad,Samar Husain,Dipti Sharma,et al.Towards an annotated corpus of discourse relations in Hindi[C]//Proceedings of the IJCNLP 2008,Hyderabad,India,2008.

    [9]Deniz Zeyrek,Bonnie Webber.A Discourse Resource for Turkish:Annotating Discourse Connectives in theMETU Corpus[C]//Proceedings of IJCNLP-2008.Hyderabad,India,2008.

    [10]A AlSaif,K Markert.The leeds arabic discourse treebank:Annotating discourse connectives for arabic[C]//Proceedings of LREC 2010.

    [11]Xue Nianwen.Annotating discourse connectives in the Chinese Treebank[C]//Proceedings of the ACL Workshop in Frontiers in Annotation II.2005.

    [12]Hen-Hsen Huang, Hsin-Hsi Chen.Chinese Discourse Relation Recognition[C]//Proceedings of IJCNLP 2011:1442-1446.

    [13]Yuping Zhou,Nianwen Xue.PDTB-style Discourse Annotation of Chinese Text[C]//Proceedings of ACL 2012.

    [14]J.R.Hobbs.On the coherence and structure of dis-course[M].CSLI,1985:37-85.

    [15]Carlson L,Marcu D,Okurowski ME.Building a discourse-tagged corpus in the framework of rhetorical structure theory[M].Springer Netherlands,2003:85-112.

    [16]R Prasad,N Dinesh,A Lee,et al.The Penn discourse treebank 2.0[C]//Proceedings of LREC 2008.

    [17]William Mann,Sandra Thompson.Rhetorical structure theory:Toward a functional theory of text organization[J].Text,1988,8(3):243-281.

    [18]A AlSaif,K Markert.The leeds arabic dis-course treebank:Annotating discourse connectives for arabic[C]//Proceedings of LREC 2010.

    [19]張牧宇,秦兵,劉挺.中文篇章級(jí)句間語(yǔ)義關(guān)系體系及標(biāo)注[C]//Proceedings of CCIR 2012.

    [20]Pitler E,Louis A,Nenkova A.Automatic Sense Predication for Implicit Discourse Relations in Text[C]//Proceedings of ACL-IJCNLP 2009.

    [21]Ben Wellner,James Pustejovsky.Automati-cally identifying the arguments of discourse connec tives[C]//Proceedings of EMNLP-CoNLL 2007,Prague,Czech Republic.

    [22]R Elwell,J Baldridge.Discourse connective argument identification with connective specific rankers[C]//Proceedings of the International Conference on Semantic Computing.2008.

    [23]D Marcu,A Echihabi.An unsupervised approach to recognizing discourse relations[C]//Proceedings of ACL 2001:368-375.

    [24]S Blair-Goldensohn,K R McKeown,O C Rambow.Building and Refining Rhetorical-Semantic Relation Models[C]//Proceedings of NAACL HLT,2007:428-435.

    [25]Z Zhou,Y Xu,Z Niu,et al.Predicting discourse connectives for implicit discourse relation recognition[C]//Proceedings of Coling 2010:1507-1514.

    [26]C Sporleder,A Lascarides.Using automatically labelled examples to classify rhetorical relations:an assessment[J].NLE 2008:14(3).

    [27]Lin Z,Kan M,Ng H.Recognizing Implicit Discourse Relations in the Penn Discourse Tree-bank[C]//Proceedings of EMNLP 2009,Singapore,August.

    [28]W Wang,J Su,C Tan.Kernel-based discourse relation recognition with temporal ordering information[C]//Proceedings of ACL 2010:710-719.

    [29]A Louis,A Nenkova.Creating local coherence:An empirical assessment[C]//Proceedings of NAACL 2010.

    [30]C Chiarcos.Towards the Unsupervised Acquisition of Discourse Relations[C]//Proceedings of ACL 2012.

    [31]Eduard Hovy,Mitchell Marcus,Martha Palmer,et al.Ontonotes:The 90%solution[C]//Proceedings of the Human Language Technology Conference of the NAACL,Companion Volume:Short Papers,2012:57-60.

    [32]Fleiss,J.L.Measuring nominal scale agreement among many raters[J].Psychological Bulletin,1971,76(5):378-382.

    猜你喜歡
    關(guān)聯(lián)詞因果關(guān)系語(yǔ)料
    巧用關(guān)聯(lián)詞
    用關(guān)聯(lián)詞造句
    Your high school friends are your lifelong friends
    玩忽職守型瀆職罪中嚴(yán)重不負(fù)責(zé)任與重大損害后果的因果關(guān)系
    做完形填空題,需考慮的邏輯關(guān)系
    基于語(yǔ)料調(diào)查的“連……都(也)……”出現(xiàn)的語(yǔ)義背景分析
    幫助犯因果關(guān)系芻議
    華語(yǔ)電影作為真實(shí)語(yǔ)料在翻譯教學(xué)中的應(yīng)用
    介入因素對(duì)因果關(guān)系認(rèn)定的影響
    《苗防備覽》中的湘西語(yǔ)料
    嫩草影院新地址| 日本欧美国产在线视频| 神马国产精品三级电影在线观看| 国产午夜福利久久久久久| 亚洲色图av天堂| 精品酒店卫生间| 国产精品不卡视频一区二区| 久久久久久久久中文| 欧美一级a爱片免费观看看| videos熟女内射| 久久草成人影院| 在线免费观看不下载黄p国产| 久久国内精品自在自线图片| 午夜免费激情av| 欧美xxxx黑人xx丫x性爽| 欧美zozozo另类| 视频中文字幕在线观看| 麻豆国产97在线/欧美| 免费av毛片视频| 精品人妻偷拍中文字幕| 亚洲中文字幕一区二区三区有码在线看| 国产免费男女视频| 丝袜喷水一区| 99热这里只有是精品50| 欧美成人免费av一区二区三区| 最后的刺客免费高清国语| 国产精品久久视频播放| 久久6这里有精品| 69av精品久久久久久| 少妇猛男粗大的猛烈进出视频 | 国产高清有码在线观看视频| 床上黄色一级片| 亚洲国产欧美在线一区| 亚洲精品色激情综合| 亚洲18禁久久av| 亚洲av免费在线观看| 亚洲美女视频黄频| 搡女人真爽免费视频火全软件| 精品人妻视频免费看| 亚洲精品自拍成人| 国产一级毛片七仙女欲春2| kizo精华| 欧美高清成人免费视频www| 国产激情偷乱视频一区二区| 亚洲人成网站在线观看播放| 国产激情偷乱视频一区二区| 欧美高清成人免费视频www| 少妇的逼水好多| 97超碰精品成人国产| 久久久欧美国产精品| 日韩在线高清观看一区二区三区| 日韩视频在线欧美| 狂野欧美白嫩少妇大欣赏| 国产精华一区二区三区| 午夜精品在线福利| 2021少妇久久久久久久久久久| 久久久久九九精品影院| 成人无遮挡网站| 欧美xxxx黑人xx丫x性爽| 国产美女午夜福利| 成人二区视频| 晚上一个人看的免费电影| 免费黄网站久久成人精品| 亚洲人成网站高清观看| 午夜视频国产福利| 国产伦理片在线播放av一区| 两性午夜刺激爽爽歪歪视频在线观看| 成人高潮视频无遮挡免费网站| 白带黄色成豆腐渣| 亚洲经典国产精华液单| 插逼视频在线观看| 国产乱人视频| 亚洲天堂国产精品一区在线| 日韩在线高清观看一区二区三区| 国产免费男女视频| 欧美区成人在线视频| 亚洲欧美日韩高清专用| 丰满人妻一区二区三区视频av| 长腿黑丝高跟| 欧美性感艳星| 97热精品久久久久久| 亚洲欧美日韩高清专用| 婷婷色av中文字幕| 九九爱精品视频在线观看| 男女那种视频在线观看| 国产色婷婷99| 久久久久久久久久成人| 波野结衣二区三区在线| 天堂中文最新版在线下载 | 国产成人91sexporn| 亚洲av成人av| 狂野欧美激情性xxxx在线观看| 日本av手机在线免费观看| 女人十人毛片免费观看3o分钟| 午夜福利视频1000在线观看| 亚洲成人久久爱视频| 日韩强制内射视频| 国产伦精品一区二区三区视频9| 日韩制服骚丝袜av| АⅤ资源中文在线天堂| 青青草视频在线视频观看| 嫩草影院新地址| 亚洲国产最新在线播放| 在线免费观看不下载黄p国产| 午夜精品国产一区二区电影 | 91久久精品电影网| 精品人妻视频免费看| 村上凉子中文字幕在线| 成人国产麻豆网| 亚洲av男天堂| 高清av免费在线| 在线观看美女被高潮喷水网站| 一区二区三区乱码不卡18| 亚洲成人久久爱视频| 国产单亲对白刺激| 别揉我奶头 嗯啊视频| 黄色欧美视频在线观看| 国产在线男女| 日韩,欧美,国产一区二区三区 | 久久99热这里只频精品6学生 | 国产人妻一区二区三区在| 18禁裸乳无遮挡免费网站照片| 国产亚洲av嫩草精品影院| 国产人妻一区二区三区在| 国产视频内射| 日韩一区二区三区影片| 99热这里只有是精品在线观看| 中文字幕精品亚洲无线码一区| 桃色一区二区三区在线观看| 一级av片app| 国产一级毛片在线| 亚洲天堂国产精品一区在线| 国产精品永久免费网站| 老女人水多毛片| 成人一区二区视频在线观看| 亚洲欧美成人精品一区二区| 国产成人一区二区在线| 亚洲精华国产精华液的使用体验| 91狼人影院| 久久久久久久久久成人| 欧美三级亚洲精品| 久久久欧美国产精品| 欧美激情国产日韩精品一区| 国产白丝娇喘喷水9色精品| a级一级毛片免费在线观看| 国产在线男女| 欧美潮喷喷水| a级一级毛片免费在线观看| 国产毛片a区久久久久| 小说图片视频综合网站| 神马国产精品三级电影在线观看| 男人舔女人下体高潮全视频| 亚洲国产欧美在线一区| 亚洲av电影在线观看一区二区三区 | 午夜福利在线在线| 男人舔女人下体高潮全视频| 床上黄色一级片| 少妇裸体淫交视频免费看高清| 亚洲精品国产av成人精品| 人妻少妇偷人精品九色| 欧美成人午夜免费资源| 亚洲三级黄色毛片| 日韩成人伦理影院| 欧美区成人在线视频| 日日啪夜夜撸| 美女黄网站色视频| 久久综合国产亚洲精品| 亚洲欧美清纯卡通| 三级国产精品片| 中文字幕久久专区| 91久久精品电影网| 日本与韩国留学比较| 亚洲av成人精品一二三区| 国产一区二区亚洲精品在线观看| 一区二区三区四区激情视频| 禁无遮挡网站| 老司机福利观看| 在线播放无遮挡| 天堂中文最新版在线下载 | 女人十人毛片免费观看3o分钟| 午夜爱爱视频在线播放| 久久精品国产亚洲av天美| 亚洲丝袜综合中文字幕| 国产探花极品一区二区| 国产精品综合久久久久久久免费| 久久精品久久久久久噜噜老黄 | 成人欧美大片| 国产熟女欧美一区二区| 午夜日本视频在线| 日韩制服骚丝袜av| 校园人妻丝袜中文字幕| 在线免费十八禁| 蜜桃久久精品国产亚洲av| 尾随美女入室| 麻豆久久精品国产亚洲av| 久久精品久久久久久噜噜老黄 | 熟妇人妻久久中文字幕3abv| 国产女主播在线喷水免费视频网站 | 午夜免费男女啪啪视频观看| 最近中文字幕2019免费版| 五月伊人婷婷丁香| 亚洲av成人av| 六月丁香七月| 久久草成人影院| 亚洲av中文字字幕乱码综合| 精品国产露脸久久av麻豆 | 日本熟妇午夜| 国产三级中文精品| 久久久久久久久久黄片| 国产成人a∨麻豆精品| 亚洲一区高清亚洲精品| 成人一区二区视频在线观看| 欧美最新免费一区二区三区| 久久久午夜欧美精品| 国产一区二区在线av高清观看| 午夜老司机福利剧场| 直男gayav资源| 看免费成人av毛片| 久久欧美精品欧美久久欧美| 国产精品一及| 亚洲av熟女| 男人狂女人下面高潮的视频| 91精品一卡2卡3卡4卡| 亚洲国产高清在线一区二区三| 日韩中字成人| 99九九线精品视频在线观看视频| 国产真实乱freesex| 国产色婷婷99| 精品不卡国产一区二区三区| av国产免费在线观看| 亚洲内射少妇av| 国产亚洲av嫩草精品影院| 一卡2卡三卡四卡精品乱码亚洲| 国产午夜精品论理片| 欧美一区二区精品小视频在线| 日韩欧美三级三区| 69人妻影院| 超碰97精品在线观看| a级一级毛片免费在线观看| 天堂中文最新版在线下载 | 国产精品久久久久久av不卡| 国产精品伦人一区二区| 麻豆成人av视频| 婷婷色麻豆天堂久久 | 精品人妻一区二区三区麻豆| 日韩,欧美,国产一区二区三区 | 简卡轻食公司| 亚洲在线自拍视频| 你懂的网址亚洲精品在线观看 | 女的被弄到高潮叫床怎么办| 在线播放无遮挡| 精品人妻偷拍中文字幕| 99久久中文字幕三级久久日本| 日日摸夜夜添夜夜爱| 麻豆成人午夜福利视频| av在线老鸭窝| 亚洲av中文字字幕乱码综合| 国产极品精品免费视频能看的| 日韩大片免费观看网站 | 久久久久性生活片| 秋霞伦理黄片| 身体一侧抽搐| АⅤ资源中文在线天堂| 精品一区二区三区视频在线| 丝袜喷水一区| 插逼视频在线观看| 久久久久久久久大av| 最后的刺客免费高清国语| 色尼玛亚洲综合影院| 亚洲av二区三区四区| 少妇被粗大猛烈的视频| 久久综合国产亚洲精品| 久久精品国产亚洲网站| 国产精品不卡视频一区二区| 日韩欧美 国产精品| 少妇的逼好多水| 老司机影院成人| 丝袜喷水一区| 在线观看66精品国产| 午夜a级毛片| 内射极品少妇av片p| 国产精品无大码| 日本免费a在线| 麻豆av噜噜一区二区三区| 国产精品乱码一区二三区的特点| 看非洲黑人一级黄片| videossex国产| 日本一本二区三区精品| 夜夜看夜夜爽夜夜摸| 国产精品国产三级国产av玫瑰| 男人和女人高潮做爰伦理| 国产探花在线观看一区二区| 1000部很黄的大片| 亚洲国产欧洲综合997久久,| 99久国产av精品国产电影| 欧美潮喷喷水| 在线观看av片永久免费下载| a级毛片免费高清观看在线播放| 熟女人妻精品中文字幕| 青春草视频在线免费观看| 国产精品一区二区性色av| 黑人高潮一二区| 欧美色视频一区免费| 欧美潮喷喷水| 亚洲精品自拍成人| 乱人视频在线观看| 超碰97精品在线观看| 亚洲欧美成人精品一区二区| 又粗又爽又猛毛片免费看| 国产精品精品国产色婷婷| 99热这里只有是精品在线观看| 搞女人的毛片| 少妇被粗大猛烈的视频| 97热精品久久久久久| 联通29元200g的流量卡| 亚洲av中文av极速乱| 最近中文字幕高清免费大全6| 尤物成人国产欧美一区二区三区| 久久久久国产网址| 亚洲国产精品专区欧美| 毛片女人毛片| 国产日韩欧美在线精品| 午夜日本视频在线| 日本av手机在线免费观看| 韩国高清视频一区二区三区| 免费看光身美女| 国产私拍福利视频在线观看| 国产精品久久久久久精品电影小说 | 亚洲aⅴ乱码一区二区在线播放| 日日撸夜夜添| 国产高清国产精品国产三级 | 一区二区三区四区激情视频| 亚洲av一区综合| 亚洲欧美中文字幕日韩二区| 亚洲人成网站在线观看播放| 婷婷色麻豆天堂久久 | 国产欧美日韩精品一区二区| 午夜日本视频在线| 国产高清有码在线观看视频| 中文在线观看免费www的网站| 高清午夜精品一区二区三区| a级毛片免费高清观看在线播放| 国产片特级美女逼逼视频| 亚洲三级黄色毛片| 亚洲自拍偷在线| 国产精品久久久久久av不卡| 真实男女啪啪啪动态图| 亚洲电影在线观看av| 丰满乱子伦码专区| 又爽又黄无遮挡网站| 一个人看的www免费观看视频| 七月丁香在线播放| 国产精品久久久久久精品电影小说 | 日韩高清综合在线| 成人欧美大片| 久久99精品国语久久久| 日日干狠狠操夜夜爽| 亚洲国产精品国产精品| 国产高潮美女av| 97在线视频观看| 国产精品久久电影中文字幕| 欧美日韩一区二区视频在线观看视频在线 | 九九久久精品国产亚洲av麻豆| 欧美xxxx黑人xx丫x性爽| 国产 一区 欧美 日韩| 久久久久久九九精品二区国产| 亚洲综合精品二区| 中文在线观看免费www的网站| 日韩精品青青久久久久久| 国产黄色小视频在线观看| 高清在线视频一区二区三区 | 少妇的逼好多水| 国产精品国产三级国产专区5o | 一个人免费在线观看电影| 中文字幕制服av| 国产极品精品免费视频能看的| 国产亚洲最大av| 成人亚洲精品av一区二区| 国产精品久久久久久久电影| 一级毛片电影观看 | 日本免费在线观看一区| a级毛片免费高清观看在线播放| 18禁动态无遮挡网站| 亚洲av日韩在线播放| 少妇裸体淫交视频免费看高清| 别揉我奶头 嗯啊视频| 亚洲欧美精品自产自拍| 免费看美女性在线毛片视频| 精品久久久久久成人av| 国产极品精品免费视频能看的| 国产一区二区亚洲精品在线观看| 免费看日本二区| 天堂中文最新版在线下载 | 午夜精品一区二区三区免费看| 亚洲欧美精品自产自拍| 免费大片18禁| 在线播放国产精品三级| 久久久久久九九精品二区国产| 久久99热这里只频精品6学生 | 欧美日韩综合久久久久久| 国产亚洲最大av| 亚洲国产精品久久男人天堂| 日韩人妻高清精品专区| 99久久中文字幕三级久久日本| 99久久精品国产国产毛片| 老女人水多毛片| 亚洲中文字幕日韩| 舔av片在线| 色5月婷婷丁香| 免费观看a级毛片全部| 亚洲精品国产av成人精品| 国产亚洲精品av在线| 色综合亚洲欧美另类图片| 午夜激情福利司机影院| 老司机影院毛片| 深爱激情五月婷婷| 国产免费又黄又爽又色| 最近视频中文字幕2019在线8| 99久国产av精品国产电影| 在线播放无遮挡| 亚州av有码| 免费看av在线观看网站| 日本免费在线观看一区| 久久久国产成人免费| 精品久久久久久久人妻蜜臀av| 色综合亚洲欧美另类图片| 久久人人爽人人片av| 亚洲中文字幕日韩| 亚洲av一区综合| 成人综合一区亚洲| 国内揄拍国产精品人妻在线| 精品一区二区三区视频在线| 久久鲁丝午夜福利片| 亚洲自偷自拍三级| 一级av片app| 边亲边吃奶的免费视频| 91久久精品国产一区二区成人| 国产亚洲av片在线观看秒播厂 | 久久久久国产网址| 亚洲熟妇中文字幕五十中出| 精品无人区乱码1区二区| 国产精品一区二区在线观看99 | 亚洲中文字幕一区二区三区有码在线看| 日本爱情动作片www.在线观看| 久久精品熟女亚洲av麻豆精品 | 一级黄色大片毛片| 亚洲最大成人av| 高清毛片免费看| 只有这里有精品99| 蜜桃亚洲精品一区二区三区| 一级黄色大片毛片| 视频中文字幕在线观看| 亚洲在线观看片| 欧美bdsm另类| 国产黄色视频一区二区在线观看 | 亚洲aⅴ乱码一区二区在线播放| 联通29元200g的流量卡| www日本黄色视频网| av女优亚洲男人天堂| 高清视频免费观看一区二区 | 又黄又爽又刺激的免费视频.| 亚洲人与动物交配视频| 国产伦精品一区二区三区四那| 免费av毛片视频| 亚洲国产成人一精品久久久| 午夜福利高清视频| 18禁在线无遮挡免费观看视频| 91精品一卡2卡3卡4卡| 亚洲国产欧美在线一区| 别揉我奶头 嗯啊视频| 美女大奶头视频| 久久精品夜色国产| 国产高清不卡午夜福利| 一级毛片久久久久久久久女| 精品久久久噜噜| 精品国产三级普通话版| 国产亚洲一区二区精品| 22中文网久久字幕| 国产亚洲av嫩草精品影院| 婷婷色麻豆天堂久久 | 最近中文字幕2019免费版| 91在线精品国自产拍蜜月| 日韩成人伦理影院| 色哟哟·www| 尤物成人国产欧美一区二区三区| 成人三级黄色视频| 国产中年淑女户外野战色| 伦理电影大哥的女人| 一级毛片久久久久久久久女| 免费一级毛片在线播放高清视频| 97超视频在线观看视频| 中文字幕免费在线视频6| 亚洲欧美精品专区久久| 简卡轻食公司| 插逼视频在线观看| 性插视频无遮挡在线免费观看| 熟妇人妻久久中文字幕3abv| 99九九线精品视频在线观看视频| 欧美三级亚洲精品| 能在线免费看毛片的网站| 女人久久www免费人成看片 | 美女被艹到高潮喷水动态| 美女国产视频在线观看| 嘟嘟电影网在线观看| 婷婷色麻豆天堂久久 | 成人毛片60女人毛片免费| av卡一久久| 岛国毛片在线播放| 一级毛片久久久久久久久女| 嘟嘟电影网在线观看| 国产熟女欧美一区二区| 久久午夜福利片| 免费无遮挡裸体视频| 91精品国产九色| 亚洲精品乱码久久久久久按摩| 亚洲av免费高清在线观看| 国产精品久久久久久久电影| 午夜福利在线观看吧| 欧美不卡视频在线免费观看| 69人妻影院| 日韩成人伦理影院| 国产精品精品国产色婷婷| 午夜免费男女啪啪视频观看| 国产一区亚洲一区在线观看| 最近最新中文字幕大全电影3| 日韩制服骚丝袜av| 亚洲人成网站在线播| 久久精品国产自在天天线| 啦啦啦啦在线视频资源| 亚洲精品自拍成人| 在线免费观看不下载黄p国产| 人体艺术视频欧美日本| 噜噜噜噜噜久久久久久91| 精品国内亚洲2022精品成人| 婷婷色麻豆天堂久久 | 欧美日韩综合久久久久久| 丝袜美腿在线中文| 女人久久www免费人成看片 | 国产精品一区二区在线观看99 | 中文字幕av成人在线电影| 简卡轻食公司| 国产乱人视频| 99热全是精品| 国产精品国产三级专区第一集| 精品无人区乱码1区二区| 国产乱人视频| 最近2019中文字幕mv第一页| 22中文网久久字幕| 少妇人妻精品综合一区二区| 神马国产精品三级电影在线观看| 久久人人爽人人片av| 欧美一级a爱片免费观看看| 国产一区亚洲一区在线观看| 联通29元200g的流量卡| 麻豆国产97在线/欧美| 联通29元200g的流量卡| 九色成人免费人妻av| 波多野结衣巨乳人妻| 亚洲国产欧美人成| 成人午夜精彩视频在线观看| 亚洲欧洲日产国产| 18+在线观看网站| 欧美性猛交╳xxx乱大交人| 亚洲欧美成人精品一区二区| 久久综合国产亚洲精品| 日韩国内少妇激情av| 高清av免费在线| 赤兔流量卡办理| 淫秽高清视频在线观看| 国产成人午夜福利电影在线观看| 欧美一区二区国产精品久久精品| 99久国产av精品| av国产免费在线观看| 别揉我奶头 嗯啊视频| 国产精品,欧美在线| 国产色爽女视频免费观看| 久久精品人妻少妇| 最近手机中文字幕大全| 91久久精品电影网| 三级国产精品片| 97人妻精品一区二区三区麻豆| 欧美极品一区二区三区四区| 久久这里只有精品中国| 天堂影院成人在线观看| 精品一区二区免费观看| 观看免费一级毛片| 永久免费av网站大全| 非洲黑人性xxxx精品又粗又长| 欧美日韩在线观看h| 高清毛片免费看| 亚洲一级一片aⅴ在线观看| 成人美女网站在线观看视频| 高清av免费在线| 亚洲国产日韩欧美精品在线观看| 午夜亚洲福利在线播放| 色综合色国产| 男插女下体视频免费在线播放| 国产一级毛片七仙女欲春2| 简卡轻食公司| 免费看a级黄色片| 中文字幕制服av| 色吧在线观看| 国产激情偷乱视频一区二区| 九九热线精品视视频播放| 欧美人与善性xxx| 亚洲精品影视一区二区三区av| 夜夜看夜夜爽夜夜摸| 亚洲欧美一区二区三区国产| av播播在线观看一区| 国产单亲对白刺激| 热99在线观看视频| 国产 一区 欧美 日韩| 有码 亚洲区| 特级一级黄色大片| 久久韩国三级中文字幕|