• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    中文模糊限制信息范圍語料庫的研究與構(gòu)建

    2017-07-18 10:53:42周惠巍徐俊利亢世勇
    中文信息學(xué)報(bào) 2017年3期
    關(guān)鍵詞:語料語料庫短語

    周惠巍,楊 歡,徐俊利,張 靜,亢世勇

    (1. 大連理工大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院,遼寧 大連 116024;2. 魯東大學(xué) 文學(xué)院,山東 煙臺 264025)

    中文模糊限制信息范圍語料庫的研究與構(gòu)建

    周惠巍1,楊 歡1,徐俊利1,張 靜2,亢世勇2

    (1. 大連理工大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院,遼寧 大連 116024;2. 魯東大學(xué) 文學(xué)院,山東 煙臺 264025)

    模糊限制語用于表示不確定性的觀點(diǎn)。由模糊限制語所引導(dǎo)的信息為模糊限制信息,開展中文模糊限制信息檢測研究,對事實(shí)信息抽取意義重大。模糊限制信息檢測包含模糊限制性句子識別和模糊限制信息范圍檢測兩個(gè)子任務(wù)。中文模糊限制信息范圍語料庫的缺乏,影響了中文模糊限制信息檢測的研究。該文研究制定了基于短語結(jié)構(gòu)的中文模糊限制信息范圍標(biāo)注規(guī)則,構(gòu)建了中文模糊限制信息范圍語料庫。最后對標(biāo)注的語料庫進(jìn)行了統(tǒng)計(jì)和分析。該文語料庫的構(gòu)建為中文模糊限制信息檢測研究提供了資源支持。

    中文模糊限制信息范圍;標(biāo)注規(guī)則;語料庫

    1 引言

    模糊性是人類語言的一種屬性,由于各種局限性,在語言交流和寫作中,常常借助模糊限制語(hedges)表達(dá)不確定性的含義[1]。由模糊限制語所引導(dǎo)的信息為模糊限制信息(hedge information)。開展模糊限制信息檢測研究,對事實(shí)信息抽取具有重要意義。英文模糊限制語研究開始較早,Prince等[2]從語用功能上將模糊限制語分為變動(dòng)型和緩和型。近年來,模糊限制信息檢測研究引起了國內(nèi)外研究人員的廣泛關(guān)注。2010年計(jì)算自然語言學(xué)會(huì)議(Conference on Natural Language Learning, CoNLL)提出了模糊限制語識別及其范圍(scope)檢測共享任務(wù)(share task)[3]。其中模糊限制語識別包含生物醫(yī)學(xué)和維基百科兩個(gè)領(lǐng)域。生物醫(yī)學(xué)領(lǐng)域語料源自BioScope語料庫[4],維基百科語料源自WikiWeasel語料庫[3],各兩萬句。模糊限制信息范圍檢測只采用了生物醫(yī)學(xué)領(lǐng)域的BioScope語料庫[4]。該語料庫按模糊限制語的詞性制定了范圍標(biāo)注規(guī)則。公開發(fā)表的英文模糊限制信息語料庫還有新聞?lì)I(lǐng)域的FactBank語料庫[5]。模糊限制信息語料庫的構(gòu)建促進(jìn)了英文模糊限制信息檢測的研究[6]。

    近年來,模糊限制信息檢測研究引起了國內(nèi)研究人員的廣泛關(guān)注[7-8]。鄒博偉等[7]詳細(xì)闡述了CoNLL-2010共享任務(wù)及不確定信息研究現(xiàn)狀,并指出語料庫的構(gòu)建是中文模糊限制信息研究的重要基礎(chǔ)。周惠巍等[8]基于句法結(jié)構(gòu)約束檢測模糊限制信息范圍,在CoNLL-2010共享任務(wù)數(shù)據(jù)集上取得了較好的檢測性能。

    中文模糊限制語也廣泛地用于生物醫(yī)學(xué)等各個(gè)領(lǐng)域[9-10]。如例(1)源自生物醫(yī)學(xué)領(lǐng)域文獻(xiàn),作者使用模糊限制語“可能”,表明命題“這是由于增加了AKT,ERK磷酸化而引起的”的不確定性。而例(1)前半部分“在C6細(xì)胞中,血清的存在正調(diào)控內(nèi)源受體的激活,使細(xì)胞凋亡率降低”為事實(shí)信息。因此在檢測模糊限制信息中,模糊限制語識別及其范圍檢測同樣重要。

    例1在C6細(xì)胞中,血清的存在正調(diào)控內(nèi)源受體的激活,使細(xì)胞凋亡率降低,(這可能是由于增加了AKT,ERK磷酸化而引起的)scope。

    與英文相比,中文模糊限制信息檢測研究開始較晚。何自然[9]在Prince等人[2]的研究基礎(chǔ)上,將變動(dòng)型模糊限制語分為程度變動(dòng)型和范圍變動(dòng)型,將緩和型模糊限制語分為直接緩和型和間接緩和型,但是沒有研究語料庫的構(gòu)建。Chen等人[11]構(gòu)建了一個(gè)中文模糊限制語及其范圍語料庫,包含《計(jì)算機(jī)學(xué)報(bào)》論文4 842句,然而文中僅指出了副詞和動(dòng)詞性模糊限制語的限制范圍標(biāo)注規(guī)則。曹媛等[12]在ACE2005中文事件抽取語料庫上,根據(jù)事件選擇謂詞的語義,標(biāo)注了事件的事實(shí)性程度,包括“確定”、“可能”和“不確定”三種取值。該語料可以用于事件的事實(shí)性研究。計(jì)峰等人[13]在新聞?lì)I(lǐng)域標(biāo)注了一萬句語料,進(jìn)行中文不確定句子識別研究,該語料僅標(biāo)注了模糊限制語,沒有標(biāo)注其限制范圍。Zou等人[14]在科技文獻(xiàn)、股市和產(chǎn)品評論三個(gè)領(lǐng)域,構(gòu)建了16 841句模糊限制語及其范圍語料,根據(jù)上下文語義,標(biāo)注模糊限制語,基于完整性和連續(xù)性原則標(biāo)注模糊限制信息范圍,沒有闡述具體的標(biāo)注規(guī)則。

    中文醫(yī)學(xué)文獻(xiàn)包含大量模糊限制語[15]。除醫(yī)學(xué)文獻(xiàn)外,維基百科作為一個(gè)用戶協(xié)作編輯的知識系統(tǒng),其中蘊(yùn)涵了豐富的信息,成為信息抽取的重要語料資源。但是當(dāng)撰寫者不能提供完全準(zhǔn)確的信息時(shí),往往使用模糊限制語,使自己的陳述更客觀。本文在生物醫(yī)學(xué)和維基百科兩個(gè)領(lǐng)域,根據(jù)模糊限制語的類型、詞性及句子的短語結(jié)構(gòu),制定了詳細(xì)的中文模糊限制信息范圍標(biāo)注規(guī)則,并構(gòu)建了模糊限制信息范圍語料庫。

    本文組織結(jié)構(gòu)如下: 第二節(jié)闡述了中文模糊限制語的分類和及其范圍標(biāo)注規(guī)則,并描述了標(biāo)注的過程;第三節(jié)對標(biāo)注完成的語料進(jìn)行了統(tǒng)計(jì)和分析;第四節(jié)是結(jié)論與展望。

    2 中文模糊限制信息范圍語料庫的設(shè)計(jì)與構(gòu)建

    2.1 中文模糊限制語分類

    根據(jù)Prince等人[2]和何自然[9]的分類方法,模糊限制語可分為變動(dòng)型和緩和型兩類。在此基礎(chǔ)上,本文根據(jù)模糊限制語的語義和語用功能,對這兩大類模糊限制語進(jìn)行了更細(xì)致的劃分。

    (1) 變動(dòng)型模糊限制語。

    變動(dòng)型模糊限制語是對話題本身進(jìn)行某種程度的限制,它能修改話題原來的真值。根據(jù)話題變動(dòng)的類型,此類模糊限制語可細(xì)分為數(shù)量變動(dòng)、程度變動(dòng)、范圍變動(dòng)和頻率變動(dòng)四個(gè)類型。

    ? 數(shù)量變動(dòng)型: 當(dāng)說話人不能明確地說出具體的數(shù)字,但是能估計(jì)出一個(gè)大概的數(shù)量時(shí),使用到數(shù)量變動(dòng)模糊限制語。如: “少數(shù)”、“大部分”等。

    ? 程度變動(dòng)型: 將一些接近正確但不敢肯定完全正確的話題,表述得與實(shí)際情況更接近,避免過于武斷,表明話題與真實(shí)情況的接近程度。如: “有點(diǎn)”、“稍微”等。

    ? 范圍變動(dòng)型: 可以在一定的范圍內(nèi)理解話題的意義,而不必考慮具體情況與所說的話題的接近程度。如: “大約”、“在一定范圍內(nèi)”“將近”等。

    ? 頻率變動(dòng)型: 用于反映一個(gè)事件發(fā)生的頻率。如: “常?!?、“偶爾”等。

    (2) 緩和型模糊限制語。

    當(dāng)說話人提出某一個(gè)論斷時(shí),緩和型模糊限制語可以緩和說話人的語氣,減輕說話人為此論斷所負(fù)的責(zé)任,這類模糊限制語不改變話題的真值。根據(jù)緩和型模糊限制語的語用功能將其細(xì)分為主觀見解型、客觀依據(jù)型、探知結(jié)論型和條件假設(shè)型四類。

    ? 主觀見解型: 用來表示說話人闡述的話題只是個(gè)人的主觀見解。使用這類模糊限制語可以在一定程度上削弱說話人對話題所承擔(dān)的責(zé)任。如: “我認(rèn)為”、“就我所知”等。

    ? 客觀依據(jù)型: 借助第三方或大家普遍認(rèn)同的觀點(diǎn),表達(dá)說話人對某事所持有的態(tài)度。說話人在一定程度上同意第三方的觀點(diǎn),只是他對此觀點(diǎn)究竟有多大程度的贊同,在話語中看不出來,只能另作推斷。例如,“據(jù)說”、“有人說”等。

    ? 探知結(jié)論型: 用來表示對某個(gè)結(jié)論的推測,根據(jù)存在的現(xiàn)象推知未來可能會(huì)發(fā)生的事情或有待證明的結(jié)論。如: “表明”、“可能”和“仍不清楚”等。

    ? 條件假設(shè)型: 通過給出假定的前提條件表明說話人的意愿,但現(xiàn)在事實(shí)是怎樣的并不知曉。如: “如果”、“假定”等。

    2.2 標(biāo)注過程

    為了保證標(biāo)注的準(zhǔn)確性,首先由規(guī)則制定者給兩名獨(dú)立標(biāo)注人員講解標(biāo)注規(guī)則,并共同討論、修正規(guī)則。然后由兩名獨(dú)立標(biāo)注人員根據(jù)規(guī)則,分別標(biāo)注模糊限制語及其范圍。最后規(guī)則制定者統(tǒng)一兩份標(biāo)注語料中不一致的標(biāo)注,形成最終的中文模糊限制信息范圍語料庫。具體的標(biāo)注過程如圖1所示。

    2.3 基本標(biāo)注規(guī)則

    模糊限制語的標(biāo)注遵循“最小原則”: 標(biāo)注能表明模糊限制性的最小單元為模糊限制語,多個(gè)模糊限制語組合起來表示模糊限制性時(shí),分別標(biāo)注每個(gè)模糊限制語。中文模糊限制范圍標(biāo)注遵循以下基本原則:

    (1) 連續(xù)性和完整性原則。

    中文模糊限制信息范圍標(biāo)注遵循“連續(xù)原則”,即模糊限制語的作用范圍為包含該模糊限制語的一段連續(xù)字符串。同時(shí)保持“完整性”,即為包含該模糊限制語的具有完整語義的最大句法單元。模糊限制信息雖具有不確定性,但也是有價(jià)值的信息,可用于知識發(fā)現(xiàn)等[16]。所以應(yīng)該盡量完整地標(biāo)記出來。這與英文BioScope語料庫[4]的標(biāo)注原則不同,BioScope標(biāo)注了每個(gè)模糊限制語的語法修飾范圍。

    (2) 當(dāng)模糊限制語為動(dòng)詞的被動(dòng)語態(tài)時(shí),模糊限制信息范圍應(yīng)該包含主語。

    例句(2)中的模糊限制語“被認(rèn)為”是動(dòng)詞的被動(dòng)語態(tài),如果其模糊限制信息范圍僅為其修飾的“被認(rèn)為能透露出受測者是否說謊”,不包含動(dòng)詞的主語“說謊而引起此類生理反應(yīng)的變化”,則無法表示完整語義。所以應(yīng)該包含動(dòng)詞的主語,這也符合“完整性”。

    例2由于此類生理反應(yīng)是不由自主地產(chǎn)生的,說謊而引起此類生理反應(yīng)的變化能透露出受測者是否說謊。

    我們還規(guī)定,如果模糊限制信息范圍結(jié)束于句尾,則不包含句尾的標(biāo)點(diǎn)符號。如果一個(gè)句子中有多個(gè)模糊限制語,各個(gè)模糊限制信息范圍可以并列,也可以嵌套,但不能存在交叉。

    2.4 具體標(biāo)注規(guī)則

    不論是中文還是英文,模糊限制信息范圍的界定都具有依賴于句法結(jié)構(gòu)的特點(diǎn)[17-18]。根據(jù)模糊限制語的類型、詞性及句子短語結(jié)構(gòu),制定模糊限制信息范圍標(biāo)注規(guī)則。模糊限制語可以分為變動(dòng)型和緩和型兩大類。緩和型模糊限制語中,探知結(jié)論型與客觀依據(jù)型居多,并且,探知結(jié)論型模糊限制語大多是動(dòng)詞和副詞。變動(dòng)型的模糊限制語大多是形容詞及副詞。下面介紹這些常見類型的模糊限制語的范圍標(biāo)注規(guī)則,并采用斯坦福句法解析器(Stanford parser)*http://nlp.stanford.edu/software/lex-parser.shtml,獲得例句的短語結(jié)構(gòu)樹,輔助對規(guī)則的理解。

    (1) 緩和型模糊限制語的限制范圍標(biāo)注規(guī)則。

    ? 動(dòng)詞性探知結(jié)論型模糊限制語: 其范圍為距離模糊限制語最近的祖先動(dòng)詞短語(verb phrase, VP)。

    例3蘇聯(lián)的科學(xué)家Bukasov(1935)和Vavilov(1935)歐洲的馬鈴薯的起源就是智利的馬鈴薯。

    例3中使用動(dòng)詞性探知結(jié)論型模糊限制語“推斷”,說明命題“歐洲的馬鈴薯的起源就是智利的馬鈴薯”是一個(gè)不確定的、待證明的命題,而前面的“蘇聯(lián)的科學(xué)家Bukasov(1935)和Vavilov(1935)”是一個(gè)確定的信息。并且不加入這一確定的信息,“推斷”所引導(dǎo)的動(dòng)詞短語“推斷歐洲的馬鈴薯的起源就是智利的馬鈴薯”即可表示完整的語義。這與例2的被動(dòng)語態(tài)不同。

    例3的短語結(jié)構(gòu)樹如圖2所示。VP1是距離模糊限制語“推斷”最近的祖先VP類型節(jié)點(diǎn)。模糊限制信息范圍為該VP1結(jié)構(gòu),即VP1的第一個(gè)詞“推斷”為范圍左邊界,VP1的最后一個(gè)詞“馬鈴薯”為范圍右邊界。

    圖2 例3的短語結(jié)構(gòu)樹

    ? 副詞性探知結(jié)論型模糊限制語: 其范圍包括距離模糊限制語最近的祖先VP,以及與該VP類型節(jié)點(diǎn)同層次的左邊相鄰的名詞短語(noun phrase, NP)。

    例4結(jié)論: TLR通過抑制p38MAPK-FN通路對糖尿病腎病大鼠的腎臟產(chǎn)生保護(hù)作用。

    例4中,使用“可能”,使得命題“TLR通過抑制p38MAPK-FN通路對糖尿病腎病大鼠的腎臟產(chǎn)生保護(hù)作用”具有不確定性。因?yàn)椤癟LR”是“可能”的主語,為標(biāo)注完整的語義信息,“TLR”應(yīng)該包含在模糊限制信息范圍內(nèi)。

    例4的短語結(jié)構(gòu)樹如圖3所示。VP1是距離“可能”最近的祖先VP類型節(jié)點(diǎn),NP1是與VP1同層次的左邊相鄰的NP結(jié)構(gòu)。所以NP1的第一個(gè)詞“TRL”為范圍左邊界,VP1的最后一個(gè)詞“作用”為范圍右邊界。

    圖3 例4的短語結(jié)構(gòu)樹

    ? 客觀依據(jù)型模糊限制語: 其范圍包含離模糊限制語最接近的祖先介詞短語(preposition phrase, PP),以及與該P(yáng)P類型節(jié)點(diǎn)同層次的右側(cè)最接近的VP結(jié)構(gòu)。

    例5胎兒源性成人疾病學(xué)說,IUGR會(huì)明顯增加成人后患心血管疾病的概率。

    例5中,作者使用“根據(jù)”,減輕對命題“IUGR會(huì)明顯增加成人后患心血管疾病的概率”真假性所負(fù)的責(zé)任。所以該命題應(yīng)該包含在模糊限制信息范圍內(nèi)?;凇斑B續(xù)性原則”、“根據(jù)”和命題之間的“胎兒源性成人疾病學(xué)說”也應(yīng)該包含在模糊限制信息范圍內(nèi)。

    (2) 變動(dòng)型模糊限制語的限制范圍標(biāo)注規(guī)則。

    ? 形容詞性變動(dòng)型模糊限制語: 當(dāng)模糊限制語為形容詞時(shí),它通常在一個(gè)NP結(jié)構(gòu)中。如果距離模糊限制語最近的祖先NP類型節(jié)點(diǎn)的父親節(jié)點(diǎn)是VP類型,則模糊限制信息范圍為包含模糊限制語的連續(xù)最上層祖先VP結(jié)構(gòu),以及與該VP類型節(jié)點(diǎn)同層次的左邊相鄰的NP結(jié)構(gòu),如例6。如果距離模糊限制語最近的祖先NP類型節(jié)點(diǎn)的父親節(jié)點(diǎn)不是VP類型,則模糊限制信息范圍包含該NP結(jié)構(gòu),以及與該NP類型節(jié)點(diǎn)同層次的右側(cè)最接近的VP結(jié)構(gòu),如例7。這與英文BioScope語料庫[4]的標(biāo)注原則不同,BioScope認(rèn)為形容詞性模糊限制語的范圍為其所修飾的名詞短語。本文強(qiáng)調(diào)具有模糊性的完整命題。

    例6總之,Toll信號通路對中樞神經(jīng)系統(tǒng)疾病有調(diào)控作用。

    例6的短語結(jié)構(gòu)樹如圖4所示。其中,NP2是距離“一定的”最近的祖先NP類型節(jié)點(diǎn),VP1是“一定的”連續(xù)的最上層祖先VP類型節(jié)點(diǎn)。連續(xù)的最上層祖先VP類型節(jié)點(diǎn)是指: 如果離模糊限制語最近的祖先VP類型節(jié)點(diǎn)的父親節(jié)點(diǎn)屬性也是VP,則繼續(xù)沿著祖先節(jié)點(diǎn)路徑向上尋找,直到找到父親節(jié)點(diǎn)不是VP類型的最上層VP類型節(jié)點(diǎn)。此句中,距離模糊限制語“一定的”最近的祖先VP類型節(jié)點(diǎn)是VP2,沿著虛線向上尋找,找到VP1,沿著虛線繼續(xù)向上尋找,發(fā)現(xiàn)VP1的父親節(jié)點(diǎn)類型為IP,返回到VP1。NP1是與VP1同層次的左側(cè)相鄰的NP結(jié)構(gòu)。所以NP1的第一個(gè)詞“Toll”為范圍左邊界,VP1的最后一個(gè)詞“作用”為右邊界。

    圖4 例6的短語結(jié)構(gòu)樹

    例7修憲后國大的職責(zé)已經(jīng)轉(zhuǎn)交立法院,其中也包括了彈劾總統(tǒng)的權(quán)力。

    例7的短語結(jié)構(gòu)樹如圖5所示。其中,NP1是距離“大部分”最近的祖先NP類型節(jié)點(diǎn),而NP1的父親節(jié)點(diǎn)IP不是VP類型節(jié)點(diǎn)。所以模糊限制信息范圍包含NP1結(jié)構(gòu),以及與該NP1類型節(jié)點(diǎn)同層次的右邊最接近的VP1結(jié)構(gòu)。

    ? 副詞性變動(dòng)型模糊限制語: 模糊限制信息范圍為包含模糊限制語的連續(xù)的最上層祖先VP結(jié)構(gòu),以及與該VP類型節(jié)點(diǎn)同層次的左邊相鄰的NP結(jié)構(gòu)。

    圖5 例7的短語結(jié)構(gòu)樹

    例81919年1月5日,紅軍進(jìn)入明斯克, 沒有遭遇抵抗,短命的白俄羅斯人民共和國垮臺。

    例8中,“幾乎”使得“沒有遭遇抵抗”的程度不確定,所以“沒有遭遇抵抗”要包含在范圍內(nèi),而“沒有遭遇抵抗”的主語是“紅軍進(jìn)入明斯克”這一動(dòng)作,如果缺少該主語則命題不完整,所以“紅軍進(jìn)入明斯克”也要包含在范圍內(nèi)。

    中文使用千變?nèi)f化,不是所有的句子都能基于規(guī)則進(jìn)行標(biāo)注。在實(shí)際標(biāo)注過程中,需要根據(jù)模糊限制語的上下文和句子的語義標(biāo)注模糊限制信息范圍。另外,斯坦福句法解析錯(cuò)誤較多,需要人工修正錯(cuò)誤的句法解析結(jié)果。

    3 數(shù)據(jù)統(tǒng)計(jì)及一致性分析

    3.1 語料庫的統(tǒng)計(jì)數(shù)據(jù)

    在生物醫(yī)學(xué)和維基百科兩個(gè)領(lǐng)域共標(biāo)注語料24 000余句。中文模糊限制語的統(tǒng)計(jì)信息如表1所示。生物醫(yī)學(xué)文獻(xiàn)中,33.30%的句子包含模糊限制信息。其中,48.03%的模糊限制語為變動(dòng)型,51.97%為緩和型。維基百科中,33.10%的句子包含模糊限制信息。其中,71.99%的模糊限制語為變動(dòng)型,28.01%為緩和型。可見兩種類型的模糊限制語廣泛地用于中文文獻(xiàn)。而英文生物醫(yī)學(xué)領(lǐng)域的BioScope語料庫[4]僅標(biāo)注了緩和型模糊限制語,WikiWeasel語料庫[3]僅標(biāo)注了變動(dòng)型模糊限制語。

    表1 中文模糊限制語的統(tǒng)計(jì)信息

    中文模糊限制信息范圍標(biāo)注的統(tǒng)計(jì)信息如表2所示。從表2可以看出,模糊限制信息范圍“不開始于模糊限制語”的數(shù)量多于“開始于模糊限制語”的數(shù)量。這主要是因?yàn)榛谕暾?,常常將主語也包含在范圍內(nèi)?!安唤Y(jié)束于句尾”的數(shù)量多于“結(jié)束于句尾”的數(shù)量。然而,“開始于模糊限制語”和“結(jié)束于句尾”還是占有較大比例。

    3.2 一致性分析

    對每個(gè)模糊限制語都標(biāo)記了唯一的范圍開始和結(jié)束標(biāo)記,所以召回率為百分之百。采用準(zhǔn)確率作為一致率,分析標(biāo)注一致性。中文模糊限制信息范圍語料庫的一致率如表3所示。Left-Scope為左邊界匹配的一致率,Right-Scope為右邊界匹配的一致率,F(xiàn)ull-Scope為左、右邊界同時(shí)匹配的一致率。各單元格中的第一項(xiàng)表示兩份獨(dú)立標(biāo)注的語料間的一致率,第二項(xiàng)和第三項(xiàng)分別表示兩份獨(dú)立標(biāo)注語料與最終語料間的一致率。

    表2 中文模糊限制信息范圍的統(tǒng)計(jì)信息

    表3 中文模糊限制信息范圍語料標(biāo)注的一致率

    由表3可見,各單元格中的第一項(xiàng)均低于第二項(xiàng)和第三項(xiàng),這是因?yàn)樽罱K語料是規(guī)則的制定者對兩份獨(dú)立標(biāo)注語料的不同之處進(jìn)行統(tǒng)一后獲得的,所以有可能和二者之一相同。Right-Scope和Left-Scope的一致率十分接近,且Right-Scope的一致率略高于Left-Scope,說明在標(biāo)注過程中,界定中文模糊限制信息范圍的左邊界略難于中文模糊限制信息范圍的右邊界。Full-Scope的一致率明顯低于Left-Scope和Right-Scope的一致率。

    表4是兩份獨(dú)立標(biāo)注語料的Full-Scope一致率。本文對客觀依據(jù)型和探知結(jié)論型模糊限制語制定了清楚的標(biāo)注規(guī)則,從表4可以看出,每份語料中這兩個(gè)類型的一致率都較高??梢娭贫?zhǔn)確的規(guī)則有助于中文模糊限制信息范圍的標(biāo)注?!皩?shí)驗(yàn)結(jié)果”語料中的主觀見解型模糊限制語的一致率為0,這是因?yàn)樵撜Z料中只有兩個(gè)主觀見解型模糊限制語,而兩名獨(dú)立標(biāo)注人員對這兩個(gè)模糊限制語的范圍標(biāo)注都不一致。

    表4 兩份獨(dú)立標(biāo)注語料的Full-Scope一致率

    雖然制定了清晰的標(biāo)注規(guī)則,但仍存在標(biāo)注分歧,說明標(biāo)注存在一定的主觀性,且中文語言豐富多彩,規(guī)則不能涵蓋所有的情況。部分分歧如下:

    (1) 連接詞是否要包含在模糊限制信息范圍內(nèi)。

    標(biāo)注(1): 陸地邊界現(xiàn)在已清楚劃定,并依據(jù)地理特征來界定,例如: 玻璃市河(PerlisRiver)、哥樂河(GolokRiver)與PagalayanCanal。

    標(biāo)注(2): 陸地邊界現(xiàn)在已清楚劃定,并依據(jù)地理特征來界定,例如,玻璃市河(PerlisRiver)、哥樂河(GolokRiver)與PagalayanCanal。

    最終,我們按標(biāo)注(1)進(jìn)行統(tǒng)一,認(rèn)為“并”和前面的句子有關(guān)系,對后面的句子沒有影響,所以不將它包含在模糊限制信息范圍內(nèi)。

    (2) 當(dāng)一個(gè)句子中出現(xiàn)多個(gè)模糊限制語時(shí),易出現(xiàn)標(biāo)注分歧。

    標(biāo)注(1): 不會(huì)疼痛且沒有感染的臉部腫脹也算是一種類型的腮腺炎,有可能急性慢性的。

    標(biāo)注(2): 不會(huì)疼痛且沒有感染的臉部腫脹也算是一種類型的腮腺炎,有可能是急性慢性的。

    這個(gè)例句中有兩個(gè)模糊限制語,第二個(gè)模糊限制語“或”的限制信息范圍標(biāo)注出現(xiàn)了不一致。這種情況下,為使兩個(gè)模糊限制語的范圍不重復(fù),將標(biāo)注(1)作為正確的標(biāo)注。

    3.3 與相關(guān)研究的比較

    何自然[9]研究了模糊限制語的定義和分類,但沒有進(jìn)行語料庫的構(gòu)建研究。Chen等人[11]構(gòu)建了一個(gè)中文模糊限制語及其范圍語料庫,然而僅包含科學(xué)文獻(xiàn)一個(gè)領(lǐng)域;指出了副詞和動(dòng)詞的模糊限制范圍應(yīng)該擴(kuò)展到從句或整個(gè)句子,但是沒有闡明其他詞性模糊限制語的范圍標(biāo)注規(guī)則。曹媛等人[12]在已有的中文事件抽取語料庫上,根據(jù)謂詞的語義,將事件劃分為“確定”、“可能”和“不確定”三種。該語料可以用于事實(shí)性事件的抽取研究。計(jì)峰等人[13]為進(jìn)行中文不確定句子識別研究,對1萬句新聞?lì)I(lǐng)域語料進(jìn)行了確定性和非確定性標(biāo)注,但是沒有標(biāo)注模糊限制信息范圍。Zou等人[14]在科技文獻(xiàn)、金融報(bào)道和產(chǎn)品評論三個(gè)領(lǐng)域,構(gòu)建了模糊限制語及其范圍語料;指出了模糊限制語及其范圍標(biāo)注的總原則,即根據(jù)上下文語義標(biāo)注模糊限制語;基于完整性和連續(xù)性原則標(biāo)注模糊限制信息范圍。

    本文根據(jù)模糊限制語的語義和語用功能,對模糊限制語進(jìn)行了更細(xì)致的劃分,使得模糊限制語的概念更加明確。且針對不同類型、不同詞性的模糊限制語,詳細(xì)闡述了其范圍標(biāo)注規(guī)則。詳盡的標(biāo)注規(guī)則,不但保證了標(biāo)注語料的質(zhì)量,對模糊限制信息范圍檢測研究,也具有指導(dǎo)意義。此外,本文在生物醫(yī)學(xué)和維基百科兩個(gè)領(lǐng)域,構(gòu)建了模糊限制語及其范圍語料,為模糊限制信息檢測提供了充足的資源。

    4 總結(jié)與展望

    本文研究構(gòu)建了生物醫(yī)學(xué)和維基百科兩個(gè)領(lǐng)域的中文模糊限制信息范圍語料庫。根據(jù)中文模糊限制語的類型、詞性及句子的短語結(jié)構(gòu),制定了中文模糊限制信息范圍標(biāo)注規(guī)則。實(shí)驗(yàn)從語料的領(lǐng)域和模糊限制語的類別兩個(gè)方面,統(tǒng)計(jì)了范圍標(biāo)注的一致性?;谠敱M的標(biāo)注規(guī)則和嚴(yán)格的標(biāo)注過程,語料標(biāo)注取得了較高的一致率。標(biāo)注完成的語料庫包含 10 534個(gè)模糊限制語及其作用范圍。語料規(guī)模足以用于中文模糊限制信息檢測的研究。下一步我們將推出一個(gè)語料庫的在線版本,為中文模糊限制語的研究提供共享資源。并根據(jù)使用者的反饋意見,繼續(xù)完善標(biāo)注規(guī)范,改進(jìn)標(biāo)注質(zhì)量,擴(kuò)大語料規(guī)模。

    [1] Lakoff G. Hedges: a study in meaning criteria and the logic of fuzzy concepts [J]. Journal of Philosophical Logic, 1973, 2(4): 458-508.

    [2] Prince E F,Frader J, Bosk C. On hedging in physician-physician discourse [J]. Linguistics and the Professions, 1982: 83-97.

    [3] Farkas R, Vincze V, Móra G, et al. The CoNLL 2010 Shared Task: Learning to detect hedges and their scope in natural language text [C]//Proceedings of the CoNLL, Uppsala, Sweden, 2010: 1-12.

    [4] Vincze V, Szarvas G, Farkas R, et al. The BioScope corpus: biomedical texts annotated for uncertainty, negation and their scopes [J]. BMC Bioinformatics, 2008, 9(11): S9.

    [5] Saurí R and Pustejovsky J. FactBank: A corpus annotated with event factuality [J]. Language Resources and Evaluation, 2009, 43(3): 227-268.

    [6] Tang B Z, Wang X L, Wang X, et al. A cascade method for detecting hedges and their scope in natural language text [C]//Proceedings of the CoNLL, Uppsala, Sweden, 2010: 25-29.

    [7] 鄒博偉, 周國棟, 朱巧明. 否定與不確定信息抽取研究綜述[J]. 中文信息學(xué)報(bào),2015, 29(4): 16-24.

    [8] 周惠巍, 楊歡, 黃德根, 等. 基于句法結(jié)構(gòu)約束的模糊限制信息范圍檢測[J]. 中文信息學(xué)報(bào),2013, 27(5): 137-143.

    [9] 何自然. 模糊限制語與言語交際[J]. 外國語(上海外國語學(xué)院學(xué)報(bào)), 1985, (5): 27-31.

    [10] 賈曉凡, 蔣躍. 基于小型語料庫的模糊限制語分類方法的對比研究[J]. 外語藝術(shù)教育研究, 2011, (3): 10-14.

    [11] Chen Z C, Zou B W, Zhu Q M, et al. The scientific literature corpus for chinese negation and uncertainty identification[M]. Chinese Lexical Semantics. Springer Berlin Heidelberg, 2013: 657-667.

    [12] 曹媛,朱巧明,李培峰. 中文事件事實(shí)性信息語料庫的構(gòu)建方法[J]. 中文信息學(xué)報(bào),2013, 27(6): 38-44.

    [13] 計(jì)峰, 邱錫鵬, 黃萱菁. 中文不確定性句子的識別研究[C]. 全國信息檢索學(xué)術(shù)會(huì)議,2010: 594-601.

    [14] Zou B W, Zhu Q M, Zhou G D. Negation and Speculation Identification in Chinese Language [C]//Proceedings of the ACL-2015, Beijing, 2015: 656-665.

    [15] 陳萍, 蔣躍. 中英醫(yī)學(xué)論文摘要中模糊限制語的對比研究[J]. 外語藝術(shù)教育研究, 2009, 3(1): 15-20.

    [16] Velldal E, Ovrelid L, Read J, et al. Speculation and negation: rules, rankers, and the role of syntax[J]. Association for Computational Linguistics, 2012, 38(2): 369-410.

    [17] Cheng L X, Lin H F, Zhou F, et al. Enhancing the accuracy of knowledge discovery: a supervised learning method [J]. BMC Bioinformatics, 2014, 15(Suppl 12): S9.

    [18] Moncecchi G, Minel J, Wonsever D. The Influence of Syntactic Information on Hedge Scope Detection[C]//Proceedings of the 14th Ibero-American Conference on AI.Berlin: Springer, 2014:83-94.

    ConstructionofChineseHedgeScopeCorpus

    ZHOU Huiwei1,YANG Huan1,XU Junli1, ZHANG Jing2,KANG Shiyong2

    (1. School of Computer Science and Technology, Dalian University of Technology, Dalian, Liaoning 116024,China;2. School of Liberal Arts, Ludong University, Yantai, Shandong 264025,China)

    Hedge is usually used to express uncertainty. Hedge information indicates that authors do not backup their statements with facts. Chinese hedge information detection is of great significance for Chinese factual information extraction. Hedge information detection contains two subtasks: identifying hedges and detecting the in-sentence scopes of hedge cues. The lack of Chinese hedge scope corpus has limited the research of Chinese hedge scope information detection. This paper first manually crafted the syntactic rules for Chinese hedge scope annotation, and then constructs a Chinese hedge scope corpus. Finally, we statistically analyzed the corpus. The construction of the corpus provides a great support for Chinese uncertainty detection.

    Chinese hedge scope; annotation rules; corpus

    周惠巍(1969—),博士,副教授,主要研究領(lǐng)域?yàn)樯镝t(yī)學(xué)信息挖掘、機(jī)器學(xué)習(xí)和自然語言處理。

    楊歡(1988—),碩士研究生,主要研究領(lǐng)域?yàn)樯镝t(yī)學(xué)信息挖掘、機(jī)器學(xué)習(xí)和自然語言處理。

    徐俊利(1990—),碩士研究生,主要研究領(lǐng)域?yàn)樯镝t(yī)學(xué)信息挖掘、機(jī)器學(xué)習(xí)和自然語言處理。

    1003-0077(2017)03-0077-09

    2015-09-28定稿日期: 2016-02-03

    國家自然科學(xué)基金(61272375)

    TP391

    :A

    猜你喜歡
    語料語料庫短語
    《語料庫翻譯文體學(xué)》評介
    把課文的優(yōu)美表達(dá)存進(jìn)語料庫
    基于語料調(diào)查的“連……都(也)……”出現(xiàn)的語義背景分析
    華語電影作為真實(shí)語料在翻譯教學(xué)中的應(yīng)用
    基于JAVAEE的維吾爾中介語語料庫開發(fā)與實(shí)現(xiàn)
    語言與翻譯(2015年4期)2015-07-18 11:07:45
    《苗防備覽》中的湘西語料
    國內(nèi)外語用學(xué)實(shí)證研究比較:語料類型與收集方法
    語料庫語言學(xué)未來發(fā)展趨勢
    99精品欧美一区二区三区四区| 国产高清videossex| 久久精品aⅴ一区二区三区四区| 亚洲国产精品合色在线| 99riav亚洲国产免费| 国产一区二区三区综合在线观看| 成人国产一区最新在线观看| 精品国产超薄肉色丝袜足j| 亚洲国产精品合色在线| 一级毛片高清免费大全| 首页视频小说图片口味搜索| 99热只有精品国产| 久热爱精品视频在线9| 亚洲自偷自拍图片 自拍| 人妻久久中文字幕网| 精品无人区乱码1区二区| 欧美乱妇无乱码| 两性夫妻黄色片| 国产亚洲欧美在线一区二区| 欧美日韩黄片免| 一边摸一边做爽爽视频免费| 国产片内射在线| 亚洲av熟女| 精品久久久久久久毛片微露脸| 深夜精品福利| 久久精品国产亚洲av香蕉五月| 久久香蕉精品热| x7x7x7水蜜桃| 一级a爱视频在线免费观看| av网站免费在线观看视频| 国产精品日韩av在线免费观看 | 国产精品国产高清国产av| 日本撒尿小便嘘嘘汇集6| 国产av精品麻豆| 日本免费a在线| 欧美绝顶高潮抽搐喷水| 在线av久久热| 欧美在线一区亚洲| 日韩欧美一区二区三区在线观看| 九色亚洲精品在线播放| 91在线观看av| 久久精品国产99精品国产亚洲性色 | 久久 成人 亚洲| 国产成人免费无遮挡视频| 成人国产一区最新在线观看| 男男h啪啪无遮挡| 高潮久久久久久久久久久不卡| 9色porny在线观看| 欧美黄色淫秽网站| 午夜福利成人在线免费观看| 国产成年人精品一区二区| 男女做爰动态图高潮gif福利片 | 涩涩av久久男人的天堂| 亚洲伊人色综图| 精品不卡国产一区二区三区| 两性午夜刺激爽爽歪歪视频在线观看 | 91在线观看av| 午夜福利成人在线免费观看| 制服诱惑二区| 久久久久久久精品吃奶| 他把我摸到了高潮在线观看| 国产精品国产高清国产av| 中文字幕精品免费在线观看视频| 女人爽到高潮嗷嗷叫在线视频| 精品国产国语对白av| 久久国产精品人妻蜜桃| 91国产中文字幕| 欧美日韩中文字幕国产精品一区二区三区 | 亚洲在线自拍视频| 如日韩欧美国产精品一区二区三区| 精品人妻在线不人妻| 国产av在哪里看| 悠悠久久av| 看黄色毛片网站| 亚洲欧洲精品一区二区精品久久久| 欧洲精品卡2卡3卡4卡5卡区| 免费无遮挡裸体视频| 男人舔女人的私密视频| 亚洲成人免费电影在线观看| 欧美成人午夜精品| 一级a爱视频在线免费观看| 变态另类成人亚洲欧美熟女 | 亚洲专区中文字幕在线| 亚洲精品一卡2卡三卡4卡5卡| 9色porny在线观看| 国内精品久久久久久久电影| 亚洲视频免费观看视频| 久热这里只有精品99| 欧美激情 高清一区二区三区| 十八禁网站免费在线| 精品一区二区三区视频在线观看免费| 亚洲自偷自拍图片 自拍| 夜夜躁狠狠躁天天躁| www.熟女人妻精品国产| 夜夜夜夜夜久久久久| 别揉我奶头~嗯~啊~动态视频| 18禁黄网站禁片午夜丰满| 两人在一起打扑克的视频| 国产精品亚洲av一区麻豆| 人人妻人人澡人人看| 久久九九热精品免费| 亚洲五月婷婷丁香| 久久久久久久精品吃奶| 久久久久久久午夜电影| 色综合站精品国产| 91精品三级在线观看| 亚洲熟妇中文字幕五十中出| 深夜精品福利| 国产私拍福利视频在线观看| 亚洲精品一卡2卡三卡4卡5卡| 精品国产乱子伦一区二区三区| 脱女人内裤的视频| 国产片内射在线| 欧美大码av| 在线播放国产精品三级| 久久人妻av系列| 又大又爽又粗| 亚洲人成77777在线视频| 免费在线观看完整版高清| 女人高潮潮喷娇喘18禁视频| 亚洲三区欧美一区| 亚洲专区国产一区二区| 国产精品一区二区精品视频观看| 欧美绝顶高潮抽搐喷水| 韩国av一区二区三区四区| 亚洲 欧美一区二区三区| 老司机福利观看| 午夜精品久久久久久毛片777| 男女下面插进去视频免费观看| 国产亚洲欧美在线一区二区| 岛国视频午夜一区免费看| 日本 av在线| 久久久久久国产a免费观看| 九色亚洲精品在线播放| 亚洲av片天天在线观看| 淫妇啪啪啪对白视频| 国产精品永久免费网站| 91麻豆av在线| 两人在一起打扑克的视频| 国产精品九九99| 亚洲av美国av| 亚洲精品国产精品久久久不卡| 日本 av在线| 国产精品久久久人人做人人爽| av视频免费观看在线观看| 天堂√8在线中文| 免费女性裸体啪啪无遮挡网站| 18美女黄网站色大片免费观看| 男人的好看免费观看在线视频 | 亚洲一码二码三码区别大吗| 久久久精品欧美日韩精品| 老鸭窝网址在线观看| 99精品久久久久人妻精品| 国产97色在线日韩免费| 91麻豆av在线| 性欧美人与动物交配| 国产高清videossex| 色综合婷婷激情| 国产精品国产高清国产av| 夜夜看夜夜爽夜夜摸| 亚洲精品中文字幕在线视频| 亚洲一区二区三区色噜噜| 激情在线观看视频在线高清| 一级毛片精品| 香蕉久久夜色| 亚洲熟女毛片儿| 天天躁夜夜躁狠狠躁躁| 日韩精品免费视频一区二区三区| 变态另类丝袜制服| 久久久水蜜桃国产精品网| 日本精品一区二区三区蜜桃| 在线永久观看黄色视频| 中文字幕人成人乱码亚洲影| 男女做爰动态图高潮gif福利片 | 一个人免费在线观看的高清视频| 高清黄色对白视频在线免费看| 成人国产一区最新在线观看| 亚洲中文字幕一区二区三区有码在线看 | 午夜福利视频1000在线观看 | 每晚都被弄得嗷嗷叫到高潮| 91成人精品电影| 国产免费av片在线观看野外av| 久久香蕉国产精品| 国产精品精品国产色婷婷| 露出奶头的视频| 悠悠久久av| 色在线成人网| 中文字幕人妻丝袜一区二区| 欧美日韩乱码在线| 成年人黄色毛片网站| 熟女少妇亚洲综合色aaa.| 国产区一区二久久| 亚洲成a人片在线一区二区| aaaaa片日本免费| 首页视频小说图片口味搜索| 成年女人毛片免费观看观看9| 婷婷丁香在线五月| 午夜久久久在线观看| 日本三级黄在线观看| 欧美国产日韩亚洲一区| 级片在线观看| 国产亚洲精品综合一区在线观看 | 19禁男女啪啪无遮挡网站| 少妇裸体淫交视频免费看高清 | 国产成人精品久久二区二区91| 美女高潮到喷水免费观看| 久久久久国内视频| 亚洲国产精品成人综合色| 免费人成视频x8x8入口观看| 久久中文字幕人妻熟女| 丝袜人妻中文字幕| 久久久精品国产亚洲av高清涩受| 国产高清videossex| 91在线观看av| 精品国产乱子伦一区二区三区| 国内久久婷婷六月综合欲色啪| 欧美中文综合在线视频| 精品一区二区三区av网在线观看| 欧美日韩精品网址| 999久久久国产精品视频| 亚洲视频免费观看视频| 久久亚洲真实| 在线观看日韩欧美| 女人被狂操c到高潮| 性欧美人与动物交配| 精品久久久久久成人av| or卡值多少钱| 国产精品香港三级国产av潘金莲| 国产精品二区激情视频| 欧美日韩亚洲综合一区二区三区_| 亚洲色图 男人天堂 中文字幕| 日本三级黄在线观看| 中文字幕av电影在线播放| 美国免费a级毛片| 啦啦啦免费观看视频1| 一进一出好大好爽视频| 国产一区二区激情短视频| 香蕉丝袜av| 中国美女看黄片| 18禁黄网站禁片午夜丰满| 熟女少妇亚洲综合色aaa.| 成人18禁高潮啪啪吃奶动态图| 女人精品久久久久毛片| 久久热在线av| 成人国产综合亚洲| 亚洲久久久国产精品| 禁无遮挡网站| 中文字幕人成人乱码亚洲影| 美女大奶头视频| 一级a爱片免费观看的视频| 国产精品,欧美在线| 琪琪午夜伦伦电影理论片6080| 国产精品 国内视频| 又大又爽又粗| 国产极品粉嫩免费观看在线| 给我免费播放毛片高清在线观看| 成年人黄色毛片网站| 国产欧美日韩综合在线一区二区| 色尼玛亚洲综合影院| netflix在线观看网站| 夜夜看夜夜爽夜夜摸| 精品一品国产午夜福利视频| 美女高潮喷水抽搐中文字幕| 两个人视频免费观看高清| 国内精品久久久久久久电影| 一级毛片精品| 动漫黄色视频在线观看| 男女做爰动态图高潮gif福利片 | 制服诱惑二区| 久久国产精品人妻蜜桃| 欧美精品啪啪一区二区三区| 日韩精品青青久久久久久| 黄色视频不卡| 高清毛片免费观看视频网站| 国产片内射在线| 女性被躁到高潮视频| 此物有八面人人有两片| 国产精品一区二区三区四区久久 | 在线视频色国产色| 90打野战视频偷拍视频| 日本vs欧美在线观看视频| 亚洲 欧美一区二区三区| 亚洲欧美激情在线| 久久狼人影院| 一个人免费在线观看的高清视频| 波多野结衣一区麻豆| 黄色a级毛片大全视频| 久热爱精品视频在线9| 两个人免费观看高清视频| а√天堂www在线а√下载| 三级毛片av免费| 日韩大尺度精品在线看网址 | 中文字幕另类日韩欧美亚洲嫩草| 好男人在线观看高清免费视频 | 亚洲avbb在线观看| 中文字幕精品免费在线观看视频| 欧美+亚洲+日韩+国产| 国产91精品成人一区二区三区| 日本a在线网址| 在线av久久热| 亚洲午夜理论影院| www.自偷自拍.com| 国产黄a三级三级三级人| 黄片大片在线免费观看| 黄网站色视频无遮挡免费观看| www.精华液| 欧美日韩精品网址| 一级a爱视频在线免费观看| 亚洲国产高清在线一区二区三 | 亚洲成av片中文字幕在线观看| tocl精华| 久久国产亚洲av麻豆专区| 波多野结衣高清无吗| 国产欧美日韩精品亚洲av| 欧美人与性动交α欧美精品济南到| 久久 成人 亚洲| 免费看a级黄色片| 两个人视频免费观看高清| 成人亚洲精品av一区二区| 亚洲国产精品合色在线| 深夜精品福利| aaaaa片日本免费| 天堂影院成人在线观看| 黄色 视频免费看| 亚洲精品美女久久av网站| 午夜精品久久久久久毛片777| 男女下面进入的视频免费午夜 | 日韩免费av在线播放| 国产又爽黄色视频| 在线免费观看的www视频| 国产精品av久久久久免费| 欧美激情极品国产一区二区三区| 操出白浆在线播放| 一卡2卡三卡四卡精品乱码亚洲| 黄色丝袜av网址大全| 香蕉国产在线看| 人妻久久中文字幕网| 香蕉久久夜色| 搡老岳熟女国产| 亚洲第一av免费看| 久久久久久久午夜电影| 久久性视频一级片| 免费久久久久久久精品成人欧美视频| xxx96com| 在线观看www视频免费| 一区福利在线观看| 国产成人精品在线电影| 亚洲成国产人片在线观看| www日本在线高清视频| 男女午夜视频在线观看| 国产精品一区二区三区四区久久 | 成人手机av| aaaaa片日本免费| 午夜福利高清视频| 黄色 视频免费看| 欧美成人午夜精品| 中文亚洲av片在线观看爽| 亚洲一区中文字幕在线| 曰老女人黄片| 嫩草影视91久久| 1024香蕉在线观看| 天天添夜夜摸| 国产色视频综合| 色综合欧美亚洲国产小说| 久久精品亚洲熟妇少妇任你| av视频免费观看在线观看| 国产精品美女特级片免费视频播放器 | 天天躁夜夜躁狠狠躁躁| 国语自产精品视频在线第100页| 国产成年人精品一区二区| 亚洲av日韩精品久久久久久密| 久久亚洲真实| 在线观看午夜福利视频| 制服人妻中文乱码| 99久久99久久久精品蜜桃| 亚洲一区二区三区色噜噜| 巨乳人妻的诱惑在线观看| 久久亚洲真实| 国产激情久久老熟女| 亚洲一区中文字幕在线| 亚洲国产精品sss在线观看| 久久久久国内视频| 日本撒尿小便嘘嘘汇集6| 真人做人爱边吃奶动态| 亚洲三区欧美一区| 女性生殖器流出的白浆| 亚洲五月天丁香| 国产成人av教育| 免费在线观看视频国产中文字幕亚洲| 亚洲av成人不卡在线观看播放网| 亚洲中文av在线| 亚洲五月婷婷丁香| 女人被狂操c到高潮| 国产精品一区二区精品视频观看| 男女做爰动态图高潮gif福利片 | 欧美激情 高清一区二区三区| 午夜老司机福利片| 99国产精品99久久久久| 午夜a级毛片| av福利片在线| 又紧又爽又黄一区二区| 久久久久久大精品| 亚洲天堂国产精品一区在线| 日韩欧美国产一区二区入口| 日日干狠狠操夜夜爽| 丰满人妻熟妇乱又伦精品不卡| 久久性视频一级片| 亚洲成人免费电影在线观看| 欧美日韩精品网址| 久久精品aⅴ一区二区三区四区| 99热只有精品国产| 久久香蕉激情| 免费在线观看日本一区| 午夜免费激情av| 91成年电影在线观看| 免费久久久久久久精品成人欧美视频| 午夜视频精品福利| 精品免费久久久久久久清纯| 国内精品久久久久精免费| 美女午夜性视频免费| 欧美老熟妇乱子伦牲交| 国产成人精品在线电影| 亚洲男人的天堂狠狠| 日本五十路高清| 99国产精品免费福利视频| 亚洲国产毛片av蜜桃av| 国产精品久久久久久亚洲av鲁大| 视频在线观看一区二区三区| 欧美乱码精品一区二区三区| 亚洲第一青青草原| 精品久久蜜臀av无| 久久婷婷成人综合色麻豆| 精品免费久久久久久久清纯| 国产极品粉嫩免费观看在线| 777久久人妻少妇嫩草av网站| 国产精品日韩av在线免费观看 | 欧美日韩亚洲国产一区二区在线观看| 国产一级毛片七仙女欲春2 | 欧美成狂野欧美在线观看| 制服丝袜大香蕉在线| cao死你这个sao货| 国内精品久久久久久久电影| 一卡2卡三卡四卡精品乱码亚洲| 久热爱精品视频在线9| 一级a爱视频在线免费观看| 国产高清激情床上av| 美女 人体艺术 gogo| 国产成人精品久久二区二区91| 看免费av毛片| 精品一品国产午夜福利视频| 一级作爱视频免费观看| 国产在线精品亚洲第一网站| 一进一出抽搐gif免费好疼| 国产一区二区在线av高清观看| 国产人伦9x9x在线观看| 色在线成人网| 国产极品粉嫩免费观看在线| 99精品久久久久人妻精品| 九色国产91popny在线| 国产高清激情床上av| 十分钟在线观看高清视频www| 12—13女人毛片做爰片一| 日本 av在线| 夜夜夜夜夜久久久久| 亚洲精品国产区一区二| 亚洲国产精品sss在线观看| 性色av乱码一区二区三区2| 波多野结衣巨乳人妻| 国产免费av片在线观看野外av| x7x7x7水蜜桃| 9热在线视频观看99| 欧美日韩中文字幕国产精品一区二区三区 | 久热这里只有精品99| 一区在线观看完整版| 国产精品亚洲美女久久久| 午夜a级毛片| 99久久精品国产亚洲精品| 美女国产高潮福利片在线看| 欧美日韩黄片免| videosex国产| 老司机午夜福利在线观看视频| 757午夜福利合集在线观看| 女性生殖器流出的白浆| 国产精品永久免费网站| 亚洲国产欧美日韩在线播放| 他把我摸到了高潮在线观看| 午夜福利在线观看吧| 黄色a级毛片大全视频| 免费看a级黄色片| 亚洲色图 男人天堂 中文字幕| 在线国产一区二区在线| 在线免费观看的www视频| 午夜老司机福利片| 国产亚洲精品综合一区在线观看 | 免费在线观看黄色视频的| 老鸭窝网址在线观看| 免费不卡黄色视频| 一卡2卡三卡四卡精品乱码亚洲| 侵犯人妻中文字幕一二三四区| 国产精品日韩av在线免费观看 | 国产麻豆69| 手机成人av网站| 19禁男女啪啪无遮挡网站| 成人亚洲精品一区在线观看| 亚洲欧美精品综合久久99| 每晚都被弄得嗷嗷叫到高潮| 高清毛片免费观看视频网站| 国产亚洲精品av在线| 亚洲精品粉嫩美女一区| 91麻豆av在线| 一区二区三区高清视频在线| 啪啪无遮挡十八禁网站| 午夜久久久久精精品| 亚洲专区中文字幕在线| 大型av网站在线播放| 亚洲国产欧美网| 婷婷六月久久综合丁香| 亚洲一区高清亚洲精品| 日韩中文字幕欧美一区二区| 午夜免费观看网址| 欧美色视频一区免费| 女性被躁到高潮视频| 制服丝袜大香蕉在线| 淫妇啪啪啪对白视频| 亚洲少妇的诱惑av| 51午夜福利影视在线观看| 丰满人妻熟妇乱又伦精品不卡| 久久精品国产综合久久久| 亚洲国产精品999在线| 十八禁人妻一区二区| 色综合婷婷激情| 久久婷婷人人爽人人干人人爱 | 男男h啪啪无遮挡| 黄色女人牲交| 亚洲中文字幕一区二区三区有码在线看 | 精品久久久精品久久久| 久久精品国产亚洲av香蕉五月| 黄片大片在线免费观看| 亚洲av成人一区二区三| 1024香蕉在线观看| 日本vs欧美在线观看视频| 国产精品国产高清国产av| 免费看美女性在线毛片视频| 我的亚洲天堂| 人人妻人人爽人人添夜夜欢视频| 日韩大码丰满熟妇| 91老司机精品| 成人三级黄色视频| 首页视频小说图片口味搜索| 欧美日韩黄片免| 成年人黄色毛片网站| 亚洲av五月六月丁香网| 免费人成视频x8x8入口观看| 日日摸夜夜添夜夜添小说| 亚洲av成人不卡在线观看播放网| 一边摸一边抽搐一进一小说| netflix在线观看网站| 国产精品,欧美在线| √禁漫天堂资源中文www| 久热这里只有精品99| 亚洲第一欧美日韩一区二区三区| 波多野结衣av一区二区av| 久久久久国产一级毛片高清牌| ponron亚洲| 久久久久九九精品影院| 精品不卡国产一区二区三区| 大陆偷拍与自拍| 日韩国内少妇激情av| 午夜亚洲福利在线播放| 又黄又粗又硬又大视频| 免费看美女性在线毛片视频| 无限看片的www在线观看| 国产av一区二区精品久久| 亚洲av美国av| 午夜久久久在线观看| 在线观看一区二区三区| 精品欧美国产一区二区三| 国产高清视频在线播放一区| 在线观看日韩欧美| 亚洲av成人不卡在线观看播放网| 97超级碰碰碰精品色视频在线观看| 国产三级在线视频| 免费不卡黄色视频| 搡老岳熟女国产| 中出人妻视频一区二区| 午夜福利欧美成人| 午夜成年电影在线免费观看| 黄色女人牲交| 久久热在线av| 变态另类丝袜制服| 精品国产国语对白av| 国产亚洲精品久久久久5区| 日韩国内少妇激情av| 亚洲国产精品成人综合色| 一级a爱视频在线免费观看| 又大又爽又粗| 日本黄色视频三级网站网址| 真人一进一出gif抽搐免费| 午夜福利高清视频| 欧美色欧美亚洲另类二区 | 国产亚洲精品久久久久5区| 成人国产综合亚洲| 久久精品91无色码中文字幕| 身体一侧抽搐| bbb黄色大片| 午夜影院日韩av| 人妻久久中文字幕网| 黄色女人牲交| 中文字幕久久专区| or卡值多少钱| 又黄又爽又免费观看的视频| 18美女黄网站色大片免费观看| 不卡一级毛片| 国产极品粉嫩免费观看在线| 午夜影院日韩av|