• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    運(yùn)用多層注意力神經(jīng)網(wǎng)絡(luò)識(shí)別中文隱式篇章關(guān)系

    2019-09-05 12:33:36王體爽李培峰朱巧明
    中文信息學(xué)報(bào) 2019年8期
    關(guān)鍵詞:論元注意力語(yǔ)義

    徐 昇,王體爽,李培峰,朱巧明

    (1. 蘇州大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院,江蘇 蘇州 215006;2. 江蘇省計(jì)算機(jī)信息技術(shù)處理重點(diǎn)實(shí)驗(yàn)室,江蘇 蘇州 215006)

    0 引言

    作為自然語(yǔ)言處理中的一個(gè)基礎(chǔ)任務(wù),篇章分析專注于分析文本單元(例如,子句、句子、句群)之間的關(guān)系和結(jié)構(gòu),從而將文本解析為篇章樹。篇章關(guān)系識(shí)別是篇章分析中一個(gè)重要的子任務(wù),其目的在于識(shí)別出兩個(gè)連續(xù)文本單元(稱之為論元)Arg1和Arg2之間的語(yǔ)義聯(lián)系。自動(dòng)識(shí)別篇章關(guān)系可以為許多下游的應(yīng)用提供幫助,例如,文本摘要和信息抽取。已有的研究表明,連接詞是篇章關(guān)系識(shí)別中的一個(gè)重要線索,對(duì)于存在連接詞的顯式篇章關(guān)系識(shí)別而言,一個(gè)簡(jiǎn)單的基于頻率的映射就能達(dá)到很高的分類精度[1],而對(duì)無連接詞的隱式篇章關(guān)系的識(shí)別則一直是一個(gè)難題[2],因?yàn)槠渫耆蕾囉趯?duì)文本的語(yǔ)義理解。例1給出了一個(gè)論元之間存在因果關(guān)系的例子,其中Arg1是Arg2的原因。

    例1 [Arg1]上海浦東近年來頒布實(shí)行了涉及經(jīng)濟(jì)、貿(mào)易、建設(shè)、規(guī)劃、科技、文教等領(lǐng)域的七十一件法規(guī)性文件,

    [Arg2]確保了浦東開發(fā)的有序進(jìn)行。

    [隱式連接詞]由此

    [篇章關(guān)系]因果關(guān)系

    目前,大部分的隱式篇章關(guān)系識(shí)別工作專注于直接識(shí)別兩個(gè)論元之間的篇章關(guān)系,包括: ①抽取語(yǔ)言學(xué)特征后運(yùn)用機(jī)器學(xué)習(xí)模型的傳統(tǒng)方法[2-3]; ②通過對(duì)論元建模之后捕獲論元之間語(yǔ)義聯(lián)系的神經(jīng)網(wǎng)絡(luò)方法[4-7];也有部分工作先預(yù)測(cè)出連接詞[8],或者使用標(biāo)注的連接詞信息來進(jìn)行數(shù)據(jù)增強(qiáng)[9];還有一些工作利用未標(biāo)記的數(shù)據(jù),進(jìn)行了多任務(wù)或無監(jiān)督方法的探索[10]。傳統(tǒng)方法依賴于手工構(gòu)建的特征工程,不僅工作量大,而且淺層的語(yǔ)言學(xué)特征難以捕獲論元的深層語(yǔ)義,因而在篇章關(guān)系任務(wù)上表現(xiàn)不佳。神經(jīng)網(wǎng)絡(luò)模型在論元表示上更具優(yōu)勢(shì)[4],并且能夠從語(yǔ)義層面捕獲論元之間的聯(lián)系,因而相比于傳統(tǒng)方法獲得了可比較、甚至更好的性能,且存在很大的提升空間。

    篇章關(guān)系識(shí)別本質(zhì)上是一個(gè)“論元對(duì)”分類問題,因而對(duì)于神經(jīng)網(wǎng)絡(luò)方法來說,需要思考的就是如何對(duì)論元建模以及如何捕獲論元之間的語(yǔ)義聯(lián)系。已有的工作大多采用各種Bi-LSTM或者CNN的變體對(duì)論元進(jìn)行編碼[4,6],但是循環(huán)網(wǎng)絡(luò)難以并行,而卷積網(wǎng)絡(luò)在捕獲全局信息方面存在不足。在捕獲語(yǔ)義聯(lián)系方面,常見的方法[5,11]是在兩個(gè)論元之間運(yùn)用記憶單元或Bilinear[12]等模型捕獲向量之間的交互,或者直接通過注意力機(jī)制來對(duì)交互建模。特別地,考慮到大部分方法都僅模擬了對(duì)文本的單程閱讀過程,難以勝任篇章關(guān)系識(shí)別這種需要深入理解文本語(yǔ)義的任務(wù),Liu和Li[6]從人類閱讀理解的角度出發(fā),提出了重復(fù)堆疊注意力網(wǎng)絡(luò),用于模擬人類的重復(fù)閱讀過程。Guo等[7]認(rèn)為現(xiàn)有的方法大多在表示階段忽略了論元之間的雙向交互,因而從視覺感知的兩階段模型出發(fā),提出了一種交互注意力(interactive attention)機(jī)制來增強(qiáng)論元的表示。

    受文獻(xiàn)[6-7]的啟發(fā),本文提出了一個(gè)三層注意力網(wǎng)絡(luò)模型(TLAN),用于識(shí)別隱式篇章關(guān)系。首先通過Self-Attention層對(duì)論元進(jìn)行初步編碼,在一定程度上克服了Bi-LSTM和CNN的不足。之后在Guo等[7]工作的基礎(chǔ)上,采用一種計(jì)算粒度更小的Interactive Attention層來模擬人類的雙向閱讀過程,從而在論元的編碼過程中就考慮了論元之間的交互,并且通過非線性變換提取了論元對(duì)的外部記憶。最后通過Liu和Li[6]提出的包含外部記憶的注意力層來模擬人類的重復(fù)閱讀過程,并且把論元對(duì)記憶作為一個(gè)貫穿全局的向量來引導(dǎo)論元最終表示的生成。

    本文的主要貢獻(xiàn)有:

    (1) 提出了一個(gè)三層注意力神經(jīng)網(wǎng)絡(luò)模型,結(jié)合了模擬人類雙向閱讀和重復(fù)閱讀過程的方法;

    (2) 使用Self-Attention層對(duì)論元進(jìn)行編碼,使得輸出序列不僅保留了論元的原始信息,還包含了全局的信息;

    (3) 使用Interactive Attention層對(duì)論元之間的交互建模,采用細(xì)粒度的計(jì)算方法,對(duì)于每一個(gè)注意力權(quán)重向量都生成對(duì)應(yīng)的語(yǔ)義表示。

    1 相關(guān)工作

    隨著語(yǔ)料庫(kù)PDTB[13]和RST-DT[14]的發(fā)布,許多工作采用傳統(tǒng)方法[2-3,15]或者神經(jīng)網(wǎng)絡(luò)方法[4-7,9]對(duì)英語(yǔ)隱式篇章關(guān)系識(shí)別任務(wù)進(jìn)行了探索。

    Zhang等[4]提出了一個(gè)淺層卷積網(wǎng)絡(luò)用于識(shí)別篇章關(guān)系,通過結(jié)合多種卷積操作來獲得論元不同層面的語(yǔ)義特征信息。Chen等[5]提出了一個(gè)帶有門控單元的神經(jīng)網(wǎng)絡(luò)模型,在論元之間同時(shí)捕獲線性和非線性交互信息,從而產(chǎn)生匹配矩陣來分析論元之間的語(yǔ)義聯(lián)系。Li等[16]在包含注意力機(jī)制的Bi-LSTM的基礎(chǔ)上,通過基于張量的轉(zhuǎn)換函數(shù)來捕獲論元之間的語(yǔ)義交互特征。Qin等[9]提出了一種新穎的對(duì)抗方法,通過與顯式關(guān)系網(wǎng)絡(luò)進(jìn)行對(duì)抗,使得隱式關(guān)系網(wǎng)絡(luò)能夠模仿學(xué)習(xí)到將顯式連接詞的可辨性轉(zhuǎn)化為隱藏特征的能力。

    針對(duì)中文,目前隱式篇章關(guān)系識(shí)別的研究工作主要在CTB[17]和CDTB[18]兩個(gè)語(yǔ)料庫(kù)上進(jìn)行,由于語(yǔ)言資源的缺乏,已有的研究工作數(shù)量較少,而且大多借鑒了英語(yǔ)任務(wù)上采用的方法。

    已有的研究工作[19-21]大多采用傳統(tǒng)方法,其中Kong等[21]提出了一個(gè)端到端的篇章分析器,使用上下文、詞匯和依存樹等手工構(gòu)建的語(yǔ)言學(xué)特征,通過最大熵分類器對(duì)篇章關(guān)系進(jìn)行識(shí)別。也有部分工作[11,22]采用神經(jīng)網(wǎng)絡(luò)方法進(jìn)行了研究。其中,R?nnqvist等[22]提出了包含注意力機(jī)制的Bi-LSTM模型,通過插入特殊標(biāo)簽的方式連接兩個(gè)論元,然后使用注意力機(jī)制來捕獲序列上的重要信息。Liu[11]提出了一個(gè)記憶增強(qiáng)注意力模型,通過門控單元來對(duì)存儲(chǔ)論元交互信息的記憶槽進(jìn)行檢索,利用記憶槽中學(xué)習(xí)到的特征來幫助判斷篇章關(guān)系。

    2 基于多層注意力神經(jīng)網(wǎng)絡(luò)的中文隱式篇章關(guān)系識(shí)別

    本文提出了一個(gè)用于識(shí)別隱式篇章關(guān)系的三層注意力神經(jīng)網(wǎng)絡(luò)模型(TLAN),其整體結(jié)構(gòu)如圖1所示。

    圖1 三層注意力模型整體結(jié)構(gòu)

    2.1 Self-Attention層

    目前的工作[4,6]大多采用Bi-LSTM或者一維CNN來對(duì)輸入序列進(jìn)行編碼,但是它們都存在一些不足: Bi-LSTM因?yàn)槠溲h(huán)結(jié)構(gòu)訓(xùn)練費(fèi)時(shí);而CNN因?yàn)榫矸e核的視野有限,在捕獲全局信息方面存在不足。因而最近的一些工作[23-24]嘗試通過注意力機(jī)制直接對(duì)輸入序列進(jìn)行編碼,如式(1)所示。

    (1)

    xi=[wi,pi]

    (2)

    Self-Attention采用式(1)對(duì)輸入序列進(jìn)行編碼,輸入的query,key,value序列是同一論元對(duì)應(yīng)的詞語(yǔ)序列E1(或E2),如式(3)所示。

    (3)

    2.2 Interactive Attention層

    早期的神經(jīng)網(wǎng)絡(luò)方法忽略序列之間的交互,對(duì)兩個(gè)序列分開進(jìn)行編碼[4,6],因而最近的很多工作[5,7]將焦點(diǎn)放在如何對(duì)這種交互進(jìn)行建模。常見的方法是在兩個(gè)序列的向量之間運(yùn)用Bilinear[12]和Single Layer Network[25]等模型捕獲向量之間的線性和非線性交互,然后在生成的匹配矩陣上通過卷積操作來捕獲交互特征[5]。

    也有部分工作嘗試通過注意力機(jī)制直接對(duì)序列之間的交互建模,并且提出了一些Interactive Attention[7,26]。Guo等[7]從人類閱讀的角度入手,發(fā)現(xiàn)人類在判斷兩個(gè)論元之間的關(guān)系時(shí)往往需要來回閱讀這兩個(gè)論元,特別是考慮兩個(gè)論元中聯(lián)系緊密的詞語(yǔ)之間的語(yǔ)義聯(lián)系,因而提出了一種模擬雙向閱讀的Interactive Attention。

    (4)

    (5)

    (6)

    相比于Guo的模型,本文采用了一種更細(xì)粒度的語(yǔ)義相似度計(jì)算方法,因而得到的論元表示更加準(zhǔn)確,能夠充分捕獲論元之間的語(yǔ)義聯(lián)系。并且本文還通過非線性變換來進(jìn)一步捕獲對(duì)論元對(duì)的理解,使得最終獲得的論元對(duì)記憶能夠存儲(chǔ)豐富的論元交互信息。

    2.3 包含記憶的注意力層

    已有的工作大多模擬了人類的單程閱讀,雖然能夠快速地理解文本,但是難以勝任篇章關(guān)系識(shí)別這種需要深入分析文本語(yǔ)義信息的任務(wù)。受Liu和Li[6]的啟發(fā),本文構(gòu)建了一個(gè)包含外部記憶的注意力層來模擬人類的重復(fù)閱讀過程。研究[28]表明,當(dāng)人類讀者以特定的學(xué)習(xí)目標(biāo)進(jìn)行重復(fù)閱讀后,不僅可以提高閱讀的流暢性,還可以加深對(duì)文本的理解。因此對(duì)于篇章關(guān)系識(shí)別任務(wù),進(jìn)行重復(fù)閱讀是有幫助的。因?yàn)楹?jiǎn)單的單程閱讀難以充分捕獲重要的語(yǔ)義線索,即使是人類通常也需要通過多次閱讀,才能準(zhǔn)確把握文本中詞語(yǔ)對(duì)于判斷論元之間關(guān)系的重要性。

    (7)

    (8)

    其中,Wt∈R∈Rwt×2ds,bt∈R∈Rwt,Ws∈R∈Rc×wt,bs∈R∈Rc是層中的參數(shù),c是篇章關(guān)系類別的個(gè)數(shù)。

    2.4 模型訓(xùn)練

    對(duì)于包含k個(gè)樣本的訓(xùn)練集,本文使用Adam優(yōu)化器[29],通過最小化AM-Softmax損失函數(shù)[30]來優(yōu)化網(wǎng)絡(luò)中的參數(shù),如式(9)所示。

    (9)

    其中,t是softmax層的輸入,Wj是參數(shù)矩陣Ws中對(duì)應(yīng)每一個(gè)類別的參數(shù)行,c是分類類別的個(gè)數(shù)。為了防止過擬合,在輸入到softmax層的參數(shù)向量之上進(jìn)行了dropout操作。在實(shí)驗(yàn)部分,本文會(huì)報(bào)告模型中所有超參數(shù)的設(shè)置。

    3 實(shí)驗(yàn)

    3.1 實(shí)驗(yàn)設(shè)置

    本文在CDTB[18]上對(duì)模型中文隱式篇章關(guān)系識(shí)別的性能進(jìn)行了評(píng)估。

    CDTB采用連接依存樹的形式對(duì)抽取自CTB[17]中的500篇新聞文本進(jìn)行了標(biāo)注,共標(biāo)注有隱式篇章關(guān)系5 496個(gè),關(guān)系類型分為兩層,包含4大類17小類。跟隨之前的工作[20-21],本文選擇相同的450篇文章作為訓(xùn)練集,50篇文章作為測(cè)試集,在最上層的3個(gè)類上進(jìn)行了實(shí)驗(yàn)(剔除了占比極低的轉(zhuǎn)折類),并且將所有的非二叉樹都轉(zhuǎn)換為左二叉樹。3類隱式篇章關(guān)系的統(tǒng)計(jì)信息如表1所示。

    表1 CDTB中隱式篇章關(guān)系的數(shù)量統(tǒng)計(jì)

    詞向量的維度設(shè)置為300,使用Word2Vec[31]進(jìn)行預(yù)訓(xùn)練,詞性向量的維度設(shè)置為50。在Self-Attention層和Interactive Attention層中,轉(zhuǎn)換矩陣映射到的維度ds和di都被設(shè)置為350。外部記憶的維度dm被設(shè)置為700,非線性變換中的wt被設(shè)置為256。參照原論文[30]中的設(shè)置,將AM-softmax中的參數(shù)s和m分別設(shè)置為30和0.35。droupout率設(shè)置為0.5。本文使用HanLP(1)https://github.com/hankcs/HanLP對(duì)CDTB語(yǔ)料進(jìn)行了預(yù)處理,包括分詞和詞性標(biāo)注,使用Keras庫(kù)(2)https://keras.io/來實(shí)現(xiàn)模型。

    3.2 實(shí)驗(yàn)結(jié)果

    為了展示本文提出模型的有效性,本文選取了Bi-LSTM和CNN作為本文的基準(zhǔn),此外還包含三個(gè)已有工作中提出的模型: ①Kong: Kong等[24]提出的端到端篇章分析器,使用上下文特征、詞匯特征和依存樹特征通過最大熵分類器識(shí)別隱式篇章關(guān)系; ②Liu和Li: Liu和Li[6]提出的重復(fù)堆疊注意力模型,在通過Bi-LSTM編碼后的論元上堆疊包含外部記憶的多層注意力機(jī)制來模擬人類的重復(fù)閱讀過程; ③R?nnqvist: R?nnqvist等[22]提出的包含注意力機(jī)制的Bi-LSTM模型,通過插入特殊標(biāo)簽的方式將論元對(duì)連接起來,然后使用包含注意力機(jī)制的Bi-LSTM識(shí)別篇章關(guān)系; ④Guo: Guo等[7]提出的神經(jīng)張量網(wǎng)絡(luò),通過Bi-LSTM和交互注意力機(jī)制對(duì)論元建模,之后通過神經(jīng)張量網(wǎng)絡(luò)捕獲論元之間的交互信息。

    在CDTB上進(jìn)行的四分類實(shí)驗(yàn)結(jié)果如表2所示,可以看到本文提出的模型在Micro-F1和Macro-F1上都取得了最好的性能。相比于依賴人工構(gòu)建語(yǔ)言學(xué)特征的傳統(tǒng)方法,神經(jīng)網(wǎng)絡(luò)模型表現(xiàn)出了可比較的性能,特別是在“解說”關(guān)系上F1值獲得了從2.1到5.8的提升,充分說明了神經(jīng)網(wǎng)絡(luò)方法能夠有效地捕獲論元中的深層語(yǔ)義信息,對(duì)于篇章關(guān)系識(shí)別任務(wù)是有效的。

    表2 模型的實(shí)驗(yàn)結(jié)果

    CNN憑借卷積核強(qiáng)大的特征捕獲能力,取得了與傳統(tǒng)方法接近的性能表現(xiàn),在Micro-F1上還有小幅的性能提升。相比于基礎(chǔ)的循環(huán)網(wǎng)絡(luò)模型Bi-LSTM,R?nnqvist、Guo、Liu和Li模型在Micro-F1和Macro-F1上均有性能提升,這是因?yàn)樽⒁饬C(jī)制能夠從Bi-LSTM的輸出序列上挑選出重要的語(yǔ)義信息。特別地,Guo的模型使用交互注意力機(jī)制在編碼過程中就考慮了論元之間的交互,并且通過神經(jīng)張量網(wǎng)絡(luò)(NTN)進(jìn)一步提取交互特征,在Micro-F1和Macro-F1上相比R?nnqvist分別獲得了2.2和1.0的性能提升;而Liu和Li模型使用多層注意力機(jī)制,并且引入包含論文對(duì)信息的外部記憶,在Micro-F1和Macro-F1上相比R?nnqvist分別獲得了2.7和0.9的性能提升。

    本文提出的模型在Micro-F1和Macro-F1上超過了所有的基準(zhǔn)模型,在Micro-F1上取得了從0.7到3.6的性能提升,在Macro-F1上取得了從1.4到5.1的性能提升。相比側(cè)重于直接獲得論元語(yǔ)義表示的Bi-LSTM、CNN和R?nnqvist,本文的模型通過交互注意力機(jī)制,能夠獲得包含論元交互信息的論元表示。相比于Guo,本文通過包含外部記憶的注意力層將論元交互信息融入對(duì)論元的重復(fù)編碼中,因而不僅模擬了雙向閱讀,還模擬了人類的重復(fù)閱讀過程。相比于Liu和Li,本文的模型在包含交互信息的論元表示上,通過非線性變換來捕獲論元之間的差異特征和交互信息,因而能夠獲得包含對(duì)論元對(duì)充分理解的外部記憶。

    3.3 實(shí)驗(yàn)分析

    本文也比較了不同類型篇章關(guān)系的識(shí)別性能,從表2可以看到,本文的模型在“因果”和“并列”類別的識(shí)別上相比于其他基準(zhǔn)取得了近似的性能,在“解說”類別的識(shí)別上取得了從1.7到5.8的顯著提升。其中“因果”類別相比于采用傳統(tǒng)方法的Kong甚至還有0.8的性能下降,而“并列”類與Liu和Li相比只有0.4的微小提升,因而本文提出的TLAN模型主要是提高了“解說”類關(guān)系的識(shí)別性能。這可以從兩方面進(jìn)行解釋: ①相比于抽取語(yǔ)言學(xué)淺層特征的傳統(tǒng)方法來說,神經(jīng)網(wǎng)絡(luò)模型能夠挖掘到更深層次的語(yǔ)義信息,這對(duì)于在數(shù)據(jù)集中占比較小的 “解說”類 (22.6%) 來說,更容易通過神經(jīng)網(wǎng)絡(luò)模型捕獲到細(xì)微的語(yǔ)義特征,從而獲得性能上的提升,而“因果”類 (13.9%) 樣本數(shù)量過少,難以通過訓(xùn)練捕獲到足夠的特征。②本文提出的TLAN模型通過Self-Attention和Interactive Attention結(jié)構(gòu)對(duì)論元進(jìn)行編碼,它們都是通過度量詞語(yǔ)之間的語(yǔ)義聯(lián)系來生成注意力權(quán)重,相比于其他兩類關(guān)系,存在“解說”關(guān)系的兩個(gè)論元的詞語(yǔ)之間通常存在更強(qiáng)的語(yǔ)義關(guān)聯(lián),因?yàn)椤敖庹f”本質(zhì)就是進(jìn)一步的解釋說明。

    為了分析每一個(gè)注意力層對(duì)整個(gè)模型的貢獻(xiàn),本文還在多個(gè)模型的變體上進(jìn)行了實(shí)驗(yàn),結(jié)果如表3所示。首先以循環(huán)網(wǎng)絡(luò)Bi-LSTM作為基礎(chǔ)模型Base,通過在其上添加TLAN模型中的Self-Attention層和Interactive Attention層來分析注意力機(jī)制在篇章關(guān)系識(shí)別任務(wù)上的性能。為了與TLAN模型進(jìn)行直觀的比較,本文還構(gòu)建了: ①Bi-LSTM將模型的Self-Attention層替換為Bi-LSTM;②Att(Guo) 將模型的第二個(gè)注意力層替換為Guo[7]提出的Interactive Attention層。

    表3 TLAN模型變體的實(shí)驗(yàn)結(jié)果

    Self-Attention層通過度量每一個(gè)詞語(yǔ)與周圍所有詞語(yǔ)的相似度,使得重新編碼后的序列包含了論元的全局信息,因而在添加到基礎(chǔ)模型Base之后,增強(qiáng)了論元經(jīng)過Bi-LSTM編碼后的結(jié)果,在三個(gè)類別上都獲得了小幅的性能提升。Interactive-Attention層在對(duì)論元的重新編碼中,還考慮到了兩個(gè)論元之間的語(yǔ)義聯(lián)系,而這種語(yǔ)義聯(lián)系正是對(duì)篇章關(guān)系識(shí)別任務(wù)非常有用的語(yǔ)義線索,因而在添加后取得了顯著的性能提升(Micro-F1 2.3,Macro-F1 2.9),這說明TLAN模型模擬人類雙向閱讀的方法是有效的,特別是在兩個(gè)占比較少的類別的識(shí)別性能上有明顯的提升(因果4.1,解說2.8),這充分說明Interactive-Attention模型能夠捕獲論元之間的交互信息。TLAN模型中的包含外部記憶的Attention層直接使用了Liu和Li[6]提出的模型結(jié)構(gòu),其在篇章關(guān)系識(shí)別上的有效性已經(jīng)得到了證明,因而本文沒有對(duì)其做單獨(dú)的分析。

    Bi-LSTM使用Bi-LSTM替換Self-Attention來對(duì)論元進(jìn)行初步編碼,在Micro-F1和Macro-F1上出現(xiàn)了2.1和2.5的性能下降,這也驗(yàn)證了基礎(chǔ)模型Base的實(shí)驗(yàn)結(jié)果,表明簡(jiǎn)單的循環(huán)神經(jīng)網(wǎng)絡(luò)模型難以有效地捕獲論元與篇章關(guān)系識(shí)別相關(guān)的語(yǔ)義線索,而Self-Attention在這個(gè)任務(wù)上是更有效的論元編碼模型。

    Att(Guo) 將Interactive Attention層替換為Guo[7]提出的版本,在Micro-F1和Macro-F1上分別有1.0和2.3的性能下降。與本文采用的模型一樣,Guo也是通過度量?jī)蓚€(gè)論元的詞語(yǔ)之間的語(yǔ)義相似度來生成注意力權(quán)重,但是Guo通過計(jì)算平均值的方法直接得到最終的權(quán)重向量,因而計(jì)算粒度較大。而本文采用的方法對(duì)于每一個(gè)權(quán)重向量都先生成對(duì)應(yīng)的語(yǔ)義表示,最后再通過Mean Pooling得到最終的論元表示,因而得到的語(yǔ)義表示更準(zhǔn)確。特別是在樣本占比較小的因果和解說類別的識(shí)別上,相比于本文的TLAN模型,Guo的模型分別出現(xiàn)了4.9和2.0的性能下降,這說明本文模型中Interactive Attention層的細(xì)粒度計(jì)算方法是更有效的捕獲論元之間語(yǔ)義聯(lián)系的方法。

    表4展示了本文提出的TLAN模型在中文隱式篇章關(guān)系識(shí)別上的錯(cuò)誤統(tǒng)計(jì)。

    表4 錯(cuò)誤分類樣本的比例(%)

    從表4中可以看到,54.4% 的因果關(guān)系類樣本和 34.3% 的解說關(guān)系類樣本被TLAN模型錯(cuò)誤地識(shí)別為了并列類,這說明錯(cuò)誤主要是出在判斷一個(gè)樣本是不是并列關(guān)系上。這主要是由兩個(gè)原因?qū)е碌模?①訓(xùn)練集中的并列關(guān)系類樣本超過半數(shù); ②許多論元之間雖然不是并列關(guān)系,但是語(yǔ)義上很相似。例2給出了一個(gè)這樣的例子。

    例2 [Arg1]甘肅省積極實(shí)施科技興農(nóng)戰(zhàn)略,推廣地膜覆蓋、節(jié)水灌溉、集雨節(jié)灌等農(nóng)業(yè)適用技術(shù)和增產(chǎn)措施,

    [Arg2]農(nóng)業(yè)獲得較好收成,全年糧食總產(chǎn)量達(dá)七十六點(diǎn)六億公斤。

    [隱式連接詞]因此

    [篇章關(guān)系]因果關(guān)系

    例2中Arg1是Arg2的原因,因而論元之間的篇章關(guān)系為因果。但是從語(yǔ)義層面來看,Arg1中的 “農(nóng)業(yè)”“灌溉”“增產(chǎn)”等詞語(yǔ),與Arg2中的“收成”“糧食”“產(chǎn)量”等詞語(yǔ)存在非常強(qiáng)的語(yǔ)義相似度,而本文模型中的注意力層會(huì)將這種高相似度視為“并列”關(guān)系的特征,進(jìn)而將其篇章關(guān)系錯(cuò)分為并列。

    最后本文將模型運(yùn)用到PDTB上,進(jìn)行了英語(yǔ)隱式篇章關(guān)系識(shí)別的實(shí)驗(yàn)。PDTB是最大的篇章關(guān)系英語(yǔ)語(yǔ)料庫(kù),對(duì)來自于華爾街日?qǐng)?bào)的2 312篇章文章進(jìn)行了標(biāo)注。跟隨之前Pitler等[2]的工作,本文選擇2~20章作為訓(xùn)練集、21~22章作為測(cè)試集、0~1章作為開發(fā)集,在最上層的4個(gè)類別上進(jìn)行了one-versus-all的二分類實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果顯示,相比于目前的性能最優(yōu)系統(tǒng),本文的模型取得了介于普通神經(jīng)網(wǎng)絡(luò)方法[4,6]和對(duì)抗方法[9]之間的性能。這是因?yàn)椋?①對(duì)抗方法針對(duì)該任務(wù)做了精心的設(shè)計(jì),表現(xiàn)出了比普通神經(jīng)網(wǎng)絡(luò)模型更好的性能; ②本文提出的模型可能存在一定的語(yǔ)言相關(guān)性,中文通常在句法上更加自由,因而本文提出的模型專注于捕獲文本的語(yǔ)義信息,在捕獲語(yǔ)言學(xué)特征方面可能存在不足。

    4 結(jié)論

    本文針對(duì)中文隱式篇章關(guān)系識(shí)別任務(wù),提出了一個(gè)三層注意力神經(jīng)網(wǎng)絡(luò)模型TLAN。首先通過Self-Attention層對(duì)論元進(jìn)行初步編碼,使得模型充分閱讀每一個(gè)論元,并盡可能保留了原始輸入的信息。然后通過Interactive Attention層來模擬人類的雙向閱讀過程,通過度量?jī)蓚€(gè)論元詞語(yǔ)之間的語(yǔ)義聯(lián)系來生成包含交互信息的論元表示,并且進(jìn)一步通過非線性變換獲得“論元對(duì)”信息的外部記憶。最后,通過包含外部記憶的注意力層來模擬人類的重復(fù)閱讀過程,在重復(fù)閱讀論元初步編碼信息的基礎(chǔ)上,把論元對(duì)記憶作為一個(gè)貫穿全局的向量來引導(dǎo)論元最終表示的生成。在CDTB的實(shí)驗(yàn)中,本文提出模型在Micro-F1和Macro-F1上超過了多個(gè)強(qiáng)基準(zhǔn)模型,在PDTB上本文的模型也取得了與其他性能最優(yōu)系統(tǒng)可比較的性能,充分說明了本文提出的模型在隱式篇章關(guān)系識(shí)別任務(wù)上的有效性。

    猜你喜歡
    論元注意力語(yǔ)義
    讓注意力“飛”回來
    語(yǔ)言與語(yǔ)義
    “揚(yáng)眼”APP:讓注意力“變現(xiàn)”
    成分重量和粵方言雙及物結(jié)構(gòu)的論元語(yǔ)序
    基于論元結(jié)構(gòu)和題元指派對(duì)漢語(yǔ)處置義“把”字句的句法語(yǔ)義分析
    A Beautiful Way Of Looking At Things
    “上”與“下”語(yǔ)義的不對(duì)稱性及其認(rèn)知闡釋
    認(rèn)知范疇模糊與語(yǔ)義模糊
    英語(yǔ)中動(dòng)構(gòu)式中施事論元句法隱含的認(rèn)知研究
    語(yǔ)義分析與漢俄副名組合
    我要搜黄色片| АⅤ资源中文在线天堂| 一个人免费在线观看的高清视频| 国产午夜精品久久久久久一区二区三区 | 久久6这里有精品| 中亚洲国语对白在线视频| 日韩亚洲欧美综合| 国产精品 国内视频| 综合色av麻豆| 亚洲av免费在线观看| 久久精品国产清高在天天线| 精华霜和精华液先用哪个| 国产男靠女视频免费网站| 精品人妻偷拍中文字幕| 精品人妻偷拍中文字幕| 久久精品人妻少妇| 国产99白浆流出| 精品国产超薄肉色丝袜足j| 午夜福利在线观看免费完整高清在 | 国产成人影院久久av| a在线观看视频网站| 亚洲欧美激情综合另类| 久久草成人影院| 国产精品久久电影中文字幕| 国产视频一区二区在线看| 成人国产一区最新在线观看| 午夜福利欧美成人| 黄色女人牲交| 99在线人妻在线中文字幕| 国产黄色小视频在线观看| 最后的刺客免费高清国语| aaaaa片日本免费| 国产v大片淫在线免费观看| 中文字幕人妻熟人妻熟丝袜美 | 岛国视频午夜一区免费看| 九色成人免费人妻av| 女生性感内裤真人,穿戴方法视频| 久久久久久久精品吃奶| 给我免费播放毛片高清在线观看| 狂野欧美白嫩少妇大欣赏| 国产亚洲欧美98| 国产单亲对白刺激| 99久久综合精品五月天人人| av黄色大香蕉| 在线国产一区二区在线| www.熟女人妻精品国产| 亚洲欧美日韩高清在线视频| 中文资源天堂在线| 亚洲国产精品合色在线| 成人高潮视频无遮挡免费网站| 婷婷精品国产亚洲av| 在线观看免费视频日本深夜| 日韩中文字幕欧美一区二区| 好男人电影高清在线观看| 国产午夜精品久久久久久一区二区三区 | 亚洲人成伊人成综合网2020| 欧美日韩亚洲国产一区二区在线观看| 日韩欧美在线二视频| 黑人欧美特级aaaaaa片| 99热这里只有是精品50| 日韩欧美在线二视频| 成人欧美大片| 好看av亚洲va欧美ⅴa在| 丁香六月欧美| 99精品在免费线老司机午夜| 香蕉久久夜色| 欧美日韩瑟瑟在线播放| 身体一侧抽搐| 久久久久久九九精品二区国产| 神马国产精品三级电影在线观看| 人人妻,人人澡人人爽秒播| 午夜免费成人在线视频| 搡老岳熟女国产| 免费av毛片视频| 听说在线观看完整版免费高清| 国产三级黄色录像| 天天躁日日操中文字幕| 一进一出抽搐动态| 少妇人妻精品综合一区二区 | 亚洲国产欧美网| 无限看片的www在线观看| 亚洲无线观看免费| 老司机在亚洲福利影院| 动漫黄色视频在线观看| 男女下面进入的视频免费午夜| 欧美午夜高清在线| 他把我摸到了高潮在线观看| 精品国产美女av久久久久小说| 亚洲熟妇熟女久久| 欧美zozozo另类| x7x7x7水蜜桃| 蜜桃久久精品国产亚洲av| 99久久精品一区二区三区| 麻豆成人av在线观看| 国语自产精品视频在线第100页| 日本五十路高清| 久久香蕉国产精品| 露出奶头的视频| 丰满的人妻完整版| www.999成人在线观看| 国产欧美日韩精品亚洲av| 久久99热这里只有精品18| 少妇人妻一区二区三区视频| av在线蜜桃| h日本视频在线播放| 成人特级黄色片久久久久久久| 国产一级毛片七仙女欲春2| av在线蜜桃| av国产免费在线观看| 国产欧美日韩精品亚洲av| 91久久精品国产一区二区成人 | 日本一本二区三区精品| 国产探花极品一区二区| 一区二区三区激情视频| 亚洲专区中文字幕在线| 美女免费视频网站| 宅男免费午夜| 欧美性猛交黑人性爽| 亚洲国产精品成人综合色| 国产精品美女特级片免费视频播放器| 欧美成人免费av一区二区三区| 丁香六月欧美| 亚洲人成网站在线播放欧美日韩| 在线免费观看的www视频| 国产高清视频在线观看网站| 免费大片18禁| 18禁裸乳无遮挡免费网站照片| 一区二区三区免费毛片| 国产日本99.免费观看| 精品99又大又爽又粗少妇毛片 | 欧美黑人欧美精品刺激| 哪里可以看免费的av片| 18禁在线播放成人免费| 一边摸一边抽搐一进一小说| 少妇人妻精品综合一区二区 | 99久久九九国产精品国产免费| 久久这里只有精品中国| 偷拍熟女少妇极品色| 精品一区二区三区视频在线 | 日本熟妇午夜| 久久精品91蜜桃| 男人舔奶头视频| 3wmmmm亚洲av在线观看| 91麻豆精品激情在线观看国产| 亚洲av日韩精品久久久久久密| 亚洲五月天丁香| tocl精华| 亚洲人成伊人成综合网2020| 国产综合懂色| 手机成人av网站| 久久精品人妻少妇| 最新中文字幕久久久久| 成人特级av手机在线观看| 最近最新免费中文字幕在线| 桃红色精品国产亚洲av| 非洲黑人性xxxx精品又粗又长| 老司机午夜十八禁免费视频| 蜜桃亚洲精品一区二区三区| 国产精品一区二区免费欧美| 9191精品国产免费久久| 色老头精品视频在线观看| 国产乱人伦免费视频| 国产三级在线视频| 99在线人妻在线中文字幕| 女警被强在线播放| 久久久久国产精品人妻aⅴ院| 九九久久精品国产亚洲av麻豆| 欧美xxxx黑人xx丫x性爽| 亚洲av成人精品一区久久| 99久久久亚洲精品蜜臀av| 黄色视频,在线免费观看| 特大巨黑吊av在线直播| 国内精品美女久久久久久| 亚洲无线在线观看| 久久久国产成人精品二区| 99久久精品一区二区三区| 人妻丰满熟妇av一区二区三区| 亚洲国产色片| 一卡2卡三卡四卡精品乱码亚洲| 国产激情欧美一区二区| 一个人看的www免费观看视频| 999久久久精品免费观看国产| 国产成人系列免费观看| 国产三级黄色录像| 99riav亚洲国产免费| 色尼玛亚洲综合影院| 最新美女视频免费是黄的| 狂野欧美激情性xxxx| 欧美另类亚洲清纯唯美| 欧美乱码精品一区二区三区| 三级国产精品欧美在线观看| 成人三级黄色视频| 国产精品一区二区三区四区久久| 日韩欧美免费精品| 青草久久国产| 欧美色欧美亚洲另类二区| 成年版毛片免费区| 美女大奶头视频| 一个人免费在线观看电影| 国内精品久久久久久久电影| 黑人欧美特级aaaaaa片| 757午夜福利合集在线观看| 波多野结衣高清无吗| 欧美黄色片欧美黄色片| 91久久精品国产一区二区成人 | 国产乱人伦免费视频| 亚洲熟妇熟女久久| 黄色丝袜av网址大全| 久久精品人妻少妇| 高清毛片免费观看视频网站| 欧美精品啪啪一区二区三区| 有码 亚洲区| 欧美中文日本在线观看视频| 日本免费一区二区三区高清不卡| 亚洲五月天丁香| 午夜视频国产福利| av欧美777| 欧美日韩福利视频一区二区| 亚洲最大成人中文| 国产黄a三级三级三级人| 性欧美人与动物交配| 国产精品亚洲一级av第二区| 日本a在线网址| 国产又黄又爽又无遮挡在线| 亚洲成人精品中文字幕电影| 男人的好看免费观看在线视频| 看黄色毛片网站| 久久精品夜夜夜夜夜久久蜜豆| 精品欧美国产一区二区三| 欧美绝顶高潮抽搐喷水| 国产成年人精品一区二区| 欧美中文日本在线观看视频| 欧美日韩黄片免| 久久久久久大精品| 尤物成人国产欧美一区二区三区| 伊人久久大香线蕉亚洲五| 免费电影在线观看免费观看| 亚洲精华国产精华精| 蜜桃久久精品国产亚洲av| 一个人看的www免费观看视频| 国产91精品成人一区二区三区| 免费在线观看亚洲国产| 精品久久久久久,| 性色av乱码一区二区三区2| 午夜久久久久精精品| 女人高潮潮喷娇喘18禁视频| 亚洲人成电影免费在线| 小说图片视频综合网站| 日韩欧美免费精品| 亚洲不卡免费看| 免费无遮挡裸体视频| 久久中文看片网| e午夜精品久久久久久久| 亚洲电影在线观看av| 偷拍熟女少妇极品色| 老师上课跳d突然被开到最大视频 久久午夜综合久久蜜桃 | 日本五十路高清| 天天躁日日操中文字幕| 免费av观看视频| www.色视频.com| 日本黄色片子视频| 国产三级中文精品| 1024手机看黄色片| 国产视频一区二区在线看| 日韩欧美免费精品| 在线国产一区二区在线| 亚洲内射少妇av| 色尼玛亚洲综合影院| 男女午夜视频在线观看| 无人区码免费观看不卡| 两个人的视频大全免费| 美女cb高潮喷水在线观看| 久久精品国产亚洲av涩爱 | 91久久精品国产一区二区成人 | 亚洲激情在线av| 国产一区二区三区在线臀色熟女| 三级毛片av免费| 99国产精品一区二区三区| 国产免费av片在线观看野外av| 亚洲最大成人手机在线| 国产精品野战在线观看| 久久精品人妻少妇| 色播亚洲综合网| av黄色大香蕉| 成人av一区二区三区在线看| 老汉色av国产亚洲站长工具| 99精品久久久久人妻精品| 91九色精品人成在线观看| 一a级毛片在线观看| 最近最新免费中文字幕在线| 精品午夜福利视频在线观看一区| 在线观看舔阴道视频| 每晚都被弄得嗷嗷叫到高潮| 长腿黑丝高跟| 精品熟女少妇八av免费久了| 免费在线观看日本一区| 欧美日韩综合久久久久久 | 午夜福利在线观看吧| 午夜日韩欧美国产| 亚洲熟妇熟女久久| 久久久久久久亚洲中文字幕 | 两个人视频免费观看高清| 一级毛片女人18水好多| 国产主播在线观看一区二区| 久久草成人影院| 12—13女人毛片做爰片一| a级毛片a级免费在线| 国产69精品久久久久777片| 欧美性猛交╳xxx乱大交人| 好男人在线观看高清免费视频| 国内精品久久久久精免费| 国产高清视频在线播放一区| 19禁男女啪啪无遮挡网站| 精品一区二区三区视频在线 | 国产不卡一卡二| 岛国在线免费视频观看| 一级毛片女人18水好多| 美女免费视频网站| 亚洲五月婷婷丁香| 国产成人av激情在线播放| 波多野结衣高清无吗| 久久久精品欧美日韩精品| 国产淫片久久久久久久久 | 日韩亚洲欧美综合| 可以在线观看毛片的网站| 波多野结衣高清无吗| 久久久国产成人免费| 欧美区成人在线视频| 久久6这里有精品| 国产成+人综合+亚洲专区| 欧美性猛交黑人性爽| 免费观看精品视频网站| 男女床上黄色一级片免费看| 国产 一区 欧美 日韩| 3wmmmm亚洲av在线观看| www国产在线视频色| 亚洲专区中文字幕在线| 国产麻豆成人av免费视频| 色哟哟哟哟哟哟| 久久久久国内视频| 亚洲国产精品合色在线| 91在线精品国自产拍蜜月 | 香蕉丝袜av| 精品久久久久久久人妻蜜臀av| 日本精品一区二区三区蜜桃| 国产精品 欧美亚洲| 五月伊人婷婷丁香| www国产在线视频色| 国产精品久久久久久亚洲av鲁大| 国产成人av教育| 成年女人看的毛片在线观看| 亚洲最大成人手机在线| 亚洲中文字幕一区二区三区有码在线看| 午夜老司机福利剧场| 国语自产精品视频在线第100页| 国产高清有码在线观看视频| 老司机深夜福利视频在线观看| 国产精品自产拍在线观看55亚洲| 午夜免费男女啪啪视频观看 | 小蜜桃在线观看免费完整版高清| 午夜a级毛片| 一级黄片播放器| 在线观看av片永久免费下载| 成人av在线播放网站| 亚洲国产高清在线一区二区三| 免费观看人在逋| 一本精品99久久精品77| 男女下面进入的视频免费午夜| 非洲黑人性xxxx精品又粗又长| 国产精品国产高清国产av| 亚洲狠狠婷婷综合久久图片| 国产亚洲精品一区二区www| 久久久精品欧美日韩精品| 一级毛片高清免费大全| 午夜福利免费观看在线| 亚洲国产欧美网| 男女床上黄色一级片免费看| 精品熟女少妇八av免费久了| 欧美日韩国产亚洲二区| 日韩 欧美 亚洲 中文字幕| 麻豆成人午夜福利视频| 在线十欧美十亚洲十日本专区| 天堂√8在线中文| 精品日产1卡2卡| 国产精品久久久久久亚洲av鲁大| 最近最新免费中文字幕在线| 91九色精品人成在线观看| 美女高潮喷水抽搐中文字幕| 一本久久中文字幕| 搞女人的毛片| 国产黄a三级三级三级人| 国产精品 欧美亚洲| 2021天堂中文幕一二区在线观| 国产精品嫩草影院av在线观看 | 岛国在线免费视频观看| 看片在线看免费视频| 免费av毛片视频| 又爽又黄无遮挡网站| 国产乱人视频| 母亲3免费完整高清在线观看| 啦啦啦观看免费观看视频高清| 在线观看一区二区三区| 欧洲精品卡2卡3卡4卡5卡区| 91麻豆精品激情在线观看国产| 欧美大码av| 18禁国产床啪视频网站| 欧美一级a爱片免费观看看| 亚洲国产欧洲综合997久久,| 国产激情偷乱视频一区二区| 午夜福利免费观看在线| 国产伦在线观看视频一区| 观看美女的网站| 亚洲欧美日韩东京热| 成人午夜高清在线视频| 网址你懂的国产日韩在线| 亚洲精华国产精华精| 在线观看免费视频日本深夜| 真人一进一出gif抽搐免费| 12—13女人毛片做爰片一| 在线观看免费午夜福利视频| 国产三级中文精品| 久久久国产成人精品二区| 欧美在线黄色| 国内久久婷婷六月综合欲色啪| 国产伦精品一区二区三区视频9 | 一级a爱片免费观看的视频| 亚洲av电影不卡..在线观看| 亚洲激情在线av| 久久久久久久亚洲中文字幕 | 亚洲精品456在线播放app | 欧美乱色亚洲激情| 免费人成视频x8x8入口观看| 久久香蕉精品热| 亚洲av免费高清在线观看| 日韩欧美 国产精品| 热99re8久久精品国产| 亚洲av成人不卡在线观看播放网| 日本黄色片子视频| 一区福利在线观看| 中文字幕人妻熟人妻熟丝袜美 | 亚洲国产日韩欧美精品在线观看 | 变态另类成人亚洲欧美熟女| 久久午夜亚洲精品久久| 国产高潮美女av| 免费观看的影片在线观看| 99久久99久久久精品蜜桃| 久久精品国产亚洲av涩爱 | 亚洲人成电影免费在线| 国产精品乱码一区二三区的特点| 亚洲无线在线观看| 天堂网av新在线| 九九久久精品国产亚洲av麻豆| 亚洲真实伦在线观看| 欧美在线一区亚洲| 9191精品国产免费久久| 亚洲国产欧洲综合997久久,| 成人亚洲精品av一区二区| 国产高清视频在线播放一区| 日韩欧美精品免费久久 | 国产欧美日韩精品一区二区| 香蕉av资源在线| 欧美中文日本在线观看视频| 精品人妻1区二区| 国产欧美日韩一区二区精品| 亚洲中文字幕日韩| 久9热在线精品视频| 亚洲精品在线观看二区| 国产精品 国内视频| 国产毛片a区久久久久| 亚洲,欧美精品.| 给我免费播放毛片高清在线观看| 久久久国产精品麻豆| 成人欧美大片| 国产成年人精品一区二区| 日本三级黄在线观看| 午夜福利欧美成人| 中出人妻视频一区二区| 国产野战对白在线观看| 成人av在线播放网站| h日本视频在线播放| 日本 欧美在线| 日韩精品中文字幕看吧| 欧美在线一区亚洲| 亚洲av中文字字幕乱码综合| 国产高清视频在线观看网站| 国产精品久久电影中文字幕| 97人妻精品一区二区三区麻豆| 熟女人妻精品中文字幕| 小说图片视频综合网站| 极品教师在线免费播放| 国产成人av激情在线播放| www.色视频.com| 亚洲久久久久久中文字幕| 亚洲国产精品999在线| 一进一出抽搐动态| 欧美日韩瑟瑟在线播放| 性色av乱码一区二区三区2| 两性午夜刺激爽爽歪歪视频在线观看| 成人特级av手机在线观看| 人人妻人人看人人澡| 99国产综合亚洲精品| 特级一级黄色大片| 69人妻影院| 又黄又爽又免费观看的视频| 国内毛片毛片毛片毛片毛片| 可以在线观看毛片的网站| www.999成人在线观看| 国产色婷婷99| 国产精品一及| 国产精品 欧美亚洲| www日本黄色视频网| 亚洲精品456在线播放app | 国产欧美日韩一区二区精品| 99久久久亚洲精品蜜臀av| 国产成人aa在线观看| 久久精品人妻少妇| 日本撒尿小便嘘嘘汇集6| 亚洲av成人不卡在线观看播放网| 欧美日韩一级在线毛片| 悠悠久久av| 国产美女午夜福利| 日韩精品青青久久久久久| x7x7x7水蜜桃| 亚洲乱码一区二区免费版| 18禁裸乳无遮挡免费网站照片| 免费av不卡在线播放| 最近最新中文字幕大全免费视频| 香蕉久久夜色| 亚洲七黄色美女视频| 香蕉久久夜色| 欧美性猛交╳xxx乱大交人| a级一级毛片免费在线观看| 九九热线精品视视频播放| 91在线观看av| 男女之事视频高清在线观看| 内射极品少妇av片p| 欧美成人a在线观看| 精品不卡国产一区二区三区| 91av网一区二区| 在线免费观看不下载黄p国产 | av在线天堂中文字幕| 成人无遮挡网站| h日本视频在线播放| 一本久久中文字幕| 国产免费一级a男人的天堂| 无人区码免费观看不卡| 在线视频色国产色| 亚洲国产中文字幕在线视频| 色吧在线观看| 国产激情欧美一区二区| 黄色视频,在线免费观看| 手机成人av网站| 禁无遮挡网站| 成人av一区二区三区在线看| x7x7x7水蜜桃| 少妇人妻一区二区三区视频| 国产97色在线日韩免费| 少妇人妻一区二区三区视频| 成人亚洲精品av一区二区| 男女做爰动态图高潮gif福利片| 久久伊人香网站| 搡女人真爽免费视频火全软件 | 免费人成视频x8x8入口观看| 免费av不卡在线播放| a在线观看视频网站| 久久精品91蜜桃| 99在线视频只有这里精品首页| 国产高清视频在线播放一区| 黄色片一级片一级黄色片| 久久欧美精品欧美久久欧美| 国产成人欧美在线观看| 国产欧美日韩精品亚洲av| 又黄又爽又免费观看的视频| 亚洲成人久久爱视频| 黄色女人牲交| 欧美乱码精品一区二区三区| 国产亚洲精品久久久com| 丁香欧美五月| 可以在线观看毛片的网站| 欧美黑人巨大hd| 人人妻,人人澡人人爽秒播| 在线播放国产精品三级| 一个人免费在线观看的高清视频| 变态另类成人亚洲欧美熟女| e午夜精品久久久久久久| 88av欧美| 国产精品一区二区三区四区免费观看 | 一卡2卡三卡四卡精品乱码亚洲| 久久香蕉国产精品| 精品福利观看| 国产日本99.免费观看| 免费电影在线观看免费观看| 日韩国内少妇激情av| 精品熟女少妇八av免费久了| 丰满的人妻完整版| 国产成+人综合+亚洲专区| 国产淫片久久久久久久久 | 长腿黑丝高跟| 亚洲色图av天堂| 在线免费观看不下载黄p国产 | www日本黄色视频网| 99久久精品一区二区三区| 久久久久国内视频| 少妇人妻一区二区三区视频| 成人欧美大片| 在线观看午夜福利视频| 91av网一区二区| 精品久久久久久久人妻蜜臀av| 18禁裸乳无遮挡免费网站照片| 美女大奶头视频| 精品久久久久久久人妻蜜臀av| 一本久久中文字幕| 国产一区在线观看成人免费| 国产精品野战在线观看| 国产成人影院久久av|