• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于多注意力機制的維吾爾語人稱代詞指代消解

    2021-07-25 17:50:10楊啟萌田生偉艾山吾買爾
    自動化學報 2021年6期
    關鍵詞:維吾爾語指代代詞

    楊啟萌 禹 龍 田生偉 艾山 吾買爾

    指代(Anaphora)作為一種常見的語言現象,廣泛存在于自然語言的表達之中.它對語言的簡化表達、主題的突出性描述和語言表達連貫性起著重要的作用.對指代成分準確無歧義的消解有助于機器分析和語篇理解[1].在語言學中,指代詞稱為照應語(Anaphor),用于指向另一個語言單位,被指代詞稱為先行語(Antecedent),用于被指向的語言單位,指代消解(Anaphora Resolution)就是確定照應語所指代的先行語的過程[2].維吾爾語人稱代詞指代消解是研究人稱代詞與句中名詞和名詞性短語的指代關系,圖1 給出維吾爾語人稱代詞指代消解例句.

    圖1 維吾爾語人稱代詞指代消解例句Fig.1 The example of Uyghur personal pronoun anaphora resolution

    如果一個人稱代詞存在指代關系,那么它與相關文本中的一個或多個提及的名詞或名詞性短語關聯(lián).本句中“(吾斯英)”和“(他)”存在指代關系,“(布葛熱汗)”和“(他)”不存在指代關系.

    近年來,隨著深度學習技術在語音識別、計算機視覺、圖像識別等領域的重大突破,學者們嘗試將深度學習模型應用于自然語言處理任務中.例如Kim使用卷積神經網絡(Convolutional neural network,CNN)進行句子建模,解決情感分類任務[3],Irsoy等使用循環(huán)神經網絡(Recurrent neural network,RNN)進行意見分析[4],Tai 等使用長短時記憶網絡(Long short term memory network,LSTM)解決情感分類問題[5],這些基于深度學習的方法在自然語言處理任務中取得了比以往研究更好的分類效果.

    指代消解作為自然語言處理一個重要子任務,深度學習模型在指代消解中得到廣泛的研究.這些研究關注照應語和候選先行語的語義信息,應用大量的神經網絡模型進行候選先行語預測[6?8].目前的研究主要針對中文和英文等具有充足語料庫的語種,對維吾爾語等小語種的研究不夠深入,針對小語種的研究無論是語料標注還是實體識別都需要掌握多級語法知識、語義知識,甚至相應語言領域知識,在當前自然語言處理的研究階段,要獲取和學習研究中所需知識仍比較困難.人稱代詞指代消解作為指代消解任務更細粒度的一個分支,不僅依賴照應語和候選先行語特征信息,還要關注距離特征和上下文語境信息.例如句子:

    (因為吾斯英是當代的大學者之一,所以布葛熱汗尊敬他)

    我們普遍認為與照應語距離越近的候選先行語存在指代關系概率越大,根據候選先行語“(吾斯英)”、“(學者)”和“(布葛熱汗)”,很難推斷“(吾斯英)”是否為照應語“(他)”正確的先行語,在這種情況下,研究者會錯誤地判斷“(布葛熱汗)”為“(他)”的先行語,因為文本中“(布葛熱汗)”與“(他)”距離更近.但是,候選先行語“(吾斯英)”才是照應語“(他)”正確的先行語.所以,人稱代詞指代消解應該充分考慮候選先行語距離特征和更深層次的語境信息.

    針對以上問題,本文提出基于多注意力機制的深度學習模型應用于維吾爾語人稱代詞指代消解任務.注意力機制最早應用于視覺圖像領域,目的是在神經網絡訓練過程中將注意力集中到圖像的特定部分.Mnih 等首次提出在RNN 模型上使用注意力機制進行圖像分類[9],驗證了注意力機制在圖像處理領域的有效性.隨后Bahdanau 等將注意力機制應用于機器翻譯任務[10],模型取得了顯著的效果并使注意力機制成功應用于自然語言處理領域.隨著研究不斷深入,Yin 等提出基于注意力機制的卷積神經網絡進行句子建模[11],Wang 等使用基于注意力機制的LSTM 解決細粒度的情感分析問題[12],這些方法的提出驗證了注意力機制結合深度學習模型的有效性.

    本文結合三種注意力機制來構造CMAIR 模型:1)詞向量注意力機制:突出照應語和候選先行語的重要程度,2)距離注意力機制:有效表達不同詞語對消解結果的貢獻度,3)詞性注意力機制:是句中詞和詞性的關聯(lián).同時,本文結合IndRNN 構造語境特征,并將這4 種特征作為模型的輸入,可以從多個層面學習詞語級和句子級特征信息,提高指代消解性能.

    本文提出的CMAIR 模型使用3 種注意力機制和語境特征構建模型,使模型關注多種特征信息.最后,將CMAIR 模型在維吾爾語數據集進行實驗,實驗結果表明,本方法取得了比以往研究更好的分類效果.本文的主要貢獻有5 方面:

    1)提出一種結合語境的多注意力獨立循環(huán)網絡(CMAIR)應用在維吾爾語人稱代詞指代消解任務中,實驗取得了當前研究最好效果;

    2)本文首次考慮結合語境的深度學習模型,學習詞序關聯(lián)和依賴關系,結合語境信息增強了特征表達力;

    3)本文提出的詞向量、詞性、距離注意力機制能從三方面獲取更深層次的特征信息,彌補了單注意力機制僅關注內容層面信息的不足;

    4)CMAIR 模型結構簡單,具有很強的魯棒性和泛化能力,無需額外的句法分析和語義依存分析相關知識;

    5)提出一種距離識別算法,能準確計算待消解對距離,識別不同詞在句中重要程度,使CMAIR 可以充分利用距離信息.

    1 相關工作

    1.1 指代消解

    指代消解作為自然語言處理重要子任務,是細粒度的文本分類任務,更加關注照應語和候選先行語深層次語義特征,一直以來都得到眾多學者的研究和關注.Soon 等首次給出利用機器學習的方法進行指代消解基本步驟,其思想是把指代消解任務看作二分類問題,從已標注好的語料庫中提取語料的各類詞法、語法、語義特征作為消解框架的輸入并利用分類器完成指代消解任務[13];Ng 等對Soon 等研究進行了改進,抽取53 個特征,指代消解的效果有顯著地改善[14];Yang 等提出將特征方法和聚類相結合,模型消解性能有較大的提高[15];這些方法通過傳統(tǒng)的機器學習構造文本語法、句法等特征,能充分利用文本內容層面特征,有效進行指代關系識別.此外,指代消解在多種語言已得到廣泛的研究.

    近年來,隨著深度學習在自然語言處理領域的廣泛應用,許多研究者也利用深度學習方法解決指代消解任務.Chen 等針對此問題提出一種深度神經網絡模型,在他們的工作中,照應語和候選先行語用前饋神經網絡編碼[16].Clark 等嘗試對指代消解的一種神經網絡Mention Rank 模型的啟發(fā)式損失函數中的超參數利用強化學習方式進行優(yōu)化,提出一種獎勵衡量機制,跟其他方式相比結果突出[17].Iida等提出一種句內主題指代關系并利用多列卷積神經網絡(Multi-column CNN)來預測指代關系,在多個基準測試中取得了很好的結果[8].Yin 等建立一個深度記憶網絡獲取零代詞和先行語語義關聯(lián)信息[18].這些方法使用深度學習技術來解決指代消解問題,可以在不需要依存樹、句法關系的情況下通過深度神經網絡更好地學習文本的深層次特征信息,取得了比傳統(tǒng)機器學習方法更好的分類效果.

    針對維吾爾語指代消解問題,目前已有學者進行研究.李敏等提出一種基于棧式自編碼深度學習的算法進行維吾爾語名詞短語指代消解[19].田生偉等挖掘維吾爾語隱含的上下文語義層面特征,提出利用BiLSTM 的深度學習機制進行基于深層語義信息的維吾爾語人稱代詞指代消解,維吾爾語人稱代詞指代消解的F 值達到76.86%,證明了該方法的有效性[20].李冬白等通過堆疊多層RBM 網絡和一層BP 網絡構建DBN 深度網絡學習模型,經過維吾爾語語料庫測試,F 值達到83.81%,該方法能有效提升維吾爾語人稱代詞指代消解性能,推動了維吾爾語指代消解的研究[21].

    本文提出的CMAIR 模型與現有技術的主要區(qū)別在于多注意力機制和IndRNN 的應用,我們將指代消解作為多注意力機制和IndRNN 環(huán)境下關注詞語重要程度和學習文本深層次語境特征的過程.在IndRNN 模型的幫助下,CMAIR 模型學習以順序的方式對候選先行語進行分類,從而做出全局最優(yōu)的決策.

    1.2 獨立循環(huán)神經網絡

    獨立循環(huán)神經網絡(IndRNN)是由Li 等提出的一種新型網絡結構,不僅可以解決傳統(tǒng)RNN 所存在的梯度消失和梯度爆炸問題,還學習長期依賴關系;此外,借助ReLU 等非飽和激活函數,訓練之后IndRNN 更具魯棒性,并且通過堆疊多層IndRNN還可以構建比現有RNN 更深的網絡[22].實驗結果表明,與傳統(tǒng)的CNN 和LSTM 相比,使用IndRNN可以在各種任務中取得更好的結果.IndRNN 基本結構如圖2 所示.

    圖2 IndRNN 結構圖Fig.2 The structure diagram of IndRNN

    其中weight 和Recurrent+ReLU 表示每一時間步對輸入的處理步驟,ReLU 是激活函數,為了加速訓練,每層之后插入了批標準化(Batch normalization,BN),通過堆疊這種基礎架構,可以建立一個深度IndRNN 網絡.其用公式可以表示為:

    其中循環(huán)權重μ是一個向量,⊙表示Hadamard積(對應元素相乘).同一圖層中的每個神經元都與其他神經元不相連,通過疊加兩層或更多層的IndRNN,可以將神經元連接.對于第n個神經元,隱藏層hn,t可以通過以下公式得到:

    其中wn和un分別表示第n行的輸入權重和當前權重,每個神經元只接收當前狀態(tài)隱藏層和輸入信息.IndRNN 中的每個神經元都有獨立的時空特征,隨著參數被共享,RNN 被視為多層感知器.與傳統(tǒng)的RNN 不同,IndRNN 將隨時間獨立地聚合空間模式.

    由于權重層用來處理輸入,可以將其自然地擴展到其他多個圖層中加深處理過程.IndRNN 結構簡單,也可以很容易地添加到不同的網絡結構中.

    2 任務描述

    對于分詞后長度為n的句子,保留句中名詞、名詞短語和人稱代詞,去除其他詞語,得到s={w1,w2,···,wi,···,ai,···,wn},其中wi為第i個分詞,ai為人稱代詞.分別把s中詞語逐個向前匹配得到待消解對,例如ai逐個向前匹配得到{aiwi?1,aiwi?2,aiwi?3,···,aiw1,},本文的任務是針對ai確定其正確對應的先行語,完成維吾爾語指代消解,例如句子:

    (因為吾斯英是當代的大學者之一,所以布葛熱汗尊敬他)

    3 多注意力IndRNN 模型

    本文通過三種注意力機制充分利用文本語義信息,輸入CNN 進行卷積核池化操作提取文本局部特征,并結合IndRNN 挖掘深層次語境信息從而有效完成指代消解任務.如圖3 所示,CMAIR 模型主要由5 部分組成:

    圖3 多注意力機制IndRNN 模型框架圖Fig.3 IndRNN model framework with multiple attention mechanisms

    1)注意力矩陣輸入層:存儲三種注意力機制的注意力特征向量信息.

    2)CNN 層:將3 種注意力特征向量和handcrafted 特征向量合并為輸入特征矩陣,依次進行卷積和池化操作,為了使網絡模型結構簡單化,本文選用一層卷積的方式進行輸入數據提取局部特征,并使用最大池化進一步降低數據計算復雜度,CNN 層可以保留文本豐富的重要局部特征.

    3)IndRNN 層:將長度為n的句子s={w1,w2,w3,···,wi,···,wn}的詞向量依次輸入IndRNN 中,其中wi為第i個分詞,IndRNN 可以學習文本長期依賴關系,挖掘更深層次語境特征,用于后續(xù)的處理過程.

    4)全連接層:用于結合模型中CNN 層提取的局部特征和IndRNN 提取的語境特征,形成輸入特征向量的綜合表示,并作為輸出層的輸入.

    5)輸出層:本文選用Softmax分類器進行分類,從而確定照應語和候選先行語指代關系.分類結果中,對于一個照應語Anaphor和n個候選先行語Antecedent,Antecedentk(k=1,2,···,n)為照應語Anaphor正確對應的先行語.

    3.1 方法概述

    為了更好地識別候選先行語和人稱代詞指代關系,本文使用3 種注意力機制使模型從不同層面關注實體重要信息,并加入IndRNN 學習文本長期依賴關系,挖掘文本語境信息,獲取語境特征,結合3種注意力機制作為模型的輸入,并在全連接層加入語境特征能有效減少模型復雜度提高指代消解性能.

    如表1 所示,對于長度為n的句子s={w1,w2,w3,···,wi,···,wn},其中wi為第i個分詞,分別對wi標注句中成分,并將每個詞語映射為k維向量,對于句子s依次按時序把wi輸入IndRNN 學習詞語長期依賴關系并獲取語境特征,取指代鏈中候選先行語和照應語兩兩匹配形成待消解對,再從詞典提取待消解對中候選先行語和照應語詞向量、詞性向量和距離向量構建3 種注意力機制.

    表1 詞語句中成分標注Table 1 Component labeling of words in sentences

    1)詞向量注意力機制:提取待消解對中候選先行語、照應語詞向量,并分別與其他詞向量矩陣做運算操作得到詞向量注意力特征矩陣,這是待消解對中對于文本內容層面的注意力.

    2)詞性注意力機制:是詞和詞性關聯(lián)的屬性,是對詞向量注意力的進一步補充,可以讓模型從另一方面關注待消解對,從而學到更多隱藏信息.

    3)距離注意力機制:該方法是融合待消解對中候選先行語與照應語間隔詞語詞向量的方式作為待消解對距離表示.結合其他兩種注意力機制可以充分表述句中每個詞語的重要程度.

    4)語境特征:是句子級的特征表達和注意力機制的補充,可以學習句中詞連續(xù)性和長期依賴關系.

    融合3 種注意力機制作為模型的輸入,可以從不同角度關注待消解對特征信息,在全連接層加入語境特征可以更準確表達待消解對關系,并減小網絡復雜度,從而可以有效識別指代關系,提高指代消解性能.

    3.2 詞向量注意力機制

    注意力機制是使模型在訓練過程中高度關注特定信息,以達到更好的分類效果.對于人稱代詞指代消解任務,文本內容層面信息最為重要,多方面關注分析照應語和候選先行語語義信息可提高指代消解性能.

    本文提出詞向量注意力機制用于維吾爾語人稱代詞指代消解任務.對于完整句子s={w1,w2,w3,···,wi,···,wn},wi為第i個分詞,提取詞典中wi詞向量矩陣,再根據式(3)、(4)和其他詞向量矩陣做運算操作獲取詞向量注意力特征矩陣CT.

    其中vvvi為分詞wi詞向量,Zt?1為分詞wi在上一時刻t ?1 的上下文信息,fATT為softmax打分函數,矩陣CT表示每一個詞語的重要程度(即概率),注意力特征矩陣CT可以改寫成下式:

    其中α為可調參數,表示每一個詞重要程度.利用得到的注意力特征矩陣和wi詞向量矩陣運算即可得到模型輸入矩陣:

    其中⊕表示拼接操作,本文采用注意力特征矩陣和原詞向量簡單拼接操作構建模型輸入矩陣.

    3.3 詞性注意力機制

    照應語和候選先行語內容層面分析是指代消解的關鍵,對于候選先行語和照應語在詞典中出現頻率較低的情況下僅使用詞向量注意力機制會降低指代消解準確率.針對此問題提出一種基于詞性注意力機制用于彌補僅關注文本內容層面信息的不足.

    針對句子s={w1,w2,w3,···,wi,···,wn},本文對句中每個分詞詞性進行重新標注,標注結果如表2 所示.

    表2 詞性標注Table 2 Part of speech tagger

    標注結果是標注詞語和詞性的組合,是標注詞語和詞性的關聯(lián),對于長度為n的句子,可以將標注結果表示為式(7)的形式,其中wi是第i個詞,ci是詞性,⊕為拼接操作.

    對于候選先行語是名詞短語情況,由于名詞短語包含多個詞語,處理方式和以上不同.針對這種情況,本文提取名詞短語中所有詞語的詞向量注意力矩陣,并按照式(8)的方式獲取名詞短語詞性注意力特征矩陣:

    α是名詞短語重要程度,可以手動設置也可以在模型訓練過程中自動學習.

    和詞向量處理方式一樣,提取所有句中標注結果映射為詞性向量矩陣RK×V,其中K為詞典大小,V為每一個詞性標注結果映射的詞向量維度,即為詞性注意力矩陣.指代消解對中提取候選先行語和照應語詞性注意力矩陣并按照式(3)、(4)獲取詞性特征注意力矩陣.

    3.4 距離注意力機制

    先行語和照應語的距離隱藏著重要信息,對提高指代消解性能起著關鍵作用.本文提出兩種距離計算方式,第一種方式為對于候選先行語wi和照應語wn提取所有間隔詞語wi+1,n?1,提取方式如圖4所示,并從詞典提取W中所有詞向量并通過算法1中式(9)運算作為wi與wn距離表示,其中α為每個詞的重要程度.

    圖4 距離計算方式舉例Fig.4 Example of distance calculation

    第二種方式為直接計算待消解對詞語間隔個數并映射為K維詞向量并結合詞向量、詞性注意力特征矩陣和語境特征作為模型的輸入,本文使用算法1計算不同情況下待消解對距離表示.

    我們普遍認為待消解對中候選先行語和照應語距離越近存在指代關系的概率越大.對于圖4 中的例子,我們認為“(他)”和“(布葛熱汗)”存在指代關系的概率大于“(吾斯英)”,因為“(布葛熱汗)”在句中距離“(他)”最近,但是“(吾斯英)”才是“(他)”正確的先行語.針對此問題,本文提出一種距離識別算法用來準確識別待消解對中候選先行語和照應語的距離.其計算過程如算法1 所示.

    算法1.距離識別算法.

    輸入.長度為n的句子s

    輸出.所有指代消解對距離L

    步驟1.將照應語的位置的值置為0,所有候選先行語的位置置為n,n為句子的長度;

    步驟2.定義工作指針p從照應語的位置向前掃描;

    步驟3.若掃描對象是詞語wi(非候選先行語),則將wi加入集合L,若掃描對象是標點符號,加入集合L,執(zhí)行步驟4 繼續(xù)掃描;

    步驟4.若掃描對象是候選先行語,按照式φ1計算距離,其中l(wèi)en(L)為集合L的長度,fATT為詞典中詞語Li的詞向量,α為L中每一個詞語Li的重要程度,num(punc)為集合L中包含標點符號的數量;

    步驟5.將集合L置空并執(zhí)行步驟2 繼續(xù)掃描,若照應語和句中所有候選先行語匹配完成,停止掃描.

    3.5 語境

    句子級的特征隱藏著重要信息,對指代消解性能的提升有重要的作用.本文從句子層面關注文本深層次信息獲取語境特征.對于長度為n的句子s={w1,w2,w3,···,wi,···,wn},把每一個分詞wi映射為k維向量wi∈RK作為獨立循環(huán)神經網絡的輸入,相比于傳統(tǒng)的RNN 和LSTM 網絡IndRNN 可以保留長期記憶,處理長序列,訓練得到的模型具有魯棒性,在處理長序列依賴問題方面的性能優(yōu)于傳統(tǒng)的RNN 和LSTM 模型.

    3.6 hand-crafted 特征

    針對維吾爾語人稱代詞指代消解,本文結合維吾爾語語言現象和語法特征,如表3 所示選擇7 個hand-crafted 特征用于消解任務.

    表3 hand-crafted 特征Table 3 The feature of hand-crafted

    3.7 多注意力機制模型

    卷積神經網絡可以提取文本局部特征,獲取輸入向量更多的隱藏信息,從而更好地識別指代關系.卷積層可以利用多卷積核獲取輸入結構化特征,卷積操作得到特征向量圖:

    上式中x為3 種注意力特征矩陣,w為對應權重矩陣,b為偏置項.對于有m個卷積核的卷積操作其得到的特征圖表示如下:

    池化操作可以進一步處理特征圖,保留重要特征,減少模型復雜度.對于有n個窗口的池化層下采樣后的結果表示如下:

    模型采用sigmoid激活函數,如式(13)所示,其中z為卷積層或池化層的輸出.

    本文中池化層和IndRNN 層的輸出作為全連接層的輸入,并使用softmax分類器得到分類結果,CNN和IndRNN 的特征合并與分類如式(14)、(15)所示.

    其中Wa為全連接層權重矩陣,Ac為合并特征矩陣,本文使用反向傳播進行模型訓練并使用最小化交叉熵來優(yōu)化模型,交叉熵函數為:

    其中,N為輸入樣本數,y(i)為第i個樣本實際類別,則為模型預測類別.

    4 多注意力IndRNN 模型

    將本文提出的方法在維吾爾語數據集上進行實驗,解決維吾爾語人稱代詞指代消解任務.通過在不同神經網絡進行對比實驗,證明了CMAIR 模型的有效性.在實驗過程中,本文使用Word2Vec的Skip-Gram 算法訓練生成詞典[23].每一個詞對應詞向量維度為150 維.在詞典處理中使用均勻分布U(?0.01,0.01)的方式隨機初始化詞典中未登陸詞,并采用去停用詞的方式進行詞典優(yōu)化,提高詞向量搜索效率.由于維吾爾語語法特征無需對其進行分詞操作,詞性信息在數據集中進行標注.對于名詞短語本文采用標注關鍵詞的方式,例如名詞短語(當代大學者之一),其中(學者)為短語關鍵詞,在提取詞向量時給予關鍵詞較大的權重,并采用短語中每一個詞向量累加求均值的方式表示名詞短語詞向量矩陣和詞性向量矩陣.

    4.1 實驗數據

    目前,中文和英文指代消解任務已經非常成熟,標注語料完善.維吾爾語作為小語種,指代消解相關研究正在起步階段,還未見有標注數據集相關報道.因此,本文針對維吾爾語人稱代詞指代消解任務進行了數據采集和標注.

    本文數據集均摘自新華網維吾爾文頻道和天山網,篩選出含有人稱代詞相關數據,在維吾爾語專家的指導下完成語料標注工作.在本次實驗中,采用427 篇標注語料.共包含數據實例44 571 條,其中存在指代關系的正例為11 831 條,不存在指代關系的負例為32 740 條.

    4.2 超參數

    本文使用3 種注意力機制結合語境特征完成實驗.實驗中注意力特征向量經CNN 提取更高層次語義特征,詞序列輸入IndRNN 獲取語境特征,再由Softmax分類器得到最終分類結果.實驗結果顯示,在表4 所示參數設置時,分類效果最佳.本文采用隨機初始化參數并使用梯度下降最小化目標函數[24].另外,應用Dropout 在CNN 和IndRNN 的輸出層以減少模型參數,加速模型訓練和防止過擬合[25].

    表4 實驗參數設置Table 4 Hyper parameters of experiment

    4.3 評測指標

    為了衡量指代消解結果的質量,本文選用準確率(P)、召回率(R)、F 值(F)三種重要指標評測指代消解實驗結果,準確率為正確消解的個數與實際消解個數的比率,反應模型的準確程度,召回率是正確消解的對象數與應消解對象數的比率,反應模型的完備性,F 值是準確率和召回率的調和平均值,計算方式為F=2×P ×R/(P+R).

    4.4 實驗結果與分析

    為了驗證CMAIR 模型的有效性,本文將模型實驗結果與以往學者的研究結果做比較.實驗結果如表5 所示,從表中可以看出,本文提出的CMAIR模型取得了最好的分類效果(F 值為86.86%),其中相比于田生偉等實驗結果,F 值提高10%,相比于李冬白等的實驗結果F 值提高3.61%,說明該方法能有效提高維吾爾語人稱代詞指代消解性能,證明了CMAIR 模型的有效性.

    表5 與以往研究對比(%)Table 5 Compared with previous studies (%)

    為了研究和對比指代消解在不同模型和CMAIR 在不同情況下的性能,提出如下3 種對比實驗:1)3 種注意力機制的有效性;2)詞向量和詞性向量維度對CMAIR 性能影響;3)hand-crafted特征與語境特征對CMAIR 性能影響.

    將本文提出的3 種注意力機制使用以下模型在相同的數據集上進行實驗:

    1)CNN:基本的卷積神經網絡結構,輸入為hand-crafted 特征;

    2)ATT-CNN-1:單注意力的卷積神經網絡結構,將詞向量注意力特征矩陣與hand-crafted 特征作為模型輸入,形成單注意力機制;

    3)ATT-CNN-2:兩種注意力的卷積神經網絡結構,輸入為詞向量注意力特征矩陣、詞性注意力特征矩陣和hand-crafted 特征;

    4)ATT-CNN-3:多注意力機制的卷積神經網絡模型,輸入為3 種注意力特征矩陣與hand-crafted特征;

    本文將提出的4 組實驗在維吾爾語數據集上進行對比,分析維吾爾語人稱代詞指代消解性能.表6給出4 組實驗在不同模型下的實驗結果.

    從表6 結果可以看出,本文提出的3 種注意力機制在維吾爾語數據集上實驗都取得了不錯的分類結果.其中ATT-CNN-3 在維吾爾語人稱代詞指代消解任務中性能達到最優(yōu).分析結果可知,加入詞向量注意力機制的ATT-CNN-1 比只加入handcrafted 特征的CNN 模型F 值提升3.97%,這說明普通的CNN 沒有針對待消解對提取更多的特征信息,所以無法準確識別照應語和候選先行語指代關系.證明了詞向量注意力特征矩陣含有豐富的語義信息,可以準確表達上下文關系,在模型訓練過程中突出待消解對詞語重要性,從而提高指代消解性能.

    表6 不同模型消解性能對比(%)Table 6 Comparison of different model anaphora resolution performance (%)

    加入詞向量、詞性注意力機制的ATT-CNN-2相比于單注意力機制的ATT-CNN-1 模型F 值提高1.77%,這說明加入詞性注意力特征能在模型訓練過程中高度關注照應語和候選先行語詞和詞性關聯(lián)信息,彌補了僅依賴文本內容信息的不足,從而提高指代消解性能,這也說明了詞性注意力機制在維吾爾語人稱代詞指代消解的有效性.

    對比ATT-CNN-3 和其他三種模型實驗結果可以看出,加入3 種注意力機制的ATT-CNN-3 模型的三類評測指標都達到最優(yōu),相比于CNN、ATT-CNN-1 和ATT-CNN-2,其F 值分別提高6.46%、2.49% 和0.72%,說明加入多注意力機制的模型能從不同層面關注待消解對信息,從而能更好地識別指代關系,驗證了多注意力機制在維吾爾語人稱代詞指代消解任務中的有效性.

    為了進一步對比本文提出的CMAIR 模型在維吾爾語人稱代詞指代消解任務中的分類效果,訓練不同維度詞向量分析詞向量維度對分類結果影響.分別使用10 維、50 維、100 維、150 維和200 維訓練生成詞向量矩陣和詞性向量矩陣,實驗結果如圖5所示.

    使用不同維度詞向量和詞性向量構造三種注意力特征并在CMAIR 模型進行5 倍交叉驗證實驗,從圖5 結果可以看出,在向量維度為0 時,即模型中不使用注意力機制,其F 值最低,加入10 維向量后分類效果有小幅度提升,可以看出低維度向量不能充分表達文本語義信息,使模型在訓練過程中沒有學習待消解對高維特征.在加入50 維向量構建注意力特征作為模型輸入時,模型性能有大幅度提升,可以說明高維向量可以表達文本深層次語義信息,提高模型學習能力.當向量維度在50 到150 時,模型F 值仍有提升,但提升效果不是很顯著,并在150 維時達到最優(yōu).當向量維度達到200 維時,分類效果有所下降,這說明當向量維度達到一定閾值時,會產生不能充分表達待消解對信息和過擬合現象,導致分類結果產生波動.合理的選用向量維度對分類結果有重要的影響,所以本文選取150 維作為詞向量和詞性向量的維度.

    圖5 不同維度詞向量分類F-score 比較Fig.5 Comparison of different dimension word vector classification F-score

    hand-crafted 作為指代消解分類重要信息,對分類結果起著重要作用,本文在以往研究的基礎上添加了語境特征,為了探究hand-crafted 和語境特征的有效性,分別移除hand-crafted 和語境特征實驗,實驗結果如表7 所示,從表中可以看出,去除hand-crafted,僅包含注意力特征和語境特征的情況下(Vattention+Vcontext)其F 值相比于CMAIR 模型降低了5.55%,本文選用的hand-crafted 是結合維吾爾語語言現象和語法特征提出的反應待消解對在規(guī)則和知識方面的表示與聯(lián)系.

    表7 不同特征類型對指代消解性能影響(%)Table 7 The effect of different feature types on the anaphora resolution (%)

    分析實驗結果可知,去除hand-crafted 的指代消解性能明顯下降,證明了hand-crafted 的引入對提高指代消解性能起著關鍵作用.分析表7 中去除語境特征的實驗結果Vhand-crafted+Vattention可以看出相比于去除hand-crafted 的實驗F 值提升了2.09%,這是由于相比于hand-crafted 特征,語境特征含有豐富的上下文語境信息,能在模型訓練過程中學習詞序關系和詞依賴關系,是句子連續(xù)分布式向量表示,另外,IndRNN 可以保留長期記憶,處理長序列,對模型性能提升有關鍵性作用.相比于CMAIR 實驗結果,去除語境特征的F 值降低3.46%,這說明多注意力機制雖能從不同層面關注文本特征,但缺少文本連續(xù)性的表述,輸入詞序列的連續(xù)性和依賴性也對模型性能的提升有較大的作用.本文通過引入hand-crafted 信息充分體現了維吾爾語語言和語法特征,語境特征的引入能關注句子級的特征信息,確認了待消解對中照應語和候選先行語的聯(lián)系,從而取得了更好的分類效果.

    5 結束語

    在維吾爾語人稱代詞指代消解任務中,如今大部分的研究都是結合hand-crafted 和深度學習的方式進行,這種方式僅依賴原始輸入特征,不能突出每個詞在句中的重要程度和關注詞語多層面特征.本文基于注意力機制和語境特征的研究,提出一種多注意力機制的維吾爾語人稱代詞指代消解方法,該模型結合3 種注意力機制,從待消解對中候選先行語和照應語不同層面分析語義信息.同時,提出一種距離識別算法,能有效識別待消解對距離,使模型能充分學習距離信息.此外,本文在以往的研究基礎上加入語境特征,用于輸入詞序列并學習句中每一個詞的詞序關聯(lián)和依賴關系.實驗結果表明,加入多注意力機制和語境特征的CMAIR 模型能顯著提升維吾爾語人稱代詞指代消解性能.

    致謝

    感謝王縣縣、王歡歡、牛苗、祁青山等同學在本文提供幫忙和支持,在此謹向他們致以誠摯的謝意.

    猜你喜歡
    維吾爾語指代代詞
    Let’s Save Food To Fight Hunger
    復合不定代詞點撥
    奧卡姆和布列丹對指代劃分的比較
    科學咨詢(2022年19期)2022-11-24 04:23:25
    代詞(一)
    代詞(二)
    這樣將代詞考分收入囊中
    統(tǒng)計與規(guī)則相結合的維吾爾語人名識別方法
    自動化學報(2017年4期)2017-06-15 20:28:55
    維吾爾語話題的韻律表現
    維吾爾語詞重音的形式判斷
    語言與翻譯(2015年4期)2015-07-18 11:07:45
    “不一而足”話討論
    一区在线观看完整版| 两性夫妻黄色片| 成人亚洲精品一区在线观看| 亚洲精品美女久久久久99蜜臀 | 成人毛片a级毛片在线播放| 少妇被粗大的猛进出69影院| 久久精品国产亚洲av涩爱| av视频免费观看在线观看| 久久亚洲国产成人精品v| 国产av一区二区精品久久| 国产xxxxx性猛交| 久久久a久久爽久久v久久| 伦精品一区二区三区| 亚洲av欧美aⅴ国产| 美女国产视频在线观看| 亚洲国产欧美网| 婷婷色av中文字幕| 深夜精品福利| 亚洲美女黄色视频免费看| 亚洲欧洲日产国产| 国产黄色视频一区二区在线观看| 久久久欧美国产精品| 国产成人精品久久二区二区91 | 国产精品人妻久久久影院| 国产成人a∨麻豆精品| 另类精品久久| 十八禁网站网址无遮挡| 69精品国产乱码久久久| 日本爱情动作片www.在线观看| 一级黄片播放器| 国产免费又黄又爽又色| 国产精品 国内视频| 一级毛片 在线播放| 毛片一级片免费看久久久久| 亚洲国产精品国产精品| 波野结衣二区三区在线| 日韩一卡2卡3卡4卡2021年| 国产av国产精品国产| 建设人人有责人人尽责人人享有的| 国产又爽黄色视频| 满18在线观看网站| 亚洲综合色网址| 咕卡用的链子| 亚洲国产成人一精品久久久| 久久国产精品大桥未久av| 国产精品无大码| 欧美精品av麻豆av| 精品国产超薄肉色丝袜足j| 国产精品国产av在线观看| 纵有疾风起免费观看全集完整版| 欧美国产精品一级二级三级| 少妇熟女欧美另类| 久久精品国产亚洲av涩爱| 波多野结衣一区麻豆| 日韩成人av中文字幕在线观看| 日韩中文字幕欧美一区二区 | 国产野战对白在线观看| 欧美xxⅹ黑人| 日韩av免费高清视频| 夜夜骑夜夜射夜夜干| 久久精品国产鲁丝片午夜精品| 亚洲中文av在线| 成人黄色视频免费在线看| 日本wwww免费看| 国产97色在线日韩免费| 交换朋友夫妻互换小说| 精品福利永久在线观看| 日韩av免费高清视频| www日本在线高清视频| 精品人妻一区二区三区麻豆| 黄频高清免费视频| 国产亚洲欧美精品永久| 99久国产av精品国产电影| 久久久国产欧美日韩av| 交换朋友夫妻互换小说| 免费av中文字幕在线| 在线 av 中文字幕| 一区福利在线观看| 久久99精品国语久久久| av在线播放精品| 韩国高清视频一区二区三区| 十八禁网站网址无遮挡| 久久久精品国产亚洲av高清涩受| 一本久久精品| 巨乳人妻的诱惑在线观看| videosex国产| 日本vs欧美在线观看视频| 亚洲成人手机| 欧美在线黄色| 欧美亚洲 丝袜 人妻 在线| √禁漫天堂资源中文www| 在线 av 中文字幕| 国产av一区二区精品久久| 欧美精品一区二区大全| 中文字幕最新亚洲高清| 韩国高清视频一区二区三区| 国产在线免费精品| 国产成人91sexporn| 丰满少妇做爰视频| 欧美97在线视频| 天天操日日干夜夜撸| 日韩中文字幕视频在线看片| 久久精品夜色国产| 成年人免费黄色播放视频| 精品国产乱码久久久久久小说| 免费观看无遮挡的男女| tube8黄色片| 久久精品国产亚洲av高清一级| 在线观看三级黄色| 青春草国产在线视频| 欧美老熟妇乱子伦牲交| 精品一区二区三区四区五区乱码 | 菩萨蛮人人尽说江南好唐韦庄| 亚洲国产最新在线播放| 日韩一区二区视频免费看| 麻豆av在线久日| 男女国产视频网站| 久热久热在线精品观看| 女人久久www免费人成看片| 亚洲欧美成人综合另类久久久| 色播在线永久视频| 亚洲三级黄色毛片| 波多野结衣一区麻豆| 久久97久久精品| 99久久人妻综合| 精品国产一区二区三区久久久樱花| 中文字幕人妻熟女乱码| 春色校园在线视频观看| 宅男免费午夜| 亚洲欧洲国产日韩| 亚洲欧美精品综合一区二区三区 | 亚洲精品国产一区二区精华液| 久久久久精品性色| 中文字幕人妻丝袜一区二区 | 一区二区三区四区激情视频| 国产亚洲精品第一综合不卡| 久久免费观看电影| 久久久久人妻精品一区果冻| 纯流量卡能插随身wifi吗| 美女高潮到喷水免费观看| 亚洲欧洲国产日韩| 久久久久精品性色| 国产探花极品一区二区| 中文字幕色久视频| 黄色视频在线播放观看不卡| 在线精品无人区一区二区三| 亚洲av.av天堂| 春色校园在线视频观看| 欧美+日韩+精品| 26uuu在线亚洲综合色| 大片免费播放器 马上看| 国产亚洲av片在线观看秒播厂| 欧美日韩一区二区视频在线观看视频在线| 免费av中文字幕在线| 亚洲精品在线美女| 精品国产露脸久久av麻豆| 777米奇影视久久| 国产精品99久久99久久久不卡 | freevideosex欧美| 毛片一级片免费看久久久久| 亚洲人成网站在线观看播放| 一区二区av电影网| 久久久久国产精品人妻一区二区| 一区二区三区乱码不卡18| 丝袜喷水一区| 亚洲av欧美aⅴ国产| 精品一区在线观看国产| 女人被躁到高潮嗷嗷叫费观| 精品国产乱码久久久久久男人| 大片电影免费在线观看免费| 韩国高清视频一区二区三区| 成年美女黄网站色视频大全免费| 免费观看a级毛片全部| av一本久久久久| 2021少妇久久久久久久久久久| 18禁动态无遮挡网站| 亚洲精品久久成人aⅴ小说| 中文字幕另类日韩欧美亚洲嫩草| 免费播放大片免费观看视频在线观看| 亚洲精品久久午夜乱码| 侵犯人妻中文字幕一二三四区| 伊人久久国产一区二区| 久久久国产欧美日韩av| 国产熟女欧美一区二区| 午夜久久久在线观看| 国产亚洲一区二区精品| 久久久久久久久久人人人人人人| 精品一区在线观看国产| 伊人久久国产一区二区| 2022亚洲国产成人精品| 亚洲成人手机| 久久毛片免费看一区二区三区| 欧美日韩视频精品一区| 国产老妇伦熟女老妇高清| kizo精华| 少妇被粗大猛烈的视频| 女性被躁到高潮视频| 免费在线观看完整版高清| 又大又黄又爽视频免费| 日日爽夜夜爽网站| 亚洲欧美中文字幕日韩二区| 少妇人妻精品综合一区二区| 欧美精品高潮呻吟av久久| 国产男女超爽视频在线观看| 日韩大片免费观看网站| 亚洲成人一二三区av| 精品国产一区二区三区久久久樱花| 午夜久久久在线观看| 如何舔出高潮| 亚洲欧美精品自产自拍| 一二三四中文在线观看免费高清| 丝袜喷水一区| 欧美bdsm另类| 久久久久精品性色| 看十八女毛片水多多多| 青春草亚洲视频在线观看| 久久精品国产亚洲av天美| 欧美精品一区二区大全| 国产av国产精品国产| 国产免费又黄又爽又色| 一区二区av电影网| 日韩一区二区三区影片| 欧美xxⅹ黑人| 啦啦啦在线免费观看视频4| 国产又爽黄色视频| 波多野结衣一区麻豆| 亚洲精品国产av成人精品| 午夜免费男女啪啪视频观看| 又大又黄又爽视频免费| 秋霞在线观看毛片| 在线天堂最新版资源| 夫妻午夜视频| 精品人妻一区二区三区麻豆| 制服诱惑二区| a 毛片基地| 久久精品国产亚洲av涩爱| 最近最新中文字幕免费大全7| 国产精品免费视频内射| 人体艺术视频欧美日本| 激情五月婷婷亚洲| 国产精品麻豆人妻色哟哟久久| 亚洲精品久久久久久婷婷小说| 午夜日韩欧美国产| 亚洲人成网站在线观看播放| 亚洲精品乱久久久久久| 久久久久久人妻| 精品人妻偷拍中文字幕| 亚洲婷婷狠狠爱综合网| 深夜精品福利| 各种免费的搞黄视频| 欧美日韩av久久| 国产在线免费精品| 青春草亚洲视频在线观看| 97在线人人人人妻| 青草久久国产| av女优亚洲男人天堂| 看免费成人av毛片| 制服人妻中文乱码| 免费少妇av软件| 久久99蜜桃精品久久| av电影中文网址| 国产午夜精品一二区理论片| 中国三级夫妇交换| 三上悠亚av全集在线观看| 男女下面插进去视频免费观看| 亚洲精品av麻豆狂野| 午夜福利乱码中文字幕| 可以免费在线观看a视频的电影网站 | 午夜免费男女啪啪视频观看| 久久这里只有精品19| 国产黄色视频一区二区在线观看| 你懂的网址亚洲精品在线观看| 日韩成人av中文字幕在线观看| 国产精品香港三级国产av潘金莲 | 欧美精品一区二区免费开放| 久久久久国产精品人妻一区二区| 精品国产露脸久久av麻豆| 欧美日韩视频高清一区二区三区二| 久久久久久久亚洲中文字幕| 成人国产麻豆网| 国产精品国产三级国产专区5o| 美女脱内裤让男人舔精品视频| 天美传媒精品一区二区| 尾随美女入室| 日韩精品有码人妻一区| 国产精品久久久久久av不卡| 最近的中文字幕免费完整| 久久精品国产综合久久久| 纯流量卡能插随身wifi吗| 大话2 男鬼变身卡| 国产成人精品婷婷| 欧美日韩av久久| 久久久久精品人妻al黑| 久久久精品国产亚洲av高清涩受| 欧美日韩国产mv在线观看视频| 午夜福利视频在线观看免费| 叶爱在线成人免费视频播放| 午夜激情久久久久久久| 嫩草影院入口| 人妻 亚洲 视频| 最新中文字幕久久久久| 在线 av 中文字幕| 深夜精品福利| 亚洲成国产人片在线观看| 狂野欧美激情性bbbbbb| 国产在线视频一区二区| 成人国语在线视频| 久久久久久免费高清国产稀缺| 免费高清在线观看日韩| 久久人人爽av亚洲精品天堂| 狠狠精品人妻久久久久久综合| av免费观看日本| 中文字幕av电影在线播放| 欧美精品高潮呻吟av久久| 在线观看免费日韩欧美大片| av国产久精品久网站免费入址| 精品人妻在线不人妻| 最新中文字幕久久久久| 丝袜脚勾引网站| 在线天堂中文资源库| 国产男人的电影天堂91| 啦啦啦啦在线视频资源| 熟女电影av网| 亚洲国产精品一区三区| 日日啪夜夜爽| 日韩av在线免费看完整版不卡| 看免费av毛片| 如何舔出高潮| 精品国产乱码久久久久久男人| 国产人伦9x9x在线观看 | 精品国产乱码久久久久久男人| 国产精品免费大片| 一区二区三区激情视频| 大香蕉久久网| 中文精品一卡2卡3卡4更新| 建设人人有责人人尽责人人享有的| 亚洲成色77777| 久久久久国产一级毛片高清牌| av电影中文网址| 天天躁狠狠躁夜夜躁狠狠躁| 中文天堂在线官网| 国产亚洲最大av| 热re99久久精品国产66热6| 亚洲av电影在线进入| 久久久久视频综合| 国产黄色视频一区二区在线观看| 国产伦理片在线播放av一区| 看非洲黑人一级黄片| 一级毛片我不卡| 一区二区日韩欧美中文字幕| 青草久久国产| 少妇猛男粗大的猛烈进出视频| 亚洲欧美色中文字幕在线| 丝袜人妻中文字幕| 午夜福利视频精品| 香蕉精品网在线| 久久久久国产精品人妻一区二区| 蜜桃在线观看..| 亚洲精品,欧美精品| 中文字幕av电影在线播放| 极品少妇高潮喷水抽搐| 精品福利永久在线观看| av天堂久久9| 黑人巨大精品欧美一区二区蜜桃| 在线天堂最新版资源| 久久久精品94久久精品| 女的被弄到高潮叫床怎么办| 大话2 男鬼变身卡| 亚洲国产精品一区三区| 久久久久久久国产电影| 国产成人精品久久久久久| 久久ye,这里只有精品| 纯流量卡能插随身wifi吗| 高清黄色对白视频在线免费看| 人人澡人人妻人| 成年动漫av网址| 婷婷色综合大香蕉| 秋霞在线观看毛片| 国产黄色免费在线视频| 欧美成人午夜精品| 免费人妻精品一区二区三区视频| 麻豆精品久久久久久蜜桃| 男的添女的下面高潮视频| 国产精品久久久久成人av| 亚洲经典国产精华液单| 国产精品久久久久久av不卡| 久久女婷五月综合色啪小说| 99久久综合免费| 国产白丝娇喘喷水9色精品| 久久精品久久精品一区二区三区| 久久久久精品人妻al黑| 国产av国产精品国产| 久久精品国产亚洲av涩爱| 日本av手机在线免费观看| 深夜精品福利| 亚洲色图综合在线观看| 国产伦理片在线播放av一区| 国产成人av激情在线播放| 少妇被粗大的猛进出69影院| 成人影院久久| 国产伦理片在线播放av一区| 国产综合精华液| 久久亚洲国产成人精品v| 成人漫画全彩无遮挡| 人妻一区二区av| 美女xxoo啪啪120秒动态图| 欧美黄色片欧美黄色片| 亚洲av电影在线观看一区二区三区| 日韩在线高清观看一区二区三区| 日韩成人av中文字幕在线观看| 精品人妻熟女毛片av久久网站| 亚洲 欧美一区二区三区| 日本黄色日本黄色录像| 一二三四中文在线观看免费高清| 免费高清在线观看日韩| 五月天丁香电影| 纵有疾风起免费观看全集完整版| 侵犯人妻中文字幕一二三四区| 亚洲精品久久久久久婷婷小说| 免费看av在线观看网站| 又大又黄又爽视频免费| 精品亚洲成国产av| 亚洲内射少妇av| 另类亚洲欧美激情| 在线观看美女被高潮喷水网站| 国产在线视频一区二区| 精品卡一卡二卡四卡免费| 老司机影院毛片| 日本欧美国产在线视频| 国产女主播在线喷水免费视频网站| 午夜激情av网站| 成人毛片a级毛片在线播放| 久久久久国产精品人妻一区二区| 成人黄色视频免费在线看| 国产欧美日韩一区二区三区在线| 亚洲成人一二三区av| 婷婷色综合大香蕉| 97在线人人人人妻| 有码 亚洲区| 国产成人午夜福利电影在线观看| 黄色怎么调成土黄色| 女性生殖器流出的白浆| 国产在视频线精品| 欧美精品人与动牲交sv欧美| 国产亚洲一区二区精品| 人人妻人人澡人人看| 国产熟女午夜一区二区三区| 999精品在线视频| 国产熟女午夜一区二区三区| 99久久人妻综合| 在线观看三级黄色| 少妇的逼水好多| 国产综合精华液| 成人亚洲精品一区在线观看| 超碰成人久久| av在线观看视频网站免费| 婷婷成人精品国产| 极品人妻少妇av视频| 亚洲欧美色中文字幕在线| 丰满乱子伦码专区| 在线精品无人区一区二区三| 丝袜美足系列| 永久网站在线| 国产亚洲一区二区精品| 视频区图区小说| 波多野结衣av一区二区av| 国产激情久久老熟女| 蜜桃在线观看..| 久久99热这里只频精品6学生| 成人亚洲欧美一区二区av| 在现免费观看毛片| 国产极品天堂在线| 精品99又大又爽又粗少妇毛片| 日本vs欧美在线观看视频| 国产精品香港三级国产av潘金莲 | 国产精品成人在线| 久久精品国产亚洲av天美| 久久久久视频综合| 亚洲精华国产精华液的使用体验| 久久青草综合色| 亚洲中文av在线| 观看美女的网站| 久久久久国产网址| 夜夜骑夜夜射夜夜干| 亚洲av欧美aⅴ国产| 国产精品一二三区在线看| 最新中文字幕久久久久| 亚洲第一av免费看| 成人18禁高潮啪啪吃奶动态图| 成年人免费黄色播放视频| 午夜老司机福利剧场| 人成视频在线观看免费观看| 999精品在线视频| 菩萨蛮人人尽说江南好唐韦庄| 美女午夜性视频免费| 精品一区在线观看国产| av有码第一页| 下体分泌物呈黄色| 成人黄色视频免费在线看| 新久久久久国产一级毛片| 国产精品免费大片| 久久久久国产网址| 日本欧美国产在线视频| 亚洲精品,欧美精品| 丝瓜视频免费看黄片| 高清av免费在线| 午夜福利,免费看| 大片免费播放器 马上看| 午夜福利网站1000一区二区三区| 成人二区视频| 久久久久国产一级毛片高清牌| 蜜桃在线观看..| 卡戴珊不雅视频在线播放| 成年美女黄网站色视频大全免费| 三级国产精品片| 国产一区二区在线观看av| 国产淫语在线视频| 日韩成人av中文字幕在线观看| 国产高清不卡午夜福利| 最近的中文字幕免费完整| 日韩不卡一区二区三区视频在线| 精品国产一区二区三区四区第35| 黑人欧美特级aaaaaa片| 成人亚洲精品一区在线观看| 一二三四在线观看免费中文在| 99香蕉大伊视频| 一级爰片在线观看| 我的亚洲天堂| 狠狠婷婷综合久久久久久88av| 一级a爱视频在线免费观看| 欧美日韩一级在线毛片| 久久婷婷青草| 啦啦啦在线免费观看视频4| 中文字幕另类日韩欧美亚洲嫩草| 99热全是精品| 成人国产av品久久久| 午夜福利在线免费观看网站| 国产精品99久久99久久久不卡 | 观看av在线不卡| 蜜桃国产av成人99| 日韩av不卡免费在线播放| 777久久人妻少妇嫩草av网站| 男女免费视频国产| 夜夜骑夜夜射夜夜干| 中文字幕另类日韩欧美亚洲嫩草| 最近手机中文字幕大全| 精品国产露脸久久av麻豆| 一区二区三区乱码不卡18| 国产男女超爽视频在线观看| 性色avwww在线观看| 日本免费在线观看一区| www日本在线高清视频| 满18在线观看网站| 国产片特级美女逼逼视频| 满18在线观看网站| 水蜜桃什么品种好| 老鸭窝网址在线观看| www日本在线高清视频| 国产成人精品久久久久久| av不卡在线播放| 国产成人精品久久久久久| 免费日韩欧美在线观看| 亚洲一码二码三码区别大吗| www日本在线高清视频| 亚洲欧美一区二区三区黑人 | 满18在线观看网站| 欧美成人精品欧美一级黄| 国产精品人妻久久久影院| 91精品三级在线观看| 最近手机中文字幕大全| 在线观看免费日韩欧美大片| 久久久国产欧美日韩av| 我的亚洲天堂| 亚洲一码二码三码区别大吗| 晚上一个人看的免费电影| 又粗又硬又长又爽又黄的视频| 91精品三级在线观看| 亚洲欧美清纯卡通| 大香蕉久久成人网| 日本91视频免费播放| 国产精品女同一区二区软件| 欧美激情高清一区二区三区 | 尾随美女入室| 免费在线观看视频国产中文字幕亚洲 | 精品一区二区三区四区五区乱码 | 人人妻人人添人人爽欧美一区卜| 90打野战视频偷拍视频| 国产片特级美女逼逼视频| 一区二区av电影网| 国产毛片在线视频| 亚洲国产精品成人久久小说| 亚洲伊人久久精品综合| 亚洲成av片中文字幕在线观看 | 欧美激情高清一区二区三区 | 亚洲成色77777| 建设人人有责人人尽责人人享有的| 精品午夜福利在线看| 久久久久久久久久久免费av| 建设人人有责人人尽责人人享有的| 亚洲综合色网址| 亚洲人成77777在线视频| 亚洲av综合色区一区| 有码 亚洲区| 香蕉丝袜av| 999久久久国产精品视频| 中文字幕最新亚洲高清| 久久精品国产亚洲av高清一级| 丝瓜视频免费看黄片| 在线观看美女被高潮喷水网站| 久久久久久久久久久久大奶| 国产亚洲精品第一综合不卡| 久久97久久精品| 欧美日韩成人在线一区二区| 日韩视频在线欧美| 亚洲欧美一区二区三区久久|