• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于動態(tài)多頭注意力機制的藏文語言模型

    2023-12-20 02:34:12英,擁,于
    計算機工程與設計 2023年12期
    關鍵詞:頭數(shù)藏文注意力

    張 英,擁 措+,于 韜

    (1.西藏大學 信息科學技術學院,西藏 拉薩 850000;2.西藏大學 藏文信息技術教育部工程研究中心, 西藏 拉薩 850000;3.西藏大學 西藏自治區(qū)藏文信息技術人工智能重點實驗室,西藏 拉薩 850000)

    0 引 言

    目前,注意力機制在預訓練模型如BERT[1]、RoBERTa[2]、ALBERT[3]中得到了廣泛的應用。相關研究表明,多頭注意力中并不是每個頭都發(fā)揮著重要作用,大多數(shù)注意力頭實際上是冗余的[4];為了減少冗余注意力的影響,研究者提出了“disentangled”[5]掩碼注意力機制和自適應注意力機制[6]等概念。由上述研究可知語言模型固定注意力機制的頭數(shù)并不是最優(yōu)選擇,在模型訓練過程中,不同詞數(shù)的句子均由相同頭數(shù)的注意力機制進行特征學習,可能會造成注意力頭的冗余。

    為了減少冗余頭數(shù)造成的干擾,例如在包含特征相對較少的短句中,可能不需要關注罕見詞或某些復合關系等不常見的特征,從而導致多余的頭對特征向量造成一定的噪聲。因此本文提出了在訓練過程中根據(jù)長短句動態(tài)選擇注意力機制頭數(shù)的方法。另外,目前國內(nèi)對藏文預訓練模型的研究較少,所以本文在藏文數(shù)據(jù)上進行探究。綜上所述,本文共提出以下方案:①研究動態(tài)多頭注意力機制的有效性,并揭示了將其融入預訓練模型可以有益于文本分類任務;②在ALBERT模型的注意力層進行改進,并提升了該模型的效果;③本文構建的模型可以較好地表示藏文語義關系,實驗結果表明,在公開數(shù)據(jù)集TNCC分類任務上F1值均獲得了2%以上的提升。

    1 相關工作

    自以多頭注意力為核心創(chuàng)新的transformer模型被提出以來,已成為一大研究熱點[7]。Paul Michel等提出部分注意力頭較冗余的看法;E Voita等[8]為了優(yōu)化Bert模型設計混合向量提取注意力頭捕捉的通用信息;隨后,Clark K等[9]針對BERT注意力機制進行分析,發(fā)現(xiàn)注意力機制除了關注直接賓語、介詞關系等,還大量集中于分隔符、標點符號。為了增強序列學習表示,Chien等提出了一種新的“disentangled”掩碼注意力機制,以減少冗余特征。上述研究表明,注意力機制頭數(shù)的固定,可能會造成注意力頭的冗余或過度注意。

    注意力機制通常用于預訓練模型。OpenAI提出了GPT[10]模型,以學習文本的長距離依賴。隨后,Devlin等提出BERT模型,在不同自然語言處理任務上達到了最好效果。OpenAI提出了在BERT基礎上進行精細調(diào)參的RoBERTa模型。同年,Zhenzhong Lan等提出用兩種策略提高模型訓練速度的ALBERT模型,該文結果表明注意力層的參數(shù)共享策略對模型效果影響小,因此本文將在參數(shù)量較小的ALBERT模型的自注意力層上進行改進,以提升該模型的效果。

    上文介紹的模型大多應用在中英文上,對于語料稀少的藏文而言預訓練模型較少。Ziqing Yang等提出了面向少數(shù)民族語言的多語言模型CINO[11]。為了促進藏文自然語言處理任務的發(fā)展,Yuan Sun等提出使用藏文語料進行訓練的TiBERT[12]模型。除此之外,Hanru Shi等構建了包含5種語言的MiLMo[13]模型。同年,于韜等[14]提出用于關系抽取任務的藏文ALBERT模型。另外,安波等[15]訓練藏文BERT模型并在標題分類任務上進行實驗。上述皆是對藏文預訓練模型的應用研究,因此本文將對語言模型進行改進,以增強藏文下游任務性能。

    2 方法與模型

    2.1 動態(tài)多頭注意力機制方法

    自注意力機制是指通過運算獲得句子在編碼過程中每個位置的注意力權重,再計算整個句子的隱含向量[16]。同時,為了避免模型對當前位置信息進行編碼時,過度集中于自身從而提出了多頭注意力機制。與使用單獨的注意力池化不同,多頭注意力機制使用序列不同位置的子空間表征信息進行數(shù)據(jù)處理,然后并行地進行注意力池化,再將多個注意力池化的輸出拼接,以構建最終輸出[17]。

    在以往的模型預訓練過程中,多頭注意力機制的頭數(shù)h往往是固定的,但這樣會存在一定的弊端,例如當h較大時,對于特征數(shù)量較少的句子會學習到更多不重要的特征,即在信息組合時會有一定的噪聲;當h較小時,對于特征數(shù)量較多的句子,不能全面學習句子的含義。但在實際訓練過程中,長短句所需要關注的信息數(shù)量并不同,如表1所示,長句共有56個藏文音節(jié),包含的特征信息較多,需要更多頭數(shù)的注意力機制關注句子中詞與詞之間的關系,如較為明顯的時間、數(shù)詞、處所等關系信息;而短句僅有11個藏文音節(jié),包含的特征相對較少,相對長句來說較為明顯的僅有處所關系,因此當長短句共用一個注意力機制頭數(shù)時,多余的頭可能會關注標點符號等包含信息量較少的特征,對特征向量的提取過程會造成一定的干擾。因此本文針對不同詞數(shù)的句子均由相同頭數(shù)的注意力機制進行特征學習這一情況,提出根據(jù)句子的特征數(shù)量選擇注意力機制的頭數(shù),即在訓練過程中根據(jù)句子長度動態(tài)確定注意力機制頭數(shù)。

    表1 藏文長短句示例

    其動態(tài)多頭注意力機制具體公式如下所示,式(1)中headi表示第i個頭數(shù)對應的注意力機制運算后的結果[18],式(2)中DMA(Q、K、V) 表示將多個注意力機制head1,…,headh進行拼接再乘以矩陣Wh的結果,其中Wh為多頭注意力的權重,下標h的取值根據(jù)len_token決定,如式(3)所示

    (1)

    DMA(Q,K,V)=Concat(head1,…,headh)Wh

    (2)

    iflen_token>mh=hlelseh=hs

    (3)

    圖1為動態(tài)多頭注意力機制的架構。首先將輸入句子的詞向量轉化為3個矩陣(Q、K、V),再判斷句子的詞數(shù)(len_token)是否大于臨界值m,若小于m,則動態(tài)多頭注意力機制取較小的頭數(shù),再根據(jù)頭數(shù)構建hs層線性投影,然后將Q、K、V輸入至左側的路線left route進行學習,并通過hs層線性投影獲得特征向量矩陣,最后進行拼接與映射獲得輸出結果;反之,動態(tài)多頭注意力機制取較大的頭數(shù),除線性投影層數(shù)hl與路線right route之外,其余操作同理。

    圖1 動態(tài)多頭注意力機制架構

    2.2 基于動態(tài)多頭注意力機制的語言模型

    為解決BERT模型參數(shù)量過大、訓練時間過長的問題,ALBERT語言模型于2019年問世,該模型的結構和BERT相似且參數(shù)量更小,本文將上述提出的動態(tài)多頭注意力機制應用于ALBERT的注意力模塊,構建了基于動態(tài)多頭注意力機制的語言模型(dynamic multi-head attention albert,DMA_ALBERT)。為了驗證改進后的模型的有效性,本文使用4.5 GB藏文通用領域數(shù)據(jù)分別訓練注意力層改進前后的模型。將動態(tài)注意力機制應用在語言模型中,動態(tài)傳遞注意力機制的頭數(shù),既可以獲得該句子的重要信息,學習句子上下文相關的雙向語義特征表示,又可以減少不重要的特征對信息整合過程的干擾。

    由于預訓練模型結構較為復雜,且訓練數(shù)據(jù)量較大,因此動態(tài)多頭注意力機制的頭數(shù)選擇方式由每句的總詞數(shù)改進為每批次(batch)的總詞數(shù)。即在藏文DMA_ALBERT模型的實際訓練過程中,動態(tài)多頭注意力機制的頭數(shù)根據(jù)一個batch的總詞數(shù)獲得,當總詞數(shù)大于m與batch的乘積(m×batch)時,該批次的注意力機制頭數(shù)h取hl;反之,h取hs,如式(4)所示,其中token_Ci表示在當前批次中第i個句子的token個數(shù)

    (4)

    3 實驗數(shù)據(jù)與評價指標

    3.1 ALBERT模型訓練數(shù)據(jù)及評價指標

    本文采用CCL2022跨語言文本分類任務提供的4.5 GB藏文語料作為語言模型的訓練數(shù)據(jù),語料主要來自維基百科、微信公眾號。同時,本文訓練SentencePiece[19]模型以構建藏文詞表及訓練語料。分詞粒度方面,選用unigram[20]對訓練語料進行子詞級分割,其原理為先初始化一個較大的詞表,再根據(jù)算法標準不斷地舍棄,直到詞表滿足預先給定的大小[21]。在藏文語言模型的訓練過程中,由于使用ALBERT預訓練模型作為實驗的基礎,因此參照ALBERT原文共選取了5個評價指標,分別是掩碼語言模型(MLM)任務的損失值(mask_loss)、預測遮掩單詞的精確度(mask_accuracy);句子順序預測(SOP)任務的損失值(sop_loss)、預測句子順序的精確度(sop_accuracy);以及MLM和SOP任務這兩部分的損失和相加所得到的總和(loss)。

    3.2 文本分類數(shù)據(jù)及評價指標

    由于本文使用TNCC測試語言模型的實際效果,使用精確率Precision、召回率Recall以及F1值作為文本分類任務的評價指標,具體公式如下所示

    (5)

    (6)

    (7)

    其中,首先需要計算每個類別的Precision、Recall、F1值,其中TPi表示類別i預測正確的數(shù)量;FPi表示將其它類別的樣本預測成類別i的數(shù)量;TPi+FPi表示測試集的所有文本預測成類別i的總數(shù)量;FNi表示將文本類別i預測成其它類別的數(shù)量;TPi+FNi表示真實的文本類別i的總數(shù)量。

    另外該數(shù)據(jù)集是在多類別通用領域上構建的,其樣本分布并不均勻,因此采用Weighted算法對上述指標進行計算,即需要根據(jù)每個類別占比的權重計算本次分類所有類別評價指標的具體值,如式(8)~式(10)所示,其中wi表示在測試集中文本類別i在總文本中的占比比例

    (8)

    (9)

    (10)

    4 實 驗

    4.1 實驗設置

    本文訓練tiny版本的藏文改進注意力機制前后的語言模型并進行效果對比,在訓練前需確定模型中注意力機制的頭數(shù)。其中隱藏層維度的值為384,而注意力機制的頭數(shù)需要被384整除,即可取值2、3、4、6、8等,考慮到語言模型結構的復雜性,本文選擇如表2所示的注意力機制頭數(shù)進行實驗,具體訓練參數(shù)見表3。

    表2 注意力機制頭數(shù)設定

    表3 預訓練模型主要參數(shù)

    由表2可知,本文共設計了10組語言模型對比實驗,分別是4組原始的語言模型以及6組應用動態(tài)多頭注意力機制的語言模型。實驗環(huán)境為搭配RTX3080Ti GPU的Ubuntu服務器,顯存為12 GB。

    為了更好地對比是否動態(tài)獲取注意力頭數(shù)語言模型的效果,本文將上述10個預訓練模型應用在文本分類任務上,包括長、短文本兩種分類任務,這兩個任務的句子長度分布情況如圖2所示。

    圖2 TNCC數(shù)據(jù)集句子長度分布

    由圖2(a)可知,長文本中各句子長度區(qū)間的分布較為均勻,綜合考慮訓練設備及預訓練模型的句子長度取值要求,該任務的pad_size取值為300;而圖2(b)中的短文本中99%的標題長度小于20,且最長不超過50,因此短文本任務的pad_size取值為50,下游實驗的主要參數(shù)見表4。

    表4 下游實驗部分主要參數(shù)

    4.2 實驗結果

    首先將本文訓練的10組語言模型應用于TNCC文本分類任務,并觀察模型在長、短文本分類任務上的效果;然后使用10組預訓練語言模型分別結合卷積神經(jīng)網(wǎng)絡(CNN)[22]進行文本分類的對比實驗。

    4.2.1 固定與動態(tài)頭數(shù)語言模型實驗對比結果

    TNCC數(shù)據(jù)集包含藏文長文本及短文本分類語料,將10組訓練好的藏文語言模型分別應用在長/短文本分類任務上,實驗結果見表5,‘/’前后分別為長文本分類結果和短文本分類結果。在長文本下游分類任務中,使用ALBERT模型時,head取8、16時F1值分別為73.29%、72.79%,而使用融入了動態(tài)多頭注意力機制思想的語言模型時,hs、hl取8、16時實驗F1值為75.34%,與前者相比F1值分別提升了2.05%、2.55%。該結果表明:在訓練過程中,語言模型動態(tài)獲取注意力機制頭數(shù)時效果更佳,同時改進語言模型中除hs=6、hl=8的其余4組實驗均能驗證動態(tài)多頭注意力機制的有效性。但當固定頭數(shù)取6或8時F1值為74.63%、73.29%,而hs、hl動態(tài)取6、8時F1值為73.67%,較頭數(shù)直接取6時F1值下降了0.96%,取8時提升了0.38%。該情況的主要原因是應用動態(tài)多頭注意力機制時,動態(tài)選擇的兩個頭數(shù)均較小且相差不大,因此無法較好地學習長、短句的語義特征,導致模型效果提升不明顯。

    在表5中的短文本分類結果表明,頭數(shù)取12時模型效果表現(xiàn)最好,其F1值為68.74%,而應用了動態(tài)多頭注意力機制思想的語言模型F1值最高為67.25%,較前者F1值低了1.49%,由此可見,動態(tài)多頭注意力機制在短文本分類上效果較為低迷,其原因為標題濃縮了一篇文章的主要內(nèi)容,且詞數(shù)不超過20的標題數(shù)量占比99%,標題中詞與詞之間的語義關系并不明確,即根據(jù)藏文長文本訓練的DMA_ALBERT模型,對標題的理解能力有限,對藏文標題分類任務的幫助較小。

    4.2.2 語言模型結合卷積神經(jīng)網(wǎng)絡對比實驗結果分析

    表6為固定與動態(tài)頭數(shù)的語言模型分別結合CNN模型在長/短文本分類任務上的實驗結果。長文本中,hs、hl動態(tài)取8、12時效果最好,其Weighted F1值為75.69%;在不使用動態(tài)多頭注意力機制的ALBERT模型中,head取8時效果最好,其Weighted F1值為74.80%。后者F1值降低了0.89%,該結果表明在進行長文本分類時,動態(tài)獲取其注意力機制的頭數(shù)效果優(yōu)于非動態(tài)方式。根本原因是動態(tài)多頭注意力機制可以更好地學習長、短句中的語義關系,而非動態(tài)方式由于固定了頭數(shù)的大小,直接制約了其對語義關系的學習能力,因此DMA_ALBERT模型構建的詞向量質量更高,再使用模型結構相對復雜的CNN網(wǎng)絡的卷積及池化操作可以較好地學習詞向量中的重要分類特征。與直接使用DMA_ALBERT模型相比,結合CNN模型時長文本分類效果更好,后者較前者F1值提升了0.35%。

    表6 預訓練模型結合卷積神經(jīng)網(wǎng)絡在長/短文本分類任務上的實驗結果

    由表6的短文本分類結果可知DMA_ALBERT與原始ALBERT在短文本分類任務上的效果相近,固定頭數(shù)取8時模型效果最好為68.67%;hs、hl動態(tài)取6、8時語言模型效果最為68.70%,兩者僅相差0.03%。該結果表明在結合CNN模型的短文本標題分類任務上,由于使用長文本訓練的語言模型對標題的學習能力有限,因此對模型結果影響甚微。

    為了更好地對比本章實驗結果,將上述結果使用折線圖進行可視化展示,如圖3所示。其中,h=6表示使用固定頭數(shù)為6的注意力機制;h=6,8表示動態(tài)使用頭數(shù)為6、8的注意力機制,即曲線前后段分別為原始語言模型的結果、結合動態(tài)多頭注意力機制的語言模型的結果,上、下兩條曲線分別為長文本分類、標題分類。

    由圖3可知,長文本分類任務中,兩條實驗結果曲線的后半段整體趨勢均高于前半段,表明動態(tài)獲取注意力機制的頭數(shù)效果更優(yōu)。在不結合CNN模型的短文本分類中,原始語言模型效果更好;而結合CNN模型后,曲線后半部分更穩(wěn)定,表明CNN網(wǎng)絡能較好地學習DMA_ALBERT所得到詞向量的重要分類特征。

    圖3 預訓練語言模型結果對比

    4.3 與其它模型的對比實驗結果分析

    為了驗證本文模型的有效性,將本文訓練的語言模型與現(xiàn)有模型效果進行對比分析,其中DMA_ALBERT模型各評價指標的具體值見表7。所對比的模型分別為:哈工大訊飛實驗室發(fā)布的CINO模型、藏文TiBERT模型、安波等提出的藏文BERTCNN模型,其評價指標皆采用Macro計算方式,因此采用Macro相關指標與前人的模型在TNCC文本分類任務上進行對比。其中長、短文本分類任務對比結果分別見表8、表9。

    由表8可知,DMA_ALBERT結合CNN模型效果最佳,hs、hl分別取8、12時模型F1值為73.23%,較CINO提升了4.63%;較TiBERT提升了2.29%;在表9中,DMA_ALBERT結合CNN時效果最佳,hs、hl分別取6、8時模型F1值為64.47%,較BertCNN提升了11.47%,較TiBert提升了2.75%。實驗結果再次說明了融入動態(tài)多頭注意力機制思想的語言模型的有效性。

    表7 hs、hl動態(tài)取8、12時語言模型評價指標

    表8 不同模型在長文本分類任務上的實驗結果對比

    表9 不同模型在短文本分類任務上的實驗結果對比

    5 結束語

    本文主要針對不同詞數(shù)的句子均由相同頭數(shù)的注意力機制進行特征學習這一情況,提出了動態(tài)獲取注意力機制頭數(shù)的思想。并在TNCC數(shù)據(jù)集文本分類任務上分別進行了實驗,實驗結果表明,應用了動態(tài)多頭注意力機制的語言模型效果最優(yōu)。

    與前人的模型相比,本文模型在不同任務的Macro_F1值均提升了2%以上,再次驗證了該文方法的有效性。在未來的工作中,將繼續(xù)研究注意力機制頭數(shù)與句子長度的關系,并進一步擴大語言模型訓練語料的規(guī)模,或者利用語料較多的中、英文數(shù)據(jù)檢驗本文的方法,并在權威數(shù)據(jù)上驗證其效果。

    猜你喜歡
    頭數(shù)藏文注意力
    讓注意力“飛”回來
    中藥復方治療牛病毒性腹瀉的臨床效果觀察
    豬場績效指標“有效母豬飼養(yǎng)頭數(shù)”的探討
    西藏大批珍貴藏文古籍實現(xiàn)“云閱讀”
    布達拉(2020年3期)2020-04-13 10:00:07
    黑水城和額濟納出土藏文文獻簡介
    西夏學(2019年1期)2019-02-10 06:22:34
    “揚眼”APP:讓注意力“變現(xiàn)”
    傳媒評論(2017年3期)2017-06-13 09:18:10
    藏文音節(jié)字的頻次統(tǒng)計
    A Beautiful Way Of Looking At Things
    現(xiàn)代語境下的藏文報刊
    新聞傳播(2016年17期)2016-07-19 10:12:05
    畫圖·分組·計算
    亚洲精品国产av成人精品| 99热全是精品| 三级国产精品片| 最近2019中文字幕mv第一页| 一边摸一边做爽爽视频免费| 成人二区视频| 老熟女久久久| 亚洲欧美色中文字幕在线| 国产成人午夜福利电影在线观看| tube8黄色片| 婷婷成人精品国产| 亚洲国产欧美在线一区| av女优亚洲男人天堂| 搡女人真爽免费视频火全软件| 久久久久久久久久人人人人人人| 久久久久久久精品精品| 大陆偷拍与自拍| 男女免费视频国产| 欧美精品一区二区免费开放| 国产精品人妻久久久影院| 国产高清国产精品国产三级| 一二三四中文在线观看免费高清| 久久精品夜色国产| 国产在线一区二区三区精| 午夜免费观看性视频| 捣出白浆h1v1| 欧美精品人与动牲交sv欧美| 久久这里只有精品19| 色哟哟·www| 男女边吃奶边做爰视频| 亚洲欧美清纯卡通| 天堂俺去俺来也www色官网| 韩国精品一区二区三区 | 熟女电影av网| a级毛片在线看网站| 亚洲天堂av无毛| 黑人高潮一二区| 亚洲情色 制服丝袜| 久久午夜福利片| 丝袜脚勾引网站| 国产成人免费无遮挡视频| 丝袜脚勾引网站| 狠狠精品人妻久久久久久综合| 精品视频人人做人人爽| 大香蕉久久网| 亚洲一码二码三码区别大吗| 亚洲天堂av无毛| 日本猛色少妇xxxxx猛交久久| 天堂8中文在线网| 亚洲欧美清纯卡通| 中文字幕亚洲精品专区| 午夜免费男女啪啪视频观看| 国产高清不卡午夜福利| 日本色播在线视频| 一本—道久久a久久精品蜜桃钙片| 男女高潮啪啪啪动态图| 91精品伊人久久大香线蕉| av天堂久久9| 日本av免费视频播放| 精品一区二区免费观看| 国产成人精品无人区| 久久精品人人爽人人爽视色| 亚洲av电影在线进入| 成人免费观看视频高清| kizo精华| 久久久久久人妻| 亚洲精品国产av蜜桃| 婷婷成人精品国产| 国产成人欧美| 蜜桃国产av成人99| 18+在线观看网站| 国产女主播在线喷水免费视频网站| 欧美亚洲 丝袜 人妻 在线| 久久久久视频综合| 黄色怎么调成土黄色| 美女内射精品一级片tv| 亚洲av免费高清在线观看| 国产老妇伦熟女老妇高清| 免费看av在线观看网站| videos熟女内射| 蜜桃在线观看..| 捣出白浆h1v1| 天堂中文最新版在线下载| 一区在线观看完整版| 十分钟在线观看高清视频www| 一级毛片电影观看| 免费观看无遮挡的男女| 99久久精品国产国产毛片| 最近的中文字幕免费完整| 亚洲国产欧美日韩在线播放| 国产亚洲精品第一综合不卡 | 亚洲激情五月婷婷啪啪| 日韩制服骚丝袜av| 美女福利国产在线| 国产乱人偷精品视频| 久久国产精品大桥未久av| 久久久久久伊人网av| 国产在视频线精品| 成年女人在线观看亚洲视频| 2022亚洲国产成人精品| 91aial.com中文字幕在线观看| 人人澡人人妻人| 91精品国产国语对白视频| 欧美3d第一页| 黑丝袜美女国产一区| 日日撸夜夜添| www日本在线高清视频| 男人添女人高潮全过程视频| 18在线观看网站| 中文字幕最新亚洲高清| 韩国高清视频一区二区三区| 欧美激情极品国产一区二区三区 | 十八禁高潮呻吟视频| 熟女电影av网| 寂寞人妻少妇视频99o| 欧美日韩av久久| 亚洲av.av天堂| 大香蕉久久成人网| 美女大奶头黄色视频| 日韩电影二区| 人妻 亚洲 视频| 国产日韩欧美亚洲二区| 欧美变态另类bdsm刘玥| 亚洲成色77777| 超色免费av| 亚洲综合色惰| 国产高清国产精品国产三级| 亚洲综合精品二区| 熟女人妻精品中文字幕| 亚洲精品国产av蜜桃| 少妇的逼水好多| 亚洲欧美一区二区三区黑人 | 波野结衣二区三区在线| 亚洲色图 男人天堂 中文字幕 | 日日啪夜夜爽| 成人毛片60女人毛片免费| 欧美少妇被猛烈插入视频| 亚洲欧美日韩另类电影网站| 亚洲精品美女久久久久99蜜臀 | 少妇精品久久久久久久| 91午夜精品亚洲一区二区三区| 欧美日韩视频高清一区二区三区二| 三上悠亚av全集在线观看| 99精国产麻豆久久婷婷| 激情五月婷婷亚洲| 熟妇人妻不卡中文字幕| 美女大奶头黄色视频| 天堂8中文在线网| 乱人伦中国视频| 国产成人精品久久久久久| 国产片内射在线| 亚洲精品中文字幕在线视频| 99国产综合亚洲精品| 一边亲一边摸免费视频| 香蕉精品网在线| 久久久久久久久久人人人人人人| 精品一区在线观看国产| 久久久久久人妻| 亚洲av日韩在线播放| 精品一区在线观看国产| 乱人伦中国视频| 人成视频在线观看免费观看| 观看美女的网站| 中文字幕亚洲精品专区| 制服丝袜香蕉在线| 久久99热这里只频精品6学生| 日日啪夜夜爽| 日产精品乱码卡一卡2卡三| 中国国产av一级| 夜夜骑夜夜射夜夜干| 黄色 视频免费看| 日韩一区二区视频免费看| 国产 精品1| 日本午夜av视频| 久久国产亚洲av麻豆专区| 男女午夜视频在线观看 | √禁漫天堂资源中文www| 一级黄片播放器| 日韩电影二区| a级毛片在线看网站| 黑人猛操日本美女一级片| 欧美日韩国产mv在线观看视频| 国产一区有黄有色的免费视频| 天天操日日干夜夜撸| 各种免费的搞黄视频| 一级毛片我不卡| 久久国产精品男人的天堂亚洲 | 男人爽女人下面视频在线观看| 又黄又爽又刺激的免费视频.| 精品国产露脸久久av麻豆| 少妇人妻久久综合中文| 中文字幕精品免费在线观看视频 | 亚洲欧洲国产日韩| 最后的刺客免费高清国语| 亚洲伊人色综图| 国产白丝娇喘喷水9色精品| 日韩精品有码人妻一区| 精品少妇久久久久久888优播| 999精品在线视频| 国产成人一区二区在线| 亚洲av中文av极速乱| 日韩三级伦理在线观看| 一本久久精品| 高清毛片免费看| 在线天堂中文资源库| 两性夫妻黄色片 | 亚洲欧美中文字幕日韩二区| 乱码一卡2卡4卡精品| 五月开心婷婷网| 一区在线观看完整版| 伦理电影免费视频| 免费黄色在线免费观看| 国产成人午夜福利电影在线观看| 国产精品国产三级专区第一集| 亚洲国产欧美在线一区| 亚洲欧美一区二区三区国产| 免费看光身美女| 在线观看三级黄色| 久久久久久久国产电影| 亚洲激情五月婷婷啪啪| 国产精品久久久久成人av| 人人妻人人爽人人添夜夜欢视频| 久久久精品区二区三区| 日本免费在线观看一区| 啦啦啦视频在线资源免费观看| 成年动漫av网址| 国产极品天堂在线| 五月天丁香电影| 免费在线观看完整版高清| 天天操日日干夜夜撸| 国产激情久久老熟女| 91久久精品国产一区二区三区| 最近2019中文字幕mv第一页| 亚洲国产看品久久| 国产福利在线免费观看视频| 国产亚洲欧美精品永久| 久久久久精品性色| 巨乳人妻的诱惑在线观看| 亚洲成色77777| 国产精品无大码| xxxhd国产人妻xxx| 中文字幕制服av| 国产免费现黄频在线看| 美女国产视频在线观看| 精品卡一卡二卡四卡免费| 韩国精品一区二区三区 | 亚洲,一卡二卡三卡| 黑人巨大精品欧美一区二区蜜桃 | 性色avwww在线观看| 午夜影院在线不卡| 国产有黄有色有爽视频| 亚洲精品色激情综合| 男人爽女人下面视频在线观看| 精品国产一区二区三区四区第35| 一区二区av电影网| 国产精品久久久久久久久免| 汤姆久久久久久久影院中文字幕| 国产片特级美女逼逼视频| 国产欧美亚洲国产| 亚洲情色 制服丝袜| 精品国产一区二区三区四区第35| 亚洲av.av天堂| 999精品在线视频| 在线看a的网站| 国精品久久久久久国模美| 两个人免费观看高清视频| 亚洲av男天堂| 中文字幕制服av| 亚洲av国产av综合av卡| 一区二区三区乱码不卡18| 亚洲,欧美精品.| 日本vs欧美在线观看视频| 国产精品国产三级国产专区5o| 美女脱内裤让男人舔精品视频| xxxhd国产人妻xxx| 宅男免费午夜| 欧美另类一区| 日韩视频在线欧美| 十分钟在线观看高清视频www| 欧美成人精品欧美一级黄| 一级片免费观看大全| 夜夜骑夜夜射夜夜干| av有码第一页| 黑人欧美特级aaaaaa片| 亚洲精品一二三| 亚洲av福利一区| 亚洲国产精品国产精品| 亚洲美女视频黄频| 18禁观看日本| 五月伊人婷婷丁香| 欧美亚洲日本最大视频资源| 超色免费av| 下体分泌物呈黄色| 亚洲欧美一区二区三区黑人 | 国产欧美日韩一区二区三区在线| 91aial.com中文字幕在线观看| 97人妻天天添夜夜摸| 插逼视频在线观看| 国产1区2区3区精品| 男人添女人高潮全过程视频| 91午夜精品亚洲一区二区三区| 亚洲欧洲精品一区二区精品久久久 | 午夜久久久在线观看| 人妻人人澡人人爽人人| 久久久久久久亚洲中文字幕| 高清黄色对白视频在线免费看| 国产视频首页在线观看| 国产乱人偷精品视频| 男女免费视频国产| 久久午夜综合久久蜜桃| 天天躁夜夜躁狠狠躁躁| 欧美xxⅹ黑人| 在线观看美女被高潮喷水网站| 韩国精品一区二区三区 | 国产精品嫩草影院av在线观看| 热99久久久久精品小说推荐| 看非洲黑人一级黄片| 国产亚洲精品久久久com| 亚洲,欧美精品.| 亚洲国产精品专区欧美| 侵犯人妻中文字幕一二三四区| 国产成人精品福利久久| xxx大片免费视频| 三上悠亚av全集在线观看| 香蕉国产在线看| 在线免费观看不下载黄p国产| 交换朋友夫妻互换小说| 午夜激情av网站| 亚洲欧美精品自产自拍| 久久久久网色| 亚洲国产精品一区二区三区在线| 大香蕉97超碰在线| 亚洲欧美一区二区三区黑人 | 又黄又爽又刺激的免费视频.| 亚洲国产精品专区欧美| videos熟女内射| 菩萨蛮人人尽说江南好唐韦庄| 午夜精品国产一区二区电影| 国产欧美日韩综合在线一区二区| 免费黄网站久久成人精品| 香蕉国产在线看| 久久99热6这里只有精品| 22中文网久久字幕| 最近2019中文字幕mv第一页| 国产黄色免费在线视频| 亚洲精品成人av观看孕妇| 日韩人妻精品一区2区三区| 精品一区二区三区视频在线| 成人毛片60女人毛片免费| 老司机亚洲免费影院| 亚洲第一区二区三区不卡| 精品久久久精品久久久| 熟女电影av网| 欧美国产精品va在线观看不卡| 香蕉丝袜av| 一本久久精品| 亚洲av日韩在线播放| av不卡在线播放| 中文字幕人妻丝袜制服| 2021少妇久久久久久久久久久| 人体艺术视频欧美日本| 春色校园在线视频观看| 久久99一区二区三区| 春色校园在线视频观看| 久久99一区二区三区| 老司机亚洲免费影院| 国产免费福利视频在线观看| a级毛片黄视频| 日本黄大片高清| 色婷婷久久久亚洲欧美| av网站免费在线观看视频| 精品一区二区三区视频在线| 男女边摸边吃奶| 国产精品99久久99久久久不卡 | 在线天堂最新版资源| 亚洲综合精品二区| 高清黄色对白视频在线免费看| 女性被躁到高潮视频| 亚洲精品aⅴ在线观看| 丝袜脚勾引网站| 天天躁夜夜躁狠狠久久av| 久久久久久久久久久免费av| 毛片一级片免费看久久久久| 插逼视频在线观看| 成年人午夜在线观看视频| 交换朋友夫妻互换小说| 少妇人妻精品综合一区二区| av播播在线观看一区| 成人二区视频| 男女边摸边吃奶| 亚洲国产最新在线播放| 精品国产露脸久久av麻豆| av卡一久久| 午夜免费男女啪啪视频观看| 中国三级夫妇交换| 国产日韩欧美在线精品| 一级毛片电影观看| 欧美激情国产日韩精品一区| 国产成人免费无遮挡视频| 久久女婷五月综合色啪小说| 国产精品久久久久成人av| 高清黄色对白视频在线免费看| 国产精品久久久久久精品电影小说| av网站免费在线观看视频| 少妇人妻精品综合一区二区| 国产一区二区三区av在线| 久久久久久人人人人人| 色婷婷av一区二区三区视频| 国产色婷婷99| 国产亚洲最大av| 97超碰精品成人国产| 成人影院久久| 国产欧美亚洲国产| 美国免费a级毛片| 亚洲欧美一区二区三区黑人 | 久久精品aⅴ一区二区三区四区 | 久久av网站| 女人久久www免费人成看片| 国产一区二区在线观看av| 国产精品一区www在线观看| 肉色欧美久久久久久久蜜桃| 国产免费视频播放在线视频| 97超碰精品成人国产| 日韩中文字幕视频在线看片| 成年av动漫网址| 成人手机av| 在线免费观看不下载黄p国产| 天堂中文最新版在线下载| 一区二区三区乱码不卡18| 亚洲中文av在线| 午夜免费鲁丝| 宅男免费午夜| www.熟女人妻精品国产 | 国产国语露脸激情在线看| 一级黄片播放器| freevideosex欧美| 久久久久国产精品人妻一区二区| 亚洲av日韩在线播放| 99九九在线精品视频| 亚洲,欧美精品.| 亚洲欧洲精品一区二区精品久久久 | 国产精品一区二区在线观看99| 校园人妻丝袜中文字幕| 精品人妻熟女毛片av久久网站| 天堂8中文在线网| 国产av一区二区精品久久| av又黄又爽大尺度在线免费看| 日韩制服丝袜自拍偷拍| 国产欧美日韩综合在线一区二区| 欧美3d第一页| 中文欧美无线码| 久久精品夜色国产| 午夜福利网站1000一区二区三区| 一区二区三区乱码不卡18| 亚洲中文av在线| 免费大片18禁| 国产成人午夜福利电影在线观看| 免费久久久久久久精品成人欧美视频 | 韩国精品一区二区三区 | 久久久精品区二区三区| 亚洲av欧美aⅴ国产| 大香蕉97超碰在线| 美女脱内裤让男人舔精品视频| 少妇猛男粗大的猛烈进出视频| 欧美人与善性xxx| 欧美精品一区二区大全| 两个人看的免费小视频| 久久久欧美国产精品| 一级片'在线观看视频| 欧美精品高潮呻吟av久久| 精品一区二区免费观看| 十八禁高潮呻吟视频| 国产精品秋霞免费鲁丝片| 婷婷色av中文字幕| 蜜臀久久99精品久久宅男| 少妇 在线观看| 永久免费av网站大全| 欧美人与性动交α欧美软件 | 久久久精品94久久精品| 久久国产精品男人的天堂亚洲 | 成年av动漫网址| 日本色播在线视频| 免费黄色在线免费观看| 母亲3免费完整高清在线观看 | 天堂8中文在线网| 亚洲精品一二三| 国产激情久久老熟女| 日本欧美视频一区| 各种免费的搞黄视频| 天天影视国产精品| 成人国产av品久久久| 两个人免费观看高清视频| 又粗又硬又长又爽又黄的视频| tube8黄色片| 久久精品久久久久久噜噜老黄| 国产色爽女视频免费观看| 激情五月婷婷亚洲| 色94色欧美一区二区| 中文乱码字字幕精品一区二区三区| 日韩一本色道免费dvd| 亚洲国产成人一精品久久久| 久久久久视频综合| 高清视频免费观看一区二区| 午夜福利影视在线免费观看| 日韩av在线免费看完整版不卡| 热re99久久精品国产66热6| 日韩不卡一区二区三区视频在线| 成年动漫av网址| 一级毛片电影观看| 亚洲,欧美精品.| 亚洲 欧美一区二区三区| 看十八女毛片水多多多| av女优亚洲男人天堂| 69精品国产乱码久久久| videos熟女内射| av天堂久久9| 久久国产精品大桥未久av| 国产成人aa在线观看| 国产极品粉嫩免费观看在线| 在线观看免费视频网站a站| 在线观看国产h片| 90打野战视频偷拍视频| 9热在线视频观看99| 成人黄色视频免费在线看| 国产一区有黄有色的免费视频| 美女xxoo啪啪120秒动态图| 免费av不卡在线播放| a 毛片基地| 国产欧美日韩综合在线一区二区| 成年动漫av网址| 久久 成人 亚洲| 久久久久久久久久久久大奶| 天天躁夜夜躁狠狠躁躁| 黑人猛操日本美女一级片| 久久久国产精品麻豆| 日韩 亚洲 欧美在线| 国产一区二区在线观看日韩| 精品一品国产午夜福利视频| 91精品国产国语对白视频| 精品福利永久在线观看| 狠狠精品人妻久久久久久综合| 一级a做视频免费观看| av有码第一页| 欧美xxxx性猛交bbbb| 国产极品粉嫩免费观看在线| 80岁老熟妇乱子伦牲交| videossex国产| 免费高清在线观看视频在线观看| 久久久国产欧美日韩av| 午夜免费鲁丝| 久久久久精品人妻al黑| 曰老女人黄片| 最新中文字幕久久久久| 男女无遮挡免费网站观看| xxxhd国产人妻xxx| 男的添女的下面高潮视频| 九九爱精品视频在线观看| 丰满乱子伦码专区| 美女脱内裤让男人舔精品视频| 黄网站色视频无遮挡免费观看| 菩萨蛮人人尽说江南好唐韦庄| 97超碰精品成人国产| 最近手机中文字幕大全| 国产精品成人在线| 免费少妇av软件| 免费观看无遮挡的男女| 亚洲精品乱码久久久久久按摩| 欧美成人午夜免费资源| 久久午夜综合久久蜜桃| 日本-黄色视频高清免费观看| 国产乱来视频区| 成人国产av品久久久| 中文字幕免费在线视频6| 精品久久国产蜜桃| videosex国产| 青春草国产在线视频| 十分钟在线观看高清视频www| 亚洲,欧美精品.| 免费日韩欧美在线观看| 欧美bdsm另类| 少妇被粗大的猛进出69影院 | 日韩,欧美,国产一区二区三区| 美女国产高潮福利片在线看| 国产精品秋霞免费鲁丝片| 久久亚洲国产成人精品v| 国内精品宾馆在线| 99热国产这里只有精品6| 人妻 亚洲 视频| 亚洲国产最新在线播放| 国产一区二区三区av在线| 日韩精品免费视频一区二区三区 | 国产探花极品一区二区| 亚洲国产色片| 精品久久久久久电影网| 欧美人与善性xxx| 欧美日韩av久久| av片东京热男人的天堂| 免费看光身美女| 久久久久国产精品人妻一区二区| 日韩大片免费观看网站| www.av在线官网国产| 秋霞在线观看毛片| 精品午夜福利在线看| 亚洲经典国产精华液单| 性色av一级| 一级片'在线观看视频| 国产成人精品在线电影| 亚洲av综合色区一区| 多毛熟女@视频| 中文字幕另类日韩欧美亚洲嫩草| 国产成人欧美| 大片电影免费在线观看免费| 久久女婷五月综合色啪小说| 国产精品久久久久久精品古装| 亚洲国产欧美在线一区|