• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于動態(tài)多頭注意力機制的藏文語言模型

    2023-12-20 02:34:12英,擁,于
    計算機工程與設計 2023年12期
    關鍵詞:頭數(shù)藏文注意力

    張 英,擁 措+,于 韜

    (1.西藏大學 信息科學技術學院,西藏 拉薩 850000;2.西藏大學 藏文信息技術教育部工程研究中心, 西藏 拉薩 850000;3.西藏大學 西藏自治區(qū)藏文信息技術人工智能重點實驗室,西藏 拉薩 850000)

    0 引 言

    目前,注意力機制在預訓練模型如BERT[1]、RoBERTa[2]、ALBERT[3]中得到了廣泛的應用。相關研究表明,多頭注意力中并不是每個頭都發(fā)揮著重要作用,大多數(shù)注意力頭實際上是冗余的[4];為了減少冗余注意力的影響,研究者提出了“disentangled”[5]掩碼注意力機制和自適應注意力機制[6]等概念。由上述研究可知語言模型固定注意力機制的頭數(shù)并不是最優(yōu)選擇,在模型訓練過程中,不同詞數(shù)的句子均由相同頭數(shù)的注意力機制進行特征學習,可能會造成注意力頭的冗余。

    為了減少冗余頭數(shù)造成的干擾,例如在包含特征相對較少的短句中,可能不需要關注罕見詞或某些復合關系等不常見的特征,從而導致多余的頭對特征向量造成一定的噪聲。因此本文提出了在訓練過程中根據(jù)長短句動態(tài)選擇注意力機制頭數(shù)的方法。另外,目前國內(nèi)對藏文預訓練模型的研究較少,所以本文在藏文數(shù)據(jù)上進行探究。綜上所述,本文共提出以下方案:①研究動態(tài)多頭注意力機制的有效性,并揭示了將其融入預訓練模型可以有益于文本分類任務;②在ALBERT模型的注意力層進行改進,并提升了該模型的效果;③本文構建的模型可以較好地表示藏文語義關系,實驗結果表明,在公開數(shù)據(jù)集TNCC分類任務上F1值均獲得了2%以上的提升。

    1 相關工作

    自以多頭注意力為核心創(chuàng)新的transformer模型被提出以來,已成為一大研究熱點[7]。Paul Michel等提出部分注意力頭較冗余的看法;E Voita等[8]為了優(yōu)化Bert模型設計混合向量提取注意力頭捕捉的通用信息;隨后,Clark K等[9]針對BERT注意力機制進行分析,發(fā)現(xiàn)注意力機制除了關注直接賓語、介詞關系等,還大量集中于分隔符、標點符號。為了增強序列學習表示,Chien等提出了一種新的“disentangled”掩碼注意力機制,以減少冗余特征。上述研究表明,注意力機制頭數(shù)的固定,可能會造成注意力頭的冗余或過度注意。

    注意力機制通常用于預訓練模型。OpenAI提出了GPT[10]模型,以學習文本的長距離依賴。隨后,Devlin等提出BERT模型,在不同自然語言處理任務上達到了最好效果。OpenAI提出了在BERT基礎上進行精細調(diào)參的RoBERTa模型。同年,Zhenzhong Lan等提出用兩種策略提高模型訓練速度的ALBERT模型,該文結果表明注意力層的參數(shù)共享策略對模型效果影響小,因此本文將在參數(shù)量較小的ALBERT模型的自注意力層上進行改進,以提升該模型的效果。

    上文介紹的模型大多應用在中英文上,對于語料稀少的藏文而言預訓練模型較少。Ziqing Yang等提出了面向少數(shù)民族語言的多語言模型CINO[11]。為了促進藏文自然語言處理任務的發(fā)展,Yuan Sun等提出使用藏文語料進行訓練的TiBERT[12]模型。除此之外,Hanru Shi等構建了包含5種語言的MiLMo[13]模型。同年,于韜等[14]提出用于關系抽取任務的藏文ALBERT模型。另外,安波等[15]訓練藏文BERT模型并在標題分類任務上進行實驗。上述皆是對藏文預訓練模型的應用研究,因此本文將對語言模型進行改進,以增強藏文下游任務性能。

    2 方法與模型

    2.1 動態(tài)多頭注意力機制方法

    自注意力機制是指通過運算獲得句子在編碼過程中每個位置的注意力權重,再計算整個句子的隱含向量[16]。同時,為了避免模型對當前位置信息進行編碼時,過度集中于自身從而提出了多頭注意力機制。與使用單獨的注意力池化不同,多頭注意力機制使用序列不同位置的子空間表征信息進行數(shù)據(jù)處理,然后并行地進行注意力池化,再將多個注意力池化的輸出拼接,以構建最終輸出[17]。

    在以往的模型預訓練過程中,多頭注意力機制的頭數(shù)h往往是固定的,但這樣會存在一定的弊端,例如當h較大時,對于特征數(shù)量較少的句子會學習到更多不重要的特征,即在信息組合時會有一定的噪聲;當h較小時,對于特征數(shù)量較多的句子,不能全面學習句子的含義。但在實際訓練過程中,長短句所需要關注的信息數(shù)量并不同,如表1所示,長句共有56個藏文音節(jié),包含的特征信息較多,需要更多頭數(shù)的注意力機制關注句子中詞與詞之間的關系,如較為明顯的時間、數(shù)詞、處所等關系信息;而短句僅有11個藏文音節(jié),包含的特征相對較少,相對長句來說較為明顯的僅有處所關系,因此當長短句共用一個注意力機制頭數(shù)時,多余的頭可能會關注標點符號等包含信息量較少的特征,對特征向量的提取過程會造成一定的干擾。因此本文針對不同詞數(shù)的句子均由相同頭數(shù)的注意力機制進行特征學習這一情況,提出根據(jù)句子的特征數(shù)量選擇注意力機制的頭數(shù),即在訓練過程中根據(jù)句子長度動態(tài)確定注意力機制頭數(shù)。

    表1 藏文長短句示例

    其動態(tài)多頭注意力機制具體公式如下所示,式(1)中headi表示第i個頭數(shù)對應的注意力機制運算后的結果[18],式(2)中DMA(Q、K、V) 表示將多個注意力機制head1,…,headh進行拼接再乘以矩陣Wh的結果,其中Wh為多頭注意力的權重,下標h的取值根據(jù)len_token決定,如式(3)所示

    (1)

    DMA(Q,K,V)=Concat(head1,…,headh)Wh

    (2)

    iflen_token>mh=hlelseh=hs

    (3)

    圖1為動態(tài)多頭注意力機制的架構。首先將輸入句子的詞向量轉化為3個矩陣(Q、K、V),再判斷句子的詞數(shù)(len_token)是否大于臨界值m,若小于m,則動態(tài)多頭注意力機制取較小的頭數(shù),再根據(jù)頭數(shù)構建hs層線性投影,然后將Q、K、V輸入至左側的路線left route進行學習,并通過hs層線性投影獲得特征向量矩陣,最后進行拼接與映射獲得輸出結果;反之,動態(tài)多頭注意力機制取較大的頭數(shù),除線性投影層數(shù)hl與路線right route之外,其余操作同理。

    圖1 動態(tài)多頭注意力機制架構

    2.2 基于動態(tài)多頭注意力機制的語言模型

    為解決BERT模型參數(shù)量過大、訓練時間過長的問題,ALBERT語言模型于2019年問世,該模型的結構和BERT相似且參數(shù)量更小,本文將上述提出的動態(tài)多頭注意力機制應用于ALBERT的注意力模塊,構建了基于動態(tài)多頭注意力機制的語言模型(dynamic multi-head attention albert,DMA_ALBERT)。為了驗證改進后的模型的有效性,本文使用4.5 GB藏文通用領域數(shù)據(jù)分別訓練注意力層改進前后的模型。將動態(tài)注意力機制應用在語言模型中,動態(tài)傳遞注意力機制的頭數(shù),既可以獲得該句子的重要信息,學習句子上下文相關的雙向語義特征表示,又可以減少不重要的特征對信息整合過程的干擾。

    由于預訓練模型結構較為復雜,且訓練數(shù)據(jù)量較大,因此動態(tài)多頭注意力機制的頭數(shù)選擇方式由每句的總詞數(shù)改進為每批次(batch)的總詞數(shù)。即在藏文DMA_ALBERT模型的實際訓練過程中,動態(tài)多頭注意力機制的頭數(shù)根據(jù)一個batch的總詞數(shù)獲得,當總詞數(shù)大于m與batch的乘積(m×batch)時,該批次的注意力機制頭數(shù)h取hl;反之,h取hs,如式(4)所示,其中token_Ci表示在當前批次中第i個句子的token個數(shù)

    (4)

    3 實驗數(shù)據(jù)與評價指標

    3.1 ALBERT模型訓練數(shù)據(jù)及評價指標

    本文采用CCL2022跨語言文本分類任務提供的4.5 GB藏文語料作為語言模型的訓練數(shù)據(jù),語料主要來自維基百科、微信公眾號。同時,本文訓練SentencePiece[19]模型以構建藏文詞表及訓練語料。分詞粒度方面,選用unigram[20]對訓練語料進行子詞級分割,其原理為先初始化一個較大的詞表,再根據(jù)算法標準不斷地舍棄,直到詞表滿足預先給定的大小[21]。在藏文語言模型的訓練過程中,由于使用ALBERT預訓練模型作為實驗的基礎,因此參照ALBERT原文共選取了5個評價指標,分別是掩碼語言模型(MLM)任務的損失值(mask_loss)、預測遮掩單詞的精確度(mask_accuracy);句子順序預測(SOP)任務的損失值(sop_loss)、預測句子順序的精確度(sop_accuracy);以及MLM和SOP任務這兩部分的損失和相加所得到的總和(loss)。

    3.2 文本分類數(shù)據(jù)及評價指標

    由于本文使用TNCC測試語言模型的實際效果,使用精確率Precision、召回率Recall以及F1值作為文本分類任務的評價指標,具體公式如下所示

    (5)

    (6)

    (7)

    其中,首先需要計算每個類別的Precision、Recall、F1值,其中TPi表示類別i預測正確的數(shù)量;FPi表示將其它類別的樣本預測成類別i的數(shù)量;TPi+FPi表示測試集的所有文本預測成類別i的總數(shù)量;FNi表示將文本類別i預測成其它類別的數(shù)量;TPi+FNi表示真實的文本類別i的總數(shù)量。

    另外該數(shù)據(jù)集是在多類別通用領域上構建的,其樣本分布并不均勻,因此采用Weighted算法對上述指標進行計算,即需要根據(jù)每個類別占比的權重計算本次分類所有類別評價指標的具體值,如式(8)~式(10)所示,其中wi表示在測試集中文本類別i在總文本中的占比比例

    (8)

    (9)

    (10)

    4 實 驗

    4.1 實驗設置

    本文訓練tiny版本的藏文改進注意力機制前后的語言模型并進行效果對比,在訓練前需確定模型中注意力機制的頭數(shù)。其中隱藏層維度的值為384,而注意力機制的頭數(shù)需要被384整除,即可取值2、3、4、6、8等,考慮到語言模型結構的復雜性,本文選擇如表2所示的注意力機制頭數(shù)進行實驗,具體訓練參數(shù)見表3。

    表2 注意力機制頭數(shù)設定

    表3 預訓練模型主要參數(shù)

    由表2可知,本文共設計了10組語言模型對比實驗,分別是4組原始的語言模型以及6組應用動態(tài)多頭注意力機制的語言模型。實驗環(huán)境為搭配RTX3080Ti GPU的Ubuntu服務器,顯存為12 GB。

    為了更好地對比是否動態(tài)獲取注意力頭數(shù)語言模型的效果,本文將上述10個預訓練模型應用在文本分類任務上,包括長、短文本兩種分類任務,這兩個任務的句子長度分布情況如圖2所示。

    圖2 TNCC數(shù)據(jù)集句子長度分布

    由圖2(a)可知,長文本中各句子長度區(qū)間的分布較為均勻,綜合考慮訓練設備及預訓練模型的句子長度取值要求,該任務的pad_size取值為300;而圖2(b)中的短文本中99%的標題長度小于20,且最長不超過50,因此短文本任務的pad_size取值為50,下游實驗的主要參數(shù)見表4。

    表4 下游實驗部分主要參數(shù)

    4.2 實驗結果

    首先將本文訓練的10組語言模型應用于TNCC文本分類任務,并觀察模型在長、短文本分類任務上的效果;然后使用10組預訓練語言模型分別結合卷積神經(jīng)網(wǎng)絡(CNN)[22]進行文本分類的對比實驗。

    4.2.1 固定與動態(tài)頭數(shù)語言模型實驗對比結果

    TNCC數(shù)據(jù)集包含藏文長文本及短文本分類語料,將10組訓練好的藏文語言模型分別應用在長/短文本分類任務上,實驗結果見表5,‘/’前后分別為長文本分類結果和短文本分類結果。在長文本下游分類任務中,使用ALBERT模型時,head取8、16時F1值分別為73.29%、72.79%,而使用融入了動態(tài)多頭注意力機制思想的語言模型時,hs、hl取8、16時實驗F1值為75.34%,與前者相比F1值分別提升了2.05%、2.55%。該結果表明:在訓練過程中,語言模型動態(tài)獲取注意力機制頭數(shù)時效果更佳,同時改進語言模型中除hs=6、hl=8的其余4組實驗均能驗證動態(tài)多頭注意力機制的有效性。但當固定頭數(shù)取6或8時F1值為74.63%、73.29%,而hs、hl動態(tài)取6、8時F1值為73.67%,較頭數(shù)直接取6時F1值下降了0.96%,取8時提升了0.38%。該情況的主要原因是應用動態(tài)多頭注意力機制時,動態(tài)選擇的兩個頭數(shù)均較小且相差不大,因此無法較好地學習長、短句的語義特征,導致模型效果提升不明顯。

    在表5中的短文本分類結果表明,頭數(shù)取12時模型效果表現(xiàn)最好,其F1值為68.74%,而應用了動態(tài)多頭注意力機制思想的語言模型F1值最高為67.25%,較前者F1值低了1.49%,由此可見,動態(tài)多頭注意力機制在短文本分類上效果較為低迷,其原因為標題濃縮了一篇文章的主要內(nèi)容,且詞數(shù)不超過20的標題數(shù)量占比99%,標題中詞與詞之間的語義關系并不明確,即根據(jù)藏文長文本訓練的DMA_ALBERT模型,對標題的理解能力有限,對藏文標題分類任務的幫助較小。

    4.2.2 語言模型結合卷積神經(jīng)網(wǎng)絡對比實驗結果分析

    表6為固定與動態(tài)頭數(shù)的語言模型分別結合CNN模型在長/短文本分類任務上的實驗結果。長文本中,hs、hl動態(tài)取8、12時效果最好,其Weighted F1值為75.69%;在不使用動態(tài)多頭注意力機制的ALBERT模型中,head取8時效果最好,其Weighted F1值為74.80%。后者F1值降低了0.89%,該結果表明在進行長文本分類時,動態(tài)獲取其注意力機制的頭數(shù)效果優(yōu)于非動態(tài)方式。根本原因是動態(tài)多頭注意力機制可以更好地學習長、短句中的語義關系,而非動態(tài)方式由于固定了頭數(shù)的大小,直接制約了其對語義關系的學習能力,因此DMA_ALBERT模型構建的詞向量質量更高,再使用模型結構相對復雜的CNN網(wǎng)絡的卷積及池化操作可以較好地學習詞向量中的重要分類特征。與直接使用DMA_ALBERT模型相比,結合CNN模型時長文本分類效果更好,后者較前者F1值提升了0.35%。

    表6 預訓練模型結合卷積神經(jīng)網(wǎng)絡在長/短文本分類任務上的實驗結果

    由表6的短文本分類結果可知DMA_ALBERT與原始ALBERT在短文本分類任務上的效果相近,固定頭數(shù)取8時模型效果最好為68.67%;hs、hl動態(tài)取6、8時語言模型效果最為68.70%,兩者僅相差0.03%。該結果表明在結合CNN模型的短文本標題分類任務上,由于使用長文本訓練的語言模型對標題的學習能力有限,因此對模型結果影響甚微。

    為了更好地對比本章實驗結果,將上述結果使用折線圖進行可視化展示,如圖3所示。其中,h=6表示使用固定頭數(shù)為6的注意力機制;h=6,8表示動態(tài)使用頭數(shù)為6、8的注意力機制,即曲線前后段分別為原始語言模型的結果、結合動態(tài)多頭注意力機制的語言模型的結果,上、下兩條曲線分別為長文本分類、標題分類。

    由圖3可知,長文本分類任務中,兩條實驗結果曲線的后半段整體趨勢均高于前半段,表明動態(tài)獲取注意力機制的頭數(shù)效果更優(yōu)。在不結合CNN模型的短文本分類中,原始語言模型效果更好;而結合CNN模型后,曲線后半部分更穩(wěn)定,表明CNN網(wǎng)絡能較好地學習DMA_ALBERT所得到詞向量的重要分類特征。

    圖3 預訓練語言模型結果對比

    4.3 與其它模型的對比實驗結果分析

    為了驗證本文模型的有效性,將本文訓練的語言模型與現(xiàn)有模型效果進行對比分析,其中DMA_ALBERT模型各評價指標的具體值見表7。所對比的模型分別為:哈工大訊飛實驗室發(fā)布的CINO模型、藏文TiBERT模型、安波等提出的藏文BERTCNN模型,其評價指標皆采用Macro計算方式,因此采用Macro相關指標與前人的模型在TNCC文本分類任務上進行對比。其中長、短文本分類任務對比結果分別見表8、表9。

    由表8可知,DMA_ALBERT結合CNN模型效果最佳,hs、hl分別取8、12時模型F1值為73.23%,較CINO提升了4.63%;較TiBERT提升了2.29%;在表9中,DMA_ALBERT結合CNN時效果最佳,hs、hl分別取6、8時模型F1值為64.47%,較BertCNN提升了11.47%,較TiBert提升了2.75%。實驗結果再次說明了融入動態(tài)多頭注意力機制思想的語言模型的有效性。

    表7 hs、hl動態(tài)取8、12時語言模型評價指標

    表8 不同模型在長文本分類任務上的實驗結果對比

    表9 不同模型在短文本分類任務上的實驗結果對比

    5 結束語

    本文主要針對不同詞數(shù)的句子均由相同頭數(shù)的注意力機制進行特征學習這一情況,提出了動態(tài)獲取注意力機制頭數(shù)的思想。并在TNCC數(shù)據(jù)集文本分類任務上分別進行了實驗,實驗結果表明,應用了動態(tài)多頭注意力機制的語言模型效果最優(yōu)。

    與前人的模型相比,本文模型在不同任務的Macro_F1值均提升了2%以上,再次驗證了該文方法的有效性。在未來的工作中,將繼續(xù)研究注意力機制頭數(shù)與句子長度的關系,并進一步擴大語言模型訓練語料的規(guī)模,或者利用語料較多的中、英文數(shù)據(jù)檢驗本文的方法,并在權威數(shù)據(jù)上驗證其效果。

    猜你喜歡
    頭數(shù)藏文注意力
    讓注意力“飛”回來
    中藥復方治療牛病毒性腹瀉的臨床效果觀察
    豬場績效指標“有效母豬飼養(yǎng)頭數(shù)”的探討
    西藏大批珍貴藏文古籍實現(xiàn)“云閱讀”
    布達拉(2020年3期)2020-04-13 10:00:07
    黑水城和額濟納出土藏文文獻簡介
    西夏學(2019年1期)2019-02-10 06:22:34
    “揚眼”APP:讓注意力“變現(xiàn)”
    傳媒評論(2017年3期)2017-06-13 09:18:10
    藏文音節(jié)字的頻次統(tǒng)計
    A Beautiful Way Of Looking At Things
    現(xiàn)代語境下的藏文報刊
    新聞傳播(2016年17期)2016-07-19 10:12:05
    畫圖·分組·計算
    在线免费观看不下载黄p国产 | 在线观看午夜福利视频| 婷婷六月久久综合丁香| 国产三级中文精品| 久久香蕉精品热| 搡老熟女国产l中国老女人| 国内久久婷婷六月综合欲色啪| 啦啦啦啦在线视频资源| 美女cb高潮喷水在线观看| 亚洲性夜色夜夜综合| 长腿黑丝高跟| 久久精品影院6| 亚洲美女视频黄频| 日本色播在线视频| 麻豆久久精品国产亚洲av| 白带黄色成豆腐渣| 国产亚洲精品av在线| 成人美女网站在线观看视频| 国产亚洲欧美98| 亚洲最大成人手机在线| 中亚洲国语对白在线视频| 搡老妇女老女人老熟妇| 最近视频中文字幕2019在线8| 国产欧美日韩精品亚洲av| 国产一区二区在线av高清观看| 美女黄网站色视频| 欧美黑人欧美精品刺激| 美女高潮喷水抽搐中文字幕| 男女下面进入的视频免费午夜| 国产爱豆传媒在线观看| 中文亚洲av片在线观看爽| 九九在线视频观看精品| 国产精品国产高清国产av| 中文字幕av在线有码专区| 尾随美女入室| 国产伦精品一区二区三区四那| 一本精品99久久精品77| 久久久久久久久久久丰满| 啦啦啦啦在线视频资源| 色视频www国产| 午夜精品国产一区二区电影| 亚洲国产成人一精品久久久| 久久久久久人妻| 最近最新中文字幕大全电影3| 六月丁香七月| 久久 成人 亚洲| 秋霞在线观看毛片| 一个人免费看片子| 人妻制服诱惑在线中文字幕| 精品人妻偷拍中文字幕| 亚洲伊人久久精品综合| 欧美日韩视频高清一区二区三区二| 99久久精品国产国产毛片| 欧美成人精品欧美一级黄| 久久久精品免费免费高清| 久久国产精品大桥未久av | 久久99精品国语久久久| 亚洲国产欧美在线一区| 青青草视频在线视频观看| 一级二级三级毛片免费看| 卡戴珊不雅视频在线播放| 日本爱情动作片www.在线观看| 人人妻人人添人人爽欧美一区卜 | 国产中年淑女户外野战色| 狂野欧美激情性bbbbbb| 乱系列少妇在线播放| 成年人午夜在线观看视频| 毛片女人毛片| 亚洲国产色片| 麻豆精品久久久久久蜜桃| 久久精品久久久久久久性| 欧美3d第一页| 在线亚洲精品国产二区图片欧美 | 成人黄色视频免费在线看| 观看av在线不卡| 日本wwww免费看| 国内揄拍国产精品人妻在线| 久久久久久伊人网av| 亚洲国产精品专区欧美| 日本wwww免费看| 亚洲av男天堂| 日韩大片免费观看网站| 欧美精品国产亚洲| 日韩av免费高清视频| 国产精品精品国产色婷婷| 卡戴珊不雅视频在线播放| 久久韩国三级中文字幕| 一级毛片我不卡| 亚洲av免费高清在线观看| 久久精品夜色国产| 久久久久国产精品人妻一区二区| a级毛色黄片| 欧美 日韩 精品 国产| 大又大粗又爽又黄少妇毛片口| 午夜免费观看性视频| 国产精品国产av在线观看| 80岁老熟妇乱子伦牲交| 亚洲欧美成人精品一区二区| 97超碰精品成人国产| 久久av网站| 精品人妻一区二区三区麻豆| 如何舔出高潮| 亚洲精品第二区| 久久精品国产鲁丝片午夜精品| 男人狂女人下面高潮的视频| 国产人妻一区二区三区在| 国产淫片久久久久久久久| 亚洲成人一二三区av| 男女无遮挡免费网站观看| 内射极品少妇av片p| 欧美变态另类bdsm刘玥| 免费少妇av软件| 国产成人精品一,二区| 中文字幕人妻熟人妻熟丝袜美| 欧美成人午夜免费资源| 亚洲精品456在线播放app| 久久99热6这里只有精品| 水蜜桃什么品种好| 简卡轻食公司| 男人爽女人下面视频在线观看| 99久国产av精品国产电影| 亚洲精品国产av成人精品| 亚洲高清免费不卡视频| 91精品伊人久久大香线蕉| 亚洲va在线va天堂va国产| 国内精品宾馆在线| 在线亚洲精品国产二区图片欧美 | 欧美亚洲 丝袜 人妻 在线| 国产 一区精品| 亚洲成人中文字幕在线播放| 国产女主播在线喷水免费视频网站| 国产免费福利视频在线观看| 汤姆久久久久久久影院中文字幕| av.在线天堂| 天天躁夜夜躁狠狠久久av| 1000部很黄的大片| 1000部很黄的大片| 午夜福利在线观看免费完整高清在| 日产精品乱码卡一卡2卡三| 草草在线视频免费看| 一级片'在线观看视频| 人人妻人人添人人爽欧美一区卜 | 欧美国产精品一级二级三级 | 综合色丁香网| 国产精品久久久久久av不卡| 国产片特级美女逼逼视频| 在线免费观看不下载黄p国产| 18禁动态无遮挡网站| 国产在线一区二区三区精| 日本欧美视频一区| 日韩,欧美,国产一区二区三区| 高清午夜精品一区二区三区| 免费人妻精品一区二区三区视频| 色婷婷av一区二区三区视频| 黑人高潮一二区| 精品久久久久久久久亚洲| 国产真实伦视频高清在线观看| 中国三级夫妇交换| 国产男人的电影天堂91| 男女边吃奶边做爰视频| 在线观看国产h片| 国产高清有码在线观看视频| 性色avwww在线观看| 国产精品嫩草影院av在线观看| 51国产日韩欧美| 欧美3d第一页| 国产成人a区在线观看| 国产在线男女| 精品少妇黑人巨大在线播放| 伦理电影大哥的女人| 黄色配什么色好看| 色网站视频免费| 中文天堂在线官网| 国产一区二区三区av在线| 国产精品秋霞免费鲁丝片| 国产欧美另类精品又又久久亚洲欧美| 夫妻午夜视频| 校园人妻丝袜中文字幕| 欧美xxxx黑人xx丫x性爽| 国产精品一二三区在线看| 久久精品国产鲁丝片午夜精品| 联通29元200g的流量卡| 国产精品一区二区三区四区免费观看| 中文天堂在线官网| 日韩不卡一区二区三区视频在线| 中文精品一卡2卡3卡4更新| 少妇裸体淫交视频免费看高清| 中文字幕精品免费在线观看视频 | 人妻少妇偷人精品九色| 秋霞在线观看毛片| 成年av动漫网址| 日韩欧美一区视频在线观看 | 国产成人午夜福利电影在线观看| 成人高潮视频无遮挡免费网站| 男女啪啪激烈高潮av片| 男女下面进入的视频免费午夜| av一本久久久久| 一级毛片电影观看| 97在线视频观看| 国产亚洲91精品色在线| 有码 亚洲区| 美女内射精品一级片tv| 国产视频内射| 中文字幕久久专区| 尾随美女入室| 欧美区成人在线视频| 91午夜精品亚洲一区二区三区| 成人国产av品久久久| 日日摸夜夜添夜夜添av毛片| 人妻制服诱惑在线中文字幕| 国产乱人视频| 一本—道久久a久久精品蜜桃钙片| 搡老乐熟女国产| 色婷婷久久久亚洲欧美| 国产精品蜜桃在线观看| a级一级毛片免费在线观看| 精品国产一区二区三区久久久樱花 | 纯流量卡能插随身wifi吗| 国产欧美日韩精品一区二区| 亚洲最大成人中文| 男女啪啪激烈高潮av片| 又大又黄又爽视频免费| 午夜免费鲁丝| 秋霞在线观看毛片| 亚洲第一av免费看| 美女脱内裤让男人舔精品视频| 在线观看av片永久免费下载| 亚洲精品乱久久久久久| 欧美日韩视频高清一区二区三区二| 美女cb高潮喷水在线观看| 男人狂女人下面高潮的视频| 在线观看免费视频网站a站| 国产精品久久久久久久电影| 亚洲精品日韩在线中文字幕| 婷婷色综合大香蕉| 97超视频在线观看视频| 久久 成人 亚洲| 熟女人妻精品中文字幕| 精品99又大又爽又粗少妇毛片| 成人综合一区亚洲| 人妻制服诱惑在线中文字幕| 亚洲欧美一区二区三区黑人 | 91在线精品国自产拍蜜月| 春色校园在线视频观看| 色视频www国产| 久久久a久久爽久久v久久| 91精品一卡2卡3卡4卡| 欧美最新免费一区二区三区| 久久精品人妻少妇| 99热网站在线观看| 亚洲av电影在线观看一区二区三区| 亚洲成人手机| 免费黄色在线免费观看| 久久精品国产a三级三级三级| 日韩一区二区视频免费看| 女人久久www免费人成看片| 22中文网久久字幕| 欧美精品国产亚洲| 51国产日韩欧美| 亚洲欧美成人精品一区二区| 精品国产露脸久久av麻豆| 99久久中文字幕三级久久日本| 美女cb高潮喷水在线观看| 国产大屁股一区二区在线视频| h日本视频在线播放| 国产精品福利在线免费观看| 男女边吃奶边做爰视频| 日韩欧美精品免费久久| 久热久热在线精品观看| 亚洲在久久综合| 国产一区二区三区av在线| 日韩大片免费观看网站| 久久综合国产亚洲精品| 久久久久国产精品人妻一区二区| 亚洲av在线观看美女高潮| 人人妻人人爽人人添夜夜欢视频 | 亚洲国产精品国产精品| 伦精品一区二区三区| 婷婷色麻豆天堂久久| 777米奇影视久久| 性色avwww在线观看| 亚洲国产成人一精品久久久| 欧美人与善性xxx| 男女啪啪激烈高潮av片| 一本色道久久久久久精品综合| 免费观看性生交大片5| 一级黄片播放器| 欧美一级a爱片免费观看看| 成人亚洲欧美一区二区av| 丰满人妻一区二区三区视频av| 欧美日韩国产mv在线观看视频 | 午夜福利在线在线| 精品久久久久久久久av| 女性被躁到高潮视频| 国产 一区 欧美 日韩| 免费观看av网站的网址| 久久久久久伊人网av| 久久午夜福利片| 亚洲av不卡在线观看| 91精品一卡2卡3卡4卡| 精华霜和精华液先用哪个| 亚洲av电影在线观看一区二区三区| 乱系列少妇在线播放| 亚洲第一av免费看| 伊人久久精品亚洲午夜| 欧美最新免费一区二区三区| 亚洲天堂av无毛| 亚洲内射少妇av| 日日摸夜夜添夜夜爱| 久久精品久久久久久久性| 亚洲精华国产精华液的使用体验| 日韩人妻高清精品专区| 一本—道久久a久久精品蜜桃钙片| 91在线精品国自产拍蜜月| 久久久久性生活片| av国产免费在线观看| 日本-黄色视频高清免费观看| 国产精品av视频在线免费观看| 午夜福利影视在线免费观看| 日韩视频在线欧美| 亚洲一区二区三区欧美精品| 久久影院123| 妹子高潮喷水视频| 国产在线视频一区二区| 成人国产麻豆网| 国产精品久久久久久av不卡| 九九爱精品视频在线观看| 国产成人精品福利久久| 色婷婷av一区二区三区视频| av不卡在线播放| 亚洲国产毛片av蜜桃av| av在线蜜桃| 亚洲自偷自拍三级| 久久久色成人| 国产欧美日韩精品一区二区| 亚洲精品乱码久久久久久按摩| 成人特级av手机在线观看| 三级国产精品片| 一个人看视频在线观看www免费| 街头女战士在线观看网站| 视频中文字幕在线观看| 如何舔出高潮| 免费av不卡在线播放| 美女国产视频在线观看| 亚洲国产最新在线播放| 在线观看一区二区三区激情| 两个人的视频大全免费| 男女国产视频网站| 99热这里只有是精品在线观看| 亚洲性久久影院| 精品人妻视频免费看| av在线播放精品| 欧美日韩亚洲高清精品| av福利片在线观看| 国产精品人妻久久久影院| 简卡轻食公司| 国产午夜精品一二区理论片| 亚洲精品自拍成人| 水蜜桃什么品种好| 夜夜爽夜夜爽视频| 欧美精品人与动牲交sv欧美| 18禁在线播放成人免费| 成人二区视频| 网址你懂的国产日韩在线| 国产精品一及| 18禁裸乳无遮挡免费网站照片| 久久国产精品男人的天堂亚洲 | 国产男女超爽视频在线观看| 免费不卡的大黄色大毛片视频在线观看| 日韩 亚洲 欧美在线| 亚洲欧美成人精品一区二区| 日韩制服骚丝袜av| 女性被躁到高潮视频| 十八禁网站网址无遮挡 | 欧美日韩精品成人综合77777| 插阴视频在线观看视频| 亚洲丝袜综合中文字幕| 日韩av不卡免费在线播放| 少妇裸体淫交视频免费看高清| 国产欧美日韩一区二区三区在线 | 国精品久久久久久国模美| 亚洲av不卡在线观看| 九九在线视频观看精品| 国国产精品蜜臀av免费| 啦啦啦啦在线视频资源| 久久女婷五月综合色啪小说| 亚洲精品乱久久久久久| 国产片特级美女逼逼视频| 人人妻人人看人人澡| 亚洲国产av新网站| av女优亚洲男人天堂| 18+在线观看网站| 五月伊人婷婷丁香| 99久久精品国产国产毛片| 国产伦精品一区二区三区四那| 久久99精品国语久久久| 日本av手机在线免费观看| 在线观看一区二区三区激情| 国产极品天堂在线| 插阴视频在线观看视频| 成人午夜精彩视频在线观看| 国产一区二区三区av在线| 国模一区二区三区四区视频| 久久毛片免费看一区二区三区| 精品久久久久久久久亚洲| 综合色丁香网| 国产在线一区二区三区精| 欧美xxⅹ黑人| 搡老乐熟女国产| 高清毛片免费看| 制服丝袜香蕉在线| 成人特级av手机在线观看| 一级av片app| 成人亚洲欧美一区二区av| 在线观看三级黄色| 最近2019中文字幕mv第一页| 国产伦理片在线播放av一区| 精品国产乱码久久久久久小说| 欧美xxxx黑人xx丫x性爽| 国产日韩欧美在线精品| 日韩av在线免费看完整版不卡| 午夜免费鲁丝| 精品人妻一区二区三区麻豆| 高清黄色对白视频在线免费看 | 日本vs欧美在线观看视频 | 成人无遮挡网站| 夜夜爽夜夜爽视频| 欧美亚洲 丝袜 人妻 在线| 久久久久久久精品精品| 精品一区二区三卡| 深夜a级毛片| 国产亚洲精品久久久com| kizo精华| 99久久中文字幕三级久久日本| 国产无遮挡羞羞视频在线观看| 肉色欧美久久久久久久蜜桃| 色哟哟·www| 久久久久久人妻| 在线观看av片永久免费下载| 亚洲成人手机| 精品视频人人做人人爽| av国产免费在线观看| 国产淫片久久久久久久久| 国产精品一区二区在线观看99| 搡老乐熟女国产| 午夜免费观看性视频| 18禁在线播放成人免费| 乱系列少妇在线播放| 色综合色国产| 亚洲欧洲日产国产| 免费黄网站久久成人精品| 国产乱人视频| 毛片一级片免费看久久久久| a级一级毛片免费在线观看| 成人国产麻豆网| 一级黄片播放器| 免费观看av网站的网址| 伦理电影免费视频| 国产精品麻豆人妻色哟哟久久| 精华霜和精华液先用哪个| 亚洲人与动物交配视频| 高清午夜精品一区二区三区| 人人妻人人添人人爽欧美一区卜 | 久久久久久久久久久免费av| 99九九线精品视频在线观看视频| 成人美女网站在线观看视频| 99久久精品热视频| 色视频www国产| 日韩人妻高清精品专区| 高清欧美精品videossex| 内射极品少妇av片p| 亚洲内射少妇av| 久久精品国产亚洲av天美| 91aial.com中文字幕在线观看| 国产中年淑女户外野战色| 人妻夜夜爽99麻豆av| 欧美成人一区二区免费高清观看| 亚洲欧美日韩东京热| 久久久久人妻精品一区果冻| 男女无遮挡免费网站观看| 高清日韩中文字幕在线| 欧美日韩亚洲高清精品| 午夜福利在线在线| 下体分泌物呈黄色| .国产精品久久| 少妇猛男粗大的猛烈进出视频| 午夜视频国产福利| 国产一区亚洲一区在线观看| 国产久久久一区二区三区| 蜜臀久久99精品久久宅男| 综合色丁香网| kizo精华| 精品久久久久久久久av| tube8黄色片| 成人国产麻豆网| 欧美 日韩 精品 国产| 这个男人来自地球电影免费观看 | 国产精品久久久久久久久免| 日韩av在线免费看完整版不卡| 亚洲精品日本国产第一区| 99精国产麻豆久久婷婷| 卡戴珊不雅视频在线播放| 十八禁网站网址无遮挡 | 久久久久人妻精品一区果冻| 亚洲三级黄色毛片| 色婷婷av一区二区三区视频| 国产爽快片一区二区三区| 免费观看a级毛片全部| 免费在线观看成人毛片| 大话2 男鬼变身卡| 日韩免费高清中文字幕av| 成人亚洲精品一区在线观看 | 久久99热6这里只有精品| 国产高潮美女av| 久久久色成人| 全区人妻精品视频| 能在线免费看毛片的网站| av福利片在线观看| 99久久综合免费| 人人妻人人澡人人爽人人夜夜| 青春草亚洲视频在线观看| 国产av一区二区精品久久 | 婷婷色综合www| 夫妻性生交免费视频一级片| 91精品国产国语对白视频| 亚洲色图av天堂| 日本爱情动作片www.在线观看| 亚洲性久久影院| 我要看日韩黄色一级片| a级一级毛片免费在线观看| 又粗又硬又长又爽又黄的视频| 国产高清三级在线| 最近最新中文字幕免费大全7| 高清在线视频一区二区三区| 亚洲av成人精品一二三区| 国产91av在线免费观看| 精品久久久久久久久亚洲| 纯流量卡能插随身wifi吗| 婷婷色综合大香蕉| 极品教师在线视频| 26uuu在线亚洲综合色| 国产爽快片一区二区三区| 国内揄拍国产精品人妻在线| 18禁动态无遮挡网站| 在线观看一区二区三区| 久久久久久久大尺度免费视频| 最黄视频免费看| 狠狠精品人妻久久久久久综合| 少妇丰满av| 亚洲精品乱码久久久v下载方式| 亚洲国产av新网站| 精品人妻一区二区三区麻豆| 少妇丰满av| 91精品国产九色| 观看av在线不卡| 狠狠精品人妻久久久久久综合| 国产精品秋霞免费鲁丝片| 丝瓜视频免费看黄片| 亚洲综合色惰| 观看免费一级毛片| 亚洲自偷自拍三级| a级一级毛片免费在线观看| 91久久精品国产一区二区三区| 99久久精品一区二区三区| 一级毛片电影观看| kizo精华| 午夜免费鲁丝| 看十八女毛片水多多多| 亚洲综合精品二区| 午夜福利在线观看免费完整高清在| 热99国产精品久久久久久7| 中文天堂在线官网| 久久精品国产亚洲网站| 蜜臀久久99精品久久宅男| 妹子高潮喷水视频| 少妇被粗大猛烈的视频| 亚洲精品中文字幕在线视频 | 不卡视频在线观看欧美| 久久青草综合色| 成人亚洲欧美一区二区av| 久久国内精品自在自线图片| av在线蜜桃| 欧美xxxx性猛交bbbb| 亚洲欧美精品专区久久| 亚洲精品国产av蜜桃| 久久99热这里只有精品18| 精品亚洲成国产av| 亚洲自偷自拍三级| 人妻 亚洲 视频| 黑人猛操日本美女一级片| 国产又色又爽无遮挡免| 2018国产大陆天天弄谢| 99久久精品一区二区三区| 欧美性感艳星| 日韩国内少妇激情av| 啦啦啦视频在线资源免费观看| 亚洲av二区三区四区| 王馨瑶露胸无遮挡在线观看| 夜夜看夜夜爽夜夜摸| 精品人妻熟女av久视频| 自拍偷自拍亚洲精品老妇| 成年av动漫网址| 99久久中文字幕三级久久日本| 国产高清三级在线| 日本猛色少妇xxxxx猛交久久| av视频免费观看在线观看| 国产精品爽爽va在线观看网站| 国产毛片在线视频| 久久精品久久精品一区二区三区| 国产黄片美女视频| 夜夜骑夜夜射夜夜干| 天天躁夜夜躁狠狠久久av| 99热这里只有是精品在线观看| 亚洲成人中文字幕在线播放| 精品亚洲乱码少妇综合久久|