• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于平滑采樣和改進損失的不平衡文本分類

    2023-12-10 19:29:18梁健力商豪
    關(guān)鍵詞:文本分類

    梁健力 商豪

    [收稿日期]20210923

    [第一作者]梁健力(1996-),男,廣東佛山人,湖北工業(yè)大學(xué)碩士研究生,研究方向為數(shù)據(jù)挖掘

    [通信作者]商豪(1982-),女,湖北羅田人,湖北工業(yè)大學(xué)副教授,研究方向為隨機分析與算法

    [文章編號]1003-4684(2023)02-0033-07

    [摘要]在不平衡數(shù)據(jù)下,文本分類模型容易把樣本數(shù)量較少的類別錯分成數(shù)量較多的類別。在采樣層面上提出一種平滑采樣方法,在損失函數(shù)層面上根據(jù)不平衡分布改進交叉熵損失和標簽平滑。復(fù)旦文本數(shù)據(jù)集上的實驗表明,每種層面的改進都較基準模型有一定提高。當(dāng)結(jié)合使用采樣和損失函數(shù)的改進時,TextCNN、BiLSTM+Attention、TextRCNN和HAN模型在宏平均F1值上分別提高4.17%、5.13%、5.06%和6.21%,在G-mean上分別提高6.56%、3.03%、3.92%和5.32%,較好解決了不平衡數(shù)據(jù)下文本分類任務(wù)。

    [關(guān)鍵詞]文本分類; 不平衡比例; 平滑采樣; 損失函數(shù)

    [中圖分類號]TP391? [文獻標識碼]A

    文本分類是自然語言處理領(lǐng)域中一項基礎(chǔ)又重要的任務(wù),可用于情感分析、新聞分類和意圖識別等應(yīng)用場景,也可以為搜索、排序等大型的復(fù)雜系統(tǒng)提供技術(shù)支持。從傳統(tǒng)的手工特征結(jié)合分類器[1-2]的機器學(xué)習(xí)時代,再到使用循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network)[3-5]、卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network)[6]和大規(guī)模預(yù)訓(xùn)練語言模型(Pretrained Language Model)[7-8]對數(shù)據(jù)進行自動學(xué)習(xí)的深度學(xué)習(xí)時代,模型不斷被創(chuàng)新和優(yōu)化,文本分類效果得到了飛躍性的突破。例如,TextCNN[6]汲取N元語法(n-gram)[9]的思想,使用不同大小的卷積核來捕捉句子中的局部信息,取得了當(dāng)時文本分類最好的結(jié)果。TextRCNN[10]在雙向長短時記憶網(wǎng)絡(luò)(BiLSTM)的基礎(chǔ)上,使用1×1卷積核在通道維度上進行卷積運算,并通過時序全局最大池化獲取重要特征。帶注意力機制的雙向長短時記憶網(wǎng)絡(luò)(BiLSTM-Attention)[11]在充分利用RNNs的時序建模優(yōu)良性的同時,使用長短時記憶網(wǎng)絡(luò)(LSTM)和注意力機制來緩解梯度消失的問題,進一步提升模型的效果。HAN[12]模型利用注意力機制,從單詞層面和句子層面對文檔進行分類,從而捕捉句子中的重要詞匯以及文檔中的重要句子,獲取較好的分類效果。

    然而,文本分類性能的提升與訓(xùn)練數(shù)據(jù)的質(zhì)量、規(guī)模以及類別平衡性有著一定的關(guān)系。當(dāng)出現(xiàn)數(shù)據(jù)標簽不平衡時,由于每個訓(xùn)練樣本對目標函數(shù)的貢獻均等,模型在學(xué)習(xí)過程中會主動偏向樣本數(shù)量較多的類別標簽。一方面相當(dāng)于模型對多數(shù)類別有著更大的權(quán)重,另一方面也意味著模型對多數(shù)類別過擬合。但測試階段所采用的評價指標對多數(shù)類別與少數(shù)類別都同等看待,最終導(dǎo)致在類別不平衡的場景下,訓(xùn)練結(jié)果與實際的測試結(jié)果相差甚遠。

    由于現(xiàn)實收集的數(shù)據(jù)基本都存在類別不平衡的現(xiàn)象,需要進一步研究在類別不平衡場景下的文本分類。過去機器學(xué)習(xí)和深度學(xué)習(xí)時代,主要通過3種方式來處理類別不平衡的問題,即對原始數(shù)據(jù)進行重抽樣[13-16]、修改損失函數(shù)[17-18]以及采用集成學(xué)習(xí)算法[19]。在采樣方法上,本文利用數(shù)據(jù)的不平衡比例,基于指數(shù)平滑的思想,提出了一種降低數(shù)據(jù)不平衡度的平滑重抽樣方法;在損失函數(shù)上,以不平衡分布來改進標簽平滑以及交叉熵損失,提出了一種結(jié)合不平衡分布和標簽平滑的交叉熵損失函數(shù)以提升文本分類的效果。同時結(jié)合采樣方法和在損失函數(shù)上的改進,深度學(xué)習(xí)模型對不平衡數(shù)據(jù)的分類能力得到進一步提升。

    1??? 方法設(shè)計

    1.1??? 采樣方法

    在過去,無論是機器學(xué)習(xí)中的經(jīng)典采樣方法,還是深度學(xué)習(xí)中的數(shù)據(jù)增強方法,對不平衡數(shù)據(jù)采樣后是否配平并沒有統(tǒng)一的定論。有的學(xué)者采用完全配平的方式來完成樣本的重抽樣,有的則認為這種配平方式可能會損害最終的分類效果。所以,在采樣后保持多大的不平衡比例仍然是一個需要深入研究的問題。但總體來看,增加數(shù)據(jù)量、降低數(shù)據(jù)的不平衡度對文本分類效果有一定增益。

    指數(shù)平滑多用于時間序列,其是對歷史觀測值按時間進行加權(quán)平均作為當(dāng)前時間的預(yù)測值。雖然訓(xùn)練數(shù)據(jù)的不平衡比例序列和時間并沒有關(guān)聯(lián),但由于指數(shù)平滑具有一定的平滑數(shù)據(jù)功能,能夠在降低不平衡比例的同時,保證平滑后的類別不平衡度與平滑前有相似的分布。本文提出的平滑采樣方法的定義如下:

    假設(shè)原始數(shù)據(jù)有k個類別,記為c1,c2,…,ck。記#ci為第i個類別的樣本數(shù)量,其中i取1,2,…,k,可定義各類別的不平衡比例如下:

    θi=#cimin(#c1,#c2,…,#ck)

    對于k個類別可得到長度為k的不平衡序列{θt}kt=1,將該序列從小到大排序得到有序的不平衡序列{θ′t}kt=1,根據(jù)指數(shù)平滑思想計算不平衡序列的平滑值,其中t取1,2,…,k:

    vt=0,t=0βvt-1+(1-β)θ′t,t≥1

    修正平滑值,其中t取1,2,…,k:

    v′t=vt1-βt

    根據(jù)修正后的平滑值與原始的不平衡比例,可計算各類別中欠采樣(式(1))與過采樣(式(2))的比例,其中minv′tθ′tkt=1是指k個欠采樣比例的最小值,且t取1,2,…,k:

    dt=v′tθ′t(1)

    ot=v′tθ′t/minv′tθ′tkt=1(2)

    由于式(2)并不能保證過采樣比例大于1,因此對過采樣比例ot進行修正,使得修正后的過采樣比例恒大于1。

    o′t=ot+log1ot

    1.2??? 損失函數(shù)

    在深度學(xué)習(xí)模型訓(xùn)練中,由于需要使用損失函數(shù)根據(jù)正向傳播的結(jié)果計算出誤差,再進行反向傳播實現(xiàn)梯度更新,因此模型的效果往往跟選用何種損失函數(shù)有一定關(guān)系,好的損失函數(shù)可能會帶來性能上的提升。在文本分類問題上,一般采用交叉熵損失,其具體定義如下:

    loss=-1N∑Nn=1∑kc=1y(n)clog(n)c(3)

    假定訓(xùn)練數(shù)據(jù)中有k個類別,一個批的樣本數(shù)量為N,記類別c的獨熱編碼向量為yhot,其具體形式為[I(1=c),I(2=c),…,I(k=c)]T。使用y(n)c來代表批中第n個樣本是否屬于第c個類別,其中y(n)c∈{0,1}。而(n)c表示該樣本屬于第c個類別的預(yù)測概率。

    由于交叉熵損失對多數(shù)類樣本和少數(shù)類樣本的錯誤同等看待,為了使模型在訓(xùn)練過程中更加關(guān)注少數(shù)類別,本文根據(jù)訓(xùn)練數(shù)據(jù)的不平衡分布對交叉熵損失進行改進,記原始數(shù)據(jù)或采樣數(shù)據(jù)的類別不平衡比例為{θc}kc=1,對于改進后的帶不平衡分布的交叉熵損失

    weight_loss=-1N∑Nn=1∑kc=11θcy(n)clog(n)c

    此外,為了防止模型在訓(xùn)練過程中對標簽的預(yù)測過于自信,本文還對損失函數(shù)引入標簽平滑[20]的正則化方式。其結(jié)合均勻分布的思想來修改傳統(tǒng)的獨熱編碼向量,可以減少類內(nèi)距離,增加類間距離,從而提升模型的泛化能力[21]。記α為平滑值,標簽平滑的具體形式為:

    y(i)smooth=1-α,i=targetα/(k-1),i≠target(4)

    但在不平衡數(shù)據(jù)中,各類別標簽的分布并不均勻,因此本文使用數(shù)據(jù)不平衡比例對標簽平滑進行改進。首先利用原始的不平衡比例序列{θi}ki=1求出用于標簽平滑的不平衡比例序列θ(i)smoothki=1,其具體形式如下:

    θ(i)smooth=0,i=target1θi,i≠target

    對不平衡序列θ(i)smoothki=1進行歸一化處理,可得到改進后的標簽平滑向量y′smooth,其元素值

    y′(i)smooth=1-α,i=targetα·softmax(θsmooth)(i),i≠target(4)

    結(jié)合式(3)和式(4),可得到用帶不平衡分布的標簽平滑來改進交叉熵損失的形式:

    smooth_loss=1N∑Nn=1∑kc=1y(n)smooth,clogc(n)

    最后將帶不平衡分布的交叉熵損失和帶改進標簽平滑的交叉熵損失加權(quán)平均,得到本文最終提出的損失函數(shù),其具體形式如下:

    our_loss=βweight_loss+(1-β)smooth_loss

    其中β是需要調(diào)節(jié)的超參數(shù)。當(dāng)β等于1時,該損失函數(shù)退化為帶不平衡分布的交叉熵損失;當(dāng)β等于0時,該損失函數(shù)退化為帶改進標簽平滑的交叉熵損失。

    2??? 實驗設(shè)置

    2.1??? 實驗數(shù)據(jù)集

    實驗數(shù)據(jù)集主要采用復(fù)旦大學(xué)的文本分類語料庫,其包含9804個訓(xùn)練文檔與9833個測試文檔,并涵蓋了20個主題類別。其中,原始數(shù)據(jù)中各類別的樣本數(shù)量和文檔長度差異較大,數(shù)量不平衡比例高達64∶1。此外,數(shù)據(jù)集中有大量的重復(fù)數(shù)據(jù),且部分文檔并沒有包含實質(zhì)性的內(nèi)容。因此,本文先對原始數(shù)據(jù)集進行數(shù)據(jù)清洗,并提取文檔中的正文部分進行分析。清洗后的訓(xùn)練集和測試集包含8184和8197個文檔,訓(xùn)練數(shù)據(jù)的不平衡比例降為54.84∶1。訓(xùn)練集清洗前后的數(shù)量和文檔字符長度分布如圖1所示。

    (a)原始訓(xùn)練數(shù)據(jù)集的類別分布/比例

    (b)清洗訓(xùn)練數(shù)據(jù)集的類別分布/比例

    (c)原始訓(xùn)練數(shù)據(jù)集的字符長度分布

    (d)清洗訓(xùn)練數(shù)據(jù)集的字符長度分布圖 1??? 訓(xùn)練集清洗前后數(shù)量和字符長度分布

    此外,在模型訓(xùn)練和測試前,還需要對文本進行分詞和去除停用詞。本文使用jieba分詞工具對清洗后的訓(xùn)練集和測試集進行分詞,并引入停詞表對其進行去停詞處理。

    2.2??? 評價指標

    準確率(accuracy)是衡量模型好壞的標準之一。但當(dāng)數(shù)據(jù)是類別不平衡或者不同類別的錯誤所造成的后果不同的時候,準確率這一指標實際并不適用。通常來說,模型的分類性能應(yīng)綜合使用查全率和查準率進行度量。此外,也有學(xué)者建議使用G-mean來度量模型在不平衡數(shù)據(jù)中的表現(xiàn)。因此,本文將把宏F1和G-mean作為主要的性能評價指標,多分類情況下的性能指標定義如下:

    假設(shè)數(shù)據(jù)集中有k個類別,Ck×k為分類的混淆矩陣,Cij為該矩陣中的第i行第j列的元素,其中i,j∈{1,2,…,k}。記Ci.=[Ci1,Ci2,…,Cik]T,C.j=[C1j,C2j,…,Ckj]T,可計算各類別中真正例(TPv)、假正例(FPv)、真反例(TNv)、假反例(FNv)向量:

    TPv=diag(Ck×k)=[C11,C22,…,Ckk]T

    FPv=∑ki=1Ci.-diag(Ck×k)

    FNv=∑kj=1C.j-diag(Ck×k)

    TNv=[∑i∑jCk×k,…,∑i∑jCk×k]k×1-(TPv+FPv+FNv)

    根據(jù)TPv、FPv、TNv和FNv可計算宏查準率(macro-Pv)、宏查全率(macro-Rv)和宏特異度(macro-Sv)向量為:

    macro-Pv=TPvTPv+FPv

    macro-Rv=TPvTPv+FNv

    macro-Sv=TNvTNv+FPv

    根據(jù)向量macro-Pv、macro-Rv和macro-Sv可計算得到本文使用的宏F1和G-mean:

    macro-F1=1k∑2×macro-Pv⊙macro-Rvmacro-Pv+macro-Rv

    G-mean=1k∑macro-Rv⊙macro-Sv

    2.3??? 文本分類模型

    為了呈現(xiàn)改進方法的效果,本文將使用BiLSTM-Attention、TextCNN、TextRCNN和HAN等幾個較先進的深度學(xué)習(xí)模型來進行實驗。

    1)設(shè)置BiLSTM-Attention模型的輸入序列長度、詞向量維度、隱藏層單元數(shù)和隱藏層數(shù)量分別為2000、200、200和2。

    2)對于TextCNN模型,本文使用窗寬為3、4、5的卷積核來提取特征,每組不同卷積核的輸出維度都為200。此外,設(shè)置模型輸入的序列長度為3000,詞向量維度為200,模型的輸入維度為400。其中,模型的輸入由兩組序列詞向量合并而成,一組為固定的詞向量,一組隨著模型的訓(xùn)練而更新。

    3)本文設(shè)置TextRCNN模型的輸入序列長度為3000,詞向量維度為200,BiLSTM模塊的隱藏層單元數(shù)和隱藏層數(shù)量分別為100和1,卷積模塊的輸出維度為300。其中將BiLSTM模塊的輸出和原始序列的詞向量在通道維度上進行連接,作為卷積模塊的輸入。

    4)本文設(shè)置HAN模型的單個文檔中的最大句子數(shù)和句子中的最大單詞數(shù)分別為20、80,雙向門控循環(huán)神經(jīng)網(wǎng)絡(luò)(BiGRU)模塊的隱藏層單元數(shù)和隱藏層數(shù)量分別為200和1。

    由于復(fù)旦文本數(shù)據(jù)集中的文檔字符長度不一,因此,本文對較短的文檔進行補0,對較長的文檔從中間進行截取。在將文本轉(zhuǎn)化成詞向量的過程中,采用預(yù)訓(xùn)練的騰訊詞向量,其詞向量維度為200。在訓(xùn)練過程中,采用學(xué)習(xí)率衰減的方法,每更新1000步時進行一次衰減。此外,各種模型的輸出節(jié)點數(shù)都為20,Dropout的概率采用0.5,激活函數(shù)皆采用ReLU。

    3??? 實驗結(jié)果和分析

    為了單獨呈現(xiàn)采樣方法的效果,本文還將利用BOW、TFIDF、LDA和Fasttext來進行特征提取,并在經(jīng)過不同采樣處理的數(shù)據(jù)集上建模。在采樣方式上,本文分別進行隨機欠采樣、隨機過采樣和回譯過采樣三種實驗;在采樣比例上,本文采用0.44、0.74、0.86、0.9、0.96和0.98等6種采樣平滑值,并與原始比例以及完全配平的數(shù)據(jù)集實驗結(jié)果進行對照。為了避免其他數(shù)據(jù)增強方法對實驗結(jié)果的干擾,表1僅展示9種模型在不同隨機過采樣比例上的具體表現(xiàn),其余采樣方式的實驗結(jié)果如圖2所示。其中,9種模型對比系統(tǒng)如下。

    1)BOW:使用詞袋模型表示文本,特征維度為20 000,并用邏輯回歸(LR)和隨機森林(RF)對文本進行分類。

    2)TFIDF:使用詞頻逆詞頻表示文本,特征維度為20 000,并用支持向量機(SVM)和極端梯度提升樹(Xgboost)對進行文本分類。

    3)LDA:使用概率主題模型將文本映射到低維空間向量,再用RF和SVM進行分類,其中主題個數(shù)為130。

    4)Fasttext:先采用有監(jiān)督方式直接進行文本分類,再使用無監(jiān)督的方法生成文本詞向量,并用LR和SVM進行分類。

    由表1可以看出,9種模型系統(tǒng)的最佳結(jié)果皆在非原始比例數(shù)據(jù)集上取得。其中,完全配平的采樣方式更傾向于在BOW、TFIDF等稀疏的向量表示空間上取得更好的效果,但在LDA、Fasttext等稠密的低維空間上的表現(xiàn)甚至比原始比例數(shù)據(jù)集的效果差。這表明雖然不平衡比例的降低和樣本數(shù)量的增加會對模型效果有一定增益,但完全配平的方式會極大改變原始數(shù)據(jù)分布,可能會導(dǎo)致模型性能下降。此外,隨著采樣比例的調(diào)整,本文提出的采樣方法在9種模型系統(tǒng)上均取得比原始比例更好的效果。在BOW、LDA和Fasttext三種模型系統(tǒng)中,對比采樣平滑值0.74和0.98的結(jié)果,可發(fā)現(xiàn)后者都有一定的提升,但其不平衡比例從41.66下降到17.71,數(shù)據(jù)量卻基本保持不變,表明適當(dāng)降低不平衡比例可能會給模型帶來提升,尤其是在低維稠密的向量空間中。

    圖2a顯示不同采樣平滑值下各類別不平衡比例的變化情況。相比于完全配平,該采樣方式在降低不平衡比例的同時,仍保持與原始數(shù)據(jù)相似的分布。從圖2b可以看出,在絕大部分實驗?zāi)P椭?,欠采樣會極大地損害模型的性能,這是由于樣本數(shù)量的銳減使得文本中的重要信息缺失,從而導(dǎo)致分類效果的下降。而圖2c和d則表明,在過采樣時,采用回譯等其他增強方式可能會降低直接隨機復(fù)制樣本帶來的過擬合風(fēng)險,從而進一步提升分類的效果。

    圖 2??? 不同改進采樣方法在復(fù)旦數(shù)據(jù)集上的實驗結(jié)果

    為了進一步說明平滑采樣方法和帶不平衡分布與標簽平滑的損失函數(shù)的有效性,本文以TextCNN為基準,開展一系列的對比工作。表2和表3分別呈現(xiàn)使用預(yù)訓(xùn)練的騰訊詞向量前后,改進的采樣方法和損失函數(shù)較基準方法的提升。其中,CE和Smooth分別表示僅使用交叉熵損失和帶標簽平滑的交叉熵損失的情況;Weight_CE和Weight_Smooth分別代表利用不平衡分布改進的交叉熵損失和標簽平滑的情況;Weight_CE_Smooth是指結(jié)合使用帶不平衡分布的交叉熵損失和帶改進標簽平滑的交叉熵損失的結(jié)果,其中超參數(shù)選取0.9;+0.98是指TextCNN模型在利用0.98采樣平滑率得到的數(shù)據(jù)集下的建模效果,其中采樣方式默認為隨機過采樣,而trans表示使用回譯的方式來進行過采樣。表3呈現(xiàn)了本文實驗的最佳效果。

    從表2和表3可以看出,無論是單獨使用本文提出的采樣方法,還是單獨使用損失函數(shù)上的改進,其在宏F1和G-mean上都較基準模型上有一定的提升。而當(dāng)結(jié)合使用帶不平衡分布的交叉熵損失和帶改進標簽平滑的交叉熵損失時,文本分類效果能夠得到進一步改善。此外,當(dāng)融合采樣方法以及損失函數(shù)的改進時,模型在宏F1上會有進一步的提升,但相比只使用損失函數(shù)改進時,G-mean會有輕微下降。

    當(dāng)未使用預(yù)訓(xùn)練的騰訊詞向量時,本文提出的方法較基準模型分別在準確率、宏查全率、宏F1和G-mean上提升1.18%、10.12%、8.73%和7.49%,但在宏查準率上輕微損失了0.53%;當(dāng)使用預(yù)訓(xùn)練的騰訊詞向量時,本文提出的方法較基準模型在宏查全率上提升了10.21%,在宏F1上提升了4.17%,在G-mean上提升了6.56%,但在準確率和宏查準率上分別損失了0.23%和3.95%。

    圖3a展示了在使用預(yù)訓(xùn)練詞向量的情況下,本文使用的改進方法與基準模型在20個主題類別中的宏F1值對比。可以看出,改進方法在多數(shù)類別中保持與基準模型一致的分類效果,而其區(qū)分少數(shù)類別的性能有了較大的改善,從而提升了整體的分類效果。

    (a)改進方法和基準模型在各個主題上的實驗結(jié)果

    圖3b呈現(xiàn)了在不同采樣平滑率下聯(lián)合采樣方法和損失函數(shù)改進的模型效果??梢钥闯觯褂没刈g代替簡單隨機復(fù)制的過采樣方法,可以進一步提升模型的效果。

    (b)不同采樣比例下的方法結(jié)果對比圖 3??? 聯(lián)合改進方法在復(fù)旦數(shù)據(jù)集上的實驗結(jié)果

    為了表明改進方法的適用性,表4還顯示了BiLSTM+Attention、TextRCNN和HAN等3種模型在改進前后的效果對比。改進后的這3種深度學(xué)習(xí)模型都在宏F1和G-mean上有著較大的提升,且在準確率、宏查準率和宏查全率都沒有性能的損失。其中BiLSTM+Attention模型在宏F1上提升了5.31%、在G-mean上提升了3.03%;TextRCNN模型在宏F1和G-mean分別提升了5.06%和3.92%;HAN模型獲得了6.21%的宏F1和5.32%的G-mean性能提升。

    通過上述實驗結(jié)果可以看出,適當(dāng)降低不平衡比例,以及利用不平衡分布改進交叉熵損失和標簽平滑,可以提高少數(shù)類別的分類性能。此外,融合采樣方法和損失函數(shù)的改進能夠為整體的分類效果帶來進一步的提升。雖然本文的改進方法可能會犧牲部分宏查準率的性能,但其能大幅提升宏查全率,且保持準確率基本不變,從而獲得模型在宏F1和G-mean等綜合指標的改善。

    4??? 結(jié)論

    本文從采樣方法和損失函數(shù)上進行改進,并在復(fù)旦文本數(shù)據(jù)上進行驗證。實驗表明,單獨使用本文提出的平滑采樣方法、帶不平衡分布的改進交叉熵損失和改進標簽平滑時,都較基準模型有一定提升。而當(dāng)聯(lián)合使用采樣方法和損失函數(shù)的改進時,以宏F1和G-mean作為性能評判標準,其在4種深度學(xué)習(xí)模型中都取得較大的性能提高。因此,本文提出的算法可以較好地解決不平衡數(shù)據(jù)的分類問題,在大量數(shù)據(jù)中能夠更好地檢測出少數(shù)類別的數(shù)據(jù)。

    [參考文獻]

    [1]CAVNAR W B, TRENKLE J M. N-gram-based text categorization[C].∥Proceedings of SDAIR-94, 3rd annual symposium on document analysis and information retrieval,1994,161175.

    [2]SALTON G, BUCKLEY C. Term-weighting approaches in automatic text retrieval[J]. Information processing & management, 1988, 24(05):513-523.

    [3]HOCHREITER S, SCHMIDHUBER J. Long short-term memory[J]. Neural computation, 1997, 9(08):1735-1780.

    [4]Chung J,Gulcehre C,Cho K H,et al. Empirical evaluation of gated recurrent neural networks on sequence modeling[C].∥NIPS 2014 Workshop on Deep Learning,2014.

    [5]LAI S, XU L, LIU K, et al. Recurrent convolutional neural networks for text classification[C].∥Proceedings of the AAAI Conference on Artificial Intelligence,2015.

    [6]KIM Y. Convolutional neural networks for sentence classification[J]. EMNLP, 2014.

    [7]VASWANI A, Shazeer N, Parmar N, et al. Attention is all you need[C].∥Advances in neural information processing systems,2017:5998-6008.

    [8]DEVLIN J, CHANG M W, LEE K, et al. Bert: Pre-training of deep bidirectional transformers for language understanding[C].∥Proceedings of NAACL-HLT,2018.

    [9]CAVNAR W B, TRENKLE J M. N-gram-based text categorization[C].∥Proceedings of SDAIR-94, 3rd annual symposium on document analysis and information retrieval,1994:161 175.

    [10] LAI S, XU L, LIU K, et al. Recurrent convolutional neural networks for text classification[C].∥Proceedings of the AAAI Conference on Artificial Intelligence,2015.

    [11] ZHOU P, SHI W, TIAN J, et al. Attention-based bidirectional long short-term memory networks for relation classification[C].∥Proceedings of the 54th annual meeting of the association for computational linguistics (volume 2: Short papers),2016:207-212.

    [12] YANG Z, YANG D, DYER C, et al. Hierarchical attention networks for document classification[C].∥Proceedings of the 2016 conference of the North American chapter of the association for computational linguistics: human language technologies,2016:1480-1489.

    [13] KUBAT M, MATWIN S. Addressing the curse of imbalanced training sets: one-sided selection[J].Icml, 1997, 97:179-186.

    [14] CHAWLA N V, BOWYER K W, HALL L O, et al. SMOTE: synthetic minority over-sampling technique[J]. Journal of artificial intelligence research, 2002, 16:321-357.

    [15] WEI J, ZOU K. EDA: Easy data augmentation techniques for boosting performance on text classification tasks[C].∥Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), 2019:6382-6388.

    [16] YU A W, DOHAN D, LUONG M T, et al. QANet: Combining local convolution with global self-attention for reading comprehension[C].∥International Conference on Learning Representations,2018.

    [17] LIN T Y, GOYAL P, GIRSHICK R, et al. Focal loss for dense object detection[C].∥Proceedings of the IEEE international conference on computer vision, 2017:2980-2988.

    [18] LI X, SUN X, MENG Y, et al. Dice loss for data-imbalanced NLP tasks[C].∥Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, 2020:465-476.

    [19] SUN Y, KAMEL M S, Wong A K C, et al. Cost-sensitive boosting for classification of imbalanced data[J]. Pattern Recognition, 2007, 40(12):3358-3378.

    [20] SZEGEDY C, VANHOUCKE V, IOFFE S, et al. Rethinking the inception architecture for computer vision[C].∥Proceedings of the IEEE conference on computer vision and pattern recognition, 2016:2818-2826.

    [21] MLLER R, KORNBLITH S, HINTON G.When doeslabelsmoothinghelp? [C].∥NeurIPS,2019.

    Unbalanced Text Classification Based on SmoothSampling and Improved Loss

    LIANG Jianli, SHANG Hao

    (School of Science, Hubei Univ. of Tech., Wuhan 430068, China)

    Abstract:When data are imbalanced, text classification models are easy to misclassify minority class to majority class. This paper proposes a smooth sampling method at the sampling level, and improves the cross entropy loss and label smoothing based on the imbalanced distribution at the loss function level. Experiments on the Fudan text corpus show that the improved method in each level outperforms the benchmark method. With the combination of the improved method in sampling level and loss function level, the TextCNN, BiLSTM+Attention, TextRCNN and HAN models can obtain 4.17%, 5.31%, 5.06%, and 6.21% macro? F1 improvement and increase 6.56%, 3.03%, 3.92%, and 5.32% on G mean respectively. The methods proposed in this paper have been verified the effectiveness on imbalanced corpora.

    Keywords: text classification; unbalanced percent; sampling; loss function

    [責(zé)任編校: 張眾]

    猜你喜歡
    文本分類
    基于樸素貝葉斯的Web文本分類及其應(yīng)用
    基于組合分類算法的源代碼注釋質(zhì)量評估方法
    基于貝葉斯分類器的中文文本分類
    基于蟻群智能算法的研究文本分類
    基于樸素貝葉斯分類的Java課程網(wǎng)絡(luò)答疑反饋系統(tǒng)
    基于K—means算法的文本分類技術(shù)研究
    文本分類算法在山東女子學(xué)院檔案管理的應(yīng)用
    科技視界(2016年24期)2016-10-11 09:36:57
    不同情境下中文文本分類模型的表現(xiàn)及選擇
    基于內(nèi)容的英語錄音教材標注研究與應(yīng)用
    多核SVM文本分類研究
    軟件(2015年5期)2015-08-22 08:02:45
    黄色毛片三级朝国网站| 久久香蕉精品热| 两人在一起打扑克的视频| 人成视频在线观看免费观看| 亚洲性夜色夜夜综合| 天堂√8在线中文| 一a级毛片在线观看| 精品国产亚洲在线| 又黄又爽又免费观看的视频| 可以在线观看毛片的网站| 国产精品一区二区免费欧美| 国产又黄又爽又无遮挡在线| 级片在线观看| 日本一本二区三区精品| 九色国产91popny在线| 久久午夜综合久久蜜桃| 亚洲天堂国产精品一区在线| 久久久久精品国产欧美久久久| 欧美黄色淫秽网站| 精品无人区乱码1区二区| 亚洲五月婷婷丁香| 丝袜人妻中文字幕| 91av网站免费观看| 国产午夜精品久久久久久| 久久香蕉国产精品| 国产一区二区三区在线臀色熟女| 亚洲无线在线观看| 长腿黑丝高跟| 亚洲精品国产精品久久久不卡| 欧美日韩中文字幕国产精品一区二区三区| 免费高清视频大片| 哪里可以看免费的av片| 亚洲成av片中文字幕在线观看| 免费电影在线观看免费观看| 91麻豆精品激情在线观看国产| 国产不卡一卡二| 欧美在线黄色| 一区福利在线观看| 亚洲国产看品久久| 国产av在哪里看| 午夜福利在线在线| 欧美又色又爽又黄视频| 99久久久亚洲精品蜜臀av| 老汉色∧v一级毛片| 精品不卡国产一区二区三区| 国产精品99久久99久久久不卡| 免费无遮挡裸体视频| 少妇熟女aⅴ在线视频| 欧美不卡视频在线免费观看 | 欧美日韩亚洲国产一区二区在线观看| 人妻久久中文字幕网| 国产av一区在线观看免费| 在线播放国产精品三级| 91老司机精品| 国产激情偷乱视频一区二区| 精品卡一卡二卡四卡免费| 一级毛片高清免费大全| 久久国产亚洲av麻豆专区| 亚洲国产日韩欧美精品在线观看 | 亚洲国产欧美网| 女人爽到高潮嗷嗷叫在线视频| 欧美乱码精品一区二区三区| 国产伦在线观看视频一区| 国产亚洲精品av在线| 久久精品亚洲精品国产色婷小说| 天天一区二区日本电影三级| 岛国在线观看网站| 精品福利观看| 精品少妇一区二区三区视频日本电影| av免费在线观看网站| 搞女人的毛片| 变态另类成人亚洲欧美熟女| 亚洲熟女毛片儿| 丝袜在线中文字幕| 久久国产乱子伦精品免费另类| 久热这里只有精品99| 啦啦啦 在线观看视频| 性色av乱码一区二区三区2| cao死你这个sao货| 亚洲成av人片免费观看| 欧美色欧美亚洲另类二区| 亚洲国产中文字幕在线视频| 精品电影一区二区在线| 国产亚洲精品久久久久久毛片| 好男人电影高清在线观看| 2021天堂中文幕一二区在线观 | 日韩大码丰满熟妇| 在线观看免费日韩欧美大片| 日本撒尿小便嘘嘘汇集6| www.精华液| 久久 成人 亚洲| 国产精品乱码一区二三区的特点| 手机成人av网站| 亚洲三区欧美一区| 国产精品久久久久久亚洲av鲁大| 草草在线视频免费看| 久久久久久久久久黄片| 国产一区二区激情短视频| 男女之事视频高清在线观看| 91国产中文字幕| 亚洲欧美激情综合另类| 亚洲avbb在线观看| 免费观看精品视频网站| 老司机深夜福利视频在线观看| 亚洲中文字幕日韩| 最好的美女福利视频网| 久久精品国产亚洲av香蕉五月| 国产精品一区二区三区四区久久 | 久久这里只有精品19| 欧美成人免费av一区二区三区| 成人18禁高潮啪啪吃奶动态图| 波多野结衣巨乳人妻| 国产成+人综合+亚洲专区| 又紧又爽又黄一区二区| 久久久久久人人人人人| 国产成人系列免费观看| 宅男免费午夜| 听说在线观看完整版免费高清| 男人的好看免费观看在线视频 | 女警被强在线播放| 国产v大片淫在线免费观看| 欧美一级a爱片免费观看看 | av电影中文网址| 国产精品一区二区精品视频观看| 亚洲成人久久性| av在线播放免费不卡| a级毛片a级免费在线| 精品久久久久久久末码| 免费在线观看成人毛片| 天堂影院成人在线观看| 国产成人精品久久二区二区免费| 少妇熟女aⅴ在线视频| 久久久久久免费高清国产稀缺| 天天躁狠狠躁夜夜躁狠狠躁| 老汉色av国产亚洲站长工具| 黑丝袜美女国产一区| 啪啪无遮挡十八禁网站| 人人妻人人澡人人看| www.精华液| 精品卡一卡二卡四卡免费| 亚洲va日本ⅴa欧美va伊人久久| 天天躁夜夜躁狠狠躁躁| 搡老岳熟女国产| 亚洲熟妇熟女久久| 欧美成人性av电影在线观看| 99精品久久久久人妻精品| 国产成人啪精品午夜网站| 亚洲精品av麻豆狂野| 成人国产综合亚洲| 韩国精品一区二区三区| 亚洲精品久久成人aⅴ小说| 久久久久久国产a免费观看| www.www免费av| 成人国语在线视频| 亚洲欧美日韩高清在线视频| 色老头精品视频在线观看| 欧美又色又爽又黄视频| 宅男免费午夜| 最近最新中文字幕大全免费视频| 在线观看免费午夜福利视频| 禁无遮挡网站| 成年免费大片在线观看| 国产又黄又爽又无遮挡在线| 亚洲自偷自拍图片 自拍| 国产精品亚洲一级av第二区| 韩国精品一区二区三区| 精品乱码久久久久久99久播| 欧美在线一区亚洲| 老司机午夜十八禁免费视频| 亚洲欧洲精品一区二区精品久久久| 女人爽到高潮嗷嗷叫在线视频| ponron亚洲| 免费电影在线观看免费观看| 久久久久久久精品吃奶| av片东京热男人的天堂| www.精华液| 亚洲专区字幕在线| 亚洲一区二区三区色噜噜| 男女下面进入的视频免费午夜 | 国产一区二区激情短视频| 亚洲久久久国产精品| 男女之事视频高清在线观看| 欧美人与性动交α欧美精品济南到| 正在播放国产对白刺激| www日本在线高清视频| 亚洲 国产 在线| 少妇被粗大的猛进出69影院| 黄色视频,在线免费观看| bbb黄色大片| 观看免费一级毛片| 亚洲五月婷婷丁香| 首页视频小说图片口味搜索| 国产精品电影一区二区三区| 亚洲人成网站在线播放欧美日韩| 精品久久久久久,| 女生性感内裤真人,穿戴方法视频| 香蕉丝袜av| 久9热在线精品视频| 色尼玛亚洲综合影院| 岛国在线观看网站| 午夜影院日韩av| 国产精品日韩av在线免费观看| 久久人妻福利社区极品人妻图片| 久久精品国产清高在天天线| 天天一区二区日本电影三级| 少妇裸体淫交视频免费看高清 | 国产三级在线视频| 亚洲五月色婷婷综合| ponron亚洲| 亚洲av美国av| 制服丝袜大香蕉在线| 日韩高清综合在线| 老司机午夜福利在线观看视频| 人妻丰满熟妇av一区二区三区| 一级a爱视频在线免费观看| 美女大奶头视频| 长腿黑丝高跟| 大型av网站在线播放| 免费在线观看亚洲国产| 欧美最黄视频在线播放免费| 一级a爱视频在线免费观看| 在线观看一区二区三区| 91av网站免费观看| 免费在线观看黄色视频的| 日韩欧美国产在线观看| 亚洲最大成人中文| 日韩免费av在线播放| 亚洲熟妇熟女久久| 嫁个100分男人电影在线观看| 国产精品久久电影中文字幕| 好看av亚洲va欧美ⅴa在| 久久久久久九九精品二区国产 | 男女下面进入的视频免费午夜 | 99在线视频只有这里精品首页| 亚洲男人的天堂狠狠| 又黄又粗又硬又大视频| 97碰自拍视频| 欧美激情极品国产一区二区三区| 国产色视频综合| 伦理电影免费视频| 久久久久国产精品人妻aⅴ院| 神马国产精品三级电影在线观看 | 亚洲精品粉嫩美女一区| 一本一本综合久久| 国产aⅴ精品一区二区三区波| 亚洲五月色婷婷综合| av在线播放免费不卡| 国产成人精品无人区| 欧美日韩亚洲国产一区二区在线观看| 中文字幕精品免费在线观看视频| 美女免费视频网站| 一夜夜www| 亚洲第一欧美日韩一区二区三区| 无限看片的www在线观看| 亚洲欧美日韩无卡精品| 国产精品自产拍在线观看55亚洲| 99精品久久久久人妻精品| 我的亚洲天堂| 国产午夜福利久久久久久| 亚洲成人国产一区在线观看| 国产成人精品久久二区二区91| 可以免费在线观看a视频的电影网站| 91在线观看av| 2021天堂中文幕一二区在线观 | 真人做人爱边吃奶动态| 嫩草影视91久久| 90打野战视频偷拍视频| 一本一本综合久久| 国内久久婷婷六月综合欲色啪| 激情在线观看视频在线高清| av在线播放免费不卡| 欧美成人一区二区免费高清观看 | 日本精品一区二区三区蜜桃| 又大又爽又粗| 一本精品99久久精品77| 欧美成人午夜精品| 岛国视频午夜一区免费看| 午夜精品在线福利| 欧美久久黑人一区二区| 亚洲熟女毛片儿| 国产av不卡久久| 亚洲成av人片免费观看| 日日摸夜夜添夜夜添小说| 国产爱豆传媒在线观看 | 视频区欧美日本亚洲| 制服诱惑二区| 高潮久久久久久久久久久不卡| 国产精品综合久久久久久久免费| 亚洲中文av在线| 国产麻豆成人av免费视频| 国产伦在线观看视频一区| 精品国产一区二区三区四区第35| 狠狠狠狠99中文字幕| 丰满人妻熟妇乱又伦精品不卡| 女同久久另类99精品国产91| 波多野结衣高清作品| 精品一区二区三区四区五区乱码| 又黄又粗又硬又大视频| 国产又爽黄色视频| 夜夜爽天天搞| 50天的宝宝边吃奶边哭怎么回事| 欧美一区二区精品小视频在线| 亚洲久久久国产精品| 人人妻人人澡人人看| 又黄又粗又硬又大视频| 色在线成人网| 亚洲熟妇中文字幕五十中出| 欧美日韩一级在线毛片| 亚洲国产日韩欧美精品在线观看 | 久久久久久大精品| 非洲黑人性xxxx精品又粗又长| 国产激情欧美一区二区| 欧美+亚洲+日韩+国产| 精品久久久久久久毛片微露脸| 桃色一区二区三区在线观看| 9191精品国产免费久久| 午夜福利欧美成人| 老鸭窝网址在线观看| 国产又黄又爽又无遮挡在线| 99久久久亚洲精品蜜臀av| 一个人免费在线观看的高清视频| 国产亚洲欧美98| netflix在线观看网站| 国产野战对白在线观看| 国产成人精品无人区| 国产又黄又爽又无遮挡在线| 免费在线观看影片大全网站| 久久久国产精品麻豆| 亚洲免费av在线视频| 曰老女人黄片| 91麻豆精品激情在线观看国产| 高清毛片免费观看视频网站| 免费在线观看日本一区| 韩国精品一区二区三区| 精品国产乱码久久久久久男人| 精品午夜福利视频在线观看一区| 手机成人av网站| 亚洲国产欧洲综合997久久, | 亚洲精品中文字幕在线视频| 国产一区二区在线av高清观看| 欧美丝袜亚洲另类 | 男女午夜视频在线观看| 亚洲国产精品成人综合色| 久久热在线av| 999久久久国产精品视频| 亚洲狠狠婷婷综合久久图片| 亚洲男人的天堂狠狠| 久久国产精品影院| 欧美日韩中文字幕国产精品一区二区三区| 两人在一起打扑克的视频| 欧美日韩精品网址| 男女床上黄色一级片免费看| 在线观看免费午夜福利视频| 天天一区二区日本电影三级| 亚洲精品色激情综合| e午夜精品久久久久久久| 国产精品一区二区精品视频观看| 亚洲精品色激情综合| 夜夜夜夜夜久久久久| 国语自产精品视频在线第100页| 精品乱码久久久久久99久播| 国产麻豆成人av免费视频| 又黄又粗又硬又大视频| 丰满的人妻完整版| 给我免费播放毛片高清在线观看| 国产激情欧美一区二区| 天天躁狠狠躁夜夜躁狠狠躁| 十八禁人妻一区二区| 国产1区2区3区精品| av欧美777| 欧美色视频一区免费| 欧美绝顶高潮抽搐喷水| 国产高清激情床上av| 国产av又大| 男男h啪啪无遮挡| 黄色女人牲交| 欧美日韩福利视频一区二区| 亚洲va日本ⅴa欧美va伊人久久| 国产欧美日韩一区二区三| 热99re8久久精品国产| 亚洲欧美精品综合一区二区三区| 亚洲国产欧洲综合997久久, | 男人舔女人的私密视频| 亚洲九九香蕉| 最近最新中文字幕大全电影3 | 久久久久久久午夜电影| 久久久国产成人精品二区| 成人国产综合亚洲| www.999成人在线观看| 日韩一卡2卡3卡4卡2021年| 91九色精品人成在线观看| 日韩精品免费视频一区二区三区| 一本久久中文字幕| 99国产精品99久久久久| 欧美日本亚洲视频在线播放| 中国美女看黄片| 欧美乱码精品一区二区三区| 一区二区日韩欧美中文字幕| 欧美人与性动交α欧美精品济南到| 日韩国内少妇激情av| 香蕉av资源在线| 国产日本99.免费观看| 欧美国产精品va在线观看不卡| 精品乱码久久久久久99久播| 首页视频小说图片口味搜索| 又紧又爽又黄一区二区| 亚洲av成人av| 精品午夜福利视频在线观看一区| 黄网站色视频无遮挡免费观看| 99国产综合亚洲精品| 久久久久久久久免费视频了| 日本五十路高清| 麻豆av在线久日| 亚洲av成人一区二区三| 精品国产美女av久久久久小说| 非洲黑人性xxxx精品又粗又长| 侵犯人妻中文字幕一二三四区| 天天添夜夜摸| 欧美一级a爱片免费观看看 | 欧美日本亚洲视频在线播放| 日韩高清综合在线| 成人永久免费在线观看视频| 久久久久九九精品影院| 午夜福利成人在线免费观看| 此物有八面人人有两片| 中国美女看黄片| 中文字幕精品免费在线观看视频| 国产精品二区激情视频| 特大巨黑吊av在线直播 | 91国产中文字幕| 免费无遮挡裸体视频| 精品久久久久久久末码| 我的亚洲天堂| 18禁黄网站禁片免费观看直播| a在线观看视频网站| 国产亚洲精品av在线| 亚洲国产欧洲综合997久久, | 91成人精品电影| 欧美人与性动交α欧美精品济南到| 亚洲精品一卡2卡三卡4卡5卡| 叶爱在线成人免费视频播放| 国产精品一区二区免费欧美| 在线视频色国产色| 两性夫妻黄色片| 在线十欧美十亚洲十日本专区| 露出奶头的视频| 我的亚洲天堂| 日韩欧美一区二区三区在线观看| 97超级碰碰碰精品色视频在线观看| 久久婷婷成人综合色麻豆| 夜夜爽天天搞| 国产亚洲精品综合一区在线观看 | 99精品欧美一区二区三区四区| 99久久综合精品五月天人人| 波多野结衣高清无吗| 亚洲国产精品成人综合色| 欧美 亚洲 国产 日韩一| 长腿黑丝高跟| 精品久久久久久久久久久久久 | 99国产精品一区二区蜜桃av| 女人爽到高潮嗷嗷叫在线视频| 长腿黑丝高跟| 久久午夜综合久久蜜桃| 午夜a级毛片| 女人被狂操c到高潮| 日韩免费av在线播放| 大香蕉久久成人网| 欧美日韩精品网址| 搡老妇女老女人老熟妇| 人人妻人人看人人澡| 亚洲精品粉嫩美女一区| 91大片在线观看| 一区二区日韩欧美中文字幕| 亚洲一区高清亚洲精品| 日韩欧美国产一区二区入口| 麻豆成人午夜福利视频| 国产精品99久久99久久久不卡| 嫩草影院精品99| 国产激情偷乱视频一区二区| 色综合亚洲欧美另类图片| 久久草成人影院| 午夜福利18| 三级毛片av免费| 少妇粗大呻吟视频| 大香蕉久久成人网| 一边摸一边做爽爽视频免费| 最近最新中文字幕大全免费视频| 韩国av一区二区三区四区| 色综合站精品国产| 久久青草综合色| 免费在线观看完整版高清| 亚洲第一电影网av| 亚洲精品久久成人aⅴ小说| 久久久国产成人精品二区| 91成人精品电影| 日韩一卡2卡3卡4卡2021年| 999久久久国产精品视频| 一本一本综合久久| 亚洲中文字幕日韩| 亚洲黑人精品在线| 日韩国内少妇激情av| 久久中文字幕一级| 精品国产国语对白av| 久久久国产精品麻豆| 免费一级毛片在线播放高清视频| 免费高清视频大片| 欧美一级a爱片免费观看看 | 国产精品免费一区二区三区在线| 亚洲avbb在线观看| 男女午夜视频在线观看| 99热6这里只有精品| 亚洲专区中文字幕在线| 亚洲色图 男人天堂 中文字幕| 久久香蕉精品热| 一本久久中文字幕| 变态另类成人亚洲欧美熟女| 一级片免费观看大全| 免费在线观看视频国产中文字幕亚洲| 黑丝袜美女国产一区| 久久精品国产综合久久久| 国产亚洲欧美在线一区二区| 可以在线观看毛片的网站| 国产欧美日韩精品亚洲av| 国产激情欧美一区二区| 黄色视频不卡| 国产激情欧美一区二区| 天堂√8在线中文| 成人欧美大片| 黄色视频不卡| 国产精品野战在线观看| 国产黄a三级三级三级人| 黄色a级毛片大全视频| 国产精品免费一区二区三区在线| 中文字幕最新亚洲高清| 国产精品,欧美在线| 久久久久精品国产欧美久久久| 男人舔女人下体高潮全视频| 校园春色视频在线观看| 巨乳人妻的诱惑在线观看| 成人国语在线视频| 波多野结衣av一区二区av| 久久久国产成人精品二区| 村上凉子中文字幕在线| 亚洲成国产人片在线观看| 亚洲自拍偷在线| 精品久久蜜臀av无| 亚洲第一av免费看| 欧美色欧美亚洲另类二区| 久久人人精品亚洲av| aaaaa片日本免费| 精品人妻1区二区| 97超级碰碰碰精品色视频在线观看| 人人妻,人人澡人人爽秒播| 亚洲成a人片在线一区二区| 亚洲精品在线观看二区| 最新在线观看一区二区三区| 亚洲 国产 在线| 日本撒尿小便嘘嘘汇集6| www.自偷自拍.com| x7x7x7水蜜桃| 国产亚洲精品第一综合不卡| 在线av久久热| 男人舔女人下体高潮全视频| 国产精品 欧美亚洲| 亚洲成人国产一区在线观看| 91老司机精品| 女生性感内裤真人,穿戴方法视频| 国产1区2区3区精品| 久久久精品欧美日韩精品| 国产免费男女视频| 亚洲av第一区精品v没综合| 亚洲一区中文字幕在线| 中亚洲国语对白在线视频| 亚洲专区国产一区二区| 国产色视频综合| 伊人久久大香线蕉亚洲五| xxxwww97欧美| 人人妻人人澡欧美一区二区| 久久精品国产99精品国产亚洲性色| 在线观看一区二区三区| 国产精品永久免费网站| 久热这里只有精品99| 亚洲天堂国产精品一区在线| 男女床上黄色一级片免费看| 成人欧美大片| 嫩草影院精品99| 亚洲va日本ⅴa欧美va伊人久久| 老鸭窝网址在线观看| 亚洲人成网站在线播放欧美日韩| 后天国语完整版免费观看| 97碰自拍视频| 久久草成人影院| 久久婷婷人人爽人人干人人爱| 欧美久久黑人一区二区| 天堂√8在线中文| 国产亚洲精品一区二区www| 国产成人精品无人区| 久久精品91蜜桃| 午夜精品久久久久久毛片777| 99国产极品粉嫩在线观看| 久久久久久亚洲精品国产蜜桃av| 国产成人系列免费观看| 午夜久久久在线观看| 国产免费av片在线观看野外av| 最新美女视频免费是黄的| 美女高潮到喷水免费观看| 中文字幕精品免费在线观看视频| 变态另类丝袜制服| 一级毛片女人18水好多| 久久久精品欧美日韩精品| 色婷婷久久久亚洲欧美| 国产成人影院久久av| 午夜视频精品福利| xxxwww97欧美| 一区福利在线观看|