• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于平滑采樣和改進損失的不平衡文本分類

    2023-12-10 19:29:18梁健力商豪
    關(guān)鍵詞:文本分類

    梁健力 商豪

    [收稿日期]20210923

    [第一作者]梁健力(1996-),男,廣東佛山人,湖北工業(yè)大學(xué)碩士研究生,研究方向為數(shù)據(jù)挖掘

    [通信作者]商豪(1982-),女,湖北羅田人,湖北工業(yè)大學(xué)副教授,研究方向為隨機分析與算法

    [文章編號]1003-4684(2023)02-0033-07

    [摘要]在不平衡數(shù)據(jù)下,文本分類模型容易把樣本數(shù)量較少的類別錯分成數(shù)量較多的類別。在采樣層面上提出一種平滑采樣方法,在損失函數(shù)層面上根據(jù)不平衡分布改進交叉熵損失和標簽平滑。復(fù)旦文本數(shù)據(jù)集上的實驗表明,每種層面的改進都較基準模型有一定提高。當(dāng)結(jié)合使用采樣和損失函數(shù)的改進時,TextCNN、BiLSTM+Attention、TextRCNN和HAN模型在宏平均F1值上分別提高4.17%、5.13%、5.06%和6.21%,在G-mean上分別提高6.56%、3.03%、3.92%和5.32%,較好解決了不平衡數(shù)據(jù)下文本分類任務(wù)。

    [關(guān)鍵詞]文本分類; 不平衡比例; 平滑采樣; 損失函數(shù)

    [中圖分類號]TP391? [文獻標識碼]A

    文本分類是自然語言處理領(lǐng)域中一項基礎(chǔ)又重要的任務(wù),可用于情感分析、新聞分類和意圖識別等應(yīng)用場景,也可以為搜索、排序等大型的復(fù)雜系統(tǒng)提供技術(shù)支持。從傳統(tǒng)的手工特征結(jié)合分類器[1-2]的機器學(xué)習(xí)時代,再到使用循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network)[3-5]、卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network)[6]和大規(guī)模預(yù)訓(xùn)練語言模型(Pretrained Language Model)[7-8]對數(shù)據(jù)進行自動學(xué)習(xí)的深度學(xué)習(xí)時代,模型不斷被創(chuàng)新和優(yōu)化,文本分類效果得到了飛躍性的突破。例如,TextCNN[6]汲取N元語法(n-gram)[9]的思想,使用不同大小的卷積核來捕捉句子中的局部信息,取得了當(dāng)時文本分類最好的結(jié)果。TextRCNN[10]在雙向長短時記憶網(wǎng)絡(luò)(BiLSTM)的基礎(chǔ)上,使用1×1卷積核在通道維度上進行卷積運算,并通過時序全局最大池化獲取重要特征。帶注意力機制的雙向長短時記憶網(wǎng)絡(luò)(BiLSTM-Attention)[11]在充分利用RNNs的時序建模優(yōu)良性的同時,使用長短時記憶網(wǎng)絡(luò)(LSTM)和注意力機制來緩解梯度消失的問題,進一步提升模型的效果。HAN[12]模型利用注意力機制,從單詞層面和句子層面對文檔進行分類,從而捕捉句子中的重要詞匯以及文檔中的重要句子,獲取較好的分類效果。

    然而,文本分類性能的提升與訓(xùn)練數(shù)據(jù)的質(zhì)量、規(guī)模以及類別平衡性有著一定的關(guān)系。當(dāng)出現(xiàn)數(shù)據(jù)標簽不平衡時,由于每個訓(xùn)練樣本對目標函數(shù)的貢獻均等,模型在學(xué)習(xí)過程中會主動偏向樣本數(shù)量較多的類別標簽。一方面相當(dāng)于模型對多數(shù)類別有著更大的權(quán)重,另一方面也意味著模型對多數(shù)類別過擬合。但測試階段所采用的評價指標對多數(shù)類別與少數(shù)類別都同等看待,最終導(dǎo)致在類別不平衡的場景下,訓(xùn)練結(jié)果與實際的測試結(jié)果相差甚遠。

    由于現(xiàn)實收集的數(shù)據(jù)基本都存在類別不平衡的現(xiàn)象,需要進一步研究在類別不平衡場景下的文本分類。過去機器學(xué)習(xí)和深度學(xué)習(xí)時代,主要通過3種方式來處理類別不平衡的問題,即對原始數(shù)據(jù)進行重抽樣[13-16]、修改損失函數(shù)[17-18]以及采用集成學(xué)習(xí)算法[19]。在采樣方法上,本文利用數(shù)據(jù)的不平衡比例,基于指數(shù)平滑的思想,提出了一種降低數(shù)據(jù)不平衡度的平滑重抽樣方法;在損失函數(shù)上,以不平衡分布來改進標簽平滑以及交叉熵損失,提出了一種結(jié)合不平衡分布和標簽平滑的交叉熵損失函數(shù)以提升文本分類的效果。同時結(jié)合采樣方法和在損失函數(shù)上的改進,深度學(xué)習(xí)模型對不平衡數(shù)據(jù)的分類能力得到進一步提升。

    1??? 方法設(shè)計

    1.1??? 采樣方法

    在過去,無論是機器學(xué)習(xí)中的經(jīng)典采樣方法,還是深度學(xué)習(xí)中的數(shù)據(jù)增強方法,對不平衡數(shù)據(jù)采樣后是否配平并沒有統(tǒng)一的定論。有的學(xué)者采用完全配平的方式來完成樣本的重抽樣,有的則認為這種配平方式可能會損害最終的分類效果。所以,在采樣后保持多大的不平衡比例仍然是一個需要深入研究的問題。但總體來看,增加數(shù)據(jù)量、降低數(shù)據(jù)的不平衡度對文本分類效果有一定增益。

    指數(shù)平滑多用于時間序列,其是對歷史觀測值按時間進行加權(quán)平均作為當(dāng)前時間的預(yù)測值。雖然訓(xùn)練數(shù)據(jù)的不平衡比例序列和時間并沒有關(guān)聯(lián),但由于指數(shù)平滑具有一定的平滑數(shù)據(jù)功能,能夠在降低不平衡比例的同時,保證平滑后的類別不平衡度與平滑前有相似的分布。本文提出的平滑采樣方法的定義如下:

    假設(shè)原始數(shù)據(jù)有k個類別,記為c1,c2,…,ck。記#ci為第i個類別的樣本數(shù)量,其中i取1,2,…,k,可定義各類別的不平衡比例如下:

    θi=#cimin(#c1,#c2,…,#ck)

    對于k個類別可得到長度為k的不平衡序列{θt}kt=1,將該序列從小到大排序得到有序的不平衡序列{θ′t}kt=1,根據(jù)指數(shù)平滑思想計算不平衡序列的平滑值,其中t取1,2,…,k:

    vt=0,t=0βvt-1+(1-β)θ′t,t≥1

    修正平滑值,其中t取1,2,…,k:

    v′t=vt1-βt

    根據(jù)修正后的平滑值與原始的不平衡比例,可計算各類別中欠采樣(式(1))與過采樣(式(2))的比例,其中minv′tθ′tkt=1是指k個欠采樣比例的最小值,且t取1,2,…,k:

    dt=v′tθ′t(1)

    ot=v′tθ′t/minv′tθ′tkt=1(2)

    由于式(2)并不能保證過采樣比例大于1,因此對過采樣比例ot進行修正,使得修正后的過采樣比例恒大于1。

    o′t=ot+log1ot

    1.2??? 損失函數(shù)

    在深度學(xué)習(xí)模型訓(xùn)練中,由于需要使用損失函數(shù)根據(jù)正向傳播的結(jié)果計算出誤差,再進行反向傳播實現(xiàn)梯度更新,因此模型的效果往往跟選用何種損失函數(shù)有一定關(guān)系,好的損失函數(shù)可能會帶來性能上的提升。在文本分類問題上,一般采用交叉熵損失,其具體定義如下:

    loss=-1N∑Nn=1∑kc=1y(n)clog(n)c(3)

    假定訓(xùn)練數(shù)據(jù)中有k個類別,一個批的樣本數(shù)量為N,記類別c的獨熱編碼向量為yhot,其具體形式為[I(1=c),I(2=c),…,I(k=c)]T。使用y(n)c來代表批中第n個樣本是否屬于第c個類別,其中y(n)c∈{0,1}。而(n)c表示該樣本屬于第c個類別的預(yù)測概率。

    由于交叉熵損失對多數(shù)類樣本和少數(shù)類樣本的錯誤同等看待,為了使模型在訓(xùn)練過程中更加關(guān)注少數(shù)類別,本文根據(jù)訓(xùn)練數(shù)據(jù)的不平衡分布對交叉熵損失進行改進,記原始數(shù)據(jù)或采樣數(shù)據(jù)的類別不平衡比例為{θc}kc=1,對于改進后的帶不平衡分布的交叉熵損失

    weight_loss=-1N∑Nn=1∑kc=11θcy(n)clog(n)c

    此外,為了防止模型在訓(xùn)練過程中對標簽的預(yù)測過于自信,本文還對損失函數(shù)引入標簽平滑[20]的正則化方式。其結(jié)合均勻分布的思想來修改傳統(tǒng)的獨熱編碼向量,可以減少類內(nèi)距離,增加類間距離,從而提升模型的泛化能力[21]。記α為平滑值,標簽平滑的具體形式為:

    y(i)smooth=1-α,i=targetα/(k-1),i≠target(4)

    但在不平衡數(shù)據(jù)中,各類別標簽的分布并不均勻,因此本文使用數(shù)據(jù)不平衡比例對標簽平滑進行改進。首先利用原始的不平衡比例序列{θi}ki=1求出用于標簽平滑的不平衡比例序列θ(i)smoothki=1,其具體形式如下:

    θ(i)smooth=0,i=target1θi,i≠target

    對不平衡序列θ(i)smoothki=1進行歸一化處理,可得到改進后的標簽平滑向量y′smooth,其元素值

    y′(i)smooth=1-α,i=targetα·softmax(θsmooth)(i),i≠target(4)

    結(jié)合式(3)和式(4),可得到用帶不平衡分布的標簽平滑來改進交叉熵損失的形式:

    smooth_loss=1N∑Nn=1∑kc=1y(n)smooth,clogc(n)

    最后將帶不平衡分布的交叉熵損失和帶改進標簽平滑的交叉熵損失加權(quán)平均,得到本文最終提出的損失函數(shù),其具體形式如下:

    our_loss=βweight_loss+(1-β)smooth_loss

    其中β是需要調(diào)節(jié)的超參數(shù)。當(dāng)β等于1時,該損失函數(shù)退化為帶不平衡分布的交叉熵損失;當(dāng)β等于0時,該損失函數(shù)退化為帶改進標簽平滑的交叉熵損失。

    2??? 實驗設(shè)置

    2.1??? 實驗數(shù)據(jù)集

    實驗數(shù)據(jù)集主要采用復(fù)旦大學(xué)的文本分類語料庫,其包含9804個訓(xùn)練文檔與9833個測試文檔,并涵蓋了20個主題類別。其中,原始數(shù)據(jù)中各類別的樣本數(shù)量和文檔長度差異較大,數(shù)量不平衡比例高達64∶1。此外,數(shù)據(jù)集中有大量的重復(fù)數(shù)據(jù),且部分文檔并沒有包含實質(zhì)性的內(nèi)容。因此,本文先對原始數(shù)據(jù)集進行數(shù)據(jù)清洗,并提取文檔中的正文部分進行分析。清洗后的訓(xùn)練集和測試集包含8184和8197個文檔,訓(xùn)練數(shù)據(jù)的不平衡比例降為54.84∶1。訓(xùn)練集清洗前后的數(shù)量和文檔字符長度分布如圖1所示。

    (a)原始訓(xùn)練數(shù)據(jù)集的類別分布/比例

    (b)清洗訓(xùn)練數(shù)據(jù)集的類別分布/比例

    (c)原始訓(xùn)練數(shù)據(jù)集的字符長度分布

    (d)清洗訓(xùn)練數(shù)據(jù)集的字符長度分布圖 1??? 訓(xùn)練集清洗前后數(shù)量和字符長度分布

    此外,在模型訓(xùn)練和測試前,還需要對文本進行分詞和去除停用詞。本文使用jieba分詞工具對清洗后的訓(xùn)練集和測試集進行分詞,并引入停詞表對其進行去停詞處理。

    2.2??? 評價指標

    準確率(accuracy)是衡量模型好壞的標準之一。但當(dāng)數(shù)據(jù)是類別不平衡或者不同類別的錯誤所造成的后果不同的時候,準確率這一指標實際并不適用。通常來說,模型的分類性能應(yīng)綜合使用查全率和查準率進行度量。此外,也有學(xué)者建議使用G-mean來度量模型在不平衡數(shù)據(jù)中的表現(xiàn)。因此,本文將把宏F1和G-mean作為主要的性能評價指標,多分類情況下的性能指標定義如下:

    假設(shè)數(shù)據(jù)集中有k個類別,Ck×k為分類的混淆矩陣,Cij為該矩陣中的第i行第j列的元素,其中i,j∈{1,2,…,k}。記Ci.=[Ci1,Ci2,…,Cik]T,C.j=[C1j,C2j,…,Ckj]T,可計算各類別中真正例(TPv)、假正例(FPv)、真反例(TNv)、假反例(FNv)向量:

    TPv=diag(Ck×k)=[C11,C22,…,Ckk]T

    FPv=∑ki=1Ci.-diag(Ck×k)

    FNv=∑kj=1C.j-diag(Ck×k)

    TNv=[∑i∑jCk×k,…,∑i∑jCk×k]k×1-(TPv+FPv+FNv)

    根據(jù)TPv、FPv、TNv和FNv可計算宏查準率(macro-Pv)、宏查全率(macro-Rv)和宏特異度(macro-Sv)向量為:

    macro-Pv=TPvTPv+FPv

    macro-Rv=TPvTPv+FNv

    macro-Sv=TNvTNv+FPv

    根據(jù)向量macro-Pv、macro-Rv和macro-Sv可計算得到本文使用的宏F1和G-mean:

    macro-F1=1k∑2×macro-Pv⊙macro-Rvmacro-Pv+macro-Rv

    G-mean=1k∑macro-Rv⊙macro-Sv

    2.3??? 文本分類模型

    為了呈現(xiàn)改進方法的效果,本文將使用BiLSTM-Attention、TextCNN、TextRCNN和HAN等幾個較先進的深度學(xué)習(xí)模型來進行實驗。

    1)設(shè)置BiLSTM-Attention模型的輸入序列長度、詞向量維度、隱藏層單元數(shù)和隱藏層數(shù)量分別為2000、200、200和2。

    2)對于TextCNN模型,本文使用窗寬為3、4、5的卷積核來提取特征,每組不同卷積核的輸出維度都為200。此外,設(shè)置模型輸入的序列長度為3000,詞向量維度為200,模型的輸入維度為400。其中,模型的輸入由兩組序列詞向量合并而成,一組為固定的詞向量,一組隨著模型的訓(xùn)練而更新。

    3)本文設(shè)置TextRCNN模型的輸入序列長度為3000,詞向量維度為200,BiLSTM模塊的隱藏層單元數(shù)和隱藏層數(shù)量分別為100和1,卷積模塊的輸出維度為300。其中將BiLSTM模塊的輸出和原始序列的詞向量在通道維度上進行連接,作為卷積模塊的輸入。

    4)本文設(shè)置HAN模型的單個文檔中的最大句子數(shù)和句子中的最大單詞數(shù)分別為20、80,雙向門控循環(huán)神經(jīng)網(wǎng)絡(luò)(BiGRU)模塊的隱藏層單元數(shù)和隱藏層數(shù)量分別為200和1。

    由于復(fù)旦文本數(shù)據(jù)集中的文檔字符長度不一,因此,本文對較短的文檔進行補0,對較長的文檔從中間進行截取。在將文本轉(zhuǎn)化成詞向量的過程中,采用預(yù)訓(xùn)練的騰訊詞向量,其詞向量維度為200。在訓(xùn)練過程中,采用學(xué)習(xí)率衰減的方法,每更新1000步時進行一次衰減。此外,各種模型的輸出節(jié)點數(shù)都為20,Dropout的概率采用0.5,激活函數(shù)皆采用ReLU。

    3??? 實驗結(jié)果和分析

    為了單獨呈現(xiàn)采樣方法的效果,本文還將利用BOW、TFIDF、LDA和Fasttext來進行特征提取,并在經(jīng)過不同采樣處理的數(shù)據(jù)集上建模。在采樣方式上,本文分別進行隨機欠采樣、隨機過采樣和回譯過采樣三種實驗;在采樣比例上,本文采用0.44、0.74、0.86、0.9、0.96和0.98等6種采樣平滑值,并與原始比例以及完全配平的數(shù)據(jù)集實驗結(jié)果進行對照。為了避免其他數(shù)據(jù)增強方法對實驗結(jié)果的干擾,表1僅展示9種模型在不同隨機過采樣比例上的具體表現(xiàn),其余采樣方式的實驗結(jié)果如圖2所示。其中,9種模型對比系統(tǒng)如下。

    1)BOW:使用詞袋模型表示文本,特征維度為20 000,并用邏輯回歸(LR)和隨機森林(RF)對文本進行分類。

    2)TFIDF:使用詞頻逆詞頻表示文本,特征維度為20 000,并用支持向量機(SVM)和極端梯度提升樹(Xgboost)對進行文本分類。

    3)LDA:使用概率主題模型將文本映射到低維空間向量,再用RF和SVM進行分類,其中主題個數(shù)為130。

    4)Fasttext:先采用有監(jiān)督方式直接進行文本分類,再使用無監(jiān)督的方法生成文本詞向量,并用LR和SVM進行分類。

    由表1可以看出,9種模型系統(tǒng)的最佳結(jié)果皆在非原始比例數(shù)據(jù)集上取得。其中,完全配平的采樣方式更傾向于在BOW、TFIDF等稀疏的向量表示空間上取得更好的效果,但在LDA、Fasttext等稠密的低維空間上的表現(xiàn)甚至比原始比例數(shù)據(jù)集的效果差。這表明雖然不平衡比例的降低和樣本數(shù)量的增加會對模型效果有一定增益,但完全配平的方式會極大改變原始數(shù)據(jù)分布,可能會導(dǎo)致模型性能下降。此外,隨著采樣比例的調(diào)整,本文提出的采樣方法在9種模型系統(tǒng)上均取得比原始比例更好的效果。在BOW、LDA和Fasttext三種模型系統(tǒng)中,對比采樣平滑值0.74和0.98的結(jié)果,可發(fā)現(xiàn)后者都有一定的提升,但其不平衡比例從41.66下降到17.71,數(shù)據(jù)量卻基本保持不變,表明適當(dāng)降低不平衡比例可能會給模型帶來提升,尤其是在低維稠密的向量空間中。

    圖2a顯示不同采樣平滑值下各類別不平衡比例的變化情況。相比于完全配平,該采樣方式在降低不平衡比例的同時,仍保持與原始數(shù)據(jù)相似的分布。從圖2b可以看出,在絕大部分實驗?zāi)P椭?,欠采樣會極大地損害模型的性能,這是由于樣本數(shù)量的銳減使得文本中的重要信息缺失,從而導(dǎo)致分類效果的下降。而圖2c和d則表明,在過采樣時,采用回譯等其他增強方式可能會降低直接隨機復(fù)制樣本帶來的過擬合風(fēng)險,從而進一步提升分類的效果。

    圖 2??? 不同改進采樣方法在復(fù)旦數(shù)據(jù)集上的實驗結(jié)果

    為了進一步說明平滑采樣方法和帶不平衡分布與標簽平滑的損失函數(shù)的有效性,本文以TextCNN為基準,開展一系列的對比工作。表2和表3分別呈現(xiàn)使用預(yù)訓(xùn)練的騰訊詞向量前后,改進的采樣方法和損失函數(shù)較基準方法的提升。其中,CE和Smooth分別表示僅使用交叉熵損失和帶標簽平滑的交叉熵損失的情況;Weight_CE和Weight_Smooth分別代表利用不平衡分布改進的交叉熵損失和標簽平滑的情況;Weight_CE_Smooth是指結(jié)合使用帶不平衡分布的交叉熵損失和帶改進標簽平滑的交叉熵損失的結(jié)果,其中超參數(shù)選取0.9;+0.98是指TextCNN模型在利用0.98采樣平滑率得到的數(shù)據(jù)集下的建模效果,其中采樣方式默認為隨機過采樣,而trans表示使用回譯的方式來進行過采樣。表3呈現(xiàn)了本文實驗的最佳效果。

    從表2和表3可以看出,無論是單獨使用本文提出的采樣方法,還是單獨使用損失函數(shù)上的改進,其在宏F1和G-mean上都較基準模型上有一定的提升。而當(dāng)結(jié)合使用帶不平衡分布的交叉熵損失和帶改進標簽平滑的交叉熵損失時,文本分類效果能夠得到進一步改善。此外,當(dāng)融合采樣方法以及損失函數(shù)的改進時,模型在宏F1上會有進一步的提升,但相比只使用損失函數(shù)改進時,G-mean會有輕微下降。

    當(dāng)未使用預(yù)訓(xùn)練的騰訊詞向量時,本文提出的方法較基準模型分別在準確率、宏查全率、宏F1和G-mean上提升1.18%、10.12%、8.73%和7.49%,但在宏查準率上輕微損失了0.53%;當(dāng)使用預(yù)訓(xùn)練的騰訊詞向量時,本文提出的方法較基準模型在宏查全率上提升了10.21%,在宏F1上提升了4.17%,在G-mean上提升了6.56%,但在準確率和宏查準率上分別損失了0.23%和3.95%。

    圖3a展示了在使用預(yù)訓(xùn)練詞向量的情況下,本文使用的改進方法與基準模型在20個主題類別中的宏F1值對比。可以看出,改進方法在多數(shù)類別中保持與基準模型一致的分類效果,而其區(qū)分少數(shù)類別的性能有了較大的改善,從而提升了整體的分類效果。

    (a)改進方法和基準模型在各個主題上的實驗結(jié)果

    圖3b呈現(xiàn)了在不同采樣平滑率下聯(lián)合采樣方法和損失函數(shù)改進的模型效果??梢钥闯觯褂没刈g代替簡單隨機復(fù)制的過采樣方法,可以進一步提升模型的效果。

    (b)不同采樣比例下的方法結(jié)果對比圖 3??? 聯(lián)合改進方法在復(fù)旦數(shù)據(jù)集上的實驗結(jié)果

    為了表明改進方法的適用性,表4還顯示了BiLSTM+Attention、TextRCNN和HAN等3種模型在改進前后的效果對比。改進后的這3種深度學(xué)習(xí)模型都在宏F1和G-mean上有著較大的提升,且在準確率、宏查準率和宏查全率都沒有性能的損失。其中BiLSTM+Attention模型在宏F1上提升了5.31%、在G-mean上提升了3.03%;TextRCNN模型在宏F1和G-mean分別提升了5.06%和3.92%;HAN模型獲得了6.21%的宏F1和5.32%的G-mean性能提升。

    通過上述實驗結(jié)果可以看出,適當(dāng)降低不平衡比例,以及利用不平衡分布改進交叉熵損失和標簽平滑,可以提高少數(shù)類別的分類性能。此外,融合采樣方法和損失函數(shù)的改進能夠為整體的分類效果帶來進一步的提升。雖然本文的改進方法可能會犧牲部分宏查準率的性能,但其能大幅提升宏查全率,且保持準確率基本不變,從而獲得模型在宏F1和G-mean等綜合指標的改善。

    4??? 結(jié)論

    本文從采樣方法和損失函數(shù)上進行改進,并在復(fù)旦文本數(shù)據(jù)上進行驗證。實驗表明,單獨使用本文提出的平滑采樣方法、帶不平衡分布的改進交叉熵損失和改進標簽平滑時,都較基準模型有一定提升。而當(dāng)聯(lián)合使用采樣方法和損失函數(shù)的改進時,以宏F1和G-mean作為性能評判標準,其在4種深度學(xué)習(xí)模型中都取得較大的性能提高。因此,本文提出的算法可以較好地解決不平衡數(shù)據(jù)的分類問題,在大量數(shù)據(jù)中能夠更好地檢測出少數(shù)類別的數(shù)據(jù)。

    [參考文獻]

    [1]CAVNAR W B, TRENKLE J M. N-gram-based text categorization[C].∥Proceedings of SDAIR-94, 3rd annual symposium on document analysis and information retrieval,1994,161175.

    [2]SALTON G, BUCKLEY C. Term-weighting approaches in automatic text retrieval[J]. Information processing & management, 1988, 24(05):513-523.

    [3]HOCHREITER S, SCHMIDHUBER J. Long short-term memory[J]. Neural computation, 1997, 9(08):1735-1780.

    [4]Chung J,Gulcehre C,Cho K H,et al. Empirical evaluation of gated recurrent neural networks on sequence modeling[C].∥NIPS 2014 Workshop on Deep Learning,2014.

    [5]LAI S, XU L, LIU K, et al. Recurrent convolutional neural networks for text classification[C].∥Proceedings of the AAAI Conference on Artificial Intelligence,2015.

    [6]KIM Y. Convolutional neural networks for sentence classification[J]. EMNLP, 2014.

    [7]VASWANI A, Shazeer N, Parmar N, et al. Attention is all you need[C].∥Advances in neural information processing systems,2017:5998-6008.

    [8]DEVLIN J, CHANG M W, LEE K, et al. Bert: Pre-training of deep bidirectional transformers for language understanding[C].∥Proceedings of NAACL-HLT,2018.

    [9]CAVNAR W B, TRENKLE J M. N-gram-based text categorization[C].∥Proceedings of SDAIR-94, 3rd annual symposium on document analysis and information retrieval,1994:161 175.

    [10] LAI S, XU L, LIU K, et al. Recurrent convolutional neural networks for text classification[C].∥Proceedings of the AAAI Conference on Artificial Intelligence,2015.

    [11] ZHOU P, SHI W, TIAN J, et al. Attention-based bidirectional long short-term memory networks for relation classification[C].∥Proceedings of the 54th annual meeting of the association for computational linguistics (volume 2: Short papers),2016:207-212.

    [12] YANG Z, YANG D, DYER C, et al. Hierarchical attention networks for document classification[C].∥Proceedings of the 2016 conference of the North American chapter of the association for computational linguistics: human language technologies,2016:1480-1489.

    [13] KUBAT M, MATWIN S. Addressing the curse of imbalanced training sets: one-sided selection[J].Icml, 1997, 97:179-186.

    [14] CHAWLA N V, BOWYER K W, HALL L O, et al. SMOTE: synthetic minority over-sampling technique[J]. Journal of artificial intelligence research, 2002, 16:321-357.

    [15] WEI J, ZOU K. EDA: Easy data augmentation techniques for boosting performance on text classification tasks[C].∥Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), 2019:6382-6388.

    [16] YU A W, DOHAN D, LUONG M T, et al. QANet: Combining local convolution with global self-attention for reading comprehension[C].∥International Conference on Learning Representations,2018.

    [17] LIN T Y, GOYAL P, GIRSHICK R, et al. Focal loss for dense object detection[C].∥Proceedings of the IEEE international conference on computer vision, 2017:2980-2988.

    [18] LI X, SUN X, MENG Y, et al. Dice loss for data-imbalanced NLP tasks[C].∥Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, 2020:465-476.

    [19] SUN Y, KAMEL M S, Wong A K C, et al. Cost-sensitive boosting for classification of imbalanced data[J]. Pattern Recognition, 2007, 40(12):3358-3378.

    [20] SZEGEDY C, VANHOUCKE V, IOFFE S, et al. Rethinking the inception architecture for computer vision[C].∥Proceedings of the IEEE conference on computer vision and pattern recognition, 2016:2818-2826.

    [21] MLLER R, KORNBLITH S, HINTON G.When doeslabelsmoothinghelp? [C].∥NeurIPS,2019.

    Unbalanced Text Classification Based on SmoothSampling and Improved Loss

    LIANG Jianli, SHANG Hao

    (School of Science, Hubei Univ. of Tech., Wuhan 430068, China)

    Abstract:When data are imbalanced, text classification models are easy to misclassify minority class to majority class. This paper proposes a smooth sampling method at the sampling level, and improves the cross entropy loss and label smoothing based on the imbalanced distribution at the loss function level. Experiments on the Fudan text corpus show that the improved method in each level outperforms the benchmark method. With the combination of the improved method in sampling level and loss function level, the TextCNN, BiLSTM+Attention, TextRCNN and HAN models can obtain 4.17%, 5.31%, 5.06%, and 6.21% macro? F1 improvement and increase 6.56%, 3.03%, 3.92%, and 5.32% on G mean respectively. The methods proposed in this paper have been verified the effectiveness on imbalanced corpora.

    Keywords: text classification; unbalanced percent; sampling; loss function

    [責(zé)任編校: 張眾]

    猜你喜歡
    文本分類
    基于樸素貝葉斯的Web文本分類及其應(yīng)用
    基于組合分類算法的源代碼注釋質(zhì)量評估方法
    基于貝葉斯分類器的中文文本分類
    基于蟻群智能算法的研究文本分類
    基于樸素貝葉斯分類的Java課程網(wǎng)絡(luò)答疑反饋系統(tǒng)
    基于K—means算法的文本分類技術(shù)研究
    文本分類算法在山東女子學(xué)院檔案管理的應(yīng)用
    科技視界(2016年24期)2016-10-11 09:36:57
    不同情境下中文文本分類模型的表現(xiàn)及選擇
    基于內(nèi)容的英語錄音教材標注研究與應(yīng)用
    多核SVM文本分類研究
    軟件(2015年5期)2015-08-22 08:02:45
    在线免费观看的www视频| 蜜桃亚洲精品一区二区三区| 最后的刺客免费高清国语| 欧美3d第一页| 日韩人妻高清精品专区| 亚洲经典国产精华液单| 色综合婷婷激情| av专区在线播放| 免费人成在线观看视频色| 日日夜夜操网爽| 99精品在免费线老司机午夜| 99热精品在线国产| 啦啦啦观看免费观看视频高清| 又黄又爽又刺激的免费视频.| 中文字幕免费在线视频6| 免费黄网站久久成人精品| 一卡2卡三卡四卡精品乱码亚洲| 在线看三级毛片| 国产中年淑女户外野战色| 成人性生交大片免费视频hd| 国产真实乱freesex| 中国美女看黄片| 色精品久久人妻99蜜桃| 男人的好看免费观看在线视频| 久久国内精品自在自线图片| 国产成人影院久久av| 久久亚洲真实| 亚洲精华国产精华精| 在线观看午夜福利视频| 日韩欧美精品免费久久| 亚洲av日韩精品久久久久久密| 国内精品久久久久久久电影| 国产伦人伦偷精品视频| 3wmmmm亚洲av在线观看| 男女边吃奶边做爰视频| 成人三级黄色视频| 一区二区三区激情视频| 精品福利观看| 日韩,欧美,国产一区二区三区 | 日韩大尺度精品在线看网址| 99热这里只有是精品50| 亚洲av成人精品一区久久| 国产探花在线观看一区二区| 18+在线观看网站| 亚洲av中文字字幕乱码综合| 中文字幕av在线有码专区| 日韩在线高清观看一区二区三区 | 成人国产一区最新在线观看| 亚洲精品在线观看二区| 97碰自拍视频| 久久人人精品亚洲av| 18禁黄网站禁片免费观看直播| 91av网一区二区| 精品国产三级普通话版| 久久99热这里只有精品18| 亚洲美女视频黄频| 国产精品av视频在线免费观看| 国产91精品成人一区二区三区| 亚洲18禁久久av| 久久久久久国产a免费观看| 亚洲性夜色夜夜综合| 欧美成人性av电影在线观看| 中国美女看黄片| 99在线视频只有这里精品首页| 午夜激情欧美在线| 女人被狂操c到高潮| 免费看日本二区| 欧美成人免费av一区二区三区| 亚洲第一电影网av| 久久久精品大字幕| 成人欧美大片| 91狼人影院| 特级一级黄色大片| 精品福利观看| 1000部很黄的大片| 午夜影院日韩av| 男人舔女人下体高潮全视频| 精品一区二区免费观看| 亚洲一级一片aⅴ在线观看| 十八禁网站免费在线| 丰满乱子伦码专区| 免费大片18禁| 夜夜爽天天搞| 99久久精品国产国产毛片| 能在线免费观看的黄片| 蜜桃亚洲精品一区二区三区| 国产v大片淫在线免费观看| 国产高清三级在线| 搡老熟女国产l中国老女人| 久久久久国产精品人妻aⅴ院| 九九在线视频观看精品| 亚洲中文字幕一区二区三区有码在线看| 99国产极品粉嫩在线观看| 国产高清激情床上av| 国产男人的电影天堂91| 亚洲av一区综合| www.www免费av| 日本撒尿小便嘘嘘汇集6| 欧美性感艳星| 欧美成人性av电影在线观看| 亚洲av免费高清在线观看| 成人鲁丝片一二三区免费| 亚洲精品乱码久久久v下载方式| 久久久久久久亚洲中文字幕| 成人精品一区二区免费| 亚洲专区国产一区二区| 久久精品人妻少妇| 成人国产麻豆网| 天堂√8在线中文| 天美传媒精品一区二区| 久久午夜亚洲精品久久| 很黄的视频免费| 在线播放国产精品三级| 啦啦啦韩国在线观看视频| 亚洲性久久影院| 色哟哟哟哟哟哟| 午夜福利欧美成人| 美女高潮喷水抽搐中文字幕| 亚洲性夜色夜夜综合| 亚洲va在线va天堂va国产| 久久久久性生活片| 日本在线视频免费播放| 国产在线男女| 国产精品98久久久久久宅男小说| 搡老妇女老女人老熟妇| 99久久中文字幕三级久久日本| 色哟哟·www| 色播亚洲综合网| 1024手机看黄色片| 欧美3d第一页| 精品一区二区三区av网在线观看| 在线国产一区二区在线| 久久久久国产精品人妻aⅴ院| 亚洲成人免费电影在线观看| 亚洲 国产 在线| 一a级毛片在线观看| 哪里可以看免费的av片| 99国产精品一区二区蜜桃av| 在现免费观看毛片| 国产精品伦人一区二区| 久久国产精品人妻蜜桃| 特级一级黄色大片| 不卡一级毛片| 亚洲精品日韩av片在线观看| 97超视频在线观看视频| 听说在线观看完整版免费高清| 国模一区二区三区四区视频| 国产人妻一区二区三区在| 精品午夜福利视频在线观看一区| 亚洲三级黄色毛片| 国产精品一区二区三区四区免费观看 | 一区二区三区激情视频| 中文字幕av成人在线电影| 美女黄网站色视频| 性插视频无遮挡在线免费观看| 亚洲avbb在线观看| 黄色配什么色好看| 亚洲美女黄片视频| 亚州av有码| 最近在线观看免费完整版| av在线老鸭窝| 赤兔流量卡办理| 国产熟女欧美一区二区| 在线观看一区二区三区| 欧美性感艳星| av女优亚洲男人天堂| 国产久久久一区二区三区| 久久久久免费精品人妻一区二区| 永久网站在线| 久久精品国产自在天天线| 噜噜噜噜噜久久久久久91| 性色avwww在线观看| 久久久久性生活片| 国产在视频线在精品| 国产伦一二天堂av在线观看| 国产视频一区二区在线看| 少妇人妻一区二区三区视频| 十八禁网站免费在线| 最近中文字幕高清免费大全6 | 精品久久久久久久久久久久久| 国产精品99久久久久久久久| 身体一侧抽搐| 亚洲av.av天堂| 99国产精品一区二区蜜桃av| 最新在线观看一区二区三区| 波多野结衣巨乳人妻| 久久精品91蜜桃| 91av网一区二区| 丰满乱子伦码专区| 麻豆国产av国片精品| 亚洲精品乱码久久久v下载方式| 小蜜桃在线观看免费完整版高清| .国产精品久久| 日韩精品青青久久久久久| 草草在线视频免费看| 一级毛片久久久久久久久女| 欧美色视频一区免费| 精品午夜福利视频在线观看一区| 可以在线观看毛片的网站| 波野结衣二区三区在线| 男人舔奶头视频| 99热只有精品国产| 少妇裸体淫交视频免费看高清| 午夜精品在线福利| 99热这里只有精品一区| 真人做人爱边吃奶动态| 欧美日韩综合久久久久久 | 色哟哟·www| 国产亚洲精品久久久com| 精品午夜福利视频在线观看一区| 国产伦精品一区二区三区四那| 看十八女毛片水多多多| 亚洲精品亚洲一区二区| 国产精品免费一区二区三区在线| 国产一区二区三区在线臀色熟女| 最后的刺客免费高清国语| 中出人妻视频一区二区| 午夜视频国产福利| 国产精品久久久久久久电影| eeuss影院久久| 美女xxoo啪啪120秒动态图| 免费观看的影片在线观看| 婷婷丁香在线五月| 看黄色毛片网站| 夜夜看夜夜爽夜夜摸| 美女大奶头视频| 日日干狠狠操夜夜爽| 亚洲精品久久国产高清桃花| 国产真实乱freesex| 欧美日韩亚洲国产一区二区在线观看| 国产伦精品一区二区三区四那| 婷婷亚洲欧美| 欧美日韩精品成人综合77777| 床上黄色一级片| 91在线精品国自产拍蜜月| 成人无遮挡网站| 干丝袜人妻中文字幕| 亚洲男人的天堂狠狠| 特级一级黄色大片| 国产一区二区三区视频了| 午夜福利高清视频| 一区福利在线观看| a级毛片免费高清观看在线播放| 色在线成人网| 天堂√8在线中文| 国产亚洲精品久久久com| 别揉我奶头 嗯啊视频| 国产精品亚洲美女久久久| 欧美一区二区精品小视频在线| 草草在线视频免费看| а√天堂www在线а√下载| 韩国av在线不卡| 观看免费一级毛片| 国产白丝娇喘喷水9色精品| www日本黄色视频网| 日本爱情动作片www.在线观看 | 欧美黑人巨大hd| 美女高潮的动态| 国产伦精品一区二区三区四那| 夜夜看夜夜爽夜夜摸| 色噜噜av男人的天堂激情| 国产精品女同一区二区软件 | 亚洲中文字幕一区二区三区有码在线看| 草草在线视频免费看| 亚洲精品粉嫩美女一区| 99久久精品国产国产毛片| 级片在线观看| 变态另类成人亚洲欧美熟女| 最新中文字幕久久久久| 一夜夜www| 精品99又大又爽又粗少妇毛片 | 色综合亚洲欧美另类图片| 午夜亚洲福利在线播放| 夜夜夜夜夜久久久久| a级一级毛片免费在线观看| 不卡一级毛片| 在线免费观看的www视频| 精品免费久久久久久久清纯| 麻豆精品久久久久久蜜桃| 麻豆一二三区av精品| 日韩欧美 国产精品| 国产成年人精品一区二区| 亚洲欧美清纯卡通| 久久国产精品人妻蜜桃| 国产视频一区二区在线看| 国产一区二区在线观看日韩| 一夜夜www| 国产v大片淫在线免费观看| 国产亚洲精品av在线| 国产高潮美女av| 亚洲av日韩精品久久久久久密| 狂野欧美白嫩少妇大欣赏| 国产激情偷乱视频一区二区| 亚洲真实伦在线观看| 麻豆国产97在线/欧美| 男人和女人高潮做爰伦理| 国产在线精品亚洲第一网站| 国产精品1区2区在线观看.| 日本 av在线| videossex国产| 又爽又黄a免费视频| 国产乱人伦免费视频| 美女黄网站色视频| 久久午夜亚洲精品久久| 亚洲在线自拍视频| 一区二区三区激情视频| 村上凉子中文字幕在线| 一个人免费在线观看电影| 午夜激情欧美在线| 看黄色毛片网站| 1000部很黄的大片| 亚洲自偷自拍三级| 99国产精品一区二区蜜桃av| 特大巨黑吊av在线直播| 伦理电影大哥的女人| 男人舔女人下体高潮全视频| 91久久精品国产一区二区成人| 人妻久久中文字幕网| 老司机深夜福利视频在线观看| 欧美又色又爽又黄视频| 国产一区二区激情短视频| 精品无人区乱码1区二区| 在线播放无遮挡| 亚洲精品日韩av片在线观看| 69人妻影院| 日本三级黄在线观看| 变态另类成人亚洲欧美熟女| 免费av毛片视频| 欧美黑人巨大hd| 中出人妻视频一区二区| 色5月婷婷丁香| 搡老岳熟女国产| 一个人观看的视频www高清免费观看| 韩国av在线不卡| 搡老熟女国产l中国老女人| 午夜福利18| 色播亚洲综合网| 99热这里只有精品一区| 在线观看66精品国产| 精品国产三级普通话版| 亚洲精华国产精华精| 欧美日韩亚洲国产一区二区在线观看| 成年版毛片免费区| 久久亚洲精品不卡| 午夜老司机福利剧场| 亚洲精品乱码久久久v下载方式| 黄色日韩在线| 国内揄拍国产精品人妻在线| 日韩欧美免费精品| 亚洲欧美激情综合另类| 国产成人a区在线观看| 国产午夜福利久久久久久| 免费电影在线观看免费观看| 99久久无色码亚洲精品果冻| 亚洲男人的天堂狠狠| 日韩中文字幕欧美一区二区| 成人国产麻豆网| 99久久无色码亚洲精品果冻| 国产精品伦人一区二区| 国产精品99久久久久久久久| 欧美bdsm另类| 日韩av在线大香蕉| 九九爱精品视频在线观看| 国产乱人伦免费视频| 色综合亚洲欧美另类图片| 真人一进一出gif抽搐免费| 国产成人a区在线观看| 国产爱豆传媒在线观看| 国产高清视频在线观看网站| 最近在线观看免费完整版| 欧美最黄视频在线播放免费| 亚洲精品在线观看二区| 午夜亚洲福利在线播放| 免费看av在线观看网站| 两性午夜刺激爽爽歪歪视频在线观看| 久久久久久久久大av| bbb黄色大片| 成人永久免费在线观看视频| 免费av毛片视频| 亚洲人与动物交配视频| 日日摸夜夜添夜夜添小说| 神马国产精品三级电影在线观看| 校园人妻丝袜中文字幕| 日本三级黄在线观看| 午夜福利高清视频| 日韩强制内射视频| 亚洲成a人片在线一区二区| 日韩国内少妇激情av| 91av网一区二区| 一个人观看的视频www高清免费观看| 日本一本二区三区精品| 国产精品亚洲一级av第二区| 欧美黑人欧美精品刺激| 麻豆精品久久久久久蜜桃| 波野结衣二区三区在线| 久久精品影院6| 久久99热6这里只有精品| 欧美激情久久久久久爽电影| 亚洲精品日韩av片在线观看| 天美传媒精品一区二区| 真实男女啪啪啪动态图| 人人妻人人澡欧美一区二区| 日韩av在线大香蕉| 精品久久久噜噜| 精品人妻1区二区| 亚洲黑人精品在线| 淫妇啪啪啪对白视频| 亚洲真实伦在线观看| 日本 欧美在线| 国产精品不卡视频一区二区| 国产高清激情床上av| 精品无人区乱码1区二区| 亚洲一区二区三区色噜噜| 亚洲狠狠婷婷综合久久图片| 在线播放国产精品三级| 日日啪夜夜撸| 97热精品久久久久久| 久久久国产成人免费| 免费av观看视频| 国产精品免费一区二区三区在线| 成年免费大片在线观看| 在线观看免费视频日本深夜| 亚洲av一区综合| 99热精品在线国产| 久久精品国产自在天天线| 狂野欧美白嫩少妇大欣赏| 欧美日韩综合久久久久久 | 午夜爱爱视频在线播放| 亚洲最大成人中文| АⅤ资源中文在线天堂| 日本三级黄在线观看| 婷婷精品国产亚洲av在线| 国产精品久久视频播放| 色综合婷婷激情| 97超视频在线观看视频| 如何舔出高潮| 免费在线观看影片大全网站| 久久6这里有精品| 亚洲中文日韩欧美视频| 亚洲一级一片aⅴ在线观看| 成人二区视频| 久久久久久九九精品二区国产| 夜夜爽天天搞| 黄色欧美视频在线观看| 九九在线视频观看精品| 3wmmmm亚洲av在线观看| 亚洲国产欧美人成| 少妇的逼好多水| 亚洲性夜色夜夜综合| 一级毛片久久久久久久久女| 久久亚洲真实| 欧美日韩中文字幕国产精品一区二区三区| 极品教师在线视频| 亚洲第一区二区三区不卡| 日日干狠狠操夜夜爽| 国产激情偷乱视频一区二区| 搡女人真爽免费视频火全软件 | 有码 亚洲区| 老司机福利观看| 成人国产一区最新在线观看| 久久午夜福利片| 韩国av一区二区三区四区| 少妇的逼好多水| 精品人妻一区二区三区麻豆 | 久久久久精品国产欧美久久久| 一个人看的www免费观看视频| 91久久精品国产一区二区三区| av在线老鸭窝| 精品久久久久久久久亚洲 | 精品一区二区三区人妻视频| 丝袜美腿在线中文| 国产av麻豆久久久久久久| 国产精品,欧美在线| 国产v大片淫在线免费观看| 又粗又爽又猛毛片免费看| 欧美黑人巨大hd| 尾随美女入室| 波多野结衣高清作品| 欧洲精品卡2卡3卡4卡5卡区| 国产aⅴ精品一区二区三区波| 18禁黄网站禁片免费观看直播| 熟女人妻精品中文字幕| 日本黄色视频三级网站网址| 天天躁日日操中文字幕| 日韩国内少妇激情av| 久久人人爽人人爽人人片va| 久久久久精品国产欧美久久久| 少妇人妻一区二区三区视频| bbb黄色大片| 日韩欧美 国产精品| 国内精品宾馆在线| 久久香蕉精品热| 91在线精品国自产拍蜜月| 中国美白少妇内射xxxbb| 亚洲熟妇中文字幕五十中出| 精品久久久久久久久久久久久| 国产午夜精品久久久久久一区二区三区 | 在线国产一区二区在线| 亚洲av成人av| 久久国产精品人妻蜜桃| 久久婷婷人人爽人人干人人爱| 免费看日本二区| 97碰自拍视频| 午夜精品久久久久久毛片777| 亚洲第一区二区三区不卡| 嫩草影院入口| 天天一区二区日本电影三级| 超碰av人人做人人爽久久| 午夜日韩欧美国产| 国产国拍精品亚洲av在线观看| 亚洲天堂国产精品一区在线| 日韩精品有码人妻一区| 国产精品久久久久久久久免| 自拍偷自拍亚洲精品老妇| 国产美女午夜福利| 亚洲第一区二区三区不卡| 欧美xxxx黑人xx丫x性爽| 欧美日韩瑟瑟在线播放| 亚洲性夜色夜夜综合| 亚洲中文日韩欧美视频| 天堂√8在线中文| 天堂网av新在线| 国产精品免费一区二区三区在线| 国产精品永久免费网站| 午夜福利欧美成人| 一级av片app| av在线观看视频网站免费| 午夜激情福利司机影院| 久久久久久九九精品二区国产| 99在线视频只有这里精品首页| 成人特级黄色片久久久久久久| 国产精品久久视频播放| 欧美日韩综合久久久久久 | 国产高清三级在线| 深夜精品福利| 天堂av国产一区二区熟女人妻| 床上黄色一级片| 亚洲欧美清纯卡通| 欧美人与善性xxx| 久久久午夜欧美精品| 免费在线观看成人毛片| 神马国产精品三级电影在线观看| 国产成人aa在线观看| 九九在线视频观看精品| 午夜老司机福利剧场| 熟女电影av网| 国产亚洲av嫩草精品影院| 国产老妇女一区| 亚洲精华国产精华精| av天堂中文字幕网| 在线观看午夜福利视频| 在线天堂最新版资源| 午夜精品在线福利| 成人av一区二区三区在线看| 真人一进一出gif抽搐免费| 国产高潮美女av| 狂野欧美白嫩少妇大欣赏| 亚洲精品在线观看二区| 色视频www国产| 亚洲精品在线观看二区| 干丝袜人妻中文字幕| 色在线成人网| 国产精品伦人一区二区| 黄片wwwwww| 亚洲第一电影网av| 在线免费观看的www视频| 国产精品一区二区免费欧美| 久久久久久久久久黄片| 国产探花在线观看一区二区| 九色成人免费人妻av| 看黄色毛片网站| 九九热线精品视视频播放| 亚洲中文日韩欧美视频| 亚洲性夜色夜夜综合| 免费看光身美女| 国产成人福利小说| 色综合婷婷激情| 午夜亚洲福利在线播放| 日本熟妇午夜| 成人午夜高清在线视频| 亚洲精品一卡2卡三卡4卡5卡| 99riav亚洲国产免费| 亚洲国产高清在线一区二区三| 欧美色视频一区免费| 久久热精品热| 亚洲欧美激情综合另类| www日本黄色视频网| 黄色丝袜av网址大全| 高清日韩中文字幕在线| 老女人水多毛片| 国产黄a三级三级三级人| 午夜视频国产福利| 欧美一区二区亚洲| 免费无遮挡裸体视频| 毛片女人毛片| av在线蜜桃| 久久精品国产亚洲网站| 精华霜和精华液先用哪个| 色尼玛亚洲综合影院| 88av欧美| 看黄色毛片网站| 亚洲七黄色美女视频| 欧美日韩综合久久久久久 | 久久精品国产亚洲av天美| 免费av毛片视频| 久久久久久久亚洲中文字幕| 国产精品日韩av在线免费观看| 少妇的逼水好多| 日本爱情动作片www.在线观看 | 九九在线视频观看精品| 在现免费观看毛片| 91午夜精品亚洲一区二区三区 | 人人妻人人澡欧美一区二区| 欧美成人免费av一区二区三区| www.色视频.com|