• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于外部知識注意的中文短文本分類研究

    2022-05-26 08:56:08賈洪健宋慶松
    軟件導(dǎo)刊 2022年5期
    關(guān)鍵詞:字符短文注意力

    賈洪健,田 剛,王 蕊,宋慶松

    (1.山東科技大學(xué)計算機(jī)科學(xué)與工程學(xué)院;2.山東科技大學(xué)能源與礦業(yè)工程學(xué)院,山東青島 266590)

    0 引言

    近年來,以云計算和大數(shù)據(jù)為代表的新一代信息技術(shù)的快速發(fā)展,推動了互聯(lián)網(wǎng)新時代的到來。在互聯(lián)網(wǎng)給人們生活帶來便利的同時,每天也產(chǎn)生大量的文本數(shù)據(jù)。其中,以新聞、評論、問答等碎片化形式出現(xiàn)的短文本具有增長迅速、數(shù)量巨大的特點。這些短文本通常有明顯的局限性,即缺乏足夠的上下文信息、語義模糊和特征維度稀疏。如何快速有效地從海量短文本數(shù)據(jù)中提取真正有價值的信息,正是自然語言處理領(lǐng)域(NLP)需要解決的問題。

    現(xiàn)有方法對于短文本分類主要可以分為兩類:顯性表示和隱性表示[1]。對于顯式表示,短文本被表示為稀疏向量,其中每個維度是顯式特征,對應(yīng)于包括N-Gram、詞性標(biāo)注和句法分析的短文本句法信息[2],顯式模型對人類而言是可解釋且易于理解的。然而,顯式表示通常忽略短文本的上下文信息,因此可能無法有效提取文本中的細(xì)粒度語義信息。就隱式表示而言,短文本通常被映射到隱式空間,并被表示為密集向量[3]。

    基于深度神經(jīng)網(wǎng)絡(luò)的隱式模型善于捕捉短文本中的句法和語義信息,Mikolov 等[4]提出基于遞歸神經(jīng)網(wǎng)絡(luò)(RNN)的模型,該模型利用RNN 考慮整個句子的表達(dá),該模型可以捕捉長期的依賴關(guān)系并學(xué)習(xí)單詞的含義;Kim等[5]提出一種多尺度過濾卷積神經(jīng)網(wǎng)絡(luò)(CNN)模型以提取更豐富的文本語義特征,并在文本分類任務(wù)上取得了良好效果;Yang 等[6]提出一種用于文檔分類的層次化注意網(wǎng)絡(luò),該模型不僅將注意力機(jī)制應(yīng)用于文檔層次,還應(yīng)用于單詞和句子層次,從而在構(gòu)建文檔表示時能夠關(guān)注越來越重要的內(nèi)容;Zhou 等[7]提出一種基于混合注意力機(jī)制的中文短文本分類網(wǎng)絡(luò)模型,該模型不僅考慮了詞級文本特征和字符級特征,還通過注意力機(jī)制提取了與分類相關(guān)的語義特征。

    然而,如果只使用神經(jīng)網(wǎng)絡(luò)模型提取短文本語義信息的抽象特征,分類效果將在很大程度上取決于神經(jīng)網(wǎng)絡(luò)的層數(shù),因此會導(dǎo)致整個模型參數(shù)數(shù)量的幾何級增加,從而顯著增加模型訓(xùn)練時間。因此,為了克服短文本語義信息的不足,可以利用外部知識庫擴(kuò)展短文本的語義,從而豐富短文本的語義特征。

    本文將短文本的顯性和隱性表示集成到一個統(tǒng)一的深層神經(jīng)網(wǎng)絡(luò)模型中,主要貢獻(xiàn)如下:提出一種基于外部知識注意的中文短文本分類(CSTEKA)方法,這是結(jié)合知識庫中的先驗知識豐富短文本語義信息的注意力模型;引入面向短文本的概念(C-ST)注意和概念對概念集(C-CS)的注意兩種注意力機(jī)制,從兩個方面衡量每個概念的重要性,將它們組合起來,自適應(yīng)地獲取概念的權(quán)重;使用相互注意力機(jī)制集成單詞級和字符級的特征,利用卷積神經(jīng)網(wǎng)絡(luò)集成單詞級、字符級及概念級的所有特征;在4 個公共數(shù)據(jù)集上的大量實驗表明,本文方法優(yōu)于其他現(xiàn)有方法。

    1 相關(guān)工作

    傳統(tǒng)的文本分類方法中,在分類過程中通常忽略相應(yīng)的文本語義特征,無法有效提取文本中的細(xì)粒度語義信息,導(dǎo)致最終分類結(jié)果的準(zhǔn)確率較低。為了解決這些問題,Wei 等[2]提出基于N-Grams 的中文文本分類的文本表示和特征選擇策略,在特征選擇策略中,類內(nèi)預(yù)處理與類間特征選擇相結(jié)合;Post 等[8]提出使用詞性標(biāo)注技術(shù)提取文本的顯性和隱性特征;Gautam 等[9]提出一元分詞技術(shù)和語義分析以表示文本特征;Song等[10]利用概率知識庫對短文本進(jìn)行概念化,從而提高了文本分類過程中對文本語義的理解;張志飛等[11]提出一種基于潛在狄利克雷分配(LDA)主題模型的短文本分類方法,進(jìn)一步解決了短文本的上下文相關(guān)性問題。這些方法雖然可以提取相對豐富的文本特征信息,但也存在一定局限性。

    基于詞級的模型側(cè)重于促進(jìn)模型從詞級特征獲得精確文本表示的能力,這些模型通常在英語中表現(xiàn)良好。然而,在中文短文本任務(wù)中,它們對分詞有很強(qiáng)的依賴性,有時會導(dǎo)致錯誤分類。基于字符級的模型利用字符嵌入以避免分詞問題。同時,使用字符級特征可以減少詞匯外的負(fù)面影響。但是在漢語中,有些詞的含義比字符多,它們在語篇中起著重要作用,尤其是在短文本中。因此,在大多數(shù)情況下,基于字符級的模型性能低于基于單詞級的模型。文獻(xiàn)[12]將詞、字符和概念級特征沿時間步長維度串聯(lián)起來,再通過卷積神經(jīng)網(wǎng)絡(luò)生成文本表示。然而,在中文中,不同的分割會產(chǎn)生不同的序列長度。此外,文獻(xiàn)[13]解釋了在不同的語料庫上訓(xùn)練的單詞和字符嵌入是不同的。因此,沿時間步長維度直接連接特征會削弱文本表示。

    與傳統(tǒng)的機(jī)器學(xué)習(xí)文本分類方法相比,深度神經(jīng)網(wǎng)絡(luò)模型能夠有效模擬人腦的信息處理過程,能夠進(jìn)一步從輸入特征中提取更抽象的語義特征,從而使模型最終分類時所依賴的信息更加可靠。然而,短文本通常缺乏足夠的上下文信息和語義特征。如果僅僅通過增加神經(jīng)網(wǎng)絡(luò)數(shù)量提高短文本的分類效果,會導(dǎo)致整個模型的參數(shù)數(shù)量呈幾何級增長。文獻(xiàn)[12]提出一種利用外部知識庫和神經(jīng)網(wǎng)絡(luò)對短文本進(jìn)行分類的方法,在概念化短文本豐富語義特征的同時,也捕捉到字符層面更細(xì)粒度的特征;文獻(xiàn)[14]提出將詞和字符嵌入相結(jié)合,然后利用CNNs 捕獲語義特征,還使用外部知識庫對目標(biāo)詞進(jìn)行概念化,但沒有考慮單詞和字符級嵌入位于兩個獨立的空間中,幾乎沒有重疊,會丟失一些特征信息。該文獻(xiàn)中的方法與本文提出的短文本分類方法接近,本文方法是在此基礎(chǔ)上的進(jìn)一步研究和改進(jìn)。

    基于注意力機(jī)制,可以動態(tài)提取文本的主要特征,而不是直接處理整個文本信息,因此這種機(jī)制得到了廣泛應(yīng)用。文獻(xiàn)[15]提出一種基于注意力機(jī)制的雙向長短期記憶(BiLSTM)神經(jīng)網(wǎng)絡(luò),用于捕捉句子中最重要的語義信息并將其用于關(guān)系分類;文獻(xiàn)[16]提出雙向門控遞歸單元,該單元將一種新的注意力集中機(jī)制與最大集中操作相結(jié)合,強(qiáng)制模型關(guān)注句子中的關(guān)鍵詞,并自動維護(hù)文本中最有意義的信息;文獻(xiàn)[17]提出一種新的CNN 關(guān)系分類架構(gòu),該架構(gòu)使用兩級注意力機(jī)制以更好地識別上下文;文獻(xiàn)[18]提出一種用于中文文本分類的詞—字符注意力模型,該模型綜合了兩個層次的注意力模型:詞級注意力模型捕捉與文本意義有更密切語義關(guān)系的顯著詞,字符級注意力模型選取文本中的區(qū)別字符。

    Fig.1 CSTEKA model architecture圖1 CSTEKA模型架構(gòu)

    通過這些方法,在面對短文本語義信息不足的問題時,沒有同時充分考慮字符層面、詞層面和概念層面。因此,本文將單詞和字符特征與可訓(xùn)練矩陣相乘,生成兩個具有兩級特征對齊信息的矩陣。同時,本文在顯性知識庫的幫助下豐富了短文本的語義表達(dá),如YAGO[19]和Probase[20]。通過概念化將每篇短文與其知識庫中的相關(guān)概念聯(lián)系起來,然后將概念信息作為先驗知識納入深層神經(jīng)網(wǎng)絡(luò),最后在卷積神經(jīng)網(wǎng)絡(luò)中堆疊所有特征以形成三維張量從而完成分類。

    盡管簡單地將概念信息整合到深層神經(jīng)網(wǎng)絡(luò)中似乎很直觀,但仍然存在兩個主要問題。一是在對短文本進(jìn)行概念化時,由于實體的模糊性或知識庫中的噪聲,容易引入一些不恰當(dāng)?shù)母拍睢@?,在短文本S1中:“小賈已經(jīng)使用蘋果6 年多了”,從知識庫中獲取“蘋果”的概念是“水果”和“手機(jī)”。顯然,“水果”在這里不是一個合適的概念,這是由“蘋果”的模糊性引起。二是需要考慮概念的粒度和概念的相對重要性。例如,在短文本S2中:“任正非是華為的創(chuàng)始人”,從知識庫中檢索任正非的概念是“人”和“企業(yè)家”。雖然兩者都是正確的概念,但“企業(yè)家”比“人”更具體,在這種情況下應(yīng)該被賦予更大的權(quán)重。已有學(xué)者[12]利用網(wǎng)絡(luò)規(guī)模的知識庫豐富短文本表示,但是沒有很好地解決這兩個問題。

    本文使用面向短文本的概念(C-ST)注意度量短文本與其對應(yīng)概念之間的語義相似度。本文模型對S1的概念“手機(jī)”賦予了更大權(quán)重,因為它在語義上更類似于短文本,而不是概念“水果”。同時,使用概念對概念集(C-CS)的注意探索每個概念相對于整個概念集的重要性。本文模型對S2的概念“企業(yè)家”賦予了更大權(quán)重,這對于特定的分類任務(wù)更具區(qū)別性。

    引入一個軟開關(guān),將兩個注意力權(quán)重合并成一個,并產(chǎn)生每個概念的最終注意力權(quán)重,該權(quán)重由本文模型在不同的數(shù)據(jù)集上自適應(yīng)地學(xué)習(xí),然后計算概念向量的加權(quán)和以產(chǎn)生概念表示。

    2 方法

    2.1 方法概述

    圖1 顯示了本文模型(CSTEKA)架構(gòu),輸入的短文是“我們喜歡踢足球”,概念包括足球、體育等,類別標(biāo)簽是“體育”。本文模型包含4 個模塊,由知識檢索模塊、短文本編碼、知識編碼和集成層模塊組成。知識檢索模塊從知識庫中檢索與短文本相關(guān)的概念信息。短文本編碼模塊通過WCAM 模型(圖2)對短文本進(jìn)行編碼,生成短文本單詞級和字符級嵌入的特征,WCAM 模型中的相互關(guān)注層是一個可訓(xùn)練的矩陣,生成單詞和字符級特征的兩個對齊矩陣。知識編碼模塊對概念向量應(yīng)用兩種注意力機(jī)制,以獲得概念表示特征。集成層是一個具有5 個獨立通道的卷積神經(jīng)網(wǎng)絡(luò),可以將單詞級特征、字符級特征、兩個對齊矩陣特征和概念表示特征堆疊集成到三維張量中。

    Fig.2 WCAM model圖2 WCAM模型

    2.2 知識檢索

    本模塊的目標(biāo)是從知識庫中檢索相關(guān)知識。本文以isA關(guān)系為例,其他語義關(guān)系如isPropertyOf也可以類似方式加以應(yīng)用。具體而言,給定一個短文本s,希望找到與之相關(guān)的概念集C。本文通過兩個主要步驟實現(xiàn)該目標(biāo):實體鏈接和概念化。實體鏈接是自然語言處理中的一項重要任務(wù),用于識別短文本中提到的實體[21]。本文通過利用現(xiàn)有的實體鏈接解決方案獲得短文本的實體集E[22]。并且,對于每個實體e∈E,本文通過概念化從一個已有的知識庫中獲取其概念信息,如YAGO[19]、Probase[20]和CNProbase[23]。例如,給定一個短文本“張杰和李宇春出生在四川”,本文通過實體鏈接獲得實體集E={張杰,李宇春};然后,將實體“張杰”概念化,從CN-Probase 獲得其概念集C={人物、歌手、演員、音樂家}。

    2.3 短文本編碼

    2.3.1 嵌入層

    輸入是長度為n的短文本s,如圖2 所示,短文本s進(jìn)入WCAM 模型,被分割成兩個不同的序列(句子):

    對于每個級別,本文查找預(yù)先訓(xùn)練的嵌入矩陣,并將序列中的每個標(biāo)記映射到一個固定大小的向量e。在這項工作中,本文選擇兩個開源的中文詞向量作為初始預(yù)訓(xùn)練嵌入字典,并將兩級序列填充到相同的長度n=max(nword,nchar),結(jié)果,獲得兩個長度相同的嵌入向量:

    2.3.2 特征層

    在特征層,本文選擇RNN 獲得更深層次的語義特征,因為RNN 被認(rèn)為是現(xiàn)有模型中解決序列問題的最佳模型。為了解決梯度消失或爆炸問題,并捕捉過去和未來的上下文信息,本文選擇雙向LSTM 網(wǎng)絡(luò)(BLSTM),該網(wǎng)絡(luò)通過引入第二隱藏層擴(kuò)展單向LSTM 網(wǎng)絡(luò),其中隱藏到隱藏的連接以相反的時間順序流動。

    通過組合前向和后向LSTM 的輸出計算在步驟t的BLSTM 預(yù)測,本文使用分別表示它們,如式(1)所示。

    其中,t=1,2,3,...,n,⊕是連接操作。在該模型中,本文將嵌入向量饋入由兩個獨立BLSTMs 組成的隱藏層,以獲得兩個特征級表示。BLSTMs 的輸出被稱為Hword、Hchar、Hword、Hchar∈Rn×d,其中d是隱藏層單元的數(shù)量。

    2.3.3 相互關(guān)注層

    注意力機(jī)制用于對齊特征,因為注意力機(jī)制的本質(zhì)是句子對的軟對齊。與文獻(xiàn)[24]相同,兩個新的對齊特征由可訓(xùn)練的注意矩陣A∈Rn×n生成。如圖2 所示,對齊特征由A通過以下等式生成:

    其中,?是元素乘法。

    本文使用單位這個術(shù)語定義對齊的矩陣,它們與Hword、Hchar具有相同的形狀。相互注意矩陣可以通過梯度反向傳播在每個時間點進(jìn)行修改,它可以被看作是一個空間轉(zhuǎn)換器,在訓(xùn)練過程中轉(zhuǎn)換空間并保存單詞和字符的信息。每一個單位的算符都是通過加上某一時刻的特征維數(shù)進(jìn)行計算,詞的計算會一步步受到影響,反之亦然。該方法簡單有效。

    本文從短文本編碼模塊得到Hword、Hchar、Uword、Uchar4 個表示特征,將先堆疊這4 個特征獲取短文本表示特征q∈Rn。

    2.4 知識編碼

    從外部知識庫獲得的先驗知識提供了更豐富的信息,有助于在給定短文本的情況下決定類別標(biāo)簽。本文以概念信息為例說明知識編碼,其他先驗知識也可以類似方式使用。給定大小為k的概念集C,表示為(c1,c2,...,ck),其中ci是第i個概念向量,目標(biāo)是產(chǎn)生它的表示特征p。首先引入兩個注意力機(jī)制并更多地關(guān)注重要概念。

    為了減小由于實體模糊性或知識庫中的噪聲而引入一些不當(dāng)概念的不良影響,提出基于普通注意[25]的面向短文本注意的概念(C-ST),以測量第i個概念和短文本表示q之間的語義相似性。使用式(4)計算短文本注意。

    其中,mi表示從第i個概念到短文本的關(guān)注度。較大的mi意味著第i個概念在語義上更類似于短文本。f(·)是一個非線性激活函數(shù),如雙曲正切變換,softmax用于歸一化每個概念的注意力權(quán)重。是權(quán)重矩陣,w1∈是權(quán)重向量,其中da是超參數(shù),b1是偏移量。

    此外,為了考慮概念之間的相對重要性,提出基于source2token自我注意的概念集(C-CS)注意概念[26]以度量每個概念相對于整個概念集的重要性。將每個概念的CCS注意力定義如式(5)所示。

    其中,ni表示從第i個概念到整個概念集的關(guān)注權(quán)重。是權(quán)重矩陣,w1∈是權(quán)重向量,其中db是超參數(shù),b2是偏移量。C-CS 注意的效果類似于特征選擇,這是一種“軟”特征選擇,對重要的概念賦予較大權(quán)重,對無關(guān)緊要的概念賦予較小權(quán)重(接近于零)。

    通過式(6)將mi和ni相結(jié)合,以獲得每個概念的最終關(guān)注權(quán)重:

    這里將最后的注意力權(quán)重從第i個概念指向短文本,γ ∈[0,1]是調(diào)整兩個注意力權(quán)重mi和ni重要性的一個切換。有多種方式設(shè)置參數(shù)γ,γ 可以通過神經(jīng)網(wǎng)絡(luò)自動學(xué)習(xí)??稍诓煌臄?shù)據(jù)集上自適應(yīng)地為γ 分配不同的值,以獲得更好的實驗結(jié)果。通過式(7)計算γ:

    其中,向量w和標(biāo)量b是可學(xué)習(xí)參數(shù),σ是sigmoid函數(shù)。最后,使用最終的注意力權(quán)重計算概念向量的加權(quán)和,產(chǎn)生表示概念的表示特征。

    2.5 集成層

    特征向量維上的特征不是相互獨立的,簡單地在時間步長維度上獨立應(yīng)用一維匯集運(yùn)算可能會破壞特征表示的結(jié)構(gòu)[27]。CNN 利用多個卷積濾波器執(zhí)行特征映射,可比一維最大池保留更多的特征信息。因此,本文選擇CNN將它們進(jìn)行整合。

    將單詞級特征、字符級特征、兩個對齊矩陣特征和概念表示特征視為具有5 個通道的圖像并疊加成三維張量,然后送入卷積神經(jīng)網(wǎng)絡(luò)。

    具體而言,子特征gi由濾波器w∈Rk×d和特征窗口zi:i+k-1生成。

    其中,b是偏置項,f(·)是非線性函數(shù),這里使用雙曲正切。

    該過濾器被應(yīng)用于特征級表示z={z1:k,z2:k+1,...,zn-k+1}并生成特征向量。

    在多通道架構(gòu)中,每個濾波器應(yīng)用于5 個通道,并將結(jié)果相加以計算gi,如式(9)所示。文本表示由具有全連接層的集成層輸出生成,Softmax分類器用于預(yù)測標(biāo)簽。

    3 實驗

    3.1 實驗環(huán)境

    本文實驗平臺配置如表1所示。

    Table 1 Hardware and software configuration of the experimental platform表1 實驗平臺軟硬件配置

    3.2 數(shù)據(jù)集

    本文在清華大學(xué)開源的中文新聞數(shù)據(jù)集(THUCNews)、搜狗新聞、中文新聞標(biāo)題(CNT)和微博謠言4 個數(shù)據(jù)集上進(jìn)行了實驗,如表2 所示。表2 中報告了每個數(shù)據(jù)集的實體和概念的平均數(shù)量,所有4 個數(shù)據(jù)集都通過Jieba工具進(jìn)行標(biāo)記化。

    THUCNews:該數(shù)據(jù)集是清華實驗室收集的社會新聞集,包含14個類的4萬個訓(xùn)練樣本和1萬個測試樣本。

    搜狗新聞:該數(shù)據(jù)集是一個沒有標(biāo)題的社交新聞集,包含10 個類的5 萬個訓(xùn)練樣本和1 萬個測試樣本。本實驗中截取每個樣本的前30 個字符(包括標(biāo)點符號)作為一個新的數(shù)據(jù)集。

    CNT:該數(shù)據(jù)集來自參考文獻(xiàn)[28],它包含32 個類的47 952 個訓(xùn)練樣本和15 986 個測試樣本。在刪除了包含無法處理特殊字符的標(biāo)題后,保留47 850 個用于訓(xùn)練,15 950個用于測試。

    微博謠言:該數(shù)據(jù)集來自參考文獻(xiàn)[7],數(shù)據(jù)集里有9 079 條微博謠言。在刪除這些記錄中的“x”標(biāo)簽后,保留了5 個類別。從該數(shù)據(jù)集中,隨機(jī)選擇6 030 個樣本用于訓(xùn)練,2 160個樣本用于測試。

    Table 2 Summary statistics of the experimental dataset表2 實驗數(shù)據(jù)集匯總統(tǒng)計

    3.3 比較方法

    將本文提出的CSTEKA 模型與以下方法進(jìn)行比較:

    RCNN[29]:該方法使用遞歸卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行文本分類。它用RNN 捕捉上下文信息,用CNN 捕捉文本中的關(guān)鍵成分。

    CharCNN[30]:該方法使用只有字符級特征的CNN 作為輸入。

    BiLSTM-SA[26]:這種方法使用BiLSTM 和source2token自我注意將句子編碼成固定大小的表示,用于分類。

    KPCNN[12]:該模型是短文本分類的最新方法。它利用CNN 根據(jù)短文本和概念的單詞和字符級別信息進(jìn)行分類。

    HANs[7]:混合注意網(wǎng)絡(luò)將中文短文本嵌入到詞級和字符級向量中,并運(yùn)用混合注意力機(jī)制生成句子特征。HANs-BLSTM+CNN 表示基于注意力的BLSTM 和基于注意力的CNN 的組合。

    BERT[31]:一種基于微調(diào)的方法,被稱為來自Transforms 的雙向編碼器表示,旨在通過在所有層中聯(lián)合調(diào)節(jié)左右上下文預(yù)訓(xùn)練深度雙向表示。在許多自然語言處理任務(wù)中,BERT 是最先進(jìn)的模型。本文針對中文短文本分類任務(wù)對預(yù)先訓(xùn)練的BERT 進(jìn)行微調(diào)。

    3.4 設(shè)置和度量

    對于所有模型,使用Adam[32]進(jìn)行學(xué)習(xí),學(xué)習(xí)率為0.01,批量大小設(shè)置為64,訓(xùn)練迭代次數(shù)設(shè)為20。使用在搜狗新聞上預(yù)先訓(xùn)練的50 維跳躍式字符和單詞嵌入,如果一個單詞未知,會隨機(jī)初始化它的嵌入。同時,使用隨機(jī)初始化的50 維概念嵌入。所有的字符嵌入、單詞嵌入和概念嵌入在訓(xùn)練階段都可以訓(xùn)練和微調(diào),以期學(xué)習(xí)面向任務(wù)的表示。使用寬度為[2,3,4]且尺寸為50 的一維CNN,總共150個。

    對于本文模型,以下超參數(shù)基于驗證集進(jìn)行估計,并用于最終測試集:u=64,da=70,db=35。而γ 由神經(jīng)網(wǎng)絡(luò)自動學(xué)習(xí),因為這種方法可以比人工神經(jīng)網(wǎng)絡(luò)獲得更好的分類結(jié)果。評價指標(biāo)是準(zhǔn)確性,其已廣泛應(yīng)用于文本分類任務(wù)中。

    3.5 結(jié)果與分析

    將本文CSTEKA 模型與6 個強(qiáng)基線進(jìn)行比較,結(jié)果如表3 所示。在不使用任何知識的情況下,本文模型優(yōu)于傳統(tǒng)的深度神經(jīng)網(wǎng)絡(luò)(DNNs),包括RCNN、CharCNN、BiLSTM-SA、KPCNN、HANs-BLSTM+CNN 和BERT。主要原因是本文模型借助于知識庫豐富了短文本的信息,具體而言,本文將知識庫中的先驗知識作為顯式特征融入DNNs中,這對短文本分類有很大貢獻(xiàn)。本文模型比KPCNN 表現(xiàn)得更好,因為本文模型由于注意力機(jī)制能夠更多地關(guān)注重要知識。本文使用C-ST 和C-CS 注意從兩個方面衡量知識的重要性,并自適應(yīng)地為不同短文本的每個知識分配適當(dāng)?shù)臋?quán)重。并且,本文模型實現(xiàn)了比HANs-BLSTM+CNN 更好的性能。此外,可以看到本文模型比BERT 取得了更好的性能,原因在于BERT 是一個基于字符級別的模型。該結(jié)果證明,集成多種類型的特征有助于提高中文短文本分類性能。

    Table 3 Accuracy of different models on different datasets表3 不同數(shù)據(jù)集上模型準(zhǔn)確性比較(%)

    3.5.1 注意力機(jī)制

    該實驗部分的目的是驗證兩種注意力機(jī)制(C-ST 和C-CS 注意)的有效性。手動調(diào)節(jié)超參數(shù)γ,以探索C-ST 和C-CS 注意的相對重要性,以0.25 的間隔從0 到1 改變γ,結(jié)果如表4 所示。一般而言,γ=0.25 的模型效果更好,但對于不同的數(shù)據(jù)集,優(yōu)勢并不總是存在。例如,γ=0.50 的模型在CNT 數(shù)據(jù)集上表現(xiàn)最佳。當(dāng)γ 等于0 或1 時,模型在所有4 個數(shù)據(jù)集上都表現(xiàn)不佳。僅使用C-ST 注意(γ=1.00),模型忽略了每個概念的相對重要性,導(dǎo)致性能不佳。僅使用C-CS 注意(γ=0.00),模型忽略了短文本和概念之間的語義相似性。在這種情況下,一個不恰當(dāng)?shù)母拍羁赡軙毁x予更大權(quán)重,這也會導(dǎo)致較差的性能。

    3.5.2 外部知識作用

    本文使用概念信息作為先驗知識以豐富短文本表示,并提高分類性能。每個數(shù)據(jù)集的實體和概念的平均數(shù)量如表2 所示。為了驗證本文模型中外部知識的作用,從CNT 數(shù)據(jù)集中挑選了一些測試示例,并在表中進(jìn)行了說明。如“武昌起義”示例中,該短文本被本文模型正確分類為“歷史”,但是傳統(tǒng)DNNs 錯誤地將其分類為“城市”。一般而言,概念信息在短文本分類中起到至關(guān)重要的作用,尤其是當(dāng)短文本的上下文不夠時?!拔洳鹆x”是一個連續(xù)名詞,即在訓(xùn)練集中出現(xiàn)的頻率較低,因此很難學(xué)習(xí)認(rèn)知表征,從而導(dǎo)致傳統(tǒng)DNNs 的性能較差。然而,本文模型通過從知識庫中引入知識,在一定程度上解決了稀有和未知的單詞問題。本文模型中使用的歷史和歷史事件等概念有助于將短文本分類到正確的類別“歷史”中。

    Table 4 Settings of the super parameter γ of the proposed model表4 本文模型中超參數(shù)γ的設(shè)置(%)

    3.5.3 三維卷積影響

    為了證明三維卷積的有效性,本文在兩個數(shù)據(jù)集上比較了一維匯集和三維卷積。本文沿著時間步長維度連接單詞級特征、字符級特征、兩個對齊矩陣特征和概念表示特征,稱之為一維匯集。本文堆疊單詞級特征、字符級特征、兩個對齊矩陣特征和概念表示特征5 個特征,并使用卷積神經(jīng)網(wǎng)絡(luò)集成它們,稱之為三維卷積。圖3 表明,三維卷積在兩種中文短文本分類任務(wù)上可以獲得更高的性能。

    Fig.3 Comprehensive study of 1-dimensional collection and 3-dimensional convolution圖3 一維匯集和三維卷積綜合研究

    4 結(jié)語

    針對現(xiàn)有短文本分類方法嚴(yán)重依賴神經(jīng)網(wǎng)絡(luò)層數(shù),且因短文本語義模糊導(dǎo)致短文本分類效果不佳的問題,提出一種基于外部知識注意的中文短文本分類模型。由于單詞和字符級嵌入在向量空間中沒有相關(guān)性,為了減少特征信息丟失,設(shè)置一個可訓(xùn)練矩陣以獲取單詞和字符級兩個對齊特征矩陣。同時,面對短文本所能提供的語義信息有限的問題,將概念信息整合到知識庫中,以增強(qiáng)短文本的表達(dá)。為了衡量每個概念的重要性,本文應(yīng)用兩種注意力機(jī)制自動獲取用于生成概念表示的概念權(quán)重。實驗表明,本文模型在4 個中文短文本數(shù)據(jù)集上取得了最好性能。該模型在引入外部知識庫時,由于一些短文本過短,沒有提到實體,會導(dǎo)致概念化失敗。將屬性值信息融入深度神經(jīng)網(wǎng)絡(luò),進(jìn)一步提高短文本分類性能是未來研究重點。

    猜你喜歡
    字符短文注意力
    尋找更強(qiáng)的字符映射管理器
    讓注意力“飛”回來
    字符代表幾
    一種USB接口字符液晶控制器設(shè)計
    電子制作(2019年19期)2019-11-23 08:41:50
    KEYS
    消失的殖民村莊和神秘字符
    Keys
    “揚(yáng)眼”APP:讓注意力“變現(xiàn)”
    傳媒評論(2017年3期)2017-06-13 09:18:10
    A Beautiful Way Of Looking At Things
    短文改錯
    久久精品夜夜夜夜夜久久蜜豆| 国产精品香港三级国产av潘金莲| 亚洲国产欧洲综合997久久,| 18禁裸乳无遮挡免费网站照片| 桃色一区二区三区在线观看| 9191精品国产免费久久| 大型黄色视频在线免费观看| 天堂动漫精品| 日本一二三区视频观看| 99热这里只有是精品50| 亚洲电影在线观看av| 国产精品av视频在线免费观看| 极品教师在线免费播放| 精品无人区乱码1区二区| 国产激情欧美一区二区| 久久久久久人人人人人| 久久久久久国产a免费观看| 男插女下体视频免费在线播放| www.精华液| 免费看光身美女| 免费看a级黄色片| 琪琪午夜伦伦电影理论片6080| 丝袜人妻中文字幕| 亚洲天堂国产精品一区在线| 亚洲成人免费电影在线观看| 国产高清视频在线观看网站| 99在线视频只有这里精品首页| 黑人欧美特级aaaaaa片| 女同久久另类99精品国产91| 免费高清视频大片| 国产精品美女特级片免费视频播放器 | 午夜久久久久精精品| 日韩精品中文字幕看吧| 精华霜和精华液先用哪个| 免费观看人在逋| 久久久久性生活片| 不卡av一区二区三区| 日韩欧美精品v在线| 国内毛片毛片毛片毛片毛片| 婷婷丁香在线五月| 天天一区二区日本电影三级| 久久精品国产亚洲av香蕉五月| 欧美成人性av电影在线观看| 日本三级黄在线观看| 亚洲av五月六月丁香网| 久久精品aⅴ一区二区三区四区| 狠狠狠狠99中文字幕| 国产日本99.免费观看| 久久久久久久久中文| 又粗又爽又猛毛片免费看| 国产精品九九99| 久久久国产成人免费| 精品国内亚洲2022精品成人| 日韩欧美 国产精品| 国产精品一区二区三区四区久久| 久久久国产成人免费| 欧美最黄视频在线播放免费| 91字幕亚洲| 国产三级黄色录像| 首页视频小说图片口味搜索| 国内精品一区二区在线观看| 久久精品aⅴ一区二区三区四区| 男女视频在线观看网站免费| 久久热在线av| 麻豆久久精品国产亚洲av| 亚洲av免费在线观看| 高清毛片免费观看视频网站| 国产 一区 欧美 日韩| 国产视频一区二区在线看| 91麻豆精品激情在线观看国产| 久久久久国内视频| 啦啦啦韩国在线观看视频| 国内精品美女久久久久久| 亚洲av成人av| 午夜激情福利司机影院| 欧美日韩国产亚洲二区| 亚洲成人中文字幕在线播放| 三级国产精品欧美在线观看 | 9191精品国产免费久久| 少妇丰满av| 精品国产乱码久久久久久男人| 欧美色欧美亚洲另类二区| 色综合婷婷激情| www.自偷自拍.com| 舔av片在线| 熟女人妻精品中文字幕| 日本熟妇午夜| 美女黄网站色视频| 日韩有码中文字幕| 看黄色毛片网站| 亚洲精品在线观看二区| av视频在线观看入口| 日韩欧美在线二视频| 亚洲人成网站在线播放欧美日韩| 黄片小视频在线播放| 好男人在线观看高清免费视频| 亚洲 欧美一区二区三区| 亚洲 国产 在线| 噜噜噜噜噜久久久久久91| 欧美色欧美亚洲另类二区| 99国产精品一区二区三区| 国产一区在线观看成人免费| 亚洲五月婷婷丁香| 亚洲av片天天在线观看| 国产精品香港三级国产av潘金莲| 麻豆av在线久日| 精品一区二区三区av网在线观看| 亚洲av成人不卡在线观看播放网| 色播亚洲综合网| 亚洲第一电影网av| 在线a可以看的网站| ponron亚洲| 久久精品综合一区二区三区| 免费看十八禁软件| 国产成人av激情在线播放| 麻豆成人av在线观看| 精品乱码久久久久久99久播| 成人性生交大片免费视频hd| 欧美绝顶高潮抽搐喷水| 国产精品久久久人人做人人爽| 嫁个100分男人电影在线观看| 精品久久久久久久久久免费视频| 日韩精品青青久久久久久| 精品国产乱码久久久久久男人| 欧美日韩亚洲国产一区二区在线观看| 国产极品精品免费视频能看的| 麻豆国产97在线/欧美| 免费在线观看亚洲国产| 国产毛片a区久久久久| 色综合亚洲欧美另类图片| 毛片女人毛片| 国产亚洲精品一区二区www| 国产精品香港三级国产av潘金莲| 国产真实乱freesex| 亚洲午夜理论影院| 啦啦啦免费观看视频1| 中国美女看黄片| 精品国产乱子伦一区二区三区| 又粗又爽又猛毛片免费看| 观看美女的网站| 亚洲精品乱码久久久v下载方式 | 久久久精品欧美日韩精品| 国产单亲对白刺激| av天堂中文字幕网| 久久久国产精品麻豆| 亚洲欧美精品综合久久99| 黄色成人免费大全| 琪琪午夜伦伦电影理论片6080| 性欧美人与动物交配| 亚洲av五月六月丁香网| 欧美日韩中文字幕国产精品一区二区三区| 亚洲av电影不卡..在线观看| 午夜视频精品福利| 久久亚洲真实| 99久久99久久久精品蜜桃| 国产不卡一卡二| 日韩高清综合在线| 欧美日本视频| 88av欧美| 国产精品亚洲av一区麻豆| 老司机在亚洲福利影院| 亚洲av电影在线进入| 美女扒开内裤让男人捅视频| 国产爱豆传媒在线观看| 色精品久久人妻99蜜桃| 在线国产一区二区在线| 99久久精品热视频| 99久久精品国产亚洲精品| 日韩精品中文字幕看吧| АⅤ资源中文在线天堂| 色尼玛亚洲综合影院| 免费在线观看影片大全网站| 欧美激情在线99| 亚洲欧美日韩高清在线视频| 美女免费视频网站| 18禁黄网站禁片午夜丰满| 亚洲va日本ⅴa欧美va伊人久久| 久久精品国产清高在天天线| 国产精品亚洲av一区麻豆| 国产亚洲精品久久久久久毛片| 成年女人永久免费观看视频| 中文字幕最新亚洲高清| 亚洲国产精品999在线| 一边摸一边抽搐一进一小说| 久久久久久久久中文| 亚洲美女视频黄频| 桃色一区二区三区在线观看| 1000部很黄的大片| 免费搜索国产男女视频| 亚洲国产日韩欧美精品在线观看 | 国模一区二区三区四区视频 | 欧美激情在线99| 国内精品久久久久精免费| 亚洲美女黄片视频| 日本一二三区视频观看| 无限看片的www在线观看| 丰满人妻一区二区三区视频av | 人妻久久中文字幕网| av在线蜜桃| а√天堂www在线а√下载| 观看免费一级毛片| 国产不卡一卡二| 国产真实乱freesex| 欧美激情久久久久久爽电影| 一个人免费在线观看的高清视频| 天堂影院成人在线观看| 91av网一区二区| 欧美色视频一区免费| 少妇熟女aⅴ在线视频| 在线免费观看的www视频| 老司机午夜十八禁免费视频| 日韩中文字幕欧美一区二区| 成人午夜高清在线视频| 国产精品野战在线观看| 黄色女人牲交| 精品久久蜜臀av无| 成人国产一区最新在线观看| 男人和女人高潮做爰伦理| 亚洲专区字幕在线| 九色成人免费人妻av| 99久国产av精品| 日本黄大片高清| av视频在线观看入口| 窝窝影院91人妻| 亚洲av免费在线观看| 久久草成人影院| 99久久久亚洲精品蜜臀av| 国产精品久久久久久人妻精品电影| 国产成人av激情在线播放| www日本黄色视频网| 一级作爱视频免费观看| av福利片在线观看| 一个人免费在线观看电影 | 日韩欧美免费精品| 国产av麻豆久久久久久久| 午夜a级毛片| 国产精品美女特级片免费视频播放器 | 国产三级黄色录像| 亚洲人成网站高清观看| 亚洲美女视频黄频| 色综合欧美亚洲国产小说| 国产午夜福利久久久久久| 一个人免费在线观看电影 | 搡老妇女老女人老熟妇| 少妇的逼水好多| 宅男免费午夜| 亚洲男人的天堂狠狠| 亚洲专区中文字幕在线| 久久九九热精品免费| 成人国产综合亚洲| 香蕉丝袜av| 制服人妻中文乱码| 国产精品av视频在线免费观看| 欧美色欧美亚洲另类二区| 国产一级毛片七仙女欲春2| 亚洲aⅴ乱码一区二区在线播放| 99热精品在线国产| 深夜精品福利| 久久久久精品国产欧美久久久| 日本五十路高清| 精品欧美国产一区二区三| 日韩精品中文字幕看吧| 亚洲欧美一区二区三区黑人| 欧美日韩国产亚洲二区| or卡值多少钱| 夜夜躁狠狠躁天天躁| 午夜a级毛片| aaaaa片日本免费| 老汉色∧v一级毛片| 久久久久久久精品吃奶| 国产精品亚洲美女久久久| 国产精品九九99| 国产又黄又爽又无遮挡在线| 一a级毛片在线观看| 国产成人一区二区三区免费视频网站| 欧美三级亚洲精品| 18禁裸乳无遮挡免费网站照片| 超碰成人久久| 久久久久久国产a免费观看| 国产 一区 欧美 日韩| 亚洲国产看品久久| 精品一区二区三区四区五区乱码| 一区二区三区高清视频在线| 国产亚洲av嫩草精品影院| 亚洲av五月六月丁香网| 久久久久久久精品吃奶| 亚洲自偷自拍图片 自拍| 欧美一区二区国产精品久久精品| 国产激情欧美一区二区| 亚洲熟妇熟女久久| 国产成人av激情在线播放| 99久久精品热视频| 日本三级黄在线观看| 国产成人系列免费观看| 很黄的视频免费| av在线蜜桃| www.www免费av| 少妇熟女aⅴ在线视频| 国产精品自产拍在线观看55亚洲| 国产激情偷乱视频一区二区| 在线免费观看的www视频| 法律面前人人平等表现在哪些方面| 日韩成人在线观看一区二区三区| e午夜精品久久久久久久| 悠悠久久av| 男插女下体视频免费在线播放| 欧美日韩精品网址| 亚洲av熟女| 91在线观看av| 黄色视频,在线免费观看| 免费在线观看日本一区| 亚洲18禁久久av| 日本在线视频免费播放| 久久久成人免费电影| 久久久久国产一级毛片高清牌| 人人妻人人澡欧美一区二区| 夜夜夜夜夜久久久久| 男人舔女人的私密视频| 成人性生交大片免费视频hd| 老熟妇仑乱视频hdxx| 久久性视频一级片| 一区二区三区激情视频| 美女cb高潮喷水在线观看 | 99精品久久久久人妻精品| 精品国产亚洲在线| 一本一本综合久久| 999久久久精品免费观看国产| 亚洲五月天丁香| 国产精品一区二区三区四区免费观看 | 精品久久久久久久末码| 婷婷精品国产亚洲av| 我要搜黄色片| 无限看片的www在线观看| 成在线人永久免费视频| 一本综合久久免费| 精品免费久久久久久久清纯| 久久久久国产精品人妻aⅴ院| 国产精品av久久久久免费| 精品久久久久久久人妻蜜臀av| 波多野结衣高清作品| 国产高清三级在线| 久久久久久久久久黄片| 夜夜躁狠狠躁天天躁| 97超视频在线观看视频| 亚洲第一电影网av| 国产精品免费一区二区三区在线| 最新美女视频免费是黄的| 久久这里只有精品中国| 级片在线观看| 欧美黑人欧美精品刺激| 天堂网av新在线| 欧美黑人欧美精品刺激| 啦啦啦韩国在线观看视频| 国产欧美日韩精品亚洲av| 亚洲在线自拍视频| 一二三四社区在线视频社区8| 亚洲在线自拍视频| 床上黄色一级片| 91老司机精品| 国产欧美日韩精品亚洲av| 高潮久久久久久久久久久不卡| 99精品欧美一区二区三区四区| 中文在线观看免费www的网站| 色综合亚洲欧美另类图片| 色尼玛亚洲综合影院| 婷婷六月久久综合丁香| 高清在线国产一区| 宅男免费午夜| 中文字幕久久专区| 亚洲精品国产精品久久久不卡| 免费观看精品视频网站| 视频区欧美日本亚洲| 窝窝影院91人妻| 成年女人永久免费观看视频| 久久精品国产综合久久久| 国产精品爽爽va在线观看网站| 国产1区2区3区精品| 久久久水蜜桃国产精品网| 啦啦啦观看免费观看视频高清| 长腿黑丝高跟| 天堂av国产一区二区熟女人妻| 琪琪午夜伦伦电影理论片6080| 99国产精品99久久久久| 国内毛片毛片毛片毛片毛片| 日韩国内少妇激情av| 日日干狠狠操夜夜爽| 日韩精品中文字幕看吧| 18美女黄网站色大片免费观看| 麻豆成人av在线观看| 十八禁人妻一区二区| 99视频精品全部免费 在线 | 村上凉子中文字幕在线| 成人亚洲精品av一区二区| 久久精品夜夜夜夜夜久久蜜豆| 日本三级黄在线观看| 一进一出好大好爽视频| 夜夜躁狠狠躁天天躁| 床上黄色一级片| 看黄色毛片网站| 99国产综合亚洲精品| 又黄又粗又硬又大视频| 欧美zozozo另类| 亚洲精品一卡2卡三卡4卡5卡| 国模一区二区三区四区视频 | 国产亚洲欧美98| 国产精品久久久av美女十八| 美女扒开内裤让男人捅视频| 国产亚洲精品综合一区在线观看| 亚洲性夜色夜夜综合| 国产亚洲精品综合一区在线观看| 18禁美女被吸乳视频| 激情在线观看视频在线高清| 丝袜人妻中文字幕| 国内精品美女久久久久久| 亚洲人成电影免费在线| 色在线成人网| 日本三级黄在线观看| 国产伦精品一区二区三区视频9 | 亚洲av片天天在线观看| 亚洲精品中文字幕一二三四区| 亚洲欧美日韩东京热| 亚洲欧美日韩卡通动漫| 熟女电影av网| 午夜精品在线福利| 欧美又色又爽又黄视频| 狂野欧美激情性xxxx| 国产真人三级小视频在线观看| svipshipincom国产片| 精品乱码久久久久久99久播| 真人做人爱边吃奶动态| 搡老妇女老女人老熟妇| 国产精品1区2区在线观看.| 男插女下体视频免费在线播放| 亚洲成人久久性| 精品一区二区三区四区五区乱码| 欧美在线黄色| 国产aⅴ精品一区二区三区波| 国产欧美日韩精品亚洲av| 中文字幕高清在线视频| 欧美成人性av电影在线观看| 在线观看66精品国产| 午夜精品在线福利| av天堂在线播放| 欧美成人免费av一区二区三区| 国产精品一区二区精品视频观看| 一个人观看的视频www高清免费观看 | 国产精品久久久久久精品电影| 精品久久久久久久久久免费视频| 亚洲av电影在线进入| 不卡av一区二区三区| 亚洲精华国产精华精| 亚洲中文字幕一区二区三区有码在线看 | 在线观看66精品国产| 成年人黄色毛片网站| www.自偷自拍.com| 一卡2卡三卡四卡精品乱码亚洲| 日韩欧美一区二区三区在线观看| 啦啦啦韩国在线观看视频| 亚洲性夜色夜夜综合| 激情在线观看视频在线高清| 一本一本综合久久| 国产野战对白在线观看| 午夜成年电影在线免费观看| 国产欧美日韩精品亚洲av| 久久精品国产综合久久久| 69av精品久久久久久| 亚洲电影在线观看av| 国产成人一区二区三区免费视频网站| 国产又色又爽无遮挡免费看| 久久久精品大字幕| 99国产综合亚洲精品| 国语自产精品视频在线第100页| 亚洲成av人片免费观看| 男女午夜视频在线观看| 99久久成人亚洲精品观看| 亚洲精品美女久久久久99蜜臀| 欧美日本视频| 久久天躁狠狠躁夜夜2o2o| 老汉色∧v一级毛片| 色视频www国产| 草草在线视频免费看| 脱女人内裤的视频| 男女之事视频高清在线观看| 99视频精品全部免费 在线 | 九九久久精品国产亚洲av麻豆 | 色综合亚洲欧美另类图片| 国产精品电影一区二区三区| 制服丝袜大香蕉在线| 三级男女做爰猛烈吃奶摸视频| 真人一进一出gif抽搐免费| 久久欧美精品欧美久久欧美| 午夜成年电影在线免费观看| 国产精品九九99| 欧美精品啪啪一区二区三区| 午夜精品在线福利| 日韩欧美精品v在线| 一本精品99久久精品77| 亚洲av日韩精品久久久久久密| 岛国在线观看网站| 久久九九热精品免费| 男女午夜视频在线观看| 亚洲天堂国产精品一区在线| 中文字幕熟女人妻在线| 在线a可以看的网站| 99久久国产精品久久久| 亚洲片人在线观看| 中文字幕久久专区| 亚洲七黄色美女视频| 亚洲精品在线美女| 女人被狂操c到高潮| 国产精品,欧美在线| 国产亚洲精品综合一区在线观看| 麻豆av在线久日| 伊人久久大香线蕉亚洲五| 美女扒开内裤让男人捅视频| 国产成人福利小说| 欧美精品啪啪一区二区三区| 真人一进一出gif抽搐免费| 亚洲欧美日韩无卡精品| 观看免费一级毛片| 香蕉丝袜av| 全区人妻精品视频| 国产69精品久久久久777片 | 欧美乱码精品一区二区三区| 精品久久久久久久末码| 国产精品影院久久| 国产高清videossex| 琪琪午夜伦伦电影理论片6080| 亚洲av五月六月丁香网| 国产精品美女特级片免费视频播放器 | 无人区码免费观看不卡| av欧美777| 国产伦精品一区二区三区四那| 亚洲aⅴ乱码一区二区在线播放| 亚洲成人久久性| 色综合欧美亚洲国产小说| 国产欧美日韩精品亚洲av| 少妇熟女aⅴ在线视频| 麻豆国产av国片精品| 国产一区在线观看成人免费| 国产激情欧美一区二区| 在线观看美女被高潮喷水网站 | 午夜福利免费观看在线| 一个人看的www免费观看视频| 久久性视频一级片| 神马国产精品三级电影在线观看| 精品久久久久久成人av| 日本精品一区二区三区蜜桃| 午夜日韩欧美国产| 一个人免费在线观看电影 | 夜夜爽天天搞| av在线蜜桃| 美女高潮的动态| 亚洲片人在线观看| 99国产精品99久久久久| 99国产精品一区二区蜜桃av| 精品一区二区三区视频在线观看免费| 国产麻豆成人av免费视频| 少妇人妻一区二区三区视频| 亚洲欧洲精品一区二区精品久久久| 国产av不卡久久| 亚洲最大成人中文| 男人和女人高潮做爰伦理| 午夜影院日韩av| 亚洲欧洲精品一区二区精品久久久| 国产午夜精品久久久久久| 9191精品国产免费久久| 日韩av在线大香蕉| 日韩欧美 国产精品| 少妇的丰满在线观看| 久久天堂一区二区三区四区| 成人精品一区二区免费| 91久久精品国产一区二区成人 | 国产成人av激情在线播放| 久久中文字幕人妻熟女| 一级黄色大片毛片| 国产成人aa在线观看| 成人三级黄色视频| 国产在线精品亚洲第一网站| 国内毛片毛片毛片毛片毛片| 一二三四在线观看免费中文在| 一级作爱视频免费观看| 美女免费视频网站| 精品一区二区三区av网在线观看| 久久中文字幕人妻熟女| 亚洲成人免费电影在线观看| 亚洲成a人片在线一区二区| 在线免费观看的www视频| 好看av亚洲va欧美ⅴa在| 免费看十八禁软件| 婷婷精品国产亚洲av在线| 午夜成年电影在线免费观看| 亚洲国产欧美人成| 国产黄片美女视频| 国产淫片久久久久久久久 | av女优亚洲男人天堂 | 国产精品久久电影中文字幕| АⅤ资源中文在线天堂| 免费看光身美女| 黄片大片在线免费观看| 亚洲av成人不卡在线观看播放网| 法律面前人人平等表现在哪些方面| 亚洲国产欧美人成| 亚洲国产精品合色在线| 香蕉国产在线看| 久久精品aⅴ一区二区三区四区| 色综合婷婷激情| 香蕉国产在线看| 亚洲美女黄片视频| 啦啦啦观看免费观看视频高清| 国产精品女同一区二区软件 | 在线观看一区二区三区| 美女被艹到高潮喷水动态| 69av精品久久久久久| 大型黄色视频在线免费观看|