• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于卷積神經(jīng)網(wǎng)絡(luò)的文獻(xiàn)自動(dòng)分類研究

    2018-03-12 19:24:38郭利敏
    圖書與情報(bào) 2017年6期
    關(guān)鍵詞:卷積神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)人工智能

    摘 要: 人工智能技術(shù)的蓬勃發(fā)展,驅(qū)動(dòng)著文獻(xiàn)自動(dòng)分類由基于規(guī)則的分類向基于機(jī)器學(xué)習(xí)的方向發(fā)展。文章在對(duì)深度學(xué)習(xí)概述的基礎(chǔ)上,將卷積神經(jīng)網(wǎng)絡(luò)引入到了文獻(xiàn)自動(dòng)分類,構(gòu)建了基于題名、關(guān)鍵詞的多層次卷積神經(jīng)網(wǎng)絡(luò)模型,使之能夠根據(jù)文獻(xiàn)的題名和關(guān)鍵詞自動(dòng)給出中圖分類號(hào)。通過在TensorFlow平臺(tái)上的深度學(xué)習(xí)模型,利用《全國(guó)報(bào)刊索引》約170萬(wàn)條記錄進(jìn)行模型訓(xùn)練,并對(duì)7000多篇待加工的文獻(xiàn)做中圖法分類預(yù)測(cè),其在生產(chǎn)情況下一級(jí)分類準(zhǔn)確率為75.39%,四級(jí)準(zhǔn)確率為57.61%。當(dāng)置信度為0.9時(shí),一級(jí)正確率為43.98%,錯(cuò)誤率為1.96%,四級(jí)正確率為25.66%,四級(jí)錯(cuò)誤率為5.11%。證明該模型有著較低的錯(cuò)誤率,可為《全國(guó)報(bào)刊索引》分類流程的半自動(dòng)化提供幫助,解決存在的編目人員緊缺、加工質(zhì)量和效率下降等問題。

    關(guān)鍵詞: 人工智能;智能圖書館;深度學(xué)習(xí);卷積神經(jīng)網(wǎng)絡(luò);TensorFlow;自動(dòng)分類

    中圖分類號(hào)TP18;G254.11 文獻(xiàn)標(biāo)識(shí)碼:A DOI:10.11968/tsyqb.1003-6938.2017119

    Abstract With the rapid development of artificial intelligence, the automatic classification of literature is changing from the rule-based to the machine learning. After an outline of deep learning, the paper introduced convolution neural network into the automatic classification, constructing a multi-level model based on the title and the key words and thus CLC is given automatically. Through the deep learning model in TensorFlow, about 1700000 records of National Newspaper Index were used to make model train. More than 7000literature were processed with the model and the result is: under the production condition, the accuracy of the first classification is 75.39%; the accuracy of the fourth classification is 57.61. When the confidence is 0.9, the correct rate of the first classification is 43.98%, error rate is 1.96%; correct rate of the fourth classification is 25.66%, the error rate is 5.11%.This shows that the model can be used to help realize the semi-automatic in the classification of National Newspaper Index and other problems.

    Key words artificial intelligence; smart library; deep learning; convolution neural network; TensorFlow; automatic classification

    1 引言:圖書館與文獻(xiàn)自動(dòng)分類

    文獻(xiàn)的標(biāo)引編目加工是圖書館重要的業(yè)務(wù)工作之一,其工作量大,專業(yè)性強(qiáng),又是需要多人協(xié)作的綜合性工作,有自己的特點(diǎn)和規(guī)律,主要采用手工分類的方式。在知識(shí)爆炸的時(shí)代,需要對(duì)數(shù)量龐大、內(nèi)容復(fù)雜、形式多樣的文獻(xiàn)進(jìn)行準(zhǔn)確的歸類、標(biāo)引,對(duì)工作人員的要求很高;另一方面,由于編目外包和圖書館學(xué)專業(yè)教育的轉(zhuǎn)型,資深標(biāo)引編目人員日趨減少,信息加工質(zhì)量和效率都呈下降趨勢(shì)。

    20世紀(jì)50、60年代在H .P .Luhn、Maron等人的推動(dòng)下,圖書館界一直在探索文獻(xiàn)自動(dòng)分類的方法。國(guó)內(nèi)相關(guān)研究起始于上世紀(jì)80年代初[1]。近年來隨著人工智能技術(shù)的蓬勃發(fā)展,文獻(xiàn)自動(dòng)分類由基于規(guī)則的分類轉(zhuǎn)向基于機(jī)器學(xué)習(xí)的分類,旨在提高文獻(xiàn)的分準(zhǔn)率。

    1.1 基于規(guī)則的分類方法

    基于規(guī)則的分類方法主要包括基于詞典發(fā)的分類方法,即構(gòu)建主題詞與分類號(hào)的對(duì)照關(guān)系表,掃描并找出文章所包含的主題詞進(jìn)而計(jì)算文獻(xiàn)的類歸屬性;基于專家系統(tǒng)的自動(dòng)分類方法,即構(gòu)建專家系統(tǒng)結(jié)合推理機(jī)實(shí)現(xiàn)文獻(xiàn)分類[1]。此類方法的一方面構(gòu)建分類主題詞表,但由于在知識(shí)爆炸的當(dāng)下,各學(xué)科發(fā)展迅猛文獻(xiàn)內(nèi)容、形式多樣使得詞表的編制滯后于科學(xué)的發(fā)展,使得其對(duì)于包含新詞的文獻(xiàn)無法分類;另一方面經(jīng)常需要人工依學(xué)科發(fā)展的情況不斷調(diào)整分類規(guī)則。

    1.2 基于機(jī)器學(xué)習(xí)的分類方法

    文獻(xiàn)分類過程實(shí)質(zhì)是編目人員依據(jù)文獻(xiàn)題名、關(guān)鍵詞和摘要結(jié)合其對(duì)中圖分類法的理解賦予一個(gè)中圖分類號(hào)的過程(少數(shù)情況下需要通讀全文)。換言之,即是編目人員通過培訓(xùn)學(xué)習(xí)中圖分類法構(gòu)建相應(yīng)的分類體系,利用培訓(xùn)學(xué)習(xí)的成果對(duì)文獻(xiàn)進(jìn)行加工,并在實(shí)踐中不斷完善自己的分類體系。把上述過程泛化,利用已編目的文獻(xiàn)構(gòu)建題名、關(guān)鍵詞和摘要的知識(shí)庫(kù),提取相應(yīng)的特征數(shù)據(jù)進(jìn)行學(xué)習(xí),這便是基于機(jī)器學(xué)習(xí)的分類方法。

    基于機(jī)器學(xué)習(xí)的分類方法其基本過程主要包括:構(gòu)建語(yǔ)料庫(kù)、文本建模、特征選擇、特征擴(kuò)展、選擇并實(shí)現(xiàn)分類算法五個(gè)環(huán)節(jié)。常用的方法有樸素貝葉斯法、KNN、決策樹法、中心向量法、支持向量機(jī)以及近兩年興起的人工神經(jīng)網(wǎng)絡(luò)的分類方法等?;谏窠?jīng)網(wǎng)絡(luò)的分類方法雖在小規(guī)訓(xùn)練集上與其他傳統(tǒng)的機(jī)器學(xué)習(xí)分類方法不相上下,但隨著數(shù)據(jù)集和網(wǎng)絡(luò)規(guī)模的增大,其性能遠(yuǎn)超于傳統(tǒng)的機(jī)器學(xué)習(xí)方法,能夠更好處理海量數(shù)據(jù)(見圖1)。endprint

    本文嘗試將卷積神經(jīng)網(wǎng)絡(luò)引入到文獻(xiàn)自動(dòng)分類研究中,構(gòu)建基于題名、關(guān)鍵詞的多層次卷積神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)模型,使之能夠根據(jù)文獻(xiàn)的題名和關(guān)鍵詞自動(dòng)給出中圖分類號(hào),以解決編目人員緊缺,加工質(zhì)量和效率下降的問題,并在實(shí)際生產(chǎn)環(huán)境下證明該模型的準(zhǔn)確性和合理性。

    2 深度學(xué)習(xí)與TensorFlow

    隨著第三次人工智能浪潮的興起,機(jī)器學(xué)習(xí)作為一種數(shù)據(jù)挖掘的方法被廣泛應(yīng)用于垃圾郵件檢測(cè)、定向客戶的產(chǎn)品推薦、商品預(yù)測(cè)等領(lǐng)域。近年來,受益于計(jì)算機(jī)在通用計(jì)算領(lǐng)域計(jì)算性能的持續(xù)提升和海量數(shù)據(jù)的便捷獲取,深度學(xué)習(xí)作為一種特殊的機(jī)器學(xué)習(xí)范式在圖像識(shí)別、語(yǔ)音識(shí)別、機(jī)器翻譯、文本分類等領(lǐng)域獲得巨大成功,憑借從輸入數(shù)據(jù)中判斷“哪些是特征值”,無需人工干預(yù)的能力,其在醫(yī)療診斷、藝術(shù)創(chuàng)作、醫(yī)療診斷、自動(dòng)駕駛等更加復(fù)雜的領(lǐng)域也有突破性的進(jìn)展,并已開始應(yīng)用于實(shí)際工作中。

    2.1 深度神經(jīng)網(wǎng)絡(luò)

    深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)是人工神經(jīng)網(wǎng)絡(luò)的擴(kuò)展,人工神經(jīng)網(wǎng)絡(luò)是基于模擬大腦皮層的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和功能而提出的計(jì)算模型(見圖2),人工神經(jīng)元細(xì)胞可根據(jù)輸入信號(hào)pi的刺激觸發(fā)輸出a,大量的人工神經(jīng)元細(xì)胞依一定的規(guī)則(即權(quán)重wi)連接在一起形成一個(gè)大規(guī)模并行計(jì)算網(wǎng)絡(luò),即人工神經(jīng)網(wǎng)絡(luò)。

    相較于其他機(jī)器學(xué)習(xí)方法,深度學(xué)習(xí)在模擬人腦神經(jīng)元間的連接、對(duì)外界刺激的感知和傳導(dǎo)的同時(shí),采用讓各層預(yù)先學(xué)習(xí)的方式,建立對(duì)觀察數(shù)據(jù)(或稱訓(xùn)練數(shù)據(jù)、輸入)和標(biāo)簽(或稱輸出)之間的聯(lián)合分布。學(xué)習(xí)從淺層順次開始,上一層學(xué)習(xí)得出的數(shù)據(jù)會(huì)作為下一層的輸入數(shù)據(jù),由淺層的初級(jí)特征逐步學(xué)習(xí)到深層的高級(jí)特征。如在學(xué)習(xí)什么是狗時(shí),第一層是一個(gè)輪廓、下一層是眼、鼻子的形狀,在下一層是臉上的其他細(xì)節(jié)。以此類推,是一個(gè)從全局到局部再到細(xì)節(jié)特征的學(xué)習(xí)過程,每一層都在分段學(xué)習(xí),學(xué)習(xí)過程中的錯(cuò)誤也可以在每一層得到相應(yīng)處理,這使得其具有自我學(xué)習(xí)和解決問題的能力,該模型最早由多倫多大學(xué)的Hitton教授于2006年提出——一種名為深度置信網(wǎng)絡(luò)(Deep Belief Net,DBN)[9],在2012年的ImageNet圖像識(shí)別大賽中以低于第二名10%的錯(cuò)誤率而嶄露頭角[10],之后LeCun、Mikolov等人則提出卷積神經(jīng)網(wǎng)絡(luò)和循環(huán)神經(jīng)網(wǎng)絡(luò),對(duì)深度學(xué)習(xí)進(jìn)行優(yōu)化和擴(kuò)展。

    2.2 深度學(xué)習(xí)框架

    為了更好、更方便高效使用機(jī)器學(xué)習(xí)算法,通常需要一定的軟件平臺(tái)支持,如Caffe、Theano、Torch、CNTK、Tensorflow等。

    Tensorflow是谷歌于2015推出的一種供機(jī)器學(xué)習(xí)所使用的利用數(shù)據(jù)流圖進(jìn)行計(jì)算的庫(kù)套件,遵循Apache2.0協(xié)議。相對(duì)于其他幾個(gè)神經(jīng)網(wǎng)計(jì)算框架而言,Tensorflow屬于其中的后起之秀,它支持多種機(jī)器學(xué)習(xí)常用的開發(fā)語(yǔ)言(如C++、Python、Cuda),支持幾乎所有類型的深度學(xué)習(xí)算法的開發(fā)(如 CNN、RNN、LSTM 等),能在多種硬件環(huán)境(CPU、GPU、TPU手機(jī)、云)下很好地利用各自的長(zhǎng)處和特點(diǎn)運(yùn)行,并能夠進(jìn)行網(wǎng)絡(luò)分布式學(xué)習(xí)。由于其具有眾多優(yōu)點(diǎn),如計(jì)算速度快、部署容易、靈活性強(qiáng)、可擴(kuò)展等,有學(xué)者在github上發(fā)布了關(guān)于Caffe,Theano、Torch、CNTK、Tensorflow性能比較的文章,從網(wǎng)絡(luò)模型能力、接口、模型部署、性能,架構(gòu)和跨平臺(tái)方面對(duì)其進(jìn)行比較分析并做相應(yīng)評(píng)分(滿分為5分)[11](見表1),比較可見,Tensorflow無論是單項(xiàng)還是綜合評(píng)分都比較高。

    Google是TensorFlow 的最大用戶和推動(dòng)者,在谷歌的強(qiáng)力推廣下,很多高校、科研機(jī)構(gòu)和第三公司已開始使用Tensorflow,例如谷歌利用該平臺(tái)對(duì)其自動(dòng)翻譯服務(wù)進(jìn)行了系統(tǒng)升級(jí),翻譯質(zhì)量比過去有明顯提升;在谷歌郵件系統(tǒng)中,用sequence-to-sequence[12]模型來自動(dòng)建立文本摘要,并對(duì)郵件語(yǔ)境預(yù)測(cè)可能的回復(fù);對(duì)視網(wǎng)膜影像數(shù)據(jù)進(jìn)行訓(xùn)練,已能成功預(yù)測(cè)影像是否有糖尿病引起的視網(wǎng)膜病變[13];在AutoDraw[14]中開發(fā)“預(yù)測(cè)”功能,可以根據(jù)標(biāo)題和用戶畫出的部分元素推測(cè)并繼續(xù)完成一幅繪畫作品; Google Now則通過適當(dāng)?shù)臄?shù)據(jù)反饋(RNN,反饋神經(jīng)網(wǎng)絡(luò))來理解音頻信號(hào),進(jìn)而實(shí)現(xiàn)語(yǔ)音識(shí)別、語(yǔ)音搜索、語(yǔ)音情感分析等[15]。這些科研應(yīng)用也給深度學(xué)習(xí)在其他行業(yè)中的應(yīng)用提供了參照。

    3 基于卷積神經(jīng)網(wǎng)絡(luò)的《全國(guó)報(bào)刊索引》文獻(xiàn)分類模型

    《全國(guó)報(bào)刊索引》近4年歷史數(shù)據(jù)約為170萬(wàn)條,包含題名、關(guān)鍵詞、分類號(hào)、摘要、作者、出版社、全文等文獻(xiàn)信息。一方面由于文獻(xiàn)題名與內(nèi)容有著較高的符合率[1] ,且題名是一個(gè)有限長(zhǎng)度、結(jié)構(gòu)緊湊、能夠表達(dá)獨(dú)立意思的短句,這使得卷積神經(jīng)網(wǎng)絡(luò)可以用于文獻(xiàn)的分類;另一方面從摘要中提取正確關(guān)鍵詞存在一定困難,所以本文選取題名+關(guān)鍵詞作為網(wǎng)絡(luò)模型訓(xùn)練的訓(xùn)練集,文獻(xiàn)對(duì)應(yīng)的中圖法分類號(hào)作為網(wǎng)絡(luò)模型的輸出。

    3.1 文獻(xiàn)分類系統(tǒng)模型設(shè)計(jì)

    基于深度學(xué)習(xí)的報(bào)刊索引文本分類基本思想是將已分好類的文獻(xiàn)題名和關(guān)鍵詞經(jīng)切詞后構(gòu)成二維詞向量作為神經(jīng)網(wǎng)絡(luò)的輸入,分類號(hào)作為輸出,通過多層神經(jīng)網(wǎng)絡(luò)訓(xùn)練后,對(duì)新的文獻(xiàn)分類進(jìn)行預(yù)測(cè)。本文所用數(shù)據(jù)中,中圖分類法一級(jí)類目38個(gè)、四級(jí)類目9668個(gè),為了降低訓(xùn)練成本,本文模型采用粗、細(xì)分類的分層分類結(jié)構(gòu)(見圖3),先大類分類,隨后在大類分類的基礎(chǔ)上將其進(jìn)行四級(jí)分類;預(yù)測(cè)也是如此。

    分類系統(tǒng)采用模型預(yù)訓(xùn)練和模型預(yù)測(cè)組成。其中,預(yù)訓(xùn)練是通過對(duì)現(xiàn)有文獻(xiàn)分類的結(jié)果搭建深層神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)模型并進(jìn)行數(shù)據(jù)訓(xùn)練,包括數(shù)據(jù)預(yù)處理和機(jī)器學(xué)習(xí)兩部分;模型預(yù)測(cè)則是對(duì)未知文獻(xiàn)進(jìn)行分類結(jié)果預(yù)測(cè)(見圖4)。

    3.2 數(shù)據(jù)預(yù)處理

    由于神經(jīng)網(wǎng)絡(luò)的準(zhǔn)確率對(duì)于受訓(xùn)練數(shù)據(jù)影響較大,故數(shù)據(jù)預(yù)處理是整個(gè)系統(tǒng)的第一步也是最為關(guān)鍵的一步,包含分詞、詞向量轉(zhuǎn)換以及輸出標(biāo)簽的獨(dú)立熱編碼(one-hot code)。endprint

    3.2.1 分詞

    分詞則是將自然語(yǔ)言轉(zhuǎn)換為一組詞語(yǔ)的表達(dá),與英文依空格切詞不同,中文分詞分為句子切分,對(duì)輸入的中文文檔進(jìn)行預(yù)處理,得到單個(gè)中文短句的集合;原子切分,對(duì)輸入的中文短句進(jìn)行原子切分,并根據(jù)所得的原子系列建立初始的切分詞圖;堆砌詞語(yǔ),基于原子系列,從不同視角分別進(jìn)行中文詞語(yǔ)識(shí)別,并將各自的堆砌結(jié)果添加到切分圖;分詞優(yōu)選,基于上一階段的堆砌路徑和各路徑的概率,計(jì)算得出最可能的堆砌路徑,作為最后的分詞結(jié)果,并輸出最終結(jié)果,四個(gè)步驟。本文采取的做法如下:首先對(duì)所有文獻(xiàn)的關(guān)鍵詞做詞頻統(tǒng)計(jì),并構(gòu)建分詞用主題詞表;基于前綴詞典實(shí)現(xiàn)高效的詞圖掃描,結(jié)合主題詞表生成句子中漢字所有可能成詞情況所構(gòu)成的有向無環(huán)圖;其次運(yùn)用動(dòng)態(tài)規(guī)劃算法查找最大概率路徑, 并找出基于詞頻的最大切分組合;對(duì)于未登錄詞,采用隱馬爾可夫模型(Hidden Markov Model,HMM)[24]模型做漢字成詞處理。

    3.2.2 詞向量

    正如前文所提到的,深度學(xué)習(xí)實(shí)質(zhì)是數(shù)值計(jì)算,所以需要詞向量轉(zhuǎn)換將自然語(yǔ)言轉(zhuǎn)換成可計(jì)算的數(shù)學(xué)表達(dá),即將一個(gè)詞轉(zhuǎn)換成一定空間向量下的概率表達(dá)即p=(w(t)│(w(t-n+1),…,w(t-1)),其中w(t)為句子中第t個(gè)詞在文本中的向量表達(dá)。word vector則表示由該文獻(xiàn)題名和關(guān)鍵詞組成的詞向量組(見圖5)。

    其中,label表示文獻(xiàn)所對(duì)應(yīng)的分類號(hào)采用獨(dú)立熱編碼形式,將分類號(hào)映射為N維空間向量(N為總分類個(gè)數(shù)),當(dāng)某一個(gè)維度上的值為1,其它位為0時(shí)表示該表示其所對(duì)應(yīng)的分類號(hào),即label=((1 0 … 0 0));詞向量wv=(wv11 wv12 … wv1j … wv1m)表示該文獻(xiàn)的中一個(gè)詞。

    詞向量分為靜態(tài)(static)和非靜態(tài)(non-static)方式兩種,靜態(tài)方式采用預(yù)訓(xùn)練的詞向量,訓(xùn)練過程不更新詞向量,在數(shù)據(jù)量不大的情況下使用靜態(tài)方式可以得到不錯(cuò)的效果;非靜態(tài)方式則是在訓(xùn)練過程中更新詞向量,訓(xùn)練過程中調(diào)整詞向量,能加速收斂。詞向量訓(xùn)練模型有很多如skip-gram、CBOW[20-22]、C&W[23]模型等,本文采用靜態(tài)方式,使用skip-gram模型,結(jié)合文獻(xiàn)的題名、關(guān)鍵詞和摘要的分詞結(jié)果作為詞向量的訓(xùn)練集,構(gòu)建靜態(tài)詞向量。

    3.3 卷積神經(jīng)網(wǎng)絡(luò)分類模型的分析與設(shè)計(jì)

    通過Yoon kim的研究表明,有限長(zhǎng)度、結(jié)構(gòu)緊湊、能夠表達(dá)獨(dú)立意思的句子可以使用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行分類[18,25,26],在其研究的基礎(chǔ)上,本文提出將文獻(xiàn)的題名、關(guān)鍵詞作為訓(xùn)練集,并搭建多層卷積神經(jīng)網(wǎng)絡(luò)用于文獻(xiàn)分類的訓(xùn)練和預(yù)測(cè)。

    卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network, CNN)[27]顧名思義,將卷積濾波與神經(jīng)網(wǎng)絡(luò)兩個(gè)思想結(jié)合起來與普通神經(jīng)網(wǎng)絡(luò)的區(qū)別在于,卷積神經(jīng)網(wǎng)絡(luò)包含了一個(gè)由卷積層和子采樣層構(gòu)成的特征抽取器。在卷積神經(jīng)網(wǎng)絡(luò)的卷積層中,一個(gè)神經(jīng)元只與部分鄰層神經(jīng)元連接。在CNN的一個(gè)卷積層中,通常包含若干個(gè)特征平面(feature maps),每個(gè)特征平面由一些矩形排列的的神經(jīng)元組成,同一特征平面的神經(jīng)元共享權(quán)值,這里共享的權(quán)值就是卷積核。卷積核一般以隨機(jī)小數(shù)矩陣的形式初始化,在網(wǎng)絡(luò)的訓(xùn)練過程中卷積核將學(xué)習(xí)得到合理的權(quán)值。共享權(quán)值(卷積核)帶來的直接好處是減少網(wǎng)絡(luò)各層之間的連接,同時(shí)又降低了過擬合的風(fēng)險(xiǎn)。子采樣也叫做池化(pooling),通常有均值子采樣(average pooling)和最大值子采樣(max pooling)兩種形式。子采樣可以看作一種特殊的卷積過程。卷積和子采樣大大簡(jiǎn)化了模型復(fù)雜度,減少了模型的參數(shù)。為此,我們可以得知卷積神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)(見圖6),其由三部分構(gòu)成。第一部分是輸入層;第二部分由n個(gè)卷積層和池化層的組合組成;第三部分由一個(gè)全連結(jié)的多層感知分類器構(gòu)成。

    在作者文獻(xiàn)自動(dòng)分類的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中(見圖7),輸入層為20*20詞向量,隱含層由卷積核為2*20和3個(gè)2*1的卷基層堆疊而成,輸出層為全連接層,結(jié)合softmax激活函數(shù)將提取的文本特征輸出為各個(gè)分類上的概率分布。

    3.4 實(shí)驗(yàn)結(jié)果與分析

    實(shí)驗(yàn)所用數(shù)據(jù)為上海圖書館《全國(guó)報(bào)刊索引》2013-2016(或2014-2017年,作者確定年份)年170萬(wàn)余條題錄將上述模型于TensorFlow平臺(tái)上進(jìn)行訓(xùn)練和調(diào)試,其中訓(xùn)練集為153萬(wàn)條,訓(xùn)練用驗(yàn)證集為17萬(wàn)條。模型訓(xùn)練集的準(zhǔn)確率收斂于67%,訓(xùn)練用驗(yàn)證集的準(zhǔn)確率收斂于69%左右(見圖8、9)。

    在生產(chǎn)環(huán)境中,模型預(yù)測(cè)結(jié)果的正確與否是以人工分類結(jié)果為參照標(biāo)準(zhǔn)。對(duì)未知的7144條待加工數(shù)據(jù)做分級(jí)分類預(yù)測(cè),并與人工分類結(jié)果做比較,測(cè)試后得知,一級(jí)準(zhǔn)確率為75.39%,四級(jí)準(zhǔn)確率為57.61%(見表2)。

    正如前文所提到神經(jīng)網(wǎng)絡(luò)的結(jié)果輸出是為一個(gè)分類上的概率表達(dá),當(dāng)設(shè)輸出閾值(置信度)為0.9時(shí),雖模型一級(jí)正確率為43.98%,一級(jí)錯(cuò)誤率為1.96%,四級(jí)輸出正確率為25.66%,錯(cuò)誤率為5.11%(見表3)。這表明對(duì)于測(cè)試集而言其預(yù)測(cè)結(jié)果在閾值為0.9時(shí)的輸出結(jié)果有著較低的錯(cuò)誤率,即擁有較高的可信度。

    3.4.1 訓(xùn)練集對(duì)準(zhǔn)確率的影響

    受期刊收錄稿件偏好影響,本文所使用的數(shù)據(jù)存在很大的不均衡性(見表4),大量的數(shù)據(jù)集中在D、F、G、R四個(gè)大類上,最少的Z大類只有20個(gè)訓(xùn)練樣本,由于神經(jīng)網(wǎng)絡(luò)的訓(xùn)練集不均衡性[28-31]導(dǎo)致模型預(yù)測(cè)準(zhǔn)確率在一定層度下會(huì)有所下降,通過訓(xùn)練集均衡以獲得最佳結(jié)果;對(duì)于一些極度不均衡的數(shù)據(jù),如T、Z大類,四年內(nèi)總計(jì)數(shù)據(jù)不足100條的類目,無法做樣本均衡,則可將其標(biāo)統(tǒng)一注為“未知”類目,當(dāng)預(yù)為“未知”類目時(shí),直接交由人工處理。

    3.4.2 分詞對(duì)準(zhǔn)確率的影響

    由于中文分詞的特殊性,使得分詞的分準(zhǔn)率受詞表影響較大,如“上海圖書館”一詞,在沒有相應(yīng)的主題詞表時(shí)會(huì)被切割為“上海/圖書館”,使得其在句中的意思是有所改變,影響訓(xùn)練時(shí)的特征提取,進(jìn)而影響預(yù)測(cè)的準(zhǔn)確性。由于并無主題詞表,故對(duì)170萬(wàn)分文獻(xiàn)中出現(xiàn)的關(guān)鍵詞做詞頻統(tǒng)計(jì),為分詞提供主題詞表。經(jīng)不完全測(cè)試,在有無詞表的情況下,準(zhǔn)確率相差約2%。endprint

    3.4.3 驗(yàn)證數(shù)據(jù)對(duì)結(jié)果的影響

    由于驗(yàn)證數(shù)據(jù)采用實(shí)際生產(chǎn)環(huán)境中的數(shù)據(jù)作為測(cè)試集,其數(shù)據(jù)集合并不覆蓋所有的分類項(xiàng)目,且存在數(shù)據(jù)不均衡問題,使得測(cè)試結(jié)果不具有統(tǒng)計(jì)學(xué),但反映了其在實(shí)際生產(chǎn)環(huán)境下的使用情況,證明基于卷積神網(wǎng)絡(luò)的文獻(xiàn)自動(dòng)分類在實(shí)際工作中的可行性。

    4 展望

    谷歌的最新研究成果表明,將計(jì)算機(jī)視覺和語(yǔ)言模型通過CNN與RNN網(wǎng)絡(luò)疊加進(jìn)行合并訓(xùn)練,所得到的系統(tǒng)可以自動(dòng)生成一定長(zhǎng)度的文字文本[19]等。這些研究成果非常適合應(yīng)用于圖書館內(nèi)部業(yè)務(wù)的智能化上,如圖書館藏資源的自動(dòng)分類、自動(dòng)摘要、主題提取、文章聚類、圖片自動(dòng)標(biāo)引、圖像識(shí)別、業(yè)務(wù)預(yù)測(cè)和分析等。

    本文在對(duì)深度學(xué)習(xí)的研究基礎(chǔ)上提出了基于深度學(xué)習(xí)的文獻(xiàn)自動(dòng)分類模型,將文獻(xiàn)分類問題轉(zhuǎn)化為基于神經(jīng)網(wǎng)絡(luò)的自動(dòng)學(xué)習(xí)和預(yù)測(cè)的問題。通過對(duì)《全國(guó)報(bào)刊索引》170萬(wàn)條數(shù)據(jù)的模型訓(xùn)練以及7000多篇待加工的文獻(xiàn)預(yù)測(cè),證明此方法是可行的,且有較高的置信度,分詞、詞表、模型訓(xùn)練完全依賴于歷史數(shù)據(jù)但本文僅細(xì)分至四級(jí)類目,隨著分類的逐步深入,題名與關(guān)鍵詞并不能很好的體現(xiàn)出文獻(xiàn)之間的差異。摘要是體現(xiàn)文獻(xiàn)細(xì)微差別的重要切入點(diǎn),在接下來的研究中,將會(huì)研究如何從摘要中提文獻(xiàn)信息,以提升分類準(zhǔn)確率和細(xì)分程度。

    參考文獻(xiàn):

    [1] 成穎,史九林.自動(dòng)分類研究現(xiàn)狀與展望[J].情報(bào)學(xué)報(bào),1999,18(1):20-26.

    [2] 李湘東,阮濤,劉康.基于維基百科的多種類型文獻(xiàn)自動(dòng)分類研究[J/OL].[2017-10-17].http://kns.cnki.net/kcms/detail/11.2856.G2.20171017.1501.012.html.

    [3] 張野,楊建林.基于KNN和SVM的中文文本自動(dòng)分類研究[J].情報(bào)科學(xué),2011,29(9):1313-1317.

    [4] Wei L,Wei B,Wang B,et al.Text Classification Using Support Vector Machine with Mixture of Kernel[J].Journal of Software Engineering and Applications,2012,5(12):55-58.

    [5] Hebb Donald.The Organization of Behavior a neuropsychological theory[M].New York:John Wiley,1949:100-136.

    [6] Liu M Q.Discrete-time delayed standard neural.Network and its application[J].Sci China,2006,49(2):137-154.

    [7] 王昊,嚴(yán)明,蘇新寧.基于機(jī)器學(xué)習(xí)的中文書目自動(dòng)分類研究[J].中國(guó)圖書館學(xué)報(bào),2010,36(6):28-39.

    [8] 葉鵬.基于機(jī)器學(xué)習(xí)的中文期刊論文自動(dòng)分類研究[D].南京:南京大學(xué),2013.

    [9] Hinton G E,Osindero S,Teh Y W.A fast learning algorithm for deep belief nets[J].Neural computation,2006,18(7):1527-1554.

    [10] Krizhevsky A,Sutskever I,Hinton G E.ImageNet classification with deep convolutional neural networks[C].International Conference on Neural Information Processing Systems.Curran Associates Inc,2012:1097-1105.

    [11] Evaluation of Deep Learning Toolkits[EB/OL].[2017-10-17].https://github.com/zer0n/deepframeworks/blob/master/README.md.

    [12] Ilya Sutskever,Oriol Vinyals,Quoc V.Le.Sequence to sequence learning with neural networks[C].Advances in Neural Information Processing Systems 2014:3104-3112.

    [13] google developers blog[EB/OL].[2017-10-17].https://developers.googleblog.com/2017/02/announcing-tensorflow-10.html.

    [14] Auto Draw[EB/OL].[2017-10-17].https://www.autodraw.com/.

    [15] Alex Graves,Abdel-rahman Mohamed,Geoffrey Hinton. Speech recognition with deep recurrent neural networks[C].International Conference on Acoustics,Speech and Signal Processing,2013:6645-6649.

    [16] Maron M E.On Relevance,Probabilistic Indexing and Information Retrieval[J].Journal of the Acm,1960,7(3):216-244.endprint

    [17] 劉佳賓,陳超,邵正榮,等.基于機(jī)器學(xué)習(xí)的科技文摘關(guān)鍵詞自動(dòng)提取方法[J].計(jì)算機(jī)工程與應(yīng)用,2007(14):170-172.

    [18] Yoon Kim.Convolutional Neural Networks for Sentence Classification[C].Empirical Methods in Natural Language Processing(EMNLP),2014:1746-1751.

    [19] A Picture is Worth Thousand Coherent[EB/OL].[2017-10-17].https://research.googleblog.com/2014/11/a-picture-is-worth-thousand-coherent.html.

    [20] Tomas Mikolov,Kai Chen,Greg Corrado,et al.Efficient Estimation of Word Representations in Vector Space[J].arXiv preprint,2013: arXiv:1301.3781.

    [21] Tomas Mikolov,Ilya Sutskever,Kai Chen,et al.Distributed Representations of Words and Phrases and their Compositionality[C].Advances in Neural Information Processing Systems,2013:3111-3119.

    [22] Yoav Goldberg,Omer Levy.word2vec Explained: deriving Mikolov et al.'s negative-sampling word-embedding method[J].arXiv preprint,2014:arXiv:1402.3722.

    [23] Collobert R,Weston J.A unified architecture for natural language processing:deep neural networks with multitask learning[C].International Conference.DBLP,2008:160-167.

    [24] Kevin P.Murphy,Mark A.Paskin.Linear Time Inference in Hierarchical HMMs[C].Proceedings of Neural Information Processing Systems,2001:833-840.

    [25] Nal Kalchbrenner,Edward Grefenstette,Phil Blunsom.A convolutional neural network for modelling sentences[J].arXiv preprint.2014: arXiv:1404.2188.

    [26] Ying Wen,Weinan Zhang,Rui Luo,et al.Learning text representation using recurrent convolutional neural network with highway layers[J].arXiv preprint,2016: arXiv:1606.06905.

    [27] LeCun,Yann.LeNet-5,convolutional neural networks[EB/OL].[2017-10-17].http://yann.lecun.com/exdb/lenet/.

    [28] Paulina Hensman,David Masko.The impact of imbalanced training data for convolutional neural networks[EB/OL].[2017-10-17].https://www.kth.se/social/files/588617ebf2765401cfcc478c/PHensmanDMasko_dkand15.pdf.

    [29] Palodeto V,Terenzi H,Marques J L B.Training neural networks for protein secondary structure prediction: the effects of imbalanced data set[C].Intelligent Computing,International Conference on Emerging Intelligent Computing Technology and Applications.Springer-Verlag,2009:258-265.

    [30] Chandonia J M,Karplus M.The importance of larger data sets for protein secondary structure prediction with neural networks.[J].Protein Science,2010,5(4):768-774.

    [31] Pulgar F J,Rivera A J,Charte F,et al.On the Impact of Imbalanced Data in?Convolutional Neural Networks Performance[C].International Conference on Hybrid Artificial Intelligence Systems.Springer,Cham,2017:220-232.

    作者簡(jiǎn)介:郭利敏,男,上海圖書館系統(tǒng)網(wǎng)絡(luò)部工程師。endprint

    猜你喜歡
    卷積神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)人工智能
    2019:人工智能
    商界(2019年12期)2019-01-03 06:59:05
    人工智能與就業(yè)
    數(shù)讀人工智能
    小康(2017年16期)2017-06-07 09:00:59
    基于深度卷積神經(jīng)網(wǎng)絡(luò)的物體識(shí)別算法
    MOOC與翻轉(zhuǎn)課堂融合的深度學(xué)習(xí)場(chǎng)域建構(gòu)
    大數(shù)據(jù)技術(shù)在反恐怖主義中的應(yīng)用展望
    深度學(xué)習(xí)算法應(yīng)用于巖石圖像處理的可行性研究
    基于深度卷積網(wǎng)絡(luò)的人臉年齡分析算法與實(shí)現(xiàn)
    軟件工程(2016年8期)2016-10-25 15:47:34
    下一幕,人工智能!
    基于卷積神經(jīng)網(wǎng)絡(luò)的樹葉識(shí)別的算法的研究
    久久久久久免费高清国产稀缺| 亚洲国产欧美网| 精品福利永久在线观看| 天天躁狠狠躁夜夜躁狠狠躁| 午夜福利影视在线免费观看| 十分钟在线观看高清视频www| videosex国产| www.精华液| 精品人妻在线不人妻| 亚洲一区中文字幕在线| 亚洲国产欧美在线一区| 国产精品一区二区在线观看99| 晚上一个人看的免费电影| 亚洲 欧美一区二区三区| 欧美亚洲 丝袜 人妻 在线| 国产成人一区二区在线| 久久人人爽人人片av| 午夜激情久久久久久久| 男女啪啪激烈高潮av片| videos熟女内射| 少妇人妻久久综合中文| 美女高潮到喷水免费观看| 成人18禁高潮啪啪吃奶动态图| 亚洲,欧美精品.| 最近手机中文字幕大全| 亚洲国产av新网站| 精品人妻熟女毛片av久久网站| 青春草国产在线视频| 欧美中文综合在线视频| 一级毛片黄色毛片免费观看视频| 亚洲图色成人| 国产成人a∨麻豆精品| 极品人妻少妇av视频| 国产精品一区二区在线观看99| 老汉色∧v一级毛片| 久久久久久久久免费视频了| 国产黄频视频在线观看| 国产精品二区激情视频| 午夜福利,免费看| 亚洲精品第二区| 亚洲av男天堂| 国产一区二区激情短视频 | 色网站视频免费| 国产精品国产三级专区第一集| 国产野战对白在线观看| 国产1区2区3区精品| 亚洲精品国产av蜜桃| 秋霞在线观看毛片| 最近中文字幕高清免费大全6| 免费在线观看黄色视频的| 国产成人精品在线电影| 欧美在线黄色| 啦啦啦在线观看免费高清www| 一区二区日韩欧美中文字幕| 九色亚洲精品在线播放| 在线观看美女被高潮喷水网站| 香蕉国产在线看| 久久久久国产网址| 亚洲国产欧美日韩在线播放| 免费观看无遮挡的男女| 最新中文字幕久久久久| 免费观看在线日韩| 欧美老熟妇乱子伦牲交| 婷婷成人精品国产| 久久国产亚洲av麻豆专区| 极品人妻少妇av视频| 美女脱内裤让男人舔精品视频| 新久久久久国产一级毛片| www日本在线高清视频| 成人国语在线视频| 国产精品国产三级专区第一集| 你懂的网址亚洲精品在线观看| 亚洲欧美色中文字幕在线| 在线观看www视频免费| 久久精品国产综合久久久| av一本久久久久| 国产极品粉嫩免费观看在线| 久久精品国产亚洲av高清一级| 久久久精品免费免费高清| 久热久热在线精品观看| 一区二区三区乱码不卡18| 97在线视频观看| 亚洲av成人精品一二三区| 亚洲欧美精品自产自拍| 国产精品二区激情视频| 国产日韩欧美亚洲二区| 人妻系列 视频| 中文乱码字字幕精品一区二区三区| 黑人欧美特级aaaaaa片| 欧美日韩精品成人综合77777| 99精国产麻豆久久婷婷| 午夜免费观看性视频| 熟妇人妻不卡中文字幕| 欧美国产精品va在线观看不卡| 国产一区二区 视频在线| 美女国产视频在线观看| 亚洲激情五月婷婷啪啪| 成人免费观看视频高清| 丁香六月天网| 麻豆精品久久久久久蜜桃| 午夜福利视频精品| 成人国语在线视频| 欧美日韩成人在线一区二区| 美女脱内裤让男人舔精品视频| 少妇的逼水好多| 韩国精品一区二区三区| 亚洲欧美精品综合一区二区三区 | 天美传媒精品一区二区| 最近最新中文字幕免费大全7| 免费高清在线观看视频在线观看| 欧美最新免费一区二区三区| 日韩在线高清观看一区二区三区| 国产深夜福利视频在线观看| 色婷婷久久久亚洲欧美| 人人澡人人妻人| 精品一区二区三区四区五区乱码 | 91国产中文字幕| 久久久久国产网址| 天天躁狠狠躁夜夜躁狠狠躁| 亚洲av综合色区一区| 高清欧美精品videossex| 国产免费一区二区三区四区乱码| 一级毛片电影观看| 久久热在线av| 一级毛片我不卡| a级毛片黄视频| 久久 成人 亚洲| 多毛熟女@视频| 视频区图区小说| 婷婷色麻豆天堂久久| 成年美女黄网站色视频大全免费| 18+在线观看网站| 女人高潮潮喷娇喘18禁视频| 一级a爱视频在线免费观看| av卡一久久| 激情五月婷婷亚洲| 精品久久久久久电影网| 精品少妇内射三级| 99热网站在线观看| 亚洲一区二区三区欧美精品| 免费高清在线观看日韩| 国产精品香港三级国产av潘金莲 | 亚洲精品美女久久久久99蜜臀 | 久久久久久久久久人人人人人人| 国产午夜精品一二区理论片| 久久精品国产亚洲av天美| 曰老女人黄片| 亚洲婷婷狠狠爱综合网| 91在线精品国自产拍蜜月| 大码成人一级视频| 亚洲国产av新网站| 久久99精品国语久久久| 日本免费在线观看一区| 两个人免费观看高清视频| 日日啪夜夜爽| 国产欧美日韩一区二区三区在线| 成年人午夜在线观看视频| videossex国产| 精品少妇久久久久久888优播| 午夜激情久久久久久久| 免费播放大片免费观看视频在线观看| 欧美精品一区二区免费开放| 一级毛片 在线播放| 激情五月婷婷亚洲| 性色avwww在线观看| 咕卡用的链子| 亚洲 欧美一区二区三区| 亚洲欧洲精品一区二区精品久久久 | 在线观看三级黄色| 中文字幕人妻熟女乱码| 天天躁夜夜躁狠狠久久av| 亚洲,欧美,日韩| 国产日韩欧美在线精品| 在线观看www视频免费| 一本大道久久a久久精品| 高清不卡的av网站| 国产高清国产精品国产三级| 欧美日韩亚洲国产一区二区在线观看 | 高清视频免费观看一区二区| 久久午夜福利片| 青草久久国产| 国产免费又黄又爽又色| 日韩欧美精品免费久久| 日韩av在线免费看完整版不卡| 老熟女久久久| 久久影院123| 老鸭窝网址在线观看| 亚洲伊人色综图| 欧美国产精品一级二级三级| 欧美日韩综合久久久久久| 欧美亚洲日本最大视频资源| 国产97色在线日韩免费| 看十八女毛片水多多多| 免费看av在线观看网站| av天堂久久9| 99久久中文字幕三级久久日本| 亚洲人成电影观看| 成年美女黄网站色视频大全免费| 美女高潮到喷水免费观看| 黄片小视频在线播放| 久久久精品免费免费高清| 天天影视国产精品| 涩涩av久久男人的天堂| 新久久久久国产一级毛片| 亚洲少妇的诱惑av| 亚洲av在线观看美女高潮| 成年av动漫网址| 啦啦啦啦在线视频资源| 久久久久国产精品人妻一区二区| 女性被躁到高潮视频| 男人爽女人下面视频在线观看| 夜夜骑夜夜射夜夜干| 性色avwww在线观看| av国产久精品久网站免费入址| 9191精品国产免费久久| 91精品国产国语对白视频| 高清不卡的av网站| 午夜免费鲁丝| 水蜜桃什么品种好| 一区二区三区乱码不卡18| 午夜老司机福利剧场| 午夜老司机福利剧场| 一本久久精品| 最近手机中文字幕大全| 久久午夜福利片| 久久97久久精品| 啦啦啦在线免费观看视频4| 在线观看国产h片| 99久久精品国产国产毛片| 香蕉精品网在线| 国产xxxxx性猛交| 亚洲第一av免费看| 国产又爽黄色视频| 日本欧美视频一区| 美女中出高潮动态图| 欧美97在线视频| 免费黄频网站在线观看国产| av在线app专区| 香蕉精品网在线| 久久久久久人人人人人| 麻豆精品久久久久久蜜桃| 免费黄色在线免费观看| 国产精品99久久99久久久不卡 | 日韩精品有码人妻一区| 日韩中字成人| 美女主播在线视频| 最新的欧美精品一区二区| 18在线观看网站| 一级片免费观看大全| 国产极品天堂在线| 1024视频免费在线观看| 肉色欧美久久久久久久蜜桃| 你懂的网址亚洲精品在线观看| a级毛片在线看网站| 亚洲综合色惰| 热re99久久国产66热| 香蕉精品网在线| 新久久久久国产一级毛片| 自线自在国产av| 欧美成人午夜免费资源| 国产深夜福利视频在线观看| 亚洲国产欧美日韩在线播放| 啦啦啦中文免费视频观看日本| 精品人妻偷拍中文字幕| 热re99久久精品国产66热6| 亚洲美女黄色视频免费看| 久久久久久久久免费视频了| 午夜福利,免费看| 女人精品久久久久毛片| 日本-黄色视频高清免费观看| av线在线观看网站| 中文乱码字字幕精品一区二区三区| 天美传媒精品一区二区| 亚洲综合色网址| 国产精品成人在线| 久久精品国产自在天天线| 中国三级夫妇交换| 国产精品免费大片| 久久青草综合色| 一本大道久久a久久精品| 久久精品夜色国产| 精品99又大又爽又粗少妇毛片| 在线观看人妻少妇| 久久av网站| 中文字幕另类日韩欧美亚洲嫩草| 大香蕉久久成人网| 色吧在线观看| 日韩成人av中文字幕在线观看| 夜夜骑夜夜射夜夜干| 精品少妇一区二区三区视频日本电影 | 亚洲av日韩在线播放| 国产精品 国内视频| 日韩精品有码人妻一区| 亚洲精品国产一区二区精华液| 人人澡人人妻人| 久久国内精品自在自线图片| 妹子高潮喷水视频| 成年女人在线观看亚洲视频| 91精品三级在线观看| 亚洲欧美一区二区三区黑人 | 美女福利国产在线| 男人爽女人下面视频在线观看| 国产成人欧美| 久久狼人影院| 免费高清在线观看日韩| 人成视频在线观看免费观看| 国产国语露脸激情在线看| 免费久久久久久久精品成人欧美视频| 亚洲 欧美一区二区三区| 最近的中文字幕免费完整| 免费黄频网站在线观看国产| 亚洲国产日韩一区二区| 2022亚洲国产成人精品| 大码成人一级视频| 国产免费一区二区三区四区乱码| 国产日韩欧美视频二区| 久久久久久久亚洲中文字幕| 亚洲av电影在线进入| 亚洲欧美成人综合另类久久久| 高清欧美精品videossex| 男女无遮挡免费网站观看| 交换朋友夫妻互换小说| 搡老乐熟女国产| 侵犯人妻中文字幕一二三四区| 免费在线观看完整版高清| 免费观看a级毛片全部| 大片免费播放器 马上看| 涩涩av久久男人的天堂| 在线看a的网站| 丰满乱子伦码专区| 亚洲精品在线美女| 大香蕉久久网| 最近最新中文字幕免费大全7| 欧美国产精品va在线观看不卡| 人妻 亚洲 视频| 两性夫妻黄色片| 亚洲欧美一区二区三区久久| 久久久久久久亚洲中文字幕| 亚洲天堂av无毛| 一级a爱视频在线免费观看| 亚洲欧美精品自产自拍| 91精品伊人久久大香线蕉| 亚洲,欧美精品.| 久久99一区二区三区| 制服诱惑二区| 女性被躁到高潮视频| 成人午夜精彩视频在线观看| 国产精品免费大片| 伊人久久国产一区二区| 搡女人真爽免费视频火全软件| 亚洲国产色片| 一级毛片黄色毛片免费观看视频| 黄片播放在线免费| 青春草视频在线免费观看| 亚洲成国产人片在线观看| 黄网站色视频无遮挡免费观看| 久久女婷五月综合色啪小说| 亚洲色图综合在线观看| 18+在线观看网站| 各种免费的搞黄视频| 丰满饥渴人妻一区二区三| 丝袜美腿诱惑在线| 一本久久精品| 91精品三级在线观看| 成年女人毛片免费观看观看9 | 韩国精品一区二区三区| 在线观看免费日韩欧美大片| 一级黄片播放器| 最近中文字幕2019免费版| 久久热在线av| 亚洲精华国产精华液的使用体验| 国产一区亚洲一区在线观看| 国产欧美日韩一区二区三区在线| 欧美日韩精品成人综合77777| 日本欧美国产在线视频| 欧美xxⅹ黑人| 午夜福利视频精品| 少妇被粗大的猛进出69影院| 男女边吃奶边做爰视频| 老女人水多毛片| 2022亚洲国产成人精品| 国产精品一二三区在线看| 日本免费在线观看一区| 色婷婷久久久亚洲欧美| 久久精品人人爽人人爽视色| 日韩成人av中文字幕在线观看| 人人妻人人爽人人添夜夜欢视频| 一级片'在线观看视频| 精品国产超薄肉色丝袜足j| 久久99精品国语久久久| 曰老女人黄片| 女人久久www免费人成看片| 9色porny在线观看| 久久婷婷青草| av一本久久久久| 久久久a久久爽久久v久久| 欧美日韩视频精品一区| 美女视频免费永久观看网站| 亚洲精品视频女| 人妻人人澡人人爽人人| 永久网站在线| 嫩草影院入口| 亚洲av电影在线进入| av天堂久久9| 国产xxxxx性猛交| 又粗又硬又长又爽又黄的视频| 三上悠亚av全集在线观看| 亚洲精品自拍成人| 中文乱码字字幕精品一区二区三区| 成人亚洲精品一区在线观看| 王馨瑶露胸无遮挡在线观看| 十八禁网站网址无遮挡| 一级毛片电影观看| 亚洲男人天堂网一区| 2018国产大陆天天弄谢| 一区福利在线观看| 日日撸夜夜添| 亚洲美女黄色视频免费看| 91精品国产国语对白视频| 欧美在线黄色| 国产精品免费大片| 久久国产精品男人的天堂亚洲| 欧美精品国产亚洲| 老女人水多毛片| 美女主播在线视频| 久久精品夜色国产| 午夜福利在线观看免费完整高清在| 人妻人人澡人人爽人人| 国产白丝娇喘喷水9色精品| 嫩草影院入口| 欧美激情 高清一区二区三区| 高清av免费在线| 亚洲图色成人| 国产精品无大码| 在现免费观看毛片| 欧美精品人与动牲交sv欧美| 国产老妇伦熟女老妇高清| 男女下面插进去视频免费观看| 亚洲国产最新在线播放| 欧美激情极品国产一区二区三区| 亚洲欧美一区二区三区久久| 性高湖久久久久久久久免费观看| 9191精品国产免费久久| 国产白丝娇喘喷水9色精品| 9色porny在线观看| av有码第一页| 免费观看性生交大片5| videosex国产| 国产成人a∨麻豆精品| 精品国产一区二区三区久久久樱花| 91在线精品国自产拍蜜月| 久久av网站| 国精品久久久久久国模美| 亚洲男人天堂网一区| 国精品久久久久久国模美| 人人妻人人爽人人添夜夜欢视频| 欧美成人精品欧美一级黄| av网站免费在线观看视频| av不卡在线播放| 精品国产一区二区三区久久久樱花| 久久青草综合色| 午夜福利在线免费观看网站| 免费观看性生交大片5| 精品视频人人做人人爽| 国产亚洲最大av| h视频一区二区三区| 亚洲精品国产色婷婷电影| 韩国高清视频一区二区三区| 哪个播放器可以免费观看大片| 女人被躁到高潮嗷嗷叫费观| 女人精品久久久久毛片| h视频一区二区三区| 男女边吃奶边做爰视频| 亚洲精品美女久久久久99蜜臀 | 久久毛片免费看一区二区三区| 青春草亚洲视频在线观看| 久久久精品免费免费高清| 久久这里只有精品19| 三上悠亚av全集在线观看| 大香蕉久久成人网| 亚洲欧美日韩另类电影网站| 亚洲天堂av无毛| 黄网站色视频无遮挡免费观看| 日本色播在线视频| 成年人午夜在线观看视频| 人妻一区二区av| 色哟哟·www| 人妻少妇偷人精品九色| 国产在线视频一区二区| www.精华液| 亚洲精品日本国产第一区| 日韩,欧美,国产一区二区三区| 午夜91福利影院| 老汉色av国产亚洲站长工具| 99九九在线精品视频| 美女午夜性视频免费| 一级毛片 在线播放| 人妻 亚洲 视频| 一级毛片 在线播放| 午夜福利视频在线观看免费| 久久久久久伊人网av| 韩国精品一区二区三区| 亚洲美女视频黄频| 亚洲图色成人| 夫妻午夜视频| 少妇被粗大的猛进出69影院| 欧美中文综合在线视频| 亚洲精品美女久久av网站| 久久综合国产亚洲精品| 精品国产一区二区三区久久久樱花| 午夜91福利影院| 午夜福利在线观看免费完整高清在| 最近手机中文字幕大全| 久久鲁丝午夜福利片| 亚洲综合精品二区| 一级毛片黄色毛片免费观看视频| 99热全是精品| 国产黄频视频在线观看| 极品少妇高潮喷水抽搐| 女人精品久久久久毛片| 国产深夜福利视频在线观看| 国产精品免费大片| 国产av一区二区精品久久| 啦啦啦在线免费观看视频4| 久久久国产精品麻豆| 女性被躁到高潮视频| 欧美精品人与动牲交sv欧美| 在线亚洲精品国产二区图片欧美| 免费观看a级毛片全部| 欧美av亚洲av综合av国产av | 天堂8中文在线网| kizo精华| 亚洲欧美一区二区三区久久| 免费女性裸体啪啪无遮挡网站| 国产精品国产三级国产专区5o| 18在线观看网站| 自线自在国产av| 日韩制服骚丝袜av| 久久毛片免费看一区二区三区| 欧美精品av麻豆av| 免费高清在线观看日韩| 99久久精品国产国产毛片| 久久精品国产亚洲av高清一级| 在线 av 中文字幕| 男的添女的下面高潮视频| 欧美亚洲日本最大视频资源| 制服诱惑二区| 一级爰片在线观看| 有码 亚洲区| 美女高潮到喷水免费观看| av卡一久久| a级毛片在线看网站| 国产精品国产三级国产专区5o| 欧美日韩成人在线一区二区| 国产亚洲精品第一综合不卡| 国产一区亚洲一区在线观看| 亚洲在久久综合| 国产av国产精品国产| 亚洲精品aⅴ在线观看| 少妇人妻精品综合一区二区| 精品一区二区免费观看| 国产成人精品一,二区| 久久久久久久精品精品| 色94色欧美一区二区| 97精品久久久久久久久久精品| 18在线观看网站| videos熟女内射| 大片电影免费在线观看免费| 精品少妇黑人巨大在线播放| 91精品国产国语对白视频| 一级片免费观看大全| 日韩一区二区三区影片| 久久免费观看电影| 国产在线一区二区三区精| 国产精品秋霞免费鲁丝片| 精品视频人人做人人爽| 中文字幕最新亚洲高清| 亚洲中文av在线| av卡一久久| 亚洲精品久久久久久婷婷小说| av女优亚洲男人天堂| 99香蕉大伊视频| 日日啪夜夜爽| 久久人人爽av亚洲精品天堂| 日本黄色日本黄色录像| 黄色视频在线播放观看不卡| av在线观看视频网站免费| av在线老鸭窝| 国产亚洲欧美精品永久| 人妻 亚洲 视频| 综合色丁香网| 国产一区二区三区综合在线观看| 男人爽女人下面视频在线观看| 国产极品粉嫩免费观看在线| 亚洲国产精品国产精品| 国产亚洲欧美精品永久| 国产毛片在线视频| 亚洲国产精品一区三区| 亚洲成色77777| 美国免费a级毛片| 一级片免费观看大全| 9热在线视频观看99| 如日韩欧美国产精品一区二区三区| 久久久久久久国产电影| 亚洲欧洲精品一区二区精品久久久 | 亚洲婷婷狠狠爱综合网| av.在线天堂| 亚洲精品成人av观看孕妇| 中文字幕人妻熟女乱码| 巨乳人妻的诱惑在线观看| 91在线精品国自产拍蜜月| 丝袜美腿诱惑在线| 欧美国产精品va在线观看不卡| 最新中文字幕久久久久| a级片在线免费高清观看视频|