• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于卷積神經(jīng)網(wǎng)絡(luò)的文獻(xiàn)自動(dòng)分類研究

    2018-03-12 19:24:38郭利敏
    圖書與情報(bào) 2017年6期
    關(guān)鍵詞:卷積神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)人工智能

    摘 要: 人工智能技術(shù)的蓬勃發(fā)展,驅(qū)動(dòng)著文獻(xiàn)自動(dòng)分類由基于規(guī)則的分類向基于機(jī)器學(xué)習(xí)的方向發(fā)展。文章在對(duì)深度學(xué)習(xí)概述的基礎(chǔ)上,將卷積神經(jīng)網(wǎng)絡(luò)引入到了文獻(xiàn)自動(dòng)分類,構(gòu)建了基于題名、關(guān)鍵詞的多層次卷積神經(jīng)網(wǎng)絡(luò)模型,使之能夠根據(jù)文獻(xiàn)的題名和關(guān)鍵詞自動(dòng)給出中圖分類號(hào)。通過在TensorFlow平臺(tái)上的深度學(xué)習(xí)模型,利用《全國(guó)報(bào)刊索引》約170萬(wàn)條記錄進(jìn)行模型訓(xùn)練,并對(duì)7000多篇待加工的文獻(xiàn)做中圖法分類預(yù)測(cè),其在生產(chǎn)情況下一級(jí)分類準(zhǔn)確率為75.39%,四級(jí)準(zhǔn)確率為57.61%。當(dāng)置信度為0.9時(shí),一級(jí)正確率為43.98%,錯(cuò)誤率為1.96%,四級(jí)正確率為25.66%,四級(jí)錯(cuò)誤率為5.11%。證明該模型有著較低的錯(cuò)誤率,可為《全國(guó)報(bào)刊索引》分類流程的半自動(dòng)化提供幫助,解決存在的編目人員緊缺、加工質(zhì)量和效率下降等問題。

    關(guān)鍵詞: 人工智能;智能圖書館;深度學(xué)習(xí);卷積神經(jīng)網(wǎng)絡(luò);TensorFlow;自動(dòng)分類

    中圖分類號(hào)TP18;G254.11 文獻(xiàn)標(biāo)識(shí)碼:A DOI:10.11968/tsyqb.1003-6938.2017119

    Abstract With the rapid development of artificial intelligence, the automatic classification of literature is changing from the rule-based to the machine learning. After an outline of deep learning, the paper introduced convolution neural network into the automatic classification, constructing a multi-level model based on the title and the key words and thus CLC is given automatically. Through the deep learning model in TensorFlow, about 1700000 records of National Newspaper Index were used to make model train. More than 7000literature were processed with the model and the result is: under the production condition, the accuracy of the first classification is 75.39%; the accuracy of the fourth classification is 57.61. When the confidence is 0.9, the correct rate of the first classification is 43.98%, error rate is 1.96%; correct rate of the fourth classification is 25.66%, the error rate is 5.11%.This shows that the model can be used to help realize the semi-automatic in the classification of National Newspaper Index and other problems.

    Key words artificial intelligence; smart library; deep learning; convolution neural network; TensorFlow; automatic classification

    1 引言:圖書館與文獻(xiàn)自動(dòng)分類

    文獻(xiàn)的標(biāo)引編目加工是圖書館重要的業(yè)務(wù)工作之一,其工作量大,專業(yè)性強(qiáng),又是需要多人協(xié)作的綜合性工作,有自己的特點(diǎn)和規(guī)律,主要采用手工分類的方式。在知識(shí)爆炸的時(shí)代,需要對(duì)數(shù)量龐大、內(nèi)容復(fù)雜、形式多樣的文獻(xiàn)進(jìn)行準(zhǔn)確的歸類、標(biāo)引,對(duì)工作人員的要求很高;另一方面,由于編目外包和圖書館學(xué)專業(yè)教育的轉(zhuǎn)型,資深標(biāo)引編目人員日趨減少,信息加工質(zhì)量和效率都呈下降趨勢(shì)。

    20世紀(jì)50、60年代在H .P .Luhn、Maron等人的推動(dòng)下,圖書館界一直在探索文獻(xiàn)自動(dòng)分類的方法。國(guó)內(nèi)相關(guān)研究起始于上世紀(jì)80年代初[1]。近年來隨著人工智能技術(shù)的蓬勃發(fā)展,文獻(xiàn)自動(dòng)分類由基于規(guī)則的分類轉(zhuǎn)向基于機(jī)器學(xué)習(xí)的分類,旨在提高文獻(xiàn)的分準(zhǔn)率。

    1.1 基于規(guī)則的分類方法

    基于規(guī)則的分類方法主要包括基于詞典發(fā)的分類方法,即構(gòu)建主題詞與分類號(hào)的對(duì)照關(guān)系表,掃描并找出文章所包含的主題詞進(jìn)而計(jì)算文獻(xiàn)的類歸屬性;基于專家系統(tǒng)的自動(dòng)分類方法,即構(gòu)建專家系統(tǒng)結(jié)合推理機(jī)實(shí)現(xiàn)文獻(xiàn)分類[1]。此類方法的一方面構(gòu)建分類主題詞表,但由于在知識(shí)爆炸的當(dāng)下,各學(xué)科發(fā)展迅猛文獻(xiàn)內(nèi)容、形式多樣使得詞表的編制滯后于科學(xué)的發(fā)展,使得其對(duì)于包含新詞的文獻(xiàn)無法分類;另一方面經(jīng)常需要人工依學(xué)科發(fā)展的情況不斷調(diào)整分類規(guī)則。

    1.2 基于機(jī)器學(xué)習(xí)的分類方法

    文獻(xiàn)分類過程實(shí)質(zhì)是編目人員依據(jù)文獻(xiàn)題名、關(guān)鍵詞和摘要結(jié)合其對(duì)中圖分類法的理解賦予一個(gè)中圖分類號(hào)的過程(少數(shù)情況下需要通讀全文)。換言之,即是編目人員通過培訓(xùn)學(xué)習(xí)中圖分類法構(gòu)建相應(yīng)的分類體系,利用培訓(xùn)學(xué)習(xí)的成果對(duì)文獻(xiàn)進(jìn)行加工,并在實(shí)踐中不斷完善自己的分類體系。把上述過程泛化,利用已編目的文獻(xiàn)構(gòu)建題名、關(guān)鍵詞和摘要的知識(shí)庫(kù),提取相應(yīng)的特征數(shù)據(jù)進(jìn)行學(xué)習(xí),這便是基于機(jī)器學(xué)習(xí)的分類方法。

    基于機(jī)器學(xué)習(xí)的分類方法其基本過程主要包括:構(gòu)建語(yǔ)料庫(kù)、文本建模、特征選擇、特征擴(kuò)展、選擇并實(shí)現(xiàn)分類算法五個(gè)環(huán)節(jié)。常用的方法有樸素貝葉斯法、KNN、決策樹法、中心向量法、支持向量機(jī)以及近兩年興起的人工神經(jīng)網(wǎng)絡(luò)的分類方法等?;谏窠?jīng)網(wǎng)絡(luò)的分類方法雖在小規(guī)訓(xùn)練集上與其他傳統(tǒng)的機(jī)器學(xué)習(xí)分類方法不相上下,但隨著數(shù)據(jù)集和網(wǎng)絡(luò)規(guī)模的增大,其性能遠(yuǎn)超于傳統(tǒng)的機(jī)器學(xué)習(xí)方法,能夠更好處理海量數(shù)據(jù)(見圖1)。endprint

    本文嘗試將卷積神經(jīng)網(wǎng)絡(luò)引入到文獻(xiàn)自動(dòng)分類研究中,構(gòu)建基于題名、關(guān)鍵詞的多層次卷積神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)模型,使之能夠根據(jù)文獻(xiàn)的題名和關(guān)鍵詞自動(dòng)給出中圖分類號(hào),以解決編目人員緊缺,加工質(zhì)量和效率下降的問題,并在實(shí)際生產(chǎn)環(huán)境下證明該模型的準(zhǔn)確性和合理性。

    2 深度學(xué)習(xí)與TensorFlow

    隨著第三次人工智能浪潮的興起,機(jī)器學(xué)習(xí)作為一種數(shù)據(jù)挖掘的方法被廣泛應(yīng)用于垃圾郵件檢測(cè)、定向客戶的產(chǎn)品推薦、商品預(yù)測(cè)等領(lǐng)域。近年來,受益于計(jì)算機(jī)在通用計(jì)算領(lǐng)域計(jì)算性能的持續(xù)提升和海量數(shù)據(jù)的便捷獲取,深度學(xué)習(xí)作為一種特殊的機(jī)器學(xué)習(xí)范式在圖像識(shí)別、語(yǔ)音識(shí)別、機(jī)器翻譯、文本分類等領(lǐng)域獲得巨大成功,憑借從輸入數(shù)據(jù)中判斷“哪些是特征值”,無需人工干預(yù)的能力,其在醫(yī)療診斷、藝術(shù)創(chuàng)作、醫(yī)療診斷、自動(dòng)駕駛等更加復(fù)雜的領(lǐng)域也有突破性的進(jìn)展,并已開始應(yīng)用于實(shí)際工作中。

    2.1 深度神經(jīng)網(wǎng)絡(luò)

    深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)是人工神經(jīng)網(wǎng)絡(luò)的擴(kuò)展,人工神經(jīng)網(wǎng)絡(luò)是基于模擬大腦皮層的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和功能而提出的計(jì)算模型(見圖2),人工神經(jīng)元細(xì)胞可根據(jù)輸入信號(hào)pi的刺激觸發(fā)輸出a,大量的人工神經(jīng)元細(xì)胞依一定的規(guī)則(即權(quán)重wi)連接在一起形成一個(gè)大規(guī)模并行計(jì)算網(wǎng)絡(luò),即人工神經(jīng)網(wǎng)絡(luò)。

    相較于其他機(jī)器學(xué)習(xí)方法,深度學(xué)習(xí)在模擬人腦神經(jīng)元間的連接、對(duì)外界刺激的感知和傳導(dǎo)的同時(shí),采用讓各層預(yù)先學(xué)習(xí)的方式,建立對(duì)觀察數(shù)據(jù)(或稱訓(xùn)練數(shù)據(jù)、輸入)和標(biāo)簽(或稱輸出)之間的聯(lián)合分布。學(xué)習(xí)從淺層順次開始,上一層學(xué)習(xí)得出的數(shù)據(jù)會(huì)作為下一層的輸入數(shù)據(jù),由淺層的初級(jí)特征逐步學(xué)習(xí)到深層的高級(jí)特征。如在學(xué)習(xí)什么是狗時(shí),第一層是一個(gè)輪廓、下一層是眼、鼻子的形狀,在下一層是臉上的其他細(xì)節(jié)。以此類推,是一個(gè)從全局到局部再到細(xì)節(jié)特征的學(xué)習(xí)過程,每一層都在分段學(xué)習(xí),學(xué)習(xí)過程中的錯(cuò)誤也可以在每一層得到相應(yīng)處理,這使得其具有自我學(xué)習(xí)和解決問題的能力,該模型最早由多倫多大學(xué)的Hitton教授于2006年提出——一種名為深度置信網(wǎng)絡(luò)(Deep Belief Net,DBN)[9],在2012年的ImageNet圖像識(shí)別大賽中以低于第二名10%的錯(cuò)誤率而嶄露頭角[10],之后LeCun、Mikolov等人則提出卷積神經(jīng)網(wǎng)絡(luò)和循環(huán)神經(jīng)網(wǎng)絡(luò),對(duì)深度學(xué)習(xí)進(jìn)行優(yōu)化和擴(kuò)展。

    2.2 深度學(xué)習(xí)框架

    為了更好、更方便高效使用機(jī)器學(xué)習(xí)算法,通常需要一定的軟件平臺(tái)支持,如Caffe、Theano、Torch、CNTK、Tensorflow等。

    Tensorflow是谷歌于2015推出的一種供機(jī)器學(xué)習(xí)所使用的利用數(shù)據(jù)流圖進(jìn)行計(jì)算的庫(kù)套件,遵循Apache2.0協(xié)議。相對(duì)于其他幾個(gè)神經(jīng)網(wǎng)計(jì)算框架而言,Tensorflow屬于其中的后起之秀,它支持多種機(jī)器學(xué)習(xí)常用的開發(fā)語(yǔ)言(如C++、Python、Cuda),支持幾乎所有類型的深度學(xué)習(xí)算法的開發(fā)(如 CNN、RNN、LSTM 等),能在多種硬件環(huán)境(CPU、GPU、TPU手機(jī)、云)下很好地利用各自的長(zhǎng)處和特點(diǎn)運(yùn)行,并能夠進(jìn)行網(wǎng)絡(luò)分布式學(xué)習(xí)。由于其具有眾多優(yōu)點(diǎn),如計(jì)算速度快、部署容易、靈活性強(qiáng)、可擴(kuò)展等,有學(xué)者在github上發(fā)布了關(guān)于Caffe,Theano、Torch、CNTK、Tensorflow性能比較的文章,從網(wǎng)絡(luò)模型能力、接口、模型部署、性能,架構(gòu)和跨平臺(tái)方面對(duì)其進(jìn)行比較分析并做相應(yīng)評(píng)分(滿分為5分)[11](見表1),比較可見,Tensorflow無論是單項(xiàng)還是綜合評(píng)分都比較高。

    Google是TensorFlow 的最大用戶和推動(dòng)者,在谷歌的強(qiáng)力推廣下,很多高校、科研機(jī)構(gòu)和第三公司已開始使用Tensorflow,例如谷歌利用該平臺(tái)對(duì)其自動(dòng)翻譯服務(wù)進(jìn)行了系統(tǒng)升級(jí),翻譯質(zhì)量比過去有明顯提升;在谷歌郵件系統(tǒng)中,用sequence-to-sequence[12]模型來自動(dòng)建立文本摘要,并對(duì)郵件語(yǔ)境預(yù)測(cè)可能的回復(fù);對(duì)視網(wǎng)膜影像數(shù)據(jù)進(jìn)行訓(xùn)練,已能成功預(yù)測(cè)影像是否有糖尿病引起的視網(wǎng)膜病變[13];在AutoDraw[14]中開發(fā)“預(yù)測(cè)”功能,可以根據(jù)標(biāo)題和用戶畫出的部分元素推測(cè)并繼續(xù)完成一幅繪畫作品; Google Now則通過適當(dāng)?shù)臄?shù)據(jù)反饋(RNN,反饋神經(jīng)網(wǎng)絡(luò))來理解音頻信號(hào),進(jìn)而實(shí)現(xiàn)語(yǔ)音識(shí)別、語(yǔ)音搜索、語(yǔ)音情感分析等[15]。這些科研應(yīng)用也給深度學(xué)習(xí)在其他行業(yè)中的應(yīng)用提供了參照。

    3 基于卷積神經(jīng)網(wǎng)絡(luò)的《全國(guó)報(bào)刊索引》文獻(xiàn)分類模型

    《全國(guó)報(bào)刊索引》近4年歷史數(shù)據(jù)約為170萬(wàn)條,包含題名、關(guān)鍵詞、分類號(hào)、摘要、作者、出版社、全文等文獻(xiàn)信息。一方面由于文獻(xiàn)題名與內(nèi)容有著較高的符合率[1] ,且題名是一個(gè)有限長(zhǎng)度、結(jié)構(gòu)緊湊、能夠表達(dá)獨(dú)立意思的短句,這使得卷積神經(jīng)網(wǎng)絡(luò)可以用于文獻(xiàn)的分類;另一方面從摘要中提取正確關(guān)鍵詞存在一定困難,所以本文選取題名+關(guān)鍵詞作為網(wǎng)絡(luò)模型訓(xùn)練的訓(xùn)練集,文獻(xiàn)對(duì)應(yīng)的中圖法分類號(hào)作為網(wǎng)絡(luò)模型的輸出。

    3.1 文獻(xiàn)分類系統(tǒng)模型設(shè)計(jì)

    基于深度學(xué)習(xí)的報(bào)刊索引文本分類基本思想是將已分好類的文獻(xiàn)題名和關(guān)鍵詞經(jīng)切詞后構(gòu)成二維詞向量作為神經(jīng)網(wǎng)絡(luò)的輸入,分類號(hào)作為輸出,通過多層神經(jīng)網(wǎng)絡(luò)訓(xùn)練后,對(duì)新的文獻(xiàn)分類進(jìn)行預(yù)測(cè)。本文所用數(shù)據(jù)中,中圖分類法一級(jí)類目38個(gè)、四級(jí)類目9668個(gè),為了降低訓(xùn)練成本,本文模型采用粗、細(xì)分類的分層分類結(jié)構(gòu)(見圖3),先大類分類,隨后在大類分類的基礎(chǔ)上將其進(jìn)行四級(jí)分類;預(yù)測(cè)也是如此。

    分類系統(tǒng)采用模型預(yù)訓(xùn)練和模型預(yù)測(cè)組成。其中,預(yù)訓(xùn)練是通過對(duì)現(xiàn)有文獻(xiàn)分類的結(jié)果搭建深層神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)模型并進(jìn)行數(shù)據(jù)訓(xùn)練,包括數(shù)據(jù)預(yù)處理和機(jī)器學(xué)習(xí)兩部分;模型預(yù)測(cè)則是對(duì)未知文獻(xiàn)進(jìn)行分類結(jié)果預(yù)測(cè)(見圖4)。

    3.2 數(shù)據(jù)預(yù)處理

    由于神經(jīng)網(wǎng)絡(luò)的準(zhǔn)確率對(duì)于受訓(xùn)練數(shù)據(jù)影響較大,故數(shù)據(jù)預(yù)處理是整個(gè)系統(tǒng)的第一步也是最為關(guān)鍵的一步,包含分詞、詞向量轉(zhuǎn)換以及輸出標(biāo)簽的獨(dú)立熱編碼(one-hot code)。endprint

    3.2.1 分詞

    分詞則是將自然語(yǔ)言轉(zhuǎn)換為一組詞語(yǔ)的表達(dá),與英文依空格切詞不同,中文分詞分為句子切分,對(duì)輸入的中文文檔進(jìn)行預(yù)處理,得到單個(gè)中文短句的集合;原子切分,對(duì)輸入的中文短句進(jìn)行原子切分,并根據(jù)所得的原子系列建立初始的切分詞圖;堆砌詞語(yǔ),基于原子系列,從不同視角分別進(jìn)行中文詞語(yǔ)識(shí)別,并將各自的堆砌結(jié)果添加到切分圖;分詞優(yōu)選,基于上一階段的堆砌路徑和各路徑的概率,計(jì)算得出最可能的堆砌路徑,作為最后的分詞結(jié)果,并輸出最終結(jié)果,四個(gè)步驟。本文采取的做法如下:首先對(duì)所有文獻(xiàn)的關(guān)鍵詞做詞頻統(tǒng)計(jì),并構(gòu)建分詞用主題詞表;基于前綴詞典實(shí)現(xiàn)高效的詞圖掃描,結(jié)合主題詞表生成句子中漢字所有可能成詞情況所構(gòu)成的有向無環(huán)圖;其次運(yùn)用動(dòng)態(tài)規(guī)劃算法查找最大概率路徑, 并找出基于詞頻的最大切分組合;對(duì)于未登錄詞,采用隱馬爾可夫模型(Hidden Markov Model,HMM)[24]模型做漢字成詞處理。

    3.2.2 詞向量

    正如前文所提到的,深度學(xué)習(xí)實(shí)質(zhì)是數(shù)值計(jì)算,所以需要詞向量轉(zhuǎn)換將自然語(yǔ)言轉(zhuǎn)換成可計(jì)算的數(shù)學(xué)表達(dá),即將一個(gè)詞轉(zhuǎn)換成一定空間向量下的概率表達(dá)即p=(w(t)│(w(t-n+1),…,w(t-1)),其中w(t)為句子中第t個(gè)詞在文本中的向量表達(dá)。word vector則表示由該文獻(xiàn)題名和關(guān)鍵詞組成的詞向量組(見圖5)。

    其中,label表示文獻(xiàn)所對(duì)應(yīng)的分類號(hào)采用獨(dú)立熱編碼形式,將分類號(hào)映射為N維空間向量(N為總分類個(gè)數(shù)),當(dāng)某一個(gè)維度上的值為1,其它位為0時(shí)表示該表示其所對(duì)應(yīng)的分類號(hào),即label=((1 0 … 0 0));詞向量wv=(wv11 wv12 … wv1j … wv1m)表示該文獻(xiàn)的中一個(gè)詞。

    詞向量分為靜態(tài)(static)和非靜態(tài)(non-static)方式兩種,靜態(tài)方式采用預(yù)訓(xùn)練的詞向量,訓(xùn)練過程不更新詞向量,在數(shù)據(jù)量不大的情況下使用靜態(tài)方式可以得到不錯(cuò)的效果;非靜態(tài)方式則是在訓(xùn)練過程中更新詞向量,訓(xùn)練過程中調(diào)整詞向量,能加速收斂。詞向量訓(xùn)練模型有很多如skip-gram、CBOW[20-22]、C&W[23]模型等,本文采用靜態(tài)方式,使用skip-gram模型,結(jié)合文獻(xiàn)的題名、關(guān)鍵詞和摘要的分詞結(jié)果作為詞向量的訓(xùn)練集,構(gòu)建靜態(tài)詞向量。

    3.3 卷積神經(jīng)網(wǎng)絡(luò)分類模型的分析與設(shè)計(jì)

    通過Yoon kim的研究表明,有限長(zhǎng)度、結(jié)構(gòu)緊湊、能夠表達(dá)獨(dú)立意思的句子可以使用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行分類[18,25,26],在其研究的基礎(chǔ)上,本文提出將文獻(xiàn)的題名、關(guān)鍵詞作為訓(xùn)練集,并搭建多層卷積神經(jīng)網(wǎng)絡(luò)用于文獻(xiàn)分類的訓(xùn)練和預(yù)測(cè)。

    卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network, CNN)[27]顧名思義,將卷積濾波與神經(jīng)網(wǎng)絡(luò)兩個(gè)思想結(jié)合起來與普通神經(jīng)網(wǎng)絡(luò)的區(qū)別在于,卷積神經(jīng)網(wǎng)絡(luò)包含了一個(gè)由卷積層和子采樣層構(gòu)成的特征抽取器。在卷積神經(jīng)網(wǎng)絡(luò)的卷積層中,一個(gè)神經(jīng)元只與部分鄰層神經(jīng)元連接。在CNN的一個(gè)卷積層中,通常包含若干個(gè)特征平面(feature maps),每個(gè)特征平面由一些矩形排列的的神經(jīng)元組成,同一特征平面的神經(jīng)元共享權(quán)值,這里共享的權(quán)值就是卷積核。卷積核一般以隨機(jī)小數(shù)矩陣的形式初始化,在網(wǎng)絡(luò)的訓(xùn)練過程中卷積核將學(xué)習(xí)得到合理的權(quán)值。共享權(quán)值(卷積核)帶來的直接好處是減少網(wǎng)絡(luò)各層之間的連接,同時(shí)又降低了過擬合的風(fēng)險(xiǎn)。子采樣也叫做池化(pooling),通常有均值子采樣(average pooling)和最大值子采樣(max pooling)兩種形式。子采樣可以看作一種特殊的卷積過程。卷積和子采樣大大簡(jiǎn)化了模型復(fù)雜度,減少了模型的參數(shù)。為此,我們可以得知卷積神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)(見圖6),其由三部分構(gòu)成。第一部分是輸入層;第二部分由n個(gè)卷積層和池化層的組合組成;第三部分由一個(gè)全連結(jié)的多層感知分類器構(gòu)成。

    在作者文獻(xiàn)自動(dòng)分類的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中(見圖7),輸入層為20*20詞向量,隱含層由卷積核為2*20和3個(gè)2*1的卷基層堆疊而成,輸出層為全連接層,結(jié)合softmax激活函數(shù)將提取的文本特征輸出為各個(gè)分類上的概率分布。

    3.4 實(shí)驗(yàn)結(jié)果與分析

    實(shí)驗(yàn)所用數(shù)據(jù)為上海圖書館《全國(guó)報(bào)刊索引》2013-2016(或2014-2017年,作者確定年份)年170萬(wàn)余條題錄將上述模型于TensorFlow平臺(tái)上進(jìn)行訓(xùn)練和調(diào)試,其中訓(xùn)練集為153萬(wàn)條,訓(xùn)練用驗(yàn)證集為17萬(wàn)條。模型訓(xùn)練集的準(zhǔn)確率收斂于67%,訓(xùn)練用驗(yàn)證集的準(zhǔn)確率收斂于69%左右(見圖8、9)。

    在生產(chǎn)環(huán)境中,模型預(yù)測(cè)結(jié)果的正確與否是以人工分類結(jié)果為參照標(biāo)準(zhǔn)。對(duì)未知的7144條待加工數(shù)據(jù)做分級(jí)分類預(yù)測(cè),并與人工分類結(jié)果做比較,測(cè)試后得知,一級(jí)準(zhǔn)確率為75.39%,四級(jí)準(zhǔn)確率為57.61%(見表2)。

    正如前文所提到神經(jīng)網(wǎng)絡(luò)的結(jié)果輸出是為一個(gè)分類上的概率表達(dá),當(dāng)設(shè)輸出閾值(置信度)為0.9時(shí),雖模型一級(jí)正確率為43.98%,一級(jí)錯(cuò)誤率為1.96%,四級(jí)輸出正確率為25.66%,錯(cuò)誤率為5.11%(見表3)。這表明對(duì)于測(cè)試集而言其預(yù)測(cè)結(jié)果在閾值為0.9時(shí)的輸出結(jié)果有著較低的錯(cuò)誤率,即擁有較高的可信度。

    3.4.1 訓(xùn)練集對(duì)準(zhǔn)確率的影響

    受期刊收錄稿件偏好影響,本文所使用的數(shù)據(jù)存在很大的不均衡性(見表4),大量的數(shù)據(jù)集中在D、F、G、R四個(gè)大類上,最少的Z大類只有20個(gè)訓(xùn)練樣本,由于神經(jīng)網(wǎng)絡(luò)的訓(xùn)練集不均衡性[28-31]導(dǎo)致模型預(yù)測(cè)準(zhǔn)確率在一定層度下會(huì)有所下降,通過訓(xùn)練集均衡以獲得最佳結(jié)果;對(duì)于一些極度不均衡的數(shù)據(jù),如T、Z大類,四年內(nèi)總計(jì)數(shù)據(jù)不足100條的類目,無法做樣本均衡,則可將其標(biāo)統(tǒng)一注為“未知”類目,當(dāng)預(yù)為“未知”類目時(shí),直接交由人工處理。

    3.4.2 分詞對(duì)準(zhǔn)確率的影響

    由于中文分詞的特殊性,使得分詞的分準(zhǔn)率受詞表影響較大,如“上海圖書館”一詞,在沒有相應(yīng)的主題詞表時(shí)會(huì)被切割為“上海/圖書館”,使得其在句中的意思是有所改變,影響訓(xùn)練時(shí)的特征提取,進(jìn)而影響預(yù)測(cè)的準(zhǔn)確性。由于并無主題詞表,故對(duì)170萬(wàn)分文獻(xiàn)中出現(xiàn)的關(guān)鍵詞做詞頻統(tǒng)計(jì),為分詞提供主題詞表。經(jīng)不完全測(cè)試,在有無詞表的情況下,準(zhǔn)確率相差約2%。endprint

    3.4.3 驗(yàn)證數(shù)據(jù)對(duì)結(jié)果的影響

    由于驗(yàn)證數(shù)據(jù)采用實(shí)際生產(chǎn)環(huán)境中的數(shù)據(jù)作為測(cè)試集,其數(shù)據(jù)集合并不覆蓋所有的分類項(xiàng)目,且存在數(shù)據(jù)不均衡問題,使得測(cè)試結(jié)果不具有統(tǒng)計(jì)學(xué),但反映了其在實(shí)際生產(chǎn)環(huán)境下的使用情況,證明基于卷積神網(wǎng)絡(luò)的文獻(xiàn)自動(dòng)分類在實(shí)際工作中的可行性。

    4 展望

    谷歌的最新研究成果表明,將計(jì)算機(jī)視覺和語(yǔ)言模型通過CNN與RNN網(wǎng)絡(luò)疊加進(jìn)行合并訓(xùn)練,所得到的系統(tǒng)可以自動(dòng)生成一定長(zhǎng)度的文字文本[19]等。這些研究成果非常適合應(yīng)用于圖書館內(nèi)部業(yè)務(wù)的智能化上,如圖書館藏資源的自動(dòng)分類、自動(dòng)摘要、主題提取、文章聚類、圖片自動(dòng)標(biāo)引、圖像識(shí)別、業(yè)務(wù)預(yù)測(cè)和分析等。

    本文在對(duì)深度學(xué)習(xí)的研究基礎(chǔ)上提出了基于深度學(xué)習(xí)的文獻(xiàn)自動(dòng)分類模型,將文獻(xiàn)分類問題轉(zhuǎn)化為基于神經(jīng)網(wǎng)絡(luò)的自動(dòng)學(xué)習(xí)和預(yù)測(cè)的問題。通過對(duì)《全國(guó)報(bào)刊索引》170萬(wàn)條數(shù)據(jù)的模型訓(xùn)練以及7000多篇待加工的文獻(xiàn)預(yù)測(cè),證明此方法是可行的,且有較高的置信度,分詞、詞表、模型訓(xùn)練完全依賴于歷史數(shù)據(jù)但本文僅細(xì)分至四級(jí)類目,隨著分類的逐步深入,題名與關(guān)鍵詞并不能很好的體現(xiàn)出文獻(xiàn)之間的差異。摘要是體現(xiàn)文獻(xiàn)細(xì)微差別的重要切入點(diǎn),在接下來的研究中,將會(huì)研究如何從摘要中提文獻(xiàn)信息,以提升分類準(zhǔn)確率和細(xì)分程度。

    參考文獻(xiàn):

    [1] 成穎,史九林.自動(dòng)分類研究現(xiàn)狀與展望[J].情報(bào)學(xué)報(bào),1999,18(1):20-26.

    [2] 李湘東,阮濤,劉康.基于維基百科的多種類型文獻(xiàn)自動(dòng)分類研究[J/OL].[2017-10-17].http://kns.cnki.net/kcms/detail/11.2856.G2.20171017.1501.012.html.

    [3] 張野,楊建林.基于KNN和SVM的中文文本自動(dòng)分類研究[J].情報(bào)科學(xué),2011,29(9):1313-1317.

    [4] Wei L,Wei B,Wang B,et al.Text Classification Using Support Vector Machine with Mixture of Kernel[J].Journal of Software Engineering and Applications,2012,5(12):55-58.

    [5] Hebb Donald.The Organization of Behavior a neuropsychological theory[M].New York:John Wiley,1949:100-136.

    [6] Liu M Q.Discrete-time delayed standard neural.Network and its application[J].Sci China,2006,49(2):137-154.

    [7] 王昊,嚴(yán)明,蘇新寧.基于機(jī)器學(xué)習(xí)的中文書目自動(dòng)分類研究[J].中國(guó)圖書館學(xué)報(bào),2010,36(6):28-39.

    [8] 葉鵬.基于機(jī)器學(xué)習(xí)的中文期刊論文自動(dòng)分類研究[D].南京:南京大學(xué),2013.

    [9] Hinton G E,Osindero S,Teh Y W.A fast learning algorithm for deep belief nets[J].Neural computation,2006,18(7):1527-1554.

    [10] Krizhevsky A,Sutskever I,Hinton G E.ImageNet classification with deep convolutional neural networks[C].International Conference on Neural Information Processing Systems.Curran Associates Inc,2012:1097-1105.

    [11] Evaluation of Deep Learning Toolkits[EB/OL].[2017-10-17].https://github.com/zer0n/deepframeworks/blob/master/README.md.

    [12] Ilya Sutskever,Oriol Vinyals,Quoc V.Le.Sequence to sequence learning with neural networks[C].Advances in Neural Information Processing Systems 2014:3104-3112.

    [13] google developers blog[EB/OL].[2017-10-17].https://developers.googleblog.com/2017/02/announcing-tensorflow-10.html.

    [14] Auto Draw[EB/OL].[2017-10-17].https://www.autodraw.com/.

    [15] Alex Graves,Abdel-rahman Mohamed,Geoffrey Hinton. Speech recognition with deep recurrent neural networks[C].International Conference on Acoustics,Speech and Signal Processing,2013:6645-6649.

    [16] Maron M E.On Relevance,Probabilistic Indexing and Information Retrieval[J].Journal of the Acm,1960,7(3):216-244.endprint

    [17] 劉佳賓,陳超,邵正榮,等.基于機(jī)器學(xué)習(xí)的科技文摘關(guān)鍵詞自動(dòng)提取方法[J].計(jì)算機(jī)工程與應(yīng)用,2007(14):170-172.

    [18] Yoon Kim.Convolutional Neural Networks for Sentence Classification[C].Empirical Methods in Natural Language Processing(EMNLP),2014:1746-1751.

    [19] A Picture is Worth Thousand Coherent[EB/OL].[2017-10-17].https://research.googleblog.com/2014/11/a-picture-is-worth-thousand-coherent.html.

    [20] Tomas Mikolov,Kai Chen,Greg Corrado,et al.Efficient Estimation of Word Representations in Vector Space[J].arXiv preprint,2013: arXiv:1301.3781.

    [21] Tomas Mikolov,Ilya Sutskever,Kai Chen,et al.Distributed Representations of Words and Phrases and their Compositionality[C].Advances in Neural Information Processing Systems,2013:3111-3119.

    [22] Yoav Goldberg,Omer Levy.word2vec Explained: deriving Mikolov et al.'s negative-sampling word-embedding method[J].arXiv preprint,2014:arXiv:1402.3722.

    [23] Collobert R,Weston J.A unified architecture for natural language processing:deep neural networks with multitask learning[C].International Conference.DBLP,2008:160-167.

    [24] Kevin P.Murphy,Mark A.Paskin.Linear Time Inference in Hierarchical HMMs[C].Proceedings of Neural Information Processing Systems,2001:833-840.

    [25] Nal Kalchbrenner,Edward Grefenstette,Phil Blunsom.A convolutional neural network for modelling sentences[J].arXiv preprint.2014: arXiv:1404.2188.

    [26] Ying Wen,Weinan Zhang,Rui Luo,et al.Learning text representation using recurrent convolutional neural network with highway layers[J].arXiv preprint,2016: arXiv:1606.06905.

    [27] LeCun,Yann.LeNet-5,convolutional neural networks[EB/OL].[2017-10-17].http://yann.lecun.com/exdb/lenet/.

    [28] Paulina Hensman,David Masko.The impact of imbalanced training data for convolutional neural networks[EB/OL].[2017-10-17].https://www.kth.se/social/files/588617ebf2765401cfcc478c/PHensmanDMasko_dkand15.pdf.

    [29] Palodeto V,Terenzi H,Marques J L B.Training neural networks for protein secondary structure prediction: the effects of imbalanced data set[C].Intelligent Computing,International Conference on Emerging Intelligent Computing Technology and Applications.Springer-Verlag,2009:258-265.

    [30] Chandonia J M,Karplus M.The importance of larger data sets for protein secondary structure prediction with neural networks.[J].Protein Science,2010,5(4):768-774.

    [31] Pulgar F J,Rivera A J,Charte F,et al.On the Impact of Imbalanced Data in?Convolutional Neural Networks Performance[C].International Conference on Hybrid Artificial Intelligence Systems.Springer,Cham,2017:220-232.

    作者簡(jiǎn)介:郭利敏,男,上海圖書館系統(tǒng)網(wǎng)絡(luò)部工程師。endprint

    猜你喜歡
    卷積神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)人工智能
    2019:人工智能
    商界(2019年12期)2019-01-03 06:59:05
    人工智能與就業(yè)
    數(shù)讀人工智能
    小康(2017年16期)2017-06-07 09:00:59
    基于深度卷積神經(jīng)網(wǎng)絡(luò)的物體識(shí)別算法
    MOOC與翻轉(zhuǎn)課堂融合的深度學(xué)習(xí)場(chǎng)域建構(gòu)
    大數(shù)據(jù)技術(shù)在反恐怖主義中的應(yīng)用展望
    深度學(xué)習(xí)算法應(yīng)用于巖石圖像處理的可行性研究
    基于深度卷積網(wǎng)絡(luò)的人臉年齡分析算法與實(shí)現(xiàn)
    軟件工程(2016年8期)2016-10-25 15:47:34
    下一幕,人工智能!
    基于卷積神經(jīng)網(wǎng)絡(luò)的樹葉識(shí)別的算法的研究
    毛片女人毛片| 18禁黄网站禁片免费观看直播| 亚洲专区国产一区二区| 99国产精品一区二区三区| 99国产精品一区二区三区| 国产伦在线观看视频一区| 欧美激情国产日韩精品一区| 久久精品国产亚洲av涩爱 | 久久久久国产精品人妻aⅴ院| 欧美激情久久久久久爽电影| 亚洲av免费高清在线观看| 国产高清激情床上av| 国产av不卡久久| 99国产精品一区二区蜜桃av| 国产美女午夜福利| 蜜桃亚洲精品一区二区三区| 国内久久婷婷六月综合欲色啪| 真人做人爱边吃奶动态| 精品不卡国产一区二区三区| 国产高清视频在线播放一区| 精品福利观看| 亚洲精品影视一区二区三区av| 久久天躁狠狠躁夜夜2o2o| 久久亚洲精品不卡| 日本熟妇午夜| 一本综合久久免费| 亚洲欧美日韩高清在线视频| 欧美潮喷喷水| 日本精品一区二区三区蜜桃| 日本 av在线| 国产精品爽爽va在线观看网站| 一区二区三区免费毛片| 精品无人区乱码1区二区| 国产又黄又爽又无遮挡在线| 天堂网av新在线| 高清在线国产一区| 成人欧美大片| 成人亚洲精品av一区二区| 美女xxoo啪啪120秒动态图 | 国产黄色小视频在线观看| 波多野结衣高清作品| 国产精品免费一区二区三区在线| 欧美黄色片欧美黄色片| 免费高清视频大片| 亚洲av日韩精品久久久久久密| 69av精品久久久久久| 欧美乱妇无乱码| 国产大屁股一区二区在线视频| 伦理电影大哥的女人| 亚洲成人中文字幕在线播放| 搡老妇女老女人老熟妇| 欧美丝袜亚洲另类 | av福利片在线观看| 男女床上黄色一级片免费看| 国模一区二区三区四区视频| 亚洲欧美激情综合另类| 熟女人妻精品中文字幕| 亚洲人成电影免费在线| 欧美成狂野欧美在线观看| 一级黄片播放器| 美女高潮的动态| 亚洲精品456在线播放app | 亚洲av电影不卡..在线观看| 精品一区二区三区av网在线观看| av专区在线播放| 天天一区二区日本电影三级| 永久网站在线| 男人舔女人下体高潮全视频| 亚洲av美国av| 大型黄色视频在线免费观看| 色噜噜av男人的天堂激情| 国产伦精品一区二区三区四那| 国产午夜福利久久久久久| 亚洲片人在线观看| 美女xxoo啪啪120秒动态图 | 国产视频一区二区在线看| 美女大奶头视频| 国产精品一区二区三区四区久久| 日韩av在线大香蕉| 简卡轻食公司| 欧美一级a爱片免费观看看| av天堂中文字幕网| 搡女人真爽免费视频火全软件 | 老司机深夜福利视频在线观看| 亚洲一区二区三区色噜噜| 丁香欧美五月| 国产伦人伦偷精品视频| 51国产日韩欧美| 窝窝影院91人妻| 日本黄大片高清| 欧美午夜高清在线| 丝袜美腿在线中文| 两人在一起打扑克的视频| 亚洲天堂国产精品一区在线| 一个人看的www免费观看视频| 欧美bdsm另类| 国产一区二区三区在线臀色熟女| 国产淫片久久久久久久久 | 亚洲av二区三区四区| 亚洲真实伦在线观看| 淫秽高清视频在线观看| 国产精品嫩草影院av在线观看 | 夜夜爽天天搞| 国产午夜精品久久久久久一区二区三区 | avwww免费| 亚洲乱码一区二区免费版| 色噜噜av男人的天堂激情| 婷婷色综合大香蕉| 国产一区二区在线观看日韩| 免费高清视频大片| 久久亚洲真实| 欧美乱妇无乱码| 欧美黄色淫秽网站| 蜜桃久久精品国产亚洲av| 中文在线观看免费www的网站| 99精品在免费线老司机午夜| 欧美乱色亚洲激情| 日本黄色视频三级网站网址| 深夜a级毛片| 国产一区二区在线av高清观看| 精品久久久久久久久亚洲 | 天天躁日日操中文字幕| 久9热在线精品视频| 免费黄网站久久成人精品 | 日韩欧美在线二视频| 亚洲第一欧美日韩一区二区三区| 最新在线观看一区二区三区| 成年免费大片在线观看| 国产 一区 欧美 日韩| 99热这里只有是精品50| 国产精品亚洲美女久久久| 国产乱人伦免费视频| 久久久久亚洲av毛片大全| 免费电影在线观看免费观看| or卡值多少钱| 好男人在线观看高清免费视频| 亚洲男人的天堂狠狠| 久久久久久久久中文| 欧美又色又爽又黄视频| 日本 欧美在线| 午夜福利成人在线免费观看| 欧美+日韩+精品| 欧美bdsm另类| 国产高清有码在线观看视频| 精品99又大又爽又粗少妇毛片 | 久久婷婷人人爽人人干人人爱| 国产亚洲av嫩草精品影院| 精品国内亚洲2022精品成人| eeuss影院久久| 99riav亚洲国产免费| 美女被艹到高潮喷水动态| 久久人人精品亚洲av| 国内毛片毛片毛片毛片毛片| 别揉我奶头~嗯~啊~动态视频| 国产精品久久电影中文字幕| 国产精品永久免费网站| 日日摸夜夜添夜夜添小说| 黄色日韩在线| 精品人妻视频免费看| 高清日韩中文字幕在线| 亚洲av电影在线进入| 桃红色精品国产亚洲av| 亚洲成人久久爱视频| 观看免费一级毛片| 少妇高潮的动态图| 老熟妇仑乱视频hdxx| 在线观看一区二区三区| 久久精品国产自在天天线| 一二三四社区在线视频社区8| 舔av片在线| 亚洲欧美清纯卡通| 又爽又黄无遮挡网站| 一本精品99久久精品77| 内射极品少妇av片p| 99国产极品粉嫩在线观看| 99在线人妻在线中文字幕| 国产视频内射| 亚洲中文字幕一区二区三区有码在线看| 一个人免费在线观看的高清视频| 成年免费大片在线观看| 脱女人内裤的视频| 搡老熟女国产l中国老女人| 午夜福利在线观看免费完整高清在 | 国产日本99.免费观看| 国产精品美女特级片免费视频播放器| 国产aⅴ精品一区二区三区波| 少妇的逼水好多| 精品一区二区三区人妻视频| 深夜精品福利| 性插视频无遮挡在线免费观看| 亚洲avbb在线观看| 中文在线观看免费www的网站| 国产三级黄色录像| 能在线免费观看的黄片| 国产精品野战在线观看| 波多野结衣高清无吗| 亚洲av成人av| 99久久无色码亚洲精品果冻| 极品教师在线视频| 老熟妇乱子伦视频在线观看| 人人妻人人澡欧美一区二区| 国产精品精品国产色婷婷| 亚洲精品粉嫩美女一区| 亚洲自拍偷在线| 亚州av有码| 国产黄a三级三级三级人| 免费人成视频x8x8入口观看| 如何舔出高潮| 午夜精品一区二区三区免费看| 国产精品电影一区二区三区| 少妇人妻精品综合一区二区 | 国产黄色小视频在线观看| 蜜桃亚洲精品一区二区三区| 少妇的逼水好多| 国产乱人伦免费视频| 亚洲av成人不卡在线观看播放网| 色综合亚洲欧美另类图片| 国产黄色小视频在线观看| xxxwww97欧美| 午夜视频国产福利| 日韩人妻高清精品专区| 国产成年人精品一区二区| 日韩欧美精品免费久久 | 五月伊人婷婷丁香| 别揉我奶头~嗯~啊~动态视频| 高潮久久久久久久久久久不卡| 亚洲欧美日韩无卡精品| 18禁黄网站禁片午夜丰满| 一个人看的www免费观看视频| 欧美性猛交黑人性爽| 国产av一区在线观看免费| 欧美又色又爽又黄视频| 日韩亚洲欧美综合| 中文字幕久久专区| 亚洲色图av天堂| 嫩草影视91久久| 99久久精品热视频| 麻豆国产97在线/欧美| 最近最新免费中文字幕在线| 在线看三级毛片| 国产伦精品一区二区三区四那| 日韩中文字幕欧美一区二区| 午夜福利欧美成人| 一本一本综合久久| 网址你懂的国产日韩在线| 麻豆国产97在线/欧美| 欧美另类亚洲清纯唯美| 午夜免费成人在线视频| 性色avwww在线观看| 午夜日韩欧美国产| 亚洲自偷自拍三级| 高清在线国产一区| 97人妻精品一区二区三区麻豆| 亚洲欧美日韩高清专用| 免费av不卡在线播放| 嫩草影院精品99| 国产色爽女视频免费观看| 亚洲av成人不卡在线观看播放网| 一本一本综合久久| 欧美不卡视频在线免费观看| 一夜夜www| 日日夜夜操网爽| 精品一区二区免费观看| 国产成人欧美在线观看| 人人妻人人澡欧美一区二区| 少妇人妻精品综合一区二区 | 岛国在线免费视频观看| 欧美日韩国产亚洲二区| АⅤ资源中文在线天堂| 很黄的视频免费| 在线国产一区二区在线| 女生性感内裤真人,穿戴方法视频| 99久久成人亚洲精品观看| 日韩欧美精品v在线| 别揉我奶头~嗯~啊~动态视频| 变态另类成人亚洲欧美熟女| 久久亚洲真实| 国产精品一区二区三区四区免费观看 | 亚洲一区二区三区色噜噜| 一个人观看的视频www高清免费观看| 9191精品国产免费久久| 88av欧美| 十八禁国产超污无遮挡网站| 国产伦精品一区二区三区视频9| 午夜激情欧美在线| 国产爱豆传媒在线观看| av女优亚洲男人天堂| 欧美区成人在线视频| 久久6这里有精品| 中文资源天堂在线| a级毛片免费高清观看在线播放| 九色国产91popny在线| 一a级毛片在线观看| 成年免费大片在线观看| 免费看a级黄色片| 久久久国产成人免费| 小说图片视频综合网站| 亚洲黑人精品在线| 伦理电影大哥的女人| 免费观看人在逋| 国产激情偷乱视频一区二区| avwww免费| 亚洲av免费高清在线观看| 中文在线观看免费www的网站| 欧美区成人在线视频| 男女床上黄色一级片免费看| 青草久久国产| 国产精品野战在线观看| 午夜福利欧美成人| 日日干狠狠操夜夜爽| 久久久国产成人精品二区| 亚洲,欧美,日韩| 精品国产三级普通话版| 天美传媒精品一区二区| 内地一区二区视频在线| 又紧又爽又黄一区二区| 日本免费a在线| 十八禁国产超污无遮挡网站| 久久久久亚洲av毛片大全| 国产探花极品一区二区| 国产真实伦视频高清在线观看 | 亚洲精品亚洲一区二区| 婷婷精品国产亚洲av| 男女做爰动态图高潮gif福利片| 免费观看的影片在线观看| 色尼玛亚洲综合影院| 亚洲成人免费电影在线观看| 深夜精品福利| 欧美成狂野欧美在线观看| 精品久久久久久久人妻蜜臀av| 亚洲av成人不卡在线观看播放网| 国产黄色小视频在线观看| 精品久久久久久久久久免费视频| 午夜福利在线在线| 69av精品久久久久久| 国产av一区在线观看免费| 国产精品一区二区性色av| 天堂√8在线中文| 精品日产1卡2卡| 久久精品国产亚洲av涩爱 | 少妇丰满av| 99久久无色码亚洲精品果冻| 又爽又黄a免费视频| 18禁在线播放成人免费| 国产亚洲精品av在线| 90打野战视频偷拍视频| 亚洲成av人片在线播放无| 国产精品三级大全| 麻豆一二三区av精品| 国产精品三级大全| 午夜日韩欧美国产| 美女xxoo啪啪120秒动态图 | 十八禁人妻一区二区| 在线a可以看的网站| 亚洲av第一区精品v没综合| 一本综合久久免费| 黄片小视频在线播放| 国产日本99.免费观看| 国产精品一区二区三区四区免费观看 | 免费电影在线观看免费观看| 国产成人aa在线观看| 白带黄色成豆腐渣| 婷婷色综合大香蕉| 亚洲欧美清纯卡通| 天堂av国产一区二区熟女人妻| 免费在线观看影片大全网站| 久久久久久久午夜电影| 夜夜夜夜夜久久久久| 国产精品一区二区三区四区免费观看 | 久久久久免费精品人妻一区二区| 亚洲av一区综合| 久久久久久久久久成人| 亚洲aⅴ乱码一区二区在线播放| 少妇熟女aⅴ在线视频| 91在线精品国自产拍蜜月| 亚洲欧美日韩东京热| 成人午夜高清在线视频| 波野结衣二区三区在线| 国产精华一区二区三区| 12—13女人毛片做爰片一| 成人av在线播放网站| 在线a可以看的网站| 亚洲av电影在线进入| 一卡2卡三卡四卡精品乱码亚洲| 日韩中文字幕欧美一区二区| 深爱激情五月婷婷| 99热这里只有精品一区| 国产一区二区三区视频了| 淫秽高清视频在线观看| 成熟少妇高潮喷水视频| av在线蜜桃| 女人十人毛片免费观看3o分钟| 九色国产91popny在线| 午夜福利18| 久久亚洲真实| 午夜视频国产福利| 亚洲真实伦在线观看| 一级作爱视频免费观看| 国产亚洲精品综合一区在线观看| 宅男免费午夜| 免费看日本二区| 日本免费一区二区三区高清不卡| 别揉我奶头~嗯~啊~动态视频| 亚洲专区中文字幕在线| 美女高潮的动态| 一级a爱片免费观看的视频| 久久精品国产99精品国产亚洲性色| 婷婷色综合大香蕉| 级片在线观看| www.色视频.com| 精品日产1卡2卡| 日韩精品青青久久久久久| 嫩草影院入口| 在线播放无遮挡| 亚洲av日韩精品久久久久久密| 男女那种视频在线观看| 丰满的人妻完整版| 久久精品国产亚洲av天美| 色噜噜av男人的天堂激情| x7x7x7水蜜桃| 亚洲av五月六月丁香网| 床上黄色一级片| 亚洲精品乱码久久久v下载方式| 午夜福利在线在线| 午夜福利在线观看吧| 国产亚洲精品av在线| 亚洲熟妇中文字幕五十中出| 国产精品永久免费网站| www日本黄色视频网| 99热这里只有是精品在线观看 | 精品久久久久久久末码| 国产免费男女视频| 久久久久久大精品| 国产探花在线观看一区二区| 91麻豆精品激情在线观看国产| 欧洲精品卡2卡3卡4卡5卡区| 美女免费视频网站| 精品无人区乱码1区二区| 色哟哟哟哟哟哟| 亚洲精品久久国产高清桃花| 国产精品国产高清国产av| 免费观看人在逋| 中文资源天堂在线| 色哟哟·www| 淫妇啪啪啪对白视频| 久久婷婷人人爽人人干人人爱| 老司机福利观看| 国产单亲对白刺激| 可以在线观看的亚洲视频| 黄色日韩在线| 毛片一级片免费看久久久久 | 男人和女人高潮做爰伦理| 欧美激情久久久久久爽电影| 偷拍熟女少妇极品色| 一本综合久久免费| 美女xxoo啪啪120秒动态图 | 精品免费久久久久久久清纯| 日日摸夜夜添夜夜添av毛片 | 在线国产一区二区在线| www.999成人在线观看| 欧美日韩亚洲国产一区二区在线观看| 亚洲电影在线观看av| 一区二区三区高清视频在线| 欧美黑人欧美精品刺激| 成人三级黄色视频| 一边摸一边抽搐一进一小说| 真人做人爱边吃奶动态| 亚洲av美国av| 久久国产精品人妻蜜桃| 最新中文字幕久久久久| 日本黄色片子视频| 亚洲美女黄片视频| 国产麻豆成人av免费视频| 永久网站在线| 久久午夜亚洲精品久久| 国产黄片美女视频| 免费大片18禁| 亚洲av中文字字幕乱码综合| 丰满的人妻完整版| 人妻久久中文字幕网| 国产真实伦视频高清在线观看 | 午夜老司机福利剧场| 亚洲av美国av| 国产 一区 欧美 日韩| 色综合站精品国产| 婷婷亚洲欧美| 久9热在线精品视频| 无遮挡黄片免费观看| 国产精品永久免费网站| 欧美一区二区国产精品久久精品| 99久久九九国产精品国产免费| 亚洲av免费高清在线观看| 亚洲精品一区av在线观看| 一级av片app| 亚洲国产精品sss在线观看| 国产视频内射| 亚洲一区二区三区色噜噜| 欧美成人一区二区免费高清观看| 欧美高清成人免费视频www| 五月玫瑰六月丁香| 真实男女啪啪啪动态图| 久久精品夜夜夜夜夜久久蜜豆| 欧美色欧美亚洲另类二区| 人人妻,人人澡人人爽秒播| 亚洲成人久久爱视频| 日韩欧美 国产精品| 一本一本综合久久| 国产一级毛片七仙女欲春2| 热99re8久久精品国产| 欧美日本亚洲视频在线播放| 国产大屁股一区二区在线视频| 国产av在哪里看| 中出人妻视频一区二区| 亚洲熟妇中文字幕五十中出| 欧美绝顶高潮抽搐喷水| 一本一本综合久久| 97人妻精品一区二区三区麻豆| 国产高清三级在线| 超碰av人人做人人爽久久| 亚洲中文字幕日韩| 最新在线观看一区二区三区| 97超视频在线观看视频| 夜夜躁狠狠躁天天躁| 十八禁网站免费在线| 亚洲av成人精品一区久久| 香蕉av资源在线| 免费看日本二区| 人人妻人人澡欧美一区二区| 久久性视频一级片| 99久久九九国产精品国产免费| 亚洲欧美日韩卡通动漫| 欧美最新免费一区二区三区 | bbb黄色大片| 精品人妻偷拍中文字幕| 午夜精品在线福利| 每晚都被弄得嗷嗷叫到高潮| 精品熟女少妇八av免费久了| 91午夜精品亚洲一区二区三区 | 精品日产1卡2卡| 美女高潮喷水抽搐中文字幕| 欧美激情国产日韩精品一区| 久久久色成人| 色噜噜av男人的天堂激情| 国产欧美日韩精品一区二区| 国产精品久久久久久人妻精品电影| 国产一级毛片七仙女欲春2| 成年女人毛片免费观看观看9| 国产精品一区二区三区四区久久| 亚洲va日本ⅴa欧美va伊人久久| 欧美成狂野欧美在线观看| 一级a爱片免费观看的视频| 中文字幕久久专区| 色播亚洲综合网| 久久精品人妻少妇| 精品人妻一区二区三区麻豆 | 深夜a级毛片| 国内精品久久久久精免费| 91在线精品国自产拍蜜月| 99久久久亚洲精品蜜臀av| 中文字幕免费在线视频6| 琪琪午夜伦伦电影理论片6080| 波野结衣二区三区在线| 99久久精品国产亚洲精品| 97超视频在线观看视频| 天天一区二区日本电影三级| 欧美日韩福利视频一区二区| 国产蜜桃级精品一区二区三区| 国产亚洲精品综合一区在线观看| 午夜免费激情av| 丁香欧美五月| 国产激情偷乱视频一区二区| 成人无遮挡网站| 最好的美女福利视频网| 亚洲av成人精品一区久久| 成人午夜高清在线视频| 成人国产一区最新在线观看| 国产在视频线在精品| 一个人免费在线观看电影| 国产高潮美女av| 色尼玛亚洲综合影院| 天堂√8在线中文| 好看av亚洲va欧美ⅴa在| 欧美在线一区亚洲| 激情在线观看视频在线高清| 最近中文字幕高清免费大全6 | 国产精品亚洲av一区麻豆| 男女下面进入的视频免费午夜| 精品人妻一区二区三区麻豆 | 99热这里只有精品一区| 亚洲激情在线av| 看免费av毛片| 免费大片18禁| 婷婷精品国产亚洲av| 真人一进一出gif抽搐免费| 日韩欧美国产一区二区入口| 亚洲精品456在线播放app | 变态另类丝袜制服| 一个人看视频在线观看www免费| 国产真实乱freesex| 国产欧美日韩一区二区三| 伊人久久精品亚洲午夜| 国产美女午夜福利| 美女黄网站色视频| 国产毛片a区久久久久| 亚洲欧美日韩高清专用| 精品久久久久久久久亚洲 | 国产三级在线视频| 看免费av毛片| 一边摸一边抽搐一进一小说| 搡老岳熟女国产| 久久久久久久久中文| 午夜精品在线福利| 婷婷六月久久综合丁香| 熟妇人妻久久中文字幕3abv| bbb黄色大片|