• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    構(gòu)建基于科技文獻(xiàn)知識的人工智能引擎

    2021-03-22 02:52:54張智雄于改紅
    關(guān)鍵詞:微調(diào)引擎語料

    張智雄,劉 歡,于改紅

    (1.中國科學(xué)院文獻(xiàn)情報中心,北京 100190;2.中國科學(xué)院大學(xué)經(jīng)濟(jì)與管理學(xué)院圖書情報與檔案管理系,北京 100190;3.中國科學(xué)院武漢文獻(xiàn)情報中心,武漢 430071;4.科技大數(shù)據(jù)湖北省重點實驗室,武漢 430071)

    1 引言

    人工智能技術(shù)近年來取得飛速突破,尤其是在自然語言理解領(lǐng)域很多任務(wù)上都得到了廣泛應(yīng)用[1,2]。人工智能的基礎(chǔ)是機(jī)器學(xué)習(xí),機(jī)器學(xué)習(xí)解決問題的模式是使用算法分析數(shù)據(jù),讓機(jī)器去學(xué)習(xí)知識,機(jī)器自動歸納總結(jié)成模型,最后再讓機(jī)器使用模型做出推斷或預(yù)測。作為人工智能的核心技術(shù),深度學(xué)習(xí)近年來取得飛速突破,真正發(fā)揮其優(yōu)越性,根本原因在于擁有了大量可計算的數(shù)據(jù)資源和擁有了支撐大規(guī)模計算的計算能力??萍嘉墨I(xiàn)是科技知識的重要載體,蘊(yùn)含著豐富的知識內(nèi)容和知識關(guān)系,因此科技文獻(xiàn)庫(數(shù)字圖書館)是天然最好的人工智能(AI)語料庫,這些隱藏于科技文獻(xiàn)中的知識是人工智能的基石。

    如何利用科技文獻(xiàn)中的知識對深度學(xué)習(xí)算法模型進(jìn)行訓(xùn)練改進(jìn),以獲取知識、發(fā)現(xiàn)知識,是情報研究的重要課題。本文以文獻(xiàn)情報工作為出發(fā)點,立足科技文獻(xiàn)是人類知識的最重要載體,圍繞如何充分挖掘和利用文獻(xiàn)情報知識價值和作用,創(chuàng)新性提出了文獻(xiàn)情報領(lǐng)域從“科技文獻(xiàn)庫”到“科技知識引擎”轉(zhuǎn)變的建設(shè)思路,論述了中國科學(xué)院文獻(xiàn)情報中心在構(gòu)建基于科技文獻(xiàn)知識的人工智能(AI)引擎的建設(shè)實踐,探討了利用深度學(xué)習(xí)技術(shù)挖掘知識以服務(wù)情報研究的方法,以期為同行提供參考。

    國內(nèi)外很多研究團(tuán)隊開展了大量的基于科技文獻(xiàn)數(shù)據(jù)實現(xiàn)知識挖掘與知識發(fā)現(xiàn)的研究,為人工智能時代貢獻(xiàn)了力量。如AllenAI 提出的SciBERT[3]通過對來自Semantic Scholar 的生物醫(yī)學(xué)及計算機(jī)科學(xué)領(lǐng)域的科技文獻(xiàn)完成大規(guī)模的自監(jiān)督訓(xùn)練構(gòu)建了英文科技文獻(xiàn)預(yù)訓(xùn)練模型。清華大學(xué)發(fā)布的Aminer[4]學(xué)術(shù)搜索和挖掘系統(tǒng)通過對科技文獻(xiàn)中實體及關(guān)系的進(jìn)行建模構(gòu)建了復(fù)雜的學(xué)術(shù)關(guān)系網(wǎng)絡(luò)。但當(dāng)前就如何利用科技文獻(xiàn)中的知識對深度學(xué)習(xí)算法模型進(jìn)行訓(xùn)練及改進(jìn),以獲取知識、發(fā)現(xiàn)知識的研究仍處在初級階段。圍繞構(gòu)建基于科技文獻(xiàn)知識的人工智能(AI)引擎,本文第二部分論述了科技文獻(xiàn)是人類知識的最重要載體,對其開發(fā)利用構(gòu)建科技知識引擎,在人工智能時代具有重要意義;第三部分重點介紹了作者構(gòu)建基于科技文獻(xiàn)知識的人工智能(AI)引擎建設(shè)思路;第四部分,詳細(xì)論述了中國科學(xué)院文獻(xiàn)情報中心在構(gòu)建基于科技文獻(xiàn)知識的人工智能(AI)引擎的建設(shè)實踐;最后簡要進(jìn)行小結(jié)和未來工作展望介紹。

    2 相關(guān)研究分析

    隱藏于各種數(shù)據(jù)資源(語料)中的知識利用和開發(fā)是人工智能飛速突破的本質(zhì)所在。而科技文獻(xiàn)作為人類知識的最重要載體,對其進(jìn)行充分的挖掘和利用可以實現(xiàn)從“科技文獻(xiàn)庫”到“科技知識引擎”的轉(zhuǎn)變,對于人工智能時代的發(fā)展具有重要意義。

    2.1 知識的開發(fā)和利用是人工智能飛速突破的本質(zhì)所在

    機(jī)器學(xué)習(xí)的出現(xiàn)和發(fā)展歷史悠久,神經(jīng)網(wǎng)絡(luò)的概念早在1943 年就被提出[5],谷歌的GNMT 翻譯系統(tǒng)所使用LSTM 算法模型早在1997 年就由HOCHREITER等提出[6],1997 年SCHOLKOPF 等使用SVM 方法在美國數(shù)字郵政服務(wù)數(shù)據(jù)庫上進(jìn)行了測試,其識別錯誤率低至3.2%,遠(yuǎn)遠(yuǎn)超越了同時期LECUN 等提出的卷積神經(jīng)網(wǎng)絡(luò)方法[7]。人工智能研究取得突破性進(jìn)展的背后,都是圍繞著計算機(jī)學(xué)習(xí)知識、開發(fā)利用知識的模式改變。這些都明確告訴我們,對隱藏于各種數(shù)據(jù)資源(語料)中的知識利用和開發(fā)是人工智能飛速突破的本質(zhì)所在,同時也體現(xiàn)了計算機(jī)解決問題3個模式的改變。

    (1)改變之一:從傳統(tǒng)計算機(jī)程序到機(jī)器學(xué)習(xí)。傳統(tǒng)的計算機(jī)程序是人輸入知識讓機(jī)器完成任務(wù),而在機(jī)器學(xué)習(xí)技術(shù)中,它變成了讓機(jī)器學(xué)習(xí)知識,再讓機(jī)器去完成任務(wù)。這一過程可以分為兩個階段:第一模型訓(xùn)練階段(Training),利用標(biāo)注好的數(shù)據(jù)語料來訓(xùn)練模型,形成解決問題的知識。第二模型預(yù)測階段(Predication),解決問題階段,利用訓(xùn)練好的模型(解決問題的知識),來解決類似問題。

    (2)改變之二:從小樣本機(jī)器學(xué)習(xí)到大規(guī)模深度學(xué)習(xí)。擁有大樣本訓(xùn)練語料和大規(guī)模計算能力,使得基于人工神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)的知識學(xué)習(xí)性能大幅提升。深度學(xué)習(xí)方法是一種特定類型的機(jī)器學(xué)習(xí)技術(shù),具有強(qiáng)大的能力和靈活性[8],它將機(jī)器學(xué)習(xí)技術(shù)提升到新的高度。如前文中提到的機(jī)器學(xué)習(xí)、深度學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)等概念和算法都是很早之前就出現(xiàn)過,但直到近年來,深度學(xué)習(xí)方法開始真正發(fā)揮其優(yōu)越性。人工智能研究中取得重大突破,有兩個重要的原因:第一,擁有了大量可計算的數(shù)據(jù)資源。隨著互聯(lián)網(wǎng)的發(fā)展和大數(shù)據(jù)時代的到來,數(shù)據(jù)更容易被收集管理,也更容易被整理成適合機(jī)器學(xué)習(xí)應(yīng)用的數(shù)據(jù)集。當(dāng)數(shù)據(jù)量增加到一定程度后,傳統(tǒng)的機(jī)器學(xué)習(xí)算法在性能提升上并不明顯,而深度學(xué)習(xí)算法由于具有大規(guī)模的參數(shù),可以表達(dá)復(fù)雜的特征,其性能會隨著數(shù)據(jù)規(guī)模增大而提高。谷歌的GNMT 翻譯系統(tǒng)所用的英文法文數(shù)據(jù)集WMT En-Fr 含有36 000 000個句子對[4],在大數(shù)據(jù)集下,深度學(xué)習(xí)的優(yōu)勢得以凸顯,其翻譯水平接近人類水平。第二,擁有了支撐大規(guī)模計算的計算能力。隨著訓(xùn)練樣本的增加和模型復(fù)雜度的提升,計算量急劇增加,傳統(tǒng)的計算架構(gòu)無法支撐深度學(xué)習(xí)的計算需求,需要有更高性能的硬件設(shè)施。與CPU 相比,GPU 由于其并行計算技術(shù)非常適合大規(guī)模的矩陣運(yùn)算,在速度上能帶來2~3個數(shù)量級甚至更多的提升[9]。谷歌專門為機(jī)器學(xué)習(xí)應(yīng)用開發(fā)的TPU,速度能加快到最高100P Flops(每秒1 000 萬億次浮點計算),華為公布的人工智能平臺Atlas 900,其總算力達(dá)到256P~1 024P Flops。硬件的快速發(fā)展帶來了計算能力的不斷提升,為深度學(xué)習(xí)的發(fā)展提供了保證。

    (3)改變之三:“預(yù)訓(xùn)練—微調(diào)”兩階段方法成為主流。近年來,基于預(yù)訓(xùn)練語言模型的深度學(xué)習(xí)方法,重寫了自然語言處理的方式。特別是自Google AI團(tuán)隊2018 年發(fā)布Bidirectional Encoder Representations from Transformers(BERT)模型[10]以來,基于“預(yù)訓(xùn)練+微調(diào)”的兩階段模式,成為自然語言處理的主流。

    在預(yù)訓(xùn)練(Pre-Training)階段,通過對大規(guī)模無標(biāo)注語料(如Wikipedia、BookCorpus 等)的無監(jiān)督訓(xùn)練,有效學(xué)習(xí)文本的語言特征(如詞法特征、句法特征、語法特征、上下文特征等),實現(xiàn)在深層雙向神經(jīng)網(wǎng)絡(luò)中文本內(nèi)容的深層向量表示,建立起相關(guān)領(lǐng)域的預(yù)訓(xùn)練語言表示模型;在微調(diào)(Fine-Tuning)階段,在預(yù)訓(xùn)練語言模型的基礎(chǔ)上,針對具體的下游任務(wù)(如文本分類、信息抽取、命名實體識別、自動問答、閱讀理解等),以特定的經(jīng)過標(biāo)注的語料為輸入,在模型上再加入一個輸出層,在深度學(xué)習(xí)的基礎(chǔ)上,實現(xiàn)具體的下游任務(wù)。

    基于“預(yù)訓(xùn)練—微調(diào)”的兩階段模式顛覆了傳統(tǒng)的自然語言處理方法。包括Google AI、Allen AI、Open AI、Facebook AI 等在內(nèi)的多個人工智能研究機(jī)構(gòu)憑借其數(shù)據(jù)資源及計算能力優(yōu)勢,都開展了預(yù)訓(xùn)練語言表示模型的研究,發(fā)布了ELMo[11]、GPT[12]、BERT[10]、GPT-2[13]、XLNet[14]、RoBERTa[15]等通用的英文預(yù)訓(xùn)練語言表示模型。這些模型相繼刷新了通用語言理解評估基準(zhǔn)GLUE[16]榜單,推動了自然語言處理的研究不斷接近甚至超越人類。在中文語言模型的研究方面,國內(nèi)多家機(jī)構(gòu)也結(jié)合中文語言的相關(guān)特點,發(fā)布了中文的預(yù)訓(xùn)練語言模型。如百度發(fā)布的ERNIE1.0[17]和ERNIE2.0[18],哈爾濱工業(yè)大學(xué)與科大訊飛聯(lián)合實驗室發(fā)布的Chinese-BERT-wwm[19]以及清華大學(xué)發(fā)布的OpenClap[20]等。這些模型通過加入特定語料或者改造預(yù)訓(xùn)練任務(wù)的方式,生成了適用于中文的預(yù)訓(xùn)練語言模型,從而在各種中文自然語言處理任務(wù)上取得了新的突破。

    2.2 科技文獻(xiàn)是人類知識的重要載體

    科技文獻(xiàn)蘊(yùn)含著豐富的科技知識,對其進(jìn)行充分的挖掘利用可以實現(xiàn)從“科技文獻(xiàn)庫”到“科技知識引擎”的轉(zhuǎn)變。人工智能(AI)需要語料來對模型進(jìn)行訓(xùn)練,獲取解決問題的知識,而科技文獻(xiàn)中蘊(yùn)含著豐富相關(guān)性知識和豐富語義知識,科技文獻(xiàn)庫就是很好的人工智能語料庫。

    而科技論文是科技知識的最重要載體,除了科技論文的研究主題和所屬領(lǐng)域分類,還有很多更有價值的深層知識內(nèi)容,如概念定義、研究背景、研究問題、研究基礎(chǔ)、研究思路、論文中應(yīng)用到的理論工具和方法、論文所進(jìn)行的科學(xué)試驗、得到的實驗結(jié)果、形成的研究結(jié)論等豐富的知識內(nèi)容。因此可將科技文獻(xiàn)庫蘊(yùn)含的知識分為外部相關(guān)性知識和內(nèi)部豐富的語義知識進(jìn)行開發(fā)和利用。

    (1)科技文獻(xiàn)中的相關(guān)性知識。一篇科技論文具有很多外部的特征,比如作者、作者機(jī)構(gòu)、期刊分類號、關(guān)鍵詞等,這其中就隱藏著重要的知識關(guān)系,若我們利用文獻(xiàn)內(nèi)容與外部特征之間一一對應(yīng)的結(jié)構(gòu)化信息,將這些外部特征作為文獻(xiàn)的標(biāo)簽,就可以形成較為成熟的人工智能訓(xùn)練學(xué)習(xí)語料。通過機(jī)器學(xué)習(xí)等技術(shù)手段建模,就可以實現(xiàn)面向新的文獻(xiàn)數(shù)據(jù)的自動化應(yīng)用。如謝瑋等設(shè)計的基于TextRank 圖算法思想的論文推薦系統(tǒng),可實現(xiàn)自動為論文分配審稿人[21];王冬暉等提出的基于內(nèi)容的科技論文推薦系統(tǒng),可達(dá)到自動推薦期刊、會議的目的[22]。

    (2)科技文獻(xiàn)中的豐富語義知識。除了外部特征,一篇科技論文中還有很多更有價值的深層知識內(nèi)容,如論文中出現(xiàn)的概念定義、用到的工具方法等,我們稱之為豐富語義(Rich Semantics)知識。豐富語義相對于一般意義上的語義而言,它是由多類型語義元素有機(jī)組合在一起的復(fù)合體,具有結(jié)構(gòu)化、模型化的特征。

    許多國際知名學(xué)者和實驗室正在嘗試將豐富語義知識從文獻(xiàn)中抽取和揭示出來,對科技文獻(xiàn)的語篇元素建立了自動標(biāo)注模型,我們開展了深入的調(diào)研研究[23],如SciAnnotDoc 模型[24]、CoreSC 模型[25]、AZ 模型[26]和Multi-Layer Scientific Discourse 模型[27]等。這些模型雖然由不同的任務(wù)驅(qū)動,但它們不僅在類別上具有相似的名字,在具體的標(biāo)注范圍也存在著交叉覆蓋,基本上可以概括為研究目標(biāo)、研究背景、研究方法、研究發(fā)現(xiàn)、研究結(jié)論以及包含科技文獻(xiàn)中對關(guān)鍵術(shù)語的研究定義。

    當(dāng)前的預(yù)訓(xùn)練模型和應(yīng)用,主要是基于網(wǎng)頁新聞、維基百科等數(shù)據(jù)實現(xiàn)模型的預(yù)訓(xùn)練。由于科技文獻(xiàn)具有特定的結(jié)構(gòu)、格式、用語、用詞等特征,這些預(yù)訓(xùn)練模型在支持科技文獻(xiàn)的挖掘利用方面還存在不足,因此本文基于科技文獻(xiàn)開展人工智能挖掘應(yīng)用具有重要意義。

    3 基于科技文獻(xiàn)知識的人工智能AI引擎建設(shè)思路

    為充分挖掘隱藏著豐富知識內(nèi)容的科技文獻(xiàn)資源,實現(xiàn)從“科技文獻(xiàn)庫”到“科技知識引擎”的轉(zhuǎn)變,本文提出構(gòu)建基于科技文獻(xiàn)知識的人工智能(AI)引擎的基本思路,如圖1 所示。從“預(yù)訓(xùn)練—微調(diào)”兩階段模式出發(fā),首先以大規(guī)模的科技文獻(xiàn)資源、科技信息文本等為基礎(chǔ),構(gòu)建中國科技論文預(yù)訓(xùn)練模型(CsciBERT)。然后在預(yù)訓(xùn)練模型的基礎(chǔ)之上,以“微調(diào)”的方式,結(jié)合科技文獻(xiàn)數(shù)據(jù)中豐富的標(biāo)記語料,構(gòu)建基于科技文獻(xiàn)知識的AI 引擎。

    圖1 基于科技文獻(xiàn)知識的人工智能AI 引擎建設(shè)思路Fig.1 Ideas for building the AI engine based on knowledge in scientific and technological literature

    3.1 中國科技論文預(yù)訓(xùn)練基礎(chǔ)語言模型(CsciBERT) 建設(shè)思路

    本文對基于BERT 的預(yù)訓(xùn)練模型整體結(jié)構(gòu)進(jìn)行研究,總結(jié)預(yù)訓(xùn)練模型主要包含4個層次:輸入層(Input)、嵌入層(Embedding)、網(wǎng)絡(luò)層(Transformer Encoder)和目標(biāo)層(Target)。針對每一個層次,開展了優(yōu)化和改造研究,提出了中國科技論文預(yù)訓(xùn)練基礎(chǔ)語言模型(CsciBERT)建設(shè)思路,如圖2 所示。

    輸入層:主要對應(yīng)預(yù)訓(xùn)練語料庫的構(gòu)建工作,充分發(fā)揮文獻(xiàn)情報中心科技文獻(xiàn)原始數(shù)據(jù)優(yōu)勢,豐富語料。BERT 原始中文模型BERT-base-Chinese 采用了中文維基百科語料,對于本文中文科技文獻(xiàn)預(yù)訓(xùn)練模型,收集整理的預(yù)訓(xùn)練數(shù)據(jù)語料包括:①CSCD 中文科技文獻(xiàn)摘要;②中文科技論文全文;③特定領(lǐng)域網(wǎng)絡(luò)科技信息文本;④特定領(lǐng)域相關(guān)圖書文本;⑤特定領(lǐng)域相關(guān)術(shù)語詞表、知識庫等。在此基礎(chǔ)上構(gòu)建研究全領(lǐng)域預(yù)訓(xùn)練語料庫及生物醫(yī)學(xué)、物理學(xué)、化學(xué)領(lǐng)域的預(yù)訓(xùn)練語料庫。

    嵌入層:主要用于原始語料的特征描述,在BERT 基礎(chǔ)上,通過加入領(lǐng)域詞表和POS 標(biāo)簽融合更多外部知識特征。

    網(wǎng)絡(luò)層:由復(fù)雜的Transformer 神經(jīng)網(wǎng)絡(luò)構(gòu)成,實現(xiàn)自動學(xué)習(xí)。通過改進(jìn)Mask 矩陣完善Transformer 中的注意力學(xué)習(xí)機(jī)制,提升學(xué)習(xí)效果。

    目標(biāo)層:通過設(shè)計語言模型訓(xùn)練目標(biāo)完成模型訓(xùn)練,針對不同的語料特點,設(shè)計多種訓(xùn)練目標(biāo),完成多任務(wù)學(xué)習(xí)。

    基于上述建設(shè)思路,可以利用不同的預(yù)訓(xùn)練語料,產(chǎn)出不同的模型輸出,構(gòu)建不同的預(yù)訓(xùn)練語言模型,如通用的科技論文預(yù)訓(xùn)練語言模型(CsciBERT)及生物醫(yī)學(xué)、物理學(xué)、化學(xué)等特定領(lǐng)域的預(yù)訓(xùn)練語言模型CMedBERT、CMedBERT、CPhyBERT、CChemBERT。

    圖2 中國科技論文預(yù)訓(xùn)練模型(CsciBERT)設(shè)計框架Fig.2 The design framework of Chinese sci-tech papers pre-training model(CsciBERT)

    3.2 基于科技文獻(xiàn)知識引擎建設(shè)思路

    通過“微調(diào)”的方式,針對知識服務(wù)工作的實際需求,將構(gòu)建好的預(yù)訓(xùn)練語言模型應(yīng)用于不同的下游任務(wù)中,如可以將文獻(xiàn)服務(wù)工作中的審稿人推薦、期刊投稿推薦、文獻(xiàn)自動分類等應(yīng)用作為預(yù)訓(xùn)練模型的下游任務(wù),形成相應(yīng)的微調(diào)模型,進(jìn)一步形成基于科技文獻(xiàn)的知識引擎。

    如圖3 所示,科技文獻(xiàn)數(shù)據(jù)中豐富的科學(xué)知識很容易轉(zhuǎn)化為機(jī)器學(xué)習(xí)的標(biāo)記語料。通過構(gòu)建文獻(xiàn)—作者、文獻(xiàn)—期刊、文獻(xiàn)—機(jī)構(gòu)、文獻(xiàn)—分類號、文獻(xiàn)—關(guān)鍵詞、摘要—語步、語句—定義等對應(yīng)關(guān)系,可以形成深度學(xué)習(xí)的訓(xùn)練語料。以預(yù)訓(xùn)練語言模型為起點,在模型上加入一個分類層,用“微調(diào)”的方式形成相應(yīng)的深度學(xué)習(xí)模型。采用微服務(wù)等架構(gòu),可以實現(xiàn)模型的快速調(diào)用。從而對于任意的科技文獻(xiàn),可以提供審稿人、分類號、期刊等實時推薦接口,從而建成面向?qū)嶋H應(yīng)用的科技文獻(xiàn)知識引擎。

    4 基于科技文獻(xiàn)知識的人工智能(AI)引擎建設(shè)實踐

    圍繞上述設(shè)計思路和設(shè)計方案,團(tuán)隊開展了具體的項目實踐。如圖4 所示,分別在科技論文摘要語步識別、科技文獻(xiàn)自動分類、科技論文命名實體識別、科技論文概念定義句識別、科技論文關(guān)鍵詞識別、科技文本標(biāo)簽自動生成、科技論文投稿期刊自動推薦、科技期刊審稿人自動推薦等8 項任務(wù)應(yīng)用中開展引擎建設(shè)實踐。針對每一項任務(wù)分別構(gòu)建了科技文獻(xiàn)知識引擎微調(diào)模型,并對微調(diào)模型完成封裝調(diào)用,初步建成基于科技文獻(xiàn)知識資源的AI 引擎服務(wù)平臺,提供網(wǎng)頁客戶端和API 服務(wù)接口兩種對外服務(wù)模式。下邊分別介紹引擎微調(diào)模型實踐和AI 引擎服務(wù)平臺實踐。

    4.1 科技文獻(xiàn)知識引擎微調(diào)模型實踐

    4.1.1 科技論文摘要語步識別

    在研究型論文摘要中,通常需要指出文章的研究目的、方法、結(jié)果和結(jié)論,筆者將這些語言單元稱為科技論文摘要中的語步[28]。自動識別科技文獻(xiàn)摘要中的語步信息,有助于讀者快速掌握文章的主要內(nèi)容,在科技文獻(xiàn)的檢索與發(fā)現(xiàn)系統(tǒng)中也具有重要應(yīng)用價值。

    我們提出Masked Sentence Model[29]來解決語步自動識別問題。通過改造BERT 輸入層,將摘要中句子的內(nèi)容特征與上下文特征有效結(jié)合,在語步識別實驗中取得了較好的效果。使用PubMed 20K RCT[30]語料集,其中訓(xùn)練集包含20 000 篇摘要,驗證集和測試集各包含2 500 篇摘要。按照Masked Sentence Model 的思想,將數(shù)據(jù)集構(gòu)造如表1 所示。

    圖3 基于科技文獻(xiàn)知識的AI 引擎設(shè)計框架Fig.3 The design framework of the AI engine based on knowledge in scientific and technological literature

    圖4 基于科技文獻(xiàn)知識的人工智能AI 引擎建設(shè)實踐內(nèi)容Fig.4 Content of AI engine construction based on knowledge in scientific and technological literature

    表1 Masked Sentence Model 語料示例[29]Table 1 Examples of Masked Sentence Model in our corpus[29]

    其中,對于摘要中每一個句子,將其本身作為內(nèi)容特征,將完整摘要中除目標(biāo)句之外的所有句子作為該句子的上下文。在上下文特征的表示中,將目標(biāo)句用統(tǒng)一的替換字符串“AAA”代替,然后將處理后的摘要內(nèi)容作為該句子的上下文特征輸入到模型。

    表2 為Masked Sentence Model 的實驗結(jié)果。其中Step1 表示僅輸入句子內(nèi)容特征(與BERT Fine-Tuning分類的輸入一致),Step2 表示僅輸入句子上下文特征,Step3 表示合并兩種特征的輸入方式,即Masked Sentence Model。實驗結(jié)果表明,Masked Sentence Model模型在PubMed 20K 數(shù)據(jù)集上取得了91.5 的F1 值,相比BERT fine-tune 方法,提升5.04,接近該數(shù)據(jù)集上的最好效果模型HSLN-RNN[31]。

    表2 Masked Sentence Model 實驗結(jié)果Table 2 Experimental results of Masked Sentence Model

    4.1.2 科技文獻(xiàn)自動分類

    基于中圖分類法構(gòu)建了中文科技文獻(xiàn)的多層級分類模型[32],如圖5 所示。通過兩層的分類模型實現(xiàn)醫(yī)學(xué)領(lǐng)域112個類別劃分:先構(gòu)建第一層大類分類模型(First Level),用于預(yù)測16個醫(yī)學(xué)二級類目(R1-R9)大類分類結(jié)果。然后對每個一級大類構(gòu)建第二層分類模型(Second Level),進(jìn)一步細(xì)分,預(yù)測醫(yī)學(xué)三級類目(R11-R99)。

    針對每一個分類模型,利用科技文獻(xiàn)摘要及分類號構(gòu)建映射關(guān)系,構(gòu)建用于模型微調(diào)的數(shù)據(jù)集。數(shù)據(jù)示例如表3 所示。

    在人工構(gòu)建的測試集上對兩層分類模型完成測試,同時對比了單層分類(訓(xùn)練一個模型,直接預(yù)測112個醫(yī)學(xué)三級類目)的實驗結(jié)果,結(jié)果如表4 所示。實驗結(jié)果表明,BERT 兩層分類模型相比單層分類方法,效果提升4.39%。

    4.1.3 科技命名實體識別

    通用領(lǐng)域的命名實體識別中實體類別一般包括人名、地名、機(jī)構(gòu)名等,在科技文獻(xiàn)中存在更豐富的實體類型值得挖掘利用,例如工具模型、方法理論等。針對物理學(xué)領(lǐng)域,構(gòu)建科技實體識別體系。利用物理學(xué)本體ScienceWISE 構(gòu)建了物理學(xué)領(lǐng)域?qū)嶓w的范疇體系,包括一級范疇4個,二級范疇47個。一級范疇包括:計量、儀器和數(shù)據(jù)分析、現(xiàn)象和現(xiàn)象規(guī)律、模型、方法理論和數(shù)學(xué),二級范疇包括量子力學(xué)、核物理學(xué)、理論宇宙學(xué)等。利用該范疇體系,借助預(yù)訓(xùn)練模型微調(diào),實現(xiàn)了物理學(xué)領(lǐng)域細(xì)粒度的科技命名實體識別。

    表3 中圖法醫(yī)學(xué)層級分類數(shù)據(jù)示例Table 3 Medical record examples based on the Chinese Library Classification

    表4 醫(yī)學(xué)領(lǐng)域?qū)蛹壏诸悓嶒灲Y(jié)果Table 4 Classification experiment results of medical records

    研究將物理學(xué)領(lǐng)域科技文獻(xiàn)摘要及其ScienceWISE范疇構(gòu)建為BIO 格式標(biāo)注語料(對語料中的每個單詞進(jìn)行標(biāo)記,B 表示某實體開頭的單詞,I 表示實體內(nèi)部的單詞,O 表示實體外部的單詞),作為模型微調(diào)的數(shù)據(jù)集。其中訓(xùn)練集90 000 條,測試集2 000 條。數(shù)據(jù)示例如表5 所示。

    研究對一級范疇和二級范疇的模型識別結(jié)果分別統(tǒng)計,實驗結(jié)果如表6 所示顯示,模型在一級和二級范疇的識別F1 值均達(dá)到90%以上。

    4.1.4 科技論文關(guān)鍵詞識別

    圖5 基于中圖分類法的多層分類模型Fig.5 Multi-layer classification model based on the Chinese Library Classification

    表5 科技文獻(xiàn)命名實體識別數(shù)據(jù)樣例Table 5 Samples of named entity recognition data in scientific and technological literature

    表6 命名實體實驗結(jié)果Table 6 Experimental results of named entities

    關(guān)鍵詞抽取任務(wù)指從文本中抽取重要的主題短語,是信息檢索、文本摘要、文本分類、意見挖掘和文檔索引的基礎(chǔ)。在科技文獻(xiàn)中,從摘要原文中自動抽取幾個關(guān)鍵短語,作為該文獻(xiàn)的關(guān)鍵詞。將其定義為字級別序列標(biāo)注問題,利用BERT 模型微調(diào)構(gòu)建科技論文關(guān)鍵詞識別模型[33]。

    我們將科技文獻(xiàn)摘要與關(guān)鍵詞數(shù)據(jù)進(jìn)行整理,以BIO 方式構(gòu)建模型微調(diào)數(shù)據(jù)集。選擇100 000 條記錄作為訓(xùn)練數(shù)據(jù)集,6 000 條記錄作為評估集,3 094 條記錄作為測試集,數(shù)據(jù)示例如表7 所示。

    對比傳統(tǒng)無監(jiān)督的TF-IDF[34]方法以及基于深度學(xué)習(xí)序列標(biāo)注的BiLSTM-CRF[35]方法。基于字級別序列標(biāo)注的微調(diào)模型取得最佳效果,結(jié)果如表8 所示。

    表7 關(guān)鍵詞識別模型數(shù)據(jù)集示例Table 7 Sample dataset of the keyword recognition model

    表8 關(guān)鍵詞識別模型微調(diào)實驗結(jié)果Table 8 Experimental results of the fine-tuned model of keyword recognition

    4.1.5 科技論文概念定義句識別

    概念定義句識別任務(wù)為自動識別科技文獻(xiàn)中表達(dá)概念定義的句子。將其作為一個二分類問題,利用預(yù)訓(xùn)練模型微調(diào)的方式構(gòu)建概念定義句自動識別模型。

    首先基于科技網(wǎng)站、維基百科等收集整理了8 000個概念數(shù)據(jù)和非概念句子,作為訓(xùn)練集,以BERT Fine-Tuning 方法構(gòu)建二分類模型,數(shù)據(jù)示例如表9 所示。

    表9 概念定義句識別數(shù)據(jù)示例Table 9 Sample sentences that contain a concept or a definition

    在結(jié)果測試時,同時使用了統(tǒng)一WCL 定義句識別數(shù)據(jù)集[36]對我們的方法進(jìn)行測試,結(jié)果如圖表10 所示。結(jié)果表示,我們的方法在定義句識別任務(wù)中達(dá)到0.926 的F1 值,遠(yuǎn)遠(yuǎn)超越了WCL 原始測評方法的效果。

    表10 WCL 數(shù)據(jù)集測評結(jié)果Table 10 Test results of the WCL dataset

    4.1.6 科技文本標(biāo)簽自動生成

    科技文本標(biāo)簽自動生成旨在為科技文本內(nèi)容生成標(biāo)簽,以反映文本的主要內(nèi)容。在科技文獻(xiàn)中,利用摘要內(nèi)容,自動生成一個新的短語概括文獻(xiàn)內(nèi)容,作為其文本標(biāo)簽。使用基于BERT 的生成式模型UniLM[37],以序列到序列(Seq-to-Seq)模式,進(jìn)行文本生成模型的微調(diào)實驗。

    研究將科技文獻(xiàn)的標(biāo)題作為其摘要的文獻(xiàn)標(biāo)題,構(gòu)建文獻(xiàn)標(biāo)題生成的數(shù)據(jù)集,如表11 所示。提取全領(lǐng)域中文科技論文的摘要及標(biāo)題,共計50 萬條來完成微調(diào)模型的訓(xùn)練。

    在結(jié)果測試時,隨機(jī)抽取了部分科技文獻(xiàn)摘要完成測試。通過對比原論文題目(圖6)和模型生成的標(biāo)題(圖7),發(fā)現(xiàn)模型自動生成的標(biāo)題能夠完成對論文原始摘要內(nèi)容的概括,與原文標(biāo)題也比較相似。

    4.1.7 科技論文投稿期刊自動推薦

    科技期刊審稿人自動推薦旨在根據(jù)科技論文摘要內(nèi)容,自動推薦若干與該論文相關(guān)的領(lǐng)域?qū)<易鳛楹蜻x審稿人。這項任務(wù)可快速幫助期刊編輯部發(fā)現(xiàn)和找到合適的審稿專家,加快審稿速度,提升審稿質(zhì)量。

    同樣以文本分類模式,基于78 萬篇科技文獻(xiàn)和4萬多位作者構(gòu)建審稿人自動推薦數(shù)據(jù)集,將標(biāo)題和摘要作為輸入文本,作者作為分類標(biāo)簽,語料示例如表12 所示。

    表11 科技文本標(biāo)簽自動生成數(shù)據(jù)集示例Table 11 Sample dataset of automatically generated text labels

    表12 審稿人自動推薦語料示例Table 12 Examples of automatic recommendation of reviewers based on a paper's abstract

    圖6 科技論文原始題錄信息示例Fig.6 An example of journal article metadata

    圖7 科技文本標(biāo)題生成實際效果展示Fig.7 Actual effect of the generation of a text title

    針對微調(diào)模型,筆者隨機(jī)抽取部分科技文獻(xiàn)摘要完成測試,結(jié)果示例如圖8 所示。我們發(fā)現(xiàn),對于大多數(shù)文獻(xiàn),模型都能推薦出相關(guān)性較高的審稿人。

    4.1.8 科技期刊審稿人自動推薦

    科技論文投稿期刊自動推薦旨在根據(jù)科技論文摘要內(nèi)容,自動推薦若干與該論文相關(guān)的期刊作為候選投稿期刊,可幫助科研人員快速找到合適的期刊。

    圖8 審稿人自動推薦實際效果展示Fig.8 Actual effect of automatic recommendation of reviewers

    以文本分類模式,基于科技文獻(xiàn)摘要及期刊信息構(gòu)建投稿期刊自動推薦數(shù)據(jù)集,標(biāo)題和摘要作為輸入文本,期刊作為分類標(biāo)簽。語料示例如表13 所示。其中包含全領(lǐng)域的文獻(xiàn)摘要2 729 244 篇,候選投稿期刊類型共計1 585 種。

    針對微調(diào)模型,隨機(jī)抽取部分科技文獻(xiàn)摘要完成測試,結(jié)果示例如圖9 所示。我們發(fā)現(xiàn)對于大多數(shù)文獻(xiàn),模型都能夠推薦出相關(guān)性較高的期刊。

    4.2 科技文獻(xiàn)AI 引擎服務(wù)平臺實踐

    為推動科技文獻(xiàn)知識引擎在文獻(xiàn)情報工作中的實際應(yīng)用,初步建成科技文獻(xiàn)AI 引擎服務(wù)平臺。如圖10所示,平臺架構(gòu)主要包含3個層次,模型封裝層:以BERT-AS-SERVICE 工具將微調(diào)模型封裝,形成底層模型微服務(wù);Web 響應(yīng)中間件層:基于Python 語言的FLask+Tornado+Nginx 架構(gòu)形成Web 響應(yīng)架構(gòu),實現(xiàn)反向代理、動靜分離、負(fù)載均衡;引擎服務(wù)層:AI 引擎對外提供兩種形式服務(wù),包括網(wǎng)頁端在線標(biāo)注和API 接口服務(wù)。

    表13 投稿期刊自動推薦語料示例Table 13 Examples of journal recommendation based on a paper's abstract

    圖9 科技論文投稿期刊自動推薦實際效果展示Fig.9 An example of automatic journal recommendation

    圖10 科技文獻(xiàn)AI 引擎平臺架構(gòu)圖Fig.10 AI engine platform based on scientific and technological literature

    4.2.1 底層微調(diào)模型優(yōu)化調(diào)用實踐

    針對實際應(yīng)用,對知識引擎模型加載和調(diào)用過程進(jìn)行優(yōu)化。

    一方面,使用Freeze_Graph 工具完成微調(diào)模型的固化壓縮,將原有的1.22GB 的.ckpt 模型文件壓縮到為417MB 的.pb 文件,大大縮減了模型的空間占用。

    另一方面,參考Web 服務(wù)快速調(diào)用的模式,利用BERT-AS-SERVICE 工具,在應(yīng)用端和BERT 模型服務(wù)端之間構(gòu)建起中間件微服務(wù)端,實現(xiàn)模型的預(yù)加載,并通過實時服務(wù)端口提高調(diào)用效率。

    通過上述兩種優(yōu)化方式,對單篇摘要的標(biāo)注平均時間從原來的10 秒縮減為1 秒,明顯提升了系統(tǒng)響應(yīng)效率。

    4.2.2 網(wǎng)頁端在線標(biāo)注服務(wù)實踐

    提供上述所有應(yīng)用的在線標(biāo)注服務(wù)(http://sciengine.whlib.ac.cn/)。通過在網(wǎng)頁端輸入任意科技文本,系統(tǒng)將自動調(diào)用相應(yīng)的微調(diào)模型,完成模型預(yù)測,返回實時的標(biāo)注結(jié)果,如圖11 為其中一種應(yīng)用,語步識別在線標(biāo)注服務(wù)示意圖。

    4.2.3 API 接口服務(wù)實踐

    同時提供基于GET 和POST 兩種方式的API 接口服務(wù)。

    GET方式支持單篇文檔,如圖12所示,url 為http://sciengine.whlib.ac.cn/Move_GET,傳入英文摘要文本,以json 格式返回該摘要的語步標(biāo)注結(jié)果。

    POST 方式支持多篇文檔,如圖13 所示,url 為http://sciengine.whlib.ac.cn/Move_POST,將多個摘要文檔以list 類型上傳,以json 格式將多篇摘要標(biāo)注結(jié)果放在列表中返回,其中每篇摘要標(biāo)注結(jié)果格式與上述GET 方式一致。

    5 總結(jié)與展望

    圖11 語步識別在線標(biāo)注服務(wù)示意圖Fig.11 A diagram of move recognition in an abstract

    圖12 GET 方式訪問示例Fig.12 An example of GET access

    圖13 POST 方式訪問示例Fig.13 An example of POST access

    本文以文獻(xiàn)情報工作為出發(fā)點,探究人工智能取得飛速突破的本質(zhì)所在,立足科技文獻(xiàn)是人類知識的重要載體,圍繞如何充分挖掘和利用文獻(xiàn)情報知識價值和作用,創(chuàng)新性提出了文獻(xiàn)情報領(lǐng)域從“科技文獻(xiàn)庫”到“科技知識引擎”轉(zhuǎn)變的建設(shè)思路,論述了中國科學(xué)院文獻(xiàn)情報中心在構(gòu)建基于科技文獻(xiàn)知識的人工智能(AI)引擎的建設(shè)實踐,初步取得了一定效果和成果,但仍存在很多問題和挑戰(zhàn),在接下來的工作中將進(jìn)一步完善和改進(jìn)。首先,鑒于語料收集整理工作不充分,下一步會進(jìn)一步收集、整理預(yù)訓(xùn)練語料庫,尤其是特定領(lǐng)域科技文獻(xiàn)全文、書籍、知識庫、術(shù)語詞表等。其次,應(yīng)用推廣工作待完善。進(jìn)一步完善基于科技文獻(xiàn)知識資源的AI 引擎平臺建設(shè),完善相關(guān)功能,提升平臺運(yùn)行效率,完善對外服務(wù)API 接口建設(shè),盡快正式發(fā)布基于科技文獻(xiàn)知識的人工智能(AI)引擎。最后,實際應(yīng)用效果待提升?;诳萍嘉墨I(xiàn)情報工作的實際應(yīng)用場景,進(jìn)一步實驗、測試模型的應(yīng)用效果,根據(jù)實際情況調(diào)整相關(guān)研究的改進(jìn)方向,形成實際可用、有效的工具化的模型。

    猜你喜歡
    微調(diào)引擎語料
    一種新型微調(diào)擠塑模具的設(shè)計及應(yīng)用
    電線電纜(2018年2期)2018-05-19 02:03:44
    靈活易用,結(jié)合自動和手動微調(diào)達(dá)到好效果 StormAudio ISP 3D.16 ELITE/PA 16 ELITE
    藍(lán)谷: “涉藍(lán)”新引擎
    商周刊(2017年22期)2017-11-09 05:08:31
    基于語料調(diào)查的“連……都(也)……”出現(xiàn)的語義背景分析
    華語電影作為真實語料在翻譯教學(xué)中的應(yīng)用
    無形的引擎
    河南電力(2015年5期)2015-06-08 06:01:46
    基于Cocos2d引擎的PuzzleGame開發(fā)
    《苗防備覽》中的湘西語料
    國內(nèi)外語用學(xué)實證研究比較:語料類型與收集方法
    全國大部省份結(jié)束2014高考 多地高考模式微調(diào)
    一本—道久久a久久精品蜜桃钙片| 老熟女久久久| 亚洲精品美女久久久久99蜜臀| 男女免费视频国产| 久久久久久亚洲精品国产蜜桃av| 一区二区三区国产精品乱码| 欧美日韩亚洲高清精品| 岛国毛片在线播放| 欧美人与性动交α欧美精品济南到| 亚洲欧洲精品一区二区精品久久久| 亚洲自偷自拍图片 自拍| 久久久久久久国产电影| 国产在线视频一区二区| 99精品久久久久人妻精品| 9色porny在线观看| 亚洲精品国产区一区二| 天堂动漫精品| 中文字幕人妻熟女乱码| 成人精品一区二区免费| 午夜免费成人在线视频| 王馨瑶露胸无遮挡在线观看| av线在线观看网站| 露出奶头的视频| 免费在线观看黄色视频的| 天堂8中文在线网| 一本大道久久a久久精品| 99国产精品99久久久久| 操美女的视频在线观看| 亚洲精品国产色婷婷电影| 色尼玛亚洲综合影院| 看免费av毛片| 精品国产国语对白av| 国产精品98久久久久久宅男小说| av免费在线观看网站| 亚洲专区国产一区二区| 久久久久久久大尺度免费视频| 欧美日韩国产mv在线观看视频| 黄色成人免费大全| 亚洲国产成人一精品久久久| 国产成人系列免费观看| 久久精品国产a三级三级三级| 每晚都被弄得嗷嗷叫到高潮| 国产高清视频在线播放一区| 人人妻,人人澡人人爽秒播| 国产一区二区激情短视频| 亚洲一区二区三区欧美精品| 男人操女人黄网站| 人人澡人人妻人| 精品国产亚洲在线| 美女高潮到喷水免费观看| 免费观看a级毛片全部| 国产成人av激情在线播放| 日本黄色视频三级网站网址 | 亚洲成av片中文字幕在线观看| 91国产中文字幕| 丰满迷人的少妇在线观看| 麻豆成人av在线观看| 国产免费av片在线观看野外av| 久久国产精品大桥未久av| 啪啪无遮挡十八禁网站| 久久九九热精品免费| 老司机午夜十八禁免费视频| 真人做人爱边吃奶动态| 天天躁狠狠躁夜夜躁狠狠躁| 欧美精品人与动牲交sv欧美| 久久人妻av系列| 亚洲熟女毛片儿| kizo精华| 操出白浆在线播放| 国产在视频线精品| 国产精品香港三级国产av潘金莲| 久久久久久久精品吃奶| 免费女性裸体啪啪无遮挡网站| 亚洲成人免费电影在线观看| 丝袜在线中文字幕| 日韩欧美国产一区二区入口| 日本欧美视频一区| 十八禁网站免费在线| 99国产综合亚洲精品| av超薄肉色丝袜交足视频| 欧美成人免费av一区二区三区 | 美国免费a级毛片| 99国产极品粉嫩在线观看| 国产一区二区三区在线臀色熟女 | 欧美日韩视频精品一区| 久久 成人 亚洲| 伊人久久大香线蕉亚洲五| 90打野战视频偷拍视频| 美女扒开内裤让男人捅视频| 不卡一级毛片| 国产av精品麻豆| 国产成人欧美在线观看 | 日韩精品免费视频一区二区三区| 亚洲av日韩在线播放| av网站在线播放免费| 一边摸一边抽搐一进一出视频| 成年动漫av网址| 亚洲精品自拍成人| 99精品在免费线老司机午夜| 丁香欧美五月| 亚洲一区二区三区欧美精品| 一区二区三区国产精品乱码| 成年动漫av网址| 国产成人影院久久av| 9色porny在线观看| 色在线成人网| 男女边摸边吃奶| 免费av中文字幕在线| 欧美日韩av久久| 国产精品麻豆人妻色哟哟久久| 叶爱在线成人免费视频播放| 18禁裸乳无遮挡动漫免费视频| 咕卡用的链子| 精品亚洲成国产av| cao死你这个sao货| 亚洲欧美日韩高清在线视频 | 久久这里只有精品19| 亚洲国产欧美网| 99久久人妻综合| 亚洲av日韩精品久久久久久密| 美女主播在线视频| 一级毛片精品| 一个人免费看片子| 色精品久久人妻99蜜桃| 人人妻人人添人人爽欧美一区卜| 嫩草影视91久久| 90打野战视频偷拍视频| 777米奇影视久久| 老司机在亚洲福利影院| 亚洲精品一二三| 桃红色精品国产亚洲av| 亚洲午夜理论影院| 国产xxxxx性猛交| 最近最新中文字幕大全免费视频| 搡老乐熟女国产| 天堂俺去俺来也www色官网| 精品乱码久久久久久99久播| 午夜老司机福利片| 午夜激情av网站| 高潮久久久久久久久久久不卡| av免费在线观看网站| 18禁国产床啪视频网站| av片东京热男人的天堂| 亚洲一区中文字幕在线| 亚洲精品粉嫩美女一区| 婷婷丁香在线五月| 欧美日韩亚洲高清精品| 老鸭窝网址在线观看| 亚洲情色 制服丝袜| 美女视频免费永久观看网站| 99国产综合亚洲精品| 国产精品欧美亚洲77777| 热re99久久精品国产66热6| 蜜桃在线观看..| 欧美日韩福利视频一区二区| 老司机在亚洲福利影院| 亚洲av电影在线进入| 人妻久久中文字幕网| 欧美成人午夜精品| 狠狠婷婷综合久久久久久88av| 法律面前人人平等表现在哪些方面| 999久久久精品免费观看国产| 国产精品一区二区在线观看99| 精品欧美一区二区三区在线| 999精品在线视频| 丝袜美腿诱惑在线| av一本久久久久| 老熟妇仑乱视频hdxx| 人人妻人人澡人人爽人人夜夜| 十八禁网站网址无遮挡| 欧美日韩成人在线一区二区| 99九九在线精品视频| 精品人妻在线不人妻| 男人操女人黄网站| 欧美人与性动交α欧美软件| 亚洲成av片中文字幕在线观看| av片东京热男人的天堂| 蜜桃国产av成人99| 欧美在线一区亚洲| av国产精品久久久久影院| 久久久国产欧美日韩av| 久久精品亚洲av国产电影网| 欧美国产精品va在线观看不卡| 国产一卡二卡三卡精品| 精品久久蜜臀av无| 大型黄色视频在线免费观看| 久久精品91无色码中文字幕| 少妇猛男粗大的猛烈进出视频| 久久久久久免费高清国产稀缺| 一本一本久久a久久精品综合妖精| 午夜精品久久久久久毛片777| 精品少妇久久久久久888优播| 岛国在线观看网站| 高清在线国产一区| 一区二区三区乱码不卡18| 久久久精品区二区三区| 午夜福利乱码中文字幕| 国产伦人伦偷精品视频| 99热网站在线观看| 精品卡一卡二卡四卡免费| 久久久久久久国产电影| 亚洲中文av在线| 久9热在线精品视频| 50天的宝宝边吃奶边哭怎么回事| 国产视频一区二区在线看| 他把我摸到了高潮在线观看 | 一区二区三区国产精品乱码| www.自偷自拍.com| 香蕉丝袜av| 国产成人欧美在线观看 | 一二三四社区在线视频社区8| 少妇裸体淫交视频免费看高清 | 一个人免费在线观看的高清视频| 一级毛片电影观看| 丝袜喷水一区| 女警被强在线播放| 国产无遮挡羞羞视频在线观看| 国产伦人伦偷精品视频| 热re99久久国产66热| av欧美777| 国产极品粉嫩免费观看在线| 黄网站色视频无遮挡免费观看| 久久人妻福利社区极品人妻图片| 免费一级毛片在线播放高清视频 | 国产成人免费无遮挡视频| 精品一区二区三卡| 99久久精品国产亚洲精品| 午夜两性在线视频| 国产成人精品无人区| 国产99久久九九免费精品| 久久精品熟女亚洲av麻豆精品| 三级毛片av免费| 国产精品免费视频内射| 免费观看av网站的网址| 亚洲av片天天在线观看| 亚洲熟妇熟女久久| 久久ye,这里只有精品| 涩涩av久久男人的天堂| 国产精品美女特级片免费视频播放器 | 免费在线观看黄色视频的| 在线播放国产精品三级| 黄色成人免费大全| 亚洲中文av在线| 又大又爽又粗| 搡老乐熟女国产| 999精品在线视频| 久久av网站| 美女主播在线视频| 午夜福利视频精品| av线在线观看网站| 老司机影院毛片| 狂野欧美激情性xxxx| 国产精品98久久久久久宅男小说| 宅男免费午夜| 久9热在线精品视频| 99国产精品99久久久久| 新久久久久国产一级毛片| 高清黄色对白视频在线免费看| √禁漫天堂资源中文www| 女同久久另类99精品国产91| 国产精品免费一区二区三区在线 | 日韩视频在线欧美| 99热国产这里只有精品6| 一二三四在线观看免费中文在| 国产男女超爽视频在线观看| 丁香六月欧美| 91麻豆精品激情在线观看国产 | 极品人妻少妇av视频| 一边摸一边做爽爽视频免费| 满18在线观看网站| 不卡av一区二区三区| 亚洲精品国产精品久久久不卡| 国产片内射在线| tube8黄色片| 69精品国产乱码久久久| 国产精品久久久久久精品古装| 国产精品久久久久久人妻精品电影 | 在线观看免费视频网站a站| 久久这里只有精品19| 另类精品久久| 国产成人影院久久av| 女性被躁到高潮视频| 90打野战视频偷拍视频| 美女福利国产在线| 91精品三级在线观看| 国产片内射在线| 国产又爽黄色视频| 久久久久国产一级毛片高清牌| 老司机靠b影院| 国产精品自产拍在线观看55亚洲 | 亚洲国产欧美日韩在线播放| 中文字幕人妻丝袜一区二区| 99热国产这里只有精品6| 久久青草综合色| 欧美精品啪啪一区二区三区| 国产淫语在线视频| 欧美亚洲 丝袜 人妻 在线| 亚洲精品av麻豆狂野| 在线观看人妻少妇| a级毛片在线看网站| 人人澡人人妻人| 亚洲精品在线观看二区| 亚洲七黄色美女视频| 中文字幕最新亚洲高清| 久久人人97超碰香蕉20202| 少妇裸体淫交视频免费看高清 | 国产精品久久久久成人av| 热re99久久精品国产66热6| 国产成人欧美| 国产精品免费一区二区三区在线 | 手机成人av网站| 丁香欧美五月| 这个男人来自地球电影免费观看| 啦啦啦视频在线资源免费观看| av线在线观看网站| 电影成人av| 亚洲 欧美一区二区三区| 国产成人系列免费观看| 18在线观看网站| www日本在线高清视频| 亚洲中文av在线| av网站在线播放免费| 色婷婷久久久亚洲欧美| 亚洲色图av天堂| 亚洲第一青青草原| 99国产综合亚洲精品| 欧美成人免费av一区二区三区 | 日本撒尿小便嘘嘘汇集6| 两性午夜刺激爽爽歪歪视频在线观看 | 欧美老熟妇乱子伦牲交| 免费在线观看黄色视频的| 久久久久网色| 久久久久精品人妻al黑| 婷婷丁香在线五月| 黄色 视频免费看| 久久性视频一级片| 动漫黄色视频在线观看| 这个男人来自地球电影免费观看| 麻豆乱淫一区二区| 国产精品av久久久久免费| 国产高清videossex| 丰满少妇做爰视频| 成人永久免费在线观看视频 | 免费观看av网站的网址| 精品第一国产精品| 国产野战对白在线观看| 国产一区二区三区综合在线观看| 首页视频小说图片口味搜索| 天天躁狠狠躁夜夜躁狠狠躁| 欧美成人免费av一区二区三区 | 91麻豆精品激情在线观看国产 | 婷婷丁香在线五月| avwww免费| 午夜激情久久久久久久| 精品人妻在线不人妻| 国产成人啪精品午夜网站| 国产不卡一卡二| 日韩中文字幕视频在线看片| av在线播放免费不卡| 亚洲综合色网址| 国产xxxxx性猛交| 亚洲国产欧美在线一区| 午夜视频精品福利| 人人妻人人澡人人看| 久久久久久久国产电影| 18禁黄网站禁片午夜丰满| 日韩免费av在线播放| 日韩有码中文字幕| 黑人巨大精品欧美一区二区蜜桃| 国产区一区二久久| 巨乳人妻的诱惑在线观看| 亚洲人成伊人成综合网2020| 91成人精品电影| 色婷婷av一区二区三区视频| 丝袜喷水一区| 亚洲精品国产一区二区精华液| 成年动漫av网址| 国产亚洲午夜精品一区二区久久| 91麻豆精品激情在线观看国产 | 激情视频va一区二区三区| 国产成人影院久久av| 少妇 在线观看| 这个男人来自地球电影免费观看| 妹子高潮喷水视频| 欧美日韩一级在线毛片| 国产精品影院久久| 日韩中文字幕视频在线看片| 日韩欧美一区视频在线观看| 久久ye,这里只有精品| 国产精品免费一区二区三区在线 | 91九色精品人成在线观看| 亚洲精品国产精品久久久不卡| 日日摸夜夜添夜夜添小说| 日韩熟女老妇一区二区性免费视频| 男男h啪啪无遮挡| 日韩视频一区二区在线观看| 欧美 亚洲 国产 日韩一| 在线看a的网站| 成年版毛片免费区| 免费人妻精品一区二区三区视频| 另类精品久久| 午夜老司机福利片| 欧美精品高潮呻吟av久久| 欧美一级毛片孕妇| 日韩欧美一区视频在线观看| 老司机深夜福利视频在线观看| 日韩欧美免费精品| 亚洲午夜精品一区,二区,三区| 久久免费观看电影| 超碰97精品在线观看| av福利片在线| 国产野战对白在线观看| 欧美中文综合在线视频| 人妻一区二区av| 亚洲 欧美一区二区三区| 成人免费观看视频高清| 国产在视频线精品| 电影成人av| 日韩中文字幕欧美一区二区| 操出白浆在线播放| 一个人免费看片子| www.熟女人妻精品国产| 捣出白浆h1v1| 搡老熟女国产l中国老女人| 亚洲av第一区精品v没综合| 亚洲色图av天堂| 高清毛片免费观看视频网站 | 日日夜夜操网爽| 90打野战视频偷拍视频| 免费日韩欧美在线观看| 亚洲精品自拍成人| 国产一区二区三区视频了| 国产欧美日韩综合在线一区二区| 一个人免费看片子| 丰满人妻熟妇乱又伦精品不卡| 一本一本久久a久久精品综合妖精| 99精品在免费线老司机午夜| 国内毛片毛片毛片毛片毛片| 99国产精品一区二区三区| 精品福利永久在线观看| 窝窝影院91人妻| 国产1区2区3区精品| 久久精品熟女亚洲av麻豆精品| 亚洲一卡2卡3卡4卡5卡精品中文| 一级黄色大片毛片| 国产黄频视频在线观看| 99久久人妻综合| 欧美一级毛片孕妇| 久久中文看片网| 国精品久久久久久国模美| 久久国产精品大桥未久av| 超碰成人久久| 欧美日韩成人在线一区二区| 嫩草影视91久久| 精品久久蜜臀av无| 国产伦理片在线播放av一区| 色综合婷婷激情| 一夜夜www| 变态另类成人亚洲欧美熟女 | 日韩中文字幕欧美一区二区| 午夜老司机福利片| 亚洲国产看品久久| 黄色a级毛片大全视频| 日韩熟女老妇一区二区性免费视频| 国产成+人综合+亚洲专区| 精品福利永久在线观看| 黄色 视频免费看| 亚洲成a人片在线一区二区| 99re在线观看精品视频| 国产在线精品亚洲第一网站| 久久精品人人爽人人爽视色| 一边摸一边抽搐一进一出视频| 久久精品亚洲av国产电影网| 国产在线一区二区三区精| 大码成人一级视频| 99精品欧美一区二区三区四区| 精品高清国产在线一区| 亚洲av日韩在线播放| 国产亚洲一区二区精品| 日韩一卡2卡3卡4卡2021年| 欧美在线黄色| 9色porny在线观看| 俄罗斯特黄特色一大片| 亚洲精品一卡2卡三卡4卡5卡| 成人黄色视频免费在线看| 涩涩av久久男人的天堂| 欧美精品av麻豆av| 国产免费现黄频在线看| 午夜激情av网站| 亚洲一卡2卡3卡4卡5卡精品中文| 搡老岳熟女国产| 91大片在线观看| 国产精品.久久久| 在线 av 中文字幕| 亚洲色图 男人天堂 中文字幕| 男女午夜视频在线观看| av天堂久久9| 人人妻人人澡人人爽人人夜夜| 亚洲一区中文字幕在线| 午夜精品久久久久久毛片777| tube8黄色片| 国产日韩一区二区三区精品不卡| 国产欧美亚洲国产| a级毛片黄视频| 波多野结衣一区麻豆| 亚洲美女黄片视频| 最近最新中文字幕大全电影3 | 一边摸一边抽搐一进一小说 | 国产一区二区三区在线臀色熟女 | 欧美国产精品va在线观看不卡| 大香蕉久久成人网| 丁香六月天网| 9色porny在线观看| 中文字幕人妻丝袜制服| 精品国产超薄肉色丝袜足j| 国产区一区二久久| 亚洲,欧美精品.| 欧美乱码精品一区二区三区| 十八禁人妻一区二区| 午夜免费成人在线视频| 成人影院久久| 国产一区二区三区在线臀色熟女 | 岛国在线观看网站| 午夜精品久久久久久毛片777| 啦啦啦免费观看视频1| 黄色怎么调成土黄色| 18禁美女被吸乳视频| 精品国产超薄肉色丝袜足j| 成人国产av品久久久| 一级毛片电影观看| 亚洲av电影在线进入| 一级黄色大片毛片| 99热网站在线观看| 日韩欧美三级三区| 高清欧美精品videossex| 成人手机av| 国产精品久久久av美女十八| 亚洲精品久久午夜乱码| 欧美在线一区亚洲| 91字幕亚洲| 国产精品欧美亚洲77777| 亚洲av日韩精品久久久久久密| 欧美精品亚洲一区二区| 精品国产一区二区久久| 少妇被粗大的猛进出69影院| 午夜91福利影院| 免费人妻精品一区二区三区视频| 无遮挡黄片免费观看| 淫妇啪啪啪对白视频| 国产伦人伦偷精品视频| 飞空精品影院首页| 亚洲国产中文字幕在线视频| 性高湖久久久久久久久免费观看| 一级a爱视频在线免费观看| 午夜老司机福利片| 亚洲精品一二三| 国产在视频线精品| 国产欧美日韩一区二区精品| 一区福利在线观看| 热re99久久国产66热| 又大又爽又粗| tube8黄色片| 免费在线观看日本一区| 大型av网站在线播放| 亚洲 国产 在线| 亚洲精品国产色婷婷电影| 国内毛片毛片毛片毛片毛片| 老汉色∧v一级毛片| 亚洲精品国产一区二区精华液| 性高湖久久久久久久久免费观看| 亚洲欧美日韩另类电影网站| av片东京热男人的天堂| 99re6热这里在线精品视频| 五月天丁香电影| 99久久国产精品久久久| 亚洲成人国产一区在线观看| 超碰成人久久| 18禁黄网站禁片午夜丰满| 国产不卡av网站在线观看| 中文字幕精品免费在线观看视频| 麻豆国产av国片精品| h视频一区二区三区| 夜夜爽天天搞| 天天躁夜夜躁狠狠躁躁| 亚洲欧洲精品一区二区精品久久久| 久久人妻福利社区极品人妻图片| 欧美亚洲日本最大视频资源| 欧美中文综合在线视频| 国产精品av久久久久免费| 婷婷成人精品国产| √禁漫天堂资源中文www| 极品教师在线免费播放| 黄色 视频免费看| 成人18禁在线播放| 中文字幕另类日韩欧美亚洲嫩草| 免费在线观看影片大全网站| 色尼玛亚洲综合影院| 中文字幕另类日韩欧美亚洲嫩草| 欧美 日韩 精品 国产| 在线播放国产精品三级| 久久人妻熟女aⅴ| 久久久久久久大尺度免费视频| 伦理电影免费视频| 男女之事视频高清在线观看| 大型黄色视频在线免费观看| 久久影院123| 高清黄色对白视频在线免费看| 久久精品国产a三级三级三级| 91老司机精品| a级毛片在线看网站| 一个人免费看片子| 真人做人爱边吃奶动态| 91国产中文字幕| 久久精品aⅴ一区二区三区四区| 美国免费a级毛片|