• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    面向特定科研任務(wù)的著者姓名消歧方法

    2021-08-23 05:24:48吳柯燁孫建軍權(quán)昭瑄
    情報學(xué)報 2021年7期
    關(guān)鍵詞:消歧姓名學(xué)者

    吳柯燁,閔 超,孫建軍,權(quán)昭瑄

    (1.南京大學(xué)信息管理學(xué)院,南京 210023;2.南京大學(xué)人文社會科學(xué)大數(shù)據(jù)研究院,南京 210023)

    1 引 言

    近年來,科研人員數(shù)量不斷增加,論文數(shù)量呈現(xiàn)指數(shù)級增長,隨之而來的論文著者重名的問題頻頻出現(xiàn)。尤其是某些特定的研究任務(wù),雖然不以著者姓名消歧為主要研究工作,但是著者姓名消歧是其基礎(chǔ)性的重要環(huán)節(jié)。譬如,科學(xué)家流動、技術(shù)人才遷移、學(xué)術(shù)評價等人文社科類研究課題[1-4]。這類研究大多數(shù)從論文數(shù)據(jù)入手,依賴于準(zhǔn)確的科學(xué)家-出版物對應(yīng)關(guān)系,然而,姓名歧義問題始終在兩個方面掣肘著相關(guān)研究的開展:第一,由于特定研究的最終目的不是為了解決姓名歧義問題,因此,在研究數(shù)據(jù)中,關(guān)于人本身的信息可能十分稀疏,甚至在論文數(shù)據(jù)中存在缺失著者機構(gòu)等關(guān)鍵消歧依據(jù)的現(xiàn)象;第二,特定研究中的姓名消歧相較于一般消歧技術(shù)難度不高,但效果要求較高。如果歧義問題不能較好地解決,那么對于這些研究任務(wù)存在毀滅性地打擊。譬如,姓名歧義可能導(dǎo)致科學(xué)家流動識別不準(zhǔn)確,學(xué)術(shù)評價不客觀等問題。因此,本文提出了一個簡單易行且效果良好的面向特定任務(wù)、特定數(shù)據(jù)集的姓名消歧方法,為人才評價、人才流動等研究與實踐任務(wù)提供相對可靠的方法支持。

    姓名消歧作為實體消歧的子任務(wù)之一,其復(fù)雜性較為突出。普遍意義上的姓名歧義包含兩方面:一是同名異人,即不同的人擁有相同的姓名;二是同人異名,即同一個人的姓名有不同的書寫形式或是存在別名。然而,同人異名問題往往不需要借助其他信息。消歧直接從姓名本身入手,如尋找別名中的最長公共子序列的方式,來判定不同的姓名是否指代同一個人[5-6]。但是,同名異人問題則涉及相同研究領(lǐng)域、相同姓名,甚至是相同供職機構(gòu)中不同的人,這就需要根據(jù)現(xiàn)有信息深度挖掘出更細粒的、更多源的、更權(quán)威的信息作為消歧依據(jù),有時還需要進行語義挖掘才能達到精準(zhǔn)消歧[7-8]。因此,如何充分利用有限的本地數(shù)據(jù)進行關(guān)系發(fā)現(xiàn),并結(jié)合外源數(shù)據(jù)進行消歧依據(jù)補充就成了姓名消歧的研究重點。

    本文充分結(jié)合本地關(guān)聯(lián)數(shù)據(jù)和外部權(quán)威數(shù)據(jù),提出二階段著者姓名消歧框架,為學(xué)者層面的研究奠定了堅實的數(shù)據(jù)基礎(chǔ)。其中,一階段:本地關(guān)系發(fā)現(xiàn),組織論文間關(guān)系網(wǎng)絡(luò);二階段:外部數(shù)據(jù)爬取,補充權(quán)威消歧依據(jù)。兩階段相輔相成,互相補充,達到全面客觀消歧。為了體現(xiàn)該框架的實際效用,本文聚焦人工智能領(lǐng)域頂尖學(xué)者,抽取微軟學(xué)術(shù)知識圖譜(Microsoft Academic Graph,MAG)中人工智能領(lǐng)域的論文數(shù)據(jù)進行驗證。經(jīng)過抽樣統(tǒng)計證明,一階段解決數(shù)據(jù)中大部分同名異人問題。二階段在一階段的基礎(chǔ)上,不僅在準(zhǔn)確率和F1 score等聚類評價指標(biāo)上有進一步提升,而且解決了部分同人異名的問題。此外,為了證明該方法的普適性,本文還選取了Aminer姓名消歧數(shù)據(jù)集進行有效性驗證,同樣在準(zhǔn)確率和F1 score上取得了良好的效果。

    2 文獻綜述

    姓名消歧本質(zhì)上是關(guān)系發(fā)現(xiàn)的過程,將關(guān)聯(lián)性強的文章聚集為一類。由此出發(fā),大多數(shù)研究均將姓名消歧具體為出版物聚類問題[9-17]。其中,同名異人的消歧流程大致分為三個步驟:特征抽取、相似度計算和聚類[18];而同人異名消歧則在特征抽取之前,增加了一步模塊映射操作,即將可能是同一個人的別名下的出版物均映射到一個模塊上[12,19-20],再進行消歧。針對每一個步驟,不同的研究有其自己的創(chuàng)新點。從本文的二階段劃分角度出發(fā),本章節(jié)分別從本地關(guān)系發(fā)現(xiàn)和外部數(shù)據(jù)關(guān)聯(lián)兩個層面對現(xiàn)有研究進行歸納總結(jié)。

    2.1 本地關(guān)系發(fā)現(xiàn)

    從姓名消歧一般流程來看,每個階段都在盡可能揭示出版物之間關(guān)系。

    在特征抽取方面,大多數(shù)研究選取了關(guān)聯(lián)性較強的特征。譬如,尚玉玲等[21]選取了合作者和隸屬機構(gòu)信息進行同名排歧;Saha等[13]和Zhang等[22]為保護作者隱私,選取了論文題目和合作者等特征進行消歧任務(wù)。有些研究則加入對消歧有顯著效果的其他特征作為消歧項。例如,Louppe等[19]利用種族特征作為消歧依據(jù);周杰等[23]通過一些關(guān)鍵的關(guān)聯(lián)證據(jù)為增量數(shù)據(jù)生成消歧候選集。此外,有些研究為更好地體現(xiàn)出版物之間的語義關(guān)聯(lián),采用諸如摘要等能體現(xiàn)文章語義的特征作為消歧項。譬如,翟曉瑞等[24]用稀疏矩陣組織摘要文本特征;Han等[7]和Jia等[8]根據(jù)上下文的語義信息來對命名實體進行消歧。因此,在進行消歧任務(wù)時,能夠揭示出版物之間關(guān)聯(lián)性的消歧特征受大多數(shù)研究的青睞。

    在相似度計算方面,最直接的是將特征映射到向量空間上,進行向量間距離計算。但是僅依據(jù)文章本身的特征可能無法做到精準(zhǔn)的關(guān)系發(fā)現(xiàn)。因此,圖模型和網(wǎng)絡(luò)表示[25]等框架常常被應(yīng)用于組織關(guān)聯(lián)出版物特征上。被稱為“GHOST(GrapHical framewOrk for name diSambiguaTion)”的方 法[26],利用合作者信息構(gòu)建無向圖,并利用關(guān)聯(lián)傳播算法進行聚類。此外,圖模型還可以靈活地加入概率,Tang等[27]提出將隱馬爾可夫模型應(yīng)用在組織各個出版物的特征上。也有學(xué)者利用多圖嵌入的方式學(xué)習(xí)出版物的嵌入向量。譬如,Zhang等[22]基于表征構(gòu)建paper-paper、author-paper、author-author三個子圖,再用網(wǎng)絡(luò)嵌入的方式學(xué)習(xí),得到每個出版物包含這三層關(guān)聯(lián)信息的語義向量。

    最后的聚類效果是建立在前兩個階段基礎(chǔ)之上。由傳統(tǒng)的特征向量出發(fā),大多數(shù)學(xué)者采用無監(jiān)督學(xué)習(xí)中的聚類算法進行聚類操作[9-11,16,28]。譬如,鄧可君等[28]發(fā)現(xiàn),相較于其他機器學(xué)習(xí)算法,K近鄰和Softmax分類器更適應(yīng)于其數(shù)據(jù)集。又如,為解決無法確定聚類數(shù)目這一問題,章順瑞等[9]和陽怡林等[10]基于自適應(yīng)閾值的凝聚層次聚類算法進行消歧。另外,為進一步揭示關(guān)聯(lián)信息,有些學(xué)者在圖模型的基礎(chǔ)上進行了聚類操作。譬如,On等[16]在聚類階段提出多級圖劃分和合并算法,通過不斷合并和拆分子圖的方式,得到給定聚類數(shù)目k下的最優(yōu)解;Shin等[5]利用合著者和標(biāo)題信息,提出GFAD(Graph Framework for Author Disambiguation)圖模型框架,對已知圖進行結(jié)點拆分和循環(huán)探測,將每個非重疊子環(huán)對應(yīng)到每一個人。

    總而言之,消歧研究的每個階段都在盡可能地挖掘出版物之間的關(guān)系,具體體現(xiàn)為利用圖模型和網(wǎng)絡(luò)表示組織出版物特征,使出自同一位學(xué)者的不同論文具有較高的相似性。雖然這種方式能夠有效直觀地體現(xiàn)了出版物之間的關(guān)聯(lián)信息,但是復(fù)雜的圖模型對于自然語言處理技術(shù)以及計算機算力提出較高的要求。如果數(shù)據(jù)量大,那么對應(yīng)的出版物關(guān)聯(lián)圖也會隨之增大,圖模型推理計算的復(fù)雜度同樣會呈現(xiàn)指數(shù)級的增長。然而,綜合過往研究發(fā)現(xiàn),姓名消歧中圖模型和網(wǎng)絡(luò)構(gòu)建也都依賴以下假設(shè):①每個學(xué)者都擁有較為穩(wěn)定的合作學(xué)術(shù)圈;②每個學(xué)者的研究領(lǐng)域相對穩(wěn)定。本文基于這兩條原則,簡化了圖模型復(fù)雜的計算過程,做到高效率的組織文獻關(guān)系。

    2.2 外部數(shù)據(jù)關(guān)聯(lián)

    由于現(xiàn)有的姓名消歧研究大多都面向機構(gòu)知識庫,為學(xué)術(shù)資源庫提供更高質(zhì)量的數(shù)據(jù)[10,29-31]。這就帶來本地數(shù)據(jù)覆蓋面有限的問題,因此,需要加入外部來源的數(shù)據(jù)進行補充。譬如,Han等[7]為解決數(shù)據(jù)缺失的問題,利用多源網(wǎng)絡(luò)知識信息來挖掘出版物之間的語義層面的關(guān)聯(lián)信息。Zhu等[32]提出基于的姓名消歧框架,不僅包含了本地數(shù)據(jù)中的隱含信息,也包含了網(wǎng)頁類型信息。另外,有學(xué)者采取其他方式補充元數(shù)據(jù)缺失,譬如,孫笑明等[33]搜集專家意見為消歧提供依據(jù);柯昊等[34]利用BP(Back Propagation)神經(jīng)網(wǎng)絡(luò)為元數(shù)據(jù)中的字段進行貢獻度打分,從而選取最有價值的字段進行消歧。

    但是,外部數(shù)據(jù)源對于姓名消歧任務(wù)在帶來更多依據(jù)的同時也帶來一些問題:一是外部數(shù)據(jù)源,大多是網(wǎng)頁數(shù)據(jù)或是非結(jié)構(gòu)化數(shù)據(jù),處理起來很難做到精準(zhǔn);二是網(wǎng)絡(luò)信息的可利用率較低,與需要消歧的姓名相關(guān)的信息可能很少,即使有,可能也是不完整的或是無法考證真實性的。

    為了解決圖模型計算復(fù)雜和外部數(shù)據(jù)利用率不高的問題,本文將面向人文社科領(lǐng)域的特定研究任務(wù),提出一個簡便易行的學(xué)術(shù)論文作者姓名消歧方法。第一階段,本文將結(jié)合圖模型背后的原則,對于本地論文數(shù)據(jù)的表征關(guān)聯(lián)特征項選擇抽取,并進行預(yù)處理,為姓名實體所對應(yīng)的論文集建立同作者合并機制;第二階段,為解決本地數(shù)據(jù)覆蓋率有限,且外部數(shù)據(jù)利用率不高的問題,本文將利用專注于區(qū)分不同學(xué)者的平臺——ORCID(Open Re‐searcher and Contributor Identifier),更權(quán)威、更客觀地進行逐個姓名的消歧。

    3 姓名消歧框架與流程

    3.1 姓名消歧整體框架

    3.1.1 消歧特征項選擇

    與過往研究一樣,在面向科研任務(wù)的姓名消歧任務(wù)中,需要篩選合適的消歧依據(jù)。這些依據(jù)應(yīng)該盡可能凸顯學(xué)術(shù)論文的本質(zhì)屬性,又能與相關(guān)論文產(chǎn)生較強的聯(lián)系。

    根據(jù)過往研究中對于消歧特征項的選擇[21-22,31],本文將所有與論文相關(guān)的字段分為兩類。第一類是有助于直接揭示出版物之間關(guān)系的強關(guān)聯(lián)特征項,如合著者、隸屬機構(gòu)、發(fā)表年份等信息[21]。這些信息不需要深入挖掘其內(nèi)涵,只需要通過表征就可以組織關(guān)系。例如,同名的兩位學(xué)者如果合作圈有較多重合,那么這兩位學(xué)者大概率是同一個人,無需深究其每個合作者更細粒度的信息。因此,這些字段在本地數(shù)據(jù)中就可以加以利用,達到消歧的效果,適用于本研究的一階段關(guān)系發(fā)現(xiàn)。

    第二類則是間接揭示出版物之間關(guān)系的弱關(guān)聯(lián)特征項。例如,關(guān)鍵詞、題目、摘要等。這些特征項往往隱藏著論文所屬的研究領(lǐng)域,而每位科研工作者一般又會專注于固定的研究領(lǐng)域。因此,如果能夠充分挖掘弱關(guān)聯(lián)特征項的內(nèi)涵,揭示論文所屬的研究領(lǐng)域,那么將會給消歧任務(wù)帶來巨大的便利。在本文提出的消歧框架第二階段中,在原本的消歧依據(jù)上,增加弱關(guān)聯(lián)特征項,通過與外源數(shù)據(jù)關(guān)聯(lián)的方式進行深入挖掘。

    3.1.2 二階段消歧框架

    根據(jù)上述兩類消歧特征項,本文提出了二階段消歧框架①代碼網(wǎng)址:https://github.com/wukeye/Two-stage-author-name-disambiguation,分別對應(yīng)本地關(guān)系發(fā)現(xiàn)與外源權(quán)威數(shù)據(jù)關(guān)聯(lián),操作簡便,且提高了姓名消歧的準(zhǔn)確率。二階段消歧的整體思路和框架如圖1所示。

    圖1 二階段姓名消歧框架

    第一階段首先為所有消歧特征項做數(shù)據(jù)清洗工作,其次基于高質(zhì)量的強關(guān)聯(lián)特征項組織論文間的關(guān)系網(wǎng)絡(luò)。在此過程中,為彌補原數(shù)據(jù)中某些強關(guān)聯(lián)項的缺失,通過原始數(shù)據(jù)中的其他信息進行深入挖掘補充。例如,本文通過經(jīng)緯度信息定位著者所在地,彌補著者所屬機構(gòu)的缺失。

    接下來,利用第一階段的消歧結(jié)果以及經(jīng)過處理的消歧特征項,進行第二階段消歧,將無法在本地發(fā)現(xiàn)的相關(guān)文檔,通過與外部數(shù)據(jù)連接的方式聚為一類。首先制定ORCID半模糊檢索策略,對消歧特征項進行優(yōu)先級抽取,最大限度保證檢索精度。其次,利用半模糊檢索式在ORCID官網(wǎng)提供的API(Application Programming Interface)接口實施數(shù)據(jù)爬取。最后,將外源數(shù)據(jù)與本地數(shù)據(jù)關(guān)聯(lián),把具有相同ORCID號的作者合并為同一個人。至此,得到了同姓名下屬于不同學(xué)者的論文集。接下來的第3.2節(jié)和第3.3節(jié)將分別介紹兩個階段的詳細步驟與算法。

    3.2 第一階段消歧

    3.2.1 消歧特征項預(yù)處理

    在大多數(shù)學(xué)術(shù)領(lǐng)域的姓名消歧任務(wù)中[14,19,22-23,25,28,30],原始數(shù)據(jù)都以論文為單位,然而,對姓名歧義的研究,則需要將數(shù)據(jù)重組成以姓名為單位的形式,便于發(fā)現(xiàn)同一姓名下所著的兩篇文章是否屬于同一個人。在某些原始數(shù)據(jù)中難免存在一些錯誤,為保證數(shù)據(jù)一致性,對消歧所需的特征項進行數(shù)據(jù)清洗和正則化工作。本文就以姓名A.Ad‐am為例,展示部分包含這一著者姓名的論文數(shù)據(jù)重組與特征項預(yù)處理過程,如圖2所示。

    如圖2所示,原始數(shù)據(jù)中的一條論文數(shù)據(jù)被分解為多條數(shù)據(jù)②這里每一篇論文應(yīng)該分為多條數(shù)據(jù),每條數(shù)據(jù)表示一位作者的有關(guān)信息,為方便敘述,這里只展示了拆分后關(guān)于A.Adam的部分數(shù)據(jù)。,這里展示了論文著者姓名包含A.Adam的三篇論文拆分情況。其中,Aff Nor是對于原數(shù)據(jù)中Aff的正則化結(jié)果,Key_in_title則是抽取論文題目中關(guān)鍵詞組織而成,其中可能包含名詞和形容詞,在第二階段還將進一步處理利用。最終,得到關(guān)于A.Adam所有的論文集publication_set,下一步需要將這些論文聚為幾類,分別對應(yīng)幾位同名的不同學(xué)者。

    圖2 某篇論文的數(shù)據(jù)重組與特征項預(yù)處理

    3.2.2 構(gòu)建關(guān)系網(wǎng)絡(luò)

    經(jīng)過初步的數(shù)據(jù)重組與預(yù)處理之后,將過往研究中圖模型的假設(shè)經(jīng)過改編應(yīng)用到本研究場景中,將同名作者的論文關(guān)系組織起來,總結(jié)為以下兩個規(guī)則。

    (1)由于學(xué)術(shù)圈每個人有自己的合作網(wǎng)絡(luò)或是學(xué)術(shù)圈子,合作者信息可以用來協(xié)助判斷同名的兩個人是否是同一個學(xué)者。

    (2)從論文數(shù)據(jù)來看,同一位作者幾乎不可能短時間內(nèi)在不同的機構(gòu)下以第一作者發(fā)表文章。作者論文的所屬機構(gòu)信息和發(fā)表年份信息,也可以協(xié)助判斷兩個同名的人是否為同一作者。

    由于學(xué)者在職業(yè)生涯中可能會輾轉(zhuǎn)多個工作單位,在第二條規(guī)則中,本文特意添加了年份信息進行聯(lián)合篩選。也正是充分考慮到學(xué)者流動的情況,本文認為第一條規(guī)則較第二條而言更加客觀。因此,在算法實現(xiàn)時優(yōu)先考慮第一條原則,當(dāng)?shù)谝粭l原則無法判斷時,再采取第二條原則。算法偽代碼如下。

    算法1Constrcut Relationship Network

    輸入:數(shù)據(jù)重組與特征項預(yù)處理后的結(jié)果。其中每一行代表當(dāng)前需要消歧姓名下的每一篇論文信息。

    輸出:出自同一位學(xué)者的論文索引號集合。

    Step1.對每個姓名下的publication_set中每一篇論文進行遍歷for p in publication_set:尋找可能與當(dāng)前論文p_index為同一人所著的論文行號集合p_set。Step1.1.遍歷除p以外的所有論文,逐一對照合著者Coauthor字段,如果有重復(fù)就將其行號加入集合p_set中。如果沒有重復(fù)就跳入Step1.2,否則進入下一跳。Step1.2.比較當(dāng)前論文與沒有合著者重復(fù)論文的年份Year字段和正則化機構(gòu)AffNor字段,若正則化機構(gòu)信息相同且年份在前后兩年內(nèi),則加入集合p_set。

    Step2.對publication_set中每一篇論文的相關(guān)論文集p_set進行重復(fù)元素探尋,最終由局部關(guān)系網(wǎng)絡(luò)組織成全局關(guān)系網(wǎng)絡(luò)。

    算法中,Step1實現(xiàn)了根據(jù)強關(guān)聯(lián)特征項構(gòu)建出需要消歧姓名下所有論文的關(guān)系網(wǎng)絡(luò),具體操作是為每一篇論文找到一個相關(guān)論文集合p_set。以A.Adam的論文集為例,由于p_index為9766與32931兩篇論文中合著者有重復(fù),因此,p_index為9766的相關(guān)文檔集就包含索引號32931以及其自身索引號9766。Step2則是將論文級別上的相關(guān)文檔集組織成姓名級別上的關(guān)系網(wǎng)絡(luò),最終9766與32931兩篇論文被認為是出自同一個人,而p_index為56272的作者暫時被認為是另一位學(xué)者,需要外部數(shù)據(jù)進行第二階段的消歧。整體來看,一階段消歧在原數(shù)據(jù)上進行了預(yù)處理、構(gòu)建關(guān)系網(wǎng)絡(luò)等操作,實現(xiàn)了將有相同學(xué)術(shù)合作圈的學(xué)者或是隸屬于同一機構(gòu)較長時間的學(xué)者合并為同一作者。

    3.3 第二階段消歧

    一階段消歧在本地數(shù)據(jù)的基礎(chǔ)上充分挖掘了關(guān)聯(lián)信息,但是只依賴本地數(shù)據(jù)存在一些弊端,具體體現(xiàn)為以下三點:①本地數(shù)據(jù)來源學(xué)術(shù)資源數(shù)據(jù)庫,其中難免存在數(shù)據(jù)缺失問題。如果缺失情況嚴重,那么就無法利用本地數(shù)據(jù)進行關(guān)系發(fā)現(xiàn)。②同人異名問題沒有得到解決。同一學(xué)者在發(fā)表不同論文時的署名會有不同程度的縮寫,僅僅依靠本地數(shù)據(jù)無法準(zhǔn)確合并同人異名的學(xué)者。③除本地數(shù)據(jù)中合著者、機構(gòu)、年份等強關(guān)聯(lián)字段,本地數(shù)據(jù)中還有許多揭示學(xué)者研究方向的弱關(guān)聯(lián)項沒有得到充分利用,如摘要和關(guān)鍵詞信息。需要進一步加工和處理才能挖掘出不同論文之間的關(guān)系。

    針對上述問題,第二階段的消歧任務(wù)主要圍繞外源數(shù)據(jù)展開。在補充本地缺失數(shù)據(jù)的同時,利用關(guān)鍵詞等弱關(guān)聯(lián)項揭示學(xué)者的研究領(lǐng)域,將同一研究領(lǐng)域的學(xué)者指向同一個外源標(biāo)識符——ORCID。因此,為了更好地利用外援權(quán)威數(shù)據(jù)為本論文中的姓名消歧服務(wù),本文制定了ORCID數(shù)據(jù)的檢索策略。根據(jù)爬取到的ORCID數(shù)據(jù),將具有相同OR‐CID號的作者合并為同一個作者。

    3.3.1 ORCID半模糊檢索

    ORCID是國際上公認的研究人員唯一數(shù)字標(biāo)識符,并建立了學(xué)者及其研究貢獻之間的直接聯(lián)系,解決了部分學(xué)者的姓名歧義問題。許多學(xué)者在OR‐CID網(wǎng)站上公開其個人信息,對于姓名消歧來說,這些是非常寶貴的消歧依據(jù)。因此,本文利用開放研究者與貢獻者身份官網(wǎng)提供的API,根據(jù)已知有關(guān)作者的信息,爬取相應(yīng)作者的ORCID號。

    為解決數(shù)據(jù)缺失以及利用率不高等問題,本文通過半模糊檢索的方式得到作者的ORCID號。之所以稱之為“半模糊檢索”,是因為在檢索時加入了Keywords字段進行模糊檢索。但是與模糊檢索不同的是,半模糊檢索首先在原始數(shù)據(jù)上抽取強關(guān)聯(lián)特征項,做到精確字段限定,如明確作者的Familyname、Given-names以及Affiliations等。如果精確字段有缺省的話,再抽取其他字段信息作為Keywords進行限定條件下的全局檢索,保證半模糊檢索的精度。圖3為構(gòu)建半模糊檢索式的流程。

    圖3 半模糊檢索式構(gòu)建

    在爬取過程中,明確了不可空缺的為姓名字段。除此之外,利用位置信息進行了原數(shù)據(jù)的擴充,并且依據(jù)豐富后的原數(shù)據(jù)和一次消歧結(jié)果充分挖掘論文作者的所在地和揭示論文研究領(lǐng)域的關(guān)鍵詞。依舊以A.Adam為例,在該階段,A.Adam會與ORCID進行兩次關(guān)聯(lián),一是檢索在第一階段已經(jīng)聚為一類的學(xué)者的相關(guān)信息,該學(xué)者著有p_in‐dex為9766與32931兩篇論文,并且隸屬于Israel In‐stitute of Technology,因此Affiliates字段限定為Isra‐el Institute of Technology。第二次檢索則是尋找有關(guān)p_index為56272的著者的相關(guān)信息,通過地理位置信息找到其所在地也為Israel,因此,限定Key‐words為Israel,而機構(gòu)信息為空值。最終,比較兩次檢索所獲得的ORCID號。

    3.3.2 二次消歧

    由于在論文數(shù)據(jù)中,同一姓名下論文的所屬機構(gòu)信息或者關(guān)鍵詞信息有所不同,但可能均是出自同一作者在不同時期的工作、學(xué)習(xí)場所,或是由于每篇發(fā)表論文中所填寫信息并不完全一致。因此,本文發(fā)現(xiàn)在同一姓名下,原本被認為是不同學(xué)者的數(shù)據(jù)被賦予了相同的ORCID號。

    二次消歧的主要工作就是將具有相同ORCID號的作者信息做合并處理,將同一作者的機構(gòu)信息和發(fā)表論文信息做時間線的梳理工作,更有利于后續(xù)分析該作者與其他同名作者的關(guān)系,評估消歧質(zhì)量真實性。

    4 實證研究與結(jié)果分析

    4.1 研究任務(wù)與數(shù)據(jù)來源

    著者姓名消歧是許多科學(xué)研究的基礎(chǔ)性任務(wù),不同的科學(xué)研究對于姓名消歧的要求不相同,因此,結(jié)合具體的研究任務(wù)才能體現(xiàn)姓名消歧的價值。假定有一個研究任務(wù),主要研究某領(lǐng)域高端科學(xué)家的流動模式與影響因素,如劉瑋辰等[4]的研究。為了完成該研究任務(wù),需要從學(xué)術(shù)出版物中采集該領(lǐng)域論文,從中析出科學(xué)家的任職與流動信息。其中,一個關(guān)鍵的前提工作就是對論文中的作者進行姓名消歧。對于這個任務(wù),可以采用本文提出的二階段姓名消歧方法。為驗證該方法的實際效用,本文以人工智能領(lǐng)域高端人才流動為研究任務(wù),采集微軟學(xué)術(shù)知識圖譜中的頂級會議與期刊論文數(shù)據(jù)集,對數(shù)據(jù)集中的所有著者進行姓名消歧,為后續(xù)流動研究提供高質(zhì)量數(shù)據(jù)支持。

    4.1.1 數(shù)據(jù)范圍限定

    由于研究任務(wù)中限定了人工智能領(lǐng)域“高端人才”,因此,限定數(shù)據(jù)范圍在頂級期刊與頂級會議內(nèi)的論文數(shù)據(jù),為人工智能領(lǐng)域?qū)W者進行姓名消歧工作。根據(jù)2019年中國計算機學(xué)會推薦國際學(xué)術(shù)會議和期刊目錄,具體落實到人工智能(Artificial In‐telligence,AI)領(lǐng)域的4本A類期刊和7個A類會議。詳細信息如表1與表2所示。

    表1 中國計算機學(xué)會推薦國際學(xué)術(shù)期刊(人工智能A類)

    表2 中國計算機學(xué)會推薦國際學(xué)術(shù)會議(人工智能A類)

    4.1.2 微軟數(shù)據(jù)介紹

    在數(shù)據(jù)源方面,本文選擇了微軟學(xué)術(shù)圖譜數(shù)據(jù)。目前,微軟學(xué)術(shù)知識圖譜是全球最大的學(xué)術(shù)論文公開數(shù)據(jù)集,經(jīng)過長期發(fā)展,數(shù)據(jù)質(zhì)量,尤其是作者字段數(shù)據(jù),得到了較大的提高。其對此類研究任務(wù)有十分明顯的優(yōu)勢:①數(shù)據(jù)完全公開,可以免費獲取;②提供API接口,方便采集;③微軟公司利用先進的AI技術(shù),如自然語言理解(Natural Language Understanding,NLU)、知識推理、強化學(xué)習(xí)等方法,進行一定程度的數(shù)據(jù)清洗工作,數(shù)據(jù)質(zhì)量較高;④數(shù)據(jù)字段豐富,如包含作者機構(gòu)經(jīng)緯度信息。

    根據(jù)上述限定的范圍,本文在微軟學(xué)術(shù)知識圖譜中檢索到了91557條論文數(shù)據(jù),其中每條數(shù)據(jù)包含作者ID、作者姓名、作者隸屬機構(gòu)等20個的字段。在所有字段中,與姓名消歧任務(wù)直接相關(guān)的是AuthorId字段。首先,將所有論文中出現(xiàn)的作者都分配一個AuthorId,再根據(jù)其他信息對同名作者進行一定程度的合并,最終被分配相同ID號的同名作者大概率是同一個人。這一過程類似于層次凝聚算法[9]的自下而上的聚類過程。然而,由于該數(shù)據(jù)普遍存在過擬合現(xiàn)象,因此,姓名消歧框架是在該數(shù)據(jù)基礎(chǔ)上進行二階段消歧,提高了姓名消歧的準(zhǔn)確率。

    4.2 效果評估

    根據(jù)微軟知識圖譜數(shù)據(jù),對學(xué)術(shù)論文的著者進行初步的ID分配工作,總體來看,作者姓名有91683個,分配了103022個AuthorId,即有11339個學(xué)者被初步認為是同名異人的情況。為探究原數(shù)據(jù)的ID分配情況和二階段消歧框架的效果,針對部分有歧義的姓名數(shù)據(jù)進行人工標(biāo)注。本文的標(biāo)注策略是根據(jù)上述第4.1節(jié)所介紹的MAG數(shù)據(jù)中可利用的字段信息,進行開放網(wǎng)絡(luò)信息資源的考證,主要在IEEE、Web of Science和Springer等數(shù)字學(xué)術(shù)資源平臺上對論文著者進行深度挖掘。

    經(jīng)過評估發(fā)現(xiàn),初步被認為是同名異人的11339個學(xué)者中,少部分存在同名異人的情況,大部分是同名同人被誤分配不同ID的情況。這表明該分配工作沒有經(jīng)過太多的消歧工作,存在過擬合的情況,即實際上為同一人所著的兩篇文章,卻被認為是不同的兩個人。因此,本文的消歧主要針對這11339個著者所對應(yīng)的7254個姓名中誤分配ID情況,進行同名同人著者的ID“聚類”操作。

    由于第二階段消歧是建立在ORCID數(shù)據(jù)的基礎(chǔ)上,因此,在對消歧框架效果評估之前,對ORCID數(shù)據(jù)進行了簡單評估。在91683個姓名中,從OR‐CID官網(wǎng)抽取到了9821條數(shù)據(jù)。在數(shù)據(jù)的召回率上只有12%,這是因為并非所有學(xué)者都注冊了ORCID號,導(dǎo)致檢索不到關(guān)于作者的相關(guān)信息。另外,有些作者的ORCID只展示了該作者所發(fā)表過的論文,并沒有添加相關(guān)的機構(gòu)等背景信息。同時,也驗證了檢索結(jié)果的準(zhǔn)確性,通過抽樣比較爬取到的OR‐CID數(shù)據(jù)與原始數(shù)據(jù),發(fā)現(xiàn)爬取到的著者與原數(shù)據(jù)中的著者確為同一個人。這證明了本文的檢索策略是精準(zhǔn)的。

    在準(zhǔn)確的外部數(shù)據(jù)的支持下,對經(jīng)過消歧后的ID抽樣評估發(fā)現(xiàn),本文所提出的框架在三個方面對姓名歧義問題起到積極的作用,分別是聚類數(shù)目、聚類準(zhǔn)確率以及同人異名問題解決。

    4.2.1 聚類數(shù)目效果評估

    在所有數(shù)據(jù)中,本文抽取了30個發(fā)文量較多的姓名評估。在表3中,列舉了10個姓名下現(xiàn)實社會中對應(yīng)的人數(shù),以及原始數(shù)據(jù)、一階段、二階段分別對應(yīng)的類別數(shù),可發(fā)現(xiàn)每個姓名對應(yīng)的真實人數(shù)都比原始數(shù)據(jù)中分配的ID個數(shù)(聚類的類別數(shù)目)少,這種過擬合現(xiàn)象可能是由于限定了數(shù)據(jù)集的范圍,在小范圍下的姓名歧義并不普遍。經(jīng)過一二階段消歧之后,聚類數(shù)目減少,并且與真實人數(shù)更加接近。

    表3 聚類數(shù)目分析

    4.2.2 聚類準(zhǔn)確率分析

    經(jīng)過一階段消歧之后,本文對7254個姓名改動了6779條數(shù)據(jù)的AuthorId。二階段在ORCID數(shù)據(jù)的支持下,消除了203個AuthorId,并將其合并到已知的作者類別中。同樣地,在所有姓名中隨機抽取15個姓名進行準(zhǔn)確率(precision,P)、召回率(re‐call,R)、F1 score計算。這一過程借鑒了Zhang等[22]的驗證方法。效果如表4所示。

    由表4可知,消歧框架在原始數(shù)據(jù)的基礎(chǔ)上,在經(jīng)歷了第一、二階段消歧后,各項聚類指標(biāo)大致呈現(xiàn)遞增的趨勢。尤其是第二階段,在經(jīng)過字段補充,并與外部數(shù)據(jù)進行關(guān)聯(lián)后,消歧結(jié)果的F1 score達到最高點。這表明了本文的消歧框架在MAG數(shù)據(jù)集上取得了顯著的效果。

    表4 聚類準(zhǔn)確率分析

    4.2.3 同人異名問題解決

    在評估過程中,本文發(fā)現(xiàn)同名異人問題也在一定程度上被解決了。在不同論文中,同一位學(xué)者的姓名寫法可能不盡相同,會出現(xiàn)諸如簡寫Middle name甚至省略的情況,故在MAG數(shù)據(jù)中存在同一人姓名的不同寫法被賦予不同AuthorId的現(xiàn)象。然而,恰好ORCID檢索策略是根據(jù)著者的Familyname和Given-names,再結(jié)合關(guān)聯(lián)特征項進行爬取,可發(fā)現(xiàn)不同寫法的姓名其實指代的是同一名作者。譬如,在MAG數(shù)據(jù)中,署名為Jin H.Kim和Jin Hyung Kim分別發(fā)表了一些論文,且兩者在中某些論文中標(biāo)注的隸屬機構(gòu)都為KAIST(Korea Ad‐vanced Institute of Science and Technology,韓國科學(xué)技術(shù)院)。經(jīng)過ORCID的檢索發(fā)現(xiàn),兩者的ORCID相同,經(jīng)過驗證發(fā)現(xiàn)兩篇論文也的確為同一人所著。表5列舉了同一作者、不同姓名寫法經(jīng)過本文的消歧方法處理之后合并的幾個案例。

    表5 同人異名合并

    4.2.4 Aminer數(shù)據(jù)驗證

    除了在固定的研究任務(wù)中,本文還驗證了該消歧框架在Aminer數(shù)據(jù)集上的效果,以驗證該框架的普適性。Aminer是科技情報分析與挖掘平臺,其姓名消歧數(shù)據(jù)集①Aminer姓名消歧數(shù)據(jù)集:https://www.aminer.cn/disambiguation提供了110個經(jīng)過實際標(biāo)注的學(xué)者姓名以及其出版物集合。這些出版物可能來自不同學(xué)科的同名學(xué)者,根據(jù)本文的消歧原則,利用強弱關(guān)聯(lián)項為每篇論文找到相應(yīng)的著者,最終取得了良好的結(jié)果,部分結(jié)果如表6所示。

    表6 Aminer消歧結(jié)果

    由表6可知,一階段利用強關(guān)聯(lián)項取得了較高的準(zhǔn)確率,但是召回率普遍較低,拉低了F1的表現(xiàn)。其可能的原因是學(xué)術(shù)圈的同名著者發(fā)文量存在分布極其不均勻的情況,譬如,幾位同名的作者只有一篇發(fā)表的論文,而有個別學(xué)者擁有上百篇論文。因此,在第二階段,本文通過強弱關(guān)聯(lián)項互相補充的方式與ORCID數(shù)據(jù)進行關(guān)聯(lián),最終在犧牲一些準(zhǔn)確率的情況下,提高了召回率,在整體F1 score的表現(xiàn)上也有所提升。

    5 結(jié)語

    經(jīng)過多輪的相互補充,二階段姓名消歧策略采取內(nèi)外部數(shù)據(jù)相結(jié)合的方式,進行了本地關(guān)系發(fā)現(xiàn)、外部數(shù)據(jù)關(guān)聯(lián)等任務(wù),為學(xué)者層面的研究任務(wù)提供姓名消歧的簡易方法。該消歧框架具有以下優(yōu)勢:首先,本文的消歧算法不需要深入挖掘過多的作者信息,在簡化了復(fù)雜的圖模型基礎(chǔ)上,只需要利用公開的作者信息和論文間的關(guān)聯(lián)信息就可以做到相對準(zhǔn)確消歧;其次,本文在挖掘消歧特征項方面,將外部作者信息源鏈接到本地數(shù)據(jù)中,充分補充本地數(shù)據(jù)缺失值,擴展消歧依據(jù);最后,本文為相關(guān)科研人員集成了簡便易行的二階段消歧框架和代碼,為人才流動、人才評價等研究提供高質(zhì)量的方法支持。

    未來,該框架對于科研圈的其他研究任務(wù)同樣可以發(fā)揮實際效用。譬如,學(xué)術(shù)推薦、科研能力評估和學(xué)者社會網(wǎng)絡(luò)構(gòu)建等研究對于科學(xué)家姓名的準(zhǔn)確性要求較高。本文提出的一階段消歧可以適應(yīng)于任何形式數(shù)據(jù)做到關(guān)系發(fā)現(xiàn),二階段則提供了借助異源數(shù)據(jù)豐富消歧依據(jù)的思路。

    由于采用了簡易化的原則,本方法在特征抽取以及數(shù)據(jù)的語義信息抽取方面還有提升空間。在未來研究中,對于更頑固的姓名歧義問題,可以嘗試使用語義信息與關(guān)聯(lián)語義信息相結(jié)合的方式,更準(zhǔn)確地表達數(shù)據(jù)特征。

    猜你喜歡
    消歧姓名學(xué)者
    學(xué)者介紹
    學(xué)者簡介
    學(xué)者介紹
    基于關(guān)聯(lián)圖和文本相似度的實體消歧技術(shù)研究*
    梁潮印箋·姓名章戢孴
    基于半監(jiān)督集成學(xué)習(xí)的詞義消歧
    姓名的『姓』字為什么是『女』旁?
    藏文歷史文獻識別過程中藏文自由虛詞的自動識別及消歧算法的研究
    學(xué)者介紹
    找朋友
    海外英語(2013年1期)2013-08-27 09:36:04
    熟女电影av网| 亚洲精品亚洲一区二区| 午夜a级毛片| 久久久久久大精品| 日韩 亚洲 欧美在线| 国产高清三级在线| 国产极品精品免费视频能看的| 亚洲国产精品sss在线观看| 久久久久久久午夜电影| 99热6这里只有精品| 亚洲天堂国产精品一区在线| 白带黄色成豆腐渣| 黄色女人牲交| 久久久久久久精品吃奶| 欧美高清性xxxxhd video| 日韩欧美在线乱码| 三级男女做爰猛烈吃奶摸视频| 一级a爱片免费观看的视频| 亚洲av日韩精品久久久久久密| 嫁个100分男人电影在线观看| 免费在线观看亚洲国产| 男人舔奶头视频| 五月玫瑰六月丁香| 男插女下体视频免费在线播放| 国产成人啪精品午夜网站| 亚洲,欧美,日韩| 久久精品人妻少妇| 免费高清视频大片| 亚洲狠狠婷婷综合久久图片| 成人无遮挡网站| 非洲黑人性xxxx精品又粗又长| 夜夜躁狠狠躁天天躁| 一级黄色大片毛片| 日本 av在线| 一区二区三区四区激情视频 | 国产精品1区2区在线观看.| 亚洲国产精品999在线| 中文字幕熟女人妻在线| 亚洲第一欧美日韩一区二区三区| 少妇高潮的动态图| 午夜福利欧美成人| 日本 欧美在线| 亚洲最大成人手机在线| 国产欧美日韩精品一区二区| 久久欧美精品欧美久久欧美| 日本免费a在线| 国产成人av教育| 精品国内亚洲2022精品成人| 91午夜精品亚洲一区二区三区 | 男女之事视频高清在线观看| 最近在线观看免费完整版| 老司机福利观看| 搞女人的毛片| eeuss影院久久| 亚洲av第一区精品v没综合| 亚洲一区高清亚洲精品| 欧美精品啪啪一区二区三区| 日韩欧美国产一区二区入口| 国产不卡一卡二| 美女黄网站色视频| 99在线人妻在线中文字幕| 久久精品影院6| 国产一区二区亚洲精品在线观看| 午夜免费激情av| 级片在线观看| 国产一级毛片七仙女欲春2| 久久中文看片网| 高清毛片免费观看视频网站| 国内精品久久久久精免费| 欧美三级亚洲精品| 亚洲国产欧美人成| 免费看日本二区| 特级一级黄色大片| 日本 av在线| 欧美xxxx黑人xx丫x性爽| 久久伊人香网站| 麻豆成人av在线观看| 久久婷婷人人爽人人干人人爱| 欧美黑人巨大hd| 国产成人啪精品午夜网站| 网址你懂的国产日韩在线| 久久这里只有精品中国| 老鸭窝网址在线观看| 日韩欧美在线二视频| 亚洲专区国产一区二区| 久久婷婷人人爽人人干人人爱| 欧美成人一区二区免费高清观看| 色尼玛亚洲综合影院| 变态另类成人亚洲欧美熟女| 国产一区二区激情短视频| 午夜激情欧美在线| 国产熟女xx| 精品久久久久久,| 嫩草影院新地址| 特大巨黑吊av在线直播| h日本视频在线播放| 婷婷六月久久综合丁香| 日韩欧美精品免费久久 | 国产一区二区激情短视频| 在线免费观看不下载黄p国产 | 99国产极品粉嫩在线观看| 中文字幕熟女人妻在线| 中文字幕免费在线视频6| 白带黄色成豆腐渣| 国产国拍精品亚洲av在线观看| 国产淫片久久久久久久久 | 久久中文看片网| 国产精品嫩草影院av在线观看 | 亚洲最大成人中文| 国产私拍福利视频在线观看| 亚洲成人久久爱视频| 欧美高清成人免费视频www| av中文乱码字幕在线| 免费观看人在逋| 校园春色视频在线观看| 国产午夜福利久久久久久| 亚洲精品粉嫩美女一区| 国产成人欧美在线观看| 国产视频一区二区在线看| 欧美黑人欧美精品刺激| 在线看三级毛片| 伊人久久精品亚洲午夜| 国产精品av视频在线免费观看| 国产精品久久视频播放| 脱女人内裤的视频| 亚洲精品日韩av片在线观看| 色播亚洲综合网| www.熟女人妻精品国产| 亚洲中文字幕一区二区三区有码在线看| 国产国拍精品亚洲av在线观看| 美女 人体艺术 gogo| 老司机深夜福利视频在线观看| 男人舔女人下体高潮全视频| a在线观看视频网站| 亚洲欧美日韩高清在线视频| 亚洲美女黄片视频| 99riav亚洲国产免费| 国产色婷婷99| 此物有八面人人有两片| 男女视频在线观看网站免费| 最近最新中文字幕大全电影3| 不卡一级毛片| 日本免费a在线| 一卡2卡三卡四卡精品乱码亚洲| 欧美最新免费一区二区三区 | 欧洲精品卡2卡3卡4卡5卡区| 在线观看av片永久免费下载| 岛国在线免费视频观看| 欧美潮喷喷水| 一级a爱片免费观看的视频| 亚洲国产精品成人综合色| 日韩欧美国产在线观看| 亚洲精品在线观看二区| 99riav亚洲国产免费| 美女被艹到高潮喷水动态| 免费看a级黄色片| 51午夜福利影视在线观看| 丰满人妻熟妇乱又伦精品不卡| 国产一级毛片七仙女欲春2| 综合色av麻豆| 国产久久久一区二区三区| 色哟哟哟哟哟哟| 亚洲最大成人av| 国产精品久久电影中文字幕| 国产精品综合久久久久久久免费| 少妇裸体淫交视频免费看高清| 亚洲人成网站在线播| 亚洲中文字幕日韩| 欧美一区二区亚洲| 午夜久久久久精精品| 一区二区三区高清视频在线| 制服丝袜大香蕉在线| 亚洲美女搞黄在线观看 | 亚洲色图av天堂| 88av欧美| 人妻久久中文字幕网| 制服丝袜大香蕉在线| 欧美成人免费av一区二区三区| 熟女电影av网| 极品教师在线免费播放| aaaaa片日本免费| 中文字幕久久专区| 搡老熟女国产l中国老女人| 久久久久免费精品人妻一区二区| 韩国av一区二区三区四区| 搡老熟女国产l中国老女人| av天堂中文字幕网| 亚洲自偷自拍三级| 丝袜美腿在线中文| 又爽又黄a免费视频| 亚洲中文字幕一区二区三区有码在线看| 免费电影在线观看免费观看| 欧美激情在线99| xxxwww97欧美| 高潮久久久久久久久久久不卡| .国产精品久久| 男女下面进入的视频免费午夜| 国产高清视频在线观看网站| 日本a在线网址| 国产麻豆成人av免费视频| 亚洲在线观看片| 老熟妇乱子伦视频在线观看| 神马国产精品三级电影在线观看| 亚洲18禁久久av| 午夜老司机福利剧场| 精品久久久久久成人av| 伊人久久精品亚洲午夜| 欧美日本亚洲视频在线播放| 国产亚洲欧美在线一区二区| 最近在线观看免费完整版| 成人美女网站在线观看视频| 我的老师免费观看完整版| 少妇的逼好多水| 麻豆成人午夜福利视频| 亚洲经典国产精华液单 | netflix在线观看网站| 男女做爰动态图高潮gif福利片| 国产人妻一区二区三区在| 国产精品国产高清国产av| 波多野结衣高清作品| 首页视频小说图片口味搜索| 大型黄色视频在线免费观看| 欧美xxxx黑人xx丫x性爽| 国产精品人妻久久久久久| 草草在线视频免费看| 熟女人妻精品中文字幕| 日本黄色视频三级网站网址| 两个人视频免费观看高清| 看免费av毛片| 黄色女人牲交| 国产成人欧美在线观看| 亚洲精品亚洲一区二区| 一本久久中文字幕| 国产白丝娇喘喷水9色精品| 国产精品日韩av在线免费观看| 日本三级黄在线观看| 日韩人妻高清精品专区| 欧美成狂野欧美在线观看| 欧美绝顶高潮抽搐喷水| 亚洲国产欧美人成| 夜夜躁狠狠躁天天躁| 国产不卡一卡二| 国产麻豆成人av免费视频| 在线观看66精品国产| 一个人免费在线观看的高清视频| 淫妇啪啪啪对白视频| 婷婷色综合大香蕉| 久久午夜亚洲精品久久| 在线a可以看的网站| 久久久精品欧美日韩精品| 国产高清三级在线| 精品一区二区免费观看| 老司机午夜十八禁免费视频| 色哟哟哟哟哟哟| 99久久无色码亚洲精品果冻| 内射极品少妇av片p| 99在线人妻在线中文字幕| 亚洲不卡免费看| 大型黄色视频在线免费观看| 嫁个100分男人电影在线观看| 两性午夜刺激爽爽歪歪视频在线观看| 久久久久久大精品| 国内精品久久久久精免费| 亚洲片人在线观看| 一级av片app| 老熟妇仑乱视频hdxx| 嫩草影院入口| 国产熟女xx| 免费高清视频大片| 久久久久久久亚洲中文字幕 | 国产色爽女视频免费观看| 久久国产乱子免费精品| 日本黄色片子视频| av天堂在线播放| 真人一进一出gif抽搐免费| 国产精品一区二区三区四区免费观看 | 午夜视频国产福利| 国产精品免费一区二区三区在线| 日本在线视频免费播放| 色在线成人网| x7x7x7水蜜桃| 亚洲精品亚洲一区二区| 亚洲成人久久爱视频| 日韩中文字幕欧美一区二区| 亚洲五月天丁香| 日日摸夜夜添夜夜添av毛片 | 国产真实乱freesex| 黄色日韩在线| 亚洲黑人精品在线| 亚洲国产日韩欧美精品在线观看| a级毛片a级免费在线| 亚洲欧美日韩高清在线视频| 人人妻,人人澡人人爽秒播| 久久6这里有精品| 亚洲在线观看片| 久久人人精品亚洲av| 亚洲七黄色美女视频| 欧洲精品卡2卡3卡4卡5卡区| 日本黄大片高清| 99在线人妻在线中文字幕| 老司机午夜十八禁免费视频| 99国产精品一区二区三区| 久久婷婷人人爽人人干人人爱| 一本一本综合久久| 久久久精品大字幕| 大型黄色视频在线免费观看| 免费大片18禁| 亚洲国产精品久久男人天堂| 黄色日韩在线| 长腿黑丝高跟| 亚洲一区高清亚洲精品| 亚洲专区国产一区二区| 国产亚洲欧美在线一区二区| 色av中文字幕| 成人三级黄色视频| 国产v大片淫在线免费观看| 国产男靠女视频免费网站| 麻豆成人午夜福利视频| 悠悠久久av| 在线观看午夜福利视频| 黄色配什么色好看| 亚洲七黄色美女视频| 欧美日韩国产亚洲二区| 俄罗斯特黄特色一大片| 成人永久免费在线观看视频| 亚洲av美国av| 99热6这里只有精品| .国产精品久久| 天堂√8在线中文| 日本黄色片子视频| 亚洲经典国产精华液单 | 国产又黄又爽又无遮挡在线| 国产高清视频在线播放一区| 噜噜噜噜噜久久久久久91| 成熟少妇高潮喷水视频| 日本黄色视频三级网站网址| 国产亚洲欧美在线一区二区| 99久国产av精品| 久久香蕉精品热| 久久精品综合一区二区三区| 极品教师在线视频| 日本成人三级电影网站| 精品久久国产蜜桃| 最新在线观看一区二区三区| 看十八女毛片水多多多| 91麻豆精品激情在线观看国产| 51国产日韩欧美| 欧美精品啪啪一区二区三区| 91麻豆精品激情在线观看国产| 真人一进一出gif抽搐免费| 精品久久久久久久人妻蜜臀av| 91av网一区二区| 97热精品久久久久久| 午夜免费男女啪啪视频观看 | 两性午夜刺激爽爽歪歪视频在线观看| 欧美精品国产亚洲| 最新在线观看一区二区三区| 日本成人三级电影网站| 亚洲av日韩精品久久久久久密| 亚洲av不卡在线观看| 999久久久精品免费观看国产| 久久久精品欧美日韩精品| 国产精品永久免费网站| 国内少妇人妻偷人精品xxx网站| 老鸭窝网址在线观看| 黄色一级大片看看| 最近最新免费中文字幕在线| 在线观看66精品国产| 久久午夜福利片| 欧美最新免费一区二区三区 | 国产探花极品一区二区| 91在线精品国自产拍蜜月| 国产免费男女视频| 69人妻影院| 国内精品一区二区在线观看| 亚洲aⅴ乱码一区二区在线播放| 亚洲一区二区三区不卡视频| 欧美成人性av电影在线观看| 成人精品一区二区免费| 色综合亚洲欧美另类图片| 一级作爱视频免费观看| 好看av亚洲va欧美ⅴa在| 久久亚洲精品不卡| av女优亚洲男人天堂| 99久久精品一区二区三区| 色噜噜av男人的天堂激情| 国内精品久久久久久久电影| 1000部很黄的大片| 免费人成视频x8x8入口观看| 少妇的逼水好多| 国产伦精品一区二区三区视频9| 一本一本综合久久| 黄色一级大片看看| 精品久久国产蜜桃| 欧洲精品卡2卡3卡4卡5卡区| 91午夜精品亚洲一区二区三区 | 久久久精品欧美日韩精品| 黄色丝袜av网址大全| 国产精品影院久久| 日韩高清综合在线| 欧美日韩国产亚洲二区| 他把我摸到了高潮在线观看| 中文字幕精品亚洲无线码一区| 日本黄色视频三级网站网址| av在线天堂中文字幕| 蜜桃久久精品国产亚洲av| 三级国产精品欧美在线观看| 亚洲国产精品成人综合色| 午夜日韩欧美国产| 久久99热这里只有精品18| 美女 人体艺术 gogo| 人妻制服诱惑在线中文字幕| 搡老岳熟女国产| 亚洲成av人片免费观看| 国产精品乱码一区二三区的特点| 亚洲自偷自拍三级| 国产精品久久电影中文字幕| 婷婷精品国产亚洲av在线| 日本一二三区视频观看| 成人永久免费在线观看视频| 天堂动漫精品| 精品99又大又爽又粗少妇毛片 | av在线观看视频网站免费| 久久午夜亚洲精品久久| 老熟妇乱子伦视频在线观看| 亚洲av电影在线进入| 精品久久久久久久久久免费视频| 一a级毛片在线观看| 国产成人aa在线观看| 午夜两性在线视频| 夜夜爽天天搞| 一个人看视频在线观看www免费| 久久精品综合一区二区三区| 级片在线观看| 日本五十路高清| 久久性视频一级片| 少妇熟女aⅴ在线视频| 国产亚洲欧美在线一区二区| 国产在视频线在精品| 久久国产乱子伦精品免费另类| 麻豆国产av国片精品| 黄色一级大片看看| 国产精品自产拍在线观看55亚洲| 国产高清三级在线| 色噜噜av男人的天堂激情| 免费在线观看亚洲国产| 国产午夜福利久久久久久| 亚洲五月天丁香| 欧美+日韩+精品| 天堂√8在线中文| 国产大屁股一区二区在线视频| 亚洲精品一区av在线观看| 一级作爱视频免费观看| 757午夜福利合集在线观看| 中文字幕熟女人妻在线| av专区在线播放| 久久九九热精品免费| 永久网站在线| 一级黄片播放器| 欧美+亚洲+日韩+国产| 简卡轻食公司| 国内精品美女久久久久久| 亚洲国产精品成人综合色| 国产精品不卡视频一区二区 | 欧美另类亚洲清纯唯美| 亚洲精品一区av在线观看| 久久久久久久精品吃奶| 亚洲av中文字字幕乱码综合| 亚洲av免费在线观看| 99热这里只有精品一区| 国产av在哪里看| 国产精品美女特级片免费视频播放器| 亚洲精品在线美女| 久久亚洲精品不卡| 两人在一起打扑克的视频| 久久精品人妻少妇| 午夜激情福利司机影院| 成人国产一区最新在线观看| 欧美xxxx性猛交bbbb| 国产高清视频在线播放一区| 午夜福利视频1000在线观看| 又紧又爽又黄一区二区| 久久亚洲真实| 免费无遮挡裸体视频| 欧美zozozo另类| 99国产精品一区二区三区| 欧美一区二区亚洲| 国产精品野战在线观看| 欧美黑人欧美精品刺激| 观看免费一级毛片| 99久久精品热视频| 99热这里只有精品一区| 亚洲片人在线观看| 免费黄网站久久成人精品 | 亚洲人与动物交配视频| 精品国产亚洲在线| 日韩欧美精品免费久久 | 嫩草影院精品99| 亚洲国产精品久久男人天堂| 一级a爱片免费观看的视频| 国产v大片淫在线免费观看| av欧美777| 国产aⅴ精品一区二区三区波| 亚洲,欧美精品.| 免费黄网站久久成人精品 | 亚洲一区高清亚洲精品| 欧美一区二区精品小视频在线| 精品免费久久久久久久清纯| 丁香六月欧美| 十八禁网站免费在线| 十八禁国产超污无遮挡网站| 精品国产三级普通话版| 一卡2卡三卡四卡精品乱码亚洲| 村上凉子中文字幕在线| 欧美色欧美亚洲另类二区| 成人永久免费在线观看视频| 午夜两性在线视频| 久久久久九九精品影院| 悠悠久久av| aaaaa片日本免费| 国产真实伦视频高清在线观看 | 热99re8久久精品国产| av在线蜜桃| 18禁黄网站禁片午夜丰满| 最好的美女福利视频网| 特大巨黑吊av在线直播| 色噜噜av男人的天堂激情| 国产精品伦人一区二区| 美女免费视频网站| 国产精品久久久久久久久免 | 亚洲欧美日韩卡通动漫| 欧美激情久久久久久爽电影| 91久久精品国产一区二区成人| 国产探花极品一区二区| av视频在线观看入口| 久久久久国产精品人妻aⅴ院| 91在线精品国自产拍蜜月| 一个人看视频在线观看www免费| 男女之事视频高清在线观看| 757午夜福利合集在线观看| 欧美在线一区亚洲| 波野结衣二区三区在线| 18禁裸乳无遮挡免费网站照片| 亚洲国产高清在线一区二区三| 给我免费播放毛片高清在线观看| 精品一区二区三区人妻视频| 精品人妻熟女av久视频| 波多野结衣高清无吗| xxxwww97欧美| 亚洲国产精品999在线| 特大巨黑吊av在线直播| 亚洲片人在线观看| 一本精品99久久精品77| 亚洲自偷自拍三级| 国产激情偷乱视频一区二区| 久久精品综合一区二区三区| 亚洲午夜理论影院| 听说在线观看完整版免费高清| 日日摸夜夜添夜夜添av毛片 | 久久久久国内视频| 亚洲中文字幕日韩| 日韩有码中文字幕| 草草在线视频免费看| 色综合婷婷激情| 精品久久久久久久末码| 国产av在哪里看| 国产在线精品亚洲第一网站| 91在线精品国自产拍蜜月| 成人毛片a级毛片在线播放| 亚洲不卡免费看| 久久精品综合一区二区三区| 又紧又爽又黄一区二区| 亚洲国产色片| 久久久久亚洲av毛片大全| 亚洲一区高清亚洲精品| 久久99热这里只有精品18| 天堂网av新在线| 中文字幕熟女人妻在线| 成人高潮视频无遮挡免费网站| 国产精品久久久久久人妻精品电影| h日本视频在线播放| 午夜老司机福利剧场| 国产高潮美女av| 国产亚洲欧美98| www日本黄色视频网| 黄色丝袜av网址大全| 欧美精品国产亚洲| 欧美高清成人免费视频www| 嫩草影院新地址| 三级男女做爰猛烈吃奶摸视频| 久久久色成人| 最好的美女福利视频网| 精品久久久久久成人av| 97超视频在线观看视频| 国产在线男女| 一夜夜www| 变态另类成人亚洲欧美熟女| 日韩亚洲欧美综合| 欧美又色又爽又黄视频| 老司机福利观看| 丰满人妻一区二区三区视频av| 国产精品野战在线观看| 亚洲av一区综合| av天堂中文字幕网| 成人av在线播放网站| 欧美日本亚洲视频在线播放| 亚洲美女搞黄在线观看 | 日韩国内少妇激情av| 国产淫片久久久久久久久 | 国产v大片淫在线免费观看| 琪琪午夜伦伦电影理论片6080| 99久久九九国产精品国产免费| 老司机午夜十八禁免费视频| 国产精品一区二区三区四区久久| h日本视频在线播放|