• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    文獻(xiàn)集規(guī)模對科技領(lǐng)域情報分析的影響:多種任務(wù)場景下的實(shí)證分析

    2021-09-09 03:18:20陳果王盼停王曰芬
    情報學(xué)報 2021年8期
    關(guān)鍵詞:學(xué)科分類全量排序

    陳果,王盼停,王曰芬

    (1.南京理工大學(xué)經(jīng)濟(jì)管理學(xué)院信息管理系,南京 210094;2.江蘇省社會公共安全科技協(xié)同創(chuàng)新中心,南京 210094)

    1 引言

    以文獻(xiàn)為數(shù)據(jù)源的科技領(lǐng)域情報分析中,情報工作人員往往會遇到這樣的質(zhì)疑:用于分析的文獻(xiàn)集是否真的可靠?這一問題直接決定了科技情報分析結(jié)果有效與否。然而,遺憾的是,這一至關(guān)重要的問題至今懸而未決。在現(xiàn)實(shí)中,情報工作人員不得不基于過往常規(guī)經(jīng)驗(yàn),而非量化論據(jù)來回答這一問題。

    實(shí)際上,領(lǐng)域文獻(xiàn)集可靠性這一問題產(chǎn)生的根源,是科技文獻(xiàn)普遍存在的集中與離散的分布規(guī)律:其集中性使得人們能低成本、快速地獲取一批與領(lǐng)域相關(guān)的文獻(xiàn);然而,其離散性又使得人們難以有效獲取與領(lǐng)域相關(guān)的“全部且精準(zhǔn)”文獻(xiàn)集。這與信息檢索中理想結(jié)果集的不可得問題是類似的。值得注意的是,即使是在當(dāng)前“大數(shù)據(jù)”環(huán)境下,大規(guī)模開源文獻(xiàn)數(shù)據(jù)集獲取相對容易,但即便擁有世界上全部的文獻(xiàn)數(shù)據(jù),仍然難以從中有效地抽取構(gòu)造能代表給定領(lǐng)域的“理想文獻(xiàn)集”。

    通過深入分析可知,在科技領(lǐng)域情報分析中,文獻(xiàn)集是否可靠這一問題可分解為兩個子問題:一是全不全;二是準(zhǔn)不準(zhǔn)。前者側(cè)重于文獻(xiàn)集的規(guī)模問題,后者側(cè)重于文獻(xiàn)集中的雜質(zhì)和代表性偏差問題。本文針對第一個子問題開展探索:在不考慮文獻(xiàn)集中雜質(zhì)和代表性偏差的情況下,單純的文獻(xiàn)集規(guī)模對科技情報分析結(jié)果可靠性有何影響?鑒于科技情報分析中有多種任務(wù)場景,本文將綜合考慮待分析領(lǐng)域大小、待分析對象(學(xué)科分類、國家、機(jī)構(gòu)、關(guān)鍵詞、引文、作者以及其各自共現(xiàn)關(guān)系)、待分析對象的Top值(如高頻詞)截取數(shù)量、結(jié)果是否考慮排序等常見的多種任務(wù)場景,計算不同規(guī)模抽樣子文獻(xiàn)集對全量文獻(xiàn)集的擬合情況,以量化指標(biāo)解答該問題。后續(xù)將在此基礎(chǔ)上進(jìn)一步考慮幾種常見的領(lǐng)域文獻(xiàn)集構(gòu)造方式的準(zhǔn)確性問題。

    2 相關(guān)研究與本文思路

    2.1 相關(guān)研究

    評判情報研究有效性的一個重要依據(jù),是其結(jié)果接近真實(shí)結(jié)果的程度[1];而制約情報研究有效性的首要因素,則是信息不充分問題,包括信息不完全(即搜集到的信息不完整、不真實(shí))和信息量短缺(即搜集到信息在規(guī)模上不足以支撐其結(jié)論)[2]。在數(shù)據(jù)挖掘相關(guān)工作中,技術(shù)方案有效性的一個重要評估指標(biāo)是數(shù)據(jù)集規(guī)模,其原因是大規(guī)模數(shù)據(jù)集能夠更好地覆蓋真實(shí)情況中的多樣性問題[3]。在自然語言處理相關(guān)工作中,語料庫可靠性的本質(zhì)問題是其能否真正代表所期望的語言或語體[4];相應(yīng)地,規(guī)模是語料庫構(gòu)造的重要問題,直接關(guān)系到最終結(jié)果的可靠性,但這也是一個難以回答的問題[5]。

    目前,在科技情報分析相關(guān)研究中,還沒有專門針對領(lǐng)域文獻(xiàn)集規(guī)模問題開展的研究。馮璐[6]在《面向?qū)W科信息集成的領(lǐng)域分析數(shù)據(jù)集構(gòu)建》中,對領(lǐng)域數(shù)據(jù)集界域、來源數(shù)據(jù)組織狀態(tài)、數(shù)據(jù)集數(shù)據(jù)質(zhì)量控制等進(jìn)行分析研究,明確了邊界模糊、交叉的領(lǐng)域數(shù)據(jù)集構(gòu)建應(yīng)該包含的要素,但并未對數(shù)據(jù)集的規(guī)模問題開展深入研究。實(shí)際上,在研究和實(shí)踐中,情報工作者往往是采用慣用方式,從數(shù)據(jù)庫中檢出相應(yīng)的領(lǐng)域題錄數(shù)據(jù)。通過對以往面向領(lǐng)域的科技情報分析研究中文獻(xiàn)集構(gòu)造方式進(jìn)行歸納可知,典型的領(lǐng)域文獻(xiàn)集構(gòu)造方式有兩種:一種是將待分析領(lǐng)域直接與文獻(xiàn)數(shù)據(jù)庫中若干類目對應(yīng),這種方式看似較為理想的情況相對受限,且所檢出文獻(xiàn)的可靠性受文獻(xiàn)數(shù)據(jù)庫組織方式影響,典型的如WoS(Web of Science)數(shù)據(jù)庫中類目是按正本期刊粒度給定,已有研究發(fā)現(xiàn),WoS學(xué)科類目下文獻(xiàn)雜質(zhì)多且不全[7];另一種方式是針對待分析領(lǐng)域,基于作者經(jīng)驗(yàn)、專家意見或特定的列表,選定代表給定領(lǐng)域的若干關(guān)鍵詞[8-9]、主題詞[10]、期刊(或會議)[11-12]、引文[13-14],作為檢索條件獲取結(jié)果文獻(xiàn)集作為分析數(shù)據(jù)源。這些文獻(xiàn)集構(gòu)造方式都默認(rèn)所得檢索結(jié)果能夠代表待分析領(lǐng)域,因而文獻(xiàn)集的規(guī)模問題并未引起重視。相應(yīng)地,出現(xiàn)了在分析同一領(lǐng)域時,文獻(xiàn)集規(guī)模差異懸殊的現(xiàn)象。例如,同樣是分析“Library and Information Science”這一領(lǐng)域,研究者們采用的文獻(xiàn)集規(guī)模的差異明顯[15],從幾十篇[16],到幾百篇[17]、上千篇[18]、上萬篇[11]不等。但可以肯定的是,文獻(xiàn)集規(guī)模對于領(lǐng)域分析結(jié)果的可靠性存在影響[19]。

    一方面,在開展科技領(lǐng)域情報分析時,文獻(xiàn)集的構(gòu)造不可能既全面又準(zhǔn)確,這是由文獻(xiàn)分布的集中與離散定律決定的[20]。因此,文獻(xiàn)集的構(gòu)造實(shí)質(zhì)上是“準(zhǔn)”和“全”兩個互相干擾因素的均衡問題。另一方面,數(shù)據(jù)分析相關(guān)實(shí)踐已表明,當(dāng)數(shù)據(jù)集達(dá)到一定規(guī)模后,再增加數(shù)據(jù)后通常難以再帶來收益[21]。因此,如何尋找有代表性的數(shù)據(jù)子集引起人們關(guān)注,在文本數(shù)據(jù)集上也有相關(guān)研究[3]。進(jìn)一步具體到科技領(lǐng)域文獻(xiàn)分析上,有研究者認(rèn)為,應(yīng)在開展文獻(xiàn)重要特征遴選與測度的基礎(chǔ)上,按比例抽樣縮減文獻(xiàn),以初步形成領(lǐng)域分析文獻(xiàn)集[22]。此外,鑒于領(lǐng)域文獻(xiàn)數(shù)據(jù)集構(gòu)造與領(lǐng)域分析需求和目標(biāo)直接相關(guān)[23],在考慮其規(guī)模對結(jié)果影響時,也需要區(qū)分相應(yīng)的情報分析任務(wù)場景。

    2.2 本文研究思路

    如前文所述,在排除文獻(xiàn)集中雜質(zhì)和代表性偏差干擾的影響下,單純的文獻(xiàn)集規(guī)模對結(jié)果可靠性的影響,本質(zhì)上是在多大規(guī)模的子文獻(xiàn)集上開展分析,所得到的結(jié)果能夠與全量文獻(xiàn)集結(jié)果(可稱為“真實(shí)結(jié)果”)保持一致。因此,對于文獻(xiàn)規(guī)??煽啃缘奶剿?,可轉(zhuǎn)化為從某個文獻(xiàn)集上生成一定規(guī)模的抽樣子文獻(xiàn)集,在子文獻(xiàn)集下的分析結(jié)果與原文獻(xiàn)集結(jié)果的一致性計算。這就是本文實(shí)驗(yàn)方案設(shè)計的基本思路。

    然而,在現(xiàn)實(shí)中,科技情報分析任務(wù)場景繁多,不同任務(wù)場景對文獻(xiàn)集規(guī)模的要求必然存在差異。因此,本文實(shí)驗(yàn)方案不僅是簡單的抽樣,還需要較為全面地梳理科技情報分析的諸多任務(wù)場景,并在相應(yīng)任務(wù)場景下考察不同抽樣規(guī)模子文獻(xiàn)集對真實(shí)結(jié)果的擬合效果?;趯σ酝墨I(xiàn)的調(diào)研和既有實(shí)踐經(jīng)驗(yàn),本文將基于文獻(xiàn)的科技情報分析任務(wù)場景歸納為如下幾個方面。

    1)待分析領(lǐng)域本身大?。捍箢I(lǐng)域和小領(lǐng)域

    在探討科技情報分析中所采用領(lǐng)域文獻(xiàn)集規(guī)模時,需要考慮待分析領(lǐng)域本身規(guī)模的大小對所采用的文獻(xiàn)集規(guī)模產(chǎn)生相應(yīng)影響。例如,分析一個大的領(lǐng)域(如計算機(jī)學(xué)科)和分析一個小的領(lǐng)域(如“本體”相關(guān)研究)兩種情況下,前者自然要求采用的文獻(xiàn)集規(guī)模更大。考慮這一問題,本文需要至少構(gòu)造“大領(lǐng)域”“小領(lǐng)域”兩種待擬合的全量文獻(xiàn)集。

    2)待分析對象:元素和元素共現(xiàn)

    根據(jù)當(dāng)前科技情報分析普遍關(guān)注的元素,重點(diǎn)考慮文獻(xiàn)題錄數(shù)據(jù)中的6個重要字段(學(xué)科分類、國家、機(jī)構(gòu)、論文關(guān)鍵詞、引文、作者),以及6種同字段共現(xiàn)項(xiàng)(學(xué)科分類共現(xiàn)、國家合作、機(jī)構(gòu)合作、作者合著、關(guān)鍵詞共現(xiàn)、引文共被引),共12種待分析對象,以考察不同規(guī)模抽樣子文獻(xiàn)集對全量文獻(xiàn)集在各個元素和元素共現(xiàn)項(xiàng)上的擬合程度。需要注意的是,由于WoS文獻(xiàn)集中包括期刊論文和會議論文,因此,本文不專門針對期刊這一元素進(jìn)行分析。

    3)待分析對象的Top數(shù)量截取

    鑒于在科技情報分析中,人們往往關(guān)注頻次較高的元素和元素共現(xiàn),例如,分析結(jié)果中通常列舉TopN的元素,或者在構(gòu)建共現(xiàn)網(wǎng)絡(luò)時,過濾掉連接強(qiáng)度較低的邊。本文實(shí)驗(yàn)中,需要考察各分析對象在多種TopN取值下的擬合結(jié)果。進(jìn)一步地,不同分析對象的Top數(shù)量需要有所區(qū)別。例如,Top國家的數(shù)量宜在5~100的范圍內(nèi)逐步增加,而Top關(guān)鍵詞的數(shù)量則宜在50~1000的范圍內(nèi)逐步增加。具體數(shù)量,需要結(jié)合實(shí)踐經(jīng)驗(yàn)界定。

    4)結(jié)果排序與否

    科技情報分析中,對待分析對象的獲取有兩種常見要求:一是重要元素識別,即識別出某一分析元素上有哪些重要的結(jié)果,例如,某領(lǐng)域重要作者有哪些;二是重要元素排序,不僅要識別出重要的結(jié)果,還要考慮結(jié)果之間的排序,如某領(lǐng)域的作者榜單。前者的可靠性可采用重合率評估;后者的可靠性可采用斯皮爾曼系數(shù)來評估。

    3 實(shí)驗(yàn)設(shè)計

    依據(jù)上述研究思路,本文設(shè)計了相應(yīng)的實(shí)驗(yàn):對人工智能領(lǐng)域兩種全量文獻(xiàn)集開展不同規(guī)模的隨機(jī)抽樣,計算各種規(guī)模下子文獻(xiàn)集結(jié)果與全量文獻(xiàn)集結(jié)果的重合率、斯皮爾曼系數(shù)結(jié)果值,評估不同背景領(lǐng)域文獻(xiàn)集規(guī)模、不同分析任務(wù)、不同待分析對象下,不同規(guī)模子文獻(xiàn)集在全量文獻(xiàn)集上的擬合結(jié)果??傮w思路如圖1所示。

    圖1 實(shí)驗(yàn)方案總體流程圖

    3.1 數(shù)據(jù)來源與處理

    本文使用的數(shù)據(jù)來源于WoS數(shù)據(jù)庫中的核心合集數(shù)據(jù),這些數(shù)據(jù)對于學(xué)科領(lǐng)域分析來說是非常重要的,因?yàn)槠洳粌H收錄了具有廣泛認(rèn)可、權(quán)威性的期刊和論文,而且相關(guān)知識單元也非常完整,如學(xué)科分類、國家、機(jī)構(gòu)、作者、關(guān)鍵詞、引文等文獻(xiàn)計量指標(biāo),能夠較好的滿足本文的研究需求[24]。

    3.1.1 大領(lǐng)域、小領(lǐng)域全量文獻(xiàn)集的構(gòu)造

    在WoS數(shù)據(jù)庫中,選擇高級檢索,按照“WC=Artificial Intelligence and PY=1996-2016”的檢索式,選擇數(shù)據(jù)庫中“Web of Science核心合集”,獲取到1996—2016年人工智能領(lǐng)域的723187篇文獻(xiàn)的題錄數(shù)據(jù)。以此為基礎(chǔ),構(gòu)造待擬合的大領(lǐng)域、小領(lǐng)域全量文獻(xiàn)集。

    大領(lǐng)域全量文獻(xiàn)集:上述人工智能領(lǐng)域的723187篇文獻(xiàn),其規(guī)模在現(xiàn)有的科技情報分析中可作為較大領(lǐng)域的代表,故直接采納作為大領(lǐng)域全量文獻(xiàn)集。

    小領(lǐng)域全量文獻(xiàn)集:為便于后續(xù)比較的一致性,我們從上述文獻(xiàn)集中,抽出2016年的47666篇文獻(xiàn),作為一個模擬的“小領(lǐng)域”全量文獻(xiàn)集,供后續(xù)實(shí)驗(yàn)比較。

    這兩個全量文獻(xiàn)集是作為后續(xù)不同規(guī)模文獻(xiàn)集的抽樣背景和擬合的“真實(shí)標(biāo)準(zhǔn)”。

    3.1.2 抽樣數(shù)據(jù)集

    抽樣數(shù)據(jù)集是用來與全量集進(jìn)行擬合的數(shù)據(jù)集。我們對723187篇文獻(xiàn)所代表的“大領(lǐng)域”,采用5000、10000、20000、50000和100000共5種 規(guī)模進(jìn)行抽樣;對47666篇文獻(xiàn)所代表的“小領(lǐng)域”,采用5000、10000和20000共3種規(guī)模進(jìn)行抽樣。為了避免單次抽樣帶來的不確定性,本文對每種規(guī)模抽樣5次,后續(xù)評估指標(biāo)計算時,采用5次抽樣的平均值。

    3.1.3 待分析對象提取及其Top值設(shè)定

    從原始題錄數(shù)據(jù)中抽取相應(yīng)元素,并進(jìn)行預(yù)處理,得到本文實(shí)驗(yàn)中的12種待分析對象。各對象及其在WoS中的來源字段、預(yù)處理過程如表1所示。

    根據(jù)上述對各字段的預(yù)處理,最終得到6種元素作為待分析對象,在其基礎(chǔ)上進(jìn)一步統(tǒng)計共現(xiàn)信息,得到另外6種元素共現(xiàn)信息作為待分析對象,分別為:學(xué)科分類共現(xiàn)、國家合作、機(jī)構(gòu)合作、關(guān)鍵詞共現(xiàn)、引文共被引和作者合著。針對各分析對象,結(jié)合文獻(xiàn)調(diào)研和實(shí)踐經(jīng)驗(yàn),本文設(shè)置了各分析對象待擬合的TopN值,如表2所示。

    表2 各分析對象待擬合的Top N值選擇

    值得注意的是,實(shí)際操作中,N不一定與表2中給定值相同,因?yàn)榻敌蚝笕〉贜個對象時,通常會出現(xiàn)后面還有若干個(記為n)對象與其頻次一樣,不宜簡單按N個截取,而應(yīng)順延截取N'=N+n個對象。

    3.2 評估指標(biāo)

    在上述待分析對象上,本文針對科技情報分析中常見的兩種任務(wù)——重要元素識別和重要元素排序,分別設(shè)計相應(yīng)的擬合評估指標(biāo)。

    1)重要元素識別

    在重要元素識別任務(wù)上,人們更關(guān)注的是重要的元素或元素共現(xiàn)項(xiàng)是否被覆蓋到,例如,Top10國家中有多少個被識別出來了。本文采用抽樣結(jié)果與全量結(jié)果的重合率[25](overlap rate)來評估擬合情況,其計算方法為

    其中,Cx為某一字段的抽樣數(shù)據(jù);N為某一Top值;|Cx∩Call|為抽樣文獻(xiàn)集Cx和全量數(shù)據(jù)Call在該字段該TopN值上所得結(jié)果的重合數(shù);N'為實(shí)際的TopN值。

    2)重要元素排序

    在排序重要元素任務(wù)上,人們更關(guān)注所得重要元素的排序與實(shí)際是否一致。例如,Top 10國家的次序與實(shí)際上的一致性。本文采用斯皮爾曼系數(shù)(Spearman correlation)來評估擬合情況。斯皮爾曼系數(shù)[26]又稱斯皮爾曼秩相關(guān)系數(shù),其中的“秩”即順序、排序,其可用于衡量抽樣擬合排序與真實(shí)排序間的相關(guān)程度,計算方法為

    其中處理的基本數(shù)值是排序等級值。計算公式(2)前,先將抽樣數(shù)據(jù)集Cx、全量數(shù)據(jù)集Call中TopN個對象進(jìn)行合并,得到對象集合Ex∪all,xi、yi為Ex∪all中 任 一 對 象Ei在Cx、Call中 的 排 序 值,xˉ、yˉ則對應(yīng)Ex∪all中全部對象在Cx、Call中的平均降序位置。

    本文根據(jù)上述方案開展實(shí)驗(yàn),具體而言:在大、小兩種規(guī)模的全量文獻(xiàn)集的基礎(chǔ)上,進(jìn)行8種規(guī)模各5次抽樣,每次抽樣計算12種評估對象(包括6種元素和6種元素共現(xiàn)項(xiàng))在5個TopN上與全量結(jié)果之間的2個擬合值(包括重合率和斯皮爾曼系數(shù))。最終,共得到8×5×12×5×2=4800個擬合指標(biāo)值。

    4 結(jié)果分析與討論

    完成抽樣實(shí)驗(yàn)、計算得到重復(fù)率和斯皮爾曼系數(shù)后,分別將大領(lǐng)域、小領(lǐng)域各分析對象在不同抽樣規(guī)模、不同Top取值上對全量文獻(xiàn)集的擬合指標(biāo)值繪制成折線圖(圖2~圖5),以便觀察和判斷在不同的科技情報分析場景下,領(lǐng)域文獻(xiàn)集規(guī)模對全量文獻(xiàn)集擬合效果。

    通過觀察圖2~圖5,對擬合結(jié)果進(jìn)行歸納分析。首先,基于整體分析,得到一個整體的規(guī)律;其次,從不同元素之間、不同Top值之間、元素與元素共現(xiàn)、結(jié)果排序與否四個方面,分別得到不同維度的規(guī)律。下文將做詳細(xì)論述。

    圖5 小領(lǐng)域知識關(guān)聯(lián)擬合結(jié)果

    4.1 整體規(guī)律

    第一,單純從規(guī)模上看,文獻(xiàn)集規(guī)模越大越好。無論待分析的科技領(lǐng)域規(guī)模多大,在各種分析場景下,均出現(xiàn)抽樣的子文獻(xiàn)集規(guī)模越大,擬合的情況越好。例如,從圖2和圖3中,可以明顯地看出,除了學(xué)科分類和國家這兩個元素的擬合結(jié)果上有個別值不穩(wěn)定外,其他元素都是隨著抽樣集規(guī)模的增加,擬合結(jié)果值在不斷的提升。這說明科技領(lǐng)域情報分析在沒有雜質(zhì)干擾和檢索偏差的前提下,無論做何種分析,文獻(xiàn)集規(guī)模越大,分析結(jié)果就越能代表真實(shí)情況。那么,現(xiàn)實(shí)中是否有必要盡可能地擴(kuò)大文獻(xiàn)集規(guī)模呢?我們發(fā)現(xiàn)還有如下第二個整體規(guī)律。

    圖3 小領(lǐng)域知識單元擬合結(jié)果

    第二,文獻(xiàn)集規(guī)模擴(kuò)大,存在明顯的邊際效益遞減效應(yīng)。隨著抽樣子文獻(xiàn)集規(guī)模的增加,擬合效果在提升的同時,也存在明顯的邊際效益遞減規(guī)律。例如,在圖2中,抽樣規(guī)模從5000擴(kuò)大到10000時,盡管只增加了5000個樣本,擬合指標(biāo)卻出現(xiàn)了大幅地提升;然而,當(dāng)抽樣規(guī)模從50000擴(kuò)大到100000時,盡管增加了50000個樣本,擬合指標(biāo)值的提升卻不明顯。這說明在科技情報分析中(除分析對象是作者外),當(dāng)文獻(xiàn)集規(guī)模達(dá)到一定程度后,再繼續(xù)擴(kuò)大文獻(xiàn)集規(guī)模收益已經(jīng)不大了。相應(yīng)地,可將注意力轉(zhuǎn)移到檢索方式導(dǎo)致的文獻(xiàn)集雜質(zhì)和代表性偏差問題。

    圖2 大領(lǐng)域知識單元擬合結(jié)果

    4.2 不同分析對象對文獻(xiàn)集規(guī)模的要求

    不同分析對象對文獻(xiàn)集規(guī)模的要求不同。無論是在元素,還是在元素共現(xiàn)上;無論是在元素識別,還是在元素排序上,不同待分析對象的擬合結(jié)果之間存在差異。從圖2~圖5可看出,通過不同規(guī)模抽樣文獻(xiàn)集來擬合全量文獻(xiàn)集時,學(xué)科分類和國家的擬合效果都很好,機(jī)構(gòu)、關(guān)鍵詞和引文的擬合效果稍差,而作者的擬合效果最差。例如,在圖2中,用5000篇抽樣文獻(xiàn)去擬合大領(lǐng)域720000多篇全量文獻(xiàn)時,學(xué)科分類和國家在重合率、斯皮爾曼系數(shù)兩種指標(biāo)值上均基本達(dá)到0.9;而機(jī)構(gòu)、關(guān)鍵詞和引文的擬合指標(biāo)要想達(dá)到0.9,抽樣規(guī)模至少需要100000;作者則很難利用抽樣子文獻(xiàn)集擬合到0.9的水平。結(jié)合圖3可進(jìn)一步得知,即使是隨機(jī)抽樣20000篇文獻(xiàn),來對50000篇左右的小領(lǐng)域全量集中作者元素進(jìn)行擬合,其重合率只有0.6左右,而考慮排序的斯皮爾曼系數(shù),則隨著TopN的增加進(jìn)一步下降到0.2附近。

    這說明,在科技情報分析中,不同分析對象對文獻(xiàn)集規(guī)模的要求存在明顯的差異。分析學(xué)科分類或國家時,對文獻(xiàn)集的規(guī)模要求較低;分析機(jī)構(gòu)、關(guān)鍵詞或引文時,對文獻(xiàn)集的規(guī)模要求處在中等水平;而分析作者時,對文獻(xiàn)集的規(guī)模要求是極高的。特別是,對于各種“作者排名”“作者合著分析”,一定要保障其文獻(xiàn)集足夠大,否則結(jié)果可靠性是存疑的。相應(yīng)的結(jié)果,可歸納如表3所示。

    表3 不同元素文獻(xiàn)集規(guī)模要求對比

    究其原因,主要是由于不同元素的集中與分散效應(yīng)差別明顯。學(xué)科分類、國家的數(shù)量少,因而文獻(xiàn)集中情況明顯;機(jī)構(gòu)、關(guān)鍵詞、引文、作者的數(shù)量多,但文獻(xiàn)集中情況有差異:在機(jī)構(gòu)、關(guān)鍵詞、引文上,高頻元素累積了大量的文獻(xiàn),會有明顯的“頭部聚集效應(yīng)”;而就作者而言,由于發(fā)文成本高,盡管也存在馬太效應(yīng),但高頻作者累積的文獻(xiàn)量規(guī)模并不懸殊,更明顯的是“長尾離散效應(yīng)”。

    4.3 不同Top值對文獻(xiàn)集規(guī)模的要求

    同一分析對象下,取不同Top值開展分析時,對文獻(xiàn)集規(guī)模要求也不同。觀察圖2~圖5可知,除了某些小規(guī)模抽樣指標(biāo)不穩(wěn)定的情況下,隨著Top值的增加:①學(xué)科分類及其共現(xiàn)、國家及其共現(xiàn)、以及機(jī)構(gòu)的擬合結(jié)果都不存在明顯的增加或下降規(guī)律;②機(jī)構(gòu)共現(xiàn)、關(guān)鍵詞及其共現(xiàn)、作者及其共現(xiàn)、引文及其共現(xiàn)的擬合結(jié)果都呈現(xiàn)出明顯的下降趨勢。并且這種下降趨勢在小規(guī)模抽樣數(shù)據(jù)集上更為劇烈。例如,圖2和圖3中的引文、關(guān)鍵詞擬合指標(biāo),隨著TopN的增加,較大規(guī)模抽樣集(如20000、50000、100000)的擬合指標(biāo)緩慢下降,但較小規(guī)模抽樣集(如5000、10000)的擬合指標(biāo)急劇下降;圖2中關(guān)鍵詞在5000抽樣集上,斯皮爾曼擬合指標(biāo)從Top 50的0.7急劇下降到Top 100的0.3左右。

    這些說明,在科技情報分析中,如果要列舉或者排序大量除學(xué)科分類、國家之外的高頻分析對象,那么需要采用較大規(guī)模的文獻(xiàn)集(本例中無論領(lǐng)域全量集大小,用于擬合的抽樣集規(guī)模應(yīng)達(dá)到20000以上),才能得到較為可靠的結(jié)果。

    究其原因,應(yīng)與特定領(lǐng)域內(nèi)論文涉及的學(xué)科分類、國家、機(jī)構(gòu)數(shù)量相對有限,論文在高頻元素上的集中效應(yīng)導(dǎo)致TopN個元素相對穩(wěn)固,因此,增加待分析對象的Top值不會導(dǎo)致擬合效果變差。而關(guān)鍵詞、引文、作者的數(shù)量較多,高頻元素上的集中效應(yīng)不如前幾者明顯,導(dǎo)致頻次排序不夠穩(wěn)定,因此,增加待分析對象的Top值會導(dǎo)致擬合效果變差。

    4.4 元素排序與否對文獻(xiàn)集規(guī)模的要求

    元素排序?qū)ξ墨I(xiàn)集規(guī)模要求更高。如果科技情報分析任務(wù)中需要對相應(yīng)元素進(jìn)行排序(如作者排名、機(jī)構(gòu)合作排名等),那么其對文獻(xiàn)集規(guī)模的要求比不排序更高。由圖2~圖5可知,除學(xué)科分類這種擬合情況普遍極高的特例外,無論待擬合的背景文獻(xiàn)集有多大(即大領(lǐng)域、小領(lǐng)域),無論是哪一個待分析對象,無論是元素分析還是元素共現(xiàn)分析,排序的擬合結(jié)果(斯皮爾曼系數(shù))均差于不排序。代表性的例子如圖2中的引文擬合折線圖,橫向來看,抽樣規(guī)模是10000時,不同Top取值下,重復(fù)率值在0.7~0.85之間,而斯皮爾曼系數(shù)值在0.6~0.8之間;而縱向來看,當(dāng)取相同的Top值時,無論抽樣規(guī)模多大,重復(fù)率值總是高于斯皮爾曼系數(shù)值。

    排序?qū)ξ墨I(xiàn)集規(guī)模要求更高在以下三種情況會帶來極端影響:①文獻(xiàn)集規(guī)模太小時;②待分析元素Top值較大時;③分析元素共現(xiàn)情況時。例如,在圖2和圖3中,抽樣5000分別擬合大領(lǐng)域、小領(lǐng)域時,引文、關(guān)鍵詞的排序擬合情況欠佳,尤其是在Top值提升時,斯皮爾曼系數(shù)急劇下降。而在圖4和圖5中,除學(xué)科分類共現(xiàn)、國家合作的排序擬合效果較好外,其他元素共現(xiàn)的排序擬合大多為負(fù)值。

    圖4 大領(lǐng)域知識關(guān)聯(lián)擬合結(jié)果

    另外,由于重復(fù)率與斯皮爾曼系數(shù)的計算方式不同,使用其絕對值難以進(jìn)行比較,但是對比同一任務(wù)下這兩個擬合指標(biāo)的相對值(同一圖同一列的上下子圖對比),可發(fā)現(xiàn)不同抽樣規(guī)模下斯皮爾曼系數(shù)折線的間距明顯大于重復(fù)率;并且同一規(guī)模子文獻(xiàn)集上,改變Top值的大小,斯皮爾曼系數(shù)值的折線變化則更加明顯。

    總體而言,在科技情報分析中,除學(xué)科分類、國家外:①如果要對機(jī)構(gòu)、引文、關(guān)鍵詞開展排序(如各種排名),那么文獻(xiàn)集規(guī)模不宜低于10000~20000級別;如果是對元素共現(xiàn)進(jìn)行排序,那么文獻(xiàn)集規(guī)模需要盡可能大;②涉及作者、作者合著的排序,對文獻(xiàn)量要求極高,有必要盡可能全地收集文獻(xiàn);③排序的元素數(shù)量越多,對文獻(xiàn)集要求越高,即現(xiàn)實(shí)中生成的榜單越長,其文獻(xiàn)集要求越全?;谶@些發(fā)現(xiàn),本文在研究和實(shí)踐中,可以明確有哪些科技情報分析結(jié)果值得質(zhì)疑。例如,用少量文獻(xiàn)做作者排序或者除國家和學(xué)科分類外各種共現(xiàn)分析時,所得結(jié)果的可靠性不強(qiáng)。

    4.5 元素分析與共現(xiàn)分析對文獻(xiàn)集規(guī)模的要求

    相比基本的元素(如機(jī)構(gòu)、引文等)分析而言,元素共現(xiàn)(如機(jī)構(gòu)合作、共被引等)分析對文獻(xiàn)集規(guī)模要求更大。觀察圖2~圖5可知,這一結(jié)論在全部任務(wù)場景下均成立。典型例子如機(jī)構(gòu)和機(jī)構(gòu)合作,在圖2中,5000篇文章擬合大領(lǐng)域時,機(jī)構(gòu)的重復(fù)率在0.75左右,斯皮爾曼系數(shù)在0.6左右;而在圖4中,5000篇文章擬合大領(lǐng)域時,機(jī)構(gòu)合作的重復(fù)率均低于0.4,斯皮爾曼系數(shù)為負(fù)值;若要使機(jī)構(gòu)合作的重復(fù)率達(dá)到同等的0.75,則其文獻(xiàn)規(guī)模至少要達(dá)到50000,若要使其斯皮爾曼系數(shù)達(dá)到同等的0.6,則其文獻(xiàn)規(guī)模需要超過100000。同樣地,也可以觀察到國家、關(guān)鍵詞、引文、作者各自的共現(xiàn)分析與元素分析的擬合效果差距明顯。

    除了學(xué)科分類共現(xiàn)和國家合作外,用小規(guī)模數(shù)據(jù)集做機(jī)構(gòu)合作、共被引分析、關(guān)鍵詞共現(xiàn)、作者合著等共現(xiàn)分析時,結(jié)果可靠性都很差;如果要進(jìn)一步對共現(xiàn)關(guān)系進(jìn)行排序,那么結(jié)果可靠性更差。與此同時,機(jī)構(gòu)合作、共被引分析、關(guān)鍵詞共現(xiàn)這幾種情況,在文獻(xiàn)集規(guī)模達(dá)到一定值時,結(jié)果可靠性可保持相對較高的水平。例如,從圖4和圖5可知,針對700000余篇文獻(xiàn)的大領(lǐng)域,大約100000篇文獻(xiàn)即可保持大多任務(wù)下這三種共現(xiàn)分析的兩種擬合值不低于0.8;而針對50000余篇文獻(xiàn)的小領(lǐng)域,大約20000篇文獻(xiàn),即可保持相對較好的擬合結(jié)果。

    5 結(jié)語

    在基于文獻(xiàn)的科技領(lǐng)域情報分析中,排除文獻(xiàn)集中雜質(zhì)和代表性偏差干擾的影響,為了得到可靠的結(jié)果,領(lǐng)域文獻(xiàn)集規(guī)模越大越好;但另一方面,隨著文獻(xiàn)集規(guī)模的增大,進(jìn)一步擴(kuò)展其規(guī)模的成本較高,且對結(jié)果可靠性的提升效果逐漸消失。另外,分析學(xué)科分類、國家(及其共現(xiàn)關(guān)系)的任務(wù)對于文獻(xiàn)集規(guī)模要求極低,本文中5000篇抽樣文獻(xiàn)即可在絕大多數(shù)任務(wù)場景下可靠地擬合包含700000余篇文獻(xiàn)的大領(lǐng)域;分析作者及其共現(xiàn)關(guān)系的任務(wù)對于文獻(xiàn)集規(guī)模要求極高,本文中以20000篇抽樣文獻(xiàn),仍不能可靠地擬合50000篇文獻(xiàn)的小領(lǐng)域;分析機(jī)構(gòu)、關(guān)鍵詞、引文(及其共現(xiàn)關(guān)系)的任務(wù),盡管可以用一定規(guī)模(相對來說,仍是總量的一小部分)文獻(xiàn)集得到可靠的結(jié)果,但不同任務(wù)場景對文獻(xiàn)集規(guī)模的要求不同,如果是涉及結(jié)果排序、共現(xiàn)關(guān)系分析、元素Top取值較多這三種情況,那么文獻(xiàn)集規(guī)模要求更高。

    上述發(fā)現(xiàn)以及本文詳細(xì)圖表,可在一定程度上可指導(dǎo)情報工作人員明確其分析任務(wù),文獻(xiàn)集規(guī)模到底是否合適;特別是,有助于情報工作人員判斷是應(yīng)進(jìn)一步搜集文獻(xiàn)以擴(kuò)大規(guī)模,還是避免擴(kuò)大文獻(xiàn)規(guī)模帶來的雜質(zhì)和代表性偏差,抑或是關(guān)注已有的文獻(xiàn)集中的非領(lǐng)域相關(guān)文獻(xiàn)清洗。同時,本文的研究結(jié)論也有助于人們在接觸到情報分析結(jié)果時,更有依據(jù)地判斷其可靠性。例如,作者排序這一任務(wù)對于文獻(xiàn)集規(guī)模要求極高,遇到這類報告時,有必要追尋其文獻(xiàn)集是否全面。

    由于實(shí)驗(yàn)工作的復(fù)雜性和數(shù)據(jù)展現(xiàn)的局限性,本文只針對了一個領(lǐng)域開展了實(shí)驗(yàn)。實(shí)際上,決定文獻(xiàn)集規(guī)??煽啃缘闹饕蛩?,在于各分析任務(wù)場景下,文獻(xiàn)在相應(yīng)元素上分布的“頭部聚集效應(yīng)”和“長尾效應(yīng)”。盡管文獻(xiàn)在各種元素上均符合冪律分布規(guī)律,但不同元素的總體數(shù)量(如國家很少、關(guān)鍵詞很多)和文獻(xiàn)累積成本(如關(guān)鍵詞上累積文獻(xiàn)容易、作者上累積文獻(xiàn)困難),決定了文獻(xiàn)在該元素上的頭部聚集和長尾程度,進(jìn)一步?jīng)Q定了用多大規(guī)模的子文獻(xiàn)集能夠擬合全貌。此外,不同領(lǐng)域下文獻(xiàn)集在同一元素上的分布規(guī)律存在相似性,例如,在任何領(lǐng)域中,文獻(xiàn)在作者上分布的頭部聚集效應(yīng)均不如在國家上分布的頭部聚集效應(yīng)明顯。因此,可以推斷,本文的結(jié)論在一定程度上存在普適性。在后續(xù)的研究中,本課題組將進(jìn)一步探索領(lǐng)域文獻(xiàn)集構(gòu)造的“準(zhǔn)確性”問題。

    猜你喜歡
    學(xué)科分類全量排序
    基于學(xué)科識別功能的中國學(xué)位服色彩設(shè)計研究
    絲綢(2024年7期)2024-12-31 00:00:00
    排序不等式
    成都市溫江區(qū)全力推進(jìn)醫(yī)保全量數(shù)據(jù)采集試點(diǎn)工作
    恐怖排序
    節(jié)日排序
    刻舟求劍
    兒童繪本(2018年5期)2018-04-12 16:45:32
    審計學(xué)成為一級學(xué)科可行性研究
    土壤重金屬污染調(diào)查與評估的誤區(qū)及其改進(jìn)方法
    中醫(yī)藥信息學(xué)教育發(fā)展歷程回顧與學(xué)科發(fā)展現(xiàn)狀分析
    麥秸全量還田下氮肥運(yùn)籌對水稻產(chǎn)量及其產(chǎn)量構(gòu)成的影響
    一边摸一边抽搐一进一小说| 国产午夜福利久久久久久| av女优亚洲男人天堂| 大香蕉久久网| 国产高清视频在线观看网站| 欧美日本视频| 国产精品蜜桃在线观看| 亚洲成人精品中文字幕电影| 成人美女网站在线观看视频| 成人av在线播放网站| 激情 狠狠 欧美| 久久国产乱子免费精品| 亚洲人成网站在线观看播放| 天天躁日日操中文字幕| 99热网站在线观看| 日韩欧美 国产精品| 国产亚洲av片在线观看秒播厂 | .国产精品久久| 久久人人爽人人片av| 国国产精品蜜臀av免费| 亚洲国产精品sss在线观看| 成人高潮视频无遮挡免费网站| 91精品国产九色| 丰满少妇做爰视频| 久久久久久久午夜电影| 自拍偷自拍亚洲精品老妇| av在线蜜桃| 亚洲性久久影院| 国产亚洲最大av| 亚洲精品一区蜜桃| 深夜a级毛片| 午夜免费男女啪啪视频观看| 国产精品一二三区在线看| 亚洲欧洲日产国产| 男人舔奶头视频| 日韩欧美在线乱码| 美女高潮的动态| 青春草亚洲视频在线观看| 亚洲电影在线观看av| 老女人水多毛片| 男人的好看免费观看在线视频| 男人舔女人下体高潮全视频| 日本熟妇午夜| 亚洲精品乱码久久久v下载方式| 一级毛片我不卡| 又粗又硬又长又爽又黄的视频| 汤姆久久久久久久影院中文字幕 | 成人漫画全彩无遮挡| 婷婷六月久久综合丁香| 你懂的网址亚洲精品在线观看 | 精品久久久久久久久亚洲| 网址你懂的国产日韩在线| 亚洲人成网站高清观看| 成人av在线播放网站| 欧美一区二区亚洲| 3wmmmm亚洲av在线观看| 日本免费在线观看一区| 亚洲人成网站在线观看播放| 亚洲av不卡在线观看| 一本久久精品| 欧美性猛交黑人性爽| 91av网一区二区| 久久精品91蜜桃| 久久这里有精品视频免费| 91精品国产九色| 简卡轻食公司| 欧美zozozo另类| 国产亚洲午夜精品一区二区久久 | 亚洲国产精品成人久久小说| 成人国产麻豆网| 麻豆久久精品国产亚洲av| 久久精品91蜜桃| 黄色配什么色好看| 天天一区二区日本电影三级| 国内精品一区二区在线观看| 伦理电影大哥的女人| 91精品一卡2卡3卡4卡| 久久这里有精品视频免费| 黄色欧美视频在线观看| 最近2019中文字幕mv第一页| 午夜福利在线观看吧| 国国产精品蜜臀av免费| 国产成年人精品一区二区| 草草在线视频免费看| 又粗又爽又猛毛片免费看| 人体艺术视频欧美日本| 18+在线观看网站| av黄色大香蕉| 久久99热6这里只有精品| 美女内射精品一级片tv| 男女视频在线观看网站免费| 长腿黑丝高跟| 免费电影在线观看免费观看| 久久久久精品久久久久真实原创| 永久网站在线| 欧美+日韩+精品| 联通29元200g的流量卡| 免费看av在线观看网站| 最近手机中文字幕大全| 久久综合国产亚洲精品| 有码 亚洲区| 久久久成人免费电影| 国产真实伦视频高清在线观看| 三级男女做爰猛烈吃奶摸视频| 一个人看视频在线观看www免费| 晚上一个人看的免费电影| 久久久久九九精品影院| 国产亚洲午夜精品一区二区久久 | 能在线免费观看的黄片| videossex国产| 一个人免费在线观看电影| 22中文网久久字幕| 少妇高潮的动态图| 国产成人a区在线观看| 99久国产av精品| 午夜激情欧美在线| 麻豆av噜噜一区二区三区| 午夜精品在线福利| 免费搜索国产男女视频| 在线观看美女被高潮喷水网站| 九九久久精品国产亚洲av麻豆| 久久久成人免费电影| 爱豆传媒免费全集在线观看| 久久久久久大精品| av卡一久久| av卡一久久| 亚洲va在线va天堂va国产| 国内精品宾馆在线| 亚洲国产色片| 免费观看的影片在线观看| 91在线精品国自产拍蜜月| 99九九线精品视频在线观看视频| 一级毛片电影观看 | 一二三四中文在线观看免费高清| 男人的好看免费观看在线视频| 国产淫片久久久久久久久| 最近2019中文字幕mv第一页| 又爽又黄无遮挡网站| 午夜爱爱视频在线播放| 最近手机中文字幕大全| 亚洲高清免费不卡视频| 亚洲婷婷狠狠爱综合网| 男女视频在线观看网站免费| 亚洲自偷自拍三级| 精品人妻视频免费看| 我的老师免费观看完整版| 高清午夜精品一区二区三区| .国产精品久久| 国产精品国产三级专区第一集| 国国产精品蜜臀av免费| 一级毛片我不卡| 国产69精品久久久久777片| 久久精品夜色国产| 国产成人aa在线观看| 欧美色视频一区免费| 国产精华一区二区三区| av国产久精品久网站免费入址| 欧美成人a在线观看| 国产在视频线精品| 国产精品久久久久久av不卡| 一夜夜www| 免费看美女性在线毛片视频| 国产黄片视频在线免费观看| 好男人视频免费观看在线| 97热精品久久久久久| videossex国产| 日本一二三区视频观看| 18禁裸乳无遮挡免费网站照片| 嫩草影院入口| 卡戴珊不雅视频在线播放| 91久久精品国产一区二区成人| 校园人妻丝袜中文字幕| 日韩av在线大香蕉| 舔av片在线| 亚洲欧洲日产国产| 久久久久久久午夜电影| 精品久久国产蜜桃| 国产一区二区在线av高清观看| 免费电影在线观看免费观看| 99久久精品热视频| 日韩制服骚丝袜av| 免费电影在线观看免费观看| 国产精品一及| 久久99热这里只有精品18| 黄片无遮挡物在线观看| 黄片无遮挡物在线观看| 日韩欧美精品v在线| 黄片wwwwww| 精品国产三级普通话版| 午夜a级毛片| 中文精品一卡2卡3卡4更新| 日韩大片免费观看网站 | 男女国产视频网站| 99在线人妻在线中文字幕| 亚洲综合色惰| 自拍偷自拍亚洲精品老妇| av国产免费在线观看| 亚洲国产精品sss在线观看| 美女大奶头视频| 中文欧美无线码| 2022亚洲国产成人精品| 精华霜和精华液先用哪个| 哪个播放器可以免费观看大片| 91av网一区二区| videossex国产| 久久久久久大精品| 美女xxoo啪啪120秒动态图| 九色成人免费人妻av| 有码 亚洲区| 成年女人永久免费观看视频| 国产黄a三级三级三级人| 欧美一区二区国产精品久久精品| 国国产精品蜜臀av免费| 一二三四中文在线观看免费高清| 亚洲成人久久爱视频| 国产又黄又爽又无遮挡在线| 国产激情偷乱视频一区二区| 成年版毛片免费区| 欧美精品一区二区大全| 人人妻人人澡欧美一区二区| 亚洲美女视频黄频| 日本wwww免费看| 欧美bdsm另类| 欧美bdsm另类| 免费av毛片视频| 色吧在线观看| 色噜噜av男人的天堂激情| 亚洲av免费在线观看| 久久久久久国产a免费观看| 日本av手机在线免费观看| 国产一区二区在线av高清观看| 噜噜噜噜噜久久久久久91| 综合色av麻豆| 观看美女的网站| 日韩成人av中文字幕在线观看| av视频在线观看入口| 69人妻影院| 亚洲婷婷狠狠爱综合网| 日韩欧美精品免费久久| videossex国产| 国产真实乱freesex| 久热久热在线精品观看| 高清毛片免费看| 亚洲人成网站在线观看播放| 亚洲成色77777| 美女大奶头视频| 亚洲综合色惰| 成人特级av手机在线观看| 亚洲国产精品成人综合色| 97热精品久久久久久| 久久久国产成人免费| 三级毛片av免费| 丝袜喷水一区| 亚洲成色77777| 91久久精品电影网| 自拍偷自拍亚洲精品老妇| 菩萨蛮人人尽说江南好唐韦庄 | 久久99热这里只频精品6学生 | 久久精品国产99精品国产亚洲性色| 亚洲三级黄色毛片| 精品国产露脸久久av麻豆 | 九草在线视频观看| 亚洲精品日韩av片在线观看| 91在线精品国自产拍蜜月| 蜜桃亚洲精品一区二区三区| 国产精品99久久久久久久久| 黄片wwwwww| 毛片女人毛片| 国产伦一二天堂av在线观看| 久久久午夜欧美精品| 国产精品爽爽va在线观看网站| av卡一久久| 级片在线观看| 少妇高潮的动态图| 亚洲第一区二区三区不卡| 婷婷色麻豆天堂久久 | 建设人人有责人人尽责人人享有的 | 精品久久久久久成人av| 尤物成人国产欧美一区二区三区| 又爽又黄无遮挡网站| 亚洲天堂国产精品一区在线| 丝袜喷水一区| 亚洲av电影不卡..在线观看| 丝袜喷水一区| 亚洲最大成人中文| 又粗又爽又猛毛片免费看| 1000部很黄的大片| 2022亚洲国产成人精品| 日本午夜av视频| 色噜噜av男人的天堂激情| 我的女老师完整版在线观看| 日韩精品有码人妻一区| 亚洲欧洲日产国产| 男女国产视频网站| 亚洲高清免费不卡视频| 国产成人aa在线观看| 欧美成人午夜免费资源| 亚洲人成网站高清观看| 国产午夜精品论理片| 我的老师免费观看完整版| 久久精品国产自在天天线| 色哟哟·www| 好男人视频免费观看在线| 色视频www国产| 免费观看精品视频网站| av福利片在线观看| 只有这里有精品99| 国产精品久久久久久精品电影小说 | 国产探花极品一区二区| 两性午夜刺激爽爽歪歪视频在线观看| 精品国产露脸久久av麻豆 | 国产乱人偷精品视频| 国产又色又爽无遮挡免| 波野结衣二区三区在线| 日韩av在线免费看完整版不卡| 久久久久精品久久久久真实原创| av又黄又爽大尺度在线免费看 | 最近的中文字幕免费完整| av线在线观看网站| 国产伦一二天堂av在线观看| 亚洲色图av天堂| 亚洲真实伦在线观看| 一边亲一边摸免费视频| 一区二区三区四区激情视频| 成人性生交大片免费视频hd| 老女人水多毛片| 成年版毛片免费区| 欧美日本亚洲视频在线播放| 一本—道久久a久久精品蜜桃钙片 精品乱码久久久久久99久播 | 久久久久久久午夜电影| 一本久久精品| 高清毛片免费看| 18+在线观看网站| 国产免费福利视频在线观看| 国产精品久久久久久精品电影| 国产精品日韩av在线免费观看| 一区二区三区免费毛片| 欧美3d第一页| 国产探花在线观看一区二区| 一级黄色大片毛片| 26uuu在线亚洲综合色| 中国国产av一级| 久久久久网色| 亚洲精品一区蜜桃| 国产精品国产高清国产av| 成年版毛片免费区| 成人三级黄色视频| 欧美精品国产亚洲| 亚洲国产精品成人久久小说| 成人综合一区亚洲| 插逼视频在线观看| 有码 亚洲区| 国产精品嫩草影院av在线观看| 丝袜喷水一区| 蜜臀久久99精品久久宅男| 成人午夜高清在线视频| 天堂网av新在线| 男女啪啪激烈高潮av片| 成年女人永久免费观看视频| 国产真实乱freesex| 日韩一区二区视频免费看| 精品人妻偷拍中文字幕| 天美传媒精品一区二区| 国产精品蜜桃在线观看| 边亲边吃奶的免费视频| 亚洲五月天丁香| 成人午夜精彩视频在线观看| 成人三级黄色视频| 丰满少妇做爰视频| 国产乱人偷精品视频| 人人妻人人澡人人爽人人夜夜 | 国产成人精品一,二区| 国产免费一级a男人的天堂| 又粗又硬又长又爽又黄的视频| 亚洲国产精品成人久久小说| 国产免费又黄又爽又色| 亚洲欧美精品自产自拍| 色综合站精品国产| 水蜜桃什么品种好| 国产精品野战在线观看| 亚洲精品aⅴ在线观看| 亚洲av成人av| 在线免费十八禁| 国产伦精品一区二区三区四那| 男的添女的下面高潮视频| 国产高清视频在线观看网站| 日本欧美国产在线视频| 又黄又爽又刺激的免费视频.| 只有这里有精品99| 18禁在线无遮挡免费观看视频| 尤物成人国产欧美一区二区三区| 国产老妇女一区| 最近最新中文字幕免费大全7| 一区二区三区免费毛片| 在线播放国产精品三级| 国产午夜福利久久久久久| 九色成人免费人妻av| 三级毛片av免费| 18+在线观看网站| 国产 一区精品| 99国产精品一区二区蜜桃av| 亚洲图色成人| 久久热精品热| 久久久精品欧美日韩精品| 中文字幕精品亚洲无线码一区| 一级毛片aaaaaa免费看小| 91久久精品电影网| 久久久久久国产a免费观看| 极品教师在线视频| 精品国产一区二区三区久久久樱花 | 国产一区有黄有色的免费视频 | 看黄色毛片网站| 精华霜和精华液先用哪个| 国产淫片久久久久久久久| 久久久久久久久久成人| 五月玫瑰六月丁香| 女人被狂操c到高潮| 成人毛片a级毛片在线播放| or卡值多少钱| 国产亚洲一区二区精品| 国产精品不卡视频一区二区| 免费看a级黄色片| 1024手机看黄色片| 久久久久久久国产电影| 亚洲av二区三区四区| 日韩三级伦理在线观看| 水蜜桃什么品种好| 中文资源天堂在线| 久久亚洲精品不卡| 国产淫片久久久久久久久| 赤兔流量卡办理| 精品久久久久久久久亚洲| 欧美xxxx黑人xx丫x性爽| 99久久人妻综合| 欧美精品一区二区大全| 一级二级三级毛片免费看| 欧美成人精品欧美一级黄| 一个人看的www免费观看视频| 亚洲av男天堂| 日韩亚洲欧美综合| 国产午夜精品一二区理论片| 国产一区二区三区av在线| 91精品伊人久久大香线蕉| 国产伦精品一区二区三区四那| 日韩大片免费观看网站 | 秋霞在线观看毛片| www.av在线官网国产| 99热网站在线观看| 人妻少妇偷人精品九色| 亚洲,欧美,日韩| 久久99热这里只有精品18| 99久国产av精品国产电影| 久久久久久久久中文| 91av网一区二区| 最后的刺客免费高清国语| av专区在线播放| 久久国产乱子免费精品| 成人无遮挡网站| 国产探花在线观看一区二区| 日韩av不卡免费在线播放| 日本免费a在线| 久久精品国产亚洲av天美| 亚洲av日韩在线播放| 国产亚洲最大av| 一卡2卡三卡四卡精品乱码亚洲| av专区在线播放| 欧美一区二区精品小视频在线| 长腿黑丝高跟| 一区二区三区乱码不卡18| 可以在线观看毛片的网站| 国产一区二区三区av在线| 一边摸一边抽搐一进一小说| 一级毛片aaaaaa免费看小| 国产 一区精品| 春色校园在线视频观看| 亚洲精华国产精华液的使用体验| 成年女人永久免费观看视频| 18禁在线无遮挡免费观看视频| 赤兔流量卡办理| 3wmmmm亚洲av在线观看| 午夜激情欧美在线| 夫妻性生交免费视频一级片| 淫秽高清视频在线观看| 欧美成人午夜免费资源| 中文天堂在线官网| 男女视频在线观看网站免费| 国产伦理片在线播放av一区| 丰满人妻一区二区三区视频av| 韩国av在线不卡| 身体一侧抽搐| 69人妻影院| 看片在线看免费视频| 99久久精品热视频| 中文字幕精品亚洲无线码一区| .国产精品久久| 丰满乱子伦码专区| 国产综合懂色| 91aial.com中文字幕在线观看| 国产在视频线精品| 国产午夜精品论理片| 最近最新中文字幕免费大全7| 国产视频内射| 欧美日韩一区二区视频在线观看视频在线 | 午夜福利高清视频| 一二三四中文在线观看免费高清| 秋霞伦理黄片| 久久久成人免费电影| 99热这里只有是精品在线观看| 精品国产露脸久久av麻豆 | 国产精品综合久久久久久久免费| 国产免费视频播放在线视频 | 老师上课跳d突然被开到最大视频| 国产真实伦视频高清在线观看| 精品无人区乱码1区二区| 欧美区成人在线视频| 一级毛片久久久久久久久女| 天堂网av新在线| 国内揄拍国产精品人妻在线| 韩国av在线不卡| 亚洲国产高清在线一区二区三| 校园人妻丝袜中文字幕| 联通29元200g的流量卡| 男人舔女人下体高潮全视频| 精品人妻熟女av久视频| 欧美最新免费一区二区三区| 最近中文字幕高清免费大全6| 成人欧美大片| 久久久久久伊人网av| 特大巨黑吊av在线直播| 神马国产精品三级电影在线观看| 午夜免费激情av| 亚洲欧美日韩东京热| 日本猛色少妇xxxxx猛交久久| 老师上课跳d突然被开到最大视频| av免费观看日本| 最近的中文字幕免费完整| 全区人妻精品视频| 天天躁日日操中文字幕| 亚洲性久久影院| 麻豆国产97在线/欧美| 又爽又黄a免费视频| 五月伊人婷婷丁香| 久久精品国产亚洲网站| 午夜福利在线观看免费完整高清在| 亚洲av熟女| 国产精品不卡视频一区二区| 高清av免费在线| 精品人妻一区二区三区麻豆| 日韩欧美精品v在线| 国产麻豆成人av免费视频| 欧美三级亚洲精品| 91精品伊人久久大香线蕉| 欧美日韩国产亚洲二区| 精品久久国产蜜桃| 久久人妻av系列| 精品久久久久久电影网 | 亚洲四区av| av在线亚洲专区| 噜噜噜噜噜久久久久久91| 中文字幕久久专区| 久久婷婷人人爽人人干人人爱| 99热这里只有精品一区| 国内揄拍国产精品人妻在线| 久久久久久久国产电影| 国产一区二区三区av在线| 国产精品久久久久久久久免| 国产精品国产三级专区第一集| 国产精品久久久久久精品电影小说 | 国产片特级美女逼逼视频| 插逼视频在线观看| 性色avwww在线观看| 少妇高潮的动态图| 午夜福利在线观看吧| 国产一级毛片七仙女欲春2| 国内精品宾馆在线| 欧美一区二区精品小视频在线| 美女cb高潮喷水在线观看| av.在线天堂| 日韩欧美精品免费久久| 欧美日韩综合久久久久久| 午夜福利在线观看吧| av福利片在线观看| 99久久无色码亚洲精品果冻| 亚洲国产精品合色在线| 久久精品久久精品一区二区三区| 国产精品99久久久久久久久| 最近视频中文字幕2019在线8| 免费一级毛片在线播放高清视频| 国产男人的电影天堂91| 99热这里只有是精品50| 国产精品国产三级国产av玫瑰| 亚洲精品一区蜜桃| 久久99热这里只有精品18| 欧美成人午夜免费资源| 免费播放大片免费观看视频在线观看 | 亚洲欧美日韩卡通动漫| 内射极品少妇av片p| 搡老妇女老女人老熟妇| 免费av不卡在线播放| 欧美xxxx黑人xx丫x性爽| 99视频精品全部免费 在线| 日韩av在线大香蕉| 久久久久国产网址| 69av精品久久久久久| 少妇高潮的动态图| 卡戴珊不雅视频在线播放| 网址你懂的国产日韩在线| 欧美成人a在线观看| 国产高清不卡午夜福利| 能在线免费看毛片的网站| 精品国产露脸久久av麻豆 | 亚洲精品成人久久久久久| 晚上一个人看的免费电影| 色噜噜av男人的天堂激情| 亚洲国产精品久久男人天堂|