• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于智能情報挖掘的技術甄別發(fā)展現(xiàn)狀及趨勢預測研究

    2022-06-27 13:51:54褚曉泉劉德兵仇瑜郭雙瑞曹建飛
    預測 2022年3期
    關鍵詞:文獻計量人工智能

    褚曉泉 劉德兵 仇瑜 郭雙瑞 曹建飛

    摘 要:科技評估是識別前瞻性技術、合理規(guī)劃知識創(chuàng)造活動和促進科技創(chuàng)新的有效途徑,對于輔助配置研發(fā)資源,提升國家現(xiàn)代化水平和綜合國力具有戰(zhàn)略意義。鑒于此,本文首先對科技評估任務中技術甄別相關的關鍵概念進行了辨析,梳理各國、各領域重點關注的熱點技術、新興技術、前沿技術和顛覆性技術的含義、特征、差異,總結(jié)具有代表性的研究成果;然后,以文獻計量方法為基礎,借助共詞分析技術相關研究在數(shù)量、共詞等方面的變化趨勢,計算CDt指數(shù)識別其中的顛覆性成果;最后,通過生命周期曲線擬合方法對領域當前發(fā)展現(xiàn)狀和未來變化趨勢進行預測。本文對科技評估中技術甄別相關的概念歸納、采用的分析方法和相關結(jié)論能夠為情報分析人員開辟新思路,對于不同領域開展科技評估和技術甄別工作提供參考。

    關鍵詞:科技評估;技術甄別;情報挖掘;文獻計量;人工智能

    中圖分類號:G301文獻標識碼:A文章編號:2097-0145(2022)03-0007-08doi:10.11847/fj.41.3.7

    Research on Development Status and Trend Predict of Technology Identification

    Based on Intelligent Information Mining

    CHU Xiao-quan1, LIU De-bing2, QIU Yu2, GUO Shuang-rui3, CAO Jian-fei4

    (1.Department of Computer Science and Technology, Tsinghua University, Beijing 100084, China; 2.Beijing Knowledge Atlas Technology Co., Ltd, Beijing 100084, China; 3.School of Computer Science and Technology, Anhui University, Hefei 230601, China; 4.Center for Strategic Studies, Chinese Academy of Engineering, Beijing 100088, China)

    Abstract:Science and technology evaluation are effective approaches to detect forward-looking technologies and reasonably make creation activities plan to promote scientific and technological innovation, and have strategic significance for assisting the allocation of R&D resources and improving the level of national modernization and comprehensive national strength. In view of this, this study firstly discriminates the core concepts related to technology identification in science and technology foresight tasks. We sort out the scientific connotation, characteristics and differences of the most watched hot technologies, emerging technologies, frontier technologies and disruptive technologies, and summarize the representative researches. Secondly, based on the bibliometric, we adopt the co-words analysis the changing trend of related research in terms of quantity method and co-word analysis, and the widely used CDt index is calculated to identify the disruptive achievements. Finally, the current development status and future maturity of each theme are estimated using life cycle curve fitting method by us. The induction of key technology concepts, adopted analysis methods and relevant conclusions in this study could open up new ideas for information analysts. Furthermore, that would also provide reference for science and technology evaluation and technology identification task in different fields.

    Key words:science and technology evaluation; technology identification; information mining; bibliometrics; artificial intelligence

    1 引言

    當今世界正經(jīng)歷百年未有之大變局,國際力量之間的較量正在經(jīng)歷歷史性變革,在此背景下,科技創(chuàng)新在國家發(fā)展全局中的戰(zhàn)略地位日益凸顯。在民生、國防、市場等多方需求的大力推動下,全球各國政府先后部署科技創(chuàng)新相關的戰(zhàn)略計劃,促進本國技術革新。美國是最早開始科技研發(fā)部署的國家,國防預先研究計劃局(DARPA)在重點領域率先開展顛覆性技術預測和發(fā)展管理工作[1,2]。中國科學院自2011年開始實施“創(chuàng)新2020”工程,為我國創(chuàng)新型國家發(fā)展提供支撐[3]。日本成立“科學技術創(chuàng)新戰(zhàn)略本部”,強化政府在科技創(chuàng)新層面對政策推進的職能??梢姡訌娍萍脊芾?,促進科技創(chuàng)新,對于提升國家綜合實力具有戰(zhàn)略意義,已經(jīng)受到全球各國重點關注?!皥猿謩?chuàng)新在我國現(xiàn)代化建設全局中的核心地位,把科技自立自強作為國家發(fā)展的戰(zhàn)略支撐”已經(jīng)成為我國科技發(fā)展的重要指導。

    科技評估是開展科技評估工作、規(guī)劃知識創(chuàng)造活動和促進科技創(chuàng)新的有效途徑,技術甄別的目標是識別前瞻性技術,對包含在科技出版物中的技術點進行分析,是科技評估中的一項重要內(nèi)容。從國家科技發(fā)展需求來看,及時把握領跑技術所在領域的全球變化趨勢,有助于實施動態(tài)調(diào)整,確保先進技術的領先地位;對于技術短板與薄弱領域,開展技術甄別工作有助于及時挖掘技術缺口,縮小發(fā)展差距,為指導下一步科技發(fā)展指明方向。因此,必須掌握科技評估方法,把握技術甄別、預測的關鍵方法,為優(yōu)化科研資源配置與國家發(fā)展戰(zhàn)略部署提供決策支撐。

    近年來,國內(nèi)外的情報研究人員利用科技情報分析實現(xiàn)科技評估,已經(jīng)積累了德爾菲法、層次分析法、情景分析法等多元化科技分析方法,借助領域?qū)<医?jīng)驗和統(tǒng)計分析實現(xiàn)研判,取得了顯著成效。然而,全球科學、技術和創(chuàng)新系統(tǒng)是一個復雜的適應系統(tǒng),具有高度的非線性和不可預測性[4],加之科技資源爆炸增長、海量噪聲涌入使得科技情報挖掘已經(jīng)發(fā)展成為全新的交叉學科難題,傳統(tǒng)的專家研判和統(tǒng)計分析方法無法滿足新時期的新要求。

    當前,隨著科學學的迅速興起和文獻計量學的發(fā)展,加之人工智能和大數(shù)據(jù)時代的到來,智能分析方法在技術甄別工作中逐漸嶄露頭角,成為輔助手段與補充工具。依托科技情報,運用智能情報挖掘方法來實現(xiàn)前沿動態(tài)分析、專利預測、科研競爭力與科技實力評測等已經(jīng)成為可能,并逐漸拓展到經(jīng)濟和社會信息領域。

    基于該現(xiàn)狀,本文針對科技評估中技術甄別相關研究展開分析,主要內(nèi)容如下:首先,對技術甄別相關概念進行辨析,總結(jié)領域典型解決方案;然后,采用文獻計量方法、可視化軟件進行領域現(xiàn)狀剖析,挖掘技術演化規(guī)律,計算CDt指數(shù)評估顛覆性成果;最后,通過擬合技術生命周期曲線預測領域發(fā)展態(tài)勢,對前景進行展望。本研究的創(chuàng)新之處在于,針對當前技術甄別熱點話題進行系統(tǒng)的總結(jié)與辨析,有針對性地挖掘細分方向中的研究主題演化規(guī)律;將科技評估指標、技術生命周期曲線擬合等智能科技情報挖掘方法用于科技評估發(fā)展現(xiàn)狀分析,推動國內(nèi)情報分析工作智能化發(fā)展。研究成果能夠為科技情報分析提供方法論層面的啟示,同時為更加科學、有序地開展技術甄別工作提供參考。

    2 概念辨析

    科學學研究的問題本質(zhì)涉及到幾乎所有的科學學科[5],目標是理解、量化和預測科學研究及其結(jié)果。近年來,科學學應用于科技評估已經(jīng)得到了不同背景學者的廣泛關注。截至目前,全球情報人員已經(jīng)研發(fā)了適用于多場景的評估方法,內(nèi)容包括:(1)對科技成果學術影響力的評價[6];(2)對研究人員、機構(gòu)的研發(fā)實力的評價[7];(3)從海量科技數(shù)據(jù)中挖掘高價值技術[8];(4)通過文獻計量對領域發(fā)展前景進行預測[9]等。技術甄別是科學學中不可忽視的重要內(nèi)容,對加快科技創(chuàng)新、提升國防現(xiàn)代化水平和改善人民生活質(zhì)量具有重大意義。依托于科技數(shù)據(jù)開展技術甄別工作已經(jīng)成為全球各國、各領域重點關注的戰(zhàn)略性問題。

    2012年,Alexander等[4]建議通過研究同行評議的期刊文章、授予的專利等文獻,探索隱含在科技發(fā)表物中的信息。在過去的10年里,各學科數(shù)以百計的期刊誕生了,每天都有上千篇科技成果物在全球范圍內(nèi)發(fā)表;科技出版物檢索與共享平臺,如Web of Science、中國知網(wǎng)、AMiner[10]等面向全球科研人員提供服務,為深度挖掘現(xiàn)代科技發(fā)展特征與規(guī)律創(chuàng)造了條件。但是,不斷增加的信息量也為情報分析任務帶來了全新的挑戰(zhàn)。美國情報理論學者MacDonald和明尼蘇達大學研究團隊先后指出,出版物的增加不僅使得研究人員難以聚焦[11],更使情報分析機構(gòu)遭受信息超載的困擾[12]。充分利用數(shù)據(jù)優(yōu)勢,理解科技情報深層概念,制定科學的分析策略,才能應對新時期的情報分析需求。

    對技術的甄別、分析和預測是科技評估的重中之重。典型的技術類型可以歸納為熱點技術(Hot Technologies)、新興技術(Emerging Technologies)、前沿技術(Frontier Technologies)和顛覆性技術(Disruptive Technologies)。在以往的研究中,針對不同類型技術的概念尚未有明確的區(qū)分,本研究基于領域現(xiàn)狀,從技術潛力和時間維度兩個角度對不同類型技術的含義進行區(qū)分(如圖1),同類型技術從科技計量角度來看往往表現(xiàn)出相似的特征。

    熱點技術可以理解為某一領域從歷史延續(xù)至今的研究熱點,其積累優(yōu)勢明顯[13],討論度高,易于發(fā)現(xiàn),在每個特定時期可以通過主題挖掘或詞頻共現(xiàn)分析而得。對于學術和輿論廣泛討論的熱點,需要技術的迭代和應用驗證其技術價值,因此,熱點技術的涵蓋范圍較廣,其中技術的發(fā)展?jié)摿颓熬坝写诰蚝涂甲C。

    新興技術是近年來受到突出關注的主題,美國情報高級研究項目活動組織IARPA建立FUSE計劃,主要目的之一就是提名新興技術[14]。Alexander等[4]較早地對技術“新興”的場景進行了辨析,作者團隊認為“當一個概念引起特定社區(qū)的興趣,研究人員和發(fā)明者將投入時間、資源和精力探索該概念對科學和技術產(chǎn)生持久影響的潛力時,就實現(xiàn)了技術上的興起”,為大眾理解“新興”概念奠定了基礎。2015年,Rotolo等[15]對相關文獻進行梳理,總結(jié)出了新興技術的5個特征屬性:新穎性、成長性、一致性、影響力和不確定性,將新興技術定義為科學研究過程中產(chǎn)生的短時間內(nèi)能夠聚集大量資源且成長速度較快,具有影響未來經(jīng)濟和社會發(fā)展?jié)摿Φ膭?chuàng)新技術。在學術領域,Porter等[16]結(jié)合文本挖掘提出了“新興得分”,從科技出版物的摘要中挖掘新興技術。Small等[14]建立共引模型和直接應用模型,探索從引文數(shù)據(jù)庫中挖掘新興技術的方法。周源等[17]提出了數(shù)據(jù)挖掘與專家小組決策相結(jié)合的框架來識別新興技術,并在具體項目中驗證了方法的有效性??梢钥闯觯啾扔跓狳c技術,新興技術更強調(diào)新穎性,對于行業(yè)或國家發(fā)展具有更顯著的影響力,已經(jīng)初步實現(xiàn)了“人工智能+專家研判”融合的新興技術識別框架。

    前沿技術(或研究前沿)通常被視為“最具發(fā)展?jié)摿Φ男屡d研究領域或研究主題”[18],科睿唯安(Clarivate)對研究前沿做出如下定義“研究前沿由一組共同引用的核心論文以及引用一篇或多篇這些核心論文的當前來源論文組組成?!苯陙?,面向領域技術前沿的分析與挖掘引起廣泛關注。中國工程院聯(lián)合中國科學院、科睿唯安等組織單位聯(lián)合發(fā)布的《研究前沿》,聚焦前沿技術,為各領域把握技術前沿提供參考。除傳統(tǒng)的專家判斷法外,共被引分析和文獻耦合分析是常見的前沿技術甄別方法[14],F(xiàn)ajardo-ortiz等[19]針對HIV/AIDS專題進行了論文核心子網(wǎng)絡的構(gòu)建,結(jié)合文本挖掘?qū)崿F(xiàn)領域研究前沿的識別。相比熱點技術和新興技術,前沿技術突出該技術在領域中的發(fā)展?jié)摿ΓP注技術點能夠發(fā)展并延續(xù)到未來的突出價值。當前,聚焦前沿技術識別的研究較少,在數(shù)量上遠少于熱點技術和新興技術。

    1998年,Andersen[20]闡明了顛覆性技術的概念,指出DTs具備破壞原有技術軌道的潛力,能夠使原本的技術生命周期斷裂,形成新的技術軌道。Funk和Owen-smith[21]在研究中提出:“顛覆性技術相關發(fā)表物在引文網(wǎng)絡中具有鞏固型和突破型——兩種不同類型的表現(xiàn)形式”,該團隊提出了CDt指數(shù),從科技成果物中辨識顛覆性技術。該指標自提出以來,已經(jīng)成為公認的顛覆性技術有效識別方法之一[11,22],被應用于不同場景下的科技評估工作中。在國家戰(zhàn)略層面,顛覆性技術引領武器裝備發(fā)展,在未來戰(zhàn)爭中創(chuàng)造顛覆效果,美國DARPA和日本政府先后推行了面向顛覆性技術的創(chuàng)新管理計劃,主要聚焦國防重點領域[20,23]。與新興技術相似,顛覆性技術關注技術“革新”對“實踐”帶來的效果,但是,顛覆性技術對創(chuàng)新程度的要求更高,在衡量技術對經(jīng)濟社會影響的同時,更關注其改變原有技術軌道的特性,強調(diào)在技術發(fā)展過程中的變革性地位。

    鑒于不同類型技術在科技發(fā)展中的角色和地位,依據(jù)其特征、屬性構(gòu)建智能、有效的技術甄別流程,實現(xiàn)有針對性的辨識和預測,是研發(fā)和應用領域共同關注的重要議題。

    3 科技評估技術研究現(xiàn)狀分析

    本文從技術甄別這一主題出發(fā),通過文獻計量的方法對熱點技術、新興技術、前沿技術和顛覆性技術評估的研究成果進行檢索、分類統(tǒng)計和分析。選取Web of Science為檢索平臺,檢索技術甄別方法相關的高質(zhì)量成果,具體的檢索規(guī)則、通過人工篩選的相關文獻數(shù)量如表1所示,檢索日期為2022年5月3日。

    根據(jù)檢索結(jié)果的年份分布繪制了趨勢圖(如圖2所示)。可以看出,自2000年以來,面向熱點技術、新興技術、前沿技術和顛覆性技術的研究均呈現(xiàn)不同程度的增長態(tài)勢。其中新興技術識別受到的關注最為顯著,熱點技術緊隨其后;面向前沿技術和顛覆性技術的研究數(shù)量明顯低于上述兩種技術。統(tǒng)觀現(xiàn)有的研究成果,中科院學者羅瑞等[13]針對前沿技術相關研究進行了綜述,總結(jié)了相關研究的類型、采用方法的特點,主要以定性分析和梳理總結(jié)為主,缺乏深層信息挖掘;2022年,伊朗、土耳其等多國學者聯(lián)合發(fā)表的新興技術識別現(xiàn)狀分析研究[24]通過文獻計量的方式對科技成果、期刊等進行了定量分析,但缺乏面向科技評估較為全面的辨析。因此,本研究基于文獻檢索結(jié)果,對其研究主題進行聚類分析,并應用CDt指數(shù)開展顛覆性成果評價分析。

    3.1 研究主題分析

    近年來,VOSviewer已經(jīng)發(fā)展成為國內(nèi)外情報分析的有力工具[19],考慮到該軟件在聚類圖譜可視化方面的突出優(yōu)勢,本研究應用Overlay map功能進行文獻計量地圖分析,分析范圍包含文獻的標題、摘要和關鍵詞,針對熱點、新興、前沿和顛覆性技術的分析結(jié)果統(tǒng)計如表2。

    通過對分析結(jié)果進行總結(jié)可以得出,熱點技術的研究中心較為突出,集中于對熱點話題的討論,基于數(shù)據(jù)集的算法研究是該領域關注的重點。新興技術相關的研究主題較為豐富,高頻主題涉及領域較多,這充分印證了Xu等[2]提出的新興技術所具備的快速增長和不確定性;隨著時間的演變,面向新興技術的研究和討論焦點逐漸從“特定領域的分析”向“融合科技數(shù)據(jù)和產(chǎn)業(yè)數(shù)據(jù)的綜合研究”

    演變,“人工智能”“算法”等關鍵詞開始出現(xiàn)在相關研究中。前沿技術研究的“模型”“系統(tǒng)”等在2015年就已經(jīng)受到了廣泛關注,近年來,學者們的研究焦點從最初的“技術效果”“性能”等方面的討論逐漸演變?yōu)榫劢固囟ā皣摇薄霸掝}”的討論,文獻計量分析在2019年左右成為該領域較為典型的工具。有關顛覆性技術的研究呈現(xiàn)總體較為集中的分布特征,近年來涌現(xiàn)的新一代技術,如“人工智能”“區(qū)塊鏈”“云”等逐漸顯示出作用;與Bower和Christensen[25]在闡述顛覆性技術時所持觀點相呼應,技術在工業(yè)、市場中的實際作用是開展顛覆性技術識別中不可忽視的重要話題。

    通過對比不同技術類型相關研究的分析結(jié)果,可以看出無論對于哪種類型的技術甄別工作,文獻計量、人工智能等定量分析方法均不同程度地出現(xiàn)并影響著該領域研究主題的演變。相比前沿和顛覆性技術,熱點技術和新興技術的相關成果較多,研究內(nèi)容涉及領域更加豐富,相關學者更加注重在特定的學科或領域進行甄別和驗證試驗,而鑒于前沿技術和顛覆性技術高價值、影響力重大等突出特征,難以在具體的案例中進行驗證,研究主題更多地聚焦于技術特性和方法設計層面。

    3.2 顛覆性研究分析

    2021年,明尼蘇達大學的研究人員[11]在顛覆性技術分析的研究中發(fā)現(xiàn),盡管大數(shù)據(jù)技術的發(fā)展為科技情報共享創(chuàng)造了條件,科學成果在過去的一個世紀中飛速增長,但是,對現(xiàn)有知識體系產(chǎn)生突破性影響的創(chuàng)新型技術正在減少。為了精確甄別科技評估相關的突破性研究成果,本研究采用CDt指數(shù)對檢索結(jié)果進行定量評估。

    按照Funk和Owen-smith[21]的定義,CDt指數(shù)用于度量后來出現(xiàn)的技術點如何利用技術前輩,核心思想是:當一項顛覆性的技術以文獻形式出現(xiàn),其施引文獻對于相關領域先前研究(技術前輩)的引用將會減少。相反地,當某項技術以鞏固性技術形式出現(xiàn),其施引文獻在引用該文獻的同時通常會對相關領域技術前輩進行引用,用于對比與分析。CDt具體計算方式如下

    CDt=1n∑nn=i-2fitbit+fit(1)

    其中fit和bit用于描述研究目標文獻的被引用情況,i表示任意文獻,t表示時間,本研究設置t=5。若文獻引用當前目標的同時也對其技術前輩相關的文獻進行了引用,則定義為b型,若僅對當前目標進行引用而沒有引用其技術前輩,則定義為f型,具體計算方式如下

    fit=1,若i僅對當前文獻進行引用

    0,其它(2)

    bit=1,若i對當前文獻進行引用的同時也引用其技術前輩

    0,其它(3)

    CDt指數(shù)計算結(jié)果的數(shù)值范圍為[-1,1]。結(jié)果越接近于1,表明該技術突破型顛覆性越強。圖3(A)、(B)、(C)分別展示了CDt計算結(jié)果為1,0,-1的特殊情況,分別代表該技術具有典型突破型顛覆性、無顯著顛覆性和鞏固型顛覆性的情景。

    本研究利用Python語言進行編程實現(xiàn)CDt指數(shù)計算,針對檢索結(jié)果中的熱點技術、新興技術、前沿技術和顛覆性技術研究進行顛覆性評估。表3總結(jié)了顛覆性評價結(jié)果的示例,評估結(jié)果可以甄別和揭示現(xiàn)有研究成果中具有突破型顛覆性的科技成果,為情報分析人員提供參考。通過顛覆性分析結(jié)果可以看出,檢索結(jié)果中的突破型成果的顛覆性指數(shù)數(shù)值較小,缺乏具有領域影響力的顛覆性技術研究成果。在突出的研究成果中,美國學者占比較大。

    4 科技評估技術發(fā)展趨勢預測分析

    早在20世紀末就已經(jīng)有研究者通過行業(yè)歷史數(shù)據(jù)的擬合和分析,發(fā)現(xiàn)Logistic模型(生命周期曲線)是技術進步及個人和集體行為預測的有效工具[34],該曲線一開始呈指數(shù)增長,然后增長率趨緩,最終逐步接近最大值,整體呈“s”型,因此也稱s型曲線,曲線表達式如下

    M(t)=L1+c·er·(t-t0)(4)

    其中M為技術成熟度,是時間t的函數(shù),L代表了領域的承載力,L,c,r是待求參數(shù)。加州大學的Mathews[35]在1992年提出的s型曲線擬合方法清晰地提供了逐步計算方法,目前,將目標領域與生命周期曲線相結(jié)合的方法已被廣泛應用于文獻增長規(guī)律研究[36]等方面的分析。為衡量領域發(fā)展現(xiàn)狀,本研究引入技術成熟度評估模型來定量評估面向熱點、新興、前沿和顛覆性技術科學研究的發(fā)展態(tài)勢。

    因此,本研究通過Python編程語言,按照Mathews所述方法,使用最小平方法求解最小化問題,對熱點、新興、前沿和顛覆性技術識別相關的研究歷史數(shù)據(jù)進行參數(shù)求解和曲線擬合,并對擬合結(jié)果進行可視化。對2022年領域科學研究成熟度所在位點進行標注,計算2025年該領域成熟度,實現(xiàn)預測,可視化結(jié)果如圖4。

    圖4(A)展示了熱點技術發(fā)現(xiàn)識別相關研究的發(fā)展狀況,可以看出,當前有關熱點技術識別的技術成熟度正處于高速發(fā)展階段,增長速度將在2022~2025年間達到峰值。新興技術識別相關研究的數(shù)量明顯高于其他三類技術,但是,從歷史數(shù)據(jù)的變化情況來看,有關新興技術的甄別技術仍待進一步探索,未來提升空間巨大。在新興技術引起各界關注的初期,大多研究聚焦于技術特征的辨析,近年來,基于自然語言處理等新一代信息技術的新興技術甄別方法才剛剛起步,將文獻計量與人工智能相結(jié)合的嘗試為新興技術預測開辟了新道路[17],針對新興技術的復雜特征開展甄別工作仍待探索。有關前沿技術識別的方法在2022年左右已經(jīng)實現(xiàn)了爆發(fā)式增長,該結(jié)果與前沿技術近年來受到廣泛關注從而成果數(shù)量大幅增長有關。顛覆性技術識別的成熟度明顯低于前沿技術。當前,公認的、經(jīng)過研究驗證的顛覆性評估方法較少,一方面技術識別的方法論仍待進一步創(chuàng)新和突破,另一方面,顛覆性技術特有的對社會乃至國家的影響力也成為學者開展預測工作的阻礙。

    通過文獻歷史數(shù)據(jù)對技術識別的成熟度進行分析,結(jié)果顯示不同類型的技術其甄別方法從起步發(fā)展至今已經(jīng)實現(xiàn)了技術積累,在科學研究方面均有顯著的發(fā)展空間。從技術創(chuàng)新層面來說,加強對科技評估相關技術的創(chuàng)新和發(fā)展,能夠提升科技評估的準確率,從而進一步促進全領域研發(fā)資源配置和發(fā)展規(guī)劃,加快科技創(chuàng)新。

    5 結(jié)論與展望

    5.1 科技評估發(fā)展前景展望

    本研究通過文獻綜述的方法梳理了科技評估和技術甄別相關的核心概念和關鍵問題,通過文獻計量軟件和計算機編程工具實現(xiàn)了研究主題挖掘、典型研究識別和領域發(fā)展趨勢定量分析,應用統(tǒng)計學習方法為傳統(tǒng)的文獻綜述研究框架提供深度信息。通過對研究結(jié)果進行分析可以看出,面向熱點、新興、前沿和顛覆性技術的識別技術近年來經(jīng)歷技術變革,從傳統(tǒng)的定性分析逐步向以文獻計量和人工智能為代表的定量和智能分析演化;當前,具有顯著顛覆性的科技評估成果仍待探索,不同類型技術甄別的方法成熟度有較大的提升空間。

    針對該現(xiàn)狀,我們對于科技評估研究未來的發(fā)展提出以下建議:(1)科技評估事關領域創(chuàng)新和國家發(fā)展,匯集各領域、學科,國內(nèi)學者對于關鍵概念辨析、智能甄別和人工智能輔助專家研判等方面的探索仍處于起步階段,有待進一步開展創(chuàng)新性的科技評估方法研究,研發(fā)符合國情和國家發(fā)展戰(zhàn)略的科技評估方法、策略,盡快構(gòu)建權威、高效的科技評估智能分析系統(tǒng),為常規(guī)化開展技術挖掘工作提供平臺。(2)對于領域發(fā)展而言,國內(nèi)外學者已經(jīng)針對技術甄別開始了智能化方法的研究,但是,統(tǒng)觀領域成果,尚未有權威的數(shù)據(jù)集作為研發(fā)人員進行實驗、驗證的依據(jù),部分研究采用諾貝爾獎、頂尖學術期刊高引文獻等作為方法驗證的依據(jù),但是這樣的驗證方式無法保證構(gòu)建的方法能夠從海量數(shù)據(jù)中精準地甄別出潛在的高價值技術。因此,急需領域?qū)W者的共同努力,合作構(gòu)建公開、權威的技術評估數(shù)據(jù)集作為該科技評估方法研發(fā)的依據(jù)。

    5.2 研究結(jié)論與局限性

    從數(shù)據(jù)依據(jù)來看,本研究以Web of Science為分析來源,對核心論文的主題、數(shù)量和未來變化趨勢進行了討論。在未來的研究中,一方面可以進一步結(jié)合國際論文的國家分布和高水平中文刊物來挖掘科技評估發(fā)展的地區(qū)差異情況;另一方面,應從論文和專利兩種研究路徑分別入手,挖掘以學術論文為代表的科學研究水平和以專利為代表的技術轉(zhuǎn)化與應用程度信息,更加深入、具體地研究科技評估研發(fā)情況。

    參 考 文 獻:

    [1]劉安蓉,李莉,曹曉陽,等.顛覆性技術概念的戰(zhàn)略內(nèi)涵及政策啟示[J].中國工程科學,2018,20(6):7-13.

    [2]Xu H, Winnink J, Yue Z, et al.. Multidimensional scientometric indicators for the detection of emerging research topics[J]. Technological Forecasting and Social Change, 2021, 163: 120490.

    [3]白如江,冷伏海,廖君華.科學研究前沿探測主要方法比較與發(fā)展趨勢研究[J].情報理論與實踐,2017,40(5):33-38.

    [4]Alexander J, Chase J, Newman N, et al.. Emergence as a conceptual framework for understanding scientific and technological progress[A]. Proceedings of PICMET'12: Technology Management for Emerging Technologies[C]. IEEE, 2012. 1286-1292.

    [5]Zeng A, Shen Z, Zhou J, et al.. The science of science: from the perspective of complex systems[J]. Physics Reports, 2017, 714: 1-73.

    [6]Shah N, Song Y. S-index: towards better metrics for quantifying research impact[J]. arXiv: 1507.03650, 2015.

    [7]Bornmann L, Daniel H D. What do we know about the h index[J]. Journal of the American Society for Information Science and Technology, 2007, 58(9): 1381-1385.

    [8]李乾瑞,郭俊芳,黃穎,等.基于專利計量的顛覆性技術識別方法研究[J].科學學研究,2021,39(7):1166-1175.

    [9]Lezama-Nicolás R, Rodríguez-Salvador M, Río-belver R, et al.. A bibliometric method for assessing technological maturity: the case of additive manufacturing[J]. Scientometrics, 2018, 117(3): 1425-1452.

    [10]Tang J, Zhang J, Yao L, et al.. Arnetminer: extraction and mining of academic social networks[A]. Proceedings of the 14th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining[C]. New York: ACM, 2008. 990-998.

    [11]Park M, Leahey E, Funk R. The decline of disruptive science and technology[J]. arXiv: 2106.11184, 2021.

    [12]李廣建,羅立群.走向知識融合——大數(shù)據(jù)環(huán)境下情報學的發(fā)展趨勢[J].中國圖書館學報,2020,46(6):27-41.

    [13]羅瑞,許海云,董坤.領域前沿識別方法綜述[J].圖書情報工作,2018,62(23):119-131.

    [14]Small H, Boyack K W, Klavans R. Identifying emerging topics in science and technology[J]. Research Policy, 2014, 43(8): 1450-1467.

    [15]Rotolo D, Hicks D, Martin B R. What is an emerging technology[J]. Research Policy, 2015, 44(10): 1827-1843.

    [16]Porter A L, Garner J, Carley S F, et al.. Emergence scoring to identify frontier R&D topics and key players[J]. Technological Forecasting and Social Change, 2019, 146: 628-643.

    [17]周源,劉宇飛,薛瀾.一種基于機器學習的新興技術識別方法:以機器人技術為例[J].情報學報,2018,37(9):939-955.

    [18]張迪,冷伏海.基于施引論文的研究前沿追蹤方法與實證研究[J].情報科學,2020,39(4):62-69.

    [19]Fajardo-ortiz D, Lopez-cervantes M, Duran L, et al.. The emergence and evolution of the research fronts in HIV/AIDS research[J]. PLoS One, 2017, 12(5): e0178293.

    [20]Andersen B. The evolution of technological trajectories 1890-1990[J]. Structural Change and Economic Dynamics, 1998, 9(1): 5-34.

    [21]Funk R J, Owen-smith J. A dynamic network measure of technological change[J]. Management Science, 2017, 63(3): 791-817.

    [22]Wu L, Wang D, Evans J A. Large teams develop and small teams disrupt science and technology[J]. Nature, 2019, 566(7744): 378-382.

    [23]彭春燕.日本設立顛覆性技術創(chuàng)新計劃探索科技計劃管理改革[J].中國科技論壇,2015,(4):141-147.

    [24]Zamani M, Yalcin H, Naeini A B, et al.. Developing metrics for emerging technologies: identification and assessment[J]. Technological Forecasting and Social Change, 2022, 176: 121456.

    [25]Bower J L, Christensen C M. Disruptive technologies: catching the wave[J]. The Journal of Product Innovation Management, 1996, 1(13): 75-76.

    [26]Brunt L, Lerner J, Nicholas T. Inducement prizes and innovation[J]. The Journal of Industrial Economics, 2012, 60(4): 657-696.

    [27]Ning H, Hu S. Technology classification, industry, and education for future Internet of things[J]. International Journal of Communication Systems, 2012, 25(9): 1230-1241.

    [28]Bose R. Advanced analytics: opportunities and challenges[J]. Industrial Management & Data Systems, 2009, 109(2): 155-172.

    [29]Cozzens S, Gatchair S, Kang J, et al.. Emerging technologies: quantitative identification and measurement[J]. Technology Analysis & Strategic Management, 2010, 22(3): 361-376.

    [30]Ibez J, Brevik E C, Cerd A. Geodiversity and geoheritage: detecting scientific and geographic biases and gaps through a bibliometric study[J]. Science of the Total Environment, 2019, 659: 1032-1044.

    [31]Jovanovic B. The technology cycle and inequality[J]. The Review of Economic Studies, 2009, 76(2): 707-729.

    [32]Dotsika F, Watkins A. Identifying potentially disruptive trends by means of keyword network analysis[J]. Technological Forecasting and Social Change, 2017, 119: 114-127.

    [33]Vojak B A, Chambers F A. Roadmapping disruptive technical threats and opportunities in complex, technology-based subsystems: the SAILS methodology[J]. Technological Forecasting and Social Change, 2004, 71(1-2): 121-139.

    [34]何然,李鋼.國外技術預測理論與實踐進展[J].沈陽工業(yè)大學學報,2015,8(2):97-108.

    [35]Mathews J H. Bounded population growth: a curve fitting lesson[J]. Mathematics and Computer Education, 1992, 26(2): 169-176.

    [36]蘭月新.基于動態(tài)logistic模型的文獻增長規(guī)律研究[J].情報科學,2014,32(3):86-89.

    猜你喜歡
    文獻計量人工智能
    我校新增“人工智能”本科專業(yè)
    2019:人工智能
    商界(2019年12期)2019-01-03 06:59:05
    人工智能與就業(yè)
    數(shù)讀人工智能
    小康(2017年16期)2017-06-07 09:00:59
    基于文獻計量的數(shù)據(jù)素養(yǎng)及其教育領域研究態(tài)勢分析
    國內(nèi)電子商務學術研究進展分析
    我國醫(yī)學數(shù)字圖書館研究的文獻計量分析
    國內(nèi)外智庫研究態(tài)勢知識圖譜對比分析
    國內(nèi)外政府信息公開研究的脈絡、流派與趨勢
    基于文獻計量分析我國生物科學素養(yǎng)研究狀況(2001~2016年)
    在线国产一区二区在线| 精品一区二区三区视频在线 | 男女做爰动态图高潮gif福利片| 午夜福利成人在线免费观看| 亚洲精华国产精华精| 欧美性猛交╳xxx乱大交人| 亚洲精品粉嫩美女一区| 亚洲欧美日韩卡通动漫| 一个人观看的视频www高清免费观看| 偷拍熟女少妇极品色| 身体一侧抽搐| 十八禁网站免费在线| 搡老岳熟女国产| 2021天堂中文幕一二区在线观| 国产乱人视频| 欧美日本亚洲视频在线播放| 欧美av亚洲av综合av国产av| 国产成人系列免费观看| 草草在线视频免费看| 国产一区二区亚洲精品在线观看| 亚洲精品国产精品久久久不卡| 亚洲精品日韩av片在线观看 | 人人妻人人看人人澡| 国产成人啪精品午夜网站| 特大巨黑吊av在线直播| 在线十欧美十亚洲十日本专区| 老汉色∧v一级毛片| 久久久久久人人人人人| 日韩国内少妇激情av| 国产精品一区二区免费欧美| 桃色一区二区三区在线观看| 精品99又大又爽又粗少妇毛片 | 麻豆国产97在线/欧美| 久久久久久久午夜电影| 午夜亚洲福利在线播放| 色av中文字幕| 小说图片视频综合网站| 国产精品,欧美在线| 天天躁日日操中文字幕| 亚洲男人的天堂狠狠| 免费人成在线观看视频色| 国产熟女xx| 国产精品 欧美亚洲| 真人一进一出gif抽搐免费| 亚洲av日韩精品久久久久久密| 啦啦啦免费观看视频1| 精品久久久久久,| 香蕉av资源在线| 午夜老司机福利剧场| 午夜福利成人在线免费观看| 久久久精品大字幕| 欧美高清成人免费视频www| 内地一区二区视频在线| 亚洲人与动物交配视频| 欧美成人a在线观看| 99riav亚洲国产免费| 在线观看午夜福利视频| 国产视频内射| 欧美高清成人免费视频www| 欧美又色又爽又黄视频| 国产精品自产拍在线观看55亚洲| 特大巨黑吊av在线直播| 好看av亚洲va欧美ⅴa在| 亚洲色图av天堂| 国产精品一区二区三区四区免费观看 | 精品人妻1区二区| 午夜福利高清视频| 欧美日本亚洲视频在线播放| 日韩欧美免费精品| 日本三级黄在线观看| 成年版毛片免费区| 美女黄网站色视频| 男女之事视频高清在线观看| 青草久久国产| 日本一二三区视频观看| 搡老妇女老女人老熟妇| 长腿黑丝高跟| 国产精品日韩av在线免费观看| 国产av不卡久久| 一夜夜www| 中出人妻视频一区二区| 久久久久免费精品人妻一区二区| 在线观看66精品国产| 欧美日韩黄片免| 亚洲av五月六月丁香网| 日韩欧美在线乱码| 啦啦啦韩国在线观看视频| a级一级毛片免费在线观看| 国产精品98久久久久久宅男小说| 欧美午夜高清在线| 给我免费播放毛片高清在线观看| 国产高清三级在线| 伊人久久精品亚洲午夜| 国产精品98久久久久久宅男小说| 欧美日本视频| 天堂影院成人在线观看| 亚洲在线观看片| 美女被艹到高潮喷水动态| 亚洲av五月六月丁香网| 亚洲成人精品中文字幕电影| 久久久久久久久久黄片| 长腿黑丝高跟| 黄片小视频在线播放| 男女午夜视频在线观看| 亚洲精品日韩av片在线观看 | 美女高潮喷水抽搐中文字幕| 18禁裸乳无遮挡免费网站照片| 观看免费一级毛片| 午夜福利在线在线| 亚洲欧美日韩卡通动漫| 午夜精品一区二区三区免费看| 国产免费一级a男人的天堂| 国产不卡一卡二| 国产成人福利小说| 亚洲av电影在线进入| 亚洲欧美日韩卡通动漫| 亚洲精品久久国产高清桃花| 99久久无色码亚洲精品果冻| 国产高清有码在线观看视频| 真人一进一出gif抽搐免费| www国产在线视频色| 中文字幕av在线有码专区| 国产精品综合久久久久久久免费| 男女做爰动态图高潮gif福利片| 亚洲av美国av| 久久久成人免费电影| 日韩欧美一区二区三区在线观看| 国产精品久久久久久精品电影| 色吧在线观看| 免费高清视频大片| 中国美女看黄片| 九色国产91popny在线| 12—13女人毛片做爰片一| 欧美性猛交黑人性爽| 美女高潮的动态| 精品福利观看| 国产一区二区在线观看日韩 | 一个人观看的视频www高清免费观看| 亚洲成av人片在线播放无| 中文字幕人妻熟人妻熟丝袜美 | 国产真实伦视频高清在线观看 | 网址你懂的国产日韩在线| 99久久九九国产精品国产免费| 国产探花极品一区二区| 欧美日韩瑟瑟在线播放| 身体一侧抽搐| 午夜免费观看网址| 亚洲熟妇熟女久久| 国产高清有码在线观看视频| 欧美国产日韩亚洲一区| 中文字幕av成人在线电影| 超碰av人人做人人爽久久 | 国产高清视频在线播放一区| 亚洲欧美一区二区三区黑人| aaaaa片日本免费| 高潮久久久久久久久久久不卡| 色综合婷婷激情| 看黄色毛片网站| 国产亚洲精品av在线| 亚洲色图av天堂| 午夜影院日韩av| 久久婷婷人人爽人人干人人爱| 黄色视频,在线免费观看| 精品午夜福利视频在线观看一区| 精品一区二区三区人妻视频| 精品免费久久久久久久清纯| 中文在线观看免费www的网站| 精品一区二区三区视频在线观看免费| 国产主播在线观看一区二区| 亚洲av一区综合| 亚洲精品影视一区二区三区av| 桃红色精品国产亚洲av| 亚洲成av人片免费观看| 亚洲av不卡在线观看| 真人做人爱边吃奶动态| 日本成人三级电影网站| 欧美性感艳星| 国产av一区在线观看免费| 1000部很黄的大片| 国产一区二区在线av高清观看| 久久九九热精品免费| 国产v大片淫在线免费观看| 亚洲人成网站在线播| 美女被艹到高潮喷水动态| 老司机深夜福利视频在线观看| 精品国产亚洲在线| 在线视频色国产色| 国产国拍精品亚洲av在线观看 | 麻豆一二三区av精品| eeuss影院久久| 国产亚洲精品久久久com| 久久久久免费精品人妻一区二区| 一进一出好大好爽视频| 精品无人区乱码1区二区| 精品久久久久久久人妻蜜臀av| 国产午夜福利久久久久久| ponron亚洲| 日本 av在线| 九色成人免费人妻av| 天天躁日日操中文字幕| 亚洲人成网站在线播| 搡老熟女国产l中国老女人| 12—13女人毛片做爰片一| 有码 亚洲区| 国产v大片淫在线免费观看| 国产一区二区三区视频了| 听说在线观看完整版免费高清| 日韩欧美在线二视频| 日韩人妻高清精品专区| 91在线精品国自产拍蜜月 | 亚洲国产高清在线一区二区三| 日本与韩国留学比较| 久久久久久久久大av| 国产精品三级大全| 欧美日韩乱码在线| 夜夜爽天天搞| 很黄的视频免费| 亚洲最大成人中文| 亚洲av成人av| 99在线视频只有这里精品首页| 亚洲avbb在线观看| 国产激情欧美一区二区| 日日摸夜夜添夜夜添小说| 少妇的逼水好多| 免费av不卡在线播放| ponron亚洲| 国产高清视频在线观看网站| 99久久精品国产亚洲精品| 99国产精品一区二区三区| 男女午夜视频在线观看| 国产国拍精品亚洲av在线观看 | 日本免费a在线| 毛片女人毛片| 人妻久久中文字幕网| 天堂影院成人在线观看| 午夜免费男女啪啪视频观看 | 69人妻影院| 好男人在线观看高清免费视频| 看黄色毛片网站| 亚洲精品一区av在线观看| 一个人免费在线观看的高清视频| 在线观看午夜福利视频| 在线看三级毛片| 亚洲第一电影网av| 成人欧美大片| h日本视频在线播放| 国产精品久久久久久亚洲av鲁大| 岛国视频午夜一区免费看| 国产成人av教育| 白带黄色成豆腐渣| 五月玫瑰六月丁香| 麻豆成人午夜福利视频| 久久欧美精品欧美久久欧美| 国产高潮美女av| 亚洲一区二区三区色噜噜| 亚洲美女黄片视频| 亚洲精品粉嫩美女一区| 亚洲欧美日韩高清专用| 波多野结衣巨乳人妻| 精华霜和精华液先用哪个| 嫩草影院入口| 日韩精品中文字幕看吧| 性色av乱码一区二区三区2| 中文在线观看免费www的网站| 国产一级毛片七仙女欲春2| 欧美一区二区国产精品久久精品| 最新在线观看一区二区三区| 亚洲成人免费电影在线观看| 日本a在线网址| 中文字幕高清在线视频| 有码 亚洲区| 欧美国产日韩亚洲一区| 久久亚洲精品不卡| 成熟少妇高潮喷水视频| 一级a爱片免费观看的视频| 国产美女午夜福利| 悠悠久久av| 欧美成人一区二区免费高清观看| 日韩精品中文字幕看吧| 91在线精品国自产拍蜜月 | 亚洲av日韩精品久久久久久密| 国产又黄又爽又无遮挡在线| 搡女人真爽免费视频火全软件 | 日本免费一区二区三区高清不卡| 日韩亚洲欧美综合| 中文亚洲av片在线观看爽| 丝袜美腿在线中文| www日本在线高清视频| 亚洲狠狠婷婷综合久久图片| 国产欧美日韩精品一区二区| 九色成人免费人妻av| 最近最新中文字幕大全电影3| 亚洲精品成人久久久久久| 三级毛片av免费| 亚洲精品在线美女| 男人的好看免费观看在线视频| 少妇高潮的动态图| 91在线精品国自产拍蜜月 | 国产精品久久视频播放| 国产乱人伦免费视频| 日本免费a在线| 亚洲国产欧美网| 亚洲内射少妇av| 久久久久久久亚洲中文字幕 | 午夜免费激情av| 国产乱人伦免费视频| 搡老妇女老女人老熟妇| 老司机深夜福利视频在线观看| a级毛片a级免费在线| 天堂网av新在线| 91麻豆精品激情在线观看国产| 亚洲avbb在线观看| 国内揄拍国产精品人妻在线| 内地一区二区视频在线| 亚洲美女视频黄频| 欧美中文综合在线视频| 草草在线视频免费看| 亚洲欧美精品综合久久99| 亚洲真实伦在线观看| 国产成人av教育| 国产高清视频在线播放一区| 亚洲五月婷婷丁香| 午夜福利在线观看免费完整高清在 | 高清毛片免费观看视频网站| 精品不卡国产一区二区三区| 欧美xxxx黑人xx丫x性爽| 少妇高潮的动态图| 69人妻影院| 国产精品99久久久久久久久| 国产伦人伦偷精品视频| 特级一级黄色大片| 国产高清有码在线观看视频| 婷婷亚洲欧美| 色播亚洲综合网| 伊人久久精品亚洲午夜| 久久6这里有精品| 亚洲最大成人中文| 69人妻影院| 内射极品少妇av片p| 国产精品精品国产色婷婷| 中文字幕高清在线视频| 亚洲性夜色夜夜综合| 真人做人爱边吃奶动态| 久久久精品欧美日韩精品| 午夜日韩欧美国产| 听说在线观看完整版免费高清| 午夜免费男女啪啪视频观看 | 免费无遮挡裸体视频| 两个人视频免费观看高清| 搞女人的毛片| 欧美zozozo另类| 亚洲最大成人中文| 夜夜爽天天搞| 欧美区成人在线视频| 中国美女看黄片| 在线观看66精品国产| 午夜福利在线观看吧| 免费无遮挡裸体视频| 亚洲黑人精品在线| www日本在线高清视频| 91在线精品国自产拍蜜月 | 青草久久国产| 亚洲成人久久性| 国产淫片久久久久久久久 | 无遮挡黄片免费观看| 久久久国产成人免费| 黄色成人免费大全| 91九色精品人成在线观看| 亚洲av成人不卡在线观看播放网| 亚洲av第一区精品v没综合| 国产中年淑女户外野战色| 两性午夜刺激爽爽歪歪视频在线观看| 国内揄拍国产精品人妻在线| 亚洲国产精品成人综合色| 夜夜躁狠狠躁天天躁| 精品人妻1区二区| 中国美女看黄片| av天堂中文字幕网| 久久九九热精品免费| 国产一区二区三区视频了| 真人一进一出gif抽搐免费| av在线蜜桃| av女优亚洲男人天堂| 麻豆久久精品国产亚洲av| 1024手机看黄色片| 亚洲av成人不卡在线观看播放网| 欧美黄色淫秽网站| 最新中文字幕久久久久| 国产aⅴ精品一区二区三区波| 黄片小视频在线播放| 精品久久久久久久久久免费视频| 床上黄色一级片| 日本在线视频免费播放| 成人三级黄色视频| 欧美极品一区二区三区四区| 男女下面进入的视频免费午夜| 久99久视频精品免费| 99视频精品全部免费 在线| 男插女下体视频免费在线播放| 国产午夜福利久久久久久| 久久久国产成人免费| 亚洲 国产 在线| 亚洲人成伊人成综合网2020| 亚洲成人中文字幕在线播放| 久久伊人香网站| 日韩人妻高清精品专区| 日韩高清综合在线| 成人高潮视频无遮挡免费网站| 亚洲无线在线观看| 国产精品电影一区二区三区| 亚洲av日韩精品久久久久久密| 91在线观看av| 69av精品久久久久久| 国语自产精品视频在线第100页| 久久精品91无色码中文字幕| 亚洲电影在线观看av| 1024手机看黄色片| 精品人妻1区二区| 99精品久久久久人妻精品| 日韩欧美 国产精品| 在线免费观看不下载黄p国产 | 成人永久免费在线观看视频| 搡老妇女老女人老熟妇| av福利片在线观看| 麻豆国产av国片精品| 国产三级中文精品| 又爽又黄无遮挡网站| 18禁黄网站禁片免费观看直播| 日韩欧美在线二视频| 国产精品免费一区二区三区在线| 国产探花在线观看一区二区| 亚洲av成人av| 国产aⅴ精品一区二区三区波| 中文字幕人成人乱码亚洲影| 18禁黄网站禁片午夜丰满| 中文亚洲av片在线观看爽| 久久久久久久精品吃奶| 欧美日本视频| 国产一区二区在线av高清观看| 中文在线观看免费www的网站| 久久婷婷人人爽人人干人人爱| xxx96com| 亚洲av日韩精品久久久久久密| 欧美乱色亚洲激情| 色精品久久人妻99蜜桃| 国产高潮美女av| 夜夜夜夜夜久久久久| 在线观看一区二区三区| 国产在线精品亚洲第一网站| 色综合站精品国产| 欧美激情久久久久久爽电影| 给我免费播放毛片高清在线观看| 久久欧美精品欧美久久欧美| 精品99又大又爽又粗少妇毛片 | 搡女人真爽免费视频火全软件 | 老汉色av国产亚洲站长工具| 窝窝影院91人妻| 听说在线观看完整版免费高清| 又黄又爽又免费观看的视频| 午夜福利视频1000在线观看| 午夜福利在线在线| 日韩欧美在线二视频| 亚洲18禁久久av| 亚洲成av人片在线播放无| 99国产精品一区二区蜜桃av| 国产午夜福利久久久久久| 三级毛片av免费| 欧美在线黄色| 老师上课跳d突然被开到最大视频 久久午夜综合久久蜜桃 | 国产精品爽爽va在线观看网站| 老司机深夜福利视频在线观看| 精品久久久久久久末码| 日本免费一区二区三区高清不卡| 91麻豆av在线| 天堂动漫精品| 国产伦在线观看视频一区| 国产精品久久久久久人妻精品电影| 欧美三级亚洲精品| 美女 人体艺术 gogo| 91av网一区二区| 制服人妻中文乱码| 亚洲av日韩精品久久久久久密| 欧美精品啪啪一区二区三区| 亚洲成av人片免费观看| 午夜影院日韩av| 日本在线视频免费播放| 亚洲国产欧美人成| 少妇高潮的动态图| av女优亚洲男人天堂| 亚洲欧美日韩无卡精品| 真实男女啪啪啪动态图| av在线天堂中文字幕| 亚洲精品一卡2卡三卡4卡5卡| 欧美色视频一区免费| 久久人人精品亚洲av| 99久久成人亚洲精品观看| 女生性感内裤真人,穿戴方法视频| 老司机深夜福利视频在线观看| 俺也久久电影网| 国产精品影院久久| 在线播放国产精品三级| 丰满乱子伦码专区| 一个人看的www免费观看视频| 亚洲国产色片| 午夜福利欧美成人| 99精品在免费线老司机午夜| 91在线精品国自产拍蜜月 | e午夜精品久久久久久久| 男女做爰动态图高潮gif福利片| 美女被艹到高潮喷水动态| а√天堂www在线а√下载| 全区人妻精品视频| 最新在线观看一区二区三区| 丰满人妻一区二区三区视频av | 亚洲av成人av| 亚洲最大成人中文| 精品一区二区三区视频在线 | 淫妇啪啪啪对白视频| 免费大片18禁| 精品国产亚洲在线| 国产单亲对白刺激| 亚洲18禁久久av| 老司机深夜福利视频在线观看| 国产精华一区二区三区| 亚洲美女黄片视频| 精品久久久久久久久久免费视频| 午夜亚洲福利在线播放| 身体一侧抽搐| 亚洲av不卡在线观看| 老汉色av国产亚洲站长工具| 亚洲国产精品合色在线| 亚洲人成电影免费在线| 草草在线视频免费看| 波多野结衣巨乳人妻| 最近最新免费中文字幕在线| 波多野结衣高清无吗| 99久久成人亚洲精品观看| 久久久精品欧美日韩精品| 精品不卡国产一区二区三区| e午夜精品久久久久久久| 久久中文看片网| 在线播放无遮挡| 欧美成人一区二区免费高清观看| av天堂在线播放| 中文在线观看免费www的网站| 黄色视频,在线免费观看| 午夜两性在线视频| 成年免费大片在线观看| 亚洲精品色激情综合| 国产精品99久久久久久久久| 日韩亚洲欧美综合| 男人舔女人下体高潮全视频| 99久久精品一区二区三区| 免费搜索国产男女视频| 男人舔奶头视频| 国产精品 欧美亚洲| 精品久久久久久久毛片微露脸| 国产老妇女一区| 最新在线观看一区二区三区| 波多野结衣高清作品| 757午夜福利合集在线观看| 成人性生交大片免费视频hd| 草草在线视频免费看| 9191精品国产免费久久| 毛片女人毛片| 午夜福利欧美成人| 波多野结衣巨乳人妻| 在线观看午夜福利视频| 亚洲成人精品中文字幕电影| 日韩大尺度精品在线看网址| 亚洲黑人精品在线| 久久久久亚洲av毛片大全| 久久国产精品人妻蜜桃| 午夜亚洲福利在线播放| 91久久精品电影网| 在线播放国产精品三级| 超碰av人人做人人爽久久 | 18禁裸乳无遮挡免费网站照片| 村上凉子中文字幕在线| 脱女人内裤的视频| 色精品久久人妻99蜜桃| 国产午夜精品久久久久久一区二区三区 | 熟女电影av网| 老司机午夜福利在线观看视频| 变态另类丝袜制服| av天堂中文字幕网| 又爽又黄无遮挡网站| 床上黄色一级片| 麻豆成人av在线观看| 国产成人欧美在线观看| 亚洲精品国产精品久久久不卡| 小说图片视频综合网站| 亚洲精品456在线播放app | 亚洲18禁久久av| 老熟妇乱子伦视频在线观看| aaaaa片日本免费| 天堂动漫精品| 亚洲av二区三区四区| 色视频www国产| 变态另类丝袜制服| 欧美日韩综合久久久久久 | 国产精品久久久久久人妻精品电影| 日韩欧美国产一区二区入口| 久久久久久久亚洲中文字幕 | 国产av一区在线观看免费| 亚洲av一区综合| ponron亚洲| 最新美女视频免费是黄的| 女人十人毛片免费观看3o分钟| 欧美又色又爽又黄视频| 高潮久久久久久久久久久不卡| 日本 欧美在线| 欧美av亚洲av综合av国产av| 午夜视频国产福利| 黄片大片在线免费观看|