高?？蒲锌冃c學科發(fā)展?jié)摿υu價方法的研究

（北京工業(yè)大學，北京 100124）

1 引言

2015 年11 月，國務院印發(fā)《統(tǒng)籌推進世界一流大學和一流學科建設總體方案》[1]，以推進中國一流大學、一流學科建設（簡稱“雙一流”建設）。在此背景下，很多高校開始關注“雙一流”建設。2018 年8 月，教育部、財政部、國家發(fā)展改革委印發(fā)《關于高等學校加快“雙一流”建設的指導意見》[2]，進一步加快“雙一流”建設步伐，形成高水平人才培養(yǎng)體系。一流學科建設是一流大學建設的基礎，而一流學科的評價對一流學科的建設至關重要。面對一流學科建設所帶來的新的機遇和挑戰(zhàn)，各高校主動利用科技論文和引文數(shù)據(jù)，分析學校學科發(fā)展現(xiàn)狀和學科競爭力，探明優(yōu)勢學科，為學校的科學研究和學科發(fā)展進行積極的評價，并有針對性地為學科建設提供有效建議。

國內(nèi)外對高?？蒲锌冃гu價的研究，從數(shù)據(jù)來源上看，有選取Web of Science[3]（WoS）引文數(shù)據(jù)庫的數(shù)據(jù)，也有選取ESl[4]和InCites[5]作為科研學術評價的主要數(shù)據(jù)源，其優(yōu)點是數(shù)據(jù)規(guī)范和完整，包含各種計量指標和各學科各年度的國際標桿數(shù)據(jù)；從研究維度視角來看，大部分是單維輸入視角，即只考量高?？蒲挟a(chǎn)出，包括科研成果的數(shù)量和質(zhì)量，作為科研能力排名的重要指標。其中，MUNOZ[6]用出版物數(shù)量衡量科研產(chǎn)出，而且認為這是評估科研產(chǎn)出最常用的措施。WANG等[7]將高?？蒲谐霭嫖飻?shù)量，專利數(shù)量和知識轉(zhuǎn)移收入作為科研產(chǎn)出的重要指標。SOMBATSOMPOP等[8]依據(jù)SCI 數(shù)據(jù)，選擇發(fā)文量、引用量等指標對泰國24 所大學績效進行評估和排名。整體來看，針對單維視角，多使用發(fā)表論文數(shù)作為科研產(chǎn)出重要衡量指標[9]。也有學者從雙維視角，即從投入-產(chǎn)出視角對高?？蒲锌冃нM行評價[10]。從評價指標上來看，不僅僅要有絕對數(shù)量指標，還應包括影響力指標，設計指標時應兼顧質(zhì)和量。如邱均平[11]指出世界大學科研競爭力應該由科研生產(chǎn)力、科研影響力、科研創(chuàng)新力、科研發(fā)展力這4 個部分構(gòu)成，并下設7 個二級指標。劉楠[12]構(gòu)建了基于科研產(chǎn)出、學科影響、學科發(fā)展、學科創(chuàng)新的學科分析報告指標體系。白璐[13]從科研生產(chǎn)力、科研影響力、載文期刊、作者統(tǒng)計、國際合作5個維度分析了學科發(fā)展態(tài)勢。從研究方法上來看，國內(nèi)外關于高校科績效考核的方法研究可分為定性研究和定量研究兩大類[14]。定性研究主要包括同行評議。定量研究主要包括文獻計量分析法、層次分析法，數(shù)據(jù)包絡法等。如程艾軍[15]運用ESI 和InCites 數(shù)據(jù)對醫(yī)學院校學科發(fā)展現(xiàn)狀進行SWOT 分析，郭銀清[16]運用層次分析法確定各指標的權重，對高?？蒲行б婢C合評價模型進行了探討。周麗琴[17]應用元評價的相關原理對高?？蒲锌冃Э己斯ぷ鬟M行評估；沈立宏[18]提出基于數(shù)據(jù)包絡的分析方法對地方高?？蒲锌冃нM行評價。SALAU[19]使用結(jié)構(gòu)方程模型對大學科研創(chuàng)新績效進行評價并對其影響因素進行預測。段曉梅[20]基于投入產(chǎn)出兩方面建立高?？蒲袆?chuàng)新績效評價指標體系，并利用DEA 對中國高?？蒲袆?chuàng)新績效進行實證分析。

總體來說，已有研究雖然對高?？蒲锌冃Э己诉M行了大量探索和研究，但目前中國高?？蒲锌冃Э己梭w系還沒有完全形成，有關評價理論、模型與評價方法等還需要進一步完善與發(fā)展。

筆者認為科研影響力、國際合作能力、學科產(chǎn)出能力是高?？蒲袆?chuàng)新實力的重要體現(xiàn)?；诖?，從研究視角上，以這三維視角構(gòu)建高?？蒲袆?chuàng)新績效評價指標體系。從研究方法上，已有研究大都或運用InCites 對高校論文產(chǎn)出進行分析，或?qū)σ堰M入ESI 的學科進行評價，筆者創(chuàng)新性的通過多維視角對高?？蒲锌冃нM行評價，且對ESI 學科進行動態(tài)評價，連續(xù)6年持續(xù)對潛力學科進行跟蹤，并以作者所在的北京工業(yè)大學為例進行數(shù)據(jù)呈現(xiàn)。期望本評價方法可為高?？蒲锌冃c學科分析工作提供思路，為學校的發(fā)展戰(zhàn)略提供理論依據(jù)和數(shù)據(jù)支持。

2 分析工具的選定

InCites 是一個基于WoS 數(shù)據(jù)建立的科研評價與分析工具，能夠方便地對比分析機構(gòu)總體論文和學術影響力概況、機構(gòu)優(yōu)勢學科的全球定位等，開展與全球同行機構(gòu)和學科之間對比分析，為研究績效評價和學科規(guī)劃提供客觀依據(jù)。

InCites 數(shù)據(jù)庫主界面提供了六大模塊，①People（人員）：分析機構(gòu)的科研人員、科研團體的論文產(chǎn)出和影響力。②Organizations（機構(gòu)）：分析全球各機構(gòu)的科研績效和同行對比。③Regions（區(qū)域）：分析各機構(gòu)的國際合作區(qū)域的分布。④Research Areas（研究方向）：分析機構(gòu)在不同學科分類體系中的學科布局。⑤Journals、Books、Conference Proceedings（期刊、圖書、會議錄文獻）：分析文獻所發(fā)表的期刊、圖書和會議錄分布。⑥Funding Agencies（基金資助機構(gòu)）：分析基金資助機構(gòu)的論文資助情況。

上述六大模塊界面都可通過數(shù)據(jù)庫的篩選項進行設置。

ESI 作為一個國際性的評估指標，能夠?qū)Ω咝５目蒲袑嵙桶l(fā)展趨勢進行長期跟蹤分析，可以幫助高校查找進入全球前1%的ESI 學科數(shù)量及ESI 高被引論文、熱點論文及研究前沿，準確定位學校及學科在全球范圍的排名。如果高校目前還沒有學科進入ESI，可以通過對各學科發(fā)文量、被引頻次等指標綜合分析各學科的發(fā)展?jié)摿Γ瑢δ切┪磥碛邢ＭM入ESI 前1%的潛力學科進行預測。ESI 是目前被學術界認可的衡量科學研究績效、跟蹤科學發(fā)展趨勢的分析評價工具。

ESI 數(shù)據(jù)庫主要分為3 個模塊：①Indicators（數(shù)據(jù)指標）：可根據(jù)多個選項來篩選數(shù)據(jù)集，包括Research Fields（研究領域）、Authors（作者）、Institutions（機構(gòu)）、Journals（期刊）、Countries-Territories（國家/地區(qū)）、Research Fronts（研究前沿）；還可以選擇不同的顯示結(jié)果，包括Top Papers（高水平論文）、Highly Cited Papers（高被引論文）、Hot Papers（熱點論文）。②Field Baseline（學科基準值）：即評價基準線，是指某一ESI 學科論文的分年度期望被引次數(shù)，是衡量研究績效的基準，是幫助理解引文統(tǒng)計的標尺。③Citation Thresholds（引用閾值）：是指在某一ESI 學科中，將論文按照被引次數(shù)降序排列，確定其排名或百分比位于前列的最低被引次數(shù)。

基于ESI、InCites 開展的科研績效評價、優(yōu)勢學科評估及潛力學科預測，不僅拓展了信息服務功能，也為學校學科建設與規(guī)劃提供精準的決策支持。

3 評價指標確定

本文圍繞科研影響力、國際合作能力、科研產(chǎn)出力3 個維度，確定了3 組11 個具體指標，具體指標如表1 所示。

表1 基于ESI 和InCites 的科研產(chǎn)出與學科評價指標Table 1 Scientific research output and disciplinary evaluation index based on InCites and ESI

4 科研與學科評價方法——三維度分析法

通過InCites 和ESI 中的論文數(shù)據(jù)，結(jié)合上述評價指標和學科發(fā)展戰(zhàn)略需求，制定科研產(chǎn)出與學科評價研究的分析思路，具體如圖1 所示。

4.1 科研影響力分析

科研影響力，主要是指高校的科研學術輻射范圍以及獲得的關注度。主要通過科研論文被引用情況來揭示。具體包括以下指標：①論文被引百分比，該指標是指一組出版物中至少被引用過一次的論文占總論文數(shù)的百分比。表征了一個機構(gòu)在某領域的研究有多少受到關注。②被引次數(shù)排名前10%的論文百分比，按領域和出版年統(tǒng)計，排名前10%的論文百分比。表征了一個機構(gòu)在某領域影響力較高的論文有多少。③學科規(guī)范化的引文影響力（CNCI），通過歸一化處理，排除了學科、文獻類型、出版年的影響，進行不同規(guī)模、不同學科混合的論文集的比較。表征了一個機構(gòu)在某領域科研產(chǎn)出的影響力。CNCI 的全球基準值為1，大于1 表明被引表現(xiàn)高于全球平均水平，小于1則低于全球平均水平。通過CNCI 可以衡量一個學科的影響力。④篇均被引數(shù)：由WoS 論文被引總數(shù)除以WoS 收錄論文數(shù)而得。

依托InCites、ESI 等數(shù)據(jù)庫，按照前文所列指標，以北京工業(yè)大學為例，給出圖示和結(jié)論，更好的運用和理解指標含義，進行科研產(chǎn)出和學科服務評價的分析。

將學科分類體系為WoS，時間為2015 年至2019年進行過濾，選擇論文被引百分比、被引頻次排名前10%的論文百分比、規(guī)范化的引文影響力（CNCI）和篇均被引數(shù)這4 個指標，分別對北京工業(yè)大學和全國基準值、全球基準值進行分析，其中，全國基準值是指論文被WoS 收錄的中國發(fā)文作者所在機構(gòu)論文產(chǎn)出的平均水平，全球基準值是論文被WoS 收錄的全球發(fā)文作者所在機構(gòu)論文產(chǎn)出的平均水平。結(jié)果如圖2～圖5 所示。

圖2 2015—2019 年北京工業(yè)大學論文被引百分比Fig.2 Percentage of BJUT cited papers from 2015 to 2019

圖3 2015—2019 年北京工業(yè)大學被引次數(shù)排名前10%的論文百分比Fig.3 Top 10% of BJUT cited papers from2015 to 2019

圖4 2015—2019 年北京工業(yè)大學論文引文影響力Fig.4 Citation influence of BJUT papers from 2015 to 2019

綜合圖2～圖5 可以看出，北京工業(yè)大學近5 年的整體科研實力表現(xiàn)不凡，所發(fā)論文的關注度，高影響力論文和篇均影響力都有較大幅度的提升。

4.2 國際合作能力分析

圖5 2015—2019 年北京工業(yè)大學論文篇均被引數(shù)Fig.5 Average cited number of BJUT papers from 2015 to 2019

國際合作能力，主要以國際合作論文數(shù)和百分比進行表征。①國際合作論文百分比表征了一個機構(gòu)與國外機構(gòu)進行合作研究的程度，體現(xiàn)了機構(gòu)的國際化水平。②國際合作論文數(shù)是指包含一位或多位國際共同作者的論文數(shù)。這個指標可用來衡量機構(gòu)的國際合作程度，體現(xiàn)了機構(gòu)或科研工作者吸引國際合作的能力。

通過對國際合作能力分析，可以看出高?？蒲谐晒欠衽c國際接軌，與哪個國家在哪個領域進行科研合作，進一步挖掘合作伙伴，深化國際交流，提升自身學科發(fā)展水平。

以北京工業(yè)大學為例，利用InCites 數(shù)據(jù)庫對其在WoS 所發(fā)的Article 和Review 論文的合作情況進行分析。

從圖6 可看，北京工業(yè)大學近5 年國際合作水平大幅度增長，從國際合作論文上看，與64 個國家和地區(qū)有過合作，共計1 168 家機構(gòu)，發(fā)表2 301 篇國際合作論文。國內(nèi)與中科院合作論文數(shù)最多，且被引情況居于首位。國外與美國的合作論文數(shù)量最多。國際合作的論文引文影響力顯著高于國內(nèi)合作，說明國際合作論文質(zhì)量高，關注度高。從研究領域來看，除了國內(nèi)與哈工大合作發(fā)文在環(huán)境與能源領域，與國外的紐約州立大學合作發(fā)文在土木工程領域外，大部分合作發(fā)文研究都集中在材料科學領域（表2）。

圖6 2015—2019 年北京工業(yè)大學論文國際合作百分比Fig.6 Percentage of BJUT international cooperation papers from 2015 to 2019

表2 國際合作機構(gòu)科研產(chǎn)出相關指標Table 2 Scientific research output indicators of international cooperation institutions

4.3 學科產(chǎn)出力分析

學科產(chǎn)出力是指高校或科研人員在某一學科領域的科研論文的產(chǎn)出。具體包括WoS 收錄論文數(shù)、ESI高被引論文、進入ESI 前1%學科數(shù)和ESI 高水平論文數(shù)等。

通常被WoS 收錄的論文都具有較高的學術水平和學術價值。學術論文是科研成果的主要表現(xiàn)形式，通過WoS 收錄論文數(shù)來掌握機構(gòu)發(fā)文量，可直接反映機構(gòu)的科研產(chǎn)力。以北京工業(yè)大學為例，對其近5 年發(fā)表的論文基本情況進行統(tǒng)計分析。限定時間為2015—2019 年。圖7 呈現(xiàn)出該校近5 年所發(fā)的WoS 期刊論文和會議論文發(fā)展趨勢。

圖7 北京工業(yè)大學2015—2019 年WOS 論文發(fā)表情況Fig.7 BJUT WOS papers from 2015 to 2019

ESI 高被引論文是指在過去10 年發(fā)表的論文中，被引用次數(shù)在該學科處于全球前1%水平的論文。是評估高校頂級論文的指標。ESI 高水平論文數(shù)是ESI 高被引論文和熱點論文取并集后的論文集合。進入ESI 前1%學科數(shù)是根據(jù)ESI 的22 個學科分類，機構(gòu)近10 年來發(fā)表的論文總被引次數(shù)排在前1%的學科數(shù)。該指標主要用來衡量機構(gòu)的優(yōu)勢學科。

以北京工業(yè)大學為例，數(shù)據(jù)截至2019 年10 月22日，全球進入ESI 的機構(gòu)總量為6 081 個。北京工業(yè)大學近10 年間論文被SCIE/SSCI 收錄和引用情況如下：①論文量11 619 篇，世界排名731；②論文總被引101 124次，世界排名1 227；③篇均被引次數(shù)8.7 次，世界排名5 474；④ESI 高被引論文124 篇，熱點論文7 篇。

北京工業(yè)大學已有4 個學科進入ESI 學科全球前1%，分別是材料科學、化學、工程以及環(huán)境/生態(tài)學科，具體指標如表3 所示。

在對進入ESI 學科數(shù)的分析時，可以分別從進入ESI 學科排名相對位置追蹤和預測可能進入ESI 全球前1%的潛力學科兩個視角進行深入的分析。

4.3.1 進入ESI 學科排名相對位置追蹤

連續(xù)6 年跟蹤記錄北京工業(yè)大學進入ESI 學科的排名和相對位置。其中

相對位置=(學科機構(gòu)數(shù)－學科排名)/學科機構(gòu)數(shù)

相對位置表征該學科在所有進入ESI 學科機構(gòu)數(shù)中的位置排名，如90%表示超過了學科中90%的機構(gòu)（表4）。

4.3.2 可能進入ESI 全球前1%的潛力學科預測

ESI 閾值（ESI Thresholds）是指某學科進入ESI全球被引排名前1%的機構(gòu)中，被引頻次由高到低排序在最后一位的機構(gòu)的被引頻次，即進入ESI 學科的臨界值。用R 表示某一學科進入ESI 的相對差距。

當R≥0 時，表明該學科已進入ESI，且值越大，排名越靠前；當R＜0 時，絕對值越小，表明越接近閾值，進入ESI 的可能性越大。

表5 對北京工業(yè)大學有潛力入圍ESI 的4 個學科進行比較和預測，并計算潛力值R，圖8 是對這4 個潛力學科連續(xù)跟蹤5 年后的比對結(jié)果。結(jié)合可看，生物/生物化學，數(shù)學均發(fā)展較好，潛力最大的學科是計算機科學，在2018 年已與閾值基本持平，2019 年超過閾值，由于ESI 和InCites 數(shù)據(jù)庫更新時間節(jié)點不同，所以在ESI 中仍未顯示進入ESI 學科，但不久的將來就會入圍全球前1%的學科，成為北京工業(yè)大學第五個ESI 學科。

表3 北京工業(yè)大學進入ESI 學科情況Table 3 ESI disciplines of BJUT

表4 北京工業(yè)大學近4 年進入ESI 學科排名及相對位置情況Table 4 ESI disciplines ranking and relative positions of BJUT in recent four years

表5 北京工業(yè)大學有潛力入圍ESI 學科預測Table 5 Potential ESI disciplines prediction of BJUT

圖8 北京工業(yè)大學有潛力入圍ESI 學科與閾值的差距Fig.8 The gap between potential ESI disciplines and threshold of BJUT

5 思考和建議

在雙一流建設背景下，借助InCites 和ESI 數(shù)據(jù)庫助力高校學科服務研究，通過對高?？蒲挟a(chǎn)出和學科發(fā)展方法的研究，制定評價指標和評價體系，提出一套分析思路與方法，并以北京工業(yè)大學為例進行詳細說明。

盡管該評價方法比較合理，且簡便易操作，但是，仍存在一些局限性。如在做出合理科學的決策時，決策者需要系統(tǒng)掌握各種相關數(shù)據(jù)，數(shù)據(jù)源是一切分析工作的開始。盡管ESI、InCites 是現(xiàn)今世界公認的衡量科學研究績效、跟蹤科學發(fā)展趨勢的基本分析評價工具，但其基礎數(shù)據(jù)都來源于Web of Science 數(shù)據(jù)庫，而這一數(shù)據(jù)庫對文獻的搜集、學科的選擇是有所側(cè)重的。所以僅以這一個數(shù)據(jù)源做學科分析和評價，會存在“信息孤島”的問題。因此，引入多源異構(gòu)數(shù)據(jù)庫顯得尤為必要。但在整合數(shù)據(jù)時，各個平臺的統(tǒng)計口徑、學科映射又存在著差異。數(shù)據(jù)處理和清洗需要高級數(shù)據(jù)挖掘技術。引入高效、簡便的數(shù)據(jù)處理技術，再將數(shù)據(jù)進行標準化、歸一化處理成為亟待解決的問題。所以今后開展學科服務評價時，引入和整合更多的多元異構(gòu)數(shù)據(jù)是一大難點。