基于SCI的科研成果綜合評價模型的構建

趙 磊 邵偉文

(1. 河北建筑工程學院圖書館 張家口 075024; 2. 中國科學院文獻情報中心 北京 100190)

·管理論壇·

基于SCI的科研成果綜合評價模型的構建

趙 磊1邵偉文2

(1. 河北建筑工程學院圖書館 張家口 075024; 2. 中國科學院文獻情報中心 北京 100190)

構建了科研成果多指標綜合評價模型，介紹了評價模型的建模過程，以SCI數(shù)據(jù)庫收錄的某科研單位科研成果為數(shù)據(jù)來源，選取七個單項指標，運用評價模型得出科研人員科研成果的綜合評價結果。

科研評價 評價模型 科研管理

1 引言

科研成果評價是一個極其復雜和重要的問題，評價標準和評價方法直接關系到評價結果的科學性、合理性，也關系到能否客觀公正地反映科技工作者的勞動價值[1]。目前，國內運用較多的科研績效評價工具是《科學引文索引》(簡稱SCI)數(shù)據(jù)庫。但是，在使用SCI進行科研成果評價的過程中也存在一些問題。譬如當前的科研成果評價存在過分強調量化的傾向，過分強調論文的數(shù)量，忽視或不夠重視科研成果的質量和實際效益等[2-4]。筆者認為，科研成果評價是一個復雜的過程，應該建立健全評價機制和評價程序，在利用SCI進行科研評價時不應該只使用單個指標，而是要把SCI的多種評價指標結合起來對科研成果進行綜合性的、定量化的評價。鑒于此，我們構建了基于SCI的多指標綜合評價模型，旨在科學合理地利用SCI這一分析工具，為科研成果評價提供參考。

2 多指標綜合評價模型的構建

2.1 指標選取

為了避免單一指標評價的片面性，本文選取論文數(shù)、論文總被引用次數(shù)、論文篇均被引用次數(shù)、論文年均被引用次數(shù)、h指數(shù)、單篇最高被引用次數(shù)和單篇年均被引用次數(shù)7個指標作為評價模型的指標來源。各指標的含義如下：

論文數(shù)是指個人在一定時間內發(fā)表的論文總數(shù)。論文數(shù)是對科研生產力的直接反映，但是論文總數(shù)無法測度論文的重要性和影響力。

論文總被引用次數(shù)是指已發(fā)表論文在發(fā)表后的一段時間內被引用的次數(shù)之和。它直接反映了論文產生的影響力，能夠在很大程度上測度研究成果對科學發(fā)展所做的貢獻，但是不適于測度論文引證數(shù)分布極不均衡的情形。如果只有少數(shù)論文被大量引用，而其他多數(shù)論文的引證數(shù)卻很低，那么采用總引證數(shù)的評價結果就會被夸大。

論文篇均被引用次數(shù)是指總引證數(shù)除以總論文數(shù)的結果。這個指標對發(fā)表論文少但每篇論文引證數(shù)較高的人比較有利，而可能不太利于論文多產者。

論文年均被引用次數(shù)用來表征論文作者的成果持續(xù)影響程度。

h指數(shù)把論文引證數(shù)作為衡量研究工作的內在指標，論文數(shù)量作為參考指標，h指數(shù)本身是在這兩種指標之間取一個平衡，從而綜合考察論文的數(shù)量和影響力[5]。

單篇最高被引用次數(shù)和單篇年均被引用次數(shù)兩個指標的作用在于突出單篇論文的重要性。因為有的作者雖然發(fā)表論文數(shù)量極少但是論文質量非常高，影響力非常大。這兩個指標可以突出核心論文的重要性。

2.2 評價模型關鍵步驟解析

本文提出的多指標綜合評價模型的構建分為單指標平滑處理、計算單項指標得分、計算多指標綜合得分三個部分。其中，單項指標數(shù)據(jù)序列對平均值和最大值的確定、單項指標權重的設定都由專家根據(jù)經驗而定。因此，本文所利用的多指標評價方法是定性與定量評價的結合、主觀評價與客觀評價的統(tǒng)一，既融入了專家經驗，又通過客觀的指標選取與分值計算得出相對定量化的評價結果。需要注意的是，各個單項指標的選擇不是固定的，本文選取了論文數(shù)、論文總被引用次數(shù)、h指數(shù)等七項指標，具體操作中可以根據(jù)需要適當增減評價指標。模型構建流程圖如圖1所示。

圖1 多指標綜合評價模型構建流程圖

2.2.1 單指標平滑處理 將科研人員論文總數(shù)作為科研成果評價指標之一，數(shù)據(jù)序列A表示某科研單位所有科研人員在某一段時間內發(fā)表的論文數(shù)量，A=(a1，a2，……，an)。對數(shù)據(jù)系列A進行排序是很簡單的，但是僅憑發(fā)表論文數(shù)量的多少，只能直接反映該科研人員的科研生產力，而無法測度論文的重要性和影響力。比如，某科研人員發(fā)表了10篇論文，他可能比發(fā)表5篇論文的科研人員的科研水平高一些，但如果據(jù)此認為他們之間有兩倍的差距，可能會導致不合理的評價。為了使數(shù)據(jù)不至于有太劇烈的變動，減少指標賦予權值時偶然因素的干擾，首先將數(shù)據(jù)做對數(shù)平滑化處理。即對數(shù)據(jù)序列A取自然對數(shù)：

logA=(loga1，loga2，……，logan)

2.2.2 單指標分值確定

第一步，對平滑處理后的數(shù)據(jù)序列取平均值，即：ElogA=(loga1+loga2+……+logan)/n；

第二步，對平滑處理后的數(shù)據(jù)序列取最大值，即：maxlogA；

第三步，對獲得平均值的對象賦予一個合適的分值S0，對獲得最大值的對象賦予分值S。比如若采用百分制，可以取S0=80，S=100(S0和S的取值根據(jù)專家經驗設定)，其他對象得分根據(jù)距離平均值遠近的比例計算，即采用以下公式計算分值：

Sk=S0+(S-S0)*(logak-ElogA)/(maxlogA-ElogA)

(1)

由此，可以得到某科研單位所有科研人員在論文總數(shù)這一指標的得分情況。同理，也可以對其他指標采用相同的方法得出具體分值，最后對所有指標進行平均或者加權平均計算總評分。

2.2.3 計算綜合評分 對每一項指標進行定量分析并給出合適的單項分值后，然后根據(jù)專家經驗設定各單項指標的權重，最后進行總的加權平均獲得綜合評分。

3 實證分析

3.1 數(shù)據(jù)來源

以筆者對口服務的某科研單位為例，從SCI數(shù)據(jù)庫中檢索出該機構所有論文，然后對每位在崗科研人員的論文情況提取論文總數(shù)、論文總被引用次數(shù)、論文篇均被引用次數(shù)、論文年均被引用次數(shù)、單篇論文最高被引用次數(shù)、單篇論文年均被引用次數(shù)等數(shù)據(jù)(原始數(shù)據(jù)見表1)。需要注意的是，考慮到不同學科的差異性，本模型只適合對特定的學科科研人員的科研成果做綜合評價。

表1 原始數(shù)據(jù)(采集日期：2011年5月24日)

如2.2所述，首先對每項指標進行定量分析并給出合適的單項分值，然后進行總的加權平均獲得總評分，最后進行比較分析。在本研究中，各指標的權重根據(jù)專家經驗分別設為15%、10%、15%、20%、20%、10%、10%。綜合評分計算如下：

綜合評分=論文數(shù)×15%+總被引×10%+篇均被引×15%+年均被引×20%+h指數(shù)×20%+單篇最高被引×10%+單篇年均被引×10%

3.2 數(shù)據(jù)處理與結果分析

筆者采用多指標綜合評價模型，將上述數(shù)據(jù)代入模型公式(1)進行計算，為了防止有些科研人員某些指標為0而導致無法進行取對數(shù)運算，對原始數(shù)據(jù)做了技術處理，即將原有數(shù)據(jù)指標統(tǒng)一加上1。這也可以看成該指標有潛在增加1的可能性，比如論文數(shù)，可以默認將正在撰寫的論文算成1篇，以方便取對數(shù)值，從而得出各單項指標的得分。然后，為各指標賦予權重，計算總評分。各指標具體得分情況見表2，各項指標排名前20名的名單見表3。

表2 各指標得分情況及綜合評分

表3 各項指標前20名的作者

從表3可以看出，各項指標比較靠前的一般排名比較靠前，如果只有個別指標靠前的話，排名一般會比較靠后。根據(jù)此表，可以分析每個科研人員各項指標在全體科研人員中間的相對位置，也有助于科研人員個人調整自己的研究目標，比如論文較多的科研人員可以考慮多做難度和影響較大的工作，論文被引用頻次較多的科研人員可以多考慮挑戰(zhàn)性比較大的問題。

另外，我們取總評分名次前20名的科研人員，對其他指標重新排序(h指數(shù)除外，并列排名較多，意義不大)，確定其在此20人中的相對排名，得到如下雷達圖(如圖2所示)。該雷達圖的每一根射線代表一位科研人員，射線上的點代表該科研人員各指標取得的名次，點越靠近中心，表明該科研人員的名次越靠前。

從圖2中可以看出，各項指標都靠近中心位置的科研人員，總名次也靠近中心位置，這些科研人員往往是團隊的核心人員。然而大部分科研人員各個指標的排名分布并不均勻，有靠近中心位置的指標，也有偏離中心位置的指標，從圖中可以清晰地看出各科研人員不同指標的排名情況，進而可以分析得出導致綜合排名先后的原因。同時，該模型的作用之一是有利于發(fā)現(xiàn)有潛力的科研人員。如圖，總評分排名靠后，而論文數(shù)量不多，論文被引用情況良好的人員通常是從業(yè)時間不長的有潛力的科研人員。反之，有的科研人員綜合評分較靠前，但仔細分析可能會發(fā)現(xiàn)其主要是在發(fā)表論文數(shù)量方面取勝。根據(jù)此模型和排名圖，可以發(fā)現(xiàn)有潛力的科研人員、多產科研人員、科研成果影響較大的科研人員等，這對于科研管理部門進行項目管理、成果評價、挖掘潛在人才等具有較好的參考作用。

圖2 科研成果各指標排名圖

4 結語

本文提出了多指標綜合評價模型，據(jù)此對科研成果的各項指標進行排序，同時根據(jù)總評分得出了總體排名情況，評價結果具有一定的可取性，能夠在一定程度上反映各科研人員科研工作的實際效果和科研貢獻，具有較強的客觀性。本模型的數(shù)據(jù)來源主要來自SCI數(shù)據(jù)庫，我們也可以統(tǒng)計科研人員所有發(fā)表的論文數(shù)據(jù)，還可以增加統(tǒng)計科研人員主持或者參與的科研項目、主持或者參與的各種國際國內學術會議等數(shù)據(jù)進行分析和建模。該模型中總評分的權重是根據(jù)筆者經驗設定的，還有待進一步研究，比如可以對科研人員進行調查或由專家確定各指標的權重，也可以考慮將兩者結合起來確定各指標的權重，從而保證評價結果的公正性和客觀性。此外，模型考慮的仍然是簡單的科研成果的數(shù)量關系，對科研成果的質量判斷不足，所以還可以考慮引入科研成果同行專家評價、評論等指標，提高評價結果的科學性。

[1] 劉作義,陳曉田. 科學研究評價的性質、作用、方法及程序[J]. 科研管理,2002,23(2):35.

[2] 初景利,張冬榮. 第二代學科館員與學科化服務[J]. 圖書情報工作,2008,52(6):6-10,68.

[3] 張喜愛.正確發(fā)揮SCI評價作用 促進我國高?？蒲兴絒J].科研管理研究,2006(8):188-190.

[4] 王 卉. 科研評價：扔掉SCI?[J]. 評價與管理,2007,5(2):77-79.

[5] 劉輝鋒. h指數(shù)與科研評價的新視野[J]. 中國科技論壇,2008(5):24-28.

ConstructionofSCI-basedScientificResearchComprehensiveEvaluationModel

Zhao Lei1, Shao Weiwen2

1. Library of Hebei Institute of Architecture Civil Engineering, Zhangjiakou 075024, China; 2. Library of Chinese Academy of Sciences, Beijing 100190, China

A multi-indicator comprehensive evaluation model for scientific research is proposed. This paper detailedly introduces the process of establishing the evaluation model. It selects the SCI database as the data source, which embodies the research papers from a certain academic institute. By selecting seven indicators and applying the evaluation model, the final comprehensive evaluation results of these scientific researches are obtained.

scientific research evaluation; evaluation indicator; evaluation method

G311

趙 磊，男，1984年生，助理館員，發(fā)表論文2篇；邵偉文，男，1970年生，館員，發(fā)表論文5篇。