英國科研質(zhì)量評(píng)估體系及其對(duì)中國科技評(píng)價(jià)的借鑒*

王鑫哲，王應(yīng)寬，肖振紅

(1. 哈爾濱工程大學(xué)經(jīng)濟(jì)管理學(xué)院，哈爾濱市，150001； 2. 農(nóng)業(yè)農(nóng)村部規(guī)劃設(shè)計(jì)研究院，北京市，100125； 3. 中國農(nóng)業(yè)工程學(xué)會(huì)，北京市，100125)

0 引言

2018年7月，中共中央辦公廳、國務(wù)院辦公廳印發(fā)《關(guān)于深化項(xiàng)目評(píng)審、人才評(píng)價(jià)、機(jī)構(gòu)評(píng)估改革的意見》(以下簡(jiǎn)稱《意見》)[1]，要求各地區(qū)各部門結(jié)合實(shí)際認(rèn)真貫徹落實(shí)。《意見》提出：要深入推進(jìn)“三評(píng)”改革，進(jìn)一步優(yōu)化科研項(xiàng)目評(píng)審管理機(jī)制、改進(jìn)科技人才評(píng)價(jià)方式、完善科研機(jī)構(gòu)評(píng)估制度、加強(qiáng)監(jiān)督評(píng)估和科研誠信體系建設(shè)?！兑庖姟分赋觯喝瞬旁u(píng)價(jià)指標(biāo)要突出品德、能力、業(yè)績(jī)導(dǎo)向，克服唯論文、唯職稱、唯學(xué)歷、唯獎(jiǎng)項(xiàng)的“四唯”傾向。要求推行代表作評(píng)價(jià)制度，注重標(biāo)志性成果的質(zhì)量、貢獻(xiàn)與影響。《意見》要求，在科技評(píng)價(jià)中應(yīng)把學(xué)科領(lǐng)域活躍度和影響力、在重要學(xué)術(shù)組織或期刊任職、所研發(fā)成果的原創(chuàng)性、科研成果轉(zhuǎn)化的效益、科技服務(wù)的滿意度等作為重要評(píng)價(jià)指標(biāo)[1-2]。為更好地推進(jìn)中國科技評(píng)價(jià)制度改革，有必要學(xué)習(xí)借鑒國際上在科研評(píng)價(jià)方面的方法成果。研究借鑒國外科學(xué)合理的科研評(píng)價(jià)體系，為我國正在推進(jìn)的“三評(píng)價(jià)”改革提供參考依據(jù)，對(duì)推動(dòng)中國的科技創(chuàng)新、提升科研質(zhì)量和國際影響力等具有重要的理論意義和應(yīng)用價(jià)值。

中國科研評(píng)價(jià)長(zhǎng)期以來存在不少的弊病，如重?cái)?shù)量輕質(zhì)量，評(píng)價(jià)指標(biāo)單一，評(píng)價(jià)簡(jiǎn)單化，人情因素影響大，主觀性強(qiáng)，注重個(gè)人業(yè)績(jī)等。如何全面深化科技體制改革，特別是做好科研的評(píng)價(jià)和評(píng)估，以及科研經(jīng)費(fèi)分配和監(jiān)管方面的工作，迫在眉睫。因此，如何借鑒國際經(jīng)驗(yàn)，通過深化科研評(píng)估改革來加強(qiáng)科技創(chuàng)新，提升科研的質(zhì)量、影響和國際競(jìng)爭(zhēng)力，成為當(dāng)前科研領(lǐng)域的重要問題[3-5]。經(jīng)過多次調(diào)整、改進(jìn)與優(yōu)化后的英國科研卓越框架(Research Excellence Framework，REF)已經(jīng)投入應(yīng)用，已經(jīng)并正在對(duì)英國高等院校的科研事業(yè)產(chǎn)生重大影響。但由于科研評(píng)估是一項(xiàng)涉及面很廣的較為復(fù)雜體系，是一項(xiàng)系統(tǒng)工程。并且，REF在目前以及將來的實(shí)際評(píng)估實(shí)踐中還可能會(huì)出現(xiàn)一些問題或不足，因此，我們?cè)趯W(xué)習(xí)借鑒英國科研評(píng)估改革經(jīng)驗(yàn)的時(shí)候，需要根據(jù)實(shí)際情況去粗取精，去偽存真，洋為中用，批判性的借鑒其科學(xué)合理的內(nèi)容，來探索推動(dòng)我國高校與科研機(jī)構(gòu)科研評(píng)估工作的完善和發(fā)展，以此完善我國高?？蒲性u(píng)價(jià)與管理，激勵(lì)科技創(chuàng)新，增強(qiáng)科研質(zhì)量、實(shí)力與競(jìng)爭(zhēng)力，以及提升將科研成果轉(zhuǎn)化為現(xiàn)實(shí)生產(chǎn)力的能力，進(jìn)而促進(jìn)我國科技、經(jīng)濟(jì)與社會(huì)又好又快的發(fā)展[3-7]。

由于英國在科技評(píng)價(jià)領(lǐng)域的探索和領(lǐng)先，給世界各國提供了參考，對(duì)其他國家的科技評(píng)價(jià)指標(biāo)體系建立影響巨大，可借鑒性多。因此，本研究選取科研評(píng)估考核(RAE評(píng)估)、科研卓越評(píng)估框架(REF評(píng)估)以及REF評(píng)估對(duì)RAE評(píng)估的繼承與發(fā)展作為研究對(duì)象，重點(diǎn)研究英國高校科研評(píng)估的新進(jìn)展，即REF科研卓越評(píng)估框架的指標(biāo)體系與評(píng)估實(shí)施情況[3]。以往研究較多的仍是聚焦2008年之前(包括2008年)實(shí)行的RAE評(píng)估(科研評(píng)估檢查)，而對(duì)REF系統(tǒng)深入的研究較少，特別是對(duì)REF評(píng)估和RAE評(píng)估的比較研究較少，以及結(jié)合中國當(dāng)前科技評(píng)價(jià)實(shí)際提出針對(duì)性的政策建議的報(bào)道也不多。本文通過對(duì)英國高?？蒲性u(píng)估REF評(píng)估的特點(diǎn)、具體實(shí)施和對(duì)英國高等教育產(chǎn)生的影響，期望為我國當(dāng)前項(xiàng)目評(píng)審、人才評(píng)價(jià)和機(jī)構(gòu)評(píng)估，以及科研項(xiàng)目經(jīng)費(fèi)的分配等提供參考借鑒。

1 英國科研質(zhì)量評(píng)估體系的演變

國外在學(xué)術(shù)評(píng)價(jià)方面起步較早，成果豐富，相繼提出了很多評(píng)價(jià)指標(biāo)，建立了很多評(píng)價(jià)模型。目前常用的評(píng)價(jià)方法，包括同行評(píng)審法，文獻(xiàn)計(jì)量法，科學(xué)計(jì)量學(xué)方法，經(jīng)濟(jì)分析法，引用法，效益分析法，案例分析法等，均出自國外科學(xué)家[8-10]。在此不去梳理這些評(píng)價(jià)方法的淵源，重點(diǎn)綜述近幾年國外在科技評(píng)價(jià)方面的新進(jìn)展。近幾十年，世界各國都非常重視科技發(fā)展，也都探索出了很多有關(guān)科技評(píng)價(jià)的方法。而大多數(shù)的評(píng)價(jià)方法均是基于科技文獻(xiàn)信息計(jì)量學(xué)的，相關(guān)的方法主要有[8, 11-12]：(1)科研成果計(jì)量；(2)科研發(fā)現(xiàn)計(jì)量；(3)信息計(jì)量學(xué)；(4)網(wǎng)絡(luò)計(jì)量學(xué)；(5)科學(xué)計(jì)量學(xué)2.0；(6)單篇論文計(jì)量評(píng)價(jià)；(7)替代計(jì)量學(xué):其興起是單篇論文計(jì)量評(píng)價(jià)、科研成果計(jì)量、科研發(fā)現(xiàn)計(jì)量、科學(xué)計(jì)量學(xué)2.0等眾多研究的綜合，與科學(xué)交流的網(wǎng)絡(luò)化密切相關(guān)；(8)期刊影響因子法；(9)總被引頻次法；(10)H指數(shù)法(ET指數(shù)法)；(11)綜合評(píng)價(jià)法；(12)其他評(píng)價(jià)法。

以上方法各有優(yōu)缺點(diǎn)，在實(shí)際的科研評(píng)價(jià)與考核中均有不同程度的采納。但本文要研究的是目前在國際上頗具影響力和廣為采納的評(píng)價(jià)方法——英國科研評(píng)估考核(Research Assessment Exercise，簡(jiǎn)稱RAE)與科研卓越評(píng)估框架(Research Excellence Framework，簡(jiǎn)稱REF)。

第二次世界大戰(zhàn)之后，英國政府充分認(rèn)識(shí)到科學(xué)技術(shù)的重要性，開始改革英國高等教育。英國政府加強(qiáng)了對(duì)高等教育的管理，加強(qiáng)大學(xué)與工商業(yè)界的合作，以更好地適應(yīng)社會(huì)需求。英國政府一直都很重視對(duì)高校的科研撥款，使得英國高校的科研水平一直處于世界前列，極大地促進(jìn)了英國科技、經(jīng)濟(jì)和社會(huì)的發(fā)展。英國經(jīng)濟(jì)的快速發(fā)展和科技的進(jìn)步，引起對(duì)高校科研的廣泛關(guān)注，特別關(guān)注高?？蒲谐晒a(chǎn)出的數(shù)量和質(zhì)量，同時(shí)也在探索如何更好地評(píng)判高校產(chǎn)出的科研成果。高等院校、政府機(jī)構(gòu)與市場(chǎng)主體三者的利益博弈及三者之間相互影響的新型關(guān)系，促使政府機(jī)構(gòu)改變了對(duì)高?？蒲性u(píng)估的撥款方式，逐步建立和完善了英國高?？蒲性u(píng)估制度體系。為了提高政府科研撥款的透明度和科研資金的使用效率，英國高?？蒲性u(píng)估體系應(yīng)運(yùn)而生[3, 7, 13]。英國高校科研評(píng)估工作在2008年之前統(tǒng)稱為科研評(píng)估考核[10, 14]。自2008年開始實(shí)施之后的十多年來取得了顯著成效，客觀上有力地推動(dòng)了英國高校科研水平的提高，高校之間的學(xué)術(shù)競(jìng)爭(zhēng)加劇，但也暴露了評(píng)價(jià)方法存在的一些問題，例如評(píng)估機(jī)構(gòu)臃腫、評(píng)估成本過高等。英國政府不斷地改進(jìn)科研評(píng)估模式，并決定自2014年之后采用一套成本較低、程序精簡(jiǎn)、高效易行的基于量化指標(biāo)的評(píng)估框架——科研卓越框架REF來取代RAE[15-16]。專家大都認(rèn)為，啟用改進(jìn)后的科研卓越框架法是英國政府對(duì)高等教育宏觀調(diào)控的重要舉措，也體現(xiàn)了英國科研評(píng)估的革新思想。REF現(xiàn)已成為評(píng)價(jià)英國高?？蒲匈|(zhì)量及高校獲取科研經(jīng)費(fèi)的主要方法，同時(shí)也是英國高校獲取科研經(jīng)費(fèi)的重要參考指標(biāo)[3-6, 17]。

1.1 英國高?？蒲性u(píng)估考核(RAE)

為了保證高校科研活動(dòng)和成果質(zhì)量以及科研經(jīng)費(fèi)的有效使用，英國1986年開始面向大學(xué)實(shí)施科研評(píng)估考核制度，在這個(gè)制度下，英國高等教育撥款委員會(huì)對(duì)英國高?？蒲谢顒?dòng)的質(zhì)量進(jìn)行綜合評(píng)估和評(píng)價(jià)，每3～5年評(píng)估一次，評(píng)估的結(jié)果直接決定高校科研績(jī)效考核和政府對(duì)高?？蒲谢顒?dòng)的撥款數(shù)額[18-19]。這個(gè)制度是由英格蘭高等教育撥款委員會(huì)(Higher Education Funding Council for England, HEFCE)、蘇格蘭撥款委員會(huì) (Scottish Funding Council, SFC)、威爾士高等教育撥款委員會(huì) (Higher Ed (Higher Education Funding Council for Wales，HEFCW)和北愛爾蘭學(xué)習(xí)就業(yè)部 (Department of Employment and Learning，Northern Ireland，DEL)聯(lián)合組織實(shí)施的[20]。

每個(gè)學(xué)科領(lǐng)域提交給RAE的材料由其所在領(lǐng)域的專家同行評(píng)審小組給出等級(jí)，等級(jí)排名用于為每個(gè)高等教育機(jī)構(gòu)從其國家撥款委員會(huì)收到的質(zhì)量加權(quán)研究經(jīng)費(fèi)(QR)的分配提供信息。2008年RAE評(píng)估采用4分法評(píng)價(jià)研究質(zhì)量，主要從研究產(chǎn)出(主要是期刊論文和會(huì)議論文)、科研環(huán)境與聲望指數(shù)三個(gè)方面進(jìn)行評(píng)價(jià)。研究質(zhì)量分為五個(gè)等級(jí)，分別為：世界領(lǐng)先(4)；國際優(yōu)秀(3)；國際認(rèn)可(2)；國內(nèi)認(rèn)可(1)；低于國內(nèi)認(rèn)可的質(zhì)量水平則不予評(píng)級(jí)或不合格[3, 7, 10]。

評(píng)估分別于1986年、1989年、1992年、1996年、2001年、2008年進(jìn)行并公布結(jié)果。評(píng)估結(jié)果如下(共分5個(gè)等級(jí))：低于國內(nèi)認(rèn)可的質(zhì)量(等級(jí)1)、將近一半科研成果達(dá)到國內(nèi)認(rèn)可的質(zhì)量(等級(jí)2)、超過一半或者三分之二的成果達(dá)到國內(nèi)認(rèn)可的質(zhì)量甚至可能達(dá)到國際水平(等級(jí)3)、全部成果達(dá)到國內(nèi)認(rèn)可的質(zhì)量而且有一些達(dá)到國際水平(等級(jí)4)、一半或一半以上成果達(dá)到國際水平且其余內(nèi)容達(dá)到國內(nèi)認(rèn)可的水平(等級(jí)5)，即級(jí)別越高說明科研活動(dòng)的質(zhì)量越高，相應(yīng)獲得的科研經(jīng)費(fèi)額度也就越高[7,10]。

RAE制度的評(píng)估注重科研成果(主要是在學(xué)術(shù)期刊發(fā)表的論文和會(huì)議成果)的質(zhì)量、科研環(huán)境和認(rèn)可度(或聲譽(yù))[10, 21]。每個(gè)領(lǐng)域的專家評(píng)審小組在一個(gè)通用指南的指導(dǎo)下制定出確切的評(píng)審規(guī)則。

RAE制度也存在一些問題，例如該制度明顯忽視了許多兼職研究者的出版成果，這些兼職研究者基于固定期限合同而工作的；根據(jù)RAE 2008指南，大多數(shù)研究助理“沒有資格被列為研究活躍型人員”[10]；專家小組是否具備評(píng)估研究成果質(zhì)量的必要專業(yè)知識(shí)是值得懷疑的，因?yàn)閷＜覀冊(cè)谄鋵I(yè)領(lǐng)域之外表現(xiàn)得不那么好[10]等。

鑒于之前RAE評(píng)估體系受到的批評(píng)以及就業(yè)法的發(fā)展，2008年RAE更多地考慮到兼職人員或那些剛剛獲得足夠資歷的人員參與這項(xiàng)評(píng)估[18, 22]。

1.2 英國科研卓越框架法(REF)

RAE評(píng)估體系對(duì)推動(dòng)英國高校科研水平起到了重要的作用，但是其存在的一些問題推動(dòng)英國政府對(duì)科研評(píng)估體系先后進(jìn)行了六次改革，2009年建立了“科研卓越框架”，一個(gè)評(píng)估英國高等教育機(jī)構(gòu)研究質(zhì)量的新系統(tǒng)[15, 23]。REF由位于HEFCE的REF團(tuán)隊(duì)代表四個(gè)英國高等教育資助機(jī)構(gòu)管理，并由REF指導(dǎo)小組監(jiān)督，該小組由四個(gè)資助機(jī)構(gòu)的代表組成[24-25]。2014年REF的實(shí)施標(biāo)志著REF體系正式取代了RAE體系。

2014年REF評(píng)價(jià)2008—2013年期間執(zhí)行的科研項(xiàng)目成果，主要目的是評(píng)估各機(jī)構(gòu)提交材料的研究質(zhì)量，并為各機(jī)構(gòu)提交的每份材料產(chǎn)生評(píng)估結(jié)果[15]：(1)四個(gè)高等教育資助機(jī)構(gòu)將利用評(píng)估結(jié)果，為其資助的機(jī)構(gòu)選擇性地分配研究經(jīng)費(fèi)提供信息，從2015—2016年生效。(2)該評(píng)估為公共研究投資提供了問責(zé)制，并提供了這項(xiàng)投資所產(chǎn)生益處的證據(jù)。(3)評(píng)估結(jié)果提供基準(zhǔn)信息并建立聲譽(yù)標(biāo)準(zhǔn)，供高等教育部門和公共信息使用。

REF評(píng)價(jià)體系主要特點(diǎn)包括以下方面[15, 26-30]：(1)1個(gè)前提：成果數(shù)據(jù)充足。專家同行評(píng)審必須在這個(gè)前提下進(jìn)行。(2)2類評(píng)價(jià)方法：定性評(píng)價(jià)和定量評(píng)價(jià)相結(jié)合[29]。(3)3個(gè)原則：原創(chuàng)性、重要性和精確性。(4)3個(gè)質(zhì)量評(píng)價(jià)指標(biāo)：科研產(chǎn)出、科研影響和科研環(huán)境，三者的權(quán)重分別為65%、20%和15%?？蒲挟a(chǎn)出按照創(chuàng)新性、重要性和精確性評(píng)價(jià)(4星級(jí)和不合格不予評(píng)級(jí))；科研影響，按照提交案例分析報(bào)告的普遍性和重要性進(jìn)行評(píng)分(顯著影響、非?？捎^的影響、相當(dāng)大的影響、認(rèn)可但適度的影響，對(duì)于影響小與沒有重要性和普遍性的研究不予評(píng)級(jí)或不合格)?？蒲协h(huán)境，主要評(píng)價(jià)科研機(jī)構(gòu)的生命力和可持續(xù)性(能提供有利于產(chǎn)出“世界領(lǐng)先”研究成果的環(huán)境、能提供有利于產(chǎn)出國際優(yōu)秀科研成果的環(huán)境、有利于產(chǎn)出國際認(rèn)可科研成果的環(huán)境、有利于產(chǎn)出國內(nèi)認(rèn)可科研成果的環(huán)境、不能提供產(chǎn)出國內(nèi)認(rèn)可質(zhì)量科研成果環(huán)境的機(jī)構(gòu)則不予評(píng)級(jí)或不合格)。(5)5級(jí)評(píng)價(jià)層次：從1級(jí)到5級(jí)的層次分別為不合格不予評(píng)價(jià)、國內(nèi)認(rèn)可、國際認(rèn)可、科研水平國際優(yōu)秀、世界領(lǐng)先。

根據(jù)上述原則、指標(biāo)和權(quán)重，加權(quán)計(jì)算總分，再提交專家委員會(huì)進(jìn)行同行評(píng)審，根據(jù)結(jié)果對(duì)申請(qǐng)科研經(jīng)費(fèi)的機(jī)構(gòu)和個(gè)人進(jìn)行排序。這種評(píng)價(jià)方法把定性與定量評(píng)價(jià)有機(jī)結(jié)合起來，兼顧主客觀因素，結(jié)果相對(duì)科學(xué)合理，值得學(xué)習(xí)借鑒。

英國現(xiàn)行高?？蒲性u(píng)估體系具有凸顯高校科研卓越性和社會(huì)影響力、鼓勵(lì)團(tuán)隊(duì)合作研究、強(qiáng)化評(píng)估結(jié)果可信度和注重成果質(zhì)量評(píng)價(jià)等特點(diǎn)[20, 31-32]。

REF延續(xù)了RAE的可取之處，但是在形式上更簡(jiǎn)化、效率更高[3, 7, 10, 15, 29]。

1) REF是基于指標(biāo)的系統(tǒng)評(píng)估。RAE的三項(xiàng)基本指標(biāo)分別是：科研成果、科研環(huán)境、科研聲譽(yù)。REF2014科研評(píng)估將基本指標(biāo)調(diào)整為“科研成果、科研影響、科研環(huán)境”，更強(qiáng)調(diào)科研的影響力。

2) 精簡(jiǎn)評(píng)估單元。REF2014基于學(xué)科設(shè)置評(píng)估單元與專家小組，將RAE2008中67個(gè)次評(píng)估小組(sub-panel)和評(píng)估單元(Units of Assessment)整合為36個(gè)次評(píng)估小組及評(píng)估單元。將原來的15個(gè)主評(píng)估小組(main panel)調(diào)整為A、B、C、D四個(gè)主評(píng)估小組。主評(píng)估小組指導(dǎo)次評(píng)估小組開展工作。評(píng)估小組的專家經(jīng)過嚴(yán)格的程序公開評(píng)選確定，具有控制、管理、評(píng)估高質(zhì)量研究方面的經(jīng)驗(yàn)，能夠從個(gè)人、公共部門和第三部門進(jìn)行研究影響力方面的評(píng)估。評(píng)估單元的精簡(jiǎn)降低了科研的評(píng)估成本，簡(jiǎn)化了科研評(píng)估的行政管理手續(xù)。

3) 評(píng)估方式的調(diào)整。REF評(píng)估采用同行專家評(píng)估為主、定量評(píng)估為輔的評(píng)估方式，比RAE更強(qiáng)調(diào)科研卓越性與創(chuàng)新性的評(píng)估標(biāo)準(zhǔn)。

4) 簡(jiǎn)化參評(píng)人員類型。RAE2008將參評(píng)人員分為A、B、C、D四類，四類參評(píng)人員全部可以向科研評(píng)估機(jī)構(gòu)提交相關(guān)材料，但一些參評(píng)人員是否真正進(jìn)行了科研活動(dòng)受到了質(zhì)疑，因而科研質(zhì)量的評(píng)價(jià)也受到了質(zhì)疑。REF2014將RAE中的四類參評(píng)人員簡(jiǎn)化為兩類：一類是相關(guān)機(jī)構(gòu)的專職人員，他們與所在機(jī)構(gòu)簽署了正式聘用合同并在該機(jī)構(gòu)擁有人事檔案；一類是相關(guān)機(jī)構(gòu)的兼職人員，他們被受評(píng)機(jī)構(gòu)聘用從事研究活動(dòng)，但是他們的人事資料不在受評(píng)機(jī)構(gòu)[4, 15]。

1.3 英國科研影響評(píng)分系統(tǒng)(RAISS)

英國的蘭德/關(guān)節(jié)炎研究運(yùn)動(dòng)科研影響評(píng)分系統(tǒng)(RAND/ARC Impact Scoring System，RAISS)是世界上首個(gè)嘗試基于指標(biāo)評(píng)價(jià)的方法，采用問卷形式，由研究者回答150個(gè)潛在的研究影響。該方法屬于行業(yè)科研評(píng)價(jià)系統(tǒng)，用于關(guān)節(jié)炎研究基金項(xiàng)目的評(píng)審[17]。RAISS是基于誠信的自評(píng)價(jià)系統(tǒng)，在科研項(xiàng)目績(jī)效評(píng)價(jià)中被廣泛采用，由非盈利的研究機(jī)構(gòu)蘭德歐洲公司(RAND Europe)和英國的一個(gè)醫(yī)學(xué)研究慈善機(jī)構(gòu)——關(guān)節(jié)炎運(yùn)動(dòng)組織(Arthritis Research Campaign，ARC)于2006年開始開發(fā)，于2008年使用以取代ARC的基金項(xiàng)目結(jié)題報(bào)告系統(tǒng)(ARC’s end-of-grant reporting system)。該方法特別強(qiáng)調(diào)更廣泛的影響，如提高研究能力、政策和衛(wèi)生干預(yù)的效果[33]。

1.3.1 RAISS的背景

RAISS產(chǎn)生的背景有以下幾個(gè)方面[17, 34]。

1) ARC的基金項(xiàng)目結(jié)題報(bào)告系統(tǒng)需要收集大量信息，而且信息收集是以一種相對(duì)非結(jié)構(gòu)化的方式進(jìn)行，因此很難進(jìn)行分析。ARC決定采用新的評(píng)價(jià)體系，新系統(tǒng)不比結(jié)題報(bào)告系統(tǒng)繁瑣且易于分析信息，只收集可分析的信息，并盡量減少收集和分析這些數(shù)據(jù)的負(fù)擔(dān)。

2) ARC希望建立一種適用于所有領(lǐng)域的科研評(píng)估方法。ARC的研究雖然僅限于醫(yī)學(xué)領(lǐng)域，但ARC的研究范圍非常廣泛，包括基礎(chǔ)實(shí)驗(yàn)室研究、臨床研究、由物理治療師等相關(guān)健康專業(yè)人員進(jìn)行的研究等。

3) ARC希望改進(jìn)基金項(xiàng)目報(bào)告的結(jié)果和隨時(shí)跟蹤研究影響。

4) ARC希望新的系統(tǒng)可提供一個(gè)概況，有助于投資組合戰(zhàn)略和影響未來資助決策，并形成更詳細(xì)評(píng)價(jià)的基礎(chǔ)。

1.3.2 建立RAISS考慮的因素

過去很多科研評(píng)估工作強(qiáng)調(diào)了進(jìn)行研究評(píng)估時(shí)和在新的研究中考慮采用最佳方法時(shí)必須強(qiáng)調(diào)一系列問題[35]，但是，研究人員、醫(yī)生和患者對(duì)不同分支的研究?jī)r(jià)值和影響有其自己的看法和判斷。這就需要建立一個(gè)有彈性的評(píng)價(jià)系統(tǒng)，綜合考慮一些重要因素，以便獲得可聚合的響應(yīng)，為資助者提供信息反饋?？蒲性u(píng)價(jià)需要考慮的因素[35]如下。

1)盡可能地減小科研人員的負(fù)擔(dān)。科研評(píng)價(jià)系統(tǒng)對(duì)于科研人員來說應(yīng)該簡(jiǎn)單便捷，避免使科研人員需要收集一些無法分析或者沒有特定需要的信息。

2) 時(shí)效性?？蒲性u(píng)估是一個(gè)很復(fù)雜的事情，有的科研項(xiàng)目的影響是在科研工作完成之后很長(zhǎng)時(shí)間才發(fā)生的，這就需要評(píng)價(jià)體系能夠長(zhǎng)時(shí)間的追蹤科研項(xiàng)目以對(duì)科研影響形成完整地評(píng)估。如果評(píng)估時(shí)間太短，許多影響還沒有顯現(xiàn)；如果評(píng)估時(shí)間太長(zhǎng)，對(duì)研究項(xiàng)目影響的準(zhǔn)確性難以把握。ARC建立的新評(píng)估系統(tǒng)將評(píng)估時(shí)間確定為已完成的項(xiàng)目最終審核日期前的2～6年。

3) 準(zhǔn)確性和完整性。所有的評(píng)價(jià)系統(tǒng)不可能做到完全準(zhǔn)確和完整，科研評(píng)價(jià)系統(tǒng)允許存在略微的不準(zhǔn)確或者疏漏。整個(gè)評(píng)價(jià)系統(tǒng)依賴于研究人員的知識(shí)、準(zhǔn)確完整的回憶、誠實(shí)以及研究人員與評(píng)估系統(tǒng)設(shè)計(jì)者對(duì)問卷問題理解的一致性。

4) 量化因素。每項(xiàng)科研工作的每項(xiàng)成果或者不同形式的成果都有一系列的影響，將這些影響完全量化將是極具挑戰(zhàn)性的。例如，一種新的治療方法，將對(duì)改善健康和生活質(zhì)量產(chǎn)生影響，但也可能產(chǎn)生經(jīng)濟(jì)影響如一些失業(yè)人員重返工作崗位，也可能產(chǎn)生不太明顯的影響如改善親戚和護(hù)理者的生活質(zhì)量以及增加家屬和朋友的幸福感。因此，RAISS開發(fā)了不同層次的影響。

5) 成果歸因。由于科學(xué)的漸進(jìn)性和科研存在時(shí)間跨度，所以一項(xiàng)特定的科研成果是否歸功于某項(xiàng)特定的項(xiàng)目資助是科研評(píng)估中面臨的一項(xiàng)挑戰(zhàn)。有兩個(gè)方法來考慮這個(gè)問題(二者不是相互排斥的)：一項(xiàng)研究與一個(gè)特定影響之間的聯(lián)系強(qiáng)度；影響研究人員進(jìn)行的一系列研究的相關(guān)程度。為了簡(jiǎn)單起見，RAISS略去了一些細(xì)節(jié)(一種精細(xì)的屬性方法)，使用了一個(gè)閾值貢獻(xiàn)水平——要求研究人員只指出科研成果的影響“實(shí)質(zhì)上”歸因于哪項(xiàng)資助。

根據(jù)上述因素，ARC設(shè)計(jì)、開發(fā)和測(cè)試了一些科研評(píng)價(jià)工具：首先調(diào)查是否已經(jīng)有合適的工具可用，然后開發(fā)出一些潛在的工具，并在進(jìn)一步開發(fā)性能最佳的工具之前與研究人員一起測(cè)試它們。2007年，一個(gè)全面的電子試點(diǎn)項(xiàng)目完成了最初的試點(diǎn)工作，該項(xiàng)目涵蓋了兩年的項(xiàng)目資助。最終，2008年實(shí)施了RAISS[35]。

1.3.3 RAISS的內(nèi)容

RAISS的問卷內(nèi)容有兩部分導(dǎo)言，明確地說明了該系統(tǒng)的目的并提供使用指南，研究人員不必回答每個(gè)問題，他們按照指引回答問題，完成問卷大約需要1 h而且可以分階段完成，提交問卷之前可以檢查所填問卷。RAISS問卷內(nèi)容包括：研究類型和研究途徑、與研究相關(guān)的其他步驟、未來的研究、研究成果的傳播、健康政策、培訓(xùn)、健康干預(yù)/產(chǎn)品以及對(duì)成果的評(píng)價(jià)。

1.3.4 RAISS的實(shí)施

最初的RAISS是紙質(zhì)版的，但是只有很少量的問卷發(fā)放出去，后來都發(fā)展為電子版的。RAISS的實(shí)施取決于找到一種既能讓ARC和RAND滿意又能盡可能滿足以下要求的媒介[35]：(1)數(shù)據(jù)預(yù)加載。為了幫助研究人員回憶他們項(xiàng)目資助的具體方面，問卷調(diào)查必須針對(duì)ARC項(xiàng)目組中的每一筆資助進(jìn)行個(gè)性化設(shè)置。(2)回答問卷次數(shù)的控制。個(gè)人項(xiàng)目主持人應(yīng)只對(duì)問卷做出一次回答。需要一個(gè)跟蹤系統(tǒng)來監(jiān)控誰在完成問卷。(3)低負(fù)擔(dān)。問卷必須盡量減少對(duì)項(xiàng)目主持人的時(shí)間和成本等方面的負(fù)擔(dān)，不適用的問題就跳過。(4)便于互動(dòng)。對(duì)于需要插入圖片和視頻的問題，要設(shè)置便捷的插入鏈接。(5)易于提取數(shù)據(jù)。問卷數(shù)據(jù)的提取應(yīng)該快捷簡(jiǎn)單，應(yīng)該做到數(shù)據(jù)一經(jīng)收集就能夠開始分析。

ARC于2008年實(shí)施RAISS，取代此前的基金項(xiàng)目結(jié)題報(bào)告。由于其具有便捷、低負(fù)擔(dān)、靈活、準(zhǔn)確、完整等優(yōu)勢(shì)，英國醫(yī)學(xué)研究理事會(huì)MRC，美國衛(wèi)生研究院NIH先后采用了此方法，加拿大骨骼健康與關(guān)節(jié)炎研究所等其他機(jī)構(gòu)也希望嘗試。然而，由于該評(píng)價(jià)體系專門為生物醫(yī)學(xué)研究領(lǐng)域開發(fā)，其他領(lǐng)域機(jī)構(gòu)采用還需要作相應(yīng)的調(diào)整以適應(yīng)學(xué)科特點(diǎn)。

2 REF和RAISS的啟示與借鑒及科研評(píng)估的發(fā)展趨勢(shì)

2.1 對(duì)中國科研評(píng)估啟示

從英國的RAE體系到REF體系以及從ARC的基金結(jié)題報(bào)告到RAISS的建立、實(shí)施、反饋和改革，在確定評(píng)估價(jià)值理念、建立評(píng)估指標(biāo)、實(shí)施評(píng)估過程、對(duì)評(píng)估體系的評(píng)價(jià)以及評(píng)估體系改革方面，都有可供中國科研評(píng)估借鑒的方面。

1) 正確的價(jià)值理念有助于科研活動(dòng)質(zhì)量的提高。RAE體系和REF體系都堅(jiān)持公正評(píng)估、按照學(xué)科體系組織評(píng)估專家和評(píng)估指標(biāo)、強(qiáng)調(diào)科研的質(zhì)量和影響力以及高校之間學(xué)科之間協(xié)同創(chuàng)新的理念[36]。基于行業(yè)特點(diǎn)，RAISS注重行業(yè)科研項(xiàng)目影響的真實(shí)性、廣泛性和持續(xù)性。

這些理念納入科研評(píng)估中有利于推動(dòng)我國科研院所科研從量的擴(kuò)大轉(zhuǎn)向質(zhì)的提高，增強(qiáng)我國科研的國際競(jìng)爭(zhēng)力以及科研成果的轉(zhuǎn)化力。

2) 合理的評(píng)估指標(biāo)體系能夠促進(jìn)科研人員注重科研質(zhì)量。評(píng)估內(nèi)容盡量覆蓋相關(guān)的知識(shí)鏈[37]，REF對(duì)科研活動(dòng)評(píng)估的3個(gè)基本原則——原創(chuàng)性、重要性和精確性能夠促進(jìn)科研成果的創(chuàng)新性、科研的影響力和嚴(yán)謹(jǐn)性，要求科研人員不僅只是要完成科研活動(dòng)，而且要力求科研成果的質(zhì)量和影響[38]。

REF和RAISS評(píng)估體系中的指標(biāo)體現(xiàn)了定量評(píng)價(jià)和定性評(píng)價(jià)的結(jié)合，這是對(duì)科研中無法定量衡量的成果和貢獻(xiàn)給予肯定，能夠有效地推動(dòng)科研人員的積極性和創(chuàng)造性。

不同指標(biāo)賦予的權(quán)重不同，科研產(chǎn)出是科研活動(dòng)的直接成果，因此REF體系賦予科研產(chǎn)出的權(quán)重較多一些，占65%；成果影響是衡量成果有用性的重要指標(biāo)，權(quán)重占20%；科研環(huán)境能夠衡量成果和科研機(jī)構(gòu)的生命力和可持續(xù)性，但不是科研活動(dòng)直接的和顯性的成果，權(quán)重最小，占15%[15]。這樣的權(quán)重配置科學(xué)合理而且有利于科研的可持續(xù)發(fā)展，為中國科研評(píng)估指標(biāo)體系的建立提供參考借鑒，為中國科技創(chuàng)新和可持續(xù)發(fā)展提供良好的軟環(huán)境。

RAISS評(píng)估內(nèi)容比較廣泛，充分考慮了行業(yè)特點(diǎn)以及行業(yè)影響，因而評(píng)估體系所涉及的要素比較全面。這對(duì)很多類似行業(yè)科研的評(píng)估指標(biāo)體系的設(shè)置有借鑒作用。

3) 對(duì)評(píng)估過程和評(píng)估體系等做出客觀公正的評(píng)價(jià)、充分考慮了對(duì)科研人員的負(fù)擔(dān)等優(yōu)勢(shì)有利于對(duì)評(píng)估體系進(jìn)行正確的改革[39]。REA體系在實(shí)施的過程中逐漸顯現(xiàn)出的一些問題和弊端被充分的考慮，最終建立了REF體系取代REA體系，克服了REA體系的缺點(diǎn)。

借鑒英國REF和RAISS發(fā)展過程中的經(jīng)驗(yàn)，對(duì)中國評(píng)價(jià)科技成果方面的建議主要有以下6方面[3, 15, 40]：(1)明確科學(xué)的學(xué)術(shù)評(píng)價(jià)功能定位和原則。(2)建立中國的評(píng)價(jià)指標(biāo)體系和優(yōu)化評(píng)價(jià)模型。(3)優(yōu)化評(píng)價(jià)程序和方法，建立良好評(píng)估操作規(guī)范(Good Assessment Practice)。(4)建立中國學(xué)術(shù)評(píng)價(jià)科技期刊庫和獎(jiǎng)勵(lì)目錄。(5)改進(jìn)學(xué)術(shù)評(píng)價(jià)量化方法和改善同行評(píng)審質(zhì)量。(6)推動(dòng)完善網(wǎng)絡(luò)評(píng)價(jià)模式，以節(jié)省科研人員和評(píng)估機(jī)構(gòu)的時(shí)間成本和資金成本。

2.2 對(duì)農(nóng)業(yè)科研機(jī)構(gòu)科研評(píng)估啟示

當(dāng)前，全國大部分農(nóng)業(yè)科研機(jī)構(gòu)采用的是以科研業(yè)績(jī)和科研工作量為核心的科技評(píng)價(jià)體系。評(píng)價(jià)指標(biāo)主要包括獲獎(jiǎng)情況、項(xiàng)目數(shù)量、經(jīng)費(fèi)體量、專利授權(quán)及申報(bào)數(shù)量和論文發(fā)表數(shù)量等。評(píng)價(jià)主體為各級(jí)行政管理部門，考核的具體工作一般由科研單位的科研管理部門、人事管理部門負(fù)責(zé)。主要評(píng)價(jià)方法有定量評(píng)價(jià)和定性評(píng)價(jià)。在定量評(píng)價(jià)中，科研機(jī)構(gòu)按照對(duì)評(píng)價(jià)指標(biāo)的重視程度量化規(guī)定研究成果的權(quán)重分值；在定性評(píng)價(jià)中，科研機(jī)構(gòu)多采用同行專家評(píng)議法。但當(dāng)前的農(nóng)業(yè)科研機(jī)構(gòu)科技評(píng)價(jià)體系中還存在一些問題，評(píng)價(jià)主體不夠規(guī)范；評(píng)價(jià)體系標(biāo)準(zhǔn)單一；評(píng)價(jià)體系重結(jié)果、輕過程，重?cái)?shù)量、輕質(zhì)量；農(nóng)業(yè)科技成果轉(zhuǎn)化率低；考核周期短；科研立項(xiàng)評(píng)審程序不夠科學(xué)等問題[41]。

英國高?？蒲性u(píng)估體系的經(jīng)驗(yàn)和創(chuàng)新措施及其對(duì)中國農(nóng)業(yè)科研機(jī)構(gòu)科技評(píng)價(jià)的啟示主要包括：(1)官方的中介評(píng)估機(jī)構(gòu)作為評(píng)估主體，非官方的中介評(píng)估機(jī)構(gòu)的參與，能最大程度確保評(píng)估活動(dòng)、經(jīng)費(fèi)撥款等環(huán)節(jié)的公正、公平和透明；(2)建立基于學(xué)科單元的學(xué)科特色評(píng)估體系。針對(duì)項(xiàng)目類型、學(xué)科特點(diǎn)的不同，制定不同的評(píng)價(jià)指標(biāo)與方案。由于農(nóng)業(yè)涉及領(lǐng)域很廣，所以在自然科學(xué)和社會(huì)科學(xué)項(xiàng)目，基礎(chǔ)研究、基礎(chǔ)應(yīng)用研究和應(yīng)用研究項(xiàng)目等都需要區(qū)別對(duì)待；(3)堅(jiān)持以成果質(zhì)量為導(dǎo)向的評(píng)估準(zhǔn)則。不單純的看待論文數(shù)量，而要提升發(fā)表論文的質(zhì)量與價(jià)值性。把社會(huì)效益、經(jīng)濟(jì)效益列為農(nóng)業(yè)科研重要的評(píng)價(jià)指標(biāo)，并重視對(duì)社會(huì)經(jīng)濟(jì)效益的后期評(píng)價(jià)，引導(dǎo)農(nóng)業(yè)科研與產(chǎn)業(yè)發(fā)展相結(jié)合。確立正確的價(jià)值導(dǎo)向，營造良好的學(xué)術(shù)氛圍，鼓勵(lì)科研人員投身具有較高社會(huì)、經(jīng)濟(jì)效益的科學(xué)研究，使科技創(chuàng)新能夠有效促進(jìn)農(nóng)業(yè)發(fā)展，促進(jìn)農(nóng)民增收；(4)確定合適的評(píng)價(jià)周期?，F(xiàn)有的農(nóng)業(yè)研究可能短期內(nèi)并不能立馬收效。所以適當(dāng)?shù)膶?duì)某些科學(xué)研究，基礎(chǔ)研究項(xiàng)目進(jìn)行跟蹤管理或者延長(zhǎng)評(píng)價(jià)周期很有必要。(5)遵循跨學(xué)科合作與協(xié)同創(chuàng)新的研究導(dǎo)向。對(duì)于跨學(xué)科的項(xiàng)目立項(xiàng)與專家評(píng)估等需再合理優(yōu)化，互相融合，確保公正合理。

2.3 科研評(píng)估發(fā)展趨勢(shì)

基于同行評(píng)審、科學(xué)計(jì)量學(xué)與網(wǎng)絡(luò)計(jì)量學(xué)的“單篇論文的創(chuàng)新價(jià)值評(píng)價(jià)”是一種可行的方法。總體來看，定性與定量評(píng)價(jià)相結(jié)合的大趨勢(shì)：對(duì)于顯性的可計(jì)量成果采用定量分析，對(duì)于隱性的、不可計(jì)量的成果做出定性分析，定性分析可以根據(jù)程度排列秩序或者等級(jí)轉(zhuǎn)化為可比較指數(shù)，然后再做出更科學(xué)合理的評(píng)價(jià)。在評(píng)價(jià)指標(biāo)、評(píng)估專家的選擇、評(píng)價(jià)方法、評(píng)價(jià)模型等方面將會(huì)變得更科學(xué)、合理、精簡(jiǎn)以及透明。

隨著人工智能、大數(shù)據(jù)和云計(jì)算等技術(shù)的發(fā)展和應(yīng)用，引入人工智能、大數(shù)據(jù)和云計(jì)算技術(shù)進(jìn)行科技評(píng)價(jià)，則將會(huì)大大提高科技成果評(píng)價(jià)的科學(xué)性、權(quán)威性、公正性。因此，構(gòu)建基于大數(shù)據(jù)定性與定量結(jié)合多維度多元化學(xué)術(shù)評(píng)價(jià)體系是未來科技成果評(píng)價(jià)的發(fā)展趨勢(shì)。

3 結(jié)論

1) 對(duì)英國科研質(zhì)量評(píng)估體系的發(fā)展過程進(jìn)行了梳理，著重介紹了英國高?？蒲性u(píng)估考核(RAE)與英國科研卓越框架法(REF)的具體評(píng)估內(nèi)容，標(biāo)準(zhǔn)與不同等。RAE的三項(xiàng)基本指標(biāo)分別是“科研成果、科研環(huán)境、科研聲譽(yù)”。REF2014科研評(píng)估將基本指標(biāo)調(diào)整為“科研成果、科研影響、科研環(huán)境”，更強(qiáng)調(diào)科研的影響力。繼而對(duì)英國科研影響評(píng)分系統(tǒng)的產(chǎn)生背景，內(nèi)容與具體實(shí)施進(jìn)行了梳理，由于該方法便捷，低負(fù)擔(dān)及便于提取數(shù)據(jù)進(jìn)行分析，具有很好的借鑒意義。

2) 通過對(duì)英國科研評(píng)估體系的研究，得到了對(duì)中國科技評(píng)價(jià)的啟示：明確科學(xué)的學(xué)術(shù)評(píng)價(jià)功能定位和原則；建立中國的評(píng)價(jià)指標(biāo)體系和優(yōu)化評(píng)價(jià)模型；優(yōu)化評(píng)價(jià)程序和方法，建立良好評(píng)估操作規(guī)范；建立中國學(xué)術(shù)評(píng)價(jià)科技期刊庫和獎(jiǎng)勵(lì)目錄；改進(jìn)學(xué)術(shù)評(píng)價(jià)量化方法和改善同行評(píng)審質(zhì)量；推動(dòng)完善網(wǎng)絡(luò)評(píng)價(jià)模式，以節(jié)省科研人員和評(píng)估機(jī)構(gòu)的時(shí)間成本和資金成本。進(jìn)而具體指出對(duì)對(duì)農(nóng)業(yè)科研機(jī)構(gòu)科研評(píng)估啟示：官方的中介評(píng)估機(jī)構(gòu)作為評(píng)估主體，非官方的中介評(píng)估機(jī)構(gòu)的參與；建立基于學(xué)科單元的學(xué)科特色評(píng)估體系；堅(jiān)持以成果質(zhì)量為導(dǎo)向的評(píng)估準(zhǔn)則；確定合適的評(píng)價(jià)周期；遵循跨學(xué)科合作與協(xié)同創(chuàng)新的研究導(dǎo)向。

3) 本文提出了未來科技評(píng)價(jià)的發(fā)展趨勢(shì)?！皢纹撐牡膭?chuàng)新價(jià)值評(píng)價(jià)”是一種可行的方法；構(gòu)建基于大數(shù)據(jù)定性與定量結(jié)合多維度多元化學(xué)術(shù)評(píng)價(jià)體系是未來科技成果評(píng)價(jià)的發(fā)展趨勢(shì)。