高?？蒲谐晒菍W(xué)術(shù)影響評(píng)估的比較研究
——基于對(duì)美、英、荷三國(guó)科研評(píng)估框架的考察

王 楠，羅珺文

（1.首都師范大學(xué)教育學(xué)院，北京 100048；2.新疆大學(xué)研究生院，新疆維吾爾自治區(qū)烏魯木齊 830046；3.都柏林大學(xué)公共政策研究所，愛(ài)爾蘭都柏林 999015）

人類社會(huì)發(fā)展的歷史證明，依托知識(shí)創(chuàng)新推動(dòng)的科技進(jìn)步是人類生存和可持續(xù)發(fā)展的重要基礎(chǔ)，也是現(xiàn)代人類社會(huì)進(jìn)步的重要支柱。作為人類發(fā)展史上的重要里程碑，幾次工業(yè)革命都源于將研究成果推向創(chuàng)新的工業(yè)市場(chǎng)而徹底改變了人類發(fā)展與文明進(jìn)程。知識(shí)經(jīng)濟(jì)時(shí)代的到來(lái)對(duì)知識(shí)生產(chǎn)提出更加多元的訴求：既要肩負(fù)知識(shí)創(chuàng)新的使命，也要兼顧其對(duì)外部社會(huì)的責(zé)任。這引發(fā)各國(guó)在不斷增加科學(xué)研究經(jīng)費(fèi)的同時(shí)，開始了對(duì)科研評(píng)估價(jià)值導(dǎo)向的反思。近年來(lái)，包括美國(guó)、英國(guó)、荷蘭在內(nèi)的科研投入和產(chǎn)出大國(guó)都紛紛扭轉(zhuǎn)了評(píng)估導(dǎo)向，從單純地關(guān)注科研成果的學(xué)術(shù)影響，轉(zhuǎn)向兼顧其非學(xué)術(shù)影響，即關(guān)注科研成果對(duì)學(xué)術(shù)界以外的更寬泛的社會(huì)、經(jīng)濟(jì)、文化、公共政策、醫(yī)療、教育、環(huán)境以及公民生活質(zhì)量所產(chǎn)生的影響和推動(dòng)作用，并在科研評(píng)估制度中引入了“非學(xué)術(shù)影響”這一全新的維度。雖然在不同的社會(huì)語(yǔ)境下，各國(guó)使用了不同的表達(dá)方式：美國(guó)稱之為社會(huì)影響（societal impact），英國(guó)將其定義為非學(xué)術(shù)影響（impact of research beyond academia），荷蘭則使用社會(huì)相關(guān)性（relevance of society）的表述，但就其內(nèi)涵而言，都共同指向科研成果為外部社會(huì)帶來(lái)的貢獻(xiàn)與收益。評(píng)估范式的轉(zhuǎn)型被認(rèn)為有可能完全改變知識(shí)創(chuàng)新活動(dòng)的走向、國(guó)家的科研戰(zhàn)略選擇和高校的學(xué)科發(fā)展路徑，引發(fā)各國(guó)學(xué)界和社會(huì)的高度關(guān)注和熱議。

我國(guó)近年來(lái)也頒布了一系列科研評(píng)估改革方案，包括2018 年教育部發(fā)布《關(guān)于開展清理“唯論文、唯帽子、唯職稱、唯學(xué)歷、唯獎(jiǎng)項(xiàng)”專項(xiàng)行動(dòng)的通知》，國(guó)務(wù)院印發(fā)《關(guān)于優(yōu)化科研管理提升科研績(jī)效若干措施的通知》；2020 年教育部、科技部印發(fā)《關(guān)于規(guī)范高等學(xué)校SCI 論文相關(guān)指標(biāo)使用 樹立正確評(píng)價(jià)導(dǎo)向的若干意見(jiàn)》，中共中央、國(guó)務(wù)院印發(fā)《深化新時(shí)代教育評(píng)價(jià)改革總體方案》等，其中均突出強(qiáng)調(diào)衡量科研成果對(duì)社會(huì)的實(shí)際影響與貢獻(xiàn)，以期扭轉(zhuǎn)不科學(xué)的評(píng)價(jià)導(dǎo)向，引導(dǎo)科學(xué)研究更多地面向國(guó)家重大需求和社會(huì)經(jīng)濟(jì)發(fā)展。但是在傳統(tǒng)的評(píng)估范式之下，改革依舊面臨破局之艱，比如仍未針對(duì)科研成果非學(xué)術(shù)影響的特點(diǎn)設(shè)計(jì)專門的評(píng)價(jià)指標(biāo)、強(qiáng)調(diào)數(shù)量至上的評(píng)價(jià)方法難以有效衡量高校與社會(huì)互動(dòng)的多維關(guān)系等，這使得評(píng)估方案的社會(huì)價(jià)值導(dǎo)向功能發(fā)揮不足，亟待進(jìn)一步探索破局之道。

本研究對(duì)美、英、荷開展的科研成果非學(xué)術(shù)影響評(píng)估進(jìn)行了系統(tǒng)考察，力圖更加深入地理解這一全新評(píng)估維度的價(jià)值追求，把握各國(guó)評(píng)估實(shí)施中的創(chuàng)新與亮點(diǎn)，并以此為基礎(chǔ)對(duì)照和反思我國(guó)科研評(píng)估制度存在的不足，以期對(duì)當(dāng)前由于價(jià)值偏離導(dǎo)致的評(píng)價(jià)異化現(xiàn)象進(jìn)行糾偏，為我國(guó)高校探索科研評(píng)估制度的改革與創(chuàng)新提供可資借鑒的國(guó)際經(jīng)驗(yàn)。

1 美英荷開展非學(xué)術(shù)影響評(píng)估的實(shí)踐考察

1.1 美國(guó)：開發(fā)了專門指向“社會(huì)影響力”的STAR METRICS 評(píng)估項(xiàng)目

美國(guó)于2005 年開發(fā)實(shí)施了一項(xiàng)專門針對(duì)科研成果社會(huì)影響力的評(píng)估項(xiàng)目：美國(guó)再投資中的科學(xué)與技術(shù)：測(cè)量研究工作在創(chuàng)新、競(jìng)爭(zhēng)力與科學(xué)上的影響（Science and Technology for America's Reinvestment:Measuring the Effects of Research on Innovation,Competitiveness and Science，STAR METRICS）。該項(xiàng)目由美國(guó)國(guó)家衛(wèi)生研究院和國(guó)家科學(xué)基金會(huì)聯(lián)合發(fā)起，旨在建立一個(gè)基于計(jì)量指標(biāo)的數(shù)據(jù)分析模型，通過(guò)計(jì)算投入指標(biāo)和產(chǎn)出指標(biāo)的比率，追蹤聯(lián)邦研發(fā)經(jīng)費(fèi)使用效率，進(jìn)而評(píng)估由聯(lián)邦研發(fā)經(jīng)費(fèi)所支持的科研產(chǎn)出為社會(huì)帶來(lái)的積極影響（societal impact）［1］。項(xiàng)目希望依托評(píng)價(jià)結(jié)果進(jìn)一步明確聯(lián)邦政府在科研投入方面的責(zé)任；提升科技政策決策的科學(xué)化水平；保證并增強(qiáng)公眾對(duì)于研發(fā)經(jīng)費(fèi)流向與使用的知情權(quán)。

項(xiàng)目分兩個(gè)階段展開。第一階段的目標(biāo)是利用聯(lián)邦政府和全美高校的數(shù)據(jù)，評(píng)測(cè)研發(fā)經(jīng)費(fèi)對(duì)勞動(dòng)力市場(chǎng)產(chǎn)生的影響［2］。項(xiàng)目涉及的投入指標(biāo)主要包括科研經(jīng)費(fèi)信息、資金流向等；產(chǎn)出指標(biāo)主要包括項(xiàng)目人員信息、供應(yīng)商信息等［3］。因聯(lián)邦政府撥付的每一筆科研經(jīng)費(fèi)都有唯一的資金編號(hào)，當(dāng)一筆經(jīng)費(fèi)由聯(lián)邦政府下?lián)芎?，將?huì)以分解的若干筆子資金的形式撥付給項(xiàng)目供應(yīng)單位（高校或研究團(tuán)隊(duì)），因此通過(guò)追蹤科研資金的走向和用途，便可以獲知科研經(jīng)費(fèi)投入對(duì)增加院校中的就業(yè)崗位做出的間接貢獻(xiàn)。

項(xiàng)目第二階段聚焦美國(guó)聯(lián)邦政府的科研投入對(duì)科學(xué)知識(shí)、社會(huì)產(chǎn)出、勞動(dòng)力產(chǎn)出以及經(jīng)濟(jì)增長(zhǎng)四個(gè)維度產(chǎn)生的影響［4］。投入指標(biāo)主要包括個(gè)人或機(jī)構(gòu)層面的研發(fā)經(jīng)費(fèi)流向。產(chǎn)出指標(biāo)方面，在四個(gè)不同維度分別面向大學(xué)、科研機(jī)構(gòu)、項(xiàng)目負(fù)責(zé)人設(shè)計(jì)了有針對(duì)性的指標(biāo)［4］。在科學(xué)知識(shí)維度，面向大學(xué)和科研機(jī)構(gòu)設(shè)計(jì)的指標(biāo)主要涉及教師和研究人員的知識(shí)生產(chǎn)與創(chuàng)新成果在社會(huì)中被傳播和使用的效果。面向項(xiàng)目負(fù)責(zé)人的指標(biāo)則更多關(guān)注科研成果如何通過(guò)社會(huì)參與的方式被公眾所認(rèn)知與理解。社會(huì)產(chǎn)出維度面向三方主體設(shè)計(jì)的指標(biāo)均關(guān)注科研成果對(duì)健康、環(huán)境、公平、安全、治安、基礎(chǔ)設(shè)施這6 方面的影響。勞動(dòng)力產(chǎn)出維度，面向大學(xué)與科研機(jī)構(gòu)的指標(biāo)主要關(guān)注本科生和研究生規(guī)模及其職業(yè)生涯發(fā)展軌跡。而面向項(xiàng)目負(fù)責(zé)人的指標(biāo)則關(guān)注本科生與研究生參與科研項(xiàng)目的工作時(shí)長(zhǎng)。經(jīng)濟(jì)增長(zhǎng)維度，面向大學(xué)與科研機(jī)構(gòu)的指標(biāo)一致聚焦于機(jī)構(gòu)內(nèi)部就業(yè)崗位的增減情況，以及專利創(chuàng)新、新公司上市等影響經(jīng)濟(jì)發(fā)展的若干指標(biāo)［5］。項(xiàng)目通過(guò)將上述投入指標(biāo)與產(chǎn)出指標(biāo)進(jìn)行關(guān)聯(lián)，以投入產(chǎn)出比作為評(píng)價(jià)標(biāo)準(zhǔn)測(cè)度科研成果的社會(huì)影響力。

STAR METRICS 項(xiàng)目會(huì)在政府公開數(shù)據(jù)庫(kù)data.gov 和項(xiàng)目官網(wǎng)上實(shí)時(shí)更新項(xiàng)目的各項(xiàng)過(guò)程性指標(biāo)數(shù)據(jù)以及評(píng)估報(bào)告［5-6］，以增加公眾的參與度，保障公民的知情權(quán)。同時(shí)，不同機(jī)構(gòu)也根據(jù)不同目的對(duì)該項(xiàng)目開展了多維度的元評(píng)估。如美國(guó)國(guó)家科學(xué)院［7］由聯(lián)邦政府授權(quán)，與國(guó)家科學(xué)基金會(huì)、信息技術(shù)與創(chuàng)新基金會(huì)等多部門合作完成了元評(píng)估報(bào)告《STAR METRICS 項(xiàng)目評(píng)估》，就該項(xiàng)目的數(shù)據(jù)結(jié)構(gòu)、數(shù)據(jù)價(jià)值、數(shù)據(jù)質(zhì)量管理進(jìn)行了充分的論證。美國(guó)醫(yī)學(xué)院協(xié)會(huì)也委托獨(dú)立咨詢機(jī)構(gòu)歐洲蘭德公司（RAND Europe）對(duì)項(xiàng)目的評(píng)估方法、數(shù)據(jù)收集和處理過(guò)程等開展了元評(píng)估［4］。

1.2 英國(guó)：在REF2014 中首次設(shè)立“非學(xué)術(shù)影響”評(píng)估維度

英國(guó)于20 世紀(jì)80 年代就建立了比較系統(tǒng)的高等學(xué)?？蒲性u(píng)估制度。2008 年英格蘭高等教育基金委員會(huì)（Higher Education Funding Council for England，HEFCE）制定并頒布了新一輪高等學(xué)?？蒲性u(píng)估體系——“科研卓越框架（Research Excellence Framework，REF）”。REF 評(píng)估主要指向3 個(gè)目標(biāo)：第一，以評(píng)估結(jié)果作為重要參考依據(jù)，指導(dǎo)英國(guó)政府更加合理地分配科研經(jīng)費(fèi)，推動(dòng)英國(guó)的科研產(chǎn)出保持世界領(lǐng)先水平，并持續(xù)以高水平的研究推動(dòng)英國(guó)社會(huì)與經(jīng)濟(jì)的發(fā)展［8］。第二，以評(píng)估結(jié)果作為有力的證據(jù)，為國(guó)家科研投入的收益和影響提供問(wèn)責(zé)保障。第三，以評(píng)估結(jié)果作為參照，為院校之間進(jìn)行比對(duì)、開展合作提供基準(zhǔn)比較信息，并建立衡量院校聲譽(yù)的標(biāo)尺［9］。

REF 在2014 年開展的首輪評(píng)估中開創(chuàng)性地將科研成果的“非學(xué)術(shù)影響（impact of research beyond academia）”列為一個(gè)獨(dú)立的評(píng)估維度，將其定義為“研究成果在學(xué)術(shù)界以外所產(chǎn)生的輻射影響，包括對(duì)社會(huì)經(jīng)濟(jì)、文化、公共政策、醫(yī)療、環(huán)境以及公民生活質(zhì)量所帶來(lái)的改變和作出的積極貢獻(xiàn)”［9］，將其權(quán)重設(shè)定為20%，希望引入這一全新的評(píng)價(jià)維度以引導(dǎo)高校更好地利用和轉(zhuǎn)化科研成果，為社會(huì)帶來(lái)更多的改變和貢獻(xiàn)［10］。在2021 年開展的第二輪REF 評(píng)估中，不僅延續(xù)了非學(xué)術(shù)影響評(píng)估，還將其權(quán)重提升為25%，可見(jiàn)英國(guó)對(duì)科研成果社會(huì)影響的關(guān)注和重視。

REF 中的非學(xué)術(shù)影響評(píng)估采取專家評(píng)議的方式進(jìn)行，參評(píng)高校及院系依據(jù)其研究所屬的主要學(xué)科領(lǐng)域，選擇相應(yīng)的單元提交材料。4 個(gè)學(xué)科大組及其下的36 個(gè)二級(jí)學(xué)科評(píng)估單元1）均由一位專家領(lǐng)銜、由多位科研人員及來(lái)自工業(yè)或其他社會(huì)各界的終端用戶代表（約23%）擔(dān)任組員，共同組成評(píng)估小組。

參評(píng)單位需要提交以下兩份評(píng)估材料：第一，影響力案例。通過(guò)結(jié)構(gòu)化敘事詳細(xì)闡述某一項(xiàng)研究成果在評(píng)估周期內(nèi)為社會(huì)帶來(lái)的積極影響，包括影響輻射的范圍、程度，涉及領(lǐng)域，受益人群，持續(xù)性等，并需同時(shí)提供這一社會(huì)影響得以形成的支撐研究材料，包括科研成果的核心結(jié)論、成果類型、依托基金、發(fā)表和轉(zhuǎn)化情況。第二，戰(zhàn)略措施信息。按照規(guī)定模板闡釋高校為促進(jìn)科研成果的非學(xué)術(shù)影響采取的戰(zhàn)略措施和戰(zhàn)略行動(dòng)，以輔助對(duì)影響力案例的評(píng)估［11］。

評(píng)估小組將通過(guò)影響力的輻射范圍（Reach）和重要意義（Significance）兩個(gè)標(biāo)準(zhǔn)對(duì)案例進(jìn)行評(píng)估，以4*、3*、2*、1*、U（未評(píng)級(jí)）5 個(gè)等級(jí)進(jìn)行打分，分別代表科研成果的社會(huì)影響卓越、可觀、較大、一般、較小［12］，隨后乘以權(quán)重與其他維度的得分一起計(jì)入評(píng)估總分。由于評(píng)估結(jié)果將對(duì)院校的資源配置產(chǎn)生直接的影響，因此評(píng)估單元在競(jìng)爭(zhēng)壓力下將非常認(rèn)真地組織和收集支撐材料，評(píng)估小組也將審慎地為評(píng)估單元進(jìn)行打分。

REF2014 評(píng)估結(jié)束后，為回應(yīng)英國(guó)各界對(duì)評(píng)估透明度的關(guān)注，項(xiàng)目組在官網(wǎng)上公開了參評(píng)專家和代表的選擇標(biāo)準(zhǔn)及最終名單，評(píng)估單元提交的6 679份2）影響力案例及評(píng)估結(jié)果［13］，鼓勵(lì)學(xué)界和第三方開展進(jìn)一步的分析。同時(shí)，委托歐洲蘭德公司對(duì)新增加的非學(xué)術(shù)影響評(píng)估展開了多維度的元評(píng)估。第一項(xiàng)元評(píng)估主要面向高校及研究人員，針對(duì)他們準(zhǔn)備和提交影響力案例材料的過(guò)程進(jìn)行評(píng)估。結(jié)果表明，在REF2014 中開展非學(xué)術(shù)影響評(píng)估帶來(lái)了一系列可喜的變化：研究者對(duì)科研影響的認(rèn)知和理解能力普遍增強(qiáng)；科研人員與外部利益相關(guān)者的溝通渠道變得更加暢通；有利于激發(fā)學(xué)者和院校對(duì)科研外部影響進(jìn)行更廣泛的戰(zhàn)略思考。但是與此同時(shí)，也認(rèn)為評(píng)估為撰寫案例的研究人員、參與評(píng)估的學(xué)校部門在工作時(shí)間和強(qiáng)度上帶來(lái)了一定的負(fù)荷［14］。第二項(xiàng)元評(píng)估面向包括學(xué)術(shù)委員會(huì)和終端用戶組成的評(píng)估小組，針對(duì)非學(xué)術(shù)影響評(píng)估方法的優(yōu)勢(shì)與不足、評(píng)估結(jié)果的可信度及公平性展開評(píng)估。總體而言，評(píng)估主體的反饋比較積極，認(rèn)為影響力案例的提交和評(píng)審過(guò)程能夠得到公平、可信且具有一定說(shuō)服力的評(píng)價(jià)結(jié)果；評(píng)估為知識(shí)的創(chuàng)造者和使用者搭建了平臺(tái)，具有很高的價(jià)值。但同時(shí)也提出了改進(jìn)建議，希望在下一輪評(píng)估中更加細(xì)化區(qū)分不同類型的影響力案例；允許評(píng)審專家在打分的同時(shí)給出更多具體的、有針對(duì)性的建議；進(jìn)一步完善評(píng)估指南以更有效地指導(dǎo)影響力案例的準(zhǔn)備與撰寫工作［15］。這些元評(píng)估的結(jié)論都對(duì)REF2021 的改革提供了基于證據(jù)的啟示。

1.3 荷蘭：在SEP2015 中增加“社會(huì)相關(guān)性”獨(dú)立指標(biāo)

荷蘭從20 世紀(jì)90 年代起建立了國(guó)家層面的科研評(píng)估制度，設(shè)計(jì)了《標(biāo)準(zhǔn)化評(píng)估指南》（Standard Evaluation Protocol，SEP），規(guī)定了在荷蘭所有高校和公立科研機(jī)構(gòu)開展評(píng)估的目標(biāo)、維度、方法和流程［16］，并達(dá)成遵照SEP 框架定期開展評(píng)估的協(xié)定和共識(shí)。《標(biāo)準(zhǔn)化評(píng)估指南2015—2021》（以下簡(jiǎn)稱“SEP2015”）是最新版本的在荷蘭開展科研評(píng)估的制度框架，其實(shí)施的核心目標(biāo)是以評(píng)估結(jié)果為參照，理解并提升科研工作的質(zhì)量；促進(jìn)科研工作對(duì)社會(huì)的貢獻(xiàn)和影響；指導(dǎo)和服務(wù)研究人員開展科研工作、院校董事會(huì)改進(jìn)戰(zhàn)略、政府進(jìn)行科學(xué)決策［17］。總體而言，SEP2015 的目的在于“改進(jìn)”而非“考核”,強(qiáng)調(diào)實(shí)施指向未來(lái)的“戰(zhàn)略可行性”評(píng)估，側(cè)重考量評(píng)估單元是否有能力采取相應(yīng)的戰(zhàn)略措施和手段實(shí)現(xiàn)預(yù)先擬定的戰(zhàn)略目標(biāo)［16］。

SEP2015 首次在科研綜合實(shí)力維度下單獨(dú)設(shè)立了科研成果的“社會(huì)相關(guān)性（relevance to society）”這一指標(biāo)，重點(diǎn)考量科研成果與社會(huì)的互動(dòng)及其產(chǎn)生的外部社會(huì)影響，例如科研成果對(duì)經(jīng)濟(jì)、社會(huì)、文化的貢獻(xiàn)，對(duì)政策的建議，對(duì)公共事務(wù)的推動(dòng)等［18］。荷蘭近年來(lái)的科研評(píng)估尤為強(qiáng)調(diào)科研成果對(duì)社會(huì)產(chǎn)生的影響，將這一過(guò)程稱為“價(jià)值創(chuàng)造（valorisation）”［19］，即通過(guò)知識(shí)創(chuàng)造更大經(jīng)濟(jì)社會(huì)和文化價(jià)值的過(guò)程，在SEP 的指標(biāo)中也有充分體現(xiàn)。社會(huì)相關(guān)性指標(biāo)下包括3 個(gè)考察點(diǎn)：（1）標(biāo)志性成果，指面向特定群體、服務(wù)社會(huì)大眾的科研產(chǎn)出，如政策咨詢報(bào)告、面向非學(xué)術(shù)群體的文章、為大眾提供的講座或展覽等成果推廣活動(dòng)；（2）標(biāo)志性成果的利用率，指科研成果服務(wù)特定目標(biāo)群體的情況，如專利、與社會(huì)各界合作的項(xiàng)目、橫向課題等；（3）標(biāo)志性成果的認(rèn)可度，指科研成果獲得的社會(huì)認(rèn)可和獎(jiǎng)勵(lì)，如公共獎(jiǎng)項(xiàng)、社會(huì)投資、在社會(huì)公共咨詢機(jī)構(gòu)任職的人數(shù)等［17］。

社會(huì)相關(guān)性評(píng)估在SEP 框架之下采取自我評(píng)估和外部同行評(píng)估并行的模式實(shí)施。評(píng)估單元需在自評(píng)報(bào)告中根據(jù)自身的戰(zhàn)略定位，選取最能反映自身特色、績(jī)效和未來(lái)發(fā)展目標(biāo)的素材，通過(guò)敘事呈現(xiàn)一個(gè)最具代表性的、由科研成果形成廣泛社會(huì)影響的案例，來(lái)反映科研工作與社會(huì)的互動(dòng)、產(chǎn)生的影響及其帶來(lái)的社會(huì)價(jià)值［19］。研究機(jī)構(gòu)的董事會(huì)全權(quán)負(fù)責(zé)設(shè)立由同行專家組成的評(píng)估委員會(huì)，并以評(píng)估單元的戰(zhàn)略目標(biāo)實(shí)現(xiàn)度作為核心標(biāo)準(zhǔn)，依據(jù)自評(píng)報(bào)告和實(shí)地考察進(jìn)行知情判斷，給出等級(jí)制的評(píng)估結(jié)果（包括：卓越、優(yōu)秀、良好、欠佳）和個(gè)性化的建議［17］。

荷蘭在開展SEP 評(píng)估的過(guò)程中同樣非常重視評(píng)估工作的透明度。高校和研究機(jī)構(gòu)的董事會(huì)需要在其官方網(wǎng)站全程公示評(píng)估的各項(xiàng)組織工作，包括評(píng)估委員會(huì)的人員構(gòu)成、評(píng)估流程、評(píng)估進(jìn)度等，并在評(píng)估結(jié)束后的6 個(gè)月內(nèi)發(fā)布最終的評(píng)估報(bào)告及其過(guò)程性支撐材料，公布高?；蜓芯繖C(jī)構(gòu)所采取的持續(xù)改進(jìn)措施［17］，使公眾通過(guò)開放的渠道了解評(píng)估方案與結(jié)果，并接受公眾質(zhì)疑與問(wèn)責(zé)。

2 比較與啟示

2.1 引入非學(xué)術(shù)影響評(píng)估，構(gòu)建充滿活力的科研生態(tài)體系

基于上述來(lái)源于實(shí)踐的考察，我們不難發(fā)現(xiàn)，自21 世紀(jì)初以來(lái)不同國(guó)家都先后在科研評(píng)估的制度框架中加入了非學(xué)術(shù)影響這一全新的維度。美國(guó)于2005 年啟動(dòng)STAR METRICS 項(xiàng)目，英國(guó)自2011 年在REF 中加入非學(xué)術(shù)影響維度，荷蘭于2014 年首次引入社會(huì)相關(guān)性指標(biāo)。此外，澳大利亞、挪威、芬蘭、意大利等國(guó)家也在2010 年前后陸續(xù)開始關(guān)注并提出在科研評(píng)估體系中增加非學(xué)術(shù)影響評(píng)估維度。同時(shí)，由于非學(xué)術(shù)影響主要關(guān)注科學(xué)研究與外部社會(huì)的互動(dòng)，因此格外強(qiáng)調(diào)不同國(guó)家和地區(qū)社會(huì)的經(jīng)濟(jì)、文化、政治等語(yǔ)境（Context）。雖然在不同的語(yǔ)境下，各國(guó)使用了不同的表達(dá)方式來(lái)指代非學(xué)術(shù)影響，但就其內(nèi)涵而言，它們實(shí)際上都在關(guān)注科研成果為外部社會(huì)帶來(lái)的貢獻(xiàn)與收益，并且這些評(píng)估項(xiàng)目都采用了不同于傳統(tǒng)學(xué)術(shù)評(píng)估的新模式和新方法開展評(píng)估工作，希望通過(guò)引入非學(xué)術(shù)影響來(lái)引導(dǎo)和加強(qiáng)高校和研究機(jī)構(gòu)更好地思考和理解科研工作對(duì)于社會(huì)發(fā)展的改變和價(jià)值，進(jìn)一步擴(kuò)大和延伸科研成果利用和轉(zhuǎn)化的范圍。這些實(shí)踐探索凸顯了科學(xué)研究服務(wù)社會(huì)的價(jià)值導(dǎo)向。

目前我國(guó)的科研評(píng)估框架中還未設(shè)置非學(xué)術(shù)影響評(píng)價(jià)維度。盡管部分評(píng)估方案已經(jīng)開始關(guān)注和強(qiáng)調(diào)科研成果對(duì)外部社會(huì)的貢獻(xiàn)，并增設(shè)了社會(huì)服務(wù)評(píng)價(jià)指標(biāo)［20］，但是社會(huì)服務(wù)指標(biāo)與非學(xué)術(shù)影響指標(biāo)在內(nèi)涵上仍然存在一定的差異：社會(huì)服務(wù)是一個(gè)由來(lái)已久的概念，一直被公認(rèn)為高校的第三使命，與高校的人才培養(yǎng)和科學(xué)研究職能并行，更多地指向高校對(duì)社會(huì)單向度的智力輸出。而非學(xué)術(shù)影響是近年來(lái)在知識(shí)生產(chǎn)模式轉(zhuǎn)型的背景下提出的新概念，被看作是科學(xué)研究與社會(huì)服務(wù)軟邊界下的交集，強(qiáng)調(diào)在知識(shí)生產(chǎn)過(guò)程中，通過(guò)大學(xué)、產(chǎn)業(yè)、政府和公民組織等多元主體的互動(dòng)參與及其對(duì)科學(xué)的協(xié)同治理，共同解決社會(huì)關(guān)切的現(xiàn)實(shí)問(wèn)題。顯然，傳統(tǒng)的社會(huì)服務(wù)指標(biāo)已經(jīng)不足以涵蓋當(dāng)前高校與經(jīng)濟(jì)社會(huì)發(fā)展互動(dòng)的豐富、多維關(guān)系，更無(wú)法回應(yīng)高校治理能力現(xiàn)代化的要求。

在當(dāng)前我國(guó)高校提出破“五唯”和研究扎根中國(guó)大地的科研評(píng)價(jià)導(dǎo)向下，我們有必要在準(zhǔn)確地理解和界定非學(xué)術(shù)影響內(nèi)涵的基礎(chǔ)上，適時(shí)引入這一全新的評(píng)價(jià)維度，聚焦高校與經(jīng)濟(jì)社會(huì)發(fā)展的緊密聯(lián)系，強(qiáng)調(diào)知識(shí)生產(chǎn)對(duì)服務(wù)國(guó)家和地區(qū)發(fā)展的實(shí)際貢獻(xiàn)和影響。樹立這樣的評(píng)估風(fēng)向標(biāo)有利于強(qiáng)化研究者的社會(huì)責(zé)任與價(jià)值，促進(jìn)知識(shí)創(chuàng)造者和使用者之間的互動(dòng)和理解，推動(dòng)研究者有意識(shí)地去關(guān)注和回應(yīng)潛在用戶對(duì)科研成果的訴求，進(jìn)而主動(dòng)、有針對(duì)性地推動(dòng)和促進(jìn)研究的社會(huì)影響，使科研工作面向服務(wù)國(guó)家重大需求和解決社會(huì)發(fā)展實(shí)際問(wèn)題；同時(shí)，也有利于提升高?？蒲畜w系的多樣性，在學(xué)術(shù)影響與非學(xué)術(shù)影響的互動(dòng)與平衡中構(gòu)建充滿活力的科研生態(tài)體系。

2.2 進(jìn)一步優(yōu)化評(píng)估方案，強(qiáng)化非學(xué)術(shù)影響評(píng)估的社會(huì)價(jià)值導(dǎo)向功能

美、英、荷三國(guó)的非學(xué)術(shù)影響評(píng)估因其目標(biāo)不同，評(píng)估的方法、標(biāo)準(zhǔn)、結(jié)果及其帶來(lái)的影響與效應(yīng)也都不同，呈現(xiàn)出多樣的評(píng)估模式與特色，有很多創(chuàng)新經(jīng)驗(yàn)可資借鑒。例如，美國(guó)STAR METRICS 項(xiàng)目表現(xiàn)為突出量化評(píng)估的績(jī)效模式，其評(píng)估方法可操作性較強(qiáng)、評(píng)價(jià)結(jié)果相對(duì)直接、客觀，橫向可比性更強(qiáng)。在指標(biāo)設(shè)置上，STAR METRICS 項(xiàng)目搭建了一套與傳統(tǒng)評(píng)價(jià)指標(biāo)觀測(cè)點(diǎn)完全不同的、凸顯社會(huì)影響的計(jì)量指標(biāo)體系。英國(guó)REF 中的非學(xué)術(shù)影響評(píng)估則呈現(xiàn)很明顯的競(jìng)爭(zhēng)模式特點(diǎn)，院校審慎地收集和提交資料，評(píng)估結(jié)果最終計(jì)入總分，并對(duì)院校的資源配置產(chǎn)生重要且直接的影響。在評(píng)價(jià)方法上，REF 是首個(gè)采用影響力案例敘事開展非學(xué)術(shù)影響評(píng)估的體系，允許研究者以自由、開放的方式描述不同情境下的影響力故事，充分尊重了學(xué)科差異和研究活動(dòng)的多樣性。荷蘭SEP 評(píng)估則表現(xiàn)為反思共建模式，指向改進(jìn)與發(fā)展，競(jìng)爭(zhēng)意味相對(duì)淡化，因此其社會(huì)相關(guān)性評(píng)估中多元主體評(píng)價(jià)反思、價(jià)值共建的特色尤為明顯。

我國(guó)當(dāng)前的科研評(píng)估制度也在力圖扭轉(zhuǎn)片面追求科研成果學(xué)術(shù)影響的導(dǎo)向，嘗試引入鼓勵(lì)社會(huì)貢獻(xiàn)與擴(kuò)大社會(huì)影響的評(píng)價(jià)維度，但是現(xiàn)有的評(píng)估方案仍有待進(jìn)一步優(yōu)化。比如，從第四輪學(xué)科評(píng)估開始增設(shè)社會(huì)服務(wù)與學(xué)科聲譽(yù)一級(jí)指標(biāo)，希望推動(dòng)高校重視與社會(huì)發(fā)展的緊密聯(lián)系，具有一定的正向指導(dǎo)意義，但在具體的指標(biāo)設(shè)計(jì)上，社會(huì)服務(wù)旨在引導(dǎo)學(xué)科建設(shè)關(guān)注國(guó)家和地區(qū)經(jīng)濟(jì)社會(huì)發(fā)展的現(xiàn)實(shí)需求，而學(xué)科聲譽(yù)則強(qiáng)調(diào)關(guān)注參評(píng)單位的在學(xué)術(shù)領(lǐng)域的影響力及其學(xué)術(shù)道德情況。將兩個(gè)發(fā)揮著不同導(dǎo)向作用的指標(biāo)進(jìn)行捆綁，且前者在整個(gè)評(píng)估框架中所占權(quán)重比較單薄，這樣的指標(biāo)設(shè)置方式將弱化評(píng)估的社會(huì)價(jià)值導(dǎo)向。

非學(xué)術(shù)影響評(píng)估是科研評(píng)估體系中一個(gè)全新的評(píng)價(jià)維度，要保證評(píng)估的信效度，使其切實(shí)發(fā)揮社會(huì)價(jià)值導(dǎo)向功能，需要突破傳統(tǒng)評(píng)價(jià)方式的慣習(xí)，優(yōu)化創(chuàng)新評(píng)估方案，包括進(jìn)一步明確評(píng)估的價(jià)值選擇、構(gòu)建凸顯社會(huì)影響特點(diǎn)的指標(biāo)體系、選取不同于傳統(tǒng)學(xué)術(shù)評(píng)價(jià)的創(chuàng)新方法等。在新時(shí)代深化教育評(píng)價(jià)改革的背景下，需要有突破頑瘴痼疾的魄力，同時(shí)更要妥善處理破與立的辯證關(guān)系，多措并舉，形成富有時(shí)代特征、彰顯中國(guó)特色的科研評(píng)估體系，并在其中真正發(fā)揮非學(xué)術(shù)影響評(píng)估應(yīng)有之功能。

2.3 開展多維度的元評(píng)估，營(yíng)造并形成良好的評(píng)估文化

美、英、荷三國(guó)在引入非學(xué)術(shù)影響這一新興評(píng)估維度的過(guò)程中，都非常重視評(píng)估過(guò)程和結(jié)果的透明度，抱著開放的態(tài)度公開發(fā)布了過(guò)程性信息數(shù)據(jù)和影響力案例支撐材料，并通過(guò)積極開展不同類型的元評(píng)估提升其可信度和專業(yè)性，營(yíng)造和建設(shè)良好的評(píng)估文化。

近年來(lái)我國(guó)各級(jí)各類科研評(píng)估框架都在指標(biāo)設(shè)計(jì)、數(shù)據(jù)采集、評(píng)價(jià)模式、結(jié)果發(fā)布與應(yīng)用等方面進(jìn)行了諸多制度創(chuàng)新，但是在上述評(píng)估實(shí)施的全流程中，仍普遍缺少元評(píng)估環(huán)節(jié)的設(shè)置，且由于評(píng)估方法與流程透明度不足，支撐數(shù)據(jù)和材料公開性不夠，也鮮見(jiàn)第三方機(jī)構(gòu)開展系統(tǒng)、專業(yè)的元評(píng)估，明顯缺少多元主體參與和多元價(jià)值共建環(huán)節(jié)，也缺少了社會(huì)公眾對(duì)評(píng)估方案表達(dá)理性訴求的制度化渠道，難免造成了一系列相應(yīng)的問(wèn)題，包括評(píng)估的信效度無(wú)法得到證明，評(píng)估的方法與過(guò)程無(wú)法得到充分理解，評(píng)估的結(jié)果無(wú)法得到公認(rèn)，學(xué)界也無(wú)法為評(píng)估實(shí)踐活動(dòng)提供有證可循的政策建議，甚至有些非理性的評(píng)價(jià)和批評(píng)完全是因?yàn)槲茨艹浞至私舛a(chǎn)生的誤解所致。

我們應(yīng)該認(rèn)識(shí)到開展元評(píng)估的必要性及其積極意義：通過(guò)向公眾公開資料，有利于增加評(píng)估過(guò)程的透明度和合法性；通過(guò)針對(duì)評(píng)估結(jié)果的元評(píng)估，對(duì)原始數(shù)據(jù)和資料進(jìn)行二次分析，有利于檢驗(yàn)評(píng)估的可靠性和可重復(fù)性；通過(guò)對(duì)評(píng)估方法與流程的元評(píng)估，有利于獲得基于證據(jù)的專業(yè)化建議，從而不斷改進(jìn)與提升評(píng)估實(shí)效。同時(shí)，來(lái)自多元主體的討論與質(zhì)疑是社會(huì)高度關(guān)注的體現(xiàn)，也是對(duì)評(píng)估有效性的理想期待，更是學(xué)科評(píng)估文化走向良性的證明［21］。在我國(guó)未來(lái)的評(píng)估實(shí)踐中，特別是在引入非學(xué)術(shù)影響評(píng)估維度的過(guò)程中，有必要適度公開過(guò)程性資料，增加評(píng)估透明度和可驗(yàn)證性，并從評(píng)估目的、評(píng)估指標(biāo)、評(píng)價(jià)標(biāo)準(zhǔn)、評(píng)估實(shí)施、評(píng)估影響等方面鼓勵(lì)和開展系統(tǒng)多維的元評(píng)估，以幫助我們了解該指標(biāo)的引入是否切實(shí)有效加強(qiáng)了高?？蒲信c社會(huì)發(fā)展的緊密聯(lián)系，同時(shí)規(guī)避這一新興的評(píng)估維度可能帶來(lái)的潛在風(fēng)險(xiǎn)。這將為評(píng)估本身提供質(zhì)量保障機(jī)制，改進(jìn)評(píng)估實(shí)踐、提升評(píng)估專業(yè)性、更有利于促進(jìn)營(yíng)造和形成良好的評(píng)估文化。

3 結(jié)論

科研成果的非學(xué)術(shù)影響評(píng)估是近年來(lái)各國(guó)科研評(píng)估框架中的重要維度，也是我國(guó)科研評(píng)估改革破除“唯論文”“SCI 至上”等不良評(píng)價(jià)導(dǎo)向、建立多元評(píng)價(jià)標(biāo)準(zhǔn)的重要抓手。本研究從評(píng)估目標(biāo)、評(píng)估方法、評(píng)估標(biāo)準(zhǔn)、評(píng)估流程等維度對(duì)美英荷三國(guó)近年來(lái)開展的非學(xué)術(shù)影響評(píng)估進(jìn)行了系統(tǒng)考察，以期為我國(guó)科研評(píng)估制度的改革與創(chuàng)新提供可資借鑒的經(jīng)驗(yàn)，助力中國(guó)特色學(xué)術(shù)規(guī)范和評(píng)價(jià)體系建設(shè)。

研究發(fā)現(xiàn)，近年來(lái)美英荷等國(guó)家都紛紛扭轉(zhuǎn)了評(píng)估導(dǎo)向，從單純地關(guān)注科研成果的學(xué)術(shù)影響，轉(zhuǎn)向兼顧其非學(xué)術(shù)影響，即關(guān)注科研成果對(duì)學(xué)術(shù)界以外的更寬泛的社會(huì)、經(jīng)濟(jì)、文化、公共政策、醫(yī)療、教育、環(huán)境以及公民生活質(zhì)量所產(chǎn)生的影響和推動(dòng)作用，并在科研評(píng)估制度中引入了非學(xué)術(shù)影響這一全新的維度，希望發(fā)揮其社會(huì)價(jià)值導(dǎo)向功能，引導(dǎo)院校和學(xué)者通過(guò)知識(shí)生產(chǎn)活動(dòng)為社會(huì)作出更多積極的貢獻(xiàn)。各國(guó)在探索非學(xué)術(shù)影響評(píng)估的實(shí)踐過(guò)程中形成了多樣的評(píng)估模式與特色：美國(guó)開發(fā)了專門指向社會(huì)影響力的STAR METRICS 評(píng)估項(xiàng)目，運(yùn)用基于計(jì)量指標(biāo)的數(shù)據(jù)分析模型來(lái)評(píng)估由聯(lián)邦研發(fā)經(jīng)費(fèi)所支持的科研產(chǎn)出為社會(huì)帶來(lái)的積極影響，形成了突出量化評(píng)估的績(jī)效模式；英國(guó)在REF2014 中首次設(shè)立非學(xué)術(shù)影響評(píng)估維度，采取專家評(píng)議的方式對(duì)科研成果的社會(huì)影響輻射范圍和重要意義進(jìn)行評(píng)估，并將評(píng)價(jià)結(jié)果以25%的權(quán)重計(jì)入總分，作為指導(dǎo)政府合理分配科研經(jīng)費(fèi)的重要參考依據(jù)，形成了比較鮮明的競(jìng)爭(zhēng)模式；荷蘭在SEP2015 中增加了社會(huì)相關(guān)性獨(dú)立指標(biāo)，以評(píng)估結(jié)果為參照來(lái)指導(dǎo)和促進(jìn)科研工作為社會(huì)做出更多有益的貢獻(xiàn)，其多元主體評(píng)價(jià)反思、價(jià)值共建的特色尤為明顯，形成了 反思共建模式?；趶膰?guó)際比較中獲得的啟示，本研究為我國(guó)科研評(píng)價(jià)體系改革提出三點(diǎn)建議：第一，引入非學(xué)術(shù)影響評(píng)估，構(gòu)建充滿活力的科研生態(tài)體系；第二，進(jìn)一步優(yōu)化評(píng)估方案，強(qiáng)化非學(xué)術(shù)影響評(píng)估的社會(huì)價(jià)值導(dǎo)向功能；第三，開展多維度的元評(píng)估，營(yíng)造并形成良好的評(píng)估文化。

注釋：

1）REF 以學(xué)科為單位開展評(píng)估，設(shè)立了生命科學(xué)學(xué)科（學(xué)科A組）、工程與物理科學(xué)學(xué)科（學(xué)科B 組）、社會(huì)科學(xué)學(xué)科（學(xué)科C 組）、藝術(shù)與人文學(xué)科（學(xué)科D 組）四個(gè)學(xué)科大組，并在各學(xué)科大組下根據(jù)學(xué)科分類進(jìn)行了細(xì)分，分設(shè)共計(jì)36 個(gè)二級(jí)學(xué)科小組，其中每一個(gè)二級(jí)學(xué)科小組都成為一個(gè)獨(dú)立的評(píng)估單元（unit of assessment，UoA），各自開展評(píng)估。

2）REF2014 一共收到來(lái)自高校和科研院所的6 975 份影響力案例，其中296 份影響力案例由于涉密等原因未完全公開，其余6 679份影響力案例均公開。