張春花 孫玉玲
(1.中國科學(xué)院文獻(xiàn)情報中心 北京 100190;2.中國科學(xué)院大學(xué)圖書情報與檔案管理系 北京 100049)
智庫已經(jīng)成為一種全球現(xiàn)象,2020年,賓夕法尼亞大學(xué)智庫與公民社會項目(TTCSP)全球智庫數(shù)據(jù)庫中已有11 175家智庫[1],比2008年翻了一番。智庫評價也伴隨著智庫建設(shè)的熱潮廣泛開展,科學(xué)合理的智庫評價能夠指導(dǎo)智庫建設(shè)、保證智庫有效產(chǎn)出和健康發(fā)展。改革開放以來,我國智庫發(fā)展迅速,面臨著對智庫評價的現(xiàn)實需求。一方面我國智庫數(shù)量大幅增長,已經(jīng)成為全球第二智庫大國,但由于評價體系不成熟,導(dǎo)致一些商業(yè)機(jī)構(gòu)、媒體和不具備智庫建設(shè)資質(zhì)的機(jī)構(gòu)也以智庫標(biāo)榜自身,出現(xiàn)了智庫泛化的現(xiàn)象[2];另一方面隨著國家智庫建設(shè)的深入,需要符合我國國情的智庫評價為智庫的建設(shè)發(fā)展指點迷津,智庫評價肩負(fù)著引領(lǐng)智庫發(fā)展的重任。本文對現(xiàn)有的國外智庫評價研究和實踐進(jìn)行綜述,為未來中國特色智庫評價方式的改進(jìn)提供借鑒和參考。
評價是根據(jù)一定的標(biāo)準(zhǔn)和價值尺度對事物進(jìn)行判斷和衡量。智庫評價就是按照一定的價值標(biāo)準(zhǔn),采用科學(xué)的方法,對智庫的價值、績效和發(fā)揮的作用作出判斷。是對智庫建設(shè)水平、運行情況、資政效果等的一種綜合衡量和對智庫發(fā)展?fàn)顟B(tài)的一種縱向和橫向比較研究[3]。有效的智庫評價有助于建立成功智庫的基準(zhǔn)[4],一定程度上推動智庫建設(shè)的改革和創(chuàng)新,對智庫的建設(shè)和發(fā)展具有較大影響。同時智庫評價也是掌握智庫整體發(fā)展?fàn)顩r的重要途徑。1997年以來,學(xué)界對于智庫評價、排名、影響的研究成果產(chǎn)出增長迅速[5],許多學(xué)者和相關(guān)機(jī)構(gòu)采用不同的標(biāo)準(zhǔn)、方法和選取不同的指標(biāo)對智庫評價進(jìn)行了研究和實踐探索,一定程度上推動了全球智庫數(shù)量的持續(xù)增長和影響力的持續(xù)擴(kuò)張。
最早的現(xiàn)代意義上的智庫已經(jīng)存在了近百年,而智庫評價的發(fā)展不過二十年,如何衡量智庫在公共政策領(lǐng)域的有效性一直是困擾智庫研究人員、智庫領(lǐng)導(dǎo)者和支持者的重要問題。對于智庫的投入特別是其所使用的資源有現(xiàn)成可用的評價措施,而對于智庫產(chǎn)出的評價,即評估智庫在公共政策領(lǐng)域取得的實際成績,指標(biāo)卻難以實現(xiàn)和開發(fā)[6]。目前智庫評價的研究主要涉及智庫影響力評價、智庫網(wǎng)絡(luò)影響力評價以及比較前沿的智庫生態(tài)系統(tǒng)評價。
2.1智庫影響力評價研究大多數(shù)國外學(xué)者認(rèn)為智庫的本質(zhì)是其影響力,因此在智庫評價中討論最多的是影響力評價。麥甘在其1995年發(fā)表的著作《公共政策研究中經(jīng)費、學(xué)者和影響力的競爭》中用問卷調(diào)查的方法收集了美國智庫的基本數(shù)據(jù),用定量研究方法對智庫影響力進(jìn)行了研究,開啟了客觀定量智庫評價的先河。1999年加拿大學(xué)者 Abelson對加拿大22家智庫的公眾知名度和政策相關(guān)性分別進(jìn)行了評估排名[7],該研究采用完全定量的方法對智庫進(jìn)行評價,評價指標(biāo)完全采用定量數(shù)據(jù),是可追溯的最早的智庫評價研究。隨后,Abelson又完成了《智庫重要嗎?評估公共政策機(jī)構(gòu)的影響》這一專門評價智庫影響力的著作,提出應(yīng)在政策周期的不同階段用直接或間接指標(biāo)跟蹤和衡量智庫的影響力,包括議程提出階段、政策制定階段、政策執(zhí)行階段三個維度的間接指標(biāo)以及資源指標(biāo)、需求指標(biāo)和影響指標(biāo)三個維度的直接指標(biāo)。該書詳細(xì)的記錄了美國和加拿大智庫研究的出版物數(shù)量、出席下議院和參議院委員會的次數(shù)、媒體活動次數(shù)等等多種數(shù)據(jù)指標(biāo),并與其他地區(qū)的智庫進(jìn)行了橫向比較,該書目前已再版三版。Abelson在采用量化統(tǒng)計評價智庫影響力方面作出了重要貢獻(xiàn),但同時也引來了一些學(xué)者的質(zhì)疑。加拿大學(xué)者Hugh Segal[8]認(rèn)為通過數(shù)值相加和計數(shù)的方式來衡量智庫影響力的顯著性是不現(xiàn)實的。加拿大學(xué)者M(jìn)cNutt也批評了Abelson在智庫與政策相關(guān)性等方面的研究,認(rèn)為衡量智庫影響力是衡量智庫對公共政策產(chǎn)生影響的能力,而不是尋找智庫研究、建議與特定政策結(jié)果之間的相關(guān)性,并認(rèn)為其評價指標(biāo)缺乏堅實的證據(jù)基礎(chǔ),也沒有考慮評價的有效性和可靠性。但是同樣,McNutt[9]的相關(guān)研究對智庫不同活動領(lǐng)域的網(wǎng)絡(luò)活動引用進(jìn)行了計量,并沒有從實際上突破Abelson對于智庫影響力的評價研究。
國外部分學(xué)者以知名度代替影響力對智庫進(jìn)行評價,主要原因是直接進(jìn)行智庫影響力測評比較困難,他們認(rèn)為智庫影響政策決策的主要策略就是提高媒體知名度[10],這是傳播智庫研究和建議的基本工具[11]。Iborra和Guttormsen對英國的查塔姆研究所、國際戰(zhàn)略研究所、皇家聯(lián)合國防與安全研究所三家外交智庫的活動和知名度進(jìn)行了評估[12],通過報紙引用來測量智庫對公眾的知名度,但知名度高的智庫并不能代表其同時具有較高的政策影響力。也有學(xué)者以可信度代替影響力對智庫進(jìn)行評價,認(rèn)為智庫影響力的發(fā)揮是因為智庫具備公信力。Hugh Segal[8]認(rèn)為智庫最重要的是可信度,在1991-1992年加拿大參眾兩院聯(lián)合委員會崩潰后的夏洛特敦協(xié)議最終談判上,智庫被選擇用來舉行磋商會議是因為智庫在政治精英、媒體和非政府組織中都有公信力,也由此引出了后期對于智庫透明度的評價。然而,智庫可信度或公信力同樣也是一個難以定義甚至是更難衡量的概念。另外也有學(xué)者從政治學(xué)角度出發(fā),通過收集國會演講和委員會證詞記錄中引用的智庫數(shù)據(jù),用意識形態(tài)衡量標(biāo)準(zhǔn)對智庫的影響力進(jìn)行了比較[13]。
2.2智庫網(wǎng)絡(luò)影響力評價研究隨著網(wǎng)絡(luò)計量學(xué)的出現(xiàn),對智庫網(wǎng)站進(jìn)行定量計量評價也相繼出現(xiàn)。網(wǎng)絡(luò)計量學(xué)的評價方法具有指標(biāo)容易選取和指標(biāo)數(shù)據(jù)易收集的優(yōu)勢,通常通過智庫網(wǎng)站的超鏈接數(shù)和鏈接網(wǎng)絡(luò)地圖等評價指標(biāo)來評價智庫的網(wǎng)絡(luò)影響。如Onyancha等利用網(wǎng)絡(luò)計量學(xué)方法計量了智庫網(wǎng)站的網(wǎng)頁數(shù)、內(nèi)鏈數(shù)和外鏈數(shù),制作了智庫網(wǎng)站的鏈接地圖,來評估南非智庫的網(wǎng)絡(luò)表現(xiàn)[14]。McNutt利用超鏈接分析研究了智庫參與社會政策、平等、氣候變化、清潔能源和建設(shè)和平等五個不同政策領(lǐng)域的情況,利用網(wǎng)絡(luò)爬蟲收集數(shù)據(jù)然后分析基于超鏈接數(shù)量的排名來實現(xiàn)計量評價[9]。對智庫進(jìn)行網(wǎng)絡(luò)計量評價雖然容易實現(xiàn),但只能分析出智庫在網(wǎng)絡(luò)上的熱度,很難說明智庫對于政策發(fā)揮的實際影響。
2.3智庫評價研究的新進(jìn)展伴隨著社會信息化熱潮的推開,后期的智庫評價不再僅僅局限于評價智庫的影響力,而是通過對智庫的知識結(jié)構(gòu)評估來評價智庫的研究質(zhì)量。Ahmad等根據(jù)Rosenstiel等人得出的智庫研究工作質(zhì)量取決于引用來源多樣性的結(jié)論[15],利用全球前50名智庫報告的引文信息源來對智庫的研究質(zhì)量進(jìn)行了評估[16]。隨著智庫評價研究的開展,更有學(xué)者對現(xiàn)有的智庫評價進(jìn)行了反思和元評估,指出現(xiàn)有智庫評價研究的不足。Claveau和Veillette從社會認(rèn)知系統(tǒng)的角度對現(xiàn)有的智庫評價進(jìn)行了元評估,認(rèn)為現(xiàn)有的智庫評價缺少明顯的認(rèn)識論,并指出未來智庫評價要關(guān)注智庫生態(tài)系統(tǒng)的評價[17],智庫生態(tài)系統(tǒng)包括其他智庫,也包括來自學(xué)術(shù)、媒體、金融、政治和官方領(lǐng)域的組織。他們?nèi)绾闻c智庫建立聯(lián)系,例如他們對于研究可靠性的警惕,對智庫至關(guān)重要,但是現(xiàn)有的評估沒有考慮到這一點。
相對于智庫的產(chǎn)生歷史,智庫評價研究仍是一個僅有20余年歷史的新生事物。目前的研究大多是基于實踐和方法基礎(chǔ)上的,也有對指標(biāo)和方法的討論及探索,研究視角比較局限,關(guān)于智庫影響力評價的理論模型、智庫影響決策的機(jī)制等研究較少,導(dǎo)致智庫評價缺乏理論基礎(chǔ)的指導(dǎo)。在評價指標(biāo)和方法上,目前學(xué)者達(dá)成的統(tǒng)一共識是,量化指標(biāo)能夠更好地了解智庫極其工作人員的產(chǎn)出,有助于捕獲智庫發(fā)揮作用時的中間產(chǎn)品。雖然量化指標(biāo)使智庫評價更客觀可信,但量化指標(biāo)較難實現(xiàn)對智庫發(fā)揮的政策影響力的測量。對于智庫影響力的調(diào)查可以詢問政策制定者對單個智庫及其專家的重視程度,以此嘗試獲取影響力數(shù)據(jù),但這些數(shù)據(jù)更多的是看法而不是實際影響,而且也很難量化[18]。
相較于智庫評價研究,智庫評價實踐更加蓬勃地展開,許多智庫研究機(jī)構(gòu)、第三方機(jī)構(gòu)、政府機(jī)構(gòu)甚至是媒體組織用不同的方法,基于不同的視角對智庫進(jìn)行了評價。智庫通常被認(rèn)為是以影響公共政策為目的,從事戰(zhàn)略和公共政策研究和咨詢的獨立性非營利組織,因此目前智庫評價實踐主要有基于影響力的評價(評估智庫的影響)、基于透明度的評價(評估智庫獨立性)和基于績效的評價(評估智庫的工作能力和業(yè)績),本文選取發(fā)達(dá)國家和國際組織的知名度較高的智庫評價實踐進(jìn)行綜述,具體內(nèi)容如表1所示。
表1 智庫評價實踐概況
3.1基于影響力的評價基于影響力的評價是利用各種指標(biāo)來評估智庫的影響,目前國外智庫評價研究和實踐通常是基于智庫影響力,智庫影響力評價的實踐主要有賓夕法尼亞大學(xué)的《全球智庫指數(shù)報告》、全球發(fā)展中心智庫公眾影響力評價排名、英國Prospect雜志“智庫獎”、AcademicInfluence的數(shù)據(jù)科學(xué)家團(tuán)隊的智庫影響力評價。
3.1.1 賓夕法尼亞大學(xué)《全球智庫指數(shù)報告》 最具代表性的智庫影響力評價實踐是賓夕法尼亞大學(xué)麥甘教授主持的智庫與公民項目(TTCSP),TTCSP自2008年起開始發(fā)布全球智庫排名,如今已經(jīng)有13版,是世界上比較權(quán)威的智庫評價實踐,其排名得到廣泛的認(rèn)可、關(guān)注和引用。最新一版(2020年)采用資源指標(biāo)、利用指標(biāo)、產(chǎn)出指標(biāo)和影響指標(biāo)來評估智庫的影響力,其中資源指標(biāo)包括招聘和留住頂尖學(xué)者和分析師的能力、財政支出水平、杰出決策者及網(wǎng)絡(luò)質(zhì)量和可靠性等二級指標(biāo),利用指標(biāo)包括在媒體中露面和引用的數(shù)量和質(zhì)量、網(wǎng)絡(luò)點擊率、在立法和行政機(jī)構(gòu)作證的數(shù)量和質(zhì)量等,產(chǎn)出指標(biāo)包括產(chǎn)生建議和想法的數(shù)量和質(zhì)量、新聞采訪、舉辦簡報會、會議和研討會等二級指標(biāo),影響指標(biāo)包括決策者和民間社會組織考慮或采納的建議,對政黨、候選人和過渡團(tuán)隊發(fā)揮咨詢作用、獎項授予、在學(xué)術(shù)期刊上發(fā)表或引用出版物等二級指標(biāo)。此評價體系在避免混淆智庫產(chǎn)出和影響的基礎(chǔ)上開展,認(rèn)為智庫的產(chǎn)出包括出版物數(shù)量、召開的會議、網(wǎng)絡(luò)點擊數(shù)、媒體曝光率等,而產(chǎn)出不是衡量影響的唯一方法,在此基礎(chǔ)上進(jìn)行擴(kuò)充,形成了四個一級指標(biāo)和26個二級指標(biāo)的影響力評價體系。評價方式采取完全定性的方法,由專家和同行對智庫進(jìn)行排名,最后進(jìn)行集合和匯總。TTCSP項目經(jīng)過30年對智庫的研究,形成了一套完整有效的智庫影響力評價標(biāo)準(zhǔn),并且對于全球智庫的統(tǒng)計范圍比較廣而全,目前每年的《全球智庫指數(shù)報告》(Global go to think tank index report)是世界上有較大的影響力和權(quán)威比較高的智庫評價。但TTCSP智庫評價是完全基于專家和業(yè)內(nèi)人士的看法進(jìn)行評價,因此也引發(fā)了一些排名過程不透明、缺乏定量數(shù)據(jù)、不符合智庫定義的機(jī)構(gòu)加入和多元化成員排名的隨意性等質(zhì)疑[4,19]。
3.1.2 全球發(fā)展中心智庫公眾影響力評價排名 全球發(fā)展中心(Center forGloabal Development)的Julia Clark和David Roodman兩位學(xué)者基于公眾影響力對智庫進(jìn)行了評價排名,設(shè)計了以引文為主要指標(biāo)的包含媒體粉絲、網(wǎng)站流量、鏈接、媒體、學(xué)術(shù)引用和組織規(guī)模指標(biāo)的評價體系,由于選取的指標(biāo)數(shù)據(jù)容易收集和量化,此評價完全采用了定量的方法[20]。定量方法產(chǎn)生的評價結(jié)果令人信服,但是智庫最重要的功能是對政策過程產(chǎn)生作用,因此公眾影響力的評價僅僅是智庫評價的一方面。
3.1.3 英國Prospect雜志“智庫獎” 英國Prospect雜志自2006年開始評選智庫獎,對智庫的公眾和政策影響力進(jìn)行評價,評價的標(biāo)準(zhǔn)包括重要議題的選擇、成果的創(chuàng)新性和合理性、嚴(yán)格的分析、對政策的影響、對媒體和公眾的影響、召集能力[21]。評價方法是由專家小組進(jìn)行評定的完全定性方法,Prospect雜志的智庫評價起源較早,評價方式和標(biāo)準(zhǔn)較簡單,但并沒有科學(xué)完善的評價方法,采用完全定性的評價方法需要進(jìn)行大量的智庫調(diào)研和權(quán)威專家,而Prospect并沒有做到這兩點。
3.1.4 AcademicInfluence智庫影響力評價 AcademicInfluence的數(shù)據(jù)科學(xué)家團(tuán)隊也對智庫的影響力進(jìn)行了評價,其指標(biāo)體系包括三個維度,分別是學(xué)術(shù)引用、關(guān)注度和滲透度。方法上采用了較為新穎的人工智能機(jī)器學(xué)習(xí)技術(shù)進(jìn)行深入地數(shù)據(jù)挖掘,根據(jù)智庫人員的獨立工作和與其他機(jī)構(gòu)的隸屬合作關(guān)系、學(xué)術(shù)引用、其他信息源報道等數(shù)據(jù)繪制了智庫地圖,由地圖來確定智庫的學(xué)術(shù)影響、受關(guān)注度和滲透度。并使用來自第三方(包括SEMrush和Ahrefs)的網(wǎng)絡(luò)流量分析提供了更多的佐證和結(jié)果保證[22]。此評價方法新穎先進(jìn),利用Web數(shù)據(jù)聚合,AI驅(qū)動的數(shù)據(jù)分析方法和獨立的Web搜索監(jiān)控結(jié)合進(jìn)行智庫評價,促進(jìn)了新的智庫評價研究方法的研究和實踐。但是此方法評價的主要是智庫的學(xué)術(shù)影響和公眾影響,對于智庫是否在決策和政策過程中發(fā)揮了作用并沒有提及。另外,AcademicInfluence只給出了最終結(jié)論,利用機(jī)器學(xué)習(xí)進(jìn)行評價的過程和數(shù)據(jù)結(jié)果并沒有給出,這也讓此評價面臨質(zhì)疑。
3.1.5 國際氣候治理中心氣候智庫排名 國際氣候治理中心(The International Center for Climate Governance,ICCG)對氣候變化領(lǐng)域的智庫進(jìn)行排名,其認(rèn)為由于政策制定過程是不同政治行為者和組織集體活動的結(jié)果,因此評估智庫的某個產(chǎn)品或思想對于政策措施的影響往往是比較困難的,只能評估智庫試圖影響決策過程的方式而不是影響力本身。ICCG的智庫排名所用的指標(biāo)基于智庫的人均生產(chǎn)力標(biāo)準(zhǔn),最終確定了兩個評價維度的7個評價指標(biāo)(事件、歐盟項目、歐盟咨詢、同行評審文章、政府間氣候變化專門委員會報告作者或編輯人數(shù)量、向UNFCCC提交的文件數(shù)量)。對指標(biāo)進(jìn)行歸一化,然后根據(jù)專家小組利用曼哈頓距離確定每個指標(biāo)權(quán)重,最后計算得出了絕對排名和人均標(biāo)準(zhǔn)化排名[23]。ICCG完全采用定量的指標(biāo),運用了比較規(guī)范的評價方法。但其指標(biāo)只是對智庫產(chǎn)品數(shù)量的計算,并沒有涵蓋對產(chǎn)品質(zhì)量的考慮,包括是否具有高價值創(chuàng)新和政策倡議作用等。
3.2基于透明度的評價基于透明度的智庫評價的代表是英國的Transparify,此機(jī)構(gòu)專門對智庫資金來源的透明程度進(jìn)行評價。智庫的透明度評價強(qiáng)調(diào)智庫的獨立性,帶有強(qiáng)烈的政治色彩,這可能與英國智庫發(fā)展從一開始就強(qiáng)調(diào)其對民主政治的影響有關(guān)。英國智庫的發(fā)展始于20世紀(jì)90年代初,早期學(xué)者認(rèn)為智庫大多帶有強(qiáng)烈的政治色彩[24],并表現(xiàn)出了對智庫的出現(xiàn)可能會造成民主制度潛在不健康的擔(dān)憂[25],指出獨立性是智庫的必要條件[26]。
近年來,智庫面臨很多外部挑戰(zhàn),最嚴(yán)重的的問題與資金透明問題有關(guān),這不僅威脅到智庫的獨立性和客觀性,還威脅到作為公共政策建議來源的可持續(xù)性和可信度[16]。英國Transparify基于透明度的評價認(rèn)為透明是民族進(jìn)程的重要要求,能夠捍衛(wèi)公共利益并增加公民對政治的參與,智庫通過產(chǎn)出質(zhì)量和賬戶透明度贏得聲望,而產(chǎn)出的質(zhì)量與研究的獨立性相關(guān),研究的獨立性與透明度完全相關(guān),由此認(rèn)為透明度對智庫至關(guān)重要[26],智庫的價值在于是致力于嚴(yán)謹(jǐn)研究和獨立的真正智庫而不是偽裝成智庫的秘密說客。從2016年英國就脫歐問題進(jìn)行公投開始,Transparify對智庫的透明度問題更加重視,認(rèn)為英國國內(nèi)存在從俄羅斯獲得資金來源的財務(wù)不透明的法國假智庫。政策議程上很多利害攸關(guān)的決定需要非常謹(jǐn)慎的聽取建議,遵循民主規(guī)范的透明智庫更加可信[27]。Transparify將資金的透明度作為智庫評價的唯一標(biāo)準(zhǔn),評價方法是由兩名獨立評估員訪問智庫的網(wǎng)站進(jìn)行資金透明度的評估,得到兩份獨立的評級結(jié)果,然后再由一名審核人員對兩份評級結(jié)果進(jìn)行審核最后給出透明度等級。Transparify從2014年開始倡導(dǎo)通過透明度來對智庫進(jìn)行評價,經(jīng)過7年發(fā)展已經(jīng)取得一定的影響力,從2016年英國脫歐進(jìn)程開始政治傾向比較強(qiáng),其在2017年發(fā)布的智庫排名中明確指出七個資金高度不透明的“欺騙性”智庫,認(rèn)為他們從幕后黑手中獲取資金,試圖影響英國的政治和政策[10]。Transparify的研究員Till Bruckner 堅持認(rèn)為智庫要么通過進(jìn)行政策研究、促進(jìn)公眾對話和辯論來促進(jìn)民主,要么被強(qiáng)大的利益集團(tuán)所推動來破壞民主。一個對其研究和政策倡導(dǎo)的質(zhì)量、研究獨立性和完整性有信心的政策研究機(jī)構(gòu),在披露其捐助者時不會有問題,不管這些捐助者是誰,因為他們能夠為基于證據(jù)的政策制定和民主政治做出貢獻(xiàn)[28]。雖然智庫透明意味著智庫的研究比較科學(xué)獨立可信,但是完全用透明度這一單一指標(biāo)并不能完整評估智庫的研究水平和對政策產(chǎn)生的作用,在這一方面,Transparify的觀點有過于政治化的傾向。
3.3基于績效的評價智庫績效評價是指依照其預(yù)先確定的標(biāo)準(zhǔn),運用科學(xué)的評價程序和評價方法對智庫的工作能力、工作業(yè)績進(jìn)行定期和不定期的考核和評價。國外的智庫績效評價實踐主要有日本智庫內(nèi)部評估委員會和德國萊布尼茨學(xué)會。
3.3.1 日本智庫內(nèi)部評估委員會的績效評價 日本智庫評價主要采取基于績效的評價方式,評估在智庫內(nèi)部完成。如亞洲經(jīng)濟(jì)研究所在智庫內(nèi)部設(shè)立評估委員會,委員會由外部專家組成,評估該研究所的績效,進(jìn)一步振興和提高智庫效率[29]。評估人員一般由國家公務(wù)人員和兼職教授組成,代表國家利益對智庫活動進(jìn)行監(jiān)管和評估。評價項目包括調(diào)查研究項目、成果推廣項目、研究交流項目、圖書館項目、人才培養(yǎng)項目,每年從5個項目中隨機(jī)挑選出一個進(jìn)行評價,2013和2014年對所有的項目進(jìn)行了評估,2017年至今一直選取調(diào)查研究項目進(jìn)行評估[30]。評估方法采取定性和定量相結(jié)合的方法,對研究成果進(jìn)行定量評估,由專家對質(zhì)量進(jìn)行定性綜合評價,得出五個等級的評估分?jǐn)?shù)均分,并給出定性的描述,2018年評價標(biāo)準(zhǔn)包括研究報告的目的背景是否妥當(dāng),方法論是否恰當(dāng)明確,是否具有充分的理論和實證材料,是否有超出先前研究的研究成果,是否有學(xué)術(shù)貢獻(xiàn)或政策建議貢獻(xiàn),論點是否明確,內(nèi)容是否統(tǒng)一[31]。最后評價結(jié)果由秘書處進(jìn)行匯總發(fā)布。2019年明確了三個評價維度(研究成果是否通過有效的外聯(lián)活動為日本政府制定貿(mào)易政策提供基礎(chǔ)、是否創(chuàng)造了大學(xué)和私營公司難以實施的開創(chuàng)性高附加值研究成果、是否發(fā)揮國際研究樞紐和學(xué)術(shù)信息平臺的功能)六個評價指標(biāo)(有效外聯(lián)活動的實施、研究成果通過外聯(lián)產(chǎn)生的社會效應(yīng)、政策對話中決策者的評價;開創(chuàng)性高附加值研究成果創(chuàng)造情況;新形成或維持的學(xué)術(shù)網(wǎng)絡(luò)數(shù)量和質(zhì)量、學(xué)術(shù)情報的積累和運用狀況)和九個監(jiān)測指標(biāo)(舉辦講座、研討會和國際研討會等的次數(shù),政策研究對話的實施次數(shù),媒體報道的次數(shù);雜志網(wǎng)站上或口頭發(fā)表的論文數(shù)量,研究成果的外部評價;國際會議等的參加數(shù)、邀請演講數(shù),研究所主辦、共同主辦或參與的國際會議數(shù)量,學(xué)術(shù)網(wǎng)絡(luò)活動的外部評估,學(xué)術(shù)信息、數(shù)據(jù)的發(fā)布、訪問和下載次數(shù))[32]。日本經(jīng)濟(jì)研究所的智庫評估起步早,從1993年開始每年定期評估,經(jīng)過20多年的發(fā)展,評價已經(jīng)較為完善,指標(biāo)比較齊全,發(fā)揮了智庫評估的良好作用。這也是日本智庫發(fā)展迅速的原因之一,賓夕法尼亞大學(xué)發(fā)布的《2020全球智庫報告》中,2020年度世界排名第一的頂級智庫即為日本的國際事務(wù)研究所。
3.3.2 德國萊布尼茨學(xué)會的智庫績效評價 德國的智庫由第三方機(jī)構(gòu)萊布尼茲協(xié)會參議院進(jìn)行評價,萊布尼茲協(xié)會受政府委托授權(quán)對各個萊布尼茲機(jī)構(gòu)成員進(jìn)行監(jiān)管,定期對他們進(jìn)行評價,以確定這些智庫是否滿足國家利益和超地區(qū)的重要性,是否有資格繼續(xù)接受聯(lián)邦資助。萊布尼茲協(xié)會的評估有一整套完整的評價過程和程序報告,評價采用定性與定量相結(jié)合的方法,評價專家選取非萊布尼茲機(jī)構(gòu)學(xué)者,各聯(lián)邦和州的代表以及參議院成員,保證定性評價過程的客觀性[33]。萊布尼茲協(xié)會對整個智庫的運行管理過程進(jìn)行綜合評價,評價過程科學(xué)規(guī)范,評價維度包括活動和關(guān)鍵成果、變更和計劃、質(zhì)量管理和控制、人力資源、合作和環(huán)境、研究基礎(chǔ)設(shè)施的開發(fā)以及未來的戰(zhàn)略工作計劃等。評價指標(biāo)設(shè)計復(fù)雜全面,其中二級指標(biāo)有18個,二級指標(biāo)下設(shè)三級指標(biāo),分有定性指標(biāo)和定量指標(biāo)。萊布尼茨協(xié)會的評價與日本的智庫評價一樣,并不會給出智庫評價的排名。
4.1結(jié)論
4.1.1 理論基礎(chǔ)薄弱是國外智庫評價的短板 相關(guān)研究表明,明確的認(rèn)識論是客觀開展智庫評價的基礎(chǔ)和前提,對智庫的定義以及核心功能的認(rèn)識不同會造成評價的視角和側(cè)重點的差異。從不同的學(xué)科視角入手也會產(chǎn)生不同的評價體系,例如側(cè)重從政治學(xué)角度入手的學(xué)者比較關(guān)注智庫的透明度和意識形態(tài),而從社會科學(xué)角度入手的學(xué)者則更側(cè)重于智庫產(chǎn)品的輸出。另一方面,評價理論基礎(chǔ)的缺失導(dǎo)致評價過程中選取的指標(biāo)邏輯性不強(qiáng)和泛化現(xiàn)象,從而影響智庫評價的可信度和客觀性。目前國外大部分國家智庫仍處于發(fā)展階段,智庫評價研究側(cè)重于實踐、方法和指標(biāo)選取層面,理論研究不足。智庫評價理論的缺乏與對智庫本身定義、功能、作用等理論研究的缺失存在一定的關(guān)系[34],未來還應(yīng)加強(qiáng)對智庫的基礎(chǔ)理論研究。
4.1.2 智庫影響力評價進(jìn)展受阻 國外智庫影響力的評價實踐受到廣泛關(guān)注,但評價結(jié)果沒有得到廣泛認(rèn)可,影響力量化指標(biāo)的選取和定性方法的使用受到一定質(zhì)疑。主要原因在于智庫評價研究并未形成一定的理論框架,導(dǎo)致評價指標(biāo)選取比較隨意,指標(biāo)越來越泛化,受數(shù)據(jù)獲取的限制,大多數(shù)量化指標(biāo)也比較局限,例如一些文獻(xiàn)指標(biāo)、網(wǎng)絡(luò)指標(biāo)等。這些量化指標(biāo)雖是智庫影響公共政策的有用指標(biāo),但是從經(jīng)濟(jì)學(xué)家衡量產(chǎn)出的角度看,這只是用來評價智庫在發(fā)揮其作用時產(chǎn)生的“中間產(chǎn)品”,并不能說明智庫對政策過程是否產(chǎn)生了實際影響,政策制定者是否會使用智庫的這些產(chǎn)品,智庫的產(chǎn)品和相關(guān)建議是否影響了相關(guān)政策的制定。智庫對于政策過程產(chǎn)生的實際影響難以量化。一些實踐采取主觀定性的方法來評價智庫對于政策的影響,但是由于數(shù)據(jù)是感知的并不是實際的,很難以令人信服,大多數(shù)的定性評價采取了專家打分和問卷調(diào)查法,評價結(jié)果受主觀因素的影響較大,評價過程受到不透明性的質(zhì)疑。并且排名一定程度上可能造成智庫的攀比現(xiàn)象和智庫評價中的拉票現(xiàn)象,這一定程度上影響了評價的效果,未能發(fā)揮評價對于智庫建設(shè)和發(fā)展的積極作用。因此許多學(xué)者指出基于影響力對智庫進(jìn)行評價和排名是一項有問題且無法實現(xiàn)的工作[6,7,11]。
4.1.3 智庫透明度評價逐漸受到關(guān)注 與影響力評價相比,基于透明度評價視角的智庫評價較少,但為智庫評價提供了“獨立性”維度,認(rèn)為智庫的獨立性保證了智庫研究的可靠性,從而能夠?qū)①Y金透明研究可信的“真智庫”與資金不透明具有欺騙性的“假智庫”進(jìn)行區(qū)分,資金透明可以防止許多組織冠以智庫名稱,通過說客或外部專家形式來影響和干預(yù)他國的政策。透明度評價與政治環(huán)境密切相關(guān),當(dāng)前世界處于百年未有大變局,智庫對于政府決策體現(xiàn)出前所未有的重要性,因此智庫的透明度受到?jīng)Q策者的重視。2020年10月美國前國務(wù)卿蓬佩奧發(fā)布聲明,美國務(wù)院要求智庫等機(jī)構(gòu)公布接受外國政府的資金信息,認(rèn)為智庫在外交事務(wù)中的獨特作用使得資金的透明度非常重要,并點名中國和俄羅斯試圖通過智庫對美國外交政策施加影響[35]。蓬佩奧點名中俄雖然是出于意識形態(tài)偏見和政治私利,但是從英美對智庫透明度的重視來看,智庫透明度評價應(yīng)該予以重視。但是透明度評價指標(biāo)單一,政治色彩濃厚,僅能區(qū)分智庫研究的獨立性和可靠程度,并不能評估研究的質(zhì)量和對政策產(chǎn)生的實際影響。
4.1.4 績效評價實踐取得了較好的評價效果 雖然智庫績效評價研究和實踐較少,大部分智庫評價報告也對“績效”維度的評價指標(biāo)有所忽視,但是日本和德國的智庫績效評價取得了良好的評價效果,評價指標(biāo)較為完善,采用定性和定量結(jié)合的評價方法,評價過程透明,評價結(jié)果可信度較高,促進(jìn)了智庫的發(fā)展。績效評價側(cè)重對智庫工作能力的評價,但同樣指標(biāo)設(shè)計邏輯性不高,并對智庫的聲望和發(fā)揮的影響等維度的指標(biāo)選取有所忽視。
4.2啟示
4.2.1 夯實智庫評價的理論基礎(chǔ)是完善智庫評價的根本途徑 國外智庫評價多為實踐案例,缺少理論研究。理論研究的缺失導(dǎo)致指標(biāo)設(shè)計的邏輯性不強(qiáng),指標(biāo)出現(xiàn)泛化現(xiàn)象,評價結(jié)果受到質(zhì)疑?;谟绊懥Φ闹菐煸u價實踐較多但是出現(xiàn)發(fā)展瓶頸,阻礙智庫影響力評價進(jìn)展的原因一方面是由于公共政策的延伸性,從一個想法變?yōu)橐粋€特定的公共政策決定通常需要十年或者更長時間[15]。另一方面是對于智庫施加影響和塑造政治的機(jī)理[14]以及傳播思想的方式[12]仍然有待研究。探究智庫塑造公共政策的機(jī)理和智庫成功的影響因素從而夯實智庫評價的理論基礎(chǔ)是完善智庫評價的根本途徑。
4.2.2 基于能力視角構(gòu)建評價體系是智庫評價新思路 智庫要么側(cè)重于政策研究,要么側(cè)重于政策倡導(dǎo)[35]。Ahmad認(rèn)為智庫的主要任務(wù)是生成與政策相關(guān)的知識,并為政治和商業(yè)精英以及廣大公眾提供信息[36]。Bedford和Hada也指出,如果智庫能夠提供高質(zhì)量的知識產(chǎn)品和服務(wù)但是不能將這些知識產(chǎn)品和服務(wù)提供給政策制定者和決策者,智庫仍然是重要的,而如果智庫的重點從政策研究轉(zhuǎn)為政策倡導(dǎo),那么智庫的存在就變得不必要了[37],因此其指出根據(jù)智庫成果和智庫能力進(jìn)行智庫評價和排名尤為重要[7]??梢钥闯鯞edford等人更加重視智庫的政策研究能力,政策倡導(dǎo)本身就以政策研究為基礎(chǔ),要有理有據(jù)并保持科學(xué)客觀性。智庫影響力的發(fā)揮是智庫的內(nèi)部能力與其所處的環(huán)境相互作用的結(jié)果。智庫能否發(fā)揮及發(fā)揮多大影響力本質(zhì)上取決于智庫的研究能力構(gòu)建是否完善,加強(qiáng)智庫能力建設(shè)是實現(xiàn)智庫影響力的必然途徑,從能力視角出發(fā)構(gòu)建我國智庫評價的體系與方法,是智庫評價的新思路。
4.2.3 我國智庫評價需探索自身的理論基礎(chǔ)和評價方式 可以看出,比起我國的智庫評價研究和實踐,國外智庫評價雖然國際影響力比較高,但也沒有發(fā)展成熟和達(dá)成統(tǒng)一共識。最具影響力和權(quán)威性的《全球智庫指數(shù)》報告 (Global Go To Think Tanks Index (GGTTT) Reports)在國際上也備受質(zhì)疑。而由于制度差異,我國的智庫發(fā)展與西方智庫本就不盡相同,不可以盲目的參照和模仿西方的智庫建設(shè)標(biāo)準(zhǔn)來對我國智庫進(jìn)行評價。除了指標(biāo)體系本身的問題外,麥甘教授的智庫排名也被指出具有西方中心主義的傾向,其本人早在2008年的研究《非政府組織的回?fù)簦菏褂梅珊头ㄍ馐侄蝸砑s束智庫和民間社會組織》(《NGO Pushback: The Use of Legal and Extralegal Means to Constrain Think Tanks & Civil Society Organizations》)一文中頭號批評中國對于智庫和NGO組織的約束,并指責(zé)為倒退的民主政體或?qū)V普w,背離民主改革,并建議聯(lián)合國、歐盟、美洲國家的雙邊和多邊組織對我國政府施加外交壓力,鼓勵智庫和NGO組織發(fā)展區(qū)域網(wǎng)絡(luò)和提高與公眾的聯(lián)系,挫敗政府的壓制性規(guī)定,鼓勵在國內(nèi)運營的外國非政府組織與我國的草根、本土非政府組織聯(lián)合起來,打擊政府行為。其在《全球智庫:政策網(wǎng)絡(luò)與治理》的著作中認(rèn)為發(fā)展中國家和轉(zhuǎn)型國家智庫的非獨立性“不幸”非常嚴(yán)重??梢钥闯觯湼式淌诓]有仔細(xì)探索包括我國在內(nèi)的發(fā)展中國家的智庫發(fā)展?fàn)顩r,而是樹立起美國式智庫的理想模型,以自我為中心對發(fā)展中國家的智庫建設(shè)作出評判。智庫運作的國家政治背景和決策體制各不相同,在執(zhí)行其多方面任務(wù)以及各種活動發(fā)揮作用的方式也各不相同[4]。從這一點也可以看出,我國并不能夠完全參照西方的智庫評價標(biāo)準(zhǔn)來對本國的智庫作出評價。由于我國社會主義制度與西方資本主義的巨大差異,我國智庫建設(shè)和評價仍需探索中國特色的理論基礎(chǔ)和實踐。探索符合我國智庫評價的模式和方法,需在借鑒國外研究的基礎(chǔ)上進(jìn)行理論探索和方式創(chuàng)新。