• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    國外智庫影響力、透明度和績效評價研究與實踐進(jìn)展

    2022-04-28 09:00:54張春花孫玉玲
    情報雜志 2022年4期
    關(guān)鍵詞:智庫影響力評估

    張春花 孫玉玲

    (1.中國科學(xué)院文獻(xiàn)情報中心 北京 100190;2.中國科學(xué)院大學(xué)圖書情報與檔案管理系 北京 100049)

    智庫已經(jīng)成為一種全球現(xiàn)象,2020年,賓夕法尼亞大學(xué)智庫與公民社會項目(TTCSP)全球智庫數(shù)據(jù)庫中已有11 175家智庫[1],比2008年翻了一番。智庫評價也伴隨著智庫建設(shè)的熱潮廣泛開展,科學(xué)合理的智庫評價能夠指導(dǎo)智庫建設(shè)、保證智庫有效產(chǎn)出和健康發(fā)展。改革開放以來,我國智庫發(fā)展迅速,面臨著對智庫評價的現(xiàn)實需求。一方面我國智庫數(shù)量大幅增長,已經(jīng)成為全球第二智庫大國,但由于評價體系不成熟,導(dǎo)致一些商業(yè)機(jī)構(gòu)、媒體和不具備智庫建設(shè)資質(zhì)的機(jī)構(gòu)也以智庫標(biāo)榜自身,出現(xiàn)了智庫泛化的現(xiàn)象[2];另一方面隨著國家智庫建設(shè)的深入,需要符合我國國情的智庫評價為智庫的建設(shè)發(fā)展指點迷津,智庫評價肩負(fù)著引領(lǐng)智庫發(fā)展的重任。本文對現(xiàn)有的國外智庫評價研究和實踐進(jìn)行綜述,為未來中國特色智庫評價方式的改進(jìn)提供借鑒和參考。

    1 智庫評價的內(nèi)涵

    評價是根據(jù)一定的標(biāo)準(zhǔn)和價值尺度對事物進(jìn)行判斷和衡量。智庫評價就是按照一定的價值標(biāo)準(zhǔn),采用科學(xué)的方法,對智庫的價值、績效和發(fā)揮的作用作出判斷。是對智庫建設(shè)水平、運行情況、資政效果等的一種綜合衡量和對智庫發(fā)展?fàn)顟B(tài)的一種縱向和橫向比較研究[3]。有效的智庫評價有助于建立成功智庫的基準(zhǔn)[4],一定程度上推動智庫建設(shè)的改革和創(chuàng)新,對智庫的建設(shè)和發(fā)展具有較大影響。同時智庫評價也是掌握智庫整體發(fā)展?fàn)顩r的重要途徑。1997年以來,學(xué)界對于智庫評價、排名、影響的研究成果產(chǎn)出增長迅速[5],許多學(xué)者和相關(guān)機(jī)構(gòu)采用不同的標(biāo)準(zhǔn)、方法和選取不同的指標(biāo)對智庫評價進(jìn)行了研究和實踐探索,一定程度上推動了全球智庫數(shù)量的持續(xù)增長和影響力的持續(xù)擴(kuò)張。

    2 智庫評價研究進(jìn)展

    最早的現(xiàn)代意義上的智庫已經(jīng)存在了近百年,而智庫評價的發(fā)展不過二十年,如何衡量智庫在公共政策領(lǐng)域的有效性一直是困擾智庫研究人員、智庫領(lǐng)導(dǎo)者和支持者的重要問題。對于智庫的投入特別是其所使用的資源有現(xiàn)成可用的評價措施,而對于智庫產(chǎn)出的評價,即評估智庫在公共政策領(lǐng)域取得的實際成績,指標(biāo)卻難以實現(xiàn)和開發(fā)[6]。目前智庫評價的研究主要涉及智庫影響力評價、智庫網(wǎng)絡(luò)影響力評價以及比較前沿的智庫生態(tài)系統(tǒng)評價。

    2.1智庫影響力評價研究大多數(shù)國外學(xué)者認(rèn)為智庫的本質(zhì)是其影響力,因此在智庫評價中討論最多的是影響力評價。麥甘在其1995年發(fā)表的著作《公共政策研究中經(jīng)費、學(xué)者和影響力的競爭》中用問卷調(diào)查的方法收集了美國智庫的基本數(shù)據(jù),用定量研究方法對智庫影響力進(jìn)行了研究,開啟了客觀定量智庫評價的先河。1999年加拿大學(xué)者 Abelson對加拿大22家智庫的公眾知名度和政策相關(guān)性分別進(jìn)行了評估排名[7],該研究采用完全定量的方法對智庫進(jìn)行評價,評價指標(biāo)完全采用定量數(shù)據(jù),是可追溯的最早的智庫評價研究。隨后,Abelson又完成了《智庫重要嗎?評估公共政策機(jī)構(gòu)的影響》這一專門評價智庫影響力的著作,提出應(yīng)在政策周期的不同階段用直接或間接指標(biāo)跟蹤和衡量智庫的影響力,包括議程提出階段、政策制定階段、政策執(zhí)行階段三個維度的間接指標(biāo)以及資源指標(biāo)、需求指標(biāo)和影響指標(biāo)三個維度的直接指標(biāo)。該書詳細(xì)的記錄了美國和加拿大智庫研究的出版物數(shù)量、出席下議院和參議院委員會的次數(shù)、媒體活動次數(shù)等等多種數(shù)據(jù)指標(biāo),并與其他地區(qū)的智庫進(jìn)行了橫向比較,該書目前已再版三版。Abelson在采用量化統(tǒng)計評價智庫影響力方面作出了重要貢獻(xiàn),但同時也引來了一些學(xué)者的質(zhì)疑。加拿大學(xué)者Hugh Segal[8]認(rèn)為通過數(shù)值相加和計數(shù)的方式來衡量智庫影響力的顯著性是不現(xiàn)實的。加拿大學(xué)者M(jìn)cNutt也批評了Abelson在智庫與政策相關(guān)性等方面的研究,認(rèn)為衡量智庫影響力是衡量智庫對公共政策產(chǎn)生影響的能力,而不是尋找智庫研究、建議與特定政策結(jié)果之間的相關(guān)性,并認(rèn)為其評價指標(biāo)缺乏堅實的證據(jù)基礎(chǔ),也沒有考慮評價的有效性和可靠性。但是同樣,McNutt[9]的相關(guān)研究對智庫不同活動領(lǐng)域的網(wǎng)絡(luò)活動引用進(jìn)行了計量,并沒有從實際上突破Abelson對于智庫影響力的評價研究。

    國外部分學(xué)者以知名度代替影響力對智庫進(jìn)行評價,主要原因是直接進(jìn)行智庫影響力測評比較困難,他們認(rèn)為智庫影響政策決策的主要策略就是提高媒體知名度[10],這是傳播智庫研究和建議的基本工具[11]。Iborra和Guttormsen對英國的查塔姆研究所、國際戰(zhàn)略研究所、皇家聯(lián)合國防與安全研究所三家外交智庫的活動和知名度進(jìn)行了評估[12],通過報紙引用來測量智庫對公眾的知名度,但知名度高的智庫并不能代表其同時具有較高的政策影響力。也有學(xué)者以可信度代替影響力對智庫進(jìn)行評價,認(rèn)為智庫影響力的發(fā)揮是因為智庫具備公信力。Hugh Segal[8]認(rèn)為智庫最重要的是可信度,在1991-1992年加拿大參眾兩院聯(lián)合委員會崩潰后的夏洛特敦協(xié)議最終談判上,智庫被選擇用來舉行磋商會議是因為智庫在政治精英、媒體和非政府組織中都有公信力,也由此引出了后期對于智庫透明度的評價。然而,智庫可信度或公信力同樣也是一個難以定義甚至是更難衡量的概念。另外也有學(xué)者從政治學(xué)角度出發(fā),通過收集國會演講和委員會證詞記錄中引用的智庫數(shù)據(jù),用意識形態(tài)衡量標(biāo)準(zhǔn)對智庫的影響力進(jìn)行了比較[13]。

    2.2智庫網(wǎng)絡(luò)影響力評價研究隨著網(wǎng)絡(luò)計量學(xué)的出現(xiàn),對智庫網(wǎng)站進(jìn)行定量計量評價也相繼出現(xiàn)。網(wǎng)絡(luò)計量學(xué)的評價方法具有指標(biāo)容易選取和指標(biāo)數(shù)據(jù)易收集的優(yōu)勢,通常通過智庫網(wǎng)站的超鏈接數(shù)和鏈接網(wǎng)絡(luò)地圖等評價指標(biāo)來評價智庫的網(wǎng)絡(luò)影響。如Onyancha等利用網(wǎng)絡(luò)計量學(xué)方法計量了智庫網(wǎng)站的網(wǎng)頁數(shù)、內(nèi)鏈數(shù)和外鏈數(shù),制作了智庫網(wǎng)站的鏈接地圖,來評估南非智庫的網(wǎng)絡(luò)表現(xiàn)[14]。McNutt利用超鏈接分析研究了智庫參與社會政策、平等、氣候變化、清潔能源和建設(shè)和平等五個不同政策領(lǐng)域的情況,利用網(wǎng)絡(luò)爬蟲收集數(shù)據(jù)然后分析基于超鏈接數(shù)量的排名來實現(xiàn)計量評價[9]。對智庫進(jìn)行網(wǎng)絡(luò)計量評價雖然容易實現(xiàn),但只能分析出智庫在網(wǎng)絡(luò)上的熱度,很難說明智庫對于政策發(fā)揮的實際影響。

    2.3智庫評價研究的新進(jìn)展伴隨著社會信息化熱潮的推開,后期的智庫評價不再僅僅局限于評價智庫的影響力,而是通過對智庫的知識結(jié)構(gòu)評估來評價智庫的研究質(zhì)量。Ahmad等根據(jù)Rosenstiel等人得出的智庫研究工作質(zhì)量取決于引用來源多樣性的結(jié)論[15],利用全球前50名智庫報告的引文信息源來對智庫的研究質(zhì)量進(jìn)行了評估[16]。隨著智庫評價研究的開展,更有學(xué)者對現(xiàn)有的智庫評價進(jìn)行了反思和元評估,指出現(xiàn)有智庫評價研究的不足。Claveau和Veillette從社會認(rèn)知系統(tǒng)的角度對現(xiàn)有的智庫評價進(jìn)行了元評估,認(rèn)為現(xiàn)有的智庫評價缺少明顯的認(rèn)識論,并指出未來智庫評價要關(guān)注智庫生態(tài)系統(tǒng)的評價[17],智庫生態(tài)系統(tǒng)包括其他智庫,也包括來自學(xué)術(shù)、媒體、金融、政治和官方領(lǐng)域的組織。他們?nèi)绾闻c智庫建立聯(lián)系,例如他們對于研究可靠性的警惕,對智庫至關(guān)重要,但是現(xiàn)有的評估沒有考慮到這一點。

    相對于智庫的產(chǎn)生歷史,智庫評價研究仍是一個僅有20余年歷史的新生事物。目前的研究大多是基于實踐和方法基礎(chǔ)上的,也有對指標(biāo)和方法的討論及探索,研究視角比較局限,關(guān)于智庫影響力評價的理論模型、智庫影響決策的機(jī)制等研究較少,導(dǎo)致智庫評價缺乏理論基礎(chǔ)的指導(dǎo)。在評價指標(biāo)和方法上,目前學(xué)者達(dá)成的統(tǒng)一共識是,量化指標(biāo)能夠更好地了解智庫極其工作人員的產(chǎn)出,有助于捕獲智庫發(fā)揮作用時的中間產(chǎn)品。雖然量化指標(biāo)使智庫評價更客觀可信,但量化指標(biāo)較難實現(xiàn)對智庫發(fā)揮的政策影響力的測量。對于智庫影響力的調(diào)查可以詢問政策制定者對單個智庫及其專家的重視程度,以此嘗試獲取影響力數(shù)據(jù),但這些數(shù)據(jù)更多的是看法而不是實際影響,而且也很難量化[18]。

    3 智庫評價實踐進(jìn)展

    相較于智庫評價研究,智庫評價實踐更加蓬勃地展開,許多智庫研究機(jī)構(gòu)、第三方機(jī)構(gòu)、政府機(jī)構(gòu)甚至是媒體組織用不同的方法,基于不同的視角對智庫進(jìn)行了評價。智庫通常被認(rèn)為是以影響公共政策為目的,從事戰(zhàn)略和公共政策研究和咨詢的獨立性非營利組織,因此目前智庫評價實踐主要有基于影響力的評價(評估智庫的影響)、基于透明度的評價(評估智庫獨立性)和基于績效的評價(評估智庫的工作能力和業(yè)績),本文選取發(fā)達(dá)國家和國際組織的知名度較高的智庫評價實踐進(jìn)行綜述,具體內(nèi)容如表1所示。

    表1 智庫評價實踐概況

    3.1基于影響力的評價基于影響力的評價是利用各種指標(biāo)來評估智庫的影響,目前國外智庫評價研究和實踐通常是基于智庫影響力,智庫影響力評價的實踐主要有賓夕法尼亞大學(xué)的《全球智庫指數(shù)報告》、全球發(fā)展中心智庫公眾影響力評價排名、英國Prospect雜志“智庫獎”、AcademicInfluence的數(shù)據(jù)科學(xué)家團(tuán)隊的智庫影響力評價。

    3.1.1 賓夕法尼亞大學(xué)《全球智庫指數(shù)報告》 最具代表性的智庫影響力評價實踐是賓夕法尼亞大學(xué)麥甘教授主持的智庫與公民項目(TTCSP),TTCSP自2008年起開始發(fā)布全球智庫排名,如今已經(jīng)有13版,是世界上比較權(quán)威的智庫評價實踐,其排名得到廣泛的認(rèn)可、關(guān)注和引用。最新一版(2020年)采用資源指標(biāo)、利用指標(biāo)、產(chǎn)出指標(biāo)和影響指標(biāo)來評估智庫的影響力,其中資源指標(biāo)包括招聘和留住頂尖學(xué)者和分析師的能力、財政支出水平、杰出決策者及網(wǎng)絡(luò)質(zhì)量和可靠性等二級指標(biāo),利用指標(biāo)包括在媒體中露面和引用的數(shù)量和質(zhì)量、網(wǎng)絡(luò)點擊率、在立法和行政機(jī)構(gòu)作證的數(shù)量和質(zhì)量等,產(chǎn)出指標(biāo)包括產(chǎn)生建議和想法的數(shù)量和質(zhì)量、新聞采訪、舉辦簡報會、會議和研討會等二級指標(biāo),影響指標(biāo)包括決策者和民間社會組織考慮或采納的建議,對政黨、候選人和過渡團(tuán)隊發(fā)揮咨詢作用、獎項授予、在學(xué)術(shù)期刊上發(fā)表或引用出版物等二級指標(biāo)。此評價體系在避免混淆智庫產(chǎn)出和影響的基礎(chǔ)上開展,認(rèn)為智庫的產(chǎn)出包括出版物數(shù)量、召開的會議、網(wǎng)絡(luò)點擊數(shù)、媒體曝光率等,而產(chǎn)出不是衡量影響的唯一方法,在此基礎(chǔ)上進(jìn)行擴(kuò)充,形成了四個一級指標(biāo)和26個二級指標(biāo)的影響力評價體系。評價方式采取完全定性的方法,由專家和同行對智庫進(jìn)行排名,最后進(jìn)行集合和匯總。TTCSP項目經(jīng)過30年對智庫的研究,形成了一套完整有效的智庫影響力評價標(biāo)準(zhǔn),并且對于全球智庫的統(tǒng)計范圍比較廣而全,目前每年的《全球智庫指數(shù)報告》(Global go to think tank index report)是世界上有較大的影響力和權(quán)威比較高的智庫評價。但TTCSP智庫評價是完全基于專家和業(yè)內(nèi)人士的看法進(jìn)行評價,因此也引發(fā)了一些排名過程不透明、缺乏定量數(shù)據(jù)、不符合智庫定義的機(jī)構(gòu)加入和多元化成員排名的隨意性等質(zhì)疑[4,19]。

    3.1.2 全球發(fā)展中心智庫公眾影響力評價排名 全球發(fā)展中心(Center forGloabal Development)的Julia Clark和David Roodman兩位學(xué)者基于公眾影響力對智庫進(jìn)行了評價排名,設(shè)計了以引文為主要指標(biāo)的包含媒體粉絲、網(wǎng)站流量、鏈接、媒體、學(xué)術(shù)引用和組織規(guī)模指標(biāo)的評價體系,由于選取的指標(biāo)數(shù)據(jù)容易收集和量化,此評價完全采用了定量的方法[20]。定量方法產(chǎn)生的評價結(jié)果令人信服,但是智庫最重要的功能是對政策過程產(chǎn)生作用,因此公眾影響力的評價僅僅是智庫評價的一方面。

    3.1.3 英國Prospect雜志“智庫獎” 英國Prospect雜志自2006年開始評選智庫獎,對智庫的公眾和政策影響力進(jìn)行評價,評價的標(biāo)準(zhǔn)包括重要議題的選擇、成果的創(chuàng)新性和合理性、嚴(yán)格的分析、對政策的影響、對媒體和公眾的影響、召集能力[21]。評價方法是由專家小組進(jìn)行評定的完全定性方法,Prospect雜志的智庫評價起源較早,評價方式和標(biāo)準(zhǔn)較簡單,但并沒有科學(xué)完善的評價方法,采用完全定性的評價方法需要進(jìn)行大量的智庫調(diào)研和權(quán)威專家,而Prospect并沒有做到這兩點。

    3.1.4 AcademicInfluence智庫影響力評價 AcademicInfluence的數(shù)據(jù)科學(xué)家團(tuán)隊也對智庫的影響力進(jìn)行了評價,其指標(biāo)體系包括三個維度,分別是學(xué)術(shù)引用、關(guān)注度和滲透度。方法上采用了較為新穎的人工智能機(jī)器學(xué)習(xí)技術(shù)進(jìn)行深入地數(shù)據(jù)挖掘,根據(jù)智庫人員的獨立工作和與其他機(jī)構(gòu)的隸屬合作關(guān)系、學(xué)術(shù)引用、其他信息源報道等數(shù)據(jù)繪制了智庫地圖,由地圖來確定智庫的學(xué)術(shù)影響、受關(guān)注度和滲透度。并使用來自第三方(包括SEMrush和Ahrefs)的網(wǎng)絡(luò)流量分析提供了更多的佐證和結(jié)果保證[22]。此評價方法新穎先進(jìn),利用Web數(shù)據(jù)聚合,AI驅(qū)動的數(shù)據(jù)分析方法和獨立的Web搜索監(jiān)控結(jié)合進(jìn)行智庫評價,促進(jìn)了新的智庫評價研究方法的研究和實踐。但是此方法評價的主要是智庫的學(xué)術(shù)影響和公眾影響,對于智庫是否在決策和政策過程中發(fā)揮了作用并沒有提及。另外,AcademicInfluence只給出了最終結(jié)論,利用機(jī)器學(xué)習(xí)進(jìn)行評價的過程和數(shù)據(jù)結(jié)果并沒有給出,這也讓此評價面臨質(zhì)疑。

    3.1.5 國際氣候治理中心氣候智庫排名 國際氣候治理中心(The International Center for Climate Governance,ICCG)對氣候變化領(lǐng)域的智庫進(jìn)行排名,其認(rèn)為由于政策制定過程是不同政治行為者和組織集體活動的結(jié)果,因此評估智庫的某個產(chǎn)品或思想對于政策措施的影響往往是比較困難的,只能評估智庫試圖影響決策過程的方式而不是影響力本身。ICCG的智庫排名所用的指標(biāo)基于智庫的人均生產(chǎn)力標(biāo)準(zhǔn),最終確定了兩個評價維度的7個評價指標(biāo)(事件、歐盟項目、歐盟咨詢、同行評審文章、政府間氣候變化專門委員會報告作者或編輯人數(shù)量、向UNFCCC提交的文件數(shù)量)。對指標(biāo)進(jìn)行歸一化,然后根據(jù)專家小組利用曼哈頓距離確定每個指標(biāo)權(quán)重,最后計算得出了絕對排名和人均標(biāo)準(zhǔn)化排名[23]。ICCG完全采用定量的指標(biāo),運用了比較規(guī)范的評價方法。但其指標(biāo)只是對智庫產(chǎn)品數(shù)量的計算,并沒有涵蓋對產(chǎn)品質(zhì)量的考慮,包括是否具有高價值創(chuàng)新和政策倡議作用等。

    3.2基于透明度的評價基于透明度的智庫評價的代表是英國的Transparify,此機(jī)構(gòu)專門對智庫資金來源的透明程度進(jìn)行評價。智庫的透明度評價強(qiáng)調(diào)智庫的獨立性,帶有強(qiáng)烈的政治色彩,這可能與英國智庫發(fā)展從一開始就強(qiáng)調(diào)其對民主政治的影響有關(guān)。英國智庫的發(fā)展始于20世紀(jì)90年代初,早期學(xué)者認(rèn)為智庫大多帶有強(qiáng)烈的政治色彩[24],并表現(xiàn)出了對智庫的出現(xiàn)可能會造成民主制度潛在不健康的擔(dān)憂[25],指出獨立性是智庫的必要條件[26]。

    近年來,智庫面臨很多外部挑戰(zhàn),最嚴(yán)重的的問題與資金透明問題有關(guān),這不僅威脅到智庫的獨立性和客觀性,還威脅到作為公共政策建議來源的可持續(xù)性和可信度[16]。英國Transparify基于透明度的評價認(rèn)為透明是民族進(jìn)程的重要要求,能夠捍衛(wèi)公共利益并增加公民對政治的參與,智庫通過產(chǎn)出質(zhì)量和賬戶透明度贏得聲望,而產(chǎn)出的質(zhì)量與研究的獨立性相關(guān),研究的獨立性與透明度完全相關(guān),由此認(rèn)為透明度對智庫至關(guān)重要[26],智庫的價值在于是致力于嚴(yán)謹(jǐn)研究和獨立的真正智庫而不是偽裝成智庫的秘密說客。從2016年英國就脫歐問題進(jìn)行公投開始,Transparify對智庫的透明度問題更加重視,認(rèn)為英國國內(nèi)存在從俄羅斯獲得資金來源的財務(wù)不透明的法國假智庫。政策議程上很多利害攸關(guān)的決定需要非常謹(jǐn)慎的聽取建議,遵循民主規(guī)范的透明智庫更加可信[27]。Transparify將資金的透明度作為智庫評價的唯一標(biāo)準(zhǔn),評價方法是由兩名獨立評估員訪問智庫的網(wǎng)站進(jìn)行資金透明度的評估,得到兩份獨立的評級結(jié)果,然后再由一名審核人員對兩份評級結(jié)果進(jìn)行審核最后給出透明度等級。Transparify從2014年開始倡導(dǎo)通過透明度來對智庫進(jìn)行評價,經(jīng)過7年發(fā)展已經(jīng)取得一定的影響力,從2016年英國脫歐進(jìn)程開始政治傾向比較強(qiáng),其在2017年發(fā)布的智庫排名中明確指出七個資金高度不透明的“欺騙性”智庫,認(rèn)為他們從幕后黑手中獲取資金,試圖影響英國的政治和政策[10]。Transparify的研究員Till Bruckner 堅持認(rèn)為智庫要么通過進(jìn)行政策研究、促進(jìn)公眾對話和辯論來促進(jìn)民主,要么被強(qiáng)大的利益集團(tuán)所推動來破壞民主。一個對其研究和政策倡導(dǎo)的質(zhì)量、研究獨立性和完整性有信心的政策研究機(jī)構(gòu),在披露其捐助者時不會有問題,不管這些捐助者是誰,因為他們能夠為基于證據(jù)的政策制定和民主政治做出貢獻(xiàn)[28]。雖然智庫透明意味著智庫的研究比較科學(xué)獨立可信,但是完全用透明度這一單一指標(biāo)并不能完整評估智庫的研究水平和對政策產(chǎn)生的作用,在這一方面,Transparify的觀點有過于政治化的傾向。

    3.3基于績效的評價智庫績效評價是指依照其預(yù)先確定的標(biāo)準(zhǔn),運用科學(xué)的評價程序和評價方法對智庫的工作能力、工作業(yè)績進(jìn)行定期和不定期的考核和評價。國外的智庫績效評價實踐主要有日本智庫內(nèi)部評估委員會和德國萊布尼茨學(xué)會。

    3.3.1 日本智庫內(nèi)部評估委員會的績效評價 日本智庫評價主要采取基于績效的評價方式,評估在智庫內(nèi)部完成。如亞洲經(jīng)濟(jì)研究所在智庫內(nèi)部設(shè)立評估委員會,委員會由外部專家組成,評估該研究所的績效,進(jìn)一步振興和提高智庫效率[29]。評估人員一般由國家公務(wù)人員和兼職教授組成,代表國家利益對智庫活動進(jìn)行監(jiān)管和評估。評價項目包括調(diào)查研究項目、成果推廣項目、研究交流項目、圖書館項目、人才培養(yǎng)項目,每年從5個項目中隨機(jī)挑選出一個進(jìn)行評價,2013和2014年對所有的項目進(jìn)行了評估,2017年至今一直選取調(diào)查研究項目進(jìn)行評估[30]。評估方法采取定性和定量相結(jié)合的方法,對研究成果進(jìn)行定量評估,由專家對質(zhì)量進(jìn)行定性綜合評價,得出五個等級的評估分?jǐn)?shù)均分,并給出定性的描述,2018年評價標(biāo)準(zhǔn)包括研究報告的目的背景是否妥當(dāng),方法論是否恰當(dāng)明確,是否具有充分的理論和實證材料,是否有超出先前研究的研究成果,是否有學(xué)術(shù)貢獻(xiàn)或政策建議貢獻(xiàn),論點是否明確,內(nèi)容是否統(tǒng)一[31]。最后評價結(jié)果由秘書處進(jìn)行匯總發(fā)布。2019年明確了三個評價維度(研究成果是否通過有效的外聯(lián)活動為日本政府制定貿(mào)易政策提供基礎(chǔ)、是否創(chuàng)造了大學(xué)和私營公司難以實施的開創(chuàng)性高附加值研究成果、是否發(fā)揮國際研究樞紐和學(xué)術(shù)信息平臺的功能)六個評價指標(biāo)(有效外聯(lián)活動的實施、研究成果通過外聯(lián)產(chǎn)生的社會效應(yīng)、政策對話中決策者的評價;開創(chuàng)性高附加值研究成果創(chuàng)造情況;新形成或維持的學(xué)術(shù)網(wǎng)絡(luò)數(shù)量和質(zhì)量、學(xué)術(shù)情報的積累和運用狀況)和九個監(jiān)測指標(biāo)(舉辦講座、研討會和國際研討會等的次數(shù),政策研究對話的實施次數(shù),媒體報道的次數(shù);雜志網(wǎng)站上或口頭發(fā)表的論文數(shù)量,研究成果的外部評價;國際會議等的參加數(shù)、邀請演講數(shù),研究所主辦、共同主辦或參與的國際會議數(shù)量,學(xué)術(shù)網(wǎng)絡(luò)活動的外部評估,學(xué)術(shù)信息、數(shù)據(jù)的發(fā)布、訪問和下載次數(shù))[32]。日本經(jīng)濟(jì)研究所的智庫評估起步早,從1993年開始每年定期評估,經(jīng)過20多年的發(fā)展,評價已經(jīng)較為完善,指標(biāo)比較齊全,發(fā)揮了智庫評估的良好作用。這也是日本智庫發(fā)展迅速的原因之一,賓夕法尼亞大學(xué)發(fā)布的《2020全球智庫報告》中,2020年度世界排名第一的頂級智庫即為日本的國際事務(wù)研究所。

    3.3.2 德國萊布尼茨學(xué)會的智庫績效評價 德國的智庫由第三方機(jī)構(gòu)萊布尼茲協(xié)會參議院進(jìn)行評價,萊布尼茲協(xié)會受政府委托授權(quán)對各個萊布尼茲機(jī)構(gòu)成員進(jìn)行監(jiān)管,定期對他們進(jìn)行評價,以確定這些智庫是否滿足國家利益和超地區(qū)的重要性,是否有資格繼續(xù)接受聯(lián)邦資助。萊布尼茲協(xié)會的評估有一整套完整的評價過程和程序報告,評價采用定性與定量相結(jié)合的方法,評價專家選取非萊布尼茲機(jī)構(gòu)學(xué)者,各聯(lián)邦和州的代表以及參議院成員,保證定性評價過程的客觀性[33]。萊布尼茲協(xié)會對整個智庫的運行管理過程進(jìn)行綜合評價,評價過程科學(xué)規(guī)范,評價維度包括活動和關(guān)鍵成果、變更和計劃、質(zhì)量管理和控制、人力資源、合作和環(huán)境、研究基礎(chǔ)設(shè)施的開發(fā)以及未來的戰(zhàn)略工作計劃等。評價指標(biāo)設(shè)計復(fù)雜全面,其中二級指標(biāo)有18個,二級指標(biāo)下設(shè)三級指標(biāo),分有定性指標(biāo)和定量指標(biāo)。萊布尼茨協(xié)會的評價與日本的智庫評價一樣,并不會給出智庫評價的排名。

    4 結(jié)論與啟示

    4.1結(jié)論

    4.1.1 理論基礎(chǔ)薄弱是國外智庫評價的短板 相關(guān)研究表明,明確的認(rèn)識論是客觀開展智庫評價的基礎(chǔ)和前提,對智庫的定義以及核心功能的認(rèn)識不同會造成評價的視角和側(cè)重點的差異。從不同的學(xué)科視角入手也會產(chǎn)生不同的評價體系,例如側(cè)重從政治學(xué)角度入手的學(xué)者比較關(guān)注智庫的透明度和意識形態(tài),而從社會科學(xué)角度入手的學(xué)者則更側(cè)重于智庫產(chǎn)品的輸出。另一方面,評價理論基礎(chǔ)的缺失導(dǎo)致評價過程中選取的指標(biāo)邏輯性不強(qiáng)和泛化現(xiàn)象,從而影響智庫評價的可信度和客觀性。目前國外大部分國家智庫仍處于發(fā)展階段,智庫評價研究側(cè)重于實踐、方法和指標(biāo)選取層面,理論研究不足。智庫評價理論的缺乏與對智庫本身定義、功能、作用等理論研究的缺失存在一定的關(guān)系[34],未來還應(yīng)加強(qiáng)對智庫的基礎(chǔ)理論研究。

    4.1.2 智庫影響力評價進(jìn)展受阻 國外智庫影響力的評價實踐受到廣泛關(guān)注,但評價結(jié)果沒有得到廣泛認(rèn)可,影響力量化指標(biāo)的選取和定性方法的使用受到一定質(zhì)疑。主要原因在于智庫評價研究并未形成一定的理論框架,導(dǎo)致評價指標(biāo)選取比較隨意,指標(biāo)越來越泛化,受數(shù)據(jù)獲取的限制,大多數(shù)量化指標(biāo)也比較局限,例如一些文獻(xiàn)指標(biāo)、網(wǎng)絡(luò)指標(biāo)等。這些量化指標(biāo)雖是智庫影響公共政策的有用指標(biāo),但是從經(jīng)濟(jì)學(xué)家衡量產(chǎn)出的角度看,這只是用來評價智庫在發(fā)揮其作用時產(chǎn)生的“中間產(chǎn)品”,并不能說明智庫對政策過程是否產(chǎn)生了實際影響,政策制定者是否會使用智庫的這些產(chǎn)品,智庫的產(chǎn)品和相關(guān)建議是否影響了相關(guān)政策的制定。智庫對于政策過程產(chǎn)生的實際影響難以量化。一些實踐采取主觀定性的方法來評價智庫對于政策的影響,但是由于數(shù)據(jù)是感知的并不是實際的,很難以令人信服,大多數(shù)的定性評價采取了專家打分和問卷調(diào)查法,評價結(jié)果受主觀因素的影響較大,評價過程受到不透明性的質(zhì)疑。并且排名一定程度上可能造成智庫的攀比現(xiàn)象和智庫評價中的拉票現(xiàn)象,這一定程度上影響了評價的效果,未能發(fā)揮評價對于智庫建設(shè)和發(fā)展的積極作用。因此許多學(xué)者指出基于影響力對智庫進(jìn)行評價和排名是一項有問題且無法實現(xiàn)的工作[6,7,11]。

    4.1.3 智庫透明度評價逐漸受到關(guān)注 與影響力評價相比,基于透明度評價視角的智庫評價較少,但為智庫評價提供了“獨立性”維度,認(rèn)為智庫的獨立性保證了智庫研究的可靠性,從而能夠?qū)①Y金透明研究可信的“真智庫”與資金不透明具有欺騙性的“假智庫”進(jìn)行區(qū)分,資金透明可以防止許多組織冠以智庫名稱,通過說客或外部專家形式來影響和干預(yù)他國的政策。透明度評價與政治環(huán)境密切相關(guān),當(dāng)前世界處于百年未有大變局,智庫對于政府決策體現(xiàn)出前所未有的重要性,因此智庫的透明度受到?jīng)Q策者的重視。2020年10月美國前國務(wù)卿蓬佩奧發(fā)布聲明,美國務(wù)院要求智庫等機(jī)構(gòu)公布接受外國政府的資金信息,認(rèn)為智庫在外交事務(wù)中的獨特作用使得資金的透明度非常重要,并點名中國和俄羅斯試圖通過智庫對美國外交政策施加影響[35]。蓬佩奧點名中俄雖然是出于意識形態(tài)偏見和政治私利,但是從英美對智庫透明度的重視來看,智庫透明度評價應(yīng)該予以重視。但是透明度評價指標(biāo)單一,政治色彩濃厚,僅能區(qū)分智庫研究的獨立性和可靠程度,并不能評估研究的質(zhì)量和對政策產(chǎn)生的實際影響。

    4.1.4 績效評價實踐取得了較好的評價效果 雖然智庫績效評價研究和實踐較少,大部分智庫評價報告也對“績效”維度的評價指標(biāo)有所忽視,但是日本和德國的智庫績效評價取得了良好的評價效果,評價指標(biāo)較為完善,采用定性和定量結(jié)合的評價方法,評價過程透明,評價結(jié)果可信度較高,促進(jìn)了智庫的發(fā)展。績效評價側(cè)重對智庫工作能力的評價,但同樣指標(biāo)設(shè)計邏輯性不高,并對智庫的聲望和發(fā)揮的影響等維度的指標(biāo)選取有所忽視。

    4.2啟示

    4.2.1 夯實智庫評價的理論基礎(chǔ)是完善智庫評價的根本途徑 國外智庫評價多為實踐案例,缺少理論研究。理論研究的缺失導(dǎo)致指標(biāo)設(shè)計的邏輯性不強(qiáng),指標(biāo)出現(xiàn)泛化現(xiàn)象,評價結(jié)果受到質(zhì)疑?;谟绊懥Φ闹菐煸u價實踐較多但是出現(xiàn)發(fā)展瓶頸,阻礙智庫影響力評價進(jìn)展的原因一方面是由于公共政策的延伸性,從一個想法變?yōu)橐粋€特定的公共政策決定通常需要十年或者更長時間[15]。另一方面是對于智庫施加影響和塑造政治的機(jī)理[14]以及傳播思想的方式[12]仍然有待研究。探究智庫塑造公共政策的機(jī)理和智庫成功的影響因素從而夯實智庫評價的理論基礎(chǔ)是完善智庫評價的根本途徑。

    4.2.2 基于能力視角構(gòu)建評價體系是智庫評價新思路 智庫要么側(cè)重于政策研究,要么側(cè)重于政策倡導(dǎo)[35]。Ahmad認(rèn)為智庫的主要任務(wù)是生成與政策相關(guān)的知識,并為政治和商業(yè)精英以及廣大公眾提供信息[36]。Bedford和Hada也指出,如果智庫能夠提供高質(zhì)量的知識產(chǎn)品和服務(wù)但是不能將這些知識產(chǎn)品和服務(wù)提供給政策制定者和決策者,智庫仍然是重要的,而如果智庫的重點從政策研究轉(zhuǎn)為政策倡導(dǎo),那么智庫的存在就變得不必要了[37],因此其指出根據(jù)智庫成果和智庫能力進(jìn)行智庫評價和排名尤為重要[7]??梢钥闯鯞edford等人更加重視智庫的政策研究能力,政策倡導(dǎo)本身就以政策研究為基礎(chǔ),要有理有據(jù)并保持科學(xué)客觀性。智庫影響力的發(fā)揮是智庫的內(nèi)部能力與其所處的環(huán)境相互作用的結(jié)果。智庫能否發(fā)揮及發(fā)揮多大影響力本質(zhì)上取決于智庫的研究能力構(gòu)建是否完善,加強(qiáng)智庫能力建設(shè)是實現(xiàn)智庫影響力的必然途徑,從能力視角出發(fā)構(gòu)建我國智庫評價的體系與方法,是智庫評價的新思路。

    4.2.3 我國智庫評價需探索自身的理論基礎(chǔ)和評價方式 可以看出,比起我國的智庫評價研究和實踐,國外智庫評價雖然國際影響力比較高,但也沒有發(fā)展成熟和達(dá)成統(tǒng)一共識。最具影響力和權(quán)威性的《全球智庫指數(shù)》報告 (Global Go To Think Tanks Index (GGTTT) Reports)在國際上也備受質(zhì)疑。而由于制度差異,我國的智庫發(fā)展與西方智庫本就不盡相同,不可以盲目的參照和模仿西方的智庫建設(shè)標(biāo)準(zhǔn)來對我國智庫進(jìn)行評價。除了指標(biāo)體系本身的問題外,麥甘教授的智庫排名也被指出具有西方中心主義的傾向,其本人早在2008年的研究《非政府組織的回?fù)簦菏褂梅珊头ㄍ馐侄蝸砑s束智庫和民間社會組織》(《NGO Pushback: The Use of Legal and Extralegal Means to Constrain Think Tanks & Civil Society Organizations》)一文中頭號批評中國對于智庫和NGO組織的約束,并指責(zé)為倒退的民主政體或?qū)V普w,背離民主改革,并建議聯(lián)合國、歐盟、美洲國家的雙邊和多邊組織對我國政府施加外交壓力,鼓勵智庫和NGO組織發(fā)展區(qū)域網(wǎng)絡(luò)和提高與公眾的聯(lián)系,挫敗政府的壓制性規(guī)定,鼓勵在國內(nèi)運營的外國非政府組織與我國的草根、本土非政府組織聯(lián)合起來,打擊政府行為。其在《全球智庫:政策網(wǎng)絡(luò)與治理》的著作中認(rèn)為發(fā)展中國家和轉(zhuǎn)型國家智庫的非獨立性“不幸”非常嚴(yán)重??梢钥闯觯湼式淌诓]有仔細(xì)探索包括我國在內(nèi)的發(fā)展中國家的智庫發(fā)展?fàn)顩r,而是樹立起美國式智庫的理想模型,以自我為中心對發(fā)展中國家的智庫建設(shè)作出評判。智庫運作的國家政治背景和決策體制各不相同,在執(zhí)行其多方面任務(wù)以及各種活動發(fā)揮作用的方式也各不相同[4]。從這一點也可以看出,我國并不能夠完全參照西方的智庫評價標(biāo)準(zhǔn)來對本國的智庫作出評價。由于我國社會主義制度與西方資本主義的巨大差異,我國智庫建設(shè)和評價仍需探索中國特色的理論基礎(chǔ)和實踐。探索符合我國智庫評價的模式和方法,需在借鑒國外研究的基礎(chǔ)上進(jìn)行理論探索和方式創(chuàng)新。

    猜你喜歡
    智庫影響力評估
    天才影響力
    NBA特刊(2018年14期)2018-08-13 08:51:40
    黃艷:最深遠(yuǎn)的影響力
    微智庫
    微智庫
    評估依據(jù)
    3.15消協(xié)三十年十大影響力事件
    傳媒不可估量的影響力
    人間(2015年21期)2015-03-11 15:24:39
    智庫能為我們做什么?
    全球化(2015年9期)2015-02-28 12:40:12
    建智庫,話擔(dān)當(dāng)
    立法后評估:且行且盡善
    浙江人大(2014年5期)2014-03-20 16:20:25
    此物有八面人人有两片| 午夜精品久久久久久毛片777| 男女午夜视频在线观看| 韩国av一区二区三区四区| 久久久久九九精品影院| 久久精品国产自在天天线| 两性午夜刺激爽爽歪歪视频在线观看| 99在线视频只有这里精品首页| 18禁黄网站禁片免费观看直播| 久久精品亚洲精品国产色婷小说| 18美女黄网站色大片免费观看| 欧美黄色片欧美黄色片| 国产精品综合久久久久久久免费| 桃红色精品国产亚洲av| 亚洲av成人av| 中文字幕av成人在线电影| 久久人妻av系列| 亚洲欧美日韩高清专用| 十八禁网站免费在线| 国产一区二区三区视频了| 天堂影院成人在线观看| 在线观看午夜福利视频| 亚洲激情在线av| 国产精品亚洲一级av第二区| 啦啦啦韩国在线观看视频| 男插女下体视频免费在线播放| 一进一出好大好爽视频| 亚洲人成网站在线播放欧美日韩| 黑人欧美特级aaaaaa片| 欧美色视频一区免费| 女生性感内裤真人,穿戴方法视频| 午夜两性在线视频| 亚洲在线观看片| 欧美成人免费av一区二区三区| 搡老妇女老女人老熟妇| 国产蜜桃级精品一区二区三区| 色哟哟哟哟哟哟| 亚洲在线自拍视频| 狂野欧美白嫩少妇大欣赏| 欧美性猛交╳xxx乱大交人| 色噜噜av男人的天堂激情| 久久精品国产综合久久久| 国产中年淑女户外野战色| 日日干狠狠操夜夜爽| 国产精品久久久久久精品电影| 每晚都被弄得嗷嗷叫到高潮| 亚洲一区二区三区不卡视频| 一卡2卡三卡四卡精品乱码亚洲| 亚洲精品久久国产高清桃花| 在线观看美女被高潮喷水网站 | 亚洲国产欧美人成| 男女午夜视频在线观看| 欧美不卡视频在线免费观看| 天堂av国产一区二区熟女人妻| 首页视频小说图片口味搜索| 听说在线观看完整版免费高清| 欧美av亚洲av综合av国产av| 老熟妇乱子伦视频在线观看| 国产高清三级在线| 国产成人av教育| 18禁在线播放成人免费| 国产蜜桃级精品一区二区三区| 亚洲国产高清在线一区二区三| 免费人成在线观看视频色| 成人性生交大片免费视频hd| 日本免费a在线| av欧美777| 久久久久久人人人人人| 熟妇人妻久久中文字幕3abv| 丁香六月欧美| 亚洲人成网站在线播| 狂野欧美白嫩少妇大欣赏| 国产精品 国内视频| 少妇裸体淫交视频免费看高清| 国产三级在线视频| 精品一区二区三区视频在线观看免费| 在线观看av片永久免费下载| 香蕉久久夜色| 亚洲天堂国产精品一区在线| 黄色片一级片一级黄色片| 亚洲av熟女| 最近最新免费中文字幕在线| 亚洲美女视频黄频| 精品一区二区三区视频在线观看免费| 真人做人爱边吃奶动态| 校园春色视频在线观看| x7x7x7水蜜桃| 最后的刺客免费高清国语| 欧美性感艳星| 黄色女人牲交| 国产乱人视频| 欧美不卡视频在线免费观看| 国产精品电影一区二区三区| 国产精品亚洲av一区麻豆| 观看美女的网站| 国产一区二区三区在线臀色熟女| 天天添夜夜摸| 真人一进一出gif抽搐免费| 99久久精品国产亚洲精品| 两人在一起打扑克的视频| 久久久色成人| 精品一区二区三区视频在线 | 看黄色毛片网站| 国内久久婷婷六月综合欲色啪| 国产欧美日韩一区二区精品| 久久久久国内视频| 我要搜黄色片| 亚洲性夜色夜夜综合| 国产精品三级大全| 久久中文看片网| 国产伦精品一区二区三区视频9 | 久久精品综合一区二区三区| 88av欧美| 他把我摸到了高潮在线观看| 最新中文字幕久久久久| 免费看a级黄色片| 精品人妻偷拍中文字幕| 亚洲美女黄片视频| 午夜福利在线在线| 日韩成人在线观看一区二区三区| 波多野结衣高清无吗| 日本黄色视频三级网站网址| 老汉色∧v一级毛片| 欧美日韩精品网址| 搞女人的毛片| 欧美一级a爱片免费观看看| 精品人妻一区二区三区麻豆 | 成人午夜高清在线视频| 精品久久久久久久毛片微露脸| 哪里可以看免费的av片| www.999成人在线观看| 一进一出好大好爽视频| 丰满人妻一区二区三区视频av | 欧美在线一区亚洲| 岛国在线免费视频观看| 嫩草影院精品99| a级毛片a级免费在线| 亚洲国产欧美人成| 久久久久久久午夜电影| 国产一区二区激情短视频| 久久精品综合一区二区三区| 国产精品爽爽va在线观看网站| 久久久久久久午夜电影| 天天添夜夜摸| 69av精品久久久久久| 最近最新中文字幕大全免费视频| 精品免费久久久久久久清纯| 欧美日韩乱码在线| 亚洲av电影在线进入| 亚洲内射少妇av| 18禁国产床啪视频网站| 一进一出抽搐gif免费好疼| 亚洲成人免费电影在线观看| 国产黄片美女视频| 久久精品国产综合久久久| 欧美最黄视频在线播放免费| 国产成人a区在线观看| 成人亚洲精品av一区二区| 久久草成人影院| 最新在线观看一区二区三区| 欧美3d第一页| 成年人黄色毛片网站| 精品久久久久久久末码| or卡值多少钱| 女人高潮潮喷娇喘18禁视频| 亚洲午夜理论影院| 最新美女视频免费是黄的| 尤物成人国产欧美一区二区三区| 欧美日韩中文字幕国产精品一区二区三区| 热99在线观看视频| 色噜噜av男人的天堂激情| 老汉色∧v一级毛片| 成人av一区二区三区在线看| 男女做爰动态图高潮gif福利片| 99精品欧美一区二区三区四区| 久久久成人免费电影| 日本免费一区二区三区高清不卡| 中文字幕av成人在线电影| 欧美+亚洲+日韩+国产| av国产免费在线观看| 深夜精品福利| 九九久久精品国产亚洲av麻豆| 国产高清视频在线播放一区| 手机成人av网站| 一级毛片女人18水好多| 最近最新中文字幕大全电影3| 一进一出抽搐动态| 真人一进一出gif抽搐免费| 女人十人毛片免费观看3o分钟| 老汉色av国产亚洲站长工具| 午夜亚洲福利在线播放| 免费大片18禁| 少妇的逼好多水| 国产精品,欧美在线| 黄色女人牲交| 天天躁日日操中文字幕| 91麻豆av在线| 内射极品少妇av片p| 亚洲 国产 在线| 99国产极品粉嫩在线观看| 亚洲熟妇中文字幕五十中出| 欧美性猛交╳xxx乱大交人| 少妇人妻精品综合一区二区 | 精品一区二区三区视频在线观看免费| 国产精品久久久久久精品电影| 搡老妇女老女人老熟妇| 一卡2卡三卡四卡精品乱码亚洲| 亚洲国产欧美网| 国产精品久久久久久亚洲av鲁大| 90打野战视频偷拍视频| 久久久久性生活片| 国产伦精品一区二区三区四那| 久久精品91蜜桃| www日本黄色视频网| 国产一区二区亚洲精品在线观看| 最近最新免费中文字幕在线| 三级毛片av免费| 脱女人内裤的视频| 免费看光身美女| 午夜福利在线观看免费完整高清在 | 国产高清三级在线| 亚洲成av人片在线播放无| 亚洲va日本ⅴa欧美va伊人久久| 女同久久另类99精品国产91| 97碰自拍视频| 丰满的人妻完整版| 国产亚洲欧美在线一区二区| 国内毛片毛片毛片毛片毛片| 欧美成狂野欧美在线观看| 成年免费大片在线观看| 中文字幕人妻熟人妻熟丝袜美 | 亚洲精品美女久久久久99蜜臀| 99精品欧美一区二区三区四区| 亚洲无线在线观看| 深爱激情五月婷婷| 免费看十八禁软件| 久久久国产成人免费| 最近在线观看免费完整版| 久9热在线精品视频| 国产97色在线日韩免费| 校园春色视频在线观看| 两个人看的免费小视频| 成年女人看的毛片在线观看| 国产91精品成人一区二区三区| 午夜福利在线观看吧| 级片在线观看| 欧美最新免费一区二区三区 | 一区二区三区激情视频| 国产欧美日韩精品亚洲av| 国产精品美女特级片免费视频播放器| 亚洲不卡免费看| 欧美精品啪啪一区二区三区| 国产成人系列免费观看| 国内毛片毛片毛片毛片毛片| 亚洲欧美精品综合久久99| 欧美+日韩+精品| 亚洲 国产 在线| 日本 av在线| or卡值多少钱| 黄片大片在线免费观看| 欧美极品一区二区三区四区| 国产高清三级在线| 老熟妇乱子伦视频在线观看| 一区福利在线观看| 最后的刺客免费高清国语| 国产在线精品亚洲第一网站| 亚洲 欧美 日韩 在线 免费| 亚洲精品日韩av片在线观看 | 美女 人体艺术 gogo| 波多野结衣巨乳人妻| 99视频精品全部免费 在线| 免费看美女性在线毛片视频| 禁无遮挡网站| 国产aⅴ精品一区二区三区波| 久久精品国产综合久久久| 国产免费一级a男人的天堂| 无遮挡黄片免费观看| 制服丝袜大香蕉在线| 午夜精品久久久久久毛片777| 在线播放国产精品三级| 午夜免费男女啪啪视频观看 | 动漫黄色视频在线观看| 免费av毛片视频| 超碰av人人做人人爽久久 | 中文在线观看免费www的网站| 久久精品亚洲精品国产色婷小说| 不卡一级毛片| 久久人人精品亚洲av| 99在线人妻在线中文字幕| 亚洲七黄色美女视频| 亚洲一区高清亚洲精品| 国内精品久久久久精免费| 亚洲精品一卡2卡三卡4卡5卡| 无遮挡黄片免费观看| 琪琪午夜伦伦电影理论片6080| 日本一二三区视频观看| 欧美国产日韩亚洲一区| 久久伊人香网站| 成人高潮视频无遮挡免费网站| 757午夜福利合集在线观看| 老熟妇仑乱视频hdxx| 97碰自拍视频| 久久99热这里只有精品18| 日韩欧美一区二区三区在线观看| 欧美性猛交╳xxx乱大交人| 国内毛片毛片毛片毛片毛片| 男插女下体视频免费在线播放| 一卡2卡三卡四卡精品乱码亚洲| 内射极品少妇av片p| 国产男靠女视频免费网站| 午夜亚洲福利在线播放| 久久久国产成人精品二区| 色综合婷婷激情| 老汉色∧v一级毛片| 国产精品一及| 中国美女看黄片| 99久久综合精品五月天人人| 国产伦一二天堂av在线观看| 亚洲专区中文字幕在线| 久久久久久久久久黄片| 欧美成狂野欧美在线观看| 精品久久久久久久久久久久久| 一个人看的www免费观看视频| 日韩欧美精品v在线| 午夜福利在线观看吧| 日日摸夜夜添夜夜添小说| 国产精品久久久久久久电影 | 欧美日韩福利视频一区二区| 99热精品在线国产| 亚洲 国产 在线| 变态另类丝袜制服| 黄色片一级片一级黄色片| 欧美日韩亚洲国产一区二区在线观看| 在线播放国产精品三级| 天堂av国产一区二区熟女人妻| 亚洲精品在线观看二区| 国产黄色小视频在线观看| 欧洲精品卡2卡3卡4卡5卡区| 亚洲国产精品合色在线| 美女高潮喷水抽搐中文字幕| 午夜激情欧美在线| 免费看光身美女| 精品人妻偷拍中文字幕| 露出奶头的视频| 99久久综合精品五月天人人| 手机成人av网站| 18禁黄网站禁片免费观看直播| 国产亚洲欧美在线一区二区| 久久久国产成人免费| 国产精品一区二区免费欧美| 欧美最新免费一区二区三区 | 看片在线看免费视频| 白带黄色成豆腐渣| 久久婷婷人人爽人人干人人爱| 18美女黄网站色大片免费观看| 亚洲男人的天堂狠狠| 久久久久国产精品人妻aⅴ院| 亚洲欧美日韩无卡精品| 亚洲精品久久国产高清桃花| a级一级毛片免费在线观看| ponron亚洲| 午夜亚洲福利在线播放| 中出人妻视频一区二区| 搡老熟女国产l中国老女人| 午夜福利在线观看免费完整高清在 | av中文乱码字幕在线| 亚洲熟妇熟女久久| 免费观看的影片在线观看| 丰满人妻熟妇乱又伦精品不卡| 国产亚洲精品一区二区www| 在线观看av片永久免费下载| 哪里可以看免费的av片| 日本一二三区视频观看| 99久久成人亚洲精品观看| 婷婷亚洲欧美| 一级a爱片免费观看的视频| av在线天堂中文字幕| 一进一出抽搐动态| 成人一区二区视频在线观看| 日本黄色视频三级网站网址| 久久久久久久久久黄片| 亚洲欧美激情综合另类| 又紧又爽又黄一区二区| 久久婷婷人人爽人人干人人爱| 青草久久国产| 国产激情欧美一区二区| 国产三级在线视频| 热99re8久久精品国产| 性欧美人与动物交配| 欧美高清成人免费视频www| 1000部很黄的大片| 色吧在线观看| 两个人视频免费观看高清| 黄色丝袜av网址大全| 国产亚洲精品av在线| 12—13女人毛片做爰片一| 欧美日韩中文字幕国产精品一区二区三区| 亚洲欧美激情综合另类| 99精品在免费线老司机午夜| 免费在线观看影片大全网站| 国产一区二区激情短视频| 女警被强在线播放| 国产成+人综合+亚洲专区| 少妇丰满av| 国模一区二区三区四区视频| 久久久久久久亚洲中文字幕 | 久久6这里有精品| 在线播放国产精品三级| 久久精品91蜜桃| 国产一区二区亚洲精品在线观看| 99久久精品国产亚洲精品| 欧美乱色亚洲激情| 久久精品国产亚洲av香蕉五月| 性欧美人与动物交配| 国产一区二区三区在线臀色熟女| 日韩欧美精品免费久久 | 在线看三级毛片| 中文字幕高清在线视频| 久久精品国产亚洲av涩爱 | 免费在线观看成人毛片| 岛国在线观看网站| 亚洲欧美日韩无卡精品| 午夜老司机福利剧场| 日韩欧美在线乱码| 国产欧美日韩一区二区三| 国产中年淑女户外野战色| 在线国产一区二区在线| 国产精品久久久久久亚洲av鲁大| 亚洲欧美一区二区三区黑人| 久99久视频精品免费| 丁香六月欧美| 午夜福利在线在线| 深爱激情五月婷婷| 欧美日韩亚洲国产一区二区在线观看| 婷婷精品国产亚洲av| 色综合亚洲欧美另类图片| 十八禁人妻一区二区| 午夜精品一区二区三区免费看| 精品一区二区三区人妻视频| 90打野战视频偷拍视频| 亚洲人成伊人成综合网2020| 国产午夜精品论理片| 美女免费视频网站| 日本一二三区视频观看| xxx96com| 国产精品1区2区在线观看.| 久久久久久久久大av| 一边摸一边抽搐一进一小说| 中文在线观看免费www的网站| 精品国产超薄肉色丝袜足j| 久久香蕉国产精品| 日本黄色片子视频| 少妇高潮的动态图| 免费av毛片视频| 国产麻豆成人av免费视频| 欧美日本视频| 在线观看一区二区三区| 十八禁人妻一区二区| 国产激情偷乱视频一区二区| 波多野结衣高清无吗| 岛国在线免费视频观看| 国产成人啪精品午夜网站| 精品国产亚洲在线| 综合色av麻豆| 精品午夜福利视频在线观看一区| 国内精品一区二区在线观看| 精品国产三级普通话版| 亚洲av免费高清在线观看| 一区二区三区国产精品乱码| 人人妻,人人澡人人爽秒播| 91在线精品国自产拍蜜月 | 国产高清视频在线播放一区| a级毛片a级免费在线| 国产久久久一区二区三区| 亚洲专区中文字幕在线| 69av精品久久久久久| 国产av麻豆久久久久久久| 久久国产乱子伦精品免费另类| 亚洲精华国产精华精| 午夜视频国产福利| 人人妻人人澡欧美一区二区| 欧美成人性av电影在线观看| 成人精品一区二区免费| 国产免费av片在线观看野外av| 少妇人妻精品综合一区二区 | av在线蜜桃| 日本与韩国留学比较| 色综合站精品国产| 久久草成人影院| 国产免费一级a男人的天堂| av在线天堂中文字幕| 男女那种视频在线观看| 丁香欧美五月| tocl精华| 少妇高潮的动态图| 淫秽高清视频在线观看| 久久久精品大字幕| 国产伦精品一区二区三区视频9 | 欧美色欧美亚洲另类二区| 婷婷精品国产亚洲av| 亚洲无线在线观看| 午夜久久久久精精品| 色在线成人网| 日日干狠狠操夜夜爽| 脱女人内裤的视频| 久久这里只有精品中国| 国产精品女同一区二区软件 | 一区福利在线观看| 午夜激情欧美在线| 在线天堂最新版资源| 制服丝袜大香蕉在线| 99精品在免费线老司机午夜| 香蕉av资源在线| 成人鲁丝片一二三区免费| 老司机在亚洲福利影院| 国产精品一区二区三区四区久久| 国产精品久久电影中文字幕| 亚洲成人免费电影在线观看| 琪琪午夜伦伦电影理论片6080| 老司机福利观看| 国产乱人伦免费视频| 日韩欧美免费精品| 亚洲天堂国产精品一区在线| 久久精品人妻少妇| 男女之事视频高清在线观看| 国产色婷婷99| 久久精品国产自在天天线| 亚洲人成电影免费在线| 国产精品国产高清国产av| 嫩草影院精品99| 夜夜躁狠狠躁天天躁| 亚洲片人在线观看| 免费在线观看亚洲国产| 久久精品91蜜桃| 欧美成人a在线观看| 免费av观看视频| 男女床上黄色一级片免费看| 国产久久久一区二区三区| 亚洲乱码一区二区免费版| tocl精华| 国产视频一区二区在线看| 99国产精品一区二区蜜桃av| 国产av一区在线观看免费| av中文乱码字幕在线| 亚洲国产精品成人综合色| 日韩欧美在线乱码| 欧美黄色片欧美黄色片| 精品午夜福利视频在线观看一区| 91久久精品电影网| 啪啪无遮挡十八禁网站| 中文字幕高清在线视频| 色吧在线观看| 欧美黄色淫秽网站| 日韩精品青青久久久久久| 给我免费播放毛片高清在线观看| 欧美日韩瑟瑟在线播放| 淫秽高清视频在线观看| 国产色婷婷99| 国产精品免费一区二区三区在线| 校园春色视频在线观看| 日本与韩国留学比较| 国产精品美女特级片免费视频播放器| 午夜两性在线视频| 69av精品久久久久久| 久久精品国产综合久久久| 波多野结衣高清作品| 99久久成人亚洲精品观看| 日韩成人在线观看一区二区三区| 国产精品美女特级片免费视频播放器| 熟女电影av网| 69av精品久久久久久| 成人永久免费在线观看视频| 欧美性猛交黑人性爽| 午夜福利成人在线免费观看| 国产精品久久久久久久电影 | 精品一区二区三区av网在线观看| 热99在线观看视频| 99久久综合精品五月天人人| 亚洲乱码一区二区免费版| 免费在线观看成人毛片| 在线观看av片永久免费下载| 男人和女人高潮做爰伦理| 日本成人三级电影网站| 国产精品久久久久久人妻精品电影| 久久久久免费精品人妻一区二区| 国产黄a三级三级三级人| 成人18禁在线播放| 国内揄拍国产精品人妻在线| 特大巨黑吊av在线直播| 人人妻,人人澡人人爽秒播| 可以在线观看的亚洲视频| 麻豆久久精品国产亚洲av| 国产亚洲精品久久久com| 成人特级黄色片久久久久久久| 母亲3免费完整高清在线观看| 少妇熟女aⅴ在线视频| 国产精品女同一区二区软件 | 婷婷六月久久综合丁香| 欧美日韩亚洲国产一区二区在线观看| 欧美av亚洲av综合av国产av| 久久久国产成人精品二区| 男女午夜视频在线观看| 日本撒尿小便嘘嘘汇集6| 日韩欧美 国产精品| 欧美成人一区二区免费高清观看| 婷婷精品国产亚洲av| 亚洲欧美一区二区三区黑人| 国产伦在线观看视频一区| 搡老妇女老女人老熟妇| 亚洲国产精品合色在线| 男女视频在线观看网站免费| 久久国产精品影院| 久久久久九九精品影院| 亚洲国产高清在线一区二区三| 十八禁人妻一区二区|