• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    中美清潔能源聯(lián)合研究中心評(píng)估實(shí)踐與國際科技合作評(píng)估方法

    2016-01-15 05:33:15陶蕊,胡維佳
    中國科技論壇 2015年5期
    關(guān)鍵詞:方法論評(píng)估

    中美清潔能源聯(lián)合研究中心評(píng)估實(shí)踐與國際科技合作評(píng)估方法

    陶蕊1,2,胡維佳2

    (1.科技部科技評(píng)估中心,北京100081;2.中國科學(xué)院自然科學(xué)史研究所,中國科學(xué)院大學(xué),北京100190)

    摘要:本文以中美清潔能源聯(lián)合研究中心評(píng)估實(shí)踐為基礎(chǔ),嘗試歸納出國際科技合作的評(píng)估方法論,包括評(píng)估關(guān)鍵問題、評(píng)估方法和評(píng)估邏輯模型。希望對(duì)今后中國開展國際科技合作評(píng)估活動(dòng)有所啟示。

    關(guān)鍵詞:國際科技合作;評(píng)估;方法論

    基金項(xiàng)目:科技部2012年中美創(chuàng)新對(duì)話資助課題。

    收稿日期:2014-09-16

    作者簡介:陶蕊(1982-),女,陜西西安人,副研究員,博士研究生;研究方向:科技評(píng)價(jià)與績效評(píng)價(jià)。

    中圖分類號(hào):G311

    文獻(xiàn)標(biāo)識(shí)碼:A

    Abstract:Along with the growing importance of international science and technology cooperation in science and technology development,more demand about international science and technology cooperation evaluation emerges in China.However,the methodology designed for China’s S&T cooperation evaluation is not enough at home and abroad.This article takes the example of the evaluation of US-China clean energy research center,trying to study and summarize the methodology of international science and technology cooperation evaluation for China,including key evaluation questions,evaluation methods and logic model.It will be helpful for future evaluation activity of China.

    Methodology Study of International Science and TechnologyCooperation Evaluation——Case of US-China Clean Energy Research Center Midterm Evaluation

    Tao Rui1,2,Hu Weijia2

    (1.National Center for Science and Technology Evaluation,Beijing 100081,China;2.Institute for the History of

    Natural Sciences,Chinese Academy of Sciences,University of Chinese Academy of Sciences,Beijing 100190,China)

    Key words:International science and technology cooperation;Evaluation;Methodology

    1引言

    隨著全球經(jīng)濟(jì)一體化的發(fā)展,國際科技合作作為有效調(diào)節(jié)和配置科技資源的重要途徑,在推動(dòng)國家或地區(qū)的科技發(fā)展水平以及提升科技發(fā)展能力中發(fā)揮著重要作用。政府間的國際科技合作作為外交和科技工作的重要組成部分,作用更加明顯[1]。

    “合作”一直是國際評(píng)估界關(guān)注的評(píng)估視角,無論是發(fā)展評(píng)估還是科技評(píng)估領(lǐng)域都有相關(guān)研究報(bào)道。[2-7]國外相關(guān)研究雖具有啟發(fā)性,但并沒有針對(duì)中國的實(shí)際,沒有體現(xiàn)國際科技合作在中國的定位與意義。國內(nèi)有關(guān)國際科技合作的評(píng)估研究和實(shí)踐報(bào)道較少,主要分為幾類。一是有關(guān)幾十年來中國國際科技合作的總結(jié)與分析[8-11],二是針對(duì)國際科技合作開展的文獻(xiàn)計(jì)量分析與評(píng)估[12-15],三是將國外的評(píng)估工具引入中國國際科技合作評(píng)估中開展的研究[1,16,17]。

    中美清潔能源聯(lián)合研究中心(US-China Clean Energy Research Center,以下簡稱CERC)于2009年11月成立。中美雙方政府同意在5年內(nèi)共同出資1.5億美元,支持清潔煤、清潔能源汽車和建筑節(jié)能等三個(gè)優(yōu)先領(lǐng)域產(chǎn)學(xué)研聯(lián)盟的合作研發(fā)。建立該中心旨在促進(jìn)中美兩國的科學(xué)家和工程師在清潔能源領(lǐng)域開展聯(lián)合研發(fā),并作為信息交換站幫助雙方國內(nèi)的研究人員在互利領(lǐng)域開展合作。中心成立受到了兩國元首的高度關(guān)注,是典型的政府間國際科技合作。2012年,科技部組織對(duì)該中心開展了中期評(píng)估工作。結(jié)合這一任務(wù),研究小組對(duì)國際科技合作的評(píng)估方法論進(jìn)行深入研究,提出了相關(guān)模型和方法。

    2國際科技合作的評(píng)估關(guān)鍵問題

    評(píng)估關(guān)鍵問題是一項(xiàng)評(píng)估活動(dòng)的核心,經(jīng)過評(píng)估人員與委托者溝通而形成。評(píng)估證據(jù)搜集工作圍繞評(píng)估關(guān)鍵問題展開,評(píng)估結(jié)果應(yīng)回答這些關(guān)鍵問題。通過對(duì)中美清潔能源聯(lián)合研究中心的評(píng)估實(shí)踐,研究小組提出針對(duì)中國國際科技合作特點(diǎn)的基本評(píng)估關(guān)鍵問題如下,這些問題可根據(jù)評(píng)估對(duì)象的具體情況予以調(diào)整。

    2.1國際科技合作的戰(zhàn)略目標(biāo)

    由于國際科技合作是國家間的合作,往往涉及中觀或宏觀層面的目標(biāo),政府間合作尤其以此為特點(diǎn)。例如在CERC評(píng)估中,對(duì)其戰(zhàn)略定位十分關(guān)注。評(píng)估發(fā)現(xiàn),CERC成立時(shí)的戰(zhàn)略目標(biāo)定位于“促進(jìn)中美兩國的科學(xué)家和工程師在清潔能源領(lǐng)域開展聯(lián)合研發(fā)”。隨著中美關(guān)系和全球應(yīng)對(duì)氣候變化等國際形勢(shì)的變化,CERC不斷呈現(xiàn)出深層次的戰(zhàn)略意義,包括CERC在中美科技合作歷程中的標(biāo)志意義,成為中美兩國應(yīng)對(duì)氣候變化共同挑戰(zhàn)的務(wù)實(shí)合作,以及兩國積極發(fā)展新型大國關(guān)系的有益嘗試。評(píng)估人員在開展國際科技合作評(píng)估時(shí),首先要明確合作的戰(zhàn)略目標(biāo)是什么,明確戰(zhàn)略目標(biāo)對(duì)全面評(píng)估效果十分必要。若開展中期評(píng)估,則需要分析是否有必要根據(jù)形勢(shì)變化調(diào)整戰(zhàn)略目標(biāo)。

    2.2合作領(lǐng)域具有的特點(diǎn)

    CERC所選擇的清潔能源領(lǐng)域是引領(lǐng)全球科技革命浪潮的領(lǐng)域。文獻(xiàn)計(jì)量數(shù)據(jù)顯示,中美兩國在清潔煤、電動(dòng)汽車、建筑節(jié)能這三個(gè)合作領(lǐng)域研發(fā)實(shí)力在全球位列第一和第二,兩國開展高水平的合作有望產(chǎn)生引領(lǐng)全球清潔能源技術(shù)的成果。三個(gè)合作領(lǐng)域合作方式也不盡相同,清潔煤領(lǐng)域以技術(shù)示范為主,電動(dòng)汽車領(lǐng)域以基礎(chǔ)研究為主,而建筑節(jié)能領(lǐng)域以數(shù)據(jù)調(diào)查和共享為合作內(nèi)容。合作領(lǐng)域及合作內(nèi)容的確定是合作的核心,往往經(jīng)過反復(fù)溝通才能確定。

    2.3合作形式具有的特點(diǎn)

    根據(jù)對(duì)中國國際科技合作戰(zhàn)略的階段劃分,第一階段為國際科技合作由破重立階段(1978—1985年),第二階段為全面開展國際科技合作階段(1986—2000年),第三階段為互利共贏開展國際科技合作階段(2001年-至今)[9]。在不同的合作階段,中國政府的合作戰(zhàn)略不同,對(duì)外合作形式也不同。例如在CERC評(píng)估中發(fā)現(xiàn),CERC改變了過去美方主導(dǎo)的合作方式,首次實(shí)現(xiàn)了中美對(duì)等合作,雙方共同出資,合作議題由雙方商定,合作成果雙方共享。此外,CERC采用產(chǎn)學(xué)研聯(lián)盟合作的機(jī)制,廣邀大學(xué)、院所和企業(yè)參與其中,希望實(shí)現(xiàn)合作成果的轉(zhuǎn)化和商業(yè)化。這體現(xiàn)了中美科技合作在創(chuàng)新和組織模式上的創(chuàng)新,是中美科技合作進(jìn)入加強(qiáng)對(duì)話和深化務(wù)實(shí)合作新階段的重要標(biāo)志。

    2.4參與合作的團(tuán)隊(duì)

    在合作目標(biāo)和領(lǐng)域既定的情況下,參與合作的團(tuán)隊(duì)實(shí)力和優(yōu)勢(shì)需符合合作的要求,評(píng)估人員對(duì)此需做出分析。文獻(xiàn)計(jì)量數(shù)據(jù)顯示,參與CERC的中美兩國合作機(jī)構(gòu)在各自領(lǐng)域?qū)嵙Τ霰?,兩國均派出了?yōu)勢(shì)的團(tuán)隊(duì)參與合作,符合高水平合作的要求。然而,兩國均還有部分優(yōu)勢(shì)團(tuán)隊(duì)沒有加入進(jìn)來。此外,中美兩國參與CERC的機(jī)構(gòu)共129家,其中大學(xué)28家、科研機(jī)構(gòu)28家、企業(yè)73家,這種構(gòu)成也符合產(chǎn)學(xué)研聯(lián)盟的合作目標(biāo)。

    2.5合作目標(biāo)的實(shí)現(xiàn)程度、效果和影響

    效果評(píng)估是國際科技合作評(píng)估中最受關(guān)注的部分。以往的研究多關(guān)注于此方面,例如利用文獻(xiàn)計(jì)量數(shù)據(jù)分析合作論文的情況。國際科技合作的產(chǎn)出和成效是復(fù)雜的,它不同于一般的科技活動(dòng),除了技術(shù)突破等研發(fā)成果外,往往被賦予更多戰(zhàn)略意義,容易產(chǎn)生中觀和宏觀效果,如對(duì)兩國關(guān)系的作用,對(duì)國際事務(wù)的影響等,值得評(píng)估人員關(guān)注。CERC評(píng)估認(rèn)為中美兩國是世界最大的兩個(gè)二氧化碳排放國,兩國聯(lián)手開展清潔能源的技術(shù)合作,打破了傳統(tǒng)上發(fā)達(dá)國家向發(fā)展中國家提供資金援助和能力建設(shè)的模式。若合作取得成功,將有效促進(jìn)低碳產(chǎn)業(yè)的發(fā)展,形成規(guī)?;臏厥覛怏w排放效益,效果將大大高于傳統(tǒng)的項(xiàng)目合作。政府間國際科技合作被賦予多元使命,因此在評(píng)估時(shí)需要拓寬視野,發(fā)現(xiàn)多個(gè)層面的效果。

    2.6合作進(jìn)展、障礙及解決辦法

    對(duì)CERC評(píng)估時(shí)發(fā)現(xiàn),國際科技合作面臨諸多障礙,包括溝通障礙、意識(shí)形態(tài)障礙、兩國關(guān)系等,影響合作的進(jìn)展。評(píng)估人員應(yīng)該關(guān)注是否存在阻礙合作進(jìn)行的障礙以及應(yīng)對(duì)措施,這對(duì)于提出政策建議十分必要。例如,知識(shí)產(chǎn)權(quán)問題是科技合作老生常談的問題,CERC設(shè)計(jì)產(chǎn)學(xué)研聯(lián)盟合作,知識(shí)產(chǎn)權(quán)問題更為棘手。評(píng)估了解到,知識(shí)產(chǎn)權(quán)問題是擺在中美合作雙方間亟待解決的問題,若解決不好將嚴(yán)重影響合作進(jìn)度。CERC的一大成果是中美雙方磋商形成了基于共識(shí)的知識(shí)產(chǎn)權(quán)保護(hù)與共享框架,簽署了技術(shù)管理計(jì)劃(TMP),涵蓋了合作研究中知識(shí)產(chǎn)權(quán)的歸屬、分配、管理和利用。技術(shù)管理計(jì)劃的形成和簽署,為兩國開展跨國產(chǎn)學(xué)研聯(lián)盟合作中的知識(shí)產(chǎn)權(quán)管理提供了一個(gè)實(shí)現(xiàn)利益共享和解決分歧的途徑。但評(píng)估也發(fā)現(xiàn),執(zhí)行技術(shù)管理計(jì)劃存在資金、人員等障礙,需要政府加強(qiáng)培訓(xùn)和管理。

    3國際科技合作的評(píng)估方法

    定量研究方法常用于國際科技合作的評(píng)估,如文獻(xiàn)計(jì)量法。筆者認(rèn)為定量方法用于評(píng)估無法量化的成果具有局限性,評(píng)估人員應(yīng)充分利用定性方法發(fā)掘合作的中宏觀效果。CERC評(píng)估中,綜合運(yùn)用了多種定量定性評(píng)估工具,如下:

    (1) 戰(zhàn)略咨詢。鑒于國際科技合作議題的復(fù)雜性和宏觀性,在評(píng)估的戰(zhàn)略分析部分,有必要就國際科技合作對(duì)雙邊關(guān)系、經(jīng)濟(jì)發(fā)展、全球共同挑戰(zhàn)等宏觀方面的影響做出分析。尤其是政府間科技合作,應(yīng)重視在戰(zhàn)略層面的分析和評(píng)估。CERC評(píng)估中,評(píng)估人員就全球氣候變化談判、中美關(guān)系等議題向中國社科院、布魯金斯研究會(huì)等智庫的專家進(jìn)行了咨詢。

    (2) 同行評(píng)議。同行評(píng)議是科技評(píng)價(jià)中最常用的方法,在國際科技合作中依然適用。同行評(píng)議主要針對(duì)合作選題和成果,同行評(píng)議應(yīng)邀請(qǐng)國內(nèi)外熟悉該領(lǐng)域并具有國際合作經(jīng)驗(yàn)的技術(shù)專家。例如,在CERC評(píng)估中開展了工程院院士的評(píng)議活動(dòng)。院士對(duì)清潔煤領(lǐng)域的評(píng)議認(rèn)為CERC組織開展的研究基本囊括了清潔煤技術(shù)的各個(gè)方面,但應(yīng)進(jìn)一步精煉合作內(nèi)容,貼近國家需求。院士們同時(shí)提出國際科技合作成果應(yīng)強(qiáng)調(diào)創(chuàng)新,將合作成果與歷史成果加以區(qū)分。

    (3) 國內(nèi)外面訪與調(diào)研。對(duì)國際科技合作評(píng)估時(shí)若能在國內(nèi)外開展調(diào)研,對(duì)相關(guān)領(lǐng)域的國內(nèi)外權(quán)威專家進(jìn)行面訪,評(píng)估的證據(jù)將更具說服力。CERC評(píng)估中,委托美國和歐洲的兩位獨(dú)立專家分別在國外開展調(diào)研,重點(diǎn)了解國外利益相關(guān)方對(duì)CERC的觀點(diǎn)。32個(gè)被調(diào)研單位涉及美國科技政策辦公室、布魯金斯學(xué)會(huì)、中歐清潔能源中心等,共有國外專家40余位接受面訪。

    (4) 案卷研究。案卷研究是每項(xiàng)評(píng)估活動(dòng)的基礎(chǔ)工作。對(duì)于國際科技合作項(xiàng)目而言,建議案卷研究時(shí)對(duì)合作的背景文件予以關(guān)注,充分了解國際合作的歷史、科技、經(jīng)濟(jì)、外交等背景,有助于客觀判斷國際科技合作的戰(zhàn)略定位和中宏觀效果。例如對(duì)CERC的評(píng)估中,研究小組對(duì)《中美科技合作協(xié)定》、《聯(lián)合國氣候變化框架公約》、《“十二五”建筑節(jié)能專項(xiàng)規(guī)劃》 等宏觀戰(zhàn)略文件廣泛搜集加以研究。

    (5) 文獻(xiàn)計(jì)量。文獻(xiàn)計(jì)量法在以往研究中使用頗多,常用于對(duì)合作論文進(jìn)行深入細(xì)致的分析,作為合作效果的證據(jù)。本次對(duì)CERC的評(píng)估由于是中期評(píng)估,合作論文數(shù)據(jù)不足以開展系統(tǒng)的文獻(xiàn)計(jì)量分析。文獻(xiàn)計(jì)量法在CERC評(píng)估中主要用于分析中美兩國的研發(fā)實(shí)力以及合作機(jī)構(gòu)的研發(fā)實(shí)力。如表1所示,中美兩國從2006年到2011年間發(fā)表論文的數(shù)據(jù)反映出兩國在該領(lǐng)域的研發(fā)實(shí)力[18]。專利地圖提示中美兩國專利覆蓋的方向都相當(dāng)廣泛,但基本不交叉,中國專利主要涉及液體燃料、脫硫技術(shù)等方面;美國專利主要涉及煤氣化、二氧化碳捕獲、二氧化碳分離等方面[19]。

    表1 中美在清潔煤領(lǐng)域發(fā)表論文的總量和篇均影響力

    數(shù)據(jù)來源:Thomson Reuters數(shù)據(jù)庫Web of KnowledgeSM(2006—2011)及分析報(bào)告Bibliometric Analysis of Clean Technology Research。

    (6) 問卷調(diào)查。在CERC評(píng)估中,評(píng)估小組面向子課題承擔(dān)單位發(fā)放73份問卷,回收56份。問卷調(diào)查用于了解參與合作機(jī)構(gòu)對(duì)合作的觀點(diǎn)和建議。例如有30%的受訪者在加入CERC之前與美方無合作經(jīng)歷,是通過CERC平臺(tái)與美方合作伙伴建立的聯(lián)系。幾乎所有受訪者表示愿意在課題結(jié)束后繼續(xù)與美方合作。這樣的問卷調(diào)查信息間接反映了參與者對(duì)CERC的觀點(diǎn),說明了CERC的作用。圖1顯示了課題負(fù)責(zé)人對(duì)技術(shù)管理計(jì)劃作用的觀點(diǎn)[20]。

    圖1 課題負(fù)責(zé)人對(duì)TMP實(shí)施效果的觀點(diǎn) 資料來源:CERC中期評(píng)估問卷調(diào)查報(bào)告。

    (7) 案例研究。國際科技合作的共性問題頗多,評(píng)估中應(yīng)注重案例研究。對(duì)于成功的國際科技合作案例,有必要分析其成功的要素,推廣經(jīng)驗(yàn)并上升為相應(yīng)的政策建議。例如在CERC評(píng)估中,將中美清潔煤聯(lián)盟如何針對(duì)知識(shí)產(chǎn)權(quán)問題開展磋商作為案例(見表2),并將技術(shù)管理計(jì)劃作為范本在其他聯(lián)盟推廣,同時(shí)也作為今后開展類似國際合作的經(jīng)驗(yàn)推廣[21]。

    (8) 交叉分析。由于評(píng)估從多種渠道獲得的信息不一致,因此有必要交叉分析以確定最準(zhǔn)確的證據(jù)。交叉分析方法在評(píng)估中十分必要,例如CERC經(jīng)費(fèi)投入的數(shù)據(jù)缺少系統(tǒng)準(zhǔn)確的統(tǒng)計(jì),評(píng)估組將新聞報(bào)道、中心年報(bào)、面訪調(diào)研中的數(shù)據(jù)經(jīng)過了交叉分析確定準(zhǔn)確的數(shù)據(jù)。

    4國際科技合作的邏輯模型

    變革理論邏輯模型是國際評(píng)估界公認(rèn)的經(jīng)典評(píng)估工具。國際組織在開展每一項(xiàng)重要的評(píng)估活動(dòng)以前,都要分析評(píng)估對(duì)象的變革理論邏輯模型。變革理論邏輯模型可以幫助評(píng)估人員明確評(píng)估對(duì)象的因果鏈條,區(qū)分產(chǎn)出、效果、影響等要素,有利于得到準(zhǔn)確的評(píng)估發(fā)現(xiàn)。在CERC評(píng)估中,評(píng)估小組使用邏輯模型對(duì)典型的國際科技合作進(jìn)行了分析(見圖2)。

    (1)投入:國際科技合作的投入與其他科技項(xiàng)目一樣,主要是人力、資金方面的投入。

    (2)活動(dòng):國際科技合作開展的活動(dòng)種類很多,這與合作的領(lǐng)域及類型有關(guān),也與合作兩國的實(shí)力相關(guān)。如前面提到,在中國國際科技合作的三個(gè)歷史階段,合作的形式逐漸演變,從技術(shù)引進(jìn)逐漸向聯(lián)合研發(fā)轉(zhuǎn)變,從簡單的人員往來逐漸向產(chǎn)學(xué)研合作轉(zhuǎn)變,這都與中國的綜合國力、科技實(shí)力上升有關(guān)。CERC作為中美科技合作史上一次里程碑式的合作,一改以往在基礎(chǔ)研究和人員往來方面的基礎(chǔ)性合作,嘗試開展產(chǎn)學(xué)研聯(lián)盟之間的合作。三個(gè)領(lǐng)域開展的合作各有特點(diǎn),清潔煤聯(lián)盟以共同研發(fā)、互建基地為主;電動(dòng)汽車聯(lián)盟以基礎(chǔ)研究為主;建筑節(jié)能聯(lián)盟以數(shù)據(jù)調(diào)查比較為主。具體合作方式需根據(jù)兩國在該領(lǐng)域的特點(diǎn)以及兩國研究人員的需求而定。國際科技合作的活動(dòng)特點(diǎn)值得評(píng)估人員關(guān)注,評(píng)估人員應(yīng)從中挖掘合作形式的創(chuàng)新點(diǎn)、合作障礙如何解決等,這對(duì)產(chǎn)生合作效果十分重要,也有助于提出相關(guān)政策建議。

    表2 中美關(guān)于TMP焦點(diǎn)條款的磋商結(jié)果案例

    資料來源:中美清潔能源(清潔煤)聯(lián)合研究項(xiàng)目中技術(shù)管理計(jì)劃和知識(shí)產(chǎn)權(quán)協(xié)議報(bào)告。

    圖2 國際科技合作變革理論邏輯模型

    (3)產(chǎn)出:國際科技合作的產(chǎn)出,如論文、專利、標(biāo)準(zhǔn)等容易受到評(píng)估人員的關(guān)注。分析發(fā)現(xiàn),文獻(xiàn)計(jì)量法常用于分析以合著論文為代表的產(chǎn)出。合著論文的國別、領(lǐng)域、機(jī)構(gòu)等都可深入分析,為國際科技合作宏觀評(píng)估提供依據(jù)。除此之外,合作所研發(fā)的技術(shù)、產(chǎn)生的知識(shí)、形成的市場(chǎng)都可作為國際科技合作的產(chǎn)出。評(píng)估人員應(yīng)關(guān)注對(duì)知識(shí)、技術(shù)本身的表述,以案例的形式體現(xiàn),并說明這一產(chǎn)出如何通過國際合作形成,國際合作在其中的作用。

    (4)效果:國際科技合作的效果一方面是合作形成的知識(shí)、技術(shù)得到應(yīng)用以后的效果,如經(jīng)濟(jì)效益、環(huán)境效益等。此外,還包括合作的溢出效果。筆者認(rèn)為,國際科技合作不同于一般的研發(fā)活動(dòng),可能產(chǎn)生溢出效果,而且溢出效果受到的關(guān)注和影響不次于研發(fā)成果,這也是國際科技合作的特點(diǎn)。評(píng)估人員需格外關(guān)注國際科技合作的雙重效果,尤其對(duì)于政府間科技合作,產(chǎn)生的中宏觀效果是評(píng)估的重點(diǎn),例如合作對(duì)兩國外交關(guān)系的影響,兩國合作為共同應(yīng)對(duì)全球挑戰(zhàn)的貢獻(xiàn)等。CERC評(píng)估中了解到,CERC作為中美兩個(gè)最大的溫室氣體排放國之間的技術(shù)合作平臺(tái),有利于提升中國的國際影響力,是中國履行發(fā)展中國家減排責(zé)任的積極行動(dòng)。這樣的效果能真正反映CERC的價(jià)值,若僅僅羅列研發(fā)成果未免偏失。

    (5)影響:對(duì)影響進(jìn)行評(píng)估是國際評(píng)估界的趨勢(shì),但也具有挑戰(zhàn)。影響評(píng)估需要系統(tǒng)的設(shè)計(jì)、健全的數(shù)據(jù)基礎(chǔ)、充分的準(zhǔn)備工作等。國際科技合作的影響較之效果更為深遠(yuǎn)和復(fù)雜,應(yīng)將合作放置于歷史和全球的維度,利用開放的視野,發(fā)現(xiàn)合作對(duì)于國際政治、經(jīng)濟(jì)、科技發(fā)展的長遠(yuǎn)影響。對(duì)影響的評(píng)估需要較長的時(shí)間周期和更為寬廣的國際背景,對(duì)評(píng)估人員的挑戰(zhàn)也很大。一般情況下,效果層面的評(píng)估已經(jīng)可以滿足政策需求,建議可針對(duì)持續(xù)時(shí)間較長的重大國際科技合作對(duì)象開展影響評(píng)估。

    5關(guān)于評(píng)估方法論適用性的討論

    中美清潔能源聯(lián)合研究中心是典型的政府間國際科技合作,它體現(xiàn)了國際科技合作的幾個(gè)重要特征,一是國際科技合作不同于一般國家公共研發(fā)項(xiàng)目,體現(xiàn)國家在科技、經(jīng)濟(jì)、外交等方面的綜合戰(zhàn)略目標(biāo);二是合作領(lǐng)域受到關(guān)注,并決定了兩國之間的合作方式;三是合作機(jī)制與形式是合作成功的關(guān)鍵因素;四是合作產(chǎn)生的溢出效果值得關(guān)注。中美清潔能源聯(lián)合研究中心的評(píng)估具有代表性,所提出的關(guān)鍵評(píng)估問題適用于其他國際科技合作評(píng)估活動(dòng)。案例所采用的評(píng)估方法涵蓋了科技評(píng)估的常見方法,因此也適用于其他國際科技合作對(duì)象。本文引用的變革理論邏輯模型是國際評(píng)估界通用的評(píng)估工具,筆者通過案例研究歸納出適用于中國國際科技合作的邏輯模型。其中的要素可能在不同的國際科技合作中有所差異,評(píng)估人員可以據(jù)此進(jìn)一步開展針對(duì)性研究。本文提出的評(píng)估方法論希望綜合定量和定性信息,應(yīng)用于國際科技合作對(duì)象的綜合績效評(píng)估。通過提出關(guān)鍵評(píng)估問題,設(shè)計(jì)評(píng)估邏輯模型以及綜合運(yùn)用多種方法有利于把握一項(xiàng)典型國際科技合作活動(dòng)的評(píng)估要點(diǎn),規(guī)范地開展綜合評(píng)估,可以彌補(bǔ)橫斷面定量研究的信息不足。

    參考文獻(xiàn):

    [1]黃河,皮俊鋒.基于平衡計(jì)分卡的國際科技合作績效管理.科技進(jìn)步與對(duì)策,2009,(9):15-20.

    [2]J Uitto.Evaluating Environment and Development:Lessons from International Cooperation.Evaluation,2014,20(1):44-57.

    [3]N Kiyotaka.Evaluation Method of International Cooperation on Climate Change.Japanese Journal of Evaluation,2009,9(1):19-29.

    [4]R Lawrence.A Case-study of Cross-border Cooperation in Central and Eastern Europe.Evaluation,2011,17(4):365-382.

    [5]P Mattsson,P Laget,A Vindefj?rd,C Sundberg.What Do European Research Collaboration Networks in Life Sciences Look Like?Research Evaluation,2010,19(5):373-384.

    [6]E Arnold.Understanding Long-term Impacts of R&D Funding.Research Evaluation,2012,21(5):332-343.

    [7]Expert Group.Interim Evaluation of the Seventh Framework Programme Report[R].Brussels:European Union,2010:42-55.

    [8]吳貽康.60年的中國國際科技合作.中國科技產(chǎn)業(yè),2009,(11):74-75.

    [9]程如煙.30年來中國國際科技合作戰(zhàn)略和政策演變.中國科技論壇,2008,(7):7-13.

    [10]霍光峰,張換兆.中國科技發(fā)展國際合作戰(zhàn)略的評(píng)價(jià)與建議.中國科技論壇,2010,(4):136-142.

    [11]劉秋生,趙廣鳳,彭明立.國際科技合作模式研究.科技進(jìn)步與對(duì)策,2007,(2):38-41.

    [12]金炬,馬崢,梁戰(zhàn)平.從中美合著論文狀況看中美科技合作.科學(xué)學(xué)與科學(xué)技術(shù)管理,2007,(5):41-49.

    [13]金炬,武夷山,梁戰(zhàn)平.國際科技合作文獻(xiàn)計(jì)量學(xué)研究綜述.圖書情報(bào)工作,2007,(3):63-67.

    [14]劉婭.從國際科技合著論文狀況看中國環(huán)境領(lǐng)域國際科技合作態(tài)勢(shì).中國軟科學(xué),2011,(6):34-46.

    [15]劉婭.基于文獻(xiàn)計(jì)量的中國、日本基礎(chǔ)研究領(lǐng)域國際科技合作比較研究.科學(xué)管理研究,2010,(8):58-63.

    [16]葉挺選,劉云,王文平.基于知識(shí)生產(chǎn)函數(shù)的國際科技合作計(jì)劃項(xiàng)目績效評(píng)價(jià)研究.兵工學(xué)報(bào),2009,(11):51-56.

    [17]王碩.國外對(duì)國際科技合作頂目評(píng)沽方法.安徽科技,1998,(7):45-46.

    [18]Thomson Reuters.Bibliometric Analysis of Clean Tech Research(Web of KnowledgeSM).Leeds,UK:Thomson Reuters,2012.

    [19]Thomson Reuters.Patent Survey in Clean Tech(Derwent World Patent Index).Monsanto,USA:Thomson Reuters,2012.

    [20]秦濤.CERC中期評(píng)估問卷調(diào)查報(bào)告.北京,國家科技評(píng)估中心,2012-03.

    [21]余翔,劉珊.中美清潔煤聯(lián)合研究項(xiàng)目技術(shù)管理計(jì)劃和知識(shí)產(chǎn)權(quán)協(xié)議報(bào)告.海南,CERC知識(shí)產(chǎn)權(quán)研討會(huì),2012-02.

    (責(zé)任編輯沈蓉)

    猜你喜歡
    方法論評(píng)估
    每日十分鐘 聚焦日常評(píng)估
    幼兒100(2023年36期)2023-10-23 11:41:26
    漢學(xué)方法論值得關(guān)注
    方法論視角下的制定法解釋
    法律方法(2019年4期)2019-11-16 01:07:02
    法本位的方法論闡釋
    法律方法(2018年2期)2018-07-13 03:22:02
    UAF的方法論意義
    抓改革落實(shí),習(xí)近平的十大方法論
    評(píng)估依據(jù)
    簡述黑格爾的哲學(xué)史觀與方法論
    人間(2015年21期)2015-03-11 15:23:41
    雙信封制和綜合評(píng)估制各有千秋
    立法后評(píng)估:且行且盡善
    浙江人大(2014年5期)2014-03-20 16:20:25
    久久精品综合一区二区三区| 直男gayav资源| 观看免费一级毛片| 国产高清三级在线| 搞女人的毛片| 久久久久久久亚洲中文字幕| 人妻夜夜爽99麻豆av| 一个人观看的视频www高清免费观看| 久久久久久大精品| av在线蜜桃| 亚洲一区二区三区色噜噜| 小说图片视频综合网站| 成熟少妇高潮喷水视频| av女优亚洲男人天堂| 成人三级黄色视频| 欧美不卡视频在线免费观看| 最近最新中文字幕大全电影3| 亚洲最大成人中文| 成人国产麻豆网| 国产黄色小视频在线观看| 精品无人区乱码1区二区| 啦啦啦观看免费观看视频高清| av在线老鸭窝| 毛片女人毛片| 97超级碰碰碰精品色视频在线观看| 啦啦啦观看免费观看视频高清| 成年女人看的毛片在线观看| 国产黄a三级三级三级人| 久久午夜亚洲精品久久| 成人欧美大片| 日韩欧美 国产精品| 国产男人的电影天堂91| 国产黄色视频一区二区在线观看 | 最近视频中文字幕2019在线8| 精品人妻熟女av久视频| 精品99又大又爽又粗少妇毛片| 亚洲最大成人中文| 国产成人91sexporn| 精品久久久久久久末码| 精品无人区乱码1区二区| 午夜免费男女啪啪视频观看 | 精品日产1卡2卡| 搞女人的毛片| 九九久久精品国产亚洲av麻豆| 69av精品久久久久久| 国产精品嫩草影院av在线观看| 99久久精品国产国产毛片| 卡戴珊不雅视频在线播放| 欧美xxxx黑人xx丫x性爽| 听说在线观看完整版免费高清| av在线播放精品| 一边摸一边抽搐一进一小说| 亚洲国产色片| 国产v大片淫在线免费观看| 国产亚洲欧美98| 麻豆精品久久久久久蜜桃| 午夜福利视频1000在线观看| 狂野欧美白嫩少妇大欣赏| 蜜桃久久精品国产亚洲av| 黄色欧美视频在线观看| 亚洲成av人片在线播放无| 欧美+亚洲+日韩+国产| 亚洲国产欧美人成| 国产单亲对白刺激| 18禁裸乳无遮挡免费网站照片| 秋霞在线观看毛片| 国产成人freesex在线 | 女的被弄到高潮叫床怎么办| 久久久久精品国产欧美久久久| 国产69精品久久久久777片| 欧美xxxx性猛交bbbb| 97超级碰碰碰精品色视频在线观看| 在线免费十八禁| 免费观看的影片在线观看| 麻豆精品久久久久久蜜桃| 国产综合懂色| 一个人看视频在线观看www免费| 亚洲国产高清在线一区二区三| 久久精品国产清高在天天线| 亚洲国产精品成人久久小说 | 悠悠久久av| 色综合亚洲欧美另类图片| 最后的刺客免费高清国语| 国产aⅴ精品一区二区三区波| 中文亚洲av片在线观看爽| 亚洲自偷自拍三级| 1024手机看黄色片| 中国美白少妇内射xxxbb| 国产三级在线视频| 国产精品久久久久久av不卡| 亚洲图色成人| 亚洲成人av在线免费| 亚洲av免费在线观看| 亚洲四区av| 精品久久久久久久久久免费视频| 97碰自拍视频| 我要搜黄色片| 亚洲第一电影网av| 国产高清视频在线播放一区| 午夜亚洲福利在线播放| 在线播放国产精品三级| 大型黄色视频在线免费观看| av在线播放精品| 国产久久久一区二区三区| 女同久久另类99精品国产91| 国产黄a三级三级三级人| 一级黄片播放器| 欧美日韩国产亚洲二区| 亚洲美女视频黄频| 久久久国产成人免费| av专区在线播放| 国产老妇女一区| 欧美三级亚洲精品| 国产成人精品久久久久久| 国产精品久久久久久久电影| av天堂在线播放| 精品一区二区免费观看| 国产一区二区三区在线臀色熟女| 男人的好看免费观看在线视频| 亚洲一区高清亚洲精品| 精品久久久久久久久久免费视频| 18+在线观看网站| 三级男女做爰猛烈吃奶摸视频| 99国产极品粉嫩在线观看| 亚洲一级一片aⅴ在线观看| 综合色丁香网| 久久午夜亚洲精品久久| 亚洲欧美成人精品一区二区| eeuss影院久久| 国产精品久久久久久av不卡| 中文字幕久久专区| 村上凉子中文字幕在线| 给我免费播放毛片高清在线观看| 国产午夜精品论理片| 亚洲成人中文字幕在线播放| 99riav亚洲国产免费| 国产探花在线观看一区二区| 五月伊人婷婷丁香| 国产精品一区www在线观看| 中文资源天堂在线| 久久久久久伊人网av| av女优亚洲男人天堂| 亚洲无线观看免费| 亚洲美女视频黄频| 三级毛片av免费| 久久精品国产亚洲av涩爱 | 久久6这里有精品| 国产综合懂色| 欧美日韩在线观看h| 国产成人a∨麻豆精品| 真实男女啪啪啪动态图| av中文乱码字幕在线| 狠狠狠狠99中文字幕| 国产又黄又爽又无遮挡在线| 亚洲成人精品中文字幕电影| 99久久精品国产国产毛片| 久久久久久久久中文| 日本与韩国留学比较| 免费搜索国产男女视频| 国产激情偷乱视频一区二区| 成人国产麻豆网| 一本久久中文字幕| 搡老熟女国产l中国老女人| 最新中文字幕久久久久| 国产成人aa在线观看| 久久精品国产亚洲av涩爱 | 嫩草影院精品99| 亚洲欧美日韩高清专用| 午夜精品国产一区二区电影 | 国产成人91sexporn| 亚洲av一区综合| 亚洲第一区二区三区不卡| 搞女人的毛片| 久久热精品热| 欧美bdsm另类| 少妇猛男粗大的猛烈进出视频 | 哪里可以看免费的av片| 国产精品嫩草影院av在线观看| 99久久无色码亚洲精品果冻| 男人的好看免费观看在线视频| 桃色一区二区三区在线观看| 国内精品久久久久精免费| 日韩精品中文字幕看吧| 99国产极品粉嫩在线观看| 美女免费视频网站| 美女xxoo啪啪120秒动态图| 观看美女的网站| 丝袜美腿在线中文| 麻豆乱淫一区二区| 成人欧美大片| 看十八女毛片水多多多| 美女大奶头视频| 亚洲内射少妇av| 麻豆成人午夜福利视频| 青春草视频在线免费观看| 少妇人妻一区二区三区视频| 国产淫片久久久久久久久| 亚洲在线自拍视频| 午夜久久久久精精品| 亚洲七黄色美女视频| 久久久色成人| 联通29元200g的流量卡| 久久精品夜夜夜夜夜久久蜜豆| 男人的好看免费观看在线视频| 亚洲av成人精品一区久久| 成人永久免费在线观看视频| 神马国产精品三级电影在线观看| 男人舔女人下体高潮全视频| 身体一侧抽搐| 中国美白少妇内射xxxbb| 亚洲中文字幕日韩| 国产不卡一卡二| 深夜精品福利| 嫩草影院入口| 成人鲁丝片一二三区免费| 日韩一区二区视频免费看| 五月伊人婷婷丁香| 欧美色欧美亚洲另类二区| 小说图片视频综合网站| 成人午夜高清在线视频| 欧美日本视频| 亚洲内射少妇av| 欧美高清性xxxxhd video| 久久精品人妻少妇| 国产亚洲av嫩草精品影院| 特级一级黄色大片| 精品午夜福利在线看| 91精品国产九色| 人妻夜夜爽99麻豆av| 日本a在线网址| 久久精品国产亚洲av天美| 黄色日韩在线| 午夜福利18| 国产一区二区三区在线臀色熟女| 麻豆成人午夜福利视频| 一进一出好大好爽视频| 露出奶头的视频| 99热6这里只有精品| 1024手机看黄色片| 亚洲18禁久久av| 成人漫画全彩无遮挡| videossex国产| 久久精品国产亚洲网站| 直男gayav资源| 欧美最新免费一区二区三区| 97人妻精品一区二区三区麻豆| 国产精品三级大全| 精品人妻视频免费看| 身体一侧抽搐| 国产国拍精品亚洲av在线观看| 99久国产av精品国产电影| 精品少妇黑人巨大在线播放 | 精品人妻偷拍中文字幕| 一本一本综合久久| 免费无遮挡裸体视频| 噜噜噜噜噜久久久久久91| 亚洲人成网站在线播| 在线观看66精品国产| 国产欧美日韩精品亚洲av| 亚洲美女搞黄在线观看 | 免费看光身美女| 成人亚洲欧美一区二区av| 亚洲精品国产成人久久av| 中出人妻视频一区二区| 免费无遮挡裸体视频| 色哟哟·www| 啦啦啦啦在线视频资源| 啦啦啦啦在线视频资源| 亚洲在线观看片| 91午夜精品亚洲一区二区三区| 国产一区二区在线av高清观看| 国产亚洲精品久久久com| 老女人水多毛片| 九九在线视频观看精品| 亚洲综合色惰| a级毛片a级免费在线| 亚洲最大成人手机在线| 国产精品亚洲一级av第二区| 亚洲性夜色夜夜综合| 精品国内亚洲2022精品成人| 亚洲av美国av| 久久久久精品国产欧美久久久| 国产精品福利在线免费观看| 午夜爱爱视频在线播放| av.在线天堂| 女人十人毛片免费观看3o分钟| 久久久久久久久中文| 精品人妻视频免费看| 久久综合国产亚洲精品| 日本熟妇午夜| 国产成人精品久久久久久| 久久中文看片网| 久久久久九九精品影院| 黄色配什么色好看| 18禁在线播放成人免费| 免费av观看视频| 国产男人的电影天堂91| 日本一本二区三区精品| 国产精品一及| 国产 一区 欧美 日韩| 精华霜和精华液先用哪个| 99热全是精品| 国产乱人视频| 国产黄色视频一区二区在线观看 | 精品人妻一区二区三区麻豆 | 免费在线观看成人毛片| 日韩精品青青久久久久久| 99在线视频只有这里精品首页| 九九在线视频观看精品| 18禁裸乳无遮挡免费网站照片| 99久久九九国产精品国产免费| 综合色丁香网| 久久精品国产亚洲av涩爱 | 色视频www国产| 日韩人妻高清精品专区| 国产精品美女特级片免费视频播放器| 久久热精品热| 国产真实乱freesex| 日本黄色视频三级网站网址| 久久韩国三级中文字幕| 日日摸夜夜添夜夜添小说| 深夜a级毛片| 国产成人a∨麻豆精品| 久久久久久久久久久丰满| 在线a可以看的网站| 亚洲精品粉嫩美女一区| 可以在线观看毛片的网站| 亚洲av免费在线观看| 日韩欧美国产在线观看| 91麻豆精品激情在线观看国产| 亚洲国产精品久久男人天堂| 久久99热这里只有精品18| 晚上一个人看的免费电影| 亚洲美女黄片视频| 国产精品伦人一区二区| 91av网一区二区| 美女高潮的动态| 日本五十路高清| 日韩 亚洲 欧美在线| 身体一侧抽搐| 久久国内精品自在自线图片| 三级国产精品欧美在线观看| 好男人在线观看高清免费视频| 亚洲国产高清在线一区二区三| 日韩欧美精品免费久久| 亚洲国产高清在线一区二区三| 性色avwww在线观看| 三级男女做爰猛烈吃奶摸视频| av卡一久久| 国产精品一区二区三区四区免费观看 | 最后的刺客免费高清国语| 成人高潮视频无遮挡免费网站| 变态另类丝袜制服| a级毛色黄片| 免费av不卡在线播放| 长腿黑丝高跟| 国产精品伦人一区二区| 国产一区二区三区av在线 | 亚洲,欧美,日韩| 黄色视频,在线免费观看| 国产精品人妻久久久久久| 国产一区二区亚洲精品在线观看| 18+在线观看网站| 国产精品爽爽va在线观看网站| 小蜜桃在线观看免费完整版高清| 国产一区二区三区在线臀色熟女| 成人永久免费在线观看视频| 两个人视频免费观看高清| 内射极品少妇av片p| 日本免费a在线| 欧美绝顶高潮抽搐喷水| 日韩av在线大香蕉| 在线a可以看的网站| 在线观看午夜福利视频| 日本黄色视频三级网站网址| 久久久国产成人免费| 91久久精品电影网| 精品无人区乱码1区二区| 亚洲精品在线观看二区| 国产精品伦人一区二区| 国内揄拍国产精品人妻在线| 精品久久久久久久久久久久久| 91麻豆精品激情在线观看国产| 国产在视频线在精品| 国产私拍福利视频在线观看| 国产色婷婷99| 床上黄色一级片| 日日摸夜夜添夜夜添小说| 一级毛片电影观看 | 久久久久性生活片| 亚洲欧美日韩无卡精品| 国产精品久久电影中文字幕| 久久中文看片网| 精品久久久久久久久久免费视频| 成年女人永久免费观看视频| 久久亚洲国产成人精品v| 我要搜黄色片| 国产白丝娇喘喷水9色精品| 天天躁日日操中文字幕| 日本-黄色视频高清免费观看| 国产精华一区二区三区| 久久热精品热| 欧美3d第一页| 少妇丰满av| 欧洲精品卡2卡3卡4卡5卡区| 99热只有精品国产| 美女被艹到高潮喷水动态| a级毛片免费高清观看在线播放| 日韩欧美在线乱码| av在线播放精品| h日本视频在线播放| 日韩高清综合在线| 两个人的视频大全免费| 韩国av在线不卡| 国产 一区精品| 亚洲av电影不卡..在线观看| 久久久成人免费电影| 国产色爽女视频免费观看| 日本精品一区二区三区蜜桃| 久久久久久久久中文| 欧美一区二区亚洲| 三级经典国产精品| 99久国产av精品国产电影| 国产精品综合久久久久久久免费| 麻豆乱淫一区二区| 男人舔女人下体高潮全视频| 男女那种视频在线观看| 国产精品人妻久久久影院| 欧美国产日韩亚洲一区| 蜜臀久久99精品久久宅男| 99在线视频只有这里精品首页| 国产白丝娇喘喷水9色精品| 国产亚洲91精品色在线| 中文字幕免费在线视频6| 亚洲精品日韩在线中文字幕 | 亚洲美女黄片视频| 最后的刺客免费高清国语| 国产探花极品一区二区| 综合色av麻豆| 黄色欧美视频在线观看| 久久99热这里只有精品18| 免费看av在线观看网站| 大型黄色视频在线免费观看| 一本久久中文字幕| 亚洲色图av天堂| 久久久精品94久久精品| 天堂网av新在线| 色综合站精品国产| 日韩,欧美,国产一区二区三区 | 99九九线精品视频在线观看视频| 国产精品国产高清国产av| 国产成人影院久久av| 人妻夜夜爽99麻豆av| 韩国av在线不卡| 久久精品国产自在天天线| 乱码一卡2卡4卡精品| 精品久久久久久久久av| 97超碰精品成人国产| 久久6这里有精品| 在线天堂最新版资源| 可以在线观看的亚洲视频| 国产精品无大码| 久久久久久久久久久丰满| АⅤ资源中文在线天堂| 亚洲无线观看免费| 欧美成人一区二区免费高清观看| av在线蜜桃| 久久久久性生活片| 久久精品国产自在天天线| 人妻久久中文字幕网| 亚洲va在线va天堂va国产| 欧美日韩综合久久久久久| 别揉我奶头~嗯~啊~动态视频| 人人妻人人澡欧美一区二区| 日本在线视频免费播放| 久久人人爽人人爽人人片va| 亚洲国产日韩欧美精品在线观看| 亚洲高清免费不卡视频| 日本免费一区二区三区高清不卡| 晚上一个人看的免费电影| 美女黄网站色视频| 欧美日本视频| 午夜福利在线观看吧| 日韩欧美 国产精品| 国产单亲对白刺激| 精品乱码久久久久久99久播| 中文资源天堂在线| 亚洲精品久久国产高清桃花| 男人舔奶头视频| 成熟少妇高潮喷水视频| 亚洲av成人av| 欧美绝顶高潮抽搐喷水| 99久久精品国产国产毛片| 人人妻,人人澡人人爽秒播| 免费黄网站久久成人精品| 国产成年人精品一区二区| 97超碰精品成人国产| 六月丁香七月| 国产乱人视频| 少妇熟女欧美另类| av中文乱码字幕在线| 久久精品国产亚洲网站| 日产精品乱码卡一卡2卡三| 国产麻豆成人av免费视频| 国产精品综合久久久久久久免费| aaaaa片日本免费| 热99在线观看视频| 精品久久久久久久人妻蜜臀av| 欧美zozozo另类| 国内精品美女久久久久久| 99久久精品国产国产毛片| 三级男女做爰猛烈吃奶摸视频| 嫩草影院入口| 一级黄色大片毛片| 中国美女看黄片| 亚洲一区二区三区色噜噜| 免费看av在线观看网站| 国产成年人精品一区二区| 国产成人一区二区在线| 免费观看的影片在线观看| 国产精品福利在线免费观看| 国产 一区 欧美 日韩| 中国国产av一级| 人人妻人人澡人人爽人人夜夜 | 插逼视频在线观看| 美女高潮的动态| 99热只有精品国产| 国产免费男女视频| 老司机影院成人| 成人三级黄色视频| 国产探花在线观看一区二区| 女人十人毛片免费观看3o分钟| 两个人的视频大全免费| 亚洲人成网站在线播| 国产精品三级大全| 亚洲精品一卡2卡三卡4卡5卡| 亚洲va在线va天堂va国产| 午夜福利在线观看免费完整高清在 | 免费av毛片视频| 观看免费一级毛片| 99九九线精品视频在线观看视频| 夜夜看夜夜爽夜夜摸| 99热这里只有是精品在线观看| 91麻豆精品激情在线观看国产| 欧美日本视频| 99久久精品国产国产毛片| 亚洲国产精品sss在线观看| 国产成人a区在线观看| 一夜夜www| 国产女主播在线喷水免费视频网站 | 精品人妻偷拍中文字幕| 别揉我奶头 嗯啊视频| 国产一区二区亚洲精品在线观看| 亚洲精品一卡2卡三卡4卡5卡| 精品无人区乱码1区二区| 高清日韩中文字幕在线| 欧美人与善性xxx| 亚洲欧美日韩高清专用| 男人舔女人下体高潮全视频| 成人精品一区二区免费| 一区二区三区免费毛片| 亚洲乱码一区二区免费版| 国产精品永久免费网站| 久久久久久久久久黄片| 一级毛片aaaaaa免费看小| 国产一区二区激情短视频| 国产激情偷乱视频一区二区| 久久久精品欧美日韩精品| 99久久九九国产精品国产免费| 日韩 亚洲 欧美在线| 丰满的人妻完整版| 91狼人影院| 1024手机看黄色片| 亚洲欧美成人综合另类久久久 | 国产成人a区在线观看| 国产高清有码在线观看视频| 天天躁夜夜躁狠狠久久av| 精品久久久久久久久久久久久| 免费看美女性在线毛片视频| 色哟哟哟哟哟哟| 99热这里只有精品一区| 国产精品三级大全| 特级一级黄色大片| av卡一久久| 国内精品美女久久久久久| 一级黄片播放器| 成人三级黄色视频| 国产精品永久免费网站| 女生性感内裤真人,穿戴方法视频| av天堂中文字幕网| 干丝袜人妻中文字幕| 少妇的逼好多水| 日本成人三级电影网站| 男人狂女人下面高潮的视频| 男女边吃奶边做爰视频| 国产老妇女一区| 老司机午夜福利在线观看视频| 国产一区二区激情短视频| 熟女电影av网| 亚洲av不卡在线观看| 中文字幕熟女人妻在线| 精品一区二区三区人妻视频| 别揉我奶头 嗯啊视频| 亚洲av一区综合| 午夜福利高清视频| 老女人水多毛片| 亚洲欧美日韩卡通动漫| 人人妻,人人澡人人爽秒播| 亚洲久久久久久中文字幕| 亚洲18禁久久av| 搡老熟女国产l中国老女人| 丝袜美腿在线中文| 日本黄色视频三级网站网址| 国产黄色视频一区二区在线观看 | 国产精品一区二区三区四区免费观看 |