• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    政策視角下同行評(píng)議研究現(xiàn)狀與問題

    2020-09-06 13:25:22蘇金燕
    現(xiàn)代情報(bào) 2020年9期
    關(guān)鍵詞:國(guó)家政策評(píng)價(jià)方式質(zhì)量控制

    摘 要:[目的/意義]自習(xí)近平總書記2016年“5·17”講話后,國(guó)家兩年多來(lái)出臺(tái)多項(xiàng)政策文件,對(duì)項(xiàng)目評(píng)審、人才評(píng)價(jià)、機(jī)構(gòu)評(píng)估等學(xué)術(shù)評(píng)價(jià)活動(dòng)提出了指導(dǎo)性意見,特別強(qiáng)調(diào)發(fā)揮同行評(píng)議方法在學(xué)術(shù)評(píng)價(jià)中的作用。[方法/過(guò)程]對(duì)政策文件進(jìn)行內(nèi)容分析,在總結(jié)歸納文件中與同行評(píng)議有關(guān)的核心觀點(diǎn)基礎(chǔ)上,對(duì)目前同行評(píng)議研究現(xiàn)狀進(jìn)行分析,分析研究中的不足之處并給出有針對(duì)性建議。[結(jié)果/結(jié)論]研究發(fā)現(xiàn)這些政策文件強(qiáng)調(diào)同行評(píng)議方法在學(xué)術(shù)評(píng)價(jià)中的作用,強(qiáng)調(diào)專家遴選及評(píng)審專家、評(píng)審過(guò)程的監(jiān)督和公正問題,目前國(guó)內(nèi)外研究主要集中在同行評(píng)議方式、專家遴選、質(zhì)量控制和評(píng)價(jià)效果等方面,誰(shuí)來(lái)評(píng)、怎么評(píng)、評(píng)得怎么樣是同行評(píng)議過(guò)程中需要解決的三大核心問題。

    關(guān)鍵詞:同行評(píng)議;評(píng)價(jià)方式;評(píng)價(jià)效果;專家遴選;質(zhì)量控制;國(guó)家政策

    DOI:10.3969/j.issn.1008-0821.2020.09.014

    〔中圖分類號(hào)〕G301 〔文獻(xiàn)標(biāo)識(shí)碼〕A 〔文章編號(hào)〕1008-0821(2020)09-0127-06

    Peer Review Study from the Policy Perspective:

    Research Status and Problems

    Su Jinyan

    (Chinese Institute of Social Sciences Evaluation Studies,Chinese Academy of Social Sciences,

    Beijing 100732,China)

    Abstract:[Purposes/Significance]President Xi Jinping stressed the irreplaceable role of philosophy and social sciences for building socialism with Chinese characteristics,social science evaluation system was an important part of it.Series national evaluation documents were published.[Methods/Process]Based on the analysis of policy documents,which published from 2018,the research status,problems and suggestions of peer review were discussed.[Result/Conclusion]As an evaluation method,peer review was mentioned in all of these national policies.The evaluation model,evaluation effectiveness;expert recruitment and quality control of peer review were discussed in this paper.

    Key words:peer review;evaluation method;evaluation effectiveness;experts recruitment;quality control;national policy

    2016年5月17日,習(xí)近平總書記在哲學(xué)社會(huì)科學(xué)工作者座談會(huì)上指出,“面對(duì)新形勢(shì)新要求,我國(guó)哲學(xué)社會(huì)科學(xué)領(lǐng)域還存在一些亟待解決的問題”,我國(guó)目前的“學(xué)術(shù)評(píng)價(jià)體系不夠科學(xué)”,“要建立科學(xué)權(quán)威、公開透明的哲學(xué)社會(huì)科學(xué)成果評(píng)價(jià)體系,建立優(yōu)秀成果推介制度,把優(yōu)秀研究成果真正評(píng)出來(lái)、推廣開”[1],國(guó)家對(duì)哲學(xué)社會(huì)科學(xué)評(píng)價(jià)工作的重視程度提到新高度。

    1 國(guó)家政策中的同行評(píng)議

    為貫徹落實(shí)“5·17”講話精神,2018年至今兩年多時(shí)間內(nèi),中共中央辦公廳、國(guó)務(wù)院辦公廳、教育部、科技部、人力資源和社會(huì)保障部等連續(xù)出臺(tái)《關(guān)于深化項(xiàng)目評(píng)審、人才評(píng)價(jià)、機(jī)構(gòu)評(píng)估改革的意見》《關(guān)于分類推進(jìn)人才評(píng)價(jià)機(jī)制改革的指導(dǎo)意見》《關(guān)于深化哲學(xué)社會(huì)科學(xué)研究人員職稱制度改革的指導(dǎo)意見》《關(guān)于進(jìn)一步加強(qiáng)科研誠(chéng)信建設(shè)的若干意見》和《關(guān)于優(yōu)化科研管理提升科研績(jī)效若干措施的通知》等多項(xiàng)政策文件,如表1所示,直接或間接地指導(dǎo)著我國(guó)哲學(xué)社會(huì)科學(xué)評(píng)價(jià)工作,對(duì)項(xiàng)目評(píng)審、人才評(píng)價(jià)、機(jī)構(gòu)評(píng)估和期刊評(píng)價(jià)等學(xué)術(shù)評(píng)價(jià)的評(píng)價(jià)方法、評(píng)價(jià)指標(biāo)等給出了指導(dǎo)性意見,特別強(qiáng)調(diào)要發(fā)揮同行評(píng)議在人文社會(huì)科學(xué)評(píng)價(jià)中的作用。2020年2月,教育部、科技部印發(fā)《關(guān)于規(guī)范高等學(xué)校SCI論文相關(guān)指標(biāo)使用樹立正確評(píng)價(jià)導(dǎo)向的若干意見》(簡(jiǎn)稱《意見》),指出要破除論文“SCI至上”,并提出10條具體意見,再次提出要“完善學(xué)術(shù)同行評(píng)價(jià)”。

    1.1 強(qiáng)調(diào)同行評(píng)議在學(xué)術(shù)評(píng)價(jià)中的作用

    在人才評(píng)價(jià)時(shí),要建立以同行評(píng)價(jià)為基礎(chǔ)的業(yè)內(nèi)評(píng)價(jià)機(jī)制[2],注重發(fā)揮同行評(píng)議機(jī)制在人才評(píng)價(jià)過(guò)程中的作用[3],特別是職稱評(píng)審時(shí),要突出同行評(píng)價(jià)在職稱評(píng)審中的作用[4];在項(xiàng)目評(píng)價(jià)時(shí),特別是基礎(chǔ)研究與應(yīng)用基礎(chǔ)研究類項(xiàng)目,要以國(guó)際國(guó)內(nèi)同行評(píng)議為主[5];在學(xué)科評(píng)價(jià)時(shí),特別是基礎(chǔ)學(xué)科的評(píng)價(jià),要突出原創(chuàng)導(dǎo)向,以同行評(píng)議為主[3];在評(píng)價(jià)方法上,實(shí)行定量評(píng)價(jià)與定性評(píng)價(jià)相結(jié)合,定性評(píng)價(jià)要體現(xiàn)導(dǎo)向性、專業(yè)性[4];在推行代表作評(píng)價(jià)法時(shí),代表作應(yīng)受到同行專家的公認(rèn)[4]。

    1.2 強(qiáng)調(diào)同行評(píng)議專家遴選和專家?guī)旖ㄔO(shè)

    對(duì)于同行評(píng)議專家的遴選,強(qiáng)調(diào)專家?guī)烊霂?kù)標(biāo)準(zhǔn)和評(píng)審專家遴選規(guī)范[3],建立以隨機(jī)、回避、輪換、公示為基本原則的專家遴選制度[3-4];對(duì)于專家范圍,可根據(jù)不同學(xué)科情況,探索引入國(guó)際同行專家評(píng)價(jià)[3-4];對(duì)于專家?guī)斓慕ㄔO(shè),強(qiáng)化業(yè)內(nèi)代表性,細(xì)化專家領(lǐng)域和研究方向,優(yōu)化專家來(lái)源和結(jié)構(gòu),建成安全可靠、開放共享可及時(shí)補(bǔ)充高層次專家的國(guó)家專家?guī)靃3]。

    1.3 強(qiáng)調(diào)同行評(píng)價(jià)評(píng)審過(guò)程的公正性

    對(duì)于參與同行評(píng)議的評(píng)審專家,要求簽署科研誠(chéng)信承諾書[6],建立評(píng)價(jià)專家責(zé)任和信譽(yù)制度,實(shí)施退出和問責(zé)機(jī)制[2]。對(duì)于同行評(píng)議的評(píng)審過(guò)程,要求建立評(píng)價(jià)程序規(guī)范[3],健全評(píng)委會(huì)工作程序和評(píng)審規(guī)則[4],嚴(yán)肅評(píng)審紀(jì)律,加強(qiáng)監(jiān)督管理,提高評(píng)價(jià)活動(dòng)的公開性和開放性,保證評(píng)價(jià)工作的獨(dú)立性和公正性,確保評(píng)價(jià)結(jié)果的科學(xué)性和客觀性[3-4]。

    國(guó)家之所以多次提出要重視同行評(píng)議在學(xué)術(shù)評(píng)價(jià)中的作用,是因?yàn)槟壳暗捻?xiàng)目審批、個(gè)人晉升等科研活動(dòng)或多或少地依賴于期刊評(píng)價(jià)結(jié)果,但“學(xué)術(shù)界和學(xué)術(shù)期刊界與評(píng)價(jià)機(jī)構(gòu)的‘纏斗已不下20年”[7]。近期出臺(tái)的《意見》[8]明確提出要深刻認(rèn)識(shí)論文“SCI至上”的影響,要“完善學(xué)術(shù)同行評(píng)價(jià)”,“組織實(shí)施部門要完善規(guī)則,引導(dǎo)學(xué)者在參加各類評(píng)審、評(píng)價(jià)、評(píng)估工作時(shí)遵守學(xué)術(shù)操守,負(fù)責(zé)任地提供專業(yè)評(píng)議意見,不簡(jiǎn)單以SCI論文相關(guān)指標(biāo)和國(guó)內(nèi)外專家評(píng)價(jià)評(píng)語(yǔ)代替專業(yè)判斷,并遵守利益相關(guān)方專家回避原則。組織實(shí)施部門可開展對(duì)評(píng)審專家的實(shí)際表現(xiàn)、學(xué)術(shù)判斷能力、公信力的相應(yīng)評(píng)價(jià),并建立評(píng)審專家評(píng)價(jià)信譽(yù)制度。”2020年2月17日科技部發(fā)布的《關(guān)于破除科技評(píng)價(jià)中“唯論文”不良導(dǎo)向的若干措施(試行)》[9]中也明確要求“強(qiáng)化代表作同行評(píng)議”及“發(fā)揮同行評(píng)議在高質(zhì)量成果考核評(píng)價(jià)中的作用”。

    2 同行評(píng)議研究現(xiàn)狀

    通常認(rèn)為,1416年威尼斯共和國(guó)采用類似于同行評(píng)議方法對(duì)向其首次設(shè)立的專利制度申請(qǐng)專利發(fā)明進(jìn)行審查是同行評(píng)議的雛形,1665年英國(guó)皇家學(xué)會(huì)創(chuàng)辦的《哲學(xué)會(huì)刊》是世界上最早的同行評(píng)議期刊,邀請(qǐng)若干同領(lǐng)域的學(xué)者對(duì)投稿文章的創(chuàng)新性、科學(xué)性、可靠性等進(jìn)行綜合評(píng)定,并將其作為是否發(fā)表該文章的判斷依據(jù)。隨著時(shí)間推移,同行評(píng)議內(nèi)涵被逐漸擴(kuò)大,有狹義與廣義之分,本文是指廣義的同行評(píng)議,即在項(xiàng)目評(píng)審、人才評(píng)價(jià)、機(jī)構(gòu)評(píng)估、期刊評(píng)價(jià)等學(xué)術(shù)活動(dòng)中,由1個(gè)或多個(gè)相關(guān)領(lǐng)域的專家進(jìn)行評(píng)價(jià),來(lái)決定基金資助、職稱評(píng)定、論文發(fā)表等結(jié)果的活動(dòng)。目前,國(guó)內(nèi)外同行評(píng)議研究主要集中在以下4個(gè)方面:

    2.1 同行評(píng)議方式研究

    從同行評(píng)議評(píng)審方式看,主要有通信評(píng)議、專家小組或委員會(huì)評(píng)議和現(xiàn)場(chǎng)同行評(píng)議等方式[10];從組織方式看,以評(píng)審單位自行組織為主,委托第三方進(jìn)行評(píng)審的方式在逐漸增加;從專家匿名情況看,單盲評(píng)審和雙盲評(píng)審是主要形式,開放評(píng)審則成為近些年來(lái)的新趨勢(shì)[11]。目前,開放評(píng)審還沒有一個(gè)標(biāo)準(zhǔn)的定義和有共識(shí)的實(shí)施框架[12],但一般認(rèn)為開放同行評(píng)議主要包括公開身份和公開評(píng)議報(bào)告兩部分,以及公眾參與評(píng)議過(guò)程、作者與評(píng)議專家、評(píng)議專家之間直接交流等方面[13]?,F(xiàn)階段開放評(píng)審的研究應(yīng)用主要集中在期刊論文同行評(píng)議方面,其中F1000Resarch、Froniter和Pubpeer等是國(guó)外較有代表性的期刊開放同行評(píng)議平臺(tái),實(shí)現(xiàn)向外界公開評(píng)議專家信息、建立作者與評(píng)議專家交流通道、作者與評(píng)議專家和編輯在線對(duì)話等功能,瑪格泰克采編系統(tǒng)、勤云采編系統(tǒng)和知網(wǎng)騰云采編系統(tǒng)等是目前國(guó)內(nèi)使用較多的網(wǎng)絡(luò)期刊采編系統(tǒng),但其開放同行評(píng)議功能略弱。開放評(píng)審方式是否適用于項(xiàng)目、人才等其他學(xué)術(shù)評(píng)價(jià),在越來(lái)越高的“公開公正公平”“開放透明”的呼聲中,值得探討。

    2.2 同行評(píng)議專家的遴選

    同行專家是同行評(píng)議的主體,基金資助項(xiàng)目、機(jī)構(gòu)評(píng)估項(xiàng)目等對(duì)同行評(píng)議專家的遴選方式、標(biāo)準(zhǔn)及專家?guī)旖ㄔO(shè)等研究較多,另外期刊外審專家?guī)旖ㄔO(shè)也有較多討論。美國(guó)國(guó)家科學(xué)基金會(huì)(NSF)成立于1950年,其評(píng)審專家的產(chǎn)生方式較為多樣,既可以由申請(qǐng)人建議,也可以由計(jì)劃官員來(lái)選定或者來(lái)自其專家?guī)?,遴選標(biāo)準(zhǔn)是具有領(lǐng)域?qū)iL(zhǎng)、沒有利益沖突、客觀公正以及評(píng)議人分布多樣性等[14]。德國(guó)科學(xué)基金會(huì)(DFG),成立于1951年,現(xiàn)有48個(gè)學(xué)科專業(yè)評(píng)審委員會(huì),專家由直接選擇和學(xué)會(huì)推薦兩種方式產(chǎn)生,每4年選舉1次,遴選標(biāo)準(zhǔn)是評(píng)議專家須具有博士學(xué)位和3年以上工作經(jīng)驗(yàn)[15]。英國(guó)高等教育基金會(huì)的卓越研究框架(REF)自1986年發(fā)布第1版報(bào)告起,一直注重同行評(píng)議的作用,現(xiàn)有34個(gè)專業(yè)委員會(huì),就專家遴選標(biāo)準(zhǔn)和程序發(fā)布專門報(bào)告[16]。我國(guó)國(guó)家自然科學(xué)基金委員(NSFC)自1986年成立起就十分注重同行評(píng)議專家的遴選工作,在《國(guó)家自然科學(xué)基金項(xiàng)目評(píng)審專家工作管理辦法》中規(guī)定由自然科學(xué)基金委聘請(qǐng)?jiān)u審專家并建立評(píng)審專家?guī)欤?guī)定了聘請(qǐng)擔(dān)任評(píng)審專家的科學(xué)技術(shù)人員應(yīng)當(dāng)符合的條件及不能作為評(píng)審專家的情形。全國(guó)哲學(xué)社會(huì)科學(xué)工作辦公室負(fù)責(zé)國(guó)家社會(huì)科學(xué)基金課題資助等事宜,于2015年建成同行評(píng)議專家?guī)煜到y(tǒng),按照一定原則,如正高職稱、年齡一般在60歲以下等,不定期遴選同行評(píng)議專家[17]。

    2.3 同行評(píng)議的質(zhì)量控制

    同行評(píng)議方法被廣泛采用,但其局限性也一直備受爭(zhēng)議,就像學(xué)術(shù)期刊基本都有嚴(yán)格的同行評(píng)議程序,但是仍然出現(xiàn)2017年施普林格·自然出版集團(tuán)《腫瘤生物學(xué)》期刊107篇論文的撤稿事件,及2020年初我國(guó)《冰川凍土》的《導(dǎo)師崇高感和師娘優(yōu)美感的統(tǒng)一》事件。其實(shí)早在1978年和1981年,美國(guó)科學(xué)院科學(xué)與公共政策委員會(huì)就組織專家進(jìn)行了連續(xù)6年的調(diào)查,發(fā)表了2份關(guān)于“美國(guó)國(guó)家科學(xué)基金會(huì)的同行評(píng)議”調(diào)查報(bào)告。為彌補(bǔ)同行評(píng)議的局限,保證同行評(píng)議質(zhì)量,國(guó)外主要科研資助機(jī)構(gòu)都建立了質(zhì)量控制機(jī)制。NSF采用建立大規(guī)模評(píng)審專家?guī)?、回避利益沖突、定期監(jiān)督與評(píng)估及為“非共識(shí)”項(xiàng)目提供專門資助等方式保證同行評(píng)議的可靠性,糾正同行評(píng)議結(jié)果偏差。DFG則采用“2+1”評(píng)審方式、隨時(shí)逐項(xiàng)審批制、規(guī)避利益沖突、監(jiān)察制度等組織實(shí)施同行評(píng)議。我國(guó)國(guó)家自然科學(xué)基金委員會(huì)自2005年起采用“3+X”評(píng)審方式,并通過(guò)《國(guó)家自然科學(xué)基金項(xiàng)目評(píng)審回避與保密管理辦法》《國(guó)家自然科學(xué)基金資助項(xiàng)目會(huì)議評(píng)審駐會(huì)監(jiān)督工作實(shí)施細(xì)則》及《國(guó)家自然科學(xué)基金項(xiàng)目評(píng)審專家行為規(guī)范》對(duì)評(píng)審專家的評(píng)審行為進(jìn)行規(guī)范、約束和監(jiān)督,定期對(duì)評(píng)審專家履行評(píng)審職責(zé)情況進(jìn)行評(píng)估。國(guó)家社會(huì)科學(xué)基金方面則會(huì)定期公布“認(rèn)真負(fù)責(zé)的鑒定專家”名單,對(duì)評(píng)審專家進(jìn)行激勵(lì)。

    2.4 同行評(píng)議效果討論

    在采用了科學(xué)的同行評(píng)議方式、選用了合適的評(píng)審專家、對(duì)評(píng)審質(zhì)量進(jìn)行了控制監(jiān)督的情況下,同行評(píng)議的效果到底如何呢?與被人詬病的定量評(píng)價(jià)相比,同行評(píng)議的優(yōu)勢(shì)和不足又體現(xiàn)在哪里呢?就拿期刊評(píng)價(jià)來(lái)說(shuō),期刊評(píng)價(jià)過(guò)程中有兩種最常用的方法,一是依賴于專家問卷的定性評(píng)價(jià)方法[18-19];一是依賴于論文被引次數(shù)的定量評(píng)價(jià)方法[20]。一方面,有很多學(xué)者認(rèn)為以這兩種方法對(duì)期刊進(jìn)行評(píng)價(jià)后得出的評(píng)價(jià)結(jié)果一致性較差,例如Hodge D R等在2010年以25種社會(huì)工作領(lǐng)域的期刊為樣本,采用定性方法(專家問卷)和定量指標(biāo)(5年影響因子和H5指數(shù))計(jì)算對(duì)期刊進(jìn)行排名后發(fā)現(xiàn)兩者存在較大差異,專家問卷排名第1的期刊用定量指標(biāo)排名時(shí)僅列25種期刊中的第13位[21];Kao C等在2008年以我國(guó)臺(tái)灣出版46種管理學(xué)期刊為樣本用兩種方法進(jìn)行了期刊排名,發(fā)現(xiàn)兩種方法得出的排名結(jié)果截然不同,46種期刊中只有1種期刊采用兩種評(píng)價(jià)方法的排名相同,超過(guò)一半的期刊排名結(jié)果有很大差異。但也有學(xué)者卻研究發(fā)現(xiàn)兩種評(píng)價(jià)方法得出的評(píng)價(jià)結(jié)果有較強(qiáng)的相關(guān)關(guān)系[22-23]。我國(guó)學(xué)者對(duì)同行評(píng)議與文獻(xiàn)計(jì)量在科研評(píng)價(jià)中的作用分析做了比較,發(fā)現(xiàn)無(wú)論是在學(xué)術(shù)論文的發(fā)表、科研項(xiàng)目經(jīng)費(fèi)資助審批還是在學(xué)科發(fā)展態(tài)勢(shì)評(píng)估與研發(fā)評(píng)價(jià)實(shí)踐中,采用定性、定量?jī)煞N方法得出的評(píng)價(jià)結(jié)果有的非常一致,但有的差異很大[24],有學(xué)者認(rèn)為同行評(píng)議和科學(xué)計(jì)量?jī)?yōu)點(diǎn)鮮明,但各自又有難以克服的局限性[25],甚至有學(xué)者直接提出“量化評(píng)價(jià)扼殺人文學(xué)術(shù)”[26]。但筆者以人文社會(huì)科學(xué)33個(gè)學(xué)科共計(jì)1291種期刊為統(tǒng)計(jì)樣本,采用調(diào)查問卷形式由專家對(duì)這些期刊進(jìn)行同行評(píng)價(jià),然后對(duì)同行評(píng)價(jià)結(jié)果與即年影響因子、影響因子和5年影響因子的相關(guān)性做比較分析,研究后發(fā)現(xiàn)同行評(píng)價(jià)和引文指標(biāo)兩種方法對(duì)期刊進(jìn)行評(píng)價(jià)時(shí),兩者得到的評(píng)價(jià)結(jié)果具有較高的一致性,雖然存在一定學(xué)科差異,比如社會(huì)科學(xué)領(lǐng)域的一致性高于人文科學(xué)領(lǐng)域的一致性[27]。

    3 同行評(píng)議研究存在的問題

    3.1 現(xiàn)有同行評(píng)議研究還有薄弱點(diǎn)

    一是對(duì)同行評(píng)議方式有所討論,但是對(duì)于各評(píng)議方式的效率、效果討論較少。二是對(duì)大型周期性基金資助項(xiàng)目評(píng)審、機(jī)構(gòu)評(píng)估等的專家遴選標(biāo)準(zhǔn)研究較多,但遴選標(biāo)準(zhǔn)通常較為籠統(tǒng),并且對(duì)于專家因素對(duì)同行評(píng)議效果影響的討論不多。三是對(duì)同行評(píng)議質(zhì)量控制方法、控制效果的實(shí)證性研究較少,無(wú)法確切了解質(zhì)量控制情況。四是強(qiáng)調(diào)定性與定量相結(jié)合的評(píng)價(jià)方法,但同行評(píng)議的權(quán)重、與定量評(píng)價(jià)的關(guān)系的具體案例研究較少,對(duì)同行評(píng)議局限性的討論較少。

    3.2 對(duì)同行評(píng)議自身局限性研究不充分

    雖然政策文件中強(qiáng)調(diào)同行評(píng)議方法的重要性,但同行評(píng)議是有其自身局限性的。一是主觀性,每個(gè)專家的評(píng)價(jià)結(jié)果是十分主觀的,它很大程度上受到評(píng)價(jià)者道德品質(zhì)、學(xué)術(shù)水平及研究領(lǐng)域等因素的影響。二是利益相關(guān)性,每個(gè)專家都是社會(huì)人,有時(shí)難免受人情關(guān)系影響,如果評(píng)價(jià)者與被評(píng)價(jià)者存在利益關(guān)系,更是可能影響評(píng)價(jià)結(jié)果。三是保守性,同行評(píng)價(jià)是建立在專家原有知識(shí)基礎(chǔ)上的,對(duì)創(chuàng)新性事物判斷難度較大,不同專家的評(píng)價(jià)結(jié)果有時(shí)會(huì)出現(xiàn)很大差異,形成“非共識(shí)”現(xiàn)象。四是復(fù)雜性,組織一次同行評(píng)價(jià)要耗費(fèi)大量人財(cái)物和時(shí)間成本。如何正確認(rèn)識(shí)同行評(píng)議自身局限性,是進(jìn)行研究的基礎(chǔ)。

    3.3 對(duì)同行評(píng)議如何“立”的問題研究較少

    雖然國(guó)家一直在強(qiáng)調(diào)要發(fā)揮同行評(píng)議作用,強(qiáng)調(diào)在開展學(xué)術(shù)評(píng)價(jià)時(shí),對(duì)期刊論文、圖書專著等科研成果要合理地設(shè)置評(píng)價(jià)指標(biāo),不能用影響因子指標(biāo)“一刀切”[2],在科學(xué)引文索引(SCI、SSCI和A&HCI)和核心期刊論文發(fā)表的數(shù)量、論文引用次數(shù)及影響因子排名等僅可作為評(píng)價(jià)參考[3]。為何國(guó)家、學(xué)者一直呼吁要注重“同行評(píng)議”,避免影響因子“一刀切”,卻仍然存在這些問題呢?因?yàn)椋壳岸嗍怯懻撚绊懸蜃?、期刊論文“破”的問題,卻對(duì)同行評(píng)議“立”的問題討論較少。

    4 同行評(píng)議研究的對(duì)策建議

    不破不立,不立不破?!捌啤庇绊懸蜃?、期刊論文的同時(shí),同行評(píng)議也要“立”住。

    4.1 解決同行評(píng)議方法“立”的問題

    一是解決同行評(píng)議概念意識(shí)“立”的問題。通過(guò)對(duì)同行評(píng)議方式、專家遴選標(biāo)準(zhǔn)、同行評(píng)議質(zhì)量及效果進(jìn)行研究,可以更清楚地了解各同行評(píng)議方式的優(yōu)勢(shì)和局限性,更準(zhǔn)確地了解專家因素對(duì)同行評(píng)議結(jié)果的影響,更謹(jǐn)慎地定義同行評(píng)議與定量評(píng)價(jià)的關(guān)系,從而制定出更加科學(xué)合理可操作的政策,把同行評(píng)議從概念意識(shí)角度“立起來(lái)”。

    二是解決同行評(píng)議組織實(shí)施“立”的問題。國(guó)家級(jí)基金資助、機(jī)構(gòu)評(píng)估等有較為成熟的同行評(píng)議規(guī)程和專家?guī)欤珜?duì)于高校、科研院所等科研機(jī)構(gòu)及第三方評(píng)價(jià)機(jī)構(gòu)來(lái)說(shuō),作為評(píng)價(jià)的組織者,如何在評(píng)價(jià)實(shí)施過(guò)程中更好地使用同行評(píng)議方法?同行評(píng)議研究要為其組織實(shí)施,如遴選專家、組織評(píng)價(jià)提供依據(jù),把同行評(píng)議從組織實(shí)施角度“立起來(lái)”。

    三是解決同行評(píng)議操作執(zhí)行“立”的問題。一方面,引導(dǎo)科研人員更加客觀地認(rèn)識(shí)同行評(píng)議的作用;另一方面,科研人員又是同行評(píng)議真正的評(píng)價(jià)主體——評(píng)審專家,對(duì)同行評(píng)議質(zhì)量控制進(jìn)行研究,讓科研人員更好地發(fā)揮同行評(píng)議功能,把同行評(píng)議從操作執(zhí)行角度“立起來(lái)”。

    4.2 解決同行評(píng)議過(guò)程中的問題

    同行評(píng)議研究最終是用來(lái)指導(dǎo)同行評(píng)議實(shí)踐活動(dòng)的,所以要重點(diǎn)分析組織實(shí)施同行評(píng)價(jià)需解決的基本問題。

    一是解決誰(shuí)來(lái)評(píng)的問題。同行評(píng)價(jià)過(guò)程中,評(píng)價(jià)專家是主體,專家遴選是關(guān)鍵,但目前只有原則性的專家遴選標(biāo)準(zhǔn)和程序,并且沒有可快速抽取專家的共享專家?guī)炜梢允褂?。拿?guó)家自科基金來(lái)說(shuō),每年有大量課題項(xiàng)目需要評(píng)審,但《國(guó)家自然科學(xué)基金項(xiàng)目評(píng)審專家工作管理辦法》中評(píng)審專家選聘的條件卻比較籠統(tǒng),不夠明確。如選聘條件第一條是“具有較高的學(xué)術(shù)水平、敏銳的科學(xué)洞察力和較強(qiáng)的學(xué)術(shù)判斷能力”,這不僅難以篩出誰(shuí)符合條件,更難以判斷誰(shuí)不符合這個(gè)條件,這些條件有點(diǎn)形同虛設(shè)。很多滿足這些選聘條件學(xué)者都希望能夠成為國(guó)家級(jí)項(xiàng)目的評(píng)審專家,但如何才能被選入到國(guó)家自科基金委的專家?guī)熘心??這是個(gè)問題。國(guó)家自科基金委成立以來(lái)一直十分重視專家?guī)旖ㄔO(shè),并公開一些與專家遴選有關(guān)的文件,但有些組織實(shí)施評(píng)價(jià)部門以一己之力很難完成高質(zhì)量、成規(guī)模的專家?guī)旖ㄔO(shè)工作,增加了同行評(píng)價(jià)活動(dòng)的組織難度。

    二是解決怎么評(píng)的問題。組織實(shí)施部門是第三方,無(wú)論是初評(píng)還是復(fù)審,制定規(guī)則、組織評(píng)價(jià)、保證質(zhì)量是工作重點(diǎn)。目前,通訊評(píng)審、會(huì)議評(píng)審或兩者結(jié)合是采用最多的同行評(píng)價(jià)方式,由于每個(gè)被評(píng)價(jià)對(duì)象的評(píng)審專家是有限的,如“2+1”或“3+X”模式,由于評(píng)價(jià)專家數(shù)量少增加了評(píng)價(jià)結(jié)果偶然性。這就對(duì)評(píng)價(jià)專家的水平和道德提出了很高要求,評(píng)價(jià)專家的遴選、激勵(lì)、約束和監(jiān)督,是保證同行評(píng)議質(zhì)量的重要環(huán)節(jié)。如果說(shuō)通訊評(píng)審以“小同行”專家為主的話,在會(huì)議評(píng)審時(shí)經(jīng)常會(huì)存在“大同行”甚至“非同行”的問題,然而根據(jù)《意見》第四條規(guī)定,“不簡(jiǎn)單以SCI論文相關(guān)指標(biāo)和國(guó)內(nèi)外專家評(píng)價(jià)評(píng)語(yǔ)代替專業(yè)判斷”,如何正確發(fā)揮“大同行”會(huì)評(píng)專家的作用是需要考慮的問題。

    三是解決評(píng)價(jià)效果問題。方法沒有好壞,只要達(dá)到評(píng)價(jià)目的就是好方法,但同行評(píng)價(jià)評(píng)出來(lái)的效果到底怎么樣,如何平衡同行評(píng)價(jià)與定量評(píng)價(jià)的關(guān)系,這是個(gè)問題。就同行評(píng)價(jià)的效果,目前我國(guó)沒有系統(tǒng)的研究,也就是說(shuō),破除論文“SCI”至上而采用同行評(píng)價(jià)方法后會(huì)不會(huì)達(dá)到預(yù)期目的還有待進(jìn)一步驗(yàn)證。

    在當(dāng)前破除論文“SCI至上”的要求下,同行評(píng)議作為學(xué)術(shù)評(píng)價(jià)方法被再一次推上前臺(tái)。其實(shí),無(wú)論是學(xué)術(shù)評(píng)價(jià)的組織者、評(píng)價(jià)者還是被評(píng)價(jià)者,都希望能夠更好地發(fā)揮學(xué)術(shù)共同體作用,但目前國(guó)內(nèi)外同行評(píng)議研究還不夠系統(tǒng),是個(gè)需要加強(qiáng)研究的領(lǐng)域。

    參考文獻(xiàn)

    [1]習(xí)近平.在哲學(xué)社會(huì)科學(xué)工作座談會(huì)上的講話[M].北京:人民出版社,2016.

    [2]中共中央辦公廳,國(guó)務(wù)院辦公廳.關(guān)于分類推進(jìn)人才評(píng)價(jià)機(jī)制改革的指導(dǎo)意見[EB/OL].http://www.gov.cn/zhengce/2018-02/26/content_5268965.htm,2018-02-26.

    [3]關(guān)于深化項(xiàng)目評(píng)審、人才評(píng)價(jià)、機(jī)構(gòu)評(píng)估改革的意見[M].北京:人民出版社,2018.

    [4]關(guān)于深化哲學(xué)社會(huì)科學(xué)研究人員職稱制度改革的指導(dǎo)意見[EB/OL].http://www.mohrss.gov.cn/SYrlzyhshbzb/dongtaixinwen/buneiyaowen/201910/t20191028_337889.html,2019-10-28.

    [5]國(guó)務(wù)院.關(guān)于優(yōu)化科研管理提升科研績(jī)效若干措施的通知[EB/OL].http://www.gov.cn/zhengce/content/2018-07/24/content_5308787.htm,2018-07-24.

    [6]關(guān)于進(jìn)一步加強(qiáng)科研誠(chéng)信建設(shè)的若干意見[M].北京:人民出版社,2018.

    [7]朱劍.“三大核心”:拿什么來(lái)取而代之?[J].濟(jì)南大學(xué)學(xué)報(bào):社會(huì)科學(xué)版,2019,29(2):5-25.

    [8]教育部,科技部.關(guān)于規(guī)范高等學(xué)校SCI論文相關(guān)指標(biāo)使用 樹立正確評(píng)價(jià)導(dǎo)向的若干意見[EB/OL].http://www.moe.gov.cn/srcsite/A16/moe_784/202002/t20200223_423334.html,2020-02-20.

    [9]科技部.關(guān)于破除科技評(píng)價(jià)中“唯論文”不良導(dǎo)向的若干措施(試行)[EB/OL].http://www.most.gov.cn/mostinfo/xinxifenlei/fgzc/gfxwj/gfxwj2020/202002/t20200223_151781.htm,2020-02-17.

    [10]郭碧堅(jiān),韓宇.同行評(píng)議制——方法、理論、功能、指標(biāo)[J].科學(xué)學(xué)研究,1994,(3):63-73.

    [11]Walker R,da Silva P R.Emerging Trends in Peer Review—A Survey[J].Frontiers in Neuroscience,2015,(9):169.

    [12]Ross-Hellauer T.What is Open Peer Review?A Systematic Review[J].F1000Resarch,2017,(6):588.

    [13]孟美任,張曉林.中國(guó)科技期刊引入開放同行評(píng)議機(jī)制的思考與建議[J].中國(guó)科技期刊研究,2019,30(2):149-155.

    [14]National Science Foundation(NSF).Merit Review[EB/OL].https://www.nsf.gov/bfa/dias/policy/merit_review/,2020-02-15.

    [15]Deutsche Forschungsgemeinschaft(DFG).Review Boards[EB/OL].https://www.dfg.de/en/research_funding/index.html,2020-02-15.

    [16]Research Excellence Framework(REF).Roles and Recruitment of the Expert Panels[EB/OL].https://www.ref.ac.uk/publications/roles-and-recruitment-of-the-expert-panels-ref-201703/,2020-02-15.

    [17]全國(guó)哲學(xué)社會(huì)科學(xué)工作辦公室.關(guān)于開通使用同行評(píng)議專家數(shù)據(jù)庫(kù)的補(bǔ)充說(shuō)明[EB/OL].http://www.npopss-cn.gov.cn/n/2015/1110/c219469-27799803.html,2015-11-10.

    [18]Walters W H.Key Questions in the Development and Use of Survey-based Journal Rankings[J].Journal of Academic Librarianship,2017,43(4):305-311.

    [19]Herrmann R,Berg E,Dabbert S,et al.Going Beyond Impact Factors:A Survey-based Journal Ranking By Agricultural Economists[J].Journal of Agricultural Economics,2011,62(3):710-732.

    [20]Pajic D.On the Stability of Citation-based Journal Rankings[J].Journal of Informetrics,2015,(9):990-1006.

    [21]Hodge D R,Lacasse J R.Evaluating Journal Quality:Is the H-index a Better Measure than Impact Factors?[J].Research on Social Work Practice,2010,21(2):222-230.

    [22]Kao C,Lin H,Chung S,et al.Ranking Taiwanese Management Journals:A Case Study[J].Scientometrics,2008,76(1):95-115.

    [23]Gordon M D.Citation Ranking Versus Subjective Evaluation in the Determination of Journal Hierachies in the Social Sciences[J].Journal of the American Society for Information Science,1982,33(1):55-57.

    [24]萬(wàn)昊,譚宗穎,朱相麗.同行評(píng)議與文獻(xiàn)計(jì)量在科研評(píng)價(jià)中的作用分析比較[J].圖書情報(bào)工作,2017,(1):134-152.

    [25]姜春林,張立偉.學(xué)術(shù)評(píng)價(jià):同行評(píng)議抑或科學(xué)計(jì)量[J].中國(guó)高等教育,2014,(Z3):20-22.

    [26]仲偉民.量化評(píng)價(jià)扼殺人文學(xué)術(shù)——關(guān)于人文學(xué)科學(xué)術(shù)期刊的評(píng)價(jià)問題[J].澳門理工學(xué)報(bào):人文社會(huì)科學(xué)版,2015,(3):100-109.

    [27]蘇金燕.人文社會(huì)科學(xué)期刊評(píng)價(jià)中同行評(píng)議與影響因子相關(guān)性分析[J].圖書情報(bào)知識(shí),2020,(3):4-13.

    (責(zé)任編輯:陳 媛)

    猜你喜歡
    國(guó)家政策評(píng)價(jià)方式質(zhì)量控制
    淺論贛州經(jīng)濟(jì)發(fā)展模式的現(xiàn)在與未來(lái)
    青春歲月(2016年22期)2016-12-23 16:37:15
    新課程理念下的小學(xué)語(yǔ)文教學(xué)之優(yōu)化
    我國(guó)大學(xué)生自主創(chuàng)業(yè)現(xiàn)狀問題研究
    圖式理論在閱讀教學(xué)中應(yīng)用的價(jià)值功能與評(píng)價(jià)方式
    美國(guó)化學(xué)課堂多樣化學(xué)習(xí)評(píng)價(jià)方式帶來(lái)的新思路
    實(shí)體書店的春天來(lái)了?
    人間(2016年27期)2016-11-11 15:33:49
    淺談機(jī)車總風(fēng)缸的制作質(zhì)量控制
    科技視界(2016年21期)2016-10-17 17:58:28
    從A股市場(chǎng)暴跌談國(guó)家政策
    商(2016年27期)2016-10-17 06:10:41
    淺談在公路橋梁施工環(huán)節(jié)的質(zhì)量管理及控制
    科技視界(2016年20期)2016-09-29 13:11:33
    淺談石灰土基層施工及質(zhì)量控制
    科技視界(2016年20期)2016-09-29 13:10:51
    看黄色毛片网站| 丝袜美腿在线中文| a级毛色黄片| 一级毛片aaaaaa免费看小| 久久久久国产网址| av国产免费在线观看| 国产亚洲午夜精品一区二区久久 | 高清毛片免费看| 高清视频免费观看一区二区 | 欧美日韩亚洲高清精品| 精品少妇黑人巨大在线播放| av国产免费在线观看| 听说在线观看完整版免费高清| 亚洲欧美中文字幕日韩二区| 秋霞伦理黄片| 亚洲精品自拍成人| 亚洲国产欧美人成| 狂野欧美白嫩少妇大欣赏| 午夜精品国产一区二区电影 | 精品不卡国产一区二区三区| freevideosex欧美| 听说在线观看完整版免费高清| 亚洲欧美清纯卡通| 99热这里只有是精品50| 纵有疾风起免费观看全集完整版 | 亚洲不卡免费看| 国产精品99久久久久久久久| 91aial.com中文字幕在线观看| 乱人视频在线观看| 人妻系列 视频| 精品久久久久久久人妻蜜臀av| 国产女主播在线喷水免费视频网站 | 亚洲欧美清纯卡通| 午夜精品一区二区三区免费看| 最近中文字幕2019免费版| 草草在线视频免费看| 久久6这里有精品| 欧美 日韩 精品 国产| 日本熟妇午夜| 精品久久久久久电影网| 国产亚洲精品久久久com| 免费黄频网站在线观看国产| av在线蜜桃| 国产欧美另类精品又又久久亚洲欧美| 国产亚洲精品久久久com| 丝袜喷水一区| 三级国产精品欧美在线观看| 91久久精品国产一区二区三区| 亚洲国产色片| 国产午夜精品论理片| 汤姆久久久久久久影院中文字幕 | 老师上课跳d突然被开到最大视频| 少妇熟女aⅴ在线视频| 91av网一区二区| 国产精品女同一区二区软件| 99久国产av精品| 国产一区二区三区综合在线观看 | 一区二区三区四区激情视频| 18禁裸乳无遮挡免费网站照片| 国产黄色视频一区二区在线观看| 毛片一级片免费看久久久久| 亚洲国产精品成人综合色| 国内精品宾馆在线| 99久国产av精品| 亚洲欧美日韩东京热| 国产一区二区在线观看日韩| videossex国产| av黄色大香蕉| 91久久精品电影网| 乱人视频在线观看| 成年av动漫网址| 精品酒店卫生间| 亚洲av成人精品一二三区| 好男人视频免费观看在线| 久久久久久久国产电影| 成年女人看的毛片在线观看| 亚洲熟妇中文字幕五十中出| 天堂俺去俺来也www色官网 | 男女国产视频网站| 中文字幕亚洲精品专区| 精品熟女少妇av免费看| 国产精品人妻久久久影院| 麻豆成人午夜福利视频| 午夜免费观看性视频| 日韩精品青青久久久久久| 夫妻午夜视频| 欧美成人一区二区免费高清观看| 黄片无遮挡物在线观看| 免费高清在线观看视频在线观看| 国产精品福利在线免费观看| 视频中文字幕在线观看| 久久精品国产鲁丝片午夜精品| 大陆偷拍与自拍| 黑人高潮一二区| 久久久久精品性色| 一级a做视频免费观看| 午夜免费激情av| 黄色欧美视频在线观看| 久久久午夜欧美精品| 国产亚洲午夜精品一区二区久久 | 亚洲天堂国产精品一区在线| av在线蜜桃| 成人特级av手机在线观看| 韩国av在线不卡| 国产探花极品一区二区| 国产精品av视频在线免费观看| 午夜福利在线观看吧| av黄色大香蕉| 2022亚洲国产成人精品| 久久99热这里只频精品6学生| 晚上一个人看的免费电影| 亚洲精华国产精华液的使用体验| 自拍偷自拍亚洲精品老妇| 亚洲av一区综合| 欧美日韩亚洲高清精品| 成年女人看的毛片在线观看| 午夜激情久久久久久久| 极品教师在线视频| 午夜福利在线观看免费完整高清在| 日本猛色少妇xxxxx猛交久久| 亚洲成人久久爱视频| 亚洲精品一二三| 黄片wwwwww| 久久久久九九精品影院| 人妻一区二区av| 欧美日韩精品成人综合77777| 国产成人a∨麻豆精品| av黄色大香蕉| 亚洲av国产av综合av卡| 性插视频无遮挡在线免费观看| 国产大屁股一区二区在线视频| 亚洲欧美一区二区三区黑人 | 国产高清不卡午夜福利| 777米奇影视久久| 99热全是精品| 99视频精品全部免费 在线| 国产成年人精品一区二区| 亚洲欧美一区二区三区国产| 国产精品99久久久久久久久| av又黄又爽大尺度在线免费看| 人妻少妇偷人精品九色| 99re6热这里在线精品视频| 久久久久精品久久久久真实原创| 亚洲人与动物交配视频| 成年版毛片免费区| 淫秽高清视频在线观看| 老师上课跳d突然被开到最大视频| 91久久精品电影网| 亚洲精品久久午夜乱码| 成年女人在线观看亚洲视频 | 久久精品久久精品一区二区三区| 久久精品国产亚洲av天美| 亚洲第一区二区三区不卡| 国产国拍精品亚洲av在线观看| 国语对白做爰xxxⅹ性视频网站| 69av精品久久久久久| 国产三级在线视频| 亚洲av.av天堂| 嫩草影院精品99| 熟女人妻精品中文字幕| 国产久久久一区二区三区| 99re6热这里在线精品视频| 欧美日韩精品成人综合77777| 欧美性感艳星| 久久久久性生活片| 国产伦一二天堂av在线观看| 神马国产精品三级电影在线观看| 99久久中文字幕三级久久日本| 亚洲婷婷狠狠爱综合网| 久久精品国产鲁丝片午夜精品| 国产伦在线观看视频一区| 亚洲国产精品sss在线观看| 国产一区二区亚洲精品在线观看| 国产美女午夜福利| 人妻一区二区av| 亚洲成人精品中文字幕电影| 午夜亚洲福利在线播放| 国产精品一二三区在线看| 日韩欧美一区视频在线观看 | 街头女战士在线观看网站| 久久久精品94久久精品| 非洲黑人性xxxx精品又粗又长| 91精品一卡2卡3卡4卡| 久久99蜜桃精品久久| 一个人免费在线观看电影| 欧美日韩亚洲高清精品| 久久鲁丝午夜福利片| 男女下面进入的视频免费午夜| 日韩成人av中文字幕在线观看| 亚洲精品国产av蜜桃| 欧美最新免费一区二区三区| 蜜臀久久99精品久久宅男| 一级a做视频免费观看| 国产老妇伦熟女老妇高清| 可以在线观看毛片的网站| 国内精品美女久久久久久| 亚州av有码| 成人av在线播放网站| 97超碰精品成人国产| 亚洲成人中文字幕在线播放| 欧美zozozo另类| 老女人水多毛片| 国产男女超爽视频在线观看| 七月丁香在线播放| 老司机影院成人| 国产伦精品一区二区三区四那| 国产乱人视频| 精品久久久久久久久av| 天美传媒精品一区二区| 在线 av 中文字幕| 久久精品熟女亚洲av麻豆精品 | 日韩中字成人| 日本爱情动作片www.在线观看| 麻豆成人午夜福利视频| 国产欧美日韩精品一区二区| av.在线天堂| 免费不卡的大黄色大毛片视频在线观看 | 亚洲精品国产av蜜桃| 欧美最新免费一区二区三区| 午夜激情久久久久久久| 国产美女午夜福利| 十八禁网站网址无遮挡 | 精品人妻视频免费看| 久久精品综合一区二区三区| 五月天丁香电影| 欧美潮喷喷水| 欧美精品一区二区大全| 久久综合国产亚洲精品| 干丝袜人妻中文字幕| 久久久久免费精品人妻一区二区| 22中文网久久字幕| av一本久久久久| 欧美日韩亚洲高清精品| 日本免费在线观看一区| 男人舔女人下体高潮全视频| 91久久精品国产一区二区成人| 精品人妻一区二区三区麻豆| 肉色欧美久久久久久久蜜桃 | 毛片一级片免费看久久久久| 国产大屁股一区二区在线视频| 国产精品一区二区性色av| 97在线视频观看| 亚洲精品日本国产第一区| 免费少妇av软件| 全区人妻精品视频| 亚洲av.av天堂| 在现免费观看毛片| 成人午夜精彩视频在线观看| 久久精品人妻少妇| 18禁在线播放成人免费| 国产精品伦人一区二区| 国产精品一区二区三区四区免费观看| 精品国产三级普通话版| 国语对白做爰xxxⅹ性视频网站| 久久久a久久爽久久v久久| 1000部很黄的大片| 色综合站精品国产| 99热这里只有是精品在线观看| 伊人久久精品亚洲午夜| 爱豆传媒免费全集在线观看| 亚洲国产成人一精品久久久| 国产黄色免费在线视频| 麻豆成人午夜福利视频| 九九在线视频观看精品| 亚洲精品影视一区二区三区av| 国产伦理片在线播放av一区| 国产视频首页在线观看| 日韩一区二区视频免费看| 亚洲av.av天堂| 女的被弄到高潮叫床怎么办| 免费高清在线观看视频在线观看| 国产麻豆成人av免费视频| 国产熟女欧美一区二区| 97热精品久久久久久| 亚洲性久久影院| 国产成人福利小说| 精品一区二区三卡| av又黄又爽大尺度在线免费看| 内地一区二区视频在线| 久久精品国产自在天天线| 三级国产精品片| 国产女主播在线喷水免费视频网站 | 啦啦啦韩国在线观看视频| 在线观看一区二区三区| 欧美日韩亚洲高清精品| av播播在线观看一区| 精品人妻熟女av久视频| 精品一区二区三区人妻视频| 一本一本综合久久| 插逼视频在线观看| 日韩欧美精品免费久久| 久久久久久久久久人人人人人人| 91久久精品国产一区二区成人| 日日摸夜夜添夜夜添av毛片| 丰满乱子伦码专区| 可以在线观看毛片的网站| 最近最新中文字幕免费大全7| 蜜桃亚洲精品一区二区三区| 国产精品福利在线免费观看| 天堂俺去俺来也www色官网 | 成人av在线播放网站| 熟女电影av网| 久久久久九九精品影院| 成人亚洲欧美一区二区av| 嫩草影院新地址| 赤兔流量卡办理| 国产精品人妻久久久影院| 伊人久久国产一区二区| 色综合亚洲欧美另类图片| 久久草成人影院| 人人妻人人澡欧美一区二区| 非洲黑人性xxxx精品又粗又长| 成人毛片60女人毛片免费| 日本一二三区视频观看| 国产午夜福利久久久久久| 能在线免费看毛片的网站| 少妇熟女aⅴ在线视频| 偷拍熟女少妇极品色| 国产午夜精品一二区理论片| 男女国产视频网站| 国产又色又爽无遮挡免| 激情五月婷婷亚洲| 人人妻人人看人人澡| 国产亚洲91精品色在线| 国产淫语在线视频| 久久人人爽人人爽人人片va| 免费观看精品视频网站| 有码 亚洲区| 国产精品麻豆人妻色哟哟久久 | 午夜免费男女啪啪视频观看| 淫秽高清视频在线观看| 日韩成人伦理影院| 成人漫画全彩无遮挡| 小蜜桃在线观看免费完整版高清| 777米奇影视久久| 十八禁国产超污无遮挡网站| 爱豆传媒免费全集在线观看| 精品久久久噜噜| 亚州av有码| 国产色爽女视频免费观看| 七月丁香在线播放| 国产乱人偷精品视频| 日本wwww免费看| 欧美高清性xxxxhd video| 日本与韩国留学比较| 免费在线观看成人毛片| 2022亚洲国产成人精品| 好男人视频免费观看在线| 国产在线男女| 91久久精品国产一区二区三区| 又爽又黄a免费视频| 日韩精品青青久久久久久| 精品一区二区三区视频在线| 日韩一本色道免费dvd| 亚洲国产色片| 国产爱豆传媒在线观看| 一级黄片播放器| 男人舔奶头视频| 能在线免费观看的黄片| 久久久午夜欧美精品| 一级黄片播放器| 久久久午夜欧美精品| 日韩一区二区三区影片| 国产 一区精品| 麻豆av噜噜一区二区三区| 日本与韩国留学比较| 韩国高清视频一区二区三区| 免费观看a级毛片全部| 成年免费大片在线观看| 婷婷色综合大香蕉| 别揉我奶头 嗯啊视频| 精品久久久久久电影网| av在线老鸭窝| 床上黄色一级片| 午夜免费观看性视频| 国国产精品蜜臀av免费| 久久久欧美国产精品| 久久久精品94久久精品| videos熟女内射| 街头女战士在线观看网站| 日本wwww免费看| 国产精品一区二区三区四区久久| 韩国高清视频一区二区三区| 最近中文字幕2019免费版| 欧美精品国产亚洲| 在线观看人妻少妇| 免费看a级黄色片| 久久久色成人| 少妇熟女aⅴ在线视频| 亚洲成人中文字幕在线播放| 欧美成人精品欧美一级黄| 黄片wwwwww| 亚洲不卡免费看| 日本wwww免费看| 天堂影院成人在线观看| 午夜激情久久久久久久| 亚洲人成网站在线观看播放| 免费看美女性在线毛片视频| 国产成人精品福利久久| 男女视频在线观看网站免费| 最近中文字幕2019免费版| 春色校园在线视频观看| 中文天堂在线官网| 国产精品一二三区在线看| 深夜a级毛片| 欧美极品一区二区三区四区| 七月丁香在线播放| 成人一区二区视频在线观看| 成人漫画全彩无遮挡| 精品少妇黑人巨大在线播放| 六月丁香七月| 国产精品一区二区性色av| 乱系列少妇在线播放| 亚洲精品视频女| 麻豆精品久久久久久蜜桃| 久久99蜜桃精品久久| 久久久久久久大尺度免费视频| 搡女人真爽免费视频火全软件| 久久精品国产亚洲av天美| 我的女老师完整版在线观看| 中文字幕久久专区| av在线天堂中文字幕| 一个人看视频在线观看www免费| 日韩av在线大香蕉| 精品国产露脸久久av麻豆 | 波多野结衣巨乳人妻| 国产精品精品国产色婷婷| 天天一区二区日本电影三级| 嫩草影院入口| 我的老师免费观看完整版| 免费黄色在线免费观看| 97人妻精品一区二区三区麻豆| 中文字幕免费在线视频6| 99久久精品热视频| 国产淫语在线视频| 国产精品女同一区二区软件| 成人亚洲精品一区在线观看 | 又粗又硬又长又爽又黄的视频| 成人特级av手机在线观看| 免费看av在线观看网站| 男女边摸边吃奶| 成人无遮挡网站| 99re6热这里在线精品视频| 国产国拍精品亚洲av在线观看| 尤物成人国产欧美一区二区三区| 少妇人妻一区二区三区视频| 成人av在线播放网站| 精品国产露脸久久av麻豆 | 亚洲精品乱码久久久v下载方式| 久久99蜜桃精品久久| 乱系列少妇在线播放| 免费观看av网站的网址| 亚洲欧美日韩卡通动漫| 中文资源天堂在线| 亚洲欧洲日产国产| 免费黄频网站在线观看国产| 成人国产麻豆网| 一级av片app| 国产极品天堂在线| 五月天丁香电影| 人体艺术视频欧美日本| 2021少妇久久久久久久久久久| 日韩一本色道免费dvd| 国产精品伦人一区二区| 国产精品一及| 午夜视频国产福利| 丝袜美腿在线中文| 我的老师免费观看完整版| 麻豆精品久久久久久蜜桃| 久久精品久久久久久噜噜老黄| 亚洲天堂国产精品一区在线| 精品久久国产蜜桃| 黄色配什么色好看| 久久久色成人| 亚洲欧美日韩无卡精品| 观看免费一级毛片| 亚洲av电影在线观看一区二区三区 | 黄色配什么色好看| 亚洲av免费高清在线观看| 国产精品国产三级专区第一集| 亚洲精品国产av蜜桃| 亚洲自偷自拍三级| 伦精品一区二区三区| 97热精品久久久久久| 精品人妻偷拍中文字幕| 久久久久久久国产电影| 一级片'在线观看视频| 久久亚洲国产成人精品v| 毛片一级片免费看久久久久| 91久久精品电影网| 18禁动态无遮挡网站| 亚洲自偷自拍三级| 伦精品一区二区三区| 精品久久久精品久久久| freevideosex欧美| 久久精品国产鲁丝片午夜精品| 麻豆国产97在线/欧美| 伊人久久精品亚洲午夜| 99久国产av精品国产电影| 只有这里有精品99| 亚洲天堂国产精品一区在线| 激情 狠狠 欧美| 人人妻人人澡人人爽人人夜夜 | 免费观看av网站的网址| 国产亚洲一区二区精品| 丰满人妻一区二区三区视频av| 国产又色又爽无遮挡免| 一区二区三区免费毛片| 亚洲av国产av综合av卡| 亚洲国产精品国产精品| 国产高清国产精品国产三级 | 成人高潮视频无遮挡免费网站| 欧美成人一区二区免费高清观看| 亚洲av国产av综合av卡| 精品亚洲乱码少妇综合久久| 国产视频首页在线观看| 久久久久久久久久人人人人人人| 亚洲精品成人av观看孕妇| 久久99热这里只有精品18| av专区在线播放| 欧美zozozo另类| 国产女主播在线喷水免费视频网站 | 成人毛片a级毛片在线播放| 欧美3d第一页| 五月玫瑰六月丁香| 欧美+日韩+精品| 久久国内精品自在自线图片| 深夜a级毛片| 亚洲在线观看片| 一夜夜www| 人妻夜夜爽99麻豆av| 特大巨黑吊av在线直播| 国产亚洲91精品色在线| 岛国毛片在线播放| 水蜜桃什么品种好| 国产伦精品一区二区三区视频9| 99久久人妻综合| 91av网一区二区| 亚洲av福利一区| 高清毛片免费看| 日本wwww免费看| 日日啪夜夜爽| 国产男人的电影天堂91| 免费看日本二区| 免费看a级黄色片| 亚洲精品456在线播放app| 国产一区二区在线观看日韩| 日日啪夜夜爽| 国产成年人精品一区二区| 午夜福利成人在线免费观看| 亚洲欧美成人综合另类久久久| 国产久久久一区二区三区| 99久久中文字幕三级久久日本| 中文在线观看免费www的网站| 国产成年人精品一区二区| 成人一区二区视频在线观看| 偷拍熟女少妇极品色| 亚洲成色77777| 国产免费视频播放在线视频 | 久久综合国产亚洲精品| 看十八女毛片水多多多| 欧美激情在线99| 人体艺术视频欧美日本| 亚洲四区av| 国产精品福利在线免费观看| 亚洲精品乱码久久久v下载方式| 亚州av有码| 日韩成人伦理影院| 18禁在线无遮挡免费观看视频| av在线蜜桃| 日本黄色片子视频| 五月伊人婷婷丁香| 久久久久久久大尺度免费视频| 爱豆传媒免费全集在线观看| 中文资源天堂在线| 国产高清有码在线观看视频| 免费无遮挡裸体视频| 午夜老司机福利剧场| av在线蜜桃| 美女高潮的动态| 草草在线视频免费看| 成人欧美大片| 女人十人毛片免费观看3o分钟| 亚洲欧美精品自产自拍| 狂野欧美白嫩少妇大欣赏| 亚洲精品成人久久久久久| 99热这里只有是精品50| 偷拍熟女少妇极品色| 黑人高潮一二区| 亚洲在线观看片| or卡值多少钱| 白带黄色成豆腐渣| 亚洲av免费高清在线观看| 免费高清在线观看视频在线观看| 别揉我奶头 嗯啊视频| 男女边吃奶边做爰视频| 精品酒店卫生间| 久久国内精品自在自线图片| av在线观看视频网站免费| 久久久久久久大尺度免费视频| 免费不卡的大黄色大毛片视频在线观看 | 国产熟女欧美一区二区| 国产精品一二三区在线看| 免费电影在线观看免费观看| 成年女人在线观看亚洲视频 | 成人av在线播放网站| 91aial.com中文字幕在线观看| 亚洲美女搞黄在线观看| 国产一区亚洲一区在线观看| 91精品一卡2卡3卡4卡| 欧美日韩国产mv在线观看视频 | 一个人看视频在线观看www免费| 午夜免费激情av| 街头女战士在线观看网站| 日本一本二区三区精品|