• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    歐盟項(xiàng)目ACUMEN的研究人員評(píng)價(jià)方法及啟示

    2016-05-14 02:46耿海英
    現(xiàn)代情報(bào) 2016年7期
    關(guān)鍵詞:歐盟評(píng)價(jià)方法啟示

    耿海英

    〔摘 要〕[目的/意義]研究人員評(píng)價(jià)作為科研評(píng)價(jià)的一部分在科研管理過程中具有重要意義。[方法/過程]介紹了歐盟科研人員評(píng)價(jià)標(biāo)準(zhǔn)聯(lián)合框架ACUMEN的基本情況,闡釋了該項(xiàng)目中研究人員評(píng)價(jià)體系設(shè)計(jì)的思想與模型以及具體的評(píng)價(jià)指標(biāo)和方法,重點(diǎn)分析了該評(píng)價(jià)方法的特點(diǎn)。[結(jié)果/結(jié)論] ACUMEN評(píng)價(jià)方法對(duì)我國(guó)研究人員評(píng)價(jià)實(shí)踐的啟示與思考。

    〔關(guān)鍵詞〕歐盟;ACUMEN;研究人員;評(píng)價(jià)方法;啟示

    DOI:10.3969/j.issn.1008-0821.2016.07.007

    〔中圖分類號(hào)〕G3212 〔文獻(xiàn)標(biāo)識(shí)碼〕A 〔文章編號(hào)〕1008-0821(2016)07-0034-07

    同行評(píng)議法是一種重要的研究人員評(píng)價(jià)方法,在科研評(píng)價(jià)工作中發(fā)揮著積極作用,但其評(píng)價(jià)結(jié)果的主觀性,甚至是偏見性問題也不容忽視[1]。隨著文獻(xiàn)計(jì)量學(xué)的發(fā)展,文獻(xiàn)計(jì)量學(xué)方法被引入科研評(píng)價(jià)中。發(fā)表論文數(shù)、被引次數(shù)和h指數(shù)是評(píng)價(jià)研究人員的主要文獻(xiàn)計(jì)量學(xué)指標(biāo)[2],P指數(shù)[3]、Pt指數(shù)[4]等新的綜合評(píng)價(jià)指標(biāo)也逐漸被應(yīng)用到研究人員評(píng)價(jià)中。隨著信息獲取和學(xué)術(shù)交流方式的改變,Altmetrics作為學(xué)術(shù)影響力評(píng)價(jià)方法的有效補(bǔ)充[5-6],可以更充分地了解研究人員的學(xué)術(shù)工作以及他們?cè)趯W(xué)術(shù)界和學(xué)術(shù)界之外的影響[7],但目前以理論研究為主。歐盟項(xiàng)目ACUMEN(Academic Careers Understood through Measurement and Norms,簡(jiǎn)稱ACUMEN)在參考?xì)W盟同行評(píng)議系統(tǒng)基礎(chǔ)上,提出一種包含文獻(xiàn)計(jì)量學(xué)指標(biāo)和Altmetrics指標(biāo)的研究人員綜合評(píng)價(jià)體系。本文以期通過對(duì)ACUMEN評(píng)價(jià)方法的分析,為我國(guó)研究人員評(píng)價(jià)實(shí)踐提供參考。

    1 ACUMEN項(xiàng)目基本情況

    ACUMEN是歐盟的一個(gè)研究人員評(píng)價(jià)標(biāo)準(zhǔn)聯(lián)合研究計(jì)劃,于2010年啟動(dòng),2014年完成,是歐盟第7框架計(jì)劃(FP7)科研體系改革的重要組成部分。ACUMEN由荷蘭萊頓大學(xué)、以色列巴伊蘭大學(xué)、西班牙最高科研理事會(huì)、英國(guó)胡弗漢頓大學(xué)、愛沙尼亞研究委員會(huì)、德國(guó)洪森堡大學(xué)、德國(guó)維爾道應(yīng)用技術(shù)大學(xué)、丹麥哥本哈根大學(xué)皇家圖書情報(bào)學(xué)院和荷蘭皇家科學(xué)院數(shù)字人文組(eHumanities Group-KNAW),共計(jì)9個(gè)研究機(jī)構(gòu)聯(lián)合完成,并由萊頓大學(xué)科學(xué)技術(shù)研究中心(Center for Science and Technology Studies)主任——Paul Wouters擔(dān)任首席研究員[8]。

    ACUMEN項(xiàng)目組指出,目前研究人員評(píng)價(jià)實(shí)踐中存在以下不足之處[9]:(1)目前的研究人員評(píng)價(jià)標(biāo)準(zhǔn)以單學(xué)科評(píng)價(jià)為主,能在一定程度上反映學(xué)術(shù)成果質(zhì)量,但不夠全面。例如,期刊的影響因子和被引次數(shù)等文獻(xiàn)計(jì)量指標(biāo)可在一定程度上反映一篇論文的學(xué)術(shù)質(zhì)量,但卻不能反映出這篇論文與社會(huì)經(jīng)濟(jì)發(fā)展之間的關(guān)系。(2)隨著研究人員規(guī)模的增加,學(xué)術(shù)研究體系的日益復(fù)雜,已有的評(píng)價(jià)方法,如同行評(píng)議法的局限性逐漸顯現(xiàn)。(3)原有的評(píng)價(jià)體系不能評(píng)價(jià)新的知識(shí)創(chuàng)新模式和學(xué)術(shù)交流方式,例如研究人員間以網(wǎng)絡(luò)為媒介進(jìn)行的合作和交流。(4)有些文獻(xiàn)計(jì)量學(xué)指標(biāo)是宏觀、中觀層面的測(cè)度指標(biāo),并不適合微觀層面,如研究人員個(gè)體層面的測(cè)度。(5)原有的評(píng)價(jià)指標(biāo)未涉及性別差異,但由于社會(huì)分工的存在,性別差異帶來的影響確實(shí)存在。

    ACUMEN項(xiàng)目組為解決以上評(píng)價(jià)實(shí)踐中的問題和不足,將項(xiàng)目任務(wù)分為6個(gè)子項(xiàng)目[9]:(1)分析比較了歐洲當(dāng)前的同行評(píng)審系統(tǒng),分析了當(dāng)前評(píng)價(jià)和同行評(píng)審實(shí)踐中的經(jīng)驗(yàn)和觀點(diǎn),深入探索新的個(gè)體研究人員評(píng)價(jià)方法。(2)重點(diǎn)關(guān)注研究人員的網(wǎng)絡(luò)顯示度,開發(fā)了一系列基于網(wǎng)絡(luò)數(shù)據(jù)的評(píng)價(jià)指標(biāo)和工具。(3)研究了學(xué)術(shù)研究如何在網(wǎng)絡(luò)上討論,重點(diǎn)關(guān)注社交媒體平臺(tái)。(4)分析了評(píng)價(jià)指標(biāo)、定性標(biāo)準(zhǔn)和評(píng)價(jià)過程對(duì)女性研究人員職業(yè)發(fā)展的影響。(5)評(píng)估了現(xiàn)有績(jī)效評(píng)價(jià)中的科學(xué)計(jì)量指標(biāo),從已有指標(biāo)中選擇部分指標(biāo),同時(shí)還考慮了指標(biāo)可能的負(fù)面影響,分析了如何使用好指標(biāo)來測(cè)量生產(chǎn)力、影響、合作和多樣性。(6)匯集以上各子項(xiàng)目信息,在以上研究基礎(chǔ)上設(shè)計(jì)出ACUMEN 評(píng)價(jià)指標(biāo)體系,并制定了評(píng)價(jià)實(shí)踐指南。

    ACUMEN設(shè)計(jì)出的研究人員評(píng)價(jià)指標(biāo)體系包含了研究人員學(xué)術(shù)生涯的3個(gè)主要方面(專長(zhǎng)、產(chǎn)出和影響力)。該評(píng)價(jià)指標(biāo)體系能夠凸顯研究人員的成績(jī),更好地展示每一個(gè)研究人員,還可作為傳統(tǒng)個(gè)人簡(jiǎn)歷的補(bǔ)充。

    2 ACUMEN評(píng)價(jià)方法

    21 評(píng)價(jià)思想與模型

    傳統(tǒng)的評(píng)價(jià)過程中,科研績(jī)效評(píng)價(jià)通常是機(jī)構(gòu)、團(tuán)隊(duì)或科研人員產(chǎn)出的直接測(cè)量,研究人員在評(píng)價(jià)過程中僅僅是評(píng)價(jià)對(duì)象而不是重要參與者。評(píng)估者的視野往往局限于特定的評(píng)價(jià),不能對(duì)科研人員在科學(xué)或?qū)W術(shù)系統(tǒng)更高層面的影響力進(jìn)行全面評(píng)價(jià),評(píng)價(jià)過程又往往保密。ACUMEN項(xiàng)目組擯棄以上做法,提出全新的評(píng)價(jià)視角。ACUMEN項(xiàng)目組認(rèn)為評(píng)價(jià)是評(píng)估者與被評(píng)者之間復(fù)雜的互動(dòng)過程,而不是簡(jiǎn)單的研究人員的績(jī)效測(cè)量,評(píng)估者與被評(píng)者之間可以就選擇合適的評(píng)價(jià)標(biāo)準(zhǔn)和評(píng)價(jià)材料進(jìn)行交流;應(yīng)該考慮評(píng)價(jià)系統(tǒng)對(duì)科研人員職業(yè)發(fā)展的影響。同時(shí)還分析比較了不同國(guó)家、不同學(xué)科和不同機(jī)構(gòu)已有的評(píng)價(jià)實(shí)踐,以及這些評(píng)價(jià)實(shí)踐對(duì)科研人員職業(yè)發(fā)展的影響[10]。基于以上思想,ACUMEN項(xiàng)目組提出讓科研人員在評(píng)價(jià)實(shí)踐中發(fā)出自己聲音的評(píng)價(jià)模式。其評(píng)價(jià)模型以研究人員陳述為中心,輻射以專長(zhǎng)、產(chǎn)出和影響力。評(píng)價(jià)模型見圖1。ACUMEN項(xiàng)目組在此模型基礎(chǔ)上設(shè)計(jì)出了一套評(píng)價(jià)工具,即ACUMEN研究人員評(píng)價(jià)指標(biāo)體系。

    22 ACUMEN研究人員評(píng)價(jià)指標(biāo)體系

    ACUMEN研究人員評(píng)價(jià)指標(biāo)體系就是ACUMEN項(xiàng)目組在其評(píng)價(jià)思想和評(píng)價(jià)模型基礎(chǔ)上設(shè)計(jì)出的一套評(píng)價(jià)工具。該指標(biāo)體系包含科研人員3個(gè)方面的主要信息:專長(zhǎng)、產(chǎn)出和影響力。具體有4個(gè)文件組成:陳述與學(xué)術(shù)年齡計(jì)算、專長(zhǎng)、產(chǎn)出和影響力[11]。每一個(gè)研究人員都要填寫這4個(gè)文件,每一個(gè)文件里都包含了研究人員職業(yè)和成績(jī)方面的材料。

    221 文件1——陳述與學(xué)術(shù)年齡計(jì)算

    陳述:學(xué)者可以在此部分闡釋本人作為研究人員的價(jià)值,盡可能輔以證據(jù)。學(xué)者可以陳述本人的主要貢獻(xiàn),比如是在發(fā)表文章方面,還是學(xué)生教育方面抑或是媒體方面,類似于國(guó)內(nèi)人才評(píng)價(jià)(如職稱評(píng)審等)中的個(gè)人主要業(yè)績(jī)的自述部分。

    學(xué)術(shù)年齡:學(xué)術(shù)年齡計(jì)算方法及詳細(xì)說明見表1。

    表1 學(xué)術(shù)年齡計(jì)算方法及說明

    學(xué)術(shù)年齡計(jì)算 說 明

    博士起始日

    博士答辯日

    博士答辯完后養(yǎng)育孩子數(shù)和特殊情況

    學(xué)術(shù)年齡=博士答辯后全職工作年限-養(yǎng)育孩子數(shù)-特殊情況(其中計(jì)算單位都是年)?!肌?學(xué)術(shù)年齡有助于評(píng)委準(zhǔn)確評(píng)判

    其中養(yǎng)育孩子數(shù),如果一個(gè)孩子出生后由本人獨(dú)自撫養(yǎng),則計(jì)數(shù)為1,如果由夫妻兩人撫養(yǎng),則計(jì)數(shù)為05。特殊情況則指由于生病等其他原因而沒有從事學(xué)術(shù)工作的時(shí)間。

    “學(xué)術(shù)年齡”主要是考慮到研究人員真正從事學(xué)術(shù)活動(dòng)的時(shí)間,尤其是女性研究人員。不考慮性別年齡因素而直接對(duì)評(píng)價(jià)結(jié)果進(jìn)行比較顯然有失公允。ACUMEN項(xiàng)目組的調(diào)查結(jié)果證實(shí)了傳統(tǒng)的性別模式,即男性出版物產(chǎn)出數(shù)量平均比女性要高,女性在合著中的地位不能平等地體現(xiàn)出來[12]。因此,ACUMEN項(xiàng)目組在評(píng)價(jià)體系中充分考慮了性別因素。同時(shí),一些研究人員由于撫養(yǎng)孩子、生病或其他原因從事科研活動(dòng)的實(shí)際時(shí)間與工作年限會(huì)有所不同,因此,ACUMEN項(xiàng)目組提出了學(xué)術(shù)年齡的概念。

    222 文件2——專長(zhǎng)

    研究人員可以在此部分闡述自己在學(xué)術(shù)、教學(xué)、技術(shù)、交流、組織等方面的能力,同時(shí)可以輔以定量數(shù)據(jù)或者具體事例加以佐證。具體指標(biāo)和說明詳見表2。

    此部分多是研究人員通過示例或描述來證明自己各方面的專長(zhǎng)或技能,其中很多指標(biāo)在國(guó)內(nèi)研究人員評(píng)價(jià)時(shí)也會(huì)用到,如授課時(shí)間、做報(bào)告、論文獲獎(jiǎng)、接受媒體采訪、行政職務(wù)等。

    223 文件3——產(chǎn)出

    研究人員可以在此部分展示其在學(xué)術(shù)、教學(xué)等方面的成果產(chǎn)出。此部分成果產(chǎn)出不僅包括傳統(tǒng)的期刊論文、圖書、專利等產(chǎn)出,也包括數(shù)據(jù)集、軟件工具等,還包括在社交媒體等網(wǎng)站上的貢獻(xiàn)等,需要有定量數(shù)據(jù)和具體事例加以佐證。具體指標(biāo)和說明詳見表3。

    224 文件4——影響力

    研究人員可以在此部分展示其在科學(xué)或?qū)W術(shù)、社會(huì)、經(jīng)濟(jì)、教學(xué)等方面的影響力,要有定量數(shù)據(jù)或者具體事例加以佐證。具體指標(biāo)和說明詳見表4。

    文件3和文件4則是目前研究人員評(píng)價(jià)中經(jīng)常用到的兩項(xiàng)內(nèi)容,只不過評(píng)價(jià)內(nèi)容更加細(xì)化和全面,而且增加了新型媒體環(huán)境下的產(chǎn)出和影響。如今,學(xué)者可以通過網(wǎng)絡(luò)這種非正式途徑進(jìn)行學(xué)術(shù)交流,如通過個(gè)人網(wǎng)站、研究小組網(wǎng)站、機(jī)構(gòu)庫、預(yù)印本、研究博客或社交網(wǎng)站。研究人員還可以通過添加標(biāo)簽和評(píng)論,與網(wǎng)絡(luò)上他人的出版物進(jìn)行互動(dòng)和反饋[13]。因此,網(wǎng)絡(luò)指標(biāo)和Altmetrics指標(biāo)可以作為傳統(tǒng)影響力指標(biāo)的補(bǔ)充,為測(cè)量學(xué)者和出版物影響力提供了一種新方式[14-15]。ACUMNE主要在“產(chǎn)出”和“影響力”評(píng)價(jià)方面采用了網(wǎng)絡(luò)計(jì)量指標(biāo)和Altmetrics指標(biāo)。

    文件4中引入學(xué)術(shù)搜索引擎數(shù)據(jù)。科研評(píng)價(jià)中常用的數(shù)據(jù)源就是Web of Science和Scopus。Web of Science數(shù)據(jù)庫更傾向于收錄英文語種出版物,而且收錄期刊文獻(xiàn)中社會(huì)科學(xué)中的部分學(xué)科和人文藝術(shù)類覆蓋不足[16]。Scopus數(shù)據(jù)庫系統(tǒng)覆蓋范圍起始于1995年,收錄年限較短,不適于評(píng)價(jià)青年學(xué)者。因此,ACUMEN項(xiàng)目組充分考慮了這些數(shù)據(jù)源的優(yōu)缺點(diǎn),使用這些傳統(tǒng)引文數(shù)據(jù)庫的同時(shí),引入了Google數(shù)據(jù)作為補(bǔ)充,使用了Google Scholar和Google Books引文指標(biāo)以及基于Google Scholar的h指數(shù)。

    文件3和文件4中的指標(biāo)比較全面,但同時(shí)也存在某些指標(biāo)數(shù)據(jù)不易獲?。ㄈ缟虡I(yè)活動(dòng)收入),某些指標(biāo)數(shù)據(jù)可能不真實(shí)(如Altmetrics指標(biāo)數(shù)據(jù))等問題,因此具體使用時(shí)應(yīng)根據(jù)評(píng)價(jià)目的、評(píng)價(jià)對(duì)象、數(shù)據(jù)可獲取性等因素對(duì)指標(biāo)進(jìn)行有選擇性地刪減。

    3 ACUMEN評(píng)價(jià)方法特點(diǎn)

    ACUMEN評(píng)價(jià)方法作為歐盟項(xiàng)目的一個(gè)研究成果,歷經(jīng)5年,其研制過程也是眾多學(xué)者潛心研究的過程。透過其研制過程及各階段研究成果,可發(fā)現(xiàn)該評(píng)價(jià)方法具有以下特點(diǎn)。

    31 研究人員在評(píng)價(jià)過程中扮演著重要的角色

    ACUMEN項(xiàng)目組一改傳統(tǒng)評(píng)價(jià)過程中研究人員僅僅是評(píng)價(jià)對(duì)象的做法,而是讓研究人員在評(píng)價(jià)過程中發(fā)出自己的聲音,具體表現(xiàn)在:(1)研究人員可以在文件1的“陳述”部分以“故事”的形式講述自己所做的主要學(xué)術(shù)成績(jī)、貢獻(xiàn)及社會(huì)經(jīng)濟(jì)價(jià)值等;(2)研究人員可以在其他指標(biāo)部分輔以說明性或證據(jù)式的描述。因此,該方法中研究人員通過示例或描述來證明自己的成績(jī)或技能,而不是僅僅列出成果和活動(dòng)清單。通過研究人員的參與,有助于評(píng)估者了解隱藏于數(shù)字背后的東西。

    32 多維度、多角度綜合評(píng)價(jià)研究人員

    研究人員除了從事科研活動(dòng)有直接的科研產(chǎn)出如論文、圖書等,還有其他職責(zé)或活動(dòng),如教學(xué)、準(zhǔn)備教學(xué)材料,也會(huì)接受媒體采訪,也會(huì)參加企業(yè)活動(dòng)或者參加其他同行評(píng)議活動(dòng)。ACUMEN項(xiàng)目組從科研活動(dòng)的社會(huì)經(jīng)濟(jì)功能出發(fā),從研究人員的專長(zhǎng)、成果產(chǎn)出及影響力3個(gè)維度綜合衡量。其中每一個(gè)維度里又包含多方面,而不僅僅是學(xué)術(shù),如影響力就包括學(xué)術(shù)、社會(huì)、經(jīng)濟(jì)、教學(xué)等多方面。指標(biāo)選取方面既有諸如引文數(shù)這樣的定量指標(biāo),也有獲獎(jiǎng)、受邀講話等之類的定性指標(biāo)。因此,該方法試圖全方位、多視角地反映出研究人員學(xué)術(shù)、社會(huì)、經(jīng)濟(jì)等方面的綜合價(jià)值。

    33 評(píng)價(jià)指標(biāo)體系的靈活性

    ACUMEN研究人員評(píng)價(jià)指標(biāo)體系可謂是一個(gè)針對(duì)研究人員的文件包,但是不同學(xué)科領(lǐng)域研究人員從事的活動(dòng)相差巨大,研究形式各異。人文社會(huì)科學(xué)領(lǐng)域圖書扮演著重要角色,而工程學(xué)領(lǐng)域和應(yīng)用科學(xué)領(lǐng)域會(huì)議論文和技術(shù)參考作品起重要作用[16-17]。如果每位研究人員都填寫統(tǒng)一的文檔表格,則不僅浪費(fèi)時(shí)間精力,也可能不適用。因此,ACUMEN項(xiàng)目組建議不同學(xué)科、不同領(lǐng)域、不同目的的評(píng)估者可以依據(jù)本身的特點(diǎn),對(duì)評(píng)價(jià)指標(biāo)體系進(jìn)行不同程度有針對(duì)性的刪減,僅保留能體現(xiàn)評(píng)價(jià)需求的重要指標(biāo),以減少研究人員的填寫壓力,適應(yīng)具體的評(píng)價(jià)需求。

    34 有相應(yīng)的指南用以指導(dǎo)評(píng)價(jià)

    ACUMEN項(xiàng)目組在設(shè)計(jì)評(píng)價(jià)指標(biāo)體系的同時(shí),創(chuàng)建了評(píng)價(jià)指南,指南里不僅解釋了各種數(shù)據(jù)源的優(yōu)缺點(diǎn),還解釋了各種定量方法和指標(biāo),指出各種方法和指標(biāo)的優(yōu)勢(shì)及不足,指導(dǎo)評(píng)估者根據(jù)其評(píng)價(jià)目的、所在學(xué)科領(lǐng)域選擇適用的評(píng)價(jià)指標(biāo),并通過具體評(píng)價(jià)樣例詳細(xì)說明如何利用此評(píng)價(jià)方法開展評(píng)價(jià)。該指南不僅有利于評(píng)估者和研究人員深入了解此套評(píng)價(jià)方法,有助于評(píng)估者開展評(píng)價(jià),也有利于研究人員參與到評(píng)價(jià)過程。

    4 啟 示

    ACUMEN作為歐盟第7框架計(jì)劃的一個(gè)重要部分,其參與成員機(jī)構(gòu)多達(dá)9個(gè),其中包括多個(gè)從事計(jì)量學(xué)和科學(xué)評(píng)價(jià)的重要研究機(jī)構(gòu)。因此,作為其研究成果的ACUMEN研究人員評(píng)價(jià)方法也體現(xiàn)了歐盟研究人員評(píng)價(jià)發(fā)展的最新趨勢(shì)。ACUMEN評(píng)價(jià)方法對(duì)于我國(guó)研究人員評(píng)價(jià),甚至于科研評(píng)價(jià)實(shí)踐具有一定的啟發(fā)意義。

    41 擴(kuò)展研究人員評(píng)價(jià)內(nèi)容、構(gòu)建多維度的評(píng)價(jià)體系 評(píng)價(jià)是指從人類活動(dòng)的行為中發(fā)現(xiàn)行為的意義與價(jià)值,揭示價(jià)值內(nèi)涵的一種方法與手段,實(shí)質(zhì)是人把握被評(píng)價(jià)對(duì)象對(duì)人類社會(huì)發(fā)展、經(jīng)濟(jì)發(fā)展以及人類生存環(huán)境的改善等方面產(chǎn)生的意義與價(jià)值這樣一種觀念性活動(dòng)[18]。由此可推,研究人員的評(píng)價(jià)就是對(duì)研究人員從事學(xué)術(shù)活動(dòng)對(duì)人類社會(huì)發(fā)展、經(jīng)濟(jì)發(fā)展以及人類生存環(huán)境的改善等方面所產(chǎn)生的意義和價(jià)值做出一種觀念性的判斷。因此,研究人員的評(píng)價(jià)體系中應(yīng)納入社會(huì)價(jià)值或公共價(jià)值、經(jīng)濟(jì)價(jià)值之類的考量指標(biāo)。作為科研活動(dòng)主體的研究人員并不是僅僅從事發(fā)表論文、出版圖書等直接的科研活動(dòng),也有其他職責(zé)和活動(dòng),如教學(xué)、接受媒體采訪、參加企業(yè)活動(dòng)或者參與其他同行評(píng)議活動(dòng)。這些活動(dòng)都是重要的評(píng)價(jià)內(nèi)容,因此,簡(jiǎn)單以論文、專利、項(xiàng)目和經(jīng)費(fèi)作為主要評(píng)價(jià)內(nèi)容的學(xué)術(shù)評(píng)價(jià)體系已不適用,需要構(gòu)建全面衡量研究人員的多維度評(píng)價(jià)體系,除評(píng)價(jià)研究人員的學(xué)術(shù)成績(jī)外,還要測(cè)度研究人員教學(xué)、技術(shù)、經(jīng)濟(jì)、社會(huì)和文化方面的影響或價(jià)值。

    42 引入網(wǎng)絡(luò)計(jì)量學(xué)和Altemetrics

    隨著網(wǎng)絡(luò)在社會(huì)生活各方面的滲透和普及、Web20技術(shù)的推廣,各種網(wǎng)絡(luò)平臺(tái)與社交媒體平臺(tái)正在改變著研究人員的科研模式和學(xué)術(shù)交流模式,以及科研成果的傳播與擴(kuò)散方式。傳統(tǒng)文獻(xiàn)數(shù)據(jù)庫已經(jīng)無法滿足目前信息技術(shù)環(huán)境下的科學(xué)評(píng)價(jià),網(wǎng)絡(luò)計(jì)量指標(biāo)與Altemetrics指標(biāo)的加入成為必然。網(wǎng)絡(luò)計(jì)量指標(biāo)在測(cè)度某些學(xué)術(shù)影響力(如學(xué)術(shù)成果的網(wǎng)絡(luò)影響力)或教學(xué)影響力(如網(wǎng)絡(luò)課件的利用情況)時(shí)具有優(yōu)勢(shì),而Altemetrics在測(cè)度社會(huì)影響力時(shí)更具優(yōu)勢(shì)。

    43 分類評(píng)價(jià)、分學(xué)科評(píng)價(jià)

    分類、分學(xué)科是評(píng)價(jià)工作的基本原則。實(shí)際上,即使分類評(píng)價(jià),同一類里,如基礎(chǔ)研究中不同學(xué)科也存在較大差異。評(píng)價(jià)中的很多指標(biāo)(如引用)學(xué)科差異明顯,因此,在考慮學(xué)科差異性基礎(chǔ)上,充分考慮學(xué)科特點(diǎn),有選擇性地制定適用于本學(xué)科的評(píng)價(jià)標(biāo)準(zhǔn),避免“一刀切”現(xiàn)象。2013年底,教育部在《教育部關(guān)于深化高等學(xué)??萍荚u(píng)價(jià)改革的意見》中也曾指出“實(shí)施分類評(píng)價(jià)”,“按照基礎(chǔ)研究、應(yīng)用研究、技術(shù)轉(zhuǎn)移、成果轉(zhuǎn)化等不同工作的特點(diǎn)”建立科學(xué)合理、各有側(cè)重的評(píng)價(jià)標(biāo)準(zhǔn)[19]。

    44 鼓勵(lì)研究人員參與評(píng)價(jià)

    目前我國(guó)科研評(píng)價(jià)過程中,研究人員作為評(píng)價(jià)客體一直處于被評(píng)價(jià)的位置,幾乎不參與到評(píng)價(jià)過程。其實(shí),評(píng)價(jià)與被評(píng)價(jià)應(yīng)該是一個(gè)互動(dòng)的過程,評(píng)估者可能會(huì)對(duì)學(xué)科科學(xué)活動(dòng)缺乏深入了解,在評(píng)價(jià)標(biāo)準(zhǔn)制定的過程中通過與研究人員的溝通交流能夠選取更適用于本學(xué)科、更易被研究人員接受的指標(biāo),這樣也促使研究人員在評(píng)價(jià)之初就對(duì)評(píng)價(jià)方法和指標(biāo)有個(gè)感性認(rèn)識(shí),減少評(píng)價(jià)過程中的抵觸情緒。同時(shí),研究人員參與評(píng)價(jià)還可通過提供定量數(shù)據(jù)的同時(shí)輔以描述性的文字作為定量數(shù)據(jù)的證據(jù)支撐,為評(píng)估者提供參考。

    45 公開評(píng)價(jià)指標(biāo)體系并制定使用指南

    我國(guó)研究人員評(píng)價(jià)體系多是由科研管理者制定,研究人員對(duì)指標(biāo)體系雖有一定了解,但不并深入,很多科研人員不清楚指標(biāo)的具體含義,因此出現(xiàn)了研究人員要求檢索機(jī)構(gòu)檢索其論文“影響因子”的現(xiàn)象。科研管理部門應(yīng)在制定好評(píng)價(jià)指標(biāo)體系后,輔以使用指南,用以解釋需要的數(shù)據(jù)源、指標(biāo)含義、指標(biāo)的使用范圍等,并將這些材料公布于眾,真正做到公開、公平、公正地評(píng)價(jià),讓研究人員了解具體評(píng)價(jià)方法的同時(shí)也能起到研究人員自評(píng)的效果,促使最后評(píng)價(jià)結(jié)果的可靠性。

    參考文獻(xiàn)

    [1]Lee C J,Sugimoto C R,Zhang G,et al.Bias in peer review[J].Journal of the American Society for Information Science and Technology,2013,64(1):2-17.

    [2]王煉.科學(xué)計(jì)量學(xué)應(yīng)用于科研人員績(jī)效評(píng)價(jià)的挑戰(zhàn)[J].科學(xué)學(xué)與科學(xué)技術(shù)管理,2007,28(4):165-168.

    [3]王志軍,鄭德俊.p指數(shù)運(yùn)用于人才評(píng)價(jià)的有效性實(shí)證研究[J].圖書情報(bào)工作,2012,56(14):93-97.

    [4]韓毅,夏慧.時(shí)間因素視角下科研人員評(píng)價(jià)的Pt指數(shù)研究[J].中國(guó)圖書館學(xué)報(bào),2015,(6):73-85.

    [5]Bornmann L.Do altmetrics point to the broader impact of research?An overview of benefits and disadvantages of altmetrics[J].Journal of Informetrics,2014,8(4):895-903.

    [6]Moed H F,Halevi G.Multidimensional assessment of scholarly research impact[J].Journal of the Association for Information Science and Technology,2015,66(10):1988-2002.

    [7]Konkiel S,Scherer D.New opportunities for repositories in the age of altmetrics[J].Bulletin of the American Society for Information Science and Technology,2013,39(4):22-26.

    [8]ACUMEN about[EB/OL].http:∥research-acumen.eu/about,2015-01-25.

    [9]ACUMEN Report Summary-Periodic Report Summary 2[EB/OL].http:∥cordis.europa.eu/result/rcn/157417en.html,2015-01-25.

    [10]ACUMEN Report Summary-Final Report Summary[EB/OL].http:∥cordis.europa.eu/result/rcn/157423en.html,2015-01-25.

    [11]ACUMEN Portfolio[EB/OL].http:∥research-acumen.eu/wp-content/uploads/BlankAcumenPortfolio.v13x.pdf,2015-01-25.

    [12]Van der Weijden I,Calero Medina C.Gender,Academic Position and Scientific Publishing:a bibliometric analysis of the oeuvres of researchers:International Conference on Science and Technology Indicators,Leiden,2014[C].

    [13]Neylon C,Wu S.Article-Level Metrics and the Evolution of Scientific Impact[J].PLoS Biol,2009,7(11):e1000242.

    [14]Bar-Ilan J,Haustein S,Peters I,et al.Beyond citations:Scholars visibility on the social Web:the 17th International Conference on Science and Technology Indicators,Montreal,Canada,2012[C].

    [15]Kousha K,Thelwall M.Web Impact Metrics for Research Assessment[M].Cronin B,Sugimoto C R.Beyond Bibliometrics:Harnessing Multidimensional Indicators of Scholarly Impact.MIT Press,2014.

    [16]Moed H F.Citation Analysis in Research Evaluation[M].Netherland:Springer Netherlands,2005:135.

    [17]Moed H F.Citation Analysis in Research Evaluation[M].Netherland:Springer Netherlands,2005:133-134.

    [18]潘云濤.科技評(píng)價(jià)理論、方法及實(shí)證[G].北京:科學(xué)技術(shù)文獻(xiàn)出版社,2008:1.

    [19]教育部關(guān)于深化高等學(xué)??萍荚u(píng)價(jià)改革的意見[EB/OL].http:∥www.gov.cn/gzdt/2013-12/20/content2551954.htm,2015-01-25.

    (本文責(zé)任編輯:郭沫含)

    猜你喜歡
    歐盟評(píng)價(jià)方法啟示
    歐盟鋼材反傾銷對(duì)酒鋼(集團(tuán))公司出口影響的調(diào)查
    探究反傾銷措施中的價(jià)格承諾
    國(guó)外跨境電子商務(wù)稅收發(fā)展經(jīng)驗(yàn)對(duì)我國(guó)的啟示
    英國(guó)退出歐盟對(duì)市場(chǎng)的沖擊效應(yīng)研究
    无限看片的www在线观看| 国产在线一区二区三区精| 国产高清videossex| 久久久久国产一级毛片高清牌| 性少妇av在线| 久久性视频一级片| 男的添女的下面高潮视频| 精品国产乱码久久久久久男人| 高清视频免费观看一区二区| 亚洲精品一二三| 日本欧美视频一区| 国产一级毛片在线| 蜜桃国产av成人99| 麻豆乱淫一区二区| 中文乱码字字幕精品一区二区三区| 女人爽到高潮嗷嗷叫在线视频| 亚洲成人手机| 一区二区三区四区激情视频| 黄色a级毛片大全视频| 久久影院123| 国产精品免费大片| 国产精品欧美亚洲77777| 少妇的丰满在线观看| 桃花免费在线播放| 精品久久蜜臀av无| 国产一区亚洲一区在线观看| 18禁黄网站禁片午夜丰满| 一区在线观看完整版| 波多野结衣一区麻豆| 香蕉国产在线看| 只有这里有精品99| 亚洲少妇的诱惑av| 国产福利在线免费观看视频| 自线自在国产av| 男女高潮啪啪啪动态图| 国产1区2区3区精品| 一级片'在线观看视频| 成年女人毛片免费观看观看9 | 久久精品国产亚洲av涩爱| 国产91精品成人一区二区三区 | 国产精品一区二区免费欧美 | 丁香六月欧美| 91精品国产国语对白视频| 少妇猛男粗大的猛烈进出视频| 精品卡一卡二卡四卡免费| 国产99久久九九免费精品| 亚洲av电影在线观看一区二区三区| 50天的宝宝边吃奶边哭怎么回事| 我的亚洲天堂| 91老司机精品| 脱女人内裤的视频| 我的亚洲天堂| 精品高清国产在线一区| 91九色精品人成在线观看| 亚洲欧美清纯卡通| 一区二区三区乱码不卡18| 王馨瑶露胸无遮挡在线观看| 亚洲欧美一区二区三区久久| 最近手机中文字幕大全| 欧美国产精品va在线观看不卡| 国产片特级美女逼逼视频| 日韩 亚洲 欧美在线| 欧美国产精品va在线观看不卡| 亚洲午夜精品一区,二区,三区| a 毛片基地| 亚洲欧美中文字幕日韩二区| 少妇 在线观看| 亚洲午夜精品一区,二区,三区| 精品福利观看| 国产亚洲av高清不卡| 激情视频va一区二区三区| 99热全是精品| 亚洲精品国产区一区二| 丝瓜视频免费看黄片| 午夜免费成人在线视频| 亚洲av在线观看美女高潮| 国产野战对白在线观看| 精品亚洲乱码少妇综合久久| 欧美av亚洲av综合av国产av| 国产在线观看jvid| 欧美精品高潮呻吟av久久| av视频免费观看在线观看| 深夜精品福利| 人妻人人澡人人爽人人| 国产人伦9x9x在线观看| 丁香六月欧美| 在线 av 中文字幕| 国产日韩欧美视频二区| 婷婷成人精品国产| 91字幕亚洲| 丝袜喷水一区| 考比视频在线观看| 看免费成人av毛片| 欧美日韩综合久久久久久| 母亲3免费完整高清在线观看| 久久性视频一级片| 最新在线观看一区二区三区 | 免费在线观看视频国产中文字幕亚洲 | 午夜福利乱码中文字幕| 欧美黄色片欧美黄色片| 人人妻人人澡人人爽人人夜夜| 精品免费久久久久久久清纯 | 中国美女看黄片| 青草久久国产| 日韩制服骚丝袜av| 婷婷丁香在线五月| 中文字幕最新亚洲高清| 精品高清国产在线一区| 亚洲自偷自拍图片 自拍| 日韩一区二区三区影片| 少妇粗大呻吟视频| 久久精品国产a三级三级三级| 蜜桃在线观看..| www.av在线官网国产| 黑丝袜美女国产一区| 男的添女的下面高潮视频| 国产一区二区三区av在线| 亚洲欧美成人综合另类久久久| 大片电影免费在线观看免费| 黄色a级毛片大全视频| av电影中文网址| 黄网站色视频无遮挡免费观看| 老熟女久久久| 日韩精品免费视频一区二区三区| 在线精品无人区一区二区三| 国产成人精品在线电影| 精品福利永久在线观看| 亚洲熟女精品中文字幕| 各种免费的搞黄视频| 欧美少妇被猛烈插入视频| 久久国产亚洲av麻豆专区| 欧美 亚洲 国产 日韩一| 亚洲av综合色区一区| tube8黄色片| 亚洲成av片中文字幕在线观看| 少妇裸体淫交视频免费看高清 | 日韩人妻精品一区2区三区| 久久99精品国语久久久| 国产成人91sexporn| 美女扒开内裤让男人捅视频| 国产精品一区二区免费欧美 | 亚洲中文日韩欧美视频| 亚洲精品日本国产第一区| 国产精品一二三区在线看| 亚洲专区中文字幕在线| 男女无遮挡免费网站观看| 高清视频免费观看一区二区| 成人亚洲精品一区在线观看| 99国产精品一区二区蜜桃av | 亚洲人成电影观看| 女人精品久久久久毛片| 久久久精品94久久精品| 日日爽夜夜爽网站| 精品福利观看| 精品亚洲成a人片在线观看| 欧美激情 高清一区二区三区| 国产欧美亚洲国产| 亚洲欧美精品自产自拍| 亚洲av国产av综合av卡| bbb黄色大片| 久久久精品94久久精品| 99久久99久久久精品蜜桃| 亚洲专区国产一区二区| 婷婷成人精品国产| 国产成人系列免费观看| 中文字幕人妻丝袜一区二区| 满18在线观看网站| 亚洲一卡2卡3卡4卡5卡精品中文| 视频区图区小说| 日韩大码丰满熟妇| 爱豆传媒免费全集在线观看| 亚洲成人手机| 黄网站色视频无遮挡免费观看| 丝袜喷水一区| 黄色一级大片看看| a级毛片在线看网站| 99热网站在线观看| 国产精品一区二区免费欧美 | 日韩免费高清中文字幕av| 欧美日韩黄片免| 亚洲精品在线美女| 欧美成人午夜精品| 极品少妇高潮喷水抽搐| 国产一区二区激情短视频 | 天天操日日干夜夜撸| 在线 av 中文字幕| 亚洲一区二区三区欧美精品| 又大又黄又爽视频免费| 欧美国产精品一级二级三级| 99久久99久久久精品蜜桃| 中文字幕制服av| 国产伦理片在线播放av一区| 天天躁夜夜躁狠狠久久av| 色婷婷av一区二区三区视频| 丁香六月欧美| 999精品在线视频| 久久狼人影院| 免费高清在线观看日韩| 亚洲美女黄色视频免费看| 男女边吃奶边做爰视频| 亚洲午夜精品一区,二区,三区| 国产成人系列免费观看| 免费观看av网站的网址| 欧美亚洲 丝袜 人妻 在线| www.av在线官网国产| 日韩伦理黄色片| 国产一区二区 视频在线| 秋霞在线观看毛片| 亚洲,欧美,日韩| cao死你这个sao货| 久久国产精品人妻蜜桃| 成人国产一区最新在线观看 | 欧美精品一区二区大全| 久久久久精品国产欧美久久久 | 一区二区三区乱码不卡18| 极品少妇高潮喷水抽搐| 中文字幕另类日韩欧美亚洲嫩草| 女人精品久久久久毛片| 亚洲自偷自拍图片 自拍| 国产又爽黄色视频| 大话2 男鬼变身卡| 国产男人的电影天堂91| a 毛片基地| 免费看不卡的av| 一区二区三区精品91| 久久热在线av| 99热全是精品| www.999成人在线观看| 欧美日韩一级在线毛片| 国产成人精品久久二区二区免费| 亚洲精品一区蜜桃| 免费观看人在逋| 777米奇影视久久| 国产视频一区二区在线看| 欧美老熟妇乱子伦牲交| 国产黄频视频在线观看| 亚洲欧美日韩高清在线视频 | 久久热在线av| 老司机靠b影院| 捣出白浆h1v1| 18禁黄网站禁片午夜丰满| 99九九在线精品视频| 欧美精品高潮呻吟av久久| 久久久久久久久久久久大奶| www.熟女人妻精品国产| 亚洲成人免费电影在线观看 | 啦啦啦在线免费观看视频4| 国产深夜福利视频在线观看| 免费高清在线观看日韩| 国产精品人妻久久久影院| 一边摸一边抽搐一进一出视频| 久久亚洲精品不卡| 嫁个100分男人电影在线观看 | 19禁男女啪啪无遮挡网站| 日韩制服骚丝袜av| 欧美性长视频在线观看| av视频免费观看在线观看| 成年人黄色毛片网站| 美女福利国产在线| tube8黄色片| 久久免费观看电影| 欧美日韩视频高清一区二区三区二| 悠悠久久av| 叶爱在线成人免费视频播放| 2018国产大陆天天弄谢| 亚洲中文字幕日韩| 日韩熟女老妇一区二区性免费视频| 一级毛片 在线播放| 曰老女人黄片| 午夜福利一区二区在线看| 亚洲天堂av无毛| 一级毛片我不卡| 久久天堂一区二区三区四区| 69精品国产乱码久久久| 最近手机中文字幕大全| 国产av一区二区精品久久| 亚洲人成电影观看| av天堂久久9| 国产无遮挡羞羞视频在线观看| 国产欧美亚洲国产| 首页视频小说图片口味搜索 | a级毛片在线看网站| 50天的宝宝边吃奶边哭怎么回事| 韩国精品一区二区三区| 男女免费视频国产| 精品欧美一区二区三区在线| 久久人人爽人人片av| 亚洲国产日韩一区二区| 99热网站在线观看| 午夜激情av网站| 黄片播放在线免费| 亚洲熟女毛片儿| 看十八女毛片水多多多| 在线av久久热| 亚洲精品第二区| 国产精品九九99| 91麻豆av在线| 午夜两性在线视频| 日韩熟女老妇一区二区性免费视频| 狂野欧美激情性xxxx| 777久久人妻少妇嫩草av网站| 熟女av电影| 美女主播在线视频| 99国产精品一区二区三区| 国产91精品成人一区二区三区 | 99国产精品免费福利视频| 精品久久久久久电影网| 水蜜桃什么品种好| 日韩,欧美,国产一区二区三区| 18禁裸乳无遮挡动漫免费视频| 亚洲五月色婷婷综合| 国产精品九九99| 啦啦啦在线观看免费高清www| 啦啦啦啦在线视频资源| 国产男女超爽视频在线观看| 又粗又硬又长又爽又黄的视频| 啦啦啦啦在线视频资源| 亚洲九九香蕉| 在线观看国产h片| 日本五十路高清| 男的添女的下面高潮视频| 国产99久久九九免费精品| 亚洲第一av免费看| 后天国语完整版免费观看| 欧美人与性动交α欧美软件| 国产伦理片在线播放av一区| 99热网站在线观看| 欧美成人午夜精品| 天天添夜夜摸| 国产精品一区二区在线不卡| 亚洲图色成人| 国产女主播在线喷水免费视频网站| 黄片播放在线免费| tube8黄色片| 成年人黄色毛片网站| 最近手机中文字幕大全| 亚洲国产精品999| 国产精品亚洲av一区麻豆| 在线观看www视频免费| 亚洲九九香蕉| 久久久久久久久免费视频了| 无遮挡黄片免费观看| 欧美精品一区二区免费开放| 免费在线观看视频国产中文字幕亚洲 | 老汉色∧v一级毛片| 久久精品国产亚洲av高清一级| 日本av手机在线免费观看| tube8黄色片| 丝袜人妻中文字幕| 91精品国产国语对白视频| 成年动漫av网址| 又大又黄又爽视频免费| 欧美精品亚洲一区二区| 黑丝袜美女国产一区| 欧美另类一区| 欧美 日韩 精品 国产| 51午夜福利影视在线观看| 男女国产视频网站| 老司机靠b影院| 黄频高清免费视频| 久久人人爽av亚洲精品天堂| tube8黄色片| 成人手机av| 国产老妇伦熟女老妇高清| 久久精品国产亚洲av涩爱| 亚洲欧美色中文字幕在线| 欧美在线一区亚洲| 91老司机精品| 亚洲国产毛片av蜜桃av| 久久性视频一级片| 男人爽女人下面视频在线观看| 午夜福利免费观看在线| 桃花免费在线播放| 国产亚洲一区二区精品| 亚洲欧美精品自产自拍| 啦啦啦中文免费视频观看日本| 精品国产一区二区三区四区第35| 久9热在线精品视频| 亚洲精品日本国产第一区| 黄色一级大片看看| 久久久久精品国产欧美久久久 | 亚洲,一卡二卡三卡| 久久精品熟女亚洲av麻豆精品| 欧美人与性动交α欧美精品济南到| 亚洲自偷自拍图片 自拍| 久久久久精品人妻al黑| 多毛熟女@视频| 国产一级毛片在线| 久久免费观看电影| 老司机深夜福利视频在线观看 | 成人免费观看视频高清| 国产高清videossex| 热re99久久精品国产66热6| 免费观看人在逋| 在线观看免费高清a一片| av视频免费观看在线观看| 国产成人免费观看mmmm| 纯流量卡能插随身wifi吗| 高清黄色对白视频在线免费看| 一区二区三区四区激情视频| 在线观看免费视频网站a站| 如日韩欧美国产精品一区二区三区| av电影中文网址| 久久av网站| 精品久久久久久电影网| 成年人午夜在线观看视频| 1024香蕉在线观看| 黄色片一级片一级黄色片| 亚洲欧美精品综合一区二区三区| 黄色一级大片看看| 亚洲精品国产一区二区精华液| 好男人电影高清在线观看| 国产精品久久久久久人妻精品电影 | 国产成人系列免费观看| 久久九九热精品免费| 欧美 亚洲 国产 日韩一| 日韩熟女老妇一区二区性免费视频| 国产一区二区 视频在线| 成人午夜精彩视频在线观看| 国产精品人妻久久久影院| 女人高潮潮喷娇喘18禁视频| 99精品久久久久人妻精品| 久久人人爽人人片av| 欧美精品一区二区大全| 国产精品久久久久成人av| 欧美激情极品国产一区二区三区| 青春草亚洲视频在线观看| 欧美97在线视频| 亚洲伊人久久精品综合| 韩国高清视频一区二区三区| 叶爱在线成人免费视频播放| 青春草亚洲视频在线观看| 成年av动漫网址| 免费观看a级毛片全部| 九色亚洲精品在线播放| 99国产综合亚洲精品| 欧美日韩视频高清一区二区三区二| 国产成人一区二区在线| 色综合欧美亚洲国产小说| 亚洲伊人色综图| 亚洲成人手机| 久热这里只有精品99| 亚洲国产av新网站| 亚洲欧美激情在线| 天堂中文最新版在线下载| 男男h啪啪无遮挡| 亚洲成av片中文字幕在线观看| 伦理电影免费视频| 日韩视频在线欧美| 各种免费的搞黄视频| 老熟女久久久| 午夜av观看不卡| 亚洲成人免费电影在线观看 | 不卡av一区二区三区| 欧美日韩亚洲综合一区二区三区_| 99国产精品99久久久久| 欧美黑人欧美精品刺激| 久久久久精品国产欧美久久久 | 亚洲国产精品999| 男人操女人黄网站| 18在线观看网站| 久久精品亚洲熟妇少妇任你| 国产精品一区二区在线观看99| 国产成人免费无遮挡视频| 国产三级黄色录像| 看免费av毛片| 欧美精品啪啪一区二区三区 | 日韩电影二区| 高潮久久久久久久久久久不卡| 成人亚洲精品一区在线观看| a级毛片黄视频| 亚洲五月婷婷丁香| 伊人久久大香线蕉亚洲五| 亚洲一卡2卡3卡4卡5卡精品中文| 一区二区三区四区激情视频| 国产日韩欧美视频二区| 男的添女的下面高潮视频| 久久久久网色| 大型av网站在线播放| 高清欧美精品videossex| 你懂的网址亚洲精品在线观看| 一区二区三区乱码不卡18| 99精国产麻豆久久婷婷| 亚洲av片天天在线观看| 国产高清不卡午夜福利| 男男h啪啪无遮挡| 啦啦啦 在线观看视频| 黄片播放在线免费| 宅男免费午夜| 欧美精品av麻豆av| 国产av一区二区精品久久| 2018国产大陆天天弄谢| 国产真人三级小视频在线观看| 久久久久视频综合| 91成人精品电影| 女人精品久久久久毛片| 在线观看人妻少妇| 777米奇影视久久| 一区福利在线观看| 丰满人妻熟妇乱又伦精品不卡| 国产精品国产av在线观看| 国产日韩一区二区三区精品不卡| 亚洲男人天堂网一区| 91老司机精品| www.999成人在线观看| 一级毛片女人18水好多 | e午夜精品久久久久久久| 午夜视频精品福利| av福利片在线| 成人国产一区最新在线观看 | 女人被躁到高潮嗷嗷叫费观| 婷婷色综合大香蕉| 女人被躁到高潮嗷嗷叫费观| xxx大片免费视频| 尾随美女入室| 丰满少妇做爰视频| 欧美日韩成人在线一区二区| 丁香六月天网| 久久人人爽av亚洲精品天堂| 中文字幕另类日韩欧美亚洲嫩草| 激情视频va一区二区三区| 国产97色在线日韩免费| 亚洲av美国av| 咕卡用的链子| 久久精品亚洲av国产电影网| 亚洲少妇的诱惑av| 久久国产精品人妻蜜桃| 中文字幕人妻丝袜制服| 亚洲av综合色区一区| 可以免费在线观看a视频的电影网站| 亚洲男人天堂网一区| 无限看片的www在线观看| 久久精品亚洲av国产电影网| 欧美精品高潮呻吟av久久| 精品一区二区三区av网在线观看 | 亚洲成人免费av在线播放| 国产视频首页在线观看| 美女脱内裤让男人舔精品视频| 一边摸一边做爽爽视频免费| 国产一区二区在线观看av| 国产欧美日韩一区二区三 | 久久国产精品影院| 少妇人妻久久综合中文| 国产不卡av网站在线观看| 午夜日韩欧美国产| 十八禁人妻一区二区| 日本91视频免费播放| 丰满迷人的少妇在线观看| 国产亚洲精品久久久久5区| 欧美日韩黄片免| 自拍欧美九色日韩亚洲蝌蚪91| 久久鲁丝午夜福利片| www日本在线高清视频| 99香蕉大伊视频| 日本91视频免费播放| 黄色怎么调成土黄色| 满18在线观看网站| 91字幕亚洲| 国产人伦9x9x在线观看| 你懂的网址亚洲精品在线观看| 婷婷色av中文字幕| 久久久久久亚洲精品国产蜜桃av| 欧美人与善性xxx| 老司机深夜福利视频在线观看 | 午夜福利视频精品| 最新的欧美精品一区二区| 免费黄频网站在线观看国产| 久久99热这里只频精品6学生| 亚洲欧美精品自产自拍| 纯流量卡能插随身wifi吗| 一级毛片电影观看| 久久中文字幕一级| 老司机靠b影院| 男女边吃奶边做爰视频| 最近中文字幕2019免费版| 婷婷色av中文字幕| 国产激情久久老熟女| 国产高清不卡午夜福利| 欧美日韩黄片免| 美女扒开内裤让男人捅视频| 午夜福利在线免费观看网站| 一边摸一边做爽爽视频免费| 国产一区亚洲一区在线观看| 五月开心婷婷网| 曰老女人黄片| 99久久精品国产亚洲精品| 91精品三级在线观看| 777久久人妻少妇嫩草av网站| 日韩制服骚丝袜av| 国产精品二区激情视频| 在线 av 中文字幕| 国产一区二区在线观看av| 亚洲成av片中文字幕在线观看| 手机成人av网站| 精品国产一区二区久久| 国产成人一区二区在线| 曰老女人黄片| 亚洲av男天堂| 在线天堂中文资源库| 精品少妇一区二区三区视频日本电影| 爱豆传媒免费全集在线观看| 国产一区二区三区综合在线观看| 一本综合久久免费| 麻豆av在线久日| 丝袜在线中文字幕| 爱豆传媒免费全集在线观看| 亚洲国产精品一区三区| 国产精品久久久人人做人人爽| 人人妻人人添人人爽欧美一区卜| 精品少妇黑人巨大在线播放| 王馨瑶露胸无遮挡在线观看| 大话2 男鬼变身卡| 日韩一区二区三区影片| 亚洲欧洲国产日韩| 欧美在线黄色|