石進(jìn) 苗杰 李明
摘要:[目的/意義]在線科研與開(kāi)放存取日益成為學(xué)者科研的主流趨勢(shì),預(yù)印本系統(tǒng)作為一種在線學(xué)術(shù)交流平臺(tái),以學(xué)界自治為基礎(chǔ),具有科研交流效率高、速度快、民主化等特點(diǎn),然而由于缺乏配套的質(zhì)量控制與學(xué)術(shù)評(píng)價(jià)機(jī)制使其發(fā)展遭遇瓶頸。[方法/過(guò)程]有學(xué)者提出了一種自組織同行評(píng)議模式適應(yīng)開(kāi)放存取環(huán)境下的學(xué)術(shù)評(píng)議活動(dòng),本文在此基礎(chǔ)上擴(kuò)展,提出在線論文評(píng)分模型和虛擬積分激勵(lì)機(jī)制,實(shí)現(xiàn)對(duì)預(yù)印本論文的學(xué)術(shù)評(píng)價(jià)和對(duì)預(yù)印本系統(tǒng)用戶的激勵(lì)管理。[結(jié)果/結(jié)論]彌補(bǔ)傳統(tǒng)同行評(píng)議模式存在評(píng)審過(guò)程不夠透明、評(píng)議結(jié)果不夠公正、對(duì)評(píng)議者缺乏激勵(lì)等問(wèn)題。這種新的學(xué)術(shù)評(píng)價(jià)模式具有科學(xué)高效、客觀公正、公開(kāi)透明等特點(diǎn)。
關(guān)鍵詞:預(yù)印本系統(tǒng);學(xué)術(shù)評(píng)價(jià);同行評(píng)議;評(píng)分模型;激勵(lì)機(jī)制
DOl: 10.3969/j .issn .1008 -0821 .2019 .12 .011
[中圖分類號(hào)] G230.7 [文獻(xiàn)標(biāo)識(shí)碼]A [文章編號(hào)]1008-0821( 2019) 12-0088-13
預(yù)印本是指科研人員出于同行交流目的,將尚未在正式出版物上發(fā)表的研究成果(包括科研論文、元數(shù)據(jù)、研究報(bào)告等,以下簡(jiǎn)稱論文),自愿發(fā)布在學(xué)術(shù)會(huì)議或互聯(lián)網(wǎng)上,供全世界讀者免費(fèi)檢索和閱讀[1]。預(yù)印本系統(tǒng)起源于19世紀(jì),美國(guó)物理學(xué)家Paul Cinsparg在1991年創(chuàng)立世界上最早的預(yù)印本網(wǎng)站ArXiv(最初命名為L(zhǎng)os Alamos E-printArchive)。但是由于沒(méi)有建立一套替代傳統(tǒng)同行評(píng)議的科研評(píng)價(jià)模式,以預(yù)印本系統(tǒng)為代表的在線學(xué)術(shù)交流并沒(méi)有迅速發(fā)展起來(lái)。在傳統(tǒng)紙質(zhì)期刊學(xué)術(shù)交流模式的排擠和壓迫下,預(yù)印本系統(tǒng)未能得到學(xué)術(shù)團(tuán)體、科研管理機(jī)構(gòu)和基金組織的廣泛關(guān)注和認(rèn)可。
近年來(lái),計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)的飛速發(fā)展從根本上改變著信息交流的方式,逐漸超越時(shí)空限制,呈現(xiàn)快捷、高效、數(shù)字化等特點(diǎn)。預(yù)印本系統(tǒng)具有交流速度快、利于學(xué)術(shù)爭(zhēng)鳴、可靠性高等特點(diǎn),漸漸吸引了學(xué)術(shù)界的關(guān)注[2]。以學(xué)界自治為基礎(chǔ)的預(yù)印本學(xué)術(shù)交流模式正在快速發(fā)展,國(guó)內(nèi)外各個(gè)學(xué)術(shù)領(lǐng)域開(kāi)始搭建預(yù)印本系統(tǒng)(Electronic Preprint Ar-chive),用于預(yù)印本的發(fā)布、檢索和使用[3]。雖然預(yù)印本系統(tǒng)可以彌補(bǔ)傳統(tǒng)出版模式存在的論文發(fā)布周期長(zhǎng)、很少免費(fèi)向公眾提供服務(wù)等缺陷,但是針對(duì)傳統(tǒng)期刊采用的同行評(píng)議模式存在評(píng)審過(guò)程不夠透明、評(píng)議結(jié)果不夠公正、對(duì)評(píng)議者缺乏激勵(lì)的問(wèn)題尚未解決[4]。學(xué)術(shù)界不僅有學(xué)術(shù)發(fā)表的需要,更有學(xué)術(shù)評(píng)價(jià)的需要,在高度職業(yè)化和體制化的科研背景下,科研人員、基金組織、科研管理機(jī)構(gòu)對(duì)于高質(zhì)量的論文評(píng)價(jià)信息具有迫切需求。預(yù)印本系統(tǒng)由于缺乏科學(xué)有效的評(píng)議與審核機(jī)制,導(dǎo)致論文的質(zhì)量難以把控,使得學(xué)術(shù)界難以在預(yù)印本系統(tǒng)中快速定位自身需要的高質(zhì)量文獻(xiàn)及相關(guān)評(píng)價(jià)信息,這成為當(dāng)前制約預(yù)印本系統(tǒng)發(fā)展的關(guān)鍵因素[5]。
1 研究現(xiàn)狀與相關(guān)工作
1.1 預(yù)印本發(fā)展現(xiàn)狀
最初的ArXiv僅服務(wù)于高能理論物理領(lǐng)域,作為一個(gè)供物理學(xué)家將撰寫的手稿快速發(fā)布電子檔案。當(dāng)時(shí)量子力學(xué)剛剛誕生,高能物理學(xué)界的重要成果如雨后春筍般涌現(xiàn),物理學(xué)家迫切需要將自己的最新研究進(jìn)展和成果發(fā)布出去與同行交流,占領(lǐng)研究前沿的首發(fā)權(quán),因此ArXiv很快被物理學(xué)界接受和使用[6]。自1991年8月創(chuàng)建,短短幾個(gè)月ArXiv用戶從200人上升到1 000人[7]。但是由于生長(zhǎng)環(huán)境局限和缺乏質(zhì)量控制,預(yù)印本系統(tǒng)沒(méi)有迅速發(fā)展起來(lái)。直到近幾年新技術(shù)的飛速發(fā)展為預(yù)印本的發(fā)展提供了技術(shù)支撐,另一方面在知識(shí)經(jīng)濟(jì)背景下,信息交流呈現(xiàn)快捷、高效和數(shù)字化特征,開(kāi)放的學(xué)術(shù)交流也愈加強(qiáng)調(diào)時(shí)效性,審稿周期普遍較長(zhǎng)的傳統(tǒng)出版體制漸漸不能滿足需求,預(yù)印本系統(tǒng)重新引起了學(xué)術(shù)界的廣泛關(guān)注[4]。2016年10月,ArXiv系統(tǒng)的新提交論文達(dá)到10 100篇,首次單月提交論文量過(guò)萬(wàn);2016年5月,著名的傳統(tǒng)出版集團(tuán)Elsevier收購(gòu)了社會(huì)科學(xué)領(lǐng)域的預(yù)印本系統(tǒng)SSRN (Social Science Research Network)[8]; 2017年4月.Facebook總裁扎克伯克基金會(huì)提出“多年期資助方案”資助生物學(xué)領(lǐng)域品牌預(yù)印本系統(tǒng)BioRxiv[9]; 2017年8月,ChemRxiv是首個(gè)國(guó)際化學(xué)領(lǐng)域的預(yù)印本平臺(tái),由美國(guó)化學(xué)學(xué)會(huì)主導(dǎo),英國(guó)皇家化學(xué)學(xué)會(huì)、德國(guó)化學(xué)學(xué)會(huì)參與創(chuàng)建[10];期間其他學(xué)科也紛紛建立自己的預(yù)印本網(wǎng)站,包括能源研究領(lǐng)域創(chuàng)建了engrXiv、心理學(xué)領(lǐng)域發(fā)布PsyArX-1V、法律領(lǐng)域啟動(dòng)了LawArXiv等。國(guó)內(nèi)的預(yù)印本系統(tǒng)包括較早創(chuàng)立的中國(guó)預(yù)印本服務(wù)系統(tǒng)、中國(guó)科技論文在線和中國(guó)科學(xué)院科技論文預(yù)發(fā)布平臺(tái)( ChinaXiv)。ChinaXiv于2016年發(fā)布,是國(guó)內(nèi)首個(gè)按國(guó)際通行模式規(guī)范運(yùn)營(yíng)的預(yù)印本平臺(tái)。當(dāng)前,國(guó)內(nèi)外一些預(yù)印本系統(tǒng)的發(fā)展程度不一,有些已在一定程度上得到了相關(guān)領(lǐng)域?qū)W者的關(guān)注和認(rèn)可,有些系統(tǒng)處于起步階段關(guān)注度還不夠高,表1展示了國(guó)內(nèi)外主要預(yù)印本網(wǎng)站的基本信息和當(dāng)前投稿量。
預(yù)印本系統(tǒng)雖然能夠較好地適應(yīng)當(dāng)前科研環(huán)境開(kāi)放、快速的學(xué)術(shù)需求,但是其發(fā)展過(guò)程中仍存在一些問(wèn)題需要進(jìn)一步討論。Eysenbach G[11]指出,包括美國(guó)免疫學(xué)家協(xié)會(huì)( AAI)在內(nèi)的許多科學(xué)家對(duì)生物醫(yī)學(xué)預(yù)印本系統(tǒng)提出強(qiáng)烈抗議,原因是擔(dān)心大量未經(jīng)同行評(píng)審的低質(zhì)量科研論文會(huì)給他們帶來(lái)負(fù)擔(dān)。Warr,WA則表示預(yù)印本的概念得到關(guān)注而沒(méi)有被廣泛接受,化學(xué)家們一直不愿提交預(yù)印本是因?yàn)楫?dāng)前預(yù)印本仍不允許用于研究評(píng)估、職稱評(píng)選,部分預(yù)印本論文也會(huì)被知名期刊拒絕出版[12]。但是缺乏科學(xué)、統(tǒng)一的學(xué)術(shù)評(píng)議模式導(dǎo)致預(yù)印本文章的質(zhì)量控制問(wèn)題是當(dāng)前發(fā)展的局限所在。
1.2 基于同行評(píng)議的傳統(tǒng)科研評(píng)價(jià)體系存在的問(wèn)題
傳統(tǒng)的學(xué)術(shù)期刊主要有兩個(gè)功能,學(xué)術(shù)傳播和學(xué)術(shù)評(píng)價(jià)。而紙質(zhì)期刊的學(xué)術(shù)評(píng)價(jià)主要通過(guò)出版商組織的以編輯為中心的同行評(píng)議模式。美國(guó)國(guó)家科學(xué)基金會(huì)( NSF)提出:同行評(píng)議是NSF根據(jù)決策過(guò)程標(biāo)準(zhǔn),負(fù)責(zé)評(píng)審的NSF官員確定哪些申請(qǐng)者應(yīng)當(dāng)被資助時(shí)參考的就是該領(lǐng)域其他同行的評(píng)議結(jié)果。2012年12月,我國(guó)頒布《國(guó)家自然科學(xué)基金項(xiàng)目管理規(guī)定(試行)》中定義如下:同行評(píng)議是指同行評(píng)議專家對(duì)申請(qǐng)項(xiàng)目的創(chuàng)新性、研究?jī)r(jià)值、研究目標(biāo)、研究方案等做出獨(dú)立的判斷和評(píng)價(jià),一般采取通訊評(píng)議方式[13]。
同行評(píng)議主要被應(yīng)用于科研項(xiàng)目管理以及學(xué)術(shù)論文的評(píng)審當(dāng)中,具有其獨(dú)特的優(yōu)勢(shì)。同行評(píng)議制度在一定程度上解決科研工作所具有的不確定性和專業(yè)性的評(píng)價(jià)問(wèn)題,能夠促使科研工作者一定程度上展示自己所掌握的科學(xué)信息并準(zhǔn)確判斷這些信息和價(jià)值,能夠有效阻止偽科學(xué)知識(shí)產(chǎn)品流人社會(huì),有利于科研資源的合理配置。但是在長(zhǎng)期的實(shí)踐中,這種模式也逐漸暴露出諸多弊端,主要可以歸納為兩類問(wèn)題:第一是同行評(píng)議制度自身機(jī)制的問(wèn)題;第二是同行評(píng)議方法在運(yùn)用時(shí)產(chǎn)生的問(wèn)題。
關(guān)于同行評(píng)議制度自身機(jī)制的缺陷,主要包含公正性和可靠性兩方面。公正性是指保證申請(qǐng)人得到客觀、無(wú)偏見(jiàn)的同行評(píng)審。也就是說(shuō)評(píng)審人做出評(píng)價(jià)的依據(jù)只能是評(píng)價(jià)對(duì)象的學(xué)術(shù)價(jià)值,不應(yīng)受到申請(qǐng)者本身的年齡、性別、聲望、身份地位、工作單位等因素影響。陳進(jìn)壽探討同行評(píng)議制的完善與發(fā)展問(wèn)題時(shí)認(rèn)為無(wú)法完全克服人際關(guān)系影響[14]。郭碧堅(jiān)等分析了“名人效應(yīng)”這一社會(huì)現(xiàn)象對(duì)同行評(píng)議公正性的影響[15]。可靠性是指評(píng)審人的評(píng)審結(jié)果一致的概率。在進(jìn)行同行評(píng)議時(shí),不同的評(píng)議人認(rèn)知水平等方面難免存在著差異,因此會(huì)得出不同的評(píng)議結(jié)果;隨著時(shí)間推移,同一評(píng)議人的認(rèn)知水平也會(huì)變化,導(dǎo)致評(píng)審結(jié)果的不一致。鄭興東等圍繞非共識(shí)項(xiàng)目的分布特征和成因的討論可以作為區(qū)分申請(qǐng)項(xiàng)目是否為高質(zhì)量項(xiàng)目的依據(jù)之一。
關(guān)于同行評(píng)議方法運(yùn)用時(shí)產(chǎn)生的問(wèn)題,主要包括公開(kāi)性和效率性。公開(kāi)性是指評(píng)審機(jī)構(gòu)將同行評(píng)議制度的評(píng)議標(biāo)準(zhǔn)和評(píng)議結(jié)果向外界公開(kāi)的程度。當(dāng)前的同行評(píng)議主要采用雙盲匿名的評(píng)審方式,這種信息保密制度在一定程度上保證評(píng)審的客觀性,但是評(píng)價(jià)信息完全保密會(huì)產(chǎn)生評(píng)價(jià)結(jié)果缺乏監(jiān)督、專家信息無(wú)法共享、不良專家無(wú)法規(guī)避、被評(píng)議人無(wú)法申辯等弊端[19]。但是僅對(duì)被評(píng)議人的單盲或者完全的公開(kāi)評(píng)審會(huì)導(dǎo)致偏見(jiàn)的產(chǎn)生。效率性是指評(píng)議過(guò)程中投入的人力、物力、財(cái)力以及時(shí)間的多少。當(dāng)前的期刊的審稿過(guò)程采用由出版商組織以編輯為中心的同行評(píng)議制度,投入較多的人力、物力和財(cái)力,但是由于評(píng)價(jià)缺乏有效的激勵(lì)和監(jiān)督機(jī)制,導(dǎo)致評(píng)價(jià)人的權(quán)利和責(zé)任不對(duì)稱。評(píng)議人在評(píng)價(jià)活動(dòng)中處于絕對(duì)自由狀態(tài),其承擔(dān)的評(píng)價(jià)工作無(wú)經(jīng)濟(jì)、聲譽(yù)等方面的激勵(lì),對(duì)懈怠謀私的評(píng)議人也缺乏監(jiān)督懲戒。導(dǎo)致評(píng)審速度緩慢,審稿周期過(guò)長(zhǎng),使被審稿人在相關(guān)領(lǐng)域的研究成果喪失優(yōu)先權(quán)[16]。
綜合來(lái)看,傳統(tǒng)學(xué)術(shù)期刊采用的同行評(píng)議機(jī)制能夠促使科研工作者一定程度上展示自己所掌握的科學(xué)信息并準(zhǔn)確判斷這些信息和價(jià)值,能夠有效阻止偽科學(xué)知識(shí)產(chǎn)品流入社會(huì)。但是由于同行評(píng)議制度本身和設(shè)施過(guò)程中存在的問(wèn)題,導(dǎo)致紙質(zhì)期刊的出版模式面臨困境。由于缺乏有效激勵(lì)和監(jiān)督機(jī)制產(chǎn)生的審稿速度慢,存在懈怠謀私的評(píng)議人。由于評(píng)審信息的非公開(kāi)性,極大降低了評(píng)議人和期刊編輯的風(fēng)險(xiǎn),存在選擇性發(fā)表、關(guān)系稿放行、編輯干擾等弊端。因此在預(yù)印本系統(tǒng)蓬勃發(fā)展的背景下,有必要對(duì)傳統(tǒng)的同行制度進(jìn)行改進(jìn),開(kāi)發(fā)一種新的適應(yīng)開(kāi)放科研環(huán)境的科學(xué)有效的學(xué)術(shù)評(píng)價(jià)模式。
1.3 預(yù)印本系統(tǒng)評(píng)議模式研究現(xiàn)狀
預(yù)印本系統(tǒng)的工作原理是機(jī)構(gòu)按照一定的學(xué)術(shù)交流目標(biāo),利用開(kāi)源軟件開(kāi)發(fā)預(yù)印本系統(tǒng)網(wǎng)站并建立數(shù)據(jù)庫(kù),用戶注冊(cè)登陸后按照系統(tǒng)規(guī)定提交自己的學(xué)術(shù)論文及元數(shù)據(jù),系統(tǒng)進(jìn)行快速審核后存人數(shù)據(jù)庫(kù)供讀者檢索使用[3]。為實(shí)施預(yù)印本的學(xué)術(shù)質(zhì)量控制,目前的預(yù)印本系統(tǒng)逐漸發(fā)展出新的開(kāi)放評(píng)議模式,例如ArXiv于2004年1月開(kāi)始逐步建立審核機(jī)制,要求不活躍作者提交預(yù)印本時(shí),得到該領(lǐng)域活躍作者的認(rèn)可[17]。中國(guó)科技論文在線采用“先公開(kāi)、后評(píng)審”的方式控制學(xué)術(shù)質(zhì)量,成立了顧問(wèn)委員會(huì)對(duì)預(yù)印本系統(tǒng)中在線提交的最新論文進(jìn)行評(píng)審并收錄優(yōu)秀論文,其中包括35名中國(guó)科學(xué)院和工程院院士。BioRxiv等網(wǎng)站逐步建立文章的公開(kāi)評(píng)論功能,采用這種方式對(duì)上傳至預(yù)印本網(wǎng)站的論文起到了一定的監(jiān)督作用,同時(shí)增加了文章評(píng)議的透明度[7]。王凌峰提出了E -prints預(yù)印本系統(tǒng)的自組織同行評(píng)議模式,在預(yù)印本系統(tǒng)環(huán)境下設(shè)計(jì)一套規(guī)則使論文作者和讀者之間自組織相互評(píng)議,從而解決傳統(tǒng)期刊和編輯組織同行評(píng)議的模式存在的弊端[6]。圖1是自組織同行評(píng)議的預(yù)印本系統(tǒng)構(gòu)建的主要步驟,具體如下:
1)制定日常管理制度,建立常設(shè)機(jī)構(gòu),執(zhí)行費(fèi)用管理、系統(tǒng)監(jiān)管等任務(wù)。
2)系統(tǒng)運(yùn)行規(guī)則設(shè)定,包括成員注冊(cè)規(guī)則、論文發(fā)布與版本管理規(guī)則、論文訪問(wèn)規(guī)則等。
3)系統(tǒng)評(píng)議規(guī)則設(shè)定,包括論文評(píng)議規(guī)則、評(píng)議者優(yōu)化配置規(guī)則、積分獎(jiǎng)懲規(guī)則等。
4)軟件系統(tǒng)實(shí)現(xiàn),采用開(kāi)源軟件平臺(tái)創(chuàng)建預(yù)印本文庫(kù)。
5)風(fēng)險(xiǎn)控制與學(xué)術(shù)不規(guī)范行為處理相關(guān)規(guī)定。
自組織同行評(píng)議模式的評(píng)議效度是其能否得到學(xué)術(shù)界的廣泛認(rèn)可的關(guān)鍵,因此至少不低于傳統(tǒng)的同行評(píng)議模式才能推動(dòng)預(yù)印本系統(tǒng)的發(fā)展,實(shí)現(xiàn)學(xué)界自治的新型學(xué)術(shù)出版模式。在自組織同行評(píng)議模式設(shè)計(jì)中,核心環(huán)節(jié)是對(duì)積分體系的討論,科學(xué)、高效、公正、合理的積分體系能夠激勵(lì)論文讀者積極參與并作出高質(zhì)量的評(píng)論,進(jìn)而使預(yù)印本系統(tǒng)得到高水平科研工作者的認(rèn)可,將更多的高質(zhì)量論文發(fā)布到平臺(tái)上。當(dāng)預(yù)印本文庫(kù)中的論文數(shù)量和質(zhì)量都得到保證后,將會(huì)吸引更多的讀者關(guān)注和使用,并參與到自組織同行評(píng)議的過(guò)程中,形成良性循環(huán)的學(xué)術(shù)評(píng)議生態(tài)環(huán)境。
本文致力于詳細(xì)討論并設(shè)計(jì)一套科學(xué)的論文評(píng)分模型和公正的積分激勵(lì)機(jī)制,保證自組織同行評(píng)議模式能夠高效率、可持續(xù)的運(yùn)行和發(fā)展,推動(dòng)預(yù)印本系統(tǒng)對(duì)傳統(tǒng)學(xué)術(shù)出版模式的變革。自組織同行評(píng)議模式的用戶積分管理和論文評(píng)分管理兩個(gè)模塊,分別設(shè)定用戶等級(jí)和論文定級(jí)的分級(jí)管理,在整個(gè)論文評(píng)議周期內(nèi)采用“單盲”和“公開(kāi)”分段評(píng)論的方式,充分保證評(píng)議過(guò)程的公正和可靠。
2 自組織同行評(píng)議機(jī)制的架構(gòu)設(shè)計(jì)
2.1 自組織同行評(píng)議的目標(biāo)
預(yù)印本系統(tǒng)是對(duì)“學(xué)術(shù)出版”模式的一種變革,學(xué)術(shù)出版的作用可分為兩個(gè)方面,學(xué)術(shù)傳播和學(xué)術(shù)評(píng)價(jià)?;诰W(wǎng)絡(luò)與信息技術(shù)的在線預(yù)印本數(shù)據(jù)庫(kù),自身具有便捷和快速的特點(diǎn),能夠滿足科研工作者及時(shí)、快速的學(xué)術(shù)傳播與交流的需求。但是對(duì)預(yù)印本論文缺乏權(quán)威科學(xué)的質(zhì)量控制和學(xué)術(shù)評(píng)價(jià)是當(dāng)前以預(yù)印本為主要模式的開(kāi)放存取運(yùn)動(dòng)存在的最大局限。推進(jìn)預(yù)印本系統(tǒng)的發(fā)展根本在于對(duì)與預(yù)印本論文進(jìn)行科學(xué)的、公正的、有效的質(zhì)量控制,設(shè)計(jì)一套適用于預(yù)印本系統(tǒng)的學(xué)術(shù)評(píng)價(jià)機(jī)制。但是這種學(xué)術(shù)評(píng)價(jià)機(jī)制絕對(duì)不能以犧牲時(shí)間為代價(jià),否則便回歸了傳統(tǒng)同行評(píng)議模式存在的主要弊端。
在設(shè)計(jì)學(xué)術(shù)評(píng)價(jià)機(jī)制前,需要明確預(yù)印本系統(tǒng)運(yùn)行的體系架構(gòu)和參與主體之間的關(guān)系,如圖2所示。預(yù)印本系統(tǒng)具有論文管理、用戶管理、組織評(píng)議等功能,系統(tǒng)用戶可以兩種身份作為主體參與預(yù)印本系統(tǒng)運(yùn)作,分別是論文作者和讀者(用戶往往在兩種身份間轉(zhuǎn)換)。預(yù)印本系統(tǒng)接收作者提交的論文進(jìn)行唯一標(biāo)識(shí)和發(fā)布,然后組織讀者對(duì)論文進(jìn)行評(píng)議,將讀者的評(píng)議進(jìn)行公開(kāi)、匯總和整理。作者獲得來(lái)自預(yù)印本系統(tǒng)的論文評(píng)議結(jié)果和用戶積分,而進(jìn)行評(píng)議的讀者同樣獲得系統(tǒng)核算的相應(yīng)積分。預(yù)印本系統(tǒng)設(shè)計(jì)第三方監(jiān)督機(jī)構(gòu),接受來(lái)自作者和讀者的反饋意見(jiàn),對(duì)預(yù)印本系統(tǒng)的運(yùn)行實(shí)施監(jiān)督。
前面已經(jīng)討論,傳統(tǒng)同行評(píng)議的弊端包括效率低下、不透明且激勵(lì)不足等問(wèn)題。在預(yù)印本系統(tǒng)的運(yùn)行中,開(kāi)發(fā)自組織同行評(píng)議機(jī)制的目的有兩個(gè)方面:一是對(duì)發(fā)布到系統(tǒng)的預(yù)印本論文進(jìn)行的學(xué)術(shù)評(píng)議,保證論文的高質(zhì)量,因此需要設(shè)計(jì)一個(gè)客觀公正的論文評(píng)分模型;二是需要增強(qiáng)預(yù)印本系統(tǒng)用戶的參與度,增強(qiáng)論文提交、閱讀、下載和評(píng)議的積極性,因此需要建立一個(gè)科學(xué)有效的激勵(lì)機(jī)制;兩個(gè)目標(biāo)之間相輔相成、相互促進(jìn)的關(guān)系:好的評(píng)分模型篩選和標(biāo)記出高水平論文,提高預(yù)印本系統(tǒng)的學(xué)術(shù)質(zhì)量控制,能夠使科研工作者和科研機(jī)構(gòu)快速定位和獲取所需要的前沿研究成果和學(xué)術(shù)評(píng)價(jià)信息,因此吸引更多的學(xué)者關(guān)注和使用該系統(tǒng);好的激勵(lì)機(jī)制督促評(píng)審人做出公開(kāi)的、及時(shí)的、高質(zhì)量的學(xué)術(shù)評(píng)價(jià),因此產(chǎn)生好的預(yù)印本系統(tǒng)公開(kāi)學(xué)術(shù)評(píng)議氛圍,進(jìn)而形成良性循環(huán)的學(xué)術(shù)評(píng)議生態(tài)環(huán)境。
2.2 論文評(píng)分模型
論文評(píng)分模型對(duì)提交預(yù)印本平臺(tái)的論文內(nèi)容進(jìn)行實(shí)質(zhì)性審查,根據(jù)讀者在線發(fā)布對(duì)論文的定性與定量相結(jié)合的評(píng)價(jià),對(duì)論文進(jìn)行評(píng)分定級(jí),實(shí)現(xiàn)預(yù)印本論文的質(zhì)量控制。論文評(píng)分模型結(jié)合互聯(lián)網(wǎng)時(shí)代線上評(píng)分的模式和方法,在傳統(tǒng)同行評(píng)議的基礎(chǔ)上進(jìn)行擴(kuò)展,開(kāi)發(fā)出一種新型的自組織論文評(píng)議模式。
2.2.1 理論基礎(chǔ)
傳統(tǒng)期刊論文采用的是通信同行評(píng)議模式,它的基本過(guò)程是期刊編輯在收到論文投稿后進(jìn)行形式審查,將通過(guò)審查的稿件分別寄送給幾位同行評(píng)議人,要他們對(duì)其評(píng)審的論文稿件做出書面評(píng)語(yǔ)并打分,結(jié)果在規(guī)定時(shí)間內(nèi)寄送回編輯部。同行評(píng)議是從事某一或者若干領(lǐng)域科學(xué)研究的科學(xué)家組成的科學(xué)群體對(duì)涉及該領(lǐng)域的某項(xiàng)知識(shí)產(chǎn)品進(jìn)行評(píng)價(jià)的過(guò)程。從政策科學(xué)的角度看,同行評(píng)議是幫助決策民主化的方式,它可以使決策過(guò)程具有可觀察性并提高決策過(guò)程的參與度和集體智慧的運(yùn)用。因此同行評(píng)議極大減少了決策層在科研資助和論文發(fā)表時(shí)的主觀因素,增加了決策民主化的成分。從科學(xué)社會(huì)學(xué)的角度來(lái)看,同行評(píng)議是科學(xué)共同體根據(jù)某一標(biāo)準(zhǔn)對(duì)事物進(jìn)行評(píng)價(jià)??茖W(xué)共同體是由從事某一特定領(lǐng)域科學(xué)研究的科學(xué)家組成的社會(huì)群體,他們?cè)陂L(zhǎng)期的科研工作中確定并接受可一種范式作為該領(lǐng)域的理論體系。在同行評(píng)議中這種范式作為評(píng)議的標(biāo)準(zhǔn),評(píng)議專家也就是科學(xué)共同體的成員運(yùn)用這個(gè)標(biāo)準(zhǔn)去評(píng)價(jià)該領(lǐng)域的新發(fā)現(xiàn)和新理論。在評(píng)價(jià)過(guò)程中科學(xué)家的個(gè)人信仰和閱歷,以及一些其他社會(huì)因素也會(huì)影響所評(píng)價(jià)的對(duì)象。同行評(píng)議將這些共同范式和個(gè)人準(zhǔn)則結(jié)合起來(lái),形成一種綜合的科學(xué)的評(píng)價(jià)方法[18]。
同行評(píng)議從政策科學(xué)角度和科學(xué)社會(huì)學(xué)角度上看,都是一種科學(xué)的學(xué)術(shù)評(píng)價(jià)模式。但是在線科研日益成為科研工作的主流形式,具有交流效率高、速度快、智能化、民主化等眾多優(yōu)勢(shì)[19]。傳統(tǒng)的同行評(píng)議機(jī)制固有的缺陷不能滿足以預(yù)印本系統(tǒng)為代表的在線科研的需求。本文提出的在線論文評(píng)分模型是一種自組織同行評(píng)議機(jī)制。從本質(zhì)上看它并不是顛覆傳統(tǒng)的同行評(píng)議,而是結(jié)合新型的在線評(píng)分模式和方法對(duì)傳統(tǒng)同行評(píng)議的改進(jìn),使其揚(yáng)長(zhǎng)避短,與時(shí)俱進(jìn),適應(yīng)新技術(shù)背景下的學(xué)術(shù)評(píng)價(jià)需求。
網(wǎng)絡(luò)評(píng)分是互聯(lián)網(wǎng)平臺(tái)建設(shè)初期出現(xiàn)的一種信用擔(dān)保方式。早在1997年,美國(guó)電子商務(wù)網(wǎng)站eBay就建立了信用評(píng)分機(jī)制,藉此刺激、調(diào)動(dòng)買家的網(wǎng)購(gòu)信心[20]?!懊绹?guó)市場(chǎng)研究公司Jupiter Re-search的調(diào)查數(shù)據(jù)顯示:77%的網(wǎng)民購(gòu)買商品之前,都會(huì)參考其他網(wǎng)民的在線評(píng)價(jià)”。評(píng)分機(jī)制的建立證明了信息的商業(yè)價(jià)值,被廣泛應(yīng)用在電影、書籍、音樂(lè)評(píng)價(jià)中,逐漸擴(kuò)展到餐飲和購(gòu)物的消費(fèi)活動(dòng)中。網(wǎng)絡(luò)評(píng)分支持細(xì)粒度的評(píng)價(jià)來(lái)代替簡(jiǎn)單褒貶性的二元評(píng)價(jià),相比于褒貶評(píng)價(jià)機(jī)制( PolarityAnalysis),等級(jí)評(píng)分機(jī)制(Rating Inference)能夠從更加具體和準(zhǔn)確的角度體現(xiàn)用戶傾向性觀點(diǎn),等級(jí)評(píng)分機(jī)制一般采用5或10分制等級(jí)評(píng)分機(jī)制[21]。實(shí)際調(diào)查時(shí)大多數(shù)用戶認(rèn)為僅通過(guò)給定問(wèn)題的打分不能準(zhǔn)確表達(dá)自己的觀點(diǎn),具體表達(dá)自身觀點(diǎn)還需要進(jìn)行文字性評(píng)論。因此科學(xué)的評(píng)分機(jī)制可采用定性定量相結(jié)合的方式對(duì)進(jìn)行在線評(píng)分。同時(shí)網(wǎng)絡(luò)用戶往往對(duì)評(píng)價(jià)對(duì)象的多個(gè)維度進(jìn)行評(píng)論,不同維度之間可能存在的相關(guān)性能夠訓(xùn)練優(yōu)化多維度等級(jí)評(píng)分模型,有助于提高其預(yù)測(cè)性能。
傳統(tǒng)同行評(píng)議的科學(xué)性結(jié)合網(wǎng)絡(luò)評(píng)分的靈活性,可以使新型的在線自組織同行評(píng)議模式在學(xué)術(shù)評(píng)價(jià)的過(guò)程中更加公正和有效,發(fā)揮出更大的權(quán)威性。
2.2.2 在線論文評(píng)分模型的原則
在線論文評(píng)分模型的理論來(lái)源是同行評(píng)議機(jī)制,參考同行評(píng)議機(jī)制的基本原理設(shè)置在線論文評(píng)分模型的原則。與此同時(shí)在線論文評(píng)分模型是對(duì)同行評(píng)議機(jī)制的改進(jìn),在設(shè)計(jì)評(píng)分模型的原則時(shí)應(yīng)當(dāng)改進(jìn)傳統(tǒng)同行評(píng)議機(jī)制的弊端,使評(píng)分模型更加科學(xué)和有效。具體遵循的原則如下:
1)科學(xué)性
同行評(píng)議機(jī)制的科學(xué)性在于它是一種民主的決策,且綜合接受了來(lái)自科學(xué)共同體這一專業(yè)全體的意見(jiàn),因此保證學(xué)術(shù)評(píng)價(jià)的科學(xué)性是評(píng)議結(jié)果權(quán)威性的基礎(chǔ)和保證。在線論文評(píng)分模型的科學(xué)性應(yīng)當(dāng)體現(xiàn)在評(píng)議者的結(jié)構(gòu)上,應(yīng)當(dāng)包含專家評(píng)審人和普通讀者評(píng)審人。這樣從決策科學(xué)和社會(huì)科學(xué)兩個(gè)理論層面保證了在線論文評(píng)分模型的科學(xué)性。
2)公正性
論文評(píng)議是應(yīng)當(dāng)保證評(píng)議人的客觀和獨(dú)立性,對(duì)評(píng)議結(jié)果而言應(yīng)當(dāng)只有論文本身的學(xué)術(shù)質(zhì)量這唯一的影響因素。評(píng)議人的態(tài)度和觀點(diǎn)不應(yīng)受到被評(píng)議人的身份、地位以及與評(píng)議人的關(guān)系的社會(huì)關(guān)系因素的影響。就客觀性而言,被評(píng)議人的身份在評(píng)議的關(guān)鍵階段應(yīng)當(dāng)被隱去;就獨(dú)立性而言,評(píng)議人的身份在評(píng)議的關(guān)鍵階段應(yīng)當(dāng)被隱去,使得評(píng)議人可以沒(méi)有顧慮的評(píng)判。
3)有效性
由于傳統(tǒng)同行評(píng)級(jí)機(jī)制缺乏有效的激勵(lì)和監(jiān)督機(jī)制,導(dǎo)致評(píng)議專家返回的評(píng)議意見(jiàn)往往是形形色色,參差不齊的。而有效的評(píng)價(jià)應(yīng)當(dāng)具有鮮明的觀點(diǎn),意見(jiàn)具體而有針對(duì)性,明確指出論文的優(yōu)勢(shì)和缺陷。有效的評(píng)價(jià)對(duì)論文的作者和其他讀者都具有重要的參考價(jià)值。關(guān)于激勵(lì)機(jī)制在下文進(jìn)一步討論,關(guān)于監(jiān)督機(jī)制的一個(gè)有效的方式是在論文評(píng)議的關(guān)鍵階段結(jié)束后公開(kāi)評(píng)議人的身份,使其對(duì)自己的評(píng)議內(nèi)容負(fù)責(zé)。通過(guò)這種方式對(duì)評(píng)議人形成監(jiān)督壓力,一定程度確保評(píng)議的有效性。
4)準(zhǔn)確性
評(píng)議的目的就是選出好的論文,評(píng)議的準(zhǔn)確性應(yīng)當(dāng)是一條重要的原則。如何精確地體現(xiàn)出評(píng)議人的意見(jiàn)成為實(shí)施這條原則的關(guān)鍵。定量的評(píng)價(jià)可以“精確”地展示評(píng)議人對(duì)論文的評(píng)價(jià),但是參考2.2.1所分析的內(nèi)容,一部分網(wǎng)絡(luò)用戶在進(jìn)行評(píng)價(jià)時(shí)認(rèn)為文字性評(píng)論更能夠準(zhǔn)確表達(dá)自身的具體觀點(diǎn),因此可以采用定性定量相結(jié)合的方式進(jìn)行在線的論文評(píng)價(jià)。
5)透明化
在背景分析中提到,傳統(tǒng)同行評(píng)議機(jī)制存在缺陷的重要原因是公開(kāi)性問(wèn)題,由于專家評(píng)審意見(jiàn)不對(duì)作者公開(kāi),導(dǎo)致評(píng)價(jià)結(jié)果缺乏監(jiān)督、專家信息無(wú)法共享、不良專家無(wú)法規(guī)避、被評(píng)議人無(wú)法申辯等一系列問(wèn)題無(wú)法解決。在基于在線評(píng)分的預(yù)印本系統(tǒng)中,對(duì)評(píng)議的過(guò)程和評(píng)議結(jié)果進(jìn)行公開(kāi)化、透明化處理,在很小的成本下就可以解決上述問(wèn)題。
2.2.3 在線論文評(píng)分方法
基于以上5項(xiàng)原則,對(duì)預(yù)印本系統(tǒng)中自組織同行評(píng)議的在線論文評(píng)分方法進(jìn)行設(shè)計(jì),充分保證論文評(píng)議過(guò)程中的客觀公正以及論文評(píng)議后的實(shí)用和有效。
1)專家評(píng)議與普通評(píng)議相結(jié)合
以科學(xué)性原則為依據(jù),在線論文評(píng)分體系的評(píng)議人團(tuán)隊(duì)?wèi)?yīng)當(dāng)由專家和系統(tǒng)普通讀者用戶共同構(gòu)成,保證評(píng)分的專業(yè)性和民主。其中專家評(píng)議人與普通評(píng)議人的比例,以及兩者的評(píng)議結(jié)果在論文總評(píng)分中所占的比例應(yīng)當(dāng)進(jìn)行充分地調(diào)研和論證。
2)定性評(píng)價(jià)與定量評(píng)價(jià)相結(jié)合
以準(zhǔn)確性原則為依據(jù),在線論文評(píng)分體系應(yīng)當(dāng)提供定量評(píng)價(jià)和定性評(píng)價(jià)兩個(gè)渠道,線上評(píng)議人可以選擇其中一種進(jìn)行評(píng)價(jià)或者綜合兩種方式。通過(guò)情感分析的方法從定性評(píng)議結(jié)果自由文本中自動(dòng)挖掘評(píng)議人觀點(diǎn),形成定量的等級(jí)評(píng)分,王會(huì)珍[32]提出了基于內(nèi)容的等級(jí)評(píng)分模型。綜合定性和定量的評(píng)價(jià)核算論文的等級(jí)。
改進(jìn)的內(nèi)容等級(jí)評(píng)分模型的評(píng)分過(guò)程如下:首先定義一個(gè)序列((x1,y1),…,(xt,yt),…),其中xi表示一個(gè)特征向量,對(duì)應(yīng)一個(gè)文本性質(zhì)的評(píng)論稱作對(duì)象;yt表示評(píng)分制Y中的一個(gè)等級(jí)分?jǐn)?shù),Y={1,2,…,K}。接下來(lái)學(xué)習(xí)排序規(guī)則日,它是一個(gè)映射函數(shù),從對(duì)象映射到等級(jí)評(píng)分,即H:X→Y。在定性定量相結(jié)合的評(píng)價(jià)模型中:如果是定量評(píng)論,則排序規(guī)則日可用評(píng)價(jià)結(jié)果直接表示:如果是定性評(píng)價(jià),排序規(guī)則日需要重新定義,公式如下:
3)評(píng)審過(guò)程分階段
綜合考慮公正性原則和透明化原則,論文的評(píng)議應(yīng)當(dāng)分為關(guān)鍵階段及之后兩個(gè)環(huán)節(jié)。在論文評(píng)議的關(guān)鍵階段,需要對(duì)評(píng)議人和被評(píng)議人的身份進(jìn)行匿名處理,確保評(píng)議人在這一階段具有充足的空間做出客觀的、獨(dú)立的評(píng)價(jià)。在關(guān)鍵階段結(jié)束后,對(duì)評(píng)議結(jié)果進(jìn)行核算,計(jì)算出論文的最終等級(jí)并對(duì)優(yōu)秀論文頒發(fā)證書。此后該論文進(jìn)入公開(kāi)論文階段,將針對(duì)該論文進(jìn)行的全部評(píng)論實(shí)名展示在評(píng)論區(qū),供該論文的全部讀者公開(kāi)參考和監(jiān)督。這種雙盲評(píng)議與公開(kāi)評(píng)議相結(jié)合的方式能夠有效地彌補(bǔ)傳統(tǒng)同行評(píng)議在實(shí)施過(guò)程中面臨的矛盾和困境,彌補(bǔ)傳統(tǒng)同行評(píng)議機(jī)制的不足,而在線論文評(píng)分模式能夠在兩種評(píng)議模式之間靈活切換得益于在線科研背景下預(yù)印本系統(tǒng)的技術(shù)優(yōu)勢(shì),使得這種切換不僅沒(méi)有高昂的成本,而且能夠確保讀者試試獲取評(píng)論內(nèi)容。
2.3 用戶激勵(lì)機(jī)制
用戶激勵(lì)機(jī)制是預(yù)印本系統(tǒng)同行評(píng)議模式運(yùn)行的動(dòng)力,通過(guò)設(shè)置激勵(lì)機(jī)制能夠充分調(diào)動(dòng)系統(tǒng)用戶(包括作者和讀者雙方)的積極性,參與到及時(shí)、公正的互相評(píng)議中,保證用戶評(píng)議的速度和質(zhì)量,進(jìn)一步實(shí)現(xiàn)對(duì)預(yù)印本系統(tǒng)中論文的質(zhì)量控制。為了設(shè)計(jì)一套科學(xué)、有效的激勵(lì)機(jī)制,需要從理論基礎(chǔ)、用戶參與動(dòng)機(jī)分析以及激勵(lì)方式幾個(gè)角度展開(kāi)論述。
2.3.1 理論基礎(chǔ)
設(shè)計(jì)用戶激勵(lì)機(jī)制的重要理論基礎(chǔ)是激勵(lì)理論。激勵(lì)理論的目的是研究如何調(diào)動(dòng)人的積極性,按照研究層面不同,激勵(lì)理論可以分為內(nèi)容型激勵(lì)理論、過(guò)程型激勵(lì)理論、行為后果理論和綜合刺激理論[22]。內(nèi)容型激勵(lì)理論致力于找出促使研究對(duì)象積極工作的具體因素,即研究人的需要以及如何滿足人的需要,故稱為需要理論,代表學(xué)派有馬斯洛需要層次理論、赫茲伯格雙因素理論、阿爾德夫的ERG理論和麥克萊蘭的成就需要理論,其中最有代表性的是馬斯洛的需要層次理論。
預(yù)印本系統(tǒng)面向廣大的科研工作者和科研機(jī)構(gòu)的管理者,想要吸引廣大的用戶參與到預(yù)印本系統(tǒng)的使用和建設(shè)中來(lái),就需要了解知識(shí)背景下學(xué)術(shù)界用戶的參與動(dòng)機(jī)。用戶在預(yù)印本系統(tǒng)中投入時(shí)間和精力,就渴望獲得與其投入相匹配回報(bào),這種公平感是用戶對(duì)自我資源的投入和收益對(duì)比之后,在內(nèi)心產(chǎn)生的一種主觀感受。因此出于這種公平感的追求,用戶在參與預(yù)印本系統(tǒng)的上傳論文和評(píng)論社區(qū)時(shí)產(chǎn)生一種參與動(dòng)機(jī),進(jìn)一步在激勵(lì)機(jī)制的驅(qū)使下將這種動(dòng)機(jī)轉(zhuǎn)化為具體的參與行為,從而不斷增強(qiáng)用戶的依賴感和忠誠(chéng)度[23]。因此本文借鑒內(nèi)容型激勵(lì)理論,根據(jù)需要層次理論分析用戶的需求和參與動(dòng)機(jī),從而實(shí)現(xiàn)對(duì)預(yù)印本系統(tǒng)用戶的激勵(lì)作用。
2.3.2 用戶參與動(dòng)機(jī)分析
預(yù)印本系統(tǒng)用戶激勵(lì)機(jī)制的目的通過(guò)合理的激勵(lì)方式調(diào)動(dòng)科研工作者的積極性,參與預(yù)印本系統(tǒng)的論文提交和評(píng)論中,作者向預(yù)印本系統(tǒng)積極的提交最新的研究成果,讀者在系統(tǒng)中做出高質(zhì)量及時(shí)的學(xué)術(shù)評(píng)價(jià)。在預(yù)印本系統(tǒng)的運(yùn)行架構(gòu)中,可以看出激勵(lì)機(jī)制的主體是預(yù)印本系統(tǒng),客體包括論文作者和論文讀者,因此激勵(lì)機(jī)制的模型如下:
I→Max(U(PS),U(W,R)) (2)
其中,表示激勵(lì)機(jī)制Incentive.PS表示預(yù)印本系統(tǒng)Preprint System,W表示論文作者Writer,R表示論文讀者。U表示發(fā)揮出參與主體的效用。
預(yù)印本系統(tǒng)沒(méi)有的到科研工作者廣泛認(rèn)可的主要有以下原因:
一方面學(xué)者發(fā)布的包括論文在內(nèi)的各類各項(xiàng)學(xué)術(shù)成果,渴望得到同領(lǐng)域研究者或整個(gè)學(xué)術(shù)界的認(rèn)可。在學(xué)術(shù)成果中凝結(jié)了作者的大量的時(shí)間、經(jīng)濟(jì)、精力和智力成本,因此渴望得到相應(yīng)的回報(bào),或經(jīng)濟(jì)回報(bào)或認(rèn)可度與知名度的回報(bào)。沒(méi)有適當(dāng)?shù)幕貓?bào),作者沒(méi)有興趣在預(yù)印本系統(tǒng)中中長(zhǎng)期保持積極狀態(tài)。
另一方面,讀者使用預(yù)印本系統(tǒng)渴望在其中捕捉學(xué)術(shù)研究最前沿的方向,閱讀最新的高質(zhì)量、高水平的文章。然而大部分讀者不愿參與到論文評(píng)價(jià)中,一是需要付出時(shí)間成本但沒(méi)有得到相應(yīng)的回報(bào);二是受人際關(guān)系等影響,擔(dān)心評(píng)價(jià)后自己的身份信息泄露。這成為限制讀者參與論文評(píng)論的主要原因。
基于上述原因的分析,可以討論預(yù)印本系統(tǒng)用戶具有以下的特性:
1)個(gè)體理性:用戶渴望將論文發(fā)布到預(yù)印本系統(tǒng)相對(duì)于發(fā)布在傳統(tǒng)期刊付出更小的成本但收獲不低于傳統(tǒng)期刊的學(xué)術(shù)認(rèn)可與回報(bào)。
2)不確定性:評(píng)議者給出的評(píng)價(jià)水平與其認(rèn)知能力有關(guān),無(wú)監(jiān)督的情況下評(píng)價(jià)結(jié)果受其主觀感受的影響。
3)社會(huì)屬性:評(píng)議者作為社會(huì)人,從事的活動(dòng)受到其社會(huì)關(guān)系的影響,在信息不對(duì)稱的條件下可能發(fā)生濫用稿件篩選權(quán)力的情況。
對(duì)主體行為作出基本假定后,預(yù)印本平臺(tái)可以通過(guò)有效的激勵(lì)機(jī)制,保障論文作者和讀者的權(quán)利和義務(wù)對(duì)等,激勵(lì)用戶在預(yù)印本平臺(tái)提交論文并積極參與評(píng)議,在確保作者用戶和讀者用戶的利益最大化同時(shí),使得預(yù)印本平臺(tái)達(dá)到效用最大化。
2.3.3 激勵(lì)方式
在不同的情況下存在不同的激勵(lì)方式,達(dá)到的激勵(lì)作用也不盡相同。常見(jiàn)的激勵(lì)方式包括報(bào)酬支付激勵(lì)( Monetary Reward Incentive)、娛樂(lè)游戲激勵(lì)( Entertainment&Gamification Incentive)、社交關(guān)系激勵(lì)( Social Relation Incentive)、虛擬積分激勵(lì)( Virtual Credit Incentive)和混合方式激勵(lì)[24]。
報(bào)酬支付激勵(lì)( Monetary Reward Incentive)主要依據(jù)拍賣模型,以微支付的方式向贏標(biāo)者支付報(bào)酬,回報(bào)參與者做出的貢獻(xiàn),激勵(lì)更多的用戶參與完成系統(tǒng)發(fā)布的任務(wù)。這種激勵(lì)機(jī)制適合競(jìng)標(biāo)賽類型的系統(tǒng)任務(wù),例如科學(xué)工作者競(jìng)爭(zhēng)科研資助項(xiàng)目時(shí)使用。娛樂(lè)游戲激勵(lì)( Entertainment&Camifica-tion Incentive)是指安排激勵(lì)對(duì)象參與游戲,通過(guò)設(shè)置游戲等級(jí)排名、游戲人物、虛擬積分和趣味性激勵(lì)參與者。鑒于預(yù)印本系統(tǒng)的用戶為科研工作者,除去繁重的科研任務(wù)還需要承擔(dān)大量非學(xué)術(shù)性工作,游戲激勵(lì)的方式耗費(fèi)較多的時(shí)間和精力,不適合本情景。社交關(guān)系激勵(lì)( Social Relation Incen-tive)是指促進(jìn)激勵(lì)對(duì)象形成社交網(wǎng)絡(luò)來(lái)激勵(lì)其在系統(tǒng)任務(wù)中的參與積極性。線上社交是線下真實(shí)世界社交關(guān)系的延伸,而在真實(shí)世界中系統(tǒng)參與者是充分關(guān)注自身社會(huì)地位、個(gè)人成就和行業(yè)認(rèn)可的,因此可以利用激勵(lì)對(duì)象在社交網(wǎng)絡(luò)中的相互影響,調(diào)動(dòng)起積極性和主動(dòng)性。在本文中可以借鑒這種激勵(lì)方式來(lái)提高讀者提交評(píng)論的質(zhì)量。虛擬積分激勵(lì)( Virtual C redit Incentive)是指讓激勵(lì)對(duì)象通過(guò)不斷賺取激勵(lì)積分換取其他獎(jiǎng)勵(lì),從而達(dá)到激勵(lì)目的。它不是直接支付報(bào)酬,在積累積分的過(guò)程中激勵(lì)對(duì)象往往獲得心理滿足,有實(shí)現(xiàn)自我價(jià)值的榮譽(yù)感,從而實(shí)現(xiàn)對(duì)激勵(lì)對(duì)象的引導(dǎo)和激勵(lì),增加用戶粘性。虛擬積分機(jī)制具有較強(qiáng)的靈活性,可以根據(jù)預(yù)印本系統(tǒng)用戶的參與動(dòng)機(jī)靈活設(shè)置積分項(xiàng)。同時(shí)結(jié)合社會(huì)關(guān)系激勵(lì)方式,能夠達(dá)到預(yù)印本系統(tǒng)激勵(lì)機(jī)制的預(yù)期。
3 基于虛擬積分的激勵(lì)機(jī)制設(shè)計(jì)
積分概念產(chǎn)生于高等數(shù)學(xué)領(lǐng)域,現(xiàn)已擴(kuò)展成為一種有效的管理手段。系統(tǒng)設(shè)計(jì)一套積分體系用于記錄和展示參與者對(duì)系統(tǒng)活動(dòng)的參與程度和系統(tǒng)任務(wù)的完成情況。在本文提出的預(yù)印本網(wǎng)站的自組織同行評(píng)議模式中,積分體系用來(lái)衡量系統(tǒng)用戶(包括作者和讀者)的貢獻(xiàn),在一定程度上可以反映用戶在相關(guān)研究領(lǐng)域的學(xué)術(shù)成就和地位。積分體系同時(shí)與用戶等級(jí)和物質(zhì)報(bào)酬對(duì)應(yīng),能夠充分激勵(lì)用戶積極性。李青通過(guò)對(duì)移動(dòng)學(xué)習(xí)領(lǐng)域積分機(jī)制的研究發(fā)現(xiàn),可以將積分分成有價(jià)積分和經(jīng)驗(yàn)積分兩類。前者是指積分的可消費(fèi)性,有價(jià)積分隨著消耗減少;后者代表用戶的成長(zhǎng)過(guò)程,是用戶的參與度與貢獻(xiàn)量的直接體現(xiàn)[25]。搭建一個(gè)積分激勵(lì)體系一般由三部分組成:積分項(xiàng)目設(shè)計(jì)、積分總量計(jì)算和等級(jí)系數(shù)折算[26]。
3.1 積分項(xiàng)目設(shè)計(jì)
積分項(xiàng)目設(shè)計(jì)是積分激勵(lì)機(jī)制設(shè)計(jì)中明確積分來(lái)源的關(guān)鍵,是積分體系設(shè)計(jì)的難點(diǎn),應(yīng)當(dāng)遵循以下原則:1)以貢獻(xiàn)為導(dǎo)向原則;2)合理有效且具有代表性原則;3)全面評(píng)價(jià)原則。“以貢獻(xiàn)為導(dǎo)向原則”就是說(shuō)所有最終納入到體系中的積分項(xiàng)必須是能夠促進(jìn)預(yù)印本平臺(tái)效用最大化的關(guān)鍵指標(biāo),必須是能夠體現(xiàn)用戶行為貢獻(xiàn)的核心指標(biāo)?!昂侠碛行揖哂写硇栽瓌t”是指積分項(xiàng)應(yīng)當(dāng)能充分體現(xiàn)預(yù)印本用戶的主體參與活動(dòng)與預(yù)印本平臺(tái)發(fā)展訴求之間的緊耦合關(guān)系,是具有廣泛代表性的用戶貢獻(xiàn)?!叭嬖u(píng)價(jià)原則”是指積分項(xiàng)應(yīng)當(dāng)涵蓋用戶對(duì)預(yù)印本平臺(tái)貢獻(xiàn)的全部?jī)?nèi)容,綜合體現(xiàn)用戶的參與程度,充分調(diào)動(dòng)用戶的主觀能動(dòng)性。
預(yù)印本系統(tǒng)的注冊(cè)用戶在系統(tǒng)中具有雙重身份,在提交論文時(shí)為作者,在下載、閱讀和評(píng)論時(shí)為讀者。因此考量用戶的貢獻(xiàn)也應(yīng)當(dāng)從這兩個(gè)角度出發(fā),分別設(shè)計(jì)積分項(xiàng)。作者貢獻(xiàn)又可分為論文提交量和論文等級(jí)兩個(gè)維度:論文的提交量越多,表明用戶從事科研的積極性越高,且對(duì)預(yù)印本系統(tǒng)的信任和依賴性越強(qiáng);論文等級(jí)是對(duì)論文質(zhì)量的考核,從前面討論的論文評(píng)分模型中獲取,論文等級(jí)越高表明作者的科研水平越高。讀者的貢獻(xiàn)也可以從評(píng)論數(shù)量和評(píng)論質(zhì)量?jī)蓚€(gè)維度考量:讀者發(fā)表的評(píng)論越多表明在花費(fèi)了較多的時(shí)間和精力參與預(yù)印本平臺(tái)的使用和維護(hù);評(píng)論質(zhì)量可以表明讀者在發(fā)表評(píng)論時(shí)的態(tài)度和在相關(guān)領(lǐng)域的認(rèn)知能力和水平,具體的積分項(xiàng)設(shè)計(jì)如圖5所示。
讀者的評(píng)論質(zhì)量下進(jìn)一步設(shè)計(jì)5個(gè)二級(jí)積分項(xiàng),分別是評(píng)論字?jǐn)?shù)、反饋條數(shù)、反饋?zhàn)謹(jǐn)?shù)、評(píng)論意見(jiàn)采納度和評(píng)論結(jié)果準(zhǔn)確度,如圖6所示。評(píng)論字?jǐn)?shù)、是否追評(píng)、追評(píng)條數(shù)和字?jǐn)?shù)都可以體現(xiàn)讀者的工作量和評(píng)議態(tài)度。評(píng)論意見(jiàn)采納度指作者是否采納讀者的評(píng)論意見(jiàn)或是否申辯,該積分項(xiàng)可以刻畫讀者評(píng)價(jià)的有效性,對(duì)作者是否具有參考價(jià)值。評(píng)議結(jié)果準(zhǔn)確度根據(jù)單個(gè)作者的評(píng)分和定級(jí),在論文評(píng)議關(guān)鍵階段結(jié)束后定級(jí)是否一致,該積分項(xiàng)可以考察評(píng)議者的專業(yè)性和認(rèn)知水平。
3.2 積分總量計(jì)算
積分總量應(yīng)當(dāng)按照上一日的積分總量以及當(dāng)日提交的論文和評(píng)論總量進(jìn)行核算。計(jì)算該積分總量的目的是使用戶積分與預(yù)印本系統(tǒng)的發(fā)展水平緊密掛鉤,計(jì)算公式如下:
3.3 等級(jí)系數(shù)折算
等級(jí)系數(shù)折算主要用于依據(jù)積分對(duì)用戶的等級(jí)進(jìn)行調(diào)整,識(shí)別預(yù)印本系統(tǒng)中的專家用戶和普通用戶,對(duì)于用戶的參與行為和主觀能動(dòng)性具有很大的激勵(lì)作用。主要的思路是按照用戶的表現(xiàn)進(jìn)行評(píng)分,然后將該等級(jí)評(píng)估分值與最低等級(jí)評(píng)估分值之比作為等級(jí)系數(shù)。在宏觀上將用戶等級(jí)劃分為專家和普通。普通用戶又可以劃分為活躍、積極和潛水來(lái)映射用戶的參與程度,對(duì)普通用戶等級(jí)的評(píng)定從作者角度和讀者角度設(shè)置了兩條積分下限,綜合考量普通用戶的系統(tǒng)行為,全面激勵(lì)普通用戶在系統(tǒng)的參與活動(dòng)。專家用戶分為3類,基礎(chǔ)的科研專家、評(píng)論專家,以及綜合的高級(jí)專家。這是考慮到用戶使用預(yù)印本系統(tǒng)的目的不同,部分科研工作者將預(yù)印本系統(tǒng)作為快速論文發(fā)布平臺(tái),在相關(guān)研究領(lǐng)域占據(jù)首發(fā)權(quán),因此作者積分很高,但是一些尖端的學(xué)者可能沒(méi)有過(guò)多的精力投入到系統(tǒng)的評(píng)論工作中,將這類專家劃定為科研專家,主要設(shè)置作者積分下限。另外一類用戶主要使用預(yù)印本平臺(tái)進(jìn)行文獻(xiàn)和數(shù)據(jù)的采集,他們與系統(tǒng)的交互過(guò)程主要以讀者的身份進(jìn)行,在論文的評(píng)論中承擔(dān)大量的工作,但是他們不一定在預(yù)印本系統(tǒng)中發(fā)表了很多論文,這部分用戶劃定為評(píng)論專家,只要設(shè)置讀者積分下限。還有一類用戶,他們綜合能力很強(qiáng),在專業(yè)領(lǐng)域的科研工作能力和認(rèn)知評(píng)議水平都很高,這類用戶被劃定為高級(jí)專家,同時(shí)設(shè)置作者和讀者積分下限。等級(jí)折算表如表5所示,通過(guò)核算出的等級(jí)系數(shù)可以發(fā)現(xiàn),專家和普通用戶在積分上具有一定鴻溝,若想從普通用戶升級(jí)為專家用戶需要經(jīng)過(guò)長(zhǎng)期的積累,還要具備較高的學(xué)術(shù)素養(yǎng)。因此這一套積分等級(jí)管理體積具有較強(qiáng)的激勵(lì)效力,能夠充分促進(jìn)用戶的主觀能動(dòng)性。
4 結(jié)論與展望
隨著技術(shù)的發(fā)展,在線科研逐漸成為科研人員開(kāi)展科研工作的主流形式,推動(dòng)著學(xué)術(shù)交流和出版的改進(jìn)和變革。預(yù)印本憑借交流速度快、利于學(xué)術(shù)爭(zhēng)鳴、可靠性高等特點(diǎn),逐漸走進(jìn)科研人員的視野,這種以學(xué)界自治為基礎(chǔ)的學(xué)術(shù)交流模式正在快速發(fā)展。雖然預(yù)印本系統(tǒng)可以彌補(bǔ)傳統(tǒng)出版模式存在的論文發(fā)布周期長(zhǎng)、很少免費(fèi)向公眾提供服務(wù)等缺陷,但是傳統(tǒng)期刊出版模式采用的同行評(píng)議制度存在評(píng)審過(guò)程不夠透明、評(píng)議結(jié)果不夠公正、對(duì)評(píng)議者缺乏激勵(lì)的問(wèn)題尚未解決。本文在王凌峰提出的自組織同行評(píng)議模式基礎(chǔ)上,詳細(xì)的設(shè)計(jì)了在線論文評(píng)分模型和虛擬積分激勵(lì)機(jī)制,改進(jìn)傳統(tǒng)同行評(píng)議在評(píng)議模式、公開(kāi)程度、評(píng)議專家激勵(lì)方面存在的缺陷。相對(duì)于傳統(tǒng)同行評(píng)議模式,應(yīng)用于預(yù)印本平臺(tái)的自組織同行評(píng)議模式具有以下優(yōu)勢(shì):
1)評(píng)議結(jié)果更加客觀公正
在線的論文評(píng)分模型通過(guò)論文分階段評(píng)審,在關(guān)鍵階段采取雙盲評(píng)議,關(guān)鍵階段后將作者和評(píng)議人的身份公開(kāi),這種方式能夠充分保證評(píng)議人在評(píng)審過(guò)程中做出客觀公正的決策,在評(píng)議后的公開(kāi)機(jī)制又能確保評(píng)議人對(duì)發(fā)布的評(píng)論負(fù)責(zé),因此保證評(píng)論質(zhì)量。
2)評(píng)議過(guò)程更加公開(kāi)透明
在評(píng)議的全過(guò)程中,評(píng)議人的評(píng)論都在線評(píng)論并將評(píng)論結(jié)果上傳到論文的評(píng)論區(qū),包括作者在內(nèi)的全部讀者都可以實(shí)時(shí)查看讀者的評(píng)論(盡管論文關(guān)鍵評(píng)議階段這些評(píng)論是匿名的,但是不影響評(píng)論本身的參考價(jià)值)。這種公開(kāi)透明的評(píng)議模式可以充分保證論文評(píng)議有依據(jù)、可申辯,彌補(bǔ)了傳統(tǒng)評(píng)議模式由于信息不對(duì)稱導(dǎo)致作者和編輯、評(píng)議專家之間的信息鴻溝。
3)對(duì)評(píng)議人實(shí)施激勵(lì)監(jiān)督
基于虛擬積分的激勵(lì)機(jī)制一方面對(duì)系統(tǒng)用戶進(jìn)行激勵(lì),發(fā)揮預(yù)印本系統(tǒng)中用戶參與的積極性;另一方面對(duì)評(píng)議人進(jìn)行反評(píng)估,用戶的積分和等級(jí)一定程度反映用戶作為評(píng)議人的能力和水平,幫助系統(tǒng)辨識(shí)評(píng)議專家,實(shí)現(xiàn)了對(duì)預(yù)印本系統(tǒng)評(píng)議人的激勵(lì)與監(jiān)督。
在線論文評(píng)分模型和虛擬積分激勵(lì)機(jī)制兩個(gè)制度相互依靠,相互促進(jìn),充分調(diào)動(dòng)用戶的積極性并實(shí)現(xiàn)對(duì)論文內(nèi)容的實(shí)質(zhì)性審查和質(zhì)量控制,為預(yù)印本平臺(tái)健康、穩(wěn)定的運(yùn)行提供動(dòng)力和保證。本文在自組織同行評(píng)議模式基礎(chǔ)上提出的這兩套輔助機(jī)制更好地完善了同行評(píng)議機(jī)制,為開(kāi)放科研環(huán)境下預(yù)印本系統(tǒng)的質(zhì)量控制提供重要參考,是對(duì)新學(xué)術(shù)評(píng)價(jià)模式的重要補(bǔ)充,具有較大的應(yīng)用價(jià)值。由于篇幅的限制,本文對(duì)于評(píng)分模型中用戶評(píng)分的不一致性處理方式,還有激勵(lì)機(jī)制的積分轉(zhuǎn)化模式未做詳細(xì)的討論,這將是本文的后續(xù)研究工作。
參考文獻(xiàn)
[1] Ginsparg P.It Was Twentv Years Ago Today [EB/OL]. https://arxiv.org/ abs/1 108.2700,
2019-03-30.
[2]方向明,董文鴛,國(guó)內(nèi)外著名學(xué)科預(yù)印本系統(tǒng)評(píng)析[J].農(nóng)業(yè)圖書情報(bào)學(xué)刊,2008,(1):96-98.
[3]張智雄,黃金霞,王穎,等.國(guó)際預(yù)印本平臺(tái)的主要發(fā)展態(tài)勢(shì)研究[J].數(shù)字圖書館論壇,2017,(10):2-7.
[4] Boldt A.Extending ArXiv. org to Achieve Open Peer Review andPublishing[J]. Journal of Scholarly Publishing, 2011, 42 (2):238-242.
[5]王凌峰,孫英潮.E-prints預(yù)印本數(shù)據(jù)庫(kù)的自組織同行評(píng)議模式設(shè)計(jì)[J].現(xiàn)代情報(bào),2016,36 (5):9-15.
[6]丁筠,預(yù)印本網(wǎng)站的興起給學(xué)術(shù)期刊帶來(lái)的啟示[J].編輯學(xué)報(bào),2018, 30 (2): 145-147.
[7] Wamer S.Open Archives Initiative Protocol Development and Im-plementation at arXiv[J].arXiv Preprint cs/0101027, 2001.
[8] Cordon G.SSRNThe Leading Social Science and Humanities Re-pository and Online Community - joins Elsevier[ EB/OL].ht-tps: //www.elsevier. com/connecU ssm - the - leading - social - sci-ence-and- humanities - repository - and - online - community -joins -elsevier。2019-03-30.
[9] Callaway E.BioRxiv Preprint Server Gets Cash Boost from ChanZuckerherg Initiative[ EB/OL]. https://www. nature. com/news/biorxiv-preprint-server-gets- cash -boost -from - chan -zuckerberg-initiative- 1.21894.
2019-03- 30.
[10] ACS. ChemRxivTM Beta Open for Submissions and Powered ByFigshare[ EB/OL]. https://www. acs. org/content/acs/en/press-room/newsreleases/2017/august/chemrxiv-beta-open -for- submis-sions-and-powered-by-figshare.html, 2019-03-30.
[11] Eysenbach G.The Impact of Preprint Servers and Electronic Pub-lishing on Biomedical Research[J]Current Opinion in Immunol-ogy, 2000,( 12): 499-503.
[12] Warr W A.Evaluation of an Experimemal Chemistry PreprimServer[J]. Journal of Chemical In~ormation and Computer Sci-ences, 2003, 43 (2): 362-373.
[13]國(guó)家自然科學(xué)基金項(xiàng)目管理規(guī)定(試行)[J].中國(guó)科學(xué)基金,2003, (3):62-64.
[14]陳進(jìn)壽,從人際關(guān)系談同行評(píng)議制的改進(jìn)[J].中國(guó)科學(xué)基金,2002, (3):56-58.
[15]郭碧堅(jiān),韓宇,趙艷梅,同行評(píng)議中的“名人效應(yīng)”[J].科技導(dǎo)報(bào),1994. (7):47-49.
[16] Sruith R Peer Review:A Flawed Process at the Hean of Scienceand Joumals[ J]. Joumal of the Royal Society of Medicine,2006. 99 (4):178-182.
[17]侯志江.arXiv預(yù)印本服務(wù)研究及啟示[J].圖書館工作與研究,2019,(2):47-54.
[18]郭碧堅(jiān),韓宇,同行評(píng)議制一一方法、理論、功能、指標(biāo)[J].科學(xué)學(xué)研究,1994, (3):63-73,2.
[19]邱均平,余厚強(qiáng).替代計(jì)量學(xué)的提出過(guò)程與研究進(jìn)展[J].圖書情報(bào)工作,2013, 57 (19):5-12.
[20]胡俠.C2C電子商務(wù)信用評(píng)價(jià)方法探析——對(duì)比Ehay與淘寶[J].大眾標(biāo)準(zhǔn)化,2010. (1):35-39.
[21]王會(huì)珍,朱靖波.多維度等級(jí)評(píng)分模型優(yōu)化技術(shù)[J].軟件學(xué)報(bào),2013, 24(7):1545-1556.
[22]郭惠容.激勵(lì)理論綜述[J]企業(yè)經(jīng)濟(jì),2001,(6):32-34.
[23]黃敏,都平平.Lib2.O用戶參與激勵(lì)機(jī)制初探[J].國(guó)家圖書館學(xué)刊,2010, 19(2):60-65.
[24]吳垚,曾菊儒,彭輝,等.群智感知激勵(lì)機(jī)制研究綜述[J].軟件學(xué)報(bào),2016, 27(8):2025-2047.
[25]李青,李瑩瑩,移動(dòng)學(xué)習(xí)應(yīng)用中積分激勵(lì)機(jī)制設(shè)計(jì)[J].北京郵電大學(xué)學(xué)報(bào):社會(huì)科學(xué)版,2018, 20 (3):104-112.
[26]杭晨捷,孫旭.積分管理在人才激勵(lì)應(yīng)用中的研究與分析[J].中國(guó)人力資源開(kāi)發(fā),2015, (2):38-47.
(責(zé)任編輯:孫國(guó)雷)
收稿日期:2019-08-15
基金項(xiàng)目:國(guó)家社會(huì)科學(xué)基金后期資助項(xiàng)目“面向國(guó)家安全的情報(bào)研究”(項(xiàng)目編號(hào):18FTQ005);國(guó)家社會(huì)科學(xué)基金青年項(xiàng)目“意義構(gòu)建視野下安全情報(bào)的弱信號(hào)研究”(項(xiàng)目編號(hào):15CTQ032)。
作者簡(jiǎn)介:石進(jìn)(1976-),男,副教授,博士,研究方向:情報(bào)學(xué)、大數(shù)據(jù)分析。苗杰(1995 -),女,碩士研究生,研究方向:競(jìng)爭(zhēng)情報(bào)與大數(shù)據(jù)分析。李明(1970-),女,副教授,博士,研究方向:學(xué)術(shù)評(píng)價(jià)與科學(xué)計(jì)量。