同行評議質量控制方法研究進展

盛怡瑾　初景利

[摘 要] 為了解同行評議質量控制方法的研究現(xiàn)狀，本文定義了同行評議質量，并對質量問題進行分類，同時使用文獻調研法和網(wǎng)站調研法梳理并歸納相關研究。結果表明，雖然研究者對提高準確性、增強公平性、保持一致性、控制時間、增強評價和關注成本的方法進行了一定探索，但目前對方法的研究還處于探討階段，仍存在一些空白和問題。同時可以看到，控制方法正逐漸從定性轉向定量，在同行評議中設置質量控制點，提前選取正確方法并在實施中加以監(jiān)督可有效提升整個流程的可控性。

[關鍵詞] 同行評議 質量 控制方法

[中圖分類號] G230 [文獻標識碼] A [文章編號] 1009-5853 （2018） 05-0046-08

[Abstract] In order to understand the recent researches of peer review quality control methods， this paper defines the quality of peer review and classifies quality issues. At the same time， literature research and website survey methods are used to sort out and summarize the relevant research. Results show that although researchers have explored ways to improve accuracy， enhance fairness， maintain consistency， control time， enhance evaluation， and pay attention to cost， research on methods is still in the discussion stage. There are still some gaps and problem. And it can be seen that the control method is gradually shifting from qualitative to quantitative study. Setting quality control points in peer review， selecting the correct method in advance and supervising it during implementation can effectively improve the controllability of the entire process.

[Key words] Peer review Quality Control method

同行評議是科學界確保學術出版物質量的基本過程[1][2]，其雛形出現(xiàn)在17世紀中葉英國皇家學會期刊《哲學會刊》（The Philosophical Transactions of the Royal Society）的論文評審中，1731年首次出版的《醫(yī)學散文與觀察》（Medical Essays and Observations）正式介紹我們今天所知的同行評議過程[3][4]。同行評議沿用至今，一直被視為匯聚專家智慧、識別重要思想、更正研究錯誤、確保研究團隊獲得更大團隊知識和支持的重要方法和可靠工具[5][6]。Ma [7]認為，同行評議的兩個關鍵功能是通過判斷作品有效性、重要性及原創(chuàng)性過濾出好的研究成果以待發(fā)表；通過審稿人評審建議提高稿件質量。斯庫茨尼（Squazzoni）等[8]也認為同行評議具有篩選和促進知識生成的雙重功能?？梢?，同行評議主要承擔控制和提高期刊文章質量的職責，扮演著“科學的守門人”的角色[9][10]。雖然學界對同行評議存在問題及缺陷已討論多年，但近年來，隨著一系列撤稿事件的集中爆發(fā)[11]及“同行評議造假”或“同行評議欺詐”作為新的學術不端行為愈演愈烈[12][13][14][15][16][17]，人們對同行評議質量的關注、質疑和研究熱度更甚以往。如果科技期刊難以保證同行評議的質量，也就難以保證期刊質量乃至科學質量。對同行評議進行質量控制能夠有效把控和提高同行評議質量。目前的文獻沒有提到過“同行評議質量控制方法”這個術語，也沒有對提高同行評議質量的方法進行系統(tǒng)梳理，因此本文欲從質量定義出發(fā)，系統(tǒng)梳理和歸納相關方法，闡述同行評議質量控制方法的研究進展，以便為研究和實踐提供參考。

1 同行評議質量定義

同行評議質量似乎是一個簡單概念，在諸多文獻中無需定義即可被理解，但深究之下卻非常模糊和復雜，每個人所理解的“質量”的具體涵義和范圍都有差異。為有效梳理目前有關同行評議質量控制方法的研究，必須先明確同行評議質量的內涵。從廣義上講，質量不僅包括產(chǎn)品質量，還有過程質量和體系質量[18]。同行評議可被看作一個過程或者一種體系，因此可以定義其質量。一般地，質量是指一組固有的特性滿足要求的程度，此處的“特性”指可以區(qū)分的特征，“要求”指“明示的、通常隱含的或必須履行的需求或期望”，包含法律法規(guī)要求、合同規(guī)定、顧客提出、各相關方慣例等[19]。現(xiàn)代質量觀認為，質量包含了產(chǎn)品的專用特性、通用特性（可靠、維修、保障、安全、測試）、經(jīng)濟性、時間性、適應性等方面，是產(chǎn)品滿足使用要求的特性總和[20]。也有學者認為質量特性包括性能、可信性、安全性、經(jīng)濟性和壽命性[21]。本文認為同行評議質量指同行評議系統(tǒng)或過程的固有特性滿足要求的程度。這里的特性包括稿件評審特性（準確性、公平性、一致性）、時間性（審稿時間、其他時間），經(jīng)濟性（人力成本、平臺成本、使用成本等）、可評價性（可靠、維修、保障、安全、測試）。

2 同行評議質量問題分類

目前，學者們認為同行評議過程各階段和各方面都存在很多問題，解決和改進這些問題能夠提高質量。但很少有人注意到，這些質量問題往往被籠統(tǒng)提及，缺乏明確的歸類，因而限制了人們的深入理解和研究。本文根據(jù)同行評議質量特性分類，重新對質量問題進行劃分，以方便后續(xù)的討論和分析。

2.1 評審問題

評審問題是指審稿人對論文的評審無法滿足編輯部要求而產(chǎn)生的問題。包括審稿意見不準確、不公平和不一致。

不準確。審稿意見不準確指審稿人對稿件價值認識不確切，給出的評審意見無法反映稿件真實水平，也無法代表同行總體意見的情況。不準確的審稿意見會導致編輯部做出錯誤的錄用決定，對作者、編輯部及科學社區(qū)造成不良影響。而這種不準確源于審稿人自身能力不足，無法承擔起質量把控和篩選職責。審稿人研究細分方向不同、缺乏審稿經(jīng)驗、沒有責任心、不了解期刊要求和定位等都可能導致審稿意見不準確。

不公平。同行評議中，最受關注的就是不公平現(xiàn)象[22][23]。不公平是指因審稿人的偏見、歧視、利益沖突[24]、嫉妒心、打擊報復等心理導致稿件被不正當?shù)卦u價[25]、拖延等。不公平與不準確的區(qū)別是，不公平現(xiàn)象與審稿人的主觀意識有關，是審稿人有意的針對和區(qū)別對待，涉及人性，因此更加復雜，難以控制。而且不公平的操作具有隱蔽性，不容易被發(fā)現(xiàn)。

不一致。為了保證同行評議的結果具有代表性，期刊一般會請兩個以上專家對稿件進行評審。這種方式會產(chǎn)生兩種問題，一是所選出的專家審稿人能否代表所有同行意見，二是專家返回的意見不一致[26]。專家意見不一致的情況很普遍，需要編輯部花費更多精力去判斷稿件真正的水平和錄用與否。

2.2 時間問題

“科學的意義”（Sense About Science）2009年進行了一項調查，43%答復者認為同行評議耗時長，65%的作者表示一般3個月內才能收到同行評議結果[27][28]。2014年自然出版集團的調查中，超過70%回應者認為其經(jīng)常因同行評議所花費的時間而沮喪[29]。威利（Wiley）研究報告[30]分析2013年排名前12的出版商用在審稿上的時間發(fā)現(xiàn)，2013年它們共收到2432803篇文章，其中79%的文章需經(jīng)過評審，平均每篇文章花費5小時，總時間是22102015小時。由此可見，同行評議耗時問題不僅對作者產(chǎn)生困擾，也影響著出版商的出版流程和成本控制。此外，審稿前后發(fā)生的準備時間和決策時間，一樣影響同行評議流程和讀者對同行評議的滿意度。

2.3 評價問題

2016年8月，同行評議評價項目（Peer Review Evaluation，PRE）調查[31]顯示，91%讀者必須自己判斷一篇文章的可靠性，95%答復者希望同行評議過的文章有一個明確指標。但因為大多數(shù)同行評議都是期刊在后臺進行操作的[32]，因此相關數(shù)據(jù)無法獲得，評審過程無法驗證或認證[33]。每個編輯部的同行評議流程不盡相同，如何去評價同行評議是一個很大的問題，只有能夠對同行評議進行評價，才能夠將同行評議的效果量化，從而真正獲得讀者的信任。

2.4 成本問題

期刊在操作和選擇同行評議方式，控制和改進同行評議質量的過程中，會產(chǎn)生一定的成本，如人力成本、平臺成本等。在考慮同行評議質量時，不考慮這些成本是不實際的，只有在現(xiàn)有預算范圍內能達到的質量，才是符合實際的最佳質量。

3 質量控制方法研究進展

目前，還沒有文章明確提出“同行評議質量控制方法”這一術語，但實際上，許多文獻為解決上文歸納的各種同行評議質量問題，早已提出了若干方法，這些方法實質上加強了編輯部對同行評議質量的控制能力，因此可以被統(tǒng)一稱為同行評議質量的控制方法。本文從這一角度出發(fā)，對相關研究中提出的控制和提高同行評議質量、解決同行評議質量問題的方法進行梳理和總結，呈現(xiàn)同行評議質量控制方法的研究進展。有一些方法可能在實際中能滿足多種需求，如既能便于找到審稿人又可以節(jié)省審稿時間。為了便于歸納，本文只根據(jù)這種方法產(chǎn)生的主要目的和影響最大的特性進行分類。

3.1 提高準確性

使用科學方法，發(fā)現(xiàn)小同行。審稿人在同行評議過程中扮演主要角色，其審稿意見及結論深刻影響著文章錄用結果。找到熟悉文章研究領域的審稿專家能夠增強結果準確性。但實際上，領域專家的研究方向日益細化和交叉，且常隨熱點調整變化；互聯(lián)網(wǎng)在擴大審稿人范圍的同時使期刊對審稿人的深入了解和聯(lián)系變得困難，找到合適的審稿人十分不易。 “科學的意義”2009年調查顯示，61%審稿人在近一年中因不了解該領域而拒絕審稿邀請[34]，側面反映出編輯部在尋找審稿人時缺乏足夠了解。因此提高匹配精準性成為研究者探索的解決方法。常見的是引入科學計量學等方法發(fā)現(xiàn)小同行專家及其動態(tài)。如奧特加（Ortega）[35]采用科學計量學方法，探討同行評議認證平臺Publons注冊學者的同行評議措施及其在谷歌學術中文獻計量指標之間的相關性。朱偉珠等[36]使用領域本體、社會網(wǎng)絡分析和共詞分析等方法構建概念知識網(wǎng)絡，通過具有相同科學語境和科學概念體系的小科學共同體選取小同行審稿人。賀穎等[37]構建基于科學計量學的同行評議專家遴選系統(tǒng)。此外，劉丹等[38]提出利用主題地圖技術選擇小同行專家。劉倫剛[39]提出開發(fā)協(xié)同專家建庫，科學設計和使用學科專業(yè)預置分類表突破小同行審稿瓶頸。劉鳳華等[40]統(tǒng)計分析2011—2015年的期刊審稿記錄，對審稿專家做出評價和邀請建議。朱巖等[41]提出外審專家信息更新與維護策略。

了解專家心理，提高接受率和質量。找到正確的審稿人還不夠，讓審稿人接受邀請并做出符合要求的審稿意見才能真正提高準確性。一位負責威利諸多期刊的執(zhí)行主編說到，審稿人邀請到接受的轉化率在過去5年下降了至少5% [42]。隨著期刊和文章數(shù)量增加，領域專家收到的邀請很多[43]，會根據(jù)判斷進行取舍。但即使接受邀請，因其時間有限、責任心不強等原因影響審稿質量的情況也時有發(fā)生。因此通過調查和案例分析影響審稿人的因素，能夠有的放矢，提高邀請接受率和審稿質量。威利[44]對審稿人接受審稿邀請的動機和影響審稿人受邀決定的因素進行了調查和分析。李曉[45]通過問卷調查分析專家審稿質量影響因素。占莉娟[46]采用文獻法與邏輯推理法探究審稿動因。王俊麗等[47]介紹了《中國化學快報》選擇小同行專家的途徑和原則。蔡斐等[48]介紹了《航空學報》青年編委遴選條件、途徑與結果。

近年來，研究者視激勵和認可為提高接受率和質量的重要方法，但存在爭議。威利調查顯示，4/5審稿人認為被期刊及其機構認可的同行評議不足[49]，斯庫茨尼等[50]修改了“投資博弈”框架測試不同激勵計劃的效率，表明審稿人沒有物質激勵的現(xiàn)行模式最有效。湯普森（Thompson）等[51]以《農業(yè)與資源經(jīng)濟學期刊》（Journal of Agricultural and Resource Economics）為例，發(fā)現(xiàn)如果評審意見長度可以代表質量，那么有經(jīng)濟激勵時質量會變好。鐘琳等[52]依據(jù)扎根理論構建科技期刊外審專家審稿意愿模型，從而提出審稿專家激勵措施。孫力煒等[53]對比分析了國內外同行評議回報模式并給出建議。

進行審稿培訓，創(chuàng)新培訓形式。長期以來，審稿人是根據(jù)自身經(jīng)驗和認知對稿件進行評價，主觀性過強，易導致評審結果不準確。編輯部對審稿人的培訓重視不足、形式單一。有調查表明[54]，審稿人培訓的常見類型是指導方針（guidelines）（32%），全球出版?zhèn)惱砦瘑T會（COPE）道德指南（18%），來自監(jiān)管者（19%）或者同事（16%）的非正式培訓，只有極少部分受訪者表明參加過正式培訓?，F(xiàn)在，越來越多研究者認為培訓可以讓審稿人更加了解期刊要求和規(guī)范，掌握審稿技巧，提高審稿意見的質量，同時還可以培養(yǎng)更多年輕學者成為審稿人。鑒于49%審稿人同時審閱5本以上期刊[55]，培養(yǎng)新生力量可以極大緩解審稿人數(shù)量不足壓力，從而間接提高審稿質量。研究者對培訓形式和設計進行研究，施羅特（Schroter）等[56]按照三個階段對比了未接受培訓、面對面培訓和在家學習的審稿人審稿的錯誤率，發(fā)現(xiàn)一次性教育對質量影響不大，應該開發(fā)更多模式和縱向的培訓項目。威利調查表明審稿人在職業(yè)生涯早期和后期對培訓的需求不同[57]。張向誼[58]提出期刊可以在審稿邀請函中加入期刊介紹、評審信息和輔助完成評審的信息，審稿單不僅應考慮需要審稿人作出評價的各個方面，還要包括體現(xiàn)期刊特色的問題及審稿人發(fā)表自由評論的空間等信息，引導審稿人進行有效的同行評議。

3.2 增強公平性

同行評議不公平產(chǎn)生的最大原因是作者身份披露使審稿人產(chǎn)生偏見及審稿人身份不透明而無法監(jiān)測和約束其行為。根據(jù)作者和審稿人身份披露與否，同行評議產(chǎn)生了多種形式，因此對公平性的探索，體現(xiàn)在研究者對不同同行評議模式的研究上。

對單盲評審和雙盲評審的探討。早在1998年戈德里（Godlee）等[59]就按照是否知道作者信息、是否簽署評審報告及對照組將審稿人分為5組，檢驗評審意見異同，探究減少同行評議偏見和問責制的策略。希伯（Seeber）等[60]使用計算機科學會議論文調查分析作者身份揭示與否產(chǎn)生的影響，認為作者身份不是在所有領域都顯而易見，并表明該研究是否能為期刊所用，取決于作者身份在該領域被猜出的難易程度。巴登（Budden）等[61]對《行為生態(tài)學》（Behavioral Ecology）實施雙盲評議前后，及其他5種實施單盲評議的同領域期刊在同一時期作者性別比例變化統(tǒng)計分析發(fā)現(xiàn)，雙盲評議使女性為第一作者的論文比例有了顯著增加。一些調查[62][63]表明，受訪者對雙盲評議的支持率最高?！蹲匀坏厍蚩茖W雜志》（Nature Geoscience）在2012年的讀者調查[64]顯示，約75%回應者強烈或多少同意雙盲評議是好的想法。雖然單盲審比較流行，但確實雙盲評審中利益沖突和自我剽竊更難實現(xiàn)[65]。

對開放評議的探討。開放評議是一種全新的趨勢和模式，用來解決傳統(tǒng)模式中的不公平問題。加西亞（Garcia）等[66]研究了一種開放參與的同行評議模型，讓潛在審稿人在沒有邀請的情況下選擇審稿，結果審稿人均衡數(shù)量很少，評審意見很極端，結果很隨機。劉麗萍等[67]分析了開放評審的利弊。常唯等[68]對實行開放評議和雙盲評議的國際科技期刊進行案例分析，探索二者優(yōu)缺點及對科技期刊質量控制的價值。張春麗等[69]在分析同行評議的定義及現(xiàn)有模式基礎上，探討了科技期刊開放式同行評議的優(yōu)勢、劣勢、機遇和挑戰(zhàn)。鄭辛甜等[70]分析了公開同行評議的主要形式及其發(fā)展現(xiàn)狀和趨勢，為網(wǎng)絡公評系統(tǒng)的建立提供參考。汪挺等[71]探討了開放審稿的必要性及可行性。

對現(xiàn)有模式的比較。因為各種模式高下難分，因此研究者將其統(tǒng)一進行分析和對比，為期刊提供參考。赫爾南德斯（Hernandez）[72]對比分析了幾種同行評議模式的優(yōu)缺點?？送吣崴梗↘ovanis）等[73]使用代理人模型比較了同行評議系統(tǒng)與5種可替代系統(tǒng)的效率。評論《同行評議的危險》（The perils of peer review）提到[74]，同行評議模式：單盲審，雙盲審，開放評審（open），出版后評審甚至三盲審（triple-blind）中沒有最完美的辦法。

除此之外，通過科學方法建立回避模型也是不錯的解決方法，如雷雪等[75]探討了與同行評議回避相關的學術關系的抽取，并構建面向不同場景的回避評估模型。

3.3 保持一致性

審稿人意見與編輯決策呈很強正相關[76]，往往不同數(shù)量的審稿人對同一篇文章的反饋意見并不一致，給編輯決策帶來困難，降低同行評議質量。有研究者認為，同行評議可靠性差是因為審稿人之間一致性差[77]，鮑諾曼（Bornmann）等[78]通過元分析，量化地證實了這一點。審稿意見不一致不僅體現(xiàn)在清晰度、組織及相關性這些基本問題上，還會出現(xiàn)在方法與討論等核心問題上[79]。因此不一致對于同行評議質量的影響還是很大的。產(chǎn)生這種不一致的原因除了審稿人自身的經(jīng)驗和知識結構不同之外，還有審稿人對期刊及稿件要求的把握程度不同。目前研究者對于不一致的解決方法主要有兩種，一種是規(guī)范審稿人的意見，減少其自由發(fā)揮程度，即使用計分卡，將審稿意見條目化，如奧尼洛（Onitilo）等[80]認為應該讓審稿人評價具體的條目，為其提供特定選擇，并要求其附上作出該選擇的依據(jù)，從而增強一致性。海恩斯（Haines）等[81]通過虛擬的雙盲實驗指出期刊可以使用反饋表、清單或者計分卡使該過程更加系統(tǒng)和一致。另一種是發(fā)揮編輯部在其中的作用，如提高編輯判斷力和判斷技巧，增強其與專家的溝通等，試圖將專家不一致的反饋在編輯部得到統(tǒng)一。如邵凱云[82]提出編輯部將專家意見進行轉化時應該注意的原則、重點及方法。趙麗瑩等[83]分析審稿專家結論發(fā)現(xiàn)，“非共識”結論經(jīng)常發(fā)生，甚至高于“共識”概率。并提出通過編輯主觀能動性、優(yōu)化審稿流程、應用信息技術等手段減少偏差。周凱虹[84]介紹了編輯部對專家意見進行反饋時的處理方法。還有很多學者也用代理模型進行同行評議研究[85]，幫助理解同行評議和發(fā)表決定。

3.4 控制時間

上文提到過，審稿時間不僅是吸引讀者投稿的重要因素之一[86]，也是決定編輯部工作效率的重要因素。因此研究者對決定審稿時間的要素進行了探索，希望可以找到縮短審稿周期的方法。萊曼（Lyman）[87]分析了其在1980—2012年的170篇稿件的審稿時間趨勢，并猜想其他縮短審稿時間的技術或概念或許會縮短編輯接收審稿意見的時間。庫克（Cooke）等[88]調研了生物多樣性及保護學科中，同行評議時間對傳播的影響，提出需要加快該過程。胥司曼（Huisman）等[89]調研了作者提交到SciRev.sc網(wǎng)站的3500條評審經(jīng)驗，發(fā)現(xiàn)在不同科學領域審稿時間很不同，同時也發(fā)現(xiàn)同行評議時間長的學科被引高。莫林斯基（Mrowinski）等[90]通過分割同行評議階段，使用概率模型分析了同行評議所耗費的時間，發(fā)現(xiàn)編輯認識的審稿人和其他渠道邀請的審稿人相比，審稿時間分布差不多，但稿件完成率更高。將審稿邀請發(fā)送給潛在審稿人，能更加節(jié)省時間。阮（Nguyen）等[91]調研在保護生物學領域發(fā)文的作者發(fā)現(xiàn)，男性及年輕作者對審稿時間有更高期待。編輯的堅持和期刊聲望被認為可以加快審稿過程。陳鋼等[92]通過《預防醫(yī)學》雜志的同行評議記錄，對審稿數(shù)量、審稿時間、超時審回和拒絕審稿數(shù)量等數(shù)據(jù)進行多因素邏輯回歸模型分析，探討了評審專家超時審稿的影響因素。熊英等[93]對專家延遲審稿的原因進行分析并提出合適對策。

此外，研究者還采用相應方法，減少評審時間。厲艷飛[94]建議通過建立大規(guī)模的小同行專家數(shù)據(jù)庫縮短同行評議時滯。接雅俐等[95]闡述了《南京醫(yī)科大學學報（自然科學版）》編輯部對同行評議流程進行改進，優(yōu)化審稿流程和加快審稿周期的經(jīng)驗。孫昌朋等[96]提出建立互聯(lián)網(wǎng)共享專家?guī)?、建立并利用審稿專家微信群等解決時滯問題。龍靜等[97]通過對期刊運行數(shù)據(jù)進行分析挖掘，探討了縮短發(fā)表周期的方法。范永德[98]分析顯示網(wǎng)上定稿會系統(tǒng)能夠減少論文出版時滯。此外，對人工智能方法在減少評審時間方面的探索也是令人欣喜。莫林斯基等[99]發(fā)現(xiàn)笛卡爾遺傳規(guī)劃（Cartesian Genetic Programming）可以動態(tài)提高編輯策略，減少同行評議30%的時間。

3.5 增強評價

為了評價同行評議的有效性，一些研究者制定了相應的評價指標，馬（Ma）[100]定義了指標EPR評價同行評議的有效性。切爾特（Wicherts）[101]認為同行評議過程透明性是評價同行評議質量的一個指標，并且根據(jù)編輯指南和最佳實踐，以期刊網(wǎng)站為基礎，開發(fā)和驗證了使不同利益相關者能夠評估同行評議透明性的工具?，敻覃愃∕argalida）等[102]提出發(fā)表的勘誤數(shù)量除以發(fā)表數(shù)量計算的指標可以成為科學及編輯質量的替代指標，使時間趨勢易于評估。范羅揚（van Rooyen）等[103]開發(fā)工具RQI評估審稿人評價意見的建設性和證實程度。拉貢（Ragone）等[104]定義一組衡量同行評議過程質量的指標，指標主要涉及可靠性、公平性、有效性和效率，對計算機科學領域的評審意見數(shù)據(jù)進行了大規(guī)模分析。拉馬錢德蘭（Ramachandran）等[105]認為審稿意見的元評價（metareview）可用來判斷審稿意見質量，他們開發(fā)了自動的元評價軟件，并使用評論內容類型、評論相關性、評論覆蓋度、評論基調、評論量和評論剽竊指標評價審稿意見質量。羅偉清[106]建立了同行專家審稿行為后評價的評價指標。

另一些研究者通過對退稿被他刊錄用情況判斷同行評議有效性，如西勒（Siler）等[107]跟蹤退稿被他刊錄用情況并加以分析，同時分析提交給三大醫(yī)學期刊的1008份手稿的數(shù)據(jù)集的引用情況，評價了同行評議的有效性。

3.6 關注成本/經(jīng)濟性

比安奇（Bianchi）[108]使用基于代理人模型，通過設置審稿人會采取的三種策略場景進行模擬，發(fā)現(xiàn)審稿人數(shù)量增加時評審開支增加，相比其他兩個場景，審稿人采取隨機行為時成本最低。

4 小 結

通過對文獻資料進行總結分析發(fā)現(xiàn)，學者已經(jīng)認識到需要采取措施對同行評議質量進行控制和保證，這種嘗試和探索是多方面的，目的都是能科學把握同行評議流程，控制其走向，并提高其評價質量。但研究者對同行評議質量的控制方法研究還處于探討階段，從趨勢上看，控制方法正逐漸從定性方法轉向定量方法，并不斷引入新技術、新方法去解決傳統(tǒng)同行評議中的問題。

對照同行評議質量問題的分類，目前的研究中還存在以下問題或者空白，一是對公平性的探索多是依賴局部數(shù)據(jù)，或采用對比分析，缺乏從整體上量化表示各種模式的適用情況的模型及方法。二是在一致性上，缺乏對審稿專家能否代表同行的量化指標研究；對審稿人間一致性的判斷方法過于簡單。三是對審稿時間的研究集中在對影響因素的發(fā)現(xiàn)，缺少系統(tǒng)的項目時間管理方法或模型來控制整個流程的時間。四是對于經(jīng)濟性的探討不足，或許因為經(jīng)濟性相比諸多存在的問題優(yōu)先度不足，或許經(jīng)濟性已在實際中定性考量過，科學、量化地對同行評議流程進行經(jīng)濟性考量的研究還是太少。畢竟經(jīng)濟性是影響編輯部經(jīng)營和效益的重要因素，也是質量的重要組成部分，更多考慮經(jīng)濟性能夠更全面地看待現(xiàn)有問題和策略。此外，對安全性、維護性、可靠性等控制方法的探索目前仍是空白。

正如企業(yè)要對產(chǎn)品進行質量管理和控制，才能保證生產(chǎn)的產(chǎn)品符合要求一樣，要想保證同行評議過程的質量，必須對其進行質量控制，消除過程中可能導致質量問題的因素。在同行評議過程中，可以分析質量控制的重要節(jié)點并在質量控制點采取有效或特殊措施，規(guī)避和控制過程中可能產(chǎn)生的損害質量的行為及傾向。各個編輯部的審稿流程都“大同小異”[109][110]，大致可分為論文提交、預審、送審、審稿、審稿意見評價、結果傳遞6個步驟，在每個步驟及其之間設立合適的質量控制點，提前選取正確的方法，并在實施中加以監(jiān)督可以有效地提升整個流程的可控性。

注 釋

[1]Bornmann L. Evaluations by Peer Review in Science[J]. Springer Science Reviews， 2013， 1（1）： 1-4

[2][8][50]Squazzoni F， Bravo G， Takács K. Does Incentive Provision Increase the Quality of Peer Review？ An Experimental Study[J]. Research Policy， 2013， 42（1）： 287-294

[3][104]Ragone A， Mirylenka K， Casati F， et al. On Peer Review in Computer Science： Analysis of its Effectiveness and Suggestions for Improvement[J]. Scientometrics， 2013， 97（2）： 317-356

[4]Benos D J， Bashari E， Chaves J M， et al. The Ups and Downs of Peer Review[J]. Advances in Physiology Education， 2007， 31（2）： 145-152

[5][7][100]Ma Z， Pan Y， Yu Z， et al. A Quantitative Study on the Effectiveness of Peer Review for Academic Journals[J]. Scientometrics， 2013， 95（1）： 1-13

[6][9]Nedi? O， Dekanski A. Priority Criteria in Peer Review of Scientific Articles[J]. Scientometrics， 2016， 107（1）：15-26

[10][25]Hojat M， Gonnella J S， Caelleigh A S. Impartial Judgment by the “Gatekeepers” of Science： Fallibility and Accountability in the Peer Review Process[J]. Advances in Health Sciences Education， 2003， 8（1）：75-96

[11]Retractions Holding Steady at More than 650 in FY2016[EB/OL].[2018-01-08]. http：//retractionwatch.com/2016/12/05/retractions-holding-steady-650-fy2016

[12]Retraction Notice[J]. Journal of Vibration and Control， 2014， 20（10）：1601-1604

[13]Hindawi Concludes an In-depth Investigation into Peer Review Fraud[EB/OL].[2018-01-08]. https：//www.hindawi.com/journals/tswj/statement/

[14]Cat Ferguson A M， Ivan Oransky. Publishing： The Peer-Review Scam[EB/OL].[2018-01-08].https：//www.nature.com/news/publishing-the-peer-review-scam-1.16400

[15]Tracking Retractions as a Window into the Scientific Process 17 Retractions from SAGE Journals Bring Total Fake Peer Review Count to 250[EB/OL].[2018-01-08]. http：//retractionwatch.com/2015/08/19/17-retractions-from-sage-journals-bring-total-fake-peer-review-count-to-250

[16]Elsevier Retracting Nine Papers for Fake Peer Review[EB/OL].[2018-01-08]. http：//retractionwatch.com/2015/10/13/elsevier-retracting-nine-papers-for-fake-peer-review

[17]Springer， BMC Retracting Nearly 60 Papers for Fake Reviews and Other Issues[EB/OL].[2018-01-08].http：//retractionwatch.com/2016/11/01/springer-bmc-retracting-nearly-60-papers-for-fake-reviews-and-other-issues/

[18][21]韓福榮主編. 現(xiàn)代質量管理學（第3版）[M]. 北京： 機械工業(yè)出版社， 2012：6

[19]閔小棋主編. 質量管理與控制[M]. 北京： 科學出版社， 2016： 2

[20]曾聲奎主編. 可靠性設計與分析[M]. 北京： 國防工業(yè)出版社， 2011： 2

[22]Clair J A. Toward a Bill of Rights for Manuscript Submitters[J]. Academy of Management Learning & Education， 2015， 14（1）：111-131

[23][33]Ware M. Peer Review in Scholarly Journals： Perspective of the Scholarly Community - Results from an International Study[J]. Inf Serv Use， 2008， 28（2）：109-112

[24]Kundzewicz Z， Koutsoyiannis D. Editorial - The Peer-Review System： Prospects and Challenges[M]. 2005

[26][79]Onitilo A A， Engel J M， Salzman-Scott S A， et al. Reliability of Reviewer Ratings in the Manuscript Peer Review Process： An Opportunity for Improvement[J]. Accountability in Research-Policies and Quality Assurance， 2013， 20（4）：270-284

[27][34][62]Peer Review Survey 2009[EB/OL].[2017-12-26]. http：//senseaboutscience.org/activities/peer-review-survey-2009

[28][91]Nguyen V M， Haddaway N R， Gutowsky L F G， et al. How Long Is Too Long in Contemporary Peer Review？ Perspectives from Authors Publishing in Conservation Biology Journals[J]. Plos One， 2015， 10（8）：20

[29]Nature Research. Author Insights 2014[M]. 2015

[30]Mark Ware & Mike Monkman M W C. Publishing Research Consortium， 2008

[31]Peer Review： Transparency， Standards and Training[EB/OL].[2017-12-25]. http：//www.pre-val.org/wp-content/uploads/2016/09/PRE-surveywhitepaper.pdf

[32][101]Wicherts J M. Peer Review Quality and Transparency of the Peer-Review Process in Open Access and Subscription Journals[J]. Plos One，2016，11（1）： e0147913

[35]Ortega J L. Are Peer-Review Activities Related to Reviewer Bibliometric Performance？ A Scientometric Analysis of Publons[J]. Scientometrics， 2017， 112（2）：947-962

[36]朱偉珠， 李春發(fā). 基于概念知識網(wǎng)絡的“小同行”評議專家遴選方法實證研究[J]. 情報雜志， 2017 （7）：78-83+88

[37]賀穎， 邱均平. 基于科學計量的同行評議專家遴選系統(tǒng)模型構建研究[J]. 圖書情報工作， 2011 （14）：28-31

[38]劉丹， 葉繼元. 主題地圖在同行評議專家?guī)鞓嫿ㄖ械膽肹J]. 圖書館論壇， 2017（3）：80-86

[39]劉倫剛. 進一步提高我國網(wǎng)絡平臺同行評議的質量與效率[J]. 中國科技期刊研究， 2010（4）：480-483

[40]劉鳳華， 陳立敏， 李啟明. 科技期刊審稿專家的評價和改進措施[J]. 中國科技期刊研究， 2016 （8）：857-862

[41]朱巖， 陳培穎， 歐彥， 等. 外審專家信息的更新與維護[J]. 中國科技期刊研究， 2015 （9）：951-955

[42][44][49][54][55][57]Warne V. Rewarding Reviewers – Sense or Sensibility？ A Wiley Study Explained[J]. Learned Publishing， 2016， 29（1）：41-50

[43][86][90]Mrowinski M J， Fronczak A， Fronczak P， et al. Review Time in Peer Review： Quantitative Analysis and Modelling of Editorial Workflows[J]. Scientometrics， 2016， 107（1）：271-286

[45]李曉. 影響科技期刊論文專家審稿質量的因素分析[J]. 中國科技期刊研究， 2014 （11）：1369-1372

[46]占莉娟. 科技期刊審稿人的審稿動因分析[J]. 中國科技期刊研究， 2015 （4）：363-369

[47]王俊麗， 郭煥芳， 鄭愛蓮. 英文科技期刊遴選審稿專家的途徑與原則：以《中國化學快報》為例[J]. 中國科技期刊研究， 2015 （4）：351-354

[48]蔡斐， 李明敏， 徐曉， 等. 青年編委的遴選及其在期刊審稿過程中的作用[J]. 中國科技期刊研究， 2017（09）：856-860

[51]Thompson G D， Aradhyula S V， Frisvold G， et al. Does Paying Referees Expedite Reviews？： Results of a Natural Experiment[J]. Southern Economic Journal， 2010， 76（3）：678-692

[52]鐘琳， 高超民. 科技期刊外審專家激勵措施扎根研究[J]. 中國科技期刊研究， 2016 （3）：278-282

[53]孫力煒， 侯春梅， 遲秀麗， 等. 同行評議過程中專家的回報模式分析[J]. 中國科技期刊研究， 2016 （11）：1146-1150

[56]Schroter S， Black N， Evans S， et al. Effects of Training on Quality of Peer Review： Randomised Controlled Trial[J]. BMJ， 2004， 328： 673

[58]張向誼. 應引導審稿人進行有效的同行評議[J]. 編輯學報， 2013 （3）：274-276

[59]Godlee F， Gale C R， Martyn C N. Effect on the Quality of Peer Review of Blinding Reviewers and Asking Them to Sign Their Reports： A Randomized Controlled Trial[J]. JAMA， 1998， 280（3）：237-240

[60]Seeber M， Bacchelli A. Does Single Blind Peer Review Hinder Newcomers？[J]. Scientometrics， 2017， 113（1）：567-585

[61]Budden A E， Tregenza T， Aarssen L W， et al. Double-Blind Review Favours Increased Representation of Female Authors[J]. Trends in Ecology & Evolution， 2008， 23（1）：4-6

[63]Moylan E C， Harold S， ONeill C， et al. Open， Single-Blind， Double-Blind： Which Peer Review Process Do You Prefer？[J]. BMC Pharmacology and Toxicology， 2014， 15（1）：55

[64]Feedback received[J]. Nature Geoscience， 2012， 5： 585

[65][74]Jarvis S. The Perils of Peer Review[J]. Veterinary Record， 2017， 181（12）：304-304

[66]Garcia J A， Rodriguez-Sanchez R， Fdez-Valdivia J. Problems with Open Participation in Peer Review[J]. Scientometrics， 2017， 112（3）：1881-1885

[67]劉麗萍， 劉春麗. 開放同行評議利弊分析與建議[J]. 中國科技期刊研究， 2017 （5）：389-395

[68]常唯， 李自樂， 王成， 等. 開放評議與雙盲評議在國際科技期刊質量控制中的價值[J]. 中國科技期刊研究， 2016 （1）：18-24

[69]張春麗， 商麗娜， 倪四秀. 科技期刊開放式同行評議模式探索[J]. 中國科技期刊研究， 2015 （11）：1151-1155

[70]鄭辛甜， 張斯龍. 學術期刊公開同行評議的發(fā)展現(xiàn)狀及發(fā)展趨勢[J]. 中國科技期刊研究， 2015 （2）：133-138

[71]汪挺， 阮星星， 陳小宇， 等. 開放審稿的必要性及可行性探討[J]. 編輯學報， 2014 （1）：19-22

[72]Hernandez L V. How Robust is Our Peer-Review System？ A review of emergingB models[J]. Gastrointestinal Endoscopy， 2017， 85（4）：830-832

[73]Kovanis M， Trinquart L， Ravaud P， et al. Evaluating Alternative Systems of Peer Review： A Large-Scale Agent-Based Modelling Approach to Scientific Publication[J]. Scientometrics， 2017， 113（1）：651-671

[75]雷雪， 王立學. 基于學術關系的同行評議專家回避關系計量研究[J]. 現(xiàn)代情報， 2017 （3）：32-34+68

[76]Chibnik M. The Reliability and Influence of Peer Reviews[J]. American Anthropologist， 2016， 118（2）：239-243

[77]Bornmann L. Scientific peer review[J]. Annual Review of Information Science and Technology， 2011， 45（1）：197-245

[78]Bornmann L， Mutz R， Daniel H-D. A Reliability-Generalization Study of Journal Peer Reviews： A Multilevel Meta-Analysis of Inter-Rater Reliability and Its Determinants[J]. Plos One， 2010， 5（12）：e14331

[80]Onitilo A A， Engel J M， Salzman-Scott S A， et al. A Core-Item Reviewer Evaluation （CoRE） System for Manuscript Peer Review[J]. Accountability in Research-Policies and Quality Assurance， 2014， 21（2）：109-121

[81]Haines S T， Baker W L， DiDomenico R J. Improving Peer Review： What Journals Can Do[J]. American Journal of Health-System Pharmacy， 2017， 74： 2086-2089

[82]邵凱云. 從專家審稿意見到編輯部意見[J]. 編輯學報， 2011（4）：323-325

[83]趙麗瑩， 苗秀芝， 國榮. 科技期刊專家審稿結論特性分析[J]. 編輯學報， 2017 （6）：528-532

[84]周凱虹. 在編委會終審和稿件退修環(huán)節(jié)中如何處理好專家審稿意見：以《計算物理》為例[J]. 編輯學報， 2016（2）：142-143

[85]Kovanis M， Porcher R， Ravaud P， et al. Complex Systems Approach to Scientific Publication and Peer-Review System： Development of an Agent-Based Model Calibrated with Empirical Journal Data[J]. Scientometrics， 2016， 106（2）：695-715

[87]Lyman R L. A Three-Decade History of the Duration of Peer Review[J]. Journal of Scholarly Publishing， 2013， 44（3）：211-220

[88]Cooke S J， Nguyen V M， Wilson A D M， et al. The Need for Speed in a Crisis Discipline： Perspectives on Peer-Review Duration and Implications for Conservation Science[J]. Endangered Species Research， 2016， 30： 11-18

[89]Huisman J， Smits J. Duration and Quality of the Peer Review Process： The Author's Perspective[J]. Scientometrics， 2017， 113（1）：633-650

[92]陳鋼， 顧劉金， 徐錦杭. 同行專家審稿行為及其管控：以《預防醫(yī)學》雜志為例[J]. 中國科技期刊研究， 2017 （1）：28-32

[93]熊英， 歐陽賤華. 專家拒絕或延遲審稿原因分析及對策[J]. 編輯學報， 2012 （2）：147-149

[94]厲艷飛. 數(shù)字化背景下科技期刊縮短出版時滯的路徑探析[J]. 編輯學報， 2016（4）：354-356

[95]接雅俐， 唐震， 陳汐敏， 等. 科技期刊同行評議審稿流程改革與初步成效[J]. 中國科技期刊研究， 2013 （5）：988-990

[96]孫昌朋， 林萍， 陳望忠. “互聯(lián)網(wǎng)+”時代醫(yī)學期刊同行評議時滯問題探析[J]. 新媒體研究， 2017（5）：114-116

[97]龍靜， 孫云志. 運用數(shù)據(jù)分析方法縮短科技期刊論文發(fā)表周期[J]. 中國科技期刊研究， 2016（4）：363-368

[98]范永德. 網(wǎng)上定稿會系統(tǒng)對期刊論文出版時滯的影響：以《中國防癆雜志》為例[J]. 中國科技期刊研究， 2016（4）：369-372

[99]Mrowinski M J， Fronczak P， Fronczak A， et al. Artificial Intelligence in Peer Review： How Can Evolutionary Computation Support Journal Editors？[J]. Plos One， 2017， 12（9）：11

[102]Margalida A， Colomer M C. Improving the Peer-Review Process and Editorial Quality： Key Errors Escaping the Review and Editorial Process in Top Scientific Journals[J]. PearJ，2016（4）：e1670

[103]van Rooyen S， Black N， Godlee F. Development of the Review Quality Instrument （RQI） for Assessing Peer Reviews of Manuscripts[J]. Journal of Clinical Epidemiology， 1999， 52（7）：625-629

[105]Ramachandran L， Gehringer E F， Yadav R K. Automated Assessment of the Quality of Peer Reviews using Natural Language Processing Techniques[J]. International Journal of Artificial Intelligence in Education， 2017， 27（3）：534-581

[106]羅偉清. 同行專家審稿行為的后評價分析[J]. 中國科技期刊研究， 2015（6）：578-582

[107]Siler K， Lee K， Bero L. Measuring the Effectiveness of Scientific Gatekeeping[J]. Proceedings of the National Academy of Sciences， 2015， 112（2）：360-365

[108]Bianchi F， Squazzoni F. Is Three Better than One？ Simulating the Effect of Reviewer Selection and Behavior on the Quality and Efficiency of Peer Review[C]// Is Three Better than One？ Simulating the Effect of Reviewer Selection and Behavior on the Quality and Efficiency of Peer Review. 2015 Winter Simulation Conference （WSC）， 6-9 Dec. 2015. 4081-4089

[109]Wiley. The Peer Review Process[EB/OL].[2017-12-14]. https：//authorservices.wiley.com/Reviewers/journal-reviewers/what-is-peer-review/the-peer-review-process.html

[110]史朋亮， 吳晨. 科技期刊典型的同行評議流程的比較[C]// 科技期刊典型的同行評議流程的比較. 第3屆科技期刊發(fā)展創(chuàng)新研討會， 中國科技期刊編輯學會， 中國青海西寧. 2

（收稿日期：2018--05-10）