基于FMECA方法的同行評議系統(tǒng)可靠性分析

■盛怡瑾 初景利

1)中國科學院文獻情報中心，北京市中關村北四環(huán)西路33號 1001902)中國科學院大學經濟與管理學院，北京市海淀區(qū)中關村東路80號 100190

同行評議是科學的基石[1]，也是學術期刊的主要功能之一，其質量不僅決定著期刊質量，也決定著整個科學社區(qū)的質量。同行評議過程涉及諸多復雜因素，及與人的頻繁合作與互動，故難以被嚴格把控和管理，因此一直存在許多缺陷和問題。近年來，撤稿事件頻繁發(fā)生[2]，同行評議造假或同行評議欺詐等學術不端行為愈演愈烈[3-8]，同行評議質量問題再次引起人們關注。一些研究者對同行評議的質量進行了綜合探討，例如：Siler等[9]通過分析期刊錄用文章的引用情況及被拒稿件在他刊發(fā)表后的引用情況來判斷同行評議質量；Vinther等[10]通過退稿追蹤研究同行評議質量；劉軍等[11]研究了同行評議中的倫理學風險控制問題；陳培穎等[12]調研了自動化領域作者和審稿人對同行評議的態(tài)度，認為同行評議普遍存在評審周期長、評審過程不透明、結果不具體、評價不客觀、故意延遲及審稿人剽竊等問題；成方哲等[13]分析了同行評議存在的問題，并為編輯部提供策略建議。還有一些研究者通過分析同行評議的審稿人遴選[14-16]、模式選擇[17-18]、時間控制[19-20]等具體問題來研究同行評議質量。總體來說，雖然目前關注同行評議質量的研究很多，但研究角度和側重內容各不相同，缺乏對同行評議風險和問題的系統(tǒng)性研究，對同行評議系統(tǒng)的可靠性分析也非常少。而事實上，同行評議是一個多因素相互作用的復雜過程，只有以系統(tǒng)的眼光進行分析，才能真正把握整個過程的可靠性，為提高其質量找到突破口。故障模式影響及危害性分析(Failure Mode Effects and Criticality Analysis，FMECA)是工程領域常用的可靠性評價方法之一，在理工科領域有著廣泛應用，亦有學者使用其評估供應鏈及大系統(tǒng)風險[21-23]，但其在人文領域的應用甚少，期刊領域更鮮有研究者用類似方法分析同行評議。實際上，FMECA方法能幫助期刊編輯部及相關研究者梳理邏輯，全面了解同行評議系統(tǒng)，快速發(fā)現及深入掌握其質量問題和風險，并分析系統(tǒng)的可靠性。因此，本文引入系統(tǒng)思想及FMECA對同行評議系統(tǒng)進行風險分析，先將同行評議進行系統(tǒng)建模，并根據FMECA方法對其展開研究。在實際操作中，本文改進并重新定義了相關標準以適用于同行評議，完善了該方法在期刊領域的應用。

1 FMECA方法概述

FMECA起源于美國[24]，是一種可靠性分析方法，著重于分析產品所有可能的故障模式及其產生的影響，并按照每個故障模式產生影響的嚴重程度及其發(fā)生概率分類，屬于歸納分析方法。FMECA分為故障模式及影響分析(Failure Mode and Effect Analysis，FMEA)和危害性分析(Criticality Analysis，CA)兩部分，前者是后者的基礎。該方法被廣泛應用于航空航天、船艦、兵器、機械、汽車、醫(yī)療等領域，是分析系統(tǒng)可靠性的重要方法之一。

1.1 概念解析

1.1.1 故障模式及影響

故障是產品或產品的一部分不能或將不能完成預定功能的事件或狀態(tài)，包括功能故障和潛在故障兩類。判斷故障的依據是事先定義的故障判據。故障模式是可觀察到的故障表現形式。故障影響指產品的每一個故障模式對其自身或其他產品的使用、功能或狀態(tài)的影響，通常將這些按約定層次劃分的故障影響分別稱為局部影響、高一層次影響和最終影響[24]。

1.1.2 約定層次

進行FMECA分析時，先要明確分析范圍，即FMECA從開始到結束的產品層次，這種規(guī)定的層次稱為約定層次。以下是FMECA常用的約定層次[24]。

(1) 初始約定層次：要進行FMECA的產品所在的約定層次中的最高層次，是FMECA的最終影響對象。

(2) 約定層次：根據FMECA的需要，按產品的功能關系或組成特點進行FMECA的產品所在的功能層次或結構層次。

(3) 其他約定層次：相繼的約定層次，表明直至較簡單的組成部分的有順序排列。

(4) 最低約定層次：約定層次中最底層產品所在的層次。

1.1.3 危害性分析

危害性分析是指按照每個故障模式的嚴重程度及其發(fā)生概率所產生的綜合影響對系統(tǒng)中產品進行分類，常用的方法是風險優(yōu)先數法。某一產品的風險優(yōu)先數(Risk Priority Number，RPN)等于故障模式發(fā)生概率等級(Occurrence Probability Ranking，OPR)和嚴酷度等級(Effect Severity Ranking，ESR)的乘積，有時還考慮再乘以檢測難度等級(Detection Diffculty Ranking，DDR)。

1.2 基本步驟

FMECA分析的主要步驟是：(1)系統(tǒng)定義，分為產品功能分析和框圖繪制；(2)故障模式分析，找出給定任務功能下所有可能的故障模式；(3)故障原因分析，分析每個故障模式產生的原因，進而采取改進措施以防止或減少故障模式發(fā)生的可能性；(4)故障影響及嚴酷度分析；(5)故障檢測方法分析，為產品維修工作提供依據；(6)設計改進與使用補償措施分析；(7)危害性分析[24]。

2 同行評議的FMECA分析

2.1 故障模式及影響分析

2.1.1 系統(tǒng)定義

美國系統(tǒng)學家Gorden將系統(tǒng)定義為相互作用、相互依靠的所有事物按照某些規(guī)律結合起來的綜合[25]。同行評議可以被看作是編輯部和審稿人按照某些規(guī)律結合起來對期刊稿件進行過濾及評價的綜合，具有系統(tǒng)的特征和功能，因此，可將其他領域系統(tǒng)上使用的可靠性分析方法移植到同行評議系統(tǒng)中。

作為系統(tǒng)，同行評議的目標是對來稿進行可靠的評價，篩選出高質量的文章?，F實中不同編輯部的同行評議過程不完全相同，且具體操作細節(jié)都按編輯部習慣把控，給系統(tǒng)及其子系統(tǒng)的劃分帶來困難。但從功能上講，各個編輯部的流程都大同小異[26-27]。因此，從功能上可將系統(tǒng)分為初審、外審、編輯再處理、編輯部決定及結果傳遞5個子系統(tǒng)(圖1)。對于來稿，系統(tǒng)首先進行初始的科學性判斷及審稿人選擇，無論是主編、編委還是編輯來處理這個過程，該階段的功能都是進行稿件篩選、審稿人遴選和送審，因此，可忽略編輯部采用的具體模式，將該階段概括為初審。通過初審子系統(tǒng)的稿件要再經過外審、編輯再處理及編輯部決定，這3個子系統(tǒng)是根據稿件得到的不同外審意見而循環(huán)進行的，復審因其流程及功能與外審類似，可直接表示為編輯再處理與外審子系統(tǒng)的循環(huán)，不再單獨表示。編輯部再處理子系統(tǒng)包括除初審、編輯部決定及結果傳遞外的一切編輯工作，如溝通、修改、核對等。編輯部決定包括錄用決定、審稿決定以及其他決定，無論是主編終審、定稿會決定還是其他模式，都可以被概括到這一子系統(tǒng)。編輯部決定后進行結果傳遞。該過程同時傳遞物質(稿件)和信息(評價信息、稿件信息等)，系統(tǒng)功能框圖見圖2。為了更好地定義系統(tǒng)，使用系統(tǒng)的任務可靠性框圖(圖3)來表示(任務可靠性框圖不表示順序)。

圖1 同行評議系統(tǒng)功能劃分及系統(tǒng)約定層次

圖2 同行評議系統(tǒng)功能框圖

圖3 同行評議系統(tǒng)任務框圖

2.1.2 故障模式分析

根據故障的概念，凡是影響同行評議系統(tǒng)最終目標——稿件篩選及正確評價文章質量的事件或者狀態(tài)，都被稱為同行評議系統(tǒng)的故障。為了更好地進行研究，將同行評議的目標根據質量的定義進行細化，從而制定出故障判據。一般地，質量是指一組固有的特性滿足要求的程度，而要求是指明示的、通常隱含的或必須履行的需求或期望[28]?，F代質量觀認為，質量包含了產品的專用特性、通用特性(可靠、維修、保障、安全、測試)、經濟性、時間性、適應性等方面，是產品滿足使用要求的特性總和[24]。從作者和編輯部對同行評議的需求分析，同行評議質量意味著審稿準確、公平、一致，而且該過程具有快速、低成本的特點。因此，同行評議故障判據包括專家認真準確地審稿、審稿公平、最后得到一致有效的評價意見、整個流程快速高效、盡量降低編輯部工作量和成本。凡是對上述5個方面產生不利影響的事件或者狀態(tài)，都被稱作同行評議系統(tǒng)故障。通過對系統(tǒng)各部分的分析、判斷和預測，得到同行評議系統(tǒng)故障模式，如表1所示。

作者投稿后，往往要等待很長時間才能得到編輯部初篩的回應(是否符合期刊定位與格式，是否被拒絕，是否送外審等)，尤其是對于等待數周卻得知初篩被拒的作者更不公平，這不僅嚴重耽誤作者修改與再投時間，并影響作者體驗，還拖慢編輯部的工作流程。與外審過程相比，初篩的過程不過分關注細節(jié)，理論上應該可以快速完成，因此，“初篩處理時間長”被列入同行評議系統(tǒng)的故障?！皼Q策工作量大”是指為了作出決定而需要采取的步驟及人力物力比較多，比如有的期刊為了決定某篇外審專家意見不一的稿件去留而召開定稿會，其工作量和成本均較高?！傲晳T性拖延”是指編輯在處理與審稿人的溝通、審回稿的梳理、稿件通讀、修回核對、與作者溝通等事務上存在的拖延，導致事件不能在第一時間得到處理。

表1 同行評議系統(tǒng)故障模式

2.1.3 故障原因分析

分析出系統(tǒng)的故障模式后，再根據同行評議系統(tǒng)功能原理、文獻敘述和現實體驗分析每個故障模式的可能產生原因，如表2所示。

表2 同行評議系統(tǒng)故障原因

2.1.4 故障影響分析

為了判斷故障模式產生的影響，先將同行評議系統(tǒng)按照功能劃分層次(圖1)：同行評議系統(tǒng)屬于初始約定層次，是FMECA的最終影響對象；圖1第4級是最低約定層次，FMECA要在每個約定層次上分析每種故障模式對本層次、上一層次及最初約定層次的影響。對于工程系統(tǒng)來說，每個約定層次產品的下一級分析對象都能夠具象為有限個產品，但作為同行評議系統(tǒng)，越低層的約定層次的下一級分析對象越由非?，嵥榈娜舾晒δ軜嫵?，因此圖中有的約定層次的下一級分析對象沒有表示在圖1中，但在分析時會被識別并考慮。為了能夠判斷這種影響，先要定義故障模式的嚴酷度等級。借鑒武器裝備領域常用的嚴酷度等級，本研究將同行評議系統(tǒng)故障模式的嚴酷度定義為4級，分別是Ⅳ級(輕度)、Ⅲ級(中等)、Ⅱ級(致命)、Ⅰ級(災難性)，對各種級別的嚴酷度定義如表3所示。

故障模式的影響分為局部影響、高一層次影響和最終影響。分析故障模式最終影響的嚴酷度等級時，不考慮已有的措施，其可能造成的最壞故障影響如表4所示。

表3 同行評議系統(tǒng)的嚴酷度等級與定義

表4 同行評議系統(tǒng)故障模式影響

2.1.5 故障檢測方法及改進與使用補償措施分析

綜合前文分析的故障模式、原因及影響，本研究提出對各個故障的檢測方法及可能的改進設計或者補償措施，如表5所示。

2.2 危害性分析

首先參照可靠性理論的一般習慣，對故障模式發(fā)生的概率等級、嚴酷度等級及檢測難度等級進行劃分，結果如表6所示。

再根據現實的一般情況對故障模式進行評級，并對RPN的值進行降序排列，結果如表7所示。評分越高，說明該故障模式導致的系統(tǒng)故障風險越大。

表5 同行評議系統(tǒng)故障檢測方法及補償措施

表6 OPR、ESR、DDR等級劃分

表7 同行評議系統(tǒng)風險優(yōu)先數

由表7可以看出，找不到合適的審稿人、審稿時間長、審稿意見不準確、審稿意見不公平、審稿人意見不一致及錄用決定錯誤是危害性較高的故障模式，應在實際工作中特別關注。

3 策略建議

通過使用FMECA方法對同行評議系統(tǒng)進行可靠性分析，能夠更全面地看到系統(tǒng)中存在的問題，這種抽絲剝繭、層層相扣的分析方法有助于發(fā)掘同行評議過程中易疏忽的工作，以增強系統(tǒng)的可靠性。表7找出了對同行評議系統(tǒng)危害性較高的幾種故障，編輯部應當對其給予足夠重視，并在控制同行評議質量時優(yōu)先考慮這幾種故障模式，從而確保同行評議過程的可靠性。為了降低同行評議故障的危害性，可以考慮根據實施難度和成本，選擇性降低故障發(fā)生概率、嚴酷度等級或故障檢測難度。表5列出了故障模式的應對方法。通過分析，某一個舉措有時能解決某幾個故障模式，因此，這些共性的舉措也應該被重視和討論。

(1) 加強編輯部數字化建設。首先，采編系統(tǒng)不僅要實現傳統(tǒng)采編功能，還應科學設置時間節(jié)點和提醒功能；并具備記錄操作的功能，將整個流程的數據記錄下來供編輯分析和改進；與審稿人和作者的溝通要盡量方便、及時、簡潔，系統(tǒng)應嵌入比較常用的溝通手段接口，方便審稿人和作者即時反饋信息。其次，重視期刊網站平臺的建設。該平臺肩負著期刊對外宣傳展示、信息發(fā)布及培訓等功能，其中，投稿須知、寫作準備、數據格式及輔助工具等教程和培訓，不僅能夠規(guī)范稿件，提高來稿質量，轉移或減輕編輯部工作量，還能夠增加作者滿意度和依賴性，提升期刊的影響力和威望。

(2) 審稿人遴選應日益科學化及定量化。隨著網絡技術的發(fā)展，審稿人可選范圍不再受到空間限制，這也使編輯無法深入了解審稿人。此外，稿件激增使得審稿人數量日益龐大，學科交叉融合發(fā)展促使研究方向更加細化，單純依靠編輯經驗、記憶及專家?guī)斓暮唵螜z索來選取審稿人已不適應辦刊要求。理想的審稿人應滿足以下要求：其研究方向與稿件細分方向一致，稿件拒絕率低，回應邀請及時，審稿準確，審稿速度快。在審稿人遴選時要綜合考慮以上要素，采用系統(tǒng)數據、外部數據及專家評價設計合理的遴選模型，從而在源頭上杜絕或者減少同行評議中后期可能會產生的問題。

(3) 注重評價。編輯部要積極進行自我評價：首先要設計合理的審稿意見評價方式，這樣不但可以提高同行評議的可靠性，而且可以為審稿人遴選、專家激勵、評優(yōu)等提供參考；其次要注重細化對編輯工作的評價，充分考慮編輯在整個過程中的工作量、拖延情況、工作表現等數據，并對其辦公效率和質量進行評價，這不但能夠促使編輯更負責、快速地處理事務，還能夠為編輯部的員工管理和激勵提供定量依據。

4 不足及改進

引入工程領域中常用的產品可靠性分析方法FMECA，以系統(tǒng)的眼光去分析同行評議及其存在的問題，可以為編輯部提供一定的參考。本研究對系統(tǒng)功能及可靠性框圖的繪制是基于同行評議的一般流程，試圖從宏觀上研究系統(tǒng)共性問題，沒有照顧到特定系統(tǒng)的特殊性和細節(jié)，但在實際使用時，特定系統(tǒng)仍可以按照此方法進行更詳細的分析。需要在下一步工作中繼續(xù)完善的是，本研究中對故障模式的選擇、嚴酷度等級、發(fā)生概率等級、檢測難度等級的評分都是根據文獻及現實的一般情況填寫的，如果結合專家咨詢、問卷調查、訪談、系統(tǒng)數據獲取等方式得到大量數據再進行分析，會得到更好的結果；尤其是，特定的編輯部存在的問題及其嚴重程度都是不一樣的，需要特殊問題特殊對待。

期刊同行評議系統(tǒng)對期刊質量至關重要，但因為同行評議過程復雜、多樣，涉及諸多主觀因素，因此，其可靠性難以評判，更無法量化。本研究借鑒工程領域常用的系統(tǒng)可靠性分析方法分析一般同行評議系統(tǒng)的風險，其結論和內容不僅能為編輯部提供參考，還為編輯部引薦了一種可用的有效方法，便于編輯部更好地分析自身，提高同行評議質量。