國內(nèi)學(xué)術(shù)期刊質(zhì)量評價指標(biāo)體系構(gòu)建探索與實證研究

●魏曉峰（河北建筑工程學(xué)院 圖書館，張家口 075024）

近年來，國內(nèi)外有關(guān)學(xué)術(shù)期刊評價的理論探討與實證研究日趨深入，多種學(xué)術(shù)期刊評價指標(biāo)與期刊評價體系相繼提出和廣泛應(yīng)用。指標(biāo)選取上，一級指標(biāo)邏輯性不強(qiáng)，不能有效體現(xiàn)與衡量期刊學(xué)術(shù)質(zhì)量；而二級指標(biāo)往往力求細(xì)致全面，既增加了數(shù)據(jù)收集與統(tǒng)計難度，又不利于各類指標(biāo)的有機(jī)組合與應(yīng)用。指標(biāo)權(quán)重賦值上，目前各評價體系普遍采用層次分析法和專家調(diào)查法，一般僅限于期刊管理或圖書情報而缺乏各學(xué)科或?qū)I(yè)領(lǐng)域?qū)＜艺{(diào)查，由此確定的指標(biāo)權(quán)重不能有效體現(xiàn)各學(xué)科之間的差異性。此外，利用不同的評價體系進(jìn)行期刊質(zhì)量評價的結(jié)果也不盡相同，勢必會出現(xiàn)相互沖突或矛盾之處，影響期刊選購、職稱評定、科研評價等工作績效。當(dāng)前國內(nèi)大多涉及針對某種期刊評價指標(biāo)的研究，僅有少數(shù)研究涉及某一類型或?qū)W科領(lǐng)域期刊評價指標(biāo)體系。因此，本文對學(xué)術(shù)期刊評價體系進(jìn)行整合研究與實證分析以供參考。

1 國內(nèi)學(xué)術(shù)期刊質(zhì)量評價指標(biāo)體系構(gòu)建

評價指標(biāo)選取在全面性、科學(xué)性、易獲取性和整個評價體系的簡練性下，以增強(qiáng)期刊評價的時效性、公正性和高效率。在指標(biāo)權(quán)重分配方面，需要綜合考慮和兼顧圖書情報以及其他學(xué)科或?qū)I(yè)領(lǐng)域?qū)＜业脑u議意見，以確保權(quán)重分配的專業(yè)性和體現(xiàn)指標(biāo)評價的學(xué)科特色。

1.1 期刊評價指標(biāo)選取

期刊的學(xué)術(shù)質(zhì)量主要通過期刊的學(xué)術(shù)含量和對外界的學(xué)術(shù)影響力兩個方面體現(xiàn)，一般分別選用期刊來源（或載文） 指標(biāo)和被引（或影響力） 指標(biāo)進(jìn)行衡量。本文以目前國內(nèi)學(xué)術(shù)界比較公認(rèn)的、影響較大的6種期刊評價工具［1－6］以及3篇最具代表性的期刊評價體系研究論文［7－9］為參考依據(jù)，在詳細(xì)考察各類評價指標(biāo)屬性、功效和使用頻次的基礎(chǔ)上，最終選取了9個期刊評價核心指標(biāo)。其中，期刊來源指標(biāo)包括基金論文比、篇均參考文獻(xiàn)數(shù)和篇均作者機(jī)構(gòu)數(shù)，期刊被引指標(biāo)包括篇均被引頻次、影響因子、他引量、他引刊數(shù)、即年指標(biāo)和Web即年下載率。由于考慮到期刊學(xué)術(shù)質(zhì)量評價主旨、期刊所屬地域區(qū)分度較小、當(dāng)前學(xué)科交叉滲透發(fā)展趨勢明顯以及“同類可比”的期刊評價原則等因素，本文沒有選用載文量、國際論文比、本學(xué)科論文比、被引半衰期和其他使用頻次較小的指標(biāo)。

1.2 評價指標(biāo)權(quán)重分配

上述9個指標(biāo)雖然都是從定量角度反映期刊的學(xué)術(shù)質(zhì)量，但是對于期刊評價結(jié)果的貢獻(xiàn)各不相同，而且由于各學(xué)科之間的差異性，各指標(biāo)在不同學(xué)科中應(yīng)用價值也不一致，因此需要結(jié)合評價目的等主觀因素進(jìn)行分析，賦予各指標(biāo)不同的權(quán)重和充分考慮學(xué)科因素。本文選擇半定性的層次分析法來確定各指標(biāo)權(quán)重值，并將權(quán)重劃分為基礎(chǔ)權(quán)重和學(xué)科權(quán)重兩部分；前者是指由圖書情報領(lǐng)域?qū)＜?、學(xué)術(shù)期刊編輯與圖書館員得出的權(quán)重，后者是指由某一專業(yè)或?qū)W科領(lǐng)域?qū)＜业贸龅臋?quán)重。在綜合上述分析和參考《中國人文社會科學(xué)核心期刊要覽》 （2008年版）的指標(biāo)權(quán)重處理辦法的基礎(chǔ)上，本文將基礎(chǔ)權(quán)重和學(xué)科權(quán)重分別賦權(quán)值為0.7和0.3，二者加權(quán)后的權(quán)重值之和即為某學(xué)科領(lǐng)域?qū)W術(shù)期刊質(zhì)量評價指標(biāo)體系的綜合權(quán)重。

（1）構(gòu)建評價指標(biāo)層次結(jié)構(gòu)模型。本文運用層次分析法構(gòu)建指標(biāo)層次結(jié)構(gòu)模型，依次包括目標(biāo)層（期刊評價指標(biāo)綜合值）、準(zhǔn)則層（包括期刊來源指標(biāo)和被引指標(biāo)兩項）、子準(zhǔn)則層（期刊被引指標(biāo)下設(shè)影響強(qiáng)度、廣度和速度三類）和指標(biāo)層。

（2）構(gòu)造評價指標(biāo)判斷矩陣。根據(jù)上述模型，本文構(gòu)建了6個判斷矩陣。準(zhǔn)則層的2個1級指標(biāo)構(gòu)成1個2維判斷矩陣，子準(zhǔn)則層的3個2級指標(biāo)構(gòu)成1個3維判斷矩陣，指標(biāo)層的9個3級指標(biāo)按其類別構(gòu)成4個判斷矩陣，分別是由3個期刊來源指標(biāo)構(gòu)成的1個3維判斷矩陣和由6個期刊被引指標(biāo)構(gòu)成的3個2維判斷矩陣。［10］根據(jù)Saaty權(quán)威性建議，采用數(shù)字1-9及其倒數(shù)為標(biāo)度來確定各指標(biāo)權(quán)重值。

（3）問卷設(shè)計與調(diào)查。本文設(shè)計了專家調(diào)查問卷，其中一級指標(biāo)權(quán)重專家評分表如表1所示，其他層次指標(biāo)權(quán)重專家評分表均以此類推。筆者采用電子郵件方式對國內(nèi)一些具有副高級以上職稱的圖書情報領(lǐng)域高校教師與圖書館員（各占73.1%和17.1%）以及學(xué)術(shù)期刊編輯進(jìn)行訪問調(diào)查，共計發(fā)放問卷100份，回收問卷89份。利用yaaph0.5.2軟件再對全部問卷調(diào)查數(shù)據(jù)進(jìn)行統(tǒng)計，共計82份有效問卷均通過了層次單排序與總排序一致性檢驗，由此表明該調(diào)查問卷設(shè)計較為科學(xué)合理，評價指標(biāo)層次結(jié)構(gòu)模型與判斷矩陣具有較好的適用性。

表1 調(diào)查問卷中一級指標(biāo)權(quán)重專家評分表

（4）計算評價指標(biāo)權(quán)重。本文采用專家評分法和層次分析軟件yaaph0.5.2，對指標(biāo)體系內(nèi)同層指標(biāo)進(jìn)行兩兩比較，得到判斷矩陣，計算矩陣對應(yīng)的特征向量，再依次進(jìn)行層次單排序和層次總排序及其一致性檢驗，從而確定各指標(biāo)權(quán)重。根據(jù)全部的層次單排序統(tǒng)計結(jié)果，可以計算出指標(biāo)層內(nèi)各指標(biāo)的層次總排序權(quán)重。判斷矩陣一致性檢驗是指檢驗專家對各指標(biāo)進(jìn)行兩兩比較時所作出的判斷思維是否一致。本文引入Saaty提出的判斷矩陣平均隨機(jī)一致性指標(biāo)值進(jìn)行具體的統(tǒng)計檢驗，然后計算出每份有效問卷中獲得的各指標(biāo)層次總排序權(quán)重的算術(shù)平均值，即各指標(biāo)基礎(chǔ)權(quán)重，如表2所示。在具體評價某學(xué)科領(lǐng)域?qū)W術(shù)期刊質(zhì)量時，還需要對領(lǐng)域?qū)＜疫M(jìn)行問卷調(diào)查以獲取各指標(biāo)學(xué)科權(quán)重，進(jìn)而得出各指標(biāo)的綜合權(quán)重值。

2 實證研究

本文堅持“同類可比”的評價原則，選擇數(shù)學(xué)期刊進(jìn)行實證研究以體現(xiàn)基礎(chǔ)與學(xué)科權(quán)重之間的差別。

2.1 問卷調(diào)查與指標(biāo)權(quán)重確定

本文選擇2011年國內(nèi)“211工程”大學(xué)中數(shù)學(xué)專業(yè)綜合排名前30所高校中具有副高級及其以上職稱（正高與副高職稱比例各為37.6%和62.5%）的數(shù)學(xué)領(lǐng)域?qū)＜覟檎{(diào)查對象，以保證調(diào)查的較高權(quán)威性與可信度。共計發(fā)放問卷40份，回收問卷36份，其中32份有效問卷全部通過層次單排序和總排序一致性檢驗。然后分別計算出各評價指標(biāo)的學(xué)科權(quán)重值，通過加權(quán)進(jìn)而算出各指標(biāo)的綜合權(quán)重值，如表2所示。從表中可知，兩類權(quán)重值相差較大的指標(biāo)有基金論文比、篇均被引頻次、影響因子和Web即年下載率，這在一定程度上反映出不同學(xué)科領(lǐng)域?qū)＜覍W(xué)術(shù)期刊質(zhì)量的不同理解與認(rèn)知。

表2 數(shù)學(xué)期刊各評價指標(biāo)的三類權(quán)重值分布

2.2 期刊選取和數(shù)據(jù)統(tǒng)計源

在參照國內(nèi)多種期刊分類或?qū)Ш侥夸浀幕A(chǔ)上，本文選取15種有代表性的數(shù)學(xué)期刊進(jìn)行實證研究；同時選擇《2009年版中國期刊引證報告（擴(kuò)刊版）》和《中國學(xué)術(shù)期刊綜合引證報告（2009年版）》為主要數(shù)據(jù)來源，以CNKI中國引文數(shù)據(jù)庫同期數(shù)據(jù)為補(bǔ)充，以保證統(tǒng)計分析的科學(xué)有效性。通過直接檢索或輔助人工統(tǒng)計得到各刊評價指標(biāo)原始數(shù)據(jù)，如表3所示。數(shù)據(jù)檢索與統(tǒng)計處理日期為2012年8月15～16日。

由于同一個指標(biāo)體系內(nèi)的不同指標(biāo)數(shù)據(jù)之間存在較大差異，因此需要對各指標(biāo)數(shù)據(jù)進(jìn)行歸一化規(guī)范處理，以便在同一個數(shù)量級上進(jìn)行橫向比較與評價。歸一化處理的思路是將各指標(biāo)中的最高值設(shè)置為1，其他數(shù)據(jù)依據(jù)相應(yīng)比例取值，通過加權(quán)綜合得到各指標(biāo)綜合評價值，其降序排列結(jié)果如表4所示。

表3 數(shù)學(xué)期刊各評價指標(biāo)原始數(shù)據(jù)分布

表4 數(shù)學(xué)期刊各評價指標(biāo)歸一化處理后的數(shù)據(jù)與綜合評價值分布

2.3 評價指標(biāo)相關(guān)性分析

本文基于皮爾遜（Spearman）積差相關(guān)系數(shù)，利用SPSS17.0軟件分別對評價指標(biāo)體系中的目標(biāo)層（即指標(biāo)綜合評價值）與各指標(biāo)層及單項指標(biāo)間的相關(guān)性進(jìn)行分析，以考察各指標(biāo)層對于上一層級設(shè)置的合理性。

（1）評價指標(biāo)體系的總體分析。據(jù)統(tǒng)計，準(zhǔn)則層與目標(biāo)層之間的兩個相關(guān)系數(shù)r分別為0.538和0.958，P值均小于0.01，表明本文構(gòu)建的期刊評價指標(biāo)體系中的準(zhǔn)則層指標(biāo)與目標(biāo)層之間在0.01水平（雙側(cè)）上顯著相關(guān)，來源與被引指標(biāo)的設(shè)置對于整個評價體系而言是合理的。三個子準(zhǔn)則層指標(biāo)與準(zhǔn)則層之間顯著性相關(guān)（相關(guān)系數(shù)r分別為0.852、0.768和0.646，P值均為0.000），表明三個被引指標(biāo)的設(shè)置也是較為合理的。此外，三個來源指標(biāo)與準(zhǔn)則層之間（r分別為 0.958、0.881和 0.550，P值分別為 0.000、0.000和0.002）、兩個影響強(qiáng)度指標(biāo)與子準(zhǔn)則層之間（r分別為0.810和0.802，P值均為0.000）、兩個影響廣度指標(biāo)與子準(zhǔn)則層之間（r分別為0.986和0.957，P值均為0.000），以及兩個影響速度指標(biāo)與子準(zhǔn)則層之間 （r分別為 0.838和 0.670，P值均為 0.000） 均在0.01水平（雙側(cè)）上顯著相關(guān)，表明各項指標(biāo)的設(shè)置對于整個評價體系而言均是較為合理的。

（2） 單項指標(biāo)與目標(biāo)層的相關(guān)性分析。限于篇幅，本文僅列出Web即年下載率與目標(biāo)層之間相關(guān)性分析結(jié)果及相應(yīng)的散點圖，如圖1所示。其中，篇均

數(shù)、篇均被引頻次、影響因子、他引量和他引刊數(shù)與目標(biāo)層之間在0.01水平（雙側(cè)）上顯著相關(guān)（r值分別為 0.601、0.051、0.831、0.794和 0.654），而基金論文比、篇均作者機(jī)構(gòu)數(shù)、即年指標(biāo)和Web即年下載率與目標(biāo)層之間在0.05水平（雙側(cè)）上顯著相關(guān)（r值分別為0.429、0.395、0.423和0.411）。由此可知各項指標(biāo)與目標(biāo)層之間存在不同程度的正相關(guān)性，評價指標(biāo)體系構(gòu)建在整體上較合理。

圖1 Web即年下載率指標(biāo)與目標(biāo)層之間相關(guān)性分析結(jié)果及相應(yīng)的散點圖

2.4 與《中文核心期刊要目總覽》的比較分析

由于《中文核心期刊要目總覽》 （2011年版） 中共列出17種數(shù)學(xué)核心期刊排名情況，因此本文選擇其與上述期刊評價結(jié)果進(jìn)行對比分析，以探尋兩者間的差異性及其原因，對比情況如表5所示。需要說明的是，表中“升降幅度”一列是指某刊在本文研究中排名與其在《總覽》中排名相比下的升降位數(shù)，正負(fù)數(shù)分別表示排名升與降，“/”表示某刊在《總覽》中為非核心期刊。

表5 本文研究的數(shù)學(xué)期刊綜合評價值排名與《總覽》中排名的對比情況

從表中可知，《數(shù)學(xué)學(xué)報》等4種期刊在兩個評價體系中排名均相同，《數(shù)學(xué)的實踐與認(rèn)識》等4種期刊以及《系統(tǒng)科學(xué)與數(shù)學(xué)》等2種期刊的排名分別有不同程度的上升或下降。由于本文與《總覽》中的指標(biāo)構(gòu)成、評價時段與方法不盡相同，兩者的評價結(jié)果必然存在一定差異。僅以排名變動較明顯的《數(shù)學(xué)的實踐與認(rèn)識》和《應(yīng)用數(shù)學(xué)學(xué)報》為例，兩刊的來源指標(biāo)值排名均普遍靠后，而前者的被引指標(biāo)值排名多數(shù)較靠前，而后者多數(shù)較靠后。從表4中可知，來源與被引指標(biāo)權(quán)重分別約占總權(quán)重的20%和80%。如果期刊各項指標(biāo)排名均居前列，則其綜合排名必定靠前，如《應(yīng)用數(shù)學(xué)學(xué)報》；如果來源指標(biāo)排名較靠后，而被引指標(biāo)排名較靠前而且競爭優(yōu)勢較明顯，則其綜合排名也會相對靠前，如《數(shù)學(xué)的實踐與認(rèn)識》。此外，《總覽》的評價指標(biāo)中有6項量效指標(biāo)和4項信息棧指標(biāo)（如被索引量、被摘量、獲國家獎或被國內(nèi)外重要檢索工具收錄數(shù)等）均受期刊載文量的較大影響，一定程度上削弱了被引指標(biāo)的評價效果。

本文構(gòu)建的評價指標(biāo)體系比較突出期刊學(xué)術(shù)影響力的評價效用，也能體現(xiàn)一定的期刊學(xué)術(shù)含量，有效避免了由于期刊編輯出版隨意改進(jìn)來源指標(biāo)（如增加載文、被摘、Web下載、自引等數(shù)量）以獲得較高評價績效所帶來的不良影響。因此，本文構(gòu)建的期刊評價指標(biāo)體系在總體上具有一定的科學(xué)合理性，與《總覽》等傳統(tǒng)做法不同，能夠適用于不同學(xué)科領(lǐng)域期刊評價；在指標(biāo)選擇方面，既兼顧各類期刊的內(nèi)在特征和外在影響，又考慮不同期刊的辦刊特色或方向，能夠較公平和客觀地體現(xiàn)與評價期刊學(xué)術(shù)質(zhì)量；在指標(biāo)權(quán)重分配方面，既包含專業(yè)成分又融入學(xué)科特色，同時涵蓋基礎(chǔ)與學(xué)科兩類權(quán)重，一定程度上避免了專家偏向等主觀影響。

［參考文獻(xiàn)］

［1］朱強(qiáng)，等．中文核心期刊要目總覽（第六版）［M］．北京：北京大學(xué)出版社，2011：1－18.

［2］南京大學(xué)中國社會科學(xué)研究評價中心-來源期刊目錄 ［EB/OL］.［2012－08－16］．http://cssci.nju.edu.cn/news.as-p?ChannelID=9.

［3］中國科學(xué)引文數(shù)據(jù)庫項目組．中國科學(xué)計量指標(biāo):期刊引證報告（2011年卷）［R］.北京：知識產(chǎn)權(quán)出版社，2012：1－10.

［4］萬錦堃,薛芳渝.中國學(xué)術(shù)期刊綜合引證報告（2009年版）［R］.北京：科學(xué)出版社，2010：1－10.

［5］曾建勛．2010年版中國期刊引證報告（擴(kuò)刊版）［R］.北京：科學(xué)技術(shù)文獻(xiàn)出版社，2010：1－8.

［6］邱均平，等．中國學(xué)術(shù)期刊評價研究報告：RCCSE權(quán)威、核心期刊排行榜與指南 （2011－2012）［R］.北京：科學(xué)出版社，2011：8－26.

［7］龐景安,等.中國科技期刊綜合評價指標(biāo)體系的研究［J］.中國科技期刊研究，2000（4）：217－219.

［8］師昌緒，李廷杰．自然科學(xué)學(xué)術(shù)期刊綜合評價指標(biāo)體系研究［J］.中國科技期刊研究，2001，12（3）：165－168.

［9］蘇新寧.人文社會科學(xué)期刊評價指標(biāo)體系研究［J］.圖書館論壇，2006，26（6）：59－65.

［10］白景永．基于職業(yè)成長的高校教師科研能力評價體系設(shè)計 ［J］.繼續(xù)教育研究，2011（7）：39－41.