引文分析法結(jié)合德爾菲法在醫(yī)學(xué)期刊評(píng)價(jià)中的應(yīng)用

劉小緯，孫政，駱華偉，舒暢*，黃衛(wèi)華，田云鵬，楊麗（.浙江省醫(yī)學(xué)科學(xué)院，浙江杭州00；.浙江省衛(wèi)生和計(jì)劃生育委員會(huì)，浙江 杭州0006；.浙江省醫(yī)學(xué)學(xué)術(shù)交流管理中心，浙江 杭州000）

·醫(yī)學(xué)情報(bào)研究·

引文分析法結(jié)合德爾菲法在醫(yī)學(xué)期刊評(píng)價(jià)中的應(yīng)用

劉小緯1，孫政2，駱華偉3，舒暢1*，黃衛(wèi)華2，田云鵬3，楊麗3
（1.浙江省醫(yī)學(xué)科學(xué)院，浙江杭州310013；2.浙江省衛(wèi)生和計(jì)劃生育委員會(huì)，浙江 杭州310006；3.浙江省醫(yī)學(xué)學(xué)術(shù)交流管理中心，浙江 杭州310003）

目的建立一種客觀公正的醫(yī)學(xué)期刊質(zhì)量評(píng)價(jià)指標(biāo)體系，同時(shí)為制定《評(píng)審衛(wèi)生高級(jí)專業(yè)技術(shù)資格醫(yī)學(xué)衛(wèi)生刊物名錄》提供依據(jù)。方法將德爾菲法和引文分析法相結(jié)合，篩選出浙江省內(nèi)107名在專業(yè)領(lǐng)域具有較高水平的專家，對(duì)國(guó)內(nèi)1200多種期刊進(jìn)行分層評(píng)價(jià)，經(jīng)三輪投票。結(jié)果投票共評(píng)選出462種期刊入選名錄，其中一級(jí)刊物177種、二級(jí)刊物285種。結(jié)論引文分析法結(jié)合德爾菲法具有客觀﹑準(zhǔn)確和權(quán)威性，且可操作性強(qiáng)，不失為一種評(píng)價(jià)﹑篩選醫(yī)學(xué)科技期刊的有效方法。

醫(yī)學(xué)期刊；評(píng)價(jià)；引文分析；德爾菲法

隨著科學(xué)技術(shù)的高速發(fā)展，作為成果報(bào)道和知識(shí)傳播主要載體的期刊其作用日益突現(xiàn)?？萍计诳瘏R集了大量的科技研究成果，是一個(gè)國(guó)家科技實(shí)力和科技創(chuàng)新水平的窗口［1］。截至2012年，我國(guó)的期刊總數(shù)已達(dá)到5000種，居世界第二［2］，成為名副其實(shí)的期刊大國(guó)。然而，我國(guó)的期刊總體水平參差不齊，因此，對(duì)期刊的評(píng)價(jià)越來(lái)越受到各方的關(guān)注。兼具科學(xué)性與合理性的期刊評(píng)價(jià)體系能夠基本準(zhǔn)確地反映期刊的真實(shí)水平，能為科技工作者的科研成果獲得理想的展示平臺(tái)，在申報(bào)基金課題，評(píng)定科技論文、專業(yè)技術(shù)職稱、科研成果時(shí)也可為管理部門提供相關(guān)的參考，同時(shí)也能為期刊自身明確定位、挖掘潛力提供動(dòng)力和方向。故期刊的評(píng)價(jià)對(duì)促進(jìn)期刊質(zhì)量、開創(chuàng)良性競(jìng)爭(zhēng)的出版環(huán)境以及推進(jìn)我國(guó)學(xué)術(shù)水平，具有一定的現(xiàn)實(shí)意義。

期刊評(píng)價(jià)理論與實(shí)踐源于美國(guó)。美國(guó)著名情報(bào)學(xué)家加菲爾德博士在20世紀(jì)60年代對(duì)期刊文獻(xiàn)的引文進(jìn)行了大規(guī)模統(tǒng)計(jì)分析，得到了“大量被引用文獻(xiàn)集中在少數(shù)期刊上，而少量被引用文獻(xiàn)散布在大量期刊中”的結(jié)論，被認(rèn)為是國(guó)外期刊評(píng)價(jià)理論的起源，我國(guó)的科技期刊評(píng)價(jià)研究開始于20世紀(jì)70年代［3］。經(jīng)過(guò)多年的發(fā)展，目前國(guó)內(nèi)應(yīng)用較多的科技期刊評(píng)價(jià)體系有：北京大學(xué)圖書館的《中文核心期刊要目總覽》、中國(guó)科技信息研究所的《中國(guó)科技論文統(tǒng)計(jì)源期刊》、中國(guó)科學(xué)院文獻(xiàn)情報(bào)中心的“中國(guó)科學(xué)引文數(shù)據(jù)庫(kù)（CSCD）”、中國(guó)科學(xué)技術(shù)信息研究所的《中國(guó)科技期刊引證報(bào)告》、清華大學(xué)與中國(guó)科學(xué)文獻(xiàn)計(jì)量評(píng)價(jià)研究中心的《中國(guó)學(xué)術(shù)期刊影響因子年報(bào)（JIF）》、武漢大學(xué)中國(guó)科學(xué)評(píng)價(jià)研究中心的《中國(guó)學(xué)術(shù)期刊評(píng)價(jià)研究報(bào)告（RCCSE）》等。在這些評(píng)價(jià)體系中，中國(guó)科技信息研究所采用以引文分析為主導(dǎo)的綜合統(tǒng)計(jì)方法；武漢大學(xué)版力求從被引用和期刊發(fā)文兩個(gè)方面定量反映期刊的學(xué)術(shù)質(zhì)量和影響力，但實(shí)際上定性的作用非常有限；北京大學(xué)版則以定量評(píng)價(jià)為依據(jù)，以定性評(píng)審為補(bǔ)充，定性與定量相結(jié)合的比較標(biāo)準(zhǔn)的方法［4］。以上體系雖然使用多年，各有利弊，但是由于國(guó)內(nèi)尚缺乏類似SCI、Medline的大型、權(quán)威、統(tǒng)一的數(shù)據(jù)庫(kù)，每個(gè)數(shù)據(jù)庫(kù)收錄的期刊也不盡相同，并不能完整地覆蓋國(guó)內(nèi)出版的期刊，不同數(shù)據(jù)庫(kù)提供的引文數(shù)據(jù)也不同，影響了評(píng)價(jià)的準(zhǔn)確性，同時(shí)一些評(píng)價(jià)方法過(guò)于重視定量指標(biāo)而輕視定性評(píng)價(jià)，過(guò)于簡(jiǎn)單化，影響了評(píng)價(jià)體系的科學(xué)性。期刊評(píng)價(jià)體系是否具客觀性和合理性是反映期刊真實(shí)水平的重要因素。

浙江省從2008年起使用《評(píng)審衛(wèi)生高級(jí)專業(yè)技術(shù)資格醫(yī)學(xué)衛(wèi)生刊物名錄》來(lái)提升晉升論文的質(zhì)量，對(duì)扼制“學(xué)術(shù)垃圾”取得了一定的成效。隨著學(xué)科的發(fā)展和晉升人數(shù)的變化，對(duì)該名錄的調(diào)整勢(shì)在必行，迫切需要一種全面、客觀、公平公正、保證學(xué)術(shù)質(zhì)量、兼顧學(xué)科發(fā)展、滿足高層次人才選拔、可重復(fù)操作且可全面評(píng)價(jià)期刊分級(jí)的方法。2012年，本課題組受有關(guān)部門委托，對(duì)該名錄進(jìn)行修訂，以期能夠更加全面公正地為浙江省醫(yī)學(xué)工作者提供學(xué)術(shù)參考。課題組在聽取以及參考了有關(guān)專家學(xué)者的意見后，將引文分析法和德爾菲法相結(jié)合，對(duì)我國(guó)1200多種醫(yī)學(xué)期刊進(jìn)行分類評(píng)價(jià)，在為廣大醫(yī)學(xué)科研人員論文的發(fā)表提供導(dǎo)向的同時(shí)，也希望為我國(guó)醫(yī)學(xué)期刊評(píng)價(jià)提供一種相對(duì)合理﹑客觀的方法。

1　對(duì)象與方法

1.1研究對(duì)象收集了維普、萬(wàn)方、知網(wǎng)三大期刊數(shù)據(jù)庫(kù)、中國(guó)期刊引證報(bào)告（擴(kuò)刊版）2011年版［4］、北京大學(xué)中文核心期刊目錄總覽（2011年版）［5］、中國(guó)科技論文統(tǒng)計(jì)源期刊（2011年版）［6］中的醫(yī)學(xué)相關(guān)期刊，并在中國(guó)新聞出版總署在線查詢網(wǎng)站查詢核對(duì)已停期刊的信息，同時(shí)在網(wǎng)上發(fā)布《關(guān)于修訂名錄的公告》，向醫(yī)學(xué)科研及管理人員征集各學(xué)科未錄入的期刊。收集整理、去重去雜后共有1274種醫(yī)學(xué)相關(guān)期刊（不含科普類期刊）入選備選目錄。將期刊的所屬學(xué)科、主辦單位等基本信息進(jìn)行了匯總，并按中圖法進(jìn)行分類，同時(shí)收集這些期刊的總被引頻次、影響因子。所有期刊的指標(biāo)原則上出自《中國(guó)期刊引證報(bào)告（擴(kuò)刊版）2011年版》，對(duì)于沒有在該引證報(bào)告上收錄的期刊，再在其他數(shù)據(jù)庫(kù)中收集，并且標(biāo)注。同時(shí)查詢期刊是否屬于“北京大學(xué)中文核心期刊”和“中國(guó)科技論文統(tǒng)計(jì)源期刊”，并予以標(biāo)注。

1.2專家的篩選選擇各醫(yī)學(xué)專業(yè)領(lǐng)域、了解本學(xué)科發(fā)展，且在期刊工作及評(píng)價(jià)上有一定造詣的專家，以國(guó)家級(jí)或者省級(jí)各專業(yè)學(xué)術(shù)委員會(huì)的主委和副主委專家為主，共計(jì)107名，均具有正高職稱，工作時(shí)間在15年以上。專家積極指數(shù)以調(diào)查表的回收率來(lái)表示，回收率（%）=收回咨詢表數(shù)/發(fā)放咨詢表總數(shù)1100%。

1.3方法

1.3.1引文分析法檢查各期刊的基本情況，包括主辦單位、被國(guó)內(nèi)外大型數(shù)據(jù)庫(kù)收錄情況、是否核心期刊、引文指標(biāo)（影響因子、被引頻次等）。將收集的期刊基本內(nèi)容匯總，做成問(wèn)卷表，以信函的方式發(fā)放給專家選勾期刊。期刊入選要求：一級(jí)期刊要求在國(guó)內(nèi)相關(guān)領(lǐng)域具有領(lǐng)先的地位；二級(jí)期刊要求在國(guó)內(nèi)有一定的影響力。建議專家參考期刊的引文指標(biāo)進(jìn)行分析，以學(xué)術(shù)質(zhì)量為主要依據(jù)，兼顧學(xué)科的發(fā)展要求來(lái)擬定。數(shù)量要求：根據(jù)浙江省各醫(yī)學(xué)專業(yè)晉升高級(jí)職稱的人數(shù)比例來(lái)選定各專業(yè)的期刊總體數(shù)量，一級(jí)和二級(jí)比例為3：5和每一輪投票要求期刊數(shù)量呈一定比例的遞減。要求專家對(duì)每種雜志是否入選為一級(jí)或者二級(jí)進(jìn)行勾選，原則上一種雜志不能同時(shí)入選一、二級(jí)雜志；如果覺得無(wú)法滿足入選條件則不選。

1.3.2德爾菲法［7］分三輪投票勾選，并按照一級(jí)和二級(jí)期刊的比例保持在3：5的原則。第一輪在專家初選出一、二級(jí)期刊后，匯總專家的意見，將初選出的刊物再次請(qǐng)專家遴選，并減少55%左右的期刊；第二輪要求期刊數(shù)量減少20%左右；第三輪選刊遞減數(shù)量與第二輪相同，再次由專家勾選，最后匯總專家的意見，并定出一、二級(jí)期刊的最終名單。每一輪評(píng)選的專家有30%的輪換。將前一輪的得票數(shù)反映在后一輪的備選名錄中，備選名錄最后一頁(yè)為空白表格，專家如有異議或者有另外推薦的期刊可在表格上補(bǔ)充。

1.4數(shù)據(jù)的處理每一輪問(wèn)卷結(jié)果都建立數(shù)據(jù)庫(kù)。由2名以上專業(yè)人員核實(shí)后，利用Excel表收集、錄入數(shù)據(jù)，并進(jìn)行全面的統(tǒng)計(jì)和分析。

2　結(jié)果

2.1問(wèn)卷發(fā)放和回收情況第一輪發(fā)放問(wèn)卷79份，回收74份；第二輪發(fā)放問(wèn)卷65份，回收63份；第一、二輪的專家系數(shù)分別為93.7%和96.9%。第三輪共發(fā)放30份問(wèn)卷，回收30份，專家系數(shù)100%。三輪問(wèn)卷發(fā)放的專家積極系數(shù)均較高。

2.2篩選結(jié)果第一輪的投票篩選出一級(jí)期刊238種（≥15票），二級(jí)期刊476種（≥10票），共篩選出719種期刊進(jìn)入第二輪投票。第二輪投票篩選出一級(jí)期刊203種（≥7票），二級(jí)期刊301種（≥15票），共504種，另有86種同時(shí)入選一、二級(jí)的期刊作為備選也進(jìn)入第三輪投票，共590種。第三輪最終篩選出一級(jí)期刊177種（≥5票）和二級(jí)期刊285種（≥5票），并定稿。經(jīng)三輪投票后共462種期刊入選新的《評(píng)審衛(wèi)生高級(jí)專業(yè)技術(shù)資格醫(yī)學(xué)衛(wèi)學(xué)刊物名錄》。

3　討論

現(xiàn)行的科研評(píng)價(jià)體系中，科技期刊的評(píng)價(jià)是管理部門無(wú)法回避的問(wèn)題，在晉升職稱、科研成果評(píng)定、申報(bào)基金課題﹑人才評(píng)價(jià)時(shí)，均先需對(duì)期刊學(xué)術(shù)水平進(jìn)行評(píng)估。雖然優(yōu)秀的期刊中難免有低水平的論文，而一些低質(zhì)量的期刊也有新論點(diǎn)新技術(shù)的高水平論文，但是不可否認(rèn)，優(yōu)秀期刊的整體水平較高，因此對(duì)科技期刊進(jìn)行科學(xué)的評(píng)價(jià)對(duì)提升我國(guó)的學(xué)術(shù)水平、提高期刊的辦刊質(zhì)量具有良好的推進(jìn)作用。目前，國(guó)內(nèi)的醫(yī)學(xué)期刊評(píng)價(jià)體系中，SCI和Medline收錄的期刊普遍被視為最高級(jí)別，而其對(duì)它醫(yī)學(xué)生物類期刊的評(píng)價(jià)，則是仁者見仁、智者見智［8-9］。目前，我國(guó)現(xiàn)行的期刊評(píng)價(jià)體系主要存在以下問(wèn)題：評(píng)價(jià)指標(biāo)簡(jiǎn)單化，過(guò)份關(guān)注定量指標(biāo)，或者僅按照出版機(jī)構(gòu)來(lái)簡(jiǎn)單劃分期刊的級(jí)別，同時(shí)由于缺乏統(tǒng)一﹑權(quán)威的數(shù)據(jù)庫(kù)，期刊數(shù)量和引文數(shù)據(jù)不完整，無(wú)法全面地反映國(guó)內(nèi)期刊的現(xiàn)狀。

關(guān)于如何制定合理的期刊評(píng)價(jià)方法，有學(xué)者提出了期刊評(píng)價(jià)分類分層評(píng)價(jià)思路，即為使定性評(píng)價(jià)具有一定的可比較性和可操作性，重點(diǎn)考察每個(gè)期刊在某些分項(xiàng)指標(biāo)（如學(xué)術(shù)水平、編輯水平、出版水平）方面是否有獨(dú)特的優(yōu)勢(shì)，此評(píng)價(jià)可以與計(jì)量學(xué)指標(biāo)互為參照，最終給期刊一個(gè)總體評(píng)價(jià)［10］。該思路兼顧定性和定量評(píng)價(jià)，是較為客觀的評(píng)價(jià)方法。但是采取何種定性方法，最大程度地減少人為影響因素，又兼具可操作性，是決定該方法是否客觀、公正的重要因素。

德爾菲法創(chuàng)建于20世紀(jì)50年代，是利用專家的模糊性信息，通過(guò)通信或其他匿名的方式進(jìn)行信息交換，逐步取得較一致的意見，是一種預(yù)測(cè)、評(píng)價(jià)和收集意見的方法，具有客觀性、充分性以及一定的權(quán)威性［11］，是預(yù)測(cè)及評(píng)價(jià)研究領(lǐng)域較好的方法之一。目前，德爾菲法在層次分析、科技預(yù)測(cè)，醫(yī)學(xué)、土地集約利用評(píng)價(jià)、生態(tài)環(huán)境、可持續(xù)發(fā)展以及教育等相關(guān)領(lǐng)域均有廣泛應(yīng)用［11］，是比較合適的定性評(píng)價(jià)方法。本文篩選了國(guó)內(nèi)各學(xué)科領(lǐng)域中具有較高學(xué)術(shù)造詣的專家，結(jié)合引文分析法和德爾菲法，對(duì)國(guó)內(nèi)1274種醫(yī)學(xué)期刊進(jìn)行定性和定量相結(jié)合的評(píng)價(jià)。從結(jié)果來(lái)看，基本反映了目前國(guó)內(nèi)科技期刊的總體水平，尤其一級(jí)期刊幾乎囊括了國(guó)內(nèi)各個(gè)學(xué)科綜合排名靠前、具有較高的學(xué)術(shù)聲譽(yù)的期刊。修訂的目錄使用兩年來(lái)，得到了省內(nèi)絕大多數(shù)醫(yī)藥衛(wèi)生科技工作者的認(rèn)可，表明該法具有全面性和客觀性。當(dāng)然，由于德爾菲法比較依賴專家的意見，而一些專家對(duì)不熟悉領(lǐng)域的評(píng)價(jià)，以及一些綜合性的期刊難以歸類，這些因素均在不同程度上影響了評(píng)價(jià)的準(zhǔn)確性。如何進(jìn)一步完善該方法，有待于進(jìn)一步探討。

為了盡可能完整地收錄國(guó)內(nèi)醫(yī)學(xué)期刊，作者對(duì)國(guó)內(nèi)所有的數(shù)據(jù)庫(kù)進(jìn)行篩選，引文數(shù)據(jù)以《中國(guó)期刊引證報(bào)告（擴(kuò)刊版）2011年版》為基礎(chǔ)，對(duì)該報(bào)告中未收錄的期刊才采用其他數(shù)據(jù)庫(kù)中的數(shù)據(jù)，力求數(shù)據(jù)具有可比性。本文收集的1274種醫(yī)學(xué)期刊基本完整覆蓋了2012年之前我國(guó)公開發(fā)行的醫(yī)學(xué)期刊，由于數(shù)據(jù)庫(kù)的局限性，仍有2%數(shù)據(jù)來(lái)源于其他數(shù)據(jù)庫(kù)，在一定程度上影響了評(píng)價(jià)數(shù)據(jù)的可比性，但就整體而言，數(shù)據(jù)仍具有較高的科學(xué)性。

張春霆［12］院士認(rèn)為，學(xué)術(shù)評(píng)價(jià)是一個(gè)復(fù)雜的科學(xué)和社會(huì)問(wèn)題，學(xué)術(shù)評(píng)價(jià)工作沒有最好，只有更好，永遠(yuǎn)需要不斷改進(jìn)。國(guó)內(nèi)對(duì)醫(yī)學(xué)科技期刊的評(píng)價(jià)至今尚缺乏較完善有效、權(quán)威統(tǒng)一且可操作性強(qiáng)的方法，作者結(jié)合引文分析法和德爾菲法來(lái)評(píng)價(jià)國(guó)內(nèi)的醫(yī)學(xué)期刊，結(jié)果基本可靠。該法具有以下優(yōu)點(diǎn)：可以最大程度地消除人為影響因素以及指標(biāo)間的相關(guān)性帶來(lái)的偏差，降低評(píng)價(jià)偏差，使結(jié)果更客觀、準(zhǔn)確和權(quán)威，且可操作性強(qiáng)，不失為一種評(píng)價(jià)、篩選科技期刊的有效方法。

［1］賀曉利，白燕瓊.中國(guó)科技期刊的質(zhì)量狀況及對(duì)策.情報(bào)雜志，2003，22（10）:116

［2］楊寧.中國(guó)科技期刊總數(shù)5000居世界第二，整體質(zhì)量不足［N/OL］.人民日?qǐng)?bào).（2012-10-03）［2015-04-29］.http://news. xinhuanet.com/zgjx/2012-10/30/c_131939096.htm.

［3］ 王健東.關(guān)于完善期刊評(píng)價(jià)體系的思考.出版發(fā)行研究，2014，（5）:78

［4］中國(guó)科學(xué)技術(shù)信息研究所，北京萬(wàn)方數(shù)據(jù)股份有限公司.中國(guó)期刊引證報(bào)告（擴(kuò)刊版）2011年版.北京：科學(xué)技術(shù)文獻(xiàn)出版社，2011：9

［5］ 北京大學(xué)圖書館.中文核心期刊要目總覽（2011年版）.北京：北京大學(xué)出版社，2011：1

［6］ 中國(guó)科學(xué)信息研究所.中國(guó)科技論文統(tǒng)計(jì)源期刊概覽（2011年）.北京：科學(xué)技術(shù)文獻(xiàn)出版社，2011：9

［7］丁晉飛，談立峰，湯在祥，等.德爾菲法其在公共衛(wèi)生領(lǐng)域的應(yīng)用和展望.環(huán)境與職業(yè)醫(yī)學(xué)，2012，29（11）:727

［8］邱均平，張榮，趙蓉英.期刊評(píng)價(jià)指標(biāo)體系及定量方法研究.現(xiàn)代圖書情報(bào)技術(shù)，2004，（7）:23

［9］曾文軍.醫(yī)學(xué)期刊學(xué)術(shù)水平綜合評(píng)價(jià)指標(biāo)體系的研究.湖南：中南大學(xué)，2007：1

［10］葉繼元.學(xué)術(shù)期刊質(zhì)量評(píng)價(jià)與核心期刊評(píng)價(jià)之異同.圖書情報(bào)工作，2009，53（18）:5

［11］袁勤儉，宗乾進(jìn)，沈洪洲.德爾菲法在我國(guó)的發(fā)展及應(yīng)用研究—南京大學(xué)知識(shí)圖譜研究組系列論文.現(xiàn)代情報(bào)，2011，31（5）:3

［12］張春霆.學(xué)術(shù)評(píng)價(jià)的評(píng)價(jià).中國(guó)科學(xué)基金，2010，（6）:328

浙江省醫(yī)藥衛(wèi)生科技計(jì)劃一般項(xiàng)目（201344510）*為通訊作者：E-mail:zjykyxb@126.com