F指數(shù)：一種改進(jìn)的學(xué)術(shù)影響力測(cè)量方法

王傳毅 俞寅威

(清華大學(xué)教育研究院，北京，100084)

1 引言

學(xué)術(shù)影響力是評(píng)價(jià)科研成果、學(xué)者及學(xué)術(shù)組織的重要維度。h指數(shù)是學(xué)術(shù)影響力常用的量化評(píng)價(jià)辦法[1]。 h指數(shù)兼具考察被引頻次和論文數(shù)量兩個(gè)方面，既可以遏制片面追求論文數(shù)量的不良傾向，同時(shí)又能夠激發(fā)科研人員撰寫高質(zhì)量論文的熱情[2]。但h指數(shù)也存在明顯缺陷，一是區(qū)分度低，特別是對(duì)普通科學(xué)家的學(xué)術(shù)影響力進(jìn)行比較時(shí)，h指數(shù)并不具備鑒別力[3]；二是信息損失，h指數(shù)不僅忽視了高被引論文的貢獻(xiàn)，也完全忽視了h 指數(shù)以下的論文數(shù)量及被引頻次[4]；三是只升不降，h 指數(shù)是一個(gè)累積指標(biāo)，對(duì)年輕的科研工作者不利，同時(shí)允許科學(xué)家“吃老本”，無法反映科學(xué)家研究活力的衰退情況[5]。

為改進(jìn) h 指數(shù)的缺陷，國內(nèi)外學(xué)者先后提出了改進(jìn)型h指數(shù)，即類h( h-type )指數(shù)，主要包括h(2)指數(shù)[6]、g指數(shù)[7]、A指數(shù)[8]、R指數(shù)[9]、AR指數(shù)[9]、hg指數(shù)[10]、hk指數(shù)[11]、A+指數(shù)[12]等等，其中部分指標(biāo)是在h 指數(shù)的基礎(chǔ)上引入新的變量(如論文總被引量、平均被引量、h核心論文被引量、h核心論文平均被引量、論文最高被引量等) ，還有部分指標(biāo)是對(duì) h 指數(shù)進(jìn)行一定的數(shù)學(xué)運(yùn)算(如對(duì)論文被引數(shù)據(jù)進(jìn)行平方，對(duì)幾項(xiàng)指標(biāo)之積求平方根等) ，這些類h指數(shù)都不同程度地提高了 h 指數(shù)的區(qū)分能力，但定義較為復(fù)雜，可操作性并不強(qiáng)。真正理想的評(píng)價(jià)指標(biāo)需要同時(shí)考慮到評(píng)價(jià)成本與評(píng)價(jià)精度，在保證必要的評(píng)價(jià)精度的前提下，指標(biāo)越直觀、越簡單、越容易計(jì)算越好[13]。此外，對(duì)于h指數(shù)的累積性問題，也未能完全解決。

隨著現(xiàn)代科學(xué)的蓬勃發(fā)展，學(xué)科交叉日益深入，跨學(xué)科領(lǐng)域開展學(xué)術(shù)評(píng)價(jià)的需求不斷增加，學(xué)界也開展了諸多探索，大致分為兩類：一是對(duì)被引量排序位置進(jìn)行處理的跨學(xué)科評(píng)價(jià)方法，細(xì)分為以百分位等級(jí)為基礎(chǔ)的分區(qū)法(如Bornmann等[19]提出的PR6指標(biāo)、劉雪立等[20]提出的PR8指標(biāo)和Leydesdorff等[21]提出的PR100指標(biāo))和以反向名次為基礎(chǔ)的位置法(如Pudovkin等[22]設(shè)計(jì)的rnIF指數(shù)和匈牙利科學(xué)計(jì)量學(xué)家Vinkler提出的PRP指數(shù)[23-24])，但此類方法評(píng)價(jià)結(jié)果的穩(wěn)定性較差，會(huì)受期刊分區(qū)權(quán)重設(shè)計(jì)和核心期刊目錄劃定的直接影響。二是對(duì)被引量絕對(duì)數(shù)值進(jìn)行處理的跨學(xué)科評(píng)價(jià)方法，學(xué)者們相繼提出了相對(duì)被引率(RCR)[25]、基于主題的標(biāo)準(zhǔn)化被引量期望(NMCR)[26]、王冠指標(biāo) ( Crown Indicator，CPP/FCSm)[27]、標(biāo)準(zhǔn)化引文得分期望(MNCS)[28]等一系列指標(biāo)；在“引用端”，也有SNCS(1)[29]、SNCS(2)[30]、SNIP[31]、CSNCR[32]等一系列指標(biāo)。其計(jì)算步驟可大致歸納為四步：①計(jì)算某科研實(shí)體的篇均被引量；②界定該科研實(shí)體所屬學(xué)科領(lǐng)域；③計(jì)算該學(xué)科領(lǐng)域論文的平均被引量或平均參考文獻(xiàn)量；④基于平均被引，修正篇均被引量[33]。但需要注意的是，學(xué)術(shù)影響力應(yīng)該體現(xiàn)在論文數(shù)量和論文質(zhì)量的有機(jī)統(tǒng)一上，上述跨領(lǐng)域評(píng)價(jià)指標(biāo)僅僅考慮了對(duì)篇均被引量的修正，對(duì)發(fā)文量的關(guān)注始終不足，因此仍有進(jìn)一步優(yōu)化空間。

鑒于此，本研究試圖以兼顧發(fā)文數(shù)量和質(zhì)量的p指數(shù)為基礎(chǔ)，引入加權(quán)影響力調(diào)節(jié)因子，降低不同學(xué)科領(lǐng)域引用平均水平差異所帶來的影響，構(gòu)建一個(gè)更為合理的跨領(lǐng)域研究成果評(píng)價(jià)指標(biāo)。鑒于該指標(biāo)能夠更加公平合理地對(duì)待學(xué)科領(lǐng)域之間的差異性，本研究擬采用公平的英文單詞Fairness的首字母F對(duì)指數(shù)命名，稱為F指數(shù)(Fairness index)。

2 F指數(shù)的構(gòu)建

2.1 F指數(shù)的計(jì)算公式

2.2 F指數(shù)與相關(guān)指標(biāo)的區(qū)別與關(guān)聯(lián)

3 F指數(shù)的實(shí)證分析

3.1 數(shù)據(jù)來源及分析過程

本研究基于Scopus數(shù)據(jù)庫，以哲學(xué)(Philosophy in Arts and Humanities)、法學(xué)(Laws in Social Sciences)、統(tǒng)計(jì)與概率(Statistics and Probability in Mathematic)、機(jī)械工程(Mechanical Engineering in Engineering)、作物學(xué)(Agronomy and Crop Science in Agricultural and Biological Science)、傳染病學(xué)(Infectious Diseases in Medicine)、多學(xué)科(Multidisciplinary)為研究領(lǐng)域，獲取SciVal分析平臺(tái)統(tǒng)計(jì)的上述每個(gè)領(lǐng)域近五年發(fā)文量最多的500位學(xué)者的相關(guān)數(shù)據(jù)(1)檢索時(shí)間為2021-08-14，為了保證統(tǒng)計(jì)口徑的一致性，發(fā)文量、被引量、FWCI的統(tǒng)計(jì)時(shí)間段均為2016—2020年，h指數(shù)則是截至2020年12月31日的更新數(shù)據(jù)。(發(fā)文量、被引量、FWCI和h指數(shù))，得到3500位學(xué)者的數(shù)據(jù)。

由于少數(shù)論文獲得了絕大部分的引用，因此引文分布是有偏分布[34]。每個(gè)小學(xué)科領(lǐng)域都存在著一批“頭部學(xué)者”，其被引總量和FWCI均名列前茅。同時(shí)，也存在一批“尾部學(xué)者”，其被引總量和FWCI幾乎可以忽略不計(jì)。若將“頭部學(xué)者”或“尾部學(xué)者”作為研究對(duì)象，各種評(píng)價(jià)指標(biāo)會(huì)有很強(qiáng)的一致性，難以判斷出F指數(shù)相較于其他指標(biāo)在統(tǒng)計(jì)性質(zhì)上的優(yōu)越性，故本研究主要關(guān)注“中部學(xué)者”。

為此，本研究的分析過程為：①將每個(gè)領(lǐng)域的500位學(xué)者按被引總量降序排列，被引總量相同則按FWCI降序排列；②保留每個(gè)領(lǐng)域處于上四分位數(shù)和下四分位數(shù)之間的250位學(xué)者，共1750位學(xué)者；③將多學(xué)科領(lǐng)域的學(xué)者數(shù)據(jù)用于跨學(xué)科比較中F指數(shù)及其他相關(guān)指數(shù)的統(tǒng)計(jì)性質(zhì)分析；④將其他六個(gè)領(lǐng)域的學(xué)者數(shù)據(jù)用于單一學(xué)科比較中F指數(shù)及其他相關(guān)指數(shù)的統(tǒng)計(jì)性質(zhì)分析。

3.2 F指數(shù)對(duì)跨學(xué)科領(lǐng)域?qū)W術(shù)影響力評(píng)價(jià)的適用性

由于h指數(shù)和p指數(shù)不是進(jìn)行跨學(xué)科比較的評(píng)價(jià)指標(biāo)，因此分析F指數(shù)在跨學(xué)科比較的適用性時(shí)，不必太過關(guān)注F指數(shù)與h指數(shù)、p指數(shù)的相關(guān)性，而應(yīng)深入具體學(xué)者的發(fā)文情況，評(píng)判F指數(shù)是否起到了調(diào)節(jié)不同學(xué)科領(lǐng)域平均被引次數(shù)差異的效果。同時(shí)，F(xiàn)WCI是一個(gè)對(duì)被引量絕對(duì)數(shù)值進(jìn)行處理的跨領(lǐng)域評(píng)價(jià)指標(biāo)，本質(zhì)上就是以Scopus數(shù)據(jù)庫定義的領(lǐng)域內(nèi)平均水平為ki的標(biāo)準(zhǔn)化引文得分期望(MNCS)[35]。因此，本研究也將學(xué)者的FWCI排名和F指數(shù)排名進(jìn)行比較，若兩者有較高的一致性，則說明F指數(shù)具有調(diào)節(jié)學(xué)科差異開展學(xué)術(shù)影響力評(píng)價(jià)的功能。在此基礎(chǔ)上，進(jìn)而考察F指數(shù)是否相較于FWCI具有良好的區(qū)分度，從而對(duì)其跨學(xué)科學(xué)術(shù)影響力評(píng)價(jià)的適用性作出評(píng)判。

3.2.1 對(duì)于學(xué)科差異的調(diào)節(jié)作用

多學(xué)科領(lǐng)域內(nèi)的學(xué)者主要從事跨學(xué)科研究，且涉及領(lǐng)域大不相同，是研究跨學(xué)科比較的合適樣本。表1呈現(xiàn)了F指數(shù)排位前10名和后10名學(xué)者的學(xué)術(shù)影響力數(shù)值。結(jié)果表明， h指數(shù)和p指數(shù)有相對(duì)一致的順序判斷，但均與F指數(shù)的判斷有顯著差異，F(xiàn)WCI雖相較于 h指數(shù)和p指數(shù)可實(shí)現(xiàn)跨學(xué)科評(píng)價(jià)，但也與F指數(shù)的判斷有顯著區(qū)別。

表1 多學(xué)科領(lǐng)域?qū)W者的學(xué)術(shù)影響力測(cè)算(部分結(jié)果)(3)本表僅列出前10名和后10名學(xué)者的指標(biāo)數(shù)值，需要全表請(qǐng)與作者聯(lián)系wcy1985@tsinghua.edu.cn。

相較于p指數(shù)，F(xiàn)指數(shù)能夠更敏銳地探測(cè)跨學(xué)科研究成果在不同學(xué)科影響力的異質(zhì)性。本研究以p指數(shù)排名第一的Launer和F指數(shù)排名第一的Mallapaty為例，進(jìn)行具體分析。兩位學(xué)者的具體數(shù)據(jù)如表2所示。

表2 Launer和Mallapaty在多學(xué)科領(lǐng)域的相關(guān)指標(biāo)表現(xiàn)

通過計(jì)算可得，Launer的篇均被引為44.5，而Mallapaty的篇均被引僅為10.2，與前者存在較大的差距。由此，似乎p指數(shù)的排名情況更為合理。但需要注意的是，在多學(xué)科領(lǐng)域，不同學(xué)者涉及的學(xué)科領(lǐng)域并不相同，而這些學(xué)科領(lǐng)域的平均被引次數(shù)也不相同，需要深入研究兩位學(xué)者的被引結(jié)構(gòu)。由于篇幅所限，表3以文章的被引量降序排列，保留每位作者排名前五的論文被引情況(2)數(shù)據(jù)來源SciVal分析平臺(tái)，檢索時(shí)間為2021-08-14，需要全表請(qǐng)與作者聯(lián)系wcy1985@tsinghua.edu.cn。。

表3 Launer和Mallapaty在多學(xué)科領(lǐng)域的部分論文被引情況(2016—2020)

Launer排名第一的文章被引量高達(dá)549，超過Mallapaty所有文章的總被引量，但該文章所歸屬的學(xué)科領(lǐng)域平均被引次數(shù)為15.8,說明該學(xué)科領(lǐng)域普遍有著較高的引用量，這也稀釋了這篇文章的影響力。反觀Mallapaty排名第一的文章被引量為98，但該文章所歸屬的學(xué)科領(lǐng)域平均被引次數(shù)僅為2.2，說明該學(xué)科領(lǐng)域的引用量極低，該文章被引量為該學(xué)科領(lǐng)域平均被引次數(shù)的44.99倍，其影響力不言而喻。如果以整體的視角分析兩位學(xué)者的數(shù)據(jù)會(huì)發(fā)現(xiàn)，Launer涉及的學(xué)科領(lǐng)域的平均被引次數(shù)偏高，24篇文章中有14篇文章的領(lǐng)域平均被引次數(shù)>10，有10篇文章的領(lǐng)域平均被引次數(shù)>15，而Mallapaty涉及的學(xué)科領(lǐng)域的平均被引次數(shù)偏低，55篇文章中有43篇文章的領(lǐng)域平均被引次數(shù)<3。因此，若僅僅以學(xué)者的發(fā)文量和總被引量的數(shù)據(jù)對(duì)學(xué)者進(jìn)行評(píng)價(jià)，而不考慮其所在學(xué)科領(lǐng)域的相關(guān)信息，就會(huì)埋沒一批在領(lǐng)域平均被引次數(shù)小的學(xué)科領(lǐng)域中獨(dú)占鰲頭的學(xué)者。F指數(shù)能夠較好地解決這一問題，對(duì)此類學(xué)者予以關(guān)注。

相較于FWCI，F(xiàn)指數(shù)與其相關(guān)系數(shù)高達(dá)0.943，存在顯著正相關(guān)，說明F指數(shù)與FWCI一樣，均具有跨領(lǐng)域評(píng)價(jià)的功能。例如，如表4所示，以F指數(shù)排名第一的Mallapaty和FWCI排名第一的Mahvi，均屬于高學(xué)術(shù)影響力的第一梯隊(duì)，但Mallapaty的發(fā)文量(55)遠(yuǎn)超Mahvi的發(fā)文量(23)，這意味著在學(xué)術(shù)影響力相當(dāng)?shù)幕A(chǔ)上，前者有著發(fā)文數(shù)量的絕對(duì)優(yōu)勢(shì)。因此就學(xué)術(shù)影響力而言，Mallapaty應(yīng)大于Mahvi，而F指數(shù)正是考慮了學(xué)術(shù)產(chǎn)出數(shù)量的因素，所以能夠得到更為科學(xué)合理的評(píng)價(jià)結(jié)果。

表4 Mahvi和Mallapaty在多學(xué)科領(lǐng)域的相關(guān)數(shù)據(jù)匯總

3.2.2 評(píng)價(jià)結(jié)果的區(qū)分度

一方面，F(xiàn)指數(shù)可對(duì)不同學(xué)科學(xué)術(shù)影響力的異質(zhì)性進(jìn)行調(diào)節(jié)，從而實(shí)現(xiàn)跨學(xué)科研究成果的學(xué)術(shù)影響力評(píng)價(jià)；另一方面，F(xiàn)指數(shù)必須在評(píng)價(jià)結(jié)果上具有更加精準(zhǔn)的區(qū)分度，才能優(yōu)于現(xiàn)有指標(biāo)。本研究認(rèn)為，合理的區(qū)分度要求每個(gè)分?jǐn)?shù)段內(nèi)的人數(shù)盡可能接近正態(tài)分布，且同分(無法判斷)的人數(shù)盡可能少，以免降低評(píng)價(jià)效率。

從正態(tài)性檢驗(yàn)來看，F(xiàn)指數(shù)是最為接近正態(tài)分布的評(píng)價(jià)指標(biāo)。根據(jù)Kolmogorov-Smirnov檢驗(yàn)，h指數(shù)的D統(tǒng)計(jì)量為0.12777，p值為5.699*10-4；p指數(shù)的D統(tǒng)計(jì)量為0.12955，p值為4.533*10-4；FWCI的D統(tǒng)計(jì)量為0.16167，p值為4.218*10-6；F指數(shù)的D統(tǒng)計(jì)量為0.11123，p值為4.118*10-3。雖然它們都拒絕了數(shù)據(jù)分布符合正態(tài)分布的零假設(shè)，但從D統(tǒng)計(jì)量和p值可以看出，F(xiàn)指數(shù)最接近正態(tài)分布，F(xiàn)WCI最不接近正態(tài)分布。

從同分情況來看，F(xiàn)指數(shù)出現(xiàn)同分的情況要顯著低于h指數(shù)和FWCI。表5顯示250名學(xué)者中， h指數(shù)有43名學(xué)者不同分，p指數(shù)有224名學(xué)者不同分，F(xiàn)WCI有89名學(xué)者不同分，F(xiàn)指數(shù)有148名學(xué)者不同分。其中相較于同樣具有跨領(lǐng)域評(píng)價(jià)的FWCI，F(xiàn)指數(shù)同分2名及以上學(xué)者的人數(shù)，顯著要低。

表5 多學(xué)科領(lǐng)域的同分學(xué)者數(shù)量分布表

綜上，不同小學(xué)科領(lǐng)域的發(fā)文量差異會(huì)對(duì)學(xué)者的學(xué)術(shù)影響力評(píng)價(jià)結(jié)果產(chǎn)生顯著影響，F(xiàn)指數(shù)是更為合理和全面的跨學(xué)科評(píng)價(jià)指標(biāo)。

3.3 F指數(shù)在單一學(xué)科領(lǐng)域?qū)W術(shù)影響力評(píng)價(jià)的適用性

在單一學(xué)科學(xué)術(shù)影響力的評(píng)價(jià)中，h指數(shù)和p指數(shù)雖具有一定的局限性，但也被廣泛應(yīng)用。F指數(shù)與h指數(shù)、p指數(shù)均具有顯著的相關(guān)性(見表6)，特別是與p指數(shù)在各學(xué)科領(lǐng)域均呈現(xiàn)中度以上的正向顯著相關(guān)。這表明，F(xiàn)指數(shù)并非是對(duì)現(xiàn)有評(píng)價(jià)指標(biāo)的顛覆，而是進(jìn)一步的改進(jìn)和完善，可用于單一學(xué)科學(xué)術(shù)影響力的評(píng)價(jià)。

表6 F指數(shù)及參照指標(biāo)相關(guān)系數(shù)匯總表

進(jìn)一步，本研究將考察F指數(shù)在區(qū)分度上的表現(xiàn)，是否更接近正態(tài)分布、以及是否出現(xiàn)更少的同分情況。

六個(gè)學(xué)科領(lǐng)域中250位學(xué)者的h指數(shù)、p指數(shù)、F指數(shù)和FWCI經(jīng)過Kolmogorov-Smirnov檢驗(yàn)的結(jié)果顯示(4)顯著性一列中，***p<0.001; **p< 0.01;*p<0.05；+p<0.1，未標(biāo)明顯著性水平的指數(shù)則接受Kolmogorov-Smirnov檢驗(yàn)的零假設(shè)，認(rèn)為該指數(shù)的分布為正態(tài)分布。(見表7)。在各個(gè)學(xué)科領(lǐng)域，F(xiàn)指數(shù)的D統(tǒng)計(jì)量均為最小值，這表明F指數(shù)相較于其他指數(shù)更接近正態(tài)分布；就顯著性水平而言，除了哲學(xué)領(lǐng)域之外， F指數(shù)在其他學(xué)科領(lǐng)域都近似于正態(tài)分布。此外，在大多數(shù)學(xué)科領(lǐng)域中，p指數(shù)、FWCI和h指數(shù)的D統(tǒng)計(jì)量逐漸增大，這代表著p指數(shù)是除F指數(shù)以外，更接近正態(tài)分布的評(píng)價(jià)指標(biāo)，但也僅在機(jī)械工程領(lǐng)域近似于正態(tài)分布。

表7 正態(tài)分布檢驗(yàn)的D統(tǒng)計(jì)量數(shù)值及p值

六個(gè)學(xué)科領(lǐng)域中250位學(xué)者的h指數(shù)、p指數(shù)、FWCI和F指數(shù)的同分情況顯示(見表8)，F(xiàn)指數(shù)和p指數(shù)的同分人數(shù)小于h指數(shù)和FWCI，哲學(xué)領(lǐng)域F指數(shù)的同分人數(shù)小于p指數(shù)，但在其他領(lǐng)域均略低于p指數(shù)。需要強(qiáng)調(diào)的是，由于p指數(shù)和F指數(shù)都涉及到開方的運(yùn)算，因此在保留更多位有效數(shù)字的情況下，F(xiàn)指數(shù)和p指數(shù)幾乎都不會(huì)出現(xiàn)同分的情況，從此意義上講，F(xiàn)指數(shù)的區(qū)分度能夠得到有效保證。

表8 分領(lǐng)域的同分學(xué)者數(shù)量分布表

4 結(jié)語

本研究提出F指數(shù)作為一種改進(jìn)的學(xué)術(shù)影響力測(cè)度方法，并分別以2016—2020年間在多學(xué)科、哲學(xué)、法學(xué)、統(tǒng)計(jì)與概率、機(jī)械工程、作物學(xué)、傳染病學(xué)等七個(gè)領(lǐng)域各250位學(xué)者為研究對(duì)象，進(jìn)行了實(shí)證研究。結(jié)果發(fā)現(xiàn)，F(xiàn)指數(shù)雖與h指數(shù)、p指數(shù)、FWCI顯著相關(guān)，但能夠?qū)崿F(xiàn)跨學(xué)科領(lǐng)域的學(xué)術(shù)影響力比較，且具有更高的區(qū)分度，其分布更接近正態(tài)分布，是適用性更廣、科學(xué)性更強(qiáng)的評(píng)價(jià)指標(biāo)。F指數(shù)也可用于學(xué)者、科研團(tuán)隊(duì)及學(xué)術(shù)組織的學(xué)術(shù)影響力評(píng)價(jià)。

但F指數(shù)也存在著繼續(xù)完善的空間。通過理論推導(dǎo)和具體比較幾位學(xué)者p指數(shù)與F指數(shù)、FWCI與F指數(shù)的評(píng)價(jià)結(jié)果，僅是初步證明F指數(shù)可實(shí)現(xiàn)跨領(lǐng)域評(píng)價(jià)，如何能夠提升F指數(shù)在跨領(lǐng)域比較的評(píng)價(jià)效能仍需進(jìn)一步思考，也可考慮引入更多用于跨領(lǐng)域評(píng)價(jià)的指標(biāo)，如影響因子百分位、標(biāo)準(zhǔn)化特征因子[36-38]等。此外，囿于數(shù)據(jù)的可得性，研究數(shù)據(jù)的被引總量、FWCI均包含學(xué)者自引，如能除去自引，其評(píng)價(jià)結(jié)果會(huì)更為合理，但自引同時(shí)也影響h指數(shù)、p指數(shù)和FWCI的數(shù)值表現(xiàn)，故整體上不會(huì)影響本研究主要結(jié)論。