結(jié)合引文內(nèi)容分析數(shù)據(jù)的科技期刊影響力評價(jià)研究

■李 偉 黃 歷

1)山東大學(xué)科技期刊社，山東省濟(jì)南市山大南路27號 250100 2)上海海洋大學(xué)期刊中心，上海市浦東新區(qū)滬城環(huán)路999號 201306

自期刊影響因子[1]提出以來，Garfield[2]從文獻(xiàn)引用的角度開展了科學(xué)發(fā)展趨勢的研究，為期刊評價(jià)奠定了基礎(chǔ)?；诒灰l次的指標(biāo)在期刊影響力評價(jià)中發(fā)揮了重要作用[3]，可以從宏觀上反映期刊的學(xué)術(shù)狀況，然而由于學(xué)術(shù)研究的復(fù)雜性，雖然被引頻次能在一定程度上反映同行對被引文獻(xiàn)所持觀點(diǎn)的認(rèn)可程度，但是引用是施引文獻(xiàn)作者的主觀行為，引用內(nèi)容的描述還包含一定的主觀情感：既有對被引文獻(xiàn)的贊同、支持等正面情感，又有反對、質(zhì)疑等負(fù)面情感，還有持中立態(tài)度或僅將被引文獻(xiàn)作為背景介紹提及等[4]。鑒于此，有學(xué)者[5-7]提出應(yīng)從施引文獻(xiàn)的全文著手，聚焦被引用的描述片段，對引用的作用、頻次、位置和內(nèi)容等進(jìn)行分析、研究和統(tǒng)計(jì)，并依據(jù)分析結(jié)果開展期刊影響力的評估，該方式被稱為“引文內(nèi)容分析”。 引文內(nèi)容分析是對傳統(tǒng)引文分析方式的精細(xì)化，應(yīng)用于期刊可以反映出期刊影響力的微觀方面，也是引文分析理論發(fā)展的新階段[8]。然而，人工開展引文內(nèi)容分析耗時(shí)費(fèi)力，如果不能以大規(guī)模的文獻(xiàn)為基礎(chǔ)數(shù)據(jù)進(jìn)行分析，對期刊的影響力評價(jià)就失去了意義。目前人工智能技術(shù)的應(yīng)用正在各行各業(yè)緩慢而穩(wěn)定地向前推進(jìn)，學(xué)術(shù)出版領(lǐng)域也不例外?；趯W(xué)術(shù)大數(shù)據(jù)，采用自然語言處理、機(jī)器學(xué)習(xí)等人工智能技術(shù)的引文內(nèi)容分析平臺——Scite.ai，為引文內(nèi)容分析的智能化發(fā)展提供了技術(shù)支持，也將深刻影響學(xué)術(shù)出版、科學(xué)研究和學(xué)術(shù)評價(jià)[9]。

Scite.ai智能引文內(nèi)容分析平臺通過提供“智能引文”(Smart Citation)幫助研究人員更好地發(fā)現(xiàn)和評估學(xué)術(shù)論文[10]。智能引文保留了傳統(tǒng)的引文網(wǎng)絡(luò)，同時(shí)通過鑒別施引文獻(xiàn)中的引文內(nèi)容顯示參考文獻(xiàn)是如何被使用的，描述參考文獻(xiàn)提供的是支持證據(jù)還是對比證據(jù)，或僅僅是被提及；通過分析引文周圍的文本背景，確定引文在哪個部分被引用以及被引頻次等[11]。除了描述不同引用類型出現(xiàn)的次數(shù)外，Scite.ai還提供支持型和反對型引用的比例，并提出一種標(biāo)準(zhǔn)化的指標(biāo)——引文支持型占比(Scite Index, SI)用于評價(jià)期刊質(zhì)量，這是因?yàn)镾I可以表明期刊中文獻(xiàn)得到支持型引用的總體比例[10]。目前已有許多研究人員利用Scite.ai平臺提供的數(shù)據(jù)對文獻(xiàn)進(jìn)行定量評估。Khamsi[12]報(bào)道了Scite.ai追蹤對COVID-19相關(guān)文獻(xiàn)的正面和負(fù)面引用的情況；Bordignon[13]利用Scite.ai調(diào)查了對預(yù)印本平臺上發(fā)表的文章和評論的負(fù)面引用是否有助于糾正科學(xué)研究中的錯誤；Nicholson等[14]利用Scite.ai分析了1923575篇維基百科文章，發(fā)現(xiàn)這些文章共引用了824298篇被收錄在Scite.ai數(shù)據(jù)庫的學(xué)術(shù)論文，其中57%的學(xué)術(shù)論文沒有被其他學(xué)術(shù)論文引用或沒有后續(xù)的研究，而被不同文獻(xiàn)引用的學(xué)術(shù)論文的引用類型呈現(xiàn)出極大的反差。國內(nèi)學(xué)者雍文明[15]利用Scite.ai平臺提供的數(shù)據(jù)開展了不同學(xué)科期刊引文作用類型差異的研究，發(fā)現(xiàn)自然科學(xué)類期刊的SI較社會科學(xué)類高，自然科學(xué)類期刊中醫(yī)學(xué)類期刊的SI比數(shù)學(xué)、物理和化學(xué)類期刊低。利用Scite.ai的數(shù)據(jù)對期刊影響力進(jìn)行評價(jià)，僅見于Scite.ai的創(chuàng)始人之一——Rosati[16]發(fā)表在預(yù)印本平臺上的論文中：通過歸一化引用類型數(shù)據(jù)，發(fā)現(xiàn)Scite.ai收錄的所有期刊的影響因子呈偏態(tài)分布，而SI呈正態(tài)分布，因此SI能更公平地反映期刊的質(zhì)量。

綜上所述，僅依據(jù)期刊發(fā)表論文的被引頻次及其影響因子易造成影響力評價(jià)的偏差。教育部、科技部印發(fā)的《關(guān)于規(guī)范高等學(xué)校SCI論文相關(guān)指標(biāo)使用 樹立正確評價(jià)導(dǎo)向的若干意見》，其實(shí)質(zhì)就是破除管理和評價(jià)的簡單化、單一化和數(shù)量化，關(guān)注學(xué)術(shù)論文的內(nèi)容質(zhì)量評價(jià)。另外，國家自然科學(xué)獎評價(jià)指標(biāo)中的定量評價(jià)指標(biāo)之一——主要學(xué)術(shù)思想和觀點(diǎn)被他人認(rèn)可的情況，該指標(biāo)是指他人在正式發(fā)表的科學(xué)論文、專著、教材中正面引用完成人提出的學(xué)術(shù)思想、觀點(diǎn)、方法，或被有關(guān)實(shí)驗(yàn)、實(shí)踐所證實(shí)的情況，說明了引文內(nèi)容分析的重要性。以引文內(nèi)容分析為基礎(chǔ)，將被引文獻(xiàn)實(shí)際的作用作為評價(jià)依據(jù)的方法對科學(xué)評價(jià)期刊影響力具有正向激勵和導(dǎo)向作用，將推動學(xué)術(shù)期刊影響力評價(jià)創(chuàng)新發(fā)展[17]。因此，本研究參考Zhao等[18]提出的二維度融合的期刊影響力評價(jià)模型，嘗試以Web of Science(WoS)核心合集的耳鼻喉科學(xué)分類下收錄的期刊為例，從多指標(biāo)融合的角度綜合評價(jià)期刊的影響力，并將期刊影響力分為兩個層次：基于被引頻次的宏觀影響力(Fmacro)與基于引文內(nèi)容分析的微觀影響力(Fmicro)，借助國際學(xué)術(shù)出版領(lǐng)域的新興技術(shù)提供的引文內(nèi)容分析數(shù)據(jù)，研究兩個層次的指標(biāo)內(nèi)在的與相互間的聯(lián)系，并以此為依據(jù)提出新的期刊影響力評價(jià)方法，為中文科技期刊影響力評價(jià)的改革創(chuàng)新積累實(shí)踐經(jīng)驗(yàn)，促進(jìn)人工智能技術(shù)在中文科技期刊出版領(lǐng)域中的應(yīng)用，破除當(dāng)前科研評價(jià)體系的單一化和數(shù)量化，從而為探索和建立新型評價(jià)體系提供實(shí)證研究案例。

1 材料與方法

1.1 數(shù)據(jù)來源與處理

選擇WoS核心合集耳鼻喉科學(xué)類目中收錄的42種國際期刊(表1)作為研究對象?？紤]到相應(yīng)期刊數(shù)據(jù)在Scite.ai中的可獲取性，排除2種總被引頻次少于100次的期刊。在WoS中獲取參考文獻(xiàn)[18]提出的期刊影響力評估模型，該模型共包括總被引頻次(Total Cites, TC)、期刊影響因子(Journal Impact Factor, JIF)、五年影響因子(5-Year Impact Factor, 5YIF)、除去自引后的影響因子(Impact Factor without Journal Self Cites, IFJSC)、即年指標(biāo)(Immediacy Index, IX)、特征因子(Eigenfactor Score，ES)、文章影響力指數(shù)(Article Influence Score, AIS)、歸一化特征因子(Normalized Eigenfactor, NE)8項(xiàng)傳統(tǒng)引文分析指標(biāo)。在Scite.ai平臺(https://scite.ai/)的Journal List版塊中依次查詢期刊的5項(xiàng)引文內(nèi)容分析指標(biāo)——SI、期刊總被引頻次(History Total Citations，HTC；計(jì)算了被引文獻(xiàn)在施引文獻(xiàn)中不同位置出現(xiàn)的次數(shù))、反對型次數(shù)(C)、支持型次數(shù)(S)、提及型次數(shù)(M)，并核對期刊名稱、出版商名稱、ISSN或eISSN，確保期刊數(shù)據(jù)的準(zhǔn)確。

表1 WoS耳鼻喉科學(xué)類的42種國際期刊

由于各個指標(biāo)的量綱不同，數(shù)值之間的差距非常大。為了消除統(tǒng)計(jì)誤差和指標(biāo)差異的影響，對所有原始指標(biāo)數(shù)據(jù)進(jìn)行線性比例標(biāo)準(zhǔn)化處理，即把每個指標(biāo)值除以該指標(biāo)的最大值，將各指標(biāo)值映射到0～1范圍內(nèi)。

1.2 數(shù)據(jù)分析方法

使用 SPSSAU在線數(shù)據(jù)分析軟件進(jìn)行統(tǒng)計(jì)分析。采用Spearman相關(guān)性分析研究層次內(nèi)的指標(biāo)之間以及兩個層次之間是否存在相關(guān)性和相關(guān)性緊密程度，采用Cronbach信度分析檢驗(yàn)各指標(biāo)的可信度，采用因子分析驗(yàn)證每個指標(biāo)是否能反映期刊影響力，采用效度分析衡量綜合評價(jià)體系是否能夠準(zhǔn)確反映評價(jià)目的和要求。

2 結(jié)果與分析

2.1 期刊宏觀影響力評價(jià)

經(jīng)過Spearman相關(guān)性分析，從表2可知，8項(xiàng)傳統(tǒng)引文分析指標(biāo)的相關(guān)系數(shù)在0.252～1.000范圍內(nèi)，各指標(biāo)之間都存在正相關(guān)關(guān)系，且指標(biāo)變化趨勢總體一致。

表2 Spearman相關(guān)性分析結(jié)果

信度分析在衡量指標(biāo)的內(nèi)部一致性方面起著重要作用。由表3可知，Cronbach′sα系數(shù)為0.901，大于0.9，說明宏觀影響力指標(biāo)信度很高；校正項(xiàng)總計(jì)相關(guān)性的范圍為0.407～0.842，均大于0.4，說明各指標(biāo)與宏觀影響力之間的相關(guān)性較高，且各指標(biāo)之間的一致性較高。針對“項(xiàng)已刪除的α系數(shù)”，IX如果被刪除，信度系數(shù)會有上升，由于校正項(xiàng)總計(jì)相關(guān)系數(shù)均大于0.4，在使用宏觀影響力指標(biāo)考察期刊影響力時(shí)可以考慮排除此項(xiàng)。綜上所述，研究數(shù)據(jù)信度系數(shù)值高于0.9，說明8項(xiàng)指標(biāo)的信度質(zhì)量高，可全部用于進(jìn)一步分析。

表3 Cronbach信度分析

效度分析用于檢驗(yàn)各指標(biāo)在評價(jià)期刊影響力時(shí)是否合理以及是否有意義。結(jié)果(表4)顯示，KMO(Kaiser-Meyer-Olkin)值為0.723，此外通過KMO-Bartlett′s檢驗(yàn)得出P<0.001，說明所選指標(biāo)具有較高的效度，可以進(jìn)一步采用因子分析對其進(jìn)行檢驗(yàn)以評價(jià)期刊的學(xué)術(shù)影響力。此外，采用主成分分析作為因子提取方法，各指標(biāo)提取的群落度范圍為0.802～0.954，值較高，信息損失小。因此，因子提取的整體效果比較理想，能夠反映指標(biāo)的原始信息。

表4 效度分析結(jié)果

從效度分析結(jié)果(表4)可知，所有研究項(xiàng)對應(yīng)的共同度值均高于0.4，說明研究項(xiàng)信息可以被有效提取。另外，KMO值大于0.6，說明數(shù)據(jù)可以被有效提取。

方差解釋率值用于說明信息提取水平；因子載荷系數(shù)用于衡量因子(維度)和指標(biāo)的對應(yīng)關(guān)系，因子載荷系數(shù)絕對值大于0.4，說明研究項(xiàng)和因子有對應(yīng)關(guān)系。從表5可知，利用因子分析方法共提取出特征根值大于1的2個因子，其旋轉(zhuǎn)前方差解釋率值分別是61.375%、25.726%，旋轉(zhuǎn)后累積方差解釋率均為87.101%(>50%)，意味著指標(biāo)的信息可以被有效地提取出來。最后，結(jié)合因子載荷系數(shù)，確認(rèn)因子和研究項(xiàng)的對應(yīng)關(guān)系是否與預(yù)期相符，如果相符則說明具有效度，反之則需要重新進(jìn)行調(diào)整。

表5 因子分析結(jié)果

本研究中使用因子分析法，需要進(jìn)行權(quán)重計(jì)算，因此使用“成分得分系數(shù)矩陣”建立因子和研究項(xiàng)之間的關(guān)系等式(基于標(biāo)準(zhǔn)化后數(shù)據(jù)建立關(guān)系表達(dá)式)，表達(dá)式為

F1=-0.108×ITC+0.244×IJIF+

0.251×I5YIF+0.243×IIFJSC+

0.187×IIX-0.055×IES+

0.251×IAIS-0.055×INE

(1)

F2=0.374×ITC-0.021×IJIF-

0.050×I5YIF-0.027×IIFJSC-

0.078×IIX+0.346×IES-

0.062×IAIS+0.346×INE

(2)

式中：I為各指標(biāo)值；F1、F2分別為從8項(xiàng)指標(biāo)數(shù)據(jù)提取的信息中得到兩個對期刊影響力起主要作用的因子。

由表5可知，在“旋轉(zhuǎn)后方差解釋率”中，主成分方差貢獻(xiàn)的比例以“方差解釋率”作為權(quán)重，其計(jì)算公式為

(3)

式中：λ1、λ2分別為因子1、因子2的旋轉(zhuǎn)后方差解釋率。由此，可以得到期刊宏觀影響力評價(jià)模型公式:

(4)

2.2 微觀學(xué)術(shù)影響力評價(jià)

經(jīng)過相關(guān)性分析后，從表6可知，SI與HTC、C、S、M 4項(xiàng)指標(biāo)之間P均大于0.05，相關(guān)系數(shù)分別為-0.159、-0.233、-0.162、-0.197，說明SI與HTC、C、S、M 4項(xiàng)指標(biāo)之間的相關(guān)關(guān)系沒有統(tǒng)計(jì)學(xué)意義。產(chǎn)生該結(jié)果的可能原因?yàn)椋阂环矫?，單一期刊?nèi)部或者學(xué)科領(lǐng)域內(nèi)期刊之間，收錄論文的子領(lǐng)域可能存在差異，而不同子領(lǐng)域論文的被引頻次以及被引文獻(xiàn)在施引文獻(xiàn)中不同位置出現(xiàn)的次數(shù)都很可能會存在較大差異；另一方面，SI為支持型引用在支持型和反對型引用總和中的占比，由于實(shí)際情況中支持型和反對型引用在總引用中的占比極低，此計(jì)算方式可能會造成數(shù)據(jù)失真。此外，提及型引用并非沒有價(jià)值或不能代表影響力，但是為了作進(jìn)一步分析，暫時(shí)保留SI進(jìn)行信度分析后再考察其有效性。

表6 Spearman相關(guān)性分析結(jié)果

通過信度分析，從表7可知，Cronbach′α系數(shù)為0.927，大于0.9，說明研究數(shù)據(jù)信度質(zhì)量很高。對于“項(xiàng)已刪除的α系數(shù)”，SI如果被刪除，信度系數(shù)會有較為明顯的上升。對于“校正項(xiàng)總計(jì)相關(guān)性”，由于SI對應(yīng)的值小于0.2，說明其與其余分析項(xiàng)的關(guān)系很弱，因此可確定SI對于期刊影響力評價(jià)作用不大，可在接下來的分析中剔除SI；其他幾項(xiàng)指標(biāo)的校正項(xiàng)總計(jì)相關(guān)性值高于0.9，說明數(shù)據(jù)信度質(zhì)量高，可用于進(jìn)一步分析。

表7 Cronbach信度分析結(jié)果

采用因子分析進(jìn)行信息濃縮研究，首先考察KMO值，分析結(jié)果為0.790，大于0.6，滿足因子分析的前提要求，意味著除SI以外的4項(xiàng)引文內(nèi)容分析指標(biāo)可用于因子分析研究。再通過KMO-Bartlett′s檢驗(yàn)，得到P<0.001，進(jìn)一步說明該數(shù)據(jù)適合進(jìn)行因子分析。

檢驗(yàn)因子提取信息量情況，結(jié)果如表8所示?？梢钥吹剑阂蜃臃治鲆还蔡崛〕?個因子，特征根值大于1；此因子的旋轉(zhuǎn)前方差解釋率和旋轉(zhuǎn)后累積方差解釋率均為98.227%。使用最大方差旋轉(zhuǎn)方法(Varimax)進(jìn)行旋轉(zhuǎn)，以便找出因子和研究項(xiàng)的對應(yīng)關(guān)系。從表9可知，4項(xiàng)指標(biāo)對應(yīng)的共同度值均高于0.4，意味著4項(xiàng)指標(biāo)和因子之間有著較強(qiáng)的關(guān)聯(lián)性，因子可以有效地提取出信息，以進(jìn)一步分析因子和4項(xiàng)指標(biāo)的對應(yīng)關(guān)系。

表8 因子提取信息量情況

表9 效度分析結(jié)果

使用因子分析法進(jìn)行權(quán)重計(jì)算，按照“成分得分系數(shù)矩陣”建立因子和4項(xiàng)指標(biāo)之間的關(guān)系等式(基于標(biāo)準(zhǔn)化后數(shù)據(jù)建立關(guān)系表達(dá)式)：

F3=0.253×IHTC+0.253×IC+0.250×IS+

0.253×IM

(5)

由于只存在單因子，故Fmicro=F3。

對宏觀影響力與微觀影響力之間的相關(guān)性進(jìn)行檢驗(yàn)，結(jié)果如表10所示。Fmacro和Fmicro之間的相關(guān)系數(shù)值為0.492，并且P<0.01，二者具有顯著統(tǒng)計(jì)學(xué)差異，可見兩種影響力之間有著顯著的中度正相關(guān)關(guān)系，且基于引文內(nèi)容分析的指標(biāo)對基于引文的期刊學(xué)術(shù)影響評價(jià)具有很好的補(bǔ)充作用。

表10 Spearman相關(guān)性分析結(jié)果

二維度融合的期刊影響力評價(jià)模型選擇兩個分類維度，用于綜合反映評價(jià)對象在領(lǐng)域中的水平和狀態(tài)。Fmarco衡量的是直觀的容易計(jì)算的學(xué)術(shù)貢獻(xiàn)和同行對其成果的認(rèn)可程度；Fmicro體現(xiàn)了期刊所有被引論文在施引論文中(如介紹、結(jié)果、方法、討論及致謝等部分)出現(xiàn)的頻次、作用等細(xì)顆粒度的學(xué)術(shù)影響力。因此，將Fmarco和Fmicro作為國際耳鼻喉科學(xué)期刊影響評價(jià)的兩個維度，將其映射到二維直角坐標(biāo)系中進(jìn)行綜合評價(jià)。取橫坐標(biāo)為Fmarco、縱坐標(biāo)為Fmicro，兩個維度評價(jià)得分的平均值分別為0.27和0.16，依此將耳鼻喉學(xué)科國際期刊劃分為四類(圖1)：學(xué)科內(nèi)有較高威望的期刊(Fmarco>0.27,Fmicro>0.16)，8種；學(xué)科內(nèi)的明星期刊(Fmarco<0.27,Fmicro>0.16)，6種；學(xué)科內(nèi)的常規(guī)期刊(Fmarco<0.27,Fmicro<0.16)，20種；學(xué)科內(nèi)的專家級期刊(Fmarco>0.27,Fmicro<0.16)，8種。

3 結(jié)論

被引頻次是一種單維度的度量指標(biāo)。然而不同類型的引用所起的作用都不一樣，以被引頻次為基礎(chǔ)的文獻(xiàn)計(jì)量指標(biāo)無法體現(xiàn)出不同類型引用的作用。采用引文內(nèi)容分析數(shù)據(jù)，結(jié)合傳統(tǒng)的基于被引頻次的期刊評價(jià)指標(biāo)，重新構(gòu)建分類標(biāo)準(zhǔn)不失為一種有益嘗試。本研究的結(jié)果發(fā)現(xiàn)，期刊的SI指標(biāo)與其他4項(xiàng)引文內(nèi)容分析指標(biāo)無相關(guān)性，且各期刊間的SI也無顯著性差異，僅從SI指標(biāo)比較難區(qū)分出期刊的影響力，因而SI不適合單獨(dú)作為期刊影響力評價(jià)指標(biāo)。此結(jié)論與SI的發(fā)明人所提出的結(jié)論不符[16]。

未來的研究還需要深入探究Scite.ai平臺的作用，著眼于期刊論文包含的其他特征(如作者和機(jī)構(gòu))，或著眼于對單篇論文的支持型和反對型引用的分布，以便為單篇論文的文獻(xiàn)計(jì)量學(xué)研究提供更細(xì)粒度的分析方法。希望本研究的初步發(fā)現(xiàn)能夠?yàn)橥ㄟ^在引文內(nèi)容分析中添加額外的信息來增加期刊評價(jià)的細(xì)微差別提供啟發(fā)。此外，加強(qiáng)人工智能技術(shù)在中文科技期刊影響力評價(jià)領(lǐng)域中的應(yīng)用，對破除當(dāng)前科研評價(jià)體系的單一化和數(shù)量化、探索和建立新型評價(jià)體系具有重要的現(xiàn)實(shí)意義。

圖1 國際耳鼻喉科學(xué)期刊宏觀和微觀影響力指數(shù)象限圖