共詞分析識別研究熱點的效標(biāo)關(guān)聯(lián)效度研究：基于自然語言處理*

楊 麗 張彤彤 周文杰

（1.西北師范大學(xué)商學(xué)院 甘肅蘭州 730070）

1 研究背景

共詞分析已被科學(xué)計量學(xué)及相關(guān)領(lǐng)域的研究者廣泛應(yīng)用于研究熱點的識別之中。相對于傳統(tǒng)的引文分析等方法，由于共詞分析直接面向主題并針對學(xué)術(shù)文獻的內(nèi)容進行分析，能夠在很大程度上克服基于引文分析等方法識別熱點所產(chǎn)生的滯后性、間接性等問題，從而更具優(yōu)勢。而且，隨著自然語言處理技術(shù)的成熟和發(fā)展，針對海量學(xué)術(shù)文獻，運用共詞分析法進行研究熱點的識別具有更高的可行性和便利性。然而，通過文獻調(diào)查發(fā)現(xiàn)，迄今為止，在科學(xué)計量等領(lǐng)域，雖然很多研究者也意識到了共詞分析的局限性，但在對基于共詞分析而識別的研究熱點的可靠性和有效性進行系統(tǒng)檢驗方面卻存在著明顯的薄弱。一個不爭的事實是，科學(xué)學(xué)領(lǐng)域所識別的研究熱點要想得到各領(lǐng)域研究者的普遍認可，須先自證其科學(xué)性。

在測量領(lǐng)域，目前已發(fā)展出了一系列用以證明研究結(jié)果科學(xué)性的檢驗方法，效標(biāo)關(guān)聯(lián)效度便是其中最重要的方法之一。鑒于“基于共詞分析而識別的研究熱點在多大程度上具有有效性和可靠性”這一問題并沒有得到研究者的清晰回答，本研究旨在應(yīng)用自然語言處理的方法，在析取樣本文獻不同分析單元（主要包括題名、摘要、關(guān)鍵詞和全文）的熱點詞并展開共詞分析的基礎(chǔ)上，對所識別的研究熱點的效標(biāo)關(guān)聯(lián)效度進行檢驗，從而對上述研究問題做出回答。

2 相關(guān)研究回顧

2.1 效度、效標(biāo)關(guān)聯(lián)效度與同時效度

在測量領(lǐng)域，效度是檢驗測量結(jié)果有效性的基本指標(biāo)。 效標(biāo)關(guān)聯(lián)效度（criterion-related validity）作為一種對研究的有效性進行衡量的效度檢驗指標(biāo)，其基本思路是通過衡量結(jié)果變量之間的相關(guān)性，從而對測量結(jié)果的有效性做出評判。其中，作為比較基準(zhǔn)的結(jié)果變量被稱為效標(biāo)。同時效度和預(yù)測效度是現(xiàn)有測量理論發(fā)展出的兩種效標(biāo)關(guān)聯(lián)效度檢驗的主要形式。所謂同時效度（concurrent validity）是指研究者在取得所關(guān)注的指標(biāo)得分的同時也獲得相應(yīng)效標(biāo)的測量分?jǐn)?shù)的一種效度檢驗形式。

針對學(xué)術(shù)文獻而展開的科學(xué)計量本質(zhì)上是一種測量。為此，要衡量具體科學(xué)計量結(jié)果（如通過共詞分析法所識別的研究熱點）的有效性，就有必要針對計量分析的過程和結(jié)果展開效標(biāo)關(guān)聯(lián)效度的分析。由于本研究所關(guān)注的主要是基于不同分析單元而展開的共詞分析在研究熱點識別方面有效性的差異，因此選擇以同時效度為基本測量指標(biāo)。

2.2 共詞分析的有效性與可靠性

雖然共詞分析方法已經(jīng)被作為科學(xué)計量領(lǐng)域的通用方法之一，但有很多研究者都發(fā)現(xiàn)，共詞分析存在諸多效度風(fēng)險。如鐘鎮(zhèn)使用高頻關(guān)鍵詞的文獻耦合網(wǎng)絡(luò)進行共詞分析后發(fā)現(xiàn)，高頻關(guān)鍵詞更多地指向高被引文獻，但使用節(jié)點的度數(shù)和中介中心性指標(biāo)去判斷節(jié)點價值具有不確定性；傅柱、王曰芬對共詞分析過程中術(shù)語階段的詞源選擇、術(shù)語規(guī)范和高頻詞選擇三個關(guān)鍵問題進行分析和討論，并分析了若干與共詞分析可靠性和實效性有關(guān)的問題；李綱、巴志超從共詞分析過程中概念術(shù)語的詞源選擇、高頻詞的選定、術(shù)語相關(guān)性計算以及多元統(tǒng)計分析四個方面總結(jié)了共詞分析存在的局限性。另外，巴志超等還試圖通過論文屬性加權(quán)等方法，解決共詞分析方法中存在的共現(xiàn)詞對“同量不同質(zhì)”現(xiàn)象、詞對關(guān)聯(lián)計算缺乏語義性等問題；胡昌平、陳果則對傳統(tǒng)共詞分析中高頻詞共現(xiàn)矩陣的構(gòu)建方法提出了疑問。楊建林發(fā)現(xiàn)，選用高頻詞或詞頻共現(xiàn)關(guān)鍵詞進行共詞分析可以高效研究熱點或主題熱點，但不能有效概括知識全貌。

綜上所述，現(xiàn)有研究者已對共詞分析的局限性進行了比較全面的總結(jié)。然而，但很少有研究者對這種局限性而導(dǎo)致的研究結(jié)果的有效性進行全面檢驗。而且，現(xiàn)有研究者基本都將共詞分析的分析單元固定在關(guān)鍵詞上，很少對其他分析單元（如題名、摘要、全文等）進行考察?；谏鲜鲈颍狙芯繑M采用自然語言處理的方法，在前續(xù)研究的基礎(chǔ)上，基于全文而識別研究熱點并以其為效標(biāo)，通過對不同單元之間的共詞分析而識別的研究熱點進行比較，檢驗各自的同時效度，從而對共詞分析的有效性和可靠性問題做出系統(tǒng)回答。

3 研究設(shè)計

3.1 效標(biāo)選擇與結(jié)果變量的操作性定義

如前文所述，本研究主要關(guān)注基于共詞分析而識別的研究熱點是否具有效標(biāo)關(guān)聯(lián)效度的問題。由于熱點識別并不涉及預(yù)測，因此本研究中所應(yīng)用的效標(biāo)關(guān)聯(lián)效度主要測量指標(biāo)是同時效度。為便于研究的展開，本研究給予了同時效度一個操作性定義，即本研究的同時效度指在取得基于題名、關(guān)鍵詞和摘要而析取的共詞網(wǎng)絡(luò)中心度的同時，也獲得了基于全文而析取的共詞網(wǎng)絡(luò)的中心度。其中，前者是待檢驗變量，后者是效標(biāo)。之所以選擇以基于全文而析取的共詞網(wǎng)絡(luò)的中心度為效度，是因為在本課題的前序研究中，發(fā)現(xiàn)全文共詞網(wǎng)絡(luò)的表面效度最高。關(guān)于效標(biāo)的選擇，本文將在后續(xù)部分進行專門討論。

3.2 分析步驟

本研究的基本分析過程為：

第一，選擇一個學(xué)科發(fā)展相對成熟、邊界比較清晰的學(xué)科——動物學(xué)為分析對象，在CNKI數(shù)據(jù)庫中檢驗了發(fā)表于1988-2017三十年間的全部中文文獻。經(jīng)過數(shù)據(jù)的去重、清洗，共獲得55374篇學(xué)術(shù)論文的題名、摘要、關(guān)鍵詞信息作為基本語料庫以備分析。

第二，針對檢索結(jié)果，采用隨機抽樣的方法，在每個十年隨機選擇其中的500篇文獻下載全文，共獲得1500篇學(xué)術(shù)論文作為全文語料庫以備分析。

第三，應(yīng)用自然語言處理方法，以Python為工具，析取了題名、摘要、全文的高頻詞，并應(yīng)用pandas構(gòu)建了共詞矩陣。針對關(guān)鍵詞，直接識別了高頻詞并構(gòu)建了矩陣。

第四，應(yīng)用兩種重要的科學(xué)計量分析工具——Pajek和Sci分別對上述語料展開了共詞分析，分別識別研究熱點并計算了各種類型的中心度指標(biāo)。

第五，以基于全文而識別的研究熱點為效標(biāo)，并計算其與基于題名、摘要、關(guān)鍵詞而識別的研究熱點在不同指標(biāo)下的相關(guān)系數(shù)，并根據(jù)上述相關(guān)系數(shù)的比較，對不同分析單元的同時效度做出評價。

第六，對Pajek和Sci基于全文而識別研究熱點的各項指標(biāo)/算法獲取的得分進行標(biāo)準(zhǔn)化，并求得熱點指標(biāo)綜合變量，然后將這一綜合變量與基于題名、摘要和關(guān)鍵詞而獲得的相對應(yīng)的綜合變量進行配對樣本的t檢驗，從而進一步完善對不同單元同時效度的分析。

4 研究結(jié)果

4.1 不同分析單元基于相關(guān)分析的同時效度

如前文所述，本文以基于全文而識別的研究熱點為效標(biāo)，對題名、摘要和關(guān)鍵詞等不同分析單元下所識別熱點的同時效度進行全面檢驗。整體而言，在各種熱點識別指標(biāo)下，題名、摘要和關(guān)鍵詞均與全文存在顯著相關(guān)，但相關(guān)系數(shù)的大小在不同分析單元上卻有著明顯的不同（見表1）。這表明，采用題名、摘要、關(guān)鍵詞為分析單元進行研究熱點的識別，其效度存在著一定差異。具體而言，從Pajek和Sci2兩個工具所識別的研究熱點的綜合得分來看，基于全文與摘要而識別的研究熱點之間綜合得分的相關(guān)系數(shù)都最大。由此說明，從整體上看，摘要的同時效度最高。本研究進而對八個單項指標(biāo)進行了比較分析后發(fā)現(xiàn)，各單項指標(biāo)盡管存在相關(guān)系數(shù)高低不同的情況，但仍然呈現(xiàn)出與綜合指標(biāo)相一致的情況，即摘要的同時效度高于題名和關(guān)鍵詞。

表1 全文與題名、摘要、關(guān)鍵詞在不同測度指標(biāo)上的相關(guān)系數(shù)

本研究進而對Pajek所采用的用于識別研究熱點的點度中心度、權(quán)重中心度、緊密度中心度和中介度中心度四項主要指標(biāo)進行比較發(fā)現(xiàn)：首先，摘要在四項指標(biāo)上的相關(guān)系數(shù)均高于題名和關(guān)鍵詞，因此，摘要具有高同時效度這一特征體現(xiàn)于每個單項指標(biāo)，具有較強的穩(wěn)定性；其次，中介度中心度相對于其他指標(biāo)相關(guān)系數(shù)最高，因此，中介中心度在研究熱點識別中應(yīng)該被賦予更高的權(quán)重；第三，如果以摘要為分析單元中介中心度的同時效度最高；第四，如果以題名為分析單元，權(quán)重中心度的同時效度最高；第五，如果以關(guān)鍵詞為分析單元，中介中心度的同時效度最高。

同時，本研究對Sci所采用的用于識別研究熱點 的 Hits、Page_rank、Authority_hits、Eigen_centrality四種算法進行比較后獲得了與Pajek類似的發(fā)現(xiàn)。即摘要的同時效度在四項指標(biāo)上均最高，其中Authority_hits算法優(yōu)于其他三種算法；以題名為分析單元時，Page_rank算法的同時效度最高；以關(guān)鍵詞為分析單元時，Eigen_centrality算法的同時效度最高。

總之，基于摘要識別的研究熱點與全文的相關(guān)系數(shù)值在各項指標(biāo)上均最高。這表明，如果以全文為衡量標(biāo)準(zhǔn)，則通過摘要而識別的研究熱點效度最高。同時，基于題名和關(guān)鍵詞而識別的研究熱點同時效度整體上比較接近，都相對較低。在各單項指標(biāo)上，不同分析單元的同時效度不同。這表明，以單項指標(biāo)來衡量，不同分析單元在效度方面存在不穩(wěn)定性。

4.2 不同分析單元基于均值比較的同時效度

上文分析表明，以全文為效標(biāo)時，題名、摘要和關(guān)鍵詞的效度高低不同，但從表1也可看出，雖然不同分析單元之間的相關(guān)系數(shù)有高有低，但這些相關(guān)系數(shù)都具有統(tǒng)計意義上的顯著性。為進一步解析各分析單元在研究熱點識別的效標(biāo)關(guān)聯(lián)效度方面出現(xiàn)差異的原因，本文進而應(yīng)用兩種不同的分析工具——Pajek和Sci分別測度了基于全文、題名、摘要和關(guān)鍵詞而識別的研究熱點，將各測量指標(biāo)的值進行標(biāo)準(zhǔn)化并求和后，分析對效標(biāo)各分析單元的得分進行了獨立樣本的t檢驗。

基于Pajek和Sci兩個工具，分別利用多項指標(biāo)對研究熱點進行綜合測度后，得出對不同分析單元得分的均值進行比較的結(jié)果（見表2）。其中，全文與題名、全文與關(guān)鍵詞在兩個工具測度所獲得的得分標(biāo)準(zhǔn)分的均值并無顯著差異，而全文與摘要之間卻存在顯著差異。這一發(fā)現(xiàn)似乎與上述相關(guān)分析結(jié)論存在矛盾。進一步分析發(fā)現(xiàn)，與摘要相比，基于全文而獲得的綜合得分的均值較小。由于熱點的測度依據(jù)均是共詞網(wǎng)絡(luò)的各類中心度指標(biāo)，因此，網(wǎng)絡(luò)規(guī)模越大，所識別的節(jié)點越多，中心度得分也趨向于增大。基于全文而識別的共詞網(wǎng)絡(luò)中從規(guī)模上顯然大于摘要共詞網(wǎng)絡(luò)，所以，全文網(wǎng)絡(luò)結(jié)點的中心度更可能大于共詞網(wǎng)絡(luò)的結(jié)點，而全文網(wǎng)絡(luò)綜合得分的標(biāo)準(zhǔn)分相應(yīng)會小于共詞網(wǎng)絡(luò)。由于全文與摘要都以文本形式出現(xiàn)，其不同僅僅在于文本長短的不同。由此可見，全文更高的同時效度在很大程度上源于其較長的文本。當(dāng)然，如果把題名也看作短文本，則全文與題名之間也是一種長文本與短文本的關(guān)系。但是，由表2可以看出，全文與題名之間的綜合得分在均值方面并無顯著差異。由此可見，當(dāng)文本過短時，通過短文本而識別的研究熱點由于缺乏區(qū)分度 （即t值不顯著），而效度很低（即相關(guān)系數(shù)低）。然而，由于本研究的目標(biāo)僅僅是對題名、摘要、關(guān)鍵詞和全文四種分析單元在研究熱點識別上的同時效度進行評價，因此，對于文本長度與研究熱點效度之間關(guān)系的深入解析，尚待后續(xù)研究的跟進。

綜合上述相關(guān)分析結(jié)果來看，在研究熱點的識別方面，文本比詞的同時效度高，而文本的長度對于效度具有一定影響。

5 討論

5.1 效標(biāo)的選擇與關(guān)鍵詞的效度風(fēng)險

效標(biāo)關(guān)聯(lián)效度是衡量研究可靠性的重要指標(biāo)，而同時效度是效標(biāo)關(guān)聯(lián)效度的具體形式之一。效標(biāo)關(guān)聯(lián)效度評價的基本操作流程是，以選定的效標(biāo)為參照，對擬檢驗的變量與效標(biāo)之間的相關(guān)程度進行比較。本研究選定基于全文而識別的研究熱點在Pajek和Sci兩個計量工具上的綜合得分的標(biāo)準(zhǔn)分及各項指標(biāo)為效標(biāo)，通過相關(guān)分析和配對樣本t檢驗兩種計算方法，對不同單元在研究熱點識別方面的同時效度進行了分析。之所以選擇以全文為效標(biāo)，是因為任何形式的研究熱點必然體現(xiàn)于全文之中。與其他分析單元（如關(guān)鍵詞、標(biāo)題、摘要）相比，全文基本不存在在計量過程中遺漏學(xué)術(shù)論文所表達的研究問題的可能性?；谶@種考慮，本研究選擇以全文作為效標(biāo)。

需要注意的是，在傳統(tǒng)的科學(xué)計量研究領(lǐng)域，通常都以關(guān)鍵詞構(gòu)建共詞矩陣的基本單元。然而，在本課題組關(guān)于共詞分析效度的系列中發(fā)現(xiàn)，基于關(guān)鍵詞而識別的研究熱點既存在與領(lǐng)域?qū)＜夜沧R性的研究熱點不一致的情況，又存在與其他分析單元之間不一致的情況。這種情況，在本課題其他類型效度檢驗也有體現(xiàn)（詳情可參見本專題另外一篇文章《研究熱點識別的內(nèi)容效度研究：基于自然語言處理》）。顯然，這些發(fā)現(xiàn)從一定程度上顛覆了傳統(tǒng)研究中所“默認”的關(guān)于關(guān)鍵詞對于學(xué)術(shù)論文最有代表性的觀點。由此而產(chǎn)生的啟示是，科學(xué)計量領(lǐng)域關(guān)于研究熱點識別的基本分析單元需要從基于詞轉(zhuǎn)向基于文本。但同時也要注意到，長度不同的三種文本——標(biāo)題、摘要和全文的效度系數(shù)也有所差異，由此可以看出，在研究熱點的識別中，文本長度的確定問題也應(yīng)得到本領(lǐng)域研究者的充分關(guān)注。

表2 全文與題名、摘要、關(guān)鍵詞在不同測度工具上得分的t檢驗結(jié)果

5.2 測量工具與指標(biāo)在同時效度檢驗上的一致性

為了對所檢驗結(jié)果的穩(wěn)定性做出評價，本研究同時采用了Pajek和Sci兩個軟件工具并針對常用的八項研究熱點識別指標(biāo)、算法進行了分析，以期通過相互對照，確認對同時效度檢驗結(jié)果的穩(wěn)定性。由前文所展示的結(jié)果可以看出，兩個軟件工具在所識別的研究熱點上的綜合得分一致程度很高。這表明，本研究關(guān)于摘要的同時效度最高的結(jié)論具有可靠性。另外，通過比較八個常用于研究熱點識別的指標(biāo)（算法）可以看出，各指標(biāo)（算法）在研究熱點識別方面基本一致，也存在一些小幅波動的現(xiàn)象。由此而產(chǎn)生的啟示是，在應(yīng)用現(xiàn)有的中心度指標(biāo)及相關(guān)算法進行研究熱點測度時，這些指標(biāo)在不同的分析單元進行熱點識別時的重要程度不同。因此，應(yīng)考慮對于比較重要的指標(biāo)進行加權(quán)，以便使所識別的熱點具有更高的可靠性。

6 結(jié)語

本研究發(fā)現(xiàn)：基于摘要而識別的研究熱點同時效度相對較高，而基于關(guān)鍵詞所識別的研究熱點同時效度相對較低；在研究熱點識別的效率方面，文本比詞的同時效度高，文本長度對同時效度具有一定影響。雖然本研究比較圓滿地回答了所提出的研究問題，但仍然有一系列后續(xù)問題需要后續(xù)研究的跟進。這些問題主要包括，本研究雖揭示了基于文本進行研究熱點的識別時，文本的長短對于研究的效度具有不同影響，但本研究的數(shù)據(jù)尚不足以對何種文本長度對于研究熱點識別最為適宜這一問題做出解釋。由此產(chǎn)生的啟示是，文本長度與研究熱點識別效度之間的關(guān)聯(lián)應(yīng)該成為今后本領(lǐng)域研究者需要關(guān)注的一個重要問題。另外，本研究發(fā)現(xiàn)，八種常用的研究熱點識別指標(biāo)（算法）在不同的分析單元上的效度不同，這表明在實際測量中，應(yīng)該針對不同的分析單元，在不同的測量指標(biāo)（算法）上使用不同的權(quán)重，這樣才能保證研究熱點識別的可靠性。然而，對于不同指標(biāo)進行加權(quán)是一個復(fù)雜的過程，本研究所獲取的數(shù)據(jù)尚不足以對這種加權(quán)過程進行解析。

參考文獻：

［1］曹樹金.我國網(wǎng)絡(luò)輿情研究現(xiàn)狀及其知識增長趨勢分析［J］.情報資料工作，2016（6）:17-22.

［2］陳蘭蘭.基于社會網(wǎng)絡(luò)分析和共詞分析的國內(nèi)關(guān)聯(lián)數(shù)據(jù)研究［J］.圖書與情報，2013（5）:129-132.

［3］張洪秀.教育測量與評價方法［M］.長春：吉林大學(xué)出版社，2014:59.

［4］鄭日昌.心理與教育測量［M］.北京：人民教育出版社，2011:93.

［5］（美）格雷戈.施俊琦，譯.心理測量：歷史、原理及應(yīng)用［M］.北京：機械工業(yè)出版社，2012:104.

［6］鐘鎮(zhèn).知識圖譜分析方法的可靠性檢驗研究——以共詞分析為例［J］.科學(xué)學(xué)研究，2015，33（5）:647-653.

［7］傅柱，王曰芬.共詞分析中術(shù)語收集階段的若干問題研究［J］.情報學(xué)報，2016，35（7）:704-713.

［8］李綱，巴志超.共詞分析過程中的若干問題研究［J］.中國圖書館學(xué)報，2017，43（4）:93-113.

［9］巴志超，李綱，朱世偉.共現(xiàn)分析中的關(guān)鍵詞選擇與語義度量方法研究［J］.情報學(xué)報，2016，35（2）:197-207.

［10］胡昌平，陳果.科技論文關(guān)鍵詞特征及其對共詞分析的影響［J］.情報學(xué)報，2014，33（1）:23-32.

［11］李佳.共詞聚類分析法中的主要問題與對策［J］.情報學(xué)報，2010，29（4）:614-617.