學(xué)術(shù)論文質(zhì)量評價(jià)向度分析

趙均

關(guān)鍵詞：論文質(zhì)量;學(xué)術(shù)評價(jià);學(xué)術(shù)論文;評價(jià)向度

課題：國家社會科學(xué)基金一般項(xiàng)目“基于大數(shù)據(jù)分析的學(xué)術(shù)期刊質(zhì)量評價(jià)體系研究”（17BXW032）

DOI：10.3969/j.issn.2095-0330.2022.02.013

對學(xué)術(shù)論文質(zhì)量的評價(jià)是學(xué)術(shù)評價(jià)的重要基石。在科研成果鑒定、職稱評審、項(xiàng)目申報(bào)等一系列科研管理工作中，學(xué)術(shù)論文質(zhì)量評價(jià)都占有較大比重。論文學(xué)術(shù)質(zhì)量總體評價(jià)合理，會有力促進(jìn)學(xué)術(shù)共同體的積極性和創(chuàng)造活躍度;反之則會影響到學(xué)術(shù)資源的合理分配和學(xué)術(shù)發(fā)展的繁榮程度。就是這樣重要的學(xué)術(shù)論文質(zhì)量評價(jià)，由于其相對微觀和難以把握反而被模糊對待，直至將其轉(zhuǎn)嫁給學(xué)術(shù)期刊評價(jià)。時(shí)下學(xué)術(shù)期刊評價(jià)之所以受到特別關(guān)注，就是科研管理機(jī)構(gòu)為了簡化工作程序、減少工作量而“以刊評文”所引發(fā)的。也就是說，是學(xué)術(shù)論文評價(jià)的重要帶來了學(xué)術(shù)期刊評價(jià)的受重視。

學(xué)術(shù)論文質(zhì)量的評價(jià)方式主要分為定性評價(jià)和定量評價(jià)兩大類。定性評價(jià)主要是基于各類定性評價(jià)向度的同行專家評議。定量評價(jià)是圍繞論文的可采集特征進(jìn)行的計(jì)量統(tǒng)計(jì)比較，傳統(tǒng)上的定量評價(jià)數(shù)據(jù)來自論文被摘轉(zhuǎn)、獲獎(jiǎng)、被引用、下載和受基金項(xiàng)目資助等情況;隨著大數(shù)據(jù)分析方法的出現(xiàn)，新出現(xiàn)了大數(shù)據(jù)閱讀分析評價(jià)、網(wǎng)絡(luò)影響力評價(jià)等。

一、論文學(xué)術(shù)質(zhì)量的定量評價(jià)

論文學(xué)術(shù)質(zhì)量的定量評價(jià)有摘轉(zhuǎn)向度、獲獎(jiǎng)向度、基金支持向度、web下載向度、被引向度、大數(shù)據(jù)分析向度和網(wǎng)絡(luò)影響力評價(jià)向度等。

（一）摘轉(zhuǎn)向度

基于摘轉(zhuǎn)向度的學(xué)術(shù)論文評價(jià)在被引指標(biāo)還沒有被普遍使用之前，在科研管理工作中占有重要地位。摘轉(zhuǎn)向度指標(biāo)包括摘轉(zhuǎn)刊物級別、篇目輯覽量、論點(diǎn)摘編量、全文轉(zhuǎn)摘量等。學(xué)術(shù)文摘刊物基于論文的學(xué)術(shù)水平和前沿性進(jìn)行的篇目輯覽、論點(diǎn)摘編、全文轉(zhuǎn)摘，目的是選擇優(yōu)秀論文向讀者推薦閱讀。由于其摘轉(zhuǎn)指向確切和學(xué)術(shù)地位相對獨(dú)立，被認(rèn)為是論文學(xué)術(shù)價(jià)值和學(xué)術(shù)影響的真實(shí)反映，受到學(xué)術(shù)共同體的普遍重視。

影響學(xué)術(shù)論文被摘轉(zhuǎn)的因素有論文自身的學(xué)術(shù)水平、與文摘刊物選文傾向的契合度以及是否符合文摘編輯的期待視野等。摘轉(zhuǎn)向度被普遍用作學(xué)術(shù)論文評價(jià)的基本條件是絕大多數(shù)學(xué)術(shù)論文有獲得被摘轉(zhuǎn)的機(jī)會，但是二次文摘刊物目前遠(yuǎn)未達(dá)到覆蓋全部學(xué)科研究領(lǐng)域，即使是同一學(xué)科領(lǐng)域的文摘刊物群對本領(lǐng)域各個(gè)方向的關(guān)注度也難以做到均衡。此外，學(xué)術(shù)文摘刊物編輯的選文水平和主觀傾向也存在較大差異，使得摘轉(zhuǎn)向度用來跨學(xué)術(shù)領(lǐng)域評價(jià)論文學(xué)術(shù)水平有著先天的不足。在文摘刊物覆蓋的學(xué)科領(lǐng)域內(nèi)，用摘轉(zhuǎn)向度來評價(jià)論文的學(xué)術(shù)影響仍舊具備較高的參考價(jià)值，依然應(yīng)該受到重視。以人文社會科學(xué)領(lǐng)域?yàn)槔缎氯A文摘》《中國社會科學(xué)文摘》和《高等學(xué)校文科學(xué)術(shù)文摘》是權(quán)威的學(xué)術(shù)文摘刊物。對于作者來說，論文被這些文摘刊物摘轉(zhuǎn)也是學(xué)術(shù)研究之路上的重要榮譽(yù)之一。

（二）獲獎(jiǎng)向度

論文獲獎(jiǎng)向度的評價(jià)指標(biāo)包括獎(jiǎng)項(xiàng)類型、獎(jiǎng)項(xiàng)層次、獎(jiǎng)項(xiàng)級別、獎(jiǎng)項(xiàng)數(shù)量等。由于在實(shí)際操作中存在著獎(jiǎng)項(xiàng)性質(zhì)、設(shè)置取向與論文學(xué)術(shù)水平的錯(cuò)位，以及不同類型獎(jiǎng)項(xiàng)不好比較等問題。以獲獎(jiǎng)向度來評價(jià)論文的學(xué)術(shù)水平，參考的意義大于學(xué)術(shù)水平評價(jià)本身。一方面，各類評獎(jiǎng)的獎(jiǎng)勵(lì)指向是根據(jù)各評獎(jiǎng)機(jī)構(gòu)本部門的工作目標(biāo)出發(fā)的，存在較大差異，有的評獎(jiǎng)取向并不完全依照學(xué)術(shù)水平，例如統(tǒng)計(jì)這些獲獎(jiǎng)?wù)撐木蜁l(fā)現(xiàn)，應(yīng)用研究方面的科研成果相比基礎(chǔ)理論研究更容易獲得高等級的獎(jiǎng)項(xiàng);另一方面，由于各類獎(jiǎng)項(xiàng)在評獎(jiǎng)時(shí)的取向不同，在實(shí)際工作中存在著不好比較的問題。由不同級別單位頒發(fā)的同一類獎(jiǎng)項(xiàng)，也不宜簡單地以頒獎(jiǎng)單位的行政級別來區(qū)分獎(jiǎng)勵(lì)的等級高低。即便如此，評獎(jiǎng)向度在評價(jià)論文的學(xué)術(shù)影響方面還是具備較為重要的參考價(jià)值。

（三）基金支持向度

基金支持向度是考察學(xué)術(shù)論文受到包括國家自然科學(xué)基金、國家社會科學(xué)基金、國家重點(diǎn)基礎(chǔ)研究發(fā)展規(guī)劃（“973”規(guī)劃）、國家高技術(shù)研究發(fā)展計(jì)劃（“863”計(jì)劃）等國家級基金項(xiàng)目和各類省部級基金項(xiàng)目以及重大橫向項(xiàng)目的支持情況。自從原國家科學(xué)技術(shù)委員會1994年發(fā)布的《科技期刊學(xué)術(shù)類質(zhì)量要求及其評估標(biāo)準(zhǔn)》把基金項(xiàng)目支持情況以“基金論文比”這一指標(biāo)來評估學(xué)術(shù)期刊后，國內(nèi)幾家重要的學(xué)術(shù)期刊評價(jià)系統(tǒng)隨之相繼把其列入評價(jià)指標(biāo)序列。學(xué)術(shù)期刊也隨著“指揮棒”對有基金項(xiàng)目支持的論文給予了特別關(guān)注，受基金項(xiàng)目支持的學(xué)術(shù)論文也就身價(jià)倍增，獲得了一定程度上的刊發(fā)優(yōu)先權(quán)。

基金支持向度的評價(jià)指標(biāo)包括項(xiàng)目類型、項(xiàng)目層次、項(xiàng)目級別等。普遍認(rèn)為，由于基金項(xiàng)目在申報(bào)獲批時(shí)已經(jīng)在研究方向的前沿性、項(xiàng)目主持人的既往科研業(yè)績、科研團(tuán)隊(duì)的科研協(xié)作能力方面接受過較為嚴(yán)格的審核和比較，受到項(xiàng)目資助的論文學(xué)術(shù)水平理論上應(yīng)該較一般論文更高。但究其根本，“基金項(xiàng)目論文水平較高”這一推測性的判斷是可能性較大而非必然性的結(jié)論。有學(xué)者的研究表明，學(xué)術(shù)論文是否受到基金項(xiàng)目支持與論文學(xué)術(shù)水平?jīng)]有顯著相關(guān)，尤其人文社科研究對基金項(xiàng)目支持的依賴度較低，受基金支持的影響度更低。雖然基金項(xiàng)目課題由于具有優(yōu)質(zhì)的科研基礎(chǔ)和基金項(xiàng)目資金的加持，理論上應(yīng)該能夠生產(chǎn)出高水平的科研論文，但這也并不能保證其產(chǎn)出的論文水平就一定不低。有些基金項(xiàng)目論文會因?yàn)檎n題價(jià)值發(fā)生變化、課題研究的投入程度不足和執(zhí)筆人的學(xué)術(shù)素養(yǎng)不夠而導(dǎo)致實(shí)際學(xué)術(shù)水平出人意料?；鹬С窒蚨入m然難以考察論文的學(xué)術(shù)水平，但由于其具備的前沿研究特征、有影響力的主持人帶隊(duì)和之后結(jié)項(xiàng)時(shí)的嚴(yán)格考核，這一向度用來考察論文的學(xué)術(shù)影響依然是有價(jià)值的。

（四）web下載向度

隨著數(shù)字出版的強(qiáng)勢崛起，通過網(wǎng)絡(luò)閱讀科技文獻(xiàn)已經(jīng)成為研究者的日常行為，而網(wǎng)絡(luò)下載、閱讀一般是需要付費(fèi)的，不是隨意下載的，使得下載本身就含有了對學(xué)術(shù)論文的認(rèn)可度。web下載向度的評價(jià)目標(biāo)就是為了考察學(xué)術(shù)論文在網(wǎng)絡(luò)上的學(xué)術(shù)認(rèn)可度，其評價(jià)指標(biāo)包括web下載總量和web即年下載量。web下載總量是指被評價(jià)論文歷史上被下載的總次數(shù)，web即年下載量是指是指被評價(jià)論文在本年度被下載的次數(shù)。

在當(dāng)下大部分學(xué)術(shù)期刊依靠中國知網(wǎng)、萬方數(shù)據(jù)等平臺發(fā)行數(shù)字版的背景下，web下載已經(jīng)成為眾多研究者獲取研究資料的主要途徑。理論上推測，論文被閱讀的次數(shù)越多，被關(guān)注的程度就越大。由于中國知網(wǎng)、萬方數(shù)據(jù)等數(shù)字出版平臺無法做到監(jiān)測讀者的閱讀狀態(tài)和限制讀者下載之后的私自轉(zhuǎn)讓，也就無法確定每一篇論文是否被閱讀以及被下載后的閱讀人（次）數(shù)。這也使得這一指標(biāo)用來考量論文的社會認(rèn)可度是一個(gè)估測，而不是精確計(jì)量。較多下載量有可能是論文學(xué)術(shù)水平較高，對讀者的學(xué)術(shù)研究幫助較多，但也有可能是因?yàn)檎撐牡念}目或內(nèi)容摘要比較吸引讀者，在內(nèi)容上其實(shí)并沒有多少可借鑒之處。

論文的社會認(rèn)可度與學(xué)術(shù)水平顯然不是一個(gè)維度的概念。通過web下載量來測度論文的學(xué)術(shù)水平缺乏讓人信服的理由。一些研究者曾對web即年下載量與學(xué)術(shù)水平的相關(guān)性開展過研究，結(jié)論并不統(tǒng)一，有的認(rèn)為是低度負(fù)相關(guān)，也有的認(rèn)為是低度正相關(guān)。這也說明將web即年下載量作為論文學(xué)術(shù)水平的評價(jià)指標(biāo)是難以成立的，但作為論文學(xué)術(shù)影響的評價(jià)指標(biāo)仍具有一定的參考意義。

（五）被引向度

被引向度是應(yīng)用引文分析法來評價(jià)學(xué)術(shù)論文的評價(jià)向度，是從歷史回溯的角度表征了被評價(jià)論文在學(xué)術(shù)研究進(jìn)程中的地位和對其他研究者提供的科研借鑒作用。被引向度指標(biāo)包括總被引頻次、5年被引次數(shù)等。被引向度的主要影響因素有論文自身的學(xué)術(shù)水平、所屬學(xué)科范圍、讀者可獲得性、非正常引用和評價(jià)統(tǒng)計(jì)源等。

引文分析法本來的目的指向是文獻(xiàn)檢索，引用與被引用關(guān)系使得看似孤立成篇、浩如煙海的科技文獻(xiàn)之間有了千絲萬縷的緊密聯(lián)系。對文獻(xiàn)之間引用與被引用關(guān)系的數(shù)量特征分析和離散規(guī)律進(jìn)行的研究，就是引文分析。雖然很早就有學(xué)者關(guān)注過文獻(xiàn)的引文分析，如1927年美國化學(xué)家格羅斯兄弟（P.L.K.Gross & E.M.Gross）基于對化學(xué)教育雜志的引文分析，列出了化學(xué)教育核心期刊表等。但當(dāng)時(shí)尚處初期的引文分析工作僅是對某一領(lǐng)域的文獻(xiàn)做過統(tǒng)計(jì)分析，在理論上還沒有系統(tǒng)總結(jié)和提煉。直到20世紀(jì)50年代，眾多文獻(xiàn)學(xué)家開始對此開展進(jìn)一步研究，而其中影響最大的要屬美國著名情報(bào)學(xué)家尤金·加菲爾德（E.Garfield）。加菲爾德起初對引文分析的研究主要集中在作為檢索工具的引文索引的設(shè)計(jì)和生產(chǎn)，之后又延伸到引文分析用于科學(xué)管理、科學(xué)史研究等方面，并創(chuàng)辦了美國科學(xué)情報(bào)研究所（Institute of Scientific Information，簡稱ISI）。ISI專門對被引頻次與同行專家評議的相關(guān)關(guān)系進(jìn)行過長時(shí)間段的比對研究，為了消減獲獎(jiǎng)對學(xué)術(shù)論文產(chǎn)生的可能影響，SCI統(tǒng)計(jì)了1962、1963年諾貝爾物理獎(jiǎng)、化學(xué)獎(jiǎng)、醫(yī)學(xué)獎(jiǎng)的獲獎(jiǎng)?wù)咴?961年版所發(fā)表論文的被引量，然后對此進(jìn)行引文分析，這些獲獎(jiǎng)科學(xué)家的篇均被引頻次是2.9，遠(yuǎn)遠(yuǎn)高于本學(xué)科領(lǐng)域的篇均被引頻次1.57。接著反過來驗(yàn)證，SCI又采集了1961-1975年間被引頻次最高的250位科學(xué)家的獲獎(jiǎng)情況，其中獲得諾貝爾獎(jiǎng)高達(dá)42人，入選某個(gè)國家科學(xué)院院士的高達(dá)151人，剩余的其他人也都獲得了其他形式的學(xué)術(shù)獎(jiǎng)勵(lì)或承認(rèn)。這組數(shù)據(jù)說明了被引行為是一種學(xué)術(shù)共同體對學(xué)術(shù)研究水平的承認(rèn)，也就是說，引用行為和被引論文或?qū)Ｖ鴮W(xué)術(shù)水平存在著比較明顯的正相關(guān)關(guān)系。基于這一點(diǎn)，引文分析法可以延伸到評價(jià)學(xué)術(shù)期刊，ISI于1963年編制、出版了《科學(xué)引文索引》（Science Citation Index，SCI），1973年編制了《社會科學(xué)引文索引》（Social Science CitationIndex，SSCI），1978年編制了《藝術(shù)與人文科學(xué)引文索引》（Arts & Humanities Citation Index，A & HCI）。至此，加菲爾德較為齊備地創(chuàng)建了他的引文索引系統(tǒng)和引文分析理論體系。

在學(xué)術(shù)期刊評價(jià)體系沒有被廣泛使用時(shí)，對論文學(xué)術(shù)水平的鑒定主要依靠專家鑒定。專家鑒定雖然有其直接針對論文內(nèi)容和研究水平進(jìn)行具體學(xué)術(shù)評價(jià)的優(yōu)點(diǎn)，但也由于專家個(gè)人學(xué)科范圍、學(xué)術(shù)造詣、評審態(tài)度有差別，又容易受到人情關(guān)系的影響，再加上評審次數(shù)很多、工作量較大，嚴(yán)重影響到了工作效率和工作質(zhì)量?？蒲泄芾斫缂毙枰环N能夠快速、簡便地對科研論文進(jìn)行初步評價(jià)的辦法出現(xiàn)。甚至于有些苦無良策的科研管理機(jī)構(gòu)干脆就按照學(xué)術(shù)刊物的主辦方行政級別和歸屬層次簡單把學(xué)術(shù)期刊歸類為國家級、省部級和地市級，在這些刊物上刊發(fā)的論文也隨之實(shí)現(xiàn)了粗糙的按級別評價(jià)。這種簡單評價(jià)顯然存在很大問題，但也說明了科研管理界對于學(xué)術(shù)論文簡便評價(jià)的需求有多么迫切。當(dāng)出現(xiàn)了本來是為圖書館藏服務(wù)的核心期刊目錄后，被科研機(jī)構(gòu)迅速而廣泛運(yùn)用到科研管理中，也就不難理解了。

目前被廣泛使用的論文學(xué)術(shù)水平評價(jià)方式，就是主要通過引文評價(jià)來劃分學(xué)術(shù)期刊等級，再根據(jù)學(xué)術(shù)期刊的等級“以刊評文”，來判定論文的學(xué)術(shù)水平。我們分析一下，實(shí)際上這一系列的程序存在著兩次“錯(cuò)位”。第一次“錯(cuò)位”是“以引評刊”，就是以學(xué)術(shù)期刊所刊發(fā)論文的被引用數(shù)量來評價(jià)學(xué)術(shù)期刊。引用別人的研究成果是表示論文作者認(rèn)識到被引用文獻(xiàn)對該研究成果具有一定的影響并重要到需要標(biāo)注的程度。引用行為本質(zhì)上是說明該研究成果對其他同行的繼續(xù)研究產(chǎn)生了影響，而影響別的研究者這一行為本身并是證明其學(xué)術(shù)水平的高低以及高低程度。并不是每一項(xiàng)杰出的研究成果都能獲得學(xué)界普遍認(rèn)知，愛因斯坦的相對論就一度受到冷遇;對實(shí)踐富有指導(dǎo)意義的論文，很可能難以用學(xué)界的引用行為得到表現(xiàn)。此外，由于研究者個(gè)體學(xué)術(shù)研究能力和接受水平區(qū)別很大，每次引用行為表達(dá)的受影響程度多少不同，引用行為在性質(zhì)上也有介紹科研背景、資料性說明、論據(jù)類描述、批判性指向、非正常引用等差別，以上這些差異很顯然都是無法進(jìn)行比較的。正因?yàn)槿绱?，學(xué)界一直以來都對“以引評刊”存有異議。

第二次“錯(cuò)位”是“以刊評文”，對論文學(xué)術(shù)水平的評價(jià)決定于該論文在何種等級的學(xué)術(shù)刊物上發(fā)表，以學(xué)術(shù)刊物的評價(jià)代替對其刊載的某篇論文的具體學(xué)術(shù)水平的評價(jià)。學(xué)術(shù)期刊能夠成為核心期刊或來源期刊，是“以引評刊”的結(jié)果，也就是來自刊發(fā)的大量高被引學(xué)術(shù)論文作出的貢獻(xiàn)，但學(xué)術(shù)期刊刊發(fā)的每一篇論文對刊物整體被引用的貢獻(xiàn)度差別很大，有些論文甚至沒有什么被引用。有研究者基于Nature的定量分析表明，25%左右的論文貢獻(xiàn)了學(xué)術(shù)期刊60%以上的影響因子。一些學(xué)術(shù)水平低的論文發(fā)表在高等級學(xué)術(shù)期刊上，就可以借此獲得和刊發(fā)的其他高水平論文相同的學(xué)術(shù)評價(jià)?！耙钥u文”把對論文的評價(jià)交付到了學(xué)術(shù)期刊的編輯手中，并不需要學(xué)術(shù)共同體對此的再評價(jià)，弊端是顯而易見的。

引文評價(jià)并不完善，也飽受爭議，之所以成為評價(jià)論文和期刊學(xué)術(shù)水平的主流權(quán)威指標(biāo)，是因?yàn)閺慕?jīng)濟(jì)性、科學(xué)性、簡便性來綜合考慮是最優(yōu)的選擇。計(jì)算機(jī)技術(shù)的廣泛應(yīng)用更使得這種方法的統(tǒng)計(jì)簡易性、大樣本可操作性大幅提高。時(shí)至今日，引文分析依然是學(xué)術(shù)期刊評價(jià)體系和論文評價(jià)系統(tǒng)的主要評價(jià)方法。從引用向度的實(shí)質(zhì)來看，被引向度實(shí)際上考察的是論文的學(xué)術(shù)影響，并不是論文的學(xué)術(shù)水平。目前這種“錯(cuò)位”使用只是一種權(quán)宜之舉。

（六）大數(shù)據(jù)閱讀分析評價(jià)向度

隨著學(xué)術(shù)文獻(xiàn)在網(wǎng)絡(luò)上的廣泛呈現(xiàn)，實(shí)施大數(shù)據(jù)分析來評判論文學(xué)術(shù)價(jià)值也成為可能。大數(shù)據(jù)閱讀分析評價(jià)方法來自閱讀者針對論文水平這種方法首先依托中國知網(wǎng)、萬方數(shù)據(jù)等海量的學(xué)術(shù)論文庫，以獲得免費(fèi)閱讀權(quán)等吸引有專業(yè)素養(yǎng)的海量讀者在閱讀論文后，按照系統(tǒng)事先設(shè)定的各項(xiàng)評價(jià)指標(biāo)進(jìn)行多方面的定性評分，由系統(tǒng)對評分者的專業(yè)可信度、歷史評分偏離度進(jìn)行糾錯(cuò)和加權(quán)，獲得生成的歸一化數(shù)據(jù)。實(shí)施海量的評價(jià)統(tǒng)計(jì)用來淹沒個(gè)人學(xué)術(shù)評價(jià)的偏離，糾錯(cuò)和加權(quán)用來提高評價(jià)的準(zhǔn)確性。評價(jià)指標(biāo)的數(shù)據(jù)是動(dòng)態(tài)更新的，但某一篇論文的評價(jià)指標(biāo)在一定時(shí)間段后會越來越趨于穩(wěn)定。大數(shù)據(jù)閱讀分析評價(jià)向度將論文學(xué)術(shù)水平評價(jià)權(quán)交還給學(xué)術(shù)共同體，交還給廣大讀者，是學(xué)術(shù)評價(jià)權(quán)力的回歸本體。實(shí)際上，只有在本專業(yè)有一定造詣的研究者共同作出的評價(jià)才是相對公平、公正的，過去由于大數(shù)據(jù)分析無法得到實(shí)現(xiàn)，才使得評價(jià)權(quán)力被暫時(shí)讓渡給學(xué)術(shù)期刊、學(xué)術(shù)文摘期刊和有關(guān)項(xiàng)目評獎(jiǎng)單位。當(dāng)大數(shù)據(jù)分析評價(jià)論文學(xué)術(shù)水平成為普遍以后，引用向度就可以完全回歸到其作為學(xué)術(shù)影響指標(biāo)之一的本來身份。

（七）網(wǎng)絡(luò)影響力評價(jià)向度

基于網(wǎng)絡(luò)對學(xué)術(shù)論文的引證、推送等反響的可被統(tǒng)計(jì)特征，出現(xiàn)了一系列企圖通過學(xué)術(shù)論文的網(wǎng)絡(luò)使用來考量其學(xué)術(shù)影響力的評價(jià)方法。其中最有代表性的是Altmetrics指標(biāo)評價(jià)方法。

Altmetrics指標(biāo)評價(jià)方法是由賈森·普里姆（Jason Priem）2010年最早使用，其通過各種學(xué)術(shù)社交網(wǎng)絡(luò)上的科技信息傳播活動(dòng)的計(jì)量來考察學(xué)術(shù)論文所產(chǎn)生的學(xué)術(shù)影響。基于學(xué)術(shù)論文在網(wǎng)絡(luò)上各種方式的使用和評價(jià)的匯集整理，主要來自于Mendeley、Twitter、Google+、Facebook、Wikipedia、F1000、新聞、視頻、博客、微博等平臺的信息獲取，從中提取知名度、熱點(diǎn)、合作注釋、標(biāo)簽密度等評價(jià)指標(biāo)數(shù)據(jù)進(jìn)行考量。雖然Altmetrics指標(biāo)評價(jià)方法相比傳統(tǒng)評價(jià)指標(biāo)對學(xué)術(shù)使用有著更為廣泛的考察范圍，但也存在著難以普遍評價(jià)學(xué)術(shù)論文和時(shí)滯性的問題。如C.Syamili等學(xué)者在根據(jù)2010—2015年數(shù)據(jù)源的研究發(fā)現(xiàn)，Altmetrics指標(biāo)也存在著覆蓋率較低的問題，其中只有15%—24%可以采集到Altmetrics指標(biāo)數(shù)據(jù)，即使假以時(shí)日會有所增加，但還是難以使用實(shí)現(xiàn)Altmetrics指標(biāo)廣泛應(yīng)用于學(xué)術(shù)論文評價(jià)。Altmetrics指標(biāo)的獲取也需要較長時(shí)間的指標(biāo)積累時(shí)間，在指標(biāo)積累時(shí)間段內(nèi)難以使用這種評價(jià)方法。

二、學(xué)術(shù)論文的定性評價(jià)

定性評價(jià)學(xué)術(shù)論文是最主觀、最直觀的評價(jià)方法。當(dāng)我們閱讀每一篇學(xué)術(shù)論文后，都會自然而然產(chǎn)生對其的定性評價(jià)。定性評價(jià)的指向當(dāng)然可以是五花八門的，但一般都是基于意識形態(tài)向度、學(xué)術(shù)價(jià)值向度和寫作質(zhì)量向度等評價(jià)向度來進(jìn)行的。

（一）意識形態(tài)向度

意識形態(tài)向度是對學(xué)術(shù)論文的政治導(dǎo)向、社會倫理要求等方面的考量。自然科學(xué)領(lǐng)域的學(xué)術(shù)論文較少涉及這一評價(jià)向度，但對于人文社科領(lǐng)域的學(xué)術(shù)論文來講，意識形態(tài)向度是評價(jià)學(xué)術(shù)論文的首要標(biāo)準(zhǔn)。對學(xué)術(shù)論文進(jìn)行意識形態(tài)向度的評價(jià)，不是簡單地“上綱上線”，是為了保證學(xué)術(shù)論文的內(nèi)容不違背黨的思想、方針、政策，不違背國家的法律法規(guī)和相關(guān)規(guī)定，不違背主管部門的相關(guān)要求，不違背社會道德、公序良俗，總的目標(biāo)是促進(jìn)社會科學(xué)的繁榮與發(fā)展。按照意識形態(tài)標(biāo)準(zhǔn)評價(jià)學(xué)術(shù)論文，最難把握的是意識形態(tài)原則與學(xué)術(shù)自由的界限。我們倡導(dǎo)學(xué)術(shù)自由，但也要警惕以“學(xué)術(shù)自由”為幌子，對黨和國家的意識形態(tài)建設(shè)產(chǎn)生消極影響的學(xué)術(shù)論文。我們堅(jiān)持政治標(biāo)準(zhǔn)，但也不片面擴(kuò)大政治標(biāo)準(zhǔn)，限制學(xué)術(shù)研究的爭鳴與探索。由于意識形態(tài)向度的重要，在學(xué)術(shù)論文的意識形態(tài)要求上，一般采用一票否決制，如果論文在意識形態(tài)向度上有問題，直接取消其參評資格。

（二）學(xué)術(shù)價(jià)值向度

關(guān)于論文的價(jià)值評價(jià)劃分有各種說法，如將論文價(jià)值分為學(xué)術(shù)價(jià)值和社會價(jià)值的，再將學(xué)術(shù)價(jià)值下分為科學(xué)進(jìn)步價(jià)值和學(xué)科建設(shè)價(jià)值，社會價(jià)值下分為社會反響和社會效益。評價(jià)要首先要考慮可操作性，且不論指標(biāo)劃分是否合理，如果無法具體實(shí)施就會讓這種討論的意義化作烏有?？紤]到評價(jià)使用實(shí)際，我們認(rèn)為，學(xué)術(shù)價(jià)值向度按照表現(xiàn)狀態(tài)不同可以下分為學(xué)術(shù)水平評價(jià)和學(xué)術(shù)影響評價(jià)。學(xué)術(shù)水平是論文與生俱來的，刊發(fā)以后就已經(jīng)固有的;學(xué)術(shù)影響是指論文刊發(fā)后，對學(xué)界、業(yè)界甚至國家、社會、世界所產(chǎn)生的延宕性影響，這種影響是與時(shí)俱進(jìn)的。經(jīng)濟(jì)價(jià)值和社會價(jià)值都是由論文學(xué)術(shù)水平引發(fā)的，都應(yīng)該從屬于論文的學(xué)術(shù)影響。論文的學(xué)術(shù)價(jià)值評價(jià)相較于意識形態(tài)評價(jià)，更難以把握和考量，也是論文評價(jià)的難點(diǎn)所在。也正是因?yàn)槿绱耍瑢W(xué)術(shù)評價(jià)領(lǐng)域一直以來都對論文學(xué)術(shù)價(jià)值給予最高重視，采用了多種辦法期望實(shí)現(xiàn)精準(zhǔn)化、簡便化。精準(zhǔn)和簡便是矛盾的，工作實(shí)踐上很難兼顧。目前，我們只能在依托定量指標(biāo)評價(jià)的基礎(chǔ)上來定性考量論文的學(xué)術(shù)價(jià)值。

1. 學(xué)術(shù)水平評價(jià)

學(xué)術(shù)水平是學(xué)術(shù)論文的核心價(jià)值表達(dá)，是直接體現(xiàn)論文撰寫、刊發(fā)的意義所系。從論文學(xué)術(shù)水平評價(jià)的歷史流變來追溯，最早的評價(jià)方式是單純的專家評議，直到圖書情報(bào)界將引文分析法廣泛應(yīng)用于評價(jià)學(xué)術(shù)刊物后，對論文學(xué)術(shù)水平的評價(jià)的絕大部分轉(zhuǎn)嫁給學(xué)術(shù)期刊評價(jià)系統(tǒng)，“以刊評文”得以大行其道。

論文學(xué)術(shù)水平來自整體學(xué)術(shù)研究價(jià)值，具體的評價(jià)指向?yàn)檎撐牡膭?chuàng)新性、科學(xué)性、重要性、實(shí)用性（可借鑒性）。創(chuàng)新性是指論文是否提出了新思路、新方法、新發(fā)現(xiàn)、新認(rèn)識，科學(xué)性是指論文是否符合客觀事實(shí)標(biāo)準(zhǔn)，論據(jù)充分、論證嚴(yán)密、結(jié)論客觀，重要性是指選題的重要性和結(jié)論的重要性，實(shí)用性（可借鑒性）就自然科學(xué)論文來說是指是否對實(shí)踐有指導(dǎo)意義，就人文社科論文來說是指對同類研究是否有可借鑒性和參考意義。

2. 學(xué)術(shù)影響評價(jià)

論文的學(xué)術(shù)影響評價(jià)包括論文在學(xué)科領(lǐng)域中產(chǎn)生的促進(jìn)作用、對后續(xù)學(xué)術(shù)研究的影響和激活、論文對行業(yè)實(shí)踐的指導(dǎo)價(jià)值和意義、論文相關(guān)的研究成果應(yīng)用所獲得的經(jīng)濟(jì)效益、對社會作出的公益貢獻(xiàn)等。很多評價(jià)系統(tǒng)和研究者會把學(xué)術(shù)影響和社會影響分列，實(shí)際上論文的學(xué)術(shù)影響和社會影響是不可分割的，社會影響是從屬于學(xué)術(shù)影響而存在的，是學(xué)術(shù)影響的不可或缺的有機(jī)組成部分。論文產(chǎn)生的學(xué)術(shù)影響包括政治效益、思想文化效益、生態(tài)環(huán)境效益、經(jīng)濟(jì)發(fā)展效益、科技進(jìn)步效益等。由于論文的學(xué)術(shù)影響必然會有很長時(shí)間的滯后，在實(shí)際評價(jià)中其評價(jià)難度超過學(xué)術(shù)水平評價(jià)。

（三）寫作質(zhì)量向度

寫作質(zhì)量向度是考量論文作者通過文字、圖表公式、數(shù)字和計(jì)量單位、引證來表達(dá)學(xué)術(shù)觀點(diǎn)的能力。寫作質(zhì)量可以下分為簡明流暢要求、合理必要要求和標(biāo)準(zhǔn)規(guī)范要求。簡明流暢要求是指論文的標(biāo)題是否精煉、內(nèi)容摘要是否簡明、關(guān)鍵詞是否準(zhǔn)確、行文是否流暢、文字是否精當(dāng)、文章結(jié)構(gòu)是否合理等，合理必要要求是指論文中的圖表安排是否合理、公式使用必要準(zhǔn)確等，標(biāo)準(zhǔn)規(guī)范要求是指引證是否規(guī)范、數(shù)字和計(jì)量單位是使用是否符合標(biāo)準(zhǔn)等。

三、定性評價(jià)和定量評價(jià)在學(xué)術(shù)價(jià)值評價(jià)指向上的向度契合和配合使用

（一）兩類指標(biāo)的向度契合

從表1可以看出，政治標(biāo)準(zhǔn)向度和寫作質(zhì)量向度無法通過定量評價(jià)進(jìn)行操作，這也告訴我們，在論文學(xué)術(shù)質(zhì)量的評價(jià)上，定量評價(jià)相較于定性評價(jià)還是存在缺失的。對論文學(xué)術(shù)質(zhì)量的評價(jià)不能完全依靠定量評價(jià)，但對其中的學(xué)術(shù)價(jià)值考量，定量評價(jià)和定性評價(jià)是基本契合、可以互相參照的。

學(xué)術(shù)水平評價(jià)目前可以通過三種方式進(jìn)行評價(jià)，一是邀請少量有學(xué)術(shù)評鑒能力的專家小范圍內(nèi)進(jìn)行主觀上的定性評價(jià)，雖然對少量論文的評價(jià)來說簡便易行，大量論文就需要付諸人財(cái)力的大量消耗，且存在評審專家個(gè)人學(xué)術(shù)水平、評審態(tài)度和人情往來因素的干擾;二是“以刊評文”，通過論文刊發(fā)期刊是否入選SCI、SSCI、A&HCI、EI、CSSCI、北大核心期刊等序列來進(jìn)行論文學(xué)術(shù)水平評價(jià)，這也是目前學(xué)科研管理界普遍的做法。這種方式最不損耗人財(cái)物力，但被引向度是一種有所“錯(cuò)位”的評價(jià)，會與實(shí)際情況有一定程度的偏離;三是通過大數(shù)據(jù)閱讀分析評價(jià)系統(tǒng)進(jìn)行定量評價(jià)，這種方式最貼近實(shí)際學(xué)術(shù)水平，但需要有待該數(shù)據(jù)平臺的建立后才能實(shí)施。

學(xué)術(shù)影響評價(jià)是定性評價(jià)中最難以評判的，Altmetrics指標(biāo)評價(jià)等網(wǎng)絡(luò)影響力評價(jià)方法還沒有達(dá)到廣泛普遍使用，目前這方面的評價(jià)一般還是通過被評價(jià)方提供的一些表述來大致把握，表述水平的高低、表述內(nèi)容是否確切、評判方的標(biāo)準(zhǔn)都影響到實(shí)際評價(jià)效果。將定量評價(jià)中的被引向度、摘轉(zhuǎn)向度、獲獎(jiǎng)向度、基金項(xiàng)目向度和web下載向度引入社會影響的定性評價(jià)，就會有相對規(guī)范的指向和尺度。尤其是被引向度、摘轉(zhuǎn)向度、獲獎(jiǎng)向度和web下載向度本身就是論文發(fā)表后，學(xué)術(shù)共同體對論文的影響的反映，把這些數(shù)據(jù)當(dāng)作是論文學(xué)術(shù)影響的表征是合適的。當(dāng)對本領(lǐng)域內(nèi)的論文進(jìn)行學(xué)術(shù)影響評價(jià)時(shí)，被引向度、摘轉(zhuǎn)向度、獲獎(jiǎng)向度、基金項(xiàng)目向度和web下載向度的先天缺陷可以得到一定程度上的消減，具備一定程度的科學(xué)性。在實(shí)施評價(jià)時(shí)，可以明確要求被評價(jià)方提供以上數(shù)據(jù)，以便于定性評價(jià)時(shí)有所依據(jù)。

（二）學(xué)術(shù)價(jià)值評價(jià)工作中兩類指標(biāo)的配合使用

學(xué)術(shù)論文具體評價(jià)的實(shí)施者應(yīng)該立足于自身需求，按照本次評價(jià)的適用性、實(shí)用性等因素，自主選擇其中一種或多種向度聯(lián)合使用來開展適合自身需求的學(xué)術(shù)評價(jià)工作，并依據(jù)相關(guān)定性向度指標(biāo)數(shù)據(jù)進(jìn)行適合評價(jià)目標(biāo)的定性評價(jià)。

在論文學(xué)術(shù)評價(jià)向度的具體選擇上，首先應(yīng)考慮使用方向與評價(jià)向度的適合度問題。如重在學(xué)術(shù)水平評價(jià)，就可以不去考慮摘轉(zhuǎn)向度、獲獎(jiǎng)向度、基金項(xiàng)目向度和web下載向度，這些向度只能用來考量學(xué)術(shù)影響，是學(xué)術(shù)水平的延宕反應(yīng)，并非是學(xué)術(shù)水平本身?！耙钥u文”用作論文學(xué)術(shù)水平評價(jià)，目前只是一種替代性做法，隨著大數(shù)據(jù)閱讀分析評價(jià)的展開，這種替代做法將會取代。

定量評價(jià)適宜使用于具體評價(jià)的初級和粗略評價(jià)階段，精細(xì)評價(jià)還需要有在各專業(yè)學(xué)術(shù)領(lǐng)域有造詣的專家學(xué)者的參與下的定性評價(jià)。定量評價(jià)在初選和粗略階段的應(yīng)用正好可以揚(yáng)長避短，在下一步的精細(xì)評價(jià)中可以加入評審組的定性評價(jià)或更多數(shù)據(jù)支撐的定量評價(jià)，這樣的評價(jià)配置可以充分發(fā)揮定性評價(jià)和定量評價(jià)各自的優(yōu)點(diǎn)，有效提高科研管理工作的有效性、合理性和可操作性。

四、結(jié)論

對學(xué)術(shù)論文的定性評價(jià)分為政治標(biāo)準(zhǔn)向度、學(xué)術(shù)價(jià)值向度和寫作質(zhì)量向度。論文的社會影響、經(jīng)濟(jì)價(jià)值等從屬于學(xué)術(shù)影響，是學(xué)術(shù)影響的一部分。

對學(xué)術(shù)論文的定量評價(jià)分為摘轉(zhuǎn)向度、獲獎(jiǎng)向度、被引向度、大數(shù)據(jù)分析向度、web下載向度、基金論文向度等。通過論文定性評價(jià)向度和定量評價(jià)向度的比對討論，可以將定量評價(jià)中被引向度、摘轉(zhuǎn)向度、獲獎(jiǎng)向度、基金項(xiàng)目向度、web下載向度明確為定性評價(jià)中學(xué)術(shù)影響向度的評判依據(jù)。從論文評價(jià)實(shí)踐工作來看，定量評價(jià)更適合使用于具體評價(jià)的初選和粗略評價(jià)階段，精細(xì)評價(jià)還需要在各專業(yè)領(lǐng)域有造詣的專家學(xué)者的參與下，依據(jù)定量評價(jià)指標(biāo)進(jìn)行的定性評價(jià)。