基于薈萃方法的專利發(fā)明人綜合評價模型研究及實證

楊毓麗 彭 博 吳華蕾

(大連理工大學圖書館 大連 116024)

0 引 言

人才作為技術(shù)發(fā)明創(chuàng)造的主體，是高校創(chuàng)新發(fā)展與影響力提升的重要著力點。因此如何構(gòu)建一套科學的、行之有效的評估方法進行人才專利質(zhì)量的比較和評價，一直以來都是學術(shù)界的研究熱點之一。為此，本研究在梳理專利質(zhì)量內(nèi)涵與評價方法的基礎上，進行了基于綜合評價指標構(gòu)建研究，以期為專利質(zhì)量評價研究提供參考。

1 發(fā)明人專利質(zhì)量評價方法

目前學術(shù)界對如何衡量專利質(zhì)量尚無一致的結(jié)論，但在眾多表征專利質(zhì)量評估指標中，引文被廣泛認為是衡量專利對后續(xù)技術(shù)發(fā)展影響的一個有用指標，被引次數(shù)反映專利質(zhì)量信息可以從多個角度予以解釋：文獻[1]認為核心專利是在某一領域具有首創(chuàng)性的，被后續(xù)科技引用及產(chǎn)業(yè)化集聚必不可少的專利。一項專利獲得的正向引用越多，在一定程度上說明該專利對特定技術(shù)的創(chuàng)新就越有價值。文獻[2]認為專利間引用關系實質(zhì)上是技術(shù)知識分析、對比、鑒別、判定和選擇的共同參與行為。引文是專利知識的溢出，是專利質(zhì)量的重要影響要素。由于專利對背景技術(shù)的引用很可能成為審查員以引用專利為對比文件，作為否定該專利新穎性、創(chuàng)造性的判斷依據(jù)，因此，發(fā)明人在引用時非常謹慎，以防止在后續(xù)程序中引起爭議。由此可見，專利引用表征著引證專利在技術(shù)上的關聯(lián)性，被引專利是基礎技術(shù)，對引用專利的權(quán)利要求保護范圍有限制作用，因此文獻[3]認為被引是原始專利具有開創(chuàng)性本質(zhì)的外在表現(xiàn)。

除此之外，影響跡和學術(shù)矩陣是2013年Fred Y. Ye等在I3指數(shù)基礎上融合H指數(shù)，構(gòu)建的成果評價方法。2015年影響跡成功應用于專利發(fā)明人影響力研究[9-10]，專利跡評價思路是將被引次數(shù)降序排序，從而可以得到專利數(shù)-引文分布。x軸以H指數(shù)和零被引為分界點，將專利數(shù)量分布劃分為h核(Pc)、h尾(Pt)以及零引專利3個區(qū)間。沿著引文的y軸被分為3個區(qū)間：(i)e域(Ce>h) ;(ii)h域(Cc=h)；(iii)h尾中的引文Ct(0

專利跡即根據(jù)3個不同區(qū)間(超被引、h核、一般被引)專利量數(shù)值與被引文數(shù)參數(shù)，以此作為專利跡T(T=X1+Y2+Z3)。T越大，發(fā)明人專利影響力越高。

關于專利價值的量化，目前許多數(shù)據(jù)商推出了綜合專利價值評估工具，例如專利強度是Innography系統(tǒng)核心功能之一，它是專利影響力判斷的綜合指標。專利強度的主要影響因素包括：被引次數(shù)、每項專利平均參考數(shù)量等[11]。價值度則是合享智慧研發(fā)的專利價值度評價指標。該指標以主成分線性加權(quán)綜合評價方法為理論基礎，選用了包括被引證次數(shù)等在內(nèi)的26個參數(shù)，通過綜合均衡、迭代最終獲得專利價值度的綜合分值。上述評估工具推出后成為研究專利質(zhì)量的重要指標。例如文獻[12]選取虛擬化技術(shù)領域中發(fā)明人作為實證研究對象，使用Innography數(shù)據(jù)構(gòu)建了發(fā)明人影響力綜合評價Inventor Rank粉方法。文獻[13]以中科院先進院專利篩選為例，采用專利分階評價體系應用于領軍人物評選，驗證了Incopat作為專利價值評估工具的有效性。

除了上述模型之外，包括Topsis等其他綜合評價模型亦可應用于發(fā)明人績效評價。Topsis法通過計算評價對象與最優(yōu)、最差值的距離進行研究對象優(yōu)劣排序。在評價實踐方面，文獻[15]提出了基于熵權(quán)法和TOPSIS法，重構(gòu)了發(fā)明人專利質(zhì)量評價模型，并應用于醫(yī)學領域。

從上述分析可以看出，關于發(fā)明人專利質(zhì)量評價已經(jīng)有不少研究涉獵，如果具備一定的應用條件，上述評價模型都適用于專利質(zhì)量評價(見表1)。但是一般而言，同一組對象使用不同方法進行評價存在評價結(jié)果不一致的缺陷。為了解決上述問題，本文引入薈萃分析方法將上述單項評價方法的結(jié)果進行融合，既實現(xiàn)不同發(fā)明人專利質(zhì)量之間的比較、驗證，同時也使評價結(jié)論更加客觀、可信。

2 研究對象、數(shù)據(jù)及方法

2.1 薈萃方法

薈萃分析這一術(shù)語由美國教學心理、社會學家Glass在1976 年提出[16]。Rozas將其定義為[17]“將統(tǒng)計技術(shù)應用于單項研究的經(jīng)驗性發(fā)現(xiàn)的集合，目的是合并分析、整合單項研究，深入探究其研究差異，并使研究結(jié)果具有科學價值”。薈萃分析也稱元分析。

在科學計量領域中，2013年CNPq委員會(巴西基金資助機構(gòu))為了在2 663 名巴西科學家中遴選出下一年度的高影響力科學家予以重點基金資助時，委員會提出了包括同行評審、被引次數(shù)等18個維度計量指標來進行衡量。但由于評價視角不同，不同維度數(shù)據(jù)結(jié)果出現(xiàn)顯著差異，因此委員會在決策時，面臨需要決定采用哪種評價工具作為最后量度結(jié)果的問題。針對該問題，Wainer[18]等提出了采用薈萃分析方法—“融合評價”來解決，研究過程包括通過綜合多個指標以實現(xiàn)不同指標的可比和整合，獲得效應值。目前在科學計量領域有零星研究基于薈萃分析應用于Altmetrics單篇論文層面的評價[19]，并且在科研數(shù)據(jù)管理服務[20]以及健康信息搜索行為[21]等部分重要話題做出了相應的嘗試。由此可見，薈萃分析技術(shù)在科學計量研究中的認可度和影響率正逐漸上升。

表1 基于引證專利發(fā)明人質(zhì)量評價指標一覽

本研究運用薈萃分析方法的主要依據(jù)是:

首先，源于方法學問題，不同研究設計和抽樣誤差不同。如果單點指標視為評價標準，例如在缺乏補充信息的情況下進行學術(shù)評估，單項指標可能會被誤用[22-23]。而薈萃分析能夠?qū)ν活I域的多個研究結(jié)果進行綜合分析，消除單一方法產(chǎn)生的隨機偏差，在總結(jié)與歸納實證研究方面具有客觀性、科學性的獨特優(yōu)勢。

其次，對既有原始數(shù)據(jù)進行綜合分析并有效降低研究因統(tǒng)計方法帶來的研究偏差，需要根據(jù)一定的準則和規(guī)則抽取數(shù)據(jù)。薈萃方法遵循薈萃分析撰寫指南(The PRISMA)[24]進行研究方法的選擇和使用，具體分析過程主要包括出版偏倚檢驗、異質(zhì)性檢驗等。其中，出版偏倚檢驗主要判定薈萃分析是否會夸大變量關系效應；異質(zhì)性檢驗是判斷多項獨立研究之間是否具有一致性；綜合效應值計算采用各單個效應值方差倒數(shù)作為權(quán)重進行加權(quán)綜合[25]。因此研究具有較高的可信度。

2.2 研究對象和數(shù)據(jù)

考慮被引時滯，本文選取大連理工大學機械學部專利申請量Top5發(fā)明人2010—2020年的專利數(shù)據(jù)，采集及計算具體步驟為: ①以專利數(shù)據(jù)庫Innography為數(shù)據(jù)源，檢索發(fā)明人專利，得到發(fā)明人專利數(shù)量、被引次數(shù)、Innography專利強度等數(shù)據(jù)。②對發(fā)明人逐年的專利按被引頻次排序，分別得到發(fā)明人逐年的H指數(shù)。 ③逐年統(tǒng)計每位發(fā)明人的專利數(shù)量，零被引、H核等引文數(shù)據(jù)，根據(jù)專利跡T計算公式，獲得專利跡數(shù)據(jù)。④將引用專利公開號導入Innography，獲得引用專利公開時間。根據(jù)技術(shù)循環(huán)時間公式計算時間差平均值，即引用專利公布年份減去被引用專利的公布年份除以專利數(shù)量，得到專利的技術(shù)循環(huán)時間。⑤將專利發(fā)明人專利公開號導入Incopat，獲得專利價值度數(shù)據(jù)。⑥將8個指標數(shù)據(jù)進行標準化處理，對于正向指標，標準化方法采用各指標值除以極大值。技術(shù)循環(huán)時間屬于反向指標，其標準化方法采用俞立平[26]等提出的反向指標線性標準化方法進行計算，并根據(jù)Topsis計算公式，分別得到各發(fā)明人逐年的Topsis指數(shù)。經(jīng)計算，發(fā)明人專利指標數(shù)據(jù)(見表2)及發(fā)明人排名變動情況(見圖1)所示。

從各發(fā)明人排名來看，不同指標下各發(fā)明人排序結(jié)果存在差異，例如發(fā)明人a在Incopat、Innography、技術(shù)循環(huán)時間中排第4位，在被引、H指數(shù)、專利跡和研發(fā)能力中排第2位；發(fā)明人d在不同指標下有不同排序，排名從第1位到第5位不等。由此可見，如果簡單利用一種評價方法來判斷發(fā)明人被引質(zhì)量水平，其質(zhì)量孰優(yōu)孰劣難以判斷，如果簡單地把幾個指標的數(shù)據(jù)累加求和或求平均值，由于研究指標的數(shù)據(jù)分布、標準差、極大和極限值均不相同，發(fā)明人專利質(zhì)量的量化比較無實際意義，

因此針對以上獨立樣本數(shù)據(jù)評價結(jié)論非一致，需要合理選取多項數(shù)據(jù)指標作為樣本數(shù)據(jù)，對多項研究的結(jié)果進行定量合成，糾正由指標系統(tǒng)誤差造成的結(jié)果失真。

表2 各專利指標數(shù)據(jù)分布情況

圖1 發(fā)明人在不同專利評價指標下的排名變化情況

2.3 偏倚檢驗

應用薈萃分析之前，首先需要進行偏倚檢驗，以驗證研究之間是否存在統(tǒng)計學差異薈萃分析中較為常用的異質(zhì)性檢驗包括漏斗圖、Egger's Regression檢驗等方法。

漏斗圖是一個散點圖，x軸上為效應值大小，y軸測度標準誤。通常，漏斗圖中的y軸是倒置的(y軸“高”值代表低標準誤)。由于研究樣本量和標準誤密切相關。樣本量越小，標準誤越大，置信區(qū)間就越寬，并增加了效應值不具有統(tǒng)計學意義的機會。根據(jù)經(jīng)驗，只有當薈萃分析中包括至少10項研究時，才可使用漏斗圖不對稱性測試，當變量太少時，漏斗圖無法辨別研究是隨機誤差還是真實數(shù)據(jù)不對稱，因此無法判斷研究之間是否存在偏倚，由于本文研究指標<10，所以不適宜用漏斗圖。

Egger測試是另一種常用偏倚檢驗方法，該方法基于線性回歸模型，公式如下[27]：

(1)

本文將發(fā)明人a-e的樣本數(shù)據(jù)依次導入R語言中，調(diào)用Meta包，輸入Metabias(m.gen, method.bias = "linreg")函數(shù)，Egger檢驗結(jié)果如表3所示。從表3可以看出，Egger 檢驗截距分別為65.19、36.69、43.81、-37.69、59.07，相伴概率均大于0.05，檢驗結(jié)果表明均沒有發(fā)現(xiàn)偏倚，說明評價方法的選取是合適的。

表3 Egger檢驗結(jié)果

標準誤取決于其樣本大小。由于本文樣本數(shù)據(jù)較小， Simonsohn[28]在Betterp-Curves:Makingp-CurveAnalysis… 一文中，針對樣本量較少的薈萃分析引入了p-Curve的方法，該方法依據(jù)P值作為發(fā)表偏倚的主要影響因素，側(cè)重顯著效應大小以及P值分布情況。該函數(shù)生成的P曲線圖包含三條線：實線1：基于樣本數(shù)據(jù)的傳統(tǒng)P曲線；虛線2：假設33%效應量的預期P值分布虛線；虛線3：顯示的是在沒有影響時預期的均勻分布。

將樣本數(shù)據(jù)導入R語言中，調(diào)用P-Curve analysis函數(shù)，檢驗結(jié)果如圖2所示：薈萃分析中包含了k=8個顯著效應，這些效應被納入了P曲線。這些研究中的大多數(shù)(k= 7)都有非常顯著的結(jié)果(即p< 0.025)。所有3個右偏度測試(Right-skewness test)結(jié)果都顯著(見表4)：二項式測試(pBinom；p= 0.008)。全P曲線pp值測試(pFull；P< 0.001)；基于半P曲線測試(pHalf；p= 0.001)。根據(jù)P-Curve的結(jié)果，基本研究數(shù)據(jù)樣本不存在出版偏倚，可以進行進一步的薈萃分析。

圖2 樣本P-Curve偏倚檢驗結(jié)果

表4 P-Curve偏倚檢驗結(jié)果數(shù)據(jù)

3 研究結(jié)果

3.1 主效應分析

在進行主效應分析之前，需要先進行異質(zhì)性檢驗，以決定選用隨機還是固定效應模型。異質(zhì)性檢驗通常以Q統(tǒng)計量(其顯著性水平戶)和I2來評估樣本的異質(zhì)性水平。若Q>df(Q)，P<0．05且I2>0．75，則意味著效應值服從異質(zhì)性分布，采用隨機效應模型。

Q檢驗：傳統(tǒng)上，研究者使用Cochran's Q[28]來區(qū)分研究抽樣誤差和實際研究異質(zhì)性。Cochran's Q被定義為加權(quán)方差之和(Weighted sum of squares-WSS)，公式如下：

(2)

進一步調(diào)用Meta數(shù)據(jù)包，輸入metagen(TE,seTE,data=data,studlab=Method)，從結(jié)果來看，數(shù)據(jù)異質(zhì)性較高。為探究各研究間的異質(zhì)性是否由單個研究引起，研究運用R語言采用逐一排除法，調(diào)用trimfill函數(shù)進行敏感性分析，剔除Incopat和Tech. Cycle Time兩項研究后；總合并效應量降低，但I2無顯著變化，說明結(jié)果較穩(wěn)定(見圖3)。

圖3 逐一排除法檢驗結(jié)果

根據(jù)異質(zhì)性診斷結(jié)果，本研究選擇隨機效應模型進行分析計算，結(jié)果見表5。由表5可知，在隨機效應模型下發(fā)明人a-e的95%置信區(qū)間CI均不包括0，可信區(qū)間值均為正(見圖4-5，由于篇幅，只繪制部分發(fā)明人森林圖)，說明分析結(jié)果具有可信性。

表5 發(fā)明人專利被引質(zhì)量薈萃分析結(jié)果

綜上可知，以均值標準誤平方的倒數(shù)為權(quán)重，metagen函數(shù)計算結(jié)果表明，發(fā)明人a專利被引質(zhì)量評價值(0.3919[95% CI(0.13;0.66),P<0.01])>發(fā)明人c評價值(0.3864)[95% CI(0.10;0.67), P<0.01]>發(fā)明人e評價值(0.3774)[95% CI(0.11; 0.65),P<0.01]>發(fā)明人b評價值(0.3645[95% CI(0.13; 0.60),P<0.01]) >發(fā)明人d評價值(0.3416[95% CI(0.15; 0.54), P<0.01])。

圖4 發(fā)明人a效應值森林圖

圖5 發(fā)明人d效應值森林圖

3.2 事后兼容度與差異度檢驗

科學評價必須要經(jīng)過有效性檢驗才能被認可，為驗證算法有效性，本文選擇了兼容度和差異度對研究結(jié)果進行事后一致性檢驗。兼容度[29]是指某評價方案與其他評價方案的等級排序之差的加權(quán)平均值。設n為評價對象數(shù)。第i、j評價方案之間相關程度，可以通過等級相關系數(shù)ri,j來計算，公式為：

(3)

其中dt與分別表示第t個對象在第i與第j方案中的排序名次。兼容度越高，說明該指標與其它指標的結(jié)果越一致。因此，用兼容度實質(zhì)基于偏差最小化的決策方法，兼容度指標本質(zhì)上是一種求同評估決策。

差異度是評價指標的離散程度，本文采用標準差作為衡量差異度的指標，σ(k)為第k種評價方案的差異度，公式為：

(4)

根據(jù)上述公式推算出各種評價方案兼容度和差異度見表6。從表6中可知，在兼容度上，薈萃分析、Topsis兼容度最大，接下來依次為Innography、Incopat、技術(shù)循環(huán)時間。在差異度上，Incopat和技術(shù)循環(huán)時間的評價效果較優(yōu)，薈萃分析的評價效果較次。綜上，薈萃分析方法的綜合評價排序最高，其次為Incopat和Topsis。比較結(jié)果進一步說明了薈萃方法應用于發(fā)明人質(zhì)量評價的可行性。

表6 評價方案的兼容度與差異度計算結(jié)果

主成分分析法是一種通過累加貢獻率提煉主要成分的數(shù)據(jù)統(tǒng)計分析方法。與薈萃法相比，二者都是基于多項研究的結(jié)果，并進行定量合成評價。為了驗證多屬性評價方法的一致性，本文進一步對研究結(jié)果進行主成分分析。從方差貢獻率分析來看，第一(92.21%)、第二主成分(7.054%)的累積貢獻率為99.266%，因此提取這2個主成分作為綜合指標。通過成分矩陣提取初始因子(限于篇幅，表略)，建立因子載荷矩陣，得到2個主成分Y1、Y2的表達式分別為：Y1=0.077X1+0.156X2-0.008X3+0.0123X4-0.856X5+0.62X6-0.049X7+0.0123X8;Y2=1.413X1+0.109X2-0.251X3-0.568X4+1.78X5-0.36X6-0.329X7+5.3834X8。最后以2個主成分對應的特征值占所提取主成分總特征值之和的比例作為權(quán)重，得到綜合主成分值，并與薈萃分析結(jié)果進行比較。經(jīng)計算與排序，主成分分析與薈萃分析方法對5位發(fā)明人評價結(jié)果完全一致，進一步說明了薈萃方法具有較高的穩(wěn)健性。

4 結(jié) 論

科研評價對于高校了解自身競爭優(yōu)勢與可持續(xù)發(fā)展能力、推動創(chuàng)新驅(qū)動發(fā)展具有關鍵性作用。近年來職能部門采用的分析評價大多是根據(jù)評價目的，大多以各類指標配合同行評審的方法進行。但如何綜合研究結(jié)果，依據(jù)哪種評估方式作為最終量度指標，仍有諸多爭論。甚至有學者提出質(zhì)疑：綜合評估方法，是否屬于蘋果與橘子合并的關系？事實上，對于現(xiàn)行科學評價方法和政策的重新審視，一直是近年來研究的熱門議題之一?！杜f金山宣言》和《萊頓宣言》的相繼發(fā)布，提出了合理利用科學評價指標的原則，但在審讀學術(shù)共同體對這些倡議文件的回應后，可以發(fā)現(xiàn)真正問題不是指標本身，而是如何去解讀和使用數(shù)據(jù)。例如《萊頓宣言》[30]倡議的十條原則包括：量化評估應當支撐質(zhì)化專家評估，而不是取而代之；保持數(shù)據(jù)采集和分析過程的公開、透明和簡單；允許被評估者驗證數(shù)據(jù)和分析?！杜f金山宣言》[30]則提出了對于個人研究成就評價方面，單個指標更易被操縱，成為績效考核的指揮棒，評判應基于其綜合學術(shù)產(chǎn)出。在上述原則指導下，如何在認可和尊重多維、有價值的科研評價基礎上，獲得研究對象整體發(fā)展水平，如何正確合理地使用定量數(shù)據(jù)進行科研績效分析值得進一步探討?；诖?，本文提出了薈萃分析的研究思路：首先對評價方案進行事前同質(zhì)性檢驗，通過薈萃方法獲得了加權(quán)平均效應值，最后運用兼容度與差異度進行事后一致性檢驗，研究結(jié)果表明基于薈萃分析將多維數(shù)據(jù)轉(zhuǎn)化為一維指標，滿足計量學研究過程統(tǒng)一規(guī)范、數(shù)據(jù)可重復驗證的要求，結(jié)論具有可驗證性和可重復性，為后續(xù)專利質(zhì)量評價研究提供理論和方法方面的借鑒和參考。

然而值得一提的是，盡管綜合評價可避免單項評價偏差，但選用多少種評價方案進行組合評價，目前尚未有一定的標準。