韓國(guó)技術(shù)水平評(píng)估方法分析及啟示

葉 京，冷伏海

（中國(guó)科學(xué)院科技戰(zhàn)略咨詢研究院，北京 100190）

1 研究背景

技術(shù)水平評(píng)估是對(duì)當(dāng)前技術(shù)能力水平進(jìn)行評(píng)估，是國(guó)家科學(xué)技術(shù)規(guī)劃中的一項(xiàng)重要基礎(chǔ)性工作［1］。技術(shù)創(chuàng)新是提升國(guó)家競(jìng)爭(zhēng)力的重要手段，世界各國(guó)為了在激烈的全球研發(fā)競(jìng)爭(zhēng)中占據(jù)優(yōu)勢(shì)，通過制定中長(zhǎng)期目標(biāo)、決定投資優(yōu)先順序等戰(zhàn)略，以確保自身的技術(shù)競(jìng)爭(zhēng)力。隨著研究開發(fā)過程中產(chǎn)生的不確定性日益增加，制定科學(xué)技術(shù)中長(zhǎng)期戰(zhàn)略及投入優(yōu)先順序的重要性也隨之提高，而這些技術(shù)發(fā)展戰(zhàn)略和投入規(guī)劃的制定，離不開技術(shù)水平評(píng)估（technology level evaluation）為之提供系統(tǒng)客觀的基礎(chǔ)資料，從而在有限的經(jīng)費(fèi)投入中創(chuàng)造出有效的技術(shù)研發(fā)成果。

國(guó)家技術(shù)水平評(píng)估，首先不同于國(guó)家間綜合性或整體領(lǐng)域（如能源領(lǐng)域）的科技競(jìng)爭(zhēng)力評(píng)估和創(chuàng)新能力測(cè)度，如世界知識(shí)產(chǎn)權(quán)組織（WIPO）發(fā)布的《2020 年全球創(chuàng)新指數(shù)（GII）》（以下簡(jiǎn)稱《GII 2020》）報(bào)告、中國(guó)科技發(fā)展戰(zhàn)略研究院2017 年發(fā)布的《國(guó)家創(chuàng)新指數(shù)報(bào)告2016—2017》，國(guó)家間綜合性創(chuàng)新能力測(cè)度調(diào)查的對(duì)象數(shù)量偏多，如《GII 2020》分析了131 個(gè)經(jīng)濟(jì)體、歐洲創(chuàng)新指數(shù)以28 個(gè)國(guó)家為對(duì)象、我國(guó)的國(guó)家創(chuàng)新指數(shù)調(diào)查了40 多個(gè)國(guó)家，而國(guó)家技術(shù)水平評(píng)估則是針對(duì)某一重要技術(shù)方向進(jìn)行少數(shù)定標(biāo)比超國(guó)家間的分析評(píng)估；第二，在評(píng)估方法上，不論是利用專利/論文等客觀數(shù)據(jù)設(shè)計(jì)定量指標(biāo)進(jìn)行比較分析評(píng)估，還是通過現(xiàn)場(chǎng)訪談?wù){(diào)研或文獻(xiàn)資料調(diào)研進(jìn)行比較分析，國(guó)家技術(shù)水平評(píng)估均采用相對(duì)程度比較的方法，而不是絕對(duì)的得分或鑒定；第三，國(guó)家技術(shù)水平評(píng)估方法的一個(gè)新趨勢(shì)是，針對(duì)具體特定前瞻技術(shù)方向進(jìn)行國(guó)家間研發(fā)水平研判，逐漸重視定性分析，這是因?yàn)橄鄬?duì)于傳統(tǒng)定量分析方法，定性分析有利于處理復(fù)雜性因果關(guān)系問題［2］。

在已開展技術(shù)水平評(píng)估的國(guó)家中，如日本科學(xué)技術(shù)振興機(jī)構(gòu)（JST）通過專家問卷調(diào)查，對(duì)美、歐、中、日、韓等國(guó)家和地區(qū)的大、中、小分類技術(shù)進(jìn)行比較，得出上升/持平/下降趨勢(shì)的評(píng)估結(jié)果；我國(guó)科技部開展的國(guó)家技術(shù)預(yù)測(cè)調(diào)查中，僅設(shè)計(jì)了“與領(lǐng)先國(guó)家的技術(shù)差距”這1 個(gè)一級(jí)指標(biāo)，下設(shè)“我國(guó)領(lǐng)先”、“同等水平”、“落后5 年”和“落后6 年～10 年”等4 個(gè)二級(jí)指標(biāo)［3］，較難比較出與世界領(lǐng)先技術(shù)水平的精確差距；由于對(duì)技術(shù)發(fā)展水平這類比較復(fù)雜的評(píng)估對(duì)象很難用確切數(shù)據(jù)來反映，因此韓國(guó)評(píng)估一個(gè)國(guó)家的技術(shù)水平，是通過與世界最高水平國(guó)家技術(shù)比較的一種相對(duì)評(píng)估，針對(duì)技術(shù)持有方在確定的技術(shù)方向上的發(fā)展程度和時(shí)間差距及其原因進(jìn)行定性或定量的比較分析評(píng)估，在評(píng)估方法上采取結(jié)合專家判斷的定性分析，通過專家德爾菲調(diào)查得出主要競(jìng)爭(zhēng)國(guó)家技術(shù)水平和技術(shù)差距（單位為“年”）的評(píng)估結(jié)果，準(zhǔn)確把握技術(shù)所處的水平位置（technology level），并用以與其他國(guó)家進(jìn)行比較的技術(shù)差距的年度值精確到小數(shù)點(diǎn)后一位。

綜上，梳理韓國(guó)主要機(jī)構(gòu)開展技術(shù)水平評(píng)估的概況及特征，了解其代表性評(píng)估機(jī)構(gòu)——韓國(guó)科學(xué)技術(shù)評(píng)價(jià)院開展技術(shù)水平評(píng)估的歷程，基于韓國(guó)2018 年技術(shù)水平評(píng)估工作的實(shí)施體系、流程以及評(píng)估方法的完善，從縱向、橫向兩方面考察韓國(guó)技術(shù)水平評(píng)估的實(shí)施情況，從評(píng)估方法完善視角分析總結(jié)韓國(guó)技術(shù)水平評(píng)估方法的實(shí)施經(jīng)驗(yàn)，挖掘值得我國(guó)借鑒之處，以期推動(dòng)我國(guó)技術(shù)發(fā)展政策與戰(zhàn)略的制定以及科技事業(yè)的可持續(xù)發(fā)展。

2 韓國(guó)技術(shù)水平評(píng)估實(shí)施概況及特征

不同機(jī)構(gòu)實(shí)施技術(shù)水平評(píng)估采取的評(píng)估方法多種多樣，韓國(guó)各機(jī)構(gòu)開展的技術(shù)水平評(píng)估包括定期評(píng)估或周期性評(píng)估，以及間歇性按需評(píng)估［4］。

2.1 技術(shù)水平評(píng)估實(shí)施概況

2015—2018 年間，韓國(guó)國(guó)防技術(shù)品質(zhì)院（DTaQ）、農(nóng)林水產(chǎn)食品技術(shù)評(píng)價(jià)院（IPET）、信息通信評(píng)價(jià)院（IITP）、產(chǎn)業(yè)技術(shù)評(píng)價(jià)管理院（KEIT）、食品安全信息院（NFSI）、保健產(chǎn)業(yè)振興院（KHIDI）、海洋科學(xué)技術(shù)振興院（KIMST）、海洋政策學(xué)會(huì)（KSOP）、國(guó)土交通科學(xué)技術(shù)振興院（KAIA）、科學(xué)技術(shù)信息研究院（KISTI）等10 家機(jī)構(gòu)，按照其各自技術(shù)領(lǐng)域發(fā)展規(guī)劃需要，在國(guó)防科學(xué)技術(shù)、農(nóng)林水產(chǎn)食品技術(shù)、信息與通信技術(shù)（ICT）、產(chǎn)業(yè)技術(shù)、海洋科學(xué)技術(shù)等領(lǐng)域?qū)嵤┝思夹g(shù)水平評(píng)估（見表1）［5］。

表1 韓國(guó)主要機(jī)構(gòu)開展技術(shù)水平評(píng)估概況

表1 （續(xù)）

2.2 技術(shù)水平評(píng)估實(shí)施特征

2015—2018 年間，韓國(guó)各機(jī)構(gòu)實(shí)施的技術(shù)水平評(píng)估，在評(píng)估目的、評(píng)估對(duì)象、評(píng)估內(nèi)容和評(píng)估方法上存在共性特征：

（1）評(píng)估目的。一是為提升國(guó)家技術(shù)競(jìng)爭(zhēng)力制定各領(lǐng)域技術(shù)的中長(zhǎng)期研發(fā)計(jì)劃，對(duì)各領(lǐng)域核心技術(shù)進(jìn)行評(píng)估；二是通過了解韓國(guó)與主要競(jìng)爭(zhēng)國(guó)家的技術(shù)水平差距，制定有針對(duì)性的研發(fā)戰(zhàn)略；三是為制定國(guó)家中長(zhǎng)期研發(fā)戰(zhàn)略和投入優(yōu)先順序提供依據(jù)。

（2）評(píng)估對(duì)象。評(píng)估對(duì)象主要為美國(guó)、歐盟、中國(guó)、日本、韓國(guó)等5 個(gè)國(guó)家和地區(qū)，部分機(jī)構(gòu)根據(jù)評(píng)估對(duì)象技術(shù)特征增加相應(yīng)的技術(shù)領(lǐng)先國(guó)家，如國(guó)防技術(shù)品質(zhì)院以美國(guó)、法國(guó)、俄羅斯、日本、英國(guó)、中國(guó)等23 個(gè)主要激光技術(shù)發(fā)達(dá)國(guó)家為對(duì)象進(jìn)行評(píng)估；農(nóng)林水產(chǎn)食品技術(shù)評(píng)價(jià)院的評(píng)價(jià)對(duì)象增加了德國(guó)、荷蘭、法國(guó)、英國(guó)、澳大利亞等國(guó)家；科學(xué)技術(shù)信息研究院的評(píng)價(jià)對(duì)象則增加了澳大利亞、印度、加拿大、巴西、俄羅斯等國(guó)家。

（3）評(píng)估內(nèi)容。評(píng)估的內(nèi)容一般包括技術(shù)水平、技術(shù)差距及原因、最高水平技術(shù)持有國(guó)家/機(jī)構(gòu)、提升技術(shù)水平的建議或追趕方案、技術(shù)重要程度（重要程度、緊迫性、影響效果）、論文專利數(shù)量與影響力指數(shù)等重要指標(biāo)、投入比例（政府與民間、各技術(shù)階段）、政府政策等。

（4）評(píng)估方法。大部分機(jī)構(gòu)采用德爾菲法，評(píng)估結(jié)果產(chǎn)出為相較最高水平技術(shù)持有國(guó)家的技術(shù)水平和技術(shù)差距，上述10 家機(jī)構(gòu)均提供技術(shù)開發(fā)水平、技術(shù)重要程度、提升技術(shù)水平的建議等補(bǔ)充內(nèi)容；此外，實(shí)施定量評(píng)估采用論文/專利分析方法，提供各項(xiàng)技術(shù)的論文/專利水平（數(shù)量及影響力指數(shù)等）。

3 韓國(guó)技術(shù)水平評(píng)估實(shí)施機(jī)構(gòu)典型分析

韓國(guó)科學(xué)技術(shù)評(píng)價(jià)院（KISTEP）成立于2001 年，是國(guó)家級(jí)的科技規(guī)劃支撐機(jī)構(gòu)。KISTEP 依據(jù)韓國(guó)《科學(xué)技術(shù)基本法》第十四條第二款，即政府為促進(jìn)科學(xué)技術(shù)的發(fā)展，應(yīng)當(dāng)對(duì)國(guó)家重要核心技術(shù)水平進(jìn)行評(píng)估，并制定和推進(jìn)有關(guān)技術(shù)水平的提高措施，和《科學(xué)技術(shù)基本法施行令》第二十四條（技術(shù)水平評(píng)估）第二項(xiàng)，即科學(xué)技術(shù)信息通信部長(zhǎng)官應(yīng)根據(jù)法律第十四條第二款與有關(guān)中央行政機(jī)構(gòu)的長(zhǎng)官協(xié)商，每?jī)赡陮?shí)施所管領(lǐng)域的技術(shù)水平評(píng)估，并將結(jié)果向國(guó)家科技咨詢會(huì)議報(bào)告，對(duì)韓國(guó)與美國(guó)、歐盟、日本、中國(guó)等主要競(jìng)爭(zhēng)對(duì)象進(jìn)行技術(shù)水平和技術(shù)差距綜合分析，掌握本國(guó)重點(diǎn)技術(shù)現(xiàn)狀和發(fā)展趨勢(shì)、監(jiān)測(cè)科技政策的成果，主要采用論文/專利分析的定量評(píng)估與德爾菲法的定性評(píng)估結(jié)合；并在每?jī)纱卧u(píng)估中期的間隔年份，會(huì)定期進(jìn)行技術(shù)水平評(píng)估方法改進(jìn)研究，根據(jù)研究結(jié)果完善評(píng)估方法，以提升下一次技術(shù)水平評(píng)估結(jié)果的可信度。盡管韓國(guó)國(guó)內(nèi)的政府其他機(jī)構(gòu)基本都采取類似KISTEP 的評(píng)估體系和方法，但其開展的技術(shù)評(píng)估與KISTEP 的主要區(qū)別在于，KISTEP 開展技術(shù)水平評(píng)估工作更為規(guī)范化和體系化，以及評(píng)估的技術(shù)領(lǐng)域范圍更為全面，可以從國(guó)家層面發(fā)揮決策咨詢作用。因此，本研究以KISTEP作為典型案例進(jìn)行介紹和分析。

如表2 所示，KISTEP 以韓國(guó)戰(zhàn)略技術(shù)為對(duì)象，從1999 年至2018 年共進(jìn)行了9 次技術(shù)水平評(píng)估，從1999 年至2016 年共開展了8 次大規(guī)模專家德爾菲調(diào)查，尤其是2008 年以后的技術(shù)水平評(píng)估工作更側(cè)重于依據(jù)《科學(xué)技術(shù)基本法》，并與政府在不同時(shí)期推進(jìn)的科學(xué)技術(shù)基本計(jì)劃相結(jié)合［5］。其中，2008 和2010 年分別對(duì)《第2 次科學(xué)技術(shù)基本計(jì)劃（2008—2012 年）》中的90 項(xiàng)重點(diǎn)科學(xué)技術(shù)進(jìn)行了兩次技術(shù)水平評(píng)估；2012、2014 和2016 年分別對(duì)《第3 次科學(xué)技術(shù)基本計(jì)劃（2013—2017）》中的120 項(xiàng)國(guó)家戰(zhàn)略技術(shù)進(jìn)行了3 次技術(shù)水平評(píng)估。

表2 韓國(guó)科學(xué)技術(shù)評(píng)價(jià)院的技術(shù)水平評(píng)估實(shí)施歷程

表2 （續(xù)）

2008 年度對(duì)90 項(xiàng)重點(diǎn)科學(xué)技術(shù)的技術(shù)水平評(píng)估，是針對(duì)韓國(guó)《第2 次科學(xué)技術(shù)基本計(jì)劃（2008—2012 年）》中的90 項(xiàng)重點(diǎn)科學(xué)技術(shù)和364 項(xiàng)具體技術(shù)進(jìn)行的技術(shù)水平評(píng)估，包括信息電子通信、生物、機(jī)械制造工藝等10 個(gè)技術(shù)領(lǐng)域。評(píng)估采用技術(shù)增長(zhǎng)模型，對(duì)當(dāng)前與5 年后的技術(shù)水平進(jìn)行預(yù)測(cè)和動(dòng)態(tài)評(píng)估，通過論文/專利分析的定量評(píng)估和德爾菲法的定性評(píng)估，完善此前僅有主觀評(píng)估的方法。評(píng)估內(nèi)容包括評(píng)價(jià)對(duì)象的技術(shù)水平與技術(shù)開發(fā)所需時(shí)間、技術(shù)水平達(dá)成主要因素、技術(shù)獲得與追趕和改進(jìn)方案、核心技術(shù)水平提升與技術(shù)能力提高的建議以及技術(shù)開發(fā)的阻礙因素與對(duì)策建議等。

2010 年度的技術(shù)水平評(píng)估對(duì)象包括共11 個(gè)大領(lǐng)域的95 項(xiàng)重點(diǎn)科學(xué)技術(shù)和369 項(xiàng)具體技術(shù)。評(píng)估方法以德爾菲法調(diào)查結(jié)果為中心，利用技術(shù)增長(zhǎng)模型并行分析論文和專利。評(píng)估內(nèi)容主要針對(duì)美國(guó)、日本、歐盟、中國(guó)和韓國(guó)5 個(gè)國(guó)家和地區(qū)間的技術(shù)水平與差距比較、技術(shù)動(dòng)向調(diào)查和論文/專利被引用等；此外，首次對(duì)韓國(guó)國(guó)家重點(diǎn)科學(xué)技術(shù)實(shí)施時(shí)間序列（2008—2010 年）的技術(shù)水平評(píng)估，以及在中間階段檢驗(yàn)政府的科學(xué)技術(shù)政策成效。

2012 年度的技術(shù)水平評(píng)估中，對(duì)2010 年的評(píng)估方法進(jìn)行了改進(jìn)（見表3）［6］，引入劃分研發(fā)階段（基礎(chǔ)研究、應(yīng)用研究、開發(fā)研究）和研究主題（產(chǎn)、學(xué)、研）的分析方法，并引入專家對(duì)德爾菲調(diào)查和論文/專利調(diào)查結(jié)果進(jìn)行綜合討論分析；此外，參與德爾菲調(diào)查的專家由相關(guān)技術(shù)領(lǐng)域?qū)W會(huì)、協(xié)會(huì)、研究所和大學(xué)推薦，使專家的代表性和專業(yè)性得到提升。

表3 韓國(guó)科學(xué)技術(shù)評(píng)價(jià)院的技術(shù)水平評(píng)估改善方向

4 韓國(guó)技術(shù)水平評(píng)估方法典型分析

韓國(guó)科學(xué)技術(shù)評(píng)價(jià)院［7］于2019 年4 月發(fā)布的《2018 年韓國(guó)技術(shù)水平評(píng)估》，是韓國(guó)近期最新開展的一次技術(shù)水平評(píng)估（以下簡(jiǎn)稱“2018 評(píng)估”）的報(bào)告。2018 評(píng)估對(duì)以往的技術(shù)水平評(píng)估方法進(jìn)行了改進(jìn)，評(píng)估對(duì)象為韓國(guó)《第4 次科學(xué)技術(shù)基本計(jì)劃（2018—2022）》中的重點(diǎn)科學(xué)技術(shù)，這些技術(shù)對(duì)韓國(guó)的社會(huì)經(jīng)濟(jì)和科學(xué)技術(shù)有較高貢獻(xiàn)度，包括建設(shè)交通、災(zāi)難安全、航空航天海洋、國(guó)防、機(jī)械制造、材料納米、農(nóng)林水產(chǎn)食品、生命保健醫(yī)療、能源資源、環(huán)境氣象、信息通信技術(shù)和軟件等11 個(gè)領(lǐng)域120 項(xiàng)重點(diǎn)科學(xué)技術(shù)，以及分析韓國(guó)在這些技術(shù)領(lǐng)域上與美國(guó)、歐盟、日本、中國(guó)的技術(shù)差距；此外，從技術(shù)趨勢(shì)、技術(shù)發(fā)展程度、技術(shù)間的相似重復(fù)等方面考慮，調(diào)整韓國(guó)現(xiàn)有國(guó)家戰(zhàn)略技術(shù)的技術(shù)名稱、技術(shù)范圍等，新增加了人工智能、智能家庭、智慧城市、3D 打印、大氣污染應(yīng)對(duì)等12 項(xiàng)技術(shù)。

4.1 評(píng)估實(shí)施體系和流程

2018 評(píng)估的實(shí)施體系（見圖1）由運(yùn)營(yíng)委員會(huì)、評(píng)估委員、綜合支撐小組構(gòu)成。其中，運(yùn)營(yíng)委員會(huì)由科技領(lǐng)域相關(guān)產(chǎn)學(xué)研代表及理事組成，負(fù)責(zé)對(duì)技術(shù)水平評(píng)估計(jì)劃、現(xiàn)狀與結(jié)果進(jìn)行討論調(diào)整；評(píng)估委員由11 個(gè)領(lǐng)域120 項(xiàng)重點(diǎn)技術(shù)的1 200 名專家組成，每項(xiàng)技術(shù)各對(duì)應(yīng)10 名專家，負(fù)責(zé)評(píng)估韓國(guó)與其他主要評(píng)估對(duì)象的重點(diǎn)技術(shù)水平與差距，以及參加對(duì)論文、專利分析結(jié)果的討論；綜合支撐小組由KISTEP 技術(shù)預(yù)測(cè)中心人員組成，負(fù)責(zé)核心專家的選定聯(lián)絡(luò)、德爾菲調(diào)查的設(shè)計(jì)和結(jié)果分析等工作。

圖1 韓國(guó)科學(xué)技術(shù)評(píng)價(jià)院技術(shù)水平評(píng)估實(shí)施體系

2018評(píng)估從2018 年2 月至2019 年2 月經(jīng)過1年時(shí)間，共進(jìn)行了8 個(gè)實(shí)施階段，具體實(shí)施流程為（見圖2）：開展論文/專利分析；成立技術(shù)水平評(píng)估運(yùn)營(yíng)委員會(huì)；專家相互推薦，并確定定量分析內(nèi)容；論文/專利趨勢(shì)分析和指標(biāo)分析，兩次專家德爾菲調(diào)查分析，定性與定量分析結(jié)果最終分析；運(yùn)營(yíng)委員會(huì)討論并確定最終評(píng)估結(jié)果，提交國(guó)家科學(xué)技術(shù)咨詢會(huì)議審議。

圖2 韓國(guó)科學(xué)技術(shù)評(píng)價(jià)院技術(shù)水平評(píng)估實(shí)施流程

4.2 評(píng)估方法改進(jìn)內(nèi)容

為提高技術(shù)水平評(píng)估結(jié)果的可信度和有效度，2018 評(píng)估通過完善德爾菲調(diào)查方式和論文/專利等定量分析法，以及完善評(píng)估專家遴選方法和評(píng)估指標(biāo)等方面，使評(píng)估方法更客觀，相比2016 年KISTEP開展技術(shù)水平評(píng)估的方法有所改進(jìn)（見表4）。

表4 韓國(guó)科學(xué)技術(shù)評(píng)價(jià)院技術(shù)水平評(píng)估方法的改進(jìn)

一是在加強(qiáng)數(shù)據(jù)定量分析的同時(shí)改進(jìn)專家定性評(píng)估方式，確保評(píng)估結(jié)果的客觀性和專業(yè)性。技術(shù)水平評(píng)估方法一般包括定性方法和定量方法。定性方法是基于專家知識(shí)的主觀評(píng)估方法，包括頭腦風(fēng)暴、德爾菲法、訪談、問卷調(diào)查、焦點(diǎn)團(tuán)體訪談（focus group interview）等；定量方法是基于大量數(shù)據(jù)的客觀分析方法，包括論文/專利信息分析法、評(píng)分模型（scoring model）、層次分析法（analytic hierarchy process）、技術(shù)成熟度（technology readiness level）、專利指標(biāo)應(yīng)用、技術(shù)增長(zhǎng)模型等。2018 評(píng)估參考了KISTEP 對(duì)2017 年技術(shù)水平評(píng)估方法改進(jìn)方案的研究結(jié)果，加強(qiáng)定量分析和定性評(píng)估結(jié)合，促進(jìn)德爾菲調(diào)查研究的完善，增加技術(shù)水平評(píng)估結(jié)果的利用度和可信度。

二是加強(qiáng)運(yùn)用定量分析方法。為滿足數(shù)據(jù)分析要求，2018 評(píng)估替換了依賴固定專家評(píng)估的技術(shù)動(dòng)向報(bào)告，在現(xiàn)有的論文/專利分析指標(biāo)中增加了多種分析指標(biāo)（見表5），如IP4 占有率，是指不同于同族專利，用于分析在主要國(guó)家市場(chǎng)以外的影響力；將專利數(shù)據(jù)范圍從美國(guó)專利局?jǐn)U大到韓中日歐美五局（見表6）；新增不僅能用于德爾菲調(diào)查的基礎(chǔ)資料，而且能分析各技術(shù)領(lǐng)域研究趨勢(shì)的指標(biāo)；通過挖掘和分析論文/專利的活動(dòng)趨勢(shì)和技術(shù)價(jià)值等突破性指標(biāo)，提供技術(shù)發(fā)展當(dāng)前情況的信息。

表5 韓國(guó)科學(xué)技術(shù)評(píng)價(jià)院開展技術(shù)水平評(píng)估的論文/專利分析指標(biāo)改進(jìn)

表6 韓國(guó)科學(xué)技術(shù)評(píng)價(jià)院開展技術(shù)水平評(píng)估的論文/專利分析對(duì)象與方法

三是完善定性分析方法。由于定性主觀判斷主要基于專家的知識(shí)與經(jīng)驗(yàn)，存在一定程度客觀性不足的缺陷。一國(guó)不同專家群體和知識(shí)背景對(duì)國(guó)家的整體技術(shù)水平判斷有影響［8］，因此在以德爾菲法評(píng)估技術(shù)水平和技術(shù)差距過程中，針對(duì)技術(shù)水平是否指現(xiàn)有技術(shù)成果的差異、評(píng)估范圍是否包含技術(shù)開發(fā)能力等的不確定，存在因參與專家的解釋不同而評(píng)估結(jié)果不同的問題。為解決定性分析的客觀性不足問題，2018 評(píng)估完善了參與技術(shù)水平評(píng)估專家的選拔、實(shí)施方式和德爾菲調(diào)查問卷（見表7），將作為德爾菲調(diào)查評(píng)估委員的少數(shù)核心專家改進(jìn)為專家5 年任期制的參與方式，并刪除或改進(jìn)技術(shù)水平回答可信度低、產(chǎn)學(xué)研投入比例等利用度低且評(píng)估困難的內(nèi)容。

表7 韓國(guó)科學(xué)技術(shù)評(píng)價(jià)院開展技術(shù)水平評(píng)估的德爾菲調(diào)查問卷改進(jìn)

4.3 新增指標(biāo)

技術(shù)水平評(píng)估方法的基礎(chǔ)是評(píng)估指標(biāo)體系的構(gòu)建，評(píng)估指標(biāo)體系的選擇直接關(guān)系到科技評(píng)估結(jié)果的準(zhǔn)確性［9］。2018 評(píng)估的評(píng)估指標(biāo)比KISTEP 的2016年評(píng)估增加了活動(dòng)力分析和技術(shù)力分析指標(biāo)（見表8、表9）?；顒?dòng)力分析是指通過論文/專利占有率與增加率、專利海外申請(qǐng)度等指標(biāo)，分析論文/專利的活動(dòng)變化；技術(shù)力分析是指通過論文/專利影響力與IP4占有率、專利權(quán)力要求項(xiàng)的數(shù)量等指標(biāo)，分析論文/專利所具有的技術(shù)價(jià)值。

表8 韓國(guó)科學(xué)技術(shù)評(píng)價(jià)院開展技術(shù)水平評(píng)估的活動(dòng)力分析指標(biāo)

表9 韓國(guó)科學(xué)技術(shù)評(píng)價(jià)院開展技術(shù)水平評(píng)估的技術(shù)力分析指標(biāo)

表9 （續(xù)）

此外，如表10 所示，2018 評(píng)估的評(píng)估指標(biāo)新增加了活躍度指數(shù)和吸引力指數(shù)的投入組合分析指標(biāo)。以活躍度指數(shù)和吸引力指數(shù)為基礎(chǔ)，掌握指定國(guó)家對(duì)指定技術(shù)的技術(shù)實(shí)力和研究活動(dòng)情況，分析特定國(guó)家即使落后于絕對(duì)優(yōu)勢(shì)，與其他國(guó)家相比，其指定技術(shù)的相對(duì)集中活躍程度和技術(shù)能力掌握程度。

表10 韓國(guó)科學(xué)技術(shù)評(píng)價(jià)院開展技術(shù)水平評(píng)估的投入組合分析指標(biāo)

5 結(jié)論與啟示

韓國(guó)開展技術(shù)水平評(píng)估雖然起步較晚，但經(jīng)過近20 年的發(fā)展，技術(shù)水平評(píng)估工作在韓國(guó)已呈現(xiàn)制度化、常規(guī)化和體系化，在跟隨日本開展技術(shù)評(píng)估之后，經(jīng)過不斷完善，逐步提升了技術(shù)水平評(píng)估的可信度和客觀性，已形成自身特色的技術(shù)水平評(píng)估方法?？偨Y(jié)韓國(guó)的技術(shù)水平評(píng)估方法和實(shí)施經(jīng)驗(yàn)，為我國(guó)完善技術(shù)水平評(píng)估方法和健全技術(shù)水平評(píng)估體系提供啟示。

5.1 有必要定期、長(zhǎng)期進(jìn)行國(guó)家層面的技術(shù)水平評(píng)估和監(jiān)測(cè)

韓國(guó)在制定每期科技基本計(jì)劃過程中，將技術(shù)水平評(píng)估作為制定各項(xiàng)技術(shù)發(fā)展目標(biāo)的參考依據(jù)，通過持續(xù)的技術(shù)水平評(píng)估檢驗(yàn)國(guó)家戰(zhàn)略技術(shù)水平發(fā)展程度，深入分析技術(shù)水平變化趨勢(shì)并反映到國(guó)家中長(zhǎng)期技術(shù)規(guī)劃中。例如韓國(guó)近期推進(jìn)實(shí)施的2018年技術(shù)水平評(píng)估，掌握當(dāng)期科技基本計(jì)劃中的重點(diǎn)技術(shù)與世界主要發(fā)達(dá)國(guó)家的技術(shù)差距等情況，將其應(yīng)用于韓國(guó)的科技規(guī)劃活動(dòng)，制定提高相關(guān)技術(shù)水平的政策；通過將研發(fā)投入、科技政策與技術(shù)水平評(píng)估結(jié)合，提出相關(guān)政策建議，有助于掌握技術(shù)發(fā)展信息的國(guó)際主動(dòng)權(quán)。當(dāng)前科技發(fā)展速度，我國(guó)的科技發(fā)展水平也迅速提升，科技部于2013 年年底啟動(dòng)了國(guó)內(nèi)外技術(shù)競(jìng)爭(zhēng)調(diào)查，對(duì)我國(guó)整體技術(shù)水平進(jìn)行摸底，但至今已時(shí)隔7 年，為提升對(duì)我國(guó)技術(shù)發(fā)展水平判斷的準(zhǔn)確性，有必要及時(shí)更新數(shù)據(jù)，科學(xué)把握我國(guó)技術(shù)發(fā)展水平和在國(guó)際上的位置，為科技規(guī)劃、發(fā)展戰(zhàn)略等政策的制定提供必要的基礎(chǔ)資料。

5.2 重視通過立法指導(dǎo)和保障技術(shù)水平評(píng)估工作

韓國(guó)從20 世紀(jì)中后期起，科技政策的制定逐漸擺脫模仿和追趕發(fā)達(dá)國(guó)家的技術(shù)開發(fā)戰(zhàn)略，更多強(qiáng)調(diào)創(chuàng)新型和領(lǐng)先型技術(shù)創(chuàng)新體系，為此，從國(guó)家層面重視技術(shù)規(guī)劃出發(fā)，2001 年制定《科學(xué)技術(shù)基本法》，強(qiáng)調(diào)技術(shù)預(yù)測(cè)、技術(shù)水平評(píng)估和技術(shù)影響評(píng)估等技術(shù)規(guī)劃工作?！犊茖W(xué)技術(shù)基本法》為韓國(guó)制定每5 年一次的科學(xué)技術(shù)基本計(jì)劃和開展技術(shù)水平評(píng)估、技術(shù)預(yù)見提供依據(jù)和法律保障，同時(shí)賦予了國(guó)家科學(xué)技術(shù)審議會(huì)制定科技規(guī)劃、協(xié)調(diào)和評(píng)估國(guó)家研發(fā)計(jì)劃、分配政府研發(fā)預(yù)算等相關(guān)職能［10］。我國(guó)科技部于2003 年制定了《科學(xué)技術(shù)評(píng)價(jià)辦法》（試行），但該法規(guī)主要是對(duì)科學(xué)技術(shù)活動(dòng)及其相關(guān)事項(xiàng)進(jìn)行評(píng)價(jià)，從立法層面對(duì)于開展針對(duì)國(guó)家戰(zhàn)略技術(shù)發(fā)展水平評(píng)估工作的重視程度有待提高。

5.3 關(guān)注技術(shù)水平前瞻評(píng)估，并不斷優(yōu)化完善評(píng)估方法

科技評(píng)估工作不僅要著眼過去和現(xiàn)在，更應(yīng)關(guān)注未來科技戰(zhàn)略的制定［11］。韓國(guó)每?jī)赡暌淮芜M(jìn)行的技術(shù)水平評(píng)估，為其制定國(guó)家科技發(fā)展戰(zhàn)略和研發(fā)投入規(guī)劃提供了重要依據(jù)，并通過不斷創(chuàng)新完善評(píng)估方法和結(jié)果形式提升評(píng)估結(jié)果的可信度和客觀性、通過優(yōu)化分析方法提高評(píng)估分析工作的效率和準(zhǔn)確度，尤其是其2018 年開展技術(shù)水平評(píng)估采用新的評(píng)估體系和改進(jìn)方法，選定核心專家實(shí)行5 年任期制，摒棄專家一次性參與的做法，緩解了之前由于參評(píng)專家不固定而造成的評(píng)估工作專業(yè)性和客觀性缺失等問題；并且在論文/專利分析工作中導(dǎo)入了自動(dòng)化系統(tǒng)，提高了工作效率和數(shù)據(jù)準(zhǔn)確度。但通常情況下，為保障技術(shù)水平評(píng)估結(jié)果的時(shí)間序列分析和一貫性，技術(shù)水平評(píng)估方式不能進(jìn)行太大的改動(dòng)，應(yīng)保持以評(píng)估技術(shù)和體系為出發(fā)點(diǎn)提供基礎(chǔ)性資料的原則。

5.4 重視評(píng)估方法中定性分析和定量分析的深入結(jié)合

我國(guó)科技評(píng)價(jià)最常用的方法是文獻(xiàn)計(jì)量法和同行評(píng)議法，德爾菲法和層次分析法也逐漸被應(yīng)用［12］。其中，在基礎(chǔ)研究領(lǐng)域主要采用同行評(píng)議等以定性分析為主的評(píng)價(jià)方法，定量分析方法還處于探索完善過程中［13］。由于許多技術(shù)水平評(píng)估方法是通過德爾菲法進(jìn)行專家意見調(diào)查，但依靠專家主觀性分析的方法容易產(chǎn)生評(píng)估結(jié)果客觀性不夠的問題；然而以論文、專利等定量數(shù)據(jù)為基礎(chǔ)的技術(shù)水平評(píng)估方法的缺點(diǎn)是，只能提出個(gè)別指標(biāo)，難以進(jìn)行綜合性判斷，而且將過去的論文/專利和現(xiàn)在的論文/專利同等地評(píng)估，不能反映技術(shù)陳舊率。因此，類似韓國(guó)技術(shù)水平評(píng)估方法將定性與定量分析相結(jié)合，對(duì)定量分析結(jié)果中的技術(shù)水平和技術(shù)差距增加產(chǎn)生結(jié)果原因的專家深度分析，能夠有效彌補(bǔ)單一方法的缺陷。盡管韓國(guó)2018 年開展的技術(shù)水平評(píng)估對(duì)定性分析和定量分析有所完善，但有調(diào)查研究指出，德爾菲調(diào)查與論文/專利分析的技術(shù)水平結(jié)果之間不存在有意義的相關(guān)性［5］，存在論文/專利分析結(jié)果與德爾菲調(diào)查結(jié)果結(jié)合分析不足的問題?？梢钥闯觯诩夹g(shù)水平評(píng)估方法中，有必要增加定性評(píng)估和定量評(píng)估結(jié)果間的相關(guān)性分析，以及導(dǎo)出技術(shù)水平綜合指標(biāo)的相關(guān)研究。

5.5 重視加強(qiáng)技術(shù)水平評(píng)估結(jié)果相關(guān)信息的公開共享

韓國(guó)技術(shù)水平評(píng)估報(bào)告每2 年定期在韓國(guó)科學(xué)技術(shù)評(píng)價(jià)院的官方主頁(yè)上公開發(fā)布，有利于公眾全面了解技術(shù)水平評(píng)估的最新進(jìn)展和準(zhǔn)確結(jié)果，同時(shí)有助于吸收社會(huì)廣泛意見建議，有效推動(dòng)評(píng)估方法的改進(jìn)完善。韓國(guó)科學(xué)技術(shù)評(píng)價(jià)院對(duì)2018 年技術(shù)水平評(píng)估報(bào)告中實(shí)施的定性評(píng)估（德爾菲調(diào)查）和定量評(píng)估（論文/專利分析）方法，向參與評(píng)估的專家進(jìn)行了問卷調(diào)研，結(jié)果表明評(píng)估過程中存在“調(diào)研資料不足”“技術(shù)范圍過于寬泛”等問題，有必要增加討論會(huì)的召開次數(shù)，并及時(shí)進(jìn)行資料共享，計(jì)劃今后采取增加重要論文和重要專利等質(zhì)性因素分析指標(biāo)等改進(jìn)措施。