科技監(jiān)督評估體系構(gòu)建方法研究概況＊

許超，黃瀟

?

科技監(jiān)督評估體系構(gòu)建方法研究概況＊

許超1，黃瀟2

（1.山西省產(chǎn)業(yè)技術(shù)發(fā)展研究中心，山西 太原 030000；2.山西省分析科學(xué)研究院，山西 太原 030000）

本文介紹了科技監(jiān)督評估體系構(gòu)建的重要意義和必要性，進一步探討了科技監(jiān)督評估體系的構(gòu)建方法和步驟，分析闡述了同行評議法、德爾菲法、層次分析法、模糊綜合評價、人工神經(jīng)網(wǎng)絡(luò)技術(shù)、灰色分析法、綜合性評價等幾種方法的使用特點及優(yōu)缺點，在一定的方法選取原則下，選取適用的方法。

科技創(chuàng)新；科技監(jiān)督；評估體系；構(gòu)建方法

1 引言

科技監(jiān)督評價制度是政府為支撐創(chuàng)新，發(fā)揮政府科技資源配置作用的重要手段。在“科技創(chuàng)新+制度創(chuàng)新”雙輪驅(qū)動背景下，科技監(jiān)督評估體系構(gòu)建在制度創(chuàng)新中有重要的作用?？萍急O(jiān)督評估體系一般是指依據(jù)大量事實和依據(jù)，遵循一定的原則、程序和標(biāo)準(zhǔn)，運用科學(xué)、可行的方法，對涉及科技領(lǐng)域的政策、計劃、項目、成果、機構(gòu)、人員以及與科技活動有關(guān)的行為所進行的系統(tǒng)化和專業(yè)化的監(jiān)督評估活動。

2 意義和必要性

科技監(jiān)督評估是指依據(jù)有關(guān)規(guī)定，對參與科技計劃（專項、基金）的各責(zé)任方所進行的持續(xù)、全面的監(jiān)督，評估與問責(zé)，涉及到責(zé)任主體包括科技計劃相關(guān)管理部門、項目管理專業(yè)機構(gòu)、項目承擔(dān)單位、參與科技計劃項目咨詢評審和監(jiān)督工作的專家、支撐機構(gòu)以及從事科技項目研究的科研人員，目的是明確各責(zé)任主體的權(quán)力邊界，并約束其行為?！翱萍急O(jiān)督評估體系”屬于“三根支柱之一”（即咨評委+專業(yè)機構(gòu)+監(jiān)督與評估體系），是這個體系中唯一的一個動態(tài)體系，同時也是實施難度最大的一項?？萍急O(jiān)督評估體系的主要內(nèi)容包括三個方面，分別是科技監(jiān)督、科技評估和科研信用。其特點是事前重風(fēng)險防范，事中、事后重監(jiān)督檢查，事后重評估與問責(zé)?？萍急O(jiān)督評估體系的建立完善不僅是完成新一輪國家科技計劃管理改革的主要環(huán)節(jié)，也是促進科技計劃和專項科學(xué)、有序、高效推進的制度保證，更是完善科技治理體系的重要支撐。因此，科技監(jiān)督評估體系的構(gòu)建是科技體系監(jiān)督和評估的要求，對于提高政府科技資源分配的公正性和有效性，提高科技計劃相關(guān)主體的意識與水平，從機制上約束和規(guī)范科技計劃相關(guān)主體起到重要的作用。

3 科技監(jiān)督評估體系構(gòu)建步驟

3.1 指標(biāo)體系結(jié)構(gòu)的確立

前期準(zhǔn)備主要包括信息收集資料、分析目標(biāo)、確定指標(biāo)體系結(jié)構(gòu)和收集與分析指標(biāo)。

3.2 指標(biāo)體系的內(nèi)涵及標(biāo)度設(shè)計

確定基礎(chǔ)評價指標(biāo)體系時，一般收集的指標(biāo)體系都是定性或者半定量的，所以需要設(shè)計標(biāo)度來評判，一般分為5個標(biāo)度，即很好、較好、一般、較差、很差，使指標(biāo)體系可以被量化。

3.3 指標(biāo)權(quán)重的確定

權(quán)重是綜合評價的重要信息，應(yīng)根據(jù)指標(biāo)的相對重要性，即指標(biāo)對綜合評價的貢獻確定。

確定評價指標(biāo)權(quán)重的方法主要分為主觀方法和客觀方法。主觀賦權(quán)法是人為主觀賦權(quán)，主要方法有專家調(diào)查法、二項系數(shù)法、環(huán)比評分法和AHP法等；客觀賦權(quán)法是指標(biāo)依據(jù)一定的規(guī)律自動賦權(quán)，主要方法有成分分析法、熵技術(shù)法、均方差法和多目標(biāo)規(guī)劃法等。

賦權(quán)后，確定指標(biāo)權(quán)重的方法很多，比如定性分析的德爾菲法、數(shù)據(jù)統(tǒng)計處理的成分分析法以及定性定量結(jié)合的層次分析法等。

4 科技監(jiān)督評估體系構(gòu)建的常用方法

4.1 同行評議法

同行評議法，最簡單、直接的理解是指由身份相同的人評審、審查、評價和評論。同行評議是由從事該領(lǐng)域或相關(guān)領(lǐng)域的專家按照一定的評議準(zhǔn)則來評定一項科學(xué)研究工作的學(xué)術(shù)水平和重要性的一種方法，是對科學(xué)問題或科學(xué)成果的潛在價值或現(xiàn)有價值進行評價，對解決科學(xué)問題方法的科學(xué)性和可行性給出判斷的過程，是科研項目進行評審和對科研成果進行評估的一種基本方法，也是科技評估過程科學(xué)化和民主化的一個重要環(huán)節(jié)。同行評議一般包括專家組會議評議和網(wǎng)絡(luò)評議，對于需要組織同行專家進行現(xiàn)場考察或者演示、測試和達標(biāo)的科技成果，組織評議單位可以采取會議評議形式；對于通過書面審查有關(guān)技術(shù)資料即可進行評議的項目成果，則可以采用網(wǎng)絡(luò)評審。

同行評議簡單易行，而且可以指出被評價項目成果的創(chuàng)新或不足，能找出該項目成果在該領(lǐng)域國內(nèi)外同類研究中所達的水平，從而作出客觀、準(zhǔn)確的評價。在同行評議中，必不可少的是評議標(biāo)準(zhǔn)，基本標(biāo)準(zhǔn)主要有項目進行的科學(xué)意義，項目申請者的完成能力，項目申請單位的承擔(dān)能力。同行評議是使用較早的科技評估方法，應(yīng)用領(lǐng)域相對較廣泛。

4.2 德爾菲法

德爾菲法，即Delphi法，是一種通過征求并集合群體成員（包括決策者、專業(yè)干部和反映者，約20～50人）的意見作出的群判斷，是進行決策、預(yù)測和科技咨詢的一種有效方法，有三個主要特征，分別是匿名反映、迭代和受控反饋和統(tǒng)計的群反映。流程為：提出問題→選擇并確定群眾成員（反映人）→制訂多個咨詢表，發(fā)給群中成員→收集咨詢表，進行分析→多個咨詢表分析合成報告。

4.3 層次分析法

層次分析法（Analytic Hierarchy Process，簡稱“AHP”），是將與決策總是有關(guān)的元素分解成多個有序的低階層次結(jié)構(gòu)，在此基礎(chǔ)之上進行定性和定量分析的決策方法。該方法是美國運籌學(xué)家匹茨堡大學(xué)教授薩蒂于20世紀(jì)70年代初應(yīng)用網(wǎng)絡(luò)系統(tǒng)理論和多目標(biāo)綜合評價方法提出的一種層次權(quán)重決策分析方法。APH體現(xiàn)了決策思維的基本特征，即分析、判斷和綜合。

APH經(jīng)常作為一種確定指標(biāo)權(quán)重的方法加以應(yīng)用。在科技項目評估中，運用APH確定指標(biāo)權(quán)重一般分為5個步驟：①建立問題的遞階層次結(jié)構(gòu)；②構(gòu)造兩兩比較判斷矩陣；③進行層次因素（指標(biāo)）單排序數(shù)值的計算；④進行APH判斷矩陣一致性檢驗；⑤計算各層指標(biāo)的組合權(quán)重。

APH作為一種決策工具，具有適用性、簡潔性、實用性和系統(tǒng)性等特點，但在應(yīng)用上也有局限性。例如，APH的應(yīng)用主要針對那種方案大抵確定的決策問題；APH得出的結(jié)果是粗略的方案排序；在APH適用過程中，無論是建立層次結(jié)構(gòu)還是構(gòu)造判斷矩陣，人的主觀判斷、選擇對結(jié)果的影響較大，導(dǎo)致采用APH進行決策的主觀成分很大。

4.4 模糊綜合評價

模糊綜合評價法是解決定性和定量問題的經(jīng)典方法，創(chuàng)始人是美國加利福尼亞大學(xué)著名的控制論專家LA.Zadeh教授，最早是我國學(xué)者汪培莊提出來的。該法是利用模糊關(guān)系合成的原理，從多個因素出發(fā)對評判事物隸屬情況進行綜合性評價的一種方法。主要分為兩步，分別是單因素單獨評判和多因素綜合評判，一般包括基本因素集、評價集和考核集。

優(yōu)點：模糊評價通過精確的數(shù)字手段處理模糊的評價對象，能對蘊藏信息呈現(xiàn)模糊性的資料作出比較科學(xué)、合理、貼近實際的量化評價；評價結(jié)果是一個矢量，而不是一個點值，包含的信息比較豐富，既可以比較準(zhǔn)確地刻畫被評價對象，又可以進一步加工，得到參考信息。

缺點：計算復(fù)雜，對指標(biāo)權(quán)重矢量的確定主觀性較強；當(dāng)指標(biāo)集較大，即指標(biāo)集個數(shù)較大時，在權(quán)矢量和為1的條件約束下，相對隸屬度權(quán)系數(shù)往往偏小，權(quán)矢量與模糊矩陣不匹配，結(jié)果會出現(xiàn)超模糊現(xiàn)象，分辨率很差，無法區(qū)分誰的隸屬度更高，甚至造成評判失敗，此時可用分層模糊評估法加以改進。

總的來講，模糊綜合評價是一種基于主觀信息的綜合評價方法。

4.5 人工神經(jīng)網(wǎng)絡(luò)技術(shù)

人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Networks，簡寫為“ANNs”）是一種模仿神經(jīng)網(wǎng)絡(luò)類似于大腦神經(jīng)突觸聯(lián)接的結(jié)構(gòu)行為特征，由大量的節(jié)點（或稱神經(jīng)元）之間相互聯(lián)接構(gòu)成，每個節(jié)點代表為激勵函數(shù)，每兩個節(jié)點間的連接都代表一個對于通過該連接信號的權(quán)重，網(wǎng)絡(luò)的輸出則依網(wǎng)絡(luò)的連接方式、權(quán)重值和激勵函數(shù)的不同而不同。進行分布式并行信息處理的算法數(shù)學(xué)模型是數(shù)學(xué)統(tǒng)計學(xué)方法的一種實際應(yīng)用。這種網(wǎng)絡(luò)依靠系統(tǒng)的復(fù)雜程度，通過調(diào)整內(nèi)部大量節(jié)點之間相互連接的關(guān)系，從而達到處理信息的目的，并具有自學(xué)習(xí)和自適應(yīng)的能力。人工神經(jīng)網(wǎng)絡(luò)能夠與人一樣，具有簡單的決定能力和判斷能力，這種方法與正式的邏輯學(xué)推理演算相比更具有優(yōu)勢。

人工神經(jīng)網(wǎng)絡(luò)是由大量處理單元互聯(lián)組成的非線性、自適應(yīng)信息處理系統(tǒng)，它是在現(xiàn)代神經(jīng)科學(xué)研究成果的基礎(chǔ)上提出的，試圖通過模擬大腦神經(jīng)網(wǎng)絡(luò)處理、記憶信息的方式進行信息處理。人工神經(jīng)網(wǎng)絡(luò)具有的基本特征有非線性、非局限性、可容錯性和自適應(yīng)能力。

人工神經(jīng)網(wǎng)絡(luò)的特點和優(yōu)越性主要表現(xiàn)在以下3個方面：①具有自學(xué)習(xí)功能。自學(xué)習(xí)功能對于預(yù)測有特別重要的意義，預(yù)期未來的人工神經(jīng)網(wǎng)絡(luò)計算機將為人類提供經(jīng)濟預(yù)測、市場預(yù)測、效益預(yù)測，其應(yīng)用前途是很遠大的。②具有聯(lián)想存儲功能。用人工神經(jīng)網(wǎng)絡(luò)的反饋網(wǎng)絡(luò)就可以實現(xiàn)這種聯(lián)想。③具有高速尋找優(yōu)化解的能力。

優(yōu)點：人工神經(jīng)網(wǎng)絡(luò)評價方法可通過與其他特定的方法結(jié)合，來降低綜合評價過程中的不確定性因素。在學(xué)習(xí)樣本中，無需考慮權(quán)重值等模型的函數(shù)關(guān)系，通過不斷的學(xué)習(xí)，能夠從未知模式的大量復(fù)雜數(shù)據(jù)中發(fā)現(xiàn)其規(guī)律，克服傳統(tǒng)分析過程的復(fù)雜性及選擇適當(dāng)模型函數(shù)形式的困難。此外，神經(jīng)網(wǎng)絡(luò)并不依賴變量之間必須線性相關(guān)或是相互獨立的假設(shè)，變量之間存有微妙聯(lián)系，如果同數(shù)據(jù)不連續(xù)或不完全一樣均可以被系統(tǒng)辨識并生成定性評估。

缺點：樣本需求量大，精度不高；需借助計算機處理，效率不高等。

4.6 灰色評價法

灰色綜合評估法是一種以灰色分析理論為指導(dǎo)的綜合性評估方法。

部分信息明確、部分信息不明確的系統(tǒng)稱為灰色系統(tǒng)，灰色系統(tǒng)理論的中心就是充分利用已知信息。其過程如下：①建立灰色綜合評估模型；②對各種評價因素進行權(quán)重選擇；③進行綜合評估。灰色聚類分析是一種定量與定性相結(jié)合的方法，可以較好地解決評價指標(biāo)難以準(zhǔn)確量化和統(tǒng)計的問題?；疑C合評估法中的權(quán)重選擇可以結(jié)合層次分析法、聚類分析法和關(guān)聯(lián)分析法等，以提高評估的準(zhǔn)確性。

優(yōu)點：計算簡單，數(shù)據(jù)不必歸一化處理，指標(biāo)體系可以根據(jù)具體情況增減，無需大量樣本。

缺點：要求樣本有時間序列特性，灰色關(guān)聯(lián)系數(shù)的確定還需要計算分辨率，且缺乏合理標(biāo)準(zhǔn)。

4.7 綜合性評價方法

綜合評價方法是指多種評價方法相結(jié)合，但不是任何兩個方法都可以隨機組合，方法之間必須是可以聯(lián)結(jié)的，所涉及的變量可以相互轉(zhuǎn)化。首先由定性方法確定評價指標(biāo)集，然后計算指標(biāo)的權(quán)重并形成評價體系，包括評價等級、樣本矩陣等，最后，用定量方法與模型進行計算，得到評價值。

5 方法選取的原則準(zhǔn)則

在選擇評估方法時，應(yīng)注意以下幾點：①科研項目評估就是確定被評估項目在所在系統(tǒng)中的地位，這種地位是通過比較而認(rèn)識的。由于比較的基準(zhǔn)物不同，評估的內(nèi)容和方法也就不同。②系統(tǒng)要保持其相對地位不變或提高其地位，就必須具備動態(tài)調(diào)節(jié)的功能。這就要求所選擇的評估方法必須具有良好的動態(tài)調(diào)節(jié)性能，使系統(tǒng)結(jié)構(gòu)合理，且具有開放性。③評估具有主觀性，評估是事物價值在人的意識之中的反映。因此，對事物價值的評估要因人、因時、因環(huán)境而異，評估中的差異性是無法排除的，只能盡量縮小。在研究設(shè)計評估方法時，要使方法具有減弱或消除主觀因素成份的功能，使要獲得的評估信息具有可能性和可靠性。④認(rèn)識是評估的前提和基礎(chǔ)。認(rèn)識的對象大于評估的對象，要提高評估方法的合理性與準(zhǔn)確性，首先要全面、客觀地認(rèn)識系統(tǒng)和環(huán)境，對事物的認(rèn)識不準(zhǔn)確，就難以選擇出合理的方法。

6 結(jié)語

綜上所述，目前，人們對評估領(lǐng)域已經(jīng)有了一定的認(rèn)識，并形成了一套比較成熟的理論和方法。但也應(yīng)清楚地看到，評估工作是一種跨學(xué)科、跨層次的綜合性工作，它既要求社會科學(xué)、經(jīng)濟學(xué)與自然科學(xué)的綜合，又要求決策層、執(zhí)行層與研究層的結(jié)合，這就對評估工作的組織管理與機制提出了特殊的要求，要求多方面、多層次的研究者相互理論結(jié)合，優(yōu)劣互補來進行相關(guān)探討研究。

［1］王憑慧.科技項目評價方法［M］.北京：科學(xué)出版社，2003.

［2］趙煥臣，許樹柏，和金生，等.層次分析［M］. 北京：科學(xué)出版社，1986.

［3］張軍軍，許超.科技監(jiān)督與評估體系建設(shè)途徑研究［J］.科技創(chuàng)新與應(yīng)用，2018（11）.

［4］張娟.廣東省科技監(jiān)督和評估體系建設(shè)研究［J］.科技視界，2017（01）.

［5］楊雪梅，林端宜.科研項目評估研究現(xiàn)狀綜述［J］.中華醫(yī)學(xué)科研管理雜志，2002（03）.

［6］陳小衛(wèi)，王新政，王文雙，等.科技項目中評價研究綜述［J］.科研管理，2009（30）.

2095－6835（2018）20－0004－03

G311

A

10.15913/j.cnki.kjycx.2018.20.004

許超（1980—），男，助理研究員，主要研究方向為公共政策分析與科技創(chuàng)新。

黃瀟（1984—），女，副研究員。

山西省軟科學(xué)研究重點項目“山西省科技計劃管理改革政策體系建設(shè)、管理、評價研究——科技監(jiān)督評估體系構(gòu)建研究”（項目編號：2017042003-1）

〔編輯：王霞〕