創(chuàng)新驅(qū)動(dòng)助力工程實(shí)施評估體系的構(gòu)建

劉思園 周強(qiáng) 安怡然 于楓垚 曹頔

[摘 要]以“中國科協(xié)創(chuàng)新驅(qū)動(dòng)助力工程”為基礎(chǔ)，根據(jù)“APC”評估理論、平衡計(jì)分卡理論，及績效評估指標(biāo)理論等6種評估理論，選取示范市、（副）省級科協(xié)、先行學(xué)會(huì)、實(shí)施主體作為研究樣本，構(gòu)建系統(tǒng)科學(xué)的實(shí)施效果監(jiān)管體系，以期提高評估的科學(xué)性、針對性和有效性。

[關(guān)鍵詞]創(chuàng)新驅(qū)動(dòng) 實(shí)施 評估 指標(biāo)體系

黨的十八大明確提出“科技創(chuàng)新是提高社會(huì)生產(chǎn)力和綜合國力的戰(zhàn)略支撐，必須擺在國家發(fā)展全局的核心位置”，強(qiáng)調(diào)要堅(jiān)持走中國特色自主創(chuàng)新道路、實(shí)施創(chuàng)新驅(qū)動(dòng)發(fā)展戰(zhàn)略。

中國科協(xié)創(chuàng)新驅(qū)動(dòng)助力工程于2014年正式啟動(dòng)，三年多來，“創(chuàng)新驅(qū)動(dòng)助力工程”共幫助30個(gè)示范市引進(jìn)專家人才1812名，轉(zhuǎn)化科技成果1837項(xiàng)，促成簽訂合作協(xié)議2200多項(xiàng)，落地項(xiàng)目2300多項(xiàng)，形成了10余種學(xué)會(huì)與地方、企業(yè)的合作模式。服務(wù)地方經(jīng)濟(jì)建設(shè)和企業(yè)創(chuàng)新發(fā)展轉(zhuǎn)型升級的工作成效初步顯現(xiàn)，凝聚吸引科技工作者的激勵(lì)機(jī)制初步建立，使廣大科技工作者參與創(chuàng)新創(chuàng)業(yè)的積極性、主動(dòng)性得到有效激發(fā)。

隨著創(chuàng)新驅(qū)動(dòng)助力工程的深入開展，確保項(xiàng)目實(shí)施的科學(xué)合理，提高項(xiàng)目的質(zhì)量，加強(qiáng)過程的管理，形成可推廣、可復(fù)制的工作模式等系列要求，亟需建立效果評估指標(biāo)體系，對創(chuàng)新驅(qū)動(dòng)助力工程實(shí)施情況進(jìn)行動(dòng)態(tài)監(jiān)測評估。

一、創(chuàng)新驅(qū)動(dòng)助力工程介紹

中國科協(xié)創(chuàng)新驅(qū)動(dòng)助力工程以“點(diǎn)、面、鏈”三種布局形式進(jìn)行市級、省級和先行學(xué)會(huì)三個(gè)方向的試點(diǎn)示范工作。目前，助力工程“點(diǎn)狀分布、鏈狀延伸、面狀輻射”的工作布局初步形成，服務(wù)國家重點(diǎn)戰(zhàn)略區(qū)域、重點(diǎn)產(chǎn)業(yè)領(lǐng)域的新態(tài)勢初步明確；“政府主導(dǎo)、企業(yè)主體、學(xué)會(huì)主角、專家主力”的工作機(jī)制初步建立，為地方經(jīng)濟(jì)社會(huì)發(fā)展提供科技服務(wù)和人才支撐的新渠道初步打通；規(guī)劃咨詢、成果推廣、聯(lián)合攻關(guān)、產(chǎn)業(yè)服務(wù)等工作模式逐漸成形，服務(wù)地方經(jīng)濟(jì)建設(shè)和企業(yè)創(chuàng)新發(fā)展轉(zhuǎn)型升級的工作成效初步顯現(xiàn)；凝聚吸引科技工作者的激勵(lì)機(jī)制初步建立，科協(xié)及學(xué)會(huì)的開放型、樞紐型、平臺(tái)型的作用逐步體現(xiàn)，廣大科技工作者參與創(chuàng)新創(chuàng)業(yè)的積極性、主動(dòng)性有效激發(fā)。助力工程在推進(jìn)地方科技進(jìn)步、產(chǎn)業(yè)轉(zhuǎn)型升級以及社會(huì)管理創(chuàng)新方面發(fā)揮了重要的示范作用，成為學(xué)會(huì)進(jìn)軍區(qū)域經(jīng)濟(jì)轉(zhuǎn)型升級主戰(zhàn)場的旗幟性平臺(tái)。

“點(diǎn)”狀布局工作現(xiàn)狀（地市級城市（區(qū)）——示范市）的工作重點(diǎn)相對于資金引進(jìn)、保障具體工作的實(shí)施來說更多的是組織政策。市級的相關(guān)部門根據(jù)工作的具體情況制定相應(yīng)的保障政策和鼓勵(lì)政策，在宏觀層面促進(jìn)和推動(dòng)協(xié)會(huì)與企業(yè)、企業(yè)與企業(yè)之間的技術(shù)合作和合同簽訂；從宏觀層面把控相應(yīng)的技術(shù)資金保障配備；制定相應(yīng)的人才引進(jìn)政策，通過優(yōu)惠政策為企業(yè)引進(jìn)所需的各專業(yè)人才，為科技轉(zhuǎn)化為生產(chǎn)力提供政策保障，為企業(yè)和學(xué)會(huì)增添新的技術(shù)力量，解決企業(yè)技術(shù)需求。在組織企業(yè)參展，為企業(yè)引入資金和促進(jìn)企業(yè)合作方面的作用還有待加強(qiáng)。

“面”狀布局工作現(xiàn)狀（省級、副省級科協(xié)——合作域）的工作重點(diǎn)與示范市相似，但更加偏重項(xiàng)目的落實(shí)和技術(shù)向生產(chǎn)力的轉(zhuǎn)化，促進(jìn)落實(shí)資金和項(xiàng)目的引進(jìn)，保障具體工作的實(shí)施。省級、副省級科協(xié)作為市政府和各學(xué)會(huì)學(xué)術(shù)團(tuán)體的連接紐帶，工作的重點(diǎn)放在積極組織各學(xué)會(huì)服務(wù)政府工作、組織學(xué)會(huì)和企業(yè)對接的咨詢活動(dòng)形成咨詢報(bào)告和建議、組織參與科技扶貧活動(dòng)、組織開展大型招才引智活動(dòng)、協(xié)助地方政府建設(shè)公共科教基地。

“鏈”狀布局工作現(xiàn)狀（先行學(xué)會(huì)）的工作重點(diǎn)應(yīng)放在具體工作的落實(shí)與實(shí)施上。作為創(chuàng)新助力工程的一個(gè)重要環(huán)節(jié)，先行學(xué)會(huì)在學(xué)術(shù)創(chuàng)新和技術(shù)研發(fā)等方面具有絕對的權(quán)威和優(yōu)勢，在具體的工作過程中，應(yīng)該將工作中心和精力放在積極配合政府和省科協(xié)的具體工作上，發(fā)揮最大的學(xué)術(shù)影響，為政府決策和企業(yè)技術(shù)改革創(chuàng)新做技術(shù)保障。各級學(xué)會(huì)積極協(xié)助政府工作，形成相關(guān)的咨詢報(bào)告和建議。積極與地方政府簽訂合作協(xié)議。協(xié)助地方政府建設(shè)公共科教基地，舉辦各類交流活動(dòng)和會(huì)議。開展產(chǎn)學(xué)研相關(guān)工作，走訪服務(wù)企業(yè)的工作，積極在企業(yè)進(jìn)行培訓(xùn)工作。

二、評估方法先行研究

對“APC”評估理論[1-2]、平衡計(jì)分卡理論[3]、績效評估指標(biāo)理論[4]、標(biāo)桿管理評估理論[5]、目標(biāo)管理理論[6]以及關(guān)鍵事件法[7]理論進(jìn)行綜述研究，按照各種理論的評估特點(diǎn)進(jìn)行項(xiàng)目的適宜性評價(jià)分析。

三、評估體系的基本構(gòu)建

（一）評估體系的理論應(yīng)用

對示范市、（副）省級科協(xié)和先行學(xué)會(huì)三種不同主體開展創(chuàng)新驅(qū)動(dòng)助力工程的實(shí)施效果進(jìn)行評估，選取示范市、（副）省級科協(xié)、先行學(xué)會(huì)三個(gè)層面共計(jì)83個(gè)實(shí)施主體作為研究樣本，根據(jù)“APC”評估理論、平衡計(jì)分卡理論及績效評估指標(biāo)理論等6種評估理論構(gòu)建創(chuàng)新驅(qū)動(dòng)助力工程實(shí)施效果監(jiān)測評估體系，制定本監(jiān)測評估指標(biāo)體系的原則，定性與定量相結(jié)合、質(zhì)量與數(shù)量相結(jié)合、存量與增量相結(jié)合、能力與態(tài)度相結(jié)合、統(tǒng)一與分類相結(jié)合，以及剛性指標(biāo)與柔性指標(biāo)相結(jié)合（表1）。

（二）評估體系的基本構(gòu)建方法

創(chuàng)新驅(qū)動(dòng)助力工程實(shí)施效果監(jiān)測評估體系分為基本評估體系和特色評估體系兩部分?；驹u估體系適用于所有示范試點(diǎn)主體，對其工作成果進(jìn)行差異性全面監(jiān)測評估；特色評估體系針對在基本評估指標(biāo)外，能夠提供特色工作成果材料的試點(diǎn)示范主體，對其工作成果特色創(chuàng)新性進(jìn)行專項(xiàng)評估。

1.基本評估體系構(gòu)建?；驹u估體系以基于“APC”評估理論簡化所得的“PC”部分理論與績效評估理論為理論支撐和指標(biāo)構(gòu)建基礎(chǔ)，以平衡計(jì)分卡理論為指標(biāo)構(gòu)建的具體方法，以目標(biāo)管理理論為部分定量指標(biāo)的計(jì)算方法。

針對工程實(shí)施效果評估，在問責(zé)（Accountability）、績效（Performance）和組織能力（Capacity）三類指標(biāo)中擇取績效（Performance）和組織能力（Capacity）作為評估體系的基礎(chǔ)指標(biāo)分類?？冃е笜?biāo)分財(cái)務(wù)性指標(biāo)和非財(cái)務(wù)性指標(biāo)兩項(xiàng)。財(cái)務(wù)性指標(biāo)包含全國數(shù)額、經(jīng)濟(jì)效益、長期經(jīng)濟(jì)影響三個(gè)具體指標(biāo)類型；非財(cái)務(wù)性指標(biāo)包含創(chuàng)新服務(wù)、自身成長、鏈接能力、長期戰(zhàn)略影響四個(gè)具體指標(biāo)類型。非財(cái)務(wù)性指標(biāo)中的創(chuàng)新服務(wù)和鏈接能力型指標(biāo)是工程實(shí)施評價(jià)指標(biāo)，而自身成長和長期戰(zhàn)略影響型指標(biāo)是針對工程組織評價(jià)指標(biāo)。組織能力分基本資源指標(biāo)、內(nèi)部管理能力與動(dòng)員能力指標(biāo)、外部管理能力與動(dòng)員能力指標(biāo)。

基本評估體系的構(gòu)建分別從工作成果的客觀差異性角度和主觀創(chuàng)新性角度，雙管齊下進(jìn)行具體因子指標(biāo)的權(quán)重賦值。其中，客觀差異性角度，以客觀計(jì)算結(jié)果直接作為因子層和指標(biāo)層的權(quán)重賦值；主觀創(chuàng)新性角度，專家基于專業(yè)知識(shí)對因子層進(jìn)行主觀的權(quán)重賦值。對主、客觀角度分別得出的權(quán)重結(jié)果進(jìn)行計(jì)算，綜合得出完整的基本評估指標(biāo)體系。

2.特色評估體系構(gòu)建。特色評估體系以關(guān)鍵事件法理論構(gòu)建“STAR”結(jié)構(gòu)評估問卷，對實(shí)施主體的工作成果特色創(chuàng)新性進(jìn)行專項(xiàng)評估。關(guān)鍵事件法理論中的“關(guān)鍵事件”在評估體系中相應(yīng)成為特色成果，所評估的特色“關(guān)鍵事件”，應(yīng)從基本評估體系中分離開來，避免二次記分。由于實(shí)際操作中往往難以分離，因此，特色評估體系中的“關(guān)鍵事件”一般不能為經(jīng)濟(jì)合同，而應(yīng)是在組織機(jī)構(gòu)的運(yùn)行通暢、科技的創(chuàng)新突破（包括聯(lián)系上了幫助解決科技創(chuàng)新瓶頸的企業(yè)）等方面有成效的工作內(nèi)容。

特色評估體系的問卷設(shè)計(jì)過程應(yīng)遵循關(guān)鍵事件法的“STAR”原則，即記錄關(guān)鍵事件要從四個(gè)方面來進(jìn)行：“S”是Situation（情境），記錄事件發(fā)生的情境；“T”是Target（目標(biāo)），記錄事件發(fā)生的原因和目標(biāo)；“A”是Action（行動(dòng)），記錄實(shí)施主體當(dāng)時(shí)所采取的行為；“R”是Result（結(jié)果），記錄實(shí)施主體行為所導(dǎo)致的后果。情境部分主要追溯事件發(fā)生的前提條件，即項(xiàng)目投入人員數(shù)量、質(zhì)量（和精力）、組織擁有的人脈和企業(yè)的資源數(shù)量、質(zhì)量等信息；目標(biāo)部分是理順事件的發(fā)生與實(shí)現(xiàn)項(xiàng)目目標(biāo)是否具有相關(guān)性，事件的發(fā)生對該工程績效的作用影響；行動(dòng)部分的細(xì)節(jié)記錄對項(xiàng)目效果的總體評價(jià)影響不大，可不計(jì)入；結(jié)果部分是評估的重點(diǎn)，用以評估關(guān)鍵事件的貢獻(xiàn)，即事件的直接或間接經(jīng)濟(jì)效益。

四、評估體系的應(yīng)用

（一）全國學(xué)會(huì)指標(biāo)體系方法

1.相關(guān)性分析。對現(xiàn)有40個(gè)指標(biāo)進(jìn)行雙變量相關(guān)性分析，可發(fā)現(xiàn)變量之間的相關(guān)性雖不及省市層面指標(biāo)相關(guān)度高，但多數(shù)變量仍呈現(xiàn)0.5以上相關(guān)度。部分指標(biāo)相關(guān)度較高，如媒體報(bào)道、地方舉辦各類活動(dòng)（技術(shù)交流、論壇、對接會(huì)議、展覽等）數(shù)量、組織專家人數(shù)等同樣可以進(jìn)一步進(jìn)行主成分分析和因子分析。

2.因子分析。在主成分分析的基礎(chǔ)上，將主成分的坐標(biāo)軸進(jìn)行正交旋轉(zhuǎn)，得到因子分析的結(jié)果。去除“是否將助力工程納入學(xué)會(huì)年度工作計(jì)劃”這一結(jié)果沒有差別的指標(biāo)，總共分析了39個(gè)指標(biāo)，被分解為12個(gè)因子，解釋的累積總方差為87.177。

3.以R2為主要測度方法的相關(guān)性分析指標(biāo)提煉，完成指標(biāo)的初步篩選。對學(xué)會(huì)的各個(gè)指標(biāo)進(jìn)行雙變量的相關(guān)性分析，可發(fā)現(xiàn)多數(shù)變量呈現(xiàn)顯著相關(guān)。在相關(guān)性的基礎(chǔ)上得到適用于統(tǒng)計(jì)學(xué)R2值（選取R2值，重點(diǎn)是趨勢線擬合程度的指標(biāo)，它的數(shù)值大小可以反映趨勢線的估計(jì)值與對應(yīng)的實(shí)際數(shù)據(jù)之間的擬合程度，擬合程度越高，趨勢線的可靠性就越高，R2介于0～1之間，越接近1，回歸擬合效果越好，一般認(rèn)為超過0.8的模型擬合優(yōu)度比較高[8]）算法所需要的線性相關(guān)值，得到以“2016年創(chuàng)新驅(qū)動(dòng)助力工程績效評估”專家打分（主觀測度）和“2016年全國學(xué)會(huì)指標(biāo)統(tǒng)計(jì)數(shù)據(jù)”（客觀數(shù)據(jù)）結(jié)合的線性擬合分析方法，最終選取R2得分遞減的階次數(shù)列，以完成指標(biāo)初步篩選的目的。

R2值是取值范圍在0～1之間的數(shù)值，當(dāng)趨勢線的R2值等于 1 或接近 1 時(shí)，其可靠性最高，反之則可靠性較低。R2值也稱為決定系數(shù)。在統(tǒng)計(jì)學(xué)中對變量進(jìn)行線行回歸分析，采用最小二乘法進(jìn)行參數(shù)估計(jì)時(shí)，R2為回歸平方和與總離差平方和的比值，表示總離差平方和中可以由回歸平方和解釋的比例，這一比例越大越好，模型越精確，回歸效果越顯著。

4.利用變異系數(shù)法對篩選指標(biāo)進(jìn)行賦權(quán)處理。 變異系數(shù)又稱標(biāo)準(zhǔn)差率，是衡量資料中各觀測值變異程度的另一個(gè)統(tǒng)計(jì)量。選取變異系數(shù)法的關(guān)鍵是延遞指標(biāo)系數(shù)雙變量相關(guān)性分析的主成分因子和相關(guān)差異化變量所得到的結(jié)果，利用這個(gè)結(jié)果，我們可以從中選取指標(biāo)的標(biāo)準(zhǔn)差及相對應(yīng)的平均數(shù)，不僅如此，變異系數(shù)法對線性相關(guān)和線性不相關(guān)兩方面的數(shù)據(jù)指標(biāo)的處理，都可以保證其嚴(yán)格的科學(xué)性，所以從中得到的變異系數(shù)也是我們消除單位間指標(biāo)標(biāo)準(zhǔn)率差異的關(guān)鍵。

在對學(xué)會(huì)的各個(gè)指標(biāo)進(jìn)行雙變量的相關(guān)性分析中，標(biāo)準(zhǔn)差與平均數(shù)都可以從中得到，利用它們的比值，得到變異系數(shù)，記為C.V.。變異系數(shù)可以消除單位和（或）平均數(shù)不同對兩個(gè)或多個(gè)資料變異程度比較的影響。

5.利用變異系數(shù)法總和比值得到原始賦權(quán)。得到指標(biāo)賦權(quán)的前置數(shù)據(jù)后，利用變異系數(shù)法的分項(xiàng)系數(shù)加總后除以相關(guān)系數(shù)，得到各項(xiàng)指標(biāo)的賦權(quán)值。

6.利用原始賦權(quán)進(jìn)行一次調(diào)整和二級調(diào)整（按照二級維度人工賦權(quán)調(diào)整）。利用原始賦權(quán)進(jìn)行指標(biāo)體系的一次調(diào)整，一次調(diào)整的原理簡述為：二級維度給予主觀專家賦權(quán)（與專家打分法類似），根據(jù)二級指標(biāo)的賦權(quán)調(diào)整三級指標(biāo)，調(diào)整在二級賦權(quán)定額下的三級權(quán)重，完成第一次調(diào)整。

在一次調(diào)整的基礎(chǔ)上進(jìn)行二級調(diào)整，將三級指標(biāo)權(quán)重大于7%的部分權(quán)重進(jìn)行再次調(diào)整，目的是讓指標(biāo)的離散度得以控制（三級賦權(quán)不得大于二級賦權(quán)的最大值7%，故選擇7%為最大值賦權(quán)線），而每項(xiàng)三級指標(biāo)大于7%的縮減部分，將參照R2給予的離散權(quán)重大小，有比例的分配給該二級維度中R2較大的指標(biāo)。

（二）全國學(xué)會(huì)指標(biāo)評估體系

基于以上研究及方法，創(chuàng)新驅(qū)動(dòng)助力工程—學(xué)會(huì)檢測實(shí)施評估體系框架如表2所示。

五、結(jié)束語

從全國學(xué)會(huì)的平均得分來看，在人員制度、過程執(zhí)行、資金支持、結(jié)果產(chǎn)出方面表現(xiàn)較好，需要繼續(xù)保持；在可持續(xù)性和經(jīng)濟(jì)效益方面表現(xiàn)一般，需要加強(qiáng)；在社會(huì)影響和外部資源方面建設(shè)不足，亟待改善。

在目前已有基礎(chǔ)上，動(dòng)態(tài)評估體系需要進(jìn)一步加強(qiáng)過程監(jiān)測與結(jié)果分析。第一，強(qiáng)化數(shù)據(jù)的結(jié)構(gòu)與準(zhǔn)確性，建立數(shù)據(jù)平臺(tái)。各地方試點(diǎn)和學(xué)會(huì)可直接錄入指標(biāo)數(shù)據(jù)，形成基本情況的模塊化分析，真正實(shí)現(xiàn)過程監(jiān)測、實(shí)時(shí)監(jiān)測。第二，深化動(dòng)態(tài)評估體系的內(nèi)容。評估工程不僅反饋數(shù)據(jù)化結(jié)果，還可以對各單位的工作行為及態(tài)度進(jìn)行結(jié)構(gòu)化反饋，利用關(guān)鍵事件的跟蹤，深入全面反映“創(chuàng)助工程”的實(shí)施效果。第三，優(yōu)化動(dòng)態(tài)評估體系的反饋效果。充分利用評估反饋，科協(xié)可對各單位的工作進(jìn)行有針對性的指導(dǎo)；各地區(qū)單位互相之間可以進(jìn)行比較，形成良性競爭格局，互相學(xué)習(xí)優(yōu)勢和先進(jìn)經(jīng)驗(yàn)，及時(shí)糾偏。

參考文獻(xiàn)

[1]鄧國勝.非營利組織“APC”評估理論[J].中國行政管理，2004（10）：33-37.

[2]朱志偉.APC理論在非營利組織評估中的應(yīng)用——以參加蘇州市第三屆公益創(chuàng)投的80個(gè)組織為例[D].蘇州：蘇州大學(xué)，2015.

[3]朱王奇，袁立.平衡記分卡在戰(zhàn)略性人力資源管理中的應(yīng)用[J].現(xiàn)代管理科學(xué)，2003（12）：76-78.

[4]王銳蘭，譚振亞，劉思峰.我國非營利組織績效評價(jià)與發(fā)展走向研究[J].江海學(xué)刊，2005（06）：97-102.

[5]孔杰，程寨華.標(biāo)桿管理理論述評[J].東北財(cái)經(jīng)大學(xué)學(xué)報(bào)，2004（2）：3-7.

[6]林首淑.以目標(biāo)管理為導(dǎo)向的公共組織激勵(lì)機(jī)制的建構(gòu)[J].科技管理研究，2013（4）：219-222.

[7]李芝山.關(guān)鍵事件法在員工績效管理中的規(guī)范應(yīng)用[J].中國集體經(jīng)濟(jì)，2008（22）：65-66.

[8]楊泱.回歸模型篩選準(zhǔn)則及方法比較研究[J].昆明理工大學(xué)學(xué)報(bào)（自然版），2015（3）：134-138.