社會(huì)調(diào)查在績(jī)效評(píng)價(jià)中的作用及應(yīng)用

●張 弛 劉 敏

社會(huì)調(diào)查在績(jī)效評(píng)價(jià)中的作用及應(yīng)用

●張 弛 劉 敏

績(jī)效評(píng)價(jià)的本質(zhì)是回答公共履責(zé)的程度問(wèn)題。由于公共資金來(lái)源于納稅人，納稅人的權(quán)益保障是“顧客導(dǎo)向”的法理依據(jù)，也是績(jī)效評(píng)價(jià)的根本追求。無(wú)論以哪種形式、哪個(gè)主體開(kāi)展績(jī)效評(píng)價(jià)，都是為了厘清政府、部門(mén)、社會(huì)之間的關(guān)系，最終是要回答納稅人為什么要委托政府管理、為什么要讓政府花錢、政府花錢都做了什么等問(wèn)題。因此，“顧客導(dǎo)向”原則要求一方面回答評(píng)價(jià)為誰(shuí)服務(wù)的問(wèn)題，另一方面評(píng)價(jià)也需要顧客的參與。

顧客參與績(jī)效評(píng)價(jià)，最主要的方法就是開(kāi)展社會(huì)調(diào)查，通過(guò)問(wèn)卷、訪談等方式，直接獲取顧客對(duì)公共資金的意見(jiàn)和建議，搜集評(píng)價(jià)指標(biāo)的數(shù)據(jù)，衡量滿意度，為進(jìn)一步開(kāi)展績(jī)效分析和提煉績(jī)效結(jié)論提供基礎(chǔ)數(shù)據(jù)?？梢哉f(shuō)，社會(huì)調(diào)查是績(jī)效評(píng)價(jià)獲取數(shù)據(jù)的重要方法，是對(duì)績(jī)效評(píng)價(jià)結(jié)論的有力支撐，更是財(cái)政資金為顧客服務(wù)的本質(zhì)需要。但反觀國(guó)內(nèi)績(jī)效評(píng)價(jià)的開(kāi)展現(xiàn)狀，普遍存在著對(duì)社會(huì)調(diào)查重視程度不高、抽樣不科學(xué)以及問(wèn)卷設(shè)計(jì)質(zhì)量低下等問(wèn)題，嚴(yán)重影響了績(jī)效評(píng)價(jià)結(jié)論的科學(xué)性。在此背景下，本文將通過(guò)講解社會(huì)調(diào)查在績(jī)效評(píng)價(jià)中的作用及實(shí)施方法，并對(duì)其應(yīng)用案例進(jìn)行具體解讀，以期能夠提高績(jī)效評(píng)價(jià)社會(huì)調(diào)查的質(zhì)量。

一、社會(huì)調(diào)查在績(jī)效評(píng)價(jià)中的作用

社會(huì)調(diào)查是綜合運(yùn)用歷史研究和觀察研究的方法，對(duì)社會(huì)現(xiàn)象進(jìn)行有計(jì)劃、周密、系統(tǒng)的了解，并對(duì)搜集的資料進(jìn)行分析、綜合、比較、歸納，借以發(fā)現(xiàn)存在的社會(huì)問(wèn)題，探索有關(guān)規(guī)律。通常來(lái)講，社會(huì)調(diào)查在績(jī)效評(píng)價(jià)中的作用是數(shù)據(jù)支持，使績(jī)效評(píng)價(jià)結(jié)果具有較高的可信度。這種支持主要體現(xiàn)在一些反應(yīng)受益群體的變化與感受的指標(biāo)上，由于無(wú)客觀統(tǒng)計(jì)數(shù)據(jù)可用，需要采用社會(huì)調(diào)查等手段進(jìn)行。然而，在績(jī)效評(píng)價(jià)的不同階段，社會(huì)調(diào)查所獲取信息的側(cè)重點(diǎn)有所不同，發(fā)揮的作用也有一些具體的差別。具體來(lái)說(shuō)，事前評(píng)價(jià)主要回答財(cái)政支出計(jì)劃為誰(shuí)、怎么提供以及提供多少公共服務(wù)等問(wèn)題；事中評(píng)價(jià)和事后評(píng)價(jià)則主要回答實(shí)際上公共服務(wù)提供的好壞、能否滿足或者在多大程度上滿足公共需要等問(wèn)題。

事前評(píng)價(jià)階段，社會(huì)調(diào)查的作用在于輔助考察預(yù)算項(xiàng)目的可行性、合理性。事前評(píng)價(jià)是針對(duì)項(xiàng)目立項(xiàng)管理的評(píng)價(jià)，重點(diǎn)考核預(yù)算和績(jī)效目標(biāo)的合理性及項(xiàng)目實(shí)施可行性。這一階段開(kāi)展社會(huì)調(diào)查的主要目的是為了在項(xiàng)目實(shí)施前了解項(xiàng)目實(shí)施方以及受益人對(duì)該項(xiàng)目實(shí)施的態(tài)度，特別是民生類項(xiàng)目，這些態(tài)度反映了服務(wù)對(duì)象的訴求，據(jù)此為項(xiàng)目績(jī)效目標(biāo)的可行性、合理性等提供判斷依據(jù)。例如一些政策補(bǔ)貼項(xiàng)目，在事前評(píng)價(jià)時(shí)通過(guò)社會(huì)調(diào)查來(lái)了解民眾對(duì)項(xiàng)目實(shí)施的一些意見(jiàn)建議，從而選擇發(fā)放補(bǔ)貼的合理方式，即是出于績(jī)效目標(biāo)可行性的考量。

事中評(píng)價(jià)階段，社會(huì)調(diào)查的作用在于輔助考察項(xiàng)目完成的可能性，并提出工作改進(jìn)的建議。事中評(píng)價(jià)是針對(duì)項(xiàng)目按時(shí)完成或達(dá)到預(yù)期目標(biāo)可能性的評(píng)價(jià)，其時(shí)間節(jié)點(diǎn)是項(xiàng)目正在進(jìn)行、尚未完成的時(shí)期。這一階段社會(huì)調(diào)查主要關(guān)注實(shí)施方和受益人對(duì)項(xiàng)目實(shí)施階段的意見(jiàn)和態(tài)度，通過(guò)這一調(diào)查結(jié)果結(jié)合項(xiàng)目實(shí)際執(zhí)行情況來(lái)綜合判斷是否能夠按時(shí)完成，以便及時(shí)糾偏；同時(shí)反映項(xiàng)目實(shí)施中的不足，以便在后續(xù)工作中進(jìn)行改進(jìn)。

事后評(píng)價(jià)階段，社會(huì)調(diào)查的作用在于評(píng)判項(xiàng)目的效果以及為提出相關(guān)政策建議提供參考。事后評(píng)價(jià)是針對(duì)整個(gè)項(xiàng)目的綜合績(jī)效評(píng)價(jià)，其時(shí)間節(jié)點(diǎn)是在項(xiàng)目已經(jīng)實(shí)施完畢之后。作為公共資金項(xiàng)目，尤其是民生類項(xiàng)目，受益群體滿意度是評(píng)判績(jī)效的重要因素，因此，這一階段的部分效果需通過(guò)對(duì)受益人的社會(huì)調(diào)查來(lái)實(shí)現(xiàn)，調(diào)查更偏重于滿意度調(diào)查、項(xiàng)目相關(guān)效果調(diào)查等。

以上分析表明，社會(huì)調(diào)查在績(jī)效評(píng)價(jià)的不同階段一般都會(huì)調(diào)查受益人的態(tài)度，不同的是，關(guān)注點(diǎn)有所不同，獲取相應(yīng)信息之后的用途也不一樣，但無(wú)論哪種情況，都需要社會(huì)調(diào)查所獲得的信息進(jìn)行支撐。

二、社會(huì)調(diào)查實(shí)施的要點(diǎn)

在社會(huì)調(diào)查過(guò)程中，有以下內(nèi)容應(yīng)引起特別關(guān)注：

（一）社會(huì)調(diào)查開(kāi)展的方法選取

社會(huì)調(diào)查的實(shí)施方法通常有訪談和問(wèn)卷調(diào)查，其中問(wèn)卷調(diào)查是社會(huì)調(diào)查的最主要方法，問(wèn)卷調(diào)查通過(guò)獲取受訪者的基本數(shù)據(jù)及滿意度，為下一步的指標(biāo)評(píng)分和績(jī)效分析提供基礎(chǔ)，而訪談通過(guò)與各利益相關(guān)方面對(duì)面的交流，使調(diào)查者更快更好地了解項(xiàng)目的立項(xiàng)背景、依據(jù)，項(xiàng)目開(kāi)展的客觀情況等，從而更準(zhǔn)確地開(kāi)展績(jī)效評(píng)價(jià)。

問(wèn)卷調(diào)查法的優(yōu)點(diǎn)在于它能突破時(shí)空限制，在廣闊的范圍內(nèi)對(duì)眾多調(diào)查對(duì)象同時(shí)進(jìn)行調(diào)查，其獲取的數(shù)據(jù)也便于對(duì)調(diào)查結(jié)果進(jìn)行定量研究，同時(shí)也具有匿名性。不足之處在于：一是只能獲取書(shū)面的社會(huì)信息，難以了解到生動(dòng)、具體的社會(huì)情況；二是由于問(wèn)題設(shè)置的固定性，難以做深入的定性調(diào)查；三是可能會(huì)存在受訪者敷衍、隨意作答或者受從眾心理影響而導(dǎo)致失真的情況。因此，在定量研究中通常采用問(wèn)卷調(diào)查法。

訪談法的優(yōu)點(diǎn)在于，在研究比較復(fù)雜的問(wèn)題時(shí)，由于需要向不同類型的人群了解不同類型的信息，這種方法相對(duì)合適。其區(qū)別于問(wèn)卷法的主要特點(diǎn)在于，整個(gè)訪問(wèn)過(guò)程中，訪問(wèn)者和受訪者相互影響、相互作用，是一個(gè)雙向的傳導(dǎo)過(guò)程，即一方面訪問(wèn)者通過(guò)詢問(wèn)等方式作用于受訪者，另一方面受訪者通過(guò)回答等方式反作用于訪問(wèn)者。因此，在需要通過(guò)互動(dòng)的模式了解信息的定性研究中通常采用訪談法。

（二）抽樣方法的選取與樣本量的確定

抽樣方法是一種科學(xué)完善的統(tǒng)計(jì)調(diào)查方法，科學(xué)的抽樣能夠以較低的成本獲取相對(duì)有效的數(shù)據(jù)，進(jìn)而為下一步通過(guò)樣本估計(jì)總體特征提供充分依據(jù)。主要包括概率抽樣和非概率抽樣，非概率抽樣根據(jù)研究者的主觀意向進(jìn)行抽樣，存在客觀性不足問(wèn)題，一般較少采用；概率抽樣能夠保證各樣本點(diǎn)的等概率性，是社會(huì)調(diào)查抽樣方法的首選，常見(jiàn)的概率抽樣方法包括簡(jiǎn)單隨機(jī)抽樣、系統(tǒng)抽樣、分層抽樣、整群抽樣。簡(jiǎn)單隨機(jī)抽樣主要適用于調(diào)查對(duì)象情況不明、難以分類，或總體單位之間特性差異程度較小時(shí)；分層抽樣主要適用于總體中的個(gè)體有明顯差異時(shí)；整群抽樣主要適用于總體的分群有較好的代表性，即群內(nèi)各單位的差異較大，群間差異較小時(shí)；系統(tǒng)抽樣則主要適用于樣本量較大的情況。對(duì)于樣本量的確定，以簡(jiǎn)單隨機(jī)抽樣來(lái)說(shuō)，在總體滿足正態(tài)分布的情況下，其樣本量和抽樣誤差有以下關(guān)系：

其中ε表示抽樣誤差，q(1+α)/2表示置信水平為α?xí)r標(biāo)準(zhǔn)正態(tài)分布的(1+α)/ 2分位數(shù)，σ表示總體的標(biāo)準(zhǔn)差，n表示樣本量?？梢钥闯觯绻枰刂瞥闃诱`差在一定范圍之內(nèi)，則樣本量n需要大于一個(gè)特定的值。由于誤差只按照樣本量的平方根遞減，因此，抽樣時(shí)樣本量并非越大越好，通常會(huì)受到經(jīng)濟(jì)條件的制約。另外，在實(shí)際實(shí)施中，由于總體的標(biāo)準(zhǔn)差通常難以確定，一般采用成數(shù)方差來(lái)近似計(jì)算總體的標(biāo)準(zhǔn)差，即σ≈其中，p是成數(shù)，表示總體中具有同一類型的性質(zhì)的單位占總體的比例。

（三）問(wèn)卷題目的設(shè)計(jì)必須通過(guò)信度和效度檢驗(yàn)

信度（Reliability）是指測(cè)量結(jié)果的一致性、穩(wěn)定性及可靠性，一般運(yùn)用克朗巴哈信度系數(shù)法（Cronbachα）進(jìn)行測(cè)量，其計(jì)算公式為：

其中K表示問(wèn)卷中問(wèn)題的數(shù)目，σi2為第i個(gè)問(wèn)題得分的方差，σT2為總得分的方差。通常情況下，信度系數(shù)超過(guò)0.7被認(rèn)為是問(wèn)卷?yè)碛邢喈?dāng)?shù)男哦?，信度系?shù)不高于0.7認(rèn)為信度不足。在進(jìn)行社會(huì)調(diào)查時(shí)，信度需保證在0.7以上，否則該社會(huì)調(diào)查不能反映實(shí)際情況，結(jié)果不具有可信性。

效度（Validity）用于評(píng)價(jià)量表的準(zhǔn)確度、有效性和正確性，即檢驗(yàn)問(wèn)卷是否能簡(jiǎn)潔、準(zhǔn)確地描述抽樣數(shù)據(jù)的屬性和特征以及它們之間的復(fù)雜關(guān)系。在社會(huì)調(diào)查中，通常運(yùn)用相關(guān)系數(shù)來(lái)估算滿意度問(wèn)題的信度。其計(jì)算公式為：

三、社會(huì)調(diào)查結(jié)果的應(yīng)用分析

在社會(huì)調(diào)查之后，通常還需要對(duì)社會(huì)調(diào)查獲取的原始數(shù)據(jù)進(jìn)行處理并應(yīng)用于績(jī)效評(píng)價(jià)，如受訪者滿意度的計(jì)算、相關(guān)評(píng)價(jià)指標(biāo)的評(píng)分，以及績(jī)效分析等，最終根據(jù)數(shù)據(jù)反映的情況形成績(jī)效評(píng)價(jià)結(jié)論。下面利用一個(gè)社會(huì)調(diào)查案例闡釋在事后評(píng)價(jià)中如何進(jìn)行社會(huì)調(diào)查、獲取數(shù)據(jù)，以及調(diào)查結(jié)果如何對(duì)評(píng)價(jià)結(jié)論進(jìn)行支撐。案例背景如下：

為進(jìn)一步做好城鄉(xiāng)統(tǒng)籌就業(yè)工作，A市人民政府?dāng)M通過(guò)一系列優(yōu)惠政策來(lái)強(qiáng)化就業(yè)服務(wù)與管理，努力實(shí)現(xiàn)全市城鄉(xiāng)充分就業(yè)。為此，A市共開(kāi)展了38個(gè)促進(jìn)就業(yè)類項(xiàng)目，共同促進(jìn)就業(yè)困難人員就業(yè)，現(xiàn)對(duì)這38個(gè)項(xiàng)目進(jìn)行績(jī)效評(píng)價(jià)。評(píng)價(jià)指標(biāo)包括項(xiàng)目決策類、項(xiàng)目管理類、項(xiàng)目產(chǎn)出類和項(xiàng)目效果類指標(biāo)。該項(xiàng)目屬民生類項(xiàng)目，受益人群的態(tài)度是項(xiàng)目實(shí)施效果的一個(gè)重要反映，在進(jìn)行效果類指標(biāo)評(píng)分以及績(jī)效分析時(shí)需要社會(huì)調(diào)查數(shù)據(jù)的支撐。

第一步，選擇社會(huì)調(diào)查項(xiàng)目。根據(jù)項(xiàng)目的類型或目的，排除不適合做社會(huì)調(diào)查的項(xiàng)目共16項(xiàng)，如為了提高A市人社局促進(jìn)就業(yè)工作效率的就業(yè)平臺(tái)建設(shè)項(xiàng)目，其目的是建成電子化平臺(tái)，尚無(wú)直接受益對(duì)象。其次，選取22個(gè)項(xiàng)目中的3個(gè)項(xiàng)目進(jìn)行具體說(shuō)明，分別為工資或社保補(bǔ)貼項(xiàng)目、就業(yè)培訓(xùn)項(xiàng)目、創(chuàng)業(yè)扶持及補(bǔ)貼項(xiàng)目，這3個(gè)項(xiàng)目分別代表了所有項(xiàng)目中的補(bǔ)貼類、培訓(xùn)類和促進(jìn)創(chuàng)業(yè)類，對(duì)于促進(jìn)就業(yè)資金具有較好的代表性。

第二步，確定社會(huì)調(diào)查考察的內(nèi)容。根據(jù)項(xiàng)目特點(diǎn)確定各項(xiàng)目的效果類指標(biāo)考察點(diǎn)，包括：就業(yè)困難群體就業(yè)率、就業(yè)質(zhì)量、服務(wù)對(duì)象滿意度、城鎮(zhèn)新增就業(yè)人數(shù)變化率、家庭生活水平改善情況、群眾性事件發(fā)生數(shù)等，依據(jù)項(xiàng)目不同所考察的效果指標(biāo)也不同。其中，部分指標(biāo)的數(shù)據(jù)可直接獲取，如城鎮(zhèn)新增就業(yè)人數(shù)變化率、就業(yè)困難群體就業(yè)率等，可通過(guò)A市人社局的年度工作報(bào)告中獲取數(shù)據(jù)；但部分指標(biāo)體現(xiàn)的是受益群體的變化與感受，無(wú)現(xiàn)成數(shù)據(jù)可取，如就業(yè)質(zhì)量、家庭生活水平改善情況等指標(biāo)，在此情況下，就需要進(jìn)行社會(huì)調(diào)查。確定了需調(diào)研的指標(biāo)后，下一步即針對(duì)不同指標(biāo)設(shè)置相應(yīng)的問(wèn)卷問(wèn)題，如就業(yè)培訓(xùn)項(xiàng)目中的就業(yè)質(zhì)量指標(biāo)考慮從工資水平等方面進(jìn)行。社會(huì)調(diào)查涉及的指標(biāo)及相應(yīng)問(wèn)題匯總見(jiàn)表1。

表1 社會(huì)調(diào)查指標(biāo)表

第三步，實(shí)施社會(huì)調(diào)查。首先，確定社會(huì)調(diào)查抽樣方式，總體框架根據(jù)A市人社局提供的人員花名冊(cè)確定，由于總體中的個(gè)體不具有明顯差異或固定特征，不適合分層抽樣或整群抽樣，同時(shí)考慮到實(shí)施的可行性和便利性，選擇簡(jiǎn)單隨機(jī)抽樣作為本案例的抽樣方式，即將這8萬(wàn)份名單按順序進(jìn)行編號(hào)，并采用隨機(jī)函數(shù)生成隨機(jī)數(shù)，并抽取相應(yīng)編號(hào)。其次，確定樣本量，根據(jù)前述公式，本案例將抽樣誤差控制在3%以內(nèi)，置信度95%的抽樣臨界值為1.96，由于總體信息量不足，標(biāo)準(zhǔn)差及成數(shù)方差難以計(jì)算，在成數(shù)方差最大值1/4時(shí)可計(jì)算出本案例所需的樣本量最小值為1100，從經(jīng)濟(jì)性角度考慮，以1100作為本項(xiàng)目的樣本量。最后，考慮到被調(diào)查者的分散性和實(shí)施的可行性，調(diào)查方式采用電話調(diào)查。

第四步，根據(jù)社會(huì)調(diào)查的結(jié)果進(jìn)行信度效度檢驗(yàn)，并進(jìn)一步得出績(jī)效評(píng)價(jià)結(jié)論。調(diào)查結(jié)果與問(wèn)卷的信度效度見(jiàn)表2。

表2 信度效度表

從上述信度效度表中可以看出，各問(wèn)卷的信度均在0.7以上，表明結(jié)果具有相當(dāng)?shù)目尚哦?；各?wèn)題的效度也普遍介于0.5到0.9之間，除了個(gè)別低于0.6，表明問(wèn)卷的問(wèn)題設(shè)置整體較為科學(xué)合理，與調(diào)查需求具有較強(qiáng)關(guān)聯(lián)性。其中，創(chuàng)業(yè)扶持及補(bǔ)貼項(xiàng)目考察的勞動(dòng)技能提升度和工資待遇兩項(xiàng)因素并非創(chuàng)業(yè)人員所關(guān)注的核心，扶持資金的設(shè)立也不是為了針對(duì)這兩方面進(jìn)行提升，偏低的效度實(shí)際上驗(yàn)證了這兩個(gè)問(wèn)題與總體滿意度的相關(guān)性較小，因此，在進(jìn)行創(chuàng)業(yè)扶持及補(bǔ)貼調(diào)研結(jié)果分析時(shí)應(yīng)刪去不予考慮，詳見(jiàn)表3。

表3 調(diào)查結(jié)果表

從調(diào)查結(jié)果表可以看出，總體來(lái)講，該項(xiàng)目的實(shí)施效果較好，就業(yè)困難人員的就業(yè)質(zhì)量良好，同時(shí)并未發(fā)生群體性不良事件，滿意度較高。其中，工資或社保補(bǔ)貼項(xiàng)目屬于社會(huì)維穩(wěn)類型，受益人群的滿意度相對(duì)其他項(xiàng)目較低；但同時(shí)考慮到為了避免民眾過(guò)度依靠社保而不思進(jìn)取的情況發(fā)生，不宜采用提高社保補(bǔ)貼標(biāo)準(zhǔn)的方式進(jìn)行，而應(yīng)當(dāng)在補(bǔ)貼發(fā)放過(guò)程中提高政府工作效率，縮短申請(qǐng)流程，提高工作態(tài)度等。創(chuàng)業(yè)扶持及補(bǔ)貼項(xiàng)目，根據(jù)受益人對(duì)“對(duì)創(chuàng)業(yè)是否有幫助”的反饋，達(dá)到了其目的；但該項(xiàng)目的社保繳納率較低，不利于創(chuàng)業(yè)人群今后生活的穩(wěn)定，可以考慮出臺(tái)相關(guān)配套政策，針對(duì)創(chuàng)業(yè)并繳納社保的人群給予額外補(bǔ)助。

通過(guò)上述調(diào)查結(jié)果的分析，得出事后評(píng)價(jià)的結(jié)論，并根據(jù)該結(jié)論對(duì)預(yù)算單位提出相應(yīng)的改進(jìn)建議。這種方式反映了受益者的訴求并將其納入評(píng)價(jià)體系，體現(xiàn)了社會(huì)調(diào)查數(shù)據(jù)對(duì)績(jī)效評(píng)價(jià)結(jié)論的支撐作用。■

（作者單位：上海聞?wù)芾碜稍冇邢薰荆?/p>