第三方中介績效評價滿意度指標問題及對策研究

王琰　胡鋮

摘 要： 滿意度指標是財政支出績效評價指標框架的重要組成部分，然而中介機構參與績效評價項目時，由于缺乏成熟的理論研究以及實際操作中的客觀限制，滿意度評價的結果缺乏科學性、嚴謹性。本文以筆者親身參與的若干項目為例，對當前績效評價項目執(zhí)行過程中滿意度指標評價存在的問題進行分析總結，并提出切實可行的改進方式。

關鍵詞： 績效評價；滿意度指標；中介機構

中圖分類號： F224；F812.45 文獻標識碼： A 文章編號： 2095-8153（2017）02-0059-03

一、引言

在行政學領域，滿意度主要指公共部門（政府）服務滿意度，源于營銷學的顧客滿意度但與之相區(qū)別，是公眾在對政府的行為有所體驗之后作出的內心滿意程度評價，是對公眾感知狀態(tài)的一種量化和測量[1]。財政部2013年發(fā)布的《預算績效評價共性指標體系框架》（財預[2013]53號）是截至目前在中介機構中應用最廣的官方發(fā)布績效評價項目指標體系參考，其中 “社會公眾或服務對象滿意度”指標（下文簡稱“滿意度指標”）作為共性指標體系框架的一部分，在各地相繼出臺的具有地方特色的評價實施方案中均占有一席之地。滿意度評價具有基于評價的結果導向與公眾滿意理念屬性，同時作為一項技術工具構成完成評價過程的一部分，在績效評價指標體系中的地位不可忽視。

當下在財政支出績效評價研究領域，滿意度在評價中應用的研究較少，尤其是通過實例對應用過程和對總體績效評價得分的影響研究幾乎沒有。同時滿意度指標的設計、評價存在諸多問題，其評價結果的科學性、嚴謹性不足，說服力不高。筆者基于自身參與第三方中介績效評價項目的經驗，探討績效評價項目中滿意度指標存在的問題，提出完善滿意度指標設立及應用的思路和建議，為提高中介機構開展財政支出績效評價項目執(zhí)行效果提供改進建議。

二、存在的問題

1. 滿意度測評理論體系缺失

我國目前并沒有形成一套各地認可的財政支出績效滿意度測評體系。一套科學、合理的滿意度測評體系既要有效評價財政專項資金的績效，又要貼近公眾的切身感受；既有定量的測量，也有定性的評價；既要便于績效評價，又能指導日后績效的改進[2]。

滿意度指標評價的核心是問卷調查，而問卷的核心則為其所呈列的題目。題目由項目執(zhí)行方根據自身的理解作出設計，在缺乏成熟理論的支持下，問卷題目設計主觀性較強。如出自同一中介項目組的X市城市公交補貼績效評價項目中面向社會公眾的問卷包含13個問題，而X市某公共衛(wèi)生單位部門整體支出績效評價項目面向社會公眾的問卷僅包含5個問題。

第三方中介績效評價項目評價的具體方法通常采用量化評分法，評價指標體系總分值100分，不同的指標根據項目的具體情況合理選擇分值比重。滿意度指標分數比重的大小需根據項目情況，通常由中介項目組簡單討論決定，學術研究角度目前尚未對此有成熟的理論和應用研究，缺乏科學、合理的規(guī)則指引做參考，比重的設置不夠嚴謹。

2. 問卷計分規(guī)則隨意

滿意度調查通過在問卷上羅列若干題目針對不同內容、環(huán)節(jié)的滿意度進行提問，根據被調查者選取的代表不同滿意程度的選項統(tǒng)計分數，并與標準分對比作為滿意程度計分。對各選項的計分方式不同，可能導致一份問卷得分迥異。如S市某公共衛(wèi)生單位部門整體支出績效評價項目，在對其職工的滿意度調查中某題目：“您認為XX單位崗位職責分工合理嗎？”，共收到的74份有效問卷（A選項48份，B選項24份，C選項2份）。此處選擇兩種計分方式，產生的差異如下表所示。

可見對于相同的問卷調查結果，選取不同的計分方式，會對滿意度得分率產生較大影響（本例為6.67%），且差異會隨著樣本量的增加成倍擴大。即使能夠保證滿意度調查的客觀性，計分規(guī)則的選擇可以一定程度上影響總體績效評價得分，使之存在人為控制的可能。

3. 樣本量不足，結果缺乏代表性

實際操作中，除個別大型公共服務類項目外，執(zhí)行績效評價項目的中介機構在經費、人員、時間等條件的限制下，考慮到成本效益原則，對單個績效評價項目執(zhí)行滿意度問卷調查樣本量一般僅為幾百個。當服務對象或相關社會公眾較多時，樣本量的不足意味著調查結果往往不具有代表性。如X市某垃圾處理場建設績效評價項目，該垃圾處理場承擔S市城區(qū)所有生活垃圾的填埋任務，服務對象為X市城區(qū)所有40萬市民（只考慮常駐人口），假設樣本量比例選取1%，對X市城區(qū)市民的滿意度調查應抽取樣本400 000×1%=4 000。具有統(tǒng)計學意義的樣本量在現有經費下并不具有可行性，而實際操作中選取的樣本量又不具有統(tǒng)計學意義，最終評價結果不具有說服力。

4. 調查對象的選取不夠科學

被調查者的范圍對問卷的結果的全面性存在直接影響，在前述樣本量問題的背景下，該影響可能被進一步放大。如X市某垃圾處理場建設績效評價項目，若被調查者集中為生活在垃圾處理場附近的居民，則整體滿意度得分可能偏低，若調查者離垃圾處理場較遠，則出現因市民根本不了解垃圾處理場相關情況導致有效問卷比例過低；又如X市城市路燈電費專項資金績效評價項目，大量存在被調查公眾因對“背街小巷”路燈狀況不滿而導致問卷總體滿意度偏低的情況，但實際上X市城區(qū)只有較少一部分“背街小巷”路燈屬于被評價單位履職范圍，大多數“背街小巷”路燈由社區(qū)、街道或小區(qū)負責，不屬于項目評價范圍。如此，上述兩例中問卷調查反映結果的全面性、客觀性受到較大影響。

5. 調查對象存在主觀性偏差

財政支出績效評價的被評價單位一般為行政事業(yè)單位等公共部門，在現實情況中，不是每一位被調查者都直接接受了公共部門的服務。對公眾來說，雖然結果都是受益，不過就過程來講，直接或間接感受還是會對滿意度評價產生一定的影響：間接感受會使?jié)M意度評價更趨向于感受的結果，直接感受會使?jié)M意度評價更注重感受的過程[3]。部分間接感受者甚至會拒絕調查，存在較大的抵觸心理。

同時，滿意度是一個主觀的感受過程，處于變動的狀態(tài)，并不是固定的或者說是絕對的?，F有績效評價項目幾乎都為事后評價模式，評價執(zhí)行存在一定的滯后，滿意度評價的反饋結果更多反映的是被調查者在被調查時間點的滿意度感受。

三、改進建議

1. 保證問卷質量，提高與評價指標體系的契合度

問卷內容應設計的具體，但不失簡潔；問題設計應保證專業(yè)性，但亦要考慮到被調查者的素質做到通俗易懂。同時，問卷設計應遵循評價指標體系的整體設計。根據《預算績效評價共性指標體系框架》，滿意度指標屬于一級指標“效果”的一部分。除此之外“效果”內還包含經濟效益、社會效益、生態(tài)效益等三個二級指標。調查問卷的內容設計，應充分體現評價指標體系的價值，與指標體系息息相關，尤其是要設計出客觀指標難以表達的一些內容，比如社會效益等。如S市城市路燈電費專項資金績效評價項目，由于經濟、社會、生態(tài)效益不好量化評價，在滿意度調查時使用問卷中部分題目結果支撐上述三個“效益”的評分情況；又如S市某公共衛(wèi)生單位部門整體支出績效評價項目，被評價單位日常工作產生的效益主要體現在社會效益角度，且在一級指標“產出”部分所設計指標已經全面、系統(tǒng)地反映了該單位所產生的社會效益，因此該項目“效益”部分僅設置了“滿意度評價”一個二級指標。滿意度指標雖屬于典型的主觀指標，但作為技術工具應保持與績效評價指標體系的契合度，與其中的客觀指標形成互補互證作用。

2. 科學設置滿意度指標權重

評價指標的權重賦值表示的是不同指標在整個評價結果所處的重要程度，體現為對結果的影響程度。權重大表明該指標的影響或作用大，權重小表明該指標的影響或者作用小。在權重設定時認真考慮各類方法的運用，盡量減少無依據的主觀判斷。如《湖北省財政項目資金績效評價指南》中推薦了專家會議法、德爾菲（Delphi）法、逐項對比法、DRE/DRM缺陷分析法、層次分析（AHP）法等。權重的大小需要根據該指標在整個指標體系中所處的位置以及重要性來確定，也要考慮該指標在實際操作中的可操作性及可信度的大小。

3. 改進問卷調查方案

滿意度調查對象不應僅局限于受益群體，還應包括被評價單位主觀部門、內部職工等利益相關者，以及相關領域內的專家、媒體等。如受益群體重點調查工作效率、服務態(tài)度等感受類指標，而主管部門、專家等重點調查專業(yè)性較強的技術類指標，內部職工則可二者兼有之。對各類調查對象有不同的側重點，力圖達到滿意度評價的客觀性。

對于樣本量不足或調查對象范圍不夠具有代表性的問題，建議充分利用信息技術，如使用免費問卷調查網站制作電子問卷，調查對象僅需掃描二維碼即可在手機上答題，后臺可直接導出調查結果并進行分析。如此進行執(zhí)行調查可跨越時空的限制，并且相較于現場答題，可能得到更加貼近真實滿意度評價。

4. 保持調查工作的連續(xù)性

在現實情況中，孤立的一個分數并沒有任何意義。作為一種指數，只有在橫向或者縱向等多角度、多方向的比較分析，滿意度才具有可操作的意義[2]。由于個體的千差萬別，滿意度評價結果無法進行橫向比較。為使其操作更具意義，建議對于常年性績效評價項目，如同一家中介連續(xù)對同一家項目單位執(zhí)行3年部門整體評價，相對固定滿意度指標權重、調查方案等，保持滿意度調查工作的連續(xù)性，便于進行縱向比較。

5. 嚴格控制問卷質量

調查完成后，由專業(yè)統(tǒng)計人員配合項目組對問卷進行檢查，對其質量進行判斷，剔除無效問卷。在問卷設計時加入題意相悖的題目，或對題意相似題目逆向列示滿意度選項，可較為容易進行甄別。若存在較多無效問卷，則應及時對問卷調查方案進行反思、調整，并考慮增加樣本量進行補充抽樣。

四、結語

績效評價項目中，決定滿意度指標的得分因素有很多，題目選擇、計分規(guī)則、指標權重、樣本數量、調查對象要素等任一變動，都會對滿意度評價得分造成影響，最終影響績效評價綜合得分。滿意度是一種主觀感受評價，具有模糊的特性，但在明確其內涵之后，仍然可以把它用量化的數值給表示出來，體現為具有一定的可測量性。滿意度調查設計需要各種各樣的方法與技術作為支撐，避免滿意度指標被拿來作為操縱績效評價綜合得分的工具。

[參考文獻]

[1]鄭方輝，馮健鵬. 法治政府績效評價[M].北京：新華出版社，2014：221

[2]方雪賢. 財政支出績效評價滿意度實證研究——以LED專項資金績效第三方評價為例[D].華南理工大學，2016：22.

[3]朱國瑋. 公共服務供給績效評價研究[M].北京：中國教育文化出版社，2006：121.

[4]李文彬，鄧艷利. 政府整體績效評價的公眾滿意度調查問卷設計[J].華南理工大學學報，2009（04）：39-44.