法治評估實踐的效度
——基于“余杭法治指數(shù)”的文本研究

李瑜青, 張 玲

?

法治評估實踐的效度
——基于“余杭法治指數(shù)”的文本研究

李瑜青, 張 玲

“余杭中泰垃圾焚燒廠事件”的發(fā)生撕裂了法治評估與法治現(xiàn)實，令法治評估效度成為重要問題，引起人們關(guān)注。所謂法治評估的效度，即法治評估的有效性，包括內(nèi)容效度和結(jié)果效度兩個層面。通過對指標(biāo)體系構(gòu)建、評估信息收集、評估數(shù)據(jù)處理、評估報告結(jié)論等余杭法治指數(shù)報告核心內(nèi)容的文本研究發(fā)現(xiàn)，余杭法治評估實踐存在評估的效度上事實與宣傳的背離。而這一情況是評估技術(shù)不完善、評估缺乏有效接納等內(nèi)外因共同作用下結(jié)果。

法治評估效度；余杭法治指數(shù)；余杭事件

一、“余杭中泰垃圾焚燒廠事件”與余杭法治指數(shù)

2014年5月10日，浙江余杭爆發(fā)了一次震驚中外的群體性事件——“余杭中泰垃圾焚燒廠事件”(以下簡稱“余杭事件”)，即“民眾為反對杭州市余杭區(qū)中泰鄉(xiāng)九峰村生活垃圾焚燒發(fā)電廠項目建設(shè)，封堵高速公路省道、打砸車輛等違法事件”*百度百科：余杭中泰垃圾焚燒廠事件， http://baike.baidu.com/link?url=w9JDSdlR1yGGif2-yi0EdLkk6L-roULiLUjSe3YNoxNoA7yJJsx7kwDq86nmB8EykatqXbs0C-_sxIyxKyJqLa，最后訪問日期2016年7月17日。。事件起源于2014年4月，杭州市政府面對“垃圾圍城”的難題做出了在余杭九峰村建造垃圾焚燒發(fā)電廠的項目規(guī)劃。該工程項目規(guī)劃一經(jīng)公示，民眾便因存在身體健康、環(huán)境質(zhì)量、資產(chǎn)價值等多重負面影響而采取集會等方式進行反對。隨后，政社雙方經(jīng)由聽證會、信息發(fā)布會等方式維持一定頻率的溝通，但是總體來說政府回應(yīng)緩慢滯后，民眾的擔(dān)憂與質(zhì)疑一直未得消解，最后在一根導(dǎo)火索——“政府未經(jīng)民眾認可暗自開建垃圾焚燒廠”的謠傳——的刺激下發(fā)展成了一件規(guī)模性聚集(5 000+人)、性質(zhì)惡劣的群體性事件。而在事件當(dāng)場更有部分不法分子制造傳播謠言，采取打砸車輛甚至圍毆民警等暴力方式來宣泄情緒，導(dǎo)致現(xiàn)場秩序一度混亂，直到2014年5月11日凌晨秩序才基本得以恢復(fù)。在事件的后續(xù)處理中公檢法司聯(lián)合發(fā)文懲治不法分子，官方通過大眾媒體加強政社溝通并作出“項目在沒有履行完法定程序和征得大家理解支持的情況下，一定不開工”的聲明，由此該群體性事件的危機警報才逐漸得以解除。

“余杭事件”的群體聚集性漸次消去，但隨后媒介平臺對該事件的反思報道繼續(xù)，一時間普通網(wǎng)民、評論員、學(xué)者紛紛參與該事件的討論。如《鳳凰網(wǎng)評論·自由談》欄目，以“余杭事件：鄰避思維難免 鄰避沖突可免”為題展開了專題討論。大眾網(wǎng)也有“余杭“5·10”事件分析”這樣的全視角冷靜分析。可以說，討論熱度很高、信息量很大，有的認為是民眾問題，認為民眾的暴力行為體現(xiàn)了民眾利益表達方式不理性，公民維權(quán)意識的扭曲*晏佳偉：余杭事件，請理性表達利益訴求，http://focus.cnhubei.com/original/201405/t2924365.shtml，最后訪問日期2016年7月17日。；有的認為問題在政府，地方政府未及時公開信息是該事件的導(dǎo)火索*新京報社論：“垃圾焚燒廠爭議”需要冷靜和理性http://news.ifeng.com/a/20140512/40251250_0.shtml，最后訪問日期2016年7月17日。；也有認為問題是混合的，民眾與政府之間溝通不暢，尤其是民眾缺乏對政府的信任*矯志歡：“余杭事件”背后的互信與溝通，http://www.cnepaper.com/lsrb/html/2014-05/12/content_2_2.htm，最后訪問日期2016年7月17日。。

以上三種問題分析所下的結(jié)論，其功能主要停留在提高關(guān)注度兼普及知識的層面。隨著新一輪熱點事件的發(fā)生，媒體對該事件的探討便漸入終結(jié)，但是該事件的深度反思顯然尚未完成。而對“余杭事件”的反思態(tài)度歸根到底是取決于如何定性該事件，即到底是將該事件當(dāng)成一個簡單的偶發(fā)性事件，還是余杭法治建設(shè)中的必然事件？筆者認為“余杭事件”是余杭法治的一個縮影，民眾、政府、媒體在此交鋒，是余杭法治條件下的必然產(chǎn)物，無論是發(fā)生原因還是處理過程都可用法治尺度去衡量或評價。從政府透明度、民眾守法、執(zhí)法程序規(guī)范化等法治角度予以考察不難發(fā)現(xiàn)，“余杭事件”發(fā)生前后呈現(xiàn)的確是政府信息低度透明、民眾守法意識薄弱、行政程序不規(guī)范等法治基本要求不達標(biāo)的事實，不由得令人聯(lián)想到“余杭法治指數(shù)”。

作為中國地區(qū)法治指數(shù)的首發(fā)地，余杭自2008年公布第一份余杭法治指數(shù)至2014年“余杭事件”發(fā)生，余杭已連續(xù)進行了6次法治評估。雖然在評估啟動初期余杭法治評估也曾遭受過一些質(zhì)疑，但更多是以一種發(fā)揮積極作用的形象展示給外人，并引領(lǐng)法治評估實踐在其他省市地區(qū)蓬勃興起。2007年至2012年的余杭法治指數(shù)分別為71.60、71.84、72.12、72.48、72.56、73.66。這一系列總體指數(shù)能反映當(dāng)年度法治基本狀況，給人們一個整體印象，令人一目了然。盡管起初還有人質(zhì)疑分值不高法治不理想，但課題組給出的解釋是在香港75分已是高分，所以余杭法治指數(shù)的分值充分說明余杭良好的法治狀況，從而從總體上肯定了余杭政府的法治績效。而法治指數(shù)也并非簡單的絕對值的概念，而具有相對值的意義，其突出表現(xiàn)是為進行歷年法治建設(shè)狀況的對比提供參考。逐年遞增的法治指數(shù)向公眾展示了余杭的法治狀況一直保持著上升趨勢，余杭政府在法治績效方面始終追求更好的有力證明。

法治指數(shù)所塑造的良好政府形象，為余杭獲得了上級的認可，以2010年為例，余杭司法系統(tǒng)收獲了一系列國家級榮譽255，如“全國優(yōu)秀法院”“全國先進基層檢察院”“全國司法所建設(shè)先進單位”，可見法治指數(shù)能夠助力余杭地區(qū)在全國的評比，已經(jīng)成為展現(xiàn)余杭司法水平的一項重要的象征性標(biāo)志?？梢姡ㄖ沃笖?shù)的積極效應(yīng)是非常明顯的。但是，對于法治指數(shù)明確的績效式定位，也出現(xiàn)過質(zhì)疑之聲，質(zhì)疑政府是在花錢買數(shù)字，質(zhì)疑法治指數(shù)的有效性，質(zhì)疑法治指數(shù)缺乏含金量及評估的形式化。對于這些質(zhì)疑，余杭法治指數(shù)的課題組也做過總結(jié)，諸如“沒有給出得出這一結(jié)論的證據(jù)”“對余杭法治評估的質(zhì)疑多發(fā)生在2008年上半年，此后質(zhì)疑聲減弱”，并給出了質(zhì)疑聲減弱的三點原因，包括公眾的理解、評估分值與研究文獻的公開，以及余杭法治指數(shù)具有對其他省市的導(dǎo)向意義和示范價值，從而否定了余杭的法治指數(shù)是一場“學(xué)術(shù)盛裝和政治作秀”264。

但是，“余杭事件”所暴露的法治問題，與蒸蒸日上的“法治指數(shù)”形成了鮮明的對照，不免令人再次質(zhì)疑指數(shù)的價值，以及法治評估在余杭發(fā)揮的實際作用到底有多大。經(jīng)由該事件暴露的法治問題顯然不是突然發(fā)生的，而是長久存在于體制內(nèi)的，這些問題單靠法治指數(shù)的數(shù)值是無法反映的，更不是其能夠解釋說明的。因此，應(yīng)當(dāng)通過法治指數(shù)報告這一詳細的評估結(jié)果文本來理性探討地區(qū)法治狀況。但是以發(fā)現(xiàn)問題解決問題為旨歸的法治評估，為何在連續(xù)6～7年的實施后，對一些基本的法治問題依舊束手無策。而且，類似性質(zhì)的事件在其他大力推動法治評估的地區(qū)也曾出現(xiàn)，比如湖南的賄選事件，閔行史上最貴拆遷案等案件均發(fā)生在法治評估的先行區(qū)域?？梢?，盡管法治評估在其啟動之時便自詡為“倒逼地區(qū)法治建設(shè)的手段”，然而一些突發(fā)的規(guī)模性事件卻表明評估理想與法治現(xiàn)實間是撕裂狀態(tài)。這足以警示我們在高熱度推行法治評估的同時，應(yīng)當(dāng)對法治評估的效度， 進行反省并形成清醒認識。所謂法治評估的效度，即法治評估的有效性，這里囊括兩個層面：其一是內(nèi)容效度，即所測量結(jié)果與所要考察內(nèi)容的吻合程度。其二是結(jié)果效度，即法治評估對推進地區(qū)法治建設(shè)的作用效果。而這兩個層面的效度既獨立又相互影響，前者是后者的基礎(chǔ)，后者是對前者的驗證。

我們的研究依據(jù)余杭法治評估積累的文本材料，尤其是《法治評估的實驗——余杭案例》和《中國法治指數(shù)報告(2007—2011年——余杭的實驗)兩本專著。以余杭法治指數(shù)報告為基礎(chǔ)形成的報告是值得重視的，它是當(dāng)時專業(yè)團隊所做工作的反映。但具體研究路徑上我們則是遵循社會學(xué)文獻研究方法的準(zhǔn)則，提出法治評估在其初期階段效度有限的研究假設(shè)，通過指標(biāo)體系構(gòu)建、信息采集和資料處理三個關(guān)鍵的評估操作過程的文本分析驗證法治評估的內(nèi)容效度，通過歷年法治指數(shù)報告結(jié)論部分的對比分析驗證法治評估的結(jié)果效度，最后就兩類效度的本文分析獲得結(jié)論并進行原因解析。

二、從評估操作過程看法治評估的內(nèi)容效度

盡管，我們通過法治指數(shù)評估報告結(jié)論部分的對比分析擺明了法治評估的結(jié)果效度有限的事實，但我們并非旨在否定法治評估，而是以改進法治評估為研究指向。因此，進一步的研究任務(wù)在于找到評估低效的原因。現(xiàn)有研究更多將問題歸因于評估結(jié)果缺乏接納，但筆者認為這只是結(jié)果導(dǎo)向的解析，要完整認識該問題，還需要注重過程分析。由于缺少入場的機會，本文僅借助文本材料對余杭法治指數(shù)對操作過程進行分析。筆者通過從余杭法治指數(shù)的對外宣傳資料考察，對其特點與發(fā)生邏輯可作如下三點總結(jié)：(1)余杭法治指數(shù)是量化評估的基礎(chǔ)，其構(gòu)建需要專家系統(tǒng)提供專業(yè)性的智識支撐，具體則體現(xiàn)在評估指標(biāo)的構(gòu)建、分值權(quán)重的設(shè)置、問卷設(shè)計、問卷調(diào)查與數(shù)據(jù)統(tǒng)計等一系列操作。(2)余杭法治指數(shù)從其本質(zhì)來說是一種評估工具，即“兼具激勵和約束功能的管理工具和技術(shù)手段”，不過其功能的發(fā)揮效果有待時間檢驗。(3)余杭法治指數(shù)的實施是在政治精英的總體推動下，由學(xué)術(shù)團隊精細加工、全民參與的一次地方性實驗，即所謂的“余杭實驗”是由政府牽頭、專家系統(tǒng)主導(dǎo)、政府公眾共同參與的評估實踐，而且多元主體共同參與的原則在余杭法治評估體系的構(gòu)建中便已考慮到。

不過，事實運作過程是否如其宣傳所示還有待考察，即需從指標(biāo)體系的構(gòu)建、評估信息的獲取、數(shù)據(jù)處理的方式三個方面進行評估內(nèi)部操作層面的考察。

(一)指標(biāo)體系的構(gòu)建

具體來說，余杭法治指數(shù)課題組在法治余杭評估體系框架下，從四個層面設(shè)計了一套詳細的評估指標(biāo)，即法治余杭評估總指標(biāo)、區(qū)級機關(guān)指標(biāo)、鄉(xiāng)鎮(zhèn)街道評估指標(biāo)、村鎮(zhèn)社區(qū)評估指標(biāo)。其中，總指標(biāo)依據(jù)法治余杭建設(shè)的九大面相細化為九大具體目標(biāo)：“一、推進民主政治建設(shè)，提高黨的執(zhí)政能力；二、全面推進依法行政，努力建設(shè)法治政府；三、促進司法公正，維護司法權(quán)威；四、拓展法律服務(wù)，維護社會公平；五、深化全民法制教育，增強法治意識、提升法律素養(yǎng)；六、依法規(guī)范市場秩序，促進經(jīng)濟穩(wěn)定的良性發(fā)展；七、依法加強社會建設(shè)，推進全面協(xié)調(diào)發(fā)展；八、深化平安余杭創(chuàng)建，維護社會和諧穩(wěn)定；九、健全監(jiān)督體制，提高監(jiān)督效能”，從這9項一級指標(biāo)又延伸出了26項二級指標(biāo)，77項3級指標(biāo)，且輔助了具體的考評標(biāo)準(zhǔn)(方便打分)。98-112區(qū)級機關(guān)指標(biāo)則將余杭區(qū)的機構(gòu)部分分為七大類，即黨政機關(guān)部門、經(jīng)濟管理部門、司法部門、執(zhí)法部門、社會服務(wù)部門以及公用事業(yè)部門，進而依各部門職責(zé)任務(wù)不同而分設(shè)評估指標(biāo)，明確了各被考核部門及其相應(yīng)的考核內(nèi)容，具體的考核內(nèi)容則操作化于“十一五”規(guī)劃部署、“‘三五’依法治區(qū)、‘五五’普法教育”規(guī)劃等法治余杭建設(shè)文件所規(guī)定的各項任務(wù)。鄉(xiāng)鎮(zhèn)街道層面則評估“組織制度建設(shè)、依法行政、依法管理、法制宣傳”四個方面，共31項考核內(nèi)容。村鎮(zhèn)社區(qū)評估評估“組織制度建設(shè)、民主建設(shè)、法治建設(shè)”三個方面，其中農(nóng)村社區(qū)各有25項存有差異的考核內(nèi)容。

從指標(biāo)結(jié)構(gòu)來看，余杭法治評估指標(biāo)體系實現(xiàn)了縱向指標(biāo)與橫向指標(biāo)的有機結(jié)合。橫向指標(biāo)是主要針對區(qū)級機關(guān)重點部門的職能而分設(shè)評估指標(biāo)，重在考察各部門的法治績效?？v向指標(biāo)包括總指標(biāo)、區(qū)級各職能部門的評估指標(biāo)、街鎮(zhèn)的評估指標(biāo)、村社區(qū)的評估指標(biāo)，前三項指標(biāo)主要反映政府職能履行的基本情況，而最后一項則反映基層的法治狀態(tài)。在這四級縱向結(jié)構(gòu)中，尤為值得注意的是最后一項及村社區(qū)的評估指標(biāo)。由于村委和社區(qū)居委在我國政府體制改革下已經(jīng)逐漸褪去政府職能派出機構(gòu)的頭銜，成為居民或村民自治的組織，因此對村社一級組織及基層狀態(tài)的考察不是去考察政府職能命令的執(zhí)行情況，而是看基層自治和基層民主的運轉(zhuǎn)情況。由此看來，余杭法治評估體系在系統(tǒng)性與完整性方面是典型。

再從指標(biāo)的生成過程來看，在《法治評估的實驗——余杭案例》一書中，余杭法治評估的課題組對如何設(shè)計這一系列評估指標(biāo)并沒有詳細說明，僅以“課題組為此進行了大量調(diào)查。經(jīng)過多次討論，最后形成了法治余杭評估體系?！比欢笜?biāo)的生成過程決定了指標(biāo)的質(zhì)量，如何調(diào)查怎樣討論這都是指標(biāo)真實有效的關(guān)鍵。盡管課題組強調(diào)了調(diào)查與討論，但從指標(biāo)的具體表述中我們可以發(fā)現(xiàn)，各操作性指標(biāo)均是通過轉(zhuǎn)化政府職能的表達而來的。當(dāng)然這種表述方式也有其優(yōu)勢，確保了指標(biāo)的針對性、適用性和可行性，為評估余杭法治狀況提供了操作上的便捷性。作為一份評估法治政府工作績效的指標(biāo)，這是很完善的，但作為一份評估法治整體狀況的指標(biāo)，這是有欠缺的。因為這樣一份指數(shù)框定了民眾抑或是專家評定的范圍，這個范圍本身是政府有選擇地呈現(xiàn)出來的，評估主體的參與方式盡管形式多樣，但其思維方式是受政府制度所設(shè)定的。因此，盡管有第三方的獨立評估，盡管有民眾的大量參與，盡管有專家的專業(yè)評定，仍無法避免法治評估淪為政府進行政績包裝的工具。這就解釋了為什么“余杭事件”呈現(xiàn)出來的余杭法治狀況與法治指數(shù)報告所呈現(xiàn)出來的余杭法治狀況存在差異。因為法治評估指標(biāo)的構(gòu)建是遵循政府官方話語的邏輯，而非真實的法治運作邏輯。

再對具體評估指標(biāo)進行考察發(fā)現(xiàn)，量化的指標(biāo)更偏重政府工作步驟也就是程序?qū)用?，而對民主推動下的工作實效的測量所占比例較小。以法治余杭評估總指標(biāo)為例，多以“參與比率”“達標(biāo)率”“公布率”“辦結(jié)率”“執(zhí)結(jié)率”的數(shù)值考察為主，這些“率”的確提供了評判的客觀性依據(jù)，也是量化法治評估生成法治指數(shù)的有效指標(biāo)。這些指標(biāo)反映了政府工作在量上面的成果，也說明政府工作是對程序的嚴(yán)格執(zhí)行，但是缺少對政府效能的質(zhì)的評估。以民主參與對黨委決策影響為例，參與率是一個方面，參與中公眾意見的采納情況，對決策的影響效果則是另一個方面。僅以參與率來衡量，是難以揭示“走過場”的不良情形的。作為彌補，典型調(diào)查應(yīng)成為一個可選方案，通過了解具體個案的發(fā)生、發(fā)展與結(jié)束，以彌補量化數(shù)據(jù)的信息缺陷。

(二)評估信息的獲取

余杭法治評估突破了封閉式內(nèi)部評估單一信息來源的局限，搭建來一個由普通公眾、政府系統(tǒng)的工作人員、企業(yè)家等市場主體代表、記者等媒體代表、律師等法律共同體代表，以及法學(xué)統(tǒng)計學(xué)等專家學(xué)者等多元主體共同參與的評估網(wǎng)絡(luò)。無疑這是一個綜合性的網(wǎng)絡(luò)，對構(gòu)建該綜合網(wǎng)絡(luò)的意義，課題組曾明確表示“能夠較好地降低單一評價主體的主觀性偏見帶來的評價誤差，最大程度地保證法治量化評估的客觀準(zhǔn)確性”242?？梢?，余杭法治評估的信息獲取是內(nèi)外結(jié)合的，是大眾評判與專業(yè)評價相結(jié)合的。面對多元的評估主體，課題組借鑒香港法治指數(shù)評估的數(shù)據(jù)獲取方法，將數(shù)據(jù)來源分為法律數(shù)據(jù)和調(diào)查數(shù)據(jù)314-315。

法律數(shù)據(jù)是官方統(tǒng)計的數(shù)據(jù)，具有兩大作用，其一是直接整合進評估報告，其二是作為外部評估者進行評分的參考依據(jù)。政府無疑是國內(nèi)最大的數(shù)據(jù)采集方和所有方，其所能提供的數(shù)據(jù)量也遠高于其他民間統(tǒng)計機構(gòu)，但是數(shù)據(jù)對公眾的開放是有限的，所以才需要評估機構(gòu)做專門的搜集供打分者參考。然而是否存在與紛繁復(fù)雜的評估指標(biāo)一一對應(yīng)的參考數(shù)據(jù)是值得懷疑的，這將致使打分者只能在有限的客觀數(shù)據(jù)基礎(chǔ)上進行相對主觀印象的打分，而非完全客觀中立的評分。

調(diào)查數(shù)據(jù)則主要來源于對民眾法治滿意度的主觀性認知調(diào)查，為此課題組設(shè)計了九份不同主題的民意調(diào)查問卷，包括“人民群眾對黨風(fēng)廉政建設(shè)的滿意度”“群眾對政府行政工作的認同度”“人民群眾對司法工作的滿意度”“人民群眾對權(quán)利救濟的滿意度”“人民群眾的社會法治意識程度”“群眾對市場制度規(guī)范性的滿意度”“人民群眾對監(jiān)督工作的滿意度”“群眾對民主政治參與的滿意度調(diào)查問卷”“人民群眾對安全感和治安滿意度”89-93。具體的調(diào)查方式則有實地調(diào)查、電話訪問和網(wǎng)上調(diào)查等，調(diào)查區(qū)域涉及黨政軍工農(nóng)學(xué)商等各種單位、火車站、汽車站等83。主題豐富的調(diào)查問卷確實為信息的收集奠定了扎實的基礎(chǔ)，多種調(diào)查方式也實踐著實事求是和客觀中立的原則。但是從問卷的結(jié)構(gòu)中，我們看到了一個不可忽視的問題，那就是缺乏對調(diào)查對象基本資料的搜集。調(diào)查對象的基本信息是問卷結(jié)構(gòu)中不可或缺的組成部分，通常作為社會調(diào)查中的重要自變量，缺少這一類信息，統(tǒng)計便沒有針對性。至于課題組所聲稱的克服偏見的評估也缺少有力支持的證據(jù)。若從社會調(diào)查問卷的規(guī)范上來，正如風(fēng)笑天教授所說，“如果一份資料缺少這些變量，實際上也就成了廢卷?！?/p>

此外，據(jù)課題組介紹，“余杭地區(qū)的法治狀況評估，正是通過大量定性和定量的研究才得以完成的?！?96因此，除了法律數(shù)據(jù)、調(diào)查數(shù)據(jù)等量化數(shù)據(jù)之外，質(zhì)性材料也是評估信息的重要類型。但是，從各項文本來看，我們都只能看到課題組對定量評估的絕對重視，而無定性研究理論儲備的介紹。相較于詳細的評估指標(biāo)及問卷，定性研究的方法論、問題假設(shè)、研究提綱等均未在評估經(jīng)驗總結(jié)和介紹中有所突出。而即使是給人以精確感和復(fù)雜性的數(shù)據(jù)統(tǒng)計也存在不足，尤其是缺乏現(xiàn)象間關(guān)聯(lián)的設(shè)計與揭示，哪怕是剔除特殊情形的普遍關(guān)聯(lián)。

(三)數(shù)據(jù)處理的方式

從信息處理方式來看，余杭法治評估既有單項的簡單分析，也有項與項之間的對比分析，但總體來說描述多于原因解析。余杭法治指數(shù)報告中著重分析的數(shù)據(jù)有三類，一類是民意調(diào)查結(jié)果分析，一類是內(nèi)外組評審結(jié)果分析，一類是專家組評審結(jié)果分析。(1)有關(guān)群眾滿意度問卷數(shù)據(jù)的分析，在報告中所呈現(xiàn)的是一個總體滿意度得分，即通過固定的方程式計算出人民群眾對“黨風(fēng)廉政建設(shè)、政府行政工作、司法工作、權(quán)利救濟、社會法治意識程度、市場秩序規(guī)范性、監(jiān)督工作、民主政治參與、社會治安”等九項的分值。一目了然的數(shù)值便于進行歷年的對比，但具體問題的數(shù)據(jù)并未得到細致的分析，因此群眾滿意度問卷數(shù)據(jù)的分析顯得單調(diào)蒼白。且由于缺乏單個問題間的對比，所以難以發(fā)現(xiàn)歷年差異何在。(2)有關(guān)內(nèi)外組評審結(jié)果的分析相較于民眾滿意度問卷數(shù)據(jù)的分析而言稍復(fù)雜些，不僅有組內(nèi)的縱向歷史維度的對比分析，還有組間的橫向不同評估主體意見的對比分析，且內(nèi)外組間的差異點得到了明確的揭示。不過內(nèi)外組之間的對比分析僅是簡單的數(shù)值羅列，同質(zhì)與差異所蘊含的重要含義、差異的原因同樣尚未被深挖。(3)從專家組評審得分分析來看，2009年的法治指數(shù)報告才重視這一數(shù)據(jù)的分析。課題組稱：“總之，專家組評審從專業(yè)化的角度給出法治指數(shù)，一定程度上平衡了與內(nèi)外組評分產(chǎn)生的差異，也憑借專業(yè)化水準(zhǔn)提示余杭法治建設(shè)應(yīng)努力的方向。”可見，余杭法治評估課題組對專業(yè)評估的重視，對評估水平的提升起到了關(guān)鍵的促動作用，但要警惕把差異的平衡與余杭法治的未來完全寄希望于“專家”。盡管專家可以憑借理論儲備對研究問題進行深度透視，但是專家在學(xué)術(shù)研究中積累的觀點是否符合地區(qū)法治現(xiàn)實依舊是有待驗證的。因為歸根到底，問題的呈現(xiàn)還是需要依賴社會事實，也就是說專家的評判不能脫離實踐進行理論空想，也應(yīng)當(dāng)以地區(qū)法治的特征與基本狀況為基礎(chǔ)。然而，從報告中我們發(fā)現(xiàn)前期收集的地區(qū)法治信息與專家的評審依據(jù)往往是兩張皮。

此外，面對專家意見、民眾意見、內(nèi)外組成員意見的差異點，評估課題組沒有充分的質(zhì)性材料予以差異性根源分析，對評價主體所指出的法治問題也沒有質(zhì)性材料予以詳細說明并解讀根源所在。即是說，分析的局限產(chǎn)生于數(shù)據(jù)采集的方式過于定量化，缺乏定性的資料采集。進而形成的后續(xù)反應(yīng)便是以數(shù)據(jù)分析為主的報告只能對政府工作提供就事論事的問題指導(dǎo)，評估建議難以具有長遠的戰(zhàn)略眼光。

三、從評估結(jié)論的對比分析看法治評估的結(jié)果效度

一直以來大家過多關(guān)注法治指數(shù)得分的變化，卻鮮少關(guān)注歷年評估報告的文本變化，本文以《中國法治指數(shù)報告(2007—2011年)——余杭的實驗》為基礎(chǔ)文本資料，進行評估報告的文本分析，尤其是問題和建議等評估結(jié)論部分。問題建議等結(jié)論部分是對前期所處理和分析數(shù)據(jù)的一種提煉，是評估的核心成果，體現(xiàn)了法治評估的民主性與專業(yè)性。從理論上講，法治評估若能有效推進地區(qū)法治建設(shè)，將在評估結(jié)果的問題部分有所顯示，比如問題減輕或消除。而問題的解決與評估建議的有效性又是息息相關(guān)的，建議部分的對比分析是判斷建議是否專業(yè)，是否具有操作性，能否為政府所重視的可行方式。

(一)問題的對比剖析

法治評估的出發(fā)點是為了“找問題補短板”，倒逼地區(qū)法治建設(shè)，因此問題剖析應(yīng)當(dāng)是法治指數(shù)報告中最為重要也最能體現(xiàn)評估成效的部分。簡要來說，2007年的法治指數(shù)報告集中揭露了余杭在監(jiān)督體系、司法公正、市場秩序、法治意識四個方面的問題，且在每個大問題下面又細分諸多小問題，力圖將問題闡釋清晰。2008年和2009年兩份法治指數(shù)報告則從黨委依法執(zhí)政、政府依法行政、司法公平正義、權(quán)利依法保障、市場規(guī)范有序、監(jiān)督體系健全、民主政治完善、全民素質(zhì)提升、社會平安和諧九個方面全面分析和批判了余杭法治建設(shè)中存在的問題。2010年和2011年的法治指數(shù)報告所反映的問題則顯得較為瑣碎，但焦點基本集中在監(jiān)督、司法公正、市場秩序、法治意識等方面?？梢姡瑲v年報告形式所有差異，但其大體框架還是較為一致的。下文集中選取監(jiān)督體制、司法公正、市場秩序、法治意識四項在報告中得到一貫關(guān)注的主題，對具體問題進行分類整理。

1. 監(jiān)督體制的問題。2007年的法治指數(shù)報告對這一主題的問題挖掘是最為全面的，包括“監(jiān)督體系的形式龐雜、制度繁瑣與實施效果的低下形成了鮮明反差”“懲治和預(yù)防貪污腐敗的體系不成熟不完善”“監(jiān)督體制沒有從一開始就獲得足夠的權(quán)限，權(quán)力沒有得到來自社會多元性的監(jiān)督，不可能有很高的監(jiān)督成效”“政府的責(zé)任追究和績效評估制度不盡完善”66-67。2008年的法治指數(shù)報告在監(jiān)督體系這一主題上所指出的主要問題有三項，即“行政監(jiān)督主體地位不高，缺乏監(jiān)督力度”“政府權(quán)力過大，權(quán)力運作不公開”“輿論監(jiān)督?jīng)]有發(fā)揮”159-160。2009年的法治指數(shù)報告指出監(jiān)督體系的核心問題為“監(jiān)督執(zhí)行”259。2010年的法治指數(shù)報告指出的監(jiān)督體制存在監(jiān)督效能低下、監(jiān)督意識薄弱、形式大于內(nèi)容等320問題。2011年的法治指數(shù)報告指出的問題是“內(nèi)部力量和民眾力量均不足”356。

2. 司法公正問題。2007年的法治指數(shù)報告圍繞司法權(quán)威指出了司法公正的三個問題，即外部環(huán)境不佳、法官檢察官的業(yè)務(wù)素質(zhì)和能力不過硬、人情官司后門官司等問題68。2008年的法治指數(shù)報告指出妨礙司法公正的主要問題是執(zhí)行力度不夠、行政干預(yù)以及司法工作者的素質(zhì)等153。2009年的法治指數(shù)報告指出的司法工作方面的問題是執(zhí)行難、黨政干預(yù)司法256。2010年的法治指數(shù)報告指出司法權(quán)威受挫仍舊是當(dāng)下整體所面臨的難題316。2011年的報告則簡單地用數(shù)據(jù)說明余杭司法公正權(quán)威指數(shù)的下滑，但并未真正說明原因。

3. 市場秩序問題。2007年的法治指數(shù)報告將影響市場秩序的問題直指薄弱的市場秩序誠信體系69。2008年的報告則指出了市場秩序治理中的三大問題，包括坑蒙拐騙等市場陋習(xí)、市場管理機關(guān)的運作問題，以及非誠信經(jīng)營等157-158。2009年和2010年所指出的問題則與2008年的基本一致，2011年的市場秩序得分更是降到歷年來新低。

4. 法治意識問題。2007年的法治指數(shù)報告總結(jié)“全區(qū)公眾的法治意識還比較淡漠”69。2008年的報告指出全民法治素養(yǎng)的問題有三個，即法治意識淡薄、法制教育水平落后、法治教育方式需改進163-164。2009年的報告則指出的是法制教育輻射面有限的問題。2010年的報告對此未作評論，而2011年的報告則是簡單給出了“處合理水平，但據(jù)優(yōu)秀值還有距離”357的總體評論。

經(jīng)由以上問題部分的對比分析可見，經(jīng)評估挖掘的法治問題是集中且一以貫之的，但是問題在揭示之后卻無顯著改善。具體來說：(1)監(jiān)督體制作為法治指數(shù)報告所要揭示的重點問題一直占據(jù)著報告的首位，盡管表達方式多樣，但是都圍繞著“監(jiān)督執(zhí)行難”來談；(2)司法公信力下降的問題一直有呈現(xiàn)卻從未有改善；(3)誠信等市場秩序問題一直未得到有效解決，甚至有惡化的趨勢；(4)公眾的法治意識作為地區(qū)法治的核心問題，亦未能在短期內(nèi)得到顯著提高。

(二)建議的對比剖析

對應(yīng)以上地區(qū)法治的重點問題，法治指數(shù)報告中也針對性地提出了以下建議：

1. 關(guān)于監(jiān)督體制的建議。2007年的法治指數(shù)報告提出的建議是“采取多元化監(jiān)督方式”“加強檢察機關(guān)人員的職業(yè)道德修養(yǎng)”等67。2008年的法治指數(shù)報告的建議落實到具體的制度和機制上，包括區(qū)人大、區(qū)法院、區(qū)政府聯(lián)合監(jiān)督，完善政府信息公開制度，建立健全輿論監(jiān)督機制160-161。2009年的建議進一步深化，不僅有強化監(jiān)督網(wǎng)絡(luò)、健全輿論監(jiān)督機制，還有明確監(jiān)督重點、責(zé)任監(jiān)督工作體制等259。2010年和2011年的報告均尊重群眾意見，建議加強體制內(nèi)外的監(jiān)督，提高監(jiān)督效能。

2. 關(guān)于司法公正的建議。2007年的法治指數(shù)報告針對所發(fā)現(xiàn)的問題提出了營造良好的外部氛圍、提升法官檢察官素質(zhì)等建議69。2008年提出的四點意見分別針對法院的審判和執(zhí)行工作、法官素質(zhì)的提升、杜絕黨政干預(yù)以及監(jiān)督管理的規(guī)范化154。2009年的建議是嚴(yán)守司法程序確保判決的執(zhí)行、堅持法律職業(yè)性256-257。2010年和2011年的報告僅總結(jié)群眾所提的問題，并未給出具有建設(shè)性的實質(zhì)意見。

3. 關(guān)于市場秩序的建議。2007年的法治指數(shù)報告指出為保障市場秩序，必須大力開展誠信體系建設(shè)69。2008年的報告所給出的建議較為系統(tǒng)，包括厘清政府管理部門的職責(zé)、加強對市場的引導(dǎo)和規(guī)范、借助媒體力量對公眾進行誠信教育等158。2009年的三條建議中有兩條與2008年的建議完全一致，增加的一條建議是要求完善各類法規(guī)259。2010年和2011年的報告均止于總結(jié)問題，而無針對性意見。

4. 關(guān)于法治意識的建議。2007年的法治指數(shù)報告建議首先要加強政府部門自身的法治意識，同時要通過普法教育提升群眾的法治意識，并給出了較為具體的舉措71-72。2008年的報告給出了三大建議，即著重提高領(lǐng)導(dǎo)干部的法治化管理水平、通過家庭學(xué)校單位社會多陣地聯(lián)動來深化普法教育、調(diào)動律師媒體等外部力量創(chuàng)新普法方式256-257。2009年的建議則是擴大法制宣傳輻射面，并將重點落在“權(quán)利義務(wù)對等觀念”261。2010年和2011年的法治指數(shù)報告在法治意識部分的建議與其他部分情況一樣較為弱化。

從以上四部分建議的梳理，不難看出這樣兩點：第一，2007年至2009年的法治指數(shù)報告均比較重視建議部分的內(nèi)容，并較為細化，而2010年至2011年的報告則明顯弱化了建議的地位。第二，即使在較為重視建議部分的2007年至2009年，無論是制度上的建議，還是操作層面的建議大多在重復(fù)提出。

(三)問題建議對比分析的結(jié)論

結(jié)合以上問題部分和建議部分的對比分析發(fā)現(xiàn)，我們并不能從法治指數(shù)報告中找到法治評估倒逼地區(qū)法治的有力證據(jù)，相反是相同問題的一再揭示以及建議部分的老調(diào)重彈甚至日漸虛化這類評估事實。由此可推測：(1)無論是問題的揭示與分析，還是建議部分的專業(yè)指導(dǎo)都呈現(xiàn)出分量漸輕的情況，如圖1、圖2所示，說明在法治指數(shù)評估最初兩三年間評估各方的熱情最高、投入最多，然而到第四年便開始呈現(xiàn)出疲乏姿態(tài)，評估日漸形式化。(2)問題一直存在卻未有實質(zhì)性改善，說明與余杭政府在媒體宣傳中對專業(yè)統(tǒng)計方法、科學(xué)方程式得出的法治指數(shù)數(shù)值的重視和強調(diào)形成鮮明對比的是，法治指數(shù)報告的具體內(nèi)容卻是被忽略的，問題未被重視、建議未被采納，即評估結(jié)果缺乏有效接納。(3)而前兩點又共同說明法治評估的效度是很有限的，更多停留在形式意義上，而非實質(zhì)促動，評估日漸呈現(xiàn)出“為評估而評估”的特性，評估從手段退化為了目的本身。

表1 歷年法治指數(shù)報告問題數(shù)量

表2 歷年法治指數(shù)報告建議數(shù)量

四、結(jié)論與反思

經(jīng)由以上文本分析，筆者發(fā)現(xiàn)余杭法治評估既有成功之處，可資學(xué)習(xí)和借鑒的地方包括指標(biāo)體系構(gòu)建的方法、信息采集的方法、凝聚地區(qū)法治共識等積極作用等，但亦有不足之處亟待反思和完善?，F(xiàn)就文本分析總結(jié)如下：效度有限是法治評估發(fā)展初期的事實問題，而且成因復(fù)雜。具體說來，包括內(nèi)外因共同制約下的評估深度有限和評估結(jié)果影響有限問題。

(一)評估深度有限及原因

余杭法治評估盡管有著很強的專業(yè)外衣，但整個評估主要是簡單描述式的，缺少因果關(guān)聯(lián)式的分析，最終結(jié)果是僅能部分揭示面上的問題而未能解釋問題的成因，評估深度之有限顯而易見。追問原因，這既有評估方式上的問題，也有評估條件的問題。

第一，從評估方式角度來看，課題組試圖通過量化的評估來給出科學(xué)的結(jié)論，也曾強調(diào)用定性評估予以補充，但是經(jīng)過上文的梳理可以看出，有量化卻沒有相關(guān)性(乃至因果)的分析，有質(zhì)性的信息采集技術(shù)卻沒有深入了解政府工作的具體運作邏輯。然而，真正有深度的評估需要理解政府的運作邏輯，需要理解政府治理模式與法治建設(shè)成效之間可能的因果關(guān)系。法治評估作為對法治進行全面檢視的一項機制，應(yīng)該承載其更多的職責(zé)，然而缺乏對與問題相關(guān)事件發(fā)生過程的深入探析，缺乏對政府運作邏輯的理解，是難以找出問題的癥結(jié)所在的。

第二，評估所具備的現(xiàn)有條件也難以支撐評估的徹底性。這里既有第三方評估團隊的自身條件，也有評估委托方所能提供的條件。由于法治已滲透政治經(jīng)濟社會生活的方方面面，對實踐中的法治要能夠形成全面的理解，必須借助法學(xué)、社會學(xué)、行政學(xué)、經(jīng)濟學(xué)、統(tǒng)計學(xué)等多門學(xué)科知識，因此為實現(xiàn)高質(zhì)量的評估必須配套以知識結(jié)構(gòu)比較完整的評估團隊，然而余杭法治指數(shù)的課題組成員的學(xué)科背景相對來說還是比較單一的。即使在以上外部條件均具備的條件下，我們還需要政府部門予以充分配合，才能真正達致理想的評估深度。但是從現(xiàn)有的評估途徑我們可以看到，評估方僅是對部分內(nèi)部工作人員進行量表測定或訪談，而并沒有能夠真正深入政府的日常工作中，黨政各部門并沒有對第三方評估團隊完全開放。缺乏這一開放條件，我們便無法論證話語所簡單表述出來的內(nèi)容是否與實際運作相一致，更無法了解并論證是否存在相悖之處。然而，期望完全開放也是不現(xiàn)實的，這具有難以一朝便能克服的階段性，因此在有限的空間內(nèi)，如何做到最理想的狀態(tài)，對第三方評估機構(gòu)來說的確是一大挑戰(zhàn)。

(二)評估結(jié)果影響有限及原因

從法治指數(shù)報告問題和建議部分的分析結(jié)果中我們可以獲知，課題組歷年所反映的問題相似，建議也相似，而且建議部分有越來越弱化的趨勢。可見，相較于每年向外公布且較受追捧的指數(shù)值，具有戰(zhàn)略意義的法治指數(shù)報告的實際影響力卻并不理想。

首先要質(zhì)問的是評估報告所提建議的含金量。法治指數(shù)報告并非出自實務(wù)部門，而是由具有專業(yè)權(quán)威的知識分子出具。知識分子往往以產(chǎn)出理念為己任，因此從前期的報告中我們也能看到一些具有創(chuàng)新性的制度和機制意見，這是值得肯定的。但部分建議往往給人空中樓閣之感，簡言之“看去很美好，落地很困難”。因為在法治建設(shè)過程中會出現(xiàn)的種種問題和困擾并不能由簡單的制度設(shè)計和策略創(chuàng)新就可得到解決，所出臺的具體法治舉措需要契合整個體制環(huán)境和社會環(huán)境，方能排除障礙有效推進法治建設(shè)。然而余杭的法治指數(shù)報告所提建議僅僅是依據(jù)表面問題進行的理論設(shè)想，而在問題本身尚未分析透的情況下，建議的治本性可想而知。2010年及2011年的法治指數(shù)報告更是將建議部分幾筆帶過，問題的敘述也僅是羅列被調(diào)查對象的話語，或作一兩句簡要總結(jié)，實在無法支撐評估報告發(fā)揮重大影響力。

其次要質(zhì)問的是法治評估報告的接納結(jié)果。年年反映的問題相似，年年提出的建議相似，這足以說明前期的問題及建議并未得到黨政工作系統(tǒng)的有效接納，可見評估與接納始終是兩張皮。盡管2008年和2009年的法治指數(shù)報告以評估結(jié)果對實際工作所產(chǎn)生積極的影響作為開篇，試圖跳出就評估而評估的限制，說明并促進評估與接納的有效對接，但在2010年和2011年的報告撰寫中卻并未得到延續(xù)。這也從側(cè)面補充說明了法治評估并未得到有效接納。在實踐中，法治評估結(jié)果已作為整體考核的一部分依據(jù)，但將一些問題與建議落到實處卻要受制于當(dāng)下的行政領(lǐng)導(dǎo)體制。作為其他各委辦局的平行部門，司法局沒有這樣的權(quán)力與權(quán)威直接對其他部門的下達改進意見，下級部門直接服從上級部門，各部門的工作方向是受上級部門及本部門領(lǐng)導(dǎo)決定。實踐中往往是領(lǐng)導(dǎo)或上級部門若重視，那么法治評估中所指出的問題和建議就能在本部門下一年度的工作中進行解決或落實。這樣的話，法治評估對法治工作的推進便缺乏穩(wěn)定性。因此，讓法治指數(shù)報告得到有效接納，對實際工作進行直接的推動還有很長一段路要走。需要實務(wù)界與學(xué)術(shù)界就構(gòu)建出符合現(xiàn)有體制條件的法治評估接納機制達成共識，并投入智識努力。

由此看來，法治評估初期發(fā)展階段評估效能有限的問題并不能簡單歸因，而是多方面因素共同作用下的結(jié)果。加之沒有明確的責(zé)任主體，更容易放任評估形式化的發(fā)展，因此，如何保障法治評估順利完成制度化轉(zhuǎn)型之路應(yīng)當(dāng)是下一步研究思考的重點。

[1]錢弘道.法治評估的實驗——余杭案例.北京：法律出版社，2013.

郭振綱.法治指數(shù)的出臺 政府花錢買數(shù)字？.東方早報，2008-06-19(03).

志靈. “法治指數(shù)”無法衡量所有法治現(xiàn)狀?.法制資訊，2008(4)：66.

張建.法治評估的地方實踐：動因、問題及反思.云南師范大學(xué)學(xué)報(哲學(xué)社會科學(xué)版)，2016(1)：99-105.

錢弘道.余杭法治指數(shù)的實驗. 中國司法, 2008(9):60-65.

風(fēng)笑天.社會學(xué)研究方法.北京：中國人民大學(xué)出版社，2009：176.

The Validity of the Rule of Law Evaluation Practice—Based on the Context of the Legal Index of Yuhang

Li Yuqing, Zhang Ling

The validity of the legal practice evaluation becomes an important focus through the event of Yuhang Zhongtai waste incineration plant. The validity of legal practice evaluation includes the content validity and the results validity. The research finds the deviation between the validity and expression in the legal practice evaluation in Yuhang by analysing the content of index system, information collection, date process and the conclusion of the report. The lack of effective acceptance system and other reasons lead to above problem.

legal evaluation validity; legal index of Yu hang; Yu hang Event

李瑜青，華東理工大學(xué)法學(xué)院教授，博士生導(dǎo)師，中國法律社會學(xué)專業(yè)委員會副會長；張玲，華東理工大學(xué)法學(xué)院博士研究生。

中國法學(xué)會重大研究課題“法律實施的保障機制研究” (CLS2011A04)。

D902

A

10.3969/j.issn.2095-042X.2016.05.005

2016-08-05；責(zé)任編輯:朱世龍)