公安信息化建設(shè)項(xiàng)目績(jī)效評(píng)估方法研究

高建國(guó)

引言：為推進(jìn)公安信息化建設(shè)實(shí)效，探索信息化效能評(píng)估切實(shí)可行的方法，并為今后信息化建設(shè)提供導(dǎo)向依據(jù)，論文分析了公安信息化績(jī)效評(píng)估的現(xiàn)狀，在研究相關(guān)理論基礎(chǔ)上，結(jié)合杭州公安科技管理工作的實(shí)踐與經(jīng)驗(yàn)，根據(jù)公安信息化項(xiàng)目的特點(diǎn)，提出了一種立體化的公安信息化績(jī)效評(píng)估模型。該模型融合了定性與定量的評(píng)估理論方法，并將模型應(yīng)用到公安信息化績(jī)效評(píng)估中，建立了相應(yīng)的評(píng)估指標(biāo)體系。以期對(duì)公安信息化建設(shè)起到一定的促進(jìn)作用。

進(jìn)入二十一世紀(jì)，公安工作全面跨入信息化時(shí)代，全國(guó)上下興起了一股科技強(qiáng)警的浪潮?！敖鸲芄こ獭苯ㄔO(shè)的順利完成，有力地支撐了公安中心工作，為全面實(shí)現(xiàn)公安工作信息化奠定了堅(jiān)實(shí)基礎(chǔ)。公安部、科技部相繼開(kāi)展了科技強(qiáng)警示范城市建設(shè)，將公安科技工作水平推向了新的高度，向科技要警力、向科技要戰(zhàn)斗力已經(jīng)成為一種共識(shí)。

由于信息化建設(shè)自身的復(fù)雜性和廣泛性，要建立合理而優(yōu)秀的信息系統(tǒng)并非易事。因此，在建設(shè)信息系統(tǒng)的同時(shí)，需要加強(qiáng)對(duì)信息系統(tǒng)的評(píng)估，以提高公安信息化建設(shè)的效率。而且，國(guó)家也一直要求強(qiáng)化對(duì)信息化工程項(xiàng)目的系統(tǒng)運(yùn)行效率和使用效果等情況進(jìn)行后評(píng)價(jià)。建立一個(gè)適合杭州公安當(dāng)前信息化應(yīng)用環(huán)境的信息化項(xiàng)目績(jī)效考核體系的工作已刻不容緩。但目前我國(guó)各領(lǐng)域信息化項(xiàng)目評(píng)估基本停留在宏觀(guān)層面上，深入行業(yè)的信息化評(píng)估體系研究較少。

一、研究概述

（一）研究目的

為加強(qiáng)杭州市公安局信息化項(xiàng)目的應(yīng)用管理，監(jiān)控項(xiàng)目的運(yùn)行狀況、運(yùn)行效果和發(fā)展前景，提高項(xiàng)目建設(shè)的總體效益，完善項(xiàng)目成效與項(xiàng)目規(guī)劃的耦合度。力爭(zhēng)通過(guò)評(píng)估體系的搭建，進(jìn)一步規(guī)范和引導(dǎo)項(xiàng)目申報(bào)工作的科學(xué)性和合理性，督促項(xiàng)目實(shí)施單位加強(qiáng)項(xiàng)目建設(shè)的自主管理和應(yīng)用的普及及推廣。

（二）研究思路

在研究現(xiàn)有信息化評(píng)估方法的基礎(chǔ)上，設(shè)計(jì)一個(gè)多維度立體化層次評(píng)估體系。該體系能夠結(jié)合主觀(guān)和客觀(guān)因素，并從多個(gè)角度反映系統(tǒng)的績(jī)效情況。

具體方法是采用決策論中“層次結(jié)構(gòu)分析”的思想，遵循定性分析→定量排序→評(píng)價(jià)的思路，建立如下設(shè)計(jì)流程，如圖1所示：

圖1 杭州公安信息化建設(shè)項(xiàng)目績(jī)效評(píng)估體系研究方法論

1、根據(jù)杭州公安信息化應(yīng)用的過(guò)程、對(duì)象，搜集評(píng)價(jià)素材，提出評(píng)估服務(wù)的目標(biāo)，并分析影響評(píng)估的因素。

2、分析杭州公安信息化應(yīng)用所設(shè)計(jì)的內(nèi)容和評(píng)估指標(biāo)，提出評(píng)估應(yīng)用的目標(biāo)，并分析影響評(píng)估的因素。然后根據(jù)各指標(biāo)之間的關(guān)系，確定評(píng)估層次結(jié)構(gòu)體系，建立評(píng)價(jià)模型。

3、科學(xué)地確定各評(píng)價(jià)指標(biāo)在系統(tǒng)中的相對(duì)重要性或權(quán)重，并運(yùn)算求解，研究模型中某些難以精確定量的指標(biāo)在具體應(yīng)用過(guò)程中的量化問(wèn)題，確定評(píng)估層次結(jié)構(gòu)體系。

4、根據(jù)計(jì)算的結(jié)果進(jìn)行排序，得出評(píng)價(jià)指標(biāo)的重要性排序，與實(shí)際工作進(jìn)行分析，找出差距，及時(shí)調(diào)整。

（三）研究原則

1、需求導(dǎo)向性

確定評(píng)估重點(diǎn)和相關(guān)細(xì)則時(shí)充分考慮項(xiàng)目的具體需求。

2、針對(duì)性

借鑒國(guó)內(nèi)外公安信息化評(píng)估指標(biāo)及其他行業(yè)信息化評(píng)估指標(biāo)，針對(duì)杭州公安信息化應(yīng)用的特點(diǎn)和發(fā)展情況，建立能適應(yīng)杭州公安信息化應(yīng)用水平的體系。

3、科學(xué)性

選擇科學(xué)的分析及評(píng)價(jià)方法，實(shí)現(xiàn)多維度、多層次客觀(guān)評(píng)價(jià)。

4、定量與定性相結(jié)合

雖然定量數(shù)據(jù)比定性數(shù)據(jù)更精確，可信度更高，但公安信息化應(yīng)用評(píng)估中有些指標(biāo)是無(wú)法直接統(tǒng)計(jì)的，需要用定性指標(biāo)來(lái)判斷。因此，只有將定量方法和定性方法組合起來(lái)，才能對(duì)公安信息化應(yīng)用績(jī)效進(jìn)行客觀(guān)、科學(xué)、全面的評(píng)價(jià)。

5、可操作性

指標(biāo)的選取應(yīng)該具有實(shí)用性和可行性，一是指標(biāo)要簡(jiǎn)化，方法要便捷；二是必須考慮其指標(biāo)值的測(cè)量和數(shù)據(jù)搜集工作的可行性，在確定指標(biāo)時(shí)勁量可能使用客觀(guān)指標(biāo)可行的統(tǒng)計(jì)指標(biāo)。

二、評(píng)估體系構(gòu)建

對(duì)目前杭州公安信息化應(yīng)用情況進(jìn)行深入了解和實(shí)地調(diào)研之后，基于評(píng)價(jià)指標(biāo)構(gòu)建的基本原則，依據(jù)信息化評(píng)價(jià)的相關(guān)理論基礎(chǔ)，以及專(zhuān)業(yè)知識(shí)和實(shí)際經(jīng)驗(yàn)，構(gòu)建了杭州公安信息化應(yīng)用評(píng)估體系的基本框架，并在此基礎(chǔ)之上選取了靈敏度高、代表性好、易獲取的指標(biāo)組成總的評(píng)價(jià)指標(biāo)。從而形成杭州公安信息化項(xiàng)目績(jī)效評(píng)估體系。具體如圖2所示：

圖2 杭州公安信息化項(xiàng)目績(jī)效評(píng)估體系

該評(píng)估體系包括評(píng)估主體、評(píng)估客體、評(píng)估思路、評(píng)估模型、評(píng)估流程和評(píng)估報(bào)告。首先確定評(píng)估主體和評(píng)估客體，然后在評(píng)估目標(biāo)的指導(dǎo)下，形成科學(xué)合理的評(píng)估思路，并沿著評(píng)估思路構(gòu)建評(píng)估模型。評(píng)估模型又包括評(píng)估方法、評(píng)估基準(zhǔn)、評(píng)估指標(biāo)、評(píng)估數(shù)據(jù)，遵循既定的評(píng)估流程，運(yùn)用評(píng)估模型對(duì)評(píng)估的客體進(jìn)行評(píng)估，最后得出評(píng)估結(jié)果，形成評(píng)估報(bào)告。整個(gè)評(píng)估過(guò)程不是“一次性”的項(xiàng)目，而是伴隨著信息化工作在全年動(dòng)態(tài)展開(kāi)的。在評(píng)估過(guò)程中充分運(yùn)用“戴明環(huán)”質(zhì)量管理意念，達(dá)到PDCA循環(huán)中的“監(jiān)控和評(píng)估”目的，從而實(shí)現(xiàn)對(duì)信息化項(xiàng)目全生命周期的閉環(huán)管理和自我良性循環(huán)。同時(shí)，該評(píng)估體系自身也是個(gè)“小循環(huán)”，也需要根據(jù)評(píng)估工作經(jīng)驗(yàn)總結(jié)，進(jìn)行持續(xù)改進(jìn)。

（一）評(píng)估主體與客體

評(píng)估主體是指主要接受委托施予評(píng)估的組織、個(gè)人或聯(lián)合工作組。評(píng)估客體指的是評(píng)估的對(duì)象。其中評(píng)估主體即“誰(shuí)評(píng)估”在整個(gè)公安信息化項(xiàng)目績(jī)效評(píng)估體系中尤為重要。其原因在于目前信息化績(jī)效評(píng)估在我國(guó)國(guó)情下是項(xiàng)較為敏感的工作，績(jī)效評(píng)估主體必須具備相應(yīng)權(quán)力且能夠影響被評(píng)估者的行為向評(píng)估主體期望的方向調(diào)整，這對(duì)評(píng)估工作的順利開(kāi)展和評(píng)估結(jié)果的應(yīng)用及跟蹤改進(jìn)起到很大的作用。杭州公安信息化項(xiàng)目績(jī)效評(píng)估體系評(píng)估主體與客體分別為：

1.評(píng)估主體

由市局科通局組織成立項(xiàng)目評(píng)估小組，或委托具有相應(yīng)資質(zhì)的評(píng)估機(jī)構(gòu)對(duì)項(xiàng)目進(jìn)行評(píng)估。

2.評(píng)估客體

本體系適用于投資額10萬(wàn)元及以上并通過(guò)驗(yàn)收后正式投入使用運(yùn)行半年以上的信息系統(tǒng)項(xiàng)目（只針對(duì)信息系統(tǒng)建設(shè)）。

（二）評(píng)估模型

評(píng)估模型是整個(gè)評(píng)估體系的主體部分，而評(píng)估方法、評(píng)估基準(zhǔn)、評(píng)估數(shù)據(jù)和評(píng)估指標(biāo)則是評(píng)估模型最核心的四要素。

1.評(píng)估方法

在評(píng)估中，不同的評(píng)估方法將對(duì)評(píng)估結(jié)果產(chǎn)生不同的影響。目前國(guó)內(nèi)外關(guān)于多指標(biāo)綜合評(píng)估的方法很多，根據(jù)權(quán)重確定方法的不同，這些方法大致可分為兩類(lèi)：一類(lèi)是主觀(guān)賦權(quán)法，如層次分析法、德?tīng)柗品ā⒕C合評(píng)估法等，多是采用綜合咨詢(xún)?cè)u(píng)分的定性方法，這類(lèi)方法因受到人為因素的影響，往往會(huì)夸大或降低了某些指標(biāo)的作用，致使排序的結(jié)果不能完全真實(shí)地反映事物間的現(xiàn)實(shí)關(guān)系。另一類(lèi)是客觀(guān)賦權(quán)法，即根據(jù)各指標(biāo)間的相關(guān)關(guān)系或各項(xiàng)指標(biāo)值的變異程度來(lái)確定權(quán)數(shù)，避免了人為因素帶來(lái)的偏差。如主成分分析法、因子分析法、DEA方法等。其他一些評(píng)估方法中權(quán)重確定基本上都離不開(kāi)這兩種思路。

指標(biāo)的權(quán)重是指該指標(biāo)在本層指標(biāo)中所占的相對(duì)重要程度。權(quán)重對(duì)評(píng)估結(jié)果會(huì)產(chǎn)生較大的影響，權(quán)重確立的合理性與專(zhuān)家的判斷水平直接相關(guān)。因此， 杭州公安信息化項(xiàng)目績(jī)效評(píng)估在進(jìn)行權(quán)重判定時(shí)采用：合理配置的專(zhuān)家組成結(jié)構(gòu)，包括杭州公安高、中、低層管理人員、技術(shù)人員、也有第三方專(zhuān)業(yè)機(jī)構(gòu)專(zhuān)家等，分別能夠針對(duì)各自熟悉的領(lǐng)域?qū)残畔⒒?xiàng)目績(jī)效進(jìn)行客觀(guān)準(zhǔn)確地判斷。這樣，指標(biāo)的權(quán)重才能體現(xiàn)不同類(lèi)型信息系統(tǒng)績(jī)效的特點(diǎn)，打分結(jié)果才是科學(xué)合理的。

2.評(píng)估基準(zhǔn)

杭州公安信息化項(xiàng)目績(jī)效評(píng)估基準(zhǔn)是準(zhǔn)確衡量績(jī)效的尺度，基準(zhǔn)的正確選擇對(duì)公安信息化項(xiàng)目績(jī)效評(píng)估結(jié)果具有較大影響，評(píng)估基準(zhǔn)的制訂既是公安信息化項(xiàng)目績(jī)效評(píng)估體系建立的主要環(huán)節(jié)，也是公安信息化項(xiàng)目績(jī)效評(píng)估具體工作所面臨的一個(gè)重要工作步驟。

基準(zhǔn)是正在進(jìn)行的系統(tǒng)化的方法論，用于識(shí)別、度量、比較自身在某一時(shí)期內(nèi)的工作過(guò)程或職能，或與一個(gè)或其他多個(gè)組織進(jìn)行比較，以實(shí)現(xiàn)其內(nèi)部的改善。基準(zhǔn)是績(jī)效評(píng)估的參考點(diǎn)。通過(guò)與參考點(diǎn)的對(duì)照可以認(rèn)清單位自身所處的位置，從而識(shí)別前進(jìn)的方向與目標(biāo)。根據(jù)基準(zhǔn)的參考點(diǎn)劃分為內(nèi)部基準(zhǔn)和外部基準(zhǔn)。

內(nèi)部基準(zhǔn)是指以某一時(shí)間段的績(jī)效情況作為參考點(diǎn)，反映出組織內(nèi)部的績(jī)效隨時(shí)間變化的情況。內(nèi)部基準(zhǔn)的存在前提是必須以歷史數(shù)據(jù)的存在為依據(jù)，在進(jìn)行過(guò)數(shù)據(jù)評(píng)估之后，單位可以選取自己的內(nèi)部數(shù)據(jù)作為基準(zhǔn)，進(jìn)行縱向比較與衡量。包括計(jì)劃基準(zhǔn)、經(jīng)驗(yàn)基準(zhǔn)和歷史基準(zhǔn)等。

外部基準(zhǔn)是指該單位與外部組織的運(yùn)營(yíng)績(jī)效情況進(jìn)行比較的參照物。一種是與同行業(yè)的整體最佳實(shí)踐者進(jìn)行比較，以找出差距。另一種是只瞄準(zhǔn)特殊的比照對(duì)象，進(jìn)行比較，確定該單位目前所處的行業(yè)地位，了解當(dāng)前該領(lǐng)域的最佳實(shí)踐情況，如何對(duì)照最佳實(shí)踐過(guò)程修正自身等。

要進(jìn)行公安信息化項(xiàng)目績(jī)效評(píng)估，除要建立科學(xué)、合理、規(guī)范的指標(biāo)體系外，必須要對(duì)公安信息化項(xiàng)目績(jī)效評(píng)估的基準(zhǔn)進(jìn)行總體規(guī)劃設(shè)計(jì)，研究指標(biāo)與基準(zhǔn)的對(duì)應(yīng)關(guān)系，研究不同評(píng)估客體的基準(zhǔn)選擇，通過(guò)各種渠道廣泛收集整理各種分類(lèi)基準(zhǔn)數(shù)據(jù)，在條件成熟時(shí)要研究建立績(jī)效評(píng)估基準(zhǔn)數(shù)據(jù)庫(kù)。

基準(zhǔn)并非是固定的和一成不變的，會(huì)隨著經(jīng)濟(jì)的發(fā)展和客觀(guān)環(huán)境的變化不斷變化，因此，如何建立和維護(hù)更新基準(zhǔn)庫(kù)也是一項(xiàng)非常重要的工作。一方面可以在實(shí)踐過(guò)程中根據(jù)實(shí)際情況對(duì)基準(zhǔn)庫(kù)進(jìn)行補(bǔ)充和修正；另一方面可以隨著相關(guān)行業(yè)管理要求的推出，不斷納入新的基準(zhǔn)指標(biāo)，使基準(zhǔn)庫(kù)隨著應(yīng)用的累積而逐漸成熟。

3.評(píng)估指標(biāo)

評(píng)估指標(biāo)設(shè)置

評(píng)估指標(biāo)是評(píng)估模型的骨架?？茖W(xué)建立評(píng)估指標(biāo)體系是決定評(píng)估工作成功與否的關(guān)鍵。如果評(píng)估指標(biāo)選擇不當(dāng)，或者缺少關(guān)鍵指標(biāo)，則會(huì)影響評(píng)估結(jié)論的精度，甚至給被評(píng)單位以錯(cuò)誤的導(dǎo)向信號(hào)。因此，公安信息化項(xiàng)目績(jī)效評(píng)估指標(biāo)需要基于發(fā)達(dá)國(guó)家公安信息化項(xiàng)目績(jī)效評(píng)估實(shí)踐，遵循既定的基本原則，結(jié)合委托方具體需求，科學(xué)設(shè)計(jì)評(píng)估指標(biāo)體系，并持續(xù)完善。

（1）業(yè)務(wù)需求的實(shí)現(xiàn)比例

評(píng)價(jià)項(xiàng)目建設(shè)任務(wù)完成情況，即建設(shè)應(yīng)用功能和需求規(guī)劃功能的契合度。

項(xiàng)目評(píng)估由項(xiàng)目建設(shè)實(shí)施單位（或用戶(hù)單位）對(duì)照項(xiàng)目實(shí)施前的完整業(yè)務(wù)需求和項(xiàng)目建成后的功能實(shí)現(xiàn)情況進(jìn)行自評(píng)，自評(píng)主體原則上由項(xiàng)目直接參與人員構(gòu)成，人數(shù)在3-5人之間，每人根據(jù)項(xiàng)目應(yīng)用功能的實(shí)際完成情況按百分比分別打分。

（2）用戶(hù)使用率

評(píng)價(jià)項(xiàng)目運(yùn)行后的用戶(hù)使用情況，即實(shí)際用戶(hù)數(shù)和訪(fǎng)問(wèn)量與規(guī)劃情況的對(duì)比。

項(xiàng)目立項(xiàng)前，申報(bào)單位須申報(bào)項(xiàng)目實(shí)施后的“用戶(hù)對(duì)象”和“潛在用戶(hù)數(shù)”。項(xiàng)目評(píng)價(jià)時(shí)由根據(jù)系統(tǒng)“實(shí)際用戶(hù)數(shù)”與潛在用戶(hù)數(shù)之商確定。

（3）解決具體問(wèn)題的時(shí)效

評(píng)價(jià)項(xiàng)目運(yùn)行在公安工作中產(chǎn)生了的實(shí)際效益。

項(xiàng)目評(píng)價(jià)由第三方根據(jù)項(xiàng)目實(shí)施單位（或用戶(hù)單位）在評(píng)價(jià)時(shí)上報(bào)的應(yīng)用成效案例，綜合數(shù)量和質(zhì)量?jī)煞矫娴那闆r，邀請(qǐng)3-5名應(yīng)用對(duì)象對(duì)綜合成效分別進(jìn)行百分比評(píng)價(jià)。

（4）用戶(hù)綜合評(píng)價(jià)

評(píng)價(jià)用戶(hù)對(duì)項(xiàng)目的認(rèn)可度。

項(xiàng)目評(píng)估由第三方從“潛在用戶(hù)群”中隨機(jī)選擇5-10名用戶(hù)，采用電話(huà)采訪(fǎng)的形式，由受訪(fǎng)用戶(hù)對(duì)項(xiàng)目認(rèn)可度分別進(jìn)行百分比評(píng)價(jià)。

（5）異常因素情況

評(píng)價(jià)項(xiàng)目能夠?qū)嵤┑耐獠凯h(huán)境。即是否存在著因需求研究不充分、技術(shù)架構(gòu)不合理以及與上級(jí)精神不相符等因素導(dǎo)致項(xiàng)目無(wú)法繼續(xù)推進(jìn)開(kāi)發(fā)或無(wú)法部署應(yīng)用的情況。

本項(xiàng)內(nèi)容對(duì)項(xiàng)目評(píng)估結(jié)果具有一票否決權(quán)，即如存在上述情況，可認(rèn)定項(xiàng)目評(píng)價(jià)結(jié)果為不合格。

指標(biāo)權(quán)重設(shè)定

指標(biāo)權(quán)重的確定辦法

使用調(diào)查表格，擬邀請(qǐng)20位專(zhuān)家對(duì)3個(gè)一級(jí)指標(biāo)的相對(duì)重要性及其以下8個(gè)二級(jí)指標(biāo)、n個(gè)三級(jí)指標(biāo)的重要性進(jìn)行判斷，調(diào)查結(jié)果收集回來(lái)后，首先采用層次分析法求出每個(gè)專(zhuān)家給3個(gè)一級(jí)指標(biāo)的權(quán)重，再進(jìn)行算術(shù)平均來(lái)確定3個(gè)一級(jí)指標(biāo)的最后權(quán)重。具體操作步驟如下：

用層次分析法求解單個(gè)專(zhuān)家所賦的權(quán)重

（1）建立判斷矩陣

由20專(zhuān)家對(duì)3個(gè)一級(jí)指標(biāo)的相對(duì)重要性進(jìn)行兩兩比較，用判斷尺度進(jìn)行判斷，以確定矩陣元素。判斷尺度的定義見(jiàn)下表

表1 判斷尺度定義表

判斷尺度 定義

1 Ci與Cj的影響相同

3 Ci比Cj影響稍強(qiáng)

5 Ci比Cj影響強(qiáng)

7 Ci比Cj影響明顯地強(qiáng)

9 Ci比Cj影響絕對(duì)地強(qiáng)

2，4，6，8 Ci與Cj的影響之比在上述兩相鄰等級(jí)之間

1，1/2…1/9 Ci與Cj的影響之比為上述aij的相反數(shù)

（2）填寫(xiě)判斷表并統(tǒng)計(jì)結(jié)果

20位專(zhuān)家按上表的判斷尺度填寫(xiě)判斷表，得到20份如下表所示的權(quán)值因子判斷表。

表2 權(quán)值因子判斷表

序號(hào) 評(píng) 價(jià)

指 標(biāo) 評(píng) 價(jià) 指 標(biāo)

指標(biāo)⑴ 指標(biāo)⑵ 指標(biāo)⑶ … 指標(biāo)（j） … 指標(biāo)（n）

1 指標(biāo)⑴ 1 a12 a13 … a1 j … a1n

2 指標(biāo)⑵ a21 1 a23 … a2j … a2n

3 指標(biāo)⑶ a31 a32 1 … a3j … a3n

… … … … … … … … …

I 指標(biāo)（i） ai 1 ai 2 ai 3 … 1 … ai n

… … … … … … … 1 …

N 指標(biāo)（n） an1 an2 an3 … an j … 1

將每位專(zhuān)家給出的判斷表按1-9標(biāo)度建立正互反判斷矩陣如下，

由線(xiàn)性代數(shù)“根法”計(jì)算出判斷矩陣的特征向量，即

（3）確定評(píng)估權(quán)重集： ，其中 由公式2決定且有

（4）一致性檢驗(yàn)

因?yàn)楣灿?個(gè)一級(jí)指標(biāo)，所以必須進(jìn)行一致性檢驗(yàn)，且因?yàn)閚=3，由下表可知，R.I.=0.58。

表3 R.I.表

N 2 3 4 5 6 7 8 9

R.I. 0.00 0.58 0.90 1.12 1.24 1.32 1.41 1.45

根據(jù)判斷矩陣的一致性檢驗(yàn)方法，一致性指標(biāo)為C.I.且C.I.越小，則說(shuō)明一致性越大。由于一致偏離可由隨機(jī)因素引起，所以在檢驗(yàn)判斷矩陣的一致性時(shí)，將C.I與平均隨機(jī)一致性指標(biāo)R.I.進(jìn)行比較，得出檢驗(yàn)數(shù)C.R即：

由公式（4-4）、公式（4-5）可求出C.I.的值，代入公式（4-3）即可知其C.R.之值，本方案中20位專(zhuān)家給出的判斷矩陣，需要檢驗(yàn)其C.R.以判斷矩陣的一致性，評(píng)估結(jié)果是否可靠。

確定各個(gè)指標(biāo)的最終權(quán)重

應(yīng)用層次分析法求出每位專(zhuān)家給3個(gè)一級(jí)指標(biāo)所賦的權(quán)重后，將其結(jié)果代入下表進(jìn)行綜合平均。

表4 專(zhuān)家打分法確定權(quán)重

表中bij表示第j位專(zhuān)家對(duì)第i項(xiàng)指標(biāo)的權(quán)重賦值（已經(jīng)通過(guò)層次分析法得出），ai為第i項(xiàng)指標(biāo)的最后權(quán)重，且本方案中n=3，m=20。

經(jīng)過(guò)計(jì)算，最終得出3個(gè)一級(jí)指標(biāo)的權(quán)重集為：

A=（a1，a2，a3）

二級(jí)及以下級(jí)別指標(biāo)及其權(quán)重的確定

（1）為了分析的方便，對(duì)二級(jí)指標(biāo)的確定過(guò)程進(jìn)行一般性描述，在下列分析過(guò)程中我們采用指標(biāo)1、指標(biāo)2、指標(biāo)n的形式來(lái)代表某個(gè)一級(jí)指標(biāo)下的n個(gè)二級(jí)指標(biāo)，并假設(shè)專(zhuān)家數(shù)為m位，對(duì)m位專(zhuān)家打分的結(jié)果進(jìn)行數(shù)學(xué)分析后即可確定某個(gè)一級(jí)指標(biāo)下二級(jí)指標(biāo)的最終個(gè)數(shù)（注：剔除重要性較低、專(zhuān)家意見(jiàn)不一致較嚴(yán)重的指標(biāo)，一般可以用于二級(jí)指標(biāo)及以下級(jí)別的具體指標(biāo)項(xiàng)的抽取確定）。具體過(guò)程如下：

在確定二級(jí)指標(biāo)時(shí)，使用如下調(diào)查表：

表5 調(diào)查結(jié)果M位專(zhuān)家的原始打分結(jié)果綜合表

指 標(biāo) 專(zhuān)家打分結(jié)果

1 2 3 4 ┅ m-1 m

指標(biāo)1 B11 b12 b13 b14 ┅ b1m-1 b1 m

指標(biāo)2 B21 b22 b23 b24 ┅ b2 m -1 b2 m

指標(biāo)3 B31 b32 b33 b34 ┅ b3 m -1 b3 m

指標(biāo)4 B41 b42 b43 b44 ┅ b4 m -1 b4 m

┅ ┅ ┅ ┅ ┅ ┅ ┅ ┅

指標(biāo)N-1 bN-11 bN-12 bN-13 b N-14 ┅ bN-1 m -1 bN-1 m

指標(biāo)N bN1 bN2 bN3 bN4 ┅ bN m -1 bN m

表6 調(diào)查結(jié)果進(jìn)行總體均值和總體方差統(tǒng)計(jì)分析表

指 標(biāo) 總體均值 總體標(biāo)準(zhǔn)差 重要性排序

指標(biāo)1 ?1 δ1 1

指標(biāo)2 ?2 δ2 2

指標(biāo)3 ?3 δ3 3

指標(biāo)4 ?4 δ4 4

┅ ┅ ┅ ┅

指標(biāo)N—1 ?N-1 δN-1 N-1

指標(biāo)N ?N δN N

在處理過(guò)程中將均值位于最后幾位且總體標(biāo)準(zhǔn)差明顯高于其它幾個(gè)指標(biāo)的指標(biāo)在最后的統(tǒng)計(jì)分析過(guò)程中剔除，而選擇均值較高、總體標(biāo)準(zhǔn)差較低的指標(biāo)作為最后確定的指標(biāo)。因?yàn)榫蹈叩驼f(shuō)明了專(zhuān)家們認(rèn)為它們的重要性大小，而總體標(biāo)準(zhǔn)差大小則表明專(zhuān)家們對(duì)它們重要與否的意見(jiàn)統(tǒng)一程度，是否存在較大的差異。在實(shí)際應(yīng)用中，按上述方法可以剔除掉評(píng)估指標(biāo)體系中的部分二級(jí)指標(biāo)。

在確定二級(jí)指標(biāo)后，進(jìn)行第二次調(diào)查，請(qǐng)20位專(zhuān)家直接給確定后的二級(jí)指標(biāo)的權(quán)重賦值，然后將打分結(jié)果代入表5處理后得出3類(lèi)二級(jí)指標(biāo)的權(quán)重集：

A1=（A11，A12）

A2=（A21，A22，A23，A24，A25）

A3=（A31）

三級(jí)指標(biāo)的確定過(guò)程與以上過(guò)程相同，。

A11=（A111，A112，A113，A114）

A12=（A121，A122，A123，A124，……）

A31=（A311，A312，A313）

指標(biāo)權(quán)重確定的專(zhuān)家選擇

在確定指標(biāo)體系的構(gòu)成及其權(quán)重的分配時(shí)采用專(zhuān)家打分法（德?tīng)柗品ǎ┖蛯哟畏治龇ǎˋHP法），這兩種方法本質(zhì)上仍然屬于主觀(guān)賦權(quán)法，存在著主觀(guān)賦權(quán)法所固有的缺點(diǎn)。

本辦法中擬選擇邀請(qǐng)20位專(zhuān)家，在實(shí)際的有針對(duì)性的具體指標(biāo)權(quán)重確定過(guò)程中，可以在更高層次上選擇更權(quán)威、更有代表性、更多的專(zhuān)家來(lái)確定相關(guān)指標(biāo)及其權(quán)重，從而使該指標(biāo)體系更加趨于合理。

（三）評(píng)估數(shù)據(jù)

評(píng)估數(shù)據(jù)是評(píng)估結(jié)果產(chǎn)生的源泉，有了評(píng)估數(shù)據(jù)才使得評(píng)估變得有意義。數(shù)據(jù)分為定量數(shù)據(jù)和定性數(shù)據(jù)兩種，在應(yīng)用評(píng)估模型時(shí)通常要對(duì)數(shù)據(jù)進(jìn)行科學(xué)處理。

1.定性指標(biāo)的處理

定性數(shù)據(jù)的處理通常采用調(diào)查問(wèn)卷法及實(shí)地檢查等方法。為避免主觀(guān)判斷引起的失誤，增加定性指標(biāo)的準(zhǔn)確性，可以采用隸屬度賦值方法，將定性指標(biāo)分成幾個(gè)檔次，分別對(duì)應(yīng)相應(yīng)分值。對(duì)于每一檔次的評(píng)分，制定評(píng)分依據(jù)。評(píng)分依據(jù)是進(jìn)行客觀(guān)評(píng)估的約束條件，能夠在一定程度上克服單純主觀(guān)評(píng)估的缺陷，使得評(píng)估人員在評(píng)分時(shí)具有一定的參考標(biāo)準(zhǔn)。

2.定量指標(biāo)的處理

定量指標(biāo)的數(shù)據(jù)值按照指標(biāo)釋義和各單位具體情況進(jìn)行收集。由于各項(xiàng)定量指標(biāo)的內(nèi)容、量綱各不相同，直接綜合在一起十分困難。因此，需要將這些指標(biāo)進(jìn)行無(wú)量綱處理，將定量指標(biāo)原值轉(zhuǎn)化為評(píng)估值。

（四）評(píng)估報(bào)告和結(jié)果運(yùn)用

在杭州公安信息化項(xiàng)目績(jī)效評(píng)估工作完成后，應(yīng)該形成評(píng)估報(bào)告。評(píng)估報(bào)告是由評(píng)估工作組完成全部評(píng)估工作后，對(duì)公安信息化項(xiàng)目績(jī)效狀況和業(yè)務(wù)目標(biāo)實(shí)現(xiàn)情況等進(jìn)行對(duì)比分析，客觀(guān)判斷形成的綜合結(jié)論的文本文件。

評(píng)估報(bào)告一般由正文和附錄兩部分組成。報(bào)告正文的主要內(nèi)容包括基本情況描述、主要各項(xiàng)績(jī)效指標(biāo)對(duì)比分析、評(píng)估結(jié)論、發(fā)展趨勢(shì)預(yù)測(cè)、評(píng)估依據(jù)和評(píng)估方法等。報(bào)告附錄包括有關(guān)評(píng)估工作的基礎(chǔ)文件和數(shù)據(jù)資料。評(píng)估報(bào)告要維護(hù)被評(píng)估單位的正當(dāng)業(yè)務(wù)秘密。

評(píng)估結(jié)果應(yīng)該反饋給決策部門(mén)和被評(píng)單位，作為公安信息化項(xiàng)目投資決策、管理改善和績(jī)效監(jiān)管的參考依據(jù)。同時(shí)也可為其他相關(guān)單位提供信息咨詢(xún)和管理參考。

三、評(píng)估體系研究成果

經(jīng)上述研究后，得出如下表所示績(jī)效評(píng)估辦法：

表7 杭州公安信息化建設(shè)項(xiàng)目績(jī)效評(píng)估辦法

一級(jí)

指標(biāo) 二級(jí)

指標(biāo) 評(píng)價(jià)內(nèi)容 評(píng)價(jià)方法 評(píng)價(jià)標(biāo)準(zhǔn) 被評(píng)價(jià)單位需提供材料 評(píng)價(jià)獲取信息 分值

業(yè)務(wù)需求實(shí)現(xiàn)比例（20%） 需求設(shè)定情況 項(xiàng)目立項(xiàng)文件與項(xiàng)目合同關(guān)于需求設(shè)定的一致性 核對(duì)立項(xiàng)文件與項(xiàng)目合同關(guān)于需求描述是否一致，如存在不一致則需提供具體情況說(shuō)明或者相應(yīng)變更記錄 建設(shè)需求一致得滿(mǎn)分，如不一致則根據(jù)提供的需求變更文檔材料酌情打分 立項(xiàng)文件（項(xiàng)目建議書(shū)、可研報(bào)告、立項(xiàng)批復(fù)文件）、招投標(biāo)文件、合同 10

目標(biāo)完成率 目標(biāo)完成率=目標(biāo)實(shí)際完成的功能模塊數(shù)/預(yù)定完成的功能模塊數(shù)*100%。 目標(biāo)實(shí)際完成的功能模塊數(shù)和預(yù)定完成的功能模塊數(shù)根據(jù)項(xiàng)目的驗(yàn)收?qǐng)?bào)告及合同的建設(shè)目標(biāo)來(lái)確定 全部完成得滿(mǎn)分，完成率≥90%得8分，90%≥完成率≥80%得6分，80%≥完成率≥70%得4分，完成率≤70%不得分 項(xiàng)目合同、驗(yàn)收?qǐng)?bào)告 系統(tǒng)功能模塊實(shí)際建設(shè)數(shù)量 10

用戶(hù)使用率

（30%） 系統(tǒng)開(kāi)戶(hù)比例 評(píng)價(jià)系統(tǒng)實(shí)際開(kāi)戶(hù)情況 開(kāi)戶(hù)率=開(kāi)戶(hù)數(shù)/目標(biāo)用戶(hù)數(shù) 開(kāi)戶(hù)率≥90%得滿(mǎn)分，90%≥開(kāi)戶(hù)率≥70%得3分，70%≥開(kāi)戶(hù)率≥60%得1分，開(kāi)戶(hù)率≤60%不得分 目標(biāo)用戶(hù)數(shù)量 實(shí)際開(kāi)戶(hù)數(shù)量 5

系統(tǒng)登陸率 評(píng)價(jià)系統(tǒng)用戶(hù)登陸情況 系統(tǒng)登陸率=實(shí)際登陸人數(shù)/賦予用戶(hù)權(quán)限的人數(shù) 登陸率≥90%得滿(mǎn)分，90%≥登陸率≥70%得3分，70%≥登陸率≥60%得1分，登陸率≤60%不得分 注冊(cè)用戶(hù)數(shù)量、登錄次數(shù)大于0的用戶(hù)數(shù)量 5

目標(biāo)對(duì)象活躍率 評(píng)價(jià)系統(tǒng)活躍用戶(hù)的比例 活躍率=活躍用戶(hù)數(shù)（按登陸次數(shù)）/注冊(cè)用戶(hù)數(shù) 活躍率≥90%得滿(mǎn)分，90%≥活躍率≥70%得6分，70%≥活躍率≥60%得2分，活躍率≤60%不得分 注冊(cè)用戶(hù)數(shù)量、活躍用戶(hù)數(shù)量（活躍用戶(hù)按登陸次數(shù)統(tǒng)計(jì)劃分，由各信息系統(tǒng)業(yè)務(wù)特征定義） 10

系統(tǒng)登錄頻率 評(píng)價(jià)系統(tǒng)人均登陸頻率 登錄頻率=登錄次數(shù)/（單位時(shí)間*注冊(cè)用戶(hù)數(shù)） 具體登陸頻率根據(jù)使用單位實(shí)際工作要求進(jìn)行評(píng)價(jià) 系統(tǒng)單位時(shí)間內(nèi)登錄次數(shù)、注冊(cè)用戶(hù)數(shù) 5

功能使用率 評(píng)價(jià)系統(tǒng)功能的使用情況 功能使用率=已使用功能模塊數(shù)量/開(kāi)發(fā)模塊數(shù)量 使用率≥90%得滿(mǎn)分，90%≥使用率≥70%得3分，70%≥使用率≥60%得1分，使用率≤60%不得分 開(kāi)發(fā)功能模塊數(shù)量、已用功能模塊數(shù)量 5

解決具體問(wèn)題的實(shí)效

（25%） 業(yè)務(wù)能力的影響 評(píng)價(jià)系統(tǒng)的上線(xiàn)運(yùn)行，是否新增或提升了業(yè)務(wù)能力 申報(bào)單位根據(jù)前述三個(gè)方面編寫(xiě)并上報(bào)系統(tǒng)應(yīng)用成效報(bào)告（除文字描述外，要求提供實(shí)際數(shù)據(jù)和案例），評(píng)價(jià)組專(zhuān)家根據(jù)報(bào)告材料進(jìn)行打分評(píng)價(jià)，最終取平均分 滿(mǎn)分為10分，專(zhuān)家評(píng)價(jià)分=評(píng)價(jià)總分/專(zhuān)家人數(shù) 系統(tǒng)應(yīng)用成效報(bào)告 10

整體工作效率的影響 評(píng)價(jià)系統(tǒng)的上線(xiàn)運(yùn)行，是否提高了整體工作效率 滿(mǎn)分為10分，專(zhuān)家評(píng)價(jià)分=評(píng)價(jià)總分/專(zhuān)家人數(shù) 10

行政成本的影響 評(píng)價(jià)系統(tǒng)的上線(xiàn)運(yùn)行，是否減少了行政成本 滿(mǎn)分為5分，專(zhuān)家評(píng)價(jià)分=評(píng)價(jià)總分/專(zhuān)家人數(shù) 5

用戶(hù)綜合評(píng)價(jià)

（25%） 用戶(hù)認(rèn)可度 了解用戶(hù)對(duì)系統(tǒng)的日常使用情況和體驗(yàn)反饋 按照地區(qū)或警種，隨機(jī)抽取5-10名受訪(fǎng)用戶(hù)進(jìn)行問(wèn)卷調(diào)查。問(wèn)卷調(diào)查滿(mǎn)分為100分（問(wèn)卷調(diào)查詳見(jiàn)附件一） 根據(jù)調(diào)查問(wèn)卷匯總，用戶(hù)評(píng)價(jià)分=（所有問(wèn)卷調(diào)查得分總值/N）*25% （N為受訪(fǎng)用戶(hù)數(shù)） 問(wèn)卷調(diào)查表 25

異常因素情況 影響項(xiàng)目異常情況 評(píng)價(jià)項(xiàng)目能夠?qū)嵤┑耐獠凯h(huán)境 評(píng)價(jià)是否存在因需求研究不充分、技術(shù)架構(gòu)不合理以及上級(jí)精神不相符等因素導(dǎo)致項(xiàng)目無(wú)法繼續(xù)推進(jìn)開(kāi)發(fā)或無(wú)法部署應(yīng)用的情況 評(píng)估發(fā)現(xiàn)前述任一情況即認(rèn)定項(xiàng)目評(píng)價(jià)結(jié)果為不合格 調(diào)研訪(fǎng)談信息

評(píng)價(jià)結(jié)果分為優(yōu)秀（86-100）、良好（71-85）、合格（60-70）和不合格（60以下）四個(gè)檔次。

該評(píng)估辦法經(jīng)“杭州市公安局視頻資源綜合應(yīng)用平臺(tái)項(xiàng)目”等項(xiàng)目實(shí)際評(píng)估測(cè)試，應(yīng)用效果良好。為有效解決杭州公安信息化應(yīng)用系統(tǒng)建設(shè)績(jī)效評(píng)估工作無(wú)法客觀(guān)、量化開(kāi)展提供了有效的實(shí)踐探索。具有該領(lǐng)域推廣的應(yīng)用價(jià)值。

參考文獻(xiàn)

[1]孟憲文.公安信息學(xué)[M].中國(guó)人民公安大學(xué)出版社，2006.

[2]郝曉玲，孫強(qiáng).信息化績(jī)效評(píng)價(jià)：框架、實(shí)踐與案例分析[M].北京清華大學(xué)出版社，2005.

[3]張儉等.公安情報(bào)標(biāo)準(zhǔn)體系建設(shè)初探[J].中國(guó)人民公安大學(xué)學(xué)報(bào)（自然科學(xué)版），2009（1）.

[4]王靖亞，黃明，鞏榮.公安信息化信息安全指標(biāo)體系研究[J].中國(guó)人民公安大學(xué)學(xué)報(bào)（自然科學(xué)版），2008（4）.

（作者單位：杭州市公安局）