交通運(yùn)輸行業(yè)信息化項(xiàng)目后評(píng)價(jià)方法研究

何東航 李翠翠 李衛(wèi) 顧明臣

[摘? ? 要] 隨著信息化的快速發(fā)展，交通運(yùn)輸管理逐步向現(xiàn)代化、智能化、便捷化的方式轉(zhuǎn)變。信息化建設(shè)項(xiàng)目的運(yùn)行為交通運(yùn)輸管理帶來(lái)了便捷，同時(shí)也對(duì)信息化運(yùn)行維護(hù)資金安排帶來(lái)了壓力。開(kāi)展交通運(yùn)輸信息化項(xiàng)目后評(píng)價(jià)工作勢(shì)在必行，也是保障信息化項(xiàng)目建設(shè)成果高效、穩(wěn)定運(yùn)行的重要手段。文章以四川省交通運(yùn)輸信息化項(xiàng)目為例，分析交通運(yùn)輸行業(yè)信息化項(xiàng)目特點(diǎn)，明確后評(píng)價(jià)研究路線，同時(shí)基于四川省交通運(yùn)輸信息化項(xiàng)目實(shí)際特點(diǎn)，系統(tǒng)地提出三層階梯型信息化項(xiàng)目指標(biāo)評(píng)價(jià)體系，利用專家咨詢法確定各層指標(biāo)權(quán)重，為交通運(yùn)輸行業(yè)信息化項(xiàng)目的科學(xué)后評(píng)價(jià)提供支撐。

[關(guān)鍵詞] 交通運(yùn)輸;信息化項(xiàng)目;后評(píng)價(jià);指標(biāo)體系;專家咨詢法

0? ? ? 引? ? 言

“十二五”以來(lái)，交通運(yùn)輸管理部門組織開(kāi)展了交通運(yùn)行監(jiān)測(cè)與應(yīng)急指揮系統(tǒng)、公路水路建設(shè)與運(yùn)輸市場(chǎng)信用信息服務(wù)系統(tǒng)、交通運(yùn)輸行政執(zhí)法綜合管理信息系統(tǒng)、綜合交通出行信息服務(wù)平臺(tái)等重點(diǎn)信息化工程建設(shè)。交通運(yùn)輸信息化項(xiàng)目為行業(yè)用戶開(kāi)展業(yè)務(wù)工作帶來(lái)了極大的便利，但由于項(xiàng)目具有投資規(guī)模高、周期跨度長(zhǎng)、經(jīng)濟(jì)社會(huì)效益不夠明顯等特點(diǎn)，更需要行業(yè)管理部門定期對(duì)重點(diǎn)信息化項(xiàng)目開(kāi)展后評(píng)價(jià)工作，對(duì)于指導(dǎo)后續(xù)信息化項(xiàng)目的建設(shè)，規(guī)避待建項(xiàng)目的實(shí)施風(fēng)險(xiǎn)，具有重要意義。本研究將交通運(yùn)輸信息化項(xiàng)目后評(píng)價(jià)定義為：交通運(yùn)輸信息化項(xiàng)目竣工驗(yàn)收并投入使用一段時(shí)間后，基于行業(yè)制定的評(píng)價(jià)指標(biāo)和評(píng)價(jià)方法，將項(xiàng)目實(shí)際運(yùn)行效果與項(xiàng)目前期工作文件的主要內(nèi)容進(jìn)行對(duì)比分析，綜合評(píng)價(jià)項(xiàng)目的使用效果、創(chuàng)造的效益、發(fā)揮的作用和產(chǎn)生的影響。交通運(yùn)輸行業(yè)后評(píng)價(jià)體系的建立為交通信息化項(xiàng)目建設(shè)提供一個(gè)更加客觀、科學(xué)全面的評(píng)價(jià)結(jié)果，對(duì)后續(xù)建設(shè)項(xiàng)目提供指導(dǎo)建議，為交通運(yùn)輸信息化主管部門指導(dǎo)擬建項(xiàng)目、調(diào)整在建項(xiàng)目、改善已建項(xiàng)目提供依據(jù)。建立交通運(yùn)輸信息化項(xiàng)目后評(píng)價(jià)體系是保證交通運(yùn)輸重大信息化項(xiàng)目后評(píng)價(jià)工作順利開(kāi)展的重要保障條件。

1? ? ? 研究現(xiàn)狀

1.1? ?國(guó)外相關(guān)后評(píng)價(jià)研究

目前國(guó)外常用的評(píng)價(jià)模型[1-2]有三種：COBIT框架、 FEA（聯(lián)邦企業(yè)架構(gòu)）績(jī)效參考模型、 基于EAF（企業(yè)架構(gòu)框架）的評(píng)價(jià)體系。COBIT[3]是1996年由美國(guó)信息系統(tǒng)審計(jì)與控制協(xié)會(huì)（ISACA）開(kāi)發(fā)的開(kāi)放性績(jī)效管理框架。該框架從計(jì)劃組織、獲取實(shí)施、交付支持、監(jiān)督監(jiān)控4個(gè)層面對(duì)IT進(jìn)行考核，共包含34個(gè)控制目標(biāo)及318個(gè)子目標(biāo)，可以實(shí)現(xiàn)對(duì)IT全過(guò)程考核。

2002年美國(guó)政府開(kāi)發(fā)了聯(lián)邦企業(yè)架構(gòu)，該架構(gòu)由五大類參考模型構(gòu)成，包括績(jī)效參考模型、業(yè)務(wù)參考模型、服務(wù)組件參考模型、數(shù)據(jù)參考模型和技術(shù)參考模型。其中，績(jī)效參考模型是評(píng)價(jià)電子信息化項(xiàng)目績(jī)效的標(biāo)準(zhǔn)。印度政府開(kāi)發(fā)制定電子政務(wù)評(píng)估框架，該框架針對(duì)不同類型的電子政務(wù)項(xiàng)目設(shè)定了不同的指標(biāo)體系和評(píng)價(jià)模型。通過(guò)對(duì)不同指標(biāo)的打分確定評(píng)價(jià)結(jié)果，評(píng)價(jià)結(jié)果可以用來(lái)引導(dǎo)項(xiàng)目預(yù)算的撥付。

1.2? ?國(guó)內(nèi)相關(guān)后評(píng)價(jià)研究

1.2.1? ?杭州市電子政務(wù)績(jī)效評(píng)估

浙江大學(xué)、國(guó)際善治、中國(guó)法治研究院于2012年12月16日推出我國(guó)首個(gè)電子政務(wù)發(fā)展指數(shù)——杭州市電子政務(wù)發(fā)展指數(shù)。該評(píng)估體系從基礎(chǔ)保障、組織管理、安全保障、信息化建設(shè)、資源共享、業(yè)務(wù)協(xié)同等方面提出相應(yīng)指標(biāo)系統(tǒng)，能夠量化考核杭州市電子政務(wù)發(fā)展水平。

1.2.2? ?國(guó)家電子政務(wù)工程項(xiàng)目績(jī)效評(píng)價(jià)

2015年1月，國(guó)家發(fā)改委印發(fā)了《關(guān)于開(kāi)展國(guó)家電子政務(wù)工程項(xiàng)目績(jī)效評(píng)價(jià)工作的意見(jiàn)》，提出開(kāi)展國(guó)家電子政務(wù)項(xiàng)目績(jī)效評(píng)價(jià)工作，重點(diǎn)對(duì)電子政務(wù)項(xiàng)目建成后達(dá)到的建設(shè)目標(biāo)和應(yīng)用效果進(jìn)行評(píng)價(jià)。提出了評(píng)價(jià)指標(biāo)體系，明確了評(píng)價(jià)的范圍和主要內(nèi)容。

1.2.3? ?北京市交通運(yùn)輸信息化績(jī)效評(píng)價(jià)

北京市交通運(yùn)輸信息化績(jī)效評(píng)價(jià)[4]開(kāi)始相對(duì)較早，主要包括項(xiàng)目效益后評(píng)價(jià)、項(xiàng)目管理后評(píng)價(jià)。項(xiàng)目效益后評(píng)價(jià)以項(xiàng)目運(yùn)行后取得的實(shí)際效果與項(xiàng)目前期工作中經(jīng)濟(jì)社會(huì)效益進(jìn)行比對(duì)，評(píng)價(jià)其偏差情況及原因。項(xiàng)目管理后評(píng)價(jià)是對(duì)項(xiàng)目全生命周期各個(gè)階段的管理工作進(jìn)行評(píng)價(jià)。

國(guó)內(nèi)關(guān)于電子政務(wù)信息化績(jī)效評(píng)估研究起步相對(duì)較早，于近幾年陸續(xù)開(kāi)始真正實(shí)施應(yīng)用。關(guān)于交通運(yùn)輸行業(yè)信息化項(xiàng)目后評(píng)價(jià)相關(guān)研究仍舊處于起步階段，目前大多數(shù)省份采用個(gè)別信息化重點(diǎn)建設(shè)項(xiàng)目一事一議的方式進(jìn)行初步評(píng)估。綜上所述，國(guó)內(nèi)目前針對(duì)交通運(yùn)輸信息化建設(shè)項(xiàng)目績(jī)效評(píng)價(jià)的技術(shù)體系，還未形成面向交通行業(yè)管理、交通企業(yè)運(yùn)營(yíng)、面向交通信息化建設(shè)全過(guò)程、側(cè)重交通信息化內(nèi)在使用價(jià)值的全過(guò)程績(jī)效評(píng)價(jià)技術(shù)體系和操作指南，目前仍處于研究摸索階段。

2? ? ? 后評(píng)價(jià)思路與流程

2.1? ?后評(píng)價(jià)思路

本項(xiàng)目采用系統(tǒng)分析與專家咨詢及現(xiàn)場(chǎng)調(diào)研相結(jié)合、宏觀研究與國(guó)內(nèi)外比較分析相結(jié)合的方法，廣泛搜集資料，拓寬視野，從如何推動(dòng)和開(kāi)展交通運(yùn)輸行業(yè)信息化項(xiàng)目后評(píng)價(jià)工作的角度出發(fā)，實(shí)事求是地分析交通運(yùn)輸信息化項(xiàng)目后評(píng)價(jià)工作的問(wèn)題以及項(xiàng)目的特有特征，同時(shí)，重視從行業(yè)外的經(jīng)驗(yàn)借鑒以及從用戶需求角度對(duì)信息化項(xiàng)目建設(shè)以及項(xiàng)目管理的要求進(jìn)行考察，在此基礎(chǔ)上研究提出交通運(yùn)輸行業(yè)信息化項(xiàng)目的后評(píng)價(jià)體系及評(píng)價(jià)方法應(yīng)用方案。本研究以四川省交通運(yùn)行信息化項(xiàng)目為例，緊緊把握四川省交通運(yùn)輸信息化項(xiàng)目后評(píng)價(jià)的需求特征、組織體系和實(shí)施條件，堅(jiān)持需求與效益結(jié)合的發(fā)展理論，以實(shí)現(xiàn)行業(yè)發(fā)展績(jī)效為目標(biāo)，以關(guān)注用戶服務(wù)體驗(yàn)為導(dǎo)向，注重對(duì)工程運(yùn)行過(guò)程中的應(yīng)用效果、社會(huì)經(jīng)濟(jì)效益、可持續(xù)性的合理評(píng)估，強(qiáng)調(diào)工程的可持續(xù)發(fā)展能力，通過(guò)項(xiàng)目后評(píng)估，規(guī)范工程建設(shè)和運(yùn)營(yíng)管理，有效控制信息化建設(shè)項(xiàng)目風(fēng)險(xiǎn)，推進(jìn)行業(yè)信息化可持續(xù)性發(fā)展。

社會(huì)服務(wù)效益：反映信息系統(tǒng)對(duì)社會(huì)公眾帶來(lái)的效益。包括交通信息系統(tǒng)的應(yīng)用推廣使地區(qū)用戶出行方式、出現(xiàn)行為的改變。

公共治理效益：該指標(biāo)是評(píng)價(jià)項(xiàng)目實(shí)施對(duì)加強(qiáng)行業(yè)監(jiān)管、提高行業(yè)業(yè)務(wù)效率是否起到應(yīng)有的作用，是否帶來(lái)的交通污染減少、環(huán)境改善等作用。

3.1.3? ?系統(tǒng)可持續(xù)性

項(xiàng)目可持續(xù)性評(píng)價(jià)主要從項(xiàng)目?jī)?nèi)外部?jī)蓚€(gè)角度來(lái)評(píng)價(jià)項(xiàng)目的可持續(xù)發(fā)展能力，主要包括戰(zhàn)略價(jià)值評(píng)價(jià)和運(yùn)行保障評(píng)價(jià)。

（1）戰(zhàn)略價(jià)值評(píng)價(jià)：該指標(biāo)評(píng)價(jià)信息化項(xiàng)目對(duì)行業(yè)信息化發(fā)展的整體貢獻(xiàn)與推動(dòng)能力，主要包括項(xiàng)目推廣價(jià)值評(píng)價(jià)和項(xiàng)目創(chuàng)新發(fā)展能力評(píng)價(jià)。

項(xiàng)目推廣價(jià)值：項(xiàng)目是否具有行業(yè)推廣價(jià)值。

項(xiàng)目創(chuàng)新發(fā)展能力：有利于系統(tǒng)內(nèi)核信息技術(shù)和應(yīng)用軟件后續(xù)開(kāi)發(fā)的能力。

（2）運(yùn)行保障評(píng)價(jià)：該指標(biāo)評(píng)價(jià)從內(nèi)部因素角度對(duì)信息化項(xiàng)目進(jìn)行評(píng)價(jià)。主要包括組織管理、人員配置、運(yùn)維機(jī)制、資金保障、培訓(xùn)機(jī)制等方面。

組織管理：是否設(shè)立信息化機(jī)構(gòu)，職能是否健全。

人員配置：配置人員數(shù)量、角色與系統(tǒng)運(yùn)行的匹配程度。

運(yùn)維機(jī)制：是否建立運(yùn)維考核管理辦法。

資金保障：近三年運(yùn)維資金執(zhí)行情況，包括資金使用情況、運(yùn)維效果等。

培訓(xùn)機(jī)制：切實(shí)可行的培訓(xùn)計(jì)劃和措施，包括培訓(xùn)計(jì)劃的制訂、培訓(xùn)次數(shù)、培訓(xùn)效果等。

上述信息化項(xiàng)目后評(píng)價(jià)指標(biāo)分為定性指標(biāo)和定量指標(biāo)。定性指標(biāo)可基于評(píng)價(jià)結(jié)論對(duì)標(biāo)評(píng)價(jià)標(biāo)準(zhǔn)，確定各定性指標(biāo)分值;定量指標(biāo)可通過(guò)計(jì)算公式對(duì)標(biāo)評(píng)價(jià)標(biāo)準(zhǔn)，確定各定量指標(biāo)分值。本項(xiàng)目各級(jí)指標(biāo)滿分設(shè)為200分，現(xiàn)場(chǎng)專家根據(jù)評(píng)價(jià)對(duì)象材料及自評(píng)估報(bào)告，給出相應(yīng)分值。

3.2? ?后評(píng)價(jià)模型建立

基于項(xiàng)目后評(píng)價(jià)指標(biāo)，確定項(xiàng)目后評(píng)價(jià)模型實(shí)現(xiàn)對(duì)交通運(yùn)輸行業(yè)重點(diǎn)信息化建設(shè)項(xiàng)目的后評(píng)價(jià)。

后評(píng)價(jià)指標(biāo)權(quán)重：根據(jù)交通運(yùn)輸行業(yè)信息化項(xiàng)目特點(diǎn)，構(gòu)建信息化項(xiàng)目后評(píng)價(jià)指標(biāo)體系（如圖2所示），基于專家咨詢法確定各層指標(biāo)權(quán)重。根據(jù)四川省交通信息化項(xiàng)目建設(shè)現(xiàn)狀和特點(diǎn)，本研究將四川交通信息化項(xiàng)目分成業(yè)務(wù)支撐類系統(tǒng)、數(shù)據(jù)資源類系統(tǒng)和公共服務(wù)類系統(tǒng)三大類，針對(duì)不同類型應(yīng)用系統(tǒng)需分配不同指標(biāo)權(quán)重。

分類評(píng)價(jià)及綜合評(píng)價(jià)：二級(jí)指標(biāo)評(píng)價(jià)

式中：Xj2——第j個(gè)二級(jí)指標(biāo)的評(píng)價(jià)分值;

Xji3——第j個(gè)二級(jí)指標(biāo)的第i個(gè)要素的評(píng)價(jià)分值;

n——第j個(gè)二級(jí)指標(biāo)包含的三級(jí)指標(biāo)要素個(gè)數(shù)。

若某信息系統(tǒng)建設(shè)項(xiàng)目?jī)?nèi)容僅包括三級(jí)指標(biāo)中的部分項(xiàng)目時(shí)，則該項(xiàng)工程二級(jí)指標(biāo)得分為：

X2=〔∑三級(jí)指標(biāo)得分/（∑二級(jí)指標(biāo)總分-∑缺項(xiàng)部分總分）〕×（∑二級(jí)指標(biāo)總分）

總體評(píng)價(jià)得分：X=∑一級(jí)指標(biāo)得分=∑二級(jí)指標(biāo)得分

根據(jù)綜合評(píng)分計(jì)算方法，可得到交通信息化項(xiàng)目后評(píng)價(jià)的最終得分。

4? ? ? 結(jié)? ? 語(yǔ)

本研究提出交通信息化后評(píng)價(jià)總體思路，通過(guò)分析交通運(yùn)輸信息化運(yùn)行維護(hù)管理因素和瓶頸，制定交通運(yùn)輸信息化運(yùn)維管理體系框架示意圖，根據(jù)實(shí)際信息化建設(shè)項(xiàng)目進(jìn)行設(shè)計(jì)并且深入研究，形成交通運(yùn)輸信息化建設(shè)項(xiàng)目后評(píng)價(jià)評(píng)分結(jié)果，旨在清晰反映各信息化項(xiàng)目建設(shè)成果的建設(shè)和使用效率，且能夠合理安排運(yùn)維資金，對(duì)開(kāi)展交通運(yùn)輸行業(yè)信息化項(xiàng)目建設(shè)具有很好的指導(dǎo)意義。

主要參考文獻(xiàn)

[1]楊洋.電子政務(wù)系統(tǒng)績(jī)效評(píng)價(jià)體系研究[D].上海：同濟(jì)大學(xué)，2005.

[2]連煒瑋.煙草數(shù)據(jù)中心項(xiàng)目績(jī)效評(píng)價(jià)系統(tǒng)的設(shè)計(jì)和實(shí)現(xiàn)[D].北京：北京工業(yè)大學(xué)，2009.

[3]Koen Brand，Harry Boonen.IT Governance：A Pocket Guide Based on COBIT[M].Van Haren Publishing，2004.

[4]郭愛(ài)思.北京市交通信息化項(xiàng)目績(jī)效評(píng)價(jià)體系研究[D].北京：北京郵電大學(xué)，2010.