高等院校信息化項目申報評價體系探究

路 萍，耿志剛

（北京工業(yè)大學(xué) 信息處，北京100022）

一、引言

1.頂層設(shè)計的宏觀要求

根據(jù)《北京市經(jīng)濟和信息化委員會關(guān)于開展“智慧北京”頂層設(shè)計的通知》文件要求，各高校根據(jù)自身發(fā)展的總體目標(biāo)積極開展信息化頂層設(shè)計工作。自2013年起，頂層設(shè)計報告作為經(jīng)信委評審信息化項目的重要依據(jù)，原則上不能申報頂層設(shè)計中未描述清楚與相關(guān)業(yè)務(wù)關(guān)系的新建或?qū)徲嫺脑祉椖?。同時，頂層設(shè)計也作為高校電子政務(wù)績效考核的重點內(nèi)容。

2.高校信息系統(tǒng)建設(shè)現(xiàn)狀

隨著大數(shù)據(jù)、移動應(yīng)用等各種信息化技術(shù)的快速發(fā)展，以及自身業(yè)務(wù)、管理需求的變革，每年各高校都有許多信息化建設(shè)需求。本文探討如何在學(xué)校頂層設(shè)計的總體框架下，在資金有限的前提下，根據(jù)已有的軟硬件環(huán)境、前期系統(tǒng)建設(shè)的應(yīng)用情況、人力條件、數(shù)據(jù)資源等因素，建立一個校內(nèi)信息化項目申報評價體系，對申報項目進行定性定量相結(jié)合的事前評價。從而實現(xiàn)校內(nèi)信息化項目申報的有效管理和控制，提高申報的通過率和后續(xù)建設(shè)的成功率。

二、高校信息化項目申報管理活動

1.項目申報涉及人員范圍

任何一個信息化項目都是從需求開始，并以滿足需求為結(jié)束條件的。因此，在項目申報時就應(yīng)進行需求管理，在相關(guān)人員之間建立對需求的基本共識，并進行協(xié)同。在選擇產(chǎn)品以及需求確定的過程中，涉及到學(xué)校的信息化主管人員、業(yè)務(wù)管理者、系統(tǒng)運維者、應(yīng)用用戶等多個主體，以及供應(yīng)商、服務(wù)商等外圍人員，因此對需求的評價是多維的。

2.項目申報活動的基本流程

項目申報活動的基本流程如圖1所示。

圖1 高校內(nèi)部信息化項目評審工作流程

（1）需求開發(fā)：包括本年度新報項目以及去年通過專家評審，因預(yù)算經(jīng)費不足放入待申報項目庫中的項目。起草項目申報材料，獲取需求，數(shù)據(jù)采集。

（2）需求評審：制定需求評價指標(biāo)體系、評審計劃、專家評審會、記錄問題、修正問題。

（3）需求基線：對批復(fù)的項目建立需求基線、確定需求屬性。

（4）需求跟蹤：建立跟蹤矩陣、管理需求變更。

（5）變更統(tǒng)計：按項目統(tǒng)計功能、性能、經(jīng)費以及人員變更情況。

（6）結(jié)題統(tǒng)計：按部門統(tǒng)計驗收結(jié)題百分比等。

三、高校信息化項目申報評價指標(biāo)體系的建立

1.高校信息化項目申報評價指標(biāo)體系的層次模型

在信息化項目申報需求評價活動的整個過程中，評價指標(biāo)體系的建立起著至關(guān)重要的作用，其最基礎(chǔ)、最關(guān)鍵的工作是指標(biāo)選取與分解。本文試將高校信息化項目申報評價工作表示為一個有序的、階梯層次的結(jié)構(gòu)模型，具體分為以下三組指標(biāo)。

（1）原有系統(tǒng)功能性能評價

申報的系統(tǒng)是否有前期建設(shè)，如果有，則應(yīng)是校凈。eirong對原有系統(tǒng)的功能、性能進行評價：分析原有系統(tǒng)功能點使用百分比，原有功能與新需求的差異性；從軟硬件平臺基礎(chǔ)以及應(yīng)用系統(tǒng)的開放性、可移植性、可擴充性，評估在原有系統(tǒng)升級改造的利弊；根據(jù)原有系統(tǒng)的功能可維護性、安全性等因素評估繼續(xù)使用原系統(tǒng)的弊端和潛在風(fēng)險。其指標(biāo)如圖2所示。

圖2 二級指標(biāo)——原有系統(tǒng)功能性能評價指標(biāo)

（2）新建（改造）系統(tǒng)必要性評價

必要性評價包括：從功能模塊使用頻率、歷史數(shù)據(jù)量、系統(tǒng)運行穩(wěn)定性等因素判定原有系統(tǒng)的應(yīng)用情況；評估能否利用原有模塊通過功能重組實現(xiàn)新需求；新需求引起的新功能是否會改變原有的業(yè)務(wù)模式；新的業(yè)務(wù)管理是否已成熟、已經(jīng)能進行手工運轉(zhuǎn)，迫切需要計算機系統(tǒng)進行更為有效的操作；原有系統(tǒng)的軟硬件平臺已運行年限、有無校內(nèi)外技術(shù)人員進行運維支撐等，都影響必要性評價結(jié)果。其指標(biāo)如圖3所示。

圖3 二級指標(biāo)——新建（改造）系統(tǒng)的必要性評價指標(biāo)

（3）新建（改造）系統(tǒng)可行性評價

可行性評價從校內(nèi)因素和校外因素兩方面判定申報項目是否具備建設(shè)（改造）的條件，有無實現(xiàn)的可能。①內(nèi)部因素主要包括：1）人力因素：學(xué)校領(lǐng)導(dǎo)對該系統(tǒng)建設(shè)的支持力度，系統(tǒng)涉及部門的協(xié)調(diào)力度，以及系統(tǒng)管理員的技術(shù)水平等。2）管理因素考察：申報項目是否是業(yè)務(wù)部門根據(jù)其局部目標(biāo)制定的，與學(xué)校整體戰(zhàn)略目標(biāo)、信息化頂層設(shè)計的契合度如何，現(xiàn)有業(yè)務(wù)、需求業(yè)務(wù)的標(biāo)準(zhǔn)性、規(guī)范性等也是評價的重要指標(biāo)，因為再好的產(chǎn)品，再先進的系統(tǒng)也只是輔助、促進作用，而不能代替管理本身。3）學(xué)校的網(wǎng)絡(luò)環(huán)境、數(shù)據(jù)中心的基礎(chǔ)軟硬件是否能滿足新建系統(tǒng)的需求，是否還有其他產(chǎn)品支出等。②外部因素包括：1）是否有滿足新需求的成熟軟件產(chǎn)品，是否需要大量二次開發(fā)，在高校應(yīng)用效果如何，能否適應(yīng)校院兩級管理需求。2）軟件開發(fā)商或集成商的技術(shù)實力、開發(fā)模式、產(chǎn)品版本控制、現(xiàn)場支持力度、運維服務(wù)模式等也是可行性分析必須參考的重要因素。其指標(biāo)如圖4所示。

圖4 二級指標(biāo)——新建（改造）系統(tǒng)的可行性評價指標(biāo)

上述評價指標(biāo)模型為1-3級指標(biāo)描述。在實際應(yīng)用中，評價指標(biāo)體系可能需要建立更加細(xì)粒度的指標(biāo)子集，例如：必要性評價中，對原有系統(tǒng)功能模塊的使用情況可以從“已使用模塊與現(xiàn)有業(yè)務(wù)的匹配度、用戶對已實施模塊的滿意度、已實施模塊的使用率”等4級指標(biāo)進行評價。然而，等級劃分過細(xì)，會增加評判復(fù)雜度，也會影響最終評判結(jié)果，本文建議整個評價模型深度不超過4級，單級評價指標(biāo)不超過7個。

2.高校信息化項目申報評價指標(biāo)體系特點

（1）多層次結(jié)構(gòu)、多目標(biāo)、指標(biāo)描述方式多樣。

（2）支持動態(tài)管理，即根據(jù)不同的評價對象分類（信息化辦公類設(shè)備、應(yīng)用開發(fā)類、軟件采購類、硬件購買類、網(wǎng)絡(luò)及通訊類、安全產(chǎn)品類）進行指標(biāo)項的動態(tài)選取，建立不同的評價子集。

（3）大部分指標(biāo)值難以通過應(yīng)用系統(tǒng)和工具直接獲取，需要人工采集。

（4）存在相當(dāng)?shù)闹饔^性，對專家的依賴性大，而且涉及應(yīng)用行業(yè)、軟件、硬件、網(wǎng)絡(luò)、安全等不同方向的因素。因此評價結(jié)果的科學(xué)性、準(zhǔn)確性、正確性很大程度上取決于專家的素質(zhì)、指標(biāo)設(shè)計的合理程度、評價計算方法的選擇等。

四、評價方法的構(gòu)建

針對該評價體系層次多、指標(biāo)多，且既考慮到實際數(shù)據(jù)的采集，又考慮到專家、校領(lǐng)導(dǎo)或主管部門的意見，本文考慮應(yīng)用層次分析法（Analytic Hierarchy Process，AHP）進行評價。AHP是一種將半定性、半定量問題轉(zhuǎn)化為定量問題的擬定量方法，基于AHP所建立的高校信息系統(tǒng)項目需求評價系統(tǒng)是一個量標(biāo)系統(tǒng)，由指標(biāo)集和權(quán)重集組成。[1]其中指標(biāo)集是反映學(xué)校信息化建設(shè)項目的評價因素所組成的標(biāo)準(zhǔn)序列，權(quán)重集是按指標(biāo)的層次對應(yīng)性有序排列而成的權(quán)重值表。根據(jù)這兩個集合，計算各層各指標(biāo)的組合權(quán)重，得到相對于目標(biāo)的優(yōu)先順序。

1.指標(biāo)權(quán)重集的確定

采用AHP方法確定權(quán)重集的主要工作是對同一層次的評價指標(biāo)兩兩比較相對重要性，建立判斷矩陣，得到各評判指標(biāo)的相對權(quán)重，獲得權(quán)重集合。基本實施過程如圖5所示。

圖5 基于AHP計算評價指標(biāo)權(quán)重集流程

對于每一層（級）指標(biāo)子集，需設(shè)定相應(yīng)的單層權(quán)重子集vikm，且須保證，即第k層的某指標(biāo)i下級指標(biāo)層權(quán)重值和為1，其中m=1,2,……n表示以指標(biāo)i為目標(biāo)的層次模型的底層指標(biāo)。

2.指標(biāo)實際值的采集

基于學(xué)校的公共數(shù)據(jù)庫，建設(shè)指標(biāo)參數(shù)和實際數(shù)據(jù)映射關(guān)系，抽取定量數(shù)據(jù)。例如，從固定資產(chǎn)庫獲取原有系統(tǒng)使用的軟硬件使用年限；從項目管理庫中獲得合同金額、驗收結(jié)題情況；從各原系統(tǒng)本身可獲取業(yè)務(wù)數(shù)據(jù)量等信息。但從指標(biāo)體系可以看出，大部分指標(biāo)實際值需人工采集，甚至是定性的打分?jǐn)?shù)據(jù)，因此需根據(jù)評價指標(biāo)體系設(shè)計、定義相應(yīng)的流程和活動獲取指標(biāo)實際值，并保證其可用性、準(zhǔn)確性。

（1）制定數(shù)據(jù)采集計劃——規(guī)定數(shù)據(jù)采集的基本要求，確定所需的人力、物力資源、時間安排、規(guī)定結(jié)束條件等。

（2）數(shù)據(jù)采集表格設(shè)計及說明——根據(jù)評價指標(biāo)體系最底層指標(biāo)集設(shè)計數(shù)據(jù)采集表，以及指標(biāo)項說明、取值范圍說明等。

（3）數(shù)據(jù)采集活動及范圍——向所涉及的業(yè)務(wù)部門、管理部門、以及供應(yīng)商、運維商等發(fā)放數(shù)據(jù)采集表。

（4）數(shù)據(jù)填報及過程溝通——在各相關(guān)單位填寫數(shù)據(jù)的過程中，評價活動主管部門有責(zé)任向數(shù)據(jù)采集對象講解指標(biāo)含義，協(xié)助理解指標(biāo)體系，確保數(shù)據(jù)的合理性、規(guī)范性。

（5）利用工具對產(chǎn)品進行測試——在條件允許的情況下，對預(yù)采購產(chǎn)品進行測試，獲取相應(yīng)的指標(biāo)值，如代碼錯誤率、最大并發(fā)數(shù)、大數(shù)據(jù)查詢響應(yīng)效率、高危漏洞數(shù)等。

（6）采集數(shù)據(jù)及文檔審查——評價活動主管部門對采集的各數(shù)據(jù)表和文檔進行審查。如項目驗收證明等。

3.指標(biāo)實際值的無量綱化

在本文建立的評價指標(biāo)體系中，指標(biāo)實際值肯定存在異量綱情況，而且數(shù)值差異較大（有金額、數(shù)量、百分比等），直接加權(quán)平均不合理，且沒有實際意義。因此需將指標(biāo)實際值轉(zhuǎn)化為無量綱的相對數(shù)——比重，數(shù)值大小在[0，1]范圍內(nèi)。最簡單的方式可采用qms=tms/max（tms）×100%，其中tms表示指標(biāo)實際值，qms為指標(biāo)評價值，m=1,2，……n表示以某指標(biāo)i為目標(biāo)的層次模型的底層指標(biāo)，s=1,2，……為各被評項目的順序編號。

4.評價計算及排名

利用無量綱化后的指標(biāo)實際值，即指標(biāo)評價值，以及評價指標(biāo)體系的權(quán)重集，按下述方法進行單項指標(biāo)、綜合指標(biāo)評價計算，得到項目申報優(yōu)先排序。

（1）單項統(tǒng)計

單項統(tǒng)計是指針對指標(biāo)層次模型中的任一指標(biāo)，對各評價對象進行考評。本文采用加權(quán)平均法計算相應(yīng)的指標(biāo)擬量值：設(shè)對各評價系統(tǒng)第k層的指標(biāo)i進行單項考評，先利用單層權(quán)重子集對指標(biāo)i所屬各層子指標(biāo)進行多層次的權(quán)重組合計算，即把指標(biāo)i當(dāng)成總目標(biāo)計算組合權(quán)重，從而得到最底層子指標(biāo)對應(yīng)指標(biāo)i的權(quán)重集，記為vkim，再根據(jù)相應(yīng)的指標(biāo)評價值qms即可計算出指標(biāo)i的擬量值，計算公式為

（2）綜合統(tǒng)計

對一個評價對象做出總評價需要把許多考察指標(biāo)綜合成一個。[2]針對指標(biāo)層次模型的總目標(biāo)，利用總層權(quán)重子集中的權(quán)重向量(即層次模型的最低層指標(biāo)對于總目標(biāo)的組合權(quán)重），對各個評價對象進行綜合考評。綜合統(tǒng)計同樣是根據(jù)指標(biāo)評價值qms和權(quán)重子集Ck，用加權(quán)平均法計算相應(yīng)的指標(biāo)擬量值pis。

（3）統(tǒng)計結(jié)果的使用

無論是單項統(tǒng)計還是綜合統(tǒng)計所得到的擬量值都是無量綱的。學(xué)校信息化項目主管部門可根據(jù)計算結(jié)果對各部門申報的項目進行單項排名（對各個二級、三級子目標(biāo)的排序)、綜合比較（對總目標(biāo)的排序），形成評價報告，作為評審依據(jù)，向有關(guān)校領(lǐng)導(dǎo)和專家評審委員會提出申報工作建議。

五、評價系統(tǒng)設(shè)計

1.模型設(shè)計

（1）指標(biāo)層次模型的設(shè)計

用層次分析法建立的評價模型在理論上是一個網(wǎng)狀結(jié)構(gòu)，考慮到對源數(shù)據(jù)的提取和最終評價數(shù)據(jù)的顯示，在實現(xiàn)上需將層次模型轉(zhuǎn)換為樹狀結(jié)構(gòu)；即每個葉子節(jié)點有且只有一個父節(jié)點。

1）指標(biāo)樹的錄入采用二維表形式：層次編號、根節(jié)點編碼、葉節(jié)點編碼，可通過指標(biāo)對照表選擇。

2）專家填寫判斷矩陣以及后續(xù)的評價指標(biāo)單層評價與綜合評價，使用TreeView等控件進行指標(biāo)樹的顯示與指標(biāo)項的選擇查詢。

（2）專家判斷矩陣模型設(shè)計

通過專家填寫判斷矩陣確定指標(biāo)權(quán)重的方法，涉及的主要基表包括：

PG_PROFESSOR 專家信息

PG_PARAMETER 指標(biāo)代碼和名稱對照表PG_TREE指標(biāo)樹

PG_ROOT根節(jié)點目錄（用于顯示指標(biāo)樹）PG_MATRIX 專家判斷矩陣

PG_MATRIX_CHECK 判斷矩陣的單層一致性檢查結(jié)果以及單層矩陣的權(quán)值

PG_RI 一致性指標(biāo)

PG_KIM 某一專家的總層一致性檢查結(jié)果以及層次模型中各個指標(biāo)的權(quán)值

PG_KIM_END專家權(quán)值表，即所有通過總層一致性檢查的專家給出的權(quán)值的平均值

PG_KIM_TOTAL 層次模型中各層指標(biāo)相對于總目標(biāo)的相對權(quán)值

關(guān)于判斷矩陣PG_MATRIX，在設(shè)計時特別考慮以下兩點：

1）相同的指標(biāo)子集因評價對象的不同可設(shè)置不同的權(quán)重分類子集（例如，針對網(wǎng)絡(luò)通訊項目、軟件采購項目和應(yīng)用開發(fā)項目的“產(chǎn)品因素”三級指標(biāo)雖然相同，但權(quán)重值可以不同），需專家根據(jù)評價對象分類重復(fù)判斷相同節(jié)點的判斷矩陣。

2）判斷矩陣的上三角形與下三角形沿對角線對稱，且對角線值皆為1，因此只錄入和存儲上三角形即可。主要包括專家編碼、當(dāng)前判斷矩陣根節(jié)點編碼、項目分類子集代碼、矩陣行號/列號、進行相對比較的分子指標(biāo)代碼/分母指標(biāo)代碼，以及相對比值。

2.功能設(shè)計

上述探究要想切實可行、具有應(yīng)用價值，需建設(shè)相應(yīng)的管理信息系統(tǒng)，包括以下五方面功能：

（1）評價指標(biāo)體系樹狀模型的設(shè)置：包括指標(biāo)的選取設(shè)置、層次模型的動態(tài)建立與調(diào)用。

（2）建立權(quán)重設(shè)置平臺：包括專家資質(zhì)審查、專家填寫判斷矩陣、判斷矩陣的單層一致性檢查和總層一致性檢查、專家填寫判斷矩陣有效率確認(rèn)，以及獲取最終的單層和總層權(quán)重子集。

（3）數(shù)據(jù)采集表的在線填報、集成、校驗和數(shù)據(jù)的無量綱化。

（4）評價計算，進行單項的、綜合的排名，按項目類型、申報部門等多角度生成評價報告。

（5）評價指標(biāo)實際值、評價結(jié)果數(shù)據(jù)的歷史保存、縱向比較。這些評價排名雖然只是初步結(jié)果，還需領(lǐng)導(dǎo)和專家評議才能進行申報，有的項目甚至根本沒有上報資格，但這些結(jié)果依然可以作為一種參照進行保存，為以后的申報工作進行有意的判斷。例如，學(xué)校自行排名結(jié)果與經(jīng)信委審批結(jié)果符合度、項目批復(fù)金額與申報金額百分比、各部門項目驗收率排行等。

六、結(jié)論

本文就高校每年進行信息化項目申報工作的評審方法和過程進行了初步探討，希望在理論上形成一套科學(xué)和系統(tǒng)的方法，包括：申報項目評價指標(biāo)體系的建立、指標(biāo)實際值的獲取、評價計算方法以及信息化項目評價系統(tǒng)的設(shè)計等。希望本文提出的方法和建議對高校的信息化項目申報工作是一次有益的嘗試。

[1]趙煥臣,許樹柏,和金生.層次分析法[M].北京：科學(xué)出版社，1986.

[2]張堯庭.指標(biāo)量化、序化的理論和方法[M].北京：科學(xué)出版社,1999.

[3]胡永宏,賀思輝.綜合評估方法[M].北京：科學(xué)出版社,2000.