機構(gòu)信息化評估與評價的研究

劉曉東

中國科學(xué)院計算機網(wǎng)絡(luò)信息中心，北京 100190

1 信息化評估的背景

隨著互聯(lián)網(wǎng)的進(jìn)一步普及，信息通信技術(shù)成為全球研發(fā)投入最集中、創(chuàng)新最活躍、應(yīng)用最廣泛、輻射帶動最大的技術(shù)應(yīng)用。信息化應(yīng)用，日益成為世界各發(fā)達(dá)國家的發(fā)展基礎(chǔ)，世界發(fā)達(dá)國家紛紛制定國家層面的信息化發(fā)展戰(zhàn)略并推行相關(guān)政策和措施。利用信息化的技術(shù)和方法的實質(zhì)是生產(chǎn)關(guān)系的信息化，目標(biāo)是優(yōu)化創(chuàng)新要素的配置，加快生產(chǎn)力的改造和升級。

美國政府 2016年7月發(fā)布《國家戰(zhàn)略計算計劃戰(zhàn)略規(guī)劃》報告 ，旨在推動高性能計算研究、開發(fā)和部署并實現(xiàn)效益最大化；歐洲科研基礎(chǔ)設(shè)施戰(zhàn)略論壇時隔 6年后再次發(fā)布新的“科研基礎(chǔ)設(shè)施戰(zhàn)略路線圖”，從網(wǎng)絡(luò)、計算與數(shù)據(jù)設(shè)施等角度確定了科研信息化基礎(chǔ)設(shè)施建設(shè)的新方向[1]。2016年7月，我國印發(fā)《國家信息化發(fā)展戰(zhàn)略綱要》 提出要“加快科研信息化”，要求“加強科研信息化管理，構(gòu)建公開透明的國家科研資源管理和項目評價機制[2]。建設(shè)覆蓋全國、資源共享的科研信息化基礎(chǔ)設(shè)施，提升科研信息服務(wù)水平。加快科研手段數(shù)字化進(jìn)程，構(gòu)建網(wǎng)絡(luò)協(xié)同的科研模式，推動科研資源共享與跨地區(qū)合作，促進(jìn)科技創(chuàng)新方式轉(zhuǎn)變?！?/p>

國家整體的信息化能力和水平成為影響生產(chǎn)力發(fā)展的重要因素。各類大型機構(gòu)作為國家層面生產(chǎn)力的代表，直接影響著國家創(chuàng)新發(fā)展。以科研機構(gòu)為例，信息化水平是衡量創(chuàng)新生產(chǎn)力發(fā)展水平的重要因素，對于機構(gòu)信息化的評估和評價則成為衡量該水平的重要依據(jù)。

1.2 國家層面信息化評估

國家層面的信息化評估工作，基于不同的考慮制定信息化評估體系，韓國重點關(guān)注信息化基礎(chǔ)設(shè)施，而俄羅斯更加關(guān)注信息化建設(shè)，而英國偏向經(jīng)濟方面的發(fā)展。如韓國、美國、英國等都公布了他們的信息化評估體系，有專門的評估機構(gòu)研究制定范且嚴(yán)格的評分制度，通過對國外評估體系的對比學(xué)習(xí)[3](表1)。

1.2.1 韓國“信息化指數(shù)”

韓國“信息化指數(shù)”評估體系是由韓國電算院組織制定并實施評估的。韓國“信息化指數(shù)”評估體系由兩級評估要素構(gòu)成，其中包括四個第一級要素以及七個第二級要素。韓國的評估體現(xiàn)與其他幾個國家相比，屬于最早提出“信息化指數(shù)”評估體系的。其主要任務(wù)是推動韓國信息化各項規(guī)劃和行動計劃的實施，屬于半官方性質(zhì)的機構(gòu)。但是韓國的評估體系內(nèi)容僅僅涉及信息基礎(chǔ)設(shè)施及相關(guān)設(shè)備的普及應(yīng)用情況，所以出現(xiàn)了評估內(nèi)容單一的情況。

1.2.2 俄羅斯“地區(qū)信息化評估指標(biāo)體系”

俄羅斯聯(lián)邦的各地區(qū)信息化建設(shè)評估指標(biāo)體系是由俄羅斯聯(lián)邦政府投入建立的，其主要任務(wù)是對國家和地方自制權(quán)利機構(gòu)在向公民和經(jīng)濟實體提供服務(wù)時通訊技術(shù)的使用情況進(jìn)行檢查。俄羅斯的這套評估體系從政府支持、信息通信技術(shù)的接入使用、信息通信技術(shù)促進(jìn)地區(qū)經(jīng)濟發(fā)展、人力資源、業(yè)務(wù)環(huán)境五個方面進(jìn)行評估。這樣有便于進(jìn)一步分析信息化建設(shè)的優(yōu)勢和劣勢。

1.2.3 英國“電子經(jīng)濟評估”

英國進(jìn)行電子經(jīng)濟評估的目的是為了衡量英國目前的現(xiàn)狀離首相提出的“建成世界上最好的電子商務(wù)環(huán)境”這一目標(biāo)的差距。由于英國電子經(jīng)濟評估體系是由政府部門、學(xué)術(shù)團體和企業(yè)共同完成的,因此具有很高的權(quán)威性。

1.2.4 中國“信息社會發(fā)展水平”

在我國，國家信息中心作為以經(jīng)濟分析預(yù)測、信息化建設(shè)和大數(shù)據(jù)應(yīng)用為特色的國家級決策咨詢機構(gòu)和國家電子政務(wù)公共服務(wù)平臺提出了用于對信息社會發(fā)展水平測評指標(biāo)體系于2010年首次發(fā)布“中國信息社會發(fā)展報告”。這份報告主要對全國及31個省份的信息社會發(fā)展水平進(jìn)行了測評，其目的是經(jīng)過對信息社會發(fā)展理論和實踐持續(xù)進(jìn)行跟蹤研究，充分把握信息社會發(fā)展趨勢、認(rèn)清中國所處的位置和任務(wù)。

表1 國家層面的信息化評估工作Table1 National level information assessment work

1.3 機構(gòu)信息化評估

發(fā)達(dá)國家對于機構(gòu)的信息化評估源于20世紀(jì)初，并把信息化評估做為衡量機構(gòu)整體水平額重要因素。在這里我們的機構(gòu)是指是廣義上的機構(gòu)，它包括科研和教育機構(gòu)和企業(yè)等成規(guī)模的組織。

1.3.1 機構(gòu)信息化作用

隨著信息化加速融入社會的各個層面，信息化的作用和位置變得越發(fā)關(guān)鍵，成為了保障運轉(zhuǎn)和推動發(fā)展的決定因素。 通過制定全面、規(guī)范的信息化評估體系，評估各個機構(gòu)在信息化方面的投入與產(chǎn)出，以此來促進(jìn)各機構(gòu)對信息化的認(rèn)識，重視信息化的發(fā)展，促進(jìn)信息資源的共享，提升整體的競爭力。信息化評估工作的開展促進(jìn)了業(yè)務(wù)的發(fā)展，提高了產(chǎn)出成果，使得資源能夠最大化的應(yīng)用。指導(dǎo)了機構(gòu)下一步發(fā)展戰(zhàn)略的部署。

1.3.2 德國馬普學(xué)會

德國馬普學(xué)會作為德國最重要的基礎(chǔ)研究機構(gòu)之一，共有81個研究所，致力于國際前沿與尖端的基礎(chǔ)性研究工作。馬普的評價分為事先評估、事后評價和國家系統(tǒng)評估。馬普學(xué)會通過事先評估進(jìn)行人員任免和、評估科研項目、批準(zhǔn)實驗室和研究所的建立。此外，馬普學(xué)會對研究所的評價以德爾菲法為主。為了確保研究所高水平的研究質(zhì)量，同行專家將對研究所進(jìn)行兩年一次的定期評估，并多次開會進(jìn)行討論。此外，為確保定期評估的客觀性，馬普學(xué)會決定增添領(lǐng)域評估。每六年對研究所進(jìn)行領(lǐng)域評估，對研究所過去六年的研究成果進(jìn)行評價，對在科研項目和計劃提出意見。但無論是有專家團體事實的實現(xiàn)評估，還是科學(xué)顧問團展開的定期評估和領(lǐng)域評估，馬普學(xué)會評估的核心是同行評議系統(tǒng)。評價結(jié)果還用來引導(dǎo)研究所的研究方向。

1.3.3 中國科學(xué)院

信息化正給我國科學(xué)界和科研工作帶來全新變化，現(xiàn)代科研所需的信息化理念、平臺、系統(tǒng)、技術(shù)、工具和手段等不斷創(chuàng)新，成為推動新一輪科技創(chuàng)新和科技革命的重要引擎。自2008年起，中國科學(xué)院組織開展了全院信息化評估工作，針對中國科學(xué)院直屬的研究所、支撐單位和分院進(jìn)行了全面的、制度化的、常態(tài)化的評估工作，匯總了各個單位在科研、管理等方面的信息化數(shù)據(jù)。中國科學(xué)院“信息化評估體系”由三級評估指標(biāo)構(gòu)成，其中包括三個第一級指標(biāo)、九個第二級要素以及二十三個三級指標(biāo)。中國科學(xué)院信息化評估餓主要目的是為了全面客觀反映中國科學(xué)院信息化發(fā)展?fàn)顩r和態(tài)勢、科學(xué)組織和引導(dǎo)信息化建設(shè)，為信息化管理、規(guī)劃制定提供了重要依據(jù)并指導(dǎo)決策方向。

1.3.4 中國臺灣大專校院咨詢服務(wù)協(xié)會

中國臺灣大專校院咨詢服務(wù)協(xié)會(ISAC)是促進(jìn)高校信息應(yīng)用推進(jìn)，提升高?？蒲泻徒虒W(xué)效率，提供信息政策與應(yīng)用環(huán)境支持，提供信息咨詢與信息分享的機構(gòu)。

圖1 中國科學(xué)院信息化評估指標(biāo)體系Fig.1 Index for CAS informatization assessment

圖2 ISAC 工作流程Fig.2 ISAC workflow

SAC 信息化評估目的是了解臺灣大專校院咨詢部門最高主管的特征和IT 資源使用的情況，掌握近年來臺灣大專校院資訊化環(huán)境與重要資訊一體的發(fā)展趨勢，同時比較國內(nèi)外大專校院資訊化的發(fā)展趨勢。臺灣大專校院咨詢服務(wù)協(xié)會(ISAC)的信息化評估的工作流程分為事前準(zhǔn)備、團隊討論、正式普查和產(chǎn)出結(jié)果。其中事前準(zhǔn)備的主要內(nèi)容有收集并確立題目和專家任免，專家討論部分包括專家討論第一次、根據(jù)專家建議修改題目、最終產(chǎn)出問卷，然后在正式普查階段建立系統(tǒng)平臺、發(fā)出回收問卷，最后經(jīng)過專家討論過后產(chǎn)出研究報告結(jié)果。

2 機構(gòu)信息化評估的建立

2.1 信息化評估原則

(1)系統(tǒng)性原則：科學(xué)統(tǒng)籌信息化評估指標(biāo)體系中總體和局部的關(guān)系。系統(tǒng)編制反映信息化總體態(tài)勢的指標(biāo)，單一指標(biāo)是反映信息化具體工作領(lǐng)域的指標(biāo)。指標(biāo)體系是體現(xiàn)各指標(biāo)間的等級相關(guān)系數(shù)1等級相關(guān)系數(shù)亦稱為“秩相關(guān)系數(shù)”，是反映等級相關(guān)程度的統(tǒng)計分析指標(biāo)。的體現(xiàn)。指標(biāo)權(quán)重2權(quán)重是相對的概念，是針對某一指標(biāo)。某一指標(biāo)的權(quán)重是指該指標(biāo)在整體評價中的相對重要程度。是指標(biāo)重要性的體現(xiàn)。

(2)導(dǎo)向性原則：信息化評估指標(biāo)體系權(quán)重設(shè)置上，堅持依據(jù)信息化發(fā)展的客觀趨勢，體現(xiàn)信息化發(fā)展的特色。

(3)客觀性原則：信息化評估指標(biāo)體系盡可能依賴于客觀數(shù)據(jù)，兼顧可操作性，方便減輕參評單位填報負(fù)擔(dān)，并最大程度客觀反映信息化現(xiàn)狀。

2.2 信息化評價方法

機構(gòu)信息化評估中綜合指數(shù)法應(yīng)用廣泛，綜合指數(shù)法是指在確定一套合理的信息化指標(biāo)體系的基礎(chǔ)上，對各項信息化指標(biāo)個體指數(shù)進(jìn)行加權(quán)平均，得到一個綜合的值，用來評價信息化水平。即將一組相同或不同指數(shù)通過統(tǒng)計學(xué)處理，使同計量單位、性質(zhì)的指標(biāo)值標(biāo)準(zhǔn)化，最后轉(zhuǎn)化成一個綜合指數(shù)，以準(zhǔn)確評價工作的綜合水平。綜合指數(shù)值越大，工作質(zhì)量越好。

縱觀國際上比較出名的機構(gòu)都是采用綜合指數(shù)法對信息化水平進(jìn)行評價，比如：EGDI 指數(shù)一個國家的數(shù)據(jù)通信基礎(chǔ)設(shè)施指數(shù)(TII)、人力資源指數(shù)(HCI)和在線服務(wù)的范圍和質(zhì)量指數(shù)(OSI)三個指數(shù)的綜合指數(shù)，通過這個綜合值來對信息化水平進(jìn)行評估。而信息社會指數(shù)(ISI)是信息量、信息裝備率、通信主體水平、信息系數(shù)四個方面的指數(shù)的綜合值。中國科學(xué)院通過基礎(chǔ)設(shè)施指數(shù)、信息化應(yīng)用指數(shù)、網(wǎng)絡(luò)安全指數(shù)這三個指數(shù)結(jié)合相應(yīng)的權(quán)重求得一個綜合指數(shù)來評估機構(gòu)信息化水平，以此來促進(jìn)各單位對信息化的認(rèn)識和相應(yīng)業(yè)務(wù)的發(fā)展。

2.3 信息化評估指標(biāo)體系

完整的評價指標(biāo)體系應(yīng)包括指標(biāo)結(jié)構(gòu)層次，各級指標(biāo)內(nèi)容以及相應(yīng)指標(biāo)權(quán)重組成的有機整體。它是從多個視角和層次反映評估對象的各個方面的水平。它是一個“具體—抽象—具體”的過程，是人們對被評估對象從整體到局部，從抽象到具體逐漸認(rèn)識的一個過程。從評估指標(biāo)體系可以對評估對象有個整體而全面的把握，現(xiàn)象總體數(shù)量特征的認(rèn)識逐步深化、求精、完善、系統(tǒng)化的過程。

例如中國科學(xué)院信息化評價指標(biāo)體系是指由代表信息化基礎(chǔ)設(shè)施，信息化應(yīng)用、信息化保障等各個方面及其相互聯(lián)系的多個指標(biāo)，所構(gòu)成具有內(nèi)在結(jié)構(gòu)的有機整體。為了適應(yīng)信息時代對各個單位的新要求，順應(yīng)國家的發(fā)展規(guī)劃及要求結(jié)合單位的具體業(yè)務(wù)，更加科學(xué)，全面、系統(tǒng)的評估各單位信息化水平，促進(jìn)單位對信息化的認(rèn)識、推動信息化建設(shè)。它根據(jù)一定科學(xué)，系統(tǒng)，導(dǎo)向等原則進(jìn)行設(shè)定。

2.3.1 信息化評估指標(biāo)體系設(shè)置原則

導(dǎo)向性原則：根據(jù)機構(gòu)信息化發(fā)展戰(zhàn)略的總體要求，信息化評估指標(biāo)體系的設(shè)定以促進(jìn)信息化發(fā)展為目標(biāo)。

系統(tǒng)性原則：信息化評價指標(biāo)體系中各指標(biāo)有一定的邏輯關(guān)系，每個指標(biāo)都反映了信息化工作的某一方面，各個指標(biāo)相互獨立又彼此聯(lián)系共同構(gòu)成了一個有機整體，指標(biāo)體系的構(gòu)建從上而下，層次分明，從宏觀到微觀，反映了信息化建設(shè)的方方面面，形成一個不可分割的評價體系。

可比性原則：評估指標(biāo)體系中選用的指標(biāo)既要有穩(wěn)定的數(shù)據(jù)來源，又要適應(yīng)我國的實際，指標(biāo)的口徑包括指標(biāo)的時間長度、計量單位、內(nèi)容含義，必須一致可比，才能保證評估結(jié)果的真實、客觀和合理。

科學(xué)性原則：利用文獻(xiàn)調(diào)研法，計量分析法，層次分析法，數(shù)據(jù)可視法，同行評議法和德爾菲法等多種科學(xué)方法設(shè)計指標(biāo)體系以及權(quán)重，能客觀真實的反應(yīng)機構(gòu)信息化發(fā)展的特點、狀態(tài)。并且各指標(biāo)具有典型代表性，簡潔、明了，以定量為主，定性為輔，盡量使得評估結(jié)果客觀、真實。

靈活可操作性原則：評估指標(biāo)體系在實際應(yīng)用中應(yīng)具有一定的靈活性，以方便不同發(fā)展水平、不同層次評估對象的操作使用。各個指標(biāo)的數(shù)據(jù)來源渠道要暢通。我們針對不同的評估對象微調(diào)指標(biāo)體系內(nèi)容正是應(yīng)用了這一原則。我們的數(shù)據(jù)主要是通過信息系統(tǒng)采集方式和互聯(lián)網(wǎng)搜索的方式進(jìn)行數(shù)據(jù)的獲取，這將保障了數(shù)據(jù)來源的實時有效性。

2.3.2 信息化評估指標(biāo)體系制定方法

(1)文獻(xiàn)調(diào)研法確定體系

文獻(xiàn)調(diào)研法是通過對文獻(xiàn)資料的收集、整理、分析達(dá)到對信息化評估進(jìn)行科學(xué)認(rèn)識的方法。通過文獻(xiàn)調(diào)研對信息化評估有個整體全面的認(rèn)識，重點調(diào)研了國際上相似的機構(gòu)的信息化評估指標(biāo)體系，系統(tǒng)地研究國內(nèi)外信息化評估方法。

例如科研機構(gòu)應(yīng)根據(jù)相應(yīng)的業(yè)務(wù)特點，選取了信息化基礎(chǔ)設(shè)施，信息化應(yīng)用，網(wǎng)絡(luò)安全這三個指標(biāo)作為機構(gòu)信息化評估的一級指標(biāo)，并根據(jù)具體業(yè)務(wù)需求，制定二級和三級指標(biāo)。文獻(xiàn)調(diào)研的內(nèi)容主要包括聯(lián)合國電子政務(wù)發(fā)展指數(shù)(EGDI)、信息社會指數(shù)(ISI)、發(fā)展指數(shù)(IDI)。通過調(diào)研這些機構(gòu)，發(fā)現(xiàn)以上機構(gòu)均從信息化基礎(chǔ)設(shè)施和信息化應(yīng)用水平方面來衡量信息化水平，結(jié)合我國科研機構(gòu)的業(yè)務(wù)和發(fā)展規(guī)劃，制定的信息化評估指標(biāo)體系。

(2)監(jiān)測分析法確定體系

檢測分析是通過系統(tǒng)地檢測機構(gòu)各單位和其他研究機構(gòu)在信息化方面和網(wǎng)絡(luò)安全方面的政策、規(guī)劃、和重大信息化任務(wù)方面的情況。從而針對相應(yīng)的需求做出相應(yīng)的改進(jìn)。

機構(gòu)信息化發(fā)展態(tài)勢監(jiān)測是信息化評估重要的參照對象。像科研機構(gòu)會重點監(jiān)測了世界知名研究機構(gòu)如法國科學(xué)院、俄羅斯科學(xué)院和德國馬普學(xué)會等這種類似機構(gòu)在信息化發(fā)展方面的工作，還會檢測機構(gòu)單位信息化發(fā)展中存在的問題的成果，時刻關(guān)注信息化發(fā)展的態(tài)勢，從而指導(dǎo)下一步工作的開展。比如，最近幾年通過檢測各個國家在網(wǎng)絡(luò)安全和信息化方面的政策、規(guī)劃和重大信息化任務(wù)等方面的內(nèi)容，還有結(jié)合我國信息化發(fā)展實際情況，機構(gòu)應(yīng)增加了網(wǎng)絡(luò)安全部分的權(quán)重，以此來適應(yīng)信息化發(fā)展態(tài)勢。綜合考慮各種情況從而制定出適應(yīng)機構(gòu)自己的指標(biāo)體系。

(3)德爾菲法確定體系

德爾菲法是采用背對背的通信方式征詢專家小組成員的預(yù)測意見，經(jīng)過幾輪征詢，使專家小組的預(yù)測意見趨于集中，最后做出符合市場未來發(fā)展趨勢的預(yù)測結(jié)論。我們通過選取各領(lǐng)域?qū)＜?，對所要預(yù)測的問題征得專家的意見之后，進(jìn)行整理、歸納、統(tǒng)計，再匿名反饋給各專家，再次征求意見，再集中，再反饋，直至得到一致的意見。通過德爾菲法可以充分發(fā)揮各位專家的作用，集思廣益同時又避免了專家會議的缺點，最終取各位專家之長。根據(jù)最后結(jié)果對信息化評估體系和內(nèi)容進(jìn)行調(diào)整?？蒲袡C構(gòu)利用德爾菲法選取各領(lǐng)域的專家根據(jù)他們的經(jīng)驗以及對國家信息化發(fā)展趨勢的把握，對信息化評估內(nèi)容和指標(biāo)進(jìn)行提取，最終得到比較全面評價信息化水平的指標(biāo)。

(4)大數(shù)據(jù)分析法確定體系

大數(shù)據(jù)分析法是基于多渠道來源、多種類型數(shù)據(jù)進(jìn)行匯聚分析方法。比如我們通過從信息系統(tǒng)，互聯(lián)網(wǎng)抓取等方法采集數(shù)據(jù)，獲得比較準(zhǔn)確真實的數(shù)據(jù)，數(shù)據(jù)類型包括文本、數(shù)值型、文檔等。對這些數(shù)據(jù)的處理采用了大數(shù)據(jù)分析的方法，從中提取關(guān)鍵信息，將所有的數(shù)據(jù)連接到信息化評估平臺，進(jìn)行智能分析和可視化分析。科研機構(gòu)信息化評估中的關(guān)于數(shù)字資源的信息都是通過信息系統(tǒng)采集而來，還有網(wǎng)絡(luò)安全部分的許多信息都是通過安全系統(tǒng)獲得，大數(shù)據(jù)分析這種方法在信息化評估中應(yīng)用廣泛，這將促進(jìn)信息共享，和信息資源的合理利用。推動了信息化工作的開展和業(yè)務(wù)的發(fā)展。

2.3.3 信息化評估指標(biāo)權(quán)重

評估指標(biāo)的權(quán)重是指在評估指標(biāo)體系中每個指標(biāo)在多個指標(biāo)綜合評估中的主要程度，因各指標(biāo)的在指標(biāo)體系中的重要性不同，不能等量齊觀，必須客觀地確定各指標(biāo)的權(quán)重。權(quán)重的數(shù)值準(zhǔn)確確定與否直接影響綜合評估的結(jié)果，因而，科學(xué)地確定指標(biāo)權(quán)重具有舉足輕重的地位。確定評估權(quán)重的方法有：德爾菲法、層次分析法、強制打分法、主成分分析法、因子分析法和相關(guān)系數(shù)構(gòu)權(quán)法等，其中最常用的是德爾菲法和層次分析。

(1)德爾菲法確定權(quán)重

德爾菲法是采用背對背的通信方式征詢專家小組成員的意見，經(jīng)過幾輪反復(fù)征詢和反饋，專家的意見趨于集中，最后得到具有很高準(zhǔn)確率的集體判斷結(jié)果。

在評估指標(biāo)體系的權(quán)重確定中，為了提高權(quán)重的準(zhǔn)確性，我們聘請評估信息化領(lǐng)域內(nèi)的專家對各個評價指標(biāo)的重要程度進(jìn)行評定，給出權(quán)重。然后由綜合評價人員對各個專家的結(jié)果進(jìn)行綜合，計算出平均數(shù)，然后反饋給各位專家，如此反復(fù)進(jìn)行幾次，使得各位專家的意見趨于一致，從而就可以確定出各評價指標(biāo)的權(quán)重。

例如：在科研機構(gòu)信息化評估中，指標(biāo)信息化基礎(chǔ)設(shè)施、信息化應(yīng)用和網(wǎng)絡(luò)安全三個一級指標(biāo)的權(quán)重就是根據(jù)德爾菲法進(jìn)行確定的。最終得出權(quán)重分別為0.3、0.5、0.2。

(2)層次分析法確定權(quán)重

層次分析法(Analytic Hierarchy Process，簡稱AHP)是對一些較為復(fù)雜、較為模糊的問題作出決策的簡易方法， 是適用于難于完全定量分析的問題的多準(zhǔn)則決策方法。 層次分析法的基本思路：建立評價對象的綜合評價指標(biāo)體系，通過指標(biāo)之間的兩兩比較確定出各自的相對重要程度，然后通過特征值法來確定各評價指標(biāo)權(quán)重。其具體步驟如下：

就信息化應(yīng)用下的二極指標(biāo)而言，詳細(xì)說明層次分析法如何確定指標(biāo)權(quán)重的。

①根據(jù)權(quán)重評分規(guī)則構(gòu)造出指標(biāo)的判斷矩陣

②計算各指標(biāo)權(quán)重

層次分析法的信息基礎(chǔ)是判斷矩陣，利用排序原理，求得各行的幾何平均數(shù)，然后計算各評價指標(biāo)的重要性權(quán)重，部分計算公式為：

表2 判斷矩陣Table2 Assessment index

這里 i=1，2，…，m

計算出權(quán)重為0.397,0.296,0.154,0.153,

(3)對判斷矩陣進(jìn)行一致性檢驗

計算出判斷矩陣的一致性指標(biāo)CI，計算公式如下

再計算出檢驗用的隨機一致性比率CR計算公式如下：

通過檢驗結(jié)果發(fā)現(xiàn)隨機一致性比率小于0.10時，可以認(rèn)為判斷矩陣滿足一致性要求，則所求出的評價指標(biāo)權(quán)重是合適的。

當(dāng)層次總排序通過了一致性檢驗后，我們就能夠確定評估指標(biāo)體系各層級因素的權(quán)重，明確了各項指標(biāo)因子的地位，使得各評價機構(gòu)在信息化評估中得到了更加合理和公平的成績和結(jié)果，也進(jìn)一步優(yōu)化了評估體系。同時，利用層次分析法確立各項指標(biāo)的權(quán)重分配，具有科學(xué)性、實用性和可操作性強的特點，尤其可用于對無結(jié)構(gòu)特性的系統(tǒng)評價以及多目標(biāo)、多準(zhǔn)則、多時期等的系統(tǒng)評價。

2.3.4 信息化評估指標(biāo)內(nèi)容設(shè)置

指標(biāo)體系明確了評估評價的結(jié)構(gòu)，評估的具體內(nèi)容則是具體數(shù)據(jù)的表征。內(nèi)容的設(shè)置則要反映業(yè)務(wù)特點，考慮信息獲取的難易度以及信息的客觀性。對中國科學(xué)院信息化評估內(nèi)容的選取，考慮從支撐信息化發(fā)展的基礎(chǔ)環(huán)境、信息化應(yīng)用的領(lǐng)域和保障信息化發(fā)展的網(wǎng)絡(luò)安全這三個方面評估單位的信息化水平?；A(chǔ)環(huán)境部分包含信息化管理與運行、信息化基礎(chǔ)設(shè)施、信息化資源，基礎(chǔ)設(shè)施主要評估單位的網(wǎng)絡(luò)、計算、存儲環(huán)境，這三個方面給信息化提供了基本的環(huán)境，例如：考慮到數(shù)據(jù)的代表性和獲取的難易程度，我們在計算環(huán)境部分重點評估單位云計算和超級計算能力方面的能力。

2.4 評分方法及其應(yīng)用

評分方法是指采用一定的標(biāo)準(zhǔn)對定量問題和定性問題按照重要程度進(jìn)行打分的方法，國際著名機構(gòu)信息化評估中采用的打分方法有：采用直接結(jié)果作為得分或百分點得分、對標(biāo)得分、差異程度得分等計算方法來計算成績，而我們機構(gòu)根據(jù)評估內(nèi)容的特性采用了專家打分法、百分比、近似正態(tài)分布法、分位數(shù)法和加權(quán)算術(shù)平均分等，下面詳細(xì)談?wù)劯鞣N方法在機構(gòu)信息化評分中的應(yīng)用。

2.4.1 專家打分法

專家打分法是指通過匿名方式征詢有關(guān)專家的意見，對專家意見進(jìn)行統(tǒng)計、處理、分析和歸納，客觀地綜合多數(shù)專家經(jīng)驗和主觀判斷，對一些難以采用技術(shù)方法進(jìn)行定量分析的問題作出合理的估算。對于一些難以定量分析的題目和答案，如網(wǎng)絡(luò)情況、科學(xué)依據(jù)取得的重要成果、云計算應(yīng)用等，要專家根據(jù)自己的知識和經(jīng)驗做出主觀性判別，給出合理的分?jǐn)?shù)。利用互聯(lián)網(wǎng)組織多位專家進(jìn)行打分，根據(jù)統(tǒng)計學(xué)相關(guān)原理，最少5名專家對同一道題目打分，在保證合理利用人權(quán)的情況下，保證了分?jǐn)?shù)的合理性。

2.4.2 百分比法

圖3 數(shù)據(jù)驗證結(jié)果Fig.3 Data validation results

圖4 數(shù)據(jù)驗證結(jié)果Fig.4 Data validation results

對于百分比的相關(guān)問題，計算時直接將百分點進(jìn)行換算后得出的值作為該項問題的得分。例如某單位主機高危漏洞通報處理反饋率為72%，那么這個單位在該項問題中的得分為0.72；又例如某單位安全服務(wù)器的相對數(shù)量為49臺，其該項得分即為49/100=0.49分。

2.4.3 近似正態(tài)分布法

近似正態(tài)分布法是根據(jù)大樣本情況下數(shù)據(jù)近似服從正態(tài)分布的特性，根據(jù)正態(tài)分布的性質(zhì)，在區(qū)間(μ–σ，μ+σ)內(nèi)占整個面積的68.27%，是主體，要重點抓，如超算能力如果服從近似正態(tài)分布，那么大部分單位的超算能力應(yīng)該在這個區(qū)間內(nèi)，我們通過對正態(tài)數(shù)據(jù)進(jìn)行區(qū)間的劃分，給每一個區(qū)間賦上合理的分?jǐn)?shù)來對各單位超算能力進(jìn)行打分，這種評分方法拉開了各單位之間的差距，體現(xiàn)出了差異性，有利于后期的評估以及問題的發(fā)現(xiàn)。

圖5 偏態(tài)分布數(shù)據(jù)Fig.5 Skewed data distribution

圖6 數(shù)據(jù)VS 打分Fig.6 VS data scoring

2.4.4 百分位數(shù)方法

由于存在極端數(shù)據(jù)和數(shù)據(jù)分布不均勻，因而產(chǎn)生了數(shù)據(jù)呈現(xiàn)偏態(tài)分布，近似正態(tài)分布法的方式已經(jīng)不能合理的打分。

因此需要一種既保證分?jǐn)?shù)的結(jié)果盡量合理，且不需要占用過多計算量的方法。通過對數(shù)據(jù)進(jìn)行劃分區(qū)間，根據(jù)實際情況對每個區(qū)間進(jìn)行賦值打分，通過我們的數(shù)據(jù)驗證，在情況下根據(jù)題目的權(quán)重并結(jié)合數(shù)據(jù)分布的情況確定合理區(qū)間數(shù)量，選擇3至5個區(qū)間為合理范圍。

3 結(jié)論

通過對于信息化建設(shè)和發(fā)展的評估，已經(jīng)形成了完善的信息化評估的模式，從指標(biāo)體系的設(shè)立，評價內(nèi)容的選擇到評估結(jié)果的評價。機構(gòu)信息化評估對于推動機構(gòu)的創(chuàng)新發(fā)展起到了關(guān)鍵性作用，通過全方位豐富數(shù)據(jù)，為信息化工作的推進(jìn)提供了客觀依據(jù)并積累了寶貴的一手資料。通過信息化評估推動了機構(gòu)的信息化程度，不斷提高生產(chǎn)和工作效率。