惠州供電局信息系統(tǒng)數(shù)據(jù)質量研究與應用

李廣

（惠州供電局，廣東 惠州 516000）

1 研究背景

惠州供電局（以下簡稱：惠州局）通過長期信息化建設，構建了完善的業(yè)務應用系統(tǒng)，高效地支持安全、生產(chǎn)、經(jīng)營等工作。

2010年，根據(jù)廣東電網(wǎng)公司推進信息系統(tǒng)深化應用要求，結合惠州局業(yè)務應用系統(tǒng)應用現(xiàn)狀，為解決現(xiàn)在存在的數(shù)據(jù)質量問題，有必要建立一套規(guī)范合理的評估和解決方案體系，對業(yè)務應用系統(tǒng)各項指標進行合理的分析；根據(jù)分析結果，制定相應的管理辦法，采取相應的技術措施，采用對比評估、量化考慮等手段來提高應用系統(tǒng)的實用化程度，更好的發(fā)揮應用系統(tǒng)的作用，加快核心信息系統(tǒng)信息化建設進程和深化應用，提高各部門協(xié)作關系，最終使惠州供電局的業(yè)務應用系統(tǒng)實用化邁上一個新的臺階。

2 數(shù)據(jù)質量管理體系建設思路

根據(jù)惠州局信息系統(tǒng)的實際應用情況及數(shù)據(jù)質量狀況，在數(shù)據(jù)質量管理體系建設方面，以下思路進行建設：數(shù)據(jù)分析、數(shù)據(jù)任責體系、組織架構、數(shù)據(jù)治理和系統(tǒng)建設等方面進行，首先進行數(shù)據(jù)質量狀況的分析，了解數(shù)據(jù)質量的當前狀況，以及相應的任責體系，再根據(jù)組織架構確定錯誤數(shù)據(jù)來源與相應組織機構，設計相應的數(shù)據(jù)質量管理體系（制度），最終建設完成一個數(shù)據(jù)質量管理及分析系統(tǒng)，為提升惠州局的整體數(shù)據(jù)質量服務。

整個數(shù)據(jù)質量管理體系的建設思路如下圖所示：

2.1 數(shù)據(jù)分析。數(shù)據(jù)分析主要從錯誤數(shù)據(jù)本身出發(fā)，針對錯誤數(shù)據(jù)進行分析，分析的結果包括：錯誤類型、錯誤數(shù)據(jù)來源、錯誤的現(xiàn)象和錯誤的影響等。

錯誤類型是分析錯誤數(shù)據(jù)產(chǎn)生的原因或類型。根據(jù)實際工作情況，錯誤數(shù)據(jù)產(chǎn)生有幾種類型：人員操作錯誤、信息系統(tǒng)內(nèi)部處理錯誤、信息系統(tǒng)間數(shù)據(jù)交互錯誤。人員操作錯誤主要是通過信息系統(tǒng)操作界面產(chǎn)生的，信息系統(tǒng)內(nèi)部處理錯誤屬系統(tǒng)內(nèi)部的潛在缺陷，而信息系統(tǒng)間數(shù)據(jù)交互錯誤是與不同信息系統(tǒng)的運行環(huán)境相關，特別是網(wǎng)絡環(huán)境、數(shù)據(jù)服務器（含數(shù)據(jù)庫服務器和數(shù)據(jù)交互服務器等）環(huán)境等。在上述三種錯誤類型中，前兩種可以通過加強信息系統(tǒng)自身能力或要求進行改善，如增加界面上的必填字段、設定特定字段的數(shù)據(jù)格式要求等，這些方法可以在一定程度上改善數(shù)據(jù)質量情況。

2.2 數(shù)據(jù)任責體系。數(shù)據(jù)任責體系將主要采用U-C矩陣進行分析。U-C矩陣是數(shù)據(jù)任責體系分析的重要工具之一，它將建立不同信息系統(tǒng)間相同數(shù)據(jù)（基礎數(shù)據(jù)或通用數(shù)據(jù)）的使用（Use，U）和創(chuàng)建（Create，C）矩陣來定位業(yè)務數(shù)據(jù)來源，以期在出現(xiàn)錯誤數(shù)據(jù)時能夠找到來源。

數(shù)據(jù)任責體系主要用于存在大量信息系統(tǒng)，且信息系統(tǒng)間存在大量交互的情況。在一般情況下，創(chuàng)建了數(shù)據(jù)中心并在數(shù)據(jù)中心基礎上存在大量應用的單位在提高數(shù)據(jù)質量時可考慮使用U-C矩陣進行分析，以迅速定位數(shù)據(jù)來源、提高整體的數(shù)據(jù)質量水平。

2.3 組織架構。組織架構是所有信息系統(tǒng)運行的重要基礎信息，每個信息系統(tǒng)都建立有相應的組織架構。如果需要明確在組織機構層面的錯誤數(shù)據(jù)來源，就必須建立統(tǒng)一的組織機構。但由于各信息系統(tǒng)建設的時間不同、各種基礎應用環(huán)境不同，故各信息系統(tǒng)內(nèi)的組織架構的結構與數(shù)據(jù)存在一定的差異，如對于一些早期開發(fā)建設的信息系統(tǒng)，在建設時還沒有具備通用的組織架構信息，故可能采用自行建立相應架構的機制進行開發(fā)建設；而在具備通用的組織架構信息后投入建設的信息系統(tǒng)則可能直接采用統(tǒng)一的組織信息為系統(tǒng)內(nèi)的組織信息。2.4數(shù)據(jù)治理。數(shù)據(jù)治理是在出現(xiàn)錯誤數(shù)據(jù)后，對已有的錯誤數(shù)據(jù)進行治理（修改、重同步等）。數(shù)據(jù)治理在方法上，主要包括體系治理和系統(tǒng)治理等兩方面。

從體系上看，數(shù)據(jù)治理工作主要包括建立相應的管理制度和系統(tǒng)數(shù)據(jù)規(guī)范，并對相關業(yè)務部門的工作人員進行培訓，以提高人員在系統(tǒng)使用過程中的技能或水平，從根源上解決系統(tǒng)操作過程中產(chǎn)生錯誤數(shù)據(jù)的原因。

從系統(tǒng)上看，數(shù)據(jù)治理工作將主要根據(jù)前面的數(shù)據(jù)分析結果，在信息系統(tǒng)本身和信息系統(tǒng)運行環(huán)境上，以技術的方式進行治理。技術方式主要采用改善系統(tǒng)功能及操作規(guī)范性，以及改善信息系統(tǒng)運行環(huán)境（如網(wǎng)絡環(huán)境、服務器環(huán)境等）。

3 數(shù)據(jù)質量管理平臺功能簡介

在數(shù)據(jù)任責體系下，建立數(shù)據(jù)質量管理平臺，對信息系統(tǒng)數(shù)據(jù)進行分析與評價，它結合管理制度和組織機構信息，完成對信息系統(tǒng)數(shù)據(jù)質量的評價、分析、錯誤處理等一系列工作。

整個數(shù)據(jù)質量管理平臺的操作流程及功能如下圖所示：

3.1 評價對象管理。評價對象管理用于管理本系統(tǒng)進行數(shù)據(jù)質量評價的所有對象，包括信息系統(tǒng)、數(shù)據(jù)對象和數(shù)據(jù)字段等信息。

信息系統(tǒng)管理用于建立本系統(tǒng)進行數(shù)據(jù)質量評價的所有信息系統(tǒng)，實現(xiàn)對這些信息系統(tǒng)基本信息的管理，為后續(xù)對信息系統(tǒng)的數(shù)據(jù)抽取提供基礎信息。

數(shù)據(jù)對象是建立于信息系統(tǒng)基礎之上、位于信息系統(tǒng)與數(shù)據(jù)字段之間的一種分類信息，用于設定數(shù)據(jù)類型和范圍，以便于用戶進行理解與歸類。

數(shù)據(jù)字段是評價對象中最小的評價內(nèi)容，也是評價工作中最重要的信息。它將根據(jù)實際要求定義不同的評價規(guī)則，包括完備性、合規(guī)性和一致性，以及其他可以定義的不同維度的規(guī)則，并實現(xiàn)相應的數(shù)據(jù)質量評價規(guī)則。

3.2 評價規(guī)則管理。評價規(guī)則管理用于管理所有評價維度和評價規(guī)則，每個評價維度下可以針對不同的信息系統(tǒng)定義不同的評價規(guī)則，以滿足不同信息系統(tǒng)的特殊化要求。

評價維度管理用于建立數(shù)據(jù)質量評價所使用到的所有維度，并根據(jù)實際工作需求定義新的評價維度，以利于系統(tǒng)在未來的拓展。

評價規(guī)則管理是建立在評價維度和數(shù)據(jù)字段基礎之上的，用于定義每個數(shù)據(jù)字段的每個評價維度下的規(guī)則信息，這些規(guī)則信息將最終應用于對信息系統(tǒng)數(shù)據(jù)質量的評價工作中。根據(jù)數(shù)據(jù)質量評價規(guī)則和對這些規(guī)則的分析，評價規(guī)則實現(xiàn)了以下業(yè)務要求：（完備性）單個字段非空、多個字段一個非空、根據(jù)其他字段的內(nèi)容判定特定字段是否可為空、（合規(guī)性）合法值范圍限定、合法性、數(shù)據(jù)長度范圍限定、（一致性）單個信息系統(tǒng)內(nèi)的數(shù)據(jù)一致性、多個信息系統(tǒng)間的數(shù)據(jù)一致性等等。規(guī)則將根據(jù)實際業(yè)務需要做出不同形式的定義，以確保系統(tǒng)的可拓展性。評價管理

評價管理功能是整個系統(tǒng)中最核心的功能，專用于對各信息系統(tǒng)的數(shù)據(jù)質量進行評價，并對評價結果進行初步分析。

數(shù)據(jù)質量評價

數(shù)據(jù)質量評價是系統(tǒng)最核心功能，它將利用所有基礎數(shù)據(jù)信息（信息系統(tǒng)、數(shù)據(jù)對象、數(shù)據(jù)字段、評價維度和評價規(guī)則等），對各信息系統(tǒng)的數(shù)據(jù)質量進行評價。

數(shù)據(jù)質量評價包括自動評價和手工評價兩種方式。

手工評價由操作人員手動設置信息系統(tǒng)、時間條件等，并執(zhí)行數(shù)據(jù)質量評價；系統(tǒng)將記錄下相關的評價結果。

3.3.2 評價結果分析

評價結果分析是對評價結果進行各種分析，如按信息系統(tǒng)對各業(yè)務部門評價成績進行比較、按業(yè)務部門的評價成績進行分析/比較、按部門下班組/子部門對特定信息系統(tǒng)/數(shù)據(jù)對象的評價成績比較、在指定時間范圍內(nèi)各信息系統(tǒng)評價成績變化情況等。

評價結果分析的目標在于定位出數(shù)據(jù)質量較低的部門或班組，并為后期的數(shù)據(jù)質量提高提供準確信息。

3.4 錯誤數(shù)據(jù)管理

錯誤數(shù)據(jù)管理主要用于對評價結果中的錯誤數(shù)據(jù)信息進行分析與管理，包括錯誤數(shù)據(jù)查詢與統(tǒng)計分析、錯誤數(shù)據(jù)處理工單等主要功能。

錯誤數(shù)據(jù)處理工單用于對錯誤數(shù)據(jù)進行處理的工作安排，將考慮以工作流的形式進行設計?？紤]到目前條件尚未成熟，暫時采用導出EXCEL文件并分發(fā)的形式進行錯誤數(shù)據(jù)處理，未來條件成熟時再考慮在系統(tǒng)內(nèi)實現(xiàn)錯誤數(shù)據(jù)處理工單，以提高系統(tǒng)的自動化程度。

4 應用效益分析

4.1 基本能夠準確定位出錯誤數(shù)據(jù)的來源

在大部分的信息系統(tǒng)中，數(shù)據(jù)內(nèi)容均有較為明確的信息創(chuàng)建者或創(chuàng)建部門信息，故可以通過信息的關聯(lián)性找到相應的錯誤數(shù)據(jù)來源，如個人、班組、部門等，為有針對性地制訂相關管理制度提供了明確的方向。

4.2 完整分析出各信息系統(tǒng)內(nèi)部存在的數(shù)據(jù)隱患

在各信息系統(tǒng)中都存在程度不一的數(shù)據(jù)安全隱患，這為將來從根源上解決信息系統(tǒng)的數(shù)據(jù)質量提供了明確的改進方向。

4.3 細化基層班組的管理粒度

由于基本能夠定位出錯誤數(shù)據(jù)的來源（細化到最底一層組織機構），故能夠提升整體的管理水平，為全面提高信息系統(tǒng)的數(shù)據(jù)質量提供了方向。

結束語

通過數(shù)據(jù)質量管理體系在惠州供電局中的初步應用，目前已取得了初步成效；但惠州局的數(shù)據(jù)質量管理體系建設才剛剛起步，在運行過程中還存在著不少問題，還有大量的可提升空間。未來我們將根據(jù)數(shù)據(jù)質量體系的總體設計思路，逐步將管理體系的各項工作完成、完善，以達到穩(wěn)定提升惠州局各信息系統(tǒng)數(shù)據(jù)質量的最終目標。

[1]張海藩.軟件工程導論（第5版）[M].北京：清華大學出版社.

[2]Mehmed Kantardzic，閃四清，陳茵，程雁.數(shù)據(jù)挖掘——概念、模型、方法和算法[M].北京：清華大學出版社，2003年第1版.

[3]Harold Kerzner，楊愛華，楊磊.項目管理：計劃、進度和控制的系統(tǒng)方法（原著第七版）[M].北京:機械工業(yè)出版社，2002年第1版.

[4]丁海龍，徐宏炳.數(shù)據(jù)質量分析及應用[J].計算機技術與發(fā)展，2007年3月.

[5]韓京宇，徐立臻，董逸生.數(shù)據(jù)質量研究綜述[J].中國科技論文在線.

[6]楊青云，趙培英，楊冬青，唐世渭，童云海.數(shù)據(jù)質量評估方法研究[J].計算機工程與應用，2004年第9期.