淺談數(shù)據(jù)治理在數(shù)據(jù)質(zhì)量管理中的作用

續(xù)瑾成

（中國石油大港油田公司 信息中心，天津 300000）

淺談數(shù)據(jù)治理在數(shù)據(jù)質(zhì)量管理中的作用

續(xù)瑾成

（中國石油大港油田公司 信息中心，天津 300000）

當今社會，很多大型公司和機構(gòu)擁有大量但分散在所有運營系統(tǒng)中的客戶、產(chǎn)品和供應(yīng)商相關(guān)的信息。沒有合適的監(jiān)督，數(shù)據(jù)的質(zhì)量將不斷下降。數(shù)據(jù)質(zhì)量管理是一門學(xué)科，包含度量、改進和驗證組織數(shù)據(jù)質(zhì)量和完整性的方法。數(shù)據(jù)質(zhì)量包括數(shù)據(jù)標準化、匹配、壽命和持續(xù)的質(zhì)量監(jiān)控。數(shù)據(jù)治理組織需要建立策略來識別高價值數(shù)據(jù)屬性，建立機制來不斷提高數(shù)據(jù)質(zhì)量。

大數(shù)據(jù)；數(shù)據(jù)質(zhì)量管理；數(shù)據(jù)治理

1　建立數(shù)據(jù)質(zhì)量策略

各個應(yīng)用系統(tǒng)、業(yè)務(wù)部門都擁有對其運作至關(guān)重要的數(shù)據(jù)，因此，了解數(shù)據(jù)是非常重要的。建立數(shù)據(jù)質(zhì)量策略與數(shù)據(jù)治理流程中“了解數(shù)據(jù)”的步驟緊密連接。首先，在數(shù)據(jù)治理組織識別了業(yè)務(wù)驅(qū)動的數(shù)據(jù)治理關(guān)鍵績效指標后，就很容易確定具有最高價值的數(shù)據(jù)屬性。其次，數(shù)據(jù)治理組織還需要制定可接受的數(shù)據(jù)質(zhì)量水平策略。最后，數(shù)據(jù)治理組織需要制定處理數(shù)據(jù)質(zhì)量問題的策略和規(guī)程。

2　建立數(shù)據(jù)治理組織架構(gòu)

健全的數(shù)據(jù)治理組織是全面開展數(shù)據(jù)治理工作的基礎(chǔ)，數(shù)據(jù)治理組織應(yīng)包括管理人員、業(yè)務(wù)人員和技術(shù)人員，缺一不可。數(shù)據(jù)治理組織可以設(shè)置三種角色，數(shù)據(jù)治理委員會、數(shù)據(jù)治理業(yè)務(wù)組、數(shù)據(jù)治理技術(shù)組。

數(shù)據(jù)治理委員會：由組織領(lǐng)導(dǎo)、信息技術(shù)部門負責(zé)人和業(yè)務(wù)部門負責(zé)人組成，委員會負責(zé)制定相關(guān)制度、目標、規(guī)范、流程、標準等，溝通協(xié)調(diào)，保障數(shù)據(jù)治理工作的全面順利推進。

數(shù)據(jù)治理業(yè)務(wù)組：由業(yè)務(wù)部門的業(yè)務(wù)專家、系統(tǒng)管理員組成，負責(zé)業(yè)務(wù)系統(tǒng)參數(shù)、基礎(chǔ)數(shù)據(jù)維護，保證系統(tǒng)正常使用；另外還要負責(zé)審核、檢查、整改業(yè)務(wù)數(shù)據(jù)，保障數(shù)據(jù)質(zhì)量在數(shù)據(jù)產(chǎn)生源頭的高度和精度。

數(shù)據(jù)治理技術(shù)組：由信息技術(shù)部門的專業(yè)IT技術(shù)人員組成，包括系統(tǒng)開發(fā)人員、數(shù)據(jù)治理人員、數(shù)據(jù)庫管理員。系統(tǒng)開發(fā)人員負責(zé)系統(tǒng)數(shù)據(jù)錄入功能符合數(shù)據(jù)校驗標準和數(shù)據(jù)治理標準；數(shù)據(jù)治理人員負責(zé)開發(fā)數(shù)據(jù)質(zhì)量檢測規(guī)則、監(jiān)控數(shù)據(jù)質(zhì)量、批量修改數(shù)據(jù)等工作；數(shù)據(jù)庫管理員負責(zé)系統(tǒng)數(shù)據(jù)的備份、恢復(fù)、審核等工作。

3　設(shè)置數(shù)據(jù)質(zhì)量基準

數(shù)據(jù)必須具有合適的質(zhì)量，才能解決業(yè)務(wù)的需要?？赏ㄟ^多種方式評估數(shù)據(jù)集的質(zhì)量。①效性。數(shù)據(jù)值具有可接受的格式。例如，員工編號為6位文字數(shù)字字符。②唯一性。數(shù)據(jù)字段中沒有重復(fù)的值。③完備性。數(shù)據(jù)字段中沒有空值。例如，郵政編碼應(yīng)該始終填入到地址表中。④一致性。數(shù)據(jù)屬性與可能基于該屬性本身或多個屬性制定的業(yè)務(wù)規(guī)則一致。⑤及時性。數(shù)據(jù)屬性表示沒有過時的信息。例如，沒有客戶合同擁有已過期的有效期。⑥準確性。數(shù)據(jù)屬性是準確的。⑦符合業(yè)務(wù)規(guī)則。數(shù)據(jù)屬性或數(shù)據(jù)屬性組合遵守指定的業(yè)務(wù)規(guī)則。

4　建立主數(shù)據(jù)中心以實現(xiàn)對主數(shù)據(jù)的管理

要滿足收入增長、成本減少和風(fēng)險管理等基本戰(zhàn)略目標，數(shù)據(jù)治理組織需要控制業(yè)務(wù)部門中的數(shù)據(jù)。這些信息中最有價值的部分（關(guān)于客戶、產(chǎn)品、材料、供應(yīng)商和賬戶的關(guān)鍵業(yè)務(wù)數(shù)據(jù)）常常稱為主數(shù)據(jù)。

主數(shù)據(jù)十分重要，分散在整個企業(yè)的業(yè)務(wù)流程、系統(tǒng)和應(yīng)用程序中。數(shù)據(jù)治理組織現(xiàn)在已認識到了主數(shù)據(jù)的戰(zhàn)略價值，在大部分企業(yè)和組織中，多個應(yīng)用系統(tǒng)、不同部門間需要共享數(shù)據(jù)的現(xiàn)象非常普遍，建立主數(shù)據(jù)中心不僅能避免各應(yīng)用系統(tǒng)相互共享數(shù)據(jù)形成網(wǎng)狀結(jié)構(gòu)，同時能夠保證對外提供準確、一致的數(shù)據(jù)。這其中，凡是需要交換、共享的數(shù)據(jù)都納入到主數(shù)據(jù)范圍，形成一致的、完整的、準確的核心業(yè)務(wù)數(shù)據(jù)，統(tǒng)一由主數(shù)據(jù)中心完成對外提供數(shù)據(jù)的任務(wù)。建立主數(shù)據(jù)中心不僅僅是技術(shù)工作，除開發(fā)、維護外還需要制定開發(fā)規(guī)范、管理規(guī)范、管理流程，共同規(guī)范主數(shù)據(jù)的使用。

5　實現(xiàn)數(shù)據(jù)質(zhì)量管理和數(shù)據(jù)治理的良好結(jié)合

數(shù)據(jù)質(zhì)量管理應(yīng)當是與整個公司組織的數(shù)據(jù)治理體系有機結(jié)合在一起的，數(shù)據(jù)標準為數(shù)據(jù)質(zhì)量管理提供質(zhì)量檢查規(guī)則來源，而數(shù)據(jù)是否符合標準，是一個典型的數(shù)據(jù)質(zhì)量問題，通過部署數(shù)據(jù)質(zhì)量管理系統(tǒng)，可以對數(shù)據(jù)標準的落地實施提供監(jiān)控和檢驗手段。

元數(shù)據(jù)管理系統(tǒng)可以作為數(shù)據(jù)質(zhì)量管理的一個輸入，輔助數(shù)據(jù)質(zhì)量檢查腳本的自動生成；而數(shù)據(jù)質(zhì)量管理系統(tǒng)中存儲的檢核規(guī)則等信息又是一項元數(shù)據(jù)，應(yīng)當被元數(shù)據(jù)管理系統(tǒng)采集。

數(shù)據(jù)安全管理中定義的數(shù)據(jù)所有者，是構(gòu)建數(shù)據(jù)質(zhì)量治理閉環(huán)流程，確定數(shù)據(jù)整改權(quán)責(zé)的重要依據(jù)。

6　數(shù)據(jù)質(zhì)量管理流程的關(guān)鍵要素

數(shù)據(jù)質(zhì)量管理流程應(yīng)當涵蓋從“數(shù)據(jù)產(chǎn)生”到“數(shù)據(jù)集成”再到“數(shù)據(jù)使用”在內(nèi)的全過程，為了進行有效的數(shù)據(jù)質(zhì)量管理，數(shù)據(jù)質(zhì)量管理的不同功能點應(yīng)當分布在流程的恰當環(huán)節(jié)，基于基礎(chǔ)數(shù)據(jù)平臺類系統(tǒng)構(gòu)建數(shù)據(jù)質(zhì)量管理系統(tǒng)，并將源系統(tǒng)、相關(guān)應(yīng)用以及相關(guān)信息技術(shù)和業(yè)務(wù)用戶都納入到數(shù)據(jù)質(zhì)量的發(fā)現(xiàn)-修正-跟蹤-評估的閉環(huán)流程當中，是實施數(shù)據(jù)質(zhì)量管理的最佳選擇。

同時，數(shù)據(jù)質(zhì)量管理成敗的一個關(guān)鍵點在于合理有效的組織架構(gòu)和流程，而不是管理系統(tǒng)自身，因此應(yīng)當更重視數(shù)據(jù)質(zhì)量管理配套的組織架構(gòu)和流程建設(shè)。

因此，在構(gòu)建數(shù)據(jù)質(zhì)量管理體系時，需考慮以下5個關(guān)鍵因素：①跨部門以上領(lǐng)導(dǎo)的重視和牽頭；②專門負責(zé)解決數(shù)據(jù)質(zhì)量問題的組織；③專門負責(zé)解決數(shù)據(jù)質(zhì)量問題的流程；④專門負責(zé)解決數(shù)據(jù)質(zhì)量問題的平臺；⑤專門負責(zé)偵測數(shù)據(jù)質(zhì)量問題的工具。

10.3969/j.issn.1673 - 0194.2016.18.133

F830.49；TP311.13

A

1673-0194（2016）18-0192-01

2016-08-20