大數(shù)據(jù)治理的五個(gè)核心要素

佚名

當(dāng)今的大型企業(yè)，內(nèi)部分工日趨細(xì)化，采購、服務(wù)、市場、銷售、開發(fā)、支持、物流、財(cái)務(wù)、人力等各個(gè)環(huán)節(jié)，無不每時(shí)每刻產(chǎn)生著大量的數(shù)據(jù)。數(shù)據(jù)的格式也越來越多樣化，包括IT系統(tǒng)里存儲的結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)，各樣電子文檔數(shù)據(jù)等。與此同時(shí)，企業(yè)管理者對數(shù)據(jù)的困惑也與日俱增。

零散化存放是數(shù)據(jù)問題根源

造成上述情況最根本的原因是：數(shù)據(jù)零散化存放。大型企業(yè)在不同發(fā)展階段，會根據(jù)業(yè)務(wù)需求建設(shè)很多內(nèi)部IT支撐系統(tǒng)，比如ERP（企業(yè)資源計(jì)劃）系統(tǒng)、CRM（客戶服務(wù)管理）系統(tǒng)、財(cái)務(wù)管理系統(tǒng)等，這些系統(tǒng)的分散建設(shè)，數(shù)據(jù)割裂，造成了數(shù)據(jù)零散化存放的現(xiàn)狀。

基于數(shù)據(jù)作分析，首先需要數(shù)據(jù)的聚合，但由于生產(chǎn)系統(tǒng)和數(shù)據(jù)的離散化，造成了數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)模型不統(tǒng)一，因而企業(yè)最需要做的就是對數(shù)據(jù)整合和標(biāo)準(zhǔn)化。

大數(shù)據(jù)治理帶來全面解決之道

大數(shù)據(jù)治理是諸多數(shù)據(jù)問題的全面解決之道。根據(jù)DAMA（國際數(shù)據(jù)管理協(xié)會）的定義，數(shù)據(jù)治理是指對數(shù)據(jù)資產(chǎn)的管理活動行使權(quán)力和控制的活動集合（規(guī)劃、監(jiān)控和執(zhí)行）。作為DAMA數(shù)據(jù)管理職能框架的10項(xiàng)職能之一，起著指導(dǎo)其他數(shù)據(jù)管理職能如何執(zhí)行的作用，它通過制定正確的政策、操作規(guī)程，確保以正確的方式對數(shù)據(jù)和信息進(jìn)行管理。

大數(shù)據(jù)治理，即基于大數(shù)據(jù)的數(shù)據(jù)治理。大數(shù)據(jù)，一般指符合4V特征的數(shù)據(jù)，包括社交數(shù)據(jù)、機(jī)器數(shù)據(jù)等，大數(shù)據(jù)對傳統(tǒng)數(shù)據(jù)治理工作帶來很多的擴(kuò)展。在政策/流程上，大數(shù)據(jù)治理應(yīng)覆蓋大數(shù)據(jù)的獲取、處理、存儲、安全等環(huán)節(jié)，需要為大數(shù)據(jù)設(shè)置數(shù)據(jù)管理專員制度;需考慮大數(shù)據(jù)與主數(shù)據(jù)管理能力的集成，需要對大數(shù)據(jù)做定義，統(tǒng)一主數(shù)據(jù)標(biāo)準(zhǔn);在數(shù)據(jù)生命周期管理各階段，如數(shù)據(jù)存儲、保留、歸檔、處置時(shí)，要考慮大數(shù)據(jù)保存時(shí)間與存儲空間的平衡。大數(shù)據(jù)量大，因此應(yīng)識別對業(yè)務(wù)有關(guān)鍵影響的數(shù)據(jù)元素，檢查和保證數(shù)據(jù)質(zhì)量。此外，在隱私方面，應(yīng)考慮社交數(shù)據(jù)的隱私保護(hù)需求，制定相應(yīng)政策，還要將大數(shù)據(jù)治理與企業(yè)內(nèi)外部風(fēng)險(xiǎn)管控需求建立聯(lián)系。

大數(shù)據(jù)治理的商業(yè)價(jià)值

企業(yè)只有建立了完整的大數(shù)據(jù)治理體系，保證數(shù)據(jù)的質(zhì)量，才能夠真正有效地挖掘企業(yè)內(nèi)部的數(shù)據(jù)價(jià)值，對外提高競爭力。

首先，高質(zhì)量數(shù)據(jù)是企業(yè)業(yè)務(wù)創(chuàng)新、管理決策的基礎(chǔ)。隨著互聯(lián)網(wǎng)企業(yè)對其他各行業(yè)的沖擊，加劇了市場的競爭，許多企業(yè)面臨收入增速放緩、利潤空間逐步縮小的局面，過去單純的外延式增長已經(jīng)難以為繼。因此，必須向外延與內(nèi)涵相結(jié)合的增長方式轉(zhuǎn)變，未來效益的提升很大程度上要依靠企業(yè)的內(nèi)部挖潛實(shí)現(xiàn)，這從客觀上對企業(yè)的創(chuàng)新能力提出了更高的要求，而提升企業(yè)內(nèi)部數(shù)據(jù)管理的精細(xì)化水平，是企業(yè)開展業(yè)務(wù)創(chuàng)新和管理決策的重要基礎(chǔ)，能夠?yàn)槠髽I(yè)創(chuàng)造巨大效益。

其次，標(biāo)準(zhǔn)化的數(shù)據(jù)是優(yōu)化商業(yè)模式、指導(dǎo)生產(chǎn)經(jīng)營的前提。許多企業(yè)的 IT 系統(tǒng)經(jīng)歷了數(shù)據(jù)量高速膨脹的時(shí)期，這些海量的、分散在不同角落的數(shù)據(jù)導(dǎo)致了數(shù)據(jù)資源利用的復(fù)雜性和管理的高難度性，形成了一個(gè)個(gè)系統(tǒng)豎井。系統(tǒng)之間的關(guān)系、標(biāo)準(zhǔn)化數(shù)據(jù)從哪里獲取都無從知曉。通過數(shù)據(jù)治理工作，可以對分散在各系統(tǒng)中的數(shù)據(jù)提供一套統(tǒng)一的數(shù)據(jù)命名、數(shù)據(jù)定義、數(shù)據(jù)類型、賦值規(guī)則等定義基準(zhǔn)，通過數(shù)據(jù)標(biāo)準(zhǔn)化能防止數(shù)據(jù)的混亂使用，確保數(shù)據(jù)的正確性及質(zhì)量，并可以優(yōu)化商業(yè)模式，指導(dǎo)企業(yè)生產(chǎn)經(jīng)營工作。

最后，多角度、全方位的數(shù)據(jù)是企業(yè)開展市場營銷、爭奪客戶資源的關(guān)鍵。數(shù)據(jù)已成為企業(yè)最核心的隱形財(cái)富，誰掌握了準(zhǔn)確的數(shù)據(jù)誰就能獲得先機(jī)。在當(dāng)前競爭日益激烈的市場上，企業(yè)如何在不同的細(xì)分市場構(gòu)建客戶畫像、開展精準(zhǔn)營銷，如何選擇競爭策略、進(jìn)行經(jīng)營管理決策，都必須基于360度全方位、準(zhǔn)確的客戶數(shù)據(jù)加以分析判斷才能得出。

大數(shù)據(jù)治理的五個(gè)核心要素明確數(shù)據(jù)治理責(zé)任，建立數(shù)據(jù)治理組織

數(shù)據(jù)出了問題，到底是誰的責(zé)任？因?yàn)閿?shù)據(jù)主要是由IT系統(tǒng)產(chǎn)生的，所以一直以來，解決數(shù)據(jù)問題都被認(rèn)為是IT部門的職責(zé)。而IT部門也飽受其苦，數(shù)據(jù)定義和業(yè)務(wù)規(guī)則，業(yè)務(wù)部門最清楚;數(shù)據(jù)錄入，業(yè)務(wù)人員負(fù)責(zé);數(shù)據(jù)使用，業(yè)務(wù)人員是用戶;數(shù)據(jù)考核，業(yè)務(wù)部門有權(quán)力……但實(shí)際上，要切實(shí)解決數(shù)據(jù)問題，開展數(shù)據(jù)治理工作，就必須先清楚一點(diǎn)：數(shù)據(jù)治理，是業(yè)務(wù)部門和IT部門共同的職責(zé)。

值得一提的是，越來越多的企業(yè)開始重視數(shù)據(jù)治理工作，在一些企業(yè)高管團(tuán)隊(duì)中也產(chǎn)生了一個(gè)全新的職位首席數(shù)據(jù)官（CDO），他是組織內(nèi)大數(shù)據(jù)戰(zhàn)略的制定者和推動者，負(fù)責(zé)組織內(nèi)數(shù)據(jù)資產(chǎn)的開發(fā)和利用，通過數(shù)據(jù)推動組織業(yè)務(wù)的創(chuàng)新和發(fā)展，通常直接匯報(bào)給CEO或CIO。

管理出成效，制度是保障

大數(shù)據(jù)治理需要管理和制度的有力支撐，可結(jié)合企業(yè)的現(xiàn)狀，制定相應(yīng)的管理辦法、管理流程、認(rèn)責(zé)體系、人員角色和崗位職責(zé)等，頒布相關(guān)的數(shù)據(jù)治理的企業(yè)規(guī)章制度等。

舉個(gè)例子，在筆者負(fù)責(zé)過的一個(gè)數(shù)據(jù)治理項(xiàng)目中，為了加強(qiáng)數(shù)據(jù)保密管理，根據(jù)重要程度、公開范圍、數(shù)據(jù)使用頻次和數(shù)據(jù)安全要求，針對數(shù)據(jù)制定了四個(gè)重要級別：極敏感級、敏感級、較敏感級、低敏感級，并根據(jù)不同級別實(shí)施相應(yīng)的管理舉措，級別越高，數(shù)據(jù)管理的要求越高。

數(shù)據(jù)規(guī)范：沒有規(guī)矩，不成方圓

數(shù)據(jù)規(guī)范是指對企業(yè)核心數(shù)據(jù)進(jìn)行有關(guān)存在性、完整性、質(zhì)量及歸檔的測量標(biāo)準(zhǔn)，為評估企業(yè)數(shù)據(jù)質(zhì)量，并且為手動錄入、設(shè)計(jì)數(shù)據(jù)加載程序、更新信息以及開發(fā)應(yīng)用軟件提供的約束性規(guī)則。數(shù)據(jù)規(guī)范一般包括數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)模型、業(yè)務(wù)規(guī)則、元數(shù)據(jù)、主數(shù)據(jù)和參考數(shù)據(jù)。

制定數(shù)據(jù)標(biāo)準(zhǔn)的目的是為了使業(yè)務(wù)人員、技術(shù)人員在提到同一個(gè)指標(biāo)、名詞、術(shù)語的時(shí)候有一致的含義。數(shù)據(jù)模型對企業(yè)運(yùn)營過程中涉及的業(yè)務(wù)概念和邏輯規(guī)則進(jìn)行統(tǒng)一定義。業(yè)務(wù)規(guī)則是一種權(quán)威性原則或指導(dǎo)方針，用來描述業(yè)務(wù)交互，并建立行動和數(shù)據(jù)行為結(jié)果及完整性的規(guī)則。元數(shù)據(jù)能夠幫助增強(qiáng)數(shù)據(jù)理解，可以架起企業(yè)內(nèi)業(yè)務(wù)與 IT 部門之間的橋梁。主數(shù)據(jù)用來描述參與組織業(yè)務(wù)的人員、地點(diǎn)和事物。參考數(shù)據(jù)是系統(tǒng)、應(yīng)用軟件、數(shù)據(jù)庫、流程、報(bào)告中及交易記錄中用來參考的數(shù)值集合或分類表。

數(shù)據(jù)治理活動，理論結(jié)合實(shí)踐

數(shù)據(jù)治理活動是指為實(shí)現(xiàn)數(shù)據(jù)資產(chǎn)價(jià)值的獲取、控制、保護(hù)、交付以及提升，對數(shù)據(jù)規(guī)范所做的計(jì)劃、執(zhí)行和監(jiān)督工作，一般包括以下活動。

數(shù)據(jù)架構(gòu)管理，用于定義企業(yè)數(shù)據(jù)需求，設(shè)計(jì)實(shí)現(xiàn)數(shù)據(jù)需求的主要藍(lán)圖，通常包括數(shù)據(jù)標(biāo)準(zhǔn)管理、數(shù)據(jù)模型管理、數(shù)據(jù)集成架構(gòu)等;數(shù)據(jù)質(zhì)量管理，指通過計(jì)劃、實(shí)施和控制活動，運(yùn)用質(zhì)量管理技術(shù)度量、評估、改進(jìn)和保證數(shù)據(jù)的恰當(dāng)使用;元數(shù)據(jù)管理，指通過計(jì)劃、實(shí)施和控制活動，以實(shí)現(xiàn)輕松訪問高質(zhì)量和整合的元數(shù)據(jù);數(shù)據(jù)安全管理，指通過計(jì)劃、制定并執(zhí)行數(shù)據(jù)安全政策和措施，為數(shù)據(jù)和信息提供適當(dāng)?shù)恼J(rèn)證、授權(quán)、訪問和審計(jì);參考數(shù)據(jù)和主數(shù)據(jù)管理，指通過計(jì)劃、實(shí)施和控制活動，達(dá)到保證參考數(shù)據(jù)與主數(shù)據(jù)的一致性。

數(shù)據(jù)治理軟件：工欲善其事，必先利其器

目前業(yè)界流行的數(shù)據(jù)治理軟件，一般也稱為數(shù)據(jù)資產(chǎn)管理產(chǎn)品、數(shù)據(jù)治理產(chǎn)品，主要包括元數(shù)據(jù)管理工具、數(shù)據(jù)標(biāo)準(zhǔn)管理工具、數(shù)據(jù)模型管理工具、數(shù)據(jù)質(zhì)量管理工具、主數(shù)據(jù)管理工具、數(shù)據(jù)安全管理工具等。

利用數(shù)據(jù)治理軟件主要解決企業(yè)不同來源數(shù)據(jù)集成過程中遇到的問題，需要數(shù)據(jù)治理軟件能夠?yàn)槠髽I(yè)提供統(tǒng)一的元數(shù)據(jù)集成、數(shù)據(jù)標(biāo)準(zhǔn)管理、數(shù)據(jù)模型設(shè)計(jì)、數(shù)據(jù)質(zhì)量稽核、數(shù)據(jù)資產(chǎn)目錄、數(shù)據(jù)分析服務(wù)等能力。

基于大數(shù)據(jù)的人工智能時(shí)代的到來，為各行業(yè)帶來基于數(shù)據(jù)資產(chǎn)進(jìn)行業(yè)務(wù)創(chuàng)新、管理創(chuàng)新的契機(jī)。伴隨著企業(yè)數(shù)字化轉(zhuǎn)型，越來越多的數(shù)據(jù)被收集，大數(shù)據(jù)治理將為企業(yè)提供更全面更準(zhǔn)確的數(shù)據(jù)。人類的大部分行為將可以被計(jì)算和預(yù)測，這種對社會成員的行為邏輯、社會事件的發(fā)展態(tài)勢提前作出判斷、預(yù)測和模擬，將使社會治理模式得到極大變革，從而極可能推動社會治理也由傳統(tǒng)的人類精英經(jīng)驗(yàn)治理向基于大數(shù)據(jù)的智能化治理轉(zhuǎn)型。