數(shù)據(jù)治理為數(shù)據(jù)流動保駕護(hù)航

劉慶會 劉相

日前，《中共中央 國務(wù)院關(guān)于構(gòu)建更加完善的要素市場化配置體制機(jī)制的意見》正式發(fā)布?！兑庖姟窂娬{(diào)加快培育數(shù)據(jù)要素市場，明確地將數(shù)據(jù)要素提升到了與土地、勞動力、資本和技術(shù)要素同等重要的地位。國家“新基建”政策七大領(lǐng)域中大數(shù)據(jù)中心、人工智能、工業(yè)互聯(lián)網(wǎng)三大領(lǐng)域都是和數(shù)據(jù)有著直接關(guān)系的，我們可以預(yù)見數(shù)據(jù)要素將在社會生產(chǎn)生活中發(fā)揮越來越顯著的促進(jìn)作用。

如何高效、安全和合規(guī)地使用數(shù)據(jù)，讓數(shù)據(jù)流動起來，發(fā)揮數(shù)據(jù)要素的價值成為一個急需解決的問題。

數(shù)據(jù)要素治理的兩種形態(tài)

數(shù)據(jù)治理是解決組織數(shù)字化轉(zhuǎn)型問題不可或缺的工具，通過對數(shù)據(jù)資產(chǎn)進(jìn)行規(guī)劃、監(jiān)控和執(zhí)行活動，從組織職責(zé)、制度規(guī)范、工作流程等方面共同解決數(shù)據(jù)管理問題。這里有兩種典型形態(tài)，以金融領(lǐng)域為代表的“管控”形態(tài)的數(shù)據(jù)治理和以政府、企業(yè)為代表的“服務(wù)”形態(tài)的數(shù)據(jù)治理。

"管控"形態(tài)的數(shù)據(jù)治理，通常圍繞元數(shù)據(jù)開展構(gòu)建標(biāo)準(zhǔn)、提升數(shù)據(jù)質(zhì)量的數(shù)據(jù)治理工作。元數(shù)據(jù)是開展數(shù)據(jù)治理工作的基礎(chǔ)，通過元數(shù)據(jù)收集各類數(shù)據(jù)資源，包括業(yè)務(wù)指標(biāo)、術(shù)語等業(yè)務(wù)元數(shù)據(jù)及數(shù)據(jù)庫、表、字段等技術(shù)元數(shù)據(jù)，為構(gòu)建組織數(shù)據(jù)標(biāo)準(zhǔn)提供素材，再結(jié)合行業(yè)規(guī)范、業(yè)務(wù)要求建立組織的數(shù)據(jù)標(biāo)準(zhǔn)，將數(shù)據(jù)標(biāo)準(zhǔn)作為數(shù)據(jù)質(zhì)量的輸入，配合元數(shù)據(jù)建立起數(shù)據(jù)校驗規(guī)則，形成依據(jù)現(xiàn)狀構(gòu)建標(biāo)準(zhǔn)，通過標(biāo)準(zhǔn)來規(guī)范業(yè)務(wù)、開發(fā)、提升數(shù)據(jù)質(zhì)量的閉環(huán)流程?！肮芸亍毙螒B(tài)的數(shù)據(jù)治理另外一個特征是各種數(shù)據(jù)管理辦法的流程化，通過線上的管理流程將管理辦法進(jìn)行固化，支撐管理辦法的落地實施。

以政府和企業(yè)為代表“服務(wù)”形態(tài)的數(shù)據(jù)治理，同樣是以元數(shù)據(jù)為基礎(chǔ)的，借助元數(shù)據(jù)工具來收集數(shù)據(jù)資源，對數(shù)據(jù)資源進(jìn)行業(yè)務(wù)化分類和描述，形成可開放共享的數(shù)據(jù)資產(chǎn)目錄，并以數(shù)據(jù)服務(wù)的方式提供給數(shù)據(jù)消費方進(jìn)行查詢調(diào)用。這當(dāng)中需要對數(shù)據(jù)質(zhì)量、安全進(jìn)行控制，保證提供的數(shù)據(jù)服務(wù)是可信的、可靠的，它與傳統(tǒng)的數(shù)據(jù)服務(wù)有著很大的差別，傳統(tǒng)數(shù)據(jù)服務(wù)需要靠人工的方式提供需求理解、數(shù)據(jù)獲取、數(shù)據(jù)測試等過程，經(jīng)過多輪溝通、確認(rèn)最終拿到所需的數(shù)據(jù)。圍繞數(shù)據(jù)資產(chǎn)目錄開展的數(shù)據(jù)服務(wù)，通過使用統(tǒng)一的語言，架起了業(yè)務(wù)與技術(shù)溝通的橋梁，對于基礎(chǔ)的數(shù)據(jù)需求，能夠?qū)崿F(xiàn)自助化的數(shù)據(jù)服務(wù)，復(fù)雜的業(yè)務(wù)數(shù)據(jù)需求也能縮短數(shù)據(jù)服務(wù)開發(fā)時間，解決傳統(tǒng)數(shù)據(jù)服務(wù)項目中不能有效積累、復(fù)用數(shù)據(jù)服務(wù)的問題?！胺?wù)”形態(tài)的數(shù)據(jù)治理打通了數(shù)據(jù)自助使用的最后一環(huán)，是敏捷數(shù)據(jù)治理的實踐方式。

“管用”一體能有效解決數(shù)據(jù)治理問題

“管控”形態(tài)的數(shù)據(jù)治理，在數(shù)據(jù)使用的環(huán)節(jié)中增加了審批、檢查的環(huán)節(jié)，降低了數(shù)據(jù)流動效率。另外，由于數(shù)據(jù)資源正確性無法得到有效驗證，限制了使用的用戶范圍，無法直達(dá)最終數(shù)據(jù)消費方?！胺?wù)”形態(tài)的數(shù)據(jù)治理，無法有效提前發(fā)現(xiàn)問題、定位問題責(zé)任方，通過人工排查問題的方式讓數(shù)據(jù)消費方十分煩惱?！肮苡谩币惑w的數(shù)據(jù)運營平臺將數(shù)據(jù)的使用和管理有機(jī)地結(jié)合在一起，通過邊使用邊治理的方式，數(shù)據(jù)治理的成效能夠快速顯現(xiàn)。該平臺主要包括五大模塊：數(shù)據(jù)流程引擎模塊、數(shù)據(jù)管理模塊、數(shù)據(jù)資源監(jiān)控模塊、數(shù)據(jù)服務(wù)發(fā)布模塊、數(shù)據(jù)服務(wù)開發(fā)模塊。

數(shù)據(jù)流程引擎是對數(shù)據(jù)管理制度的流程化，將統(tǒng)一規(guī)范的數(shù)據(jù)管理制度固化到數(shù)據(jù)流程中。通過配置不同角色、用戶及審批環(huán)節(jié)實現(xiàn)不同組織數(shù)據(jù)管理流程的個性化配置。數(shù)據(jù)管理流程包括數(shù)據(jù)需求管理流程、數(shù)據(jù)質(zhì)量管理流程、數(shù)據(jù)模型管理流程等。

數(shù)據(jù)管理模塊是對數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)資源、數(shù)據(jù)質(zhì)量、數(shù)據(jù)安全等級的統(tǒng)一管理模塊。它圍繞“數(shù)據(jù)資產(chǎn)目錄”展開數(shù)據(jù)管理的工作，數(shù)據(jù)資產(chǎn)目錄的形成可以借助元數(shù)據(jù)工具及一定量的人工梳理、確認(rèn)，最終形成業(yè)務(wù)化的在組織內(nèi)達(dá)成共識的數(shù)據(jù)目錄。數(shù)據(jù)質(zhì)量工作是貫穿數(shù)據(jù)流動的全過程的，在數(shù)據(jù)來源端的檢查，保證數(shù)據(jù)的規(guī)范性。數(shù)據(jù)的錄入是符合數(shù)據(jù)標(biāo)準(zhǔn)的要求的，同時在發(fā)現(xiàn)數(shù)據(jù)問題后，能夠定位到相應(yīng)的數(shù)據(jù)責(zé)任人。數(shù)據(jù)處理過程中的檢核，能及時發(fā)現(xiàn)數(shù)據(jù)不一致的問題。數(shù)據(jù)處理過程后的核驗、檢查，能保證數(shù)據(jù)數(shù)據(jù)清洗、轉(zhuǎn)換的正確性，不會造成數(shù)據(jù)丟失或加工錯誤。

數(shù)據(jù)服務(wù)開發(fā)模塊是在數(shù)據(jù)資產(chǎn)目錄形成之后，通過數(shù)據(jù)開發(fā)模塊對數(shù)據(jù)來源端（業(yè)務(wù)生產(chǎn)類產(chǎn)生的數(shù)據(jù)）進(jìn)行集成、匯聚，包括對實時、批量數(shù)據(jù)匯聚，形成與數(shù)據(jù)資產(chǎn)目錄對應(yīng)的數(shù)據(jù)存儲。要形成對應(yīng)的數(shù)據(jù)存儲，就需要做數(shù)據(jù)遷移，需要對數(shù)據(jù)的清洗和加工作業(yè)的編排，這樣ETL作業(yè)才能按序執(zhí)行。

數(shù)據(jù)服務(wù)發(fā)布模塊將數(shù)據(jù)資產(chǎn)目錄做成API接口，提供實時數(shù)據(jù)查詢服務(wù)及批量數(shù)據(jù)服務(wù)。通過這個模塊，數(shù)據(jù)的消費方就可以通過自助的方式來提交數(shù)據(jù)使用申請，審批通過后就能直接使用數(shù)據(jù)了。

數(shù)據(jù)資源監(jiān)控模塊，是整個數(shù)據(jù)治理體系中一個重要的環(huán)節(jié)，需要對數(shù)據(jù)服務(wù)調(diào)用情況（請求報文、返回報文、調(diào)度頻率、失敗次數(shù)、成功次數(shù)等）、ETL作業(yè)執(zhí)行情況（成功、失敗、執(zhí)行時間）、數(shù)據(jù)資源變更、數(shù)據(jù)質(zhì)量整改情況等進(jìn)行全方位的監(jiān)控，保證數(shù)據(jù)服務(wù)的安全性、可靠性。

“管用”一體的數(shù)據(jù)運營平臺打通了數(shù)據(jù)管理與數(shù)據(jù)使用的關(guān)系，解決了傳統(tǒng)數(shù)據(jù)治理在短期無法見到成效的問題，同時可以按照“急用先行”的數(shù)據(jù)治理實施原則，優(yōu)先開展應(yīng)用程度較高的數(shù)據(jù)的治理工作，讓有限的數(shù)據(jù)治理資源發(fā)揮最大效能。

“管用”一體數(shù)據(jù)運營平臺最佳實踐

普元信息為某大型保險企業(yè)實施了數(shù)據(jù)統(tǒng)一運營平臺，采用了微服務(wù)架構(gòu)對接大數(shù)據(jù)平臺集群，提供訂單、客戶查詢的服務(wù)，其中訂單查詢服務(wù)的性能壓測表明，在11萬條以上訂單并發(fā)的情況下，TPS值能達(dá)到17萬以上，處理成功率在99%以上，同時通過在Gateway網(wǎng)關(guān)中增加不同功能的攔截器對數(shù)據(jù)消費端（IP、系統(tǒng)）進(jìn)行權(quán)限控制，并采用異步機(jī)制收集服務(wù)調(diào)用日志，在不影響數(shù)據(jù)服務(wù)查詢性能下匯總統(tǒng)計生成服務(wù)調(diào)用報告，實現(xiàn)對數(shù)據(jù)資源調(diào)用情況的有效監(jiān)控。

數(shù)據(jù)管理模塊對客戶信息進(jìn)行了全方位數(shù)據(jù)質(zhì)量監(jiān)控，使該保險企業(yè)個人客戶信息得到極大完善，有效提升客戶信息的完整性、真實性、規(guī)范性。監(jiān)控范圍包括了客戶三要素重復(fù)性檢查、疑似同一客戶統(tǒng)計等，疑似同一客戶判斷采用了證件類型、證件號碼和客戶名稱三項數(shù)據(jù)核對，以實現(xiàn)對疑似同一客戶的篩查。同時結(jié)合了其它數(shù)據(jù)治理手段，例如考核、通報等，使客戶信息治理的工作有效地開展。

數(shù)據(jù)要素治理發(fā)展方向

“管用”一體化的數(shù)據(jù)運營平臺是敏捷數(shù)據(jù)治理的體現(xiàn)，在保證數(shù)據(jù)安全、合規(guī)的情況下，縮短了數(shù)據(jù)消費方獲取數(shù)據(jù)的時間，打通了數(shù)據(jù)流動的壁壘。另一方面，一體化的數(shù)據(jù)運營平臺為數(shù)據(jù)價值的度量提供了可操作的空間，通過對數(shù)據(jù)服務(wù)及相關(guān)行為的持續(xù)跟蹤和記錄，包括數(shù)據(jù)服務(wù)被業(yè)務(wù)部門使用的次數(shù)、訪問的數(shù)據(jù)量等，可以對數(shù)據(jù)服務(wù)商品按照流量、頻率進(jìn)行定價，最終實現(xiàn)數(shù)據(jù)要素市場化的訴求。

數(shù)據(jù)運營平臺的一體化還體現(xiàn)在所面向的用戶的多樣性，它把原來組織內(nèi)數(shù)據(jù)相關(guān)的操作人員需要登錄多個系統(tǒng)才能解決的事情統(tǒng)一到一個平臺來完成。數(shù)據(jù)的消費方可以在平臺內(nèi)直接進(jìn)行服務(wù)瀏覽、服務(wù)申請、服務(wù)使用的操作。數(shù)據(jù)開發(fā)者能夠通過在線開發(fā)的方式進(jìn)行數(shù)據(jù)集成、匯聚，以及數(shù)據(jù)服務(wù)的發(fā)布。數(shù)據(jù)管理員負(fù)責(zé)維護(hù)數(shù)據(jù)資產(chǎn)目錄、監(jiān)控數(shù)據(jù)質(zhì)量、設(shè)置數(shù)據(jù)安全分級等。運維人員可以對數(shù)據(jù)集成調(diào)度情況、服務(wù)狀態(tài)、服務(wù)調(diào)用、服務(wù)資源使用等情況進(jìn)行監(jiān)控。

綜上所述，“管用”一體化的數(shù)據(jù)運營平臺是“管控”形態(tài)數(shù)據(jù)治理自然演化的結(jié)果，為發(fā)揮、度量數(shù)據(jù)價值提供了統(tǒng)一的平臺。