企業(yè)業(yè)務(wù)域數(shù)據(jù)質(zhì)量管控問題及解決措施

張幫君

（廣東元韜企業(yè)管理咨詢有限公司 廣東省廣州市 510000）

1 前言

根據(jù)美國德克薩斯大學針對數(shù)據(jù)有效性的一項研究表明，企業(yè)通過提升對自身數(shù)據(jù)的使用率和數(shù)據(jù)質(zhì)量，能夠顯著提高企業(yè)的經(jīng)營表現(xiàn)。以電力行業(yè)為例，根據(jù)研究提供的數(shù)據(jù)，如果企業(yè)數(shù)據(jù)使用率提升10%，電力行業(yè)中企業(yè)人均產(chǎn)出將能夠提升18%左右；根據(jù)德州研究提供的數(shù)據(jù)，如果企業(yè)數(shù)據(jù)質(zhì)量提升10%，電力行業(yè)凈資產(chǎn)收益率提升幅度為218%[1]。

同時，隨著國家推進互聯(lián)網(wǎng)+，大數(shù)據(jù)，云計算、人工智能等新技術(shù)在各領(lǐng)域的應(yīng)用，加強數(shù)據(jù)質(zhì)量管理成為企業(yè)普遍共識。為適應(yīng)新形勢下業(yè)務(wù)發(fā)展需要，為更好解決業(yè)務(wù)數(shù)據(jù)完整性、及時性、準確性的問題，各行業(yè)從管理、技術(shù)等方面，不斷改進創(chuàng)新數(shù)據(jù)質(zhì)量管理方法，以實現(xiàn)數(shù)據(jù)質(zhì)量全面提升。

2 數(shù)據(jù)質(zhì)量管控普遍問題

雖然各行業(yè)的數(shù)據(jù)質(zhì)量管控實踐側(cè)重點不同，但總體上數(shù)據(jù)質(zhì)量管控分為三個層面：機制層面、管理對象層面和技術(shù)平臺層面[2-4]，三個層面普遍性問題如下：

2.1 機制層面

目前較多企業(yè)仍以業(yè)務(wù)系統(tǒng)、業(yè)務(wù)條線建立縱向數(shù)據(jù)管控機制為主，相比而言在跨業(yè)務(wù)、跨部門、跨系統(tǒng)的橫向協(xié)同方面較為薄弱。

2.2 管理對象層面

仍強調(diào)數(shù)據(jù)標準建設(shè)和指標管理，而在數(shù)據(jù)管理體系的中層和基層缺乏可操作的數(shù)據(jù)質(zhì)量方法和稽核標準，需要更準確定義數(shù)據(jù)、更規(guī)范錄入數(shù)據(jù)。

2.3 技術(shù)平臺層面

將主數(shù)據(jù)管理、數(shù)據(jù)標準管理、數(shù)據(jù)質(zhì)量監(jiān)控、元數(shù)據(jù)管理、數(shù)據(jù)服務(wù)管理等幾部分功能統(tǒng)一形成數(shù)據(jù)資產(chǎn)管理平臺并作定制化開發(fā)，一站式數(shù)據(jù)管理用戶體驗更好。但身份數(shù)據(jù)解析、數(shù)據(jù)標準化、數(shù)據(jù)匹配、數(shù)據(jù)語義等主數(shù)據(jù)，相關(guān)數(shù)據(jù)質(zhì)量技術(shù)應(yīng)用不佳。

3 數(shù)據(jù)質(zhì)量精益化管理方法

為適應(yīng)新形勢下業(yè)務(wù)發(fā)展需要，更好地解決了業(yè)務(wù)域數(shù)據(jù)完整性、及時性、準確性的問題，以6σ 質(zhì)量管理方法論為指導，構(gòu)建數(shù)據(jù)質(zhì)量精益化管控體系（如圖1 所示），通過“制度管人、流程管事、技術(shù)提效”，不斷改進創(chuàng)新數(shù)據(jù)質(zhì)量管理方法，實現(xiàn)業(yè)務(wù)數(shù)據(jù)質(zhì)量全面提升[5-8]。

如圖1 所示，具體實施步驟如下：

3.1 定義業(yè)務(wù)需求和方法

包括確定數(shù)據(jù)質(zhì)量提升組織體系，組織結(jié)構(gòu)；確定數(shù)據(jù)核查工作目標、工作范圍、工作計劃、工作方法、數(shù)據(jù)核查規(guī)則。

3.2 分析信息環(huán)境

收集、匯總、分析有關(guān)形式和信息環(huán)境，設(shè)計數(shù)據(jù)質(zhì)量評估的方案，對現(xiàn)有核查要求及相關(guān)信息進行資料收集，包括核查規(guī)則、數(shù)據(jù)編碼、歷史數(shù)據(jù)范圍等。

3.3 評估數(shù)據(jù)質(zhì)量

以按照數(shù)據(jù)核查規(guī)則對從現(xiàn)有系統(tǒng)中業(yè)務(wù)數(shù)據(jù)進行數(shù)據(jù)質(zhì)量核查，按照業(yè)務(wù)數(shù)據(jù)報送、統(tǒng)計等要求對數(shù)據(jù)質(zhì)量進行評估，生成數(shù)據(jù)質(zhì)量核查報告。

圖1：數(shù)據(jù)質(zhì)量精益化管控要素

3.4 評估業(yè)務(wù)影響

使用各種技術(shù)評估劣質(zhì)數(shù)據(jù)對業(yè)務(wù)產(chǎn)生的影響，評估內(nèi)容包括現(xiàn)有數(shù)據(jù)質(zhì)量問題對當前業(yè)務(wù)系統(tǒng)運行的影響、現(xiàn)有數(shù)據(jù)質(zhì)量問題對企業(yè)業(yè)務(wù)運作的影響。

3.5 確定根本原因

確定影響數(shù)據(jù)質(zhì)量的真實原因，包括業(yè)務(wù)原因，數(shù)據(jù)原因等，并區(qū)分這些原因的影響的數(shù)據(jù)質(zhì)量的級別。

3.6 制定改善措施

從數(shù)據(jù)標準、質(zhì)量管理流程、考核評價、信息技術(shù)等維度制定數(shù)據(jù)質(zhì)量精益化管控舉措，全面落實數(shù)據(jù)問題整改、錯誤預防及監(jiān)管責任，最大限度控制由管理上的缺陷造成的數(shù)據(jù)質(zhì)量問題。

3.7 持續(xù)監(jiān)督優(yōu)化

分階段分步驟落實管控策略，對數(shù)據(jù)質(zhì)量管控全過程實施指導、應(yīng)用、監(jiān)督和評價，維護已改善的效果。

4 實踐案例

針對某電網(wǎng)企業(yè)生產(chǎn)域設(shè)備資產(chǎn)數(shù)據(jù)質(zhì)量問題，首先對公司設(shè)備資產(chǎn)數(shù)據(jù)管理進行調(diào)研，明確現(xiàn)狀問題、流程改進方向及管理優(yōu)化建議等；再根據(jù)現(xiàn)狀建設(shè)數(shù)據(jù)質(zhì)量精益化管控機制，包括研究制定數(shù)據(jù)標準、數(shù)據(jù)校驗規(guī)則庫、數(shù)據(jù)稽核流程、監(jiān)控指標、工作質(zhì)量評價等40 多項管理和技術(shù)措施[9-15]（如表1 所示）；最后通過數(shù)據(jù)技術(shù)、系統(tǒng)集成技術(shù)將管理方法以自動比對校驗、可視化監(jiān)測及在線評價發(fā)布等功能的形式進行技術(shù)固化實現(xiàn)。應(yīng)用該方法，將數(shù)據(jù)及時率由45%提高到85%，數(shù)據(jù)錯誤回退修改次數(shù)減少超80%。

根據(jù)問題及舉措分析，按照數(shù)據(jù)質(zhì)量精益化管理方法，分步驟分階段開展數(shù)據(jù)質(zhì)量精益化管控實施，具體做法如下：

4.1 開展數(shù)據(jù)評級，確定實施路徑

針對設(shè)備資產(chǎn)數(shù)據(jù)項，擬從應(yīng)用價值、實施難度兩個維度制定評級標準，其中應(yīng)用價值高低主要從業(yè)務(wù)影響和出現(xiàn)頻率兩方面判斷，實施難度主要從數(shù)據(jù)規(guī)模和措施實施難度進行判斷，制定具體評級維度劃分標標準，組織業(yè)務(wù)人員根據(jù)評級標準對數(shù)據(jù)項進行優(yōu)先級排序，明確首要、短期、中長期實施目標，確定實施路徑，為開展數(shù)據(jù)剖析作準備。

4.2 開展數(shù)據(jù)剖析，明確數(shù)據(jù)問題

表1：數(shù)據(jù)質(zhì)量管控舉措庫（部分示例）

對首要實施目標的數(shù)據(jù)，針對列、表、跨表的數(shù)據(jù)應(yīng)用統(tǒng)計、文本挖掘、自然語言算法及等數(shù)據(jù)挖掘算法，結(jié)合KNIME、Openrefine 等工具，進行數(shù)據(jù)剖析，識別數(shù)據(jù)異常，對識別出的數(shù)據(jù)異常，匹配數(shù)據(jù)問題，建立數(shù)據(jù)問題異常映射關(guān)系庫。識別數(shù)據(jù)異常和評估數(shù)據(jù)質(zhì)量，明確數(shù)據(jù)具體問題。

4.3 匹配提升措施，形成任務(wù)清單

明確數(shù)據(jù)項具體問題后，通過匹配對應(yīng)的提升措施（如表1 所示），形成數(shù)據(jù)治理任務(wù)清單，明確措施實施難度、風險、責任人及完成時間。

4.4 實施數(shù)據(jù)清理，持續(xù)跟蹤反饋

分子公司根據(jù)任務(wù)清單，應(yīng)用人工及智能技術(shù)開展數(shù)據(jù)清理工作，其中人工清理按照“數(shù)據(jù)準備—現(xiàn)場核對—數(shù)據(jù)清洗—數(shù)據(jù)上傳—自檢完善”，系統(tǒng)批量清理采用統(tǒng)計、機器學習等智能算法，結(jié)合數(shù)據(jù)質(zhì)量管理系統(tǒng)開展數(shù)據(jù)中心、接口與業(yè)務(wù)系統(tǒng)的數(shù)據(jù)自動比對清理。

同時，建立跨部門的數(shù)據(jù)缺陷管理機制，明確分子公司業(yè)務(wù)部門與技術(shù)部門界面，制定數(shù)據(jù)缺陷管理流程及過程監(jiān)控表單。

4.5 發(fā)布成效評價，總結(jié)提升經(jīng)驗

公司設(shè)立問題整改完成率和數(shù)據(jù)治理完成比例等作為數(shù)據(jù)質(zhì)量管理成效指標，按季度進行檢查及評價發(fā)布，并將結(jié)果納入績效考核，按季度檢查分子公司工作成效，以數(shù)據(jù)項治理完成情況和問題整改情況作為成效評價量化指標，通報各公司數(shù)據(jù)治理整體進度情況，并根據(jù)各分子公司實施情況，總結(jié)提升經(jīng)驗，優(yōu)化措施庫，同時啟動下一期治理策劃。

5 結(jié)論

針對企業(yè)業(yè)務(wù)域數(shù)據(jù)質(zhì)量管控，本文借鑒6sigma質(zhì)量管理方法，構(gòu)建數(shù)據(jù)質(zhì)量精益化管控體系，通過對數(shù)據(jù)的“診斷評估-機制建設(shè)—過程監(jiān)督—成效評價”，將業(yè)務(wù)管理優(yōu)化與數(shù)據(jù)質(zhì)量管理相融合，為業(yè)務(wù)部門根據(jù)自身需求主導數(shù)據(jù)質(zhì)量管控提供實踐借鑒。