主數(shù)據(jù)質(zhì)量管理與自動快速賦碼技術(shù)研究

【摘要】通過對存量的編碼數(shù)據(jù)進行清洗，對后續(xù)增量的主數(shù)據(jù)采用相應(yīng)的數(shù)據(jù)質(zhì)量控制措施，來逐步提升主數(shù)據(jù)庫中的數(shù)據(jù)質(zhì)量，并在管理維度優(yōu)化賦碼流程，在系統(tǒng)維度上借助系統(tǒng)預(yù)審核、快速賦碼等功能，以提升審核效率。以主數(shù)據(jù)作為集團基礎(chǔ)數(shù)據(jù)，在數(shù)據(jù)“質(zhì)量”和響應(yīng)“效率”上，支撐集團構(gòu)建高質(zhì)量的數(shù)據(jù)資產(chǎn)，推進協(xié)同研發(fā)體系深入應(yīng)用。

【關(guān)鍵詞】主數(shù)據(jù)|質(zhì)量管理|自動賦碼

為了發(fā)揮新形勢下基礎(chǔ)共用數(shù)據(jù)對數(shù)字化支撐作用，規(guī)范數(shù)據(jù)在業(yè)務(wù)流轉(zhuǎn)過程中管理，確保編碼數(shù)據(jù)的完整性和準確性，亟需通過主數(shù)據(jù)建設(shè)，對原代碼系統(tǒng)中數(shù)據(jù)集中清洗基礎(chǔ)上，從主數(shù)據(jù)全生命周期開展數(shù)據(jù)質(zhì)量過程控制，進一步提升數(shù)據(jù)質(zhì)量。

一、數(shù)據(jù)質(zhì)量管理

（一）數(shù)據(jù)質(zhì)量現(xiàn)狀

數(shù)據(jù)在長期的使用過程中，難免由于人員、技術(shù)、管理等因素造成數(shù)據(jù)質(zhì)量下降，出現(xiàn)數(shù)據(jù)不規(guī)范（如數(shù)據(jù)內(nèi)容缺失或無效、數(shù)據(jù)格式混亂、一物多碼等）問題[1]。隨著數(shù)據(jù)質(zhì)量問題的增加，數(shù)據(jù)本身的價值已逐漸降低，嚴重后甚至可能影響整個業(yè)務(wù)鏈條的有效運轉(zhuǎn)。

編碼數(shù)據(jù)常見數(shù)據(jù)質(zhì)量問題，如不準確、不規(guī)范、一物多碼等，主要集中在數(shù)據(jù)規(guī)范性問題、準確性問題和完整性問題上。

（二）數(shù)據(jù)質(zhì)量控制策略研究

數(shù)據(jù)質(zhì)量控制，包括對已有編碼數(shù)據(jù)通過數(shù)據(jù)清洗、整合等提升數(shù)據(jù)質(zhì)量；對后續(xù)增量數(shù)據(jù)，以往數(shù)據(jù)質(zhì)量控制多由人工審核進行把控，效率低易出錯[2]，因此需要將數(shù)據(jù)質(zhì)量控制策略調(diào)整為“由人工判斷向系統(tǒng)自動校驗?zāi)Ｊ睫D(zhuǎn)變，建立編碼數(shù)據(jù)全生命周期質(zhì)量管理策略”：

1.質(zhì)量控制前置：質(zhì)量控制重心前移到數(shù)據(jù)填報階段，智能輔助填報并對填報的數(shù)據(jù)實時校驗和數(shù)據(jù)質(zhì)量問題提示；

2.自動預(yù)審核：通過質(zhì)量規(guī)則實現(xiàn)自動審核或為人工審核提供預(yù)審核結(jié)果，從而有效提升審核效率；

3.質(zhì)量可復(fù)核：對編碼數(shù)據(jù)庫定期進行質(zhì)量復(fù)核，根據(jù)檢查結(jié)果制定數(shù)據(jù)清洗策略，從而保障編碼全生命周期的數(shù)據(jù)質(zhì)量，實現(xiàn)全過程質(zhì)量控制；

4.規(guī)則可擴展：數(shù)據(jù)質(zhì)量規(guī)則基于樣板數(shù)據(jù)進行控制，樣板數(shù)據(jù)和數(shù)據(jù)質(zhì)量規(guī)則具備可擴展性。

（三）數(shù)據(jù)質(zhì)量管理架構(gòu)研究

通過樣板數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量規(guī)則管理、數(shù)據(jù)質(zhì)量輔助應(yīng)用，對數(shù)據(jù)的規(guī)范性、完整性、準確性等方面進行多維度控制，實現(xiàn)主數(shù)據(jù)質(zhì)量的提升?？傮w架構(gòu)如圖1所示。

各層級關(guān)系說明：

1.主數(shù)據(jù)庫：包括編碼數(shù)據(jù)和資源數(shù)據(jù)，將作為樣板數(shù)據(jù)的來源庫；

2.樣板數(shù)據(jù)管理：通過遴選出規(guī)范化的數(shù)據(jù)，建立樣板數(shù)據(jù)庫，作為數(shù)據(jù)質(zhì)量校驗的基準數(shù)據(jù)，樣板數(shù)據(jù)可和數(shù)據(jù)質(zhì)量規(guī)則進行關(guān)聯(lián)對申請單中的數(shù)據(jù)進行質(zhì)量校核；

3.數(shù)據(jù)質(zhì)量規(guī)則管理：針對數(shù)據(jù)質(zhì)量問題，建立數(shù)據(jù)質(zhì)量校驗的格式性規(guī)則、業(yè)務(wù)邏輯規(guī)則等，形成主數(shù)質(zhì)量規(guī)則庫；

4.數(shù)據(jù)質(zhì)量輔助應(yīng)用：根據(jù)主數(shù)據(jù)對象的規(guī)則的自由組合，將樣板數(shù)據(jù)、數(shù)據(jù)質(zhì)量規(guī)則應(yīng)用與主數(shù)據(jù)的申請、維護、審核、質(zhì)量復(fù)核等業(yè)務(wù)活動中，實現(xiàn)數(shù)據(jù)規(guī)范性對比、錯誤檢查、填寫推薦等，輔助數(shù)據(jù)質(zhì)量提升。

（四）樣板數(shù)據(jù)管理研究

1.樣板數(shù)據(jù)應(yīng)用邏輯

樣板數(shù)據(jù)是一組“規(guī)范化”的數(shù)據(jù)（圖2），基于相關(guān)標準規(guī)范，通過遴選方式將主數(shù)據(jù)選為樣板數(shù)據(jù)，在數(shù)據(jù)填報和審核時，通過樣板數(shù)據(jù)推薦、多關(guān)聯(lián)規(guī)則校驗、非樣板數(shù)據(jù)提示檢查數(shù)據(jù)的規(guī)范性和業(yè)務(wù)邏輯的準確性，同時樣板數(shù)據(jù)可以用于已有數(shù)據(jù)的復(fù)核。

2.樣板數(shù)據(jù)庫建設(shè)

樣板數(shù)據(jù)庫初始化，基于“全分類、全標準”覆蓋的原則，將主數(shù)據(jù)庫中“標準件”“金屬材料”“非金屬材料”分類中已有的編碼數(shù)據(jù)，通過批量遴選為樣板數(shù)據(jù)，實現(xiàn)樣板數(shù)據(jù)庫的初始化工作，樣板數(shù)據(jù)在“數(shù)據(jù)質(zhì)量與安全-正式樣板數(shù)據(jù)”模塊中統(tǒng)一管理，后續(xù)樣板數(shù)據(jù)可以伴隨審核過程遴選。

3.樣板數(shù)據(jù)遴選

樣板數(shù)據(jù)支持以下三種方式進行遴選，如圖3所示。

（五）數(shù)據(jù)質(zhì)量規(guī)則管理

數(shù)據(jù)質(zhì)量規(guī)則由規(guī)范性規(guī)則、完整性規(guī)則、準確性規(guī)則、一致性規(guī)則、實效性規(guī)則、可訪問性規(guī)則六部分組成。

二、自動快速賦碼

影響賦碼效率的因素包括：現(xiàn)用申碼頻率低（原來為每周兩次）、輸入輸出審核流程長（要過機要審核）、數(shù)據(jù)質(zhì)量低（因填報數(shù)據(jù)不準確，被駁回反復(fù)申請）、申請單沒有緩急之分（申請單順序依次處理）等。針對上述問題，通過改進與現(xiàn)用申碼系統(tǒng)方式、提升審核效率、探索自動/半自動審核賦碼模式等，以實現(xiàn)快速審核和賦碼效率的提升。

（一）優(yōu)化申碼流程

原來存在線下和線上兩種申碼方式，即存在研究院通過接收來源各直屬單位郵件申請，又存在通過原代碼系統(tǒng)導(dǎo)出文件申碼方式，整理記錄工作量大，改進后直屬單位統(tǒng)一在主數(shù)據(jù)提交賦碼申請，由研究院統(tǒng)一導(dǎo)出向現(xiàn)用申碼系統(tǒng)。

（二）快速審核與自動賦碼

以提升審核和賦碼效率為目標，通過減少審核層級、輔助數(shù)據(jù)檢查、批量審核等方式，減少人工審核時間，并逐步通過探索系統(tǒng)自動賦碼模式，實現(xiàn)系統(tǒng)自動快速賦碼。

自動快速審核賦碼是以保證數(shù)據(jù)質(zhì)量為前提，在數(shù)據(jù)填報階段通過數(shù)據(jù)質(zhì)量控制措施，讓填報的數(shù)據(jù)越規(guī)范，越利于快速審核，所以編碼數(shù)據(jù)質(zhì)量管控成為自動審核賦碼的關(guān)鍵一環(huán)。

通過研究自動審核、人工審核、智能輔助審核等模式，針對不同的主數(shù)據(jù)對象，為用戶提供不同的審核與賦碼策略。

三、賦碼效率提升情況

（一）有效減少賦碼時間

通過申請已有編碼實時返回、智能輔助人工審核、優(yōu)化現(xiàn)用申碼系統(tǒng)流程等措施，可有效提升賦碼效率。人員、組織機構(gòu)可實時返碼，對于需要到現(xiàn)用申碼系統(tǒng)的申請單，原來每批次申請平均賦碼時間4～7天，系統(tǒng)上線后，約30%的重碼申請，可在申請?zhí)峤粫r自動返回編碼，從而做到實時返碼；對于剩余的70%需要到現(xiàn)用申碼系統(tǒng)賦碼，可逐步優(yōu)化提升到1-2天返碼。效率提升效果在首頁顯性化呈現(xiàn)，通過極坐標堆疊圖形式（圖4），按照主數(shù)據(jù)分類，對每條申請單的審核時間進行統(tǒng)計，計算出航發(fā)審核時長和現(xiàn)用申碼系統(tǒng)賦碼時長，可用于評估賦碼效率提升效果，分析問題并持續(xù)改善賦碼效率。

（二）及時發(fā)現(xiàn)審核流程延遲情況

審核員可每天查看未賦碼申請單是否有延遲賦碼，如：審核發(fā)現(xiàn)有兩條供應(yīng)商申請單現(xiàn)用申碼系統(tǒng)多日沒有返回編碼，通過追蹤發(fā)現(xiàn)是郵件沒法發(fā)送成功，利用系統(tǒng)已保存的導(dǎo)出文件，快速下載發(fā)送給現(xiàn)用申碼系統(tǒng)賦碼。中國軍轉(zhuǎn)民

參考文獻

[1]薛華成.管理信息系統(tǒng)[M].北京：清華大學(xué)出版社，2012.

[2]魏瑤.統(tǒng)計調(diào)查中數(shù)據(jù)質(zhì)量控制對策研究[J].中國高新技術(shù)企業(yè)，2016（4）.

（作者單位：中國航空發(fā)動機集團有限公司）