探討數(shù)據(jù)質(zhì)量管理的未來發(fā)展

彭健恩

摘 要：數(shù)據(jù)質(zhì)量管理是信息系統(tǒng)管理的重要內(nèi)容之一，決定一個信息系統(tǒng)項目的成敗，良好的數(shù)據(jù)質(zhì)量有助于得出正確的企業(yè)決策信息，正確的企業(yè)決策信息能幫助企業(yè)在激烈的市場競爭中突圍而出。本文先簡單介紹數(shù)據(jù)質(zhì)量管理和目前數(shù)據(jù)管理方法，再從如何解決現(xiàn)今數(shù)據(jù)質(zhì)量管理中存在問題闡述了筆者對于數(shù)據(jù)質(zhì)量管理的未來發(fā)展方向——數(shù)據(jù)質(zhì)量認(rèn)證的探討。

關(guān)鍵詞：數(shù)據(jù)質(zhì)量管理 數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn) 數(shù)據(jù)質(zhì)量認(rèn)證 未來發(fā)展

中圖分類號：F22 文獻(xiàn)標(biāo)識碼：A 文章編號：1672-3791（2017）10（b）-0242-03

數(shù)據(jù)質(zhì)量管理（Data Quality Management），是指對數(shù)據(jù)從計劃、獲取、存儲、共享、維護、應(yīng)用、消亡生命周期的每個階段里可能引發(fā)的各類數(shù)據(jù)質(zhì)量問題，進(jìn)行識別、度量、監(jiān)控、預(yù)警等一系列管理活動，并通過改善和提高組織的管理水平使得數(shù)據(jù)質(zhì)量獲得進(jìn)一步提高。

數(shù)據(jù)質(zhì)量管理是螺旋上升管理過程，其最終目標(biāo)是通過提升數(shù)據(jù)可靠性來提升數(shù)據(jù)使用價值，并最終為企業(yè)獲得經(jīng)濟效益。

目前數(shù)據(jù)質(zhì)量管理常用MTC-DQM來做數(shù)據(jù)質(zhì)量管理，其方法與步驟如下所述。

熟悉六西格瑪管理的人應(yīng)該知道，六西格瑪強調(diào)以事實驅(qū)動管理，但事實必須以數(shù)據(jù)來支撐。反映到六西格瑪管理方法，MTC-DQM推薦采用十步數(shù)據(jù)質(zhì)量管理方法，見圖1。

總的來說就是通過不斷對數(shù)據(jù)循環(huán)檢查整改糾正數(shù)據(jù)錯誤、改善數(shù)據(jù)錯誤管理措施，最終使數(shù)據(jù)質(zhì)量螺旋上升。

1 現(xiàn)今數(shù)據(jù)質(zhì)量管理中存在的常見問題

目前大多數(shù)企業(yè)采用MTC-DQM來做數(shù)據(jù)質(zhì)量管理，其實質(zhì)是做數(shù)據(jù)質(zhì)量控制管理，管理思路是通過技術(shù)手段尋找出問題然后整改，然后通過改善管理，最后使數(shù)據(jù)質(zhì)量“完美化”，這樣的管理方法較適合于信息系統(tǒng)剛開始進(jìn)行數(shù)據(jù)質(zhì)量管理的階段，隨著信息系統(tǒng)的數(shù)據(jù)質(zhì)量不斷改善達(dá)到一個較高水平的時候就會存在以下問題。

（1）數(shù)據(jù)質(zhì)量控制缺乏統(tǒng)一數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)管理。

通常信息項目建設(shè)需求分析階段，沒有提出數(shù)據(jù)質(zhì)量要求或數(shù)據(jù)質(zhì)量要求很籠統(tǒng)，所以自然就沒有統(tǒng)一的數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)，而數(shù)據(jù)質(zhì)量控制工作常在系統(tǒng)已建設(shè)完畢才開始，數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)往往很不明確。由于數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)不明確，初期數(shù)據(jù)質(zhì)量整改會很順利，但一段時間后就會容易出現(xiàn)盲目數(shù)據(jù)整改，越整改問題越多的現(xiàn)象，數(shù)據(jù)質(zhì)量水平呈現(xiàn)出像波浪起伏一樣的不穩(wěn)定狀態(tài)。

（2）數(shù)據(jù)質(zhì)量管理通常是對全庫數(shù)據(jù)定期檢查來實現(xiàn)，容易造成資源浪費。

目前數(shù)據(jù)質(zhì)量管理在實際中都是通過執(zhí)行周期性檢查來進(jìn)行質(zhì)量控制。所以常對早已驗證過無問題的數(shù)據(jù)反復(fù)校驗檢查，導(dǎo)致數(shù)據(jù)質(zhì)量檢查花費時間過長和消耗資源過多，而且數(shù)據(jù)量越大，花費時間和消耗資源就會直線上升。這樣既降低數(shù)據(jù)質(zhì)量檢查效率，又浪費資源，是數(shù)據(jù)質(zhì)量控制急需改進(jìn)的缺點，但目前只能在技術(shù)層面上做一些改進(jìn)，效果也并非理想。

（3）數(shù)據(jù)質(zhì)量控制使用的檢查、整改、驗證技術(shù)、方法以及工具缺乏認(rèn)證。

現(xiàn)在市面流行數(shù)據(jù)質(zhì)量檢查、整改技術(shù)、方法以及工具都是各軟件公司根據(jù)工作經(jīng)驗積累做出來的，并沒有驗證過這些技術(shù)、方法以及工具是否通用，導(dǎo)致使用這些技術(shù)、方法以及工具反復(fù)多次檢查、整改后仍然不能確定數(shù)據(jù)是否質(zhì)量合格，更嚴(yán)重時會出現(xiàn)同一數(shù)據(jù)經(jīng)不同數(shù)據(jù)檢查工具校驗得出不同結(jié)論的情況。

（4）數(shù)據(jù)質(zhì)量控制過度偏重于數(shù)據(jù)質(zhì)量檢查、整改，輕視數(shù)據(jù)錄入時的質(zhì)量管理。

數(shù)據(jù)質(zhì)量控制往往過度偏重于數(shù)據(jù)質(zhì)量檢查和數(shù)據(jù)質(zhì)量整改，基本一提起數(shù)據(jù)質(zhì)量控制就出現(xiàn)管理部門如何編寫更完善的檢查腳本，執(zhí)行部門如何執(zhí)行整改腳本，卻沒有針對其他環(huán)節(jié)的管理，如加強數(shù)據(jù)標(biāo)準(zhǔn)管理、數(shù)據(jù)錄入管理，加強數(shù)據(jù)整改后驗證管理等。

2 數(shù)據(jù)質(zhì)量未來發(fā)展方向——數(shù)據(jù)質(zhì)量認(rèn)證

在現(xiàn)今社會信息化越來越重要，企業(yè)決策信息的準(zhǔn)確性取決于企業(yè)數(shù)據(jù)的準(zhǔn)確性，數(shù)據(jù)質(zhì)量有必要提升到一個新的高度。但系統(tǒng)數(shù)據(jù)規(guī)模不斷膨脹，每次全面的數(shù)據(jù)檢查花費的時間由原來的小時級發(fā)展到現(xiàn)在的日級，未來很可能會達(dá)到周級、月級，其耗費的資源更是增長的令人難以忍受。傳統(tǒng)的數(shù)據(jù)質(zhì)量管理方法（數(shù)據(jù)質(zhì)量控制）日益無法適應(yīng)新的需求。針對現(xiàn)今數(shù)據(jù)質(zhì)量管理存在的問題，應(yīng)當(dāng)轉(zhuǎn)變思路由尋找問題數(shù)據(jù)轉(zhuǎn)變?yōu)閷ふ艺_數(shù)據(jù)，由數(shù)據(jù)質(zhì)量控制轉(zhuǎn)變?yōu)閿?shù)據(jù)質(zhì)量認(rèn)證。

數(shù)據(jù)質(zhì)量認(rèn)證就是管理確認(rèn)系統(tǒng)數(shù)據(jù)是否符合數(shù)據(jù)質(zhì)量要求的全過程，其管理思路是尋找信息系統(tǒng)數(shù)據(jù)中哪些數(shù)據(jù)的數(shù)據(jù)質(zhì)量是符合數(shù)據(jù)質(zhì)量要求的。其管理過程是先確立數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)，再通過標(biāo)準(zhǔn)技術(shù)和管理手段在信息系統(tǒng)數(shù)據(jù)中進(jìn)行數(shù)據(jù)認(rèn)證找到符合數(shù)據(jù)質(zhì)量要求的數(shù)據(jù)，然后對不符合數(shù)據(jù)質(zhì)量要求的數(shù)據(jù)進(jìn)行改良再認(rèn)證不斷循環(huán)該過程，最終使信息系統(tǒng)數(shù)據(jù)完全符合數(shù)據(jù)質(zhì)量要求。其管理目標(biāo)是為信息系統(tǒng)提供可靠的數(shù)據(jù)同時減少資源的浪費，最終為企業(yè)決策信息提供堅實的數(shù)據(jù)基礎(chǔ)同時提升資源使用效率，見圖2。

數(shù)據(jù)質(zhì)量認(rèn)證應(yīng)以下三點為基礎(chǔ)。

（1）建立以已確認(rèn)的信息系統(tǒng)需求為中心數(shù)據(jù)質(zhì)量認(rèn)證標(biāo)準(zhǔn)。

在質(zhì)量管理中，提出滿足要求的產(chǎn)品就是合格的產(chǎn)品，同樣滿足要求的數(shù)據(jù)就是合格的數(shù)據(jù)，數(shù)據(jù)質(zhì)量管理就是滿足要求的數(shù)據(jù)管理過程。數(shù)據(jù)質(zhì)量要求應(yīng)是通過用戶確認(rèn)同意的系統(tǒng)需求。系統(tǒng)數(shù)據(jù)通過校驗是否滿足數(shù)據(jù)質(zhì)量要求，即可認(rèn)證數(shù)據(jù)是否合格可用。只要系統(tǒng)需求不變更，數(shù)據(jù)沒有更改，下次就無須再次校驗，當(dāng)系統(tǒng)需求變更或數(shù)據(jù)更改時，只需按系統(tǒng)需求變更或數(shù)據(jù)更改的內(nèi)容，針對涉及變更范圍的數(shù)據(jù)重新認(rèn)證，這樣就可以最大限度節(jié)省校驗時間，亦可大量節(jié)省校驗花費的資源。

（2）統(tǒng)一數(shù)據(jù)質(zhì)量管理所使用技術(shù)、方法以及工具。

通過統(tǒng)一數(shù)據(jù)質(zhì)量管理所使用技術(shù)、方法以及工具，建立如同ISO一樣的標(biāo)準(zhǔn)體系。這樣數(shù)據(jù)質(zhì)量認(rèn)證能夠規(guī)范化、標(biāo)準(zhǔn)化，從而實現(xiàn)對數(shù)據(jù)質(zhì)量的規(guī)范化、標(biāo)準(zhǔn)化，使數(shù)據(jù)質(zhì)量由不可控變?yōu)榭煽?，有效避免出現(xiàn)同一數(shù)據(jù)經(jīng)不同數(shù)據(jù)檢查工具校驗得出不同結(jié)論的情況。

（3）建立全面數(shù)據(jù)質(zhì)量管理。

近來隨著信息化的深入發(fā)展，尤其是大數(shù)據(jù)時代的來臨，數(shù)據(jù)質(zhì)量方面的工作也由原來的對數(shù)據(jù)質(zhì)量的檢查和整改發(fā)展到建立全面數(shù)據(jù)質(zhì)量管理（Total Data Quality Management，TDQM），建立科學(xué)、完整的數(shù)據(jù)質(zhì)量評價和管理體系，就必須推行全面數(shù)據(jù)質(zhì)量管理（TDQM）來提升數(shù)據(jù)質(zhì)量。為了高水平的數(shù)據(jù)質(zhì)量，必須從產(chǎn)生數(shù)據(jù)的源頭抓起，對數(shù)據(jù)運行的全過程進(jìn)行監(jiān)控，密切關(guān)注數(shù)據(jù)質(zhì)量的水平變化，以管理為切入點，強化全面數(shù)據(jù)質(zhì)量管理的思想觀念，為數(shù)據(jù)在其生命周期每一個階段尤其是數(shù)據(jù)產(chǎn)生階段就能夠保證正確，就必須做好全面數(shù)據(jù)質(zhì)量管理。由此可見數(shù)據(jù)質(zhì)量認(rèn)證必須建立在完善的全面數(shù)據(jù)質(zhì)量管理之上，全面數(shù)據(jù)質(zhì)量管理將為數(shù)據(jù)質(zhì)量認(rèn)證提供堅實的理論基礎(chǔ)和技術(shù)支持。

3 結(jié)語

數(shù)據(jù)是每個企業(yè)最具價值的無形資產(chǎn)，企業(yè)的業(yè)務(wù)績效直接與數(shù)據(jù)質(zhì)量存在著直接聯(lián)系，高質(zhì)量的數(shù)據(jù)可以使企業(yè)擁有在任何時期立于不敗之地的競爭力。因此，在信息系統(tǒng)數(shù)據(jù)質(zhì)量未來發(fā)展方向中，數(shù)據(jù)質(zhì)量管理既是一個管理體系保證企業(yè)數(shù)據(jù)的可用性，同時數(shù)據(jù)質(zhì)量管理也是一項投資，應(yīng)以最小資源花費代價得到最多的可用數(shù)據(jù)，企業(yè)才能通過數(shù)據(jù)分析、數(shù)據(jù)挖掘提煉出對企業(yè)有幫助的決策信息，最終使企業(yè)競爭力得到提升。而只有數(shù)據(jù)質(zhì)量認(rèn)證才能滿足這樣的要求，而傳統(tǒng)的數(shù)據(jù)質(zhì)量控制是達(dá)不到的這樣效果的，因此數(shù)據(jù)質(zhì)量認(rèn)證才是未來的數(shù)據(jù)質(zhì)量管理發(fā)展方向。

參考文獻(xiàn)

[1] 江疆，黃劍文，楊秋勇.基于廣東電網(wǎng)大數(shù)據(jù)的數(shù)據(jù)質(zhì)量管理方法[J].現(xiàn)代計算機，2016（7）：88-91.

[2] 商廣娟.有效的數(shù)據(jù)質(zhì)量管理體系——21世紀(jì)管理的基石[J].航空標(biāo)準(zhǔn)化與質(zhì)量，2005（2）：18-22.

[3] 谷斌.信息系統(tǒng)建設(shè)中的數(shù)據(jù)質(zhì)量管理體系研究[J].情報雜志，2007（5）：65-67.endprint