大數(shù)據(jù)時代下數(shù)據(jù)質(zhì)量的挑戰(zhàn)探析

陳文娟

【摘 ?要】數(shù)據(jù)質(zhì)量是人們生活和企業(yè)發(fā)展的信息基礎(chǔ)，推動著社會主義現(xiàn)代化的進(jìn)程。大數(shù)據(jù)環(huán)境下的企業(yè)管理、數(shù)據(jù)存儲和使用都發(fā)生了相應(yīng)變化。通過數(shù)據(jù)傳播和分析，企業(yè)可以就行業(yè)狀態(tài)和國際趨勢第一時間作出判斷和部署，提高企業(yè)競爭力。所以，論文通過對大數(shù)據(jù)特點的分析，列舉出大數(shù)據(jù)時代下數(shù)據(jù)質(zhì)量存在的問題，并據(jù)此提出相應(yīng)的創(chuàng)新方案，使大數(shù)據(jù)更好地應(yīng)用和服務(wù)于現(xiàn)代企業(yè)。

【Abstract】Data quality is the information basis of people's life and enterprises' development， which promotes the process of socialist modernization. In the big data environment， enterprise management， data storage and use have changed accordingly. Through data dissemination and analysis， enterprises can make judgment and deployment in the first time according to the industry status and international trend， so as to improve the competitiveness of enterprises. Therefore， through the analysis of the characteristics of big data， this paper lists the problems existing in data quality in the big data era， and puts forward corresponding innovation schemes based on these， so that big data can be better used in modern enterprises and serve them.

【關(guān)鍵詞】大數(shù)據(jù);數(shù)據(jù)質(zhì)量;管理分析

【Keywords】big data; data quality; management analysis

【中圖分類號】TP311 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 【文獻(xiàn)標(biāo)志碼】A ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 【文章編號】1673-1069（2020）09-0098-02

1 引言

網(wǎng)絡(luò)信息技術(shù)的快速發(fā)展和應(yīng)用，改變了人們獲取信息和交流工作的方式，將人們帶入大數(shù)據(jù)時代。但是，隨著社會發(fā)展的快速變化和數(shù)據(jù)的高速更新，對數(shù)據(jù)的一致性和穩(wěn)定性提出了更高的要求。所以，本文從流程環(huán)節(jié)、技術(shù)角度、管理方面三個維度進(jìn)行研究，推動數(shù)據(jù)質(zhì)量的管理，以應(yīng)對大數(shù)據(jù)環(huán)境的挑戰(zhàn)。

2 大數(shù)據(jù)的特點

2.1 量大

TB、PB、EB、ZB是目前數(shù)據(jù)儲存方面的專業(yè)計量單位，從TB到PB的跨越說明了數(shù)據(jù)體量不斷增長的發(fā)展趨勢[1]。據(jù)相關(guān)報告統(tǒng)計，部分企業(yè)的數(shù)據(jù)存儲量已經(jīng)超過7EB字節(jié)，用戶在相關(guān)媒體設(shè)備上也有了6EB字節(jié)以上的新數(shù)據(jù)。還有報告指出，部分企業(yè)的日常交易數(shù)據(jù)高達(dá)2.5PB/h，社會整體數(shù)據(jù)量已經(jīng)達(dá)到2.5EB/d，幾乎呈幾何式增長?？梢哉f，當(dāng)今社會處處都充斥著數(shù)據(jù)，這也是時代賦予企業(yè)的重大特征。

2.2 高速

大數(shù)據(jù)時代背景下，前一秒有用的信息可能下一秒就會“過期”，數(shù)據(jù)處于不斷更新和完善的狀態(tài)，這也是企業(yè)大數(shù)據(jù)發(fā)展和數(shù)據(jù)質(zhì)量保障必須面臨的問題[2]?？梢哉f，互聯(lián)網(wǎng)上每秒鐘都在產(chǎn)生數(shù)據(jù)，且增長速度飛快，整體存儲量也在不斷擴(kuò)大。

2.3 多樣化

各行各業(yè)、不同設(shè)施設(shè)備每天都在產(chǎn)生數(shù)據(jù)，如社交平臺上的文字、圖片、視頻，各信息系統(tǒng)中的實時數(shù)據(jù)等。隨著網(wǎng)絡(luò)信息技術(shù)的發(fā)展和新型產(chǎn)業(yè)的興起，數(shù)據(jù)來源還在不斷擴(kuò)大。在數(shù)據(jù)類型方面，非結(jié)構(gòu)化數(shù)據(jù)的出現(xiàn)豐富了數(shù)據(jù)方式，同時，對傳統(tǒng)的存儲技術(shù)和分析方式也提出了更高要求。

3 大數(shù)據(jù)時代下數(shù)據(jù)質(zhì)量存在的問題與對策

3.1 流程環(huán)節(jié)

數(shù)據(jù)質(zhì)量管理包括收集、存儲和使用三個環(huán)節(jié)，這也是一條數(shù)據(jù)完整的生命周期，所以流程環(huán)節(jié)的數(shù)據(jù)質(zhì)量挑戰(zhàn)也分為以下三個方面：

第一，在數(shù)據(jù)收集環(huán)節(jié)，大數(shù)據(jù)的獲取渠道通常較為復(fù)雜，數(shù)據(jù)結(jié)構(gòu)也呈多元化趨勢發(fā)展，企業(yè)要保障這一復(fù)雜環(huán)境下大數(shù)據(jù)的有效性和完整性，就需要較大的人力和物力支出。因為大數(shù)據(jù)的數(shù)量龐大及獲取的渠道不盡不同，各信息間的差異性、矛盾性問題較為凸顯。一般情況下，如果數(shù)據(jù)量較小，可以利用相應(yīng)的篩選程序或人力資源進(jìn)行數(shù)據(jù)的檢測和定位，找到存在的問題數(shù)據(jù)，但是隨著數(shù)據(jù)量持續(xù)擴(kuò)大，這種方式顯然是不合適的。獲取環(huán)節(jié)數(shù)據(jù)的完整性、一致性是后期信息使用的重要保證，也是目前行業(yè)內(nèi)面臨的最大挑戰(zhàn)。此外，數(shù)據(jù)“有效期”是數(shù)據(jù)質(zhì)量管理中亟待解決的問題。

第二，在數(shù)據(jù)存儲環(huán)節(jié)，目前的數(shù)據(jù)呈現(xiàn)非結(jié)構(gòu)化、非系統(tǒng)化發(fā)展趨勢，原有的數(shù)據(jù)庫技術(shù)和數(shù)據(jù)存儲設(shè)備已經(jīng)與大數(shù)據(jù)存儲出現(xiàn)脫軌現(xiàn)象。在相關(guān)數(shù)據(jù)研究中，結(jié)構(gòu)化數(shù)據(jù)是目前采取的主要運行模式，與之匹配的是傳統(tǒng)的數(shù)據(jù)存儲架構(gòu)，而非結(jié)構(gòu)化數(shù)據(jù)則不能直接進(jìn)行存儲，而是需要先進(jìn)行結(jié)構(gòu)轉(zhuǎn)化以適應(yīng)存儲條件，這不僅增加了數(shù)據(jù)存儲的時間，而且可能受轉(zhuǎn)換方式的影響，破壞數(shù)據(jù)完整性和一致性。此外，非結(jié)構(gòu)化的數(shù)據(jù)量正不斷增長，隨著視頻、圖片、音頻等形式的迅速發(fā)展，非結(jié)構(gòu)化數(shù)據(jù)在整體運營數(shù)據(jù)中的占比高達(dá)九成，數(shù)據(jù)結(jié)構(gòu)的改變決定了存儲架構(gòu)隨之進(jìn)行創(chuàng)新和變革。

第三，在數(shù)據(jù)使用環(huán)節(jié)，數(shù)據(jù)收集和存儲的目的是最后階段的分析和使用。大數(shù)據(jù)環(huán)境下，存在多數(shù)人對同一數(shù)據(jù)的選取、分析、整合和應(yīng)用，這一階段環(huán)環(huán)相扣，任一操作出現(xiàn)問題，都會改變大數(shù)據(jù)庫中的信息有效性，進(jìn)而影響企業(yè)的重大決策和方針制定。例如，企業(yè)對收集的數(shù)據(jù)沒有及時進(jìn)行處理和應(yīng)用，作出重大決定時這些數(shù)據(jù)就可能“過期”了，這樣制定的方案是不具有指導(dǎo)意義的。所以，企業(yè)應(yīng)該著眼于數(shù)據(jù)的使用價值，在有效期內(nèi)及時分析和應(yīng)用，最大限度地發(fā)揮數(shù)據(jù)的價值，實現(xiàn)最后環(huán)節(jié)的質(zhì)量把控，為企業(yè)搶先占領(lǐng)市場和提高自身競爭力提供信息支持。

3.2 技術(shù)角度

數(shù)據(jù)技術(shù)的發(fā)展和創(chuàng)新改變了數(shù)據(jù)的收集、存儲和使用方式，為大數(shù)據(jù)質(zhì)量保障提供技術(shù)支持。通過高效的數(shù)據(jù)分析和預(yù)測，市場情況、行業(yè)狀態(tài)和企業(yè)發(fā)展現(xiàn)狀都被直觀、具體地反映出來，進(jìn)而優(yōu)化企業(yè)的決策和發(fā)展方式。但是如果數(shù)據(jù)質(zhì)量得不到保障，這些優(yōu)勢都無法實現(xiàn)，甚至出現(xiàn)錯誤決定，為企業(yè)帶來巨大的經(jīng)濟(jì)損失。

一般規(guī)模較小的企業(yè)，流通的數(shù)據(jù)量也相對較少，所以大多數(shù)配備是關(guān)系型數(shù)據(jù)庫。大數(shù)據(jù)背景下，數(shù)據(jù)不僅具有量大的變化，其結(jié)構(gòu)類型也表現(xiàn)出多樣化特點，非結(jié)構(gòu)化數(shù)據(jù)的占比越來越高，由原來的單一化、簡單化趨向復(fù)雜化、融合化，利用傳統(tǒng)技術(shù)完成掃描和檢測工作，所花費的時間往往較長，這就對數(shù)據(jù)技術(shù)的創(chuàng)新和管理提出了更高要求。所以大數(shù)據(jù)環(huán)境下，企業(yè)發(fā)展和運行需要更高效的處理速度和分析能力，需要通過改變原有的數(shù)據(jù)庫技術(shù)、數(shù)據(jù)分析技術(shù)，來應(yīng)對大規(guī)模數(shù)據(jù)的處理，以實現(xiàn)最短時間內(nèi)完成檢測和識別任務(wù)，進(jìn)而達(dá)到數(shù)據(jù)質(zhì)量保障的目標(biāo)。

大數(shù)據(jù)變革在國際上掀起了技術(shù)創(chuàng)新的浪潮，處于發(fā)展前端的數(shù)據(jù)公司就特別提出，非結(jié)構(gòu)化數(shù)據(jù)和新型數(shù)據(jù)分析技術(shù)的引進(jìn)將會成為企業(yè)提高自身競爭力的重要方式。相較國外，我國的技術(shù)革新起步較晚，大部分企業(yè)的規(guī)模和數(shù)據(jù)技術(shù)都相對落后，數(shù)據(jù)類型以結(jié)構(gòu)化數(shù)據(jù)為主，使用的是與之匹配的存儲、分析技術(shù)，對新的數(shù)據(jù)類型與數(shù)據(jù)分析技術(shù)的應(yīng)用較少。

3.3 管理方面

數(shù)據(jù)質(zhì)量不僅受到技術(shù)力量的影響，而且與企業(yè)管理的方向和重視程度有關(guān)。例如，高層管理者對相關(guān)技術(shù)研發(fā)的支持力度、技術(shù)分析人員的專業(yè)素養(yǎng)等。

第一，在企業(yè)高層管理者方面。企業(yè)管理者要轉(zhuǎn)變落后的思想觀念，了解和重視大數(shù)據(jù)的發(fā)展，結(jié)合社會發(fā)展方向和企業(yè)經(jīng)營狀況制定相關(guān)的戰(zhàn)略規(guī)劃，健全管理制度和優(yōu)化工作流程來確保大數(shù)據(jù)相關(guān)項目的開發(fā)和推進(jìn)。如果企業(yè)管理者未能洞察大數(shù)據(jù)的價值和市場前景，在相應(yīng)的政策扶持、資金支持、人員配備方面就會比較滯后，出現(xiàn)已經(jīng)發(fā)現(xiàn)數(shù)據(jù)漏洞但是無力保證的局面，不僅會影響大數(shù)據(jù)效用的發(fā)揮，而且可能使企業(yè)流失掉大量客戶，阻礙企業(yè)的可持續(xù)發(fā)展。所以，企業(yè)的重視和支持是大數(shù)據(jù)質(zhì)量得以保障的重要動力。

第二，在專業(yè)數(shù)據(jù)管理人員方面。大數(shù)據(jù)屬于前沿科技，對專業(yè)人才的知識儲備和技能要求比較高，同時，要求其了解企業(yè)的各項業(yè)務(wù)和管理政策，如經(jīng)常提到的首席數(shù)據(jù)官（Chief Data Officer，CDO），CDO在大數(shù)據(jù)開發(fā)和應(yīng)用、數(shù)據(jù)質(zhì)量管理方面發(fā)揮著重要作用。企業(yè)應(yīng)該引進(jìn)CDO來管理大數(shù)據(jù)項目的運行，根據(jù)行業(yè)發(fā)展情況和國際趨勢來制定并實施一系列的活動和方案。就國內(nèi)目前的大數(shù)據(jù)發(fā)展情況而言，企業(yè)規(guī)模和數(shù)據(jù)處理量都相對較少，利用數(shù)據(jù)挖掘技術(shù)創(chuàng)造經(jīng)濟(jì)價值的情況也比較少，所以，大部分企業(yè)未重視相關(guān)人才的引進(jìn)和儲備，以至于數(shù)據(jù)規(guī)模較大的企業(yè)的管理成效一直較低，組織架構(gòu)分散，部門地位被動化。此外，CDO的專業(yè)度較高，需要各種技能集于一身，屬于稀缺類人才，在國內(nèi)人才市場中處于缺失狀態(tài)。國內(nèi)企業(yè)的人才重視程度低、相關(guān)專業(yè)人才短缺都直接影響著大數(shù)據(jù)質(zhì)量的管理和保障。

4 結(jié)語

數(shù)據(jù)質(zhì)量管理工作是大數(shù)據(jù)應(yīng)用的信息基礎(chǔ)和工作順利進(jìn)行的重要保障。但是在目前發(fā)展中還存在較多需要改進(jìn)的地方，如管理方面的疏忽、技術(shù)人才的缺失、數(shù)據(jù)生命周期的把控等。所以，本文列舉出數(shù)據(jù)質(zhì)量在流程環(huán)節(jié)、技術(shù)角度、管理方面三個維度受到的挑戰(zhàn)，通過為數(shù)據(jù)質(zhì)量管理提供技術(shù)和人力支持來營造安全的發(fā)展環(huán)境。

【參考文獻(xiàn)】

【1】戚斌.大數(shù)據(jù)時代下數(shù)據(jù)質(zhì)量的挑戰(zhàn)[J].信息記錄材料，2018，19（06）：74-75.

【2】肖杰.大數(shù)據(jù)時代下數(shù)據(jù)質(zhì)量的挑戰(zhàn)與應(yīng)對策略研究[J].數(shù)字化用戶，2018，24（52）：147.