大數據處理流程中影響數據質量的因素及改進措施探討

王雷

摘 要：在信息技術高速發(fā)展的時代背景下，大數據發(fā)揮了重要的作用，通過對總體數據的處理與分析，能夠對事物的發(fā)展趨勢進行分析預測，有助于決策制定的科學性和合理性。由于大數據具有數據量大、數據類型繁多的特點，所以在處理的過程中任何一個環(huán)節(jié)出現失誤，都會對最終的數據質量產生影響，降低大數據的應用價值。文章主要對大數據處理流程中影響數據質量的因素進行分析，然后有針對性的提出改進措施，為提升大數據應用價值創(chuàng)造良好的基礎。

關鍵詞：大數據;處理流程;數據質量;改進措施

大數據技術是指通過對海量的數據信息進行處理，然后獲取事物之間的關聯程度以及未來的發(fā)展預測，通過大數據分析，能夠為各項決策的制定提供更加科學合理的依據，這就要求大數據在整個處理流程中能夠保證較高的質量。大數據質量主要指適合于進行數據分析、處理、預測等使用過程并滿足用戶需求的特征，所以大數據質量貫穿于整個大數據流程中。為了更加有效的控制大數據質量，從大數據處理流程的層面出發(fā)，本文主要對數據收集、數據預處理與存儲、數據處理與分析、數據應用等各個環(huán)節(jié)影響大數據質量的因素進行分析，然后提出改進措施，提高數據質量的可控性和精準性，提高數據結果的應用價值，促進大數據技術在我國經濟發(fā)展中發(fā)揮更大的作用。

1.數據收集環(huán)節(jié)影響數據質量的因素及改進措施

數據收集是獲取原始大數據集合的過程，從不同的數據源實時或及時的收集各種類型的數據。在數據收集過程中，不同的數據源、收集方式和收集技術都會對大數據質量的真實性、完整性、一致性、精確性、時效性和安全性產生影響。如果網站、系統(tǒng)和傳感器設備在運行過程中出現安全威脅，就會導致數據信息被惡意攻擊與篡改。在采用網絡爬蟲進行數據收集時，如果在設定的時間內沒有完成規(guī)定數據的收集，就會影響到數據收集的時效性。為了保證數據收集環(huán)節(jié)的數據質量，企業(yè)應該對數據來源進行甄別和驗證，保證數據的真實性和有效性，對關系到用戶隱私的敏感信息采取不收集處理，合理選擇數據收集技術，做好各項網絡安全防護措施，確保數據收集質量。

2.數據預處理與存儲環(huán)節(jié)影響數據質量的因素及改進措施

大數據預處理和存儲是進行數據處理與分析的重要基礎，因為大數據來源廣，為了保證大數據分析與預測結果的準確性和價值性，需要對收集到的大數據進行預處理，包括數據清理、數據集成、數據歸約、數據轉換等環(huán)節(jié)。在預處理過程中，任何一個環(huán)節(jié)的操作失誤，都會影響到數據質量。數據存儲是通過不同的存儲介質和組織管理形式對大數據進行存儲和管理，不同的數據存儲技術都有自身的優(yōu)點和缺陷，對大數據的時效性、安全性等質量會產生影響。為了提高數據預處理和存儲質量，應該完善預處理的管理，不斷提升各項處理技術水平。根據數據形式和數據儲存技術特點，選擇適宜的存儲技術，保證數據的安全性和可用性。

3.數據處理與分析環(huán)節(jié)影響數據質量的因素及改進措施

大數據處理是對海量的數據進行分析與處理，大數據的存儲形式和業(yè)務數據類型不同，處理效率和方式也不相同，為了保證大數據的價值性、可用性、時效性和準確性，應該根據大數據類型選擇適宜的存儲形式和數據處理系統(tǒng)，確保大數據質量的最優(yōu)化。數據分析直接關系到大數據集合的價值性和可用性，在數據處理環(huán)節(jié)即可完成對已有數據的分布式統(tǒng)計分析，對于未知數據進行的聚類和分類、關聯分析和深度學習等，需要通過數據分析技術完成。應該根據大數據的應用情境和決策需求來選擇適宜的數據分析技術，從而提升數據分析環(huán)節(jié)的數據質量。

4.大數據應用環(huán)節(jié)影響數據質量的因素及改進措施

在大數據經過分析處理等一系列過程中，會將所得到的結果提供給用戶進行應用，這是對大數據分析的結果進行檢驗和驗證的重要環(huán)節(jié)，可直接反應出大數據處理結果的可用性和價值性。為提高大數據應用質量，在數據收集和處理之前，應該對數據的用途和用戶的需求進行深入的調查分析，然后為大數據的收集、存儲、處理、分析等環(huán)節(jié)提供有力的保障，確保目標的明確性，最終保證大數據處理結果具有較高的應用價值。

5.結語

在競爭激烈的時代背景下，數據信息成為企業(yè)制定各項決策和方案的重要依據，為了保證決策和方案的科學性、合理性，就需要有高質量的數據信息的支持。大數據技術是對海量數據信息進行綜合處理后得到的結果，可為企業(yè)制定決策和方案提供重要的數據支持。大數據具有規(guī)模性、高速性和數據來源多樣性的特點，所以導致數據處理流程中可能產生不一致和沖突，進而影響到數據質量，降低數據結果的應用價值。通過對大數據處理流程中數據的質量控制，可切實提升大數據的應用價值。

參考文獻：

[1]孫敏，王琳.大數據時代下的數據可視化方法分析[J].軟件，2019-09-15.

[2]劉梅招，羅慧，付彬宏，周鈺山，張宸.基于大數據分析的動態(tài)傳輸數據質量自適應監(jiān)測[J].自動化與儀器儀表，2019-08-25.

[3]裴文華.對大數據審計中數據質量控制的幾點探討[J].中國審計報，2019-08-21.