大數(shù)據(jù)的問題與挑戰(zhàn)

韓佩佩

摘 要

大數(shù)據(jù)在社會政治、經(jīng)濟、文化等人類生活的各方面產(chǎn)生了深遠影響，可謂是“得數(shù)據(jù)者得天下”。然而大數(shù)據(jù)技術(shù)還是不成熟的，面臨許多問題，解決這些技術(shù)上的難題對我們而言無疑是巨大的挑戰(zhàn)。文章主要介紹了大數(shù)據(jù)面臨的問題以及解決問題需要應對的挑戰(zhàn)，為大數(shù)據(jù)的發(fā)展起到了一定的推動作用。

【關(guān)鍵詞】大數(shù)據(jù) 問題 挑戰(zhàn)

如今，我們正處在一個數(shù)據(jù)爆炸性增長的“大數(shù)據(jù)”時代，收集海量的各種類型的數(shù)據(jù)，并快速獲取影響未來的信息的能力，這正是大數(shù)據(jù)技術(shù)的魅力所在。大數(shù)據(jù)從產(chǎn)生至今，一直在不斷的發(fā)展進步，整個社會對大數(shù)據(jù)技術(shù)的關(guān)注程度非常高。大數(shù)據(jù)技術(shù)對人類社會具有巨大的價值，在社會經(jīng)濟、政治、文化等人類生活的各方面產(chǎn)生了深遠影響。但是目前大數(shù)據(jù)技術(shù)還是不成熟的，技術(shù)發(fā)展面臨許多問題，解決這些技術(shù)上的難題對我們而言無疑是巨大的挑戰(zhàn)。

1 大數(shù)據(jù)所面臨的問題

1.1 數(shù)據(jù)存儲難題

爆發(fā)式的數(shù)據(jù)增長不僅讓數(shù)據(jù)量大大增加，數(shù)據(jù)的類型也在變得更加復雜。不同類型的數(shù)據(jù)如何有效的存儲在同一個系統(tǒng)內(nèi)。這對存儲系統(tǒng)的結(jié)構(gòu)和性能提出了新的問題。當今，數(shù)據(jù)中心使用的傳統(tǒng)引導驅(qū)動器不僅故障率高，而且具有較高的維修和更換成本。這使得數(shù)據(jù)的存儲成本居高不下。僅僅提高硬件的性能不能滿足復雜數(shù)據(jù)對存儲系統(tǒng)的要求。如何提高存儲系統(tǒng)的性價比，令數(shù)據(jù)存儲更加便利更加有效，為以后的數(shù)據(jù)處理分析做好基礎(chǔ)工作，是大數(shù)據(jù)技術(shù)的一大問題。

1.2 數(shù)據(jù)分析結(jié)果未合理利用

運用大數(shù)據(jù)的預測判斷來影響人類的潛在行為，雖說在很大程度上可以幫助政府企業(yè)做出更好的決策決定，更好的管理社會。但從某些方面來說，這是對自由意志的一種褻瀆，是對公平公正的一種損害，同時也輕視了決策過程中個人深思熟慮的重要性。

1.2.1 數(shù)據(jù)分析影響人們的選擇

大數(shù)據(jù)的預測通過對用戶數(shù)據(jù)的深度分析，可以了解獲知用戶的行為喜好，個人習慣，潛在行為等。企業(yè)通過這種分析預測，對用戶加以引導以實現(xiàn)自己的目的，這在一定程度上違背了人類的自由意志，人們的行為變成了一種人為地操控。企業(yè)利用發(fā)達的數(shù)據(jù)挖掘技術(shù)正日益精準地揣摩著消費者心態(tài)，并運用各種手段對我們進行“循循善誘”。例如，我們在上網(wǎng)購物時，輸入自己想買的商品，很多商家都彈出了相關(guān)的推薦商品，更可怕的是，有的企業(yè)利用人們的搜索記錄和地理位置，在我們?yōu)g覽網(wǎng)頁時植入符合我們需求的精準廣告。這無疑在很大程度上影響了人們的選擇，左右了人們的決定。

1.2.2 數(shù)據(jù)分析影響政府決策

政府對數(shù)據(jù)的分析利用與企業(yè)相比，有過之而無不及，政府需要通過分析收集上來的數(shù)據(jù)，制定政策，法律法規(guī)。問題隨之而來，用時如果得當，大數(shù)據(jù)分析應用，會是政府合理決策過程中的有力武器；倘若運用不當，它就可能會變成政府統(tǒng)治約束民眾的工具，輕則傷害公民的利益，重則損害公民的人身安全。

1.3 分析處理能力不足

從龐雜無章的數(shù)據(jù)中獲取有價值的信息，無疑是一項非常具有挑戰(zhàn)性的工作，人類社會很早就開始利用數(shù)據(jù)，使用數(shù)據(jù)，但是從來沒有像今天這樣，需要面對如此龐大復雜的數(shù)據(jù)。分析利用數(shù)據(jù)，首先需要技術(shù)上的支持。在進行大數(shù)據(jù)分析之前，還需對數(shù)據(jù)先進行預處理，包括處理無效值和缺失值、刪除重復值等，對大數(shù)據(jù)來說，這些都是海量數(shù)據(jù)的“噪聲數(shù)據(jù)”，利用傳統(tǒng)的數(shù)據(jù)分析軟件來清理這些“噪聲”，處理分析數(shù)據(jù)，難度較大。除此之外，還需要快速把大數(shù)據(jù)中的核心數(shù)據(jù)提取出來，要想高效快速的準確分析這些核心數(shù)據(jù)，就需要建立高級的分析模型，只有對核心數(shù)據(jù)進行準確分析，發(fā)現(xiàn)數(shù)據(jù)中的趨勢和隱藏的信息，使大數(shù)據(jù)真正發(fā)揮作用。大數(shù)據(jù)處理分析需要軟硬件結(jié)合，這對軟件、硬件的性能和人才知識水平的都提出了更高的要求。這也是人們不得不面對的一個大問題。

2 大數(shù)據(jù)所面臨的挑戰(zhàn)

大數(shù)據(jù)給我們帶了許多不得不面對的問題，如何解決這些問題，對我們而言是一個個巨大的挑戰(zhàn)，突破這些挑戰(zhàn)將會把大數(shù)據(jù)技術(shù)推上一個新的高度，給人類社會帶來的效益不可估量。本節(jié)針對上文提出的諸多問題，介紹了相應的解決方法，并總結(jié)解決過程中遇到的挑戰(zhàn)。

2.1 數(shù)據(jù)儲存

巨量數(shù)據(jù)存儲所耗費的成本，會給企業(yè)造成巨大的負擔，甚至令許多企業(yè)望而卻步。數(shù)據(jù)量的爆發(fā)式增長，對存儲技術(shù)提出了巨大的挑戰(zhàn)，急需設(shè)計新型數(shù)據(jù)庫與性能更高的存儲硬件。

2.1.1 開發(fā)高效率、低成本的大數(shù)據(jù)存儲系統(tǒng)

重復數(shù)據(jù)刪除技術(shù)已經(jīng)進入到存儲市場，而且該技術(shù)還可以處理更多更復雜的數(shù)據(jù)類型，這都可以為大數(shù)據(jù)的存儲應用帶來更多的價值，提升了存儲效率。在數(shù)據(jù)量不斷增長的信息化的大環(huán)境下，通過減少后端存儲的消耗，哪怕僅僅是降低幾個百分點，都能夠獲得非常明顯的投資回報。刪除冗余信息，提高存儲效率，創(chuàng)新存儲模式，降低存儲成本，開發(fā)成本更低的存儲硬件，效率更高的存儲系統(tǒng)，才能真正做到了節(jié)省成本。才能為大數(shù)據(jù)的發(fā)展提供動力。但是數(shù)據(jù)刪除技術(shù)難以保證有效信息不被刪除，我們有時候也無法鑒別哪些信息是有效的，如何高效的鑒別信息的有效性，對我們來說是一個巨大挑戰(zhàn)。

2.1.2 提高數(shù)據(jù)存儲系統(tǒng)的靈活性

大數(shù)據(jù)存儲系統(tǒng)的基礎(chǔ)設(shè)施規(guī)模通常都很大，因此必須經(jīng)過仔細設(shè)計，才能保證存儲系統(tǒng)的靈活性，使其能夠隨著應用分析軟件一起擴容及擴展。在大數(shù)據(jù)存儲環(huán)境中，已經(jīng)沒有必要再做數(shù)據(jù)遷移了，因為數(shù)據(jù)會同時保存在多個部署站點。一個大型的數(shù)據(jù)存儲基礎(chǔ)設(shè)施一旦開始投入使用，就很難再調(diào)整了，因此它必須能夠適應各種不同的應用類型和數(shù)據(jù)場景。存儲系統(tǒng)的穩(wěn)定性靈活性的提升是數(shù)據(jù)存儲重要的一個改革點。應該建立高效新型的存儲結(jié)構(gòu)，以適應復雜的數(shù)據(jù)類型，巨量的數(shù)據(jù)。

但是，如此大型的數(shù)據(jù)存儲系統(tǒng)一是難以設(shè)計，二是價格肯定會非常昂貴，難以普及。如何保證大型系統(tǒng)的故障率不會隨著系統(tǒng)的復雜性的提高而提高，這對我們來說是一個難以解決的挑戰(zhàn)。

2.2 科學利用數(shù)據(jù)分析結(jié)果

2.2.1 對于數(shù)據(jù)分析結(jié)果，理性看待

企業(yè)商家利用大數(shù)據(jù)的分析結(jié)果對人們消費行為進行干預引導，這對企業(yè)商家來講，絕對是有利的，但是對我們消費者而言，可能會做出一些跟風消費的現(xiàn)象，購買自己不需要的東西，但自己的渾然不知。自由人的行為選擇竟然在很大程度上由他人決定，這就衍生了一些問題。對于商家企業(yè)的引導宣傳，我們應理性看待。由此，我們應該想到，大數(shù)據(jù)的分析結(jié)果正確與否，我們暫且不論，其結(jié)果肯定會對我們的行為產(chǎn)生影響，這種影響可能是正面的也可能是負面的。所以，作為普通公民的我們，需要提高自己的警惕，不能隨波逐流，要有自己的理性判斷，不能過分依賴數(shù)據(jù)。

2.2.2 預防預測偏差

對于政府企業(yè)，大數(shù)據(jù)無疑是一件極好的工具，但是，該技術(shù)畢竟是一門新生技術(shù)，原數(shù)據(jù)的正確與否都很難確定，更不用說分析結(jié)果的正確性了。一旦政府企業(yè)利用錯誤的數(shù)據(jù)進行分析，或者分析方法不當，得到的結(jié)果必定是有偏差的，這種偏差會影響政府企業(yè)的決策，錯誤的決策所帶的損失必定是巨大的。

為了避免或減少這種由數(shù)據(jù)利用不當帶來的損失，政府企業(yè)應規(guī)范自己利用大數(shù)據(jù)分析結(jié)果做決策的流程，建立一套完整的機制，避免盲目決策，錯誤決策。提高政府企業(yè)工作人員的科學素養(yǎng)，保證對該技術(shù)的理性認識，不迷信大數(shù)據(jù)技術(shù)，堅持實事求是。

思維的轉(zhuǎn)變是非常重要的一點。確定好大數(shù)據(jù)技術(shù)為人類服務的定位，不是“奴役”人類的工具。這一轉(zhuǎn)變對我們來說，也是一個巨大的挑戰(zhàn)。

2.3 強化數(shù)據(jù)分析工具

數(shù)據(jù)的分析、處理涵蓋了許多方面，這也使得大數(shù)據(jù)的分析、處理技術(shù)面臨巨大的挑戰(zhàn)。

2.3.1 急需強大的數(shù)據(jù)分析工具。

目前，我國的數(shù)據(jù)處理技術(shù)基礎(chǔ)薄弱，篩選與分析大數(shù)據(jù)的能力遠遠不及理想中水平。對低密度有價值的數(shù)據(jù)快速分析和處理能力不足，難以滿足大數(shù)據(jù)大規(guī)模應用的需求。如果把大數(shù)據(jù)比作石油，那數(shù)據(jù)分析工具就是進行石油勘探、油田鉆井、原油提煉、加工等環(huán)節(jié)必須的東西。所以，必須研發(fā)新的大數(shù)據(jù)分析技術(shù)！擁有強大的數(shù)據(jù)分析工具，才能將大數(shù)據(jù)資源轉(zhuǎn)化為價值。在短時間內(nèi)研發(fā)出高端的新技術(shù)，是對我們的大挑戰(zhàn)。

2.3.2 如何令云計算更好的服務于大數(shù)據(jù)

無處不在的信息感知設(shè)備和信息采集終端設(shè)備為我們采集了海量的數(shù)據(jù)，而以云計算為代表的計算技術(shù)的不斷進步和發(fā)展，為我們提供了強大的計算能力，這就圍繞個人以及組織的行為構(gòu)建起了一個與物質(zhì)世界相平行的數(shù)字世界。借助云計算等有效工具，深度挖掘數(shù)據(jù)的價值，可幫助政府企業(yè)更好的運作。但是云計算技術(shù)還不是非常成熟，如何令云計算高效的與大數(shù)據(jù)結(jié)合，更好的完成數(shù)據(jù)分析處理工作，這將是提升大數(shù)據(jù)技術(shù)的一個重要突破點?？焖侔l(fā)展云計算技術(shù)，并順利將其應用與大數(shù)據(jù)中，是大數(shù)據(jù)發(fā)展中重要的一個環(huán)節(jié)。

3 結(jié)束語

本文主要介紹了目前大數(shù)據(jù)技術(shù)存在的問題，并針對這些問題提出了解決方案，以及解決問題時面臨的挑戰(zhàn)，為大數(shù)據(jù)的發(fā)展起到了一定的推動作用。

參考文獻

[1] 維克托·邁爾·舍恩伯格.大數(shù)據(jù)時代[M].浙江：浙江人民出版社，2012：1-135.

[3] 維克托·舍恩伯格.刪除：大數(shù)據(jù)取舍之道[M].浙江：浙江人民出版社，2013：27-103.

[4] 徐繼華，馮啟娜.智慧政府：大數(shù)據(jù)治國時代的來臨[M].北京：中信出版社，2014：18-89.

[5] 李金勝.大數(shù)據(jù)時代的挑戰(zhàn)、價值與應對策略[J].數(shù)字化用戶，2014：10-72.

[6] 許小樂.“大數(shù)據(jù)”與政府統(tǒng)計改革[J].調(diào)研世界，2013：56-93.