淺談大數(shù)據(jù)技術及其發(fā)展趨勢

王龍 潘曉勇

摘 要：大數(shù)據(jù)是隨著計算機技術、互聯(lián)網(wǎng)技術、通信技術的發(fā)展而必須面對的一個普遍問題，是互聯(lián)網(wǎng)發(fā)展到現(xiàn)階段的一種表象或是特征。大數(shù)據(jù)已滲透到人們生活的各個領域中，我們正生活在一個海量數(shù)據(jù)的時代，憑借其廣泛的影響，大數(shù)據(jù)正在潛移默化地改變著我們的社會對于公共政策、信息科學和社會科學等領域均有著極其重要的應用價值。本文簡要介紹了大數(shù)據(jù)系統(tǒng)框架、技術發(fā)展并對其未來的發(fā)展趨勢進行了分析。

關鍵詞：大數(shù)據(jù)技術 發(fā)展趨勢 公共安全 商業(yè)價值

中圖分類號：TP391.73 文獻標識碼：A 文章編號：1672-3791（2018）01（b）-0040-02

大數(shù)據(jù)的出現(xiàn)可以以史無前例的低成本去獲取和利用數(shù)據(jù)，而隨著數(shù)據(jù)成倍的增長，大數(shù)據(jù)對我們生活的影響也會越深入，不可否認我們正處于一個海量數(shù)據(jù)的時代。Mckinsey的報告指出在未來10年內(nèi)消費者的數(shù)據(jù)價值將由原來的1000億美元提升為7000億美元。隨著大數(shù)據(jù)的趨勢越來越明顯，政府、工業(yè)以及研究機構(gòu)的很多研究人員均對大數(shù)據(jù)的研究表現(xiàn)出了強烈的興趣。此外，為更好地應對大數(shù)據(jù)發(fā)展過程中的很多難題和挑戰(zhàn)，政府專門為此制定了方案，Science等相關雜志也發(fā)表了相關論點。

1 大數(shù)據(jù)系統(tǒng)框架及技術發(fā)展研究

大數(shù)據(jù)到底有多大？大數(shù)據(jù)的大是相對于傳統(tǒng)的編程語言、編程思想、數(shù)據(jù)結(jié)構(gòu)處理能力的大，但是相對于現(xiàn)在的數(shù)據(jù)增長來說，以前的技術和工具都是傳統(tǒng)的。當遭遇新技術浪潮的時候，現(xiàn)在的技術工具又會成為阻礙技術發(fā)展的最大問題。因此，大數(shù)據(jù)的大只是一個相對的大，在未來的發(fā)展過程中大數(shù)據(jù)將會遇到越來越多的問題。大數(shù)據(jù)不是一個新的問題，而是一個一直存在著的問題。

1.1 大數(shù)據(jù)處理

利用強大的支持平臺來判斷大數(shù)據(jù)的潛在價值稱為大數(shù)據(jù)處理。根據(jù)處理時間的長短，我們可以把大數(shù)據(jù)分析分為流處理和批處理兩種方式。流處理的理論和科技已經(jīng)被研究了近10年，憑借其自身攜帶的龐大的數(shù)據(jù)，流處理可以快速分析數(shù)據(jù)導出結(jié)果，甚至其處理時間已經(jīng)達到了秒、毫秒的水平。先對數(shù)據(jù)進行存儲在對數(shù)據(jù)進行分析是批處理中最常用的方式。MapReduce已被廣泛應用于生物信息學Web挖掘中，其核心思想是：首先處理已經(jīng)被分成小塊的數(shù)據(jù)，然后按照其分布方式導出中間結(jié)果，從而接連導出最終結(jié)果。此外，由于該模型計算機資源接近數(shù)據(jù)源位置，因此可以很好地避免通信開銷。

1.2 數(shù)據(jù)存儲

為了滿足數(shù)據(jù)平臺的數(shù)據(jù)分析和特征提取，數(shù)據(jù)存儲必須滿足以下兩個條件：其一，存儲的基礎架構(gòu)必須滿足永久可靠性；其二，數(shù)據(jù)存儲子系統(tǒng)必須能夠查詢和分析數(shù)據(jù)。獲取大數(shù)據(jù)的主要方式有爬蟲收集、政府數(shù)據(jù)、行業(yè)數(shù)據(jù)等?？偨Y(jié)一下獲取的方式就是程序員自身的積累再加上各個渠道內(nèi)的收集。

1.3 數(shù)據(jù)分析

作為價值鏈中最重要的階段，數(shù)據(jù)分析旨在提取數(shù)據(jù)價值以便幫助人們做出決策。以下為3種常用的數(shù)據(jù)分析的方式：其一，數(shù)據(jù)可視化。通過圖形有效的傳遞信息是數(shù)據(jù)可視化的根本目標，隨著數(shù)據(jù)量的增長，傳統(tǒng)的電子表格已不能滿足大數(shù)據(jù)時代的要求。由于它可以幫助軟件開發(fā)、算法設計等方面的研究，可視化大數(shù)據(jù)已成為一個越來越活躍的研究領域。其二，統(tǒng)計分析。在應用數(shù)學中，每件事物都存在其隨機性和不確定性，而統(tǒng)計分析對大數(shù)據(jù)集進行描述和推理的過程。其三，數(shù)據(jù)挖掘。目前，人工智能、機器學習等相關領域均已提出了各類數(shù)據(jù)挖掘算法。數(shù)據(jù)挖掘是大數(shù)據(jù)發(fā)現(xiàn)模式的過程，數(shù)據(jù)挖掘算法是數(shù)據(jù)挖掘的過程中的重要課題。對于IT工程師來說，每次新技術的發(fā)展所帶來的海量數(shù)據(jù)對他們來說除了機遇便是毀滅。因此，他們必須時刻保持著足夠的熱情和耐心才能在數(shù)據(jù)到來的時刻不被時代所淘汰，并能夠引領時代的發(fā)展。

2 大數(shù)據(jù)技術發(fā)展新趨勢

在數(shù)據(jù)持續(xù)增長的今天，開放共享成為了數(shù)據(jù)資源在數(shù)據(jù)大戰(zhàn)中持續(xù)保持優(yōu)勢的關鍵。各類數(shù)據(jù)的共享使用不僅極大地方便了我們的日常生活更為各種產(chǎn)業(yè)的發(fā)展提供了機遇。但由于政府和企業(yè)之間沒有統(tǒng)一規(guī)范標準，就很容易降低數(shù)據(jù)的開放程度，引起商業(yè)壟斷的現(xiàn)象發(fā)生。而且現(xiàn)階段的數(shù)據(jù)安全數(shù)據(jù)質(zhì)量方面都存在很大的問題，能夠熟練掌握大數(shù)據(jù)的專業(yè)人員也很少，大數(shù)據(jù)人才市場的匱乏直接影響了大數(shù)據(jù)未來的發(fā)展趨勢。筆者認為未來大數(shù)據(jù)的發(fā)展趨勢主要體現(xiàn)在以下幾個方面。

2.1 數(shù)據(jù)資源化

隨著大數(shù)據(jù)的發(fā)展，很多商業(yè)機構(gòu)都對大數(shù)據(jù)表現(xiàn)出了相當濃厚的興趣，大數(shù)據(jù)成為當代企業(yè)搶奪的新焦點。《華爾街日報》中就曾指出大數(shù)據(jù)是想黃金、貨幣一樣的新的資產(chǎn)類別。谷歌、百度、騰訊等企業(yè)都通過利用大數(shù)據(jù)取得了事業(yè)上的成功，而金融電信等行業(yè)也在通過不斷地利用大數(shù)據(jù)來提升自身的競爭力。我們可以相信大數(shù)據(jù)將在不久的將來成為個人的資產(chǎn)，成為企業(yè)競爭的有力武器。數(shù)據(jù)資源也可以解決交通行業(yè)的出行問題，智能交通依靠大數(shù)據(jù)信息集成的優(yōu)勢和組合效率，并跨越行政區(qū)域的限制，很好地配置公共交通信息資源，促進公共交通均衡性發(fā)展，對交通堵塞和交通污染排放進行隱形控制。

2.2 行業(yè)方案定制化

大數(shù)據(jù)技術開始和傳統(tǒng)的商業(yè)進行智能化的結(jié)合，在對企業(yè)的數(shù)據(jù)進行分析處理的基礎上，將會引入更多的非數(shù)據(jù)化結(jié)構(gòu)數(shù)據(jù)到其中。企業(yè)可以利用這項功能實現(xiàn)完整的數(shù)據(jù)化平臺，并給各個商家定制適合他們的數(shù)據(jù)服務。由于商業(yè)智能化技術更利于企業(yè)找到新的商機，所以，必定會有廣泛的應用市場。我們相信大數(shù)據(jù)技術在未來將會更智能化地解決商業(yè)中所存在的問題，對傳統(tǒng)金融行業(yè)產(chǎn)生了巨大影響，大數(shù)據(jù)金融概念的提出及實施更能體現(xiàn)自身的實力和潛力。如京東商城等電子商務企業(yè)已經(jīng)借助平臺積淀的數(shù)據(jù)資產(chǎn)而進軍金融領域，將信息流、物流和資金流深度融合，為平臺上的用戶提供訂單白條等創(chuàng)新服務，彌補了傳統(tǒng)供應鏈金融信息技術服務的缺失，并且這種定制化的商業(yè)解決方案必定會在金融行業(yè)創(chuàng)造出更高的價值。在教育領域大數(shù)據(jù)也引發(fā)著重要變革，美國教育部門所創(chuàng)造的“學習分析系統(tǒng)”正是基于大數(shù)據(jù)所研發(fā)，它以數(shù)據(jù)和模塊聯(lián)合的框架，向教育工作者提供學生關于學習更多、更好、更精確的信息。

2.3 生活便利化

大數(shù)據(jù)技術已經(jīng)開始逐漸改變我們的日常生活，并逐漸普及到了各個方面，促進了城市的發(fā)展。大數(shù)據(jù)技術從傳統(tǒng)的、簡單的數(shù)據(jù)分析處理到現(xiàn)在的智能化技術，無一不為人類提供了便利。智能技術來對自己的身體質(zhì)量進行檢測，比如：智能手環(huán)的出現(xiàn)，讓人們可以隨時了解自身的健康狀態(tài)。外出時可以通過大數(shù)據(jù)技術進行人工智能導航；在家可以使用智能家電等。在未來大數(shù)據(jù)技術將會通過對數(shù)據(jù)的分析為人類提供更多智能化的幫助。

3 結(jié)語

綜上所述，隨著近幾年科學技術的迅猛發(fā)展，許多領域產(chǎn)生了海量數(shù)據(jù)，我們正生活在一個海量數(shù)據(jù)的時代。憑借其廣泛的影響，大數(shù)據(jù)正在潛移默化地改變著我們的社會。在未來的發(fā)展過程中，大數(shù)據(jù)技術開始和傳統(tǒng)的商業(yè)進行智能化的結(jié)合，在對企業(yè)的數(shù)據(jù)進行分析處理的基礎上，將會引入更多的非數(shù)據(jù)化結(jié)構(gòu)數(shù)據(jù)到其中。另外，越來越多商業(yè)機構(gòu)都對大數(shù)據(jù)表現(xiàn)出了相當濃厚的興趣，大數(shù)據(jù)成為當代企業(yè)搶奪的新焦點。

參考文獻

[1] 李軍.大數(shù)據(jù)：從海量到精準[M].北京：清華大學出版社，2014.

[2] 裘敬忠.探討大數(shù)據(jù)技術發(fā)展趨勢及應用的初步經(jīng)驗[J].納稅，2017（17）：201.

[3] 潘柱廷，程學旗，袁曉如.CCF大專委2016年大數(shù)據(jù)發(fā)展趨勢預測——解讀和行動建議[J].大數(shù)據(jù)，2016，2 （1）：105-113.

[4] 王珩，王海寧，劉暢.大數(shù)據(jù)技術在指揮信息系統(tǒng)中的應用與發(fā)展[J].指揮信息系統(tǒng)與技術，2015，6（2）：5-9.

[5] 王若倪，趙慧玲.大數(shù)據(jù)技術發(fā)展趨勢及燈塔大數(shù)據(jù)行業(yè)應用平臺[J].中興通訊技術，2016，22（3）：57-61.