大數(shù)據(jù)及相關(guān)技術(shù)解讀分析

周北一

?

大數(shù)據(jù)及相關(guān)技術(shù)解讀分析

周北一

摘 要大數(shù)據(jù)是隨著信息的急劇膨脹而提出的一種概念，目前大數(shù)據(jù)技術(shù)在世界經(jīng)濟、軍事、信息傳播等領(lǐng)域有了廣泛的應用，而這種應用所帶來的網(wǎng)絡革命效應也越來越多的引起人們的重視。提供大數(shù)據(jù)服務的企業(yè)要積極推廣大數(shù)據(jù)技術(shù)的應用模式，開發(fā)大數(shù)據(jù)中的數(shù)據(jù)安全保密技術(shù)，為大數(shù)據(jù)的長遠發(fā)展做出貢獻。

關(guān)鍵詞大數(shù)據(jù) 技術(shù) 解讀分析

隨著計算機信息化的建設(shè)，互聯(lián)網(wǎng)中的數(shù)據(jù)量呈現(xiàn)出爆炸式的增長，大數(shù)據(jù)正是隨著信息的急劇膨脹而提出的一種概念。目前大數(shù)據(jù)技術(shù)在世界經(jīng)濟、軍事、信息傳播等領(lǐng)域有了廣泛的應用，而這種應用所帶來的網(wǎng)絡革命效應也越來越引起人們的重視。本文將對大數(shù)據(jù)概念進行闡述，討論大數(shù)據(jù)與CDN、IDC、云計算之間的關(guān)系，對大數(shù)據(jù)技術(shù)未來的發(fā)展前景和應用范圍進行分析，希望對大數(shù)據(jù)技術(shù)更好地發(fā)展和應用提供幫助。

一、大數(shù)據(jù)概述

大數(shù)據(jù)技術(shù)的發(fā)展時間比較短，目前在學術(shù)界定上沒有一個清晰統(tǒng)一的定義?？傮w來說，大數(shù)據(jù)指的是一種數(shù)據(jù)集合，這種數(shù)據(jù)集合由于信息資料的規(guī)模過于龐大，在一定的時間內(nèi)，應用目前的信息收集和管理軟件不能夠做到對數(shù)據(jù)的收集、分析、處理工作。大數(shù)據(jù)在廣義層面上，可以分為大數(shù)據(jù)技術(shù)、大數(shù)據(jù)工程和科學等。其中，大數(shù)據(jù)工程通過對大數(shù)據(jù)進行分析，建立對數(shù)據(jù)進行管理的工程；而大數(shù)據(jù)科學，則是指在大數(shù)據(jù)發(fā)展的過程中，對大數(shù)據(jù)的發(fā)現(xiàn)和研究活動。大數(shù)據(jù)技術(shù)就是指通過科學的分析和合理的規(guī)劃，從龐大的數(shù)據(jù)庫中獲得所需要信息的技術(shù)。通過研究發(fā)現(xiàn)大數(shù)據(jù)主要具有下面的特點：

（一）數(shù)據(jù)信息規(guī)模巨大

數(shù)據(jù)信息規(guī)模巨大是大數(shù)據(jù)最基本也是最重要的特點。目前，互聯(lián)網(wǎng)技術(shù)得到了巨大的發(fā)展，使用互聯(lián)網(wǎng)技術(shù)進行數(shù)據(jù)查詢的主體也單純從機構(gòu)查詢，發(fā)展為個人、企業(yè)、機構(gòu)等共同查詢的方式。用戶在使用互聯(lián)過程中，進行無意的點擊，對于一些信息的分享等都成了大數(shù)據(jù)龐大信息規(guī)模的一部分?，F(xiàn)在大數(shù)據(jù)的數(shù)據(jù)單位已經(jīng)上升到了PB的級別。

（二）數(shù)據(jù)的類型復雜

大數(shù)據(jù)龐大的數(shù)據(jù)規(guī)模中，數(shù)據(jù)類型非常復雜。既包括傳統(tǒng)的一些基本數(shù)據(jù)，也包括網(wǎng)頁、文檔等新式數(shù)據(jù)；既包括比較完整加工后的數(shù)據(jù)，也包括加工未完成的數(shù)據(jù)。

（三）數(shù)據(jù)的傳播速率較快

大數(shù)據(jù)的傳播速率過快，這也是造成傳統(tǒng)軟件對于大數(shù)據(jù)難以處理的一個原因。有時大數(shù)據(jù)的處理結(jié)果需要在一瞬間就形成，否則形成的結(jié)果就失去了使用價值，這對于傳統(tǒng)軟件來說是很難達到的，所以大數(shù)據(jù)對于處理的時效性有很高的要求。

（四）數(shù)據(jù)間的價值密度較低

一般情況下，大數(shù)據(jù)的規(guī)模在巨量增長的時候，用戶需要的信息數(shù)據(jù)規(guī)模卻增長緩慢，這在一定程度上加大了獲取數(shù)據(jù)的難度，造成了數(shù)據(jù)間價值密度較低的特點。

二、大數(shù)據(jù)技術(shù)介紹

大數(shù)據(jù)技術(shù)的前身是商務智能（BI），主要的技術(shù)環(huán)節(jié)包括：數(shù)據(jù)的收集、數(shù)據(jù)的處理、數(shù)據(jù)的計算、數(shù)據(jù)的研究以及數(shù)據(jù)結(jié)果的表現(xiàn)。其中，大數(shù)據(jù)的收集工作主要在互聯(lián)網(wǎng)、當?shù)財?shù)據(jù)庫等展開；在數(shù)據(jù)分析方面，主要基于人工軟件智能進行進一步的研究；在數(shù)據(jù)表現(xiàn)方面，通過多媒體技術(shù)與相關(guān)的網(wǎng)頁技術(shù)相結(jié)合，通過圖像的形式進行展現(xiàn)。

三、大數(shù)據(jù)、CDN、IDC和云計算之間的關(guān)系

（一）大數(shù)據(jù)與云計算之間的關(guān)系

云計算和大數(shù)據(jù)之間的關(guān)聯(lián)性比較強。云計算指的是以巨量的數(shù)據(jù)作為基礎(chǔ)，通過對巨量的數(shù)據(jù)進行研究，在巨大的數(shù)據(jù)規(guī)模中尋找需要的信息數(shù)據(jù)。云計算的英文簡稱為Cloud Computing，它的計算方法主要依托互聯(lián)網(wǎng)進行。一般情況下，對瀏覽器等軟件進行訪問，就可以訪問到云計算的經(jīng)營商提供的網(wǎng)絡應用，這些應用中的數(shù)據(jù)信息都存儲在網(wǎng)絡數(shù)據(jù)庫中。云計算的服務類型主要包括：軟件即時服務類型、平臺即時服務類型以及基建即時服務類型?？傮w來說，云計算主要就是應用虛擬化的技術(shù)，以互聯(lián)網(wǎng)為依托，通過對巨量的數(shù)據(jù)規(guī)模進行整合、分析、計算，從而取得需要信息的一種及時計算服務。云計算的特點是虛擬化程度較高，適用人群較廣，計算結(jié)果準確性較高。云計算的這些特點促使云計算在大數(shù)據(jù)中有著廣泛的應用。同時，云計算和大數(shù)據(jù)技術(shù)也有著一定的不同。大數(shù)據(jù)更加看重的是對于數(shù)據(jù)的存儲能力，而云計算則強調(diào)的是計算，通過計算來獲取有效數(shù)據(jù)的處理能力。

（二）大數(shù)據(jù)與CDN之間的關(guān)系

CDN的英文全稱為CONTENT DELIVERY NETWORK，通過CDN的使用可以加快數(shù)據(jù)傳播的速度，確保數(shù)據(jù)傳播的穩(wěn)定性。CDN的工作原理是通過設(shè)置其他地方的結(jié)點服務器，以互聯(lián)網(wǎng)為依托，構(gòu)建出一層智能網(wǎng)絡，通過網(wǎng)絡結(jié)點中傳遞的數(shù)據(jù)和流量，促使客戶的數(shù)據(jù)請求流向最近的服務節(jié)點，進而進行數(shù)據(jù)的收集、查詢等工作。由于互聯(lián)網(wǎng)在實際應用中會出現(xiàn)通讀的現(xiàn)象，通過CDN技術(shù)的應用，可以有效解決網(wǎng)絡堵塞問題，提高互聯(lián)網(wǎng)的訪問速度。

（三）大數(shù)據(jù)與IDC之間的關(guān)系

IDC的英文簡稱為INTERNET DATA CENTER，中文意思為網(wǎng)絡數(shù)據(jù)中心。IDC是以互聯(lián)網(wǎng)為媒介，通過集中形式數(shù)據(jù)匯總、管理、處置和發(fā)送數(shù)據(jù)的相關(guān)設(shè)備，來為數(shù)據(jù)的維護提供運行基地，并附帶提供配套的服務。IDC的服務對象主要是企業(yè)、傳媒機構(gòu)、網(wǎng)站等，并為它們提供高質(zhì)量的專業(yè)化服務。IDC可以提高網(wǎng)絡站點的性能，提高訪問的響應能力，同時通過對網(wǎng)絡服務器的有效利用，確保網(wǎng)絡數(shù)據(jù)傳播的安全性和時效性。

（四）大數(shù)據(jù)與三者之間關(guān)系的總結(jié)

大數(shù)據(jù)與CDN、IDC以及云計算之間的關(guān)系有著很強的關(guān)聯(lián)性。首先，它們的產(chǎn)生都是由于互聯(lián)網(wǎng)技術(shù)的大力發(fā)展，數(shù)據(jù)處理規(guī)模的急劇增加，數(shù)據(jù)的收集都來自互聯(lián)網(wǎng)上的信息，可以說，互聯(lián)網(wǎng)是它們信息傳遞的橋梁。其次，后三者的存在對于大數(shù)據(jù)是很好的補充，通過不同角度對數(shù)據(jù)的收集和整理，實現(xiàn)信息的有效處理?？傮w來說，大數(shù)據(jù)信息的有效存儲為后三者提供的對于數(shù)據(jù)的有效計算和處理提供了平臺，同時，大數(shù)據(jù)通過與三者的有機結(jié)合，可以更好地進行數(shù)據(jù)的挖掘和處理，從而及時地提供所需要的信息。

四、大數(shù)據(jù)技術(shù)的發(fā)展與應用

隨著信息網(wǎng)絡技術(shù)發(fā)展力度的加大，大數(shù)據(jù)技術(shù)在如今的許多方面有了更廣泛的應用。大數(shù)據(jù)技術(shù)以前主要在互聯(lián)網(wǎng)科技公司中進行使用，但現(xiàn)在無論是傳統(tǒng)的公司企業(yè)、公共機構(gòu)還是新興的具有高技術(shù)性質(zhì)的企業(yè)單位，對于大規(guī)模數(shù)據(jù)的處理需求越來越大。同時大數(shù)據(jù)以往的應用主要在企業(yè)智能和商務營銷方面，但現(xiàn)在它的應用范圍越來越廣，例如社會科學、經(jīng)濟學等方面都有了廣泛的應用。

信息化的大力發(fā)展，促進了大數(shù)據(jù)時代的到來。由于大數(shù)據(jù)技術(shù)的使用可以有效促進公司智能化的發(fā)展、提升信息數(shù)據(jù)的安全性，所以，可以預見，未來大數(shù)據(jù)的發(fā)展前景是極其光明和寬廣的。大數(shù)據(jù)的產(chǎn)業(yè)結(jié)構(gòu)可以發(fā)展成為三個主要領(lǐng)域：分別是硬件為基礎(chǔ)的商業(yè)領(lǐng)域；基礎(chǔ)軟件的商業(yè)領(lǐng)域以及應用軟件的商業(yè)領(lǐng)域。

五、結(jié)束語

大數(shù)據(jù)的發(fā)展規(guī)模不斷壯大，相應的對數(shù)據(jù)進行收集分析，確保數(shù)據(jù)安全等方面的人才缺口也會非常大，而相關(guān)人才的缺失將會對大數(shù)據(jù)的發(fā)展帶來非常不利的影響。提供大數(shù)據(jù)服務的企業(yè)要重視人才短缺的問題，積極推廣大數(shù)據(jù)技術(shù)的應用模式，開發(fā)大數(shù)據(jù)中的數(shù)據(jù)安全保密技術(shù)，為大數(shù)據(jù)的長遠發(fā)展做出貢獻。

參考文獻

［1］ 王妍，柴劍平.大數(shù)據(jù)及相關(guān)技術(shù)解讀［J］.廣播電視信息，2014（02）：18-21+24.

作者單位（為北京浩瀚深度信息技術(shù)股份有限公司）