基于云計算的大數(shù)據(jù)技術(shù)

張洪文

隨著網(wǎng)絡(luò)時代的飛速發(fā)展，特別是信息數(shù)據(jù)的爆炸式發(fā)展，當(dāng)代信息傳播的容量、數(shù)量都變得異常豐富。信息傳播過程中對媒介的容量、效率及安全性提出了新的要求。大數(shù)據(jù)有著這樣一條摩爾定律：人類社會中的信息數(shù)據(jù)增長速度為每兩年翻一倍。信息傳遞急需技術(shù)手段，來提高傳遞的效率、準(zhǔn)確度以及媒介容量，大數(shù)據(jù)應(yīng)運(yùn)而生。云技術(shù)在數(shù)據(jù)的處理中展現(xiàn)出了越來越多優(yōu)勢，基于云計算的大數(shù)據(jù)技術(shù)全面的革新了傳統(tǒng)的數(shù)據(jù)處理技術(shù)。就目前信息數(shù)據(jù)的爆破性擴(kuò)張，不久的將來，云計算技術(shù)以及大數(shù)據(jù)仍舊需要進(jìn)一步開發(fā)拓展，才能夠滿足時代需求，云計算技術(shù)與大數(shù)據(jù)處理也是當(dāng)代一大重要研究課題。

【關(guān)鍵詞】云計算 大數(shù)據(jù) 網(wǎng)絡(luò)

云計算技術(shù)是基于網(wǎng)絡(luò)，提供數(shù)據(jù)計算服務(wù)、存儲服務(wù)的新型網(wǎng)絡(luò)管理調(diào)度技術(shù)，統(tǒng)籌的將網(wǎng)格計算、并行計算以及分布式計算加以實(shí)現(xiàn)，應(yīng)用到了網(wǎng)絡(luò)數(shù)據(jù)管理中，并結(jié)合其他軟件、硬件提供給用戶多種服務(wù)。利用云技術(shù)，可以大幅度的提高資源利用率，這一新型的超級計算其數(shù)據(jù)非常密集，能夠?qū)崿F(xiàn)集數(shù)據(jù)存儲、數(shù)據(jù)計算、服務(wù)器功能、應(yīng)用軟件功能、IT軟硬件設(shè)備資源虛擬化。當(dāng)今全球互聯(lián)網(wǎng)的流量也在爆炸式的增漲著，云計算與大數(shù)據(jù)的應(yīng)用是數(shù)據(jù)處理的重要技術(shù)。并且，隨著網(wǎng)絡(luò)技術(shù)、軟件技術(shù)的發(fā)展，云技術(shù)在數(shù)據(jù)的處理中展現(xiàn)出了越來越多優(yōu)勢，如表1所示。

大數(shù)據(jù)是在云技術(shù)之上興起的新課題，大數(shù)據(jù)往往具備以下四個特征：

（1）大量的數(shù)據(jù)；

（2）多種類型的數(shù)據(jù)；

（3）數(shù)據(jù)生成及處理速度快；

（4）大數(shù)據(jù)的巨大價值；這也就是大數(shù)據(jù)的4V特征。

并且隨著基于云計算技術(shù)的大數(shù)據(jù)不斷的發(fā)展，還提出了大數(shù)據(jù)的第五點(diǎn)特征及要求，便是強(qiáng)化大數(shù)據(jù)處理分析中的準(zhǔn)確性（Veracity），目前的大數(shù)據(jù)處理已經(jīng)進(jìn)入了5V時代。

1 大數(shù)據(jù)的特點(diǎn)

大數(shù)據(jù)技術(shù)對比傳統(tǒng)數(shù)據(jù)的諸多特性來分析，具有非常明顯的差異。這些差異主要體現(xiàn)在數(shù)據(jù)的計算、存儲以及檢索等多方面。傳統(tǒng)的數(shù)據(jù)線性特征顯著，對比離散型顯著的大數(shù)據(jù)而言，大數(shù)據(jù)的發(fā)散性、隨機(jī)性、爆發(fā)性顯得更為復(fù)雜，但是這種復(fù)雜的數(shù)據(jù)能夠體現(xiàn)出更為客觀的現(xiàn)象，具備更有效的價值。

2 關(guān)鍵技術(shù)

2.1 數(shù)據(jù)存儲技術(shù)

信息數(shù)據(jù)在進(jìn)行存儲時的可靠性、安全性以及讀寫時的效率是云計算技術(shù)的基礎(chǔ)，利用云計算技術(shù)在存儲時，往往采用分布式存儲，將大量的數(shù)據(jù)進(jìn)行匯總并儲存到集群服務(wù)器中。這種存儲技術(shù)往往會對數(shù)據(jù)進(jìn)行備份儲存，利用先進(jìn)的數(shù)據(jù)加密技術(shù)配合冗余存儲能夠確保數(shù)據(jù)的可靠性、安全性。以HDFS為例：

HDFS是一種分布式文件存儲系統(tǒng)，被廣泛應(yīng)用在通用硬件中。這一系統(tǒng)具備較高的容錯功能，能夠在廉價設(shè)備上實(shí)現(xiàn)應(yīng)用，并且其對數(shù)據(jù)訪問的吞吐量也很大，適合應(yīng)用在大數(shù)據(jù)集的處理上。HDFS系統(tǒng)可以進(jìn)一步的實(shí)現(xiàn)文件系統(tǒng)中的數(shù)據(jù)流式讀取，在大數(shù)據(jù)處理中，HDFS常被設(shè)計成能夠?qū)崿F(xiàn)平臺間便于遷移的系統(tǒng)，這就令大數(shù)據(jù)集的應(yīng)用更便捷，如圖1所示。

2.2 虛擬化數(shù)據(jù)管理

云計算的主要功能在于針對大量的數(shù)據(jù)進(jìn)行分布式的分析處理，并且為用戶提供高效的服務(wù)，這就需要強(qiáng)大的數(shù)據(jù)管理能力作為支撐，而基于云計算的大數(shù)據(jù)技術(shù)在數(shù)據(jù)管理中具備虛擬化特征。將數(shù)據(jù)處理的計算機(jī)系統(tǒng)轉(zhuǎn)換成了虛擬層，利用硬件設(shè)備資源，配合操作系統(tǒng)建立了這樣一個虛擬的空間鏈接數(shù)據(jù)處理的各層級。令上下層的配合更靈活，極大程度的縮減了開銷，提高了資源利用率。

3 大數(shù)據(jù)與云計算的關(guān)聯(lián)

大數(shù)據(jù)的處理是將云計算技術(shù)視為一種技術(shù)平臺，大數(shù)據(jù)在進(jìn)行數(shù)據(jù)處理時的首選處理形式則是云計算技術(shù)，云計算為大數(shù)據(jù)的處理分析提供了最適的存儲空間及計算能力，可以令大量的數(shù)據(jù)信息迅速的分析出結(jié)果，便于使用付諸現(xiàn)實(shí)。而云計算技術(shù)的主要功能在于計算能力，大數(shù)據(jù)則可以視為接受計算處理的對象，前者對于計算能力更為注重，后者則是更傾向于存儲功能。將存儲的大數(shù)據(jù)付諸應(yīng)用的重點(diǎn)在于數(shù)據(jù)處理，而云計算恰好滿足了這一功能性要求。

4 總結(jié)

大數(shù)據(jù)處理技術(shù)與云計算在信息處理中展現(xiàn)出了極大的潛力，結(jié)合這兩種技術(shù)能夠?qū)崿F(xiàn)信息傳遞的高效性、準(zhǔn)確性、大容量。在很多領(lǐng)域，應(yīng)用基于云計算的大數(shù)據(jù)處理技術(shù)表現(xiàn)出強(qiáng)大的功能。隨著網(wǎng)絡(luò)信息技術(shù)的高速發(fā)展，信息數(shù)據(jù)的傳播數(shù)量及速度都亟待提升?；谠朴嬎愕拇髷?shù)據(jù)處理仍需進(jìn)一步的開發(fā)，并對這一新技術(shù)加以應(yīng)用，相關(guān)技術(shù)的研究也是當(dāng)前學(xué)術(shù)界的關(guān)注點(diǎn)。

參考文獻(xiàn)

[1]丁有偉，秦小麟，劉亮，王濤春.一種異構(gòu)集群中能量高效的大數(shù)據(jù)處理算法[J].計算機(jī)研究與發(fā)展，2015（02）：377-390.

[2]李貞強(qiáng)，陳康，武永衛(wèi)，鄭緯民.大數(shù)據(jù)處理模式——系統(tǒng)結(jié)構(gòu)，方法以及發(fā)展趨勢[J].小型微型計算機(jī)系統(tǒng)，2015（04）：641-647.

[3]李敏，倪少權(quán)，邱小平，黃強(qiáng).物聯(lián)網(wǎng)環(huán)境下基于上下文的Hadoop大數(shù)據(jù)處理系統(tǒng)模型[J].計算機(jī)應(yīng)用，2015（05）：1267-1272.

[4]彭建華，李臣明，邱軍林，李曉芳，徐立中.接收與處理分離的實(shí)時大數(shù)據(jù)處理模型[J]. 計算機(jī)科學(xué)與探索，2015（08）：906-913.

[5]張少敏，毛冬，王保義.大數(shù)據(jù)處理技術(shù)在風(fēng)電機(jī)組齒輪箱故障診斷與預(yù)警中的應(yīng)用[J].電力系統(tǒng)自動化，2016（14）：129-134.

作者單位

貴州大學(xué)繼續(xù)教育學(xué)院 貴州省貴陽市 550000