計(jì)算機(jī)大數(shù)據(jù)分析與云計(jì)算網(wǎng)絡(luò)技術(shù)

郇濤 山東信息職業(yè)技術(shù)學(xué)院

引言

在新時代的互聯(lián)網(wǎng)背景下，傳統(tǒng)的數(shù)據(jù)處理方式和數(shù)據(jù)處理技術(shù)都已經(jīng)很難滿足能夠?qū)Υ笠?guī)模數(shù)據(jù)進(jìn)行有效處理、分析的要求，大數(shù)據(jù)工作也因此面臨著諸多問題，例如數(shù)據(jù)過于分散、數(shù)據(jù)量龐大以及數(shù)據(jù)結(jié)構(gòu)存在漏洞等。為了真正實(shí)現(xiàn)大規(guī)模數(shù)據(jù)信息的輸入、輸出、存儲等功能，并不斷推動數(shù)據(jù)信息處理技術(shù)的發(fā)展，不斷調(diào)整和優(yōu)化數(shù)據(jù)信息的整體架構(gòu)，人們提出了一個新的網(wǎng)絡(luò)應(yīng)用概念——云計(jì)算。云計(jì)算的核心概念是以互聯(lián)網(wǎng)為核心，在網(wǎng)站上提供云計(jì)算服務(wù)和數(shù)據(jù)存儲，最終形成一個龐大的計(jì)算資源與數(shù)據(jù)中心。通過云計(jì)算，人們不僅能夠通過多種渠道獲取數(shù)據(jù)信息，而且還能滿足數(shù)據(jù)信息在傳播時的一系列性能需求，例如安全性、準(zhǔn)確性等。基于摩爾定律可以推測，每年的數(shù)據(jù)信息總量都會呈現(xiàn)出線性增長趨勢。因此，云計(jì)算也在不斷面臨著新的挑戰(zhàn)，只有更加精確、高效、迅速地處理和分析數(shù)據(jù)，才能滿足人們?nèi)找嬖鲩L的需求。

1 大數(shù)據(jù)的特征和應(yīng)用

整體來看，大數(shù)據(jù)共有五大特征：龐大性、豐富性、價值性、高速性以及準(zhǔn)確性。由于大數(shù)據(jù)能夠?qū)崿F(xiàn)數(shù)據(jù)的準(zhǔn)確分析和研究，因而在各個領(lǐng)域都起到了極大的促進(jìn)作用，間接性地提高了我國生產(chǎn)建設(shè)以及經(jīng)濟(jì)發(fā)展的水平。在云計(jì)算環(huán)境下，大數(shù)據(jù)的容量和架構(gòu)是不盡相同的，其應(yīng)用主要包含以下三種架構(gòu)：

其一，融合式架構(gòu)。融合式架構(gòu)可以將大量的數(shù)據(jù)信息進(jìn)行整合，并采取相應(yīng)的優(yōu)化處理，從而提升系統(tǒng)的可操作性。這樣一種架構(gòu)模式被稱為用戶/服務(wù)器模式。服務(wù)器可以對系統(tǒng)進(jìn)行管理和整合，具體來說，就是對其中的程序進(jìn)行管理和設(shè)置，對其中的數(shù)據(jù)的運(yùn)行是否符合邏輯性等進(jìn)行判斷和處理等等。

其二是分散式架構(gòu)。這一架構(gòu)類型最顯著的特點(diǎn)是，其可以將不同的模塊以較為均勻的形式散落分布在不同的客戶端當(dāng)中。如此一來，整個系統(tǒng)就可以在其內(nèi)部實(shí)現(xiàn)具有高度靈活性的自我控制，與此同時，其自我調(diào)整也會更加便捷。立足于此，這一類型的架構(gòu)也能夠?yàn)橄到y(tǒng)的整體安全性提供保駕護(hù)航的力量。但是其同時也存在著不容忽視的缺陷，那就是這一架構(gòu)無法提供有效性水平較高的數(shù)據(jù)信息儲存功能和數(shù)據(jù)維護(hù)功能。除此之外，當(dāng)客戶在這一架構(gòu)下進(jìn)行注冊的時候，就會遇到數(shù)據(jù)錯誤的問題，而無法順利完成注冊。

其三是混合式架構(gòu)。這種架構(gòu)類型兼具了以上兩種類型的優(yōu)勢，其在分發(fā)和傳播相關(guān)的數(shù)據(jù)信息的時候，所依賴的主要是服務(wù)器。而當(dāng)其在進(jìn)行不同用戶之間的數(shù)據(jù)交互的時候，主要依賴的則是客戶端。

2 大數(shù)據(jù)和云計(jì)算的關(guān)系分析

云計(jì)算在本質(zhì)上是一種模式，其存在的目的是為了使得當(dāng)前不斷增加的互聯(lián)網(wǎng)服務(wù)器以及相關(guān)的虛擬資源能夠獲得有效的運(yùn)行和及時的處理。由于其具有無可比擬的數(shù)據(jù)處理功能，因此，其在進(jìn)行數(shù)據(jù)處理的時候，所需耗費(fèi)的資源較少，但是，其所能夠提供的網(wǎng)絡(luò)共享服務(wù)，卻具有十分不容小覷的功能。具體來說，云計(jì)算具有以下幾大方面的特性，其一是可擴(kuò)展性，其二是虛擬性，其三是通用性，除此之外，其還具有著無可比擬的安全性，同時，其規(guī)模也是其他計(jì)算模式所無法企及的。據(jù)統(tǒng)計(jì)，云計(jì)算能夠?qū)崿F(xiàn)千臺服務(wù)器以上的計(jì)算規(guī)模，而且還能夠?qū)⑵渌@得的數(shù)據(jù)進(jìn)行虛擬化的處理。與傳統(tǒng)的本地計(jì)算機(jī)相比較，這一計(jì)算技術(shù)，能夠立足于不同應(yīng)用本身的特點(diǎn)，來進(jìn)行針對化的數(shù)據(jù)處理，以此來為對方提供更高質(zhì)量的數(shù)據(jù)。其次，如若用戶的需求規(guī)模發(fā)生變化，那么這一云計(jì)算的規(guī)模也會進(jìn)行相應(yīng)的自我調(diào)整。而用戶在使用這些數(shù)據(jù)的時候，可以實(shí)現(xiàn)跨行業(yè)的運(yùn)作方式，同時無需花費(fèi)較高的成本。

而具體來說，大數(shù)據(jù)和云計(jì)算之間的聯(lián)系是密不可分的。前者可以將后者的成熟技術(shù)作為其進(jìn)行數(shù)據(jù)處理的基礎(chǔ)，而后者則可以為前者提供不容忽視的大規(guī)模數(shù)據(jù)處理的技術(shù)支持。與此同時，由于大數(shù)據(jù)在實(shí)踐過程當(dāng)中，對于數(shù)據(jù)處理方案有著極大的需求，因此，這也在很大程度上推動了云計(jì)算技術(shù)的穩(wěn)步發(fā)展。

3 淺析以云計(jì)算為基礎(chǔ)的大數(shù)據(jù)處理技術(shù)

3.1 集中和分布式采集技術(shù)

具體來說，大數(shù)據(jù)擁有兩種采集信息的方式，其一是集中式的，其二是分布式的[4]。如果使用者看重的是對數(shù)據(jù)的整體性進(jìn)行把控的能力,那么則可以采用集中式的技術(shù)。而如果其看重的是對數(shù)據(jù)進(jìn)行靈活性處理的能力，那么則可以采用分布式的方式。而大數(shù)據(jù)技術(shù)所要采集的信息內(nèi)容，主要就是客戶端的使用者們在與不同的平臺進(jìn)行互動的過程當(dāng)中所產(chǎn)生的一系列數(shù)據(jù)。而這些數(shù)據(jù)信息有可能是相對獨(dú)立的，也有可能是較為分散的。因此如果能夠借助大數(shù)據(jù)將這些分散的信息關(guān)聯(lián)起來，那么則能夠?qū)ζ溥M(jìn)行有效的利用。而云計(jì)算則可以有針對性地解決這些大數(shù)據(jù)的采集問題，并使得相關(guān)的數(shù)據(jù)都能夠被儲存在各個組織所配備的服務(wù)器當(dāng)中。

3.2 存儲技術(shù)

當(dāng)前，互聯(lián)網(wǎng)每天所產(chǎn)生的數(shù)據(jù)都是海量的，且其同時具備分散性較強(qiáng)的特點(diǎn)。因此，如果借助傳統(tǒng)的數(shù)據(jù)存儲方法，則無法有效地使得當(dāng)前的數(shù)據(jù)處理需求得到及時的滿足。而且如果采用較為傳統(tǒng)的處理數(shù)據(jù)的方式，其同時還需要花費(fèi)較長的時間，同時效率也不高。在這樣的背景下，如果能夠基于云計(jì)算技術(shù)，借助于其獨(dú)有的列式存儲數(shù)據(jù)的途徑，來使得屬性迥異的數(shù)據(jù)可以進(jìn)行合理的分割，并配備相對獨(dú)立的存儲單元，那么則能夠使得數(shù)據(jù)最終的處理效果得以獲得極大的提升。除此之外，由于這種存儲數(shù)據(jù)的方式能夠使得以往數(shù)據(jù)所占用的空間得以極大地壓縮，因此，也能夠節(jié)省不容忽視的數(shù)據(jù)存儲成本。

3.3 挖掘技術(shù)

立足于云計(jì)算這一技術(shù),大數(shù)據(jù)的處理和挖掘工作可以以更為全面的方式來進(jìn)行。在聯(lián)機(jī)分析的基礎(chǔ)之上,云計(jì)算所制備的挖掘技術(shù)可以通過對于諸多數(shù)據(jù)的充分挖掘，來借助模型的方式對其進(jìn)行表達(dá)。與此同時,這一技術(shù)也可以使得諸多潛在的數(shù)據(jù)得以被充分的挖掘出來，并使其價值最大化。

4 結(jié)語

近年來，大數(shù)據(jù)正以無可抵擋之勢席卷全球的各個角落，當(dāng)前已經(jīng)沒有哪一個行業(yè)能夠離開大數(shù)據(jù)而獨(dú)立存在了。而云計(jì)算作為一種為大數(shù)據(jù)提供技術(shù)支撐的基礎(chǔ)，其所具有的高水平的數(shù)據(jù)處理模式，不僅能夠給大數(shù)據(jù)模式的運(yùn)行提供前所未有的助益，與此同時，還能夠節(jié)省大量的數(shù)據(jù)分析和處理時間以及空間，來為大數(shù)據(jù)提供更為智能的運(yùn)行模式。