基于云計(jì)算的海量數(shù)據(jù)挖掘

付永丹

摘 要

在一個信息爆炸的時代，基于云計(jì)算的海量數(shù)據(jù)挖掘技術(shù)很好地滿足了用戶對于數(shù)據(jù)庫中可理解知識的精準(zhǔn)認(rèn)識。依靠網(wǎng)絡(luò)資源，云計(jì)算提供了一種動態(tài)可伸縮的虛擬性資源模式，實(shí)現(xiàn)了用戶按使用率付費(fèi)。云計(jì)算在節(jié)約資源和提高信息化上具有應(yīng)用價值。MapReduce是一種云計(jì)算環(huán)境下的并行計(jì)算模型，在數(shù)據(jù)挖掘方面具有很大技術(shù)優(yōu)勢。此外，要很好地應(yīng)用基于云計(jì)算的海量數(shù)據(jù)挖掘技術(shù)，我們還需關(guān)注虛擬機(jī)遷移、服務(wù)器整合、能耗管理、流量管理與分析、軟件框架和存儲技術(shù)與數(shù)據(jù)管理等的關(guān)鍵問題。

【關(guān)鍵詞】云計(jì)算 海量數(shù)據(jù)挖掘 研究

1 前言

我們正處于一個信息爆炸的時代，現(xiàn)在大約每隔十八個月的時間全球的數(shù)據(jù)量就會翻一倍，而且數(shù)據(jù)總量還呈現(xiàn)不斷增加的趨向。海量的數(shù)據(jù)為企業(yè)或者個人帶來了各種便利，但是也帶來了甄別、選擇有價值數(shù)據(jù)的難度。而云計(jì)算平臺正好契合了對此類高效挖掘數(shù)據(jù)的要求，它擁有高度虛擬化和高可用化的優(yōu)勢，可以對資源進(jìn)行動態(tài)的調(diào)度和分配。因此，融合云計(jì)算技術(shù)和數(shù)據(jù)挖掘技術(shù)無疑是一套很好的解決方案。目前，基于云計(jì)算的海量數(shù)據(jù)挖掘技術(shù)已經(jīng)開始走向商業(yè)應(yīng)用階段，其中以谷歌實(shí)驗(yàn)室提出的MapReduce并行計(jì)算模型最具代表性。它具有顯著的數(shù)據(jù)處理效率，可以為各類企業(yè)提供有效的數(shù)據(jù)挖掘服務(wù)，能為企業(yè)提高增效節(jié)支提供助力。

2 云計(jì)算

2.1 云計(jì)算的定義

云計(jì)算是一種依靠互聯(lián)網(wǎng)提供動態(tài)可伸縮的虛擬性資源的模式，它充分發(fā)揮了互聯(lián)網(wǎng)的資源優(yōu)勢，把互聯(lián)網(wǎng)上暫時閑置的資源加以了合理配置。它是一種全新的理念，是按照使用量付費(fèi)的新型模式。通過設(shè)立計(jì)算資源的共享池，它整合了互聯(lián)網(wǎng)上的各種計(jì)算資源，實(shí)現(xiàn)了快速、按需和廉價地提供服務(wù)。因此，對于用戶而言，完全不必知道誰是真正的服務(wù)提供者，也無需關(guān)心支持云計(jì)算的服務(wù)器等基礎(chǔ)設(shè)施是如何工作和管理的。目前，云計(jì)算主要存在三種主要的商業(yè)模式，它們是軟件即服務(wù)（SaaS），平臺即服務(wù)（Paas）和基礎(chǔ)架構(gòu)即服務(wù)（IaaS）。

2.2 云計(jì)算的應(yīng)用價值

云計(jì)算具有很大的使用價值。首先，云計(jì)算通過對互聯(lián)網(wǎng)上的服務(wù)器的集群，對各類資源進(jìn)行篩選整理并根據(jù)客戶的實(shí)際需求加以有針對性的提供，從而極大地節(jié)約了資源。這對于用戶和云計(jì)算運(yùn)營商來講都能節(jié)省大量的資源，提供了很大的便利。同時，相比大型計(jì)算機(jī)的單獨(dú)運(yùn)作，云計(jì)算在大數(shù)據(jù)處理，特別是深層數(shù)據(jù)挖掘和整合方面具有無與倫比的優(yōu)勢。以計(jì)算資源池為依托，云計(jì)算可以處理海量數(shù)據(jù)和超大型文件資料。

2.3 云計(jì)算環(huán)境下的并行計(jì)算模型

谷歌實(shí)驗(yàn)室提出的MapReduce概念是一個分布式并行編程的模型或者說是技術(shù)框架，可用于并行處理大規(guī)模的數(shù)據(jù)。它的主要技術(shù)思路是先將一個MapReduce的數(shù)據(jù)處理作業(yè)分解為若干個能夠獨(dú)立運(yùn)行的Map任務(wù)，把任務(wù)分配給不同的計(jì)算機(jī)去執(zhí)行，生成各自獨(dú)立的統(tǒng)一格式的某種中間文件，然后由Reduce任務(wù)合并這些Map任務(wù)，并最終獲得一個輸出文件。

3 基于云計(jì)算的海量數(shù)據(jù)挖掘

3.1 數(shù)據(jù)挖掘

簡單地說，數(shù)據(jù)挖掘就是對數(shù)據(jù)庫中的知識發(fā)現(xiàn)過程。它是在海量的數(shù)據(jù)中找到新型的、有效的或是可能有用的并能被人類理解的模式的一個過程。對于企業(yè)用戶而言，他們希望獲得看似混沌的海量數(shù)據(jù)中可理解的那部分知識，而且希望這類知識是非常精準(zhǔn)的，比如一些電商用戶希望了解他們服務(wù)的客戶群體的行為模式和偏好等。

3.2 云計(jì)算數(shù)據(jù)挖掘服務(wù)的優(yōu)勢

總體而言，基于云計(jì)算的海量數(shù)據(jù)挖掘具有四方面的優(yōu)勢。

（1）基于云計(jì)算的海量數(shù)據(jù)挖掘采用分布式數(shù)據(jù)挖掘的方式，效率非常高，而且是實(shí)時動態(tài)開展的。因此，它的應(yīng)用面非常廣泛，能夠滿足不同類型、不同規(guī)模的組織形態(tài)的需求。它既能為中小型用戶節(jié)約大量的資金成本，提高工作效率，又能幫助大型企業(yè)用戶緩解特定數(shù)據(jù)處理的需求對于大型計(jì)算機(jī)的技術(shù)依賴性。

（2）對于用戶而言，基于云計(jì)算的海量數(shù)據(jù)挖掘使用起來非常簡便。由于云計(jì)算分布式的數(shù)據(jù)處理模式，用戶不必考慮數(shù)據(jù)劃分和數(shù)據(jù)分配等繁瑣的數(shù)據(jù)挖掘處理的過程。

（3）基于云計(jì)算的海量數(shù)據(jù)挖掘提高了原有機(jī)器設(shè)備的利用率水平，通過服務(wù)器集成和協(xié)同工作提高了處理大數(shù)據(jù)的能力。而且，它的資源利用的可伸縮性非常靈活，并具有很高的容錯能力。

（4）基于云計(jì)算的海量數(shù)據(jù)挖掘把應(yīng)用的門檻放得很低，實(shí)現(xiàn)了數(shù)據(jù)挖掘技術(shù)上的資源共享，回應(yīng)了市場的急切需求。

3.3 云計(jì)算技術(shù)在海量數(shù)據(jù)挖掘過程中的關(guān)鍵問題

要很好地實(shí)現(xiàn)云計(jì)算技術(shù)在海量數(shù)據(jù)挖掘中的作用，還需要妥善解決虛擬機(jī)遷移、服務(wù)器整合、能耗管理、流量管理與分析、軟件框架和存儲技術(shù)與數(shù)據(jù)管理這六方面的關(guān)鍵問題。

（1）實(shí)現(xiàn)虛擬機(jī)遷移是為了回避熱點(diǎn)，減輕數(shù)據(jù)負(fù)載，使數(shù)據(jù)處理處于減壓平衡的狀態(tài)。但是，由于目前的技術(shù)水平限制，系統(tǒng)的靈活性還尚顯不足，回避熱點(diǎn)有時較難做到。此外，一些服務(wù)器的數(shù)據(jù)負(fù)載能力無法與高效的遷移需要相匹配。

（2）通過服務(wù)器整合，讓高頻與低頻錯位配置，能夠把能耗壓縮到最低。但是，這種理想的狀況常常會被資源利用的動態(tài)性所打斷，從而出現(xiàn)瞬時的信息擁堵情況的發(fā)生。

（3）能耗成本在云計(jì)算運(yùn)營中的占比非常高，大致超過了一半的成本支出。

4 結(jié)語

總之，傳統(tǒng)的數(shù)據(jù)挖掘方式已經(jīng)無法滿足用戶的需求，而云計(jì)算技術(shù)對于海量數(shù)據(jù)挖掘和數(shù)據(jù)處理方面具有極大的優(yōu)勢。通過對云計(jì)算關(guān)鍵技術(shù)問題的解決，云計(jì)算在海量數(shù)據(jù)挖掘上必能有更大的作為。

參考文獻(xiàn)

[1]巴濟(jì)慈.基于云計(jì)算的海量數(shù)據(jù)挖掘處理與研究[D].長春：長春理工大學(xué)，2013.

[2]賀瑤，王文慶，薛飛.基于云計(jì)算的海量數(shù)據(jù)挖掘研究[J].計(jì)算機(jī)技術(shù)與發(fā)展，2013（02）：69-72.

[3]王鄂，李銘.云計(jì)算下的海量數(shù)據(jù)挖掘研究[J].現(xiàn)代計(jì)算機(jī)（專業(yè)版），2009（11）：22-25+50.

[4]袁其帥.云計(jì)算在海量數(shù)據(jù)挖掘過程中的問題探討[J].信息與電腦（理論版），2015（20）：98-99.