云計(jì)算下數(shù)據(jù)挖掘平臺(tái)架構(gòu)及其關(guān)鍵技術(shù)的探索

劉建東

摘 要：云計(jì)算作為一種新型的信息化計(jì)算技術(shù)，已經(jīng)被很好地應(yīng)用于現(xiàn)階段的生活當(dāng)中，而隨著大數(shù)據(jù)時(shí)代的不斷推進(jìn)，“數(shù)據(jù)挖掘”成為了當(dāng)下的一個(gè)研究重點(diǎn)。借此，立足于信息化時(shí)代背景，對(duì)云計(jì)算下數(shù)據(jù)挖掘平臺(tái)架構(gòu)及其關(guān)鍵技術(shù)進(jìn)行了深入的研究。

關(guān)鍵詞：云計(jì)算；數(shù)據(jù)挖掘；平臺(tái)架構(gòu)；分布式存儲(chǔ)技術(shù)

中圖分類號(hào)：TP311.13 文獻(xiàn)標(biāo)識(shí)碼：A DOI：10.15913/j.cnki.kjycx.2017.06.128

伴隨著改革開(kāi)放的不斷深入，我國(guó)進(jìn)入21世紀(jì)之后，綜合國(guó)力有了全面的提升，無(wú)論是經(jīng)濟(jì)方面，還是科技方面，都取得了很大的進(jìn)步與發(fā)展。我們希望可以通過(guò)不斷地發(fā)展經(jīng)濟(jì)與科技來(lái)使社會(huì)發(fā)展獲得更大的動(dòng)力。經(jīng)濟(jì)全球化的大趨勢(shì)在不斷推動(dòng)社會(huì)發(fā)展的同時(shí)也使我國(guó)邁進(jìn)了信息化時(shí)代，而信息化的不斷深入又使得大數(shù)據(jù)時(shí)代“如期而至”。云計(jì)算憑借其高強(qiáng)的存儲(chǔ)能力與計(jì)算能力受到更多人的青睞。因此，對(duì)云計(jì)算下數(shù)據(jù)挖掘平臺(tái)架構(gòu)及其關(guān)鍵技術(shù)的探索有著鮮明的現(xiàn)實(shí)意義。

1 數(shù)據(jù)挖掘技術(shù)與云計(jì)算技術(shù)研究

1.1 數(shù)據(jù)挖掘技術(shù)

所謂的“數(shù)據(jù)挖掘技術(shù)”，主要是針對(duì)數(shù)據(jù)研究的一種新型技術(shù)。隨著計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)的發(fā)展與移動(dòng)互聯(lián)技術(shù)的普及，現(xiàn)階段生活當(dāng)中，每天基于網(wǎng)絡(luò)環(huán)境所產(chǎn)生的虛擬數(shù)據(jù)已經(jīng)十分龐大。在大數(shù)據(jù)的時(shí)代背景之下，數(shù)據(jù)挖掘技術(shù)應(yīng)運(yùn)而生。而所謂的“數(shù)據(jù)挖掘技術(shù)”，其主要的研究對(duì)象便是眾多的數(shù)據(jù)，工作內(nèi)容便是在眾多的數(shù)據(jù)當(dāng)中“挖掘”出對(duì)自身有用的知識(shí)信息，然后加以利用。筆者習(xí)慣將這一過(guò)程看作一個(gè)“廢物利用”的過(guò)程，其研究的范圍將會(huì)涉及到人工智能等高尖端領(lǐng)域，而其內(nèi)部的技術(shù)包括預(yù)測(cè)分析等。

1.2 云計(jì)算技術(shù)

云計(jì)算技術(shù)可以說(shuō)是信息化的必然產(chǎn)物，但是其一經(jīng)出現(xiàn)便被廣泛地應(yīng)用于企業(yè)發(fā)展之中，尤其是企業(yè)內(nèi)部的財(cái)務(wù)管理，應(yīng)用到的云計(jì)算技術(shù)是最為常見(jiàn)的。因此，云計(jì)算技術(shù)往往會(huì)被冠以“商業(yè)計(jì)算模式”的稱號(hào)。但是從其本身的優(yōu)越性來(lái)說(shuō)，云計(jì)算技術(shù)可以被應(yīng)用于社會(huì)當(dāng)中的各個(gè)領(lǐng)域。簡(jiǎn)單來(lái)說(shuō)，云計(jì)算技術(shù)的主要計(jì)算原理就是將各種計(jì)算任務(wù)按照一定的要求與規(guī)律分布在計(jì)算池當(dāng)中，然后各個(gè)計(jì)算系統(tǒng)可以根據(jù)自身的需求獲取相應(yīng)的計(jì)算能力、存儲(chǔ)空間及信息服務(wù)。這樣就保證了計(jì)算任務(wù)的快速與高效，并且其內(nèi)部大量的存儲(chǔ)空間也是其被廣泛應(yīng)用的原因之一。

總的來(lái)說(shuō)，云計(jì)算技術(shù)有著鮮明的優(yōu)越性，尤其是在數(shù)據(jù)的處理過(guò)程當(dāng)中有著眾多優(yōu)勢(shì)。因此，云計(jì)算環(huán)境之下的數(shù)據(jù)挖掘技術(shù)將會(huì)有一個(gè)很好的發(fā)展前景。

2 云計(jì)算下數(shù)據(jù)挖掘平臺(tái)架構(gòu)

就云計(jì)算下數(shù)據(jù)挖掘平臺(tái)架構(gòu)來(lái)說(shuō)，其主要還是應(yīng)該集中于云計(jì)算技術(shù)進(jìn)行研究。而云計(jì)算背景之下的分布式存儲(chǔ)技術(shù)與分布式計(jì)算技術(shù)將會(huì)促進(jìn)傳統(tǒng)的數(shù)據(jù)挖掘平臺(tái)開(kāi)始新的變革之路。本文所建立的云計(jì)算下數(shù)據(jù)挖掘平臺(tái)架構(gòu)主要應(yīng)用了分層設(shè)計(jì)的理念。在實(shí)踐過(guò)程當(dāng)中，本文將其分為了3個(gè)層次，其最上層為云計(jì)算支撐平臺(tái)，中層是數(shù)據(jù)挖掘能力層，最底層是一個(gè)數(shù)據(jù)挖掘云服務(wù)層。

2.1 云計(jì)算支撐平臺(tái)

簡(jiǎn)單來(lái)說(shuō)，云計(jì)算的支撐平臺(tái)其實(shí)是云計(jì)算技術(shù)支撐平臺(tái)，云計(jì)算的支撐平臺(tái)將會(huì)為數(shù)據(jù)挖掘平臺(tái)提供分布式的數(shù)據(jù)存儲(chǔ)技術(shù)、分布式計(jì)算技術(shù)、數(shù)據(jù)庫(kù)存儲(chǔ)技術(shù)和必要的云計(jì)算技術(shù)。

2.2 數(shù)據(jù)挖掘能力層

數(shù)據(jù)挖掘能力層主要提供的能力是數(shù)據(jù)挖掘的基礎(chǔ)能力，其中包含算法服務(wù)管理能力、調(diào)度能力、數(shù)據(jù)并行框架處理能力和數(shù)據(jù)挖掘的云服務(wù)能力。同時(shí)，這個(gè)層次擁有相關(guān)的第三方挖掘工具的接入。這在設(shè)計(jì)過(guò)程當(dāng)中是被允許的，例如Weka、Mathout等相關(guān)的分布式法庫(kù)就是第三方的挖掘工具。

2.3 數(shù)據(jù)挖掘云服務(wù)層

數(shù)據(jù)挖掘云服務(wù)層主要是提供數(shù)據(jù)挖掘的云服務(wù)，其中，服務(wù)能力的封裝接口樣式可以是多種多樣的，例如簡(jiǎn)單常見(jiàn)的Webservice等。在這個(gè)平臺(tái)當(dāng)中，可以根據(jù)不同類型的服務(wù)問(wèn)題，為數(shù)據(jù)業(yè)務(wù)配置、組裝相應(yīng)的數(shù)據(jù)挖掘云服務(wù)。

3 云計(jì)算下數(shù)據(jù)挖掘平臺(tái)關(guān)鍵技術(shù)研究

3.1 分布式存儲(chǔ)技術(shù)

分布式存儲(chǔ)技術(shù)主要被應(yīng)用于數(shù)據(jù)挖掘當(dāng)中，因?yàn)樵趯?duì)數(shù)據(jù)進(jìn)行“挖掘”的過(guò)程當(dāng)中需要應(yīng)用到分布式存儲(chǔ)技術(shù)。而分布式的存儲(chǔ)技術(shù)在很大層面之上主要應(yīng)用的是分布式存儲(chǔ)系統(tǒng)。這種存儲(chǔ)方法可以實(shí)現(xiàn)對(duì)大容量數(shù)據(jù)的存儲(chǔ)，并且在存儲(chǔ)的過(guò)程當(dāng)中將會(huì)實(shí)現(xiàn)存儲(chǔ)位置的明確、存儲(chǔ)分類的清晰等。這種存儲(chǔ)方式不僅可以保證數(shù)據(jù)挖掘平臺(tái)的穩(wěn)定，還可以保證用戶的使用體驗(yàn)。

3.2 虛擬化并行云計(jì)算技術(shù)

虛擬化并行云計(jì)算技術(shù)的主要優(yōu)勢(shì)表現(xiàn)在高效率上。雖然其在實(shí)際的應(yīng)用過(guò)程當(dāng)中并沒(méi)有分布式存儲(chǔ)技術(shù)的應(yīng)用射頻大，但是其也是云計(jì)算數(shù)據(jù)挖掘平臺(tái)不可缺少的環(huán)節(jié)之一。其應(yīng)用主要體現(xiàn)為在一些大數(shù)據(jù)的處理當(dāng)中，在云計(jì)算的運(yùn)行環(huán)境中，其將虛擬技術(shù)和云計(jì)算技術(shù)進(jìn)行有力的結(jié)合，然后進(jìn)行數(shù)據(jù)挖掘服務(wù)。它主要是對(duì)數(shù)據(jù)進(jìn)行重復(fù)性的挖掘，然后幫助用戶考察。這種方式可以降低數(shù)據(jù)分析時(shí)的出錯(cuò)率，還可以保證數(shù)據(jù)挖掘的正確率。

4 結(jié)束語(yǔ)

云計(jì)算技術(shù)作為信息化時(shí)代的必然產(chǎn)物，在很好地推動(dòng)信息化普及的過(guò)程當(dāng)中具有鮮明的現(xiàn)實(shí)意義，同時(shí)對(duì)促進(jìn)社會(huì)發(fā)展也起著重要的作用。因此，就現(xiàn)階段的發(fā)展情況來(lái)說(shuō)，無(wú)論出于何種原因，處于何種發(fā)展階段，社會(huì)、國(guó)家以及其中的各個(gè)領(lǐng)域的發(fā)展都不能不結(jié)合時(shí)代特色。綜上所述，云計(jì)算背景之下的數(shù)據(jù)挖掘平臺(tái)是云計(jì)算技術(shù)與數(shù)據(jù)挖掘技術(shù)的強(qiáng)有力的結(jié)合。雖然現(xiàn)階段在對(duì)該方面的研究中仍然存在一些問(wèn)題，但是技術(shù)發(fā)展本就不是一蹴而就的，我們應(yīng)該堅(jiān)實(shí)地走好每一步。

參考文獻(xiàn)

[1]丁巖，楊慶平，錢煜明.基于云計(jì)算的數(shù)據(jù)挖掘平臺(tái)架構(gòu)及其關(guān)鍵技術(shù)研究[J].中興通訊技術(shù)，2013（01）：53-56，60.

[2]溫善毅.網(wǎng)絡(luò)教學(xué)平臺(tái)中數(shù)據(jù)挖掘云系統(tǒng)設(shè)計(jì)與開(kāi)發(fā)[D].南昌：江西師范大學(xué)，2015.

[3]薛良飛.云計(jì)算在新型信息化系統(tǒng)中的綜合研究[D].濟(jì)南：山東大學(xué)，2013.

[4]王慧.基于Hadoop的并行挖掘算法的研究[D].北京：首都師范大學(xué)，2013.