云計(jì)算技術(shù)下海量數(shù)據(jù)挖掘的實(shí)現(xiàn)機(jī)制

張 菁

(池州職業(yè)技術(shù)學(xué)院，安徽 池州 247000)

大數(shù)據(jù)時(shí)代的網(wǎng)絡(luò)發(fā)展，云技術(shù)不斷完善。本研究提出了一種云計(jì)算技術(shù)下的海量數(shù)據(jù)挖掘技術(shù)，結(jié)合海量數(shù)據(jù)挖掘的需求情況，做好資源的動(dòng)態(tài)性分配，實(shí)現(xiàn)海量數(shù)據(jù)的高效能設(shè)計(jì)，進(jìn)而在云計(jì)算數(shù)據(jù)挖掘平臺(tái)上，挖掘價(jià)值性高的數(shù)據(jù)。

1 云計(jì)算及其相關(guān)技術(shù)

1.1 基于云計(jì)算的一種開源框架Hadoop

Hadoop是Apache中的一種計(jì)算機(jī)開源框架。上層結(jié)構(gòu)，是在計(jì)算機(jī)任務(wù)的分布中結(jié)合Map/Reduce模式使用，實(shí)現(xiàn)普通機(jī)器的超大集群并發(fā)的過程。底層結(jié)構(gòu)，主要是結(jié)合分布式文件的HDFS系統(tǒng)，通過高容錯(cuò)性以及吞吐量，并結(jié)合較低的成本應(yīng)用，實(shí)現(xiàn)海量文件在普通機(jī)器集群上存儲(chǔ)。這種Hadoop有著較快的更新速度，也有著較為廣泛的應(yīng)用。其是一種可擴(kuò)展性相對較好的基于分布式云計(jì)算框架的應(yīng)用，同時(shí)也有著一定的經(jīng)濟(jì)實(shí)用性，可靠性較高。

1.2 大數(shù)據(jù)處理的基礎(chǔ)運(yùn)用

(1)云環(huán)境的應(yīng)用。大數(shù)據(jù)在云環(huán)境中的合理應(yīng)用，不僅要通過結(jié)合組成因子間的架構(gòu)體系，也要結(jié)合對因子間大小問題抽象性處理的相關(guān)架構(gòu)體系，對成員的權(quán)限、公用資源進(jìn)行處理，實(shí)現(xiàn)事件和活動(dòng)的積極處理。在成員權(quán)限的處理過程中，主要是在數(shù)據(jù)流的劃片和分級(jí)操作處理數(shù)據(jù)流的系統(tǒng)過程中，對相應(yīng)的權(quán)限進(jìn)行賦予。在公用處理資源時(shí)，注重云環(huán)境下信道的處理，并在信令和指揮處理機(jī)制的應(yīng)用中，實(shí)現(xiàn)的數(shù)據(jù)處理。共同處理資源時(shí)，結(jié)合云環(huán)境中使用的處理信道，實(shí)現(xiàn)處理活動(dòng)過程中的信息發(fā)送。在全部動(dòng)態(tài)行為的接收過程中，實(shí)現(xiàn)對處理進(jìn)度的根本描述。在指標(biāo)的集合過程中，對各個(gè)因子間的行為進(jìn)行根本上的協(xié)調(diào)和應(yīng)用。

(2)大數(shù)據(jù)處理。應(yīng)用系統(tǒng)的根本建設(shè)，是要做好融合式架構(gòu)結(jié)構(gòu)的合理應(yīng)用。在客戶/服務(wù)器架構(gòu)的應(yīng)用中，服務(wù)器主要是實(shí)現(xiàn)整個(gè)應(yīng)用系統(tǒng)的一種管理和控制。在調(diào)度的過程中，實(shí)現(xiàn)相關(guān)程序邏輯數(shù)據(jù)的應(yīng)用?？蛻舳送窃谟脩艚换サ妮斎牒洼敵鲋?，結(jié)合客戶端服務(wù)器發(fā)出的請求對相關(guān)的任務(wù)進(jìn)行完成。在實(shí)際的架構(gòu)應(yīng)用中，融合式的協(xié)同有著簡單性的基本特點(diǎn)，但在實(shí)際的維護(hù)過程中，對服務(wù)器依賴性相對較強(qiáng)。

(3)分散式的架構(gòu)應(yīng)用。在系統(tǒng)的相關(guān)控制管理過程中，通過節(jié)點(diǎn)的協(xié)同控制，注重客戶段模塊的分散。在系統(tǒng)自治的實(shí)現(xiàn)過程中，本著靈活性和開放性的基本特點(diǎn)，做好數(shù)據(jù)分布存儲(chǔ)，實(shí)現(xiàn)各個(gè)系統(tǒng)的獨(dú)立處理?；旌鲜浇Y(jié)構(gòu)在實(shí)際的應(yīng)用中，通過數(shù)據(jù)信息的一致性維護(hù)，做好用戶管理和信息的全面轉(zhuǎn)發(fā)。

2 云計(jì)算技術(shù)下海量數(shù)據(jù)挖掘技術(shù)

現(xiàn)代化數(shù)據(jù)挖掘算法往往需要大量的訓(xùn)練過程，并做好相關(guān)數(shù)據(jù)的統(tǒng)計(jì)，實(shí)現(xiàn)求解以及模型參數(shù)的優(yōu)化。海量數(shù)據(jù)中的數(shù)據(jù)挖掘，是一種分布式并行的，基于大量分布式基礎(chǔ)數(shù)據(jù)挖掘的算法。Bhadurietal的研究表明，在對詳盡的并行數(shù)據(jù)挖掘提供算法的過程中，需結(jié)合關(guān)聯(lián)規(guī)則的學(xué)習(xí)分類方法，做好聚類以及流數(shù)據(jù)挖掘。

對于分布式書挖掘中的中間件庫而言，其中的Mahout作為一種開源性的可擴(kuò)展分布式數(shù)據(jù)挖掘，其中間件庫的實(shí)現(xiàn)過程，實(shí)現(xiàn)聚類分類以及協(xié)同過濾的應(yīng)用，將進(jìn)化編程數(shù)據(jù)挖掘算法實(shí)現(xiàn)。結(jié)合高效性的運(yùn)行和 Hadoop云計(jì)算的基礎(chǔ)框架，做好云計(jì)算海量數(shù)據(jù)有效挖掘和應(yīng)用，降低成本，并注重高性能的實(shí)現(xiàn)，全面實(shí)現(xiàn)電子商務(wù)的可擴(kuò)展性。

3 實(shí)例分析云計(jì)算技術(shù)下海量數(shù)據(jù)挖掘的實(shí)現(xiàn)機(jī)制

3.1 搭建Hadoop云計(jì)算集群

Hadoop分布式云計(jì)算環(huán)境是基于高性能計(jì)算機(jī)系統(tǒng)，結(jié)合命名節(jié)點(diǎn)的形式，即Namenode。其中數(shù)據(jù)節(jié)點(diǎn)主要有12個(gè)，即Datanode，其中各個(gè)數(shù)據(jù)節(jié)點(diǎn)采用 6路四核刀片的形式。通過Linux操作系統(tǒng) Redhat5.5系統(tǒng)結(jié)構(gòu)，使用 Hadoop版本模式，注重分布式環(huán)境的部署，啟動(dòng)后臺(tái)進(jìn)程，并運(yùn)行相關(guān)例程，啟動(dòng)集群進(jìn)而實(shí)現(xiàn)計(jì)算的過程。

3.2 體系架構(gòu)

(1)基于云計(jì)算技術(shù)下海量數(shù)據(jù)挖掘系統(tǒng)體系架構(gòu)，如圖1所示。

(2)分布式文件系統(tǒng)層。主要是結(jié)合Hadoop HDFS實(shí)現(xiàn)高可靠的分布式數(shù)據(jù)文件存儲(chǔ)功能。在電子商務(wù)平臺(tái)海量數(shù)據(jù)的分布存儲(chǔ)過程中，實(shí)現(xiàn)多臺(tái)計(jì)算機(jī)集群處理，并做好文件的有效性分塊存儲(chǔ)，實(shí)現(xiàn)容錯(cuò)自動(dòng)分塊復(fù)制功能。這種平臺(tái)上的HDFS節(jié)點(diǎn)管理，主要是對文件系統(tǒng)的名字空間進(jìn)行負(fù)責(zé)。在客戶端文件的訪問中，實(shí)現(xiàn)數(shù)據(jù)節(jié)點(diǎn)數(shù)據(jù)存儲(chǔ)的應(yīng)用，對客戶端讀寫請求及時(shí)處理，并做好數(shù)據(jù)塊的有效性創(chuàng)建及刪除，實(shí)現(xiàn)數(shù)據(jù)塊的基礎(chǔ)復(fù)制。在HDFS上層分布式的計(jì)算層應(yīng)用中，提供數(shù)據(jù)輸入，并結(jié)合中間結(jié)果，實(shí)現(xiàn)數(shù)據(jù)載體，充分發(fā)揮可伸縮性的優(yōu)勢，在業(yè)務(wù)系統(tǒng)的聯(lián)系階段，實(shí)現(xiàn)分布式文件系統(tǒng)的有效性管理以及訪問。

圖1 云計(jì)算技術(shù)下海量數(shù)據(jù)挖掘系統(tǒng)體系架構(gòu)

(3)分布式計(jì)算層。在MapReduce相關(guān)模式的應(yīng)用里，結(jié)合分布式并行計(jì)算模型，做好數(shù)據(jù)的有效性挖掘，盡可能的結(jié)合任務(wù)分布式的形式，實(shí)現(xiàn)數(shù)據(jù)節(jié)點(diǎn)的合理調(diào)度計(jì)算，并做好海量數(shù)據(jù)的有效性處理和分析。在數(shù)據(jù)中間層，實(shí)現(xiàn)聚類分類的協(xié)同過濾數(shù)據(jù)挖掘算法。這種應(yīng)用過程允許擴(kuò)展，可對電子商務(wù)平臺(tái)中的Mahout算法庫進(jìn)行定制，實(shí)現(xiàn)平臺(tái)應(yīng)用層業(yè)務(wù)的相關(guān)需求分析。結(jié)合服務(wù)形式，實(shí)現(xiàn)應(yīng)用層的基礎(chǔ)調(diào)用和分析。這種云計(jì)算平臺(tái)中的Hadoop應(yīng)用，將云計(jì)算中的中間件進(jìn)行協(xié)調(diào)和整合。通過平臺(tái)應(yīng)用層的相關(guān)分析，利用基于競價(jià)參考形式的原材料信息分析模式，實(shí)現(xiàn)商業(yè)智能分析，結(jié)合智能搜索.將此模式運(yùn)用到電子商務(wù)中，滿足電子商務(wù)的業(yè)務(wù)需求。

4 結(jié)束語

在基于Hadoop云計(jì)算技術(shù)應(yīng)用下，電子商務(wù)海量數(shù)據(jù)挖掘系統(tǒng)的構(gòu)建，及商業(yè)智能分析系統(tǒng)的應(yīng)用，對于電子商務(wù)業(yè)務(wù)的應(yīng)用發(fā)展有著積極作用，同時(shí)也能將企業(yè)商業(yè)價(jià)值提高，將企業(yè)忠誠度提高。基于Mahout技術(shù)在云計(jì)算平臺(tái)Hadoop上應(yīng)用，往往注重資源的整合，在云計(jì)算中間件的基礎(chǔ)應(yīng)用階段，將平臺(tái)的擴(kuò)展功能實(shí)現(xiàn)，促進(jìn)電子商務(wù)應(yīng)用全面發(fā)展，并為現(xiàn)代化物聯(lián)網(wǎng)的應(yīng)用和發(fā)展提供高性能的動(dòng)態(tài)性平臺(tái)。

[參考文獻(xiàn)]

[1] 楊波.基于云計(jì)算的作戰(zhàn)數(shù)據(jù)存儲(chǔ)系統(tǒng)研究 [J].現(xiàn)代電子技術(shù),2013,(19):12-14,19.

[2] 陳旭文,黃英銘.海量視頻點(diǎn)播系統(tǒng)的云計(jì)算技術(shù)與建模實(shí)現(xiàn) [J].現(xiàn)代電子技術(shù),2013, (14):10-12,16.

[3] 張樹凡,吳新橋,曹宇,等.基于云計(jì)算的多源遙感數(shù)據(jù)服務(wù)系統(tǒng)研究 [J].現(xiàn)代電子技術(shù),2015,(3):90-94.

[4] 丁巖,楊慶平,錢煜明,等.基于云計(jì)算的數(shù)據(jù)挖掘平臺(tái)架構(gòu)及其關(guān)鍵技術(shù)研究[J].中興通訊技術(shù),2013,(1):53-56,60.