試析基于云計算環(huán)境的web數(shù)據(jù)挖掘

摘 要：本文針對基于云計算環(huán)境的web數(shù)據(jù)挖掘，結(jié)合理論實踐，在簡要闡述云計算特性的基礎(chǔ)上，分析云計算環(huán)境下web數(shù)據(jù)挖掘的流程，并提出web數(shù)據(jù)挖掘的關(guān)鍵技術(shù)。希望對提升云計算環(huán)境下，web數(shù)據(jù)挖掘的準確性、速度等有一定的參考和幫助。

關(guān)鍵詞：云計算;web;數(shù)據(jù)挖掘;數(shù)據(jù)預(yù)處理

引言

在云計算環(huán)境下，web數(shù)據(jù)挖掘的方法發(fā)生了較大概念。云計算為web數(shù)據(jù)挖掘提供動態(tài)化資源和高可用行的計算平臺，為開發(fā)高性能的數(shù)據(jù)挖掘平臺提供技術(shù)支持。但web數(shù)據(jù)量大，而且具有較大的噪音，對挖掘算法的要求比高。而基于云計算環(huán)境的web數(shù)據(jù)挖掘，可有效降低運營在數(shù)據(jù)挖掘技術(shù)上的投入，加快web數(shù)據(jù)挖掘速度，縮短產(chǎn)品研發(fā)周期?；诖?，開展基于云計算環(huán)境的web數(shù)據(jù)挖掘的分析研究就顯得尤為必要。

一、云計算的特性

（一）虛擬化

云計算是一種全新的技術(shù)，用戶可以在任何位置、任何時間來獲取各種終端的應(yīng)用程序。并且請求的數(shù)據(jù)和資源全部來自于云環(huán)境，并非固定的實體，可為用戶提供便捷的服務(wù)。

（二）通用性

云計算和其他技術(shù)相比，并不是針對特定的應(yīng)用，可以在云支撐下，滿足用戶不同的需求，一個云同時服務(wù)于多個應(yīng)用平臺和系統(tǒng)。

（三）高可擴展性和超大規(guī)模性

云可以實現(xiàn)動態(tài)化擴展，并且此種擴展對用戶來說幾乎的透明的，并不會影響用戶的使用情況。此外，云的動態(tài)化擴展是超大規(guī)模的，比如：微軟、亞馬遜等云計算，有上百萬臺 服務(wù)器。

二、云計算環(huán)境下web數(shù)據(jù)挖掘的流程

在云計算環(huán)境下，可實心web數(shù)據(jù)挖掘技術(shù)的全面優(yōu)化，云計算高強的并行處理能力和海量存儲能力，可有效解決web數(shù)據(jù)挖掘海量數(shù)據(jù)的問題。web數(shù)據(jù)挖掘的流程包括以下三個步驟：

第一步，web數(shù)據(jù)收集。web數(shù)據(jù)挖掘的主要對象是日志信息，也就是用戶在應(yīng)用web系統(tǒng)式留下的日志數(shù)據(jù)，這些日志數(shù)據(jù)并存子在web系統(tǒng)的數(shù)據(jù)庫中。一旦數(shù)據(jù)庫發(fā)生問題，存儲在數(shù)據(jù)庫的數(shù)據(jù)也會發(fā)生丟失或者破壞。因此，為保證數(shù)據(jù)的安全性，需要將數(shù)據(jù)庫中的數(shù)據(jù)進行篩選、轉(zhuǎn)換、統(tǒng)一處理，形成半結(jié)構(gòu)化的XML文件，保存在分布式文件中。此種做法既能優(yōu)化數(shù)據(jù)收集方法，也可以避免數(shù)據(jù)庫中存儲的數(shù)據(jù)因為設(shè)備發(fā)生損失[1]。在云計算環(huán)境下，web數(shù)據(jù)挖掘可有效保證數(shù)據(jù)的共享性，降低web數(shù)據(jù)應(yīng)用門檻，保證數(shù)據(jù)庫中各項有價值、有用的數(shù)據(jù)能夠被充分利用。

第二步，數(shù)據(jù)預(yù)處理。通過數(shù)據(jù)預(yù)處理可為web數(shù)據(jù)挖掘提供良好條件。主要目的是對采集到的數(shù)據(jù)進行凈化處理，以刪除無用的數(shù)據(jù)。從日志數(shù)據(jù)中識別出多個用戶，以確定哪些信息同一個用戶留下的。再講相同用戶訪問記錄按照不同的訪問時間區(qū)分開來。區(qū)分完成之后再進行格式化處理，轉(zhuǎn)換成符合web數(shù)據(jù)挖掘算法要求的格式存儲起來，以便后期挖掘使用。

第三步，數(shù)據(jù)分析。通過一系列web數(shù)據(jù)挖掘算法，對預(yù)處理后的數(shù)據(jù)進行分析，進而發(fā)現(xiàn)其中隱藏的有價值的數(shù)據(jù)。數(shù)據(jù)使用的目的不同，采用數(shù)據(jù)挖掘算法也不相同。比如：統(tǒng)計分析算法，通常應(yīng)用在日志數(shù)據(jù)統(tǒng)計中。關(guān)聯(lián)規(guī)則算法，多應(yīng)用在挖掘用戶之間或者頁面之間的潛在關(guān)系上等。

三、云計算環(huán)境下web數(shù)據(jù)挖掘的關(guān)鍵技術(shù)

（一）云計算技術(shù)

分布式計算是云計算技術(shù)的關(guān)鍵，主要作用是解決海量數(shù)據(jù)挖掘的難度，提升數(shù)據(jù)挖掘的精度和效率。分布式計算涉及到兩方面內(nèi)容，其一是分布式存儲，其二是并行計算。云技術(shù)環(huán)境既能提供數(shù)據(jù)的分布式存數(shù)，也可以滿足并行計算的能力，為web數(shù)據(jù)挖掘提供良好的環(huán)境。在web數(shù)據(jù)挖掘中，分布式并行計算是高效完善數(shù)據(jù)計算和挖掘任務(wù)的基礎(chǔ)，可對一些技術(shù)細節(jié)進行封裝處理，包括：數(shù)據(jù)分布處理、任務(wù)并行處理、任務(wù)調(diào)度處理、負載平衡處理等。在用于在應(yīng)用時，無需考慮這些內(nèi)容，只要考慮web數(shù)據(jù)挖掘任務(wù)之間的邏輯關(guān)系即可。從而提升研發(fā)效率，降低系統(tǒng)維護成本。

（二）數(shù)據(jù)匯集調(diào)度

通過數(shù)據(jù)匯集調(diào)度，可有效解決不同數(shù)據(jù)之間的規(guī)約問題，而且支持不同格式的數(shù)據(jù)，無論是OLTP數(shù)據(jù)、OLAP數(shù)據(jù)，還是日志數(shù)據(jù)、爬蟲數(shù)據(jù)，都需要提供數(shù)據(jù)同步的方式，如：數(shù)據(jù)庫同步、socket消息同步、文件傳輸協(xié)議同步等。云計算環(huán)境中數(shù)據(jù)匯集調(diào)度多采用模板化設(shè)計技術(shù)，以滿足新數(shù)據(jù)的模板和元數(shù)據(jù)配置的統(tǒng)一收集及規(guī)約，提升web數(shù)據(jù)挖掘的效率。

（三）挖掘算法并行化技術(shù)

web數(shù)據(jù)挖掘中的并行化是云計算平臺的基礎(chǔ)能力之一，在web數(shù)據(jù)挖掘中國并行化技術(shù)是否科學(xué)合理性，直接關(guān)系到web數(shù)據(jù)挖掘算法是否并行，并行策略是否有效等。常用的并行化算法是K-means算法，其核心思想是基于使聚類性能指標最小化[2]。具體應(yīng)用流程為：線隨機選擇k個web數(shù)據(jù)挖掘?qū)ο?，每個對象都可看做是一個簇的初始均值和中心;然后對剩余的對象，按照每個的均值距離，指派到最相似的簇中;最后通過平方誤差準則，來計算每個簇的新均值，此環(huán)節(jié)可不斷重復(fù)，直到準則函數(shù)完成收斂為止。具體表達公式如下：

此公式中，E表示數(shù)據(jù)集中所有對象的平方誤差和;p表示空間中的點，也就是給定的對象;mi表示簇Ci的均值，在web數(shù)據(jù)挖掘中，先求出對象到其簇中心均值的平方，再求和，從而挖掘出數(shù)據(jù)庫中的有價值的全部信息。

四、結(jié)束語

綜上所述，本文結(jié)合理論實踐，分析了基于云計算環(huán)境的web數(shù)據(jù)挖掘，分析結(jié)果表明，云計算環(huán)境下，對web數(shù)據(jù)挖掘提出了更高的要求，數(shù)據(jù)量越來越多，種類更加繁雜。加強對云計算技術(shù)、數(shù)據(jù)匯集調(diào)度、挖掘算法并行化技術(shù)的創(chuàng)新研究，有助于提升web數(shù)據(jù)挖掘的效率和精度，促進我國數(shù)據(jù)挖掘水平不斷提升。

參考文獻

[1]王建明.云計算環(huán)境下對Web數(shù)據(jù)挖掘技術(shù)的研究[J].現(xiàn)代信息科技，2019，3（05）：108-109+112.

[2]張珍.云計算環(huán)境下的數(shù)據(jù)挖掘算法探究[J].網(wǎng)絡(luò)安全技術(shù)與應(yīng)用，2019，221（05）：61-62.

作者簡介：

田笑（1999-），女? 漢族 河南省開封人 河南大學(xué) 軟件學(xué)院 2017級本科生在讀 ，研究方向：軟件工程