基于分布式思維的云計(jì)算數(shù)據(jù)挖掘平臺(tái)設(shè)計(jì)

任新社+陳靜遠(yuǎn)

摘要：在云計(jì)算背景下，海量數(shù)據(jù)信息相互影響，對(duì)原本的關(guān)聯(lián)規(guī)則形成冗余干擾，導(dǎo)致當(dāng)前以線性思維為主導(dǎo)的挖掘平臺(tái)受到冗余干擾的影響，挖掘效率低下。為此，在分析傳統(tǒng)方法弊端的基礎(chǔ)上，提出了基于分布式思維的數(shù)據(jù)挖掘平臺(tái)設(shè)計(jì)方法。為了解決冗余干擾問(wèn)題，設(shè)計(jì)了一種冗余消除算法，以計(jì)算區(qū)域之間的相似度，形成分布式挖掘關(guān)聯(lián)。試驗(yàn)結(jié)果證明，這種分布式數(shù)據(jù)挖掘平臺(tái)可達(dá)到數(shù)據(jù)搜索簡(jiǎn)單、快速，且降低成本的目的。

關(guān)鍵詞：云計(jì)算；分布式思維；分布式系統(tǒng)；數(shù)據(jù)挖掘

DOIDOI：10.11907/rjdk.171008

中圖分類號(hào)：TP319

文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1672-7800（2017）006-0094-03

1 線性思維下數(shù)據(jù)挖掘平臺(tái)存在的問(wèn)題

當(dāng)今，每天數(shù)十億用戶的各種操作產(chǎn)生了海量數(shù)據(jù)信息，對(duì)這些信息的存儲(chǔ)、處理分析與數(shù)據(jù)挖掘成為互聯(lián)網(wǎng)的主要技術(shù)問(wèn)題。當(dāng)前的大型數(shù)據(jù)挖掘平臺(tái)設(shè)計(jì)主要以線性數(shù)據(jù)關(guān)聯(lián)規(guī)則挖掘算法為理論依據(jù)，對(duì)海量數(shù)據(jù)下的數(shù)據(jù)庫(kù)中的知識(shí)進(jìn)行智能化發(fā)現(xiàn)，是一種基于人工智能、機(jī)器學(xué)習(xí)、模式識(shí)別、統(tǒng)計(jì)學(xué)、數(shù)據(jù)庫(kù)、可視化技術(shù)等各種技術(shù)的一系列決策過(guò)程[1-3]。

當(dāng)前以線性思維為主的數(shù)據(jù)挖掘平臺(tái)設(shè)計(jì)流程包括數(shù)據(jù)準(zhǔn)備、數(shù)據(jù)挖掘、結(jié)果表達(dá)3個(gè)階段。數(shù)據(jù)挖掘平臺(tái)設(shè)計(jì)的具體步驟為：①問(wèn)題定義。清晰問(wèn)題、確定目標(biāo)，是數(shù)據(jù)挖掘的關(guān)鍵一步。因其結(jié)果的無(wú)法預(yù)測(cè)性，要求挖掘人員熟悉對(duì)應(yīng)的知識(shí)，使領(lǐng)域?qū)＜液陀脩裘鞔_搜索需求；②數(shù)據(jù)準(zhǔn)備。分為數(shù)據(jù)選擇、預(yù)處理和數(shù)據(jù)轉(zhuǎn)換3個(gè)步驟。為提高挖掘質(zhì)量，需要對(duì)數(shù)據(jù)進(jìn)行再加工，根據(jù)模型處理數(shù)據(jù)；③數(shù)據(jù)關(guān)聯(lián)。根據(jù)不同的數(shù)據(jù)特點(diǎn)和用戶需求選擇挖掘算法，然后選擇參數(shù)和模型，最后由智能工具完成挖掘任務(wù)。通過(guò)以上分析可以看出，在線性思維下，所有關(guān)聯(lián)規(guī)則均建立在一個(gè)區(qū)域內(nèi)，規(guī)則為內(nèi)部規(guī)則，導(dǎo)致關(guān)聯(lián)規(guī)則建立過(guò)程不斷充滿最優(yōu)化計(jì)算過(guò)程，效率大幅降低。

2 分布式數(shù)據(jù)挖掘平臺(tái)構(gòu)架設(shè)計(jì)

為了解決傳統(tǒng)線性平臺(tái)中的問(wèn)題，提出一種基于分布式思維的數(shù)據(jù)挖掘平臺(tái)設(shè)計(jì)方法，其架構(gòu)如圖1所示。

3 分布式數(shù)據(jù)挖掘平臺(tái)相關(guān)軟件算法設(shè)計(jì)

為解決傳統(tǒng)的分布式數(shù)據(jù)挖掘平臺(tái)的冗余干擾問(wèn)題，設(shè)計(jì)了一種冗余消除算法，以對(duì)傳統(tǒng)的數(shù)據(jù)挖掘平臺(tái)設(shè)計(jì)進(jìn)行優(yōu)化。

3.1 冗余消除算法設(shè)計(jì)規(guī)則

冗余消除算法主要是為了消除云計(jì)算下海量數(shù)據(jù)對(duì)關(guān)聯(lián)規(guī)則形成的冗余干擾。相關(guān)算法作為數(shù)據(jù)挖掘算法的一種，已被廣泛應(yīng)用于商業(yè)化推薦系統(tǒng)上。

冗余消除算法類別可分為：①基于用戶的算法。根據(jù)用戶的所有瀏覽軌跡及喜好進(jìn)行評(píng)分，找出評(píng)分接近該用戶的其他用戶喜好進(jìn)行相互推薦；②基于項(xiàng)目的算法。將所有用戶對(duì)物品A的喜好程度作為向量，計(jì)算A與同類物品的相似度。

3.2 協(xié)同過(guò)濾相似度計(jì)算方法

以用戶搜索為例，如圖3所示。查全率和查準(zhǔn)率囊括了用戶對(duì)搜索廣泛性和準(zhǔn)確性的需求，據(jù)此可將數(shù)據(jù)分成推薦和不推薦。

4 實(shí)驗(yàn)分析與系統(tǒng)測(cè)試

試驗(yàn)環(huán)境采用4臺(tái)相同配置的計(jì)算機(jī)搭建Hadoop集群，集群設(shè)備配置為：CPU為core i7-2450M 3.0GHz，操作系統(tǒng)為Ubuntu14.0，Hadoop 2.6.0，內(nèi)存16GB，硬盤(pán)500GB。服務(wù)層的Java語(yǔ)言如表1所示。

4.1 實(shí)驗(yàn)數(shù)據(jù)集評(píng)測(cè)標(biāo)準(zhǔn)參數(shù)設(shè)計(jì)

實(shí)驗(yàn)選擇的數(shù)據(jù)集是云計(jì)算下bookcrossing圖書(shū)社區(qū)278 850個(gè)用戶對(duì)271 397本圖書(shū)進(jìn)行的評(píng)分。評(píng)分包括顯式和隱式兩種方式，由Cai-Nicolas Ziegler使用爬蟲(chóng)程序從該圖書(shū)社區(qū)采集而來(lái)。實(shí)驗(yàn)的評(píng)測(cè)標(biāo)準(zhǔn)除了前文提到的查全率和查準(zhǔn)率，還使用覆蓋率和平均流行標(biāo)準(zhǔn)進(jìn)行評(píng)測(cè)。覆蓋率標(biāo)準(zhǔn)用來(lái)描述長(zhǎng)尾物品的發(fā)掘能力，平均流行度標(biāo)準(zhǔn)用來(lái)評(píng)測(cè)項(xiàng)目的新穎性，它們的公式分別為：

觀察實(shí)驗(yàn)數(shù)據(jù)發(fā)現(xiàn)，查準(zhǔn)率和查全率在相似度為5～40時(shí)呈上升并逐漸放緩的趨勢(shì)，在K=40時(shí)達(dá)到最大。

引入本文算法后，查準(zhǔn)率和查全率的指標(biāo)值相差不大。查準(zhǔn)率和查全率變化曲線如圖4所示。

實(shí)驗(yàn)結(jié)果顯示，覆蓋率隨著相似度K值增加而逐漸減少，減弱速度也逐漸放緩。平均流行度則隨著K值變化逐漸增加，增加速度也逐漸放緩。通過(guò)實(shí)驗(yàn)分析發(fā)現(xiàn)，引入降權(quán)的改進(jìn)算法中，流行度與覆蓋率相較于傳統(tǒng)平臺(tái)表現(xiàn)一低一高，說(shuō)明算法的改進(jìn)提高了挖掘平臺(tái)的準(zhǔn)確程度，間接證明了推薦算法發(fā)掘數(shù)據(jù)的能力得到提升。而在適當(dāng)?shù)南嗨贫戎迪?，改進(jìn)算法的查準(zhǔn)率和查全率均優(yōu)于傳統(tǒng)算法。

5 結(jié)語(yǔ)

隨著互聯(lián)網(wǎng)信息技術(shù)的發(fā)展，對(duì)海量信息的處理是人們當(dāng)前面對(duì)的最大挑戰(zhàn)。本文針對(duì)大數(shù)據(jù)存儲(chǔ)和處理挖掘的問(wèn)題提出了構(gòu)建基于云計(jì)算的分布式數(shù)據(jù)挖掘平臺(tái)，使用bookcrossing數(shù)據(jù)集，在云計(jì)算平臺(tái)上分別按4個(gè)指標(biāo)對(duì)傳統(tǒng)算法與引入降權(quán)的改進(jìn)算法進(jìn)行比較，得到改進(jìn)算法發(fā)掘“長(zhǎng)尾”項(xiàng)目的能力優(yōu)于傳統(tǒng)算法的結(jié)論。

參考文獻(xiàn)：

[1]楊勇，董振江，陸平.具備云計(jì)算特性的業(yè)務(wù)交付平臺(tái)及其關(guān)鍵技術(shù)研究[J].中興通訊技術(shù)，2011，10（5）：51-60.

[2]李改，李磊.基于矩陣分解的冗余消除算法[J].計(jì)算機(jī)工程與應(yīng)用，2011，17（30）：4-9.

[3]黃創(chuàng)光，印鑒，汪靜，等.不確定近鄰的協(xié)同過(guò)濾推薦算法[J].計(jì)算機(jī)學(xué)報(bào)，2010，33（8）：1370-1376.

[4]樊凌.云環(huán)境下大規(guī)模多媒體數(shù)據(jù)特征重構(gòu)挖掘方法[J].軟件導(dǎo)刊，2016，15（6）：176-178.

（責(zé)任編輯：黃 ?。?