基于Spark框架的大數(shù)據(jù)局部頻繁項集挖掘算法設計

王黎，呂殿基

(北京經濟管理職業(yè)學院 信息學院， 北京 100102)

0 引言

隨著科學技術的發(fā)展與不斷進步，效率高，成本低的大數(shù)據(jù)局部頻繁項集的挖掘算法愈發(fā)重要。近年來形成了巨大規(guī)模的非結構化數(shù)據(jù)和半結構化數(shù)據(jù)，這些數(shù)據(jù)被稱為大數(shù)據(jù)，而如何自動、充分地利用這些大數(shù)據(jù)，順利地解決大數(shù)據(jù)中存在的數(shù)據(jù)龐大、無切入點的問題，成為了目前國內外迫切需要解決的一個難題，而數(shù)據(jù)挖掘技術也在此時應運而生[1]。

頻繁項集挖掘技術是目前數(shù)據(jù)挖掘技術的基礎，最初國內外主要采用的關聯(lián)規(guī)則分析、序列項集、相關性分析等數(shù)據(jù)挖掘技術,它們都是以頻繁項集挖掘技術作為核心基礎的，而近幾年來，隨著大數(shù)據(jù)處理引擎Spark的出現(xiàn)，為海量數(shù)據(jù)的高效處理提供了一個新的解決空間，人們由此擴展研究出的Apriori算法與FP-growth算法是當前數(shù)據(jù)挖掘技術的主流，也是目前國內外大數(shù)據(jù)挖掘技術的研究重點，其中Apriori算法是一種挖掘關聯(lián)規(guī)則的頻繁項集算法[2]，其核心思想是通過候選集生成和情節(jié)的向下封閉檢測兩個階段來挖掘頻繁項集，而FP-growth算法則是在Apriori算法基礎上提出的，但是從長遠角度來看，這兩種算法依然無法滿足處理當前大數(shù)據(jù)的需求，因為處理時間過長與內存消耗過大這兩點是Apriori算法與FP-growth算法無法從根本上解決的難題，而且數(shù)據(jù)量只會變得越來越多，Apriori算法與FP-growth算法也會變得越來越無法支撐大數(shù)據(jù)挖掘的要求[3]。

本文設計了一種基于Spark框架的大數(shù)據(jù)局部頻繁項集挖掘算法，該算法將Spark理念規(guī)則化變?yōu)榭蚣苄问剑琒park框架是一種很好的替代框架，處理大數(shù)據(jù)局部信息時有著獨特的優(yōu)勢，本文在Spark框架原有的基礎上增添了結構變換功能，可以讓其隨著本文設計算法的改動而變化。依次對大數(shù)據(jù)進行了局部算法篩選、局部算法分析、局部算法挖掘，從根本上降低了挖掘難度與成本投入。

1 基于Spark框架的大數(shù)據(jù)局部頻繁項集篩選

本文設計的基于Spark框架的大數(shù)據(jù)局部頻繁項集挖掘算法，首先通過Spark框架來完成對大數(shù)據(jù)局部頻繁項集的最初篩選，該過程中，通過調整面積大小、運行速度等相關指令進行大數(shù)據(jù)局部頻繁項集中的相關數(shù)據(jù)挖掘，且Spark框架會根據(jù)本文設計的大數(shù)據(jù)局部頻繁項集挖掘算法中的相關指令而產生相對變化[4]。人為添加的大數(shù)據(jù)局部頻繁項集篩選要求會轉化為數(shù)據(jù)組D，而A則為Spark框架中的大數(shù)據(jù)局部頻繁項集，經過計算后得到的S、V、X則分別為Spark框架所需要改動的面積、運行速度、篩選要求，改動后的Spark框架具體結構應用圖,如圖1所示。

圖1 Spark框架篩選結構

此時Spark框架主要以集成網的形式出現(xiàn)，在該過程中，Spark框架也主要起著過濾大數(shù)據(jù)局部頻繁項集的作用，其中符合篩選要求的大數(shù)據(jù)頻繁項集會保存于Spark框架所形成的篩選網上,進入到下一階段的分析當中，而不符合篩選要求的大數(shù)據(jù)頻繁項集則會被Spark框架釋放[5]。被Spark框架釋放的大數(shù)據(jù)頻繁項集主要分為兩種:一種為本質上不符合篩選要求，這一類項集會被Spark框架直接交還于大數(shù)據(jù)整體頻繁項集中，不予以干擾[6]。而另一種則是本質上符合篩選要求卻因某種原因被破壞導致自身并不完整，針對這一類大數(shù)據(jù)頻繁項集Spark框架會進行標注記錄并給予檢測反饋，方便這些大數(shù)據(jù)頻繁項集被相關工作者及時發(fā)現(xiàn)并處理，減輕大數(shù)據(jù)整體的壓力負擔[7]。

2 基于Spark框架的大數(shù)據(jù)局部頻繁項集挖掘結果分析

通過Spark框架對大數(shù)據(jù)局部頻繁項集篩選結果進行分析。經過篩選后的大數(shù)據(jù)局部頻繁項集會在Spark框架的儲存空間得到保存[8]。等到這些大數(shù)據(jù)局部頻繁項集趨于穩(wěn)定后，Spark框架會應用本文設計的算法來對這些儲存空間中的大數(shù)據(jù)局部頻繁項集進行重新排版與分析[9]。通過Spark框架篩選后的整體大數(shù)據(jù)局部頻繁項集，經過Spark框架分支載體的啟動命令單元，完成為Spark框架的分支載體命令，而作為大數(shù)據(jù)局部頻繁項集類別小組，分別為操作數(shù)據(jù)類頻繁項集、圖像數(shù)據(jù)類頻繁項集、隱藏數(shù)據(jù)類頻繁項集，其中操作數(shù)據(jù)類頻繁項集、圖像數(shù)據(jù)類頻繁項集屬于公開類數(shù)據(jù)頻繁項集，可以直接用于接下來的應用。而隱藏數(shù)據(jù)類頻繁項集則為加密型數(shù)據(jù)頻繁項集，需要進行破解才可以投入到接下來的應用當中。

此時,Spark框架的結構會受到分析算法中分支載體的啟動命令,在單元與分支載體完成命令單元后,影響由集成網狀變?yōu)榉种ЬW狀的結構，既保證了算法分析的正常運行，也為算法挖掘打下了基礎，應用本文基于Spark框架理念所設計的局部頻繁項集分析算法對大數(shù)據(jù)局部頻繁項集算法分析的具體歸納圖，如圖2所示。

圖2 大數(shù)據(jù)局部頻繁項集算法分析的流程

在分析出頻繁項集后利用Spark框架挖掘主要目標。將基于Spark框架的大數(shù)據(jù)局部頻繁項集篩選結果和分析結果與Spark框架結合運用后得到的操作數(shù)據(jù)類頻繁項集、圖像數(shù)據(jù)類頻繁項集、隱藏數(shù)據(jù)類頻繁項集是接下來進行挖掘的主要目標[10]。

操作數(shù)據(jù)類頻繁項集主要指的是大數(shù)據(jù)中蘊含指令信息數(shù)據(jù)或者動作信息數(shù)據(jù)的一類頻繁項集，而圖像數(shù)據(jù)類頻繁項集則泛指了大數(shù)據(jù)中蘊含圖片或者影像的一類頻繁項集[11-12]。基于上述步驟，對這兩種公開類數(shù)據(jù)頻繁項集進行大數(shù)據(jù)局部頻繁項集挖掘，上述分析得到的隱藏數(shù)據(jù)類頻繁項集屬于加密型數(shù)據(jù)頻繁項集[13]，它的誕生是由于在它投入大數(shù)據(jù)局部頻繁項集之前曾被有意進行數(shù)據(jù)加密過，在對該類頻繁項集進行挖掘之前，需要先對該類頻繁項集進行數(shù)據(jù)破解[14]。本文設計算法中的加密型數(shù)據(jù)頻繁項集破解算法中的專屬破解單元，可以在不破壞加密型數(shù)據(jù)頻繁項集自身的基礎上破壞掉其特有的數(shù)據(jù)加密，進而得到可挖掘的大數(shù)據(jù)局部頻繁項集。

3 實驗研究

為了準確評估本文基于Spark框架理念所設計的大數(shù)據(jù)局部頻繁項集挖掘算法的挖掘效果，設置了相應的實驗環(huán)境進行效果檢測，將本文設計算法與傳統(tǒng)的Apriori算法以及FP-growth算法進行對比。

對于大數(shù)據(jù)局部頻繁項集的復雜性與包容性，需要對實驗環(huán)境進行數(shù)據(jù)篩選，本文為完善實驗操作并且能夠準確比較本文設計算法與Apriori算法以及FP-growth算法的挖掘效果，按照步驟劃分實驗研究操作如下：

(1) 在實驗環(huán)境中安置大量的大數(shù)據(jù)局部頻繁項集以保證能夠保留其復雜性以及包容性的特征，增強本實驗比較效果的說服力，應用本文基于Spark框架理念所設計的局部頻繁項集挖掘算法對大數(shù)據(jù)局部頻繁項集算法篩選過程,如圖3所示。

圖3 大數(shù)據(jù)局部頻繁項集算法篩選

(2) 在對大數(shù)據(jù)局部頻繁項集進行算法分析的過程當中，Spark框架受本文設計算法影響會導致自身結構發(fā)生改變，此時Spark框架的具體結構圖,如圖4所示。

圖4 Spark框架分析結構

在該過程中，通過本文設計算法中的公開類數(shù)據(jù)頻繁項集挖掘算法與Spark框架對公開類數(shù)據(jù)頻繁項集的具體挖掘概念,如圖5所示。

在完成以上操作后，對設置的大數(shù)據(jù)局部頻繁項集中的操作數(shù)據(jù)類頻繁項集、圖像數(shù)據(jù)類頻繁項集、隱藏數(shù)據(jù)類頻繁項集進行特有標注，方便最終比較結果的驗證。

(3) 在挖掘的過程中要實時記錄各算法對大數(shù)據(jù)局部頻繁項集的挖掘效率與時間，合理應用各算法所存在的優(yōu)勢，綜合評估所有算法的挖掘效果，設置挖掘信息通道及挖掘效果圖,如圖6所示。

(4) 保證實驗的公平性，在對加密型數(shù)據(jù)頻繁項集進行破解與挖掘的過程中，加密型數(shù)據(jù)頻繁項集結構的前后對比圖,如圖7所示。

圖7 加密型數(shù)據(jù)頻繁項集結構的前后對比圖

在此實驗中，為了能夠進一步提高實驗整體的對比效果，需要設置一定的實驗參數(shù),如表1所示。

表1 實驗參數(shù)

根據(jù)上述實驗參數(shù)可以得到本文設計算法與傳統(tǒng)的Apriori算法以及FP-growth算法對大數(shù)據(jù)局部頻繁項集挖掘的整體成本投入圖以及挖掘效率對比圖,如圖8所示。

圖8 對大數(shù)據(jù)局部頻繁項集挖掘的整體成本投入

根據(jù)圖8可以看出，在對相同的大數(shù)據(jù)局部頻繁項集進行完全挖掘時，傳統(tǒng)的FP-growth算法所需要投入的整體成本最高，傳統(tǒng)的Apriori算法所需要投入的整體成本次之，而本文設計算法所需要投入的成本最低，如圖9所示。

圖9 對大數(shù)據(jù)局部頻繁項集挖掘的效率對比圖

根據(jù)圖9即對大數(shù)據(jù)局部頻繁項集挖掘的效率對比圖可以看出,在相同的時間內本文設計算法對數(shù)據(jù)局部頻繁項集挖掘的效率遠遠高于傳統(tǒng)的Apriori算法以及FP-growth算法。

對上述結果進行歸納與總結可以發(fā)現(xiàn)，在對同樣數(shù)量的大數(shù)據(jù)局部頻繁項集進行挖掘的過程中，本文設計算法只需要通過算法的不斷改變來對所設計的Spark框架進行設置，即可完成對大數(shù)據(jù)局部頻繁項集的整個挖掘過程，而傳統(tǒng)的Apriori算法以及FP-growth算法在挖掘的過程中不但需要Spark的支持，還需要大量的軟件與硬件設備進行支撐才能完成同樣的工作量，因此所投入的整體成本會遠遠高于本文設計算法，而且在挖掘的過程中隨著內存空間的不斷減少，傳統(tǒng)的Apriori算法以及FP-growth算法的挖掘效率也會隨之變慢，而本文設計算法并不會受到內存空間的影響，因此本文設計的基于Spark框架的大數(shù)據(jù)局部頻繁項集挖掘算法的挖掘效率會遠遠高于傳統(tǒng)的Apriori算法以及FP-growth算法。

綜上所述，本文設計的基于Spark框架的大數(shù)據(jù)局部頻繁項集挖掘算法能夠更好地完成對大數(shù)據(jù)局部頻繁項集的挖掘，具有合理的操作條件與途徑，也具有著較強的說服力。

4 總結

本文為解決傳統(tǒng)算法成本高、效率低等問題，提出基于Spark框架理念所設計的大數(shù)據(jù)局部頻繁項集挖掘算法，摒棄了傳統(tǒng)算法對軟件與硬件的依賴，通過自身算法的變化，以及Spark框架的合理運用更加高效并準確的完成對大數(shù)據(jù)局部頻繁項集的挖掘，有效降低了挖掘難度與成本投入，為該領域的發(fā)展開辟了一條新的研究路徑，具有十分開闊的研究前景，值得人們進行深入地研究。