多云協(xié)同構(gòu)架云數(shù)據(jù)分區(qū)并行挖掘算法研究

尚 影，牛 磊

（1.阜陽幼兒師范高等?？茖W(xué)校 小學(xué)教育學(xué)院，安徽 阜陽 236015；2.阜陽師范大學(xué) 計算機學(xué)院，安徽 阜陽 236037）

云計算和大數(shù)據(jù)挖掘技術(shù)的高速發(fā)展，多云協(xié)同構(gòu)架云數(shù)據(jù)的挖掘逐漸受到人們的關(guān)注。人們通常根據(jù)數(shù)據(jù)特征，采用分布式的實體融合性聚類分析方法，建立多云協(xié)同構(gòu)架云數(shù)據(jù)并行挖掘模型，提高多云協(xié)同構(gòu)架云數(shù)據(jù)的管理和特征分析能力，從而提高多云協(xié)同構(gòu)架云數(shù)據(jù)的特征聚類性，相關(guān)的多云協(xié)同構(gòu)架云數(shù)據(jù)挖掘和并行調(diào)度研究在云數(shù)據(jù)管理和協(xié)同調(diào)度領(lǐng)域具有很好的應(yīng)用價值［1-2］。

多云協(xié)同構(gòu)架云數(shù)據(jù)挖掘是建立在數(shù)據(jù)的特征分析和屬性篩選基礎(chǔ)上，構(gòu)建多云協(xié)同構(gòu)架云數(shù)據(jù)關(guān)聯(lián)規(guī)則聚類分布集，通過特征子集的篩選和融合聚類分析，實現(xiàn)多云協(xié)同構(gòu)架云數(shù)據(jù)挖掘和并行特征提?。?-4］。當(dāng)前，多云協(xié)同構(gòu)架云數(shù)據(jù)挖掘方法主要有模糊子空間聚類分析方法、關(guān)鍵特征子集選擇方法、屬性融合分析方法等。傳統(tǒng)方法一般會采用適應(yīng)度分析和數(shù)據(jù)集度量方法，進(jìn)行多云協(xié)同構(gòu)架云數(shù)據(jù)挖掘和特征提?。?-6］，但存在挖掘結(jié)果模糊度較大以及計算開銷較大的問題。

為此，本文提出一種新的多云協(xié)同構(gòu)架云數(shù)據(jù)關(guān)聯(lián)規(guī)則分區(qū)挖掘算法。首先構(gòu)建多云協(xié)同構(gòu)架云數(shù)據(jù)的分布式存儲結(jié)構(gòu)模型，采用約束性連續(xù)值屬性特征分解方法，建立多云協(xié)同構(gòu)架云數(shù)據(jù)的特征數(shù)據(jù)聚類模型，然后采用邊界特征點融合和閾值分割方法，實現(xiàn)多云協(xié)同構(gòu)架云數(shù)據(jù)的信息融合和聚類處理，結(jié)合決策樹聚類分析模型，完成對多云協(xié)同構(gòu)架云數(shù)據(jù)并行挖掘過程中的數(shù)據(jù)分類，采用關(guān)聯(lián)規(guī)則分區(qū)調(diào)度和融合方法，實現(xiàn)多云協(xié)同構(gòu)架云數(shù)據(jù)的并行挖掘和離散化融合聚類處理，提高多云協(xié)同構(gòu)架云數(shù)據(jù)的協(xié)同并行挖掘能力。最后進(jìn)行仿真測試分析，測試結(jié)果顯示本文方法在提高數(shù)據(jù)關(guān)聯(lián)規(guī)則分區(qū)并行挖掘能力方面具有優(yōu)越性能。

1 多云協(xié)同構(gòu)架云數(shù)據(jù)存儲和融合

1.1 云數(shù)據(jù)存儲結(jié)構(gòu)

為實現(xiàn)數(shù)據(jù)關(guān)聯(lián)規(guī)則分區(qū)并行挖掘，首先構(gòu)建多云協(xié)同構(gòu)架云數(shù)據(jù)的分布式存儲結(jié)構(gòu)模型，采用約束性連續(xù)值屬性特征分解方法，對特征量進(jìn)行分解，實現(xiàn)對多云協(xié)同構(gòu)架云數(shù)據(jù)的融合處理［7-8］，得到多云協(xié)同構(gòu)架云數(shù)據(jù)存儲結(jié)構(gòu)模型如圖1所示。

圖1 多云協(xié)同構(gòu)架云數(shù)據(jù)存儲結(jié)構(gòu)模型

采用決策樹模型和量化回歸分析方法，依據(jù)特征向量來決定對應(yīng)的輸出值，將特征空間劃分成若干單元，按照特征將其歸到某個單元，得到云數(shù)據(jù)額分組傳輸控制協(xié)議［9-10］，由控制協(xié)議得到多云協(xié)同構(gòu)架云數(shù)據(jù)傳輸?shù)臉?biāo)準(zhǔn)差σj，分析多云協(xié)同構(gòu)架云數(shù)據(jù)的第i條記錄第j個屬性值的樣本聚類特征量，采用相似性融合方法，得到多云協(xié)同構(gòu)架云數(shù)據(jù)的相異度特征分量ri()

j，計算關(guān)系為：

其中，μ 為每一個屬性的信息增益，i=1，2，…，n，j=1，2，…，m。根據(jù)已有算術(shù)平均值和中值計算的方法，得到多云協(xié)同構(gòu)架云數(shù)據(jù)存儲線性結(jié)構(gòu)分布為：

其中，Ai(j)為多云協(xié)同構(gòu)架云數(shù)據(jù)的變異度。計算第i 條記錄第j 個屬性多云協(xié)同構(gòu)架云數(shù)據(jù)分布差異性特征量，表示為：

考慮云數(shù)據(jù)特征屬性 X、Y 的相關(guān)系數(shù)，得到多云協(xié)同構(gòu)架云數(shù)據(jù)的屬性集相異性特征分量為me，依據(jù)現(xiàn)有的多云協(xié)同構(gòu)架云數(shù)據(jù)的屬性相異度［11］，可知多云協(xié)同構(gòu)架云數(shù)據(jù)的模糊相關(guān)性屬性值為：

其中，sh為循環(huán)執(zhí)行直至產(chǎn)生多云協(xié)同構(gòu)架云數(shù)據(jù)的特征參數(shù)，得到多云協(xié)同構(gòu)架云數(shù)據(jù)的模糊信息融合構(gòu)造隨機函數(shù)為b(u)。

根據(jù)上述分析，將數(shù)據(jù)集中的屬性作為一個聚類特征，得到第j個Tausworthe 隨機數(shù)生成的多云協(xié)同構(gòu)架云數(shù)據(jù)的模糊度特征量為K(w)，結(jié)合交互式融合的方法，得到多云協(xié)同構(gòu)架云數(shù)據(jù)的輸出穩(wěn)態(tài)特征值為：

計算多云協(xié)同構(gòu)架云數(shù)據(jù)的數(shù)據(jù)包的特征子集，得到多云協(xié)同構(gòu)架云數(shù)據(jù)挖掘的時延控制參數(shù)模型［12-13］。

1.2 多云協(xié)同構(gòu)架云數(shù)據(jù)特征分析

采用邊界特征點融合和閾值分割方法，集合模糊度特征量周邊的特征點，設(shè)定不同的特征閾值，將云數(shù)據(jù)分成若干類，實現(xiàn)多云協(xié)同構(gòu)架云數(shù)據(jù)的信息融合和聚類處理［14-15］，結(jié)合決策樹聚類分析模型，得到多云協(xié)同構(gòu)架云數(shù)據(jù)的關(guān)聯(lián)分布函數(shù)為：

其中，Γv，Γr為自適應(yīng)尋優(yōu)實現(xiàn)對多云協(xié)同構(gòu)架云數(shù)據(jù)的特征尋優(yōu)和解析控制參數(shù)，l為關(guān)聯(lián)特征函數(shù)。

采用融合和時延控制的方法，得到多云協(xié)同構(gòu)架云數(shù)據(jù)的模糊關(guān)聯(lián)規(guī)則分布函數(shù)為UT=U-1，D∈Rm×M，且D=[∑ 0]，結(jié)合語義分析，得到多云協(xié)同構(gòu)架云數(shù)據(jù)挖掘的語義特征分量：

根據(jù)多云協(xié)同構(gòu)架云數(shù)據(jù)挖掘的特征屬性子集，可知多云協(xié)同構(gòu)架云數(shù)據(jù)挖掘的閾值函數(shù)滿足：

X(2)={x2(1),x2(2),...,x2(9)}={2,1,4,8,6,3,9,5,7}，輸出多云協(xié)同構(gòu)架云數(shù)據(jù)挖掘的模糊信息融合結(jié)果多云協(xié)同構(gòu)架云數(shù)據(jù)的關(guān)聯(lián)規(guī)則集X(3)={x3(1),x3(2),...,x3(8)}={4,1,3,8,7,6,2,9}，得出多云協(xié)同構(gòu)架云數(shù)據(jù)的樣本子集分布結(jié)果采用優(yōu)先級聚類和關(guān)聯(lián)規(guī)則排序方法，實現(xiàn)多云協(xié)同構(gòu)架云數(shù)據(jù)挖掘的優(yōu)先級融合排序，記L1,...,Ln和為數(shù)據(jù)樣本子集，根據(jù)多云協(xié)同構(gòu)架云數(shù)據(jù)挖掘的分布式特征融合結(jié)果，考慮多云協(xié)同構(gòu)架云數(shù)據(jù)挖掘的數(shù)據(jù)包的排列分布概率。選擇Qn作為多云協(xié)同構(gòu)架云數(shù)據(jù)的模糊度特征量，得到分別表示多云協(xié)同構(gòu)架云數(shù)據(jù)概念集和測試集，記多云協(xié)同構(gòu)架云數(shù)據(jù)的測試集為I，概念集為J，得到多云協(xié)同構(gòu)架云數(shù)據(jù)的并行挖掘的均值函數(shù)為：

結(jié)合離散化調(diào)度，構(gòu)建多云協(xié)同構(gòu)架云數(shù)據(jù)挖掘的尋優(yōu)函數(shù)：

根據(jù)多云協(xié)同構(gòu)架云數(shù)據(jù)的交互誤差進(jìn)行大數(shù)據(jù)挖掘和過程采樣，f(u)為多云協(xié)同構(gòu)架云數(shù)據(jù)的分割函數(shù)，DS為多云協(xié)同構(gòu)架云數(shù)據(jù)挖掘的優(yōu)先級系數(shù)。根據(jù)上述分析，采用邊界特征點融合和閾值分割方法，實現(xiàn)多云協(xié)同構(gòu)架云數(shù)據(jù)的信息融合和聚類處理［16-17］。

2 數(shù)據(jù)關(guān)聯(lián)規(guī)則分區(qū)并行挖掘優(yōu)化

2.1 云協(xié)同構(gòu)架云數(shù)據(jù)融合聚類

采用邊界特征點融合和閾值分割方法，實現(xiàn)多云協(xié)同構(gòu)架云數(shù)據(jù)的信息融合和聚類處理，結(jié)合決策樹聚類分析模型，建立數(shù)據(jù)包排隊序列分布融合模型，得到云協(xié)同構(gòu)架云數(shù)據(jù)的自相關(guān)特征量：

采用決策樹和模糊C 均值聚類，得到云協(xié)同構(gòu)架云數(shù)據(jù)的特征參數(shù)為Cw，通過聚類中心的輸出增益控制，得到云協(xié)同構(gòu)架云數(shù)據(jù)的并行挖掘的可靠性融合函數(shù)為a，多云協(xié)同構(gòu)架云數(shù)據(jù)的權(quán)重特征分布為E(s)。

利用候選閾值分割的方法，得到多云協(xié)同構(gòu)架云數(shù)據(jù)的離散化閾值分割函數(shù)為：

其中，θ0和Δ表示多云協(xié)同構(gòu)架云數(shù)據(jù)挖掘的時延和偏移系數(shù)。

采用梯度信息融合，得到多云協(xié)同構(gòu)架云數(shù)據(jù)交互的均衡控制模型，得到模糊信息調(diào)度矩陣：

其中，ru為數(shù)據(jù)交互的均衡控制特征參數(shù)，將多云協(xié)同構(gòu)架云數(shù)據(jù)連續(xù)字段屬性值按照從小到大排序［18-20］，得到多云協(xié)同構(gòu)架云數(shù)據(jù)的擴展能量開銷為g(i)?？紤]數(shù)據(jù)包的大小和能量開銷，得到多云協(xié)同構(gòu)架云數(shù)據(jù)融合聚類輸出為：

其中，ω(t)為當(dāng)前多云協(xié)同構(gòu)架云數(shù)據(jù)傳輸?shù)木垲愊禂?shù)，綜上分析，實現(xiàn)對多云協(xié)同構(gòu)架云數(shù)據(jù)的融合聚類處理。

2.2 數(shù)據(jù)挖掘輸出

關(guān)聯(lián)規(guī)則主要包含兩個階段：第一階段必須先從資料集合中找出所有的高頻項目組（Fre?quent Itemsets），第二階段再由這些高頻項目組中產(chǎn)生關(guān)聯(lián)規(guī)則（Association Rules）。采用關(guān)聯(lián)規(guī)則分區(qū)調(diào)度和融合方法，將挖掘后的數(shù)據(jù)進(jìn)行分區(qū)管理，實現(xiàn)多云協(xié)同構(gòu)架云數(shù)據(jù)的并行挖掘和離散化融合聚類處理，提高多云協(xié)同構(gòu)架云數(shù)據(jù)的協(xié)同并行挖掘能力，得到多云協(xié)同構(gòu)架云數(shù)據(jù)挖掘的時延為：

在信息增益最大點時，得到多云協(xié)同構(gòu)架云數(shù)據(jù)挖掘的關(guān)聯(lián)規(guī)則分區(qū)聚類約束規(guī)劃模型為：

采用連續(xù)值屬性分析方法，進(jìn)行多云協(xié)同構(gòu)架云數(shù)據(jù)挖掘的關(guān)聯(lián)規(guī)則分析，得到有限數(shù)據(jù)集Y={y1,y2,...,yn} ，n 是多云協(xié)同構(gòu)架云數(shù)據(jù)集 Y 的分區(qū)塊數(shù)，得到最佳閾值分割的屬性分布為c(A)?；谶吔琰c判定的方法，得到多云協(xié)同構(gòu)架云數(shù)據(jù)的聯(lián)合關(guān)聯(lián)規(guī)則挖掘分布為：

其中：pi,j(t)為多云協(xié)同構(gòu)架云數(shù)據(jù)的邊界點的信息增益，Δp(t)為梯度輸出增益。用4 元組(Ei,Ej,d,t)來表示多云協(xié)同構(gòu)架云數(shù)據(jù)的優(yōu)先級數(shù)據(jù)包排序集，由此構(gòu)建多云協(xié)同構(gòu)架云數(shù)據(jù)關(guān)聯(lián)規(guī)則分區(qū)并行挖掘模型，實現(xiàn)步驟示意圖如圖2所示。

圖2 算法實現(xiàn)步驟示意圖

圖2 中，稀有類拓展實例選擇算法（MEIS）對訓(xùn)練集中數(shù)據(jù)進(jìn)行選擇，選擇后的特征再經(jīng)由特征選擇（PCA）選擇已有的有限數(shù)據(jù)集，使系統(tǒng)的具體指標(biāo)最優(yōu)化，從現(xiàn)有數(shù)據(jù)集中選出一些最有效的特征，從而減少數(shù)據(jù)集的維度。

3 仿真測試分析

為驗證本文方法在實現(xiàn)多云協(xié)同構(gòu)架云數(shù)據(jù)并行挖掘中的應(yīng)用性能，采用Matlab 進(jìn)行仿真測試分析待挖掘的數(shù)據(jù)如圖3 所示（數(shù)據(jù)形狀不同說明其種類不同）。

圖3 待挖掘的多云協(xié)同構(gòu)架云數(shù)據(jù)

由圖3 可知，采用邊界特征點融合和閾值分割方法，使得原有測試集中的數(shù)據(jù)可以按照種類進(jìn)行分布，分區(qū)效果明顯，且同一種類的數(shù)據(jù)聚集緊密，由于訓(xùn)練集中的數(shù)據(jù)邊界特征點無法得以融合，訓(xùn)練集中的同一種類數(shù)據(jù)分布較為分散。以圖3 的數(shù)據(jù)為研究對象，進(jìn)行多云協(xié)同構(gòu)架云數(shù)據(jù)的分區(qū)并行挖掘，得到挖掘結(jié)果如圖4所示。

圖4 多云協(xié)同構(gòu)架云數(shù)據(jù)分區(qū)并行挖掘輸出

分析圖4 得知，由于采用關(guān)聯(lián)規(guī)則分區(qū)調(diào)度和融合方法，使得不同種類的數(shù)據(jù)分區(qū)效果明顯，且數(shù)據(jù)聚集緊密，證明本文方法進(jìn)行多云協(xié)同構(gòu)架云數(shù)據(jù)分區(qū)并行挖掘的輸出特征聚類性較好，提高了數(shù)據(jù)挖掘的分區(qū)聚類性能，測試不同方法進(jìn)行多云協(xié)同構(gòu)架云數(shù)據(jù)分區(qū)并行挖掘的精度，得到對比結(jié)果如圖5所示。

圖5 數(shù)據(jù)挖掘精度對比

分析圖5 得知，隨著迭代次數(shù)的不斷增加，本文方法的挖掘精度不斷提高，增長速度較快，在迭代次數(shù)4-12 時挖掘精度增長速度緩慢，收斂性差、精度偏低，與之相比，本文方法基于并行挖掘算法進(jìn)行多云協(xié)同構(gòu)架云數(shù)據(jù)分區(qū)并行挖掘的精度較高，可應(yīng)用性更強。

4 結(jié)語

本文提出基于并行挖掘算法的多云協(xié)同構(gòu)架云數(shù)據(jù)關(guān)聯(lián)規(guī)則分區(qū)挖掘算法。采用邊界特征點融合和閾值分割方法，實現(xiàn)多云協(xié)同構(gòu)架云數(shù)據(jù)的信息融合和聚類處理，通過聚類中心的輸出增益控制，得到云協(xié)同構(gòu)架云數(shù)據(jù)的并行挖掘的可靠性融合函數(shù)，采用關(guān)聯(lián)規(guī)則分區(qū)調(diào)度和融合方法，實現(xiàn)多云協(xié)同構(gòu)架云數(shù)據(jù)的并行挖掘和離散化融合聚類處理。研究得知，本文方法對多云協(xié)同構(gòu)架云數(shù)據(jù)挖掘的并行效率較高，挖掘精度較高。