基于大數(shù)據(jù)存儲區(qū)域自動篩選的數(shù)據(jù)庫優(yōu)化

鄭倩倩+劉靜靜

摘 要：提出一種基于大數(shù)據(jù)存儲區(qū)域自動篩選的數(shù)據(jù)庫優(yōu)化存儲和訪問技術(shù)，首先進(jìn)行數(shù)據(jù)庫中數(shù)據(jù)分布存儲模型設(shè)計和數(shù)據(jù)結(jié)構(gòu)分析，采用模糊C均值聚類算法進(jìn)行大數(shù)據(jù)的存儲區(qū)域優(yōu)化聚類，提高數(shù)據(jù)聚斂能力。采用濾波算法進(jìn)行數(shù)據(jù)庫中的干擾濾波處理，對濾波輸出的數(shù)據(jù)進(jìn)行存儲區(qū)域的自動篩選控制，實現(xiàn)數(shù)據(jù)庫存儲空間優(yōu)化，提高數(shù)據(jù)庫訪問的指向性和配準(zhǔn)性。仿真結(jié)果表明，利用該方法進(jìn)行數(shù)據(jù)庫優(yōu)化設(shè)計，對大數(shù)據(jù)的存儲和調(diào)度性能都有較大改善。

關(guān)鍵詞關(guān)鍵詞：大數(shù)據(jù)存儲；數(shù)據(jù)庫優(yōu)化；聚類；濾波

DOIDOI：10.11907/rjdk.161795

中圖分類號：TP392

文獻(xiàn)標(biāo)識碼：A 文章編號：1672-7800（2016）008-0165-03

0 引言

近年來，隨著大數(shù)據(jù)處理技術(shù)的快速發(fā)展，對大數(shù)據(jù)的存儲和調(diào)度成為大數(shù)據(jù)信息處理的關(guān)鍵。隨著人們對分布式數(shù)據(jù)庫的逐步關(guān)注、深入研究與常態(tài)化應(yīng)用，采用分布式級聯(lián)數(shù)據(jù)庫進(jìn)行大數(shù)據(jù)存儲成為大數(shù)據(jù)處理應(yīng)用的重要方向。研究大數(shù)據(jù)的分布式級聯(lián)數(shù)據(jù)庫優(yōu)化設(shè)計，將在云存儲和大數(shù)據(jù)智能信息處理等領(lǐng)域具有較高的應(yīng)用價值[1]。

通過對數(shù)據(jù)庫存儲結(jié)構(gòu)和數(shù)據(jù)訪問技術(shù)的優(yōu)化設(shè)計，提高數(shù)據(jù)庫對大數(shù)據(jù)的存儲和調(diào)度控制能力。傳統(tǒng)的數(shù)據(jù)庫存儲采用堆棧列表控制方法進(jìn)行大數(shù)據(jù)存儲，隨著存儲量和干擾的增大，導(dǎo)致數(shù)據(jù)庫的調(diào)度和訪問準(zhǔn)確性不高。在數(shù)據(jù)庫訪問中，目前主要有基于語義信息特征提取的數(shù)據(jù)庫訪問技術(shù)、基于詞頻特征分布的數(shù)據(jù)庫訪問技術(shù)和基于關(guān)鍵字的數(shù)據(jù)庫訪問技術(shù)等[2，3]。其中，文獻(xiàn)[4]提出一種基于語義數(shù)據(jù)集特征提取的數(shù)據(jù)庫優(yōu)化設(shè)計方法，以實現(xiàn)數(shù)據(jù)庫的優(yōu)化存儲和大數(shù)據(jù)處理。首先找出兩個最不相關(guān)的語義數(shù)據(jù)集合，考查詞頻準(zhǔn)確性和樣本記錄數(shù)量之間的關(guān)系，通過有向圖模型設(shè)計方法，提高數(shù)據(jù)庫的調(diào)度和訪問指向性能力。但是該方法計算開銷較大，收斂性不好[5]。針對上述問題，本文提出一種基于大數(shù)據(jù)存儲區(qū)域自動篩選的數(shù)據(jù)庫優(yōu)化存儲和訪問技術(shù)，首先進(jìn)行數(shù)據(jù)庫中數(shù)據(jù)分布存儲模型設(shè)計和數(shù)據(jù)結(jié)構(gòu)分析，采用模糊C均值聚類算法進(jìn)行大數(shù)據(jù)的存儲區(qū)域優(yōu)化聚類，提高數(shù)據(jù)聚斂能力。采用濾波算法進(jìn)行數(shù)據(jù)庫中的干擾濾波處理，對濾波輸出的數(shù)據(jù)進(jìn)行存儲區(qū)域的自動篩選控制，實現(xiàn)數(shù)據(jù)庫存儲空間優(yōu)化，提高數(shù)據(jù)庫訪問的指向性和配準(zhǔn)性。最后通過仿真實驗進(jìn)行了性能測試，得出有效性結(jié)論，展示了較高的應(yīng)用價值。

1 預(yù)備知識及數(shù)據(jù)庫中大數(shù)據(jù)存儲數(shù)據(jù)結(jié)構(gòu)分析

1.1 數(shù)據(jù)庫中數(shù)據(jù)分布存儲模型設(shè)計

為了實現(xiàn)對大型網(wǎng)絡(luò)級聯(lián)數(shù)據(jù)庫的優(yōu)化設(shè)計和存儲訪問控制，首先采用分布式存儲調(diào)度方法，對大型網(wǎng)絡(luò)級聯(lián)數(shù)據(jù)庫的存儲數(shù)據(jù)采集結(jié)構(gòu)進(jìn)行存儲數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)分析，再用有向圖表示云計算環(huán)境下大型網(wǎng)絡(luò)級聯(lián)數(shù)據(jù)庫的數(shù)據(jù)分布存儲模型，如圖1所示，以此為基礎(chǔ)進(jìn)行數(shù)據(jù)的存儲結(jié)構(gòu)優(yōu)化設(shè)計[6]。

1.2 數(shù)據(jù)結(jié)構(gòu)分析與信息流時間序列分析

在上述構(gòu)建了數(shù)據(jù)庫中數(shù)據(jù)分布存儲模型的基礎(chǔ)上，為了實現(xiàn)對數(shù)據(jù)存儲區(qū)域的自動篩選和訪問控制，進(jìn)行數(shù)據(jù)庫結(jié)構(gòu)和數(shù)據(jù)信息流時間序列分析及信號模型構(gòu)建。求大型網(wǎng)絡(luò)級聯(lián)數(shù)據(jù)庫存儲數(shù)據(jù)每類樣本的模糊神經(jīng)網(wǎng)絡(luò)控制的隸屬度函數(shù)，先求得隸屬度函數(shù)的特征采樣均值Ej=∑FijKj（i∈Kj，j=1，2，…，N），Kj為第j類樣本符合K個分配因子的帶寬，并抽取數(shù)據(jù)庫訪問特征序列的相空間模糊度點集作為數(shù)據(jù)庫訪問控制訓(xùn)練集的聚類中心S，取其最大值si作為資源帶寬差值控制的第一個聚類中心，采用自適應(yīng)波束形成進(jìn)行特征采樣和資源訪問控制，假設(shè)訪問控制函數(shù)為：

在數(shù)據(jù)庫訪問過程中，假設(shè)時間函數(shù)為一個非線性的時間序列，得到數(shù)據(jù)庫訪問過程的不確定干擾項為：

其中，U為數(shù)據(jù)庫訪問控制中的特征采樣數(shù)據(jù)論域。這里采用粒子群算法進(jìn)行數(shù)據(jù)庫的訪問時間序列分析，粒子群在搜索過程中經(jīng)常會陷入局部最優(yōu)解，采用混沌映射方法，帶領(lǐng)粒子逃離局部最優(yōu)解，混沌映射的狀態(tài)空間更新迭代過程為：

依據(jù)混沌映射搜索的最小積分準(zhǔn)則，當(dāng)粒子群在搜索過程中簇的中心點收斂到數(shù)據(jù)庫的資源聚類中心時，求得數(shù)據(jù)庫的資源聚類訓(xùn)練集的功率譜密度函數(shù)作為特征，進(jìn)行特征提取和時間序列分析，得到數(shù)據(jù)的特征向量為：

通過上述處理，實現(xiàn)對大型數(shù)據(jù)庫數(shù)據(jù)結(jié)構(gòu)和信息流時間序列的分析，為實現(xiàn)數(shù)據(jù)庫的優(yōu)化設(shè)計奠定基礎(chǔ)。

2 大數(shù)據(jù)存儲區(qū)域自動篩選及數(shù)據(jù)庫優(yōu)化

在上述進(jìn)行了數(shù)據(jù)結(jié)構(gòu)分析和信息流時間序列分析的基礎(chǔ)上，進(jìn)行數(shù)據(jù)庫優(yōu)化設(shè)計改進(jìn)。提出一種基于大數(shù)據(jù)存儲區(qū)域自動篩選的數(shù)據(jù)庫優(yōu)化存儲和訪問技術(shù)，采用模糊C均值聚類算法進(jìn)行大數(shù)據(jù)的存儲區(qū)域優(yōu)化聚類，提高數(shù)據(jù)聚斂能力。模糊C均值聚類算法的實現(xiàn)過程如下，對大型網(wǎng)絡(luò)級聯(lián)數(shù)據(jù)庫存儲數(shù)據(jù)的結(jié)構(gòu)特征優(yōu)選的C均值聚類中心為：

通過上述算法改進(jìn)設(shè)計，實現(xiàn)數(shù)據(jù)庫優(yōu)化存儲的調(diào)度控制。

3 仿真實驗與結(jié)果分析

為了測試本文算法在實現(xiàn)數(shù)據(jù)庫優(yōu)化存儲中的性能，進(jìn)行仿真實驗。仿真的硬件CPU為Intel CoreTM i7-2600，采用Matlab仿真工具進(jìn)行數(shù)學(xué)仿真。大型網(wǎng)絡(luò)級聯(lián)數(shù)據(jù)庫存儲數(shù)據(jù)的云存儲節(jié)點分布在均勻線列陣存儲區(qū)域，存儲數(shù)據(jù)的數(shù)據(jù)格式為vmdk、exe等。進(jìn)行大型網(wǎng)絡(luò)級聯(lián)數(shù)據(jù)庫存儲數(shù)據(jù)的原始信息采集，大數(shù)據(jù)特征采樣頻率為21kHz，存儲數(shù)據(jù)的頻率范圍為12～24kHz。根據(jù)上述仿真環(huán)境和參數(shù)設(shè)定，得到大數(shù)據(jù)存儲區(qū)域的采樣輸出如圖2所示，采用本文方法進(jìn)行存儲區(qū)域自動篩選后的輸出如圖3所示。

由圖3可見，采用本文方法實現(xiàn)數(shù)據(jù)庫存儲空間優(yōu)化，可提高數(shù)據(jù)庫訪問的指向性和配準(zhǔn)性。仿真結(jié)果表明，利用該方法進(jìn)行數(shù)據(jù)庫優(yōu)化設(shè)計，對大數(shù)據(jù)的存儲和調(diào)度性能都有較大改善。

參考文獻(xiàn)：

[1] 周濤.基于改進(jìn)神經(jīng)網(wǎng)絡(luò)的電力系統(tǒng)中長期負(fù)荷預(yù)測研究[J].電氣應(yīng)用，2013，32（4）：26-29.

[2] 耿忠，劉三陽，齊小剛.基于非合作博弈的無線傳感器網(wǎng)絡(luò)功率控制研究[J].控制與決策，2011，26（7）：1014-1018.

[3] 張磊，王鵬，黃焱，等.基于相空間的云計算仿真系統(tǒng)研究與設(shè)計[J].計算機(jī)科學(xué)，2013，40（2）：84-86.

[4] 文天柱，許愛強(qiáng)，程恭.基于改進(jìn)ENN2 聚類算法的多故障診斷方法[J].控制與決策，2015，30（6）：1021-1026.

[5] 余曉東，雷英杰，岳韶華，等.基于粒子群優(yōu)化的直覺模糊核聚類算法研究[J].通信學(xué)報，2015 （5）：74-80.

[6] 關(guān)學(xué)忠，皇甫旭，李欣，等.基于正態(tài)云模型的自適應(yīng)變異量子粒子群優(yōu)化算法[J].電子設(shè)計工程，2016（8）：64-67.

（責(zé)任編輯：黃 ?。?