多種群協(xié)同進化算法優(yōu)化的云存儲仿真分析

包瑋琛

（重慶航天職業(yè)技術學院，重慶，400021）

多種群協(xié)同進化算法優(yōu)化的云存儲仿真分析

包瑋琛

（重慶航天職業(yè)技術學院，重慶，400021）

云平臺下大數(shù)據(jù)的極速增長，使得傳統(tǒng)的數(shù)據(jù)存儲由于時間響應慢、負載不均衡等因素，成為阻礙大數(shù)據(jù)云存儲的關鍵技術，為了解決云平臺下大數(shù)據(jù)的存儲問題，提出了多種群協(xié)同進化優(yōu)化算法的存儲方法。該方法首先將存儲分布區(qū)分割成若干個環(huán)區(qū)域，同時標記每個存儲區(qū)的存儲訪問時間，然后將大數(shù)據(jù)的存儲訪問抽象為最優(yōu)解問題。通過改進協(xié)同進化算法，防止粒子群早熟，采用該優(yōu)化算法對大數(shù)據(jù)存儲過程中的任務調(diào)度粒子群分別編碼，根據(jù)微粒群不斷進化和變異，迭代得到最優(yōu)解，從而滿足云平臺下大數(shù)據(jù)存儲的實際需求。利用Cloudsim搭建仿真平臺，對提出的新型大數(shù)據(jù)存儲方法加以評估驗證，結(jié)果表明該方法不僅具有更快的響應速度，而且降低了系統(tǒng)能耗，提高了負載均衡度。

大數(shù)據(jù)；云存儲；多種群協(xié)同進化；微粒群

0 引言

信息發(fā)展促使了數(shù)據(jù)量的指數(shù)式增長，數(shù)據(jù)集的復雜龐大，需要解決現(xiàn)有存儲技術利用率低下、資源的局部化等技術難點[1-4]。傳統(tǒng)存儲方法由于受硬件資源和數(shù)據(jù)中心分布的限制，僅能處理一定量的數(shù)據(jù)，為了使云平臺中的存儲設備互相協(xié)調(diào)工作，更加高效可靠地實現(xiàn)大數(shù)據(jù)存儲優(yōu)化，本文提出了多種群協(xié)同進化優(yōu)化算法的存儲方法。采用改進方法，加快了算法的收斂速度，并且有效降低系統(tǒng)能耗。

1 大數(shù)據(jù)存儲原理及優(yōu)化算法的提出

在大容量云存儲系統(tǒng)中，通常由多個數(shù)據(jù)存儲節(jié)點構(gòu)成[5]，采取并行存儲訪問方式，將復雜的數(shù)據(jù)劃分為若干個小任務，即把龐大的數(shù)據(jù)集分散存儲在各自不同的小區(qū)域上，從而使每個子數(shù)據(jù)集可以各自獨立處理，處理方式如下。

設定云平臺下待處理的目標數(shù)據(jù)集為R，它的屬性元為k，各子數(shù)據(jù)集的屬性類別分別表示為1A,2A，iA，kA，再設定iA對應的數(shù)據(jù)子集的屬性存放的節(jié)點數(shù)為m，則iA的計算公示表示為：

于是，目標數(shù)據(jù)集R可以表示為：

在大數(shù)據(jù)的并行存儲訪問中，存在著嚴重的熱點子數(shù)據(jù)集，導致能耗增加，于是本文提出并設計了一種新型大數(shù)據(jù)存儲方法。

2 多種群協(xié)同進化優(yōu)化算法的存儲方法設計

常規(guī)的微粒群算法存在一定的缺陷[6]，會在早期快速收斂，而后期算法收斂速度減慢，并且容易出現(xiàn)局部極值，為此，對其算法進行改進優(yōu)化設計。

2.1 粒子編碼和初始化

首先將存儲分布區(qū)分割成若干個環(huán)區(qū)域，同時標記每個存儲區(qū)的存儲訪問時間，并計算每個環(huán)區(qū)域在活動和空閑時的能耗，這樣便建立了存儲任務中每個存儲區(qū)域的距離和能耗關系。編碼使用自然數(shù)，長度則為需要完成的存儲子任務量，根據(jù)維度便可以清晰看出系統(tǒng)中需要處理的數(shù)據(jù)任務數(shù)量。這里設定待處理的數(shù)據(jù)任務t個，劃分成m個子任務，系統(tǒng)中分割出n個環(huán)區(qū)域，則編碼如下：

pi表示的含義為由環(huán)區(qū)域pi處理子任務i。

假定t=3，子任務m=10，環(huán)區(qū)域數(shù)n=5，則編碼為(3,2,5,4,3,2,1,1,5,3)。

2.2 個體評價

根據(jù)適應度函數(shù)，對群體中的每個微粒做優(yōu)劣程度的評估，于此同時，每個微粒還在持續(xù)進行迭代運算，反復地進行適應度比較，直至滿足適應度要求為止。

Pj( j=1,2,...,k )代表集合中的任意子群，則它所含有的微粒Xi是：

j

ρ是jP位置分量，inx表示粒子i在jP中位置分量。優(yōu)勝閾使用ijI表示，含義為微粒i的分量j的對應閾值。

ij

l和ijμ分別代表的是閾值上下邊界。在適應度分析過程中，如果微粒i的閾值ijI選取了ijl，而實際作用于ijμ，則能夠得到如下新規(guī)則：

在完成個體評價之后，如果發(fā)現(xiàn)個體成熟便將其作為超級個體，會使得該個體不能繼續(xù)進化，也不能實現(xiàn)信息的共享，并且為了加快收斂速度，改進的新型算法添加了變異操作。利用優(yōu)勝閾值判斷各個子群是否進行變異，從而變異得到新的微粒，替換微粒群里先前的微粒，這個過程可以表示為：

因為變異過程保證了微粒群能夠不斷地進化，保持了信息的共享，使得算法可以進一步搜尋最優(yōu)解，在保證收斂性的同時，也保證了最優(yōu)解的合理性。

2.3 子任務運行時間

使用ETC來表示運行時間，它是一個m×n階的矩陣，這樣，大數(shù)據(jù)存儲任務i向環(huán)區(qū)域j上存儲使用的時間可以表示為ETC( i, j)。利用ETC，就可以在微粒解碼的過程中，很方便地得到各個環(huán)區(qū)域存儲的所有數(shù)據(jù)消耗的時間時間()Time j，時間計算如下:

所有數(shù)據(jù)存儲結(jié)束，即所有的環(huán)區(qū)域都結(jié)束了各自的數(shù)據(jù)存儲任務，此時，可以得到所有數(shù)據(jù)存儲所需時間，即：

2.4 更新區(qū)域和速度

微粒完成每次迭代之后，都會刷新該微粒當前信息，因為前面采取了自然數(shù)對微粒群進行編碼，而在上述計算過程中轉(zhuǎn)化為了非自然數(shù)，所以，最后要對結(jié)果做離散化處理，計算公式為：

2.5 算法描述

多種群協(xié)同進化優(yōu)化算法的大數(shù)據(jù)存儲方式可以表示為如下步驟。

Step1：群體中的微粒初始化編碼，主要是針對云平臺中分割的環(huán)區(qū)域和待存儲的任務數(shù)。

Step2：根據(jù)微粒適應值的匹配程序持續(xù)更新最優(yōu)解。

Step3：根據(jù)適應度判斷群體狀態(tài)階段，是否達到成熟，并以此進行超級個體的排序。

Step4：利用公式(5)~(9)計算出優(yōu)勝閾值。

Step5：變異操作，使群體得到持續(xù)進化。

Step6：得到最優(yōu)解，即適應度匹配程度最高的微粒。

3 仿真實驗

采用Cloudsim搭建大數(shù)據(jù)云存儲仿真平臺，對設計的大數(shù)據(jù)存儲方法進行仿真驗證實驗。實驗過程采取與傳統(tǒng)微粒群算法對比，其它實驗環(huán)境完全相同。

首先針對不同的數(shù)據(jù)量，兩種算法下的大數(shù)據(jù)存儲實驗數(shù)據(jù)分別如表1和表2所示。

表1 傳統(tǒng)算法存儲仿真數(shù)據(jù)

表2 改進算法存儲仿真數(shù)據(jù)

1 2 0 0 2 6 5 4 4 . 1 9 4 9 8 1 4 0 0 3 5 7 8 5 0 9 7 9 8 1 6 0 0 4 5 6 3 5 . 8 7 2 9 8 1 8 0 0 4 8 9 4 6 2 4 5 9 7 2 0 0 0 5 0 6 9 7 . 1 7 7 9 8

對比可知，提出的改進優(yōu)化算法存儲速度更快，能夠有效提高系統(tǒng)的響應速度，對于傳遞次數(shù)，得到了明顯的減低，從而能夠使數(shù)據(jù)存儲過程中降低系統(tǒng)能量損耗，實現(xiàn)節(jié)能，同時，存儲的可靠性也得到了顯著提升，這歸功于算法對最優(yōu)解的搜尋合理性上。

其次針對存儲方法在負載均衡程度做了比較，實驗對比數(shù)據(jù)顯示為表3。根據(jù)仿真數(shù)據(jù)，改進算法的數(shù)據(jù)存儲方案負載均衡程度具有明顯優(yōu)勢。

表3 負載均衡度仿真數(shù)據(jù)

4 結(jié)語

為了提高云平臺下大數(shù)據(jù)的存儲性能，本文提出了多種群協(xié)同進化優(yōu)化算法的存儲方法。該方法將大數(shù)據(jù)的存儲訪問抽象為最優(yōu)解問題，利用改進的協(xié)同進化算法對微粒群進行優(yōu)化，克服了微粒群算法存在的收斂缺陷，同時提高了算法對最優(yōu)解的鎖定精度，成功的將算法融合到大數(shù)據(jù)存儲過程中。通過Cloudsim仿真對比，提出的改進算法在大數(shù)據(jù)云存儲過程中，能夠有效提高系統(tǒng)的響應速度，降低系統(tǒng)功耗，提高數(shù)據(jù)的存儲可靠性，擁有更好的負載均衡度。

[1]王意潔,孫偉東,周 松,等.云計算環(huán)境下的分布存儲關鍵技術[J].軟件學報,2012,23(4): 962-986.

[2]宮婧,王文君.大數(shù)據(jù)存儲中的容錯關鍵技術綜述[J].南京郵電大學學報：自然科學版,2014, 34:20-25.

[3]張?zhí)煊?賀金鑫,王陽,等.基于NoSQL數(shù)據(jù)庫的地學大數(shù)據(jù)高效存儲方法[J].吉林大學學報：信息科學版,2013,31(6):604-608.

[4]Zhan S B, Huo H Y. Improved PSO-based task scheduling algorithm in cloud computing[J]. Information & Computational Science,2013,13(9):3821-3829.

[5]費賢舉,王樹鋒.基于云環(huán)境下的海量大數(shù)據(jù)存儲系統(tǒng)設計[J].計算機測量與控制,2014, 22(7):2259-2261.

[6]Bilgaiyan S,Sagnika S, Das M. An Analysis of Task Scheduling in Cloud Computing using Evolutionary and Swarm-based Algorithms[J].International Journal of Computer Applications,2014,89(2):11-18.

Multiple population co-evolution algorithm simulation of cloud storage optimization

Bao Weichen
(Chongqing Aerospace Polytechnic,Chongqing,400021)

The rapid growth of big data cloud platform, making the traditional data storage due to slow response time, load imbalance and other factors, become the key technology to hinder large data cloud storage, In order to solve the problem of large data storage in the cloud platform, the storage method of multi population co evolution optimization algorithm is proposed In this method, the storage area is divided into several ring regions, and the storage access time of each storage area is marked. Through the improvement of particle swarm cooperative evolutionary algorithm, to prevent premature, the optimization algorithm of encoding task scheduling particle swarm large data storage process, based on particle swarm evolution and variation, iterative optimal solution, In order to meet the actual needs of large data storage cloud platform Using Cloudsim to build simulation platform, evaluated and verified in the new type data storage method is proposed. The results show that this method not only has faster response speed, but also reduces the energy consumption of the system, improve the load balance degree

Big data; Cloud storage; Multi population co evolution; Particle swarm

2017年重慶市教育委員會科學技術項目（基于壓縮域DCT參數(shù)特征的鏡頭邊緣檢測研究），項目編號：KJ1728400