基于層次梯度挖掘的數(shù)據(jù)智能調(diào)度算法仿真

周曉晶,谷 鈺

(長春工業(yè)大學(xué),吉林 長春 130012)

1 引言

互聯(lián)網(wǎng)技術(shù)和數(shù)字化進(jìn)程的日益發(fā)展,數(shù)據(jù)開始呈爆炸式趨勢增加,傳統(tǒng)計算模式已經(jīng)無法滿足當(dāng)前的處理需求。同時在上述背景下,各種商業(yè)化計算模式已經(jīng)出現(xiàn),全部應(yīng)用程序和數(shù)據(jù)的IT資源應(yīng)用較為廣泛,結(jié)合網(wǎng)絡(luò)服務(wù)方式為用戶提供便利。雖然用戶能夠?qū)崟r訪問大量的數(shù)據(jù)和資源,但是,獲取適配的資源和數(shù)據(jù)配置難度較大。用戶如何合理有效利用這些資源成為當(dāng)前研究的主要內(nèi)容,其中包括數(shù)據(jù)調(diào)度[1,2]問題。

在此背景下,相關(guān)專家給出了一些較好的研究成果,例如王曉雷等人[3]優(yōu)先構(gòu)建虛擬網(wǎng)絡(luò)功能調(diào)度模型,將功能鏈的服務(wù)時間最小化。同時通過Q-learning動態(tài)調(diào)度算法,優(yōu)化虛擬網(wǎng)絡(luò)功能的調(diào)度順序和虛擬機選擇問題,最終實現(xiàn)優(yōu)化調(diào)度。聶黎等人[4]通過染色體編碼和解碼方案以及適應(yīng)度函數(shù),提出一種新的博弈調(diào)度模型,通過博弈調(diào)度求解算法獲取模型的最小納什均衡,實現(xiàn)優(yōu)化調(diào)度。

但是由于上述兩種方法未能在實際研究過程中應(yīng)用層次梯度挖掘方法,導(dǎo)致資源負(fù)載不均衡,執(zhí)行費用較高、調(diào)度所需時間較長。設(shè)計一種新的層次梯度挖掘的數(shù)據(jù)智能調(diào)度算法。優(yōu)化資源負(fù)載的均衡性,挖掘數(shù)據(jù)局部頻繁項。根據(jù)數(shù)據(jù)挖掘結(jié)果,構(gòu)建數(shù)據(jù)智能調(diào)度模型,可優(yōu)化資源負(fù)載的均衡性,降低調(diào)度的耗時。利用自適應(yīng)遺傳蟻群優(yōu)化算法對模型求解,最終實現(xiàn)數(shù)據(jù)智能調(diào)度的擇優(yōu),選擇費用最低的調(diào)度方案。

2 算法設(shè)計

2.1 數(shù)據(jù)層次梯度挖掘步驟

1)設(shè)定數(shù)據(jù)源為D=(O,I),其中,O和I分別代表數(shù)據(jù)對象和屬性的有限集合,其中數(shù)據(jù)屬性即一個項目,可以表示為I={i1,i2,i3,…,in}。數(shù)據(jù)對象可以被稱為事務(wù),主要采用通過不同的屬性值[5]進(jìn)行標(biāo)識。

2)在數(shù)據(jù)源D中,含有大量項目集X的數(shù)目也可以稱為X的絕對支持?jǐn)?shù),表示為X.sup 。

3)在D中,假設(shè)X.sup|D|≥minsup ,其中,|D|代表數(shù)據(jù)源記錄總數(shù),項目集X為頻繁項,這種動態(tài)變化的最小支持度閾值也稱為層次梯度,將其表示為LadderDegree(L),L代表挖掘深度。在本次研究過程中,LadderDegree(L)代表一個深度函數(shù)。

4)數(shù)據(jù)庫是通過不同的層次概念建立的,各個數(shù)據(jù)庫中不包含1-頻繁項目X,全部都是由1-頻繁項目X后面的全部項目構(gòu)成,數(shù)據(jù)庫即層次業(yè)務(wù)數(shù)據(jù)庫。

5)在數(shù)據(jù)源D中,抽取全部含有挖掘主題的數(shù)據(jù)記錄,進(jìn)而構(gòu)成全新的挖掘主題數(shù)據(jù)庫。

6)通過挖掘主題形成主題數(shù)據(jù)庫。然后層次梯度的概念進(jìn)行搜索,直至深度搜索結(jié)束,形成局部最大的頻繁項目集[6,7]。同時統(tǒng)計出最大頻繁項目集在D上的統(tǒng)計數(shù),最終形成關(guān)聯(lián)規(guī)則。

7)主站點通過Web Services捕獲各個異構(gòu)站點數(shù)據(jù)形成全新的頻繁項主題數(shù)據(jù)庫。通過弱化熵模型,分析全部數(shù)據(jù),最后獲取所需要的關(guān)聯(lián)規(guī)則,通過關(guān)聯(lián)規(guī)則得到最終的數(shù)據(jù)挖掘結(jié)果。

2.2 數(shù)據(jù)智能調(diào)度模型構(gòu)建

作為一種全新的計算模式,數(shù)據(jù)的相關(guān)體系框架一定能夠完成數(shù)據(jù)集合分布處理。全部需要完成調(diào)度的任務(wù)均是由無數(shù)個任務(wù)模型構(gòu)成的,一般能夠劃分為兩種類型,獨立任務(wù)和工作任務(wù)。對于各個獨立任務(wù)而言,需要結(jié)合任務(wù)粒度將各個獨立任務(wù)進(jìn)行分割,使其滿足分布式處理需求。同時,各個獨立任務(wù)之間存在密切的聯(lián)系。

對于工作流任務(wù)而言,節(jié)點也是通過分布式進(jìn)行處理,確保各個節(jié)點滿足相互作用的關(guān)系。

為更加詳細(xì)描述不同數(shù)據(jù)之間的關(guān)聯(lián)性,需要將不同的工作任務(wù)進(jìn)行全面融合,其中采用的任務(wù)模型如圖1所示。T0～T9為任務(wù)序號。

圖1 任務(wù)模型

數(shù)據(jù)主要利用虛擬技術(shù)將不同資源對應(yīng)的節(jié)點轉(zhuǎn)換為虛擬集群[8],并且結(jié)合數(shù)據(jù)的屬性信息對數(shù)據(jù)進(jìn)行統(tǒng)一化處理,將其全部傳輸至數(shù)據(jù)中心完成處理和調(diào)度。

數(shù)據(jù)任務(wù)調(diào)度就是將各種不同的任務(wù)利用任務(wù)列表傳輸至對應(yīng)的虛擬機進(jìn)行調(diào)度處理。當(dāng)全部數(shù)據(jù)完成分配工作后,利用虛擬機進(jìn)行調(diào)度。其中,衡量調(diào)度方案優(yōu)劣的標(biāo)準(zhǔn)即在數(shù)據(jù)調(diào)度過程中各種開銷的取值。利用對M個虛擬機和N個調(diào)度任務(wù)所在環(huán)境的計算,即可獲取MN中的分配調(diào)度策略;分別對數(shù)據(jù)的屬性和虛擬機的屬性等進(jìn)行組合目標(biāo)優(yōu)化,在MN種調(diào)度方案中獲取滿足調(diào)度需求的最優(yōu)解。當(dāng)任務(wù)完成分配,調(diào)度方案就會被數(shù)據(jù)中心代理轉(zhuǎn)交至數(shù)據(jù)中心進(jìn)行對應(yīng)的數(shù)據(jù)智能調(diào)度處理。

有關(guān)于數(shù)據(jù)智能調(diào)度模型的描述如下所示:

1)對應(yīng)任務(wù)的列表位置為T={t1,t2,t3,…,tm},對應(yīng)該任務(wù)的數(shù)據(jù)總量位置為Numi。

2)VM={m1,m2,…,mn}為虛擬機列表,將各個虛擬機的處理能力設(shè)定為Mips,各個虛擬機的價格為Pricev。

3)執(zhí)行時間

數(shù)據(jù)任務(wù)的總執(zhí)行時間為

totaltime=max(timeVM1,timeVM2,…,timeVMm)

(1)

式中,totaltime代表總執(zhí)行時間。

單一虛擬機的執(zhí)行時間為

(2)

式中,timeVMi代表單一虛擬機[9]執(zhí)行任務(wù)所需要的總時長;size代表虛擬機的任務(wù)總數(shù);Mips代表第i個虛擬機的處理能力。

4)執(zhí)行費用

(3)

式中,Pricev代表虛擬機的價格。

5)負(fù)載均衡值

(4)

式中,load代表負(fù)載均衡值。當(dāng)虛擬機執(zhí)行任務(wù)的規(guī)模增加時,負(fù)載也會相應(yīng)增加;反之,如果任務(wù)分配越均勻,則系統(tǒng)的負(fù)載也就越均衡。

由于數(shù)據(jù)智能調(diào)度是付費模式的,所以用戶在進(jìn)行數(shù)據(jù)調(diào)度的過程中不需要考慮分布式處理地詳細(xì)細(xì)節(jié),只需要將提交的任務(wù)數(shù)據(jù)傳輸至數(shù)據(jù)中心進(jìn)行分布化處理即可,但是用戶更加關(guān)注的是任務(wù)提交的總時長和執(zhí)行費用的高低,即totaltime和totalcost兩個目標(biāo)函數(shù)的取值為最小,而負(fù)載均衡方差越小,證明系統(tǒng)越穩(wěn)定;則數(shù)據(jù)智能調(diào)度模型的目標(biāo)函數(shù)為

(5)

2.3 模型優(yōu)化

1)編碼設(shè)計

在遺傳算法中,可行任務(wù)分配策略是由單一染色體表示,以下主要使用資源-任務(wù)的間接編碼方式進(jìn)行編碼,使其能夠獲取更加理想的調(diào)度結(jié)果。

2)適應(yīng)度函數(shù)

適應(yīng)度函數(shù)[10]即目標(biāo)優(yōu)化函數(shù),優(yōu)先對兩個目標(biāo)函數(shù)進(jìn)行聯(lián)合優(yōu)化處理,但是由于任務(wù)執(zhí)行費用和時間兩者之間的數(shù)量級差異比較明顯。為了確保兩者統(tǒng)一,需要對其進(jìn)行標(biāo)準(zhǔn)化處理,同時加入加權(quán)求和方法展開適應(yīng)度函數(shù)設(shè)計。

1)執(zhí)行時間函數(shù)可以表示為

(6)

式中,totaltime(i)代表虛擬機i在執(zhí)行調(diào)度任務(wù)所花費的時間。其中,totaltime(i)的取值越小,則說明對應(yīng)的函數(shù)值越大。

2)執(zhí)行費用函數(shù)能夠表示為

(7)

式中,totalcost(i)代表虛擬機i在執(zhí)行調(diào)度任務(wù)時所花費的成本。其中,totalcost(i)的取值越小,則說明對應(yīng)的函數(shù)值就越大。

當(dāng)目標(biāo)函數(shù)經(jīng)過標(biāo)準(zhǔn)化處理之后,取值范圍為[0,1]。利用式(8)給出適應(yīng)度函數(shù)的具體表達(dá)形式

F(i)=ωfT(i)+(1-ω)fC(i)

(8)

3)選擇算子

將輪盤賭法設(shè)定為選擇算法,所謂輪盤賭法,即比例選擇算法。如果種群規(guī)模為G,則個體i被選中的遺傳概率為

(9)

式中,F(i)代表個體適應(yīng)度;

4)交叉操作

(10)

式中,favg代表種群的平均適應(yīng)度;fmax代表種群的最大適應(yīng)度取值;f代表各個交叉?zhèn)€體的適應(yīng)度值。

5)變異操作

當(dāng)算法進(jìn)行變異操作時,種群開始呈多樣化。其中,在種群交叉完成后,各個中間群體的基因值會隨著變異概率Pm的變化而變化。所以,當(dāng)Pm取值較小時,信息發(fā)生丟失的概率就越大,同時無法恢復(fù)。當(dāng)Pm取值較大時,會將遺傳算法轉(zhuǎn)換為隨機搜索,有效避免上述問題的形成。利用式(11)給出變異操作概率Pm的計算式為

(11)

式中,k3和k4為任意常數(shù),取值范圍在[0,1]。

為了有效改進(jìn)遺傳算法的弊端,將遺傳算法和蟻群算法兩者相結(jié)合,這樣不僅能夠更好實現(xiàn)數(shù)據(jù)智能調(diào)度,同時也能夠加快全局搜索。為了更好從遺傳算法跳轉(zhuǎn)至蟻群算法,需要進(jìn)行如下設(shè)置:

1)設(shè)定遺傳算法中的最大迭代次數(shù)Gmax和最小迭代次數(shù)Gmin。

2)在算法進(jìn)行迭代時,設(shè)定群體的最小進(jìn)化率為Gg-min。

3)在遺傳算法的搜索階段[12],如果子代群體的進(jìn)化率小于Gg-min,則說明遺傳算法的進(jìn)化能力開始下降,此時需要結(jié)束遺傳算法,然后跳轉(zhuǎn)至蟻群算法。

其中,種群進(jìn)化率計算式為:

1994年《學(xué)術(shù)月刊》發(fā)表楊春時的文章《走向后實踐美學(xué)》，歷數(shù)實踐美學(xué)的十大缺陷，推出超越美學(xué)。超越美學(xué)(也被實踐中心主義學(xué)術(shù)場統(tǒng)稱為后實踐美學(xué))主張超理性、超現(xiàn)實，推崇精神追求，要求生存?zhèn)€性化。超越美學(xué)延續(xù)了康德美學(xué)思想，注重情感，追求非功利性的純精神享受。與日益崛起的大眾文化相對照，超越美學(xué)過于高雅而曲高和寡，表現(xiàn)出了烏托邦式的審美夢幻。但正是物以稀為貴，保持精英、砥柱姿態(tài)的超越美學(xué)，以純凈的清流力量不斷引發(fā)社會價值底線的重新設(shè)定，其效用雖小，卻在持續(xù)堅韌地澄清血液，成為現(xiàn)代人倫道德僵化的清涼解毒劑。

(12)

式中,G代表種群規(guī)模。

在上述分析的基礎(chǔ)上,通過自適應(yīng)遺傳蟻群算法對構(gòu)建的數(shù)據(jù)智能調(diào)度模型進(jìn)行優(yōu)化求解,進(jìn)而獲取最佳調(diào)度方案,實現(xiàn)數(shù)據(jù)智能調(diào)度。

3 仿真研究

為了驗證所提的數(shù)據(jù)智能調(diào)度算法的綜合有效性,通過以下實驗對其整體性能進(jìn)行分析研究。

利用表1給出實驗過程中使用的主要參數(shù)和具體取值范圍:

表1 實驗參數(shù)設(shè)置

為了全面驗證負(fù)載均衡效果的好壞,實驗重點從以下三個方面展開研究:

1)執(zhí)行費用/元

在不同任務(wù)規(guī)模下,各個算法所消耗的成本如圖2所示。

圖2 不同算法的執(zhí)行費用對比結(jié)果

分析圖2中的實驗數(shù)據(jù)可知,當(dāng)任務(wù)規(guī)模持續(xù)增加,各個算法的執(zhí)行費用也開始明顯呈上升趨勢。但是相比另外兩種調(diào)度算法,所提算法的執(zhí)行費用明顯更低一些,全面驗證了所提算法的優(yōu)越性。

為了更進(jìn)一步驗證所提算法的可行性,以下實驗測試對比三種不同算法的負(fù)載均衡率,具體實驗對比結(jié)果如表2所示:

表2 不同算法的資源負(fù)載對比結(jié)果

分析表2中的實驗數(shù)據(jù)可知,當(dāng)任務(wù)數(shù)量較少時,各個算法的負(fù)載均衡率變化并不是十分明顯。隨著任務(wù)數(shù)量的持續(xù)增加,各個算法的負(fù)載均衡率變化開始越來越明顯。相比另外兩種算法,所提算法的負(fù)載均衡效果明顯更好,同時也具有更強的全局搜索能力。

3)數(shù)據(jù)智能調(diào)度完成時間/min

為了更加全面驗證所提算法的優(yōu)越性,以下實驗測試對比三種不同算法的數(shù)據(jù)智能調(diào)度完成時間,具體實驗結(jié)果如圖3所示。

圖3 不同算法的數(shù)據(jù)智能調(diào)度完成時間對比結(jié)果

分析圖3中的實驗數(shù)據(jù)可知,由于所提算法在進(jìn)行調(diào)度前期,在算法中加入了層次挖掘算法,通過該算法挖掘有利用價值的數(shù)據(jù),簡化調(diào)度過程,有效降低數(shù)據(jù)智能調(diào)度完成時間,同時使其明顯低于另外兩種算法。

4 結(jié)束語

1)針對目前已有調(diào)度算法的應(yīng)用缺陷,結(jié)合層次梯度挖掘算法,提出新的數(shù)據(jù)智能調(diào)度算法。

2)經(jīng)過具體的實驗測試和分析可知,在任務(wù)規(guī)模不斷增大過程中,所提算法的執(zhí)行費用始終低于當(dāng)前已有方法。且最高執(zhí)行費用僅為25000元。當(dāng)任務(wù)數(shù)量變化區(qū)間為50個～650個之間,所提算法的負(fù)載均衡率可保持在63%以上,數(shù)據(jù)智能調(diào)度時間低于25min,以上數(shù)據(jù)說明通過所提算法可獲取最佳調(diào)度方案。

3)但在本次研究中,采用挖掘主題數(shù)據(jù)庫和層次梯度兩者構(gòu)建層次業(yè)務(wù)數(shù)據(jù)庫的有效性沒有得以驗證,數(shù)據(jù)庫的構(gòu)建質(zhì)量也是影響數(shù)據(jù)調(diào)度的因素之一,日后會著重研究此問題。