基于網(wǎng)格環(huán)境的自適應(yīng)資源調(diào)度策略

朱承璋,張 舸

(1.湖南理工學(xué)院 計(jì)算機(jī)學(xué)院,湖南 岳陽 414006;2.湖南理工學(xué)院 信息工程學(xué)院,湖南 岳陽 414006)

基于網(wǎng)格環(huán)境的自適應(yīng)資源調(diào)度策略

朱承璋1,張 舸2

(1.湖南理工學(xué)院 計(jì)算機(jī)學(xué)院,湖南 岳陽 414006;2.湖南理工學(xué)院 信息工程學(xué)院,湖南 岳陽 414006)

網(wǎng)格計(jì)算使得大規(guī)模的網(wǎng)絡(luò)資源共享和協(xié)作成為可能,網(wǎng)格環(huán)境中如何提高資源有效利用率是一個(gè)有研究價(jià)值的問題.本文提出在網(wǎng)格環(huán)境中,根據(jù)資源失效規(guī)律可以自適應(yīng)的提供更可靠的資源節(jié)點(diǎn).經(jīng)測試表明,與普通資源調(diào)度策略相比較,本文提出的策略可以屏蔽掉大量失效節(jié)點(diǎn),為用戶動(dòng)態(tài)提供更可靠的節(jié)點(diǎn)資源.

網(wǎng)格計(jì)算;資源調(diào)度;自適應(yīng);可靠性

網(wǎng)格計(jì)算是當(dāng)前計(jì)算機(jī)領(lǐng)域的一個(gè)研究熱點(diǎn).隨著信息技術(shù)的不斷發(fā)展,人們對計(jì)算能力、數(shù)據(jù)存儲(chǔ)能力、網(wǎng)絡(luò)服務(wù)能力等的需求越來越大,網(wǎng)格計(jì)算應(yīng)運(yùn)而生,使得大規(guī)模的網(wǎng)絡(luò)資源共享和協(xié)作成為可能[1].因而,網(wǎng)格環(huán)境中如何提高資源有效利用率是一個(gè)值得研究的問題.

實(shí)際上,動(dòng)態(tài)提供的自適應(yīng)的資源的可靠性對于網(wǎng)格以及云計(jì)算都是很關(guān)鍵的.網(wǎng)格計(jì)算中各種服務(wù)有不同的資源需求模式,動(dòng)態(tài)申請的資源請求有很強(qiáng)的波動(dòng)性[2,3],各種服務(wù)資源有著不同的失效特性[4].本文研究了節(jié)點(diǎn)資源的動(dòng)態(tài)提供策略中的節(jié)點(diǎn)失效規(guī)律,以保證網(wǎng)格計(jì)算中動(dòng)態(tài)分配資源的可靠性和有效利用.

網(wǎng)格計(jì)算平臺(tái)下各種服務(wù)大致可以分成兩大類:數(shù)據(jù)計(jì)算密集型服務(wù)和交互密集型網(wǎng)絡(luò)處理服務(wù).當(dāng)前主要考慮這兩類服務(wù)的節(jié)點(diǎn)資源失效的規(guī)律,結(jié)合資源調(diào)度策略,實(shí)現(xiàn)資源分配的可靠.

1 資源失效規(guī)律

在開放的網(wǎng)格計(jì)算環(huán)境中,服務(wù)提供者是資源提供者的直接客戶,實(shí)現(xiàn)對需要資源服務(wù)的客戶端的服務(wù)供給和質(zhì)量保證;資源提供者提供計(jì)算資源,同時(shí)保證資源的可靠性,至少不能是失效的.

失效率定義如下:假定直到時(shí)刻t系統(tǒng)都是有效的,失效率是時(shí)刻t到時(shí)刻t+Δt中的資源失效的概率,它是時(shí)間t的一個(gè)函數(shù)F(t).

其中pdf(t)是概率密度函數(shù),cdf(t)是概率函數(shù).函數(shù)F(t)定義了資源從初始到時(shí)刻t的可靠性.

人們對節(jié)點(diǎn)資源的失效規(guī)律做過大量的研究[5],發(fā)現(xiàn)失效有很強(qiáng)的時(shí)間空間局部性,把節(jié)點(diǎn)無計(jì)劃重啟失效的間隔時(shí)間看成一個(gè)隨機(jī)過程,這個(gè)隨機(jī)過程符合參數(shù)shape小于 1的韋伯分布.對于韋伯分布weibull(scale,shape),pdf(t)和cdf(t)分別是

由此可知,服從韋伯分布的節(jié)點(diǎn)資源的失效率函數(shù)可以按如下公式計(jì)算:

假設(shè)兩個(gè)節(jié)點(diǎn)nodeA、nodeB各自的恢復(fù)時(shí)間是uptimeA和uptimeB,且uptimeA＞uptimeB,當(dāng)shape<1時(shí),F(uptimeA)

2 基于失效規(guī)律的自適應(yīng)網(wǎng)格資源調(diào)度策略

在不考慮節(jié)點(diǎn)資源失效的情況下,通常一個(gè)請求到達(dá),資源調(diào)度策略會(huì)從節(jié)點(diǎn)資源池中隨機(jī)選取一個(gè)空閑節(jié)點(diǎn)處理到達(dá)的要求,當(dāng)工作處理完,再把節(jié)點(diǎn)隨機(jī)的放回節(jié)點(diǎn)資源池.在有節(jié)點(diǎn)失效的時(shí)候,策略將失效的節(jié)點(diǎn)放回節(jié)點(diǎn)資源池,把失效的負(fù)載放入等待隊(duì)列.

基于失效規(guī)律的自適應(yīng)的網(wǎng)格資源調(diào)度策略中,考慮到資源節(jié)點(diǎn)失效的規(guī)律性,應(yīng)盡量選取可靠的節(jié)點(diǎn)資源分配給任務(wù)請求.研究結(jié)果表明,剛剛失效的節(jié)點(diǎn)比較脆弱,容易再次發(fā)生故障,為提高可靠性,采取的方式是維護(hù)一個(gè)按上次失效恢復(fù)時(shí)間有序排列的節(jié)點(diǎn)資源池,而不再是隨機(jī)的.并把剛失效的節(jié)點(diǎn)資源放置在資源隊(duì)列的頭部,當(dāng)有任務(wù)請求的時(shí)候,從隊(duì)列的尾部取空閑節(jié)點(diǎn),保證該節(jié)點(diǎn)是空閑節(jié)點(diǎn)資源池中最可靠的節(jié)點(diǎn).

設(shè)置Operator操作實(shí)現(xiàn)從隊(duì)列的首尾處存取節(jié)點(diǎn).當(dāng) Node_failure_Event(節(jié)點(diǎn)失效事件)或Time_shedule_Event(時(shí)鐘事件)發(fā)生時(shí),策略被調(diào)用.網(wǎng)格中的服務(wù)大致分為計(jì)算密集型HPC和交互密集型Web兩大類服務(wù)[6],時(shí)鐘事件根據(jù)各個(gè)時(shí)段內(nèi)的資源需求量,調(diào)整節(jié)點(diǎn)列表,同時(shí)對Web服務(wù)節(jié)點(diǎn)做周期性重啟,把運(yùn)行時(shí)間超過的節(jié)點(diǎn)放入到節(jié)點(diǎn)資源池Node_pool_List中.在節(jié)點(diǎn)資源空閑隊(duì)列中設(shè)置兩個(gè)操作Head()和Tail(),實(shí)現(xiàn)資源節(jié)點(diǎn)的提供和收回.

網(wǎng)格計(jì)算中,兩大類服務(wù)在資源使用、管理時(shí)間粒度、負(fù)載類型和性能評(píng)價(jià)指標(biāo)等方面都有很大的差異.首先,任務(wù)特征不同.對于交互式服務(wù),任務(wù)由一系列請求序列組成,高性能計(jì)算服務(wù)是并行批處理作業(yè);其次,資源使用不同.對于高性能計(jì)算,需要獨(dú)占資源處理作業(yè),交互式服務(wù),請求可以在共享資源上并發(fā)執(zhí)行;再次,服務(wù)性能衡量指標(biāo)不同.交互式服務(wù),用戶請求需要在線即時(shí)響應(yīng),而高性能計(jì)算,用戶可以容忍等待資源;最后,管理時(shí)間粒度不同.交互式服務(wù)中,請求處理的過程較短,響應(yīng)時(shí)間要求較高,管理時(shí)間粒度小,反之高性能計(jì)算服務(wù)資源管理粒度較大.

3 結(jié)論

在網(wǎng)格環(huán)境中,根據(jù)資源失效規(guī)律可以自適應(yīng)的提供更可靠的資源節(jié)點(diǎn),通過網(wǎng)格模擬器Gridsim搭建模擬平臺(tái),模擬異構(gòu)的環(huán)境.經(jīng)測試表明,與普通資源調(diào)度策略相比較,本文提出的策略可以屏蔽掉大量失效節(jié)點(diǎn),為用戶動(dòng)態(tài)提供更可靠的節(jié)點(diǎn)資源.

[1]Ian Foster,Carl Kesselman.網(wǎng)格計(jì)算[M].金 海,袁平鵬,石 柯,譯.北京:電子工業(yè)出版社,2004

[2]Joshy Joseph,Craig Fellenstein.Grid Computing[M].北京:清華大學(xué)出版社,2005

[3]Irwin D,Chase J S,Grit L et al.Sharing networked resources with brokered leases[C].In Proceedings of the USENIX Technical Conference.Boston,MA,USA,2006:199～212

[4]Schroeder B,Gibson G A.A large-scale study of failures in high-performance computing systems[C].In Proceedings of DSN2006.Philadelphia,Pennsylvania,USA,2006:249～258

[5]田冠華,孟 丹,詹劍鋒.云計(jì)算環(huán)境下基于失效規(guī)則的資源動(dòng)態(tài)提供策略[J].計(jì)算機(jī)學(xué)報(bào),2010,33 (10):1859～1872

[6]鄭 湃,崔立真,王海洋,等.云計(jì)算環(huán)境下面向數(shù)據(jù)密集型應(yīng)用的數(shù)據(jù)布局策略與方法[J].計(jì)算機(jī)學(xué)報(bào),2010,33(8):1472～1480

Adaptive Resource Schedule Strategy Based on the Grid Environment

ZHU Cheng-zhang1,ZHANG Ge2
(1.College of Computer Science,Hunan Institute of Science and Technology,Yueyang 414006,China;2.College of Information and Communication Engineering,Hunan Institute of Science and Technology,Yueyang 414006,China)

Grid computing makes large scale resources share and coordination become possible.It is a valuable research that how to improve the effective utilization of resources in the grid.In the grid environment,the resource nodes based on unfailing rules will provide more reliable services.After testing,compared with general resource schedule strategy,the proposed strategy can be screened off a large number of failures nodes and provide more dependable resource for user dynamic.

grid computing;resource schedule;adaptive;reliability

TP393

A

1672-5298(2010)04-0036-03

2010-09-05

湖南理工學(xué)院資助項(xiàng)目(2009Y07)

朱承璋(1978? ),女,湖南衡陽人,碩士,湖南理工學(xué)院計(jì)算機(jī)學(xué)院講師.主要研究方向:計(jì)算機(jī)網(wǎng)絡(luò),網(wǎng)格性能及模擬