基于計算經(jīng)濟的服務(wù)網(wǎng)格資源管理模型研究

王岳斌, 楊志和, 劉利強, 朱承璋, 李 毅

(湖南理工學(xué)院 計算機學(xué)院, 湖南 岳陽 414006)

基于計算經(jīng)濟的服務(wù)網(wǎng)格資源管理模型研究

王岳斌, 楊志和, 劉利強, 朱承璋, 李 毅

(湖南理工學(xué)院 計算機學(xué)院, 湖南 岳陽 414006)

服務(wù)網(wǎng)格是網(wǎng)格計算研究領(lǐng)域中的重要分支, 代表應(yīng)用網(wǎng)格的發(fā)展方向. 本文針對傳統(tǒng)資源管理模型不能滿足服務(wù)網(wǎng)格的需求, 采用計算經(jīng)濟學(xué)原理作為資源管理理論基礎(chǔ), 結(jié)合服務(wù)網(wǎng)格環(huán)境特性, 對資源管理模型進行研究, 提出的基于計算經(jīng)濟理論的資源管理模型, 可大大提高服務(wù)網(wǎng)格的資源分配效率和系統(tǒng)吞吐量.

服務(wù)網(wǎng)格; 計算經(jīng)濟; 集群; 資源管理模型

Abstract:The Service Grid is an important branch in the grid computation research, represents the development direction of the grid application. Traditional resource management model can not meet the needs of the service grid. Adopting computational principles of economics as a theoretical basis for resource management, combining with characteristics of the service grid environment, researching the resource management model, devising a resource management model based on the economic theory of the calculation can improve the resource allocation efficiency and system throughput of the service grid greatly.

Key words:service grid; computation economy; clusters; resource management model

引言

目前政務(wù)、科研、應(yīng)急等領(lǐng)域普遍存在業(yè)務(wù)需求快速多變, 迫切需要信息系統(tǒng)能夠按需動態(tài)集成[1], 以實時應(yīng)對需求變化的現(xiàn)狀. 服務(wù)網(wǎng)格被認(rèn)為是一種滿足上述需求的有效解決手段. 服務(wù)網(wǎng)格結(jié)合了Web服務(wù)技術(shù)和網(wǎng)格技術(shù), 是網(wǎng)格理念、方法和核心技術(shù)與傳統(tǒng)企業(yè)應(yīng)用集成(EAI)的結(jié)合, 實現(xiàn)以服務(wù)為核心元素的虛擬計算環(huán)境[2], 能將網(wǎng)絡(luò)上需要共享的各種計算資源、存儲資源、通信資源和信息資源等統(tǒng)一管理, 以“服務(wù)”的方式進行封裝和接入, 讓它們在物理上保持分布自治的同時實現(xiàn)邏輯上的統(tǒng)一管理, 以透明的方式進行資源的優(yōu)化選取、按需中介和有效訪問. 服務(wù)網(wǎng)格作為服務(wù)交易平臺, 最終目標(biāo)是為消費者提供經(jīng)濟、優(yōu)質(zhì)的資源服務(wù), 為資源所有者創(chuàng)造最大化效益. 因此, 計算經(jīng)濟學(xué)中市場資源分配、定價原理、交易模式及經(jīng)濟模型適用于服務(wù)網(wǎng)格的資源管理.

1 網(wǎng)格資源模型

目前網(wǎng)格資源模型主要有分層模型[3]、抽象所有者模型和經(jīng)濟/市場模型[4]三類.

1.1 分層模型

目前, 國內(nèi)外大多數(shù)網(wǎng)格計算系統(tǒng)采用分層管理模型, Globus的全局—本地兩層資源模型[5]就是典型的分層模型. 分層模型包括資源代理、并發(fā)分配器、資源信息服務(wù)組件和資源分配管理器GRAM四部分.資源代理服務(wù)負(fù)責(zé)獲取、轉(zhuǎn)換高層RSL資源請求描述, 同時將請求發(fā)送到并行分配器上, 分配器負(fù)責(zé)任務(wù)的分解并將任務(wù)分別交給GRAM處理; 另外, 信息服務(wù)組件在資源代理上為代理和并發(fā)分配器提供當(dāng)前全局資源的信息; GRAM是全局和本地的分界線, 協(xié)調(diào)全局資源管理與本地資源管理, 為異構(gòu)資源提供同構(gòu)訪問, 但需要為每一種本地資源管理工具提供一種GRAM實現(xiàn), 顯然限制了分層資源模型的可擴展性,導(dǎo)致使用其他本地資源管理工具的資源無法作為網(wǎng)格環(huán)境的一部分為任務(wù)提供服務(wù).

1.2 抽象所有者模型

抽象所有者模型是在資源共享過程中遵循定購和交貨模式, 用戶通過與擁有全部網(wǎng)格資源的抽象實體(即抽象所有者)進行協(xié)商就可以使用資源. 抽象所有者模型包含兩種主體: 客戶和抽象所有者(Abstract Owner,簡稱AO). 其中客戶為資源消費使用者, AO 可以是資源所有者或者是資源所有者代理. 抽象所有者模型側(cè)重以下幾方面的研究: (1)抽象所有者的內(nèi)部和外部接口; (2)資源的對外形態(tài); (3)用戶如何同抽象所有者協(xié)商以獲得資源, 用戶如何同資源進行交互, 以及抽象所有者如何集成到類似于傳統(tǒng)調(diào)度器的結(jié)構(gòu)中. 這種模型的缺陷就是結(jié)構(gòu)化、層次化不清晰, 資源管理起來比較困難, 相關(guān)理論體系也未建立起來,還很不成熟. 這方面的研究工作還需進一步細(xì)化、修正和擴展, 才能使該模型實用化, 這種模型比較適合P2P的應(yīng)用, 目前還沒有典型的應(yīng)用[6].

1.3 經(jīng)濟/市場模型

市場經(jīng)濟模型或市場模型在資源發(fā)現(xiàn)和調(diào)度過程中遵從市場經(jīng)濟模式, 將用戶對資源的購買報價與各個資源所有者的服務(wù)報價進行匹配, 它很好地融合了分層模型和抽象所有者模型的設(shè)計思想. Buyya提出了一個基于經(jīng)濟的網(wǎng)格框架GRACE[7](Grid Architecture for Computational Economy), 將經(jīng)濟理論應(yīng)用于資源管理和應(yīng)用調(diào)度; Wolski[8]從經(jīng)濟學(xué)的角度研究網(wǎng)格資源的分配問題, 研究了商品市場模型和拍賣模型的資源分配效率; Abramson等給出了一個網(wǎng)格資源代理, 利用經(jīng)濟模型動態(tài)選擇資源. 但是, 這些方法只考慮了資源和消費者之間的關(guān)系, 沒有考慮消費者和消費者之間、消費者和資源所有者之間關(guān)系. 這樣確定的資源均衡價格即使能達到帕累托(Pareto)最優(yōu), 也不能兼顧資源消費者和所有者雙方的利益.

2 網(wǎng)格資源任務(wù)調(diào)度

網(wǎng)格資源任務(wù)調(diào)度是根據(jù)各資源節(jié)點的狀態(tài)、網(wǎng)絡(luò)通信性能等參數(shù), 把不同的任務(wù)以合理的方式分配到相應(yīng)的資源結(jié)點去完成. 根據(jù)調(diào)度策略不同, 調(diào)度算法可以分為動態(tài)調(diào)度(dynamic scheduling)和靜態(tài)調(diào)度(static scheduling)[9]兩種.

2.1 動態(tài)調(diào)度

動態(tài)調(diào)度是任務(wù)一到來就加以映射. 動態(tài)調(diào)度算法有MET(minimum execution time)、 MCT(minimum completion time)、SA(switching algorithm)、KPB(K-percent best)、OLB(opportunistic load balancing)[10～12]和CBFS(cache based feedback scheduling). 與靜態(tài)調(diào)度算法相比, 動態(tài)調(diào)度算法具有環(huán)境適應(yīng)性強、多環(huán)境下操作性能好以及算法靈活等優(yōu)點. 因此, 動態(tài)調(diào)度算法更適合于網(wǎng)格環(huán)境. 許多網(wǎng)格中間件, 如ChinaGrid支撐平臺CGSP(ChinaGrid support platform)、VEGA、CROWN(China research and development environment over wider-area network)和Globus Toolkit等, 都采用動態(tài)任務(wù)調(diào)度算法.

2.2 靜態(tài)調(diào)度

靜態(tài)調(diào)度則是把任務(wù)收集起來, 等映射事件到來后才對這些任務(wù)進行集中映射. 靜態(tài)調(diào)度算法主要有Min-Min、Max-Min、Suffrage、Xsuffrage[10～12]和TCR[13](transfer computation ratio)等. 靜態(tài)調(diào)度算法需要花費大量時間計算任務(wù)調(diào)度表, 缺陷是缺少靈活性, 任務(wù)的任何變化, 如任務(wù)添加、刪除或任務(wù)特征變化,都需要重新計算調(diào)度表. 而且靜態(tài)調(diào)度算法每隔一定周期進行一次調(diào)度, 因此, 越早到達的任務(wù)等待的時間越長, 從而使得任務(wù)的響應(yīng)時間過長.

3 資源管理模型設(shè)計

結(jié)合資源發(fā)現(xiàn)、封裝和發(fā)布技術(shù), 以校園網(wǎng)格實驗平臺為基礎(chǔ), 構(gòu)造基于計算經(jīng)濟的服務(wù)網(wǎng)格資源管理模型.

3.1 資源發(fā)現(xiàn)機制

依據(jù)服務(wù)網(wǎng)格環(huán)境下資源分布性、動態(tài)性和自治性等特征, 綜合考慮集中式和分布式資源發(fā)現(xiàn)方式的優(yōu)缺點, 采用混合式資源發(fā)現(xiàn)模式, 即首先對服務(wù)網(wǎng)格按資源歸類, 形成一些獨立的虛擬組織, 各個虛擬組織中的資源搜索采用分布式的資源發(fā)現(xiàn)模式, 然后集中各虛擬組織中發(fā)現(xiàn)的資源, 再利用集中式資源發(fā)現(xiàn)模式; 綜合考察服務(wù)網(wǎng)格環(huán)境和Agent技術(shù)的自主性、并行性和協(xié)作性等特征, 建立基于Agent技術(shù)的資源發(fā)現(xiàn)技術(shù)框架, 該框架由局部Agent機構(gòu)和全局Agent機構(gòu)組成, 多個Agent組件負(fù)責(zé)虛擬組織局部范圍內(nèi)的資源搜索, 并將結(jié)果反饋給全局Agent, 由全局Agent負(fù)責(zé)集中處理.

3.2 資源管理

XML技術(shù)在數(shù)據(jù)描述方面優(yōu)勢顯著, 針對網(wǎng)格資源特性, 擬對XML技術(shù)進行適當(dāng)?shù)臄U展, 提出基于XML的網(wǎng)格資源描述技術(shù). 為保證與資源發(fā)現(xiàn)機制的一致性, 資源組織采用混合式模式, 各虛擬組織負(fù)責(zé)局部資源的組織, 然后對虛擬組織進行集中管理, 從而形成兩層資源組織模型. 借鑒傳統(tǒng)對象封裝技術(shù), 提出一種適合服務(wù)網(wǎng)格環(huán)境的資源封裝模型, 經(jīng)過封裝的資源向外只提供服務(wù)機制(如計算服務(wù)、通信服務(wù)和數(shù)據(jù)服務(wù)等), 屏蔽了技術(shù)細(xì)節(jié), 實現(xiàn)資源的高度虛擬化管理. 比較市場經(jīng)濟資源和服務(wù)網(wǎng)格資源管理的異同, 依據(jù)計算經(jīng)濟中資源匹配、交易和效益最大化等相關(guān)理論, 建立服務(wù)網(wǎng)格資源管理理論支撐體系, 即資源分配理論、交易理論、定價理論、結(jié)算理論和效益理論等, 構(gòu)建有效的交易模型.

3.3 資源任務(wù)調(diào)度

Petri網(wǎng)理論是由德國的CarlAdam Petri博士提出的, 主要研究分布式系統(tǒng)中并發(fā)、沖突現(xiàn)象的一種理論, 它是描述和分析離散事件動態(tài)系統(tǒng)的一種模型工具. 它綜合了數(shù)據(jù)流、控制流和狀態(tài)轉(zhuǎn)移, 能自然地描述并發(fā)、同步、資源爭用等系統(tǒng)特性, 而且本身自含執(zhí)行控制機制, 集規(guī)范表示與執(zhí)行于同一模型. 任務(wù)調(diào)度機制重點考察的是資源調(diào)度和任務(wù)匹配優(yōu)化組合問題, 需要對資源控制、狀態(tài)變遷和任務(wù)分配進行分析, 顯然Petri網(wǎng)技術(shù)與任務(wù)調(diào)度研究的需求是一致的. 采用高級時間Petri網(wǎng)技術(shù)對資源狀態(tài)和變遷機制進行研究, 考察影響資源與任務(wù)匹配性能關(guān)鍵因素, 提出與服務(wù)網(wǎng)格環(huán)境相適應(yīng)的資源任務(wù)匹配策略,利用時間Petri Net進行建模與分析. 深入研究網(wǎng)格資源調(diào)度與任務(wù)匹配NP難問題, 擬綜合智能啟發(fā)式和自適應(yīng)性算法, 設(shè)計一種動態(tài)調(diào)度算法, 并通過GridSim的仿真網(wǎng)格環(huán)境對算法性能進行分析和優(yōu)化.

3.4 資源管理原型系統(tǒng)

利用搭建的校園網(wǎng)格實驗平臺, 開發(fā)出資源管理原型系統(tǒng).基于校園網(wǎng)組建包含三個域VO(網(wǎng)絡(luò)中心、現(xiàn)代教育中心和高性能實驗室)的校園網(wǎng)格. 其中,網(wǎng)絡(luò)中心由一臺高性能PC/Linux服務(wù)器和5臺PC/Linux互連構(gòu)成集群; 現(xiàn)代教育技術(shù)中心采用IBM工作站和5臺PC/Linux; 高性能計算實驗室提供的浪潮TS10000集群系統(tǒng). 資源管理原型系統(tǒng)如圖1所示.

圖1 資源管理原型系統(tǒng)

4 結(jié)束語

計算經(jīng)濟理論的引入為服務(wù)網(wǎng)格資源管理研究提供了新途徑和新方法. 為構(gòu)建高效、低成本的服務(wù)網(wǎng)格平臺提供理論和技術(shù)支持, 具有重要理論意義和工程應(yīng)用價值. 服務(wù)網(wǎng)格資源管理模型的研究為后續(xù)的行業(yè)網(wǎng)格應(yīng)用系統(tǒng)研發(fā)奠定基礎(chǔ), 為教育信息化、企業(yè)信息處理、電子政務(wù)及電子商務(wù)等領(lǐng)域的業(yè)務(wù)需求提供解決方案, 從而促進相關(guān)產(chǎn)業(yè)鏈的快速發(fā)展.

[1] Hu Song-Lin, Xiong Jin-Hua, et al. On Business-oriented, Just-in-time Application Integration in Service Grid [J]. Journal of Computer Research and Development. 2003, 40(12), 1700～1704

[2] Foster I, Kesselman C, Tuecke S. The Anatomy of the Grid: Enabling Scalable Virtual Organizations [J]. Int J Supercomput Appl, 2001, 15(3): 251～253

[3] 楊廣文, 武永衛(wèi). 一種全局統(tǒng)一的層次化網(wǎng)格資源模型[J]. 計算機研究與發(fā)展, 2003, 40(12): 1763～1769

[4] I Foster, C Kesselman. Globus: A Metacomputing Infrastructure Toolkit[J]. International Journal of Supercomputer Applications,1997,11(2):115～128

[5] 孔令富, 陳 晶, 靳 京. 基于Agent 的網(wǎng)格資源管理系統(tǒng)的研究與設(shè)計[J]. 通訊和計算機, 2005, 2(12): 23～26

[6] Buyya R, Abramson D, Griddy J. Grid Resource Management, Scheduling, and Computational Economy [A].In:Intl.Workshop on Global and Cluster Computing, Japan, 2000.

[7] Rich Wolski, Ncil T Spring, Jim IIaycs. The Network Weather Service: A Distributed Resource Performance Forecasting Service for Metacomputing[J].Future Generation Computer Systems, 1999, 15(5) : 757～768

[8] Fujimoto N, Hagihara K. A Comparison among Grid Scheduling Algorithms for Independent Coarse-grained Tasks [J]. In: Proc. of the 2004 Symp. on Applications and the Internet-Workshops. Washington: IEEE Computer Society Press, 2004. 674～680

[9] Maheswaran M, Ali S, Siegel HJ, Hensgen D, Freund RF. Dynamic Matching and Scheduling of a Class of Independent Tasks onto Heterogeneous Computing Systems [J]. In: Proc. of the 8th Heterogeneous Computing Workshop (HCW’99). Washington: IEEE Computer Society Press, 1999, 30～44

[10] Wu MY, Shu W, Zhang H. Segmented Min-Min: A Static Mapping Algorithm for Meta-tasks on Heterogeneous Computing Systems [J]. In: Proc. of the 9th, IEEE Heterogeneous Computing Workshop. Washington: IEEE Computer Society Press, 2000, 375～385

[11] Zha L, Xu ZW, Lin GZ, Liu YS. Scheduling Algorithm for Hybrid Data and Computation Intensive Meta Task in Grid [A]. Computer Engineering and Design, 2003,24(10):1～4

[12] Xu ZW, Li W. Research on VEGA Architecture[J]. Journal of Computer Research and Development, 2002,39(8):923～929

[13] 袁平鵬, 曹文治, 鄺 坪. 一種基于Cache的網(wǎng)格任務(wù)反饋調(diào)度方法[J]. 軟件學(xué)報, 2006, 17(11): 2314～2323

Research of the Service Grid Resource Management Model Based on Computational Conomics

WANG Yue-bin, YANG Zhi-he, LIU Li-qiang, ZHU Cheng-zhang, Li Yi
(College of Computer Science, Hunan Institute of Science and Technology, Yueyang 414006, China)

TP302, G254.364

A

1672-5298(2010)01-0049-04

2009-12-10

湖南省自科基金項目資助(07JJ6114); 湖南省外國專家局項目資助

王岳斌(1963- ), 男, 湖南岳陽人, 湖南理工學(xué)院計算機學(xué)院教授. 主要研究方向: 網(wǎng)格計算、信息系統(tǒng)和數(shù)據(jù)庫技術(shù)