網格與云計算集成方案的簡析

姚 鵬， 侯韶華

（南京郵電大學 光電工程學院，江蘇 南京 210003）

0 引言

網格計算將網絡中分散的計算機組成一個“虛擬的超級計算機”，利用其中各臺計算機閑置的計算能力來解決復雜的科學計算問題，并支持跨管理域計算[1]。網格資源大多數時間不會被最佳利用，只有在某個高峰段,網格資源才被執(zhí)行任務充分利用。如果這個狀態(tài)持續(xù)很長時間，那么新提交的網格任務需要在隊列中等待，直到需要的網格資源被釋放。

云計算是一種商業(yè)計算模型[2]。它將計算任務分布在大量計算機構成的資源池上，使各種應用系統(tǒng)能夠按需獲取計算能力、存儲空間和軟件服務。云中的資源是可擴展的，按需使用的和租憑付費的?，F(xiàn)在公有云的普及仍然有一些障礙，特別是安全問題。為了克服這些障礙，私有云出現(xiàn)了，它相對安全一些，而且依然保持云的典型特點，如彈性機制，但私有云的彈性拓展會受到私有云硬盤容量的限制。有研究人員試圖通過從公有云中獲取額外資源來處理私有云在需求高峰和極端需求[3]時的特殊情況。然而，集成私有云和公有云會面臨安全的威脅，所以不能被廣泛采納。

為了彌補網格和私有云的缺陷，人們試圖將兩者集成起來，將兩者的優(yōu)勢彌補彼此的缺陷：當私有云在需求高峰和極端需求的情況下需要額外資源時，挪用網格資源；反之當網格任務執(zhí)行阻塞時，挪用私有云資源。由于網格高度安全，所以這種集成不會對私有云帶來任何安全威脅。網格和云計算的集成在高性能計算（HPC）領域是非常重要的需求，而且這種集成能夠非常有效的利用資源，同時提高網格和云計算兩者的服務性能。

1 網格與云計算的通用框架

網格和云計算的集成架構一般包括3個主要部分：網格，云和集成調度器，如圖1所示。

圖1 網格云集成通用框架

網格環(huán)境：網格環(huán)境如圖2所示，由傳統(tǒng)網格和網格元調度組成，網格元調度有 GridWay和GMarte[4]兩種。當一個網格任務被提交給網格時，元調度將查詢有效的網格資源。如果有資源，網格元調度將任務請求傳遞給相應集群的本地調度器。本地調度器將該請求交由計算節(jié)點來處理。如果查詢返回結果顯示沒有可用資源，那么該請求將會被傳遞給集成調度器，由集成調度器嘗試利用云計算來執(zhí)行。

圖2 網格環(huán)境

云計算環(huán)境：典型的云計算系統(tǒng)包括 Amazon EC2彈性計算云、Google App Engine。圖3所示的云計算環(huán)境中，管理器負責監(jiān)視統(tǒng)計云中每個集群的資源使用情況，為用戶提交的任務尋找最匹配的資源，同時根據用戶任務對軟硬件的需求，在云中部署虛擬器鏡像，最后分配任務到虛擬機上執(zhí)行。服務目錄能夠記錄云中已經部署的虛擬機鏡像資源，這樣對于需要已有虛擬機鏡像的任務可以直接被執(zhí)行，而無需重新配置。

圖3 云計算環(huán)境

如果鏡像由于缺少資源不能夠被部署，那么該請求將會被傳遞給集成調度器，嘗試利用網格資源處理該任務。

集成調度器：集成調度器是網格云集成的核心。所有提交的任務均不考慮是否為網格任務或者云任務，全部存儲在任務管理器中。網格元調度和云管理器定時向集成調度器更新環(huán)境中的有效資源信息，以便調度器為提交的任務查詢合適的資源，分配給網格或者云計算處理。

2 網格云集成調度的負載均衡策略

集成調度器的核心任務是對網格和云進行動態(tài)負載均衡，提高整體計算的吞吐量，加強系統(tǒng)處理能力?，F(xiàn)有的動態(tài)負載策略分為負載狀態(tài)策略和資源需求策略。

負載狀態(tài)策略根據節(jié)點的負載狀態(tài)分配任務。如LVS中的最少連接數策略、服務器集群的LARD策略等。該類策略只有在保證任務資源需求特征不變和任務需求相似的前提下，才有好的效果。當任務資源需求差異較大時，使用該類策略容易引起節(jié)點負載狀態(tài)抖動，降低系統(tǒng)整體性能。而實踐中，網格和云中的資源匹配度不高，且云中任務資源需求不盡相同，這就使得負載狀態(tài)策略不理想。

資源需求策略根據任務資源需求信息和計算節(jié)點負載信息，將任務分配到符合任務資源需求且負載最低的節(jié)點上。如服務器集群的 CAP 策略和Branco的策略。該類策略在任務資源需求差異較大時能達到好的效果，但需要掌握任務的資源需求信息，這限制了其適用范圍。

已有的致力于集成網格和云計算的文獻提供了各式各樣的集成方案，文獻[5]中作者使用CometCloud軟件來動態(tài)聯(lián)合網格和云計算，執(zhí)行應用程序。

CometCloud實現(xiàn)了一種基于自主的cloudbridging和cloudbursting的動態(tài)負載策略，自主 cloudbridging能夠實現(xiàn)多樣計算環(huán)境的集成 ，而自主 cloudbursting實現(xiàn)了一種能夠解決動態(tài)負載、需求高峰和極端需求下的動態(tài)應用規(guī)模擴展。CometCloud 系統(tǒng)平臺的自適應負載均衡策略可以很好地獲得工作節(jié)點的運行信息，并精確計算其負載狀態(tài)，從而解決了網格云集成環(huán)境中，任務資源需求差異明顯，任務資源需求特征動態(tài)多變且難以準確掌握任務資源需求信息的難題。

在文獻[6]中，作者設計的網格云集成調度的策略參考了SLA（服務水平協(xié)議），采用任務執(zhí)行時間，任務執(zhí)行成本，應用程序資源需求和網絡帶寬等因素，用貪心算法來折中選擇最佳的匹配資源。

網格云集成環(huán)境對于資源匹配有著精確的要求，這造成了集成環(huán)境中資源的無法被充分利用。文獻[7]中，作者提出在集成網格云計算環(huán)境中使用語義資源匹配，而不是精確匹配，通過語義資源匹配尋找可替代資源，讓更多的任務可以被分配到可用資源。例如用戶請求“鴨舌帽”的操作系統(tǒng)，“草帽”內核的操作系統(tǒng)將是一個可替代的選擇。

3 結語

在當下云計算迅速發(fā)展的大環(huán)境下，網格和云計算的融合也被寄予了期望。國外已有的網格云集成案例種類多樣，但側重點多在借助云計算資源動態(tài)拓展的優(yōu)勢來優(yōu)化網格的高性能計算。

網格和云還具有多個方面的互補性[8-11]：

1）網格計算支持跨平臺、跨系統(tǒng)和跨地域；云計算的資源集中，云與云之間是獨立的信息孤島。網格云集成能夠幫助云計算平臺間實現(xiàn)互操作。

2）云計算主要針對松耦合數據處理應用，對于不易分解成獨立子任務的緊耦合計算任務處理效率低；網格計算適合處理緊耦合型應用。網格云集成可以擴大應用范圍。

3）云計算托管用戶數據，存在安全隱患；而網格具有物理分散、邏輯集中的特點。數據可以保存在客戶端，由用戶管控，對外界提供數據訪問服務，有利于避免敏感數據的泄露。

網格和云集成有著很大的發(fā)展空間，也存在著一些難點，例如如何把網格跨平臺、跨系統(tǒng)和跨地域的特點賦予云計算，以及如何借鑒網格的安全優(yōu)勢來解決公有云的安全問題，是網格云集成在未來的研究重點。

[1]Parascale.Eleven Benefits of Using the Cloud Storage[EB/OL].(2009-11-05)[2012-09-18].http://www.cloudcomputing-china.cn/Article/luilan/200909/306.html.

[2]GONG Qiang.Grid Computing Commercial Evolution of Cloud Computing and Application Prospects[J].Information Technology,2011(10):21-25.

[3]NAIR S K,PORWAL S,DIMITRAKOS T,et al.Towards Secure Cloud Bursting, Brokerage and Aggregation[C]// 8thEuropean Conference on Web Services.Cyprus: European Commission’s Seventh Framework Programme,2010:189-196.

[4]ALONSO J M,HERN′ANDEZ V,MOLT′O G.GMarte: Grid Middleware to Abstract Remote Task Execution[J].Concurrency and Computation: Practice and Experience,2006,18(15):2021-2036.

[5]KIM H,EL-KHAMRA Y, JHA S,et al.An Autonomic Approach to Integrated hpc Grid and Cloud Usage[C]// 15thIEEE International Conference on e-Science.Oxford: National Science Foundation,2009:366-373.

[6]CALATRAVA A,MOLT′O G,HERN ′ANDEZ V.Combining Grid and Cloud Resources for Hybrid Scientific Computing Executions[C]// Third IEEE International Conference on Cloud Computing Technology and Science.Athens:IEEE,2011:494-501.

[7]SELVARAJ K,MUKHERJEE S.Integration of Grid and Cloud with Semantics Based Integrator[C]// Third International Conference on Computational Intelligence, Communication Systems and Networks.Bali:IEEE,2011:308-313.

[8]The Grid Technology Complementary Cloud Computing[EB/OL].(2011-09-19)[2012-11-22].http://info.secu.hc360.com/2011/09/190857579562.shtml.

[9]曾曦,陳軍.下一代網絡軟件技術的發(fā)展趨勢[J].通信技術,2007,40(11):223-224,232.

[10]唐新來.網格環(huán)境下信息服務系統(tǒng)的研究[J].通信技術,2009,42(02):314-316,319.

[11]張秋江,王澎.云計算的安全問題探討[J].信息安全與通信保密,2011(05):94-95.