網(wǎng)格環(huán)境下的資源管理

◆劉 磊

（吉林建筑大學(xué)城建學(xué)院 吉林 130011）

網(wǎng)格環(huán)境下的資源管理

◆劉 磊

（吉林建筑大學(xué)城建學(xué)院 吉林 130011）

網(wǎng)絡(luò)技術(shù)飛速發(fā)展，大量不同類型的資源共享，要利用網(wǎng)格技術(shù)讓人們透明的使用計(jì)算和存儲(chǔ)資源，并對(duì)種類眾多的資源進(jìn)行有效管理，仿真證明在該管理模型下能夠快速的定位到所需要的資源，并能夠提高協(xié)同工作的效率。

網(wǎng)格；動(dòng)態(tài)層次結(jié)構(gòu)；資源管理

0 前言

近年來(lái)，巨型機(jī)與服務(wù)器的強(qiáng)大計(jì)算能力應(yīng)用正在普及，高帶寬、高速率的網(wǎng)絡(luò)已經(jīng)在廣域環(huán)境中應(yīng)用，個(gè)人計(jì)算機(jī)功能也日益強(qiáng)大，網(wǎng)格計(jì)算應(yīng)運(yùn)而生。網(wǎng)格就是以互聯(lián)網(wǎng)為平臺(tái)構(gòu)筑的一組新興技術(shù)，它將高速互聯(lián)網(wǎng)、遠(yuǎn)程設(shè)備、計(jì)算機(jī)、傳感器、大型數(shù)據(jù)庫(kù)等融為一體，為普通百姓和科技人員提供更多的功能、服務(wù)和資源。

1 網(wǎng)格資源的管理

在強(qiáng)大的計(jì)算功能和共享技術(shù)下，出現(xiàn)各種各樣的資源以供我們使用，如計(jì)算資源、存儲(chǔ)資源、軟件資源、硬件資源等等，如何對(duì)種類眾多的資源進(jìn)行管理，在眾多的管理方法中那種方法切實(shí)可行，管理效率顯著提高。我們從以下切入點(diǎn)作為研究的目標(biāo)。

（1）進(jìn)行資源的抽象，提供資源訪問(wèn)的接口。把網(wǎng)格上的資源進(jìn)行邏輯抽象，如提供資源合理的描述，以為后續(xù)資源管理中資源的定位和發(fā)現(xiàn)提供便利的通道，從而提高查詢搜索的速度。

（2）進(jìn)行資源共享的協(xié)調(diào)工作。根據(jù)資源本身和資源擁有者的特性，制定符合共享的策略，如時(shí)間片輪轉(zhuǎn)策略、先來(lái)先服務(wù)策略等。不僅要支持一個(gè)資源請(qǐng)求者請(qǐng)求多個(gè)資源的情況，還要支持一個(gè)資源被多個(gè)資源請(qǐng)求者請(qǐng)求的情況。

（3）資源管理器還要代替請(qǐng)求者去使用資源，并建立安全的資源使用機(jī)制。在傳統(tǒng)的系統(tǒng)中，一個(gè)用戶使用某個(gè)資源需要在資源上建立一個(gè)帳號(hào)，并通過(guò)該賬號(hào)使用資源。但是在網(wǎng)格系統(tǒng)下，大量的用戶和大量的資源無(wú)法實(shí)現(xiàn)這一點(diǎn)。如果資源管理器是一個(gè)網(wǎng)格的超級(jí)用戶，這個(gè)超級(jí)用戶可以代替網(wǎng)格用戶在資源上進(jìn)行工作，用戶請(qǐng)求時(shí)，資源管理器為該用戶在資源本地建立一個(gè)進(jìn)行活動(dòng)的場(chǎng)所－用戶資源池。用戶資源池是動(dòng)態(tài)建立的。使用的時(shí)候建立，請(qǐng)求結(jié)束的時(shí)候撤銷。因此同時(shí)在一個(gè)資源上存在的用戶資源池的數(shù)目是很少的，管理也不會(huì)造成很大的負(fù)擔(dān)。

2 網(wǎng)格資源的發(fā)現(xiàn)與定位

2.1 資源發(fā)現(xiàn)

資源發(fā)現(xiàn)機(jī)制就是在網(wǎng)格環(huán)境中，需要新的機(jī)制，使得網(wǎng)格能夠從海量的資源中獲得所需的，使得需要協(xié)同工作的資源能夠相互發(fā)現(xiàn)，它不僅應(yīng)該考慮資源的位置信息，而且應(yīng)該更進(jìn)一步考慮資源的屬性等語(yǔ)義信息。資源發(fā)現(xiàn)是根據(jù)資源請(qǐng)求者的資源請(qǐng)求描述，從網(wǎng)格上為請(qǐng)求者找到滿足請(qǐng)求描述要求的合適資源的過(guò)程。資源發(fā)現(xiàn)可以形式化地描述為一個(gè)函數(shù)：

S＝f（q）

該函數(shù)的輸入變量是資源需求，輸出變量是一個(gè)資源的唯一標(biāo)識(shí)符。函數(shù)f是資源發(fā)現(xiàn)的表示。

對(duì)于資源發(fā)現(xiàn)有著不同的定義，相關(guān)的定義如下：

定義1.1：對(duì)一個(gè)資源描述集D，和一個(gè)資源的屬性集A，若?di∈D，?aj∈A，使得aj包含di，則稱資源A 滿足請(qǐng)求D記為S（A，D）。

定義1.1是不嚴(yán)格的，因?yàn)闆](méi)有精確的定義其中的“包含”。

定義1.2：對(duì)網(wǎng)格G，令d是任一個(gè)資源描述集，若存在一個(gè)過(guò)程P，和資源集合A，使得P（d）＝A，其中?ai∈A，都有S（ai，d）∧ai∈G，則過(guò)程P被稱為網(wǎng)格G中的一個(gè)資源發(fā)現(xiàn)過(guò)程，A稱為P對(duì)d的目標(biāo)集合。

“團(tuán)體邀請(qǐng)展”版塊，則邀請(qǐng)了近幾年活躍在中國(guó)油畫界的新銳藝術(shù)團(tuán)體“八零油畫社”15位新生代藝術(shù)家的30件作品參展。該社作為一支年輕的油畫學(xué)術(shù)團(tuán)體被邀請(qǐng)集體參展，體現(xiàn)了策展團(tuán)隊(duì)對(duì)年輕一代藝術(shù)家寄予的厚望與關(guān)注。

定義1.2只是說(shuō)明了資源發(fā)現(xiàn)過(guò)程的功能，對(duì)資源發(fā)現(xiàn)機(jī)制本身還沒(méi)有給出更詳盡的描述。

給出具體的定義雖然困難，但是網(wǎng)格環(huán)境中一個(gè)比較完整的資源發(fā)現(xiàn)機(jī)制，一般應(yīng)回答以下五個(gè)方面的問(wèn)題：

（1）成員協(xié)議：約定資源或節(jié)點(diǎn)以何種方式加入網(wǎng)格，如何獲取其他節(jié)點(diǎn)或資源的信息，并與之通信。

（2）覆蓋構(gòu)造：一個(gè)網(wǎng)格結(jié)點(diǎn)如何從它本地可見的其它網(wǎng)格節(jié)點(diǎn)中，選取一個(gè)活動(dòng)節(jié)點(diǎn)的子集，使得通過(guò)與這個(gè)子集中節(jié)點(diǎn)的交互，就可獲得必要的資源信息。這樣，從網(wǎng)格全局看來(lái)，在網(wǎng)格節(jié)點(diǎn)構(gòu)成的圖中，只選擇部分邊，構(gòu)成一個(gè)覆蓋，即可在任一節(jié)點(diǎn)，獲得整個(gè)網(wǎng)格的資源信息。

（3）預(yù)處理：為獲得更好的搜索性能而預(yù)先采取的措施。這些措施是獨(dú)立于資源請(qǐng)求的。因此，對(duì)資源信息的緩存不是預(yù)處理，而預(yù)取是。另一個(gè)預(yù)處理技術(shù)的例子是資源屬性的發(fā)布，如將本地資源的情況通告遠(yuǎn)程的節(jié)點(diǎn)，以利于遠(yuǎn)程請(qǐng)求的快速匹配。預(yù)處理還可以是網(wǎng)絡(luò)覆蓋的重新構(gòu)造，如根據(jù)請(qǐng)求和資源的分布情況，實(shí)時(shí)地由覆蓋構(gòu)造功能重新生成節(jié)點(diǎn)圖的覆蓋。

（4）請(qǐng)求處理：包括本地處理和遠(yuǎn)程處理兩個(gè)部分：

①本地處理包括在本地存儲(chǔ)的信息中對(duì)請(qǐng)求進(jìn)行匹配，根據(jù)特定策略對(duì)請(qǐng)求進(jìn)行處理，如丟棄壽命超過(guò)TTL限制的請(qǐng)求，或根據(jù)管理規(guī)則拒絕來(lái)自某些節(jié)點(diǎn)的請(qǐng)求等。

②遠(yuǎn)程處理是指請(qǐng)求轉(zhuǎn)發(fā)的規(guī)則：根據(jù)不同的策略（如最短距離優(yōu)先）將請(qǐng)求發(fā)送到其他的節(jié)點(diǎn)上。

（5）資源表示方式：用戶如何表達(dá)（描述）自己的請(qǐng)求；資源以何種格式向網(wǎng)格報(bào)告自己的狀態(tài)；資源的信息在節(jié)點(diǎn)上以何種方式存儲(chǔ)。

2.2 資源的定位

本文提出了基于資源類型的非集中式分層樹型結(jié)構(gòu)網(wǎng)格資源定位方法，可以在網(wǎng)格上根據(jù)不同的目的建立社區(qū)，在一個(gè)社區(qū)內(nèi)集中具有相同類型的資源或相同需求的用戶組織按樹型結(jié)構(gòu)組織在一起形成社區(qū)成員。資源發(fā)現(xiàn)請(qǐng)求轉(zhuǎn)發(fā)以及資源信息的擴(kuò)散都被限制在相應(yīng)的社區(qū)內(nèi)，從而改善了資源發(fā)現(xiàn)的性能。

一個(gè)請(qǐng)求在到達(dá)一個(gè)可以滿足它的資源或生存期（TTL）到期前，可能被多次轉(zhuǎn)發(fā)。如果資源管理器發(fā)現(xiàn)一個(gè)請(qǐng)求的TTL已經(jīng)過(guò)期，就將該請(qǐng)求丟棄，不再做進(jìn)一步處理。資源管理器還必須盡量保持其信息表中資源信息的正確性和實(shí)時(shí)性；一個(gè)資源管理器將定期地收到它的鄰居資源管理器，即父親和孩子節(jié)點(diǎn)的資源管理器，向其發(fā)送的更新報(bào)文，并以此為根據(jù)更新本節(jié)點(diǎn)的資源管理器信息表中的相關(guān)內(nèi)容。本文如果沒(méi)有特殊說(shuō)明的話，鄰居節(jié)點(diǎn)就是指父親節(jié)點(diǎn)和孩子節(jié)點(diǎn)。相應(yīng)地，該資源管理器也應(yīng)該周期性的將本地的資源信息報(bào)告給其鄰居節(jié)點(diǎn)的資源管理器。如果一個(gè)資源管理器在某一段時(shí)間內(nèi)沒(méi)有收到來(lái)自其鄰居節(jié)點(diǎn)的更新，則認(rèn)為該孩子節(jié)點(diǎn)或父親節(jié)點(diǎn)發(fā)生了故障，結(jié)點(diǎn)資源管理器不再將請(qǐng)求報(bào)文和更新發(fā)送給該鄰居，并根據(jù)特定策略更新拓?fù)洹?/p>

資源提供者必須首先注冊(cè)到一個(gè)局部的資源管理器，并周期性地向其發(fā)送自己最近的狀態(tài)。當(dāng)一個(gè)資源提供者收到一個(gè)資源請(qǐng)求時(shí)，如果本地資源可以滿足請(qǐng)求，則向請(qǐng)求者發(fā)送相應(yīng)消息，否則將該請(qǐng)求丟棄。

圖1給出了資源發(fā)現(xiàn)模型和定位資源的過(guò)程。資源提供者K提供了一個(gè)資源p，而請(qǐng)求P是來(lái)自請(qǐng)求者L的p的請(qǐng)求。開始時(shí)，p 被L發(fā)送至IP最近的資源M3，而根據(jù)M3的局部資源管理中的信息表知道，M3沒(méi)有滿足需求的資源，則轉(zhuǎn)發(fā)到M3的父親節(jié)點(diǎn)M1，M1也不滿足條件，轉(zhuǎn)到其父親節(jié)點(diǎn)M0，M0節(jié)點(diǎn)也不滿足資源的條件，但是在M0中記錄有其孩子節(jié)點(diǎn)M2的信息，由M0查到M2滿足條件，那么請(qǐng)求將最終到達(dá)資源r，于是M3 將請(qǐng)求mr轉(zhuǎn)發(fā)至M2。

圖1 網(wǎng)格資源定位

3 組織和注冊(cè)

考慮到網(wǎng)格環(huán)境下的資源，將不會(huì)少于現(xiàn)在互聯(lián)網(wǎng)上的資源，要利用好網(wǎng)格環(huán)境下的這些資源，就要對(duì)這些資源進(jìn)行合理的組織，可以用一種與客戶在銀行中存錢的方式把資源注冊(cè)（存儲(chǔ)）在本地的資源管理器中，其實(shí)每個(gè)資源管理器相當(dāng)于一個(gè)搜索引擎，需要注冊(cè)資源可以向最近的資源管理器系統(tǒng)提交資源的屬性信息也可以選擇符合的資源管理器系統(tǒng)提交資源的屬性信息，資源管理器接受資源請(qǐng)求，并根據(jù)該資源的IP或URL去證實(shí)資源的存在（為了防止提交不存在的資源），并進(jìn)一步證實(shí)該資源屬性信息以及收集一些用戶不曾考慮到的信息，比如資源所在網(wǎng)絡(luò)的帶寬，性能，訪問(wèn)該資源所需的時(shí)間。資源管理器證實(shí)了資源的類別和其他主要的屬性信息后，把這些信息按資源的類別記錄到信息表中的相應(yīng)位置，并提取一些關(guān)鍵的信息，如CP U的主頻、內(nèi)存的容量和操作系統(tǒng)等，建立倒排索引，若搜索大量的資源時(shí)，可以根據(jù)關(guān)鍵字搜索滿足條件的資源集。所以此資源至少屬于一個(gè)類別并且必須有相應(yīng)的屬性信息的描述。這些信息決定注冊(cè)的資源在資源目錄樹中的位置，以及檢索資源甚至對(duì)資源進(jìn)行定位的依據(jù)。

資源注冊(cè)與組織在每個(gè)結(jié)點(diǎn)上運(yùn)行的資源管理器，需要處理資源信息存儲(chǔ)，向調(diào)度子系統(tǒng)提供資源處理能力，向監(jiān)控子系統(tǒng)提供系統(tǒng)數(shù)據(jù)并接受監(jiān)控子系統(tǒng)發(fā)出的命令，并處理資源的動(dòng)態(tài)變更。

4 結(jié)論

網(wǎng)格計(jì)算系統(tǒng)中，網(wǎng)格資源的管理是負(fù)責(zé)全網(wǎng)格資源目錄的統(tǒng)一用戶的賬戶管理。動(dòng)態(tài)地收集、處理網(wǎng)格中各種資源（尤其是服務(wù)器）的狀態(tài)信息是統(tǒng)一調(diào)度管理的基礎(chǔ)。采用資源樹定位算法，多種請(qǐng)求定位策略，可以快速的找到目標(biāo)節(jié)點(diǎn)，提高相應(yīng)查找時(shí)間。

[1]師雪霖．云虛擬機(jī)資源分配的效用最大化模型．計(jì)算機(jī)學(xué)報(bào)，2013．

[2]肖迎春，王漢武，李夢(mèng)雄．S基于混合組合雙向拍賣的網(wǎng)格資源分配方案．計(jì)算機(jī)科學(xué)報(bào)，2014．

[3]孫立斌，陳閎中．一種負(fù)載均衡的網(wǎng)格在線調(diào)度算法計(jì)算機(jī)工程，2014．

[4]Foster，C．Kesselman，J．Nick，S．Tuecke．The Physiology of the Grid：An Open Grid Services Architecture for Distrib uted Systems Integration．http：//www．globus．org/ research/pap ers/ogsa．pdf，2015．