集群資源管理技術(shù)及在遙感產(chǎn)品生產(chǎn)系統(tǒng)中的應(yīng)用分析

摘 要 為了實(shí)現(xiàn)集群中調(diào)度服務(wù)器對(duì)資源的管理以及對(duì)整個(gè)集群狀態(tài)的監(jiān)控，以高效地生產(chǎn)遙感數(shù)據(jù)產(chǎn)品，對(duì)現(xiàn)有的一些集群資源管理技術(shù)進(jìn)行了分析，并通過研究基于五層十五級(jí)的數(shù)據(jù)組織結(jié)構(gòu)、集群任務(wù)組織和調(diào)度策略、集群節(jié)點(diǎn)資源可視化技術(shù)等，提出了一種支持多機(jī)多任務(wù)高效的集群資源管理方法，并在遙感產(chǎn)品生產(chǎn)系統(tǒng)中進(jìn)行應(yīng)用，實(shí)驗(yàn)表明該方法能夠在保證任務(wù)完成的情況下使調(diào)度服務(wù)器對(duì)資源的管理和調(diào)配能力以及生產(chǎn)效率提高40%。

關(guān)鍵詞 集群;調(diào)度服務(wù)器;數(shù)據(jù)組織和檢索;任務(wù)分配;資源管理

引言

現(xiàn)代空間遙感技術(shù)的發(fā)展已使傳感器的空間分辨率、光譜分辨率和時(shí)間分辨率大幅度提高，使得遙感圖像的數(shù)據(jù)量急劇增加，有的影像文件大小甚至達(dá)到GB級(jí)[1]，這使得計(jì)算機(jī)在處理這些遙感圖像時(shí)計(jì)算量及資源耗費(fèi)成倍增加。為了提高遙感影像的處理效率并最大限度地利用已有資源，越來越多的研究者開始將集群技術(shù)應(yīng)用到遙感產(chǎn)品生產(chǎn)領(lǐng)域，隨之而來的就是集群資源管理問題，如何才能高效的發(fā)揮集群作用，提高集群系統(tǒng)中調(diào)度服務(wù)器對(duì)資源的調(diào)配、管理及對(duì)整個(gè)集群狀態(tài)的監(jiān)控已成為集群技術(shù)應(yīng)用者值得考慮的問題。目前集群技術(shù)在遙感產(chǎn)品生產(chǎn)應(yīng)用中主要存在的問題有以下幾方面：①CPU占用率、內(nèi)存使用率以及磁盤使用率高;②網(wǎng)絡(luò)的數(shù)據(jù)發(fā)送和接收速度低;③多機(jī)任務(wù)分配負(fù)載不均衡[2];④數(shù)據(jù)組織及檢索速度慢。因此，有必要深入研究集群資源管理技術(shù)，使之在保證任務(wù)順利完成的情況下能夠有效地對(duì)集群中的資源進(jìn)行管理、調(diào)配。

1集群和集群資源管理技術(shù)

1.1 集群

集群（Cluster）是一種造價(jià)低廉、方便構(gòu)建并且具有很好的可擴(kuò)展性的計(jì)算機(jī)體系結(jié)構(gòu)[3]，由一組通過高速網(wǎng)絡(luò)互聯(lián)并相互獨(dú)立的計(jì)算機(jī)組成，集群的一大特點(diǎn)是高可用性和靈活的伸縮擴(kuò)展性[4]。典型的集群體系結(jié)構(gòu)及各層關(guān)鍵技術(shù)主要分為網(wǎng)絡(luò)層：網(wǎng)絡(luò)互聯(lián)結(jié)構(gòu)、通信協(xié)議、信號(hào)技術(shù);節(jié)點(diǎn)機(jī)和客戶機(jī)：分層級(jí)操作系統(tǒng);管理層：資源管理、調(diào)度、負(fù)載均衡、并行、安全;應(yīng)用層：開發(fā)環(huán)境、串并行應(yīng)用。

每一層解決的問題不同，其中本文所討論的集群資源管理主要集中在集群系統(tǒng)管理層，該層是集群所特有功能和關(guān)鍵技術(shù)的體現(xiàn)。在現(xiàn)如今按需計(jì)算的時(shí)代，各種應(yīng)用集群技術(shù)的系統(tǒng)，大部分依賴于集群的系統(tǒng)管理層，因此，合理的集群管理會(huì)大大發(fā)揮集群在實(shí)際應(yīng)用中的作用。

1.2 集群資源管理技術(shù)

在遙感產(chǎn)品生產(chǎn)這個(gè)復(fù)雜的背景下，集群資源的管理技術(shù)顯的更加復(fù)雜，不僅要對(duì)集群狀態(tài)、集群中節(jié)點(diǎn)資源使用情況和節(jié)點(diǎn)狀態(tài)進(jìn)行動(dòng)態(tài)監(jiān)控，還要實(shí)時(shí)監(jiān)控系統(tǒng)的I/O狀態(tài)，如數(shù)據(jù)發(fā)送速度、網(wǎng)絡(luò)的數(shù)據(jù)接收速度等，另外在遙感產(chǎn)品生產(chǎn)中集群資源管理還涉及對(duì)提交的任務(wù)進(jìn)行資源分析，根據(jù)任務(wù)預(yù)期執(zhí)行周期，組織任務(wù)需要的一切資源，然后執(zhí)行匹配，同時(shí)資源管理還要考慮到遙感數(shù)據(jù)的存儲(chǔ)和計(jì)算的方便快捷性，進(jìn)而保證任務(wù)能夠高效快速完成。針對(duì)這種現(xiàn)象，本文研究的集群資源管理方法從遙感數(shù)據(jù)組織和檢索、任務(wù)組織和調(diào)度策略及節(jié)點(diǎn)資源可視化管理等方面對(duì)系統(tǒng)管理層進(jìn)行優(yōu)化。

2參數(shù)反演集群計(jì)算平臺(tái)

參數(shù)反演集群計(jì)算平臺(tái)是中國(guó)科學(xué)院遙感與數(shù)字地球研究所信息產(chǎn)品生產(chǎn)系統(tǒng)下的一個(gè)子系統(tǒng)，主要是通過一臺(tái)任務(wù)管理服務(wù)器來管理數(shù)量眾多的并行計(jì)算節(jié)點(diǎn)。這種模式可以很好地利用現(xiàn)有的計(jì)算資源，同時(shí)可以通過任務(wù)管理來控制任務(wù)執(zhí)行模式。這樣的模式具有很強(qiáng)的擴(kuò)展性，新的產(chǎn)品算法可以以插件的方式加入集群，進(jìn)行遙感產(chǎn)品生產(chǎn);已有的算法也可以升級(jí)或者更換版本。

參數(shù)反演集群計(jì)算平臺(tái)既可以接收來自其他系統(tǒng)發(fā)過來的任務(wù)然后組織數(shù)據(jù)進(jìn)行產(chǎn)品生產(chǎn)，又可以通過自身來檢索數(shù)據(jù)下達(dá)任務(wù)進(jìn)行生產(chǎn)，主要流程是：檢索衛(wèi)星影像切分?jǐn)?shù)據(jù)、選擇產(chǎn)品、提交任務(wù)、生成訂單、將訂單發(fā)送到調(diào)度服務(wù)器、調(diào)度服務(wù)器向數(shù)據(jù)庫請(qǐng)求生產(chǎn)所需數(shù)據(jù)、調(diào)度服務(wù)器接收并解析訂單然后成子訂單、將子訂單分發(fā)給節(jié)點(diǎn)服務(wù)器、節(jié)點(diǎn)服務(wù)器進(jìn)行產(chǎn)品生產(chǎn)并將生產(chǎn)進(jìn)度反饋給調(diào)度服務(wù)器。

3參數(shù)反演集群計(jì)算平臺(tái)中資源管理技術(shù)的應(yīng)用

3.1 數(shù)據(jù)組織和檢索

參數(shù)反演集群計(jì)算平臺(tái)要處理的數(shù)據(jù)是海量的遙感數(shù)據(jù)，因此合理的數(shù)據(jù)存儲(chǔ)和傳輸技術(shù)直接決定了系統(tǒng)的性能，為了高效的生產(chǎn)遙感產(chǎn)品，本系統(tǒng)采用基于新型的五層十五級(jí)的影像分級(jí)標(biāo)準(zhǔn)[5]，是因?yàn)楦鶕?jù)該分級(jí)特性能夠直接尋址檢索，從而實(shí)現(xiàn)數(shù)據(jù)的快速查找。新型的五層十五級(jí)的影像分級(jí)標(biāo)準(zhǔn)是按照全球雙經(jīng)緯度地理空間對(duì)影像進(jìn)行切分組織，先以10–4、10–3、10–2、10–1、1、101度為基準(zhǔn)，建立十進(jìn)制空間分辨率標(biāo)準(zhǔn)化層級(jí)，每層按照二分之一、四分之一形成三級(jí)標(biāo)準(zhǔn)瓦片，每個(gè)瓦片大小設(shè)定為1000，根據(jù)每一層瓦片分割的間隔度數(shù)能夠計(jì)算影像的層級(jí)和行列號(hào)范圍，再根據(jù)四個(gè)角的經(jīng)緯度就可以計(jì)算出瓦片的行列號(hào)，再加上影像所屬的衛(wèi)星、傳感器類型還有拍攝日期就可以唯一標(biāo)識(shí)一個(gè)瓦片。經(jīng)緯度轉(zhuǎn)化成行列號(hào)計(jì)算公式如下：

（1）

（2）

其中L表示行號(hào)，C表示列號(hào)，lat表示緯度，lon表示經(jīng)度，Z表示層級(jí)瓦片之間分割度數(shù)。

本系統(tǒng)中瓦片在存儲(chǔ)時(shí)的命名格式如“GF1_WFV1_20140329_L1A0000192449_8_497_1173-1.tif”，其中GFI表示原始影像數(shù)據(jù)的衛(wèi)星，WFV1為傳感器類型，20140329表示影像數(shù)據(jù)的拍攝時(shí)間，L1A0000192449為原數(shù)據(jù)產(chǎn)品號(hào)，8為所屬層級(jí)，497為行號(hào)，1173為列號(hào)，1為波段。

3.2 任務(wù)組織和調(diào)度策略

任務(wù)調(diào)度的核心是任務(wù)調(diào)度服務(wù)器，負(fù)責(zé)解析訂單、生成任務(wù)隊(duì)列、將任務(wù)發(fā)給計(jì)算節(jié)點(diǎn)，然后驅(qū)動(dòng)算法生產(chǎn)。文獻(xiàn)[6]提出了基于任務(wù)“代價(jià)”的任務(wù)分配模型，將任務(wù)分配問題轉(zhuǎn)化為對(duì)混合整數(shù)線性規(guī)劃的求解問題，但是在解決負(fù)載均衡時(shí)效果并不好。文獻(xiàn)[7]提出了一種基于尺度的影像數(shù)據(jù)不平均分配策略，但是不適用多節(jié)點(diǎn)的集群環(huán)境。

基于此，在遙感產(chǎn)品生產(chǎn)中進(jìn)行任務(wù)調(diào)度的時(shí)候，我們主要考慮三方面問題，一是當(dāng)前可用的計(jì)算機(jī)資源，二是任務(wù)執(zhí)行時(shí)間，三是是集群間負(fù)載問題，在參數(shù)反演集群計(jì)算平臺(tái)中采用的結(jié)合調(diào)度節(jié)點(diǎn)優(yōu)先級(jí)和任務(wù)優(yōu)先級(jí)相結(jié)合的新的調(diào)度策略，調(diào)度節(jié)點(diǎn)優(yōu)先級(jí)算法是根據(jù)系統(tǒng)可用內(nèi)存（E）、CPU主頻（C）、正在運(yùn)行任務(wù)數(shù)（N）、等待生產(chǎn)任務(wù)數(shù)（W）及他們各自的比重（W1、W2、W3、W4）計(jì)算出某個(gè)調(diào)度節(jié)點(diǎn)優(yōu)先級(jí)，然后對(duì)這些節(jié)點(diǎn)的優(yōu)先級(jí)進(jìn)行降序排序，得到新的調(diào)度節(jié)點(diǎn)隊(duì)列，然后將任務(wù)分發(fā)給這些節(jié)點(diǎn)，這種方法只考慮了調(diào)度節(jié)點(diǎn)的優(yōu)先級(jí)而未考慮任務(wù)的執(zhí)行時(shí)間（Th）、任務(wù)量（L）?；谌蝿?wù)優(yōu)先級(jí)算法是取集群之前處理同類產(chǎn)品時(shí)的平均時(shí)間作為參考，然后結(jié)合每個(gè)任務(wù)的歷史執(zhí)行時(shí)間、任務(wù)量及它們各自加權(quán)值（Q1，Q2）計(jì)算出任務(wù)的執(zhí)行優(yōu)先級(jí)，得到任務(wù)隊(duì)列，此方法忽略了集群當(dāng)前可用的調(diào)度節(jié)點(diǎn)資源使用情況。

基于對(duì)上述兩種方法的研究，參數(shù)反演集群計(jì)算平臺(tái)采用二者結(jié)合的方式，一方面，對(duì)調(diào)度節(jié)點(diǎn)進(jìn)行優(yōu)先級(jí)降序排列，一方面對(duì)任務(wù)進(jìn)行優(yōu)先級(jí)降序排列，然后將經(jīng)過優(yōu)先級(jí)排序的任務(wù)隊(duì)列中的任務(wù)分給經(jīng)過優(yōu)先級(jí)排序的計(jì)算節(jié)點(diǎn)隊(duì)列。其中計(jì)算節(jié)點(diǎn)優(yōu)先級(jí)P計(jì)算公式和任務(wù)優(yōu)先級(jí)T計(jì)算公式如下所示：

（3）

（4）

由此可以獲得2個(gè)隊(duì)列，一個(gè)是基于任務(wù)的隊(duì)列，一個(gè)是基于計(jì)算節(jié)點(diǎn)的隊(duì)列，然后將任務(wù)隊(duì)列中的任務(wù)根據(jù)計(jì)算節(jié)點(diǎn)的情況，動(dòng)態(tài)分配到計(jì)算隊(duì)列中的節(jié)點(diǎn)上進(jìn)行產(chǎn)品生產(chǎn)。同一產(chǎn)品生產(chǎn)，三種算法的執(zhí)行結(jié)果如圖1所示。

圖1 三種算法的執(zhí)行結(jié)果

由次看出，二者結(jié)合的調(diào)度算法在參數(shù)反演集群計(jì)算平臺(tái)中的應(yīng)用縮短了產(chǎn)品生產(chǎn)時(shí)間，提高了遙感產(chǎn)品生產(chǎn)效率。

3.3 節(jié)點(diǎn)資源管理可視化管理

為了輔助集群管理，參數(shù)反演集群計(jì)算平臺(tái)中對(duì)集群計(jì)算節(jié)點(diǎn)資源進(jìn)行可視化展示。該方案根據(jù)Stuart K.Card等人提出的CARD[8]信息可視化模型提出的節(jié)點(diǎn)信息可視化過程如下：首先獲取節(jié)點(diǎn)信息，然后進(jìn)行節(jié)點(diǎn)信息建立節(jié)點(diǎn)連接信息表[9]，再構(gòu)建可視化區(qū)域結(jié)構(gòu)信息表，最后根據(jù)這兩張表進(jìn)行節(jié)點(diǎn)的繪制[10]。其中網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)采用單中心節(jié)點(diǎn)連接，同時(shí)將生產(chǎn)節(jié)點(diǎn)狀態(tài)以樹型結(jié)構(gòu)進(jìn)行展示。實(shí)驗(yàn)表明，該方案能夠相比其他可視化方案能夠最小的消耗內(nèi)存資源。其中節(jié)點(diǎn)網(wǎng)絡(luò)拓?fù)淙鐖D2所示。

圖2 網(wǎng)絡(luò)拓?fù)鋱D

網(wǎng)絡(luò)拓?fù)鋱D繪制過程如下所示：

計(jì)算中心點(diǎn)坐標(biāo)（Px，Py），Px=W/2，Py=H/2;W為顯示區(qū)域的寬度，H為顯示區(qū)域的高度;

計(jì)算中心點(diǎn)圖片的左下角（P1x，P1y）和右上角（Prx，Pry）坐標(biāo)，P1x=Px-Pw/2，P1y=Py-Ph/2，Prx=Px+，Pry=Py+Ph/2;Pw為圖片寬度，Ph為圖片高度

計(jì)算各節(jié)點(diǎn)坐標(biāo)（，），=Rcos（2πi/n），=Rsin（2πi/n）;R為節(jié)點(diǎn)到中心節(jié)點(diǎn)的連線長(zhǎng)度，取值范圍為+MAX（Pw/2，Ph/2）=

計(jì)算各節(jié)點(diǎn)圖像左下角（）和右上角（）坐標(biāo);

當(dāng)集群的并行節(jié)點(diǎn)分別為0，2，4，6，8，12個(gè)時(shí)資源占用情況如表1所示。

表1 不同節(jié)點(diǎn)展示時(shí)資源占用情況

節(jié)點(diǎn)個(gè)數(shù) CPU利用率（%） 內(nèi)存占用（K）

0 10 195323

2 12.5 195523

4 13 195723

6 14.3 195923

8 15.2 196323

12 16 198323

上述中心節(jié)點(diǎn)的CPU是八核的內(nèi)存是5824MB，由表可以看出隨著計(jì)算節(jié)點(diǎn)的增加，CPU和內(nèi)存的占用都會(huì)增加，但是增加的不是很多，但是通常情況下，負(fù)載超過85%機(jī)器性能就會(huì)降低，進(jìn)而影像任務(wù)的執(zhí)行，這方面研究有待提高。

4結(jié)束語

本文通過研究集群資源管理技術(shù)，在參數(shù)反演集群計(jì)算平臺(tái)的數(shù)據(jù)組織和檢索時(shí)采用基于新型的五層十五級(jí)分級(jí)標(biāo)準(zhǔn)和直接尋址檢索方式，實(shí)現(xiàn)了遙感數(shù)據(jù)的快速檢索，在任務(wù)組織和分配時(shí)采用基于節(jié)點(diǎn)優(yōu)先級(jí)和基于任務(wù)優(yōu)先級(jí)相結(jié)合的任務(wù)調(diào)度策略，從而實(shí)現(xiàn)任務(wù)的快速有效分配，進(jìn)而保證任務(wù)的高效執(zhí)行，在節(jié)點(diǎn)資源管理方面，采用基于Stuart K.Card等人提出的CARD信息可視化模型，設(shè)計(jì)出了節(jié)點(diǎn)可視化方案，從不同層次對(duì)節(jié)點(diǎn)資源進(jìn)行管理。然而，論文研究的方法還存在一定的局限性，在面對(duì)節(jié)點(diǎn)過多的時(shí)候，任務(wù)實(shí)行效率方面、參數(shù)反演集群計(jì)算平臺(tái)穩(wěn)定性方面能力表現(xiàn)不足，接下來將從資源釋放、內(nèi)存管理方面等進(jìn)行研究。

參考文獻(xiàn)

[1] Alain Merigo，Alfredo Petrosino.Parrllel Process-Inge for Image and Video Processing： issues and challenges[J].Parallel Computing，2008，34（12）：694-699.

[2] 劉愛珍，王嘉禎.改進(jìn)的多任務(wù)分配與調(diào)度遺傳算法[J].微電子學(xué)與計(jì)算機(jī)，2007，24（9）：162-165.

[3] Flynn M J.Very high-seed computing systems [J].Proc of the IEEE，1996，54（12）：1901-1909.

[4] 李敬.集群系統(tǒng)集中管理平臺(tái)的研究與實(shí)現(xiàn)[D].西安：西北工業(yè)大學(xué)，2004.

[5] 王棟，鄭逢斌，賴積保，等.基于五層十五級(jí)遙感數(shù)據(jù)結(jié)構(gòu)的并行算法研究.微計(jì)算機(jī)信息，2012，（1）：166-167.

[6] 曾志，劉仁義.一種基于分塊的遙感影像并行處理機(jī)制[J].浙江大學(xué)學(xué)報(bào)，2012，39（2）：135-141.

[7] 沈占鋒，駱劍承，陳秋曉.高分辨率遙感影像并行處理數(shù)據(jù)分配策略研究[J].哈爾濱工業(yè)大學(xué)學(xué)報(bào)，2006，38（11）：1968-1971.

[8] CARD SK，MACKINLAY J D，SHNEIDERMAN B.Readings in Information Visualization; Using Vision to Think[M].San Francisco：Morgan Kaufmann，1999：109.

[9] 楊彥波，劉濱，祁明月.信息可視化研究綜述[J].河北科技大學(xué)學(xué)報(bào)，2014，35（1）：91-102.

[10] 任磊，王威信，周明駿，等.一種模型驅(qū)動(dòng)的交互式信息可視化開發(fā)方法[J].軟件學(xué)報(bào)，2008，19（8）：1947-1967.

作者簡(jiǎn)介

王一民（1992-），男，本科，助理工程師，主要研究領(lǐng)域?yàn)槿斯ぶ悄?、集群、遙感、數(shù)據(jù)挖掘、無線電、衛(wèi)星通信。