基于GT4的網(wǎng)格文件系統(tǒng)研究及應(yīng)用

趙丹

近年來(lái)分布式得到了空前的發(fā)展，比如集群計(jì)算，移動(dòng)計(jì)算，以及現(xiàn)在的網(wǎng)格計(jì)算，他們實(shí)質(zhì)上都是分布式計(jì)算的發(fā)展。在實(shí)質(zhì)應(yīng)用中，人們要求具有高性能，高可靠，高可擴(kuò)展的文件系統(tǒng)滿足當(dāng)今諸如生物計(jì)算，天氣預(yù)報(bào)和流媒體等高吞吐率的應(yīng)用。從現(xiàn)在的分布式文件系統(tǒng)，并行文件系統(tǒng)，集群文件系統(tǒng)來(lái)看，大部分采用的是同構(gòu)特性。由于不同資源的文件系統(tǒng)是不同的，在網(wǎng)格環(huán)境下網(wǎng)格資源的共享就受到平臺(tái)的限制，如單節(jié)點(diǎn)的文件系統(tǒng)與集群節(jié)點(diǎn)的文件系統(tǒng)間不能共享數(shù)據(jù)。

1、研究的內(nèi)容

網(wǎng)格技術(shù)的發(fā)展總是與數(shù)據(jù)的管理為基礎(chǔ)的，幾乎所有業(yè)務(wù)流程都需要對(duì)數(shù)據(jù)進(jìn)行共享或保護(hù)，進(jìn)行可靠、快速的訪問(wèn)。GridFTP作為網(wǎng)格計(jì)算的一種底層數(shù)據(jù)傳輸協(xié)議，主要為上層服務(wù)提供數(shù)據(jù)傳輸功能支持。RFT通過(guò)數(shù)據(jù)庫(kù)存儲(chǔ)傳輸?shù)臓顟B(tài)、目的地等信息，提供可靠、永久、易調(diào)用的文件傳輸服務(wù)，能夠進(jìn)行斷點(diǎn)續(xù)傳等功能。RLS主要為客戶提供副本的注冊(cè)和定位服務(wù)，Globus中的RLS服務(wù)通過(guò)靜態(tài)配置，在多個(gè)冗余的副本定位索引（RLI）節(jié)點(diǎn)間建立起一個(gè)分層的網(wǎng)絡(luò)，從而確保服務(wù)的可靠性和負(fù)載平衡。

2、網(wǎng)格的概念

網(wǎng)格是借鑒電力網(wǎng)（Electric Power Grid）概念提出來(lái)的，網(wǎng)格的最終目的是希望用戶在使用網(wǎng)格計(jì)算能力時(shí)，就如同現(xiàn)在使用電力一樣方便。

中間件是介于操作系統(tǒng)（包括底層通信協(xié)議）和各種分布式應(yīng)用程序之間的一個(gè)軟件層，它建立分布式軟件模式之間互操作的機(jī)制，屏蔽底層分布式環(huán)境的復(fù)雜性和異構(gòu)性，為分布式應(yīng)用程序的開(kāi)發(fā)提供支持。

從功能上講，GT4包括網(wǎng)格安全（Grid Security）、數(shù)據(jù)管理（Data Management）、執(zhí)行管理（Execution Management）、信息服務(wù)（Information Services）和公共運(yùn)行環(huán)境（Common Runtime）等5個(gè)部分組件集，組件種類(lèi)分為Web服務(wù)組件和非Web服務(wù)組件兩大類(lèi)。

3、網(wǎng)格文件系統(tǒng)模型

3.1網(wǎng)格文件系統(tǒng)模型結(jié)構(gòu)

針對(duì)網(wǎng)格環(huán)境下不同資源的文件系統(tǒng)不同，屏蔽網(wǎng)格環(huán)境下文件系統(tǒng)的異構(gòu)性，即將網(wǎng)格環(huán)境下不同文件系統(tǒng)上的網(wǎng)格資源進(jìn)行統(tǒng)一共享；同時(shí)考慮網(wǎng)格文件系統(tǒng)的訪問(wèn)效率。該文件系統(tǒng)具體的實(shí)現(xiàn)需要Globus中數(shù)據(jù)管理理論的支持：底層文件系統(tǒng)通過(guò)目錄服務(wù)（RLS）向上層目錄服務(wù)提供目錄的動(dòng)態(tài)更新，最后匯聚于元數(shù)據(jù)服務(wù)器（MDS）的RLS，由MDS向文件系統(tǒng)提供統(tǒng)一的目錄服務(wù)；網(wǎng)格文件系統(tǒng)間的數(shù)據(jù)傳輸通過(guò)GridFTP、可靠文件傳輸（RFT）實(shí)現(xiàn)，這一過(guò)程需要涉及到傳輸?shù)陌踩珯C(jī)制。

3.2網(wǎng)格目錄服務(wù)

網(wǎng)格文件系統(tǒng)目錄服務(wù)的最終目的就是通過(guò)逐層的匯聚，為網(wǎng)格文件系統(tǒng)提供一個(gè)統(tǒng)一的目錄視圖。在這一過(guò)程中為文件系統(tǒng)提供了兩方面的支持：文件目錄統(tǒng)一視圖和副本文件提高文件系統(tǒng)性能。

3.3網(wǎng)格數(shù)據(jù)傳輸

當(dāng)客戶端用戶進(jìn)行網(wǎng)格計(jì)算時(shí)就需要訪問(wèn)文件系統(tǒng)中的數(shù)據(jù)資源，在實(shí)現(xiàn)文件系統(tǒng)的過(guò)程中編程實(shí)現(xiàn)GridFTP與RFT，使得程序能夠跟隨客戶請(qǐng)求的觸發(fā)，執(zhí)行GridFTP或RFT文件傳輸，控制網(wǎng)格資源在網(wǎng)格文件系統(tǒng)的資源主機(jī)之間進(jìn)行數(shù)據(jù)傳輸，完成網(wǎng)格文件系統(tǒng)中網(wǎng)格資源的動(dòng)態(tài)分配。

4、網(wǎng)格文件系統(tǒng)設(shè)計(jì)

4.1設(shè)計(jì)思想

首先要實(shí)現(xiàn)不同主機(jī)間文件的傳輸，即要配置好提供存儲(chǔ)服務(wù)的集群間GridFTP的傳輸控制，再設(shè)置針對(duì)傳輸要求的安全的CA認(rèn)證機(jī)制，利用GridFTP的Java API，實(shí)現(xiàn)程序中控制本地主機(jī)接收遠(yuǎn)程主機(jī)文件的下載或向遠(yuǎn)程主機(jī)上傳文件，同時(shí)完成控制三方文件傳輸?shù)墓δ?。然后，根?jù)Globus中的副本位置索引服務(wù)，配置副本更新機(jī)制，通過(guò)Globus中RLS的接口在Java程序中完成文件索引的注冊(cè)、檢索及刪除。

4.2設(shè)計(jì)目標(biāo)

基于GT4的網(wǎng)格文件系統(tǒng)應(yīng)達(dá)到下述設(shè)計(jì)要求：

（1）實(shí)現(xiàn)對(duì)用戶透明的網(wǎng)格Portal界面，用戶可遠(yuǎn)程訪問(wèn)文件系統(tǒng)。（2）在客戶端，用戶能夠同時(shí)下載多個(gè)私有文件到客戶端主機(jī)。（3）客戶端用戶能夠上傳本地文件到共享目錄或到用戶的私有目錄。（4）管理員能夠刪除共享目錄中的文件，而用戶只有訪問(wèn)權(quán)限。（5）普通用戶能夠訪問(wèn)、刪除自己的私有用戶中的文件，其他用戶無(wú)權(quán)限。（6）默認(rèn)的文件的具體存儲(chǔ)路徑及文件的副本數(shù)目對(duì)用戶是透明的。（7）所有用戶可控制文件在兩臺(tái)主機(jī)間傳輸。

4.3系統(tǒng)模塊設(shè)計(jì)

基于GT4的網(wǎng)格文件系統(tǒng)主要是為實(shí)現(xiàn)網(wǎng)格文件系統(tǒng)內(nèi)部網(wǎng)格資源共享與傳輸?shù)炔僮?、?duì)用戶提供面向界面執(zhí)行操作的開(kāi)發(fā)目的，將最終的網(wǎng)格文件系統(tǒng)資源以網(wǎng)格Portal的形式把聚合，提供給用戶一個(gè)統(tǒng)一的界面，用戶可進(jìn)行文件的上傳、下載等具體的操作與文件系統(tǒng)交互。

文件列表是用戶登錄進(jìn)入文件系統(tǒng)，查看共享文件或私有文件時(shí)看到的共享文件或私有文件列表。首先在portlet的java類(lèi)中調(diào)用RLS的接口，實(shí)現(xiàn)副本定位服務(wù)的主機(jī)獲取。獲取關(guān)聯(lián)主機(jī)后，可通過(guò)參數(shù)傳遞在jsp中獲取主機(jī)存放容器，在jsp中嵌套java循環(huán)，按主機(jī)逐次訪問(wèn)其共享目錄，將文件列表輸出到portal界面，同時(shí)以ArrayList列表記錄所有文件，避免不同主機(jī)上的相同文件重復(fù)顯示。

該文件系統(tǒng)需要編寫(xiě)四個(gè)portlet，第一個(gè)是UserPortlet，顯示用戶的登錄信息等；第二個(gè)是用戶的HomePortlet，主要用于客戶端用戶的文件上傳；第三個(gè)是用戶的PrivatePortlet，主要顯示用戶的私有文件，及用戶對(duì)私有文件可執(zhí)行的刪除等操作；第四部分是用戶的SharedPortlet，顯示文件系統(tǒng)的所有共享文件，客戶端用戶可下載該文件系統(tǒng)中的共享文件，刪除選中的多個(gè)文件及檢索共享目錄中的某一文件等。這樣四個(gè)portlet都需要部署到GridSphere中，以能夠使該文件系統(tǒng)以網(wǎng)頁(yè)的形式與用戶交互。Portlet的部署需要定義該portlet的類(lèi)路徑及portlet名字等，使portlet在執(zhí)行的初始階段（init）能夠通過(guò)config參數(shù)獲得。

5、系統(tǒng)性能評(píng)價(jià)

本系統(tǒng)實(shí)現(xiàn)了對(duì)網(wǎng)格環(huán)境下的數(shù)據(jù)的管理功能，并可以對(duì)資源信息進(jìn)行檢索。系統(tǒng)運(yùn)行的穩(wěn)定性較好，由于需要連接其他服務(wù)主機(jī)，資源占用率相對(duì)較低，客戶端提供了對(duì)用戶的友好網(wǎng)格Portal界面接口，方便用戶訪問(wèn)。

（作者單位：遼寧省農(nóng)業(yè)經(jīng)濟(jì)學(xué)校）