面向國家高性能計算環(huán)境的虛擬數(shù)據(jù)空間系統(tǒng)

秦廣軍, 肖利民, 張廣艷, 牛北方, 陳志廣

1. 北京聯(lián)合大學(xué)智慧城市學(xué)院，北京 100101；2. 北京航空航天大學(xué)計算機(jī)學(xué)院，北京 100191；3. 軟件開發(fā)環(huán)境國家重點實驗室，北京 100191；4. 清華大學(xué)計算機(jī)科學(xué)與技術(shù)系，北京 100084；5. 中國科學(xué)院計算機(jī)網(wǎng)絡(luò)信息中心，北京 100190；6. 中國科學(xué)院大學(xué)，北京 100190；7. 中山大學(xué)計算機(jī)學(xué)院，廣東 廣州 510006

1 引言

高性能計算環(huán)境是支撐國家科技創(chuàng)新、經(jīng)濟(jì)發(fā)展、國防建設(shè)的核心信息基礎(chǔ)設(shè)施，世界高性能計算強(qiáng)國紛紛建設(shè)基于多超級計算中心（以下簡稱超算中心）資源的廣域高性能計算環(huán)境[1]。美國建立了跨域的極限科學(xué)與工程發(fā)現(xiàn)環(huán)境（extreme science and engineering discovery environment，XSEDE），旨在建設(shè)單一的虛擬系統(tǒng)，世界各地的科學(xué)家可以通過系統(tǒng)共享計算資源、數(shù)據(jù)和專業(yè)知識；歐洲建立了跨域的歐洲網(wǎng)格基礎(chǔ)設(shè)施（European grid infrastructure，EGI），目的是通過整合數(shù)字功能、各界資源和專業(yè)知識為科學(xué)研究和基礎(chǔ)設(shè)施建設(shè)提供開放的解決方案；我國建立了中國國家網(wǎng)格（China national grid，CNGrid），通過資源共享、協(xié)同工作和服務(wù)機(jī)制，有效地支持科學(xué)研究、資源環(huán)境、先進(jìn)制造和信息服務(wù)等應(yīng)用。高性能計算水平體現(xiàn)了一個國家的科技綜合實力，整合廣域分散的高性能計算資源，建立廣域高性能計算環(huán)境，對于國家高性能計算技術(shù)的領(lǐng)先發(fā)展、國家安全與高性能計算地位的提高至關(guān)重要。

與XSEDE和EGI相比，CNGrid不僅要能夠支持科學(xué)研究，更強(qiáng)調(diào)對多領(lǐng)域應(yīng)用的支持。這些應(yīng)用除了需要高性能計算能力，還需要支持對異地、異構(gòu)數(shù)據(jù)進(jìn)行存儲、訪問、交換和處理的能力。然而，在廣域高性能計算環(huán)境中，各超算中心往往地理位置分散，資源自治管理，數(shù)據(jù)跨域分散存儲，這使得資源和數(shù)據(jù)難以統(tǒng)一管理、調(diào)度和互訪，應(yīng)用系統(tǒng)間相互孤立，難以滿足大型計算應(yīng)用對全局資源空間的需求。因此，如何在廣域高性能計算環(huán)境中實現(xiàn)跨域資源統(tǒng)一管理與使用，有效支撐大型計算應(yīng)用，一直是各高性能計算領(lǐng)域的重要研究課題，這迫切需要新技術(shù)、新系統(tǒng)來支持資源共享，提高資源利用率，發(fā)揮分散資源聚合效應(yīng)。

CNGrid目前已經(jīng)支持全局計算資源管理和作業(yè)調(diào)度，但存儲和數(shù)據(jù)資源仍然不能得到有效的全局統(tǒng)一管理、調(diào)度和訪問。本文針對國家高性能計算環(huán)境廣域分散存儲資源的聚合需求及大型計算應(yīng)用對跨域全局虛擬數(shù)據(jù)空間的實際需要，對標(biāo)高性能計算環(huán)境廣域存儲系統(tǒng)EGI OneData[2-3]和XSEDE GFFS[4]，從跨域虛擬數(shù)據(jù)空間構(gòu)建、廣域數(shù)據(jù)共享、全局存算協(xié)同調(diào)度、跨域并發(fā)數(shù)據(jù)聚合處理、CNGrid環(huán)境對接等幾個主要方面出發(fā)，建立了一套可用于構(gòu)建廣域全局虛擬數(shù)據(jù)空間的完整技術(shù)體系，并研發(fā)了一個可運行于國家高性能計算環(huán)境的虛擬數(shù)據(jù)空間系統(tǒng)，旨在為在國家高性能計算環(huán)境中建立虛擬數(shù)據(jù)空間提供技術(shù)手段、應(yīng)用經(jīng)驗、人才儲備，支撐建設(shè)資源共享、統(tǒng)一管理、高效協(xié)同的國家高性能計算環(huán)境，促進(jìn)我國高性能計算環(huán)境的應(yīng)用和可持續(xù)發(fā)展。

2 國內(nèi)外研究現(xiàn)狀

國家級廣域高性能計算環(huán)境是支撐國家科技創(chuàng)新、經(jīng)濟(jì)發(fā)展、國防建設(shè)的核心信息基礎(chǔ)設(shè)施，是大國競爭的戰(zhàn)略高地，世界高性能計算強(qiáng)國紛紛建設(shè)基于多超算中心資源的廣域高性能計算環(huán)境。

美國、歐洲、日本對虛擬數(shù)據(jù)空間系統(tǒng)及關(guān)鍵技術(shù)開展了研究。美國國家科學(xué)基金會的TeraGrid計劃[5]及其后續(xù)的XSEDE計劃[6]，以及歐洲的網(wǎng)絡(luò)基礎(chǔ)項目EGI（前身為EGEE）[7]，都旨在將廣域分散自治的大規(guī)模計算系統(tǒng)、科學(xué)儀器等互連并廣域共享，但TeraGrid需采用專用高速網(wǎng)絡(luò)，EGI欠缺全局統(tǒng)一管理能力。其中，EGI的基礎(chǔ)存儲系統(tǒng)是OneData，引入了“空間”和“供給者”的概念，較好地屏蔽了EGI中數(shù)據(jù)廣域分布的復(fù)雜性，但是采用緊密的元數(shù)據(jù)管理方式，元數(shù)據(jù)維護(hù)壓力巨大，系統(tǒng)可擴(kuò)展性較差。XSEDE的基礎(chǔ)存儲系統(tǒng)是全局聯(lián)合文件系統(tǒng)（global federated file system，GFFS），采用松散的頂層元數(shù)據(jù)組織實現(xiàn)了異構(gòu)存儲資源的聚合，但是頂層元數(shù)據(jù)集中管理，存儲集群的元數(shù)據(jù)分散自治管理，使得頂層元數(shù)據(jù)極易成為性能瓶頸。麻省理工學(xué)院的協(xié)作式文件系統(tǒng)（cooperative file system，CF S）、加利福尼亞大學(xué)伯克利分校的OceanStore[8]、紐約大學(xué)的Kademlia[9]等具有良好的平衡性和擴(kuò)展性，但均為聚合集中式存儲資源的系統(tǒng)。谷歌公司的Spanner[10]實現(xiàn)了在特定硬件支撐下的跨域數(shù)據(jù)庫存儲模式，耶魯大學(xué)和谷歌公司聯(lián)合實現(xiàn)了跨數(shù)據(jù)中心的CalvinFS系統(tǒng)[11]，加利福尼亞大學(xué)河濱分校提出了可跨多云平臺的SPANStore系統(tǒng)[12]，德國卡爾斯魯厄理工學(xué)院設(shè)計了MetaStorage系統(tǒng)[13]，上述系統(tǒng)可管理分散的存儲資源，但主要面向互聯(lián)網(wǎng)應(yīng)用（如數(shù)據(jù)庫存儲），不適用于高性能計算應(yīng)用環(huán)境。微軟公司的WAS（Windows Azure storage）系統(tǒng)[14]通過位置服務(wù)器和全局命名空間整合跨域存儲集群，但不支持跨域數(shù)據(jù)共享。美國印第安納大學(xué)實現(xiàn)了跨域的Lustre-WAN文件系統(tǒng)[15]，但需專用網(wǎng)絡(luò)支持。日本筑波大學(xué)提出了跨域網(wǎng)格文件系統(tǒng)Gfarm[16]，但其集中式元數(shù)據(jù)架構(gòu)難以適應(yīng)高性能計算環(huán)境的大規(guī)模并發(fā)數(shù)據(jù)訪問請求。

我國對虛擬數(shù)據(jù)空間系統(tǒng)及相關(guān)技術(shù)也開展了相關(guān)研究，建設(shè)了基于多個超算中心的國家高性能計算環(huán)境，實現(xiàn)了分散計算資源的統(tǒng)一管理和全局調(diào)度，但尚未實現(xiàn)分散存儲資源的全局?jǐn)?shù)據(jù)空間以及存儲與計算全局協(xié)同調(diào)度。電子科技大學(xué)、中國科學(xué)院計算技術(shù)研究所、浙江大學(xué)等采用哈希算法，設(shè)計了針對集中式存儲資源的聚合系統(tǒng)PeerStore[17]和π-Store等。北京郵電大學(xué)、華為技術(shù)有限公司、阿里巴巴集團(tuán)[18]面向互聯(lián)網(wǎng)應(yīng)用實現(xiàn)了基于多云存儲平臺協(xié)同的云存儲模式。清華大學(xué)[19]、北京航空航天大學(xué)[20]、中國科學(xué)院計算機(jī)網(wǎng)絡(luò)信息中心研究了單一大規(guī)模存儲聚合系統(tǒng)及跨域存儲聚合技術(shù)，針對分布性、異構(gòu)性、動態(tài)性的廣域網(wǎng)絡(luò)環(huán)境，實現(xiàn)了支持跨域數(shù)據(jù)驅(qū)動型應(yīng)用的虛擬數(shù)據(jù)空間及服務(wù)協(xié)同平臺、跨多數(shù)據(jù)中心的全局虛擬文件系統(tǒng)等。

綜上，目前國內(nèi)外都在研究跨域存儲資源聚合、廣域數(shù)據(jù)共享等問題，但尚未出現(xiàn)可有效支持廣域高性能計算環(huán)境的跨域虛擬數(shù)據(jù)空間。因此，研究在廣域高性能計算環(huán)境中建立跨域虛擬數(shù)據(jù)空間的方法和關(guān)鍵技術(shù)具有重要的理論意義和應(yīng)用價值。

3 國家高性能計算環(huán)境

3.1 環(huán)境現(xiàn)狀

我國國家高性能計算環(huán)境（原中國國家網(wǎng)格環(huán)境）的環(huán)境資源種類繁多、異構(gòu)性強(qiáng)、地域分布廣，主要由上海超級計算中心和中國科學(xué)院計算機(jī)網(wǎng)絡(luò)信息中心兩個南北主節(jié)點，國家超級計算無錫中心、國家超級計算天津中心等7個國家級超算中心，以及清華大學(xué)、西安交通大學(xué)等11個普通節(jié)點組成，總計算能力超200 PFlops，總存儲容量超160 PB，2020年新增國家超級計算鄭州中心和國家超級計算昆山中心。

計算資源管理的核心系統(tǒng)軟件——超級計算環(huán)境（s u p e r c o m p u t i n g environment，SCE）[21]是中國科學(xué)院開發(fā)的環(huán)境中間件，用戶可以通過此中間件使用整個環(huán)境中的所有計算資源。SCE主要包括前端服務(wù)器（front server，F(xiàn)S）和中央服務(wù)器（center server，CS），CS負(fù)責(zé)匯總FS采集的各類信息，以及作業(yè)全局調(diào)度與管理服務(wù)、數(shù)據(jù)傳輸與管理服務(wù)、用戶與權(quán)限服務(wù)、資源信息管理服務(wù)、安全策略以及計算環(huán)境管理；FS負(fù)責(zé)資源接入與監(jiān)控、作業(yè)局部調(diào)度、局部信息管理、一些計算資源的執(zhí)行控制，收集來自各超算中心的資源信息，并匯報給CS，以及執(zhí)行來自CS的各種執(zhí)行請求。

存儲資源由各超算中心自治管理，使用方式主要分為兩類：第一類，在超算中心中將區(qū)域劃分為計算區(qū)和存儲區(qū)，采用不同的文件系統(tǒng)進(jìn)行管理并存儲在不同的集群上，進(jìn)行計算作業(yè)時，需要將用戶的作業(yè)及用到的數(shù)據(jù)提交至計算集群中進(jìn)行計算；第二類是不劃分存儲區(qū)和計算區(qū)，存儲和計算由同一個文件系統(tǒng)統(tǒng)一管理，作業(yè)直接在用戶目錄下運行。對于當(dāng)前兩種使用模式，用戶數(shù)據(jù)都匯聚在一個超算中心中，而且是分散自治的，國家高性能計算環(huán)境中各超算中心之間相互隔離，無法做到用戶數(shù)據(jù)跨域及統(tǒng)一管理。

可見，在當(dāng)前的國家高性能計算環(huán)境中，計算資源可統(tǒng)一管理、全局調(diào)度，但存儲資源仍廣域分散、隔離自治，雖然可全局調(diào)度計算資源，但無法有效地實現(xiàn)數(shù)據(jù)的跨廣域統(tǒng)一訪問和共享，應(yīng)用規(guī)模的擴(kuò)展受限于單中心的資源規(guī)模，無法構(gòu)建更大型的、跨廣域的應(yīng)用，更無法實現(xiàn)存儲與計算的協(xié)同調(diào)度，從而導(dǎo)致全系統(tǒng)資源利用率不能有效提高。

3.2 大型計算問題對數(shù)據(jù)空間的需求

大型計算問題，諸如生物信息、精準(zhǔn)醫(yī)療、高能物理、氣象預(yù)報等類型的應(yīng)用，由于數(shù)據(jù)量和計算量都較大[22]，且數(shù)據(jù)往往跨廣域分布，需要在高性能計算環(huán)境中形成廣域的數(shù)據(jù)共享、統(tǒng)一的數(shù)據(jù)空間，從而提高應(yīng)用的規(guī)模，提高全系統(tǒng)資源利用率。例如，生物信息和精準(zhǔn)醫(yī)療類應(yīng)用涉及的數(shù)據(jù)量巨大，存儲需求往往達(dá)PB級，且需要在跨廣域海量樣本中進(jìn)行匯聚處理和挖掘，而單中心局部存儲空間不足以滿足應(yīng)用需求，且受到廣域網(wǎng)帶寬和路由的限制，數(shù)據(jù)跨廣域遷移效率較低，可統(tǒng)一管理的存儲空間和高效的廣域數(shù)據(jù)共享將有利于此類應(yīng)用在數(shù)據(jù)處理規(guī)模上的擴(kuò)展；高能物理類應(yīng)用往往需要E級計算，目前單中心的計算能力尚不能有效滿足其需求，人為設(shè)置的數(shù)據(jù)和任務(wù)布局并不能很好地依據(jù)各中心具體的資源提供能力進(jìn)行優(yōu)化，實現(xiàn)數(shù)據(jù)與計算任務(wù)的協(xié)同布局和調(diào)度將有利于此類應(yīng)用的高效運行；氣象預(yù)報類應(yīng)用涉及廣泛的數(shù)據(jù)源，其類型多、分布廣，且時效性要求高，同樣受到廣域網(wǎng)帶寬和路由的限制，數(shù)據(jù)跨域訪問性能較低，實現(xiàn)跨廣域的多源數(shù)據(jù)聚合處理也將有利于提高此類應(yīng)用的性能和時效性。

具體來講，數(shù)據(jù)空間應(yīng)滿足如下4個方面大型應(yīng)用的要求。

（1）支持跨域存儲資源統(tǒng)一管理和訪問

由于國家高性能計算環(huán)境中存儲資源廣域分散且隔離自治，系統(tǒng)無法對跨域存儲資源進(jìn)行有效的管理和統(tǒng)一訪問，導(dǎo)致各數(shù)據(jù)中心數(shù)據(jù)的重復(fù)存儲以及多超算中心無法協(xié)同處理數(shù)據(jù)。大型應(yīng)用迫切需要將分散的存儲資源聚合為全局?jǐn)?shù)據(jù)空間，并提供跨域統(tǒng)一管理和訪問能力。

（2）支持廣域數(shù)據(jù)共享

在高性能計算環(huán)境中廣域數(shù)據(jù)無法共享，這導(dǎo)致資源閑置、重復(fù)建設(shè)，數(shù)據(jù)空間需要提供能夠有效整合分散自治、廣域隔離的存儲資源，匯聚各超算中心開放的數(shù)據(jù)，為用戶提供跨多個節(jié)點提取數(shù)據(jù)的能力，為應(yīng)用提供一站式的數(shù)據(jù)共享服務(wù)。

（3）支持存儲與計算協(xié)同調(diào)度

由于高性能計算環(huán)境中的存儲與計算無法高效協(xié)同，廣域范圍內(nèi)的計算任務(wù)和數(shù)據(jù)難以實現(xiàn)合理分布，需要設(shè)計并開發(fā)虛擬數(shù)據(jù)空間與現(xiàn)有國家高性能計算環(huán)境軟件的接口，以支持虛擬數(shù)據(jù)空間與國家高性能計算環(huán)境的對接，通過技術(shù)集成形成虛擬數(shù)據(jù)空間系統(tǒng)，提供能夠透明實現(xiàn)多節(jié)點聚合的機(jī)制，且能根據(jù)計算特征和數(shù)據(jù)布局來控制任務(wù)與數(shù)據(jù)的節(jié)點選擇，從而實現(xiàn)存算協(xié)同。

（4）支持跨域多源數(shù)據(jù)聚合處理

為了提升典型數(shù)據(jù)訪問模式的跨域訪問能力，需要能對數(shù)據(jù)空間與應(yīng)用之間的I/O中間層進(jìn)行優(yōu)化、對跨域多源高并發(fā)數(shù)據(jù)進(jìn)行高效聚合處理的方法來有效支持大型計算應(yīng)用。因此，大型計算問題亟須聚合廣域分散的存儲資源，形成跨域的高性能計算數(shù)據(jù)空間，以滿足大型計算問題在規(guī)模、性能和資源利用率上的要求。

此外，從使用者角度考慮，還應(yīng)該具備如下跨域分布式存儲系統(tǒng)的基本功能。

● 可跨廣域環(huán)境進(jìn)行基本的存儲操作，且符合文件系統(tǒng)的標(biāo)準(zhǔn)可移植操作系統(tǒng)接口（protable operating system interface of UNIX, POSIX協(xié)議），如重命名、修改、增加、刪除等。

● 可訪問廣域環(huán)境中的數(shù)據(jù)集及其子集，且符合文件系統(tǒng)的標(biāo)準(zhǔn)POSIX協(xié)議。

● 可在廣域環(huán)境中統(tǒng)一瀏覽文件目錄，且有權(quán)限限制。

● 可將數(shù)據(jù)共享給指定的其他或所有用戶。

● 可將單個或多個數(shù)據(jù)源數(shù)據(jù)按需存儲到一個或多個超算中心，且能統(tǒng)一瀏覽和訪問。

● 可依據(jù)數(shù)據(jù)訪問特性進(jìn)行優(yōu)化的全局資源分配與數(shù)據(jù)放置。

4 高性能計算虛擬數(shù)據(jù)空間

針對上述大型計算問題對數(shù)據(jù)空間的要求，筆者在跨域虛擬數(shù)據(jù)空間的模型、體系結(jié)構(gòu)、資源聚合、管理和訪問等方面開展了研究，突破了廣域分散自治存儲資源聚合、帶寬約束下數(shù)據(jù)高效可靠遷移、計算與數(shù)據(jù)跨域協(xié)同調(diào)度、高并發(fā)數(shù)據(jù)流聚合處理等關(guān)鍵技術(shù)，形成了完整的虛擬數(shù)據(jù)空間系統(tǒng)，并已經(jīng)在國家高性能計算環(huán)境中對該系統(tǒng)進(jìn)行了初步部署和應(yīng)用驗證。

圖1 虛擬數(shù)據(jù)空間模型

4.1 虛擬數(shù)據(jù)空間體系結(jié)構(gòu)及關(guān)鍵技術(shù)

4.1.1 虛擬數(shù)據(jù)空間模型

針對廣域分散、自治異構(gòu)的底層存儲資源，以及種類繁多、需求各異的上層大型應(yīng)用，通過分析數(shù)據(jù)分布需求和應(yīng)用的數(shù)據(jù)訪問特征，抽象底層存儲資源的分布形式，將虛擬數(shù)據(jù)空間提煉為主體、服務(wù)、空間、資源四要素，并構(gòu)建了多層級的數(shù)據(jù)空間模型，如圖1所示。

各要素的定義及形式化描述如下。

● 主體：數(shù)據(jù)空間服務(wù)的對象（如個體用戶、群組用戶、全體用戶及其應(yīng)用），主體可通過服務(wù)的形式使用虛擬數(shù)據(jù)空間的資源。

● 服務(wù)：面向主體提供的各種功能服務(wù)，如用戶管理、區(qū)域管理、空間管理、權(quán)限管理、訪問控制、數(shù)據(jù)共享、數(shù)據(jù)遷移等。

● 空間：對分散自治的存儲資源依次進(jìn)行物理聚合、局部聚合、全局聚合形成的全局虛擬數(shù)據(jù)空間。

● 資源：廣域分散、隔離自治的存儲資源。

4.1.2 虛擬數(shù)據(jù)空間表示方法

基于上述虛擬數(shù)據(jù)空間模型，對虛擬數(shù)據(jù)空間進(jìn)行層次化表示，形成虛擬數(shù)據(jù)空間的層次化模型，主要包括資源層、空間層、服務(wù)層、主體層，如圖2所示。

● 資源層：包含各超算中心的存儲資源，存儲資源分布在不同的地理位置上，且通常具有異構(gòu)性。

● 空間層：通過對底層廣域分散的存儲資源依次采用物理存儲資源聚合、局部存儲資源聚合、全局存儲資源聚合，最終形成全局虛擬數(shù)據(jù)空間。

● 服務(wù)層：提供使用虛擬數(shù)據(jù)空間存儲資源所需的基本功能，主要包括用戶管理、區(qū)域管理、空間管理、權(quán)限管理、訪問控制、數(shù)據(jù)共享、數(shù)據(jù)遷移等，并通過統(tǒng)一接口以服務(wù)形式對外提供。

● 主體層：主要包含用戶及其應(yīng)用（如數(shù)值模擬、大數(shù)據(jù)、人工智能等典型應(yīng)用），可通過接口使用虛擬數(shù)據(jù)空間提供的各種服務(wù)。

4.1.3 虛擬數(shù)據(jù)空間軟件體系結(jié)構(gòu)

基于本文提出的模型和表示方式，將虛擬數(shù)據(jù)空間體系結(jié)構(gòu)相應(yīng)地設(shè)計為資源層、空間層、服務(wù)層、主體層4個層次，如圖3所示。

● 資源層：處于最底層，主要提供用于構(gòu)建虛擬數(shù)據(jù)空間的物理存儲資源。該層包含廣域分布的存儲資源，存儲資源分布于不同地理位置的超算中心之中。

● 空間層：位于資源層之上，通過聚合底層廣域分散的存儲資源，形成全局?jǐn)?shù)據(jù)空間。該層依次采用物理存儲資源聚合、局部存儲資源聚合、全局存儲資源聚合等資源聚合方法，實現(xiàn)廣域存儲資源的逐層聚合；同時，采用全局名字空間節(jié)點高可用方法實現(xiàn)全局元數(shù)據(jù)關(guān)鍵組件的高可用。

● 服務(wù)層：提供虛擬數(shù)據(jù)空間基本服務(wù)，如數(shù)據(jù)區(qū)域劃分和管理提供按需區(qū)域劃分服務(wù)；區(qū)域空間分配和管理提供區(qū)域映射和空間分配服務(wù)；區(qū)域隔離和權(quán)限管控提供區(qū)域隔離和數(shù)據(jù)安全保障；數(shù)據(jù)訪問優(yōu)化通過元數(shù)據(jù)訪問優(yōu)化和遠(yuǎn)程數(shù)據(jù)緩存提升元數(shù)據(jù)和數(shù)據(jù)的訪問性能；數(shù)據(jù)訪問帶寬聚合服務(wù)用來優(yōu)化頻繁訪問數(shù)據(jù)的廣域布局，以提高帶寬利用率；數(shù)據(jù)遷移共享通過優(yōu)化應(yīng)用I/O與遷移速率、多源與多數(shù)據(jù)遷移性能提高數(shù)據(jù)遷移與共享效能；安全可靠傳輸機(jī)制提供構(gòu)造可靠遷移協(xié)議和高效安全遷移服務(wù)；存算協(xié)同調(diào)度提供數(shù)據(jù)傳輸、放置及任務(wù)布局協(xié)同的全局作業(yè)調(diào)度服務(wù)；訪問接口服務(wù)為不同應(yīng)用對虛擬數(shù)據(jù)空間的統(tǒng)一訪問提供命令行和文件視圖兩種接口使用方式，并提供數(shù)據(jù)聚合處理框架和并行I/O庫，以優(yōu)化大型應(yīng)用常用的高級I/O接口，并支持復(fù)雜數(shù)據(jù)處理模式，提升數(shù)據(jù)訪問性能。

● 主體層：主要包含各類用戶及其應(yīng)用，如天氣預(yù)報模式、生物信息學(xué)、目標(biāo)協(xié)同識別等典型應(yīng)用，應(yīng)用可通過調(diào)用服務(wù)層提供的服務(wù)功能，在全局虛擬數(shù)據(jù)空間中使用資源層中的廣域分布存儲資源。

圖2 虛擬數(shù)據(jù)空間的層次化表示

圖3 虛擬數(shù)據(jù)空間體系結(jié)構(gòu)

4.1.4 虛擬數(shù)據(jù)空間系統(tǒng)關(guān)鍵技術(shù)

在本文建立的虛擬數(shù)據(jù)空間理論和模型的指導(dǎo)下，重點從跨域虛擬數(shù)據(jù)空間模型及構(gòu)建方法、虛擬數(shù)據(jù)空間中數(shù)據(jù)的共享與遷移方法、國家高性能計算環(huán)境中的虛擬數(shù)據(jù)空間運行支撐技術(shù)、面向典型應(yīng)用的虛擬數(shù)據(jù)空間驗證與優(yōu)化技術(shù)4個層面開展研發(fā)工作，研發(fā)了一套面向高性能計算環(huán)境的廣域數(shù)據(jù)存儲與共享的技術(shù)體系和功能體系，具體涉及的關(guān)鍵技術(shù)如圖4所示。

（1）跨域虛擬數(shù)據(jù)空間構(gòu)建方法

針對廣域分散存儲資源的統(tǒng)一管理和高效訪問需求，筆者依據(jù)虛擬數(shù)據(jù)空間理論模型，將廣域分散自治的存儲資源抽象為層次化模型，從本地、局域、廣域3個層級進(jìn)行聚合，構(gòu)建與本地數(shù)據(jù)空間一致且能可靠地統(tǒng)一訪問與管理的跨域虛擬數(shù)據(jù)空間，并定制化個人、群組、全局多級數(shù)據(jù)分區(qū)安全可靠共享，優(yōu)化跨域元數(shù)據(jù)與數(shù)據(jù)服務(wù)能力，以解決跨域分散存儲資源的統(tǒng)一管理和高效訪問問題，有效發(fā)揮資源聚合效應(yīng)。相比國外同類典型系統(tǒng)的相關(guān)技術(shù)，本文的跨域虛擬數(shù)據(jù)空間構(gòu)建方法比OneData增加了管理數(shù)據(jù)的高可用能力，比Gfarm增加了管理數(shù)據(jù)高可用和數(shù)據(jù)區(qū)域劃分能力，比CalvinFS增加了數(shù)據(jù)區(qū)域劃分、跨域數(shù)據(jù)共享和賬號安全管理能力。在性能測試中，基于本文方法構(gòu)建的跨域資源聚合層軟件模塊在聚合訪問本地單設(shè)備存儲資源、本地單超算中心局部存儲資源和跨廣域全局存儲資源方面，分別可達(dá)到直接訪問存儲資源時性能的96%、86.73%和84.3%；客戶端元數(shù)據(jù)時延比基于最近最少使用（least recently used，LRU）的替換策略、基于目錄（directory-directed prefetching，DDP）的預(yù)取策略、基于概率圖（variant probability graph，VPG）的預(yù)取策略、基于Apriori關(guān)聯(lián)規(guī)則算法的預(yù)取策略和基于語義距離算法的預(yù)取策略分別減少27.8%、32.5%、19.37%、24.96%、22.17%的平均訪問時間[23]；維護(hù)數(shù)據(jù)一致性的開銷比Raft-log減少42 ms；每秒查詢數(shù)（quer ies-per-second，QPS）比Raft-log提升36倍，也優(yōu)于MaterSlave和Tintri等系統(tǒng)，并且通過數(shù)據(jù)副本的優(yōu)化布局，本地副本命中率達(dá)到68%，遠(yuǎn)程副本訪問率下降至32%[24]。

圖4 高 性能計算虛擬數(shù)據(jù)空間關(guān)鍵技術(shù)

（2）廣域環(huán)境中的數(shù)據(jù)高效遷移方法

針對大規(guī)模高性能計算數(shù)據(jù)跨域遷移中的帶寬受限問題，筆者研發(fā)了可突破廣域帶寬受限的數(shù)據(jù)高效遷移方法，將網(wǎng)絡(luò)擁塞控制過程抽象為可部分觀察的馬爾可夫決策過程，以動態(tài)凸包和迭代加權(quán)混洗方法來決策多遷移任務(wù)的調(diào)度和傳輸帶寬分配，以多TCP流、流水線、并發(fā)傳輸?shù)刃问竭w移數(shù)據(jù)，滿足了廣域帶寬受限下的數(shù)據(jù)高效遷移需求，可有效跨域遷移數(shù)據(jù)。相比國外同類典型系統(tǒng)的相關(guān)技術(shù)，本文的廣域環(huán)境中的數(shù)據(jù)高效遷移方法基于廣域非專用網(wǎng)絡(luò)，比Gfarm和CalvinFS增加了數(shù)據(jù)可靠安全遷移能力，比GPFS增加了數(shù)據(jù)區(qū)域劃分和多副本能力；相比于盤古系統(tǒng)，本文方法的跨廣域數(shù)據(jù)遷移性能提升2.96倍。實驗表明，文件越大，本文方法的傳輸性能越好，小文件的傳輸性能也不低于網(wǎng)絡(luò)傳輸性能的35%，且網(wǎng)絡(luò)吞吐量可提高兩倍以上。

（3）廣域環(huán)境中的存算協(xié)同調(diào)度方法

針對廣域環(huán)境中計算任務(wù)與存儲資源的協(xié)同調(diào)度需求，筆者研發(fā)了廣域環(huán)境中計算任務(wù)與存儲資源的聯(lián)動調(diào)度方法，將各中心資源聚合為虛擬隊列，按計算任務(wù)和數(shù)據(jù)分布情況、集群隊列排隊情況進(jìn)行歸一化，并根據(jù)時間成本來決策計算作業(yè)與存儲資源的協(xié)同調(diào)度，以有效發(fā)揮計算與存儲資源的聯(lián)動效應(yīng)。實驗結(jié)果表明，本文的廣域環(huán)境中的存算協(xié)同調(diào)度方法可有效地提升資源使用率和計算作業(yè)的調(diào)度性能[25]。相比國外同類典型系統(tǒng)，本文方法創(chuàng)造性地提供了高性能計算環(huán)境中存儲和計算資源的協(xié)同調(diào)度及布局能力。

（4）跨域高并發(fā)數(shù)據(jù)聚合處理技術(shù)

針對虛擬數(shù)據(jù)空間中的資源異構(gòu)、數(shù)據(jù)流高并發(fā)且多源等特征，筆者研發(fā)了面向跨域高并發(fā)數(shù)據(jù)流模式的數(shù)據(jù)聚合處理技術(shù)，以代理方式跨域訪問元數(shù)據(jù)，以高并發(fā)異步亂序數(shù)據(jù)流的細(xì)粒度任務(wù)調(diào)度形式匯聚跨域多源高并發(fā)數(shù)據(jù)流，優(yōu)化面向跨域環(huán)境的I/O接口，滿足了跨域作業(yè)的高效執(zhí)行需求，可有效發(fā)揮虛擬數(shù)據(jù)空間對大型應(yīng)用跨域運行的支撐能力。相比國外同類典型系統(tǒng)，上層應(yīng)用可基于本文提供的多副本和廣域環(huán)境中的存算協(xié)同調(diào)度能力，跨域高并發(fā)訪問多源數(shù)據(jù)，實現(xiàn)數(shù)據(jù)聚合處理。相較于相關(guān)技術(shù)，上層應(yīng)用的遠(yuǎn)程數(shù)據(jù)請求率可減少38%～71%，命中率比自適應(yīng)替換緩存（adjustable replacement cache，ARC）和預(yù)取方法提升20.7%和28.8%，文件創(chuàng)建的吞吐率提升17%～93%，執(zhí)行時間減少37%。

4.2 虛擬數(shù)據(jù)空間系統(tǒng)

4.2.1 虛擬數(shù)據(jù)空間系統(tǒng)架構(gòu)

在關(guān)鍵技術(shù)研究的基礎(chǔ)上，筆者研發(fā)了面向高性能計算的虛擬數(shù)據(jù)空間系統(tǒng)GVDS，技術(shù)上覆蓋了虛擬數(shù)據(jù)空間模型和體系結(jié)構(gòu)、分散資源聚合方法、端到端數(shù)據(jù)傳輸方法、存儲與計算協(xié)同調(diào)度方法、跨節(jié)點數(shù)據(jù)聚合的I/O接口優(yōu)化等20多項關(guān)鍵技術(shù)，功能上覆蓋了全局?jǐn)?shù)據(jù)空間、跨域數(shù)據(jù)存儲、數(shù)據(jù)區(qū)域劃分、多副本等10多項重要功能。系統(tǒng)的總體架構(gòu)如圖5所示。

筆者設(shè)計了高性能計算虛擬數(shù)據(jù)空間系統(tǒng)的操作界面，包括Web和命令行，如圖6所示。

Web界面展示了運算時間、輸入輸出帶寬、容量信息、服務(wù)器、節(jié)點數(shù)量、用戶數(shù)量、總體容量等信息，以及部署的節(jié)點分布情況。命令行界面包括41條命令，如賬戶注冊命令、區(qū)域注冊命令、空間映射增加命令、管理員審批命令、用戶區(qū)域查詢命令等，命令的接口見表1。

圖5 虛擬 數(shù)據(jù)空間系統(tǒng)的總體架構(gòu)

相較國際同類領(lǐng)先系統(tǒng)，GVDS具備更完整的技術(shù)體系和功能。在技術(shù)體系上，該系統(tǒng)覆蓋了數(shù)據(jù)空間模型、跨域空間構(gòu)建、廣域數(shù)據(jù)共享等20項關(guān)鍵技術(shù)，形成了完整的技術(shù)體系；在核心功能上，該系統(tǒng)與對標(biāo)系統(tǒng)相比，有所超越，涵蓋了全局名字空間、跨域數(shù)據(jù)共享、多數(shù)據(jù)副本等10項重要功能，形成了完整的功能體系，見表2。

表1 命令接口

表2 GVDS 與國際同類系統(tǒng)的功能對比

所實現(xiàn)的虛擬數(shù)據(jù)空間符合文件系統(tǒng)的POSIX標(biāo)準(zhǔn)，可通過mount命令直接掛載，并支持多種異構(gòu)文件系統(tǒng)，目前測試通過的文件系統(tǒng)包括Lustre、Ceph、GPFS、Gluster、MooseFS、ParaStore等符合POSIX標(biāo)準(zhǔn)的文件系統(tǒng)。目前，GVDS已在國家高性能計算環(huán)境的6個廣域節(jié)點上部署，可管理PB級的跨域存儲資源，并在典型計算應(yīng)用上進(jìn)行了示范應(yīng)用。初步測試表明，在關(guān)鍵性能上，與對標(biāo)系統(tǒng)相比，該系統(tǒng)具有較大優(yōu)勢，跨域?qū)憯?shù)據(jù)和讀數(shù)據(jù)性能分別是對標(biāo)系統(tǒng)的1.3倍和1.6倍。

4.2.2 國家高性能計算環(huán)境部署

目前，筆者研發(fā)的系統(tǒng)已和國家高性能計算環(huán)境初步對接，虛擬數(shù)據(jù)空間與計算環(huán)境的訪問接口采用REST風(fēng)格的API，提供基于HTTP的國家高性能計算環(huán)境訪問接口，包括集群節(jié)點、環(huán)境應(yīng)用、環(huán)境隊列等接口，為計算服務(wù)平臺中的各類服務(wù)提供虛擬數(shù)據(jù)空間數(shù)據(jù)的查詢、訪問和傳輸。部署環(huán)境包括3個國家超級計算中心（國家超級計算廣州中心、國家超級計算濟(jì)南中心、國家超級計算長沙中心）、兩個國家網(wǎng)格主節(jié)點（中國科學(xué)院計算機(jī)網(wǎng)絡(luò)信息中心（中國國家網(wǎng)格北方主節(jié)點）、上海超級計算中心（中國國家網(wǎng)格南方主節(jié)點））。另外，也在北京航空航天大學(xué)完成部署，形成了跨廣域6個節(jié)點測試驗證環(huán)境。部署情況如圖7所示。

所有節(jié)點各部署一個管理節(jié)點，2～3個I/O代理節(jié)點，以及一套Lustre文件系統(tǒng)。目前，所部署的驗證環(huán)境已經(jīng)匯聚1.57 PB存儲空間，匯聚的各中心資源見表3。

圖7 系統(tǒng)部署情況

表3 目前部署環(huán)境已聚合的存儲資源

目前，所研發(fā)的Web界面也被集成到中國國家網(wǎng)格門戶網(wǎng)站“聚合資源運行支撐環(huán)境”AROSE平臺中，可以通過AROSE平臺進(jìn)入虛擬數(shù)據(jù)空間系統(tǒng)的Web界面。AROSE平臺集成如圖8所示。

4.3 典型應(yīng)用驗證

為了驗證虛擬數(shù)據(jù)空間對應(yīng)用的支撐效果，筆者在實驗床上開展了典型場景和應(yīng)用的測試驗證工作。典型場景包括數(shù)據(jù)區(qū)域的定制化共享、遠(yuǎn)程大數(shù)據(jù)集的按需隨機(jī)訪問、廣域分布數(shù)據(jù)的多中心協(xié)同處理、工作流作業(yè)的透明數(shù)據(jù)處理4 類，典型應(yīng)用包括生物信息學(xué)應(yīng)用、跨域目標(biāo)協(xié)同識別、天氣預(yù)報模式等。驗證方案如圖9所示，主要驗證全局統(tǒng)一視圖、存儲計算協(xié)同、廣域數(shù)據(jù)共享等重要的特色功能。

截至目前，已經(jīng)驗證了生物信息學(xué)方面的分子對接應(yīng)用、全基因組關(guān)聯(lián)分析應(yīng)用，以及天氣預(yù)報模式應(yīng)用，跨域目標(biāo)協(xié)同識別應(yīng)用還在部署中。具體應(yīng)用情況如下。

（1）分子對接應(yīng)用

分子對接應(yīng)用一般基于高通量計算框架來搜尋與受體大分子具備最佳結(jié)合模式的配體小分子，配體小分子則來自多個數(shù)據(jù)中心的用戶共享數(shù)據(jù)集。針對此場景，在筆者研發(fā)的虛擬數(shù)據(jù)空間系統(tǒng)中，分子對接應(yīng)用可透明地實現(xiàn)多中心數(shù)據(jù)聚合能力，將所有分子數(shù)據(jù)從邏輯上聚合起來，給用戶提供統(tǒng)一的數(shù)據(jù)視圖，直接以文件系統(tǒng)的形式訪問不同中心的數(shù)據(jù)，同時也可以利用存算聯(lián)動機(jī)制將計算任務(wù)合理分發(fā)到對應(yīng)數(shù)據(jù)所在的超算中心，以減少數(shù)據(jù)遷移，實現(xiàn)計算結(jié)果的自動規(guī)約。具體驗證情況如

圖10所示。

該應(yīng)用在驗證環(huán)境中的4個節(jié)點上部署，驗證結(jié)果表明，吞吐率達(dá)到了單個節(jié)點的3.07倍，有效提升了分子對接應(yīng)用的執(zhí)行效率。

圖8 AROSE 平臺集成

（2）全基因組關(guān)聯(lián)分析應(yīng)用

圖9 驗證方案

圖10 分子對接應(yīng)用驗證

全基因組關(guān)聯(lián)分析需要處理大規(guī)模數(shù)據(jù)，計算過程中會使用多個計算工具，產(chǎn)生大量階段性計算的中間文件。單個分析數(shù)據(jù)文件達(dá)數(shù)百兆，且與基因測序深度和測序人數(shù)相關(guān)，深度越大，人數(shù)越多，數(shù)據(jù)量越大，一般在幾百TB到PB級。實驗所用基因數(shù)據(jù)測序深度為0.1×?xí)r，實驗中用到的平均單個基因文件約為260 MB，測序100萬人的基因組就需要處理100萬個基因文件，數(shù)據(jù)量達(dá)幾百TB。若將測序深度提高到1×，則數(shù)據(jù)量可達(dá)PB級。此外，分析過程中用到的多個計算工具之間也不可避免地會產(chǎn)生中間文件，用于計算工具銜接和避免程序崩潰，從而在程序崩潰時不必重啟全部計算。這就使得在原有數(shù)據(jù)規(guī)模的基礎(chǔ)上，文件量又成倍地增加。如此大量的文件訪問使得元數(shù)據(jù)服務(wù)器極易擁堵，因為在分布式文件系統(tǒng)中，相比對象存儲服務(wù)器，元數(shù)據(jù)服務(wù)器更容易成為瓶頸。針對此場景，筆者在部署環(huán)境上進(jìn)行了相關(guān)實驗，具體如圖11所示。

測試中，虛擬數(shù)據(jù)空間為超算中心的生物數(shù)據(jù)庫建設(shè)提供了支撐，一方面匯聚了各超算中心用戶提供的開放數(shù)據(jù)，可供更多科研工作者共享；另一方面為應(yīng)用提供了跨多個超算中心提取數(shù)據(jù)的能力，并針對一些特定的數(shù)據(jù)查詢、匹配操作，采用存算協(xié)同機(jī)制，將計算任務(wù)分發(fā)到多個超算中心，以提高并發(fā)性。

（3）天氣預(yù)報模式應(yīng)用

天氣研究與預(yù)報（weather research and forecasting，WRF）模型是典型的中尺度天氣預(yù)報模式和同化系統(tǒng)，屬于計算密集型應(yīng)用，數(shù)據(jù)量小，但計算量大，需持續(xù)將數(shù)據(jù)輸入計算中心，而將各氣象站數(shù)據(jù)以文件傳輸方式匯聚到計算中心是一項繁雜的工作。此外，為了更精確地預(yù)測氣候變化，模式的精度和分辨率需求也在不斷提高，這使得模式的計算量大幅增加。

驗證中采用基于嵌套降尺度的WRF應(yīng)用，在需要計算的區(qū)域嵌套多層、多塊不同分辨率的網(wǎng)格，細(xì)網(wǎng)格通過相鄰粗網(wǎng)格根據(jù)細(xì)化率進(jìn)行局部加密得到，從而將中心A和中心B的計算時間重疊，縮短整體計算時間，以更好地利用各中心的閑置資源，協(xié)同完成大尺度、高分辨率的天氣預(yù)報，具體如圖12所示。

虛擬數(shù)據(jù)空間的全局虛擬視圖可將多采集點數(shù)據(jù)邏輯匯聚到虛擬數(shù)據(jù)空間，各時序任務(wù)從虛擬數(shù)據(jù)空間獲取數(shù)據(jù)。在交互時，從虛擬數(shù)據(jù)空間查看所需數(shù)據(jù)的生成及完整性，傳統(tǒng)模式則通過ssh遠(yuǎn)程查詢。通過虛擬數(shù)據(jù)空間訪問遠(yuǎn)程數(shù)據(jù)，數(shù)據(jù)的遷移和讀取可由系統(tǒng)自動完成，基于系統(tǒng)提供的存算調(diào)度能力，也可以自適應(yīng)地選擇數(shù)據(jù)向任務(wù)遷移，或者任務(wù)向數(shù)據(jù)遷移，以提高資源利用率，避免跨廣域的通信開銷。

圖11 全基因組關(guān)聯(lián)分析

4.4 系統(tǒng)性能綜合測試

為了驗證虛擬數(shù)據(jù)空間系統(tǒng)的可靠性，筆者還開展了性能綜合測試，測試模式如圖13所示。以國家超級計算濟(jì)南中心為中心，從國家超級計算長沙中心、國家超級計算廣州中心、上海超級計算中心和中國科學(xué)院計算機(jī)網(wǎng)絡(luò)信息中心以總負(fù)載壓力超過1 GB/s的多類型負(fù)載壓力對國家超級計算濟(jì)南中心進(jìn)行了為期25天的不間斷訪問。

測試采用FIO、DD等壓力測試工具，從廣域網(wǎng)中不同超算中心的多個客戶端產(chǎn)生混合負(fù)載，不間斷訪問遠(yuǎn)程中心，測試結(jié)果如圖14所示。

圖12 天氣預(yù)報模式應(yīng)用

測試中，中國科學(xué)院計算機(jī)網(wǎng)絡(luò)信息中心到國家超級計算濟(jì)南中心的吞吐量穩(wěn)定在105 MB/s左右，上海超級計算中心到中國科學(xué)院計算機(jī)網(wǎng)絡(luò)信息中心為50 MB/s左右，國家超級計算長沙中心到上海超級計算中心為35 MB/s左右，這是因為節(jié)點對間的物理帶寬不一樣。測得的節(jié)點對間廣域網(wǎng)帶寬如圖15所示。

圖13 測試模式

圖14 穩(wěn)定性測試

圖15 節(jié)點對間的廣域網(wǎng)帶寬

由于筆者研發(fā)的系統(tǒng)也提供了自適應(yīng)數(shù)據(jù)緩存、按需遠(yuǎn)程訪問、數(shù)據(jù)塊級訪問等能力，而且也對廣域網(wǎng)通信做了大量并發(fā)通信方面的優(yōu)化，測試結(jié)果基本上能保持在物理帶寬附近。這一方面表明在高負(fù)載壓力和長時間運行過程中，系統(tǒng)仍然能夠較好地保證可靠性和吞吐量的穩(wěn)定性；另一方面也表明系統(tǒng)在數(shù)據(jù)訪問和廣域網(wǎng)帶寬優(yōu)化等方面的關(guān)鍵技術(shù)行之有效。

5 討論

本文設(shè)計的虛擬數(shù)據(jù)空間系統(tǒng)架構(gòu)在國家高性能計算環(huán)境中，可統(tǒng)一管理和利用國家高性能計算環(huán)境計算和存儲資源。目前，虛擬數(shù)據(jù)空間已部署并匯聚了國家高性能計算環(huán)境5個超算中心的存儲資源，通過統(tǒng)一名字空間進(jìn)行統(tǒng)一管理。此外，也可在計算時通過存算聯(lián)動策略選擇最佳的用戶計算策略，并通過虛擬數(shù)據(jù)空間對用戶的計算作業(yè)和數(shù)據(jù)進(jìn)行調(diào)度，從而實現(xiàn)對國家高性能計算環(huán)境的資源匯聚及提升。

基于本文研究成果，預(yù)期可有效提高跨中心協(xié)同工作的效率，并推動國家高性能計算環(huán)境中大型應(yīng)用跨域計算模式的發(fā)展，同時提高全系統(tǒng)的資源利用率。無虛擬數(shù)據(jù)空間下的數(shù)據(jù)訪問方式（即當(dāng)前的跨域文件訪問方式）如圖16所示。

圖16 當(dāng)前的跨域文件訪問方式

目前對于跨廣域環(huán)境的基本文件操作，一般通過FTP、U盤郵寄、網(wǎng)絡(luò)文件系統(tǒng)、ssh訪問等方式實現(xiàn)，導(dǎo)致數(shù)據(jù)傳輸量大、時延大，且需要用戶手動通過多個賬號與各個超算中心進(jìn)行連接和登錄?；诒疚牡奶摂M數(shù)據(jù)空間，則可以通過一站式登錄遠(yuǎn)程訪問并執(zhí)行與本地訪問一致的操作，同時也可實現(xiàn)存儲和計算的協(xié)同調(diào)度及數(shù)據(jù)和作業(yè)合理全局放置，如圖17所示。

例如，在刑偵、安防等大型應(yīng)用中，搜尋和追蹤一個目標(biāo)時往往涉及跨地域的多計算中心和多數(shù)據(jù)源，利用虛擬數(shù)據(jù)空間實現(xiàn)的多中心數(shù)據(jù)聚合能力，可以給用戶提供統(tǒng)一的數(shù)據(jù)視圖，并通過存儲計算協(xié)同機(jī)制將計算任務(wù)合理分發(fā)到對應(yīng)數(shù)據(jù)所在的中心，以減少數(shù)據(jù)遷移，實現(xiàn)計算結(jié)果的自動規(guī)約。

圖17 基于虛擬數(shù)據(jù)空間的應(yīng)用訪問與計算模式

6 結(jié)束語

本文針對國家高性能計算環(huán)境中聚合廣域分散存儲資源的技術(shù)短板及大型計算應(yīng)用對跨域全局虛擬數(shù)據(jù)空間的現(xiàn)實需求，建立了一套可用于構(gòu)建廣域全局虛擬數(shù)據(jù)空間的完整技術(shù)體系，研發(fā)了一個可運行于國家高性能計算環(huán)境的虛擬數(shù)據(jù)空間系統(tǒng)。該成果從核心技術(shù)層面解決了長期困擾我國高性能計算環(huán)境發(fā)展的廣域存儲管理訪問瓶頸問題，填補(bǔ)了我國在廣域分散存儲資源統(tǒng)一管理和跨域訪問方面的技術(shù)空白，為在國家高性能計算環(huán)境中建立跨域虛擬數(shù)據(jù)空間提供了技術(shù)手段和應(yīng)用經(jīng)驗。對于推動完善我國自主高性能計算環(huán)境軟件技術(shù)體系，支撐建設(shè)資源共享、統(tǒng)一管理、高效協(xié)同的國家高性能計算環(huán)境，促進(jìn)我國高性能計算環(huán)境自主可控和可持續(xù)發(fā)展具有重要意義。

筆者的下一步工作是進(jìn)一步提升國家高性能計算環(huán)境的部署規(guī)模和系統(tǒng)的功能擴(kuò)展，并開展用戶推廣和宣傳工作，推動研究成果與現(xiàn)有國家高性能計算環(huán)境的深度融合，高效聚合廣域分散資源，充分發(fā)揮資源聚合效應(yīng)，有效支撐大型計算應(yīng)用，促進(jìn)我國高性能計算環(huán)境及應(yīng)用的可持續(xù)發(fā)展。

致謝

感謝國家重點研發(fā)計劃“高性能計算虛擬數(shù)據(jù)空間”項目團(tuán)隊的各位老師和同學(xué)，以及為項目研發(fā)提供指導(dǎo)的各位項目專家。