基于SNFS的高性能數(shù)據(jù)共享系統(tǒng)研究

左 維a,b，張舟斌a,b，耿 良a,b，李春來(lái)a,b

(中國(guó)科學(xué)院 a.國(guó)家天文臺(tái)；b.月球與深空探測(cè)重點(diǎn)實(shí)驗(yàn)室，北京 100012)

1 概述

嫦娥三號(hào)(CE-3)任務(wù)是我國(guó)探月工程二期的關(guān)鍵任務(wù)，突破了月球軟著陸、月面巡視勘察、月面生存、深空測(cè)控通信與遙操作、運(yùn)載火箭直接進(jìn)入地月轉(zhuǎn)移軌道等關(guān)鍵技術(shù)，實(shí)現(xiàn)中國(guó)首次對(duì)地外天體的直接探測(cè)。

基于嫦娥一號(hào)(CE-1)和嫦娥二號(hào)(CE-2)任務(wù)，地面應(yīng)用系統(tǒng)建立了一套集通信、網(wǎng)絡(luò)、計(jì)算、存儲(chǔ)和備份為一體的計(jì)算機(jī)業(yè)務(wù)運(yùn)行環(huán)境系統(tǒng)，為地面應(yīng)用系統(tǒng)圓滿(mǎn)完成探月工程項(xiàng)目中承擔(dān)的衛(wèi)星有效載荷在軌業(yè)務(wù)運(yùn)行管理、探測(cè)數(shù)據(jù)的接收、探測(cè)數(shù)據(jù)的存儲(chǔ)與管理、探測(cè)數(shù)據(jù)的分析與處理、以及探測(cè)數(shù)據(jù)的應(yīng)用與研究等工程任務(wù)提供了堅(jiān)實(shí)的基礎(chǔ)支持。由于CE-3任務(wù)的特殊性，地面應(yīng)用系統(tǒng)的計(jì)算機(jī)業(yè)務(wù)運(yùn)行環(huán)境系統(tǒng)需要在CE-2任務(wù)的基礎(chǔ)上進(jìn)行適應(yīng)性的改造。其中，更換原有文件共享系統(tǒng)實(shí)現(xiàn)高速數(shù)據(jù)異構(gòu)共享訪(fǎng)問(wèn)是一項(xiàng)重要的改造內(nèi)容[1]。地面應(yīng)用系統(tǒng)的數(shù)據(jù)應(yīng)用特點(diǎn)主要表現(xiàn)為數(shù)據(jù)量大、異構(gòu)共享、高性能低延時(shí)訪(fǎng)問(wèn)等，如何有效研究高性能共享文件系統(tǒng)實(shí)現(xiàn)數(shù)據(jù)基于異構(gòu)平臺(tái)的高速讀寫(xiě)訪(fǎng)問(wèn)、提高數(shù)據(jù)的讀寫(xiě)性能、降低數(shù)據(jù)讀寫(xiě)的延遲時(shí)間是本文的主要研究方向[2]。本文針對(duì)探月工程地面系統(tǒng)的應(yīng)用需求，建立了一個(gè)基于SNFS的異構(gòu)平臺(tái)高性能數(shù)據(jù)共享系統(tǒng)。

2 系統(tǒng)的需求

地面應(yīng)用系統(tǒng)是嫦娥衛(wèi)星探測(cè)數(shù)據(jù)的接收、處理、歸檔、管理、分發(fā)和應(yīng)用研究中心，其計(jì)算機(jī)業(yè)務(wù)運(yùn)行環(huán)境系統(tǒng)采用分布式體系結(jié)構(gòu)，部署于北京總部、密云地面站和昆明地面站三地，系統(tǒng)采用高性能企業(yè)級(jí)UNIX服務(wù)器構(gòu)建雙機(jī)高可用集群系統(tǒng)，并利用動(dòng)態(tài)邏輯分區(qū)技術(shù)將物理服務(wù)器劃分成運(yùn)行管理、遙科學(xué)探測(cè)、數(shù)據(jù)預(yù)處理和數(shù)據(jù)管理等對(duì)等業(yè)務(wù)邏輯分區(qū)，實(shí)現(xiàn)負(fù)載均衡調(diào)度，同時(shí)建立基于SAN(Storage Area Network)架構(gòu)的數(shù)據(jù)存儲(chǔ)系統(tǒng)，以滿(mǎn)足系統(tǒng)對(duì)海量數(shù)據(jù)的高速存取要求[3]。此外，地面應(yīng)用系統(tǒng)還在總部與密云地面站之間采用基于存儲(chǔ)系統(tǒng)的數(shù)據(jù)復(fù)制技術(shù)，建設(shè)了容災(zāi)備份系統(tǒng)，其系統(tǒng)架構(gòu)如圖1所示[4]。

圖1 地面應(yīng)用系統(tǒng)的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)

在CE-1和CE-2任務(wù)中，地面應(yīng)用系統(tǒng)建立了基于通用并行文件系統(tǒng)(General Parallel File System,GPFS)的數(shù)據(jù)共享系統(tǒng)。CE-3任務(wù)中由于增加了對(duì)月表進(jìn)行就位和巡視探測(cè)等新的工程任務(wù)，使地面應(yīng)用系統(tǒng)的業(yè)務(wù)流程變得復(fù)雜，對(duì)數(shù)據(jù)存儲(chǔ)系統(tǒng)提出了新的要求，原有系統(tǒng)已經(jīng)無(wú)法支撐多個(gè)業(yè)務(wù)系統(tǒng)之間異構(gòu)環(huán)境下的高速數(shù)據(jù)交換與共享需求。因此，在CE-3任務(wù)中實(shí)現(xiàn)多個(gè)業(yè)務(wù)系統(tǒng)在AIX、Linux以及Windows7(32位、64位)等異構(gòu)環(huán)境下高速、安全的海量數(shù)據(jù)共享訪(fǎng)問(wèn)是地面應(yīng)用系統(tǒng)建立高性能數(shù)據(jù)共享系統(tǒng)的首要目標(biāo)，同時(shí)也是地面應(yīng)用系統(tǒng)保障完成工程任務(wù)需要解決的基本關(guān)鍵技術(shù)問(wèn)題之一。經(jīng)過(guò)調(diào)研與測(cè)試，確立了基于昆騰公司的StorNext File System(SNFS)建立嫦娥三號(hào)任務(wù)地面應(yīng)用系統(tǒng)高性能數(shù)據(jù)共享系統(tǒng)的解決方案。

3 SNFS簡(jiǎn)介

3.1 SNFS的歷史與現(xiàn)狀

SNFS是昆騰公司的一個(gè)軟件產(chǎn)品，最初的名稱(chēng)為CVFS(Central Vision File System)，是MGISC(MountainGate Imaging Systems Corporation)的產(chǎn)品，只用在Windows和IRIX之間的文件共享交換。后來(lái)被ADIC(Advanced Digital Information Corporation)收購(gòu)并更名為Stornext File System，還加入了Solaris、Linux、Mac等更多的操作系統(tǒng)支持，在此期間引入國(guó)內(nèi)，并在石油、廣電、衛(wèi)星等行業(yè)得到了廣泛的應(yīng)用。2006年8月昆騰收購(gòu)了ADIC獲得了SNFS。

2012年8月15日，昆騰公司宣布推出StorNext 4.3軟件，它帶來(lái)智能化大數(shù)據(jù)管理，并提供更高的性能以及更大規(guī)模。這款最新一代的StorNext?軟件采納一個(gè)新數(shù)據(jù)庫(kù)，并最高支持10億份文件和數(shù)十PB的分層存儲(chǔ)，延伸了文件系統(tǒng)和歸檔性能的界限，其專(zhuān)有的分布式LAN客戶(hù)端技術(shù)比傳統(tǒng)NFS或CIFS協(xié)議的運(yùn)行速度快50%以上。同時(shí)增加了一些諸如歸檔攝取、活躍倉(cāng)儲(chǔ)和基于項(xiàng)目的容量管理等新的獨(dú)特功能，進(jìn)一步加強(qiáng)了大量非結(jié)構(gòu)化數(shù)據(jù)中的卷、速率和多樣性的管理[5]。

3.2 SNFS的應(yīng)用

SNFS最初主要應(yīng)用在情報(bào)和石油天然氣勘探等進(jìn)行大規(guī)模數(shù)據(jù)收集的美國(guó)政府機(jī)構(gòu)和公司，隨著媒體等行業(yè)漸漸轉(zhuǎn)變?yōu)椴捎靡詳?shù)字為主的創(chuàng)意流程，SNFS得以被廣泛應(yīng)用。StorNext在該領(lǐng)域的領(lǐng)先地位體現(xiàn)在其廣泛的應(yīng)用群上，其中包括：全球最大的廣播公司，全美四大電視廣播網(wǎng)絡(luò)，四大美國(guó)有線(xiàn)電視網(wǎng)中的三家，全球三大電影制片廠中的兩家，領(lǐng)先的后期制作、視頻編輯和數(shù)字內(nèi)容制作公司。DG公司和GeoEye公司使用昆騰的StorNext數(shù)據(jù)管理軟件來(lái)更快地把產(chǎn)品投向市場(chǎng)[6]。2012年10月，昆騰公司宣布已售出超過(guò)70000張StorNext?文件系統(tǒng)許可。

StorNext在中國(guó)的廣電、石油、航天等領(lǐng)域都得到了很好的應(yīng)用。在中國(guó)有16家電視臺(tái)采用StorNext；在石油天然氣行業(yè)，StorNext逐步成為主導(dǎo)的數(shù)據(jù)管理軟件，如大慶油田、新疆油田、吐哈油田、塔里木油田、長(zhǎng)慶油田、青海油田等油田、研究院廣泛使用。同時(shí)，StorNext在航天領(lǐng)域?yàn)轱L(fēng)云2號(hào)、嫦娥3號(hào)、測(cè)繪、減災(zāi)、遙感、環(huán)保等衛(wèi)星應(yīng)用提供了技術(shù)支撐。

3.3 SNFS的發(fā)展趨勢(shì)

StorNext在大文件的處理上有著明顯的優(yōu)勢(shì)，未來(lái)會(huì)有更多的變化在小文件(小于1 MB)管理上進(jìn)行更新，同時(shí)優(yōu)化數(shù)據(jù)檢索的性能[7]，主要包括：(1)提供豐富的數(shù)據(jù)結(jié)構(gòu)類(lèi)型、快速可壓縮的二進(jìn)制數(shù)據(jù)格式、存儲(chǔ)持久性數(shù)據(jù)的文件集、遠(yuǎn)程調(diào)用RPC的功能和簡(jiǎn)單的動(dòng)態(tài)語(yǔ)言集成功能；(2)使數(shù)據(jù)的讀和寫(xiě)在模式之下完成，減少寫(xiě)入數(shù)據(jù)的開(kāi)銷(xiāo)，同時(shí)方便動(dòng)態(tài)腳本語(yǔ)言的使用；(3)優(yōu)化客戶(hù)端和服務(wù)端通過(guò)握手協(xié)議進(jìn)行模式的交換，解決不同模式下的相同命名字段、丟失字段和附加字段等信息的一致性問(wèn)題；(4)放寬可移植操作系統(tǒng)接口(Portable Operating System Interface of Unix,POSIX)的要求，實(shí)現(xiàn)以流的形式訪(fǎng)問(wèn)文件系統(tǒng)中的數(shù)據(jù)；(5)優(yōu)化一致性模型，解決數(shù)據(jù)一致性和高吞吐量的數(shù)據(jù)訪(fǎng)問(wèn)問(wèn)題；(6)優(yōu)化任務(wù)粒度、數(shù)據(jù)分割和數(shù)據(jù)合并等工作流程與方法，提高系統(tǒng)運(yùn)行效率。

另外，StorNext未來(lái)在數(shù)據(jù)庫(kù)上也會(huì)進(jìn)行改變，如使用NoSQL分布式數(shù)據(jù)庫(kù)。同時(shí)在支持云應(yīng)用方面也會(huì)有較大的發(fā)展，為搭建云計(jì)算環(huán)境中的設(shè)備提供基本的服務(wù)，并為該平臺(tái)上的軟件開(kāi)發(fā)提供所需的API。應(yīng)用新的技術(shù)使StorNext環(huán)境中能無(wú)縫共享端到端工作流程內(nèi)的內(nèi)容，提供無(wú)縫的大數(shù)據(jù)采集和內(nèi)容歸檔，以更快的速度將內(nèi)容在工作平臺(tái)與歸檔存儲(chǔ)之間實(shí)現(xiàn)數(shù)據(jù)的遷移管理[8]。

4 系統(tǒng)的解決方案

4.1 總體架構(gòu)

本文系統(tǒng)的總體架構(gòu)如圖2所示。

圖2 數(shù)據(jù)共享系統(tǒng)總體架構(gòu)

CE-3地面應(yīng)用系統(tǒng)北京總部的內(nèi)網(wǎng)核心業(yè)務(wù)系統(tǒng)是處理、存儲(chǔ)、管理和分析嫦娥科學(xué)探測(cè)數(shù)據(jù)的核心場(chǎng)所，內(nèi)網(wǎng)核心業(yè)務(wù)系統(tǒng)所建立的數(shù)據(jù)共享系統(tǒng)根據(jù)業(yè)務(wù)等級(jí)和性能需求的不同分別在SAN和LAN(Local Area Network)的基礎(chǔ)上進(jìn)行構(gòu)建。其中，21個(gè)基于AIX操作系統(tǒng)的關(guān)鍵任務(wù)系統(tǒng)、6臺(tái)基于RedHat Linux的數(shù)據(jù)處理工作站、28臺(tái)基于Windows的圖形渲染工作站作為SAN客戶(hù)端；以及20臺(tái)基于Linux和Windows的用于數(shù)據(jù)處理分析的工作站作為DLC(Distributed LAN Client)客戶(hù)端。為了使基于LAN的客戶(hù)端能夠訪(fǎng)問(wèn)存儲(chǔ)于SAN之中的數(shù)據(jù)，將2臺(tái)Windows PC服務(wù)器配置為數(shù)據(jù)共享系統(tǒng)的SAN客戶(hù)端，同時(shí)以集群的方式作為網(wǎng)關(guān)服務(wù)器，為其他通過(guò)LAN訪(fǎng)問(wèn)數(shù)據(jù)共享系統(tǒng)的客戶(hù)端提供數(shù)據(jù)訪(fǎng)問(wèn)通道。

在系統(tǒng)架構(gòu)中，SNFS主要由元數(shù)據(jù)控制服務(wù)器、SAN客戶(hù)端、DLC客戶(hù)端與網(wǎng)關(guān)服務(wù)器等關(guān)鍵部件組成。

(1)元數(shù)據(jù)控制服務(wù)器(Mata Data Controller,MDC)：簡(jiǎn)稱(chēng)元數(shù)據(jù)服務(wù)器，MDC用于管理文件系統(tǒng)中存儲(chǔ)文件的基本屬性信息，包括文件名稱(chēng)、文件的存取時(shí)間、文件在共享存儲(chǔ)設(shè)備中的存儲(chǔ)位置等信息[9]。在實(shí)施過(guò)程中利用2臺(tái)基于Linux的工作站建立了分離的元數(shù)據(jù)服務(wù)器，用來(lái)管理和維護(hù)文件系統(tǒng)的元數(shù)據(jù)信息，并為大容量數(shù)據(jù)訪(fǎng)問(wèn)環(huán)境提供優(yōu)化的性能。同時(shí)，成對(duì)的元數(shù)據(jù)服務(wù)器可以通過(guò)一主一備的方式實(shí)現(xiàn)故障切換機(jī)制，主服務(wù)器故障會(huì)激活一系列的事件來(lái)讓備用服務(wù)器接管元數(shù)據(jù)服務(wù)職能，而這種切換過(guò)程對(duì)于具有數(shù)據(jù)訪(fǎng)問(wèn)需求的客戶(hù)端來(lái)說(shuō)是完全透明的，從而提高了系統(tǒng)的可靠性，確保業(yè)務(wù)的持續(xù)性。

(2)SAN客戶(hù)端：SAN客戶(hù)端使用高效的光纖通道協(xié)議進(jìn)行數(shù)據(jù)傳輸，其最大傳輸單元可達(dá)64個(gè)數(shù)據(jù)幀之多，這大大減少了校驗(yàn)數(shù)據(jù)所需的CPU周期，并提高了數(shù)據(jù)傳輸效率。其中大部分功能都是基于硬件實(shí)現(xiàn)的，無(wú)需對(duì)數(shù)據(jù)進(jìn)行額外的處理，從而大幅減少主機(jī)的處理開(kāi)銷(xiāo)。此外，還支持SAN客戶(hù)端采用多路徑冗余或負(fù)載均衡等功能，使SAN客戶(hù)端獲得非常高的帶寬和極穩(wěn)定的性能[10]。

(3)DLC客戶(hù)端與網(wǎng)關(guān)服務(wù)器：StorNext的DLC客戶(hù)端數(shù)據(jù)共享解決方案是其基于SAN的數(shù)據(jù)共享解決方案的一個(gè)重要補(bǔ)充，它能讓需要斷續(xù)訪(fǎng)問(wèn)或部分訪(fǎng)問(wèn)共享數(shù)據(jù)儲(chǔ)存庫(kù)的應(yīng)用程序以更低的成本連接數(shù)據(jù)共享系統(tǒng)[11]。在系統(tǒng)中，多個(gè)網(wǎng)關(guān)服務(wù)器可作為服務(wù)器集群同時(shí)為所有的計(jì)算節(jié)點(diǎn)使用，提供了高速、并發(fā)的數(shù)據(jù)訪(fǎng)問(wèn)支持，以及網(wǎng)絡(luò)數(shù)據(jù)訪(fǎng)問(wèn)鏈路的冗余和負(fù)載均衡。

4.2 異構(gòu)平臺(tái)的數(shù)據(jù)共享

在CE-3任務(wù)中，要求實(shí)現(xiàn)異構(gòu)平臺(tái)的數(shù)據(jù)共享，主要體現(xiàn)在主機(jī)、網(wǎng)絡(luò)接口和存儲(chǔ)設(shè)備等3個(gè)方面：(1)要求能夠支持異構(gòu)平臺(tái)主機(jī)(AIX、Windows和Linux等)的高速共享存儲(chǔ)；(2)要求支持多種網(wǎng)絡(luò)接口(高速低延遲的FC接口和高性能的以太網(wǎng)DLC接口)，主機(jī)可以按照性能需求自由選擇；(3)支持多種品牌和類(lèi)型的存儲(chǔ)設(shè)備(磁盤(pán)陣列、磁帶設(shè)備和網(wǎng)絡(luò)附加存儲(chǔ)等)。以SNFS搭建的數(shù)據(jù)共享系統(tǒng)很好地解決了這三方面的問(wèn)題，實(shí)現(xiàn)了異構(gòu)平臺(tái)下的數(shù)據(jù)動(dòng)態(tài)共享，同時(shí)為系統(tǒng)未來(lái)升級(jí)改造提供了更為廣泛的選擇。

StorNext通過(guò)多種機(jī)制確保異構(gòu)環(huán)境下數(shù)據(jù)的穩(wěn)定性、可靠性與安全性[12]，主要包括：

(1)令牌機(jī)制：為了確保共享文件數(shù)據(jù)的一致性，元數(shù)據(jù)服務(wù)器和異構(gòu)文件系統(tǒng)主機(jī)之間采用基于令牌的消息傳遞系統(tǒng)。SAN主機(jī)發(fā)出獲取文件信息的請(qǐng)求后，會(huì)從元數(shù)據(jù)服務(wù)器得到一個(gè)“信息”令牌。這個(gè)令牌包含著文件元數(shù)據(jù)和該文件第一個(gè)數(shù)據(jù)塊的數(shù)據(jù)。主機(jī)可以不用再發(fā)送請(qǐng)求而連續(xù)使用這個(gè)令牌，直到服務(wù)器發(fā)出一個(gè)令牌“回叫”命令。元數(shù)據(jù)服務(wù)器使用回叫機(jī)制來(lái)同步緩存，以便保證當(dāng)共享文件被一個(gè)主機(jī)改動(dòng)后，數(shù)據(jù)的一致性不被破壞。此外，文件系統(tǒng)還使用“打開(kāi)”令牌來(lái)跟蹤哪一個(gè)主機(jī)正在使用某個(gè)特定文件，使用“數(shù)據(jù)”令牌指示數(shù)據(jù)存放在哪個(gè)物理存儲(chǔ)池當(dāng)中。通過(guò)跟蹤系統(tǒng)擁有什么類(lèi)型的令牌，元數(shù)據(jù)服務(wù)器可以維護(hù)文件系統(tǒng)命名空間和元數(shù)據(jù)的一致性。

(2)鎖：在一般情況下，StorNext采用POSIX鎖，大多數(shù)POSIX鎖操作可以映射到Windows環(huán)境，以便保證垮平臺(tái)操作的一致性。當(dāng)應(yīng)用將數(shù)據(jù)寫(xiě)入一個(gè)共享文件時(shí)，元數(shù)據(jù)服務(wù)器對(duì)這個(gè)文件的鎖進(jìn)行仲裁和跟蹤，以防止其他訪(fǎng)問(wèn)這個(gè)文件的應(yīng)用更改該文件的同一部分。

(3)安全描述符：UNIX文件服務(wù)器傳統(tǒng)上采用主機(jī)配置文件或網(wǎng)絡(luò)信息服務(wù)來(lái)實(shí)現(xiàn)文件訪(fǎng)問(wèn)授權(quán)，并采用用戶(hù)、組和全局3個(gè)授權(quán)層次。而Windows則采用Windows安全參考模型，將安全標(biāo)識(shí)指定給用戶(hù)并且使用訪(fǎng)問(wèn)控制列表來(lái)控制對(duì)對(duì)象的訪(fǎng)問(wèn)權(quán)限。StorNext對(duì)以上2種授權(quán)模式都提供了支持，它使用安全描述符作為文件對(duì)象的屬性，該屬性結(jié)合了2種模型的屬性，并且自動(dòng)地將它們一一對(duì)應(yīng)起來(lái)：對(duì)于UNIX主機(jī)，它與網(wǎng)絡(luò)信息服務(wù)模型配合工作；對(duì)于Windows主機(jī)，它支持Windows安全模式，從而保證基于Windows的應(yīng)用可以不用修改就能正常運(yùn)行。

(4)限額：限額機(jī)制用來(lái)限制某些用戶(hù)、組或特定目錄使用文件系統(tǒng)的空間。一旦一個(gè)用戶(hù)或組達(dá)到了空間使用的最大限額，對(duì)該用戶(hù)或組來(lái)看，文件系統(tǒng)已經(jīng)沒(méi)有存儲(chǔ)空間了，只能尋求系統(tǒng)管理人員的幫助。目錄空間限額可針對(duì)工作組或特定應(yīng)用實(shí)現(xiàn)，允許不同用戶(hù)存儲(chǔ)數(shù)據(jù)到配置限額的目錄，當(dāng)達(dá)到限定的空間時(shí)，目錄中就不再允許寫(xiě)入數(shù)據(jù)。限額對(duì)于采用策略進(jìn)行空間分配非常有用。

(5)日志：StorNext是一個(gè)日志型文件系統(tǒng)，它跟蹤所有文件系統(tǒng)結(jié)構(gòu)改變的信息，并把它們記錄在一個(gè)日志當(dāng)中。對(duì)于共享文件系統(tǒng)，日志提供了一個(gè)有用的、基于交易模式的機(jī)制，以保證在出現(xiàn)意外時(shí)系統(tǒng)的一致性。

4.3 數(shù)據(jù)共享的性能實(shí)現(xiàn)

在CE-3任務(wù)中，多業(yè)務(wù)系統(tǒng)的協(xié)同處理、各應(yīng)用之間頻繁而大量的數(shù)據(jù)交換，都對(duì)數(shù)據(jù)共享系統(tǒng)提出了嚴(yán)苛的性能要求，尤其是遙科學(xué)探測(cè)分系統(tǒng)大量的基于Windows和Linux的業(yè)務(wù)應(yīng)用需要高速的數(shù)據(jù)吞吐和數(shù)據(jù)交換能力?；赟torNext的文件共享通過(guò)將Windows和Linux主機(jī)服務(wù)器作為SAN客戶(hù)端或DLC客戶(hù)端，實(shí)現(xiàn)了Windows和Linux主機(jī)服務(wù)器的高速訪(fǎng)問(wèn)，主要通過(guò)以下3種技術(shù)手段為性能提供了保障[13-15]：

(1)條帶化：為提高I/O性能，通過(guò)在普通磁盤(pán)陣列上創(chuàng)建條帶化卷組，實(shí)現(xiàn)在多個(gè)物理設(shè)備上交叉存儲(chǔ)數(shù)據(jù)，且可以跨越多個(gè)磁盤(pán)控制器或光纖適配器。采用條帶化處理大規(guī)模、順序讀寫(xiě)的I/O操作可以通過(guò)并行數(shù)據(jù)傳輸將單獨(dú)設(shè)備的性能聚集起來(lái)，非常適合于CE-3任務(wù)的I/O流特點(diǎn)。

(2)服務(wù)質(zhì)量(QoS)：為了確保核心的業(yè)務(wù)應(yīng)用能夠得到最優(yōu)的I/O帶寬，分析了各個(gè)系統(tǒng)和應(yīng)用對(duì)帶寬預(yù)留的需求，并根據(jù)業(yè)務(wù)等級(jí)和關(guān)鍵性對(duì)那些實(shí)時(shí)和關(guān)鍵的應(yīng)用實(shí)施了QoS設(shè)置，以在I/O操作高峰期時(shí)阻止其他文件系統(tǒng)主機(jī)訪(fǎng)問(wèn)數(shù)據(jù)，從而為關(guān)鍵業(yè)務(wù)應(yīng)用提供了性能保證，避免了應(yīng)用軟件由于I/O競(jìng)爭(zhēng)而造成任務(wù)流程的阻塞。

(3)緩沖和直接輸入/輸出：緩沖I/O方式可以提高那些經(jīng)常重新使用某特定數(shù)據(jù)的應(yīng)用的性能，而直接I/O方式對(duì)于大量數(shù)據(jù)的傳輸效果更好，因?yàn)檫@樣能夠消除文件系統(tǒng)對(duì)內(nèi)存分配的需求。StorNext可以根據(jù)應(yīng)用的讀寫(xiě)模式和當(dāng)前緩沖的利用率決定什么時(shí)候系統(tǒng)緩存可以增強(qiáng)單獨(dú)的寫(xiě)操作。在系統(tǒng)實(shí)施過(guò)程中，根據(jù)CE-3任務(wù)的數(shù)據(jù)類(lèi)型和特點(diǎn)，靈活地選擇緩沖或直接I/O模式，最大限度地提高不同業(yè)務(wù)系統(tǒng)的數(shù)據(jù)讀寫(xiě)性能。

5 測(cè)試與結(jié)果分析

分別在CE-1、CE-2和CE-3的數(shù)據(jù)共享系統(tǒng)實(shí)施過(guò)程中，對(duì)系統(tǒng)進(jìn)行性能測(cè)試。為了盡可能模擬真實(shí)業(yè)務(wù)流程下的數(shù)據(jù)讀寫(xiě)能力，在對(duì)系統(tǒng)進(jìn)行常規(guī)的讀寫(xiě)性能測(cè)試外，還根據(jù)任務(wù)執(zhí)行過(guò)程中的數(shù)據(jù)流特點(diǎn)，著重進(jìn)行了多主機(jī)并發(fā)訪(fǎng)問(wèn)下的數(shù)據(jù)讀寫(xiě)性能測(cè)試。

在嫦娥一號(hào)任務(wù)中，測(cè)試環(huán)境包括1臺(tái)磁盤(pán)陣列(EMC CX700)、2臺(tái)光纖交換機(jī)(EMC DS4700M2)和2臺(tái)UNIX服務(wù)器(IBM P5-570)。2臺(tái)UNIX服務(wù)器采用雙機(jī)高可用方式，每臺(tái)UNIX服務(wù)器分為3個(gè)分區(qū)，共有6個(gè)主機(jī)，主機(jī)操作系統(tǒng)為AIX5.3/HACMP5.2，共享文件系統(tǒng)為GPFS。在6臺(tái)主機(jī)上同時(shí)執(zhí)行命令：＃time dd if=/dev/zero bs=1m of=./test1 count=2000和＃time dd if=/dev/zero bs=1m of=./test 2 count=2000，讀寫(xiě)數(shù)據(jù)文件大小為2 GB，共執(zhí)行3次。

在嫦娥二號(hào)任務(wù)中，測(cè)試環(huán)境包括2臺(tái)磁盤(pán)陣列(EMC CX700和EMC CX4-480)、2臺(tái)光纖交換機(jī)(EMC DS5100 B)、2臺(tái)UNIX服務(wù)器(IBM P6-570)和6臺(tái)工作站(HP Z800)。其中，2臺(tái)UNIX服務(wù)器采用雙機(jī)高可用方式，每臺(tái)UNIX服務(wù)器分為5個(gè)分區(qū)，共有10個(gè)主機(jī)，主機(jī)操作系統(tǒng)為AI X6.1/HACMP5.5，工作站的操作系統(tǒng)為RedHat 5.2，共享文件系統(tǒng)為GPFS 3.3。在10臺(tái)主機(jī)和6臺(tái)Linux工作站上同時(shí)執(zhí)行命令：＃time dd if=/dev/zero bs=1m of=./test1 count=20000和＃time dd if=/dev/zero bs=1m of=./test2 count=20000，讀寫(xiě)數(shù)據(jù)文件大小為20 GB，共執(zhí)行3次。

在嫦娥三號(hào)任務(wù)中，測(cè)試環(huán)境包括1臺(tái)磁盤(pán)陣列(EMC CX4-480)、2臺(tái)光纖交換機(jī)(EMC DS5700B)和2臺(tái)UNIX服務(wù)器(IBM P6-570)。其中，2臺(tái)UNIX服務(wù)器采用雙機(jī)高可用方式，每臺(tái)UNIX服務(wù)器分為5個(gè)分區(qū)，共有10個(gè)主機(jī)，主機(jī)操作系統(tǒng)為AIX6.1/HACMP5.5，共享文件系統(tǒng)為StorN extFS 4.2.2。在10臺(tái)主機(jī)上對(duì)多個(gè)不同大小的文件分別進(jìn)行同時(shí)讀寫(xiě)：＃iozone-w-I-t 5-i 0-s 5000M-r 1M和＃iozone-w-I-t 5-i 1-s 5000M-r 1M，文件大小參數(shù)視主機(jī)而定，讀寫(xiě)數(shù)據(jù)文件大小為20 GB，共執(zhí)行3次。

由于這3個(gè)任務(wù)的數(shù)據(jù)共享系統(tǒng)是在不同時(shí)期建立的，時(shí)間跨度較大(2006年－2012年)，因此測(cè)試所依存的系統(tǒng)環(huán)境以及所采用的方法存在著一定的差異性，但考慮到業(yè)務(wù)的同向性，這種差異并不妨礙本文對(duì)數(shù)據(jù)共享系統(tǒng)的讀寫(xiě)性能做出判斷和分析[16]。3個(gè)不同階段數(shù)據(jù)共享系統(tǒng)的性能測(cè)試結(jié)果如圖3～圖8所示。

圖3 CE-1任務(wù)共享文件系統(tǒng)寫(xiě)性能的測(cè)試結(jié)果

圖4 CE-1任務(wù)共享文件系統(tǒng)讀性能的測(cè)試結(jié)果

圖5 CE-2任務(wù)共享文件系統(tǒng)寫(xiě)性能的測(cè)試結(jié)果

圖6 CE-2任務(wù)共享文件系統(tǒng)讀性能的測(cè)試結(jié)果

圖7 CE-3任務(wù)共享文件系統(tǒng)寫(xiě)性能的測(cè)試結(jié)果

圖8 CE-3任務(wù)共享文件系統(tǒng)讀性能的測(cè)試結(jié)果

3個(gè)階段的總體性能測(cè)試結(jié)果如表1所示，將所有參加并發(fā)讀寫(xiě)測(cè)試服務(wù)器的讀速度和寫(xiě)速度進(jìn)行累加，得到總速度作為I/O性能指標(biāo)來(lái)衡量數(shù)據(jù)共享系統(tǒng)的整體性能表現(xiàn)。從測(cè)試結(jié)果看，由于CE-2數(shù)據(jù)共享系統(tǒng)在測(cè)試過(guò)程中采用16臺(tái)服務(wù)器對(duì)2臺(tái)磁盤(pán)陣列進(jìn)行并發(fā)讀寫(xiě)訪(fǎng)問(wèn)，相比于CE-3采用10臺(tái)服務(wù)器對(duì)1臺(tái)磁盤(pán)陣列進(jìn)行并發(fā)讀寫(xiě)訪(fǎng)問(wèn)，性能明顯優(yōu)異，但若扣除由于磁盤(pán)陣列和讀寫(xiě)服務(wù)器數(shù)量較多所帶來(lái)的性能優(yōu)勢(shì)，同時(shí)考慮圖3中CE-2任務(wù)中寫(xiě)性能可能由于緩存的影響而給部分服務(wù)器帶來(lái)的性能上的突升，認(rèn)為CE-3基于SNFS建立的數(shù)據(jù)共享系統(tǒng)在整體性能得到了穩(wěn)步提升。在實(shí)際使用過(guò)程中，CE-3任務(wù)所建立的數(shù)據(jù)共享系統(tǒng)表現(xiàn)了較為出色的異構(gòu)環(huán)境下的數(shù)據(jù)共享能力，滿(mǎn)足支持更復(fù)雜、更苛刻數(shù)據(jù)共享和處理的應(yīng)用要求。

表1 數(shù)據(jù)共享系統(tǒng)性能測(cè)試結(jié)果(MB·s-1)

6 結(jié)束語(yǔ)

隨著月球探測(cè)工程的不斷深入、各類(lèi)應(yīng)用的不斷增多以及探測(cè)數(shù)據(jù)量的不斷累積，對(duì)系統(tǒng)的計(jì)算機(jī)應(yīng)用架構(gòu)提出了更高的要求。實(shí)現(xiàn)多種異構(gòu)平臺(tái)下的數(shù)據(jù)共享以及海量數(shù)據(jù)的高性能低延時(shí)讀寫(xiě)訪(fǎng)問(wèn)，是一個(gè)較為復(fù)雜的問(wèn)題，采用本文技術(shù)方案可以有效地解決深空探測(cè)任務(wù)中基于大數(shù)據(jù)的多種異構(gòu)平臺(tái)數(shù)據(jù)共享和高效訪(fǎng)問(wèn)問(wèn)題。在實(shí)際應(yīng)用中，該方案與研究成果也得到了很好的驗(yàn)證，系統(tǒng)性能穩(wěn)定滿(mǎn)足工程要求。由于CE-3任務(wù)的業(yè)務(wù)流程高度復(fù)雜以及后續(xù)深空探測(cè)任務(wù)的需求多變，因此針對(duì)具體業(yè)務(wù)的特點(diǎn)對(duì)系統(tǒng)進(jìn)行精細(xì)化的調(diào)整和優(yōu)化是后續(xù)的工作重點(diǎn)。

[1]月球與深空探測(cè)研究部.探月工程二期地面應(yīng)用系統(tǒng)嫦娥三號(hào)任務(wù)總部計(jì)算機(jī)系統(tǒng)改造方案[R].北京:中國(guó)科學(xué)院國(guó)家天文臺(tái),技術(shù)報(bào)告:CE-3-DMS-FASJ-001,2011.

[2]郭 潔.近線(xiàn)存儲(chǔ)異構(gòu)播出平臺(tái)的研究與實(shí)現(xiàn)[D].廣州:華南理工大學(xué),2011.

[3]Butler G,Lee R,Welcome M.GUPFS:The Global Unified Parallel File System Project at NERSC[R].Berkeley,USA:National Energy Research Scientific Computing Center Lawrence Berkeley National Laboratory,Tech.Rep.:MSST2004-41,2004.

[4]月球與深空探測(cè)研究部.探月工程二期地面應(yīng)用系統(tǒng)嫦娥三號(hào)任務(wù)總部計(jì)算機(jī)系統(tǒng)集成實(shí)施方案與計(jì)劃[R].北京:中國(guó)科學(xué)院國(guó)家天文臺(tái),技術(shù)報(bào)告:CE-3-GRAS-YSWJ-001,2012.

[5]Quantum Corp..StorNext Technical Product Brief[EB/OL].(2011-02-01).http://salestools.quantum.com/getDocERetriever.cfm?filename=%2A%2BRC%5CT%5E%40%3AX4%3A2GP%20%20%0A&loc=2&ext=.pdf&type_mime=undefined.

[6]Quantum Corp..Faster Processing Helps Digital Globe at GoogleEarth[EB/OL].(2006-02-01).http://www.quantum.com/iqdoc/doc.aspx?id=5333.

[7]Perry R,Nadkami A.展示StorNext的商業(yè)價(jià)值[EB/OL].(2012-08-01).http://www.quantum.com/cn/products/software/stornext/index.aspx.

[8]劉 杰.昆騰大數(shù)據(jù):磁帶重生磁盤(pán)主導(dǎo)[EB/OL].(2013-06-03). http://stor-age.zdnet.com.cn/stor-age/2013/0603/2162361.shtml.

[9]Quantum Corp..Extended Data Life Management:Protecting Data over Long Periods of Time[EB/OL].(2011-11-01).http://www.quantum.com/products/bigdatamanagement/storne xtael/index.aspx.

[10]Shu Jiwu,Li Bigang,Zheng Weimin.Design and Implementation of an SAN System Based on the Fiber Channel Protocol[J].IEEE Transactions on Computers,2005,54(4):439-448.

[11]Quantum Corp..StorNext 4.0 Technical Product Brief[EB/OL].(2011-02-01).http://www.dscon.ru/quantumdocs/quantum_stor next_4.pdf.

[12]張雪冰,張延園.SAN異構(gòu)存儲(chǔ)共享系統(tǒng)實(shí)現(xiàn)技術(shù)研究[J].計(jì)算機(jī)工程,2006,32(3):105-107.

[13]Villars R L,Regula B.Quantum StorNext:High-performance Scale-out File System Solution Large Data Types[R].San Jose,USA:Quantum Corp.,Tech.Rep.:IDC#230916,2011.

[14]Quantum Corp..A Fast File System Just Keeps on Getting Faster[R].San Jose,USA:Quantum Corp.,Tech.Rep.:PB00039A-v01,2011.

[15]Palmer T,Garrett B.Quantum StorNext 3.0 High Performance Workflow and Digital Archiving,A Validation Study by ESG Lab[EB/OL].(2007-05-01).http://www.esg-global.com/default/?LinkServID=E421EBBC-DAF6-3D47-D36CB76B4C108113.

[16]楊 進(jìn),魏軼偉,賈惠波,等.存儲(chǔ)區(qū)域網(wǎng)的性能測(cè)試[J].計(jì)算機(jī)工程,2003,29(16):43-44.