面向科研領(lǐng)域的分布式對象存儲系統(tǒng)①

王錦濤,張海明

1(中國科學(xué)院計算機(jī)網(wǎng)絡(luò)信息中心,北京 100190)

2(中國科學(xué)院大學(xué),北京 100049)

1 概述

現(xiàn)代科學(xué)研究中,數(shù)據(jù)密集型的科學(xué)研究產(chǎn)生越來越多的數(shù)據(jù),科學(xué)大數(shù)據(jù)對數(shù)據(jù)采集、數(shù)據(jù)處理、數(shù)據(jù)保存、數(shù)據(jù)共享等提出了巨大的挑戰(zhàn)[1].在這種背景下,傳統(tǒng)的單節(jié)點數(shù)據(jù)存儲顯然無法滿足需求,其傳輸速度慢、存儲周期短、災(zāi)備容錯率低、傳輸共享性差等問題制約著海量數(shù)據(jù)的高效存儲和應(yīng)用.對象存儲系統(tǒng)以其在可伸縮性、易用性、可靠性和低成本等方面的優(yōu)勢而成為應(yīng)對這些挑戰(zhàn)的很有前途的解決方案,因而得到日益廣泛的應(yīng)用[2].

在中科院戰(zhàn)略性先導(dǎo)科技專項地球大數(shù)據(jù)科學(xué)工程中,提出了實現(xiàn)200臺存儲服務(wù)器節(jié)點總計20 PB存儲容量的穩(wěn)定、高效、安全和高可用的存儲系統(tǒng)需求.傳統(tǒng)的數(shù)據(jù)存儲主要依托于分布式的文件系統(tǒng),例如Lusture[3]、GPFS[4]、PVFS[5]、Panasas[6]等,其遵循POSIX 存儲語義進(jìn)行存儲空間的組織和數(shù)據(jù)訪問,功能完備,系統(tǒng)設(shè)計復(fù)雜[7],樹狀的目錄便于文件的查看和管理,但是當(dāng)數(shù)據(jù)量不斷增大時,龐大的樹狀目錄結(jié)構(gòu)會給系統(tǒng)帶來巨大的元數(shù)據(jù)管理的開銷,每次文件的讀取和移動操作都需要與元數(shù)據(jù)服務(wù)器進(jìn)行交互,導(dǎo)致訪問效率低下.同時,元數(shù)據(jù)與文件內(nèi)容共存于同一存儲物理結(jié)構(gòu)內(nèi),導(dǎo)致數(shù)據(jù)形式的耦合性高,不利于存儲節(jié)點的擴(kuò)展.此外,文件系統(tǒng)的訪問形式和傳輸工具也比較單一,通過NFS或者CIFS網(wǎng)絡(luò)協(xié)議掛載,認(rèn)證方式單一,共享效率低下,無法滿足多種科研計算環(huán)境下的訪問和獲取需求.

對象存儲技術(shù)自2000年左右被提出來以后[8],隨著大數(shù)據(jù)行業(yè)的蓬勃發(fā)展,該技術(shù)被廣泛應(yīng)用到各種存儲需求領(lǐng)域,開源領(lǐng)域有Ceph[9]、Gluster[10]和OpenStack Swift[11]等及其成熟的對象存儲底層存儲項目,這些開源項目在近些年持續(xù)高漲的火熱,也印證了該技術(shù)的可行性和科學(xué)性,同時推動了對象存儲技術(shù)的廣泛應(yīng)用.在工業(yè)領(lǐng)域,云計算鼻祖Amazon在2006年提出S3[12]對象存儲平臺后,徹底改變了IT 存儲領(lǐng)域.但是在追求相對安全、擴(kuò)展性和靈活性的科研存儲領(lǐng)域,單一地采用商業(yè)公有云存儲或開源框架明顯不能滿足需求,公有云對象存儲服務(wù)存在安全性和擴(kuò)展性方面的劣勢,開源軟件則在功能服務(wù)性上過于基礎(chǔ)化和單一化,表1給出了兩者的優(yōu)缺點對比.

表1 商業(yè)對象存儲服務(wù)和開源對象存儲框架對比

在大型科研領(lǐng)域中,考慮到數(shù)據(jù)的絕對的安全性和私有性,項目組一般擁有一定規(guī)模的私有物理服務(wù)器集群,因此選擇共有云對象存儲無法成為有意義的方案.針對以上需求和現(xiàn)狀,i-Harbor 結(jié)合兩種存儲方案的優(yōu)勢,將靈活可擴(kuò)展的開源對象存儲框架作為底層存儲引擎,設(shè)計獨立的元數(shù)據(jù)管理模塊,提供功能完善、可控性強(qiáng)的對象存儲架構(gòu),同時設(shè)計獨立的業(yè)務(wù)管理模塊、數(shù)據(jù)傳輸功能模塊、權(quán)限認(rèn)證模塊等,提供符合公有云對象存儲業(yè)界標(biāo)準(zhǔn)的可定制化的服務(wù),增強(qiáng)功能可交互性,提升產(chǎn)品用戶體驗.

綜上,i-Harbor 擁有以幾方面的下技術(shù)優(yōu)勢:

(1)對象存儲的核心思路是將文件中的內(nèi)容和元數(shù)據(jù)進(jìn)行分離,分為控制節(jié)點+數(shù)據(jù)節(jié)點.將數(shù)據(jù)內(nèi)容以對象的形式存儲到分布式的數(shù)據(jù)節(jié)點中,此外搭建若干控制節(jié)點,通過軟件管理分布式的內(nèi)容數(shù)據(jù)集群,同時,控制節(jié)點也存儲元數(shù)據(jù),元數(shù)據(jù)主要負(fù)責(zé)存儲對象的屬性(所屬數(shù)據(jù)節(jié)點、創(chuàng)建時間、長度大小等).元數(shù)據(jù)與對象數(shù)據(jù)存儲資源實現(xiàn)邏輯隔離,降低了存儲形式的耦合性,提高了物理存儲資源的利用率;

(2)對象存儲結(jié)合塊存儲和文件存儲各自的優(yōu)勢,同時克服共同的缺陷.塊存儲讀寫快,不利于共享,文件存儲讀寫慢,利于共享.因此將數(shù)據(jù)切分為二,元數(shù)據(jù)軟件控制節(jié)點避免了樹狀目錄在傳輸中的效率低的問題,對象形式的扁平化數(shù)據(jù)內(nèi)容存儲提高了數(shù)據(jù)的讀寫效率;

(3)科研數(shù)據(jù)不僅僅需要靜態(tài)穩(wěn)定的存儲,也需要動態(tài)的分享和下載,通過元數(shù)據(jù)服務(wù)器中對每個對象位置和目錄結(jié)構(gòu)的記錄,分散地到分布式中讀取數(shù)據(jù)內(nèi)容,直接將分片好的數(shù)據(jù)內(nèi)容以字節(jié)流的形式通過HTTP或FTP網(wǎng)絡(luò)傳輸協(xié)議等方式獲取,極大地提高了數(shù)據(jù)的共享效率和便捷性;

(4)系統(tǒng)采用硬盤陣列的raid多副本技術(shù)[13]、Ceph集群的糾刪碼[14]恢復(fù)技術(shù)和元數(shù)據(jù)數(shù)據(jù)庫MongoDB的副本集[15]策略,避免了集群單點故障,提高了數(shù)據(jù)存儲的安全性,在實現(xiàn)分布式集群可擴(kuò)展性的同時,提高了集群的容災(zāi)性能.

2 系統(tǒng)設(shè)計

i-Harbor是一個對象存儲為核心功能的分布式存儲系統(tǒng),主要包含數(shù)據(jù)對象存儲集群Ceph、元數(shù)據(jù)存儲集群MongoDB、Web數(shù)據(jù)管理系統(tǒng)、FTP和HTTP傳輸接口、Zabbix[16]集群參數(shù)監(jiān)控系統(tǒng)等模塊,圖1為系統(tǒng)整體架構(gòu)設(shè)計.

圖1 i--Harbor系統(tǒng)架構(gòu)圖

2.1 業(yè)務(wù)管理系統(tǒng)

該模塊主要負(fù)責(zé)為用戶提供管理數(shù)據(jù)的主要入口,包含用戶管理、數(shù)據(jù)上傳和下載、文件權(quán)限管理、數(shù)據(jù)共享等主要功能,通過高效率的MVC 開發(fā)框架Django 實現(xiàn).功能邏輯上,以bucket作為數(shù)據(jù)在物理資源的唯一劃分單位,同時也是數(shù)據(jù)上傳、下載、共享的邏輯單元,在每一個bucket 內(nèi)部,用戶可以創(chuàng)建不限量的文件夾和上傳數(shù)據(jù)文件,以此模擬出文件系統(tǒng)的樹狀目錄結(jié)構(gòu),方便用戶管理和共享.此外,該模塊實現(xiàn)了用戶對API和FTP數(shù)據(jù)接口的權(quán)限認(rèn)證和密鑰獲取,方便用戶在大規(guī)模批量地上傳和獲取數(shù)據(jù)場景下?lián)碛蟹€(wěn)定、高效的數(shù)據(jù)讀寫接口.

2.2 元數(shù)據(jù)管理

在i-Harbor系統(tǒng)中,元數(shù)據(jù)負(fù)責(zé)記錄用戶存儲的數(shù)據(jù)的具體信息,包含名稱、大小、創(chuàng)建時間、修改時間、所在目錄等信息.只有元數(shù)據(jù)分配更加平均,才能使得集群資源得到充分利用,元數(shù)據(jù)服務(wù)器之間的負(fù)載達(dá)到均衡,從而提高系統(tǒng)的性能[17].因此采用開源數(shù)據(jù)庫MongoDB,它是一個高性能、面向文檔式的分布式架構(gòu)數(shù)據(jù)庫,適用于大尺寸海量數(shù)據(jù)存儲場景,擁有高度擴(kuò)展和伸縮、低容災(zāi)性的特點,非常適合該系統(tǒng).

在元數(shù)據(jù)管理模型中,每個存儲桶bucket作為一個collection,上述具體信息作為field,每一個document為用戶上傳的一個文件記錄,利用系統(tǒng)的ObjectId作為數(shù)據(jù)庫主鍵,也是該條數(shù)據(jù)在對象數(shù)據(jù)管理模型中的唯一標(biāo)識,通過它來尋找數(shù)據(jù)對象內(nèi)容的具體存儲地址.

i-Harbor 充分利用MongoDB 原生的分布式性能,搭建主+從+仲裁節(jié)點的副本集存儲集群,避免了存儲集群的單點故障,同時,利用sharding 分片機(jī)制,根據(jù)field 特點選擇對id字段進(jìn)行Hash 分片,使所有document隨機(jī)、均勻地分布在所有的mongod 存儲節(jié)點,實現(xiàn)了負(fù)載均衡,同時在增加節(jié)點時通過內(nèi)部的數(shù)據(jù)遷移機(jī)制,實現(xiàn)了高度擴(kuò)展的分布式特點,大大提高了存儲效率.

2.3 對象數(shù)據(jù)管理

作為i-Harbor的存儲核心,對象數(shù)據(jù)存儲管理依賴于開源的分布式對象存儲系統(tǒng)Ceph.Ceph是在存儲領(lǐng)域應(yīng)用最廣泛的可持續(xù)化存儲系統(tǒng),主要包含對象網(wǎng)關(guān)RWG、塊存儲RBD和文件存儲CephFS 三大功能模塊,其底層依賴rados 對象作為數(shù)據(jù)的基本存儲單元,通過每一個數(shù)據(jù)文件的唯一標(biāo)識符uuid,經(jīng)過原生的crush數(shù)據(jù)尋址算法計算出所在的存儲池和存儲設(shè)備,充分利用了存儲節(jié)點的計算能力,實現(xiàn)了高度可擴(kuò)展的對象數(shù)據(jù)存儲策略.

i-Harbor 利用Ceph 中的核心庫librados,通過內(nèi)存的字節(jié)流讀寫,將數(shù)據(jù)寫入rados 對象且從中獲取數(shù)據(jù)實現(xiàn)文件的上傳和下載.在該模塊中,用戶通過業(yè)務(wù)管理模塊中的數(shù)據(jù)目錄和元數(shù)據(jù)記錄獲取數(shù)據(jù)的唯一標(biāo)識符uuid,通過Ceph的monitor發(fā)送給OSD,經(jīng)過crush的數(shù)據(jù)尋址算法找到對應(yīng)的rados 存儲位置,獲取對應(yīng)數(shù)據(jù)并經(jīng)過對應(yīng)接口返回給客戶端,以此來完成數(shù)據(jù)讀寫的主要IO.

在該模塊中,為了保證對象數(shù)據(jù)存儲的安全性,設(shè)計了糾刪碼的冗余技術(shù),在測試實驗環(huán)境中采取16+4的糾刪碼策略,即在不超過五分之一的數(shù)據(jù)丟失損壞后可以利用其他完好的數(shù)據(jù)通過對應(yīng)的矩陣算法恢復(fù)出丟失數(shù)據(jù),這種策略在保證數(shù)據(jù)安全性的同時極大的提高了資源的利用率,同時配合實際物理環(huán)境中的raid多副本備份技術(shù),最大程度避免了單一故障,提高了集群的容災(zāi)性.

2.4 數(shù)據(jù)接口管理

在業(yè)務(wù)管理系統(tǒng)中,用戶可以通過Web界面在線上傳文件、刪除文件、下載文件以及共享文件,非常方便快捷,但是在大規(guī)模的數(shù)據(jù)上傳和下載場景下,這種模式顯然效率極低,在科研環(huán)境中大部分的數(shù)據(jù)讀寫都是大批量進(jìn)行的,為此設(shè)計了API和FTP 兩種數(shù)據(jù)接口形式.API為RESTFul 形式接口,遵循基于HTTP協(xié)議的接口標(biāo)準(zhǔn)形式,用戶通過Token、JWT或密鑰對等多種認(rèn)證形式連接到i-Harbor,進(jìn)行數(shù)據(jù)的上傳下載.FTP 工具是基于開源的Pyftplib庫實現(xiàn),用戶以每個存儲桶為操作單位,通過對應(yīng)的密碼連接到bucket文件目錄,從而實現(xiàn)客戶端與服務(wù)端文件同步顯示的功能,方便用戶上傳和下載.

2.5 其他模塊

為滿足整體系統(tǒng)健壯性,配合以上主要模塊穩(wěn)定運行,設(shè)計以下其他模塊:

(1)Nginx 反向代理:將用戶通過HTTP的請求按照輪詢機(jī)制反向代理到集群中的django 業(yè)務(wù)管理系統(tǒng)節(jié)點,實現(xiàn)訪問負(fù)載均衡;

(2)Zabbix集群監(jiān)控體系:監(jiān)控所有物理節(jié)點CPU、內(nèi)存運行情況和網(wǎng)絡(luò)負(fù)載等參數(shù),以及MongoDB和Ceph集群各節(jié)點數(shù)據(jù)讀寫速率,保證系統(tǒng)平臺高可用性;

(3)數(shù)據(jù)歸檔備份:對于超過一定年限的數(shù)據(jù),定時備份歸檔到存儲成本更低的磁帶庫集群,保證物理資源中高速讀寫硬盤的有效利用.

3 關(guān)鍵技術(shù)

3.1 MongoDB 副本+分片集群

在2.2 元數(shù)據(jù)管理模塊中,利用MongoDB分布式數(shù)據(jù)庫作為元數(shù)據(jù)的存儲引擎,并依賴副本集合分片機(jī)制保證數(shù)據(jù)的安全性和均勻分布.在i-Harbor集群環(huán)境中,搭建了一個30個物理節(jié)點的分片鍵+副本集的MongoDB集群.本節(jié)將其約分為3個節(jié)點,介紹其中關(guān)鍵技術(shù).

共3個節(jié)點,分為3個shard,3個節(jié)點分別為mongo01、mongo02和mongo03,mongo01和mongo02節(jié)點上包含入口服務(wù)mongos,在mongo03節(jié)點上包含配置服務(wù)config.由于物理磁盤已做raid多副本備份,考慮到存儲效率,主需要一個MongoDB 備服務(wù)器,所以采用1 主+1 備+1 仲裁的集群節(jié)點分布策略(仲裁節(jié)點負(fù)責(zé)在主服務(wù)器宕機(jī)情況下通過心跳機(jī)制將備服務(wù)器升級為主服務(wù)器),表2給出了集群具體各個節(jié)點服務(wù)分布.

表2 MongoDB集群節(jié)點規(guī)劃表

表3給出了各服務(wù)端口分配情況.

表3 MongoDB集群各服務(wù)端口分配表

在3臺節(jié)點的配置文件conf 中配置好3臺服務(wù)器的地址、數(shù)據(jù)目錄等參數(shù)之后,登錄任意節(jié)點,初始化副本集:

初始化成功之后,需要啟用分片機(jī)制.MongoDB的分片機(jī)制共有Hash和range 兩種,Hash方法為隨機(jī)分片,按照分片鍵的值在副本集中隨機(jī)分配,利于數(shù)據(jù)均勻分布,但是在按區(qū)間獲取數(shù)據(jù)時會訪問較多節(jié)點;range方法根據(jù)分片鍵的值按照一定的范圍分布,在分區(qū)域獲取數(shù)據(jù)時可以較少地訪問不同節(jié)點,但是無法做到數(shù)據(jù)足夠均衡.考慮到在i-Harbor中,海量數(shù)據(jù)主要以批量上傳為主,較少有大規(guī)模按范圍獲取,因此選擇將主鍵ObjectId作為分片鍵,Hash方法作為分片策略:

1.sh.addShard("localhost:27 001")

2.sh.enableSharding("i-harbor")

3.sh.shardCollection("i-harbor.bucket01",{ObjectId:"hashed" })

經(jīng)過上述的關(guān)鍵步驟配置,完成搭建一個副本集+分片鍵的MongoDB分布式高可用集群,為元數(shù)據(jù)存儲模塊提供穩(wěn)定的數(shù)據(jù)存儲引擎.

3.2 Rados數(shù)據(jù)對象讀寫

在2.3 對象數(shù)據(jù)管理模塊中,采用Ceph作為底層對象存儲引擎,此模塊的關(guān)鍵在于數(shù)據(jù)從數(shù)據(jù)接口如何寫入到Ceph 中的OSD (Object Storage Device),因此需要設(shè)計合理的rados 對象讀寫IO方法.在Ceph 中有原生的對象網(wǎng)關(guān)協(xié)議RGW 支持Amazon S3和Swift的對象存儲接口,但是其認(rèn)證方法和讀寫策略無法滿足i-Harbor 需求,因此選擇直接利用librados庫實現(xiàn)對rados的讀寫的中間件.

在業(yè)務(wù)管理模塊中,數(shù)據(jù)接口和Web系統(tǒng)由Python 開發(fā)實現(xiàn),但是在官方社區(qū)中對librados的Python版本支持較為滯后,無法與當(dāng)前版本兼容,因此該中間件基于官方社區(qū)中的go-ceph (對librados的go語言封裝),采用執(zhí)行效率和開發(fā)效率更高的go語言,實現(xiàn)對rados 讀寫方法的封裝,編譯為動態(tài)鏈接庫.so,為業(yè)務(wù)管理模塊提供數(shù)據(jù)讀寫方法,圖2給出了該中間件結(jié)構(gòu)設(shè)計.

圖2 rados 讀寫中間件結(jié)構(gòu)圖

在該中間件中,對rados的操作主要為push、get、delete和list 四種方法,主要功能為創(chuàng)建并寫入對象、獲取對象內(nèi)容、刪除對象、獲取對象列表,方法介紹如下:

(1)Push:根據(jù)oid 寫入rados 對象,從offset位置起,寫入長度為len,數(shù)據(jù)內(nèi)容為data;

(2)Get:獲取oid的rados 對象內(nèi)容,起始位置為offset,獲取數(shù)據(jù)的長度為block;

(3)Delete:刪除oid的rados 對象;

(4)List:獲取指定pool 中的所有rados 對象oid列表.

表4給出了其所需參數(shù).

表4 Rados 讀寫參數(shù)表

經(jīng)過上述設(shè)計,實現(xiàn)Ceph 底層對象到業(yè)務(wù)系統(tǒng)中的數(shù)據(jù)讀寫的中間件.作為一個關(guān)鍵數(shù)據(jù)中轉(zhuǎn)站,其在i-Harbor 中承擔(dān)著非常重要的角色.

4 成果總結(jié)

4.1 系統(tǒng)環(huán)境

在地球科學(xué)大數(shù)據(jù)先導(dǎo)項目課題需求下,搭建一套完整的計算+存儲+網(wǎng)絡(luò)系統(tǒng)環(huán)境.共有200臺對象存儲服務(wù)器,每臺服務(wù)器100 TB 硬盤,部署Ceph分布式存儲系統(tǒng),承擔(dān)對象數(shù)據(jù)存儲任務(wù);20臺元數(shù)據(jù)服務(wù)器,每臺服務(wù)器10 TB 高速SSD 固態(tài)硬盤,部署分布式的副本集+分片制的MongoDB集群;10臺業(yè)務(wù)系統(tǒng)服務(wù)器,包含Web 服務(wù)、API接口服務(wù)、FTP 服務(wù)和nginx 反向代理服務(wù)器;3臺Zabbix監(jiān)控服務(wù).節(jié)點間通信全部使用萬兆以太網(wǎng)光纖.

4.2 系統(tǒng)成果

用戶通過Web界面、API或FTP接口,創(chuàng)建存儲桶,在存儲桶內(nèi)創(chuàng)建任意數(shù)量的文件夾,然后以存儲桶為單位進(jìn)行數(shù)據(jù)上傳,通過Web界面,用戶可以管理FTP和API數(shù)據(jù)接口認(rèn)證.圖3給出了系統(tǒng)Web界面效果,用戶通過Web系統(tǒng),創(chuàng)建和刪除存儲桶,實現(xiàn)文件夾和文件的創(chuàng)建、刪除和下載,同時管理FTP和API接口的認(rèn)證方式.

用戶通過RESTful API的調(diào)用接口,將數(shù)據(jù)通過成熟的HTTP協(xié)議進(jìn)行上傳下載,方便在各種在線數(shù)據(jù)處理系統(tǒng)中調(diào)用存儲桶中的數(shù)據(jù),圖4給出API 管理界面.

圖3 業(yè)務(wù)模塊Web界面功能圖

圖4 API數(shù)據(jù)接口功能圖

用戶在業(yè)務(wù)管理系統(tǒng)中,以存儲桶為單位,開啟FTP連接,管理FTP 讀寫權(quán)限賬戶,圖5給出Windows下FTP數(shù)據(jù)接口映射說明,用戶通過網(wǎng)絡(luò)驅(qū)動映射將某個存儲桶通過FTP協(xié)議映射到本地,實現(xiàn)本地瀏覽與線上系統(tǒng)同步,方便用戶進(jìn)行數(shù)據(jù)上傳下載.

圖5 FTP數(shù)據(jù)接口映射

5 結(jié)束語

針對在科研場景中海量級數(shù)據(jù)的高效率存儲和數(shù)據(jù)共享需求,本文設(shè)計并實現(xiàn)了i-Harbor分布式對象存儲系統(tǒng).該系統(tǒng)以開源框架Ceph和MongoDB為對象數(shù)據(jù)和元數(shù)據(jù)存儲引擎,將整體底層架構(gòu)合理解耦,通過分布式技術(shù)實現(xiàn)彈性可擴(kuò)展存儲集群,利用糾刪碼多分本等技術(shù)避免了單點故障,保證了系統(tǒng)容災(zāi)性.同時,深度結(jié)合公有云對象存儲服務(wù),提供豐富的多種數(shù)據(jù)讀寫接口,方便用戶在各種場景完成數(shù)據(jù)的批量上傳下載,同時設(shè)計合理數(shù)據(jù)共享策略,方便用戶在復(fù)雜的科研場景之下更高效的利用數(shù)據(jù),提升科研工作效率.

下一步將繼續(xù)研究在科研場景中如何解決大數(shù)據(jù)量同時高并發(fā)上傳瓶頸,如何優(yōu)化海量小文件上傳這樣的IO密集型任務(wù)[18].同時,為更廣泛利用i-Harbor存儲系統(tǒng)的高效服務(wù),需要調(diào)研在數(shù)據(jù)處理場景下對于存儲平臺的需求,實現(xiàn)對科研數(shù)據(jù)處理任務(wù)的支持.