基于插件模式的私有云存儲系統(tǒng)的存儲池設(shè)計

殷 脂

(上海電力學(xué)院 計算機科學(xué)與技術(shù)學(xué)院, 上海 200090)

基于插件模式的私有云存儲系統(tǒng)的存儲池設(shè)計

殷 脂

(上海電力學(xué)院 計算機科學(xué)與技術(shù)學(xué)院, 上海 200090)

為滿足私有云存儲系統(tǒng)中采用不同底層存儲介質(zhì)的需求,提出了一種基于插件模式的私有云存儲系統(tǒng)的存儲池設(shè)計.在數(shù)據(jù)存儲層與數(shù)據(jù)管理層之間建立統(tǒng)一存儲層,包含各類插件并基于適配插件提供的動態(tài)性能參數(shù),由統(tǒng)一存儲層管理器制定存儲策略和IO策略,以平衡存儲節(jié)點流量,提高存儲池的整體性能.實驗結(jié)果表明,該設(shè)計可以提高企業(yè)存儲資源利用率,提升異構(gòu)存儲橫向擴展能力,有效降低私有云存儲服務(wù)的整體運營成本.

存儲池; 云存儲服務(wù); 插件模式

云存儲服務(wù)是通過網(wǎng)絡(luò)連接單個計算機節(jié)點資源,使用相關(guān)的集群連接技術(shù)、網(wǎng)絡(luò)計算技術(shù)、資源定位和查找算法等,將互聯(lián)網(wǎng)中計算機節(jié)點協(xié)同起來,并向用戶提供數(shù)據(jù)存儲和備份等服務(wù).與公有云相比較,私有云更具有安全性優(yōu)勢,企業(yè)私有云存儲模式實現(xiàn)了企業(yè)現(xiàn)有數(shù)據(jù)資源的存儲、共享和交互,可以應(yīng)對企業(yè)級用戶高速增長的數(shù)據(jù)存儲業(yè)務(wù)和數(shù)據(jù)處理業(yè)務(wù)的問題.

目前,大多數(shù) IT 組織部署私有云存儲服務(wù),用于文件協(xié)同、數(shù)據(jù)庫及多媒體流服務(wù)等,但存儲架構(gòu)經(jīng)常被忽視,導(dǎo)致存儲效率較低[1].理想情況下,云存儲應(yīng)該能以最低的成本處理延時敏感和不敏感的應(yīng)用,還能充分發(fā)揮自動精簡設(shè)備、存儲介質(zhì)生命周期管理、自動分層以及故障點實時遷移等優(yōu)勢.SkyShare是一款自主研發(fā)的云端文件存儲與共享系統(tǒng),提供了多種不同類型的客戶端接入,多個客戶端實時地與服務(wù)器保持同步,方便用戶在云端對文件進行同步與共享.本文的理論研究與實踐評測基于該系統(tǒng)進行.

1 文件私有云存儲系統(tǒng)與存儲池

1.1 文件私有云存儲系統(tǒng)架構(gòu)

SkyShare系統(tǒng)架構(gòu)如圖1所示.其從上到下由如下4部分組成.

(1) Client端 支持3種不同類型的客戶端、手機端和Web客戶端,方便用戶在不同場景下對存儲端文件進行上傳、下載、共享等操作.

(2) Service端 SkyShare系統(tǒng)的服務(wù)端,具備文件管理、個人文件同步、文件存儲管理、共享等功能.

(3) 遠程存儲 支持多種不同的存儲介質(zhì)(包括開發(fā)存儲服務(wù)),為屏蔽異構(gòu)存儲的差異性,SkyShare采取了插件式的架構(gòu)設(shè)計方案,使得異構(gòu)的存儲能夠靈活地集成到SkyShare系統(tǒng)中.在插件層專門設(shè)立參數(shù)動態(tài)收集機制,服務(wù)層會根據(jù)收集的參數(shù)動態(tài)調(diào)整存儲策略,實現(xiàn)存儲性能的最優(yōu)化[2].

(4) 文件系統(tǒng)元數(shù)據(jù)和用戶信息存儲 采用提供系統(tǒng)良好管理功能的MYSQL數(shù)據(jù)庫.

圖1 SkyShare架構(gòu)

1.2 SkyShare系統(tǒng)的存儲資源池設(shè)計

存儲池是多個存儲介質(zhì)模塊的管理容器,為使用者提供大容量、高數(shù)據(jù)傳輸性能的存儲系統(tǒng),也稱為虛擬存儲池[3].存儲資源池支持多種類型存儲資源共存的集成方式,文件的位置選擇采用定義好的存儲規(guī)則.存儲資源池的邏輯架構(gòu)設(shè)計如圖2所示.

管理員用戶能對存儲資源池進行有效管理,如接入新的被SkyShare支持的任意種類的存儲資源;移除不需要的存儲資源;數(shù)據(jù)的備份與遷移;存儲資源池可用信息的監(jiān)測;存儲資源歷史性能分析;存儲資源的分配;存儲規(guī)則的定義等.

1.2.1 存儲管理

(1) 存儲資源的接入 最簡單的實現(xiàn)方法是使用配置文件,管理員通過在配置文件中提供相應(yīng)存儲資源的連接參數(shù),將存儲資源接入到存儲資源池中.可以更進一步提供可視化編輯界面給管理員使用,以增加用戶體驗,而且能防止管理員錯誤地更改配置文件[4].

(2) 存儲資源的移除 操作方式同存儲資源接入,只刪除配置文件相應(yīng)的storage節(jié)點.

(3) 存儲數(shù)據(jù)管理 提供數(shù)據(jù)的刪除、遷移等操作.

(4) 存儲資源的分配 按部門分配存儲資源,或按用途(備份、共享)分配存儲資源等.

(5) 存儲規(guī)則的定義 暫不支持存儲規(guī)則定義,采用以文件為單位的隨機存儲規(guī)則.

圖2 存儲資源池的邏輯架構(gòu)

1.2.2 請求處理器

(1) 上傳文件 如圖3所示.服務(wù)層先向存儲層傳遞一次位置請求信息,需要傳遞的參數(shù)為,Request Handler根據(jù)上層傳遞的參數(shù)來決定文件的存儲位置,返回給上層一個Plugin對象,并將元數(shù)據(jù)存儲到Data中;Request Type根據(jù)隔離級別來決定文件塊的存儲位置,可以是共享、私人、部門等類型;Content Type根據(jù)文件塊所屬文件類型判斷文件大小、存取頻率等,來決定文件的存儲位置,可以是Video,Audio,Document等類型;QoS Type用來指定存儲位置,OnceCloudShare中的QoS Type可以包括服務(wù)優(yōu)先級、存取時延等指標.服務(wù)層收到Plugin對象后,直接與底層存儲進行數(shù)據(jù)傳輸,將文件塊存儲到相應(yīng)位置.

(2) 下載文件 如圖4所示.服務(wù)層向存儲層發(fā)送一次文件請求信息,需要將文件信息(如文件名)傳遞給Request Handler,Request Handler 根據(jù)文件名信息查找存儲元數(shù)據(jù)信息,創(chuàng)建相應(yīng)的Plugin 對象返回給服務(wù)層;服務(wù)層使用收到的Plugin對象以便直接從底層存儲獲取文件塊再進行重組[5-6].

接口通過對元數(shù)據(jù)服務(wù)器進行I/O(input/output)請求,經(jīng)過元數(shù)據(jù)服務(wù)器的映射操作,找到目標數(shù)據(jù)塊,對目標塊進行I/O操作;每次I/O操作產(chǎn)生的多個相同PV(physical volume)的I/O,請求被重定向,并分解到多個存儲設(shè)備,最終形成一個多表頭.多列表異步處理系統(tǒng)提高了I/O帶寬的利用率,緩解了I/O高并發(fā)時的瓶頸問題.

圖3 上傳文件及插件選擇序列示意

圖4 下載文件及插件選擇序列示意

1.2.3 存儲監(jiān)測器

主要監(jiān)測存儲資源池的使用情況,包括可用存儲資源列表、存儲資源總量、可用容量,以及存儲資源在歷史使用中表現(xiàn)出的性能等[7-8].管理員可根據(jù)監(jiān)測信息進行存儲資源的接入等維護工作,并根據(jù)歷史性能對存儲資源池作適當調(diào)整.

2 實驗結(jié)果與分析

由于文件私有云存儲服務(wù)需要應(yīng)對不同客戶端高并發(fā)的文件上傳下載請求,因此存儲池的性能至關(guān)重要.為了考察該存儲池設(shè)計方案的性能,我們主要對客戶端與服務(wù)器端的文件傳輸進行了重點試驗,分別考察文件大小為100 M,300 M,500 M,800 M,1 000 M,1 500 M的傳輸情況.

實驗環(huán)境配置如下.

(1) 硬件環(huán)境 3臺1U服務(wù)器,Dell poweredge-6300 P-III Xeon,8G內(nèi)存.1臺作元數(shù)據(jù)服務(wù)器,2臺做存儲節(jié)點.1臺NAS,希捷 FreeAgent GoFlex Home 2TB(STAM2000200).

(2) 軟件 OS,Ubuntu;JVM,Java HotSpot(TM) Client VM (build 20.7-b02,mixed mode,sharing);數(shù)據(jù)庫為MySql 5.5.0;應(yīng)用服務(wù)器為Jetty 7.6.3.

(3) 網(wǎng)絡(luò) 局域網(wǎng)訪問,千兆交換機,千兆網(wǎng)卡.

實驗結(jié)果如圖5所示.由圖5可以看出,文件大小在100～1 500 M,在應(yīng)用服務(wù)器與存儲之間傳輸時間與文件大小基本呈線性關(guān)系,使用虛擬存儲池系統(tǒng)的性能略優(yōu)于NFS掛載存儲.

圖5 文件傳輸用時試驗

以上試驗結(jié)果表明,本文的存儲池設(shè)計是可行的,同時在SkyShare的實踐中表明,需要基于應(yīng)用級的策略將存儲池中高性能節(jié)點分配給關(guān)鍵應(yīng)用,以滿足私有云服務(wù)小文件高頻率的讀寫特性.

3 結(jié) 語

如何通過構(gòu)建虛擬存儲池建立高性價比的云存儲服務(wù),以及如何保證存儲服務(wù)高可用性是云存儲服務(wù)平臺的關(guān)鍵.本文提出了一種基于插件模式的支持異構(gòu)存儲設(shè)備的存儲池設(shè)計方案,利用靈活的插件機制來適配底層存儲設(shè)備或存儲服務(wù),可以實現(xiàn)可靠的易擴展的云存儲服務(wù).

[1] GUPTA D,SAGAR K.Remote file synchronization single-round algorithms[J].International Journal of Computer Applications,2010,4(1):32-36.

[2] ZHOU Dongyun,SUBBRAMANIAM S.Sunvivability in optical network[J].IEEE Network,2009,14(6):16-23.

[3] 周旭.面向Internet的大規(guī)模分布式存儲技術(shù)研究[D].成都:成都電子科技大學(xué),2004.

[4] 周可,王樺,李春花.云存儲服務(wù)及其應(yīng)用[J].中興通信,2010(4):25-27.

[5] ARMBRUST M,FOX A,GRIFFTH R.A view of cloud computing[J].Communications of the ACM,2010,53(4):50-58.

[6] CHAISIRI S,LEE B S.Optimal virtual machine placement across multiple cloud providers[C]//Services Computing Conference,IEEE Asia-Pacific,2009:128-136.

[7] 張建勛,古志民,鄭超.云計算研究進展綜述[J].計算機應(yīng)用研究,2010(2):430-433.

[8] AJTAI M,BURNS R,FAGIN R,etal.Compactly encoding unstructured inputs with differential[J].Journal of the ACM (JACM),2002,49(3):318-367.

(編輯 胡小萍)

APluginModelBasedStoragePoolDesignforPrivateCloudStorageSystem

YINZhi

(SchoolofComputerScienceandTechnology,ShanghaiUniversityofElectricPower,Shanghai200090,China)

In order to satisfy private cloud storage system using different underlying storages,a new plug-in model based storage pool design model for private cloud storage is proposed.A unified storage layer between data storage and data management is established,which contains various plugins and provides dynamic performance parameters based on the adapter plug-in,for managing storage strategy and IO policy,balancing dataflow of storage nodes,and improving the overall performance of the storage pool.Practice shows that it can improve utilization of storage resources and improve horizontal scalability for heterogeneous storage,effectively reducing the overall operating costs of private cloud storage service.

storage pool; cloud storage service; plugin model

10.3969/j.issn.1006-4729.2017.04.001

2017-03-09

殷脂(1981-),女,博士,副教授,江蘇泰興人.主要研究方向為智能算法,人工智能.E-mail:yzzhizhi@163.com.

國家自然科學(xué)基金(61572311,41672114).

TP333

A

1006-4729(2017)04-0313-04