云計(jì)算環(huán)境下的分布式存儲(chǔ)技術(shù)研究與應(yīng)用

文靜，陳達(dá)，于璐（中國移動(dòng)通信集團(tuán)政企客戶分公司，北京 100053）

云計(jì)算環(huán)境下的分布式存儲(chǔ)技術(shù)研究與應(yīng)用

文靜，陳達(dá)，于璐
（中國移動(dòng)通信集團(tuán)政企客戶分公司，北京 100053）

隨著云計(jì)算、大數(shù)據(jù)和物聯(lián)網(wǎng)等技術(shù)的廣泛應(yīng)用，傳統(tǒng)存儲(chǔ)陣列已難以滿足快速增長的數(shù)據(jù)存儲(chǔ)要求。分布式存儲(chǔ)在大規(guī)模數(shù)據(jù)處理能力、擴(kuò)展性、可維護(hù)性、可靠性，以及成本考量上都有更出色的表現(xiàn)，逐步成為公有云中存儲(chǔ)產(chǎn)品的主流技術(shù)實(shí)現(xiàn)方式。本文首先介紹了存儲(chǔ)分類，其次詳細(xì)闡述中國移動(dòng)公眾服務(wù)云的存儲(chǔ)實(shí)踐。

互聯(lián)網(wǎng)+；傳統(tǒng)存儲(chǔ)；分布式存儲(chǔ)；公眾服務(wù)云

1　存儲(chǔ)市場

在當(dāng)今的存儲(chǔ)市場，存儲(chǔ)技術(shù)的革新可以用“顛覆”來描述。云端存儲(chǔ)是“互聯(lián)網(wǎng)+”穩(wěn)步前進(jìn)的基石，其能夠?yàn)楹Ａ繑?shù)據(jù)提供優(yōu)質(zhì)、先進(jìn)、低成本的存儲(chǔ)服務(wù)?！按鎯?chǔ)+服務(wù)”的模式，將實(shí)現(xiàn)“存入谷物、輸出面包”的效果，滿足市場對數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)處理、數(shù)據(jù)分析、在線播放、編輯以及二次分享等特定需求。

2　存儲(chǔ)分類

塊存儲(chǔ)和文件存儲(chǔ)是我們比較熟悉的類型，而對象存儲(chǔ)是一種新興網(wǎng)絡(luò)存儲(chǔ)架構(gòu)。

塊存儲(chǔ)主要用于數(shù)據(jù)庫和操作系統(tǒng)的存儲(chǔ)，文件存儲(chǔ)主要使用在對接傳統(tǒng)需要Posix接口的系統(tǒng)中；對象存儲(chǔ)則解決了塊存儲(chǔ)的有限擴(kuò)展和文件存儲(chǔ)的傳輸性能開銷大的問題，非常適合大規(guī)模海量非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)。

2.1塊存儲(chǔ)

兩種傳統(tǒng)塊存儲(chǔ)類型如下。

（1）DAS（Direct Attach Storage）：與主機(jī)服務(wù)器直連，每臺(tái)主機(jī)服務(wù)器有獨(dú)立的存儲(chǔ)設(shè)備，其間無法互通；適用于單一網(wǎng)絡(luò)環(huán)境、數(shù)據(jù)交換量不大，性能要求不高的場景。

（2）SAN（Storage Area Network）：用高速（光纖）網(wǎng)絡(luò)連接主機(jī)服務(wù)器，使用高速I/O連接方式，如SCSI，ESCON及Fibre-Channels；適用于對網(wǎng)絡(luò)速度要求高、對數(shù)據(jù)可靠性和安全性要求高、對數(shù)據(jù)共享性能要求高的場景。

2.2文件存儲(chǔ)

NAS（Network Attached Storage）是網(wǎng)絡(luò)存儲(chǔ)設(shè)備，采用NFS或CIFS命令集訪問數(shù)據(jù)，以文件為傳輸協(xié)議，通過TCP/IP實(shí)現(xiàn)網(wǎng)絡(luò)化存儲(chǔ)，擴(kuò)展性好、價(jià)格便宜；但由于協(xié)議開銷高、帶寬低、延遲大，不利于在高性能集群中應(yīng)用。

2.3對象存儲(chǔ)

對象存儲(chǔ)與硬盤、文件系統(tǒng)等存儲(chǔ)形態(tài)不同，它提供Key-Value方式的RESTful API接口，通過HTTP請求中的PUT和GET等操作進(jìn)行文件的上傳和下載；對象存儲(chǔ)同時(shí)具備SAN高速直接訪問磁盤特點(diǎn)及NAS的分布式共享特點(diǎn)。

對象存儲(chǔ)結(jié)構(gòu)組成部分包括對象、對象存儲(chǔ)設(shè)備、元數(shù)據(jù)服務(wù)器、對象存儲(chǔ)系統(tǒng)的客戶端等。對象是系統(tǒng)中數(shù)據(jù)存儲(chǔ)的基本單位，一個(gè)對象實(shí)際上就是文件的數(shù)據(jù)和一組屬性信息（Meta Data）的組合。所有對象都有一個(gè)對象標(biāo)識，通過對象標(biāo)識訪問該對象。對象存儲(chǔ)設(shè)備的主要功能包括數(shù)據(jù)存儲(chǔ)、智能分布、對象元數(shù)據(jù)管理。元數(shù)據(jù)服務(wù)器（Metadata Server）控制Client與對象存儲(chǔ)設(shè)備（Object Storage Device）的交互，主要提供對象存儲(chǔ)訪問、Client Cache一致性。

圖1　分布式塊存儲(chǔ)系統(tǒng)示意圖

3　中國移動(dòng)云存儲(chǔ)實(shí)踐

中國移動(dòng)公有云又稱作“移動(dòng)云”（http：// ecloud.10086.cn/），隸屬于中國移動(dòng)通信集團(tuán)公司，是中國移動(dòng)面向政企、事業(yè)單位、個(gè)人等客戶推出的基于云計(jì)算技術(shù)、采用互聯(lián)網(wǎng)模式、提供基礎(chǔ)資源、平臺(tái)能力、軟件應(yīng)用等服務(wù)的業(yè)務(wù)?，F(xiàn)階段移動(dòng)云可提供IaaS（基礎(chǔ)設(shè)施服務(wù)）、PaaS（平臺(tái)即服務(wù)）、SaaS（軟件即服務(wù)）類型的云計(jì)算服務(wù)，移動(dòng)云是建立在中國移動(dòng)“大云”的基礎(chǔ)上，自主技術(shù)研發(fā)而成的公有云平臺(tái)，通過服務(wù)器虛擬化、對象存儲(chǔ)、網(wǎng)絡(luò)安全能力自動(dòng)化、資源動(dòng)態(tài)調(diào)度等技術(shù)，將計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)等基礎(chǔ)IT資源作為服務(wù)提供，客戶根據(jù)其應(yīng)用的需要可以按需使用、按使用付費(fèi)。

傳統(tǒng)存儲(chǔ)在處理性能、擴(kuò)展性、可靠性上已難以滿足云計(jì)算時(shí)代的存儲(chǔ)需求。分布式存儲(chǔ)技術(shù)逐步成熟，打破了統(tǒng)陣列的“一體機(jī)”配置模式，將軟硬件解耦；能將多個(gè)物理節(jié)點(diǎn)虛擬整合為一個(gè)整體資源池，可以靈活擴(kuò)充資源；架構(gòu)更加穩(wěn)定可靠，采用多副本或糾刪碼理技術(shù)，有效的解決了傳統(tǒng)陣列的“單點(diǎn)故障”。

移動(dòng)云基于分布式存儲(chǔ)技術(shù)、采用x86服務(wù)器構(gòu)建并商用大規(guī)模、跨地域的存儲(chǔ)系統(tǒng)，形成廣州、北京、呼和浩特、哈爾濱、長沙五大存儲(chǔ)資源池，很好地解決傳統(tǒng)SAN容量和性能均衡分布的難題，避免受到傳統(tǒng)存儲(chǔ)軟硬件一體化的制約；采用4U集采存儲(chǔ)服務(wù)器，每臺(tái)帶有12～24塊硬盤，在x86服務(wù)器上可輕松實(shí)現(xiàn)性能和容量擴(kuò)展，解決了基于大規(guī)模不可靠存儲(chǔ)硬件構(gòu)建大型高可靠存儲(chǔ)系統(tǒng)的技術(shù)難題。

“移動(dòng)云”存儲(chǔ)服務(wù)采用三副本和糾刪碼方式，能夠在硬件和網(wǎng)絡(luò)出現(xiàn)問題時(shí)保證數(shù)據(jù)不丟失、易恢復(fù)；同時(shí)，系統(tǒng)支持線性擴(kuò)容，按照業(yè)務(wù)增長量進(jìn)行模塊化擴(kuò)容。

3.1塊存儲(chǔ)

移動(dòng)云塊存儲(chǔ)具備高可靠、大容量、易擴(kuò)展、易管理等優(yōu)點(diǎn)，主要用于云計(jì)算虛擬機(jī)部署、云數(shù)據(jù)庫應(yīng)用等場景；塊存儲(chǔ)系統(tǒng)包括3部分：Web管理前端：提供系統(tǒng)管理員各種運(yùn)維功能；存儲(chǔ)管理服務(wù)：通過Rest接口提供各種存儲(chǔ)資源申請和存儲(chǔ)管理的服務(wù)功能；Sheepdog存儲(chǔ)集群：基于開源軟件Sheepdog實(shí)現(xiàn)的底層存儲(chǔ)集群。

移動(dòng)云通過引入將集群一致性維護(hù)操作和數(shù)據(jù)讀寫操作相分離，建立了帶外集群管理機(jī)制，解決了由于大規(guī)模存儲(chǔ)環(huán)境中節(jié)點(diǎn)間數(shù)據(jù)一致性維護(hù)的開銷大而導(dǎo)致節(jié)點(diǎn)規(guī)模受限的問題；采用在應(yīng)用節(jié)點(diǎn)的前端部署大規(guī)模磁盤數(shù)據(jù)緩存，從而減少網(wǎng)絡(luò)數(shù)據(jù)交換負(fù)載，解決IP網(wǎng)絡(luò)的快速閃斷和系統(tǒng)性能問題，大幅提高系統(tǒng)I/O性能。

圖2　文件存儲(chǔ)系統(tǒng)示意圖

移動(dòng)云基于一致性哈希的數(shù)據(jù)卷分片三副本的分布和管理方法，實(shí)現(xiàn)面向磁盤、節(jié)點(diǎn)和機(jī)架的多級數(shù)據(jù)自動(dòng)快速恢復(fù)和重分布，在廉價(jià)的x86服務(wù)器上實(shí)現(xiàn)存儲(chǔ)的高可靠和靈活擴(kuò)展，數(shù)據(jù)持久性可達(dá)99.999999999%。

移動(dòng)云基于統(tǒng)一節(jié)點(diǎn)監(jiān)控和管理方案，通過集成多種系統(tǒng)檢測和監(jiān)控技術(shù)，構(gòu)造高效的系統(tǒng)磁盤、服務(wù)進(jìn)程、數(shù)據(jù)I/O性能、網(wǎng)絡(luò)設(shè)備監(jiān)控系統(tǒng)，提高大規(guī)模系統(tǒng)的可管和可控能力，大幅度降低系統(tǒng)管理和運(yùn)維成本。

3.2文件存儲(chǔ)

移動(dòng)云的文件存儲(chǔ)基于中國移動(dòng)大云的分布式文件存儲(chǔ)BC-NFS實(shí)現(xiàn)，以GlusterFS架構(gòu)為基礎(chǔ)、采用開放式設(shè)計(jì)，廣泛支持工業(yè)標(biāo)準(zhǔn)的存儲(chǔ)、網(wǎng)絡(luò)和計(jì)算機(jī)設(shè)備，而非與定制化專用硬件設(shè)備捆綁。

文件存儲(chǔ)系統(tǒng)由存儲(chǔ)資源池、客戶端、NAS網(wǎng)關(guān)等部分組成，其可以將x86架構(gòu)的存儲(chǔ)服務(wù)器硬件聚合成統(tǒng)一命名空間的、可線性擴(kuò)展、具備數(shù)據(jù)自愈能力、提供標(biāo)準(zhǔn)文件系統(tǒng)接口的存儲(chǔ)資源池；客戶端軟件是基于fuse（用戶態(tài)文件系統(tǒng)）開發(fā)，能夠和客戶端vfs無縫對接，并提供卷管理、I/O調(diào)度、cache管理等功能；NAS網(wǎng)關(guān)提供原生的私有接口，及NFS/ CIFS協(xié)議，為應(yīng)用提供標(biāo)準(zhǔn)Posix接口，應(yīng)用可以無縫對接。

在存儲(chǔ)硬件層，文件系統(tǒng)可屏蔽底層硬件的差異，可將CPU、內(nèi)存、磁盤資源聚合成統(tǒng)一的存儲(chǔ)資源池，并通過以太網(wǎng)和Infiniband網(wǎng)絡(luò)互聯(lián)；存儲(chǔ)服務(wù)器主要提供基本的存儲(chǔ)功能，最終文件數(shù)據(jù)通過統(tǒng)一的調(diào)度策略分布在不同的存儲(chǔ)服務(wù)器上。

圖3　文件存儲(chǔ)系統(tǒng)軟件架構(gòu)圖

存儲(chǔ)服務(wù)層可提供文件系統(tǒng)內(nèi)部的數(shù)據(jù)資源管理，主要包括集群管理（集群配置、能優(yōu)化參數(shù)、擴(kuò)縮容）、數(shù)據(jù)模型管理（復(fù)制、糾刪碼、Stripe等）、數(shù)據(jù)平衡（異?；謴?fù)和擴(kuò)縮容時(shí)的數(shù)據(jù)重分布）、數(shù)據(jù)分層（增加通用緩存層，提升熱點(diǎn)數(shù)據(jù)讀寫性能）、數(shù)據(jù)自修復(fù)等功能。

文件服務(wù)層提供統(tǒng)一的命名空間的文件和目錄服務(wù)。

圖4　分布式對象存儲(chǔ)系統(tǒng)示意圖

存儲(chǔ)接口層提供標(biāo)準(zhǔn)的文件系統(tǒng)接口和驅(qū)動(dòng)，如cifs/ nfs，libgfapi，openstack manila/cinder driver等。

系統(tǒng)管理提供配置管理、用戶管理、權(quán)限管理、監(jiān)控和告警等功能。

GlusterFS在用戶空間實(shí)現(xiàn)，這使得其安裝和升級特別簡便。另外，這也極大降低了普通用戶基于源碼修改GlusterFS的門檻；采用無元數(shù)據(jù)服務(wù)的設(shè)計(jì)，取而代之使用算法來定位文件，不需要查詢索引或者其它服務(wù)器，使得數(shù)據(jù)訪問完全并行化，從而實(shí)現(xiàn)真正的線性性能擴(kuò)展。

3.3對象存儲(chǔ)

移動(dòng)云的對象存儲(chǔ)系統(tǒng)主要由接口層、服務(wù)層、存儲(chǔ)層、管理系統(tǒng)構(gòu)成。接口層通過負(fù)載均衡和Web服務(wù)為用戶應(yīng)用系統(tǒng)及資源管理平臺(tái)提供基于HTTP協(xié)議的對象存儲(chǔ)服務(wù)；服務(wù)層實(shí)現(xiàn)了與對象、容器以及用戶相關(guān)的具體功能；存儲(chǔ)層基于分布式存儲(chǔ)系統(tǒng)實(shí)現(xiàn)數(shù)據(jù)的存取，具體存儲(chǔ)方式對外部應(yīng)用透明；系統(tǒng)管理是對象存儲(chǔ)系統(tǒng)內(nèi)部進(jìn)行運(yùn)維的管理控制單元，主要包含計(jì)量、用戶控制、日志管理、統(tǒng)計(jì)報(bào)表以及運(yùn)維管理等功能，同時(shí)提供資源管理平臺(tái)接口。

移動(dòng)云的對象存儲(chǔ)節(jié)點(diǎn)采用對等集群方式部署，為數(shù)據(jù)存儲(chǔ)提供了良好的線性擴(kuò)展能力；采用三副本存儲(chǔ)機(jī)制保障數(shù)據(jù)的高可靠（99.9999999999%）；支持標(biāo)準(zhǔn)S3接口，與業(yè)界標(biāo)準(zhǔn)保持一致；所有進(jìn)程服務(wù)均采用HA模式，服務(wù)可用性高達(dá)99.9%，無單點(diǎn)故障；支持至少千億級對象存儲(chǔ)，單個(gè)對象最大支持5TB；支持用戶可選的數(shù)據(jù)加密存儲(chǔ)，整個(gè)過程對用戶透明；支持系統(tǒng)和存儲(chǔ)資源監(jiān)控及告警功能，方便運(yùn)營管理，減少運(yùn)營成本；提供面向系統(tǒng)、用戶和容器3個(gè)級別的準(zhǔn)實(shí)時(shí)統(tǒng)計(jì)計(jì)量能力，支持用戶按需付費(fèi)，節(jié)省用戶使用成本。

對象存儲(chǔ)節(jié)點(diǎn)采用易擴(kuò)展的對稱性設(shè)計(jì)，單集群至少支持上千節(jié)點(diǎn)規(guī)模，至少存儲(chǔ)對象數(shù)量上千億；對象存儲(chǔ)系統(tǒng)組件均熱備、組件HA節(jié)點(diǎn)分布到不同機(jī)架，保證在單機(jī)、單機(jī)架故障時(shí)系統(tǒng)仍能不停服地對外提供服務(wù)，服務(wù)可用性達(dá)到99.9%。系統(tǒng)的健康檢查模塊定期啟動(dòng)，副本減少時(shí)自動(dòng)修復(fù)副本數(shù)量；可根據(jù)用戶需求對存儲(chǔ)在系統(tǒng)中的對象進(jìn)行數(shù)據(jù)加密存儲(chǔ)；系統(tǒng)的認(rèn)證鑒權(quán)和ACL訪問控制機(jī)制保證數(shù)據(jù)只被授權(quán)用戶訪問，同時(shí)系統(tǒng)支持密鑰簽名機(jī)制，保證用戶訪問消息在傳輸通道上的安全性。

媒體云、影像云、直播云、監(jiān)控云等一般是基于云主機(jī)、分布式對象存儲(chǔ)、多媒體處理和CDN加速服務(wù)打造的用于音視頻存儲(chǔ)、媒體服務(wù)和應(yīng)用的新興媒體云平臺(tái)。伴隨著移動(dòng)互聯(lián)、社交網(wǎng)絡(luò)的快速發(fā)展，新興媒體的云平臺(tái)均呈現(xiàn)出對云存儲(chǔ)的大容量需求，一是用于滿足新增音視頻存儲(chǔ)，二是將原有海量對象文件遷移至云端保存；同時(shí)，要求具備異地備份、快速擴(kuò)容、媒體處理等功能。

以CRM業(yè)務(wù)為例分析，CRM根據(jù)數(shù)據(jù)特征，對數(shù)據(jù)進(jìn)行垂直切分和分類管理。除關(guān)鍵數(shù)據(jù)仍采用傳統(tǒng)關(guān)系型數(shù)據(jù)庫Oracle和全閃存陣列、混合陣列或傳統(tǒng)盤陣的組合，其它數(shù)據(jù)均采用低成本實(shí)現(xiàn)與部署的數(shù)據(jù)管理技術(shù)以及存儲(chǔ)技術(shù)。

三戶資料和業(yè)務(wù)數(shù)據(jù)等核心數(shù)據(jù)，包括產(chǎn)品、資源、規(guī)則、營銷等數(shù)據(jù)，采用關(guān)系型數(shù)據(jù)庫存儲(chǔ)：訪問頻繁，底層存儲(chǔ)設(shè)備可采用彈性塊存儲(chǔ)。

記錄類數(shù)據(jù)，包括日志數(shù)據(jù)、客戶接觸記錄等數(shù)據(jù)，體量較大，訪問較高，可采用分布式文件存儲(chǔ)。

歷史數(shù)據(jù)，如各類不需在線的數(shù)據(jù)，容量大、訪問少，可采用對象存儲(chǔ)。

4　實(shí)踐應(yīng)用

除服務(wù)于內(nèi)部業(yè)務(wù)外，移動(dòng)云主要面向各級政府部門、企事業(yè)單位及中小企業(yè)客戶，目前已為國家知識產(chǎn)權(quán)局出版社、海南氣象局、中央電教館、衛(wèi)計(jì)委等政府部門及國京證券、盤古搜索等近百家大中型企業(yè)，提供了安全可靠的存儲(chǔ)服務(wù)。

教育部與中國移動(dòng)于2011年9月簽署戰(zhàn)略合作框架協(xié)議，2012年開始合作共建“國家教育資源公共服務(wù)平臺(tái)”，移動(dòng)云提供平臺(tái)的基礎(chǔ)設(shè)施服務(wù)，主要包括云主機(jī)、云存儲(chǔ)等產(chǎn)品服務(wù)。

國京證券和移動(dòng)云團(tuán)隊(duì)共同努力、合作共贏，金融行業(yè)內(nèi)首創(chuàng)云計(jì)算模式綜合服務(wù)系統(tǒng)，移動(dòng)云塊存儲(chǔ)產(chǎn)品支撐證券業(yè)務(wù)服務(wù)，直接實(shí)現(xiàn)全球網(wǎng)絡(luò)24 h開戶、下單、交易，引起行業(yè)巨大反響。

作為運(yùn)營商級云服務(wù)綜合提供商，移動(dòng)云已逐步在政府、教育、醫(yī)療、車聯(lián)網(wǎng)、娛樂等多領(lǐng)域提供存儲(chǔ)服務(wù)，也將基于前期實(shí)踐，致力打造“中國功能最完備、技術(shù)最先進(jìn)、成本最低”的存儲(chǔ)產(chǎn)品，向用戶提供更具價(jià)值的存儲(chǔ)服務(wù)。

［1］ 王康，李東靜，陳海光. 分布式存儲(chǔ)系統(tǒng)中改進(jìn)的一致性哈希算法［J］. 計(jì)算機(jī)技術(shù)與發(fā)展，2016（7）.

［2］ 賈博文，張文軍，李小勇. 面向虛擬機(jī)的分布式塊存儲(chǔ)系統(tǒng)設(shè)計(jì)及實(shí)現(xiàn)［J］. 微型電腦應(yīng)用，2015（3）.

［3］ 董進(jìn)武，宋亮. 磁盤陣列技術(shù)淺析［J］. 儀表技術(shù)，2016（6）.

［4］ 高學(xué)武，姚智慧，牛中盈. 基于云存儲(chǔ)的分布式彈性塊存儲(chǔ)系統(tǒng)研究［J］. 軟件導(dǎo)刊， 2016（5）.

［5］ 楊飛，朱志祥，梁小江. 基于Ceph對象存儲(chǔ)集群的高可用設(shè)計(jì)與實(shí)現(xiàn)［J］. 微電子學(xué)與計(jì)算機(jī)，2016（3）.

Research and application of distributed storage under cloud computing environment

WEN Jing， CHEN Da， YU Lu
（China Mobile Communications Corporation Government and Enterprise Service Company， Beijing 100053， China）

With wide application of cloud computing， big data and Internet of things， traditional storage arrays cannot meet the fast increasing requirements of data storage. Distributed storage has better performance in data processing， high scalability， maintainability， reliability and lower cost， and is becoming the main stream technology of storage products in public cloud. In this paper， the general classifi cation of storage products is introduced fi rstly， and then the practical cases are presented in details.

Internet plus； traditional storage； distributed storage； public cloud service

TP39

A

1008-5599（2016）08-0057-05

2016-05-16