分布式文件系統(tǒng)在鐵路信息系統(tǒng)中的應(yīng)用

陳斐　李銳　王成?！±鋾?/p>

摘要：隨著鐵路信息化技術(shù)快速發(fā)展，對分布式存儲的可靠性和魯棒性要求越來越高。文章設(shè)計一種分布式文件存儲備份系統(tǒng)，能夠?qū)崿F(xiàn)應(yīng)用層塊級（文件級）重刪、快照、克隆，細粒度下連續(xù)數(shù)據(jù)保護功能。該系統(tǒng)采用分布式高可用高可靠架構(gòu)，并能實現(xiàn)快速在線動態(tài)擴容。與主流分布式文件系統(tǒng)相比，能快速實現(xiàn)適合鐵路信息化場景下大規(guī)模分布式存儲并取得更好的性價比。

關(guān)鍵詞：分布式文件系統(tǒng)；重刪；快照；克?。贿B續(xù)數(shù)據(jù)保護

1.概述

隨著鐵路信息化技術(shù)的飛速發(fā)展，鐵路IT系統(tǒng)產(chǎn)生的數(shù)據(jù)越來越多，對存儲的容量和可靠性要求越來越高。鐵路信息化系統(tǒng)中，存儲的文件多為小文件（小于64 M），寫入后無需修改，并且數(shù)量繁多，需要低延時訪問。目前優(yōu)秀的開源分布式系統(tǒng)，比如（Hadoop Distributed File System，HDFS）等，雖然能夠很好地滿足分布式可靠存儲的需要，但并不適合低延遲數(shù)據(jù)訪問，也無法高效存儲海量小文件，不支持多用戶寫入及修改文件，并且不支持快照和重復數(shù)據(jù)刪除技術(shù)。而且，雖然Hadoop屬于開源技術(shù)，但軟件的安裝和部署并不廉價。由于其管理工具和支持服務(wù)方面的不足，使用過程中容易產(chǎn)生額外費用。為了更好地存儲數(shù)據(jù)并分析數(shù)據(jù)，針對鐵路信息系統(tǒng)的需求和特點，設(shè)計一種分布式文件系統(tǒng)，以滿足鐵路各系統(tǒng)的需求。

2.系統(tǒng)架構(gòu)與運行原理

系統(tǒng)采取cs架構(gòu)，基于應(yīng)用層文件級的備份恢復系統(tǒng)。分為客戶端，配置服務(wù)器，元數(shù)據(jù)服務(wù)器集群，存儲服務(wù)器集群4部分。集群中，所有服務(wù)器本地文件系統(tǒng)采用ZFS，ZFS是一款128 bit文件系統(tǒng)，可有效利用大容量廉價的SATA磁盤，具有端到端安全性，存儲池自動可伸縮特性，同時還擁有自優(yōu)化，自動校驗數(shù)據(jù)完整性，存儲池/卷系統(tǒng)易管理等很多優(yōu)點，同時避免RAID5著名的“WRITE-HOLE”缺陷，并較ext3系統(tǒng)運行速率提高約30%-40%。

2.1Meta Svr和配置服務(wù)器核心數(shù)據(jù)結(jié)構(gòu)

Meta Svr采用數(shù)據(jù)庫方式持久存儲數(shù)據(jù)，以表結(jié)構(gòu)的方式存儲元數(shù)據(jù)。系統(tǒng)初始化運行時，元數(shù)據(jù)全部load到內(nèi)存中。系統(tǒng)采用一致性Hash算法，將數(shù)據(jù)和負載均衡到多臺機器中。對每一臺機器，又采用主備雙機備份方式，提高可靠性，形成一致性HASH環(huán)+主備的混合架構(gòu)。任意一臺機器宕機，slave機器能夠馬上切換成Master狀態(tài)提供服務(wù)。

MetaSvr中還運行ZOOKEEPER服務(wù)，處理全局的數(shù)據(jù)存儲服務(wù)器集群的塊ID生成，塊分配，回收，以及和數(shù)據(jù)服務(wù)器的心跳交互和數(shù)據(jù)校驗。ZOOKEEPER是APACHE軟件中類似GOOGLE CHUBBY的分布式協(xié)調(diào)服務(wù)，采用FastPaxos協(xié)議，實現(xiàn)了去中心化的高可用分布式鎖服務(wù)。

Metasvr中存儲信息主要分為文件HASH信息表、塊HASH信息表、文件塊映射信息表、塊存儲信息表，數(shù)據(jù)服務(wù)器空間使用情況表等。

2.2快照/克隆的實現(xiàn)

整個系統(tǒng)的快照/克隆分為存儲集群的快照/克隆和MetaSvr和配置服務(wù)器的快照/克隆。

存儲集群底層采用ZFS文件系統(tǒng)，可以方便地實現(xiàn)無限制的快照數(shù)量，隨時進行數(shù)據(jù)備份。同時，也可以基于快照方便地實現(xiàn)存儲集群中的底層文件系統(tǒng)克隆。

MetaSvr數(shù)據(jù)服務(wù)器和配置服務(wù)器生成快照時，只需做一次checkpoint操作，對cache中的數(shù)據(jù)刷入數(shù)據(jù)庫保存；然后底層zfs執(zhí)行一次快照/克隆操作即可完成。

系統(tǒng)執(zhí)行快照動作時，首先執(zhí)行MetaSvr上和配置服務(wù)器上的快照動作，再執(zhí)行存儲服務(wù)器上的快照動作。元數(shù)據(jù)服務(wù)器執(zhí)行快照時短暫緩存寫動作，讀不影響。影響時間由底層ZFS執(zhí)行速度決定。由于zfs快照開銷特別小，屬于0（1）常量時間級別，所以影響很小。如果對整個系統(tǒng)實行間隔較小的連續(xù)快照，則可以實現(xiàn)一定粒度下的CDP連續(xù)數(shù)據(jù)保護。

3.并行擴展與關(guān)鍵算法

3.1Meta Svr的分布式并行擴展

整個Meta Svr是系統(tǒng)的關(guān)鍵部分。如果宕機或不可用，則整個系統(tǒng)不可用。而且，隨著數(shù)據(jù)量的增大，當內(nèi)存容量不能滿足HASH表計算要求，或后端存儲不能滿足元數(shù)據(jù)存儲要求，則Meta Svr集群需要能夠快速并行擴展。

在Meta Svr集群中，所有元數(shù)據(jù)服務(wù)器共享命名空間，采用一致性HASH算法自動分配和遷移數(shù)據(jù)。其相比普通hash的主要優(yōu)勢在于在添加或移除節(jié)點時，保證盡量少的cache失效（數(shù)據(jù)遷移及均衡）。在一致性哈希算法中，每個節(jié)點都有隨機分配的ID。在將內(nèi)容映射到節(jié)點時，使用內(nèi)容的關(guān)鍵字和節(jié)點的ID進行一致性哈希運算并獲得鍵值。缺點是客戶端查詢元數(shù)據(jù)策略要進行更改?？梢圆扇“姹旧壏绞竭M行，每次備份恢復前Meta Svr查詢配置版本是否更新，若更新則自動拉取和更新配置策略數(shù)據(jù)。

3.2文件名字和ID生成算法

文件名字和ID在Meta Svr生成。由于文件名字在服務(wù)器端生成，因而可用采用比較特殊的生成算法，可以將文件名字直接解析為文件ID?？蛻舳俗x取解析ID后就可用直接去MetaSvr服務(wù)器查詢數(shù)據(jù)，減少了和配置服務(wù)器的交互，從而也提高了文件的訪問速度。由于鐵路信息系統(tǒng)中很多小文件并不需要自己命名文件名，因此，這種將數(shù)據(jù)塊位置隱含在ID的方式，可以極大地提高了小文件的訪問效率。

只有對于那些需要自己命名的客戶端文件，才需要在讀取時讀配置服務(wù)器獲取文件ID。

3.3存儲服務(wù)器分布式并行擴辰

存儲服務(wù)器可采用SSD設(shè)備作最終的存儲服務(wù)器本地文件系統(tǒng)的二級緩存，提高系統(tǒng)的讀寫速率。

當存儲服務(wù)器集群容量需要擴展時，只需要簡單地增加機器，并將狀態(tài)上報給所有MetaSvr即可。MetaSvr集群會立即將新增加的空間分配給寫請求。當存儲服務(wù)器宕機時，會失去和MetaSvr的心跳，MetaSvr服務(wù)器會將此機器所有的數(shù)據(jù)副本均衡分布到其他機器中去。

3.4小文件優(yōu)化算法

對于小文件的寫，有兩種優(yōu)化算法。一種是將多個小文件打包成大文件，減少MetaSvr元數(shù)據(jù)的數(shù)量；另一種就是采用特殊的文件名生成算法，文件名中就蘊含著文件ID，減少和配置服務(wù)器的交互。

4.系統(tǒng)原型

構(gòu)建了一個30左右臺普通服務(wù)器（2.6 GHz賽揚雙核，2G內(nèi)存），存儲容量在百TB級別的分布式存儲集群。使用自研的測試工具，在塊大小為4 K，16 K，10個客戶端同時讀寫情況下（75%讀，25%寫），其性能參數(shù)如表1所示。

目前應(yīng)用中鐵路信息化系統(tǒng)存儲中，獲得了用戶的好評。

5.結(jié)語

本文實現(xiàn)了一種帶快照，重刪技術(shù)的分布式文件系統(tǒng)，能夠有效的避免單點故障，并實現(xiàn)快速在線動態(tài)擴容。針對海量的小文件，優(yōu)化了寫入性能。服務(wù)器底層文件系統(tǒng)采用先進的ZFS系統(tǒng)，使單機存儲容量極大提高，并保證了數(shù)據(jù)的端到端一致性，使單機數(shù)據(jù)可靠性和讀寫速度都得到了極大提高。同時，單機存儲容量可在線動態(tài)擴展，集群容量也可以在線動態(tài)擴展，極大地簡化了運維的復雜度。