MassCloud云存儲系統(tǒng)構(gòu)架及可靠性機制

馬瑋駿，吳海佳，劉 鵬

(1.解放軍理工大學(xué)指揮自動化學(xué)院，江蘇南京 210007;2.解放軍理工大學(xué)氣象學(xué)院，江蘇南京 211101)

隨著計算機與網(wǎng)絡(luò)技術(shù)的不斷發(fā)展，人們對于信息存儲的要求越來越高，數(shù)據(jù)文件的大小呈指數(shù)級增長，數(shù)據(jù)存儲已經(jīng)發(fā)展為TB，PB，ZB級，存儲需求對存儲系統(tǒng)的設(shè)計和存儲可靠性、存儲效率形成了巨大的挑戰(zhàn).

縱觀存儲系統(tǒng)的發(fā)展，從早期的單磁盤存儲、RAID，逐步發(fā)展為以DAS，NAS，SAN[1]為代表的網(wǎng)絡(luò)存儲系統(tǒng)，近年來比較流行的多為分布式文件系統(tǒng)以及存儲系統(tǒng).如:Antiquity[2]是一個旨在為文件系統(tǒng)或者備份應(yīng)用提供存儲服務(wù)的大規(guī)模分布式存儲系統(tǒng)，該系統(tǒng)采用安全日志技術(shù)保證數(shù)據(jù)完整性和系統(tǒng)的可靠性，保存日志的多個副本，同時基于拜占庭容錯協(xié)議保證副本之間的一致性;Cassandra[3]是一個用于存儲結(jié)構(gòu)化數(shù)據(jù)的分布式海量存儲系統(tǒng)，該系統(tǒng)借鑒了很多數(shù)據(jù)庫的設(shè)計和實現(xiàn)思想，避免了大規(guī)模分布式存儲系統(tǒng)中的單點故障問題，旨在提供高可靠性、高性能的存儲服務(wù);文獻[4]介紹了一種使用dCache進行存儲資源管理的、在網(wǎng)格環(huán)境下基于GridFTP提供分布式存儲服務(wù)的部署和實現(xiàn)方式;HYDRAstor[5]是一個可擴展的商用分布式存儲系統(tǒng)，該系統(tǒng)的特點在于能夠自我維護，自動地進行故障恢復(fù)，對數(shù)據(jù)和網(wǎng)絡(luò)進行重建;SandStone[6]是一個P2P環(huán)境下基于DHT的分布式存儲系統(tǒng)，該系統(tǒng)旨在解決電信基礎(chǔ)設(shè)施與一般DHT之間的性能問題，為用戶提供一個強一致性的、高可靠性和伸縮性的存儲系統(tǒng);CRAQ[7]是一個基于對象存儲技術(shù)的分布式存儲系統(tǒng)，該系統(tǒng)將負載分布到多個對象副本的方式來提高系統(tǒng)的性能和可靠性，同時采用優(yōu)化的復(fù)制鏈來保證副本之間的強一致性;“藍鯨”[8-9]是中科院計算技術(shù)研究所研究的大規(guī)模網(wǎng)絡(luò)存儲系統(tǒng)，該系統(tǒng)致力于解決高性能計算環(huán)境中的存儲子系統(tǒng)的瓶頸問題，充分利用存儲空間和并發(fā)數(shù)據(jù)傳輸能力，實現(xiàn)高性能、低成本的海量存儲;文獻[10]設(shè)計了一個基于P2P的分布式存儲系統(tǒng)，該系統(tǒng)采用結(jié)構(gòu)化P2P路由機制、動態(tài)自適應(yīng)的副本管理、信任機制和激勵機制為用戶提供高效、可靠的分布式存儲服務(wù);分布式網(wǎng)絡(luò)存儲系統(tǒng)DNSS[11]結(jié)合了CDN和P2P的技術(shù)優(yōu)勢，存儲節(jié)點以P2P方式工作以快速完成用戶對文件數(shù)據(jù)的請求任務(wù);文獻[12]提出了一種基于對等計算模式的云存儲文件系統(tǒng)通用模型，并采用Kademlia算法構(gòu)建了原型系統(tǒng)MingCloud.

從以上對存儲系統(tǒng)以及相關(guān)可靠性策略的描述中可以看出，不同的存儲系統(tǒng)所使用的可靠性策略存在較多的不一致性，因而對于存儲系統(tǒng)可靠性的研究工作從未停止.本文提出一種高可靠性的云存儲系統(tǒng)MassCloud，對分布式環(huán)境下基于糾刪碼的可靠性保證機制進行了研究，根據(jù)廣域網(wǎng)的特點提出基于糾刪碼的優(yōu)化編解碼算法——雙表法，對該算法進行了分析和測試，并分析了MassCloud所采用的可靠性保證機制.

1 MassCloud分層可擴展構(gòu)架

MassCloud是筆者提出的一個基于云存儲技術(shù)的新型分布式存儲系統(tǒng)，該系統(tǒng)的設(shè)計目標(biāo)在于使用最小的成本為用戶提供透明、海量、高可靠的存儲服務(wù).針對設(shè)計目標(biāo)，給出MassCloud的分層體系結(jié)構(gòu)以及物理部署結(jié)構(gòu)分別如圖1和圖2所示.該體系結(jié)構(gòu)主要分為3層:資源節(jié)點層、云存儲站點層、分布式存儲層.MassCloud采用分層的設(shè)計思想，將各類硬件、網(wǎng)絡(luò)資源與實際的存儲系統(tǒng)邏輯相分離，每層都處理自身所關(guān)注的主要問題，便于系統(tǒng)實現(xiàn)以及適應(yīng)用戶對存儲系統(tǒng)的需求.

圖1 MassCloud體系結(jié)構(gòu)Fig.1 Architecture of MassCloud

圖2 MassCloud物理部署結(jié)構(gòu)Fig.2 Deployment of MassCloud

MassCloud的特點在于:(a)采用分層的體系結(jié)構(gòu)，可以靈活地擴展整個存儲體系，使得系統(tǒng)具有海量數(shù)據(jù)的存儲能力;(b)采用低功耗存儲節(jié)點作為底層存儲設(shè)備，極大地降低了系統(tǒng)的總體硬件開銷以及成本;(c)創(chuàng)造性地在不同層次運用不同的可靠性機制，綜合運用各類可靠性機制的優(yōu)勢，在保證系統(tǒng)高可靠性的同時又兼顧了運行效率.

1.1 資源節(jié)點層

該層主要包含各類存儲資源、硬件以及網(wǎng)絡(luò)資源，其中比較關(guān)鍵的是MassCloud特有的低功耗、低成本存儲節(jié)點，該設(shè)備可以一次性掛載4塊以上SATA硬盤，多個設(shè)備可以提供海量的存儲空間，并且可以任意擴展.系統(tǒng)運行功耗在典型應(yīng)用和最大應(yīng)用時5～10W.存儲節(jié)點每TB成本低于1000元.除了低功耗、低成本存儲節(jié)點，該層還包含各類元數(shù)據(jù)服務(wù)器，負責(zé)元數(shù)據(jù)的存儲;存儲代理，負責(zé)與用戶與元數(shù)據(jù)服務(wù)器、存儲節(jié)點之間的交互;資源節(jié)點層還包含大量的網(wǎng)絡(luò)通信資源，負責(zé)存儲節(jié)點、站點、元數(shù)據(jù)服務(wù)器、存儲代理、用戶之間通信.

1.2 云存儲站點層

MassCloud將多個低功耗、低成本存儲節(jié)點相連接組成一個個存儲服務(wù)器，然后再由多個存儲服務(wù)器構(gòu)成海量的存儲空間，采用元數(shù)據(jù)服務(wù)器進行管理，通過可靠性管理、存儲負載均衡、元數(shù)據(jù)管理、存儲副本管理、數(shù)據(jù)容錯管理、節(jié)點緩存等多種軟件技術(shù)，為用戶提供可靠的海量云存儲服務(wù)，稱之為云存儲站點.云存儲站點在物理上可以是一個或多個數(shù)據(jù)中心，部署在一個單位或者一個城市，為本地或者遠地用戶提供云存儲服務(wù).云存儲站點中的元數(shù)據(jù)服務(wù)器邏輯上只有一個，但是在物理上卻是多個備份相互鏡像提供負載均衡，元數(shù)據(jù)服務(wù)器保存系統(tǒng)的元數(shù)據(jù)，負責(zé)整個云存儲系統(tǒng)的管理.存儲服務(wù)器負責(zé)具體的存儲工作，數(shù)據(jù)以文件的形式存儲在存儲服務(wù)器上.

客戶端在訪問云存儲站點時，首先訪問元數(shù)據(jù)服務(wù)器節(jié)點，獲取將要與之進行交互的存儲服務(wù)器信息，然后直接訪問這些存儲服務(wù)器完成數(shù)據(jù)存取.客戶端與存儲服務(wù)器之間直接傳輸數(shù)據(jù)流，同時由于文件被分成多個分塊進行分布式存儲，客戶端可以同時訪問多個存儲服務(wù)器，從而使得整個系統(tǒng)的I/O高度并行，系統(tǒng)整體性能得到提高.相對于傳統(tǒng)的分布式文件系統(tǒng)，云存儲站點在一定規(guī)模下達到成本、可靠性和性能的最佳平衡.

1.3 分布式存儲層

MassCloud認為云存儲站點可能存在錯誤相關(guān)性，即一旦發(fā)生地震、火災(zāi)等自然災(zāi)害，某個云存儲站點中的數(shù)據(jù)可能會全部毀壞，這樣就必須在云存儲站點層之上，再通過廣域分布式存儲策略構(gòu)建一個分布式存儲層，重點負責(zé)在整個云存儲站點發(fā)生故障時，保證系統(tǒng)的可靠性.

分布式存儲層的對象主要就是云存儲站點、元數(shù)據(jù)服務(wù)器、存儲代理，每個云存儲站點對于分布式存儲層來說就是一個海量存儲設(shè)備，通過元數(shù)據(jù)服務(wù)器的管理，由存儲代理為用戶提供分布式抗毀的可靠存儲服務(wù).

分布式存儲層采用糾刪碼的方式提供數(shù)據(jù)可靠性保證，因為糾刪碼技術(shù)在理論上被證明可靠性要優(yōu)于完全副本技術(shù)[13]，該層主要解決的問題便是進一步提高系統(tǒng)在災(zāi)難條件下的數(shù)據(jù)可靠問題.元數(shù)據(jù)服務(wù)器除了管理由糾刪碼技術(shù)生成的所有數(shù)據(jù)塊，還提供對于所有云存儲站點的負載均衡，同時可以靈活地處理云存儲站點的加入和退出.考慮到減輕元數(shù)據(jù)服務(wù)器的壓力，糾刪碼技術(shù)編碼和解碼的工作都由存儲代理實現(xiàn).

2 分布式環(huán)境下基于糾刪碼的可靠性保證機制及優(yōu)化算法

MassCloud通過設(shè)計一種糾刪能力強、編譯碼速度快的糾刪碼來滿足實時傳輸大容量數(shù)據(jù)需要，這也是一個難點問題.根據(jù)糾錯碼理論[14]，對(n，k，d)線性分組碼(d為該分組碼的最小碼距)，只要其中的刪除位不超過d-1個，就可以通過適當(dāng)?shù)乃惴▽h除位全部恢復(fù).如果一個線性分組碼能夠保證從 n個編碼數(shù)據(jù)中任選k個都能恢復(fù)所有的刪除錯誤，則稱此碼為最優(yōu)糾刪碼.

設(shè)A為某(n，k)線性分組碼C的生成矩陣，則C為最優(yōu)糾刪碼的充要條件是A的任意k列組成的子矩陣A′均可逆[15].

在差錯控制編碼[16]中，最大距離可分(MDS)碼的定義[17]為:設(shè)C為伽羅瓦域GF(pr)上的(n，k)線性分組碼，當(dāng)且僅當(dāng)其生成矩陣的任意k列線性無關(guān)時，C為MDS碼.

由最優(yōu)糾刪碼的充要條件和MDS碼的定義可以推出最優(yōu)線性糾刪碼為MDS碼.MassCloud使用Reed-Solomon碼(簡稱RS碼)構(gòu)造MDS碼.構(gòu)造MDS碼的關(guān)鍵是尋找一個生成矩陣Ak×n，使Ak×n中任意k列均線性無關(guān).RS編碼技術(shù)中，比較常用的生成矩陣是范德蒙矩陣和柯西矩陣.使用范德蒙矩陣生成的編碼叫范德蒙碼，使用柯西矩陣生成的編碼叫柯西碼.文獻[18]保證柯西碼為最優(yōu)糾刪碼.

柯西碼的譯碼過程需要矩陣求逆運算，柯西碼的構(gòu)造中涉及求乘法逆元的運算，這些運算在實數(shù)域內(nèi)存在無法整除的情況，因此需要將運算限定在伽羅瓦域內(nèi)進行.伽羅瓦域?qū)λ阈g(shù)運算是閉包的.由此，可以設(shè)計一種快速的雙表計算法.

從表1可以看出，GF(2m)中的元素可以表示為指數(shù)形式，或者二進制形式.進行伽羅瓦域內(nèi)的算術(shù)運算時，指數(shù)形式適合于乘除法運算，二進制形式適合于加減法運算，因此，可以將伽羅瓦域內(nèi)的算術(shù)運算轉(zhuǎn)變?yōu)椴楸碛嬎?

首先構(gòu)造兩張表 T1和T2.表T1存放由多項式形式到二進制形式的對應(yīng)關(guān)系，T1的第i個元素T1i表示αi對應(yīng)的二進制數(shù)值;表T2存放由二進制形式到多項式形式的對應(yīng)關(guān)系，若T1j=i，則T2i= j，即表T2中的第i個元素T2i表示二進制形式伽羅瓦域內(nèi)的元素i對應(yīng)的多項式形式的指數(shù)，對表 T1循環(huán)搜索一次就可構(gòu)造出表T2.

若將1Byte的數(shù)值看作GF(28)內(nèi)的元素，則數(shù)值間的加減法運算直接轉(zhuǎn)變?yōu)檫M行異或運算，數(shù)值間的乘除法運算利用表 T1和T2轉(zhuǎn)變?yōu)?/p>

表1 GF(23)元素Table 1 Elements of GF(23)

可見，使用雙表法完成GF(2m)內(nèi)元素的一次乘(除)運算只需要3次查表運算、1次加(減)運算和1次模運算，合計5次基本操作，因而計算效率非常高.

將雙表法應(yīng)用于分布式環(huán)境下的分布式存儲層，網(wǎng)絡(luò)數(shù)據(jù)傳輸存在一定的時耗.由于文件分塊合并算法與數(shù)據(jù)的上傳/下載可并行進行，因此只有雙表法的時耗超過網(wǎng)絡(luò)傳輸時耗，才會對系統(tǒng)性能產(chǎn)生影響.通過實驗方法統(tǒng)計對不同長度的文件進行分塊與合并所需要的時耗，并計算相應(yīng)的編解碼速率.實驗計算機配置:CPU為Intel雙核2.33GHz，內(nèi)存為2GB.實驗數(shù)據(jù)見表2.

表2 時耗對比Table 2 Comparison of time consumption

從表2可以看出:當(dāng)k=4，n=6時編碼平均速率約為18Mb/s，譯碼平均速率約為15Mb/s;當(dāng)k=5，n= 10時，編碼平均速率約為11Mb/s，譯碼平均速率約為14Mb/s;當(dāng)k=8，n=12時，編碼平均速率約為15Mb/s，譯碼平均速率約為11Mb/s.對于分布式環(huán)境，多為廣域網(wǎng)，雙表法的編/譯碼速率遠遠高于接入網(wǎng)速率，因此，算法對系統(tǒng)性能不會產(chǎn)生影響.編碼速率隨k的增大而增大，隨n的增大而減小;譯碼速率隨k的增大而減小，而與n的取值無關(guān).

3 基于糾刪碼、副本冗余和RAID相結(jié)合的可靠性機制分析

MassCloud在分布式存儲層使用糾刪碼，在云存儲站點層使用副本冗余，在資源節(jié)點層使用RAID分別保證各個層次的可靠性，下面就各個層次的可靠性以及系統(tǒng)可靠性進行分析.

3.1 RAID可靠性分析

RAID機制迄今為止已經(jīng)發(fā)展了較長時間，技術(shù)相對較為成熟，常用的RAID級別主要有RAID0，RAID1，RAID0+1，RAID10，RAID3，RAID5，RAID6，RAID7等[19-20].綜合考慮成本、可靠性、訪問效率、恢復(fù)時間、實現(xiàn)復(fù)雜度等因素，RAID0，RAID1，RAID0+1，RAID3，RAID5的可靠性相對不高，RAID6和RAID7的實現(xiàn)成本較高，雖然RAID5+Hotspare可提供較高的可靠性，但實現(xiàn)機制較復(fù)雜.RAID10能夠提供較高的可靠性，并且效率較高，雖然磁盤利用率較RAID5+Hotspare低，但是考慮低功耗存儲節(jié)點本身的成本較低，故可以接受，因此MassCloud的資源節(jié)點層采用RAID10作為低功耗存儲節(jié)點的可靠性保證技術(shù).

假設(shè)構(gòu)成一個低功耗存儲節(jié)點的RAID10的磁盤組數(shù)為p(2個磁盤一組)，第j組磁盤中每個磁盤的可靠性為RHDDj，構(gòu)成一個低功耗存儲節(jié)點的RAID10可靠性為RRAID10，則RAID10的可靠性模型為

圖3 采用RAID10的低功耗存儲節(jié)點可靠性Fig.3 Reliability of low cost storage node using RAID10

假設(shè)每組磁盤的可靠性相同，取RHDDj=0.9，p=1～10，則構(gòu)成一個低功耗存儲節(jié)點的RAID10的可靠性如圖3所示.

從圖3可以看出，采用RAID10方式構(gòu)建的低功耗存儲節(jié)點的可靠性隨磁盤組數(shù)的增加而降低，因此每個低功耗存儲節(jié)點包含的磁盤組數(shù)不宜太多，當(dāng)取4組(8塊硬盤)時，低功耗節(jié)點的可靠性約為0.96，在提供足夠的存儲容量與可靠性之間進行權(quán)衡，MassCloud采用4組(8塊硬盤)作為每個低功耗存儲節(jié)點包含的磁盤數(shù).

3.2 副本冗余可靠性分析

副本冗余技術(shù)即保存多個要存儲的數(shù)據(jù)的完整副本，一個云存儲站點由多個低功耗存儲節(jié)點構(gòu)成，設(shè)云存儲站點可靠性為RCOPY，低功耗存儲節(jié)點可靠性為RRAID10，數(shù)據(jù)冗余倍數(shù)為r，對于云存儲站點使用副本模式的冗余存儲，在不同的低功耗存儲節(jié)點上保存數(shù)據(jù)的多個完整副本，云存儲站點中任何低功耗存儲節(jié)點有效即可滿足云存儲站點有效，因此，由低功耗存儲節(jié)點構(gòu)成的云存儲站點的可靠性模型為

圖4 采用副本冗余方式的云存儲站點可靠性Fig.4 Reliability of cloud storage site using duplicate redundancy

取RR AID10=0.9，r=1～5，則采用副本冗余方式的云存儲站點可靠性如圖4所示.

從圖4可以看出，當(dāng)副本數(shù)等于1和2時，云存儲站點的可靠性小于0.98;當(dāng)副本數(shù)大于或等于3時，云存儲站點的可靠性大于0.99，而且可靠性隨副本數(shù)增加已變化不明顯，考慮云存儲站點的資源利用率，兼顧可靠性，MassCloud在云存儲站點層采用3個副本.

3.3 糾刪碼可靠性分析

將k個文件分塊數(shù)據(jù)生成為n(n＞k)個帶有一定冗余的編碼數(shù)據(jù)，然后將n個冗余的編碼數(shù)據(jù)分散存儲到多個云存儲站點中，其中任意k個部分可以用來恢復(fù)原始數(shù)據(jù).設(shè)分布式環(huán)境下使用糾刪碼(MassCloud采用基于雙表計算的快速編碼技術(shù))的系統(tǒng)可靠性為RRS，云存儲站點可靠性為RCOPY，糾刪碼數(shù)據(jù)冗余倍數(shù)為s(s=n/k)，文件分塊數(shù)為k，只要分布式環(huán)境下任意m(m≥k)個云存儲站點有效，即可滿足分布式存儲層的數(shù)據(jù)有效.因此，分布式存儲層的可靠性模型為

圖5 分布式環(huán)境下采用糾刪碼方式的分布式存儲層可靠性Fig.5 Reliability of distributed storage using erasure code

式中C為組合運算符.取RCOPY=0.9，k=4～10，s=1～5，則分布式環(huán)境下采用糾刪碼方式的分布式存儲層可靠性如圖5所示.

從圖5可以看出，在低冗余度條件下(冗余倍數(shù)小于2)，糾刪碼方式提供較低的系統(tǒng)可靠性，并且文件分塊數(shù)越多，可靠性越低;當(dāng)冗余度大于2時，糾刪碼將提供較高的可靠性，并且變化不再明顯，保持在0.999以上.分布式存儲層的冗余度以及文件分塊數(shù)將在下文給出.

3.4 系統(tǒng)可靠性分析

根據(jù)以上對RAID、副本冗余和糾刪碼等技術(shù)的分析，可以得出MassCloud可以提供的系統(tǒng)可靠性模型.設(shè)MassCloud系統(tǒng)可靠性為RMassCloud，將式(1)和式(2)代入式(3)得

取RHDDj=0.9，p=4，k=1～20，s=1～4，r=3，假定云存儲站點可靠性為定值，考察系統(tǒng)可靠性與分布式環(huán)境下冗余倍數(shù)以及文件分塊數(shù)的關(guān)系如圖6所示.

假設(shè)在云存儲站點副本數(shù)取3，可以看出分布式環(huán)境下MassCloud的可靠性與冗余倍數(shù)以及文件分塊數(shù)之間的關(guān)系，當(dāng)冗余倍數(shù)等于1時(即不冗余)，MassCloud可靠性隨文件分塊數(shù)增加而降低，當(dāng)冗余倍數(shù)大于或等于2時，系統(tǒng)可靠性隨文件分塊數(shù)增加而增加，當(dāng)文件分塊數(shù)達到5塊以上時，MassCloud可靠性大于0.999，并且增加不再明顯，因此綜合考慮存儲空間資源利用率以及系統(tǒng)可靠性，MassCloud冗余倍數(shù)取2，文件分塊數(shù)取8.

圖6 系統(tǒng)可靠性與分布式環(huán)境下冗余倍數(shù)以及文件分塊數(shù)的關(guān)系Fig.6 Relationship among system reliability，times of duplicate redundancy in distributed environment and number of file segments

4 結(jié) 語

本文介紹了高可靠性云存儲系統(tǒng)MassCloud的構(gòu)架以及其可靠性機制，提出了基于RS糾刪碼的快速編解碼算法——雙表法，該方法在分布式環(huán)境中的廣域網(wǎng)體現(xiàn)出較好的性能，并且不會成為系統(tǒng)的效率瓶頸.通過對各個MassCloud的各個層次所采用的可靠性機制的分析，在保證系統(tǒng)高可靠性的同時兼顧系統(tǒng)存儲空間的利用率，得出了保證各個層次可靠性的基本參數(shù)，使得低功耗存儲節(jié)點的可靠性可以達到0.96，云存儲站點和分布式存儲可靠性都可以達到0.99以上.

[1]張江陵，馮丹.海量信息存儲[M].北京:科學(xué)出版社，2000:95-107.

[2]WEATHERSPOON H，EATON P，KUBIATOWICZ J，et al.Antiquity:exploiting a secure log for wide-area distributed storage[C]// Proceedings of the 2nd ACM SIGOPS/EuroSys European Conference on Computer Systems 2007，Lisbon，Portugal.New York:ACM，2007:371-384.

[3]LAKSHMAN A，MALIK P.Cassandra:structured storage system on a P2P network[C]//Proceedings of the 28th ACM Symposium on Principles of Distributed Computing.New York:ACM，2009:5-5.

[4]BEHRMANN G，F(xiàn)UHRMANN P，GRONAGERM，et al.A distributed storage system with dCache[J].Journal of Physics，2008，119(6): 2014-2025.

[5]DUBNICKI C，GRYZ L，HELDT L，et al.HYDR Astor:a scalable secondary storage[C]//Proccedings of the 7th Conference on File and Storage Technologies.California，USA:USENIX Association Berkeley，2009:197-210.

[6]SHI Guang-yu，CHEN Jian，GONG Hao，et al.SandStone:a DHT based carrier grade distributed storage system[C]//2009 International Conference on Parallel Processing.Vienna，Austria:IEEE Computer Society，2009:420-428.

[7]JEFF T，MICHAEL J.Freedman bject storage on CRAQ:high-throughput chain replicationfor read-mostly workloads[C]//Proceedingsof the 2009 Conference on USENIX Annual Technical Conference.California，USA:USENIX Association Berkeley，2009:11.

[8]楊德志，許魯，張建剛.藍鯨分布式文件系統(tǒng)元數(shù)據(jù)服務(wù)[J].計算機工程，2008，34(7):4-6.((YANG De-zhi，XU Lu，ZHANG Jian-gang.Blue whale distributed file system metadata service[J].Computer Engineering，2008，34(7):4-6.(in Chinese))

[9]張敬亮，張軍偉，張建剛，等.藍鯨文件系統(tǒng)中元數(shù)據(jù)與數(shù)據(jù)隔離技術(shù)[J].計算機工程，2010，36(2):28-30.(ZHANG Jingliang，ZHANG Jun-wei，ZHANG Jian-gang，et al.IsolatI/On technology of metadata from data in blue whale file system[J].Computer Engineering，2010，36(2):28-30.(in Chinese))

[10]田榮華，盧顯良，侯孟書，等.P2P分布式存儲系統(tǒng)[J].計算機科學(xué)，2007，34(6):47-48.(TIAN Rong-hua，LU Xian-liang，HOU Meng-shu，et al.P2P-based distributed storage system[J].Theoretical Computer Science，2007，34(6):47-48.(in Chinese))

[11]馬軍，鄭燴，殷保群.基于CDN和P2P的分布式網(wǎng)絡(luò)存儲系統(tǒng)[J].計算機應(yīng)用與軟件，2010，27(2):50-52.(MA Jun，YAN Bao-qun，ZHENG Quan.CDN and P2P-BASED distributed network storage system[J].Computer Applications and Software，2010，27 (2):50-52.(in Chinese))

[12]吳吉義，章劍林，傅建慶，等.基于Kademlia的云存儲系統(tǒng)數(shù)據(jù)冗余方案研究[J].電信科學(xué)，2011，27(2):68-73.(WU Ji-yi，ZHANG Jian-lin，F(xiàn)U Jian-qing，et al.Study on data redundancy scheme in kademlia cloud storage system[J].Telecommunications Science，2011，27(2):68-73.(in Chinese))

[13]WEATHERSPOON H，KUBIATOWICZ J.Erasure coding Vs.replication:a quantitative comparison[C]//IPTPS 2002.London:Springer-Verlag，2002:328-338.

[14]HAMMING R W.Error detecting and error correcting codes[J].The Bell System Technical Journal，1950，29(2):147-160.

[15]RIZZO L，VICISANO L.A reliable multicast data distribution protocol based on software FEC techinques[C]//Proceedings of the Fourth IEEE HPCS'97 Workshop.New York:ACM，1997:116-125.

[16]林舒，科斯特洛.差錯控制編碼[M].晏堅，譯.北京:機械工業(yè)出版社.2007:9-33.

[17]WILLIAMS F J，SLONE N J.Theory of error-correcting codes[M].Amsterdam，The Netherlands:North-Holland，1977.

[18]BLOMER J，MITZENMACHER M，SHOKROLLAHI A.An XOR-based erasure-resilient coding scheme(Report，NO.TR-9504)[R]. Berkeley，California:The International Computer Science Institute，1995.

[19]TOM C.存儲區(qū)域網(wǎng)絡(luò)設(shè)計[M].鄧勁生，李寶峰，李蕾，等，譯.北京:電子工業(yè)出版社，2005.

[20]ZHOU Ke，HUANG Yong-feng.Disk tree-a case of parallel storage architecture to improve performance in random access patten[J]. Chinese Journal of Electronics，2005，14(1):39-44.