超低功耗云存儲系統(tǒng)
——cStor

南京云創(chuàng)大數(shù)據(jù)科技股份有限公司 袁高峰 吳亞洲

?

超低功耗云存儲系統(tǒng)
——cStor

南京云創(chuàng)大數(shù)據(jù)科技股份有限公司 袁高峰 吳亞洲

【摘要】文章針對超低功耗云存儲系統(tǒng)cStor的外部架構、軟件架構進行了分析，探析了cStor低功耗儲存節(jié)點，并對cStor云存儲系統(tǒng)性能進行了測試研究，以供參考。

【關鍵詞】云儲存；超低功耗；PB級

課題項目：本研究得到了國家科技支撐計劃課題任務“基于云計算平臺的OTT智能終端應用示范”（項目編號：2012BAH57F00，課題編號：2012BAH57F01）的資助。

1 cStor的架構分析

1.1 cStor的外部架構

超低功耗云儲存系統(tǒng)的組成部分包括：機架套件、1臺主交換機和1臺備用交換機、1臺主元服務器和1臺備用元服務器、18臺2U尺寸超低功耗儲存服務器節(jié)點。通常在機柜的一面可以用來部署硬盤。cStor采用了低功耗的ARM架構設計，散熱量相對較小，并且能夠進行雙面插盤，并且最大插盤容量多達384塊。由于cStor通常采用3TB/4TB硬盤，因此其總儲存容量為1.125PB/1.5PB。cStor整個系統(tǒng)結構主要包括32個機箱，每一個機箱設有4個3W的風扇；2個200W的Master節(jié)點；2個150W的交換機；24個15W的主板；384塊5W平均功耗的硬盤。cStor超低功耗云儲存系統(tǒng)具有吞吐量高、容量超高、價格超低以及功耗超低等眾多優(yōu)點，同時還可以利用軟件虛擬化整合ARM超低功耗云儲存服務器儲存空間中儲存的所有資源，能夠顯著地提高超低功耗云儲存系統(tǒng)的容錯率。并且Master服務器、交換機、電源、主板以及硬盤等相互之間冗余，當單個節(jié)點出現(xiàn)異?；蛘吖收现螅⒉粫ζ渌?jié)點以及整個系統(tǒng)的運行產(chǎn)生影響。

1.2 cStor的軟件架構

cStor超低功耗云儲存系統(tǒng)通常采用分布式的儲存機制，能夠將系統(tǒng)中的數(shù)據(jù)分散在多臺獨立的儲存服務器上，并且采用包括了客戶端節(jié)點、數(shù)據(jù)儲存節(jié)點服務器以及元數(shù)據(jù)管理服務器的虛擬海量儲存卷，其軟件架構圖由元數(shù)據(jù)管理服務器進行所有元數(shù)據(jù)的保存，同時對整個文件系統(tǒng)的數(shù)據(jù)進行管理，采用主備雙機鏡像的元數(shù)據(jù)管理服務器，這樣當主元數(shù)據(jù)管理服務器出現(xiàn)故障之后，備用元數(shù)據(jù)管理服務器運作，以此保證整個系統(tǒng)能夠連續(xù)的服務，避免出現(xiàn)元數(shù)據(jù)管理服務器故障導致服務中斷的現(xiàn)象?？蛻舳耸菍ν馓峁?shù)據(jù)訪問與儲存的窗口，在數(shù)據(jù)儲存節(jié)點服務器上安裝客戶端。通過利用該種軟件架構能夠為實現(xiàn)超低功耗云儲存系統(tǒng)的設計和實現(xiàn)提供便利。數(shù)據(jù)儲存節(jié)點服務器的主要任務是采用文件的形式對cStor系統(tǒng)中的數(shù)據(jù)進行儲存，但是由于cStor系統(tǒng)中數(shù)據(jù)儲存節(jié)點服務器的數(shù)量不固定，其數(shù)量的多少則會影響cStor系統(tǒng)的規(guī)模。同時，為了實現(xiàn)cStor軟件架構的設計還需要利用以下技術：

1.2.1 高可用技術

因為超低功耗云儲存系統(tǒng)采用低耦合分布式架構，通過網(wǎng)絡進行所有服務節(jié)點的連接，在不停止服務的前提下能夠進行系統(tǒng)節(jié)點的增加和刪除，通過注冊管理機制對元數(shù)據(jù)管理服務節(jié)點與儲存節(jié)點進行自適應管理。

1.2.2 高可靠保障技術

元數(shù)據(jù)的容錯功能由cStor操作日志實現(xiàn)，采用這種操作方式當管理節(jié)點發(fā)生異?；蛘吖收蠒r，只要磁盤數(shù)據(jù)沒有收到損壞，就能夠快速的恢復上述已發(fā)生故障的元數(shù)據(jù)。同時，為了避免管理節(jié)點在運行的過程中出現(xiàn)異常或者問題導致的死機故障，cStor還應該采用高可靠保證技術對管理節(jié)點進行遠程控制和實時備份，這樣即使管理節(jié)點在運行的過程中出現(xiàn)故障或者問題沒有辦法工作，備用管理節(jié)點動作，以此保證元數(shù)據(jù)處理工作的連續(xù)性。

1.2.3 高速并發(fā)訪問技術

基于客戶端的實際需求在進行cStor的訪問時，通常并不是直接訪問cStor，而是先進行管理節(jié)點的訪問，這樣能夠獲得和客戶端交互的儲存節(jié)點中儲存的信息，然后客戶端對這些儲存節(jié)點中存在的信息進行直接訪問并完成相應數(shù)據(jù)信息的的儲存和提取，采用這種設計方式能夠實現(xiàn)cStor系統(tǒng)對數(shù)據(jù)流與控制流的分離和控制。為了能夠降低管理節(jié)點的負載，通常在管理節(jié)點和客戶端之間并不會通過數(shù)據(jù)流，而只會通過管理流，采用這種方式能夠實現(xiàn)存儲節(jié)點和客戶端之間數(shù)據(jù)流的直接傳輸。此外，因為系統(tǒng)中的文件會被分成不同的數(shù)據(jù)塊，因此通常采用分布式的方式進行相應數(shù)據(jù)的儲存，因此客戶端能夠同時進行多個儲存節(jié)點的訪問，進而實現(xiàn)整個系統(tǒng)的高度并行。

1.2.4 負載自動均衡技術

cStor云儲存文件系統(tǒng)的管理由中心服務器執(zhí)行，管理節(jié)點上保存所有的元數(shù)據(jù)，文件則劃分為多個模塊分別儲存在相應的儲存節(jié)點上，管理節(jié)點對整個系統(tǒng)內(nèi)存儲節(jié)點的使用狀況進行掌控，同時維護一個統(tǒng)一的命名空間，客戶端可以向元數(shù)據(jù)服務器發(fā)生指令，例如數(shù)據(jù)讀寫指令，元數(shù)據(jù)服務器根據(jù)儲存節(jié)點的網(wǎng)絡負擔狀況和磁盤使用狀況，對負載負擔進行自動局呢航，并選擇負擔最輕的儲存節(jié)點為客戶端提供相應的服務。同時，一個儲存節(jié)點發(fā)生故障之后不能正常運行，此時管理節(jié)點會自動將發(fā)生故障的儲存節(jié)點屏蔽掉，同時該儲存節(jié)點處于離線狀態(tài)不再對客戶端提供服務，并且該儲存節(jié)點的數(shù)據(jù)也會自動備份至其他儲存節(jié)點，并由其他儲存節(jié)點向客戶端提供相應的服務，以此保證為客戶端提供不間斷的服務。

2 低功耗儲存節(jié)點

根據(jù)cStor超低功耗云儲存系統(tǒng)的實際要求應該采用低功耗主板，該主板采用《MV78460四核CPU，并且該CPU的主頻為1.6GHz，DDR3內(nèi)存為1GB，組件主要包括：1個2GBNAND FLASH、4個miniSAS接口、2個10M/100M/1000M自適應網(wǎng)口。基于Marvell的MV78460研發(fā)了高端和低能耗的嵌入式處理器的CPU的儲存節(jié)點的主板MS316。MV78460屬于工業(yè)級四核ARM CPU，采用了超低功耗架構和1.6GHz主頻的ARM7核CPU，由于應用了高級的制造工藝和實際技術，能夠將高性能網(wǎng)絡服務滲透至高容量服務中，例如媒體服務器、網(wǎng)絡連接式儲存器。

3 cStor性能測試

3.1 系統(tǒng)測試

cStor系統(tǒng)測試主要針對MS316性能進行測試，系統(tǒng)測試結果表明，當客戶端數(shù)據(jù)條件相同時，當節(jié)點數(shù)量增加時系統(tǒng)的讀寫性能也隨之在不斷的升高；當儲存節(jié)點相同時，當客戶端訪問數(shù)量在增加時客戶端的讀寫性能也隨之在不斷的升高。當儲存節(jié)點數(shù)量為18時，寫性能能夠達到500MB/s，讀性能能夠達到400MB/s。

3.2 硬件測試

硬件測試主要包括兩個方面：一方面，云儲存節(jié)點規(guī)格配置測試，測試采用cServerA2020（根據(jù)云服務器的應用要求而專門開發(fā)的一種功耗相對較低的儲存服務器），單個節(jié)點包括12個3TB的硬盤，因此單個節(jié)點的儲存容量為36TB；另一方面，節(jié)點性能測試，測試采用cServerA2020，測試結果表明：1MB、64kB、32kB文件在不同讀寫比例的IOPS分別超過500次/s、2000次/s、2200次/s。

4 結束語

綜上所述，文章所述的PB級超低功耗云儲存系統(tǒng)是一種結合了硬件和軟件的綜合系統(tǒng)，在cStor系統(tǒng)中存儲節(jié)點設備主板的功耗小于15W，單節(jié)點可以支持16塊磁盤，單節(jié)點的平均運行功率只有不到100W，當儲存節(jié)點數(shù)量為18時，寫性能能夠達到500MB/s，讀性能能夠達到400MB/s，1MB、64kB、32kB文件在不同讀寫比例的IOPS分別超過500次/s、2000次/s、2200次/s。

參考文獻

［1］袁高峰，吳亞洲，薛妍妍.超低功耗云存儲系統(tǒng)——cStor［J］.中興通訊技術，2013，19（4）﹕22-23.

［2］丁高，田敬，陳東，等.UpStor﹕一個開放的P2P存儲平臺［J］.計算機研究與發(fā)展，2009，46（S）﹕250-257.

［3］SHVACHKO K，，KUANG H，RADIA S.The hadoop distributed file system［C］//Proceedings of the IEEE 26th Symposium on Mass Storage Systems and Technologies（MSST 10），May 3-7，2010，Incline Village，，NV，USA. Piscataway，NJ，USA.IEEE，2010﹕10p.