解讀鵬云ZettaStor DBS海量節(jié)點(diǎn)無縫拓展

互聯(lián)網(wǎng)的普及讓企業(yè)的信息與數(shù)據(jù)的交換再無距離和時(shí)間的限制，用戶可以在任意時(shí)間、用任意設(shè)備、通過任意聯(lián)網(wǎng)形式，訪問自己需要的數(shù)據(jù)或服務(wù)，業(yè)務(wù)效率大幅度提升而成本則逐步下降。但與此同時(shí)，這也就意味著數(shù)據(jù)更為依賴網(wǎng)絡(luò)服務(wù)，不能孤立地、離線地存儲(chǔ)。租用空間、購(gòu)置設(shè)備或建設(shè)數(shù)據(jù)中心，一度成為企業(yè)業(yè)務(wù)流暢運(yùn)轉(zhuǎn)的關(guān)鍵環(huán)節(jié)，這一切隨著云技術(shù)的出現(xiàn)而徹底改變。

如今，云的應(yīng)用越來越廣泛，綜合目前需求迫切程度、應(yīng)用要求和業(yè)務(wù)復(fù)雜性等因素，企業(yè)私有云是最有前景，也是最有盈利空間的類型。但是企業(yè)規(guī)模有大小、業(yè)務(wù)需求有簡(jiǎn)繁，而對(duì)資金投入則以少、緩、值為原則，企業(yè)管理者往往希望在初期無需一次性大規(guī)模投入，而是在成熟可靠的現(xiàn)成方案上定制，并隨著需求的提高再逐步增加投入，且要求前期投入的設(shè)備可以繼續(xù)使用。

綜合來自用戶和運(yùn)營(yíng)商的需求，云市場(chǎng)愈發(fā)呈現(xiàn)去IOE化、PC化和服務(wù)購(gòu)買化等三大趨勢(shì)。在傳統(tǒng)模式下，從軟硬件配置到系統(tǒng)集成，用戶的話語權(quán)甚微，同時(shí)必須考慮未來業(yè)務(wù)拓展需要，因此只能被動(dòng)大量先期投入，不僅系統(tǒng)靈活度低，而且成本較高，中小型初創(chuàng)公司更是難以獲得一對(duì)一定制的系統(tǒng)，因此去IOE化成為主流。相比專用系統(tǒng)，PC平臺(tái)的通用性、二次開發(fā)能力都已經(jīng)沒有差距，而成本則大幅度降低，未來的業(yè)務(wù)遷移也十分簡(jiǎn)單，因此PC很快成為了企業(yè)私有云普及的主要推動(dòng)力。通過軟件定義系統(tǒng)的方式，使硬件條件不再是服務(wù)能力的限制，用戶在使用過程中可隨時(shí)依據(jù)業(yè)務(wù)需要重新定義服務(wù)或增加部署，提高靈活性。

在享用云帶給我們便利的同時(shí)，業(yè)務(wù)連續(xù)性、安全性是系統(tǒng)架構(gòu)的重中之重。優(yōu)秀的云架構(gòu)如同人的神經(jīng)系統(tǒng)，所有節(jié)點(diǎn)（神經(jīng)元）具備相近的特性，無需單體強(qiáng)大但執(zhí)行高效，單個(gè)節(jié)點(diǎn)故障不會(huì)影響整體系統(tǒng)運(yùn)行，業(yè)務(wù)和數(shù)據(jù)可快速無縫地轉(zhuǎn)移到鄰近節(jié)點(diǎn)上繼續(xù)運(yùn)行，這一切改變對(duì)用戶透明。節(jié)點(diǎn)調(diào)度是這項(xiàng)工作的核心環(huán)節(jié)，這是基于軟件定義的系統(tǒng)的優(yōu)勢(shì)所在，每次調(diào)度與重新定義系統(tǒng)無異，包括增加和減少節(jié)點(diǎn)數(shù)量。管理和調(diào)度的效率是軟件定義系統(tǒng)性能的關(guān)鍵環(huán)節(jié)，不同云解決方案的差別集中體現(xiàn)于此。目前，在為數(shù)不多實(shí)現(xiàn)盈利的云系統(tǒng)中，亞馬遜的AWS最具代表性，它就采用了這樣的系統(tǒng)設(shè)計(jì)原理，它的成功也為眾多新進(jìn)入這個(gè)領(lǐng)域的企業(yè)指明了方向。截止到2013年，AWS的節(jié)點(diǎn)數(shù)量已超過百萬，以最低錯(cuò)誤概率計(jì)算，每秒也有成百上千個(gè)硬件故障發(fā)生，如果沒有完善的系統(tǒng)、高效的處理預(yù)案，如此龐大的系統(tǒng)是無法持續(xù)運(yùn)行的。如今，AWS技術(shù)已經(jīng)成為了可借鑒的成功經(jīng)驗(yàn)，推動(dòng)著云存儲(chǔ)技術(shù)的高速發(fā)展和快速普及。

擁有7年AWS云計(jì)算核心架構(gòu)師工作經(jīng)歷的陳靚，歷時(shí)3年推出了ZettaStor分布式塊設(shè)備存儲(chǔ)（DBS）產(chǎn)品。該產(chǎn)品基于軟件定義，運(yùn)用分布式計(jì)算技術(shù)把大量標(biāo)準(zhǔn)x86服務(wù)器的存儲(chǔ)介質(zhì)進(jìn)行聚合，將這些存儲(chǔ)資源整合成為既具備傳統(tǒng)SAN/NAS的企業(yè)級(jí)功能和特性，又具有高彈性、高擴(kuò)展性、高可靠性的存儲(chǔ)系統(tǒng)，形成全新的Server SAN產(chǎn)品類型。ZettaStor DBS在AWS云上搭建的測(cè)試環(huán)境中，通過了由1020個(gè)存儲(chǔ)節(jié)點(diǎn)組成的集群長(zhǎng)時(shí)間、穩(wěn)定運(yùn)行能力驗(yàn)證，這是國(guó)內(nèi)首次公布如此大規(guī)模的測(cè)試。按照設(shè)計(jì)，ZettaStor DBS能支持百萬存儲(chǔ)節(jié)點(diǎn)，是目前業(yè)內(nèi)ServerSAN商用產(chǎn)品中支持存儲(chǔ)節(jié)點(diǎn)數(shù)最多的。除支持超大規(guī)模存儲(chǔ)容量外，99.999%的數(shù)據(jù)可靠性也為業(yè)內(nèi)領(lǐng)先的指標(biāo)。ZettaStor 的核心部件全部為自主研發(fā)，如沒有像其他的產(chǎn)品那樣利用Linux的通用文件系統(tǒng)存儲(chǔ)數(shù)據(jù)，而是研發(fā)了自己的文件系統(tǒng)存儲(chǔ)數(shù)據(jù)，網(wǎng)絡(luò)傳輸上也是如此，鵬云網(wǎng)絡(luò)研發(fā)了自己的異步組播（Multicast）傳輸層，用于數(shù)據(jù)傳輸和通訊。因此，可以把x86構(gòu)架的服務(wù)器性能發(fā)揮到極致。

ZettaStor DBS通過在存儲(chǔ)節(jié)點(diǎn)上部署輕量級(jí)的管理軟件，把各個(gè)節(jié)點(diǎn)上的各類存儲(chǔ)介質(zhì)進(jìn)行聚合，形成可統(tǒng)一管理的存儲(chǔ)池，并為各種應(yīng)用提供高速的塊設(shè)備接口，通過iSCSI協(xié)議，這些應(yīng)用可以像訪問本地硬盤一樣訪問存儲(chǔ)系統(tǒng)提供的存儲(chǔ)資源。采用開放架構(gòu)的它，可運(yùn)行在任何版本Linux系統(tǒng)下，并支持Hadoop、OpenStack、VMWARE等多種平臺(tái)和多種類型虛擬機(jī)平臺(tái)，適用范圍很廣。（圖1）

通過對(duì)不同位置數(shù)據(jù)的讀寫統(tǒng)一調(diào)配，數(shù)據(jù)被ZettaStor DBS并發(fā)分派到不同的數(shù)據(jù)節(jié)點(diǎn)上，整個(gè)分布式構(gòu)架中，系統(tǒng)的所有存儲(chǔ)節(jié)點(diǎn)都參加I/O操作，形成大規(guī)模并行的I/O處理方式，從而幾何級(jí)數(shù)提高I/O處理能力，減少了系統(tǒng)的I/O瓶頸。隨著存儲(chǔ)節(jié)點(diǎn)及存儲(chǔ)介質(zhì)的增加，IOPS和吞吐能力的增長(zhǎng)近乎線性。（圖2）

除了硬件基于x86平臺(tái)結(jié)構(gòu)相同，ZettaStor DBS的單層構(gòu)架是簡(jiǎn)化管理和降低擴(kuò)展復(fù)雜度的關(guān)鍵因素。在計(jì)算和存儲(chǔ)融合的應(yīng)用場(chǎng)景下，ZettaStor DBS可從傳統(tǒng)的SAN的3層構(gòu)架轉(zhuǎn)換為同時(shí)提供計(jì)算能力和存儲(chǔ)能力的單層架構(gòu)，這種彈性是傳統(tǒng)云設(shè)計(jì)思路可望不可即的。（圖3）

考慮到可靠性問題，ZettaStor DBS可根據(jù)用戶對(duì)可靠性的需求，設(shè)定副本數(shù)量。這些副本被分別存放在不同存儲(chǔ)節(jié)點(diǎn)上，其中任一份丟失，新的副本隨即自動(dòng)生成。除了系統(tǒng)本身，ZettaStor DBS的數(shù)據(jù)存儲(chǔ)還具有智能自愈特性，系統(tǒng)可以在秒級(jí)時(shí)間單位內(nèi)自動(dòng)發(fā)現(xiàn)故障存儲(chǔ)單元，并完成故障單元數(shù)據(jù)的遷移和故障單元的剔除。（圖4）

隨著ServerSAN模式在下一代數(shù)據(jù)庫架構(gòu)中的勝出，其顛覆傳統(tǒng)SAN存儲(chǔ)的靈活性、性能和超融合優(yōu)勢(shì)將被更多的用戶所認(rèn)識(shí)，預(yù)計(jì)未來將被廣泛運(yùn)用于云計(jì)算、數(shù)據(jù)庫及虛擬化領(lǐng)域。ZettaStor DBS則讓用戶今天就可以體驗(yàn)到未來的速度，目前長(zhǎng)達(dá)180天的無限制免費(fèi)下載試用讓這一切零距離。