海南電網(wǎng)數(shù)據(jù)中心存儲互聯(lián)架構(gòu)研討

張鐵剛，馬　超，馮世杰

（海南電網(wǎng)有限責任公司信息通信分公司，海口 570100）

?

海南電網(wǎng)數(shù)據(jù)中心存儲互聯(lián)架構(gòu)研討

張鐵剛，馬超，馮世杰

（海南電網(wǎng)有限責任公司信息通信分公司，?？?570100）

摘要：基于存儲互聯(lián)的存儲架構(gòu)CloudSAN，將云領(lǐng)域的多節(jié)點集群擴展的優(yōu)勢，與傳統(tǒng)存儲的高性能、高可靠、易管理等特性相結(jié)合，提供分布式服務(wù)器存儲架構(gòu)與傳統(tǒng)架構(gòu)優(yōu)點結(jié)合的面向云計算的新型存儲系統(tǒng)。

關(guān)鍵詞：存儲互聯(lián)；云計算；分布式存儲；CloudSAN

1 引言

海南電網(wǎng)在數(shù)據(jù)時代的新形勢下，采用基于存儲互聯(lián)的存儲架構(gòu)CloudSAN方案，通過CloudSAN技術(shù)，將云計算的多節(jié)點集群擴展的優(yōu)勢，與傳統(tǒng)存儲的高性能、高可靠、易管理等特性相結(jié)合，形成分布式存儲架構(gòu)與傳統(tǒng)SAN架構(gòu)優(yōu)點結(jié)合的面向云計算的新型存儲系統(tǒng)，為海南電網(wǎng)眾多應(yīng)用系統(tǒng)的數(shù)據(jù)存取保駕護航。CloudSAN是云架構(gòu)與SAN存儲技術(shù)的融合，采用塊數(shù)據(jù)存儲、管理與控制、數(shù)據(jù)應(yīng)用三層分離的架構(gòu)，能提供512個節(jié)點的擴展能力和上億次的IO訪問能力。

圖1　企業(yè)云計算中心新架構(gòu)圖

2 傳統(tǒng)SAN存儲技術(shù)捉襟見肘

目前，傳統(tǒng)數(shù)據(jù)中心的存儲架構(gòu)主要還是SAN（存儲區(qū)域網(wǎng)絡(luò)）架構(gòu)。SAN采用網(wǎng)狀通道（Fibre Channel, FC）技術(shù)，通過FC交換機連接存儲陣列和服務(wù)器主機，建立專用于數(shù)據(jù)存儲的區(qū)域網(wǎng)絡(luò)。SAN經(jīng)過十多年歷史的發(fā)展，已經(jīng)相當成熟，成為業(yè)界的事實標準（但各個廠商的光纖交換技術(shù)不完全相同，其服務(wù)器和SAN存儲有兼容性的要求），而SAN存儲技術(shù)的優(yōu)缺點也非常明顯：優(yōu)點是高可靠、高性能、低延遲、數(shù)據(jù)強一致性、接口標準統(tǒng)一、支持所有應(yīng)用；弱點是擴展性弱、價格較貴、管理一致性較差。

3 分布式存儲技術(shù)何去何從

在前端業(yè)務(wù)應(yīng)用逐漸遷移到VMWare等服務(wù)器虛擬化平臺之后，用戶的后端的存儲架構(gòu)如何調(diào)整、構(gòu)建、順勢而變，一場新的存儲架構(gòu)的變革已經(jīng)到來。NVMe Over Fabric、軟件定義存儲（SDS），這些新的存儲架構(gòu)和存儲技術(shù)新概念和新專業(yè)名詞撲面而來，似乎傳統(tǒng)陣列已經(jīng)過時了。分布式存儲架構(gòu)的優(yōu)點是高可擴展性、硬件較廉價、基于文件系統(tǒng)設(shè)計、管理一致性好；缺點是單節(jié)點性能低、節(jié)點可靠性低、高延遲、數(shù)據(jù)弱一致性（或只保證最終一致性）、容易造成數(shù)據(jù)綁架、分布式存儲使用的有效性。

4 采用何種存儲技術(shù)

云計算時代，數(shù)據(jù)爆炸式增長，怎么在有限的空間和時間里存取到最有價值的數(shù)據(jù)，將成為我們IT界關(guān)注的焦點。利用SAN的高性能，高可靠性快速存儲有價值數(shù)據(jù)，還是通過分布式存儲技術(shù)的高擴展性，可管理性進行海量數(shù)據(jù)存取將成為未來存儲界中亟待解決的難題。

圖2　傳統(tǒng)SAN存儲和分布式存儲對比

根據(jù)IDC數(shù)據(jù)，2015年，全球云架構(gòu)部署占IT開支的1/3。IDC預(yù)測，到2019年，用于云架構(gòu)的開支將占IT總開支的一半以上。IDC認為，云已快速成為IT開支重點，而云服務(wù)也將逐步取代傳統(tǒng)IT架構(gòu)。

在數(shù)字化時代，隨著企業(yè)業(yè)務(wù)的不斷革新，以及網(wǎng)絡(luò)技術(shù)、閃存技術(shù)的突飛猛進，傳統(tǒng)的存儲架構(gòu)已經(jīng)難以應(yīng)對企業(yè)不斷發(fā)展的業(yè)務(wù)需求。CloudSAN解決方案是一個將云計算的多節(jié)點集群、分布式擴展的優(yōu)勢與傳統(tǒng)存儲的高性能、高可靠等特性相結(jié)合，將存儲資源進行池化，為用戶提供了一個普適的、統(tǒng)一管理的資源池，能夠根據(jù)業(yè)務(wù)需求，透明地給應(yīng)用動態(tài)分配不同性能、不同可靠性、不同成本的資源，從而在性能、可靠性、彈性、經(jīng)濟性上實現(xiàn)統(tǒng)一，構(gòu)建面向公有云、私有云應(yīng)用的新一代存儲架構(gòu)。因此，云計算常態(tài)催生CloudSAN技術(shù)。

5 CloudSAN存儲互聯(lián)：融合SAN和分布式存儲

無論是軟件定義存儲還是融合存儲，其出發(fā)點都是從用戶的業(yè)務(wù)需求出發(fā)，根據(jù)業(yè)務(wù)的特點來構(gòu)建最適合的存儲架構(gòu)，同時以用戶最經(jīng)濟的成本來交付存儲系統(tǒng)。

分布式存儲和傳統(tǒng)SAN架構(gòu)并非對立關(guān)系，其未來的發(fā)展趨勢一定是走向融合。傳統(tǒng)SAN會吸取互聯(lián)網(wǎng)存儲架構(gòu)的技術(shù)思路，實現(xiàn)存儲互聯(lián)，從多控存儲架構(gòu)過度到多個存儲系統(tǒng)的松耦合互聯(lián)架構(gòu)，地理位置也會從一個機房擴大到更廣的地理區(qū)域，這其中PCI-E 3.0總線技術(shù)以及40Gb甚至100Gb的IP技術(shù)已經(jīng)為存儲互聯(lián)時代的到來做好了技術(shù)準備。

軟件定義存儲進一步揭示了存儲的本質(zhì)：存儲的功能是由軟件定義的，存儲資源的池化由軟件來完成，軟件定義存儲將軟件與存儲硬件徹底解耦，存儲異構(gòu)管理的難題最終將由軟件破解。軟件定義存儲一定是從客戶的業(yè)務(wù)需求出發(fā)，業(yè)務(wù)驅(qū)動是存儲發(fā)展的源泉。

而融合能夠?qū)⒋鎯?gòu)建一個真正意義上的統(tǒng)一資源池，徹底消滅信息孤島，使存儲變得更加高效、簡化，甚至是無所不能，而且不只是存儲領(lǐng)域，從整個IT基礎(chǔ)架構(gòu)的角度來說，融合也依然是大勢所趨，未來IT的存在形態(tài)將不再著眼于物理設(shè)備，而是一系列的能力模塊，包括基本的數(shù)據(jù)存儲功能，高級的數(shù)據(jù)管理功能，而且根據(jù)業(yè)務(wù)隨需部署到云計算環(huán)境中。

CloudSAN用40G/100G RDMA網(wǎng)絡(luò)，互聯(lián)SAN存儲節(jié)點，將傳統(tǒng)SAN節(jié)點帶入到scale-up與scale-out的二維擴展時代。

高端存儲被重新定義，應(yīng)用CloudSAN技術(shù)，可以輕松實現(xiàn)性能疊加，達到億級IOPS。40G網(wǎng)絡(luò)，意味著每小時10TB數(shù)據(jù)遷移和同步能力、100GB網(wǎng)絡(luò)25TB。

（1）存儲性能QoS服務(wù)。CloudSAN存儲網(wǎng)絡(luò)中，能夠自由部署多控、雙控、單控節(jié)點，配置全閃存、SAS、SATA等不同性能服務(wù)的介質(zhì)資源，每一個CloudSAN節(jié)點都是一個智能節(jié)點，根據(jù)應(yīng)用訪問的性能、可靠性要求，能夠自動進行訪問路徑切換、多副本配置、節(jié)點數(shù)據(jù)遷移等動態(tài)存儲QoS服務(wù)。如下場景：4個服務(wù)器開始都訪問A存儲節(jié)點，首先發(fā)現(xiàn)磁盤性能不足，則A節(jié)點將服務(wù)器4上的數(shù)據(jù)遷移到B節(jié)點，繼續(xù)通過A節(jié)點后端數(shù)據(jù)網(wǎng)絡(luò)訪問。然后進一步發(fā)現(xiàn)A節(jié)點控制器IO性能不足，A節(jié)點發(fā)起優(yōu)化路徑切換，服務(wù)器4開始從B節(jié)點訪問數(shù)據(jù)。

（2）存儲可靠性QoS服務(wù)。CloudSAN支持雙活、多活（也即雙副本/多副本技術(shù)），也同時支持異步數(shù)據(jù)復(fù)制/容災(zāi)服務(wù)，能夠根據(jù)應(yīng)用需求提供可靠性QoS服務(wù)。如下場景，兩個數(shù)據(jù)中心，兩個CloudSAN域，每個域內(nèi)一堆服務(wù)器和四臺存儲。A存儲向B存儲同步，實現(xiàn)雙活訪問；B存儲向C存儲同步，實現(xiàn)三活訪問。一個域向另一個域進行數(shù)據(jù)復(fù)制，實現(xiàn)遠程災(zāi)備。

（3）以節(jié)點為基礎(chǔ)的存儲資源池擴展。在一個典型的虛擬化云環(huán)境中，性能、容量告急，推入一個全閃存節(jié)點，大幅度緩解性能壓力，訪問鏈路變藍。推入一個低端雙控SATA大容量節(jié)點，數(shù)據(jù)紛紛向該節(jié)點遷移，容量紅燈變藍。

（4）CloudSAN兼容傳統(tǒng)存儲。如下場景：用戶建立CloudSAN之后，推入存儲虛擬化網(wǎng)關(guān)節(jié)點，將用戶傳統(tǒng)存儲納入CloudSAN統(tǒng)一管理資源池。原五花八門的設(shè)備，變?yōu)镃loudSAN節(jié)點。

6 CloudSAN是企業(yè)級云計算最佳存儲平臺

將SAN的高性能、高可靠、低延遲、標準塊訪問，將分布式存儲的高可擴展性、去中心化、一致性管理融為CloudSAN結(jié)構(gòu)，上層應(yīng)用從2～4臺服務(wù)器的傳統(tǒng)應(yīng)用，下層一臺存儲、到雙活，上層開始實現(xiàn)虛擬化出現(xiàn)虛擬機，擴展到幾十臺服務(wù)器上百個VM，下層十幾臺存儲，各種節(jié)點類型，提供不同的QoS服務(wù)，到企業(yè)級公有云數(shù)百臺服務(wù)器，下層上百臺存儲提供服務(wù)。指出一點：企業(yè)級云計算與面向個人服務(wù)的云計算最大的區(qū)別：應(yīng)用數(shù)量多、服務(wù)質(zhì)量要求高、應(yīng)用之間差異大，CloudSAN完美支撐從小規(guī)模應(yīng)用到大規(guī)模云計算的持續(xù)演進。

6.1 CloudSAN是企業(yè)級云計算的最佳存儲平臺

（1）CloudSAN是在傳統(tǒng)SAN存儲、分布式文件系統(tǒng)、軟件定義存儲、最新網(wǎng)絡(luò)技術(shù)、全閃存技術(shù)、去中心化等技術(shù)基礎(chǔ)上，融合各種最先進的存儲技術(shù)，面向企業(yè)級云計算需求。

（2）海南電網(wǎng)深刻理解企業(yè)級云計算的應(yīng)用特征，以業(yè)務(wù)為導(dǎo)向，解決公司在構(gòu)建企業(yè)級云計算平臺時面臨的應(yīng)用復(fù)雜、性能及可靠性要求高、應(yīng)用需求不均衡、數(shù)據(jù)膨脹帶來的管理復(fù)雜度等痛點，為企業(yè)級云計算提供普適、通用、可信賴的存儲資源化平臺架構(gòu)。

（3）CloudSAN緊緊把握存儲的本質(zhì)問題：數(shù)據(jù)安全、性能、成本、管理，將傳統(tǒng)SAN存儲的優(yōu)勢與最新存儲和網(wǎng)絡(luò)技術(shù)充分融合，以用戶需求為導(dǎo)向，而非以技術(shù)為導(dǎo)向推出的創(chuàng)新存儲技術(shù)。

6.2 CloudSAN的關(guān)鍵技術(shù)

6.2.1 低延遲以太網(wǎng)技術(shù)

基于10/40/100GE低延遲以太網(wǎng)技術(shù)，建立存儲互聯(lián)通道?；诘脱舆t的10/40/100GE以太網(wǎng)，配合RDMA、ISER技術(shù)，在CloudSAN的各個存儲節(jié)點之間構(gòu)建高速的內(nèi)部數(shù)據(jù)傳輸與通信網(wǎng)絡(luò)，實現(xiàn)內(nèi)部數(shù)據(jù)的高效傳輸。尤其是低延遲的100GE以太網(wǎng)技術(shù)，將會提供比PCIE3.0、Infiniband更快的傳輸技術(shù)。高速以太網(wǎng)技術(shù)使得存儲設(shè)備之間的傳輸通道不再成為瓶頸，從而在此基礎(chǔ)上構(gòu)建存儲互聯(lián)架構(gòu)

6.2.2 透明負載均衡

基于虛擬LUN和虛擬路徑技術(shù)，實現(xiàn)透明的負載均衡訪問?；谔摂MLUN技術(shù)，所有服務(wù)器可以同時“看到”CloudSAN所有存儲節(jié)點上的LUN?；谔摂M路徑技術(shù)，單臺服務(wù)器最大可以通過32條路徑訪問單個LUN。理論上，任意服務(wù)器可以通過任一存儲控制器訪問任一存儲LUN。比如A服務(wù)器可以通過B存儲的控制器訪問C存儲的硬盤。多條路徑之間可實現(xiàn)負載均衡訪問。

6.2.3 多類型混合擴展

全閃存、高、中、低端存儲等各種節(jié)點混合部署，支持Scale-UP，Scale-Out擴展方式，實現(xiàn)性能、容量的按需擴展。存儲節(jié)點不限一種，可同時支持閃存、高速SAS、低速SAS、SATA，可支持全閃存陣列、高、中、低端各種存儲。節(jié)點之間可支持Scale-Out橫向擴展，最大支持512節(jié)點。單節(jié)點內(nèi)可支持Scale-UP縱向擴展。

6.2.4 兼容異構(gòu)存儲

基于存儲虛擬化技術(shù)，兼容各廠家、各品牌的存儲設(shè)備。CloudSAN的高、中、低端存儲節(jié)點自帶存儲虛擬化特性，可將主流廠家、主流品牌的存儲陣列虛擬化，從而納入CloudSAN的統(tǒng)一體系。用戶已有的存儲投資，可得到有效的保護利用；用戶未來的擴展，不用受單一廠家品牌的限制。

6.2.5 智能管理與控制

通過智能管理與控制機制，實現(xiàn)透明的數(shù)據(jù)遷移，支持QoS及負載均衡。各存儲節(jié)點提供豐富的、完善的存儲訪問與控制接口（WebService，SMI-S，Cinder，VAS等）。CloudSAN采用帶外管理的方式，通過智能控制中心對存儲設(shè)備進行資源的統(tǒng)一管理與控制。

可實現(xiàn)應(yīng)用無關(guān)的透明數(shù)據(jù)遷移，并且計劃支持在不同節(jié)點之間的QoS及負載均衡。

7 CloudSAN助力海南電網(wǎng)數(shù)據(jù)無憂

海南電網(wǎng)數(shù)據(jù)中心有多臺企業(yè)級存儲，包括宏杉，華為，HP，NETAPP，日立等高端存儲，擔負著電網(wǎng)公司的核心數(shù)據(jù)存儲業(yè)務(wù)，隨著海南電網(wǎng)公司業(yè)務(wù)不斷拓展，數(shù)據(jù)不斷增長，單個存儲的擴展性和性能逐漸成為瓶頸，在云計算浪潮下，如何在大量結(jié)構(gòu)和非結(jié)構(gòu)化數(shù)據(jù)驅(qū)動下，滿足不同應(yīng)用系統(tǒng)的需求，成為海南電網(wǎng)信息化建設(shè)工作中的的焦點。

圖3　各種業(yè)務(wù)場景對存儲的需求

海南電網(wǎng)所采用的CloudSAN解決方案，將傳統(tǒng)SAN存儲的高性能、高可靠、低延遲、標準塊訪問，將分布式存儲的高可擴展性、去中心化、一致性管理融合，將海南電網(wǎng)數(shù)據(jù)中心的多臺企業(yè)級存儲設(shè)備進行統(tǒng)一管理，統(tǒng)一存儲，有效提升其單個存儲的利用率以及高性能和低性能存儲的數(shù)據(jù)存儲分層，有效保證了海南電網(wǎng)在不同時期，不同業(yè)務(wù)層面的數(shù)據(jù)存儲SLA，助力海南電網(wǎng)在云計算新形勢下對數(shù)據(jù)存儲和管理的掌控。

圖4　CloudSAN解決方案架構(gòu)

8 結(jié)束語

在新經(jīng)濟環(huán)境下，與云計算、大數(shù)據(jù)、移動、社群、互聯(lián)網(wǎng)、物聯(lián)網(wǎng)相關(guān)的新應(yīng)用數(shù)量激增，開發(fā)和部署周期短，且要求高并發(fā)、低延遲，傳統(tǒng)的IT架構(gòu)難以“駕馭”；不同應(yīng)用對資源的需求不同，甚至同一個應(yīng)用在不同的階段需求也不同。而如何以工作負載為核心，智能調(diào)配資源，既不浪費資源，又能為不同應(yīng)用提供QoS；企業(yè)IT環(huán)境中不但有各種不同品牌、不同型號的存儲設(shè)備，還使用不同的存儲介質(zhì)，運行著不同的存儲協(xié)議，能否實現(xiàn)統(tǒng)一的存儲資源池，并構(gòu)建存儲互聯(lián)的架構(gòu)……傳統(tǒng)的存儲架構(gòu)在這些需求面前顯得一籌莫展，變革勢在必行。

新一代存儲互聯(lián)的CloudSAN解決方案，將云計算和SAN融為一體的，通過異構(gòu)存儲整合，提高已有存儲資源使用管理效率。通過跨設(shè)備、跨介質(zhì)、跨站點甚至跨應(yīng)用構(gòu)建存儲互聯(lián)架構(gòu)，提高新應(yīng)用部署效率。其跨異構(gòu)的全局化存儲，為用戶跨異構(gòu)資源實現(xiàn)存儲QoS透明管理、動態(tài)配置。同時，CLoudSAN技術(shù)為企業(yè)提供的高性能、高可靠、低延遲的統(tǒng)一存儲資源池，結(jié)合Scale-UP和Scale-Out架構(gòu)，保證各種應(yīng)用性能需求，并實現(xiàn)了數(shù)據(jù)管理的統(tǒng)一化、平臺化、透明化和應(yīng)用驅(qū)動，重新定義了新經(jīng)濟環(huán)境下的存儲。■

參考文獻

［1］ 創(chuàng)新驅(qū)動企業(yè)級云計算存儲架構(gòu)變革.中橋國際調(diào)研咨詢有限公司，2016

［2］ 宏杉科技CloudSAN評測.宏杉科技官網(wǎng)，www.macrosan.com

The Research and Exploration about Data Storage in Data Center of China Southern Power Grid Hainan Branch

Zhang Tiegang, Ma Chao, Feng Shijie
（Information Communications Branch of CSG of Hainan, Haikou, 570100）

Abstract:The CloudSAN architecture, Based on storage interconnect, in combination of the advantage of multi-node cluster expansion in cloud technology with the merit of high poerformance, high availability and easy manageable of the traditional SAN storage technology, provides a new type of storage for cloud computing with both advantages of traditional SAN storages and the distributed storages.

Keywords:storage interconnect； cloud computing； distributed storage； CloudSAN

doi：10.3969/J.ISSN.1672-7274.2016.06.007

中圖分類號：TP39，TN91

文獻標識碼：B 文章編碼：1672-7274（2016）06-0018-04