分布式云數(shù)據(jù)中心建設(shè)探討

許化棟 山東省郵電規(guī)劃設(shè)計(jì)院有限公司規(guī)劃研究院副院長(zhǎng)，高級(jí)工程師

分布式云數(shù)據(jù)中心建設(shè)探討

許化棟 山東省郵電規(guī)劃設(shè)計(jì)院有限公司規(guī)劃研究院副院長(zhǎng)，高級(jí)工程師

根據(jù)傳統(tǒng)的數(shù)據(jù)中心的發(fā)展現(xiàn)狀、面臨的挑戰(zhàn)，結(jié)合數(shù)據(jù)中心發(fā)展趨勢(shì)，本文對(duì)基于云計(jì)算的數(shù)據(jù)中心建設(shè)進(jìn)行了探討，給出了分布式云數(shù)據(jù)中心建設(shè)和運(yùn)營(yíng)方案。

數(shù)據(jù)中心；分布式；云計(jì)算；建設(shè)方案；運(yùn)營(yíng)管理

1 引言

傳統(tǒng)數(shù)據(jù)中心建設(shè)，一般隨著業(yè)務(wù)、地域需求循序漸進(jìn)建設(shè)，每個(gè)數(shù)據(jù)中心較為獨(dú)立、僅滿足本地域業(yè)務(wù)應(yīng)用集中部署和數(shù)據(jù)共享。傳統(tǒng)的、煙囪式數(shù)據(jù)中心建設(shè)和發(fā)展存在如下挑戰(zhàn)：

（1）資源利用率低

單個(gè)數(shù)據(jù)中心各應(yīng)用間靜態(tài)分配、資源隔離，大部分時(shí)間數(shù)據(jù)中心的計(jì)算、存儲(chǔ)和網(wǎng)絡(luò)資源利用率較低。據(jù)統(tǒng)計(jì)，通常數(shù)據(jù)中心服務(wù)器資源利用率常年低于15%，資源一定程度上存在浪費(fèi)。

（2）管理復(fù)雜

由于業(yè)務(wù)需求多樣、且不同業(yè)務(wù)對(duì)軟硬件要求和容災(zāi)策略各不相同，造成數(shù)據(jù)中心硬件資源與業(yè)務(wù)系統(tǒng)管理困難。物理資源和應(yīng)用的高耦合度、業(yè)務(wù)部署上線與擴(kuò)容升級(jí)周期長(zhǎng)，對(duì)數(shù)據(jù)中心的簡(jiǎn)化管理提出了較大的挑戰(zhàn)。

（3）建設(shè)與運(yùn)營(yíng)成本高

按應(yīng)用垂直建設(shè)和運(yùn)營(yíng)各系統(tǒng)，需在不同數(shù)據(jù)中心配置軟硬件、維護(hù)人員，設(shè)備空間和能耗資源等占用率高，建設(shè)與運(yùn)營(yíng)成本大大提高。

（4）安全與可靠性難以保障

隨著人類(lèi)社會(huì)活動(dòng)越來(lái)越依賴于網(wǎng)絡(luò)，部分基于網(wǎng)絡(luò)的業(yè)務(wù)連續(xù)性成為IT基礎(chǔ)設(shè)施建設(shè)的首要目標(biāo)。傳統(tǒng)的單個(gè)數(shù)據(jù)中心業(yè)務(wù)保障成本高，難以實(shí)現(xiàn)多個(gè)分布式數(shù)據(jù)中心的業(yè)務(wù)連續(xù)性。

本文基于此背景，結(jié)合傳統(tǒng)的數(shù)據(jù)中心的現(xiàn)狀、挑戰(zhàn)和發(fā)展趨勢(shì)，對(duì)分布式云數(shù)據(jù)中心建設(shè)進(jìn)行了探討。

2 數(shù)據(jù)中心的發(fā)展趨勢(shì)

結(jié)合當(dāng)前業(yè)務(wù)需求和技術(shù)發(fā)展，新一代數(shù)據(jù)中心發(fā)展技術(shù)趨勢(shì)如下：

（1）數(shù)據(jù)中心分布式建設(shè)、集中化管理成為方向

由于需求的地域分布特性，IDC基礎(chǔ)設(shè)施呈現(xiàn)分布式建設(shè)；同時(shí)，由于集約化運(yùn)維和降低成本、提高資源利用率需求，IDC管理管理向集中化方向發(fā)展。

（2）向基于云計(jì)算的軟件定義數(shù)據(jù)中心發(fā)展

云計(jì)算和SDN技術(shù)的發(fā)展，使數(shù)據(jù)中心服務(wù)器內(nèi)存儲(chǔ)資源、直連存儲(chǔ)陣列、異構(gòu)的各類(lèi)存儲(chǔ)系統(tǒng)等資源全面池化，計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)和安全等資源可按需分配、快速釋放，大大提高了數(shù)據(jù)中心資源利用率和可靠性。數(shù)據(jù)中心向基于云計(jì)算的軟件定義數(shù)據(jù)中心發(fā)展，以實(shí)現(xiàn)高效管理、運(yùn)維和資源協(xié)同。

（3）安全與可靠性成為未來(lái)數(shù)據(jù)中心的基礎(chǔ)能力

數(shù)據(jù)中心安全性并不單指防火墻、IPS/IDS、入侵檢測(cè)以及防病毒等安全防范措施，更重要的數(shù)據(jù)中心還應(yīng)構(gòu)建可靠的容災(zāi)方案，或建立異地的災(zāi)難備份中心，通過(guò)多種技術(shù)手段保障業(yè)務(wù)的連續(xù)性和數(shù)據(jù)的安全性。

為了應(yīng)對(duì)數(shù)據(jù)中心面對(duì)的挑戰(zhàn)并順應(yīng)業(yè)務(wù)需求、技術(shù)發(fā)展趨勢(shì)，數(shù)據(jù)中心建設(shè)逐步向基于云計(jì)算的數(shù)據(jù)中心發(fā)展演進(jìn)?；谠朴?jì)算的數(shù)據(jù)中心（簡(jiǎn)稱(chēng)“云數(shù)據(jù)中心”），以融合架構(gòu)（計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)構(gòu)建融合資源池作為的基礎(chǔ)單元）構(gòu)建SDN業(yè)務(wù)感知網(wǎng)絡(luò)，可實(shí)現(xiàn)云主機(jī)、VPC、云備份、海量存儲(chǔ)等IaaS、PaaS和SaaS業(yè)務(wù)，并可通過(guò)自動(dòng)化管理和虛擬化平臺(tái)來(lái)支撐IT服務(wù)精細(xì)化運(yùn)營(yíng)。所謂分布式，一是指數(shù)據(jù)中心在機(jī)房基礎(chǔ)設(shè)施、地理空間、計(jì)算/存儲(chǔ)/網(wǎng)絡(luò)資源的軟硬件部署上是分布而非集中的，多個(gè)DC的建設(shè)時(shí)間也可以循序漸進(jìn)，各DC彼此保持一定的獨(dú)立性；二是資源的調(diào)度可以跨越多個(gè)數(shù)據(jù)中心，運(yùn)維管理可以基于全局，多個(gè)數(shù)據(jù)中心間實(shí)現(xiàn)有機(jī)結(jié)合與資源共享，邏輯上可以視為一個(gè)全局的大數(shù)據(jù)中心。

分布式云數(shù)據(jù)中心是物理分散、邏輯統(tǒng)一、業(yè)務(wù)驅(qū)動(dòng)、云管協(xié)同、業(yè)務(wù)感知的數(shù)據(jù)中心，不僅限于解決單個(gè)數(shù)據(jù)中心的效率和用戶體驗(yàn)，而是將多個(gè)數(shù)據(jù)中心看成一個(gè)有機(jī)整體，圍繞跨數(shù)據(jù)中心管理、資源調(diào)度和災(zāi)備設(shè)計(jì)，包括實(shí)現(xiàn)跨數(shù)據(jù)中心云資源遷移的云平臺(tái)、多數(shù)據(jù)中心統(tǒng)一資源管理和調(diào)度的運(yùn)營(yíng)運(yùn)維管理系統(tǒng)、大二層的超寬帶網(wǎng)絡(luò)和軟件定義數(shù)據(jù)中心能力。分布式云數(shù)據(jù)中心以去地域化、軟件定義數(shù)據(jù)中心、自動(dòng)化為主要特征，核心理念在于：物理分布、邏輯統(tǒng)一，通過(guò)多數(shù)據(jù)中心融合來(lái)提升企業(yè)IT效率，提供統(tǒng)一的服務(wù)呈現(xiàn)界面、統(tǒng)一的支撐流程。

分布式云數(shù)據(jù)中心其價(jià)值是：

●降低TCO（Total Cost of Ownership，總所有成本），提高ROI（Return On Investment，投資回報(bào)率）

分布式云數(shù)據(jù)中心采用虛擬化技術(shù)，消除了軟件對(duì)運(yùn)行軟件的硬件的依賴性，通過(guò)資源池化提升基礎(chǔ)設(shè)施資源利用率、降低對(duì)基礎(chǔ)架構(gòu)的投資，提升數(shù)據(jù)中心的災(zāi)備能力。

●提高業(yè)務(wù)響應(yīng)速度，提高用戶的滿意度

分布式云數(shù)據(jù)中心在虛擬化技術(shù)之上，可按需提供不同的SLA水平的資源服務(wù)能力，大大縮短用戶業(yè)務(wù)上線的時(shí)間，根據(jù)用戶配置的靈活的調(diào)度策略，保證IT能夠快速響應(yīng)業(yè)務(wù)變化。

●減少I(mǎi)T管理和維護(hù)資源，提高營(yíng)運(yùn)能力

分布式云數(shù)據(jù)中心可為用戶提供自助服務(wù)能力，降低對(duì)IT運(yùn)營(yíng)部門(mén)的依賴；且通過(guò)集中的運(yùn)營(yíng)與運(yùn)維、主動(dòng)式的管理，利用簡(jiǎn)化和標(biāo)準(zhǔn)化的工作流將業(yè)務(wù)要求與IT流程連接起來(lái)，使得多個(gè)多數(shù)據(jù)中心的運(yùn)營(yíng)與運(yùn)維效率大大提升。

3 分布式云數(shù)據(jù)中心目標(biāo)架構(gòu)

分布式云數(shù)據(jù)中心總體邏輯架構(gòu)由基礎(chǔ)設(shè)施層、虛擬化層、服務(wù)層和管理層組成，各層都分別向上層提供接口供上層調(diào)用或?qū)印?/p>

●基礎(chǔ)設(shè)施層提供構(gòu)建數(shù)據(jù)中心所需的資源。

●虛擬化層將分布在不同地域的物理資源轉(zhuǎn)化為統(tǒng)一管理的虛擬資源池。

●服務(wù)層由軟件實(shí)現(xiàn)統(tǒng)一的服務(wù)管理及提供各種云業(yè)務(wù)。

●管理層提供對(duì)多個(gè)數(shù)據(jù)中心統(tǒng)一的運(yùn)營(yíng)管理、運(yùn)維管理和容災(zāi)管理能力。

分布式云數(shù)據(jù)中心目標(biāo)架構(gòu)如圖1所示；具體各層功能說(shuō)明參見(jiàn)表1。

4 分布式云數(shù)據(jù)中心網(wǎng)絡(luò)建設(shè)方案

分布式云數(shù)據(jù)中心網(wǎng)絡(luò)建設(shè)建議采用“扁平化”兩級(jí)架構(gòu)（分別為核心層和接入層），按照功能劃分，包括外聯(lián)區(qū)、核心區(qū)、網(wǎng)絡(luò)服務(wù)區(qū)、接入?yún)^(qū)、存儲(chǔ)區(qū)。其中，外聯(lián)區(qū)主要功能是對(duì)接Internet線路和接入網(wǎng)絡(luò)，可使用路由器與MPLS承載網(wǎng)絡(luò)、Internet網(wǎng)絡(luò)、DCN網(wǎng)絡(luò)等進(jìn)行互聯(lián)；核心區(qū)是整個(gè)數(shù)據(jù)中心交換核心，由高性能交換機(jī)組成；網(wǎng)絡(luò)服務(wù)區(qū)提供流量統(tǒng)計(jì)、IDS/IPS、防火墻、負(fù)載均衡、VPN等IDC增值服務(wù)；接入?yún)^(qū)主要為數(shù)據(jù)中心服務(wù)器節(jié)點(diǎn)設(shè)備的接入，服務(wù)器可采用刀片服務(wù)器或者機(jī)架服務(wù)器，刀片服務(wù)器則通過(guò)交換背板連接到匯聚交換機(jī)上，機(jī)架服務(wù)器則通過(guò)接入交換機(jī)連接到匯聚交換機(jī)上；存儲(chǔ)區(qū)主要為SAN網(wǎng)絡(luò)、磁盤(pán)陣列等，存儲(chǔ)可采用FCSAN或者IPSAN，F(xiàn)CSAN則通過(guò)光纖交換機(jī)連接至服務(wù)器的存儲(chǔ)平面端口，IPSAN則通過(guò)IP接入交換機(jī)連接至服務(wù)器的存儲(chǔ)平面端口。分布式云數(shù)據(jù)中心網(wǎng)絡(luò)架構(gòu)見(jiàn)圖2。

分布式云數(shù)據(jù)中心提供虛擬防火墻、虛擬負(fù)載均衡、網(wǎng)絡(luò)交換機(jī)虛擬化能力，可為每個(gè)租戶提供一個(gè)防火墻、負(fù)載均衡、交換機(jī)功能。所有服務(wù)器共享存儲(chǔ)資源，形成統(tǒng)一服務(wù)器、存儲(chǔ)資源池。資源相互隔離，租戶可以按照自己的規(guī)則配置策略。

（1）虛擬防火墻為每個(gè)租戶用戶提供相互隔離的安全服務(wù)，每個(gè)租戶擁有一個(gè)虛擬防火墻。每個(gè)虛擬防火墻具備私有的接口、安全區(qū)域、安全域間、ACL和NAT地址池，并能為虛擬防火墻用戶提供地址綁定、黑名單、NAT、包過(guò)濾、統(tǒng)計(jì)、攻擊防范、ASPF等私有的安全服務(wù)。

（2）負(fù)載均衡虛擬化可支持多租戶、虛擬出多個(gè)負(fù)載功能器。每租戶可以自定義負(fù)載均衡策略、算法、權(quán)重、關(guān)聯(lián)服務(wù)器等功能，獨(dú)自管理和維護(hù)，查看負(fù)載均衡運(yùn)行狀態(tài)和資源使用情況。

圖1 分布式云數(shù)據(jù)中心目標(biāo)邏輯架構(gòu)

表1 分布式云數(shù)據(jù)中心各層介紹

（3）網(wǎng)絡(luò)交換機(jī)虛擬化主要可通過(guò)集群交換機(jī)等方式實(shí)現(xiàn)，使多臺(tái)交換機(jī)組成一臺(tái)更大的交換機(jī)，以簡(jiǎn)化運(yùn)維、提高可靠性、規(guī)避單點(diǎn)故障、提高鏈路利用率。

各云數(shù)據(jù)中心網(wǎng)絡(luò)核心層主要采用VRF（Virtual Routing and Forwarding，虛擬路由和轉(zhuǎn)發(fā)）等技術(shù)實(shí)現(xiàn)3層網(wǎng)絡(luò)隔離，接入層采用VLAN或者VxLAN技術(shù)實(shí)現(xiàn)二層網(wǎng)絡(luò)隔離，可采用TRILL（Transparent Interconnection of Lots of Links，多鏈接透明互聯(lián)）等協(xié)議構(gòu)建大二層網(wǎng)絡(luò)。呈分布式的各數(shù)據(jù)中心之間可通過(guò)Internet、MAN（Metropolitan Area Network，城域網(wǎng)）或MPLS（Multi-Protocol Label Switching，多協(xié)議標(biāo)簽交換）等網(wǎng)絡(luò)進(jìn)行互聯(lián)。

5 分布式云數(shù)據(jù)中心運(yùn)營(yíng)管理方案

5.1 統(tǒng)一管理

傳統(tǒng)數(shù)據(jù)中心的管理主要面向IT基礎(chǔ)架構(gòu)的管理，分布式云數(shù)據(jù)中心管理向自服務(wù)管理、IT服務(wù)自動(dòng)化、橫向擴(kuò)展的服務(wù)器和存儲(chǔ)及網(wǎng)絡(luò)架構(gòu)管理，以及對(duì)不同技術(shù)領(lǐng)域的統(tǒng)一管理方向轉(zhuǎn)變。分布式云數(shù)據(jù)中心統(tǒng)一管理可分為全局管理層、本地管理層。分布式云數(shù)據(jù)中心統(tǒng)一管理架構(gòu)參見(jiàn)圖3。

圖2 分布式云數(shù)據(jù)中心網(wǎng)絡(luò)架構(gòu)圖

全局管理層主要分為云服務(wù)運(yùn)營(yíng)、服務(wù)運(yùn)維、維護(hù)中心管理3部分。

●云服務(wù)運(yùn)營(yíng)管理模塊，主要實(shí)現(xiàn)用戶自助化服務(wù)、業(yè)務(wù)對(duì)接管理等功能。

●服務(wù)運(yùn)維管理模塊，為云技術(shù)平臺(tái)提供服務(wù)保障和管理功能，保障資源的可用性和云服務(wù)交付的質(zhì)量。

●維護(hù)中心模塊，定位于面向數(shù)據(jù)中心運(yùn)維場(chǎng)景的管理，南向接不同的管理系統(tǒng)，并且可以支持跨地域，支持多數(shù)據(jù)中心場(chǎng)景。

本地管理層主要實(shí)現(xiàn)ITOM（IT Operations Management，IT運(yùn)維管理）和資源管理，其中模塊資源池管理模塊面向本地?cái)?shù)據(jù)中心的資源管理，實(shí)現(xiàn)硬件設(shè)備和虛擬化平臺(tái)的接入，提供計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)自動(dòng)化能力，對(duì)來(lái)自全局資源管理子系統(tǒng)的資源請(qǐng)求基于服務(wù)等級(jí)、資源負(fù)載進(jìn)行資源池調(diào)度，還提供本地模板/鏡像管理、資源監(jiān)控、計(jì)量管理等。

5.2 安全保障

分布式云數(shù)據(jù)中心安全可通過(guò)物理設(shè)施安全、網(wǎng)絡(luò)安全、主機(jī)安全、應(yīng)用安全、虛擬化安全、數(shù)據(jù)保護(hù)、用戶管理、安全管理等8個(gè)層面進(jìn)行對(duì)應(yīng)保障，主要實(shí)現(xiàn)方式及功能參見(jiàn)表2。

5.3 容災(zāi)實(shí)現(xiàn)

分布式云數(shù)據(jù)中心，可根據(jù)不同應(yīng)用場(chǎng)景和業(yè)務(wù)需求，支持?jǐn)?shù)據(jù)中心級(jí)的IaaS的容災(zāi)。結(jié)合當(dāng)前技術(shù)進(jìn)展和成熟程度，主要可通過(guò)部署云平臺(tái)VIS雙活容災(zāi)、云平臺(tái)存儲(chǔ)陣列復(fù)制容災(zāi)等方案實(shí)現(xiàn)（主機(jī)級(jí)容災(zāi)、應(yīng)用級(jí)容災(zāi)、分布式多活數(shù)據(jù)中心方案標(biāo)準(zhǔn)、復(fù)雜程度較高）。

VIS雙活容災(zāi)是指通過(guò)在云平臺(tái)與存儲(chǔ)陣列之間，將同一個(gè)VIS集群內(nèi)的多個(gè)VIS節(jié)點(diǎn)按照Active-Active模式分布在本地和遠(yuǎn)端，再結(jié)合VIS系統(tǒng)本身的鏡像技術(shù)實(shí)現(xiàn)本地和遠(yuǎn)端VIS節(jié)點(diǎn)同時(shí)提供存儲(chǔ)訪問(wèn)業(yè)務(wù)，實(shí)現(xiàn)容災(zāi)倒換后存儲(chǔ)業(yè)務(wù)的無(wú)縫切換；同時(shí)，云平臺(tái)同一個(gè)集群內(nèi)的主機(jī)按照Active-Active模式分布在本地和遠(yuǎn)端，利用虛擬機(jī)的HA功能實(shí)現(xiàn)容災(zāi)自動(dòng)倒換功能。

圖3 分布式云數(shù)據(jù)中心統(tǒng)一架構(gòu)圖

表2 各層次安全管理主要實(shí)現(xiàn)方式及功能

陣列復(fù)制容災(zāi)方案通過(guò)存儲(chǔ)系統(tǒng)本身具有的遠(yuǎn)程復(fù)制功能實(shí)現(xiàn)生產(chǎn)中心和容災(zāi)中心之間數(shù)據(jù)的遠(yuǎn)程復(fù)制；同時(shí)，配合UltraVR容災(zāi)管理軟件實(shí)現(xiàn)云平臺(tái)管理數(shù)據(jù)在站點(diǎn)間的同步，并提供容災(zāi)管理功能。當(dāng)生產(chǎn)中心發(fā)生災(zāi)難時(shí)，通過(guò)UltraVR可在容災(zāi)中心實(shí)現(xiàn)華為云平臺(tái)的快速恢復(fù)，滿足客戶對(duì)生產(chǎn)中心云平臺(tái)業(yè)務(wù)連續(xù)性的需求。

云平臺(tái)VIS雙活容災(zāi)、云平臺(tái)存儲(chǔ)陣列復(fù)制容災(zāi)方案實(shí)現(xiàn)功能類(lèi)型不同，具體功能特點(diǎn)和適應(yīng)場(chǎng)景及建設(shè)成本對(duì)比參見(jiàn)表3，可根據(jù)業(yè)務(wù)需求進(jìn)行部署。

表3 云數(shù)據(jù)中心容災(zāi)方案對(duì)比

6 結(jié)束語(yǔ)

根據(jù)傳統(tǒng)的數(shù)據(jù)中心的發(fā)展現(xiàn)狀、面臨的挑戰(zhàn)，結(jié)合數(shù)據(jù)中心發(fā)展趨勢(shì)，本文提出分布式云數(shù)據(jù)中心建設(shè)與運(yùn)營(yíng)方案以虛擬化為基礎(chǔ)，能有效解決傳統(tǒng)數(shù)據(jù)中心遇到的困境，實(shí)現(xiàn)管理及業(yè)務(wù)的集中，對(duì)數(shù)據(jù)中心資源可進(jìn)行動(dòng)態(tài)調(diào)整和分配，重點(diǎn)滿足企業(yè)關(guān)鍵應(yīng)用向云遷移對(duì)于資源高性能、高可靠、安全性和高可適應(yīng)性、及時(shí)性等方面的要求，提高基礎(chǔ)架構(gòu)的自動(dòng)化管理水平。

當(dāng)然，分布式云數(shù)據(jù)中心的建設(shè)，還需具體數(shù)據(jù)中心建設(shè)單位業(yè)務(wù)規(guī)模與需求等進(jìn)行統(tǒng)籌分析與考慮。本文對(duì)網(wǎng)絡(luò)規(guī)劃設(shè)計(jì)人員及運(yùn)營(yíng)商網(wǎng)絡(luò)建設(shè)人員具有一定的幫助，對(duì)數(shù)據(jù)中心規(guī)劃建設(shè)具有一定的參考意義。

［1］鄭葉來(lái)，陳世峻.分布式云數(shù)據(jù)中心的建設(shè)與管理［J］.中國(guó)科技信息，2013，21∶58.

［2］陸平.云計(jì)算基礎(chǔ)架構(gòu)及關(guān)鍵應(yīng)用［M］.機(jī)械工業(yè)出版社，2016.

［3］陳國(guó)良，明仲.云計(jì)算工程［M］.北京∶人民郵電出版社，2016∶160-189.

［4］陳馳，于晶等.云計(jì)算安全體系［M］.北京∶科學(xué)出版社，2014∶51-55.

Distributed cloud data center construction

XU Huadong

According to the traditional data center development present situation and challenges， Combined with data center development trend，this paper mainly discusses the data center construction based on cloud computing， distributed cloud data center construction and operation schemes are given.

data center；distributed；cloud computing；construction scheme；operations management

2016-07-20）