數(shù)據(jù)中心的關(guān)鍵技術(shù)與發(fā)展

崔海東

（中國移動通信集團(tuán)設(shè)計(jì)院有限公司，北京 100080）

隨著社會各領(lǐng)域信息化水平不斷發(fā)展，數(shù)據(jù)中心作為信息化的載體，重要性不斷凸顯。

巨大的需求使得數(shù)據(jù)中心正面臨前所未有的挑戰(zhàn)。高效、低成本、靈活、可靠、可擴(kuò)展、綠色等都是數(shù)據(jù)中心演進(jìn)的關(guān)鍵詞，傳統(tǒng)數(shù)據(jù)中心已經(jīng)無法滿足發(fā)展需要。在節(jié)能減排、云計(jì)算及IT技術(shù)的促進(jìn)下，新一代數(shù)據(jù)中心正在迅速發(fā)展中。

1 數(shù)據(jù)中心概述

1.1 數(shù)據(jù)中心內(nèi)涵[1]

數(shù)據(jù)中心在一個場所中聚集大量IT設(shè)備（服務(wù)器、存儲設(shè)備和網(wǎng)絡(luò)設(shè)備），實(shí)現(xiàn)數(shù)據(jù)信息的集中處理、存儲、傳輸、交換和管理。數(shù)據(jù)中心的涵義有狹義和廣義之分。狹義的數(shù)據(jù)中心主要指容納IT設(shè)備的建筑物及建筑物內(nèi)設(shè)施。廣義的數(shù)據(jù)中心既包括建筑物及設(shè)施，也包括安裝于內(nèi)的IT系統(tǒng)，是將服務(wù)于公眾或特定用戶的業(yè)務(wù)系統(tǒng)與數(shù)據(jù)資源進(jìn)行集中、集成、應(yīng)用的場地、工具、流程的有機(jī)組合。

1.2 數(shù)據(jù)中心發(fā)展階段

數(shù)據(jù)中心的發(fā)展大致經(jīng)歷了幾個階段。早期，計(jì)算機(jī)房是數(shù)據(jù)中心的原型。在運(yùn)算委托時代，復(fù)雜、昂貴的主機(jī)系統(tǒng)安裝在機(jī)房中，形成了最早的服務(wù)提供中心。隨著個人計(jì)算機(jī)的普及，分布的計(jì)算資源有效促進(jìn)了計(jì)算機(jī)應(yīng)用和互聯(lián)網(wǎng)誕生?；ヂ?lián)網(wǎng)規(guī)模不斷擴(kuò)大、客戶機(jī)／服務(wù)器計(jì)算模式逐步普及、Web服務(wù)不斷豐富，應(yīng)用委托模式日漸成熟，導(dǎo)致了互聯(lián)網(wǎng)數(shù)據(jù)中心（IDC）快速興起?？梢哉f互聯(lián)網(wǎng)推動了數(shù)據(jù)中心的發(fā)展。

隨著信息化應(yīng)用的不斷拓寬，應(yīng)用和數(shù)據(jù)集中成為一種趨勢，集中了的應(yīng)用和數(shù)據(jù)資源催生了數(shù)據(jù)和信息高度共享的數(shù)據(jù)中心。數(shù)據(jù)中心形成了IT集成和應(yīng)用環(huán)境，成為數(shù)據(jù)計(jì)算、網(wǎng)絡(luò)、存儲的中心，成為各種IT應(yīng)用的提供中心，實(shí)現(xiàn)了基礎(chǔ)設(shè)施、業(yè)務(wù)應(yīng)用和數(shù)據(jù)的統(tǒng)一運(yùn)行維護(hù)管理。數(shù)據(jù)中心的建立成為IT應(yīng)用與發(fā)展的里程碑。

1.3 數(shù)據(jù)中心架構(gòu)

數(shù)據(jù)中心一般包含如下關(guān)鍵部分。

（1）基礎(chǔ)設(shè)施系統(tǒng)：包括機(jī)房基礎(chǔ)設(shè)施系統(tǒng)和IT基礎(chǔ)設(shè)施系統(tǒng)。其中機(jī)房基礎(chǔ)設(shè)施包括機(jī)房、供電系統(tǒng)、消防系統(tǒng)、空調(diào)系統(tǒng)、安防系統(tǒng)和布線系統(tǒng)等，IT基礎(chǔ)設(shè)施系統(tǒng)包括網(wǎng)絡(luò)系統(tǒng)、計(jì)算系統(tǒng)和存儲系統(tǒng)等。

（2）IT應(yīng)用系統(tǒng)：包括信息資源系統(tǒng)、應(yīng)用支撐系統(tǒng)和具體的各種IT應(yīng)用。信息資源系統(tǒng)包含各種結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)，應(yīng)用支撐系統(tǒng)提供各種平臺服務(wù)。

（3）運(yùn)維管理體系：提供數(shù)據(jù)中心的網(wǎng)絡(luò)管理、資源管理、業(yè)務(wù)管理、運(yùn)營管理等功能。

（4）安全防護(hù)體系：包括安全管理和安全技術(shù)。數(shù)據(jù)中心由于聚集了海量應(yīng)用和數(shù)據(jù)，安全成為突出問題。一個完善的安全體系是數(shù)據(jù)中心正常運(yùn)轉(zhuǎn)的條件。

1.4 數(shù)據(jù)中心基礎(chǔ)設(shè)施的業(yè)務(wù)價值

數(shù)據(jù)中心的價值是由IT應(yīng)用體現(xiàn)的，而數(shù)據(jù)中心基礎(chǔ)設(shè)施的業(yè)務(wù)價值則是由基礎(chǔ)設(shè)施對IT應(yīng)用的支撐所體現(xiàn)。

隨著IT應(yīng)用系統(tǒng)的集中化發(fā)展，IT應(yīng)用對于數(shù)據(jù)中心基礎(chǔ)設(shè)施的需求越來越體現(xiàn)在以下方面：連續(xù)運(yùn)行的高可用性、快速響應(yīng)需求變化的靈活性以及在全生命周期內(nèi)建設(shè)和運(yùn)營的總擁有成本(TCO)，即

要整體提升數(shù)據(jù)中心基礎(chǔ)設(shè)施的業(yè)務(wù)價值，就必須從提高可用性、靈活性以及降低總擁有成本3個方面入手。

1.5 數(shù)據(jù)中心發(fā)展

伴隨著云計(jì)算、大數(shù)據(jù)等新技術(shù)、新應(yīng)用的涌現(xiàn)，從數(shù)據(jù)大集中到多業(yè)務(wù)整合，數(shù)據(jù)中心的規(guī)模化發(fā)展成為未來發(fā)展方向之一。除了小型特色數(shù)據(jù)中心外，大型乃至超大型數(shù)據(jù)中心成為發(fā)展重點(diǎn)。

規(guī)模發(fā)展的同時，數(shù)據(jù)中心也成為能耗大戶。減少數(shù)據(jù)中心能耗不僅能降低運(yùn)營成本，更是企業(yè)社會責(zé)任的一種體現(xiàn)，以節(jié)能環(huán)保為目的的綠色數(shù)據(jù)中心成為趨勢。

數(shù)據(jù)中心的“大”不僅體現(xiàn)在面積大、服務(wù)器多，還體現(xiàn)在業(yè)務(wù)種類多、業(yè)務(wù)處理量大、數(shù)據(jù)資源大。因而數(shù)據(jù)中心適應(yīng)業(yè)務(wù)變化和發(fā)展的靈活性，又稱為“彈性”，成為數(shù)據(jù)中心必備特性，是提升數(shù)據(jù)中心業(yè)務(wù)價值的重要抓手。

大規(guī)模、綠色、彈性成為數(shù)據(jù)中心發(fā)展需要面對的問題。沒有一種單一的技術(shù)能完全解決這些問題，因而需要使用系統(tǒng)工程的方法，通過綜合治理才有成效。

2 支撐規(guī)模發(fā)展的技術(shù)

大型數(shù)據(jù)中心是伴隨著IT集中化和互聯(lián)網(wǎng)業(yè)務(wù)高速發(fā)展而產(chǎn)生的。企業(yè)的IT應(yīng)用從分散部署走向集中化，驅(qū)動了大型企業(yè)數(shù)據(jù)中心的建設(shè)。互聯(lián)網(wǎng)業(yè)務(wù)，尤其是移動互聯(lián)網(wǎng)業(yè)務(wù)的飛速發(fā)展，各類互聯(lián)網(wǎng)業(yè)務(wù)對基礎(chǔ)設(shè)施提出了巨大需求，驅(qū)動了大型互聯(lián)網(wǎng)數(shù)據(jù)中心的發(fā)展。數(shù)據(jù)中心的規(guī)模發(fā)展從量變帶來了質(zhì)變，對基礎(chǔ)設(shè)施提出了新要求。

2.1 云計(jì)算技術(shù)

云計(jì)算技術(shù)具有鮮明的技術(shù)特征[2]。云計(jì)算系統(tǒng)具有低成本、大規(guī)模特點(diǎn)，以低成本運(yùn)算單元取代傳統(tǒng)大型IT系統(tǒng)設(shè)備，降低IT系統(tǒng)的建設(shè)和擴(kuò)容成本，同時通過軟件技術(shù)實(shí)現(xiàn)大量低成本IT硬件單元協(xié)同工作，保證高可靠性。云計(jì)算系統(tǒng)具有平滑擴(kuò)展能力，具備高度的擴(kuò)展性和彈性，可以方便、快速地增加或減少資源。云計(jì)算系統(tǒng)具有資源共享能力，可提供多種形式的計(jì)算、存儲、網(wǎng)絡(luò)能力資源池，可為多種上層應(yīng)用提供服務(wù)，同時實(shí)現(xiàn)資源的自動分配與管理。

由于大型數(shù)據(jù)中心的集中化、整合特性，其所承載的IT系統(tǒng)不能采用傳統(tǒng)的煙囪式建設(shè)方式。煙囪式系統(tǒng)建設(shè)方式會導(dǎo)致資源難以共享、利用率低、標(biāo)準(zhǔn)程度差，建設(shè)和擴(kuò)容成本難以控制。云計(jì)算技術(shù)的出現(xiàn)，可以云化數(shù)據(jù)中心需要承載的IT系統(tǒng)，使得建設(shè)和發(fā)展規(guī)?；瘮?shù)據(jù)中心成為可能。

利用云計(jì)算技術(shù)和模式，數(shù)據(jù)中心將成為云計(jì)算數(shù)據(jù)中心，形成私有云、公有云或混合云。云計(jì)算的IaaS、PaaS和SaaS服務(wù)模式成為數(shù)據(jù)中心IT系統(tǒng)規(guī)劃的藍(lán)圖，同時也是數(shù)據(jù)中心業(yè)務(wù)模式創(chuàng)新的源泉?；贗aaS，數(shù)據(jù)中心可以升級傳統(tǒng)的資源類出租業(yè)務(wù)，提供彈性資源出租，實(shí)現(xiàn)按需服務(wù)；基于PaaS，數(shù)據(jù)中心可以在傳統(tǒng)增值服務(wù)基礎(chǔ)上，提供有特色的能力服務(wù)；基于SaaS，數(shù)據(jù)中心可以深化服務(wù)內(nèi)容，進(jìn)一步提高收益水平，打造差異化競爭能力。

2.2 服務(wù)器技術(shù)

服務(wù)器設(shè)備是數(shù)據(jù)中心IT基礎(chǔ)設(shè)施的核心之一，提供了數(shù)據(jù)中心的計(jì)算能力。大型數(shù)據(jù)中心對服務(wù)器的數(shù)量、安裝密度、性能和成本都提出了新要求。

大型數(shù)據(jù)中心往往規(guī)劃安裝多達(dá)上萬臺服務(wù)器設(shè)備，因而可安裝密度成為服務(wù)器發(fā)展驅(qū)動力。數(shù)據(jù)中心服務(wù)器按照安裝方式劃分有塔式服務(wù)器、機(jī)架式服務(wù)器和刀片式服務(wù)器。機(jī)架式服務(wù)器具有節(jié)省空間、較高密度、便于集中維護(hù)和管理等優(yōu)勢，是目前數(shù)據(jù)中心通用服務(wù)器的主流。為了提高安裝密度，刀片式服務(wù)器、高密度服務(wù)器的使用越來越多，甚至它們的使用方式已經(jīng)受限于機(jī)房的供電和空調(diào)能力。

服務(wù)器性能，特別是PC服務(wù)器處理性能的不斷提升支撐了大型數(shù)據(jù)中心發(fā)展?，F(xiàn)有x86處理器已經(jīng)集成了多核、多線程技術(shù)，發(fā)展到單CPU封裝16核，能夠極大提高數(shù)據(jù)中心的計(jì)算能力。此時服務(wù)器的I/O延遲、I/O帶寬逐漸變?yōu)閼?yīng)用的計(jì)算瓶頸，因此采用新的I/O技術(shù)和磁盤技術(shù)成為發(fā)展方向。

由于數(shù)量大，大型數(shù)據(jù)中心對服務(wù)器設(shè)備的成本比較敏感。在柔性制造技術(shù)不斷成熟之下，通過選擇低成本的產(chǎn)品組件、有針對性的削減非常用配置、共用冗余和容錯措施來制造應(yīng)用定制服務(wù)器，可以達(dá)到降低制造成本的目的。在Facebook的OCP（Open Compute Project）中開源了服務(wù)器的核心設(shè)計(jì)技術(shù)，其定制化服務(wù)器，不依賴于單機(jī)性能，通過水平擴(kuò)展實(shí)現(xiàn)高吞吐率；只保留最基礎(chǔ)的硬件冗余和容錯，不強(qiáng)調(diào)服務(wù)器單機(jī)的可靠性，通過軟件實(shí)現(xiàn)IT系統(tǒng)的高可用性，與同類標(biāo)準(zhǔn)化產(chǎn)品相比，據(jù)稱成本降低了28%。

2.3 網(wǎng)絡(luò)技術(shù)

傳統(tǒng)和小型數(shù)據(jù)中心中，由于業(yè)務(wù)密度低，對網(wǎng)絡(luò)需求較為簡單。大型、云計(jì)算數(shù)據(jù)中心中，網(wǎng)絡(luò)是IT系統(tǒng)聯(lián)通的基礎(chǔ)，IT應(yīng)用將網(wǎng)絡(luò)視作一種資源，對網(wǎng)絡(luò)提出了更高要求，網(wǎng)絡(luò)的功能和性能將決定數(shù)據(jù)中心服務(wù)交付的性能。

以太網(wǎng)是數(shù)據(jù)中心網(wǎng)絡(luò)的基本技術(shù)，更高的網(wǎng)絡(luò)帶寬是實(shí)現(xiàn)大型數(shù)據(jù)中心的物理基礎(chǔ)。目前基于IEEE 802.3ba（40/100 Gbit/s以太網(wǎng)標(biāo)準(zhǔn)）的網(wǎng)絡(luò)產(chǎn)品的逐漸應(yīng)用，解決了流量密集環(huán)境的寬帶需求，數(shù)據(jù)中心內(nèi)部的同步大流量、備份大流量、虛擬機(jī)遷移大流量等將不再出現(xiàn)瓶頸。另外，基于優(yōu)先級的流量控制IEEE 802.1Qbb、增強(qiáng)傳輸選擇IEEE 802.1Qaz、擁塞通告IEEE 802.1Qau等新協(xié)議也增強(qiáng)了以太網(wǎng)的功能。

云計(jì)算數(shù)據(jù)中心中應(yīng)用的服務(wù)器虛擬化技術(shù)對網(wǎng)絡(luò)提出了新的功能要求。首先是虛擬機(jī)的交換問題。為實(shí)現(xiàn)虛擬機(jī)之間以及虛擬機(jī)與外部網(wǎng)絡(luò)的通信，必須存在一個“虛擬以太網(wǎng)交換機(jī)”，IEEE 802.1Qbg（EVB）等提供了解決方案。其次是虛擬機(jī)的動態(tài)遷移要求扁平2層網(wǎng)絡(luò)的支持。傳統(tǒng)大型數(shù)據(jù)中心的網(wǎng)絡(luò)在匯聚層以上往往設(shè)計(jì)為3層路由方式以控制網(wǎng)絡(luò)區(qū)域半徑，即使是2層網(wǎng)絡(luò)也需要配置生成樹協(xié)議消除2層環(huán)路從而導(dǎo)致收斂慢等問題。目前一些增強(qiáng)2層技術(shù)和大2層技術(shù)已經(jīng)實(shí)際使用。增強(qiáng)2層技術(shù)通過堆疊/集群等方式將兩臺或多臺物理設(shè)備虛擬成一臺邏輯設(shè)備，原有設(shè)備的控制平面和轉(zhuǎn)發(fā)平面整合為一個整體。大2層技術(shù)（例如Trill、SPB）利用類似3層路由概念計(jì)算出2層網(wǎng)絡(luò)路徑，實(shí)現(xiàn)2層交換，同時使得2層網(wǎng)絡(luò)具有了和3層網(wǎng)絡(luò)一樣的高擴(kuò)展性和高可靠性。

2.4 存儲技術(shù)

大型數(shù)據(jù)中心的數(shù)據(jù)存儲需求具有海量、高性能、高可用和可管理等特征。隨著大數(shù)據(jù)應(yīng)用的日漸增多，對數(shù)據(jù)中心存儲系統(tǒng)提出了更高要求。

分級存儲是應(yīng)對海量數(shù)據(jù)存儲的基本技術(shù)。分級存儲是指根據(jù)數(shù)據(jù)不同的重要性、可用性、訪問頻次和存儲成本等指標(biāo)，將數(shù)據(jù)分別存放在相應(yīng)的存儲設(shè)備上。分級存儲基于數(shù)據(jù)價值級別判定，將不經(jīng)常訪問的數(shù)據(jù)自動轉(zhuǎn)移到較低存儲層次，減少非重要性數(shù)據(jù)在一級磁盤所占用的空間，釋放出較高成本的存儲空間給更頻繁訪問的數(shù)據(jù)，從而提升整個系統(tǒng)的存儲性能，獲得更好的性價比。分級存儲系統(tǒng)一般分為在線存儲、近線存儲和離線存儲3級存儲方式。

云存儲是應(yīng)對數(shù)據(jù)中心大數(shù)據(jù)的新技術(shù)。云存儲是指通過集群應(yīng)用、網(wǎng)格技術(shù)或分布式文件系統(tǒng)等功能，將網(wǎng)絡(luò)中大量各種類型的存儲設(shè)備通過應(yīng)用軟件集合起來協(xié)同工作，共同對外提供數(shù)據(jù)存儲和業(yè)務(wù)訪問功能的系統(tǒng)，一般包括塊存儲、文件存儲、對象存儲和表存儲4類。云存儲繼承了云計(jì)算技術(shù)的一般優(yōu)點(diǎn)，除了較難支撐事務(wù)頻繁的關(guān)系型數(shù)據(jù)庫外，在擴(kuò)展性、可靠性、高性能、易維護(hù)、低成本等多個方面都優(yōu)于傳統(tǒng)的數(shù)據(jù)存儲方式。

2.5 安全技術(shù)

大型數(shù)據(jù)中心聚集了大量資源和應(yīng)用，安全問題更加突出。由于安全是系統(tǒng)性問題，涉及從基礎(chǔ)設(shè)施到上層應(yīng)用乃至運(yùn)維管理的所有方面，數(shù)據(jù)中心的安全必須從體系建設(shè)入手，明確頂層設(shè)計(jì)后，針對性地采取各種安全技術(shù)措施、制定安全管理制度、實(shí)施安全運(yùn)維。數(shù)據(jù)中心安全體系的設(shè)計(jì)可以遵循有關(guān)的標(biāo)準(zhǔn)和指南。

對于云計(jì)算數(shù)據(jù)中心，信息安全的基本屬性與安全需求并未變化，涉及信息資產(chǎn)、安全威脅、保護(hù)措施等的信息保障安全觀依舊有效，云計(jì)算中的安全控制機(jī)制與傳統(tǒng)IT環(huán)境的安全控制機(jī)制沒有本質(zhì)的不同。但是需要注意一些未積累實(shí)踐經(jīng)驗(yàn)的潛在風(fēng)險，包括共享資源池可能引起的全局故障、多租戶環(huán)境的安全隔離不完全、多系統(tǒng)共存和資源池的動態(tài)化導(dǎo)致的安全策略的復(fù)雜性、虛擬化技術(shù)帶來的新安全威脅和入侵點(diǎn)、虛擬機(jī)的剩余信息保護(hù)、虛擬資源內(nèi)部之間的安全管控等問題。

2.6 網(wǎng)管技術(shù)

由于數(shù)據(jù)中心采用的還是IT設(shè)備，所以一般的IT網(wǎng)管技術(shù)手段仍然適用。但是當(dāng)數(shù)據(jù)中心的設(shè)備規(guī)模達(dá)到成千上萬臺后，單機(jī)上的小概率事件變成了必然事件，硬盤、CPU、內(nèi)存、主板、電源等故障造成“硬”故障可能會時有發(fā)生，此外“軟”故障也很難發(fā)覺，這就帶來了OSS難題。所以大型數(shù)據(jù)中心的OSS方案需要創(chuàng)新，可能的思路在于聯(lián)合物理層、操作系統(tǒng)層和應(yīng)用層協(xié)同管理。

2.7 分布式技術(shù)

規(guī)?；臄?shù)據(jù)中心必須考慮備份和容災(zāi)，其中遠(yuǎn)程備份與容災(zāi)可以說是分布式數(shù)據(jù)中心的原型。對于傳統(tǒng)數(shù)據(jù)中心的IT系統(tǒng)，常常采用基于數(shù)據(jù)庫的復(fù)制技術(shù)、基于智能存儲的遠(yuǎn)程數(shù)據(jù)復(fù)制技術(shù)等方式實(shí)現(xiàn)IT系統(tǒng)的容災(zāi)備份。目前雙中心IT系統(tǒng)、三中心IT系統(tǒng)（例如運(yùn)營商的業(yè)務(wù)支撐系統(tǒng)）已經(jīng)非常成熟，只是成本代價較大。

云計(jì)算技術(shù)的應(yīng)用為構(gòu)建分布式數(shù)據(jù)中心帶來了新選擇?；谔摂M化技術(shù)的快速遷移技術(shù)，簡化了系統(tǒng)的備份與重構(gòu)。一種基于云存儲和虛擬化構(gòu)建分布式數(shù)據(jù)中心的思路為：首先建立云存儲環(huán)境，將用戶的業(yè)務(wù)數(shù)據(jù)存儲在云存儲環(huán)境中，依靠云存儲環(huán)境的分布式特性來保證在一個節(jié)點(diǎn)故障時存儲服務(wù)的持續(xù)服務(wù)能力；其次采用虛擬機(jī)鏡像方式對用戶的業(yè)務(wù)代碼和運(yùn)行環(huán)境進(jìn)行異地備份，并通過周期備份來保證準(zhǔn)同步；當(dāng)意外發(fā)生導(dǎo)致主用中心無法為用戶服務(wù)時，啟動異地的虛擬機(jī)系統(tǒng)并通過修改DNS等方式將用戶業(yè)務(wù)請求引導(dǎo)到異地中心。

更為激進(jìn)的方式是基于應(yīng)用層分布式架構(gòu)實(shí)現(xiàn)分布式數(shù)據(jù)中心，這種方式甚至能夠降低對單個數(shù)據(jù)中心的可用性要求。對于那些由互相獨(dú)立、沒有數(shù)據(jù)一致性要求的并發(fā)請求處理所組成的一類業(yè)務(wù)，在實(shí)現(xiàn)一個廣域分布式全局統(tǒng)一視圖數(shù)據(jù)服務(wù)（例如基于一個廣域分布式文件系統(tǒng)，或廣域分布式數(shù)據(jù)存儲服務(wù)，或廣域分布式Memory Cache集群）的基礎(chǔ)上即能構(gòu)成分布式應(yīng)用。對于數(shù)據(jù)一致性分布式業(yè)務(wù)，可以構(gòu)建統(tǒng)一的數(shù)據(jù)服務(wù)層，將分布式存儲的數(shù)據(jù)統(tǒng)一為單一視圖。目前，基于傳統(tǒng)的關(guān)系數(shù)據(jù)庫模型的大規(guī)模分布式數(shù)據(jù)庫的研究與開發(fā)也在不斷前進(jìn)。Google已經(jīng)提出了新一代全球級分布式數(shù)據(jù)庫Spanner的原理，宣稱Spanner是可擴(kuò)展、全球分布式的關(guān)系數(shù)據(jù)庫，支持同步復(fù)制和外部一致的事務(wù)，使用一個被稱作TrueTime的基于GPS和原子鐘實(shí)現(xiàn)的時間API為實(shí)現(xiàn)讀寫的外部一致性和基于時間戳的全局讀一致提供支持。

2.8 園區(qū)規(guī)劃技術(shù)

傳統(tǒng)數(shù)據(jù)中心的建筑呈現(xiàn)為單體建筑物，或者僅是機(jī)房樓中的一層機(jī)房。大型數(shù)據(jù)中心由于規(guī)模大，單體建筑不能滿足機(jī)房、電源系統(tǒng)和空調(diào)系統(tǒng)的需求，常常呈現(xiàn)為一個園區(qū)。園區(qū)規(guī)劃成為大型數(shù)據(jù)中心發(fā)展的前提。

大型數(shù)據(jù)中心園區(qū)首先要做好生產(chǎn)要素規(guī)劃，根據(jù)工藝需要進(jìn)行園區(qū)空間布局和服務(wù)載體設(shè)計(jì)。園區(qū)建筑設(shè)施需要包括IT基礎(chǔ)設(shè)施運(yùn)行區(qū)域、運(yùn)維支持工作區(qū)域、客戶操作區(qū)域、動力機(jī)房區(qū)域、空調(diào)機(jī)房區(qū)域和附屬設(shè)施等。

大型數(shù)據(jù)中心園區(qū)還需要做好信息化規(guī)劃。作為一個系統(tǒng)綜合體，園區(qū)信息化包括了物業(yè)管理信息化、訪客信息化、公共設(shè)施管理信息化等內(nèi)容，應(yīng)積極采用物聯(lián)網(wǎng)技術(shù)實(shí)現(xiàn)智能園區(qū)。

3 綠色數(shù)據(jù)中心技術(shù)

綠色包含了“綠色節(jié)能”和“綠色環(huán)?！眱蓚€含義，是數(shù)據(jù)中心發(fā)展到一定階段的必然需求。

數(shù)據(jù)中心屬于能耗密集型產(chǎn)業(yè)，大規(guī)模數(shù)據(jù)中心能耗更是巨大。在全社會倡導(dǎo)節(jié)能減排和企業(yè)降低運(yùn)營成本的背景下，如何節(jié)約能耗，建設(shè)綠色數(shù)據(jù)中心，成為數(shù)據(jù)中心建設(shè)和運(yùn)營者關(guān)注的焦點(diǎn)。

數(shù)據(jù)中心的建筑和建筑內(nèi)設(shè)施、加上IT系統(tǒng)設(shè)備規(guī)模量大，采用綠色環(huán)保材料可以為環(huán)境保護(hù)作出貢獻(xiàn)。歐盟頒布的RoHS2002/95/EC標(biāo)準(zhǔn)規(guī)定在電子和電氣產(chǎn)品中嚴(yán)禁使用6種有害物質(zhì)，在數(shù)據(jù)中心建設(shè)時應(yīng)優(yōu)先選取符合RoHS標(biāo)準(zhǔn)的產(chǎn)品。本文主要討論綠色節(jié)能技術(shù)。

3.1 綠色指標(biāo)

數(shù)據(jù)中心能耗是指數(shù)據(jù)中心內(nèi)各種用能設(shè)備消耗的能源總和，不僅包括IT設(shè)備能耗，還包括空調(diào)、供電等輔助系統(tǒng)的能耗。綠色網(wǎng)格組織采用電能利用率（PUE，Power Usage Effectiveness）表征數(shù)據(jù)中心的能源效率指標(biāo)，PUE=數(shù)據(jù)中心的總用電量/IT設(shè)備的總用電量，其含義為在數(shù)據(jù)中心總輸入電能中，有多少電能被饋送到IT設(shè)備上。PUE值越小，意味著節(jié)能性越好。

從PUE定義看出，PUE實(shí)際上與IT設(shè)備的效率沒有關(guān)系，只與空調(diào)、供電系統(tǒng)的效率有關(guān)。IT設(shè)備能效比定義為IT設(shè)備每秒數(shù)據(jù)處理流量或每秒數(shù)據(jù)吞吐量除以IT設(shè)備的功耗。選用的IT設(shè)備的能效比越高，意味著IT設(shè)備每消耗單位電能，所能處理的數(shù)據(jù)量越大。較高的IT設(shè)備能效比可以大幅降低所需配套的空調(diào)和供電系統(tǒng)的容量及功耗，從而達(dá)到節(jié)能、節(jié)省投資和節(jié)省機(jī)房安裝面積的目的。

3.2 IT基礎(chǔ)設(shè)施的節(jié)能

選用能效比高的IT設(shè)備是數(shù)據(jù)中心節(jié)能的源頭。以服務(wù)器為例，服務(wù)器綠色節(jié)能技術(shù)一直是各設(shè)備廠商著力發(fā)展的重點(diǎn)，服務(wù)器都在采用更加節(jié)能的部件，例如可根據(jù)負(fù)載大小動態(tài)調(diào)整主頻的處理器、更加節(jié)能的內(nèi)置存儲、智能的電源和風(fēng)扇等，同時像刀片式服務(wù)器在結(jié)構(gòu)上就具備了能耗低、占地面積小、管理簡單等優(yōu)點(diǎn)。一些服務(wù)器廠商還可提供服務(wù)器能耗管理軟件、整機(jī)能耗封頂技術(shù)和服務(wù)器傳感器技術(shù)等。

更深層次的IT設(shè)備節(jié)能挖潛就需要采用深度定制方式。以Google對服務(wù)器硬件的定制為例，其服務(wù)器設(shè)計(jì)選擇低成本和低功耗的CPU和元器件，自主開發(fā)精簡的主板，優(yōu)化配置并刪除冗余和容錯組件；服務(wù)器的供電直接采用高壓直流接入，內(nèi)置12V電池，并采用高效率的電源模塊和電源轉(zhuǎn)換方案；采用開放式機(jī)箱設(shè)計(jì)，機(jī)柜內(nèi)置專業(yè)設(shè)計(jì)的風(fēng)道和散熱設(shè)施；采用自動監(jiān)控和診斷功能，實(shí)現(xiàn)基本故障的自動排除和自動診斷?；诙ㄖ圃O(shè)備，Google和Facebook數(shù)據(jù)中心的PUE值可達(dá)到1.1以下。

云計(jì)算技術(shù)也能為IT設(shè)備節(jié)能做貢獻(xiàn)。通過虛擬化技術(shù)努力提高IT設(shè)備利用率，在相同業(yè)務(wù)需求條件下可以減少物理設(shè)備數(shù)量，間接降低PUE。

為盡可能利用自然冷源，放寬IT設(shè)備能夠容忍的溫濕度范圍，在高溫環(huán)境下運(yùn)行也是節(jié)能的重要手段。ASHRAE在2011版本中推薦溫度范圍為18℃～27℃，推薦的濕度范圍為大于5.5℃的露點(diǎn)溫度的相對濕度、小于60%的相對濕度和15℃的露點(diǎn)溫度。在可以保證IT設(shè)備正常運(yùn)行的條件下，放寬的環(huán)境要求可減少機(jī)房制冷、加熱、加濕、除濕的耗能，從而降低PUE。

3.3 機(jī)房基礎(chǔ)設(shè)施的節(jié)能

機(jī)房基礎(chǔ)設(shè)施的節(jié)能是除IT基礎(chǔ)設(shè)施節(jié)能外的最重要方面，需要從選址、建筑、供電、通風(fēng)與空調(diào)等領(lǐng)域系統(tǒng)的、因地制宜的綜合考慮。

空調(diào)耗能占有機(jī)房基礎(chǔ)設(shè)施耗能的最主要部分，是否可以使用自然冷源成為能否大幅降低PUE的關(guān)鍵，因而選址成為數(shù)據(jù)中心規(guī)劃建設(shè)的首要考慮因素。在工信部聯(lián)通[2013]13號文中，就數(shù)據(jù)中心的布局導(dǎo)向作出了明確要求，對于新建超大型數(shù)據(jù)中心，重點(diǎn)考慮氣候環(huán)境、能源供給等要素，鼓勵超大型數(shù)據(jù)中心，特別是以災(zāi)備等實(shí)時性要求不高的應(yīng)用為主的超大型數(shù)據(jù)中心，優(yōu)先在氣候寒冷、能源充足的一類地區(qū)（氣候寒冷，最冷月平均溫度不大于-10℃，日平均溫度不大于5℃的天數(shù)大于等于145天；能源充足，發(fā)電量大于用電量；地質(zhì)災(zāi)害較少）建設(shè)。

在數(shù)據(jù)中心建設(shè)初期，對建筑自身的節(jié)能環(huán)?？紤]是邁向綠色的第一步。數(shù)據(jù)中心機(jī)房設(shè)計(jì)要采用隔熱、保溫、隔音、防輻射方案，同時避免使用有害、易揮發(fā)、易老化變形的建筑材料。

空調(diào)領(lǐng)域已經(jīng)積累了大量節(jié)能措施最佳實(shí)踐。大型數(shù)據(jù)中心中大型的冷水機(jī)組普遍規(guī)劃采用；從風(fēng)機(jī)到水泵，各種變頻技術(shù)已經(jīng)得到普遍應(yīng)用；各種免費(fèi)制冷方式日益受到重視，從新風(fēng)方案，到輪轉(zhuǎn)換熱、熱管、蓄冷等節(jié)能技術(shù)的推廣應(yīng)用成為熱點(diǎn)。在末端方式上，行級制冷、置頂式、水冷門等技術(shù)給用戶更多選擇。機(jī)房內(nèi)基于CFD的氣流設(shè)計(jì)與管理，冷熱通道封閉與隔離技術(shù)，提高了系統(tǒng)效率。隨著技術(shù)的發(fā)展，充分利用能源的三聯(lián)供技術(shù)、熱回收技術(shù)也成為數(shù)據(jù)中心新的發(fā)展趨勢。

供電系統(tǒng)也應(yīng)綜合采取各種節(jié)能措施。例如采用高效、節(jié)能的供電設(shè)備；變壓器、UPS電源設(shè)備深入到負(fù)荷中心，合理選擇線路路徑；進(jìn)行無功補(bǔ)償優(yōu)化，進(jìn)行諧波治理；供電質(zhì)量允許時，UPS采用經(jīng)濟(jì)運(yùn)行模式；IT設(shè)備支持時，采用高壓直流供電系統(tǒng)；采用全分散供電模式等。另外，對于大型數(shù)據(jù)中心園區(qū)，可根據(jù)條件采用綠色能源為一些輔助設(shè)施供電。目前，一些新技術(shù)如磷酸鐵鋰電池已有試點(diǎn)，飛輪UPS在國外已有應(yīng)用。

4 支撐彈性服務(wù)的技術(shù)

用戶對數(shù)據(jù)中心已經(jīng)從“資源型”轉(zhuǎn)變?yōu)楦邔哟螌Ψ?wù)的需求，即向“服務(wù)型”轉(zhuǎn)變，服務(wù)成為數(shù)據(jù)中心的靈魂。而基礎(chǔ)設(shè)施業(yè)務(wù)價值中的靈活性則要求數(shù)據(jù)中心具備服務(wù)彈性。數(shù)據(jù)中心的服務(wù)彈性可以分解為基礎(chǔ)設(shè)施的彈性、IT應(yīng)用系統(tǒng)的彈性和管理彈性，這些彈性的實(shí)現(xiàn)需要模塊化技術(shù)、資源池抽象技術(shù)和多租戶技術(shù)等的支持。

4.1 模塊化技術(shù)

模塊化技術(shù)針對基礎(chǔ)設(shè)施而言，有不同層次的實(shí)現(xiàn)方式。

一種模塊化方法是將數(shù)據(jù)中心分形迭代分解成為一個基本單元并保留核心部分，該單元在外部電源接口、空調(diào)接口和網(wǎng)絡(luò)接口的支持下即成為可用的基礎(chǔ)設(shè)施。典型實(shí)現(xiàn)如集裝箱式數(shù)據(jù)中心或室內(nèi)模塊化數(shù)據(jù)中心。

另一種模塊化方法是設(shè)置功能模塊，每個模塊具有獨(dú)立功能、統(tǒng)一的輸入輸出接口、不同區(qū)域的模塊可以互相備份，通過相關(guān)模塊的排列組合形成一個完整的數(shù)據(jù)中心可用單元。

模塊化的好處是使得數(shù)據(jù)中心具有了基礎(chǔ)設(shè)施級別的彈性，可以提高機(jī)房利用率、降低建設(shè)成本、加快建設(shè)速度。

4.2 資源池技術(shù)

資源池是云計(jì)算數(shù)據(jù)中心的核心部分，是資源能力的提供者。資源池系統(tǒng)提供數(shù)據(jù)中心的各類資源，包括計(jì)算資源、存儲資源和網(wǎng)絡(luò)資源。資源池的彈性依賴于將資源抽象形成邏輯資源，進(jìn)而在資源管理系統(tǒng)的支撐下，實(shí)現(xiàn)資源的按需分配和動態(tài)調(diào)度。

虛擬機(jī)動態(tài)遷移能力是發(fā)揮資源池彈性的基礎(chǔ)。一個用例為工作日開始時，對計(jì)算資源的需求從最小量開始增長，虛擬機(jī)可以遷移至其它更大能力的設(shè)備上或者分配更多的虛擬機(jī)以滿足需求。工作日結(jié)束時，對計(jì)算資源的需求將降低，可將虛擬機(jī)遷回原來的服務(wù)器，關(guān)閉不需要的資源，以簡化管理并降低供電成本。

網(wǎng)絡(luò)虛擬化能力也是資源池彈性的可選功能。最新的軟件定義網(wǎng)絡(luò)（SDN）技術(shù)基于流來控制流量，易于對底層網(wǎng)絡(luò)的物理拓?fù)溥M(jìn)行抽象，能夠在邏輯上對網(wǎng)絡(luò)資源進(jìn)行分片或者整合，從而滿足各種應(yīng)用對于網(wǎng)絡(luò)的不同需求。

4.3 多租戶技術(shù)

租戶是指擁有獨(dú)占且隔離的、專有使用策略、SLA保證、可統(tǒng)計(jì)和可計(jì)費(fèi)的資源服務(wù)單元。多租戶是一種軟件架構(gòu)技術(shù)，實(shí)現(xiàn)對于多用戶環(huán)境，在保證各用戶間數(shù)據(jù)隔離性的前提下，如何共用相同的系統(tǒng)或程序組件。以多租戶為基礎(chǔ)的業(yè)務(wù)模型是IT應(yīng)用系統(tǒng)SaaS服務(wù)彈性的重要特征。

多租戶環(huán)境中的多個應(yīng)用運(yùn)行在同一邏輯環(huán)境下，需要通過技術(shù)手段來保證用戶間的隔離。多租戶技術(shù)需要支持不同租戶之間數(shù)據(jù)和配置的隔離，從而保證每個租戶數(shù)據(jù)的安全與隱私，還需支持用戶對諸如界面、業(yè)務(wù)邏輯、數(shù)據(jù)結(jié)構(gòu)等的個性化需求。性能定制是多租戶技術(shù)面臨的難點(diǎn)，如何為不同租戶在同一套共享資源上靈活地配置性能，同時每個租戶還有自己的用戶，這對系統(tǒng)的性能和擴(kuò)展性提出了挑戰(zhàn)。

與虛擬化技術(shù)相比較，多租戶技術(shù)還處于發(fā)展階段。在面對大量用戶使用同一類型應(yīng)用時，如果每一個用戶的應(yīng)用都運(yùn)行在單獨(dú)的虛擬機(jī)上將占用大量資源，管理難度大大增加，多租戶技術(shù)則成為這種場景下相對經(jīng)濟(jì)的解決方案。

5 結(jié)束語

本文分析了支撐數(shù)據(jù)中心規(guī)模發(fā)展的一些關(guān)鍵技術(shù)、實(shí)現(xiàn)綠色數(shù)據(jù)中心的關(guān)鍵技術(shù)和支撐數(shù)據(jù)中心彈性服務(wù)的一些關(guān)鍵技術(shù)。應(yīng)該注意的是，在數(shù)據(jù)中心規(guī)劃建設(shè)中，需要分析擬建數(shù)據(jù)中心的全生命周期特點(diǎn)，為落實(shí)采用各種關(guān)鍵技術(shù)提供依據(jù)，從而保障數(shù)據(jù)中心的可持續(xù)發(fā)展。

[1] 林小村，馬玉林，翁小云等. 數(shù)據(jù)中心建設(shè)與運(yùn)行管理[M].北京：科學(xué)出版社，2011.

[2] 張為民，唐劍峰，羅治國等. 云計(jì)算深刻改變未來[M]. 北京：科學(xué)出版社，2010.