超前推進電源標準建設，助力超級數據中心發(fā)展

□ 文 余 斌 鞠昌斌 王超

0 引言

2020年在國內掀起“新基建”的熱潮下，各云計算公司快速推進數據中心建設，配電容量高達100～200MW的超級數據中心開始出現。數據中心的大規(guī)模建設推動創(chuàng)新技術快速迭代和推廣，以10kV交流輸入的直流不間斷電源、間接蒸發(fā)冷卻空調為代表的一大批創(chuàng)新技術應用規(guī)模在迅速擴大，研發(fā)和推廣應用周期不斷縮短，技術迭代頻率不斷提高。

1 “新基建”形勢下數據中心進入高速發(fā)展階段

2020年3月4日，中共中央政治局會議提出“加快5G網絡、數據中心等新型基礎設施建設進度”，數據中心建設驟然提速。2020年各互聯網公司加大投入，用于云計算核心技術的研發(fā)和面向未來的數據中心建設。2020年主要互聯網公司將建設多個百萬級服務器規(guī)模的超大型數據中心，隨之超級互聯網數據中心開始出現。與傳統數據中心相比，超級互聯網數據中心具有鮮明的特點。

圖1 某云計算公司數據中心俯瞰圖

1.1 規(guī)模提升10倍以上

2016年開始，互聯網云計算高速發(fā)展，互聯網數據中心的規(guī)模也在快速增長，同時由于互聯網數據中心對成本的要求極高，大型互聯網數據中心開始選址在距離核心城市300～500km的遠郊，在部分城市逐漸出現了具備極大規(guī)模、極低成本的超級互聯網數據中心。常規(guī)數據機房或數據中心電力容量在1MW～10MW左右，云計算公司的超級互聯網數據中心電力容量可達100～200MW，是傳統數據中心規(guī)模的10倍以上。

以某云計算公司數據中心為例，該數據中心可容納30萬臺服務器，設計電力容量160MW，是常規(guī)數據中心的16倍。目前各大云計算、互聯網公司新建超級數據中心正在朝著百萬服務器、200MW以上的規(guī)模發(fā)展。圖1為某云計算公司數據中心俯瞰圖。

圖2 Google所有數據中心平均PUE

圖3 不同SLA對數據中心服務中斷時間的允許值

1.2 數據中心能耗下降20%以上

PUE（Power Usage Effec tiveness）是評價數據中心能源效率的重要指標之一，PUE=數據中心總能耗/IT設備能耗，其中數據中心總能耗包括IT設備能耗和制冷、配電等系統的能耗，PUE值大于1。PUE越接近1表明非IT設備耗能越少，即能效水平越好。目前新建數據中心的PUE一般為1.5（效率66.7%）左右，國內個別典型數據中心其年平均PUE最低可達1.1（效率90.9%），與國際先進數據中心相比接近Google數據中心PUE水平，數據中心的平均能耗下降26%。圖2為Google所有數據中心平均PUE。

1.3 可靠性要求不斷提高

當前，ToB（To Business）業(yè)務在各互聯網公司業(yè)務中的占比不斷上升，其對于業(yè)務的可用性、連續(xù)性要求遠高于ToC（To Customer）業(yè)務。當前由單次故障引發(fā)的商業(yè)成本損失和品牌價值損失成為倒逼更高可用性要求的關鍵因素，“不接受任何一臺機柜宕機”的要求成為業(yè)務對數據中心可用性的強需求。如何不斷提高數據中心的可用性，滿足業(yè)務極高需求，是當前數據中心設計、運維必須解決的關鍵問題。圖3為數據中心常見服務級別協議（Service-Level Agreement，SLA）對服務中斷時間的允許值。目前數據中心UPTIME Tier-IV級標準對可用性的要求達到99.995%，年允許中斷時間不超過40分鐘。

1.4 投資成本下降30%以上

根據市場調研，價格仍然是企業(yè)上云的第一考慮要素。各云計算公司云產品也經歷了多次全行業(yè)的云產品降價。未來價格下降仍然是市場競爭的主要手段。云計算產品價格的不斷下降給數據中心成本基線控制提出了更高的目標。

相比行業(yè)平均水平，大型云計算公司超級數據中心的機柜單千瓦建設成本已經下降30%以上，設施初投資已經達到一個較低的基線，傳統技術方案下，設施投資短期難再有較大的降低。但行業(yè)競爭壓力要求超級數據中心的機柜單千瓦建設成本基線必須繼續(xù)下降。超級數據中心必須尋找成本更優(yōu)的創(chuàng)新技術方案。

圖4 四種不間斷電源技術與IT設備顆粒度的對應關系

2 數據中心高速發(fā)展下，創(chuàng)新供、備電技術不斷出現

數據中心行業(yè)的快速發(fā)展帶動制冷、散熱、電源、電池技術不斷演進，不間斷電源是技術發(fā)展的熱點領域。不間斷電源是保證數據中心IT負荷持續(xù)不間斷運行的最后一道防線，是數據中心的咽喉部位。按照備電電池的分布位置及與IT設備對應關系分類，數據中心不間斷供電技術有兩種技術路線：集中式、分布式，其又分別有兩種實現形式。集中式主要為交流不間斷電源技術UPS（Uninterrupted Power Supply）和高壓直流技術HVDC（High Voltage Direct Current），分布式主要為機柜級機架電源PowerShelf和服務器級不間斷電源BBU。圖4為四種不間斷電源技術與IT設備顆粒度的對應關系。其中高壓直流（HVDC）供電技術是目前互聯網公司、電信運營商等廣泛采用的主流供電方案。

高壓直流技術起源于電信運營商48V通信電源技術和電力系統的110VDC、220VDC操作電源技術，核心思想是采用蓄電池直接為服務器供電，在提高服務器電源轉換效率的同時，也提高了服務器供電的可靠性。其突出優(yōu)點為易維護、成本低、高可用，滿足了國內電信運營商和互聯網企業(yè)的高可用的業(yè)務訴求。隨著交流不間斷電源技術的不斷發(fā)展演進，也逐漸克服了難維護、成本高等缺點，互聯網公司采用的HVDC技術與UPS技術差距縮小，HVDC技術亟需演進發(fā)展。

圖5 IDC供配電鏈路簡化和模塊結構簡化圖

10kV交流輸入的直流不間斷電源技術在2018年首先由國內某互聯網公司根據業(yè)務需求和數據中心特定場景研發(fā)成功并開始在內部試點，隨后電信運營商、各互聯網公司也開始試點應用。10kV交流輸入的直流不間斷電源技術是高壓直流技術的演進，也是直流不間斷電源技術的迭代與發(fā)展，主要從供配電鏈路和整流模塊拓撲兩個維度對原有系統進行優(yōu)化設計。圖5為IDC供配電鏈路簡化和模塊結構簡化圖。

供配電鏈路4合1：提升直流不間斷電源的功率等級，將原有配電鏈路中的中壓隔離柜、變壓器柜、低壓配電柜組、HVDC柜優(yōu)化為一套10kV交流輸入的直流不間斷電源系統，從而將配電鏈路中的4個環(huán)節(jié)35面柜體整合為一套2N的10kV交流輸入的直流不間斷電源系統。從而簡化了配電鏈路，提高了鏈路的供電效率，進而降低了成本。

整流模塊拓撲5變2：傳統的HVDC的模塊拓撲具有5個環(huán)節(jié)，分別為三相功率因數校正（Vienna Topology）的整流、Boost和隔離LLC電路的逆變、隔離、整流環(huán)節(jié)。經過分析，優(yōu)化為三相不控整流和Buck調壓兩個環(huán)節(jié)，大大減少了功率變換環(huán)節(jié)和器件，功率密度從1.8W/cm3提升到3.6W/cm3，提升一倍。從而實現了成本的降低和效率、可靠性的提升。

相比傳統的供備電方式，采用10kV交流輸入的直流不間斷電源的數據中心具有明顯的優(yōu)勢：更快的交付速度，數據中心的建設速度加快3個月以上。交付速度對互聯網行業(yè)至關重要；更高的可靠性，服務器雙側直流供電，電源全部受到電池保護，抵抗外部電網電能質量變化；TCO更低，相比傳統的供備電技術，單棟樓建設成本下降1000萬元以上。全生命周期運行成本節(jié)省2000余萬元，配電占地面積節(jié)省30%以上，實現更低建設成本。全樓多產出IT機柜50余面，帶來更大的業(yè)務收益。

3 超前布局標準體系，為互聯網創(chuàng)新技術快速推廣提供標準支撐

隨著互聯網數據中心的創(chuàng)新技術迭代快、推廣快，與之相比標準立項批復的節(jié)奏需要加快。中國通信標準化協會通信電源與局站工作環(huán)境技術委員會（CCSA TC4）跟蹤新技術應用案例及實證數據，在總結試點經驗和應用經驗的基礎上，在2019年12月在CCSA TC4提出《信息通信用10kV交流輸入的直流不間斷電源系統》通信行標立項。

此標準在產品技術、方案設計、工程驗收、監(jiān)控維保等多個方面進行規(guī)定，有針對性的解決前期試點中遇到的障礙。圖6為10kV交流輸入的直流不間斷電源應用進展及標準進展。

圖6 10kV交流輸入的直流不間斷電源應用進展及標準進展

10kV交流輸入的直流不間斷電源與傳統的不間斷電源不同，既包含常規(guī)低壓備電部分，還集成了中壓配電、變壓器部分，橫跨多個領域。

4 標準體系建設的意義

業(yè)務需求是牽引互聯網基礎設施技術進步的發(fā)動機，創(chuàng)新技術大規(guī)模應用才能為企業(yè)創(chuàng)造更大的價值。標準支撐是推動技術大規(guī)模推廣應用的關鍵基礎。

過去十年，是互聯網電商、短視頻等“ToC 業(yè)務”快速發(fā)展的十年，催生帶動了數據中心領域朝著超大規(guī)模發(fā)展，催生的一大批創(chuàng)新技術保障了業(yè)務的快速發(fā)展。未來十年，更大規(guī)模的云計算等“ToB業(yè)務”必將以更快的速度發(fā)展，標準建設必將助力更多、更新的創(chuàng)新技術大規(guī)模推廣，助力我國“新基建”的快速發(fā)展。