數(shù)據(jù)中心配電設(shè)計(jì)探討

賈橋龍，崔國(guó)利，柴 龍，郭 松，臧國(guó)秀

（北京中油瑞飛信息技術(shù)有限責(zé)任公司，北京 102200）

1 數(shù)據(jù)中心配電設(shè)計(jì)相關(guān)標(biāo)準(zhǔn)

數(shù)據(jù)中心標(biāo)準(zhǔn)可以分為國(guó)家標(biāo)準(zhǔn)，代碼GB；行業(yè)標(biāo)準(zhǔn)，代碼DL（電力行業(yè)），YD（郵電行業(yè)）等；地方標(biāo)準(zhǔn)，代碼DB；企業(yè)標(biāo)準(zhǔn)，代碼QB。其中，國(guó)家標(biāo)準(zhǔn)擁有最高權(quán)威，是通用性標(biāo)準(zhǔn)，企業(yè)標(biāo)準(zhǔn)的權(quán)威性最低，因地制宜地加入了企業(yè)內(nèi)部的規(guī)范條款，相對(duì)提高了標(biāo)準(zhǔn)寬度。數(shù)據(jù)中心配電設(shè)計(jì)不僅要遵循數(shù)據(jù)中心的直接標(biāo)準(zhǔn)，還要遵循間接電氣設(shè)計(jì)標(biāo)準(zhǔn)。這些直接標(biāo)準(zhǔn)和間接標(biāo)準(zhǔn)有很多部，如GB 50174—2017《數(shù)據(jù)中心設(shè)計(jì)規(guī)范》、GB50057—2010《建筑物防雷設(shè)計(jì)規(guī)范》、GB 50055—2011《通用用電設(shè)備配電設(shè)計(jì)規(guī)范》、GB 51348—2019《民用建筑電氣設(shè)計(jì)標(biāo)準(zhǔn)》、GB 50052—2009《供配電系統(tǒng)設(shè)計(jì)規(guī)范》、GB 50053—2013《20 kV及以下變電所設(shè)計(jì)規(guī)范》、GB 50054—2011《低壓配電設(shè)計(jì)規(guī)范》、GB 50034—2013《建筑照明設(shè)計(jì)標(biāo)準(zhǔn)》及GB 50217—2018《電力工程電纜設(shè)計(jì)標(biāo)準(zhǔn)》等。

2 數(shù)據(jù)中心常見的電氣架構(gòu)

數(shù)據(jù)中心常見電氣架構(gòu)有傳統(tǒng)配電架構(gòu)、微模塊架構(gòu)、一體化架構(gòu)及預(yù)制模塊化架構(gòu)。

2.1 傳統(tǒng)配電架構(gòu)

市電和后備電源被引入總配電變電所，并通過高壓配電設(shè)備進(jìn)行互投，每個(gè)模塊機(jī)房就近配備一個(gè)模塊變電所，模塊變電所內(nèi)設(shè)置變壓器、低壓配電柜及不間斷電源設(shè)備，通過機(jī)房?jī)?nèi)的配電設(shè)備（精密配電柜或配電母線）供給機(jī)柜內(nèi)的IT設(shè)備不間斷電源。這種架構(gòu)適合大多數(shù)及大型數(shù)據(jù)中心。

2.2 微模塊架構(gòu)

與傳統(tǒng)配電架構(gòu)相比，微模塊是將模塊變電所和機(jī)房配電集成到了一套裝置內(nèi)，裝置內(nèi)包括了電源模塊、降溫裝置、消防設(shè)施、安防系統(tǒng)及IT設(shè)備機(jī)柜等各個(gè)系統(tǒng)的設(shè)備。微模塊可以在工廠內(nèi)進(jìn)行預(yù)制和測(cè)試，然后運(yùn)輸?shù)綌?shù)據(jù)中心進(jìn)行安裝投運(yùn)，可縮短數(shù)據(jù)中心建設(shè)周期，方便快捷地部署應(yīng)用系統(tǒng)。

2.3 一體化架構(gòu)

一體化架構(gòu)與傳統(tǒng)配電架構(gòu)的區(qū)別在模塊變電所，一體化配電架構(gòu)是將模塊變電內(nèi)所將變壓器、低壓配電設(shè)備及不間斷電源等設(shè)備集合成一套裝置，輸入高壓市電（通常為10 kV），就可以直接輸出220/380 V交流不間斷電源或直流不間斷電源，再通過機(jī)房?jī)?nèi)的配電設(shè)備（精密配電柜或配電母線）供給機(jī)柜內(nèi)的IT設(shè)備不間斷電源。一體化配電模式大大節(jié)省了設(shè)備占用面積，降低了配電柜及線纜的投資成本，是近年來興起的新型配電形式，大型IDC企業(yè)已經(jīng)開始實(shí)踐一體化配電形式。

2.4 預(yù)制模塊化

預(yù)制模塊化架構(gòu)是根據(jù)需求做好數(shù)據(jù)中心設(shè)計(jì)后，在工廠內(nèi)部完成數(shù)據(jù)中心基礎(chǔ)設(shè)施各個(gè)系統(tǒng)的有機(jī)組合，經(jīng)驗(yàn)證測(cè)試合格后，將預(yù)制化模塊運(yùn)輸?shù)綌?shù)據(jù)中心現(xiàn)場(chǎng)重新組合，組合完成后即可投入使用的形式。預(yù)制模塊化形式有效改善了數(shù)據(jù)中心建設(shè)周期長(zhǎng)、靈活性差、維護(hù)不便的缺點(diǎn)。

3 A級(jí)數(shù)據(jù)中心配電設(shè)計(jì)

3.1 市 電

A級(jí)數(shù)據(jù)中心應(yīng)由兩路電源供電，兩路電源互為備用，且要引自不同地理位置、互不影響、相互獨(dú)立的兩個(gè)變電站。

引入數(shù)據(jù)中心的兩路市電電壓等級(jí)通常為10 kV，10 kV電壓等級(jí)的市電不可用時(shí)，可以采用35 kV電壓等級(jí)的市電。當(dāng)數(shù)據(jù)中心需要多路市電或10 kV市電容量不夠時(shí)，可以配建110 kV變電站，同時(shí)市電電源的可靠性也隨著電壓等級(jí)的提高而提高。

引入A級(jí)數(shù)據(jù)中心總配電室的市電應(yīng)2N配置，兩個(gè)市電路徑互為備用，正常情況下兩個(gè)市電路徑均投用，當(dāng)其中一個(gè)市電路徑失效時(shí)，可由另一個(gè)市電路徑供給數(shù)據(jù)中心全部用電設(shè)備；當(dāng)引入數(shù)據(jù)中心的兩個(gè)市電路徑均失效時(shí)，就要靠備用電源路徑帶數(shù)據(jù)中心全部用電負(fù)荷。

3.2 后備電源

后備電源配置是數(shù)據(jù)中心配電不可或缺的一環(huán)，后備電源通常有發(fā)電機(jī)和專用饋電線路兩種形式，發(fā)電機(jī)又分為柴油發(fā)電機(jī)和燃?xì)獍l(fā)電機(jī)[1]。專用饋電線路雖然和數(shù)據(jù)中心市電線路保持相對(duì)獨(dú)立，故障因素大大減少，但是和數(shù)據(jù)中心市電線路來自同一個(gè)供電網(wǎng)絡(luò)，存在同時(shí)失效的可能，在審批、費(fèi)用等方面也比較麻煩。柴油發(fā)動(dòng)機(jī)可以和數(shù)據(jù)中心市電線路保持相互獨(dú)立，而且在應(yīng)急響應(yīng)速度和加載能力上優(yōu)于燃?xì)獍l(fā)電機(jī)，因此柴油發(fā)動(dòng)機(jī)在各類數(shù)據(jù)中心得到廣泛應(yīng)用。大型數(shù)據(jù)中心常采用中壓發(fā)電機(jī)組（電壓等級(jí)10 kV），多臺(tái)發(fā)電機(jī)并機(jī)運(yùn)行，但是要注意禁止發(fā)電機(jī)組和數(shù)據(jù)中心市電電源并網(wǎng)運(yùn)行[2]。

A級(jí)數(shù)據(jù)中心后備電源容量要不低于數(shù)據(jù)中心最大用電容量，發(fā)電機(jī)組容量配置至少為（N+1）冗余，且能夠不限時(shí)的連續(xù)運(yùn)轉(zhuǎn)，需近配置不少于12 h燃油儲(chǔ)儲(chǔ)量，性能要達(dá)到國(guó)標(biāo)G3級(jí)的要求，柴油發(fā)電機(jī)啟動(dòng)至達(dá)到最大加載能力，頻率降變化低于±7%，瞬態(tài)電壓偏差低于-15%[3]。

3.3 模塊變電所

為模塊機(jī)房供電的變電所應(yīng)2N配置，即每一個(gè)模塊機(jī)房配置一個(gè)模塊變電所，每?jī)蓚€(gè)模塊變電所互為備用，各自引入一路市電電源。正常情況下，一個(gè)模塊變電所為一個(gè)模塊機(jī)房供電，當(dāng)其中一個(gè)模塊變電所故障或檢修時(shí)，由另一個(gè)模塊變電所單獨(dú)為兩個(gè)模塊機(jī)房供電。

模塊變電所內(nèi)配置變壓器和低壓配電柜，將高壓電源轉(zhuǎn)換為低壓電源后，經(jīng)過不間斷電源設(shè)備為IT負(fù)載供電（傳統(tǒng)配電架構(gòu)下）。每個(gè)模塊變電所配置一臺(tái)干式變壓器，兩個(gè)模塊變電所內(nèi)的兩臺(tái)干式變壓器2N架構(gòu)配置，兩個(gè)變壓器路徑均有效情況下，兩臺(tái)變壓器分別運(yùn)行，各自承擔(dān)本模塊內(nèi)的用電負(fù)荷，負(fù)載率控制在50%以下，當(dāng)其中一個(gè)變壓器路徑失效時(shí)，由另一個(gè)變壓器路徑單獨(dú)為兩個(gè)模塊機(jī)房供電。

配電柜、變壓器是成熟的標(biāo)準(zhǔn)化電氣產(chǎn)品，可根據(jù)實(shí)際需要選擇規(guī)格型號(hào)，高壓開關(guān)柜常采用KYN系列，即戶內(nèi)金屬鎧裝中置移開式。變壓器常采用干式變壓器，干式變壓器型號(hào)中SCB后面的數(shù)字表示產(chǎn)品性能水平代號(hào)，該代號(hào)數(shù)值越大，代表干式變壓器的能效越高。低壓配電柜常采用MNS系列的組合式開關(guān)設(shè)備，配置可抽出形式的抽屜或開關(guān)。

3.4 不間斷電源

數(shù)據(jù)中心IT設(shè)備用不間斷電源有兩種形式，一種是交流不間斷電源（整流-逆變-輸出），另一種是直流不間斷電源（整流-輸出）。

3.4.1 交流不間斷電源

數(shù)據(jù)中心早期采用工頻UPS，因效率低下，體積大等問題，正在逐漸淘汰。工頻UPS之后出現(xiàn)傳統(tǒng)高頻UPS，因其效率高、功耗小、體積小、重量輕、對(duì)電網(wǎng)適應(yīng)能力強(qiáng)及幷機(jī)環(huán)流衰減等優(yōu)勢(shì)得到廣泛應(yīng)用。傳統(tǒng)高頻UPS之后發(fā)展出模塊化高頻UPS，因其功率模塊可熱插拔、可靠性高、并聯(lián)冗余性好、易擴(kuò)容、低負(fù)載下效率高及易維護(hù)等優(yōu)勢(shì)也受到廣大數(shù)據(jù)中心用戶的歡迎。

3.4.2 直流不間斷電源

直流不間斷電源被稱為高壓直流（HVDC），高壓直流（HVDC）設(shè)備整流后，不再進(jìn)行逆變，直接供給IT設(shè)備直流電能，效率更高。備用電池直接掛在輸出母線上，市電失電或故障時(shí)，電池可用直接對(duì)IT設(shè)備供電，真正實(shí)現(xiàn)IT設(shè)備的不間斷供電。高壓直流（HVDC）也采用模塊化設(shè)計(jì)，同樣具備可靠性高、易擴(kuò)容、效率高及易維護(hù)等優(yōu)點(diǎn)[4]，目前在互聯(lián)網(wǎng)、電信等數(shù)據(jù)中心得到大規(guī)模應(yīng)用。

3.4.3 不間斷電源配置

服務(wù)器等IT設(shè)備、精密空調(diào)、冷水機(jī)組末端冷凍水泵、安防及消防設(shè)施屬于一級(jí)負(fù)荷中的特別重要負(fù)荷，應(yīng)采用雙電源+雙回路的供電方式，滿足進(jìn)線電源無單點(diǎn)故障的要求，同時(shí)采用不間斷電源系統(tǒng)進(jìn)行不間斷供電，以保證正常電源失電或故障時(shí)仍然可用。

不間斷電源配電結(jié)構(gòu)有三種形式，第一種為2N結(jié)構(gòu)，第二種為2（N+1）結(jié)構(gòu)，第三種為一路市電直供+一路不間斷電源結(jié)構(gòu)。高可靠性角度考慮，選擇第一、二種結(jié)構(gòu)，綠色環(huán)保角度考慮，宜選第三種結(jié)構(gòu)。

2N結(jié)構(gòu)：每組不間斷電源設(shè)備按照N配置，每?jī)山M互為備用。2（N+1）結(jié)構(gòu)：每組不間斷電源設(shè)備按照N+1冗余配置，幷機(jī)運(yùn)行，每?jī)山M不間斷電源互為備用。一路市電直供+一路不間斷電源結(jié)構(gòu)：一路市電電源為一組，一路不間斷電源為一組，兩組電源互為備用。三種結(jié)構(gòu)形式，正常運(yùn)行時(shí)每組電源設(shè)備只負(fù)擔(dān)一半負(fù)荷，負(fù)載率控制在50%以下，當(dāng)其中一組電源設(shè)備失效時(shí)，另一組電源設(shè)備負(fù)擔(dān)全部負(fù)荷[1]。

3.5 電池組

不間斷電源系統(tǒng)應(yīng)配置蓄電池組，在雙路市電停電或故障后，后備電源啟動(dòng)前，為IT設(shè)備等重要負(fù)荷供電。目前，鉛酸蓄電池在各類數(shù)據(jù)中心得到廣泛應(yīng)用，但鉛酸蓄電池存在壽命短、體積大及有污染等諸多缺點(diǎn)。隨著鋰電池在數(shù)據(jù)中心的應(yīng)用，鉛酸蓄電池的缺點(diǎn)得到有效改善[5]。鋰電池性能具有多方面的優(yōu)點(diǎn)，如具有更高的額定電壓、對(duì)環(huán)境溫度要求低、體積小、重量輕、充放電次數(shù)多、充放電速度快、新舊電池可以混合使用及不需要定期充放電試驗(yàn)等優(yōu)勢(shì)。但是鋰電池的價(jià)格比較貴，不過隨著鋰電池應(yīng)用的擴(kuò)展，鋰電池的價(jià)格會(huì)降下來，因此鋰進(jìn)鉛退是大勢(shì)所趨[6]。

柴油發(fā)電機(jī)作為備用電源時(shí)的后備時(shí)間應(yīng)不少于15 min，電池室應(yīng)設(shè)置空調(diào)降溫系統(tǒng)，溫度應(yīng)控制在20～30 ℃[3]；電池監(jiān)控系統(tǒng)或電力監(jiān)控系統(tǒng)應(yīng)能全面檢測(cè)電池運(yùn)行狀態(tài)，在電池參數(shù)異常時(shí)，發(fā)出告警信號(hào)。電池充放電試驗(yàn)時(shí)，放電時(shí)間要滿足設(shè)計(jì)放電時(shí)間要求，電池放電截止電壓值要大于電池最低電壓值要求

3.6 機(jī)房配電設(shè)備

A級(jí)數(shù)據(jù)中心機(jī)柜前端配電設(shè)備常采用精密配電柜和配電母線。精密配電柜應(yīng)2N配置，A/B精密配電柜配電獨(dú)立，開關(guān)可以正常操作，負(fù)載可以切換；采用專用配電母線供電時(shí)，專用配電母線要具有靈活性、易擴(kuò)展性。

配電母線形式相對(duì)精密配電柜具有減少地面使用空間、易擴(kuò)容、可靠性高、運(yùn)維成本低及線路免維護(hù)等優(yōu)勢(shì)，但是投資成本高。

4 數(shù)據(jù)中心幾個(gè)配電誤區(qū)

4.1 零地電壓

零地電壓限值是早期IBM工程師為確認(rèn)數(shù)據(jù)中心接地系統(tǒng)是否牢靠采取的簡(jiǎn)便方法，如果新建數(shù)據(jù)中心投運(yùn)前的零地電壓很高，說明接地電阻高，接地不牢靠。但實(shí)際上零地電壓不高于10 V，可認(rèn)為零地電壓不會(huì)對(duì)設(shè)備運(yùn)行造成不良影響。在數(shù)據(jù)中心，零地電壓偏高的原因有三相負(fù)載不平衡、零線規(guī)格不夠及非線性負(fù)載諧波影響等，降低零地電壓的措施有選擇合適的零線、重復(fù)接地及加裝隔離變壓器等。

4.2 隔離變壓器

工頻機(jī)或者精密配電柜中隔離變壓器有兩個(gè)主要作用——隔離和變壓，但不具備抗干擾、濾波、緩沖作用，同時(shí)隔離變壓器運(yùn)行中向外散發(fā)熱量，降低了UPS等設(shè)備的散熱效率，損傷了設(shè)備的可靠性。

4.3 后備發(fā)電機(jī)組容量

對(duì)于發(fā)電機(jī)組容量不低于（N+1）冗余配置的要求，考慮到柴油發(fā)電機(jī)組不擅長(zhǎng)帶容性負(fù)載及發(fā)電機(jī)功率因數(shù)和負(fù)載功率因數(shù)的較大差別，有必要提高發(fā)電機(jī)組數(shù)量的配置，加大輸出功率，防止發(fā)電機(jī)組帶不動(dòng)數(shù)據(jù)中心的全部用電負(fù)荷。

4.4 高壓直流（HVDC）應(yīng)用

高壓直流（HVDC）在節(jié)能上具備獨(dú)特優(yōu)勢(shì)，在互聯(lián)網(wǎng)及電信數(shù)據(jù)中心得到廣泛應(yīng)用，但在金融、政企等數(shù)據(jù)中心應(yīng)用比較少。這一方面是因?yàn)槭袌?chǎng)上主流IT設(shè)備電源模塊為交流制式，采用直流電源后，面臨設(shè)備壽命受影響、廠商不再支持售后維保的困擾；另一方面部分設(shè)備必須使用交流電源，不支持直流電源，就需要再增加直流-交流轉(zhuǎn)換設(shè)備，降低了可用性。

4.5 節(jié)能與可用

在很多數(shù)據(jù)中心從業(yè)者認(rèn)知中，追求節(jié)能就意味著降低了數(shù)據(jù)中心設(shè)備的可用性，但實(shí)際并非如此。節(jié)能并不等于可用性的降低，采用合理的管理方法及新技術(shù)新應(yīng)用，節(jié)能是可以和可用性的提高相輔相成的。

5 TIA數(shù)據(jù)中心等級(jí)劃分

TIA-942-B—2017《數(shù)據(jù)中心電信基礎(chǔ)設(shè)施標(biāo)準(zhǔn)》中將數(shù)據(jù)中心電信（T）、暖通（M）、建筑和結(jié)構(gòu)（A）、電氣（E）四個(gè)發(fā)面各劃分為4個(gè)等級(jí)。

5.1 E1級(jí)數(shù)據(jù)中心-基礎(chǔ)

為數(shù)據(jù)中心提供滿足電力負(fù)荷要求的最低配電水平，沒有冗余。電氣系統(tǒng)為單路徑，只有單個(gè)組件，配電路徑的組件或部分故障或維護(hù)將導(dǎo)致部分或全部IT設(shè)備供電中斷。

發(fā)電機(jī)和不間斷電源僅需滿足基本容量要求，不需要冗余，但是為了保證不間斷電源故障或維護(hù)期間IT設(shè)備正常供電，應(yīng)為不間斷電源配置維護(hù)旁路。電力和暖通系統(tǒng)監(jiān)控是可選的。

5.2 E2級(jí)數(shù)據(jù)中心-有冗余部件的

2級(jí)數(shù)據(jù)中心在1級(jí)數(shù)據(jù)中心基礎(chǔ)上，配置N+1冗余不間斷電源，發(fā)電機(jī)和其他配電設(shè)備不需要冗余，但是要考慮燃油存儲(chǔ)的冗余和隔離，以確保燃油系統(tǒng)故障不會(huì)影響整個(gè)發(fā)電機(jī)系統(tǒng)。2級(jí)數(shù)據(jù)中心配電是單一路徑，但是每個(gè)機(jī)柜應(yīng)有兩路單獨(dú)的電源。

5.3 E3級(jí)數(shù)據(jù)中心-不間斷維護(hù)的

3級(jí)數(shù)據(jù)中心應(yīng)有兩路市電供電，但可以來自同一變電站，發(fā)電機(jī)組容量可以N+1配置，其他配電設(shè)備要2N配置，從市電到IT設(shè)備均為雙路徑，互為備用，互為備用的兩個(gè)路徑至少一個(gè)路徑處于投運(yùn)狀態(tài)。每條路徑的設(shè)備應(yīng)進(jìn)行物理隔離，以便一條路徑的任何維護(hù)或?yàn)?zāi)難性故障不會(huì)導(dǎo)致另一條路徑的中斷。所有設(shè)備采用2N結(jié)構(gòu)電源供電，如果無法滿足雙2N結(jié)構(gòu)電源供電要求，則可以配置雙電源，在電源末端設(shè)置互投裝置。應(yīng)設(shè)置電力、暖通等監(jiān)控系統(tǒng)，以監(jiān)控所有的主要電氣設(shè)備，進(jìn)行異常告警。

3級(jí)數(shù)據(jù)中心在任何情況下有計(jì)劃的操作或維護(hù)基礎(chǔ)設(shè)施，都不會(huì)影響IT設(shè)備的正常運(yùn)行。

5.4 E4級(jí)數(shù)據(jù)中心-容錯(cuò)

4級(jí)數(shù)據(jù)中心應(yīng)有兩路市電供電，兩路市電必須來自不同位置相互獨(dú)立的兩個(gè)變電站，發(fā)電機(jī)組及其他系統(tǒng)組件至少2N配置，互為備用，且均應(yīng)在投運(yùn)狀態(tài)，以便一個(gè)路徑出現(xiàn)問題時(shí)，自動(dòng)切換到另一個(gè)路徑工作。每條路徑的設(shè)備應(yīng)進(jìn)行物理隔離，以便一條路徑的任何維護(hù)或?yàn)?zāi)難性故障不會(huì)導(dǎo)致另一條路徑的中斷。

所有設(shè)備采用2N結(jié)構(gòu)電源供電，如果無法滿足雙2N結(jié)構(gòu)電源供電要求，則可以配置雙電源，在電源末端設(shè)置互投裝置。監(jiān)控系統(tǒng)中應(yīng)設(shè)置電池監(jiān)控系統(tǒng)，用于檢測(cè)每一個(gè)電池的溫度、電壓、內(nèi)阻及電池組的電壓和溫度，電池即將發(fā)生異常時(shí)發(fā)出警報(bào)。

4級(jí)數(shù)據(jù)中心除了可以不間斷操作和維護(hù)外，任何一個(gè)單一故障的發(fā)生都不會(huì)影響IT設(shè)備的正常運(yùn)行。

6 結(jié) 論

本文介紹了數(shù)據(jù)中心配電設(shè)計(jì)相關(guān)標(biāo)準(zhǔn)、配電架構(gòu)、配電設(shè)計(jì)、配電誤區(qū)、TIA942數(shù)據(jù)中心等級(jí)劃分。未來數(shù)據(jù)中心的發(fā)展趨勢(shì)是邊緣云計(jì)算[6]、綠色化、智能化、高密化、模塊化、集約化及鋰進(jìn)鉛退等，數(shù)據(jù)中心的配電設(shè)計(jì)也需跟隨這些趨勢(shì)發(fā)展。