數(shù)據(jù)中心節(jié)能建設(shè)研究

邵 安，宋偉男，朱述振，詹煜浩，芮俊生

（中國郵政儲蓄銀行總行數(shù)據(jù)中心，安徽 合肥230601）

隨著社會信息化水平的飛速發(fā)展，各個行業(yè)對信息系統(tǒng)的依賴程度越來越高，與此同時，信息產(chǎn)業(yè)所需要的能耗也越來越高。近年來，IT 設(shè)備和資源數(shù)量依然在保持持續(xù)、快速的增長，以滿足大數(shù)據(jù)、云計算、5G 等新興技術(shù)和產(chǎn)業(yè)發(fā)展的需要，各種IT 服務(wù)器能耗以及相關(guān)產(chǎn)業(yè)對資源造成的壓力日益突顯。根據(jù)第九屆中國數(shù)據(jù)中心產(chǎn)業(yè)發(fā)展大會暨展覽會所公布的數(shù)據(jù)，每年數(shù)據(jù)中心用電量占到全社會用電量的1.8%左右，能源消耗巨大。因此，在數(shù)字經(jīng)濟產(chǎn)業(yè)高速發(fā)展的今天，提升數(shù)據(jù)中心綠色發(fā)展水平，倡導(dǎo)建設(shè)綠色數(shù)據(jù)中心，堅持走集約、高效、清潔、循環(huán)的綠色發(fā)展道路，實現(xiàn)數(shù)據(jù)中心的健康、可持續(xù)發(fā)展就顯得尤為必要。

1 數(shù)據(jù)中心節(jié)能建設(shè)的出發(fā)點

根據(jù)國內(nèi)調(diào)查數(shù)據(jù)[1]顯示，在數(shù)據(jù)中心各系統(tǒng)能耗中，IT 設(shè)備能耗最高，約占總能耗的50%；其次是空調(diào)系統(tǒng)的能耗，約占40%；最后是供電系統(tǒng)的能耗，約占10%[2]。因此，要降低數(shù)據(jù)中心能耗，應(yīng)分別從IT 設(shè)備、空調(diào)系統(tǒng)、供電系統(tǒng)三個方面著手，采取節(jié)能措施，以挖掘和開發(fā)數(shù)據(jù)中心節(jié)能的最大潛力。

對于IT 設(shè)備而言，若想降低服務(wù)器功耗，常見的有四個出發(fā)點，即降低供電電壓、異構(gòu)計算最優(yōu)性能、液冷降溫和整機柜服務(wù)器技術(shù)。對于空調(diào)系統(tǒng)，可進(jìn)行優(yōu)化的地方相對較多，如選用變頻設(shè)備、利用自然冷量冷卻、背板冷卻技術(shù)、末端氣流調(diào)節(jié)等。相對而言，供電方面的節(jié)能措施較少，但也可以通過采用市電直供+UPS/HVDC 高可靠節(jié)能供電技術(shù)達(dá)到降低能源損耗的目的。

2 數(shù)據(jù)中心節(jié)能建設(shè)措施分析

2.1 IT 設(shè)備節(jié)能措施

2.1.1 動態(tài)電壓頻率調(diào)整

對于服務(wù)器芯片的功耗，降低其直接供電電壓是最有效的節(jié)能方法。然而，降低電壓時，往往會導(dǎo)致電路翻轉(zhuǎn)速度的降低，這也就意味著，運行的系統(tǒng)必須降低至較低的時鐘頻率。但是，如果只是單純的降低工作頻率，往往并不能降低其能量的消耗。因為對于系統(tǒng)來說，給定一個任務(wù)，其運行頻率和時間的乘積為定值。所以，要想達(dá)到降低功耗的效果，就必須同時降低供電電壓與時鐘頻率，這就是動態(tài)電壓頻率調(diào)整技術(shù)。

動態(tài)電壓調(diào)整的主要流程包括四個步驟。首先，需要采集一些信號，這些信號必須是直接與系統(tǒng)負(fù)載有關(guān)，以用于計算當(dāng)前的系統(tǒng)負(fù)載；其次，根據(jù)當(dāng)前的系統(tǒng)負(fù)載，對系統(tǒng)在下一時間段需要的性能進(jìn)行預(yù)測，得到預(yù)測結(jié)果；然后，將預(yù)測的性能進(jìn)行轉(zhuǎn)換，獲得所需要的頻率，并根據(jù)轉(zhuǎn)換成的頻率調(diào)整服務(wù)器芯片的時鐘設(shè)置；最后，根據(jù)新的頻率計算，得到相應(yīng)的需求電壓，調(diào)整電源管理模塊給CPU 供電的電壓。通過以上步驟，達(dá)到了同時降低供電電壓與時鐘頻率的目的，進(jìn)而實現(xiàn)降耗的效果。

2.1.2 異構(gòu)計算技術(shù)

異構(gòu)計算是指由不同的計算單元共同執(zhí)行通用計算任務(wù)，比如我們在PC 上最常見的CPU+GPU 組合，CPU是通用計算單元，擅長處理不可預(yù)測的存取模式、不規(guī)則的數(shù)據(jù)結(jié)構(gòu)，計算通用性強、復(fù)雜度高，但其計算性能一般。而GPU 是專用計算單元，擅于處理可預(yù)測存取模式、規(guī)則的數(shù)據(jù)結(jié)構(gòu)，更適用于強度高的計算和多并行的計算。通常，我們把一個或多個通用單元和一個或多個專用計算單元構(gòu)建的系統(tǒng)叫做異構(gòu)系統(tǒng)。在CPU 和GPU 組合的異構(gòu)系統(tǒng)中，異構(gòu)的設(shè)計理念就是讓兩者合作，發(fā)揮各自的優(yōu)點，使整體性能最優(yōu)化，從而達(dá)到更高的運行效率以降低能耗[3]。

2.1.3 液冷服務(wù)器技術(shù)

液冷技術(shù)在空調(diào)系統(tǒng)中較為常見，顧名思義，就是利用水等高比熱容的液體作為熱量的傳輸介質(zhì)，取代空氣冷卻，提高熱傳導(dǎo)效率。然而，由于成本問題以及出于安全考慮，液冷技術(shù)應(yīng)用于服務(wù)器相對較少，通常在高性能且安全性要求相對較低的計算中才有使用。根據(jù)冷卻方式的不同，常見的液冷服務(wù)器分為三種，即冷板式液冷服務(wù)器、沉浸式液冷服務(wù)器和噴淋式液冷服務(wù)器[4]。

冷板式液冷服務(wù)器的冷卻方式最為簡單且相對安全性高。通過在服務(wù)器主板上嵌入冷卻板，將服務(wù)器運行產(chǎn)生的熱量傳輸給冷卻液體，然后通過冷卻液循環(huán)將熱量帶走，達(dá)到服務(wù)器降溫的效果；沉浸式服務(wù)器，則是將服務(wù)器主板放置在冷卻液中，達(dá)到沉浸的效果以直接進(jìn)行熱量交換，再通過冷卻液的流動以及外部循環(huán)，將服務(wù)器產(chǎn)生的熱量帶走；噴淋式液冷服務(wù)器則是直接將冷卻液噴淋在服務(wù)器主板上，自上而下，反復(fù)循環(huán)，從而達(dá)到冷卻的效果。

由于液冷技術(shù)直接用于液體和設(shè)備進(jìn)行熱量交換，減少了設(shè)備到空氣和空氣到液體的兩個熱交換的中間過程，因此可以大大提高換熱效率。

2.1.4 整機柜服務(wù)器技術(shù)

整機柜服務(wù)器就是將傳統(tǒng)的機柜機架上安裝服務(wù)器的模式進(jìn)行整合，定制成一個獨立的模塊化的產(chǎn)品，直接以一整個整機柜為單位進(jìn)行交付。在整機柜服務(wù)器中，包含了電源和風(fēng)扇，并完美的設(shè)計、整合為一體。這樣，在散熱方面，通過單獨配備風(fēng)扇給整個機柜集中散熱，就好比一整個散熱風(fēng)墻安裝在機柜后方，相比于傳統(tǒng)模式，可以大大減少風(fēng)扇數(shù)量或風(fēng)扇功率，從而降低功耗；在電源方面，由于考慮冗余，通常會配備雙電源模塊用于支撐服務(wù)器供電。按照40 臺傳統(tǒng)機架服務(wù)器計算，需要80 個電源模塊才能夠?qū)崿F(xiàn)雙路供電，在如此之高的供電配置下，必然造成電源負(fù)載率過低，從而使得電源轉(zhuǎn)換效率降低。集中供電，則可以通過增大單個供電模塊的功率，使單個機柜所需要的電源模塊大量減少，進(jìn)而使轉(zhuǎn)換效率和供電系統(tǒng)效率相應(yīng)提高。此外，由于整機柜的綜合各方面需求考慮的設(shè)計，使其在空間利用效率上，也會高于傳統(tǒng)的機架服務(wù)器[5]。

2.2 空調(diào)系統(tǒng)節(jié)能措施

2.2.1 自然冷卻技術(shù)

自然冷卻技術(shù)是指充分利用外界自然冷源，為機房內(nèi)運行的設(shè)備提供冷量，以達(dá)到節(jié)能的目的。自然冷源有水和空氣兩種形式，常見的水自然冷源為地下水，利用方式為通過地源熱泵，將常年保持在18℃左右的地下水作為冷源，用作夏季時熱泵的冷卻水，完成熱量交換；空氣形式的自然冷源利用通常在過渡季節(jié)，當(dāng)外界環(huán)境氣溫低于機房溫度時，可以通過新風(fēng)自然冷卻、乙二醇雙冷源系統(tǒng)、氟泵空調(diào)系統(tǒng)等方式[2]，充分利用外界低溫空氣為機房內(nèi)的IT 設(shè)備進(jìn)行降溫，從而減少壓縮機的開啟時間，以達(dá)到節(jié)能降耗的目的。

新風(fēng)自然冷卻是指當(dāng)氣溫較低時，直接通過新風(fēng)系統(tǒng)，從室外引進(jìn)低溫空氣，經(jīng)過過濾、加濕或除濕處理，供應(yīng)到機房中，而機房的熱空氣則通過排風(fēng)口排除，如此不斷循環(huán)，從而使機房溫度控制在合理范圍內(nèi)。

乙二醇雙冷源系統(tǒng)空調(diào)是在傳統(tǒng)制冷循環(huán)的基礎(chǔ)上，通過額外增加一套循環(huán)系統(tǒng)，通過對比室外溫度與室內(nèi)溫度，選擇制冷或直接利用自然冷源，從而降低能耗。具體為，當(dāng)室外溫度比室內(nèi)溫度高時，關(guān)閉自然冷源循環(huán)系統(tǒng)，開啟熱泵或冷機進(jìn)行制冷；當(dāng)室外溫度比室內(nèi)溫度低時，關(guān)閉熱泵或冷機，開啟自然冷源循環(huán)系統(tǒng)，在自然冷源循環(huán)系統(tǒng)中的冷媒為乙二醇，在水泵的作用下，冷媒進(jìn)入室內(nèi)換熱器完成熱量交換，溫度升高，然后流通至室外換熱器，將熱量傳遞到室外環(huán)境。在這種循環(huán)中，水泵運行所消耗的能量遠(yuǎn)低于同樣時間壓縮機運行的能耗，因此達(dá)到了節(jié)能的目的。

氟泵雙循環(huán)空調(diào)系統(tǒng)，是一種雙循環(huán)設(shè)計，其直接使用氟作為冷媒完成室內(nèi)室外的熱量交換。具體為，在室外溫度較高時，通過啟動壓縮機對制冷劑進(jìn)行壓縮循環(huán)，完成熱量交換；在過渡季節(jié)室外溫度較低時，無需開啟壓縮機，直接利用氟泵，將制冷劑進(jìn)行循環(huán)，對室內(nèi)和室外的熱量進(jìn)行交換。通過氟泵技術(shù)，在保證制冷量的同時，不必全年開啟壓縮機，可以實現(xiàn)高達(dá)40%的節(jié)能[2]，能耗降低效果顯著。

此外，水形式的自然冷源還包括江河湖海等流動的較低溫度的液體，如微軟的海底數(shù)據(jù)中心，便是一次對海水自然冷源方法充分利用的偉大嘗試。

2.2.2 采用變頻設(shè)備

數(shù)據(jù)中心制冷系統(tǒng)的設(shè)備運行能耗并非是一成不變的，通常會隨著室外環(huán)境溫度或機房內(nèi)IT 負(fù)載的變化而變化，因此，作為制冷系統(tǒng)耗電量最大的設(shè)備——冷水機組，其絕大多數(shù)時間會運行在部分負(fù)荷下。采用變頻冷水機組，可以在部分負(fù)荷下提升冷水機組能效，全年可降低20%能耗[2]。此外，水冷系統(tǒng)中的冷卻泵、冷卻塔、冷凍泵和末端空調(diào)的EC 風(fēng)機均可采用變頻控制的方式，可以使系統(tǒng)根據(jù)IT 負(fù)載的變化自動調(diào)節(jié)運行頻率，大幅度節(jié)約用電量[6]。根據(jù)廣東電信節(jié)能改造數(shù)據(jù)[7]，采用變頻技術(shù)比傳統(tǒng)空調(diào)系統(tǒng)節(jié)約30%的耗電量。

2.2.3 背板空調(diào)制冷技術(shù)

背板空調(diào)是空調(diào)的一種，與傳統(tǒng)空調(diào)制冷模式不同，背板空調(diào)的冷卻盤管安裝在機柜的背面，機柜風(fēng)扇將服務(wù)器運行產(chǎn)生的熱量通過空氣為介質(zhì)，直接吹至盤管。由盤管內(nèi)循環(huán)的冷卻水將熱量帶走，變成低溫冷空氣由風(fēng)扇吸入至服務(wù)器進(jìn)行熱量交換，如此，完成機房空氣的循環(huán)，排出機房熱量。背板空調(diào)安裝在每個機柜的背面，精準(zhǔn)為每一臺機柜進(jìn)行散熱，既能有效防止局部熱點，又能提高換熱效率。同時，背板空調(diào)由于緊挨著機柜，即距離熱源較近，兩者之間冷熱溫差大，熱傳輸效果好，制冷效率高。

2.2.4 機房氣流調(diào)節(jié)

氣流組織形式也是影響空調(diào)能耗的重要因素?？諝饬鲃舆^程中，如果遭受的阻力較大、出現(xiàn)冷熱氣流短路等現(xiàn)象，則冷量損耗的就越大，空調(diào)制冷效果也就越差，能效比越降低。因此，在數(shù)據(jù)中心，合理布置機柜、采取措施防止冷熱氣流短路，是相當(dāng)有必要的。在機柜布置方面，可以采用“面對面，背對背”方式排列，同時，可以在空機柜處安裝隔離盲板，避免有效防止冷熱氣流短路，提高空調(diào)運行效率。此外，采取冷通道封閉或熱通道封閉模式，對于防止氣流短路效果更佳[8-9]。

2.3 供電節(jié)能措施

一直以來，為了保證數(shù)據(jù)中心內(nèi)IT 設(shè)備供電的持續(xù)性以及提高供電質(zhì)量、防止供電波動等問題，通常采用UPS 整流-逆變的供電方案。但在實際應(yīng)用中，往往會根據(jù)數(shù)據(jù)中心等級要求，采用冗余甚至是2N 系統(tǒng)架構(gòu)，以保證數(shù)據(jù)中心的安全可靠，然而，這也就直接導(dǎo)致了供配電系統(tǒng)的實際效率僅在80%~90%。相比于美國等國家，由于我國市電具有相對較高的穩(wěn)定性和可靠性，市電+UPS 或市電+HVDC 供電模式的可靠性完全可以匹配雙路UPS的供電模式，但其效率卻遠(yuǎn)遠(yuǎn)高于UPS 供電模式[10]。目前，已有部分運營商在建設(shè)數(shù)據(jù)中心時，開始嘗試采用市電+UPS 同時供電的方案，相信隨著HVDC 相關(guān)技術(shù)和應(yīng)用逐漸的成熟，1 路市電+1 路HVDC 的供電模式也將會成為未來的發(fā)展趨勢。

3 結(jié)束語

在倡導(dǎo)走綠色、低碳、可持續(xù)道路的今天，上海市、北京市均對新建數(shù)據(jù)中心能耗提出了要求。根據(jù)《上海市數(shù)據(jù)中心建設(shè)導(dǎo)則（2021 版）》的要求，新建大型數(shù)據(jù)中心單項目規(guī)模應(yīng)不低于3000 個標(biāo)準(zhǔn)機架，平均機架設(shè)計功率應(yīng)不低于6kW，綜合PUE 嚴(yán)控不超過1.3。《北京市數(shù)據(jù)中心統(tǒng)籌發(fā)展實施方案（2021-2023 年）》也指出：新建云數(shù)據(jù)中心PUE 不應(yīng)高于1.3，單機架功率不應(yīng)低于6kW。因此，在將來，我國新建的數(shù)據(jù)中心必然會逐步向高功率密度、低PUE 發(fā)展，這就對數(shù)據(jù)中心節(jié)能建設(shè)有了更高的要求。本文通過從IT 設(shè)備、空調(diào)系統(tǒng)和供配電模式三個維度著手，分析了數(shù)據(jù)中心建設(shè)過程中節(jié)能的可行性，希望可以為數(shù)據(jù)中心節(jié)能建設(shè)提供參考，助力我國信息產(chǎn)業(yè)的發(fā)展。