大型數(shù)據(jù)中心制冷節(jié)能技術發(fā)展趨勢

陳永剛

（天元瑞信通信技術股份有限公司，陜西 西安 710075）

0 引 言

隨著我國信息數(shù)字產業(yè)的飛速發(fā)展，全社會對算力的需求不斷提升，預計每年將以20% 以上的速度快速增長[1]。為提高算力，數(shù)據(jù)中心正在向高密度方向發(fā)展，其規(guī)模的擴大帶來了用電量的不斷增長。根據(jù)國家數(shù)據(jù)顯示，2020年國內數(shù)據(jù)中心的年耗電量為2 045億kW·h，占全社會用電量的2.7%，2025年數(shù)據(jù)中心的年耗電量約為3 950億kW·h，占全社會用電量的4.1%[2]。2018—2025年中國數(shù)據(jù)中心耗電量占全社會用電量的比值預測如圖1所示。

圖1 2018—2025年中國數(shù)據(jù)中心耗電量占全社會用電量比值預測

數(shù)據(jù)中心巨大的耗電量產生了大量的碳排放，為實現(xiàn)“雙碳”目標，國家推出了相應的政策法規(guī)及舉措，對當前衡量大數(shù)據(jù)能效利用率的主要指標電源使用效率（Power Usage Effectiveness，PUE）提出了明確的要求。根據(jù)《新型數(shù)據(jù)中心發(fā)展三年行動計劃（2021年～2023年）》，到2023年底，新建大型及以上數(shù)據(jù)中心PUE降低到1.3以下，嚴寒和寒冷地區(qū)力爭降低到1.25以下[3]。數(shù)據(jù)中心需要從多個維度進行節(jié)能減排，在大數(shù)據(jù)機房產生的能耗中有50%來源于基礎設施，有40%來源于制冷能耗，最后10%來源于不間斷電源（Uninterruptible Power Supply，UPS）和照明，其中制冷系統(tǒng)耗能巨大，僅次于IT設備，提升制冷效率成為降低PUE、實現(xiàn)節(jié)能減排的重要手段。

1 大數(shù)據(jù)中心傳統(tǒng)制冷方案

傳統(tǒng)數(shù)據(jù)中心采用的最為廣泛的制冷系統(tǒng)是風冷型系統(tǒng)，采用房間/行級空調，通過上送風、密閉冷通道下送風的方式進行近距離的冷量傳輸，減小風機功耗，以達到節(jié)能效果，但只能夠解決服務器局部的熱點、高密度發(fā)熱等問題，適用于解決2.5～5 kW的單機柜散熱效果明顯。然而隨著技術更新，大型數(shù)據(jù)中心逐步大量應用機架式、刀片式等服務器設備，單機柜內IT設備的計算存儲能力、功耗、設備熱密度都大幅度提高。傳統(tǒng)數(shù)據(jù)機房所用的風冷系統(tǒng)，先冷卻空氣，再通過冷空氣與服務器設備進行熱交換來降溫。但由于空氣的換熱效率、熱流密度很低，空調冷卻IT設備存在能耗高、噪聲大、設備密度低等問題[4]。在這種情況下，傳統(tǒng)冷卻方式早已無法解決當前高功率、高密度大型數(shù)據(jù)中心設備的散熱難題，成為行業(yè)發(fā)展的關鍵瓶頸。

2 液冷技術

2.1 冷夜技術背景

為解決大數(shù)據(jù)高功率、高密度計算服務器散熱難題，促使數(shù)據(jù)中心液冷技術興起。液冷在高效制冷方面有天然優(yōu)勢，不僅是制冷方式的改變，還可能變革數(shù)據(jù)中心整個生態(tài)。液冷技術是用液體取代空氣作為冷媒，與發(fā)熱部件進行熱交換，帶走熱量的技術，相較于傳統(tǒng)風冷技術大幅度提IT設備的使用效率和穩(wěn)定性。液冷具備強冷卻力，可實現(xiàn)超高密度制冷，大幅度降低數(shù)據(jù)中心PUE。根據(jù)某實驗室的數(shù)據(jù)，傳統(tǒng)風冷的PUE值多在1.5以上，液冷的PUE值能低至1.05～1.2。

2.2 液冷技術介紹及方案類型

液冷技術是一種采用特殊的液體，要求其液體性能能夠快速帶走IT設備產生的熱量，并且在液體汽化和液化過程中都能夠高效、快速地進行熱交換傳遞，同時液體也要滿足無腐蝕性、低黏度、不導電性能，應用于需提高計算能力、能源效率、部署密度等大型數(shù)據(jù)中心場景。液冷分為接觸式（噴淋式液冷、浸沒式液冷）和非接觸式液冷（冷板式液冷）2種。

冷板式液冷：通過冷板將發(fā)熱器件的熱量間接傳遞給封閉在循環(huán)管路中的冷卻液體，通過冷卻液將熱量帶走的實現(xiàn)方式。

噴淋式液冷：面向芯片級器件精準噴淋、直接接觸式，冷卻液可通過重力或系統(tǒng)壓力直接噴灑至IT設備的發(fā)熱器件或之連接的導熱元器件上的液冷形式。

浸沒式液冷：將發(fā)熱器件完全浸沒在液體中，使得器件與液體直接接觸，并進行熱交換的冷卻技術，可以分為單相浸沒式液冷和雙相浸沒式液冷[5]。

2.3 液冷性能

液體應用所采用的液體介質與應用模型（接觸式和非接觸式）直接相關。

（1）非絕緣性液體介質：一般絕緣性介質的液體（可溶解離子性物質的液體）有較高的比熱和導熱系數(shù)，用于非接觸液體場景，可選液體介質包括去離子水、甲/乙醇+/水等。

（2）絕緣性液體介質：有較高的比熱和導熱系數(shù)，用于對泄露安全要求較高的間接式液冷場景，更適用于液體介質直接與元器件接觸的應用，可選液體介質包括碳氟化合物（氟化液）、有機硅油、礦物質油等。

2.4 冷卻液類型分析

目前，主要的冷卻液分為去離子純凈水、礦物油、氟化液3種，表1是3種液體的性能對比。

表1 液體性能對比表

通過對以上3種冷卻液分析，氟化液是目前最適合做冷卻液的材質。國內數(shù)據(jù)中心機房采用液冷技術的阿里巴巴、騰訊、百度等企業(yè)，使用的冷卻液大多是進口氟化冷卻液，如3M的氫氟醚，Novec 7100和 Novec 7200，這類進口產品價格高昂，但在國外應用較成熟。

隨著國產氫氟醚逐漸產業(yè)化，根據(jù)相關報道，2021年舉行的數(shù)據(jù)中心液冷產業(yè)大會有中科曙光、綠色云圖、浙江諾亞、上海卓聰?shù)榷嗉襂T企業(yè)大力推廣液冷技術的配套服務器，相信在不久的將來液冷技術將實現(xiàn)多元化，冷液材質的價格市場化。

2.5 3種液冷方案對比

3種液冷方案對比如表2所示。

表2 液冷方案對比表

（1）冷板式雖冷源架構復雜，但商業(yè)應用成熟，功率密度滿足未來市場一定時間段的需求，乃有較大市場前景。

（2）浸沒式冷源簡單、散熱效率高，其中單相為互聯(lián)網(wǎng)公司等重點研究方案，兩相主要用于超級計算，技術難度較大。

（3）噴淋式廠家及案例較少，運營商5G及某些高校處于試用階段。

2.6 浸沒式液冷數(shù)據(jù)中心優(yōu)勢

數(shù)據(jù)中心機房的能耗節(jié)能問題日益凸顯，傳統(tǒng)數(shù)據(jù)中心制冷技術已無法滿足發(fā)展需求。為了適應網(wǎng)絡變革的需要，浸沒式液冷成為了發(fā)展的主流趨勢。浸沒式液冷作為大數(shù)據(jù)中心的新一代節(jié)能關鍵技術，主要體現(xiàn)在以下幾個方面。

2.6.1 能源利用率

浸沒式液冷就是直接與IT硬件接觸，具有出色熱傳導性能的冷卻液中，使電子元器件產生的熱量直接高效地傳遞到冷卻液中，可以讓服務器保持一定的恒定狀態(tài)，大大降低能耗。同體積冷卻液比空氣散熱傳導效率高3 000倍，相比傳統(tǒng)的數(shù)據(jù)中心節(jié)能70%以上。還有浸沒式冷卻泵產生的噪音，要比風冷系統(tǒng)風機產生的噪音低20 dB左右。并且它的耗電量只有IT設備的8%左右，而傳統(tǒng)數(shù)據(jù)中心機電設備的耗電量占到IT設備的50%左右。值得注意的是，冷卻液基本上不會有損耗，使用次數(shù)從理論上說是無限的，使得數(shù)據(jù)中心的制冷能源利用率提高到95%。

2.6.2 功率密度

浸沒式液冷可以大幅提高數(shù)據(jù)中心單位空間的服務器密度，從而更好地應用于高密度計算服務器。傳統(tǒng)數(shù)據(jù)中心采用風冷系統(tǒng)，可冷卻的機架功率密度通常為10～15 kW，而浸沒式液冷可以將單機架功率提升到100 kW甚至200 kW以上，較傳統(tǒng)機柜相比提升10～20倍[5]。因此完全可以滿足高密度計算服務器對散熱的需求。

2.6.3 設備可靠性

浸沒式液冷采用的液體屬于惰性材料，性能安全可靠、無毒無害、無色無味、阻燃，是絕緣物質，不導電、不短路、不腐蝕。使得IT設備浸沒在適宜溫度環(huán)境中有效避免了濕度、灰塵對設備的不良影響[5]。此外液體不導電，很好地解決了靜電造成設備運行效率降低，使用壽命減短的問題，更杜絕了由于靜電引發(fā)的安全隱患。

2.6.4 空間利用率

浸沒式液冷數(shù)據(jù)中心與傳統(tǒng)風冷數(shù)據(jù)中心相比，去掉了空調系統(tǒng)以及對應的風冷基礎設施，增加了循環(huán)泵，節(jié)省了大量空間，并且浸沒式液冷高效的冷卻能力使得同等體積IT設備可以緊密排列，容納更多的服務器。應用浸沒式液冷系統(tǒng)的數(shù)據(jù)中心機房要比傳統(tǒng)數(shù)據(jù)機房風冷系統(tǒng)占用機房空間減少1/3，大幅提高數(shù)據(jù)中心的部署密度。

3 浸沒式液冷數(shù)據(jù)中心行業(yè)運行狀況分析

3.1 浸沒式液冷數(shù)據(jù)中心傳統(tǒng)替代比重

隨著大數(shù)據(jù)快速的部署，使得大數(shù)據(jù)機房面臨高密度、高功率、高能耗的發(fā)展趨勢，能夠改善這系列問題的關鍵技術日趨成熟，國內已有多家企業(yè)具有針對不同散熱需求下的浸沒式液冷技術解決方案，一些科技公司也已開始將基于浸沒式液冷的散熱系統(tǒng)實際部署在他們的數(shù)據(jù)中心[5]。

目前，液冷數(shù)據(jù)中心對傳統(tǒng)市場包括風冷的機房空調市場、服務器市場以及數(shù)據(jù)中心基礎設施（機柜、CDU、冷卻塔等）進行替代。2019年，液冷數(shù)據(jù)中心替代傳統(tǒng)市場的比例估計為15%～20%，到2025年，專家估計這一比例有望達到25%。目前阿里、張北數(shù)據(jù)中心、仁和數(shù)據(jù)中心，網(wǎng)宿科技、嘉定云計算數(shù)據(jù)產業(yè)園，華為、烏蘭察布數(shù)據(jù)中心等大型數(shù)據(jù)中心均已采用浸沒式液冷技術[4]。2019-2025年中國液冷數(shù)據(jù)中心替換傳統(tǒng)市場比例如圖2所示。

圖2 2019—2025年中國液冷數(shù)據(jù)中心替換傳統(tǒng)市場比例

3.2 浸沒式液冷數(shù)據(jù)中心前景

由中國信息通信研究院和大數(shù)據(jù)研究所牽頭，阿里、華為、騰訊等參與起草的首批《數(shù)據(jù)中心液冷行業(yè)標準》于2022年4月1日正式實施，該標準的發(fā)布有效填補了我國數(shù)據(jù)中心液冷行業(yè)標準的空白。并且根據(jù)國家“東數(shù)西算”工程啟動數(shù)據(jù)中心集群機房開始運轉之后，必然產生大量的熱能負載，所以“冷態(tài)”冷卻系統(tǒng)會成為數(shù)據(jù)中心制冷革新的關鍵技術。

國家把節(jié)能減排，碳達峰、碳中和作為發(fā)展經(jīng)濟的重要指標，數(shù)據(jù)中心的IT設備所造成的能源消耗越來越受到重視。最近，碳達峰實施方案出爐，方案明確提出鼓勵高效環(huán)保制冷技術，降低能耗，支持數(shù)據(jù)中心采用新型機房液冷等方式，建設數(shù)據(jù)中心，推廣制冷節(jié)能技術，優(yōu)化氣流組織，通過智能化手段提高與IT設備運行狀態(tài)的動態(tài)適配性。與風冷相比，液冷系統(tǒng)不僅散熱效率高，運行時噪音更小，可節(jié)省電量30%～50%，機房整體效能將得到30%的提升[6]。浸沒式液冷技術能源利用率PUE逼近1.0，專家認為浸沒式相變液冷技術將成為行業(yè)主流。若全國50%新建數(shù)據(jù)中心采用浸沒式相變液冷技術，每年可省450億kW·h，減排3 000萬t二氧化碳[7]，這就是液冷存在的意義，帶領數(shù)據(jù)中心走上高效、清潔、節(jié)約的綠色低碳之路。

3.3 浸沒式液冷數(shù)據(jù)中心趨勢預測分析

根據(jù)賽迪顧問的數(shù)據(jù)，以液冷數(shù)據(jù)中心對傳統(tǒng)市場進行替換作為市場規(guī)模測算基礎，結合華為、阿里巴巴和中科曙光對液冷數(shù)據(jù)中心的替換率調查，保守測算出2019年中國液冷數(shù)據(jù)中心的市場規(guī)模為261億元，樂觀估計為351億元，2025年我國液冷數(shù)據(jù)中心的市場規(guī)模將破1 280億元。

浸沒式液冷技術，變革傳統(tǒng)數(shù)據(jù)中心風冷散熱方式，數(shù)據(jù)中心也不需要制冷機、空調等設備，可釋放更多空間部署IT設備，大幅提高數(shù)據(jù)中心的部署密度，運算效率，運行過程中噪音低至42 dB，數(shù)據(jù)中心靜音舒適，不僅如此，浸沒式液冷方案還具備易選址、快速部署、擴展靈活等特點，可快速打造節(jié)能低碳、安全可靠的綠色數(shù)據(jù)中心。目前液冷技術已開始推向公共交通、公共安全、社會管理、醫(yī)療教育等多個領域，助推各行各業(yè)踐行低碳行動，邁向綠色低碳新未來。

4 結 論

隨著我國“雙碳”政策實施和“東數(shù)西算”工程全面啟動，推進綠色節(jié)能技術循環(huán)使用、提高清潔能源使用比例、高算力支撐、降低碳排放強度、為數(shù)字化轉型賦能，已成為當下數(shù)據(jù)中心綠色發(fā)展的必然要求。放眼未來，在超高功率高密度計算機領域，浸沒液冷技術將發(fā)揮重要價值，極大地節(jié)約能源，最終實現(xiàn)綠色低碳數(shù)據(jù)中心。液冷技術的興起和普及，將引發(fā)數(shù)據(jù)中心和服務器的整個產業(yè)鏈的重構。