數(shù)字孿生數(shù)值模擬平臺實現(xiàn)數(shù)據(jù)中心節(jié)能降耗分析

鄭品迪

（北京瑞思博創(chuàng)科技有限公司，北京 100036）

0 引 言

雙碳環(huán)境下，數(shù)據(jù)中心面臨很大的節(jié)能減排壓力。2021年12月8日，國家發(fā)展改革委等四部門印發(fā)《貫徹落實碳達峰碳中和目標要求推動數(shù)據(jù)中心和5G 等新型基礎設施綠色高質量發(fā)展實施方案》，提出新建大型、超大型數(shù)據(jù)中心運行PUE 不高于1.3，現(xiàn)存數(shù)據(jù)中心PUE 超過1.5 的要進行節(jié)能降碳改造，上架率低于50%的不支持規(guī)劃新建數(shù)據(jù)中心。但是目前，根據(jù)CDCC《2021年中國數(shù)據(jù)中心市場年報》數(shù)據(jù)，2021年全國PUE 平均水平是1.49，與國家要求2023 達到平均1.30 還有0.19 的差距，往往PUE 在數(shù)值低位時每降低0.1都要付出巨大代價。

華中、華南地區(qū)受地理位置和上架率及多種因素的影響，數(shù)據(jù)中心平均PUE 值接近1.60，存在較大的提升空間。所以我們需求一種技術可以有效指導數(shù)據(jù)中心降耗。本文提供一種數(shù)據(jù)中心數(shù)字孿生數(shù)值模擬平臺實現(xiàn)機房節(jié)能降耗分析，主要體現(xiàn)在以下幾點：（1）數(shù)字孿生節(jié)能途徑與節(jié)能平臺架構模型。（2）平臺架構數(shù)值模型要素分析，關鍵模型節(jié)能原理。（3）在節(jié)能平臺架構上實現(xiàn)的成功案例分析。

本文主要討論運營機房的節(jié)能應用。

1 數(shù)字孿生節(jié)能途徑與節(jié)能平臺架構

如何通過數(shù)字孿生數(shù)值模擬實現(xiàn)機房節(jié)能呢？首先需要了解機房的節(jié)能途徑，以及數(shù)字孿生平臺的節(jié)能框架，了解在這個框架下需要集合哪些功能才能實現(xiàn)節(jié)能分析，然后是數(shù)字孿生模型要素的分析以及實現(xiàn)的效果。

1.1 機房節(jié)能途徑

圖1為數(shù)據(jù)中心能耗的典型構成圖，來源于ASHRAE TC9.9 的報告，空調制冷是機房能耗的主要構成部分，數(shù)字孿生數(shù)值模擬的目的就是降低冷卻系統(tǒng)的能耗。

圖1 機房能耗分布圖

對于運營數(shù)據(jù)中心節(jié)能的途徑歸納為以下兩種：物理結構方法和可控參數(shù)方法。

1.1.1 物理結構方法

物理結構方法指的是通過增加或者調整機房內的物理結構，改善冷卻系統(tǒng)的運行效率實現(xiàn)節(jié)能?？刹捎玫姆椒òǎ簷C柜增加盲板、密封條，空調送風路徑上增加導流板，設備安裝冷熱氣流隔離板，合理規(guī)劃IT 設備上架位置等。

所有這些物理改造方法都是有指導的，預先評估過的方法，如果盲目改造可能出現(xiàn)機房安全隱患。數(shù)字孿生數(shù)值模擬方法可以在創(chuàng)建的數(shù)字孿生模型上實施改造過程，預測改造的結果，通過指標評估改造方法的可行性，綜合考慮機房的安全、能效與改造的關系。

1.1.2 可控參數(shù)方法

數(shù)據(jù)中心出現(xiàn)的能耗或者熱點問題不一定都能通過物理結構優(yōu)化解決，這就考慮到了另一個節(jié)能改造的方向，通過參數(shù)控制實現(xiàn)節(jié)能?？刹捎玫姆椒òǎ?/p>

首先是優(yōu)化冷卻設備的控制值，比如：（1）提高行級冷凍水空調的控制回風溫度，可以實現(xiàn)節(jié)能。（2）提高末端風機的控制溫差可以減少風機轉速實現(xiàn)按節(jié)能等。（3）提高冷凍水溫度可以實現(xiàn)節(jié)能。

然后是最佳備機方案選擇，尤其是空調末端采用冷備份時，開啟空調的數(shù)量直接影響機房冷卻系統(tǒng)的能耗。

可控參數(shù)方法要求數(shù)字孿生數(shù)值模擬具有末端空調、冷凍水系統(tǒng)控制能力，比如回風溫度控制時如何實現(xiàn)的？風機溫差控制如何實現(xiàn)？空調是否具有風機和制冷開啟關閉能力？

1.2 數(shù)字孿生數(shù)值模擬節(jié)能平臺架構

通過上面的節(jié)能途徑可以看出數(shù)據(jù)中心數(shù)字孿生數(shù)值模擬平臺不是單純的通用的CFD 解決方案，需要體現(xiàn)以下特性：（1）創(chuàng)建的數(shù)字孿生模型體現(xiàn)數(shù)據(jù)中心基礎實施的關鍵能耗設備，包括冷卻設備、機柜與IT 設備、電力設備等模型，以及相關參數(shù)。（2）體現(xiàn)冷卻系統(tǒng)的控制能力以及冷卻系統(tǒng)形式，包括直接膨脹式空調、冷凍水空調等更多樣式的空調。（3）集成可評價的機房能效指標。（4）節(jié)能效果評價。

2 平臺架構數(shù)值模型要素分析

根據(jù)數(shù)字孿生數(shù)值模擬節(jié)能平臺架構要素，分析機房主要設備核心參數(shù)，每種模型都會設計到平臺部分或者全部要素，通過要素之間的相互所用，在數(shù)字孿生數(shù)值模擬平臺下實現(xiàn)節(jié)能分析。

2.1 冷卻系統(tǒng)模型

冷卻系統(tǒng)模型包括冷機和空調末端，在進行節(jié)能分析的時候需要考慮這兩個關鍵設備的能效相關參數(shù)，需要考慮的主要因素包括2.1.1 ～2.1.3 三個方面的內容。

2.1.1 需要支持冷機效率設置

圖2為某離心冷水機組在不同冷凍水溫度下的功率與COP。離心冷水機組冷量750 RT（2 640 kW），冷卻水溫度32/37 ℃，冷凍水供回水溫差5 ℃。

圖2 某離心冷水機組在不同冷凍水溫度下的冷機功率與COP

冷凍水供水溫度提高2℃，供回水溫差均為5 ℃時。以供回水溫度為10/15 和12/17 為例，10/15 供回水時壓縮機功率約453 kW，12/17 供回水時壓縮機功率約427 kW。提高2℃節(jié)能百分比＝（453-427）/453 ＝5.7%

同樣對于直接膨脹式精密空調末端，當回風溫度增加時機組制冷量與能效也相應增加，圖3為某廠商精密空調的在冷凝溫度為45 ℃的性能。

圖3 精密空調能效曲線

在25 ℃～40 ℃范圍內，回風溫度每提高1 ℃，能效平均提高3.3%。

2.1.2 需要支持空調末端控制

多樣的控制方式實現(xiàn)主要分為兩大類：獨立控制和群組控制。

獨立控制：（1）控制方式：送風控制、回風控制、差值控制.（2）控制參數(shù)：溫度、壓力.（3）被控制設備：水閥、風機，其中，水閥通過回風溫度控制，風機轉速通過溫差控制；水閥通過回風溫度控制，風機轉速通過壓差控制；水閥和風機轉速都通過回風溫度控制。

群組控制：設備控制參數(shù)同獨立控制，群組控制體現(xiàn)一個主空調控制器控制其他空調。

2.1.3 需要支持不同的風機類型

圖4為鼓風機與下沉式EC 風機在精密空調內的位置與出風形式。

從圖4中可以看出不同風機類型與安裝位置會顯著影響風機的出風形態(tài)，所以節(jié)能平臺不能忽略風機的影響，需要考慮的主要參數(shù)為：（1）風機安裝位置。（2）風機的類型設置：鼓風機、EC 風機、軸流風機等。（3）風機的出風角度：不同的葉片安裝角度導致風機的出風方向會有較大差異。（4）風機的導風罩：帶弧度的導風罩、箱式導風罩，以及可能的接出風管等。

圖4 空調風機類型對氣流的影響

除了要體現(xiàn)上述結構等參數(shù)外，運營機房空調的實際運行風量因現(xiàn)場流動阻力條件實際輸出風量是不確定的，所以還需要測試空調的運行風量。

2.1.4 節(jié)能分析

在數(shù)值模擬平臺上進行節(jié)能分析可以通過四個方法實現(xiàn)：PUEr 評估指標分析、冷凍水節(jié)能量估算法、空調因子計算節(jié)能量、平臺內置節(jié)能量分析。

PUEr評估指標分析：可以用PUEr 來分析機房能耗情況，來自綠色網格組織的指標，指定了PUEr 等級。PUEr 計算：PUEr（）=PUEre（）÷PUEactual， 其中PUEre（）是等級中最小的PUE 值；PUEactual：機房目標PUEr 等級。

冷凍水節(jié)能量估算法：根據(jù)《中央空調冷水主機變冷凍水溫對系統(tǒng)節(jié)能的影響分析》的數(shù)據(jù)，可以按照冷凍水升溫按照水溫提升1 ℃冷機節(jié)能率約為3%計算節(jié)能量計算。

空調因子計算節(jié)能量。空調因子是PUE 的構成部分，在利用數(shù)字孿生數(shù)值模擬平臺進行冷卻系統(tǒng)能耗分析的時候可以重點突出空調因子的影響：PUE ＝（IT 設備能耗＋空調能耗＋供電系統(tǒng)能耗）/IT 設備能耗＝1 ＋空調因子＋供電因子。

平臺內置節(jié)能量分析：這是推薦的節(jié)能計算方法，因為是數(shù)值模擬平臺集成的功能，所以在分析上會有很大的便利性，只需要創(chuàng)建數(shù)值模型，在計算結束后就可以得到年節(jié)能量、機房效率指標等重要模擬結果。如果要實現(xiàn)平臺內置的節(jié)能量分析可通過以下步驟實現(xiàn)：（1）需要定義系統(tǒng)COP 與冷凍水供水溫度，空調末端的顯冷量與回風溫度的關系。（2）需要定義機房規(guī)劃情況，包括冷卻冗余、機房安全熱余量、電費、電力、冷卻、氣流等容量。（3）包含內置機房PUE、各種電力設備功耗統(tǒng)計、效率指數(shù)計算模型。（4）通過上述設置可以得到機房能耗評價情況，包括：房間效能、PUE、電力明細表、機房效率與性能指標、潛在節(jié)能量等。

2.2 機柜與IT 設備模型

機柜與IT設備模型需要考慮的主要因素是風量和發(fā)熱。

2.2.1 風量設置

實際運行風量由現(xiàn)場的實際部署情況決定，風量設置可以采用兩種方法：定義進出風溫差和定義風量。

定義進出風溫差即固定機柜的進出風溫差，這是最簡單的邊界條件，建議在機房設計階段采用，運營機房不建議采用，如果用統(tǒng)一的固定的值會與現(xiàn)場實際情況差異較大。

定義風量有兩種方法可以獲得IT 設備的風量：通過測試溫差獲得風量和直接測試風量。

通過測試溫差獲得風量即實際測試不同IT 設備型號在不同負載率下的進出風溫差，根據(jù)溫差和功率確定服務器的風量。根據(jù)公式=××Δ確定風量的，式中只有為未知數(shù)，因此可以根據(jù)測試數(shù)據(jù)得出IT 設備的流量。

圖5為實測的某國內廠商IT 設備的風量進風溫度變化的數(shù)據(jù)。其中，橫坐標為IT 設備進風溫度，縱坐標為服務器流量，當進風溫度升高時設備流量逐漸增加，可以將此值設置到數(shù)值模型中就能很好體現(xiàn)設備的流量條件。

圖5 服務器流量與IT 進風溫度關系

現(xiàn)場測試時建議在服務器出風口增加15 cm 的光滑導風管，使出風混合均勻，如果現(xiàn)場條件不允許的化盡量將傳感器緊貼布置在服務器出風口，減小空間氣流的影響。測試點位通常要求IT 設備出風口測試8 ～12 個點，布置于導風管出口處，進風口1個點位。測試設備為溫度采集儀+T型熱電偶。

直接測試風量即實際測試不同IT 設備型號在不同負載率下的出風風速，取測試的平均風速與面積的乘積計算出流量。鑒于風速傳感器與現(xiàn)場條件測試結果會有較大誤差，不建議采用這種方法。

除了上述兩種方法外，平臺還應提供標準參數(shù)，圖6（a）（b）分別為EnergyStar 和ASHRAE 標準的IT 設備流量設置。流量單位為l s/kW，體現(xiàn)流量和IT 設備進口溫度、負載率的關系，當負載率增加的時候流量增加，進風溫度增加的時候流量增加，模擬服務器內部風機的控制邏輯。圖6（a）EnergyStar 為單條曲線，圖6（b）ASHRAE 采用高、中、低三條流量曲線設置，根據(jù)需要進行選擇。

圖6 IT 設備流量推薦設置曲線

2.2.2 功率設置

采用實際運行功率，假設100%轉換成發(fā)熱。

2.3 出風地磚模型

出風地磚模型需要考慮的主要因素包括：出風地磚阻力與流動特性。

在風洞中對詳細的出風地磚模型進行模擬，以捕捉氣流特性。創(chuàng)建簡化模型并調整設置以匹配詳細模型的結果。圖7為詳細模型與簡化模型，實際數(shù)字孿生模型中使用簡化模型。

圖7 出風地磚模型

為了使簡化模型體現(xiàn)實際模型的流動特性，需要在測試風洞中進行出風地磚的流動阻力與流動形態(tài)驗證，流動阻力特性獲得流阻曲線，如圖8所示，簡化模型與詳細模型有相同的流動阻力特性。

圖8 出風地磚模型簡化前后流動阻力曲線

如果需要可以調整流動角度，有時需要將附加結構到簡化模型中，保證地板出風口的流動特性與詳細模型一致。如圖9所示。

圖9 出風地磚模型簡化前后流動形態(tài)

2.4 機房評估指標

節(jié)能平臺從三個維度上說明機房的評估指標，包括機房健康指標、機房容量指標、機房績效指標。限于篇幅，本文只介紹機房健康指標、機房容量指標。

2.4.1 機房健康指標

機房健康指標可以分為流量、溫度、熱量三類指標，如表1所示。

表1 機房健康指標

2.4.2 資源利用率指標

資源利用率的目的是優(yōu)化機房容量，使其均衡發(fā)展。容量包括電力、冷卻、氣流、空間、端口等。

容量用于規(guī)劃機房各系統(tǒng)的匹配運行，減少因某些容量耗盡引起的容量碎片化，通過容量規(guī)劃最大化機房利用率。

為資源不平衡率，為容量個數(shù)，為某個容量，≠，=1，2，…，，為組合數(shù)。

3 節(jié)能平臺架構上實現(xiàn)的成功案例分析

該機房是一個運營商機房，案例特點完成了數(shù)值模擬與改造方案實施，節(jié)能效果驗證全過程分析。

3.1 機房基本情況

機房面積260 m，機房凈高4.4 m。共包含4 個微模塊、102 個機柜和32 個行間級空調，機房設計IT 負載為510 kW，封閉冷通道，現(xiàn)狀機柜總輸入功率138.7 W，空調控制回風23 ℃，額定風量5 023 CMH，制冷量21.9 kW。

該機房過熱機柜為刀片服務器機柜，單機柜功率3.4 kW，最大進風溫度為29.09 ℃。

3.2 節(jié)能優(yōu)化分析過程

首先，通過模擬驗證表2所示方案的升溫的可行性，排除機柜過熱隱患。下述三個方案均可以將IT 設備進風溫度控制在27 ℃以內，根據(jù)現(xiàn)場條件按照方案一實施升溫方案，實際升溫2 ℃。

表2 改造方案

（2）實際測試升溫前后IT 設備的進風溫度變化，驗證升溫前后的模擬精度。圖10 為升溫前后抽樣選取的部分IT設備進口溫度的模擬與實測值對比情況，大部分模擬精度在5%以內，滿足業(yè)主需求。

圖10 升溫實施模擬精度

（3）核算模塊空調末端經過升溫后的節(jié)能量，讀取動環(huán)系統(tǒng)同時段的電能數(shù)據(jù)轉化為功率，得到圖11 升溫前后空調末端的功率kW，機房升溫2℃空調末端節(jié)能8.1%。

圖11 升溫前后空調末端功率變化

4 總 結

數(shù)字孿生數(shù)值模擬平臺實現(xiàn)數(shù)據(jù)中心節(jié)能降耗分析的方法，相對于通用數(shù)值模擬軟件根據(jù)有針對性，集成數(shù)據(jù)中心基礎實施的關鍵能耗設備，包括冷卻設備、機柜與IT 設備、電力設備等模型，以及相關參數(shù)，體現(xiàn)冷卻系統(tǒng)的控制能力以及各種冷卻系統(tǒng)形式，結合機房能效評價指標，實現(xiàn)機房各種節(jié)能方案效果的評估計算。

在節(jié)能平臺架構上實現(xiàn)的成功案例是運營商機房節(jié)能改造評估，通過數(shù)值模擬與現(xiàn)場改造方案實施驗證，充分證明數(shù)字孿生數(shù)值模擬節(jié)能平臺節(jié)能評估的可靠性。

本文提出了側重于經驗的可行的數(shù)據(jù)中心節(jié)能分析方法，在雙碳環(huán)境下，為數(shù)據(jù)中心節(jié)能減排提供有益的指導。