大型數(shù)據(jù)中心空調(diào)系統(tǒng)后評(píng)估

楊 玲，桂智彪

（1.中通服咨詢?cè)O(shè)計(jì)研究院有限公司，江蘇 南京 210019；2.中國(guó)移動(dòng)通信集團(tuán) 貴州有限公司，貴州 貴陽(yáng) 550004）

0 引 言

為了不斷優(yōu)化數(shù)據(jù)中心空調(diào)系統(tǒng)方案，節(jié)省數(shù)據(jù)中心能耗，本文對(duì)已竣工的某大型數(shù)據(jù)中心空調(diào)系統(tǒng)進(jìn)行后評(píng)估，對(duì)比設(shè)計(jì)方案與現(xiàn)場(chǎng)實(shí)際得出此數(shù)據(jù)中心空調(diào)系統(tǒng)的后評(píng)估結(jié)論，并提出改進(jìn)措施。

1 基本概況

該數(shù)據(jù)中心位于貴安新區(qū)馬場(chǎng)鎮(zhèn)川心村，包括數(shù)據(jù)中心機(jī)樓、制冷機(jī)房、倉(cāng)儲(chǔ)用房以及營(yíng)銷維護(hù)支撐用房4個(gè)單體。其中，數(shù)據(jù)中心機(jī)樓為兩層建筑，建筑面積為24 500 m2，主要包括數(shù)據(jù)機(jī)房及其配套用房；制冷機(jī)房為單層建筑，建筑面積為2 214 m2，主要包括水冷機(jī)組機(jī)房及制冷專用高壓配電室。

2 建設(shè)內(nèi)容

2.1 方案設(shè)計(jì)

2.1.1 裝機(jī)率和運(yùn)行負(fù)載設(shè)計(jì)

該數(shù)據(jù)中心共32個(gè)數(shù)據(jù)機(jī)房，每個(gè)數(shù)據(jù)機(jī)房有110個(gè)機(jī)架，共計(jì)3 520個(gè)機(jī)架。其中，自有業(yè)務(wù)機(jī)架1 660個(gè)，外租IDC機(jī)架1 860個(gè)。設(shè)計(jì)IT用電負(fù)荷17 248 kW，單機(jī)架平均功耗4.9 kW。

2.1.2 空調(diào)冷源設(shè)計(jì)

該數(shù)據(jù)中心設(shè)計(jì)空調(diào)總制冷所需冷負(fù)荷為19 414 kW，共需配置4臺(tái)2 000 RT離心式冷水機(jī)組，單臺(tái)機(jī)組額定制冷量為7 032 kW，機(jī)組按照N+1的原則配置。配置流量1 440 m3/h且功率為60 kW的冷卻塔4臺(tái)。設(shè)計(jì)配置換熱量為7 000 kW的板式換熱器4臺(tái)，一次側(cè)8.5/14.5 ℃，二次側(cè)10/16 ℃。為充分利用冬季或過渡季節(jié)的室外冷源，在室外低溫時(shí)段（8.5 ℃以下），全部或部分冷水機(jī)組停止工作，利用自然冷源由水-水板式換熱器替代其進(jìn)行制冷，熱量通過冷卻塔散出[1]。為滿足15 min應(yīng)急蓄冷需求，設(shè)計(jì)應(yīng)急蓄冷水量570 m3，采用高位開式蓄冷罐。為保證12 h冷卻塔補(bǔ)水需求，設(shè)計(jì)蓄水量600 m3。此外，保證水處理裝置的防垢率≥95%，抑制菌藻率≥90%。設(shè)計(jì)4臺(tái)冷凍水泵，單臺(tái)參數(shù)為流量1 400 m3/h，揚(yáng)程40 m，功率200 kW。同時(shí)設(shè)計(jì)4臺(tái)冷卻水泵，單臺(tái)參數(shù)為流量1 500 m3/h，揚(yáng)程30 m，功率185 kW。

2.1.3 空調(diào)末端與管路設(shè)計(jì)

根據(jù)不同機(jī)房業(yè)務(wù)及客戶需求，該數(shù)據(jù)中心空調(diào)末端配置制冷量90 kW冷凍水型空調(diào)160臺(tái)（下送風(fēng)112臺(tái)，上送風(fēng)48臺(tái)）、制冷量30 kW冷凍水列間空調(diào)180臺(tái)以及制冷量6.5 kW熱管背板空調(diào)614臺(tái)。其中，冷凍水型機(jī)房專用空調(diào)主要用于自有業(yè)務(wù)，相比于風(fēng)冷空調(diào)，采用水作為散熱介質(zhì)，提高了能源使用效率，能更好地滿足機(jī)柜的冷量需求。冷凍水列間空調(diào)主要用于IDC業(yè)務(wù)客戶，其具有單機(jī)柜功耗高且送風(fēng)溫度/濕度精確的特點(diǎn)，能夠滿足高密度高功耗機(jī)柜冷量需求。而熱管背板空調(diào)也主要用于IDC業(yè)務(wù)客戶，其具有占地面積小和高效節(jié)能的優(yōu)點(diǎn)，同樣能夠滿足高密度高功耗機(jī)柜冷量需求?？紤]到機(jī)房的安全要求，空調(diào)管路采用兩套管路系統(tǒng)，管路的冷凍水系統(tǒng)均采用閉式循環(huán)系統(tǒng)，由立管和水平管組成，均采用同程式供回水方式。兩套獨(dú)立的冷卻水系統(tǒng)采用開式循環(huán)系統(tǒng)，冷卻塔與冷卻水管并聯(lián)，兩路補(bǔ)水分別接入市政給水管網(wǎng)和冷卻水蓄水池[2-5]。

2.1.4 空調(diào)群控與配電設(shè)計(jì)

采用中央空調(diào)管理系統(tǒng)及軟件，通過模糊控制柜下達(dá)指令，由現(xiàn)場(chǎng)冷凍水循環(huán)泵智能控制柜、冷卻水循環(huán)泵智能控制柜、冷卻塔風(fēng)機(jī)智能控制柜、閥門智能控制柜、溫度傳感器、流量傳感器以及電力監(jiān)測(cè)儀等實(shí)現(xiàn)空調(diào)系統(tǒng)的智能控制、一鍵啟停及技術(shù)參數(shù)監(jiān)測(cè)等。對(duì)于高壓冷凍機(jī)組采用10 kV供電，對(duì)于水泵房和空調(diào)水泵及冷卻塔等設(shè)備采用低壓供電[6]。

2.1.5 PUE值設(shè)計(jì)

機(jī)房總用電負(fù)荷24 524 kW，其中IT負(fù)荷17 248 kW，空調(diào)設(shè)備（主機(jī)、水泵以及末端等）負(fù)荷約6 176kW，其他負(fù)荷1 100 kW。PUE=24 524 kW/17 248 kW≈1.42，故設(shè)計(jì)PUE值為1.42。

2.2 實(shí)際建成效果

2.2.1 裝機(jī)率和運(yùn)行負(fù)載

該數(shù)據(jù)中心實(shí)際已裝機(jī)架2 172個(gè)，其中自有業(yè)務(wù)機(jī)架1 096個(gè)，外租IDC機(jī)架1 076個(gè)。IT實(shí)際用電負(fù)荷為5 552 kW，自有業(yè)務(wù)實(shí)際運(yùn)行單機(jī)架平均功耗2.58 kW，外租IDC實(shí)際運(yùn)行單機(jī)架平均功耗2.85 kW。

2.2.2 空調(diào)冷源

實(shí)際安裝4臺(tái)頓漢布什7 032 kW制冷量離心式高壓冷水機(jī)組，目前運(yùn)行2臺(tái)，單臺(tái)機(jī)組年平均用電量為1 250 kW（不含冬季板換運(yùn)行），機(jī)組按照N+1原則配置。同時(shí)安裝4臺(tái)流量1 400 m3/h的馬利冷卻塔和4臺(tái)艾克森板式換熱器，換熱器單臺(tái)換熱量為7 000 kW，一次側(cè)10.5/15.5 ℃，二次側(cè)12/17 ℃。為充分利用冬季以及過渡季節(jié)室外冷源，在室外低溫時(shí)段（10.5 ℃以下），全部或部分冷水機(jī)組停止工作，利用自然冷源由水-水板式換熱器替代其進(jìn)行制冷，熱量通過冷卻塔散出。此外，實(shí)際安裝1臺(tái)體積573 m3的北京英灃特蓄冷罐、4臺(tái)凈元廣譜電子水處理器、1套沛德全自動(dòng)水處理器、4臺(tái)格蘭富冷凍水泵以及4臺(tái)格蘭富冷卻水泵。其中，冷凍水泵流量1 400 m3/h、轉(zhuǎn)速1 488 r/min且揚(yáng)程為40 m，冷卻水泵流量1 550 m3/h、轉(zhuǎn)速1 488 r/min且揚(yáng)程為30 m。

2.2.3 空調(diào)末端與管路

數(shù)據(jù)機(jī)房實(shí)際安裝了制冷量90 kW的冷凍水型機(jī)房專用空調(diào)160臺(tái)（下送風(fēng)112臺(tái)，上送風(fēng)48臺(tái)）、制冷量30 kW的冷凍水列間空調(diào)180臺(tái)以及制冷量6.5 kW的熱管背板空調(diào)614臺(tái)，如圖1所示。空調(diào)管路嚴(yán)格按照《通風(fēng)與空調(diào)工程施工質(zhì)量驗(yàn)收規(guī)范》（GB 50243—2016）進(jìn)行施工。

圖1 空調(diào)末端現(xiàn)場(chǎng)圖

2.2.4 空調(diào)群控與配電

實(shí)際采用匯通華城BKS2008中央空調(diào)管理系統(tǒng)及軟件，通過BKS2008模糊控制柜下達(dá)指令，由現(xiàn)場(chǎng)冷凍水循環(huán)泵智能控制柜、冷卻水循環(huán)泵智能控制柜、冷卻塔風(fēng)機(jī)智能控制柜、閥門智能控制柜、溫度傳感器、流量傳感器以及電力監(jiān)測(cè)儀等實(shí)現(xiàn)空調(diào)系統(tǒng)的智能控制、一鍵啟停及水溫或流量等技術(shù)參數(shù)得監(jiān)測(cè)等。水泵房、空調(diào)水泵及冷卻塔等設(shè)備采用2臺(tái)1 250 kVA的變壓器供電（1+1系統(tǒng)）。冷凍水泵需要UPS保障，由UPS輸出屏通過母線給冷凍水泵供電，冷卻水泵和屋頂冷卻塔風(fēng)機(jī)采用市電保障。空調(diào)系統(tǒng)現(xiàn)場(chǎng)效果如圖2所示。

圖2 空調(diào)系統(tǒng)現(xiàn)場(chǎng)效果圖

2.2.5 PUE實(shí)際值

根據(jù)數(shù)據(jù)中心監(jiān)控，實(shí)際運(yùn)行總負(fù)荷8 560 kW（不含充電），其中IT負(fù)荷5 552kW，PUE=8560 kW/5 552 kW≈1.5，即實(shí)際運(yùn)行PUE值約為1.5。

3 效果評(píng)估

3.1 裝機(jī)率和運(yùn)行負(fù)載評(píng)估

目前業(yè)務(wù)部門機(jī)柜布局分散，機(jī)柜內(nèi)服務(wù)器安裝數(shù)量少，導(dǎo)致機(jī)房負(fù)載率較低，機(jī)柜功耗未達(dá)到設(shè)計(jì)的滿配值。

3.2 空調(diào)冷源評(píng)估

現(xiàn)網(wǎng)運(yùn)行兩臺(tái)水冷主機(jī)，單臺(tái)主機(jī)負(fù)載率約55%，提供制冷量2 000 RT。經(jīng)過計(jì)算，目前運(yùn)行的兩臺(tái)空調(diào)機(jī)組已滿足數(shù)據(jù)中心使用需求，故輪流運(yùn)行2臺(tái)機(jī)組可進(jìn)一步降低PUE值。

3.2.1 冷水機(jī)組評(píng)估

抽檢1#冷水機(jī)組，根據(jù)調(diào)研計(jì)算出空調(diào)系統(tǒng)正常運(yùn)行狀態(tài)下冷水機(jī)組的輸入功率、輸出冷量以及冷水機(jī)組的能效比，具體見表1。

表1 機(jī)組單獨(dú)運(yùn)行時(shí)性能測(cè)量數(shù)據(jù)表

目前冷機(jī)的額定能效比為6，由上表可知，50%負(fù)荷下的冷機(jī)能效比實(shí)測(cè)數(shù)據(jù)為11.06，屬于正常運(yùn)行范圍，未出現(xiàn)喘振。

3.2.2 冷卻水泵和冷凍水泵評(píng)估

測(cè)試1#冷卻水泵和1#冷凍水泵的流量、揚(yáng)程以及輸入功率，具體結(jié)果見表2。

表2 測(cè)試工況下水泵工作參數(shù)表

由表2可知，冷凍水泵和冷卻水泵的實(shí)測(cè)運(yùn)行效率分別為41%和42%。一般水泵最佳節(jié)能運(yùn)行效率為70%～80%，目前水泵運(yùn)行效率低于70%，是造成PUE值偏高的原因之一。

3.2.3 冷卻塔與蓄冷罐評(píng)估

冷卻塔安裝和調(diào)試都按照設(shè)計(jì)進(jìn)行，冷卻塔在冬季（11月中旬至次年2月中旬）使用自然冷源，沒有除冰問題。蓄冷罐安裝和調(diào)試都按照設(shè)計(jì)進(jìn)行，初期采用冷水機(jī)組與蓄冷罐交替運(yùn)行模式，使冷凍水溫波動(dòng)維持在一定范圍（8～17 ℃)，蓄冷罐平時(shí)帶載時(shí)未發(fā)現(xiàn)問題，模擬停電測(cè)試，已知最長(zhǎng)測(cè)試時(shí)間為45 min，機(jī)房空調(diào)制冷無(wú)異常。

3.2.4 板式換熱器

板式換熱器一次側(cè)及二次側(cè)進(jìn)水溫度比設(shè)計(jì)值提高2℃，回水溫度比設(shè)計(jì)值提高1℃。

3.2.5 水處理裝置

未使用水冷機(jī)組加藥裝置，在線清洗裝置使用效果一般，主機(jī)冷凝器有一定量水垢，定壓補(bǔ)水裝置效果良好。

3.2.6 其他

分集水器冷源配套設(shè)備運(yùn)行良好。

3.2.7 空調(diào)管路

管路系統(tǒng)的安全性高。

3.3 空調(diào)末端與管路評(píng)估

針對(duì)不同的業(yè)務(wù)和單機(jī)架功耗需求，該數(shù)據(jù)中心機(jī)房采用了冷凍水型機(jī)房專用空調(diào)（地板下送風(fēng)）、冷凍水列間空調(diào)以及熱管背板空調(diào)，3種空調(diào)末端機(jī)房占比如圖3所示，PUE能效因子及投資對(duì)比如圖4所示。

圖3 3種空調(diào)末端機(jī)房占比

圖4 3種空調(diào)末端PUE能效因子及投資對(duì)比

這3種空調(diào)末端中，熱管背板空調(diào)初期投資最高但節(jié)能效果最好，冷凍水列間空調(diào)效果與熱管背板接近，冷凍水型機(jī)房專用空調(diào)初期投資最低但節(jié)能效果最差，此外空調(diào)群控運(yùn)行良好。而空調(diào)管路冷卻塔閥門過多，維護(hù)量較大，兩臺(tái)并聯(lián)塔之間缺少平衡閥，冷卻塔水位不易調(diào)節(jié)。

3.4 PUE評(píng)估

空調(diào)冷源采用高壓水冷離心機(jī)組、板換、變頻控制以及群控等節(jié)能技術(shù)，空調(diào)末端根據(jù)不同業(yè)務(wù)類型采取合適的節(jié)能技術(shù)，大樓空調(diào)系統(tǒng)運(yùn)行效果良好，實(shí)際PUE值為1.5，接近設(shè)計(jì)值1.42。

4 改進(jìn)措施及建議

4.1 機(jī)電方案研發(fā)設(shè)計(jì)階段

方案規(guī)劃階段，合理規(guī)劃?rùn)C(jī)柜的安裝，機(jī)房可分批并分區(qū)域啟用，根據(jù)不同送風(fēng)方式等將不同功率密度的機(jī)柜分區(qū)域規(guī)劃，分區(qū)域供冷，提高冷量利用率，從而增加機(jī)柜的可裝機(jī)率。

該數(shù)據(jù)中心采用的水冷冷凍水系統(tǒng)高效節(jié)能且穩(wěn)定性高，但需要設(shè)置室內(nèi)制冷站，耗水量大。與傳統(tǒng)水冷冷凍水系統(tǒng)相比，蒸發(fā)冷卻冷凍水系統(tǒng)無(wú)需冷卻水泵及冷卻塔，系統(tǒng)配置簡(jiǎn)單，可節(jié)省室內(nèi)制冷站面積，增加機(jī)架數(shù)量，且利用自然冷源的時(shí)間更長(zhǎng)，節(jié)水效果較好。除此之外，其在低溫季節(jié)可以充分利用室外低溫空氣對(duì)空調(diào)冷凍水進(jìn)行自然冷卻，減少壓縮機(jī)機(jī)械制冷的運(yùn)行時(shí)間，節(jié)能的同時(shí)提高運(yùn)行可靠性，延長(zhǎng)設(shè)備壽命，因此建議后期將其作為數(shù)據(jù)中心空調(diào)冷源系統(tǒng)的優(yōu)化方案。根據(jù)工藝方案規(guī)劃、建設(shè)規(guī)模和進(jìn)度計(jì)劃，合理分期建設(shè)空調(diào)冷水系統(tǒng)。針對(duì)分期建設(shè)的空調(diào)系統(tǒng)，可采用冷源設(shè)備分批建設(shè)+冷水主管路系統(tǒng)一次性建設(shè)+預(yù)留空調(diào)設(shè)備接管閥門的方式?？照{(diào)管路應(yīng)采用1+1冗余備份，確保高可用性。空調(diào)配電應(yīng)考慮后續(xù)擴(kuò)容，預(yù)留接口。合理部署服務(wù)器，減少物理服務(wù)器，減少存儲(chǔ)設(shè)備和相關(guān)基礎(chǔ)設(shè)施。提高UPS及變壓器的負(fù)載率，使其工作在最佳負(fù)載率狀態(tài)，機(jī)房冷熱通道分離，根據(jù)實(shí)際熱負(fù)荷調(diào)節(jié)空調(diào)數(shù)量，提高空調(diào)送風(fēng)溫度。

針對(duì)高熱密度機(jī)柜則充分利用自然冷源，采用高效制冷設(shè)備和新型空調(diào)末端解決高熱密度等大型服務(wù)器散熱問題，同時(shí)提高機(jī)房利用率，降低空調(diào)系統(tǒng)的運(yùn)行能耗，進(jìn)一步提升空調(diào)冷水循環(huán)水溫至15/21 ℃。此外，建議在后期項(xiàng)目建設(shè)和運(yùn)行中選用高效經(jīng)濟(jì)的空調(diào)系統(tǒng)設(shè)備，提高能源利用率。

4.2 施工階段

考慮分期建設(shè)情況，為了利于后期擴(kuò)容，將支路管路和最遠(yuǎn)末端管路短接或旁通。對(duì)管路水流方向有明顯標(biāo)識(shí)，閥門建設(shè)時(shí)應(yīng)有明確編號(hào)標(biāo)識(shí)。對(duì)于空調(diào)群控，建議分期分區(qū)域建設(shè)群控系統(tǒng)，不同期或區(qū)域的群控系統(tǒng)之間應(yīng)具備互相通信和讀取數(shù)據(jù)的功能。

4.3 運(yùn)行維護(hù)階段

盡可能提高空調(diào)冷源溫度，延長(zhǎng)自然冷卻時(shí)間，并提高制冷機(jī)的COP值。末端空調(diào)維護(hù)量大，熱管背板空調(diào)風(fēng)扇故障率高，沒有過濾網(wǎng)，進(jìn)水閥建議改為根據(jù)供回水溫度自動(dòng)調(diào)節(jié)。此外，需定期檢查管路密封性和保溫性能，定期校驗(yàn)采集數(shù)據(jù)的準(zhǔn)確性，保障控制系統(tǒng)的穩(wěn)定運(yùn)行，對(duì)于缺少的測(cè)點(diǎn)要盡快補(bǔ)全。按照配電設(shè)備維護(hù)規(guī)程，定期檢查空調(diào)配電設(shè)備并進(jìn)行高壓預(yù)防性試驗(yàn)。根據(jù)實(shí)際熱負(fù)荷調(diào)節(jié)空調(diào)數(shù)量，提高空調(diào)送風(fēng)溫度，機(jī)柜和服務(wù)器合理擺放，調(diào)節(jié)送風(fēng)速度與地板出風(fēng)速度，同時(shí)規(guī)劃好回風(fēng)路徑，防止熱風(fēng)回流，冬季根據(jù)天氣情況及時(shí)將冷源切換至板換工作。除此之外，還應(yīng)系統(tǒng)且全面對(duì)維護(hù)人員進(jìn)行培訓(xùn)，使其掌握設(shè)備的日常操作、常見維護(hù)處置方法以及應(yīng)急處理等技能或知識(shí)。

5 結(jié) 論

本系統(tǒng)空調(diào)冷源采用10 kV高壓水冷離心機(jī)組，冷卻水系統(tǒng)配置水-水節(jié)能板換，冬季或過渡季節(jié)利用冷卻塔免費(fèi)制冷，減少了空調(diào)運(yùn)行功耗，延長(zhǎng)了制冷主機(jī)的使用壽命，降低噪聲。冷卻塔風(fēng)機(jī)、水泵以及末端精密空調(diào)的EC風(fēng)機(jī)采用變頻技術(shù)，實(shí)現(xiàn)部分負(fù)荷時(shí)的高效運(yùn)行。配置冷源系統(tǒng)群控，可實(shí)時(shí)讀取當(dāng)前機(jī)樓冷源設(shè)備運(yùn)行工況，能夠?qū)崿F(xiàn)主機(jī)系統(tǒng)加減機(jī)運(yùn)行策略。自然冷卻或機(jī)械制冷等不同制冷模式的切換運(yùn)行，使整個(gè)系統(tǒng)在任何負(fù)荷情況下能達(dá)到優(yōu)化效果，保證各設(shè)備協(xié)調(diào)可靠運(yùn)行。系統(tǒng)建設(shè)效果良好，與設(shè)計(jì)相符，能滿足業(yè)務(wù)發(fā)展需求，值得在后期項(xiàng)目中繼續(xù)借鑒。