甘肅省計(jì)算中心高性能計(jì)算機(jī)房節(jié)能改造方案探討

◆文 洮 范瑞龍 趙志威

(甘肅省計(jì)算中心 甘肅蘭州 730030)

甘肅省計(jì)算中心高性能計(jì)算機(jī)房于2005年投入建設(shè)并使用，位于辦公大樓二層，機(jī)房凈空高度3.5m，建筑面積為32.5m2。機(jī)房在2009年進(jìn)行第一次擴(kuò)容升級之后，其內(nèi)部擺放一排5個(gè)機(jī)柜，其中3個(gè)機(jī)柜集中放置刀片服務(wù)器100個(gè)，另外2個(gè)機(jī)柜放置管理節(jié)點(diǎn)、磁盤陣列、網(wǎng)絡(luò)交換機(jī)等設(shè)備。隨著甘肅省計(jì)算中心高性能計(jì)算用戶的不斷增長，對計(jì)算資源的需求隨之增加。2017年對機(jī)房進(jìn)行了第二次擴(kuò)容升級，增加機(jī)柜2個(gè)，新增刀片式計(jì)算節(jié)點(diǎn)20個(gè)，磁盤陣列存儲(chǔ)100T。2005年至2017年機(jī)房內(nèi)的制冷一直由一臺(tái)總制冷量為45.2kW的精密空調(diào)完成，另外一臺(tái)冗余的5P空調(diào)在機(jī)房溫度超過35℃時(shí)自動(dòng)啟用。由于計(jì)算機(jī)設(shè)備的使用周期一般為5年，2009年擴(kuò)容的設(shè)備運(yùn)算速度在2017年已不能滿足大部分用戶的計(jì)算需求。因此，在2018年進(jìn)行第三次擴(kuò)容之前，本文對該機(jī)房的效能進(jìn)行了分析，不斷增加的計(jì)算設(shè)備需要更高效的制冷系統(tǒng)，對該機(jī)房進(jìn)行更加合理的規(guī)劃從而達(dá)到節(jié)能目的是本文最終要解決的問題。

1 機(jī)房效能分析

1.1 改造前機(jī)房概況

甘肅省計(jì)算中心高性能計(jì)算集群用戶主要來自甘肅省內(nèi)各大科研院所與高校，計(jì)算領(lǐng)域涉及氣象、化學(xué)、材料等，集群設(shè)備無間斷24h工作，每年運(yùn)行天數(shù)約345天。運(yùn)行過程中產(chǎn)生大量的熱，安全運(yùn)行范圍 25℃-35℃。機(jī)房幾何尺寸：長×寬×高=9.88m×3.15m×3m，機(jī)柜幾何尺寸為：1.1m×0.6m×2.2m，機(jī)房內(nèi)共有1排7個(gè)機(jī)柜，沿著z方向是機(jī)柜正面，機(jī)房幾何模型三維示意圖見圖1所示。精密空調(diào)采用下送風(fēng)上回風(fēng)的氣流組織方式。據(jù)機(jī)房值班人員日常記錄的數(shù)據(jù)可知，精密空調(diào)送風(fēng)的溫度一般在18℃-20℃之間，機(jī)柜正面的最高溫度是25℃，機(jī)柜背面的最高溫度出現(xiàn)過 42℃，都是出現(xiàn)在機(jī)柜上部并且是計(jì)算刀片密集的部位。

圖1 機(jī)房平面示意圖

1.2 機(jī)房能耗占比分析

為了對機(jī)房的能耗有一個(gè)較為詳細(xì)的了解，我們對該機(jī)房進(jìn)行了電表以及電費(fèi)的數(shù)據(jù)收集（圖2），通過對數(shù)據(jù)的分析可知，計(jì)算設(shè)備和精密空調(diào)所占能耗的比例是最多的，分別是 48%與46%，照明設(shè)備所占的能耗比例為4%，其他能耗為8%。由此可見，該機(jī)房節(jié)能的重點(diǎn)應(yīng)該是計(jì)算設(shè)備與精密空調(diào)。根據(jù)日常運(yùn)行經(jīng)驗(yàn)可知，計(jì)算設(shè)備大多數(shù)情況下都是無法避免的能耗，但是也可以通過精準(zhǔn)的管理用戶作業(yè)來避免一部分計(jì)算資源的浪費(fèi)。另外，還可以通過先進(jìn)的制冷手段來減少精密空調(diào)的能耗，這樣整個(gè)機(jī)房的節(jié)能目標(biāo)才能實(shí)現(xiàn)。

圖2 機(jī)房能耗占比

1.3 改造前機(jī)房氣流組織模擬

根據(jù)機(jī)房幾何模型建立相應(yīng)的物理模型，利用ANSYS ICEM軟件進(jìn)行模型的網(wǎng)格劃分后導(dǎo)入到 FLUENT中進(jìn)行模擬計(jì)算。機(jī)柜內(nèi)部IT設(shè)備的排布情況一般只影響到內(nèi)部的氣流走向，對機(jī)柜外面造成的氣流影響相對較少，因此在模擬過程中不考慮機(jī)柜內(nèi)部 IT設(shè)備的排布情況，將機(jī)柜看成一個(gè)整體來進(jìn)行模擬，降低了模型的復(fù)雜性[1]。

由于機(jī)房墻面由絕熱材料構(gòu)成并且密閉性良好，所以邊界條件設(shè)置中機(jī)房各壁面為絕熱壁面，精密空調(diào)送風(fēng)口設(shè)置為速度入口，空調(diào)回風(fēng)口設(shè)置為壓力出口邊界條件，機(jī)柜前面散熱量小忽略不計(jì)設(shè)置為絕熱壁面，熱量主要集中在機(jī)柜背面，按照機(jī)房面積校核機(jī)柜背面的熱交換率并在邊界條件中進(jìn)行設(shè)置[2]。計(jì)算收斂條件為：流動(dòng)方程相對誤差10-3，能量方程相對誤差1×10-6。最終得到的計(jì)算結(jié)果文件在 FLUENT中進(jìn)行流場的顯示，可得到如圖3所示的速度矢量圖與溫度云圖?？梢娫谶@種計(jì)算工況下，如圖3a，從空調(diào)送風(fēng)口送出的冷空氣在接觸到機(jī)柜表面后迅速上移，在空調(diào)壁面與機(jī)柜表面之間的區(qū)域形成一個(gè)較大的回流區(qū)，此刻的冷空氣移動(dòng)了很短的距離就回到了空調(diào)的回風(fēng)口，并沒有流動(dòng)到需要降低溫度的機(jī)柜背面區(qū)域，機(jī)柜背面的空氣流動(dòng)速度非常小。相應(yīng)的，從圖3b的溫度分布云圖中可見，機(jī)房內(nèi)部溫度非常不均勻，發(fā)熱量最大的機(jī)柜背面的溫度依然沒有得到有效降低，出現(xiàn)了部分冷熱空氣摻混現(xiàn)象，使冷空氣利用效率降低。該模擬結(jié)果與日常機(jī)房內(nèi)檢測的溫度分布數(shù)據(jù)基本一致，尤其在夏季室外溫度較高，精密空調(diào)滿負(fù)荷運(yùn)行時(shí)，機(jī)柜背面的溫度依然會(huì)出現(xiàn)超過 40℃的情況，導(dǎo)致管理人員不得不關(guān)閉部分計(jì)算節(jié)點(diǎn)保證機(jī)房的安全，這同時(shí)也影響到了用戶完成計(jì)算作業(yè)任務(wù)的效率。

圖3 計(jì)算后處理圖

1.4 存在的問題

根據(jù)以上分析可知該機(jī)房目前在氣流組織、機(jī)房管理、UPS規(guī)劃等方面存在一定問題。

（1）該機(jī)房面積較小而且狹長，空調(diào)與機(jī)柜的擺放不合理，空調(diào)送風(fēng)口的風(fēng)直吹到機(jī)柜鐵皮表面形成一個(gè)巨大的渦流，導(dǎo)致冷風(fēng)不能及時(shí)運(yùn)送到機(jī)柜背面發(fā)熱量大的區(qū)域，大大降低了制冷效果，造成了冷空氣的浪費(fèi)；

（2）老舊計(jì)算設(shè)備使用率低、能耗高，缺乏整合資源利用率低的服務(wù)器[3]；

（3）舊的精密空調(diào)壓縮機(jī)已超出使用年限，自身能耗較高，增加了運(yùn)行成本。

2 機(jī)房改造方案探討

2.1 遷移老舊設(shè)備

近幾年，隨著國家各行業(yè)對高性能計(jì)算需求的日益增長，數(shù)據(jù)機(jī)房的數(shù)量與承載能力也在相應(yīng)的不斷增加，單機(jī)密度越來越大，單機(jī)柜最大容量可達(dá)15kW/柜[4]。在此情況下，老舊設(shè)備的淘汰率不斷升高。因此，該機(jī)房2009年購置的老舊服務(wù)器需要遷移走，不讓其開機(jī)運(yùn)轉(zhuǎn)，舊設(shè)備上的用戶基本很少提交作業(yè)，資源利用率低，如果讓其繼續(xù)運(yùn)行需要很多能耗，管理也不方便。另外，應(yīng)拆除舊的精密空調(diào)，安裝最新的節(jié)能制冷空調(diào)，降低運(yùn)行成本，提高制冷效率。

2.2 冷通道封閉方案的具體實(shí)施

根據(jù)該機(jī)房實(shí)際尺寸可知，其縱向距離較長，橫向距離小，屬于窄長形的小型機(jī)房。冷通道封閉技術(shù)施工相對簡單，成本較低，適合該機(jī)房的改造需求。將舊的精密空調(diào)機(jī)組拆除后整個(gè)機(jī)房的空間變大了一些，為了方便今后機(jī)房的再次擴(kuò)容，將機(jī)柜的個(gè)數(shù)增加為9個(gè)；另外，每間隔3個(gè)機(jī)柜安裝1個(gè)與機(jī)柜外形尺寸一致的行級空調(diào)，如圖4所示，空調(diào)的送風(fēng)口在機(jī)柜前側(cè)，空調(diào)為水平送風(fēng)方式，氣流路徑為后進(jìn)前出，其將服務(wù)器排出的熱風(fēng)吸入冷卻后吹出；冷空氣再被服務(wù)器吸入、排出，如此反復(fù)。在機(jī)柜前側(cè)頂部邊緣與機(jī)房側(cè)面墻壁之間搭建冷通道頂部，如圖5所示，冷通道出口入口均安裝電動(dòng)門，冷通道與電動(dòng)門采用8mm的防火玻璃，隔熱效果較好。這樣整個(gè)送風(fēng)區(qū)域形成了封閉的環(huán)境，由空調(diào)送出的冷空氣被隔離開，不會(huì)與熱空氣摻混，提高了冷空氣的利用效率。機(jī)柜背面為主要的散熱面，并且精密空調(diào)的回風(fēng)口也安裝在背面?zhèn)龋瑹峥諝膺M(jìn)入空調(diào)壓縮機(jī)進(jìn)行降溫后繼續(xù)制冷。

圖4 機(jī)房改造方案平面示意圖

2.3 對“封閉冷通道”的方案進(jìn)行氣流組織模擬

根據(jù)改造前機(jī)房氣流組織模擬與實(shí)際機(jī)房溫度分布可知，若更換老舊設(shè)備、增加服務(wù)器數(shù)量之和仍然采用舊的空調(diào)氣流組織方式是不能解決機(jī)房局部溫度過高的問題，也不能達(dá)到節(jié)能降耗的目的。在此基礎(chǔ)上，通過采取“封閉冷通道”或“封閉熱通道”的技術(shù)錯(cuò)說來達(dá)到進(jìn)一步提高制冷效率的目的。采用冷熱通道分離，穩(wěn)定的溫度確保有效的制冷，并提供持續(xù)的高溫回風(fēng)以更有效的改善精密系統(tǒng)的制冷性能[5]。

采用與改造前機(jī)房數(shù)值模擬同樣的方法建立物理模型以及數(shù)學(xué)模型，封閉后的冷通道以及機(jī)柜內(nèi)部的區(qū)域不在網(wǎng)格計(jì)算范圍內(nèi)，機(jī)柜的背面設(shè)置邊界條件為速度入口，行級空調(diào)的回風(fēng)口設(shè)置邊界條件為壓力出口，在FLUENT中進(jìn)行計(jì)算。計(jì)算后的氣流組織模擬結(jié)果如圖6所示，由圖6a可見機(jī)房內(nèi)空氣流動(dòng)的一個(gè)分布，流動(dòng)區(qū)域內(nèi)沒有出現(xiàn)大的回流區(qū)以及冷熱空氣摻混現(xiàn)象，圖6b溫度分布圖中也未出現(xiàn)局部的溫度過高的現(xiàn)象，整個(gè)機(jī)房內(nèi)溫度分布較為均勻，有兩處溫度相對較高的位置是因?yàn)檫@兩個(gè)機(jī)柜內(nèi)擺放的刀片服務(wù)器非常密集。這樣一來，封閉的冷通道完全將冷熱空氣隔離，冷通道內(nèi)的空調(diào)送風(fēng)方式為水平送風(fēng)，氣流路徑為后進(jìn)前出，將服務(wù)器派出的熱風(fēng)吸入冷卻后吹出，冷空氣再被服務(wù)器吸入、排出，如此反復(fù)。與機(jī)柜并列的空調(diào)靠近熱源，送風(fēng)距離大大縮短，從而減少氣流沿程壓力損失和冷空氣的泄露量，提高了冷量的利用效率[6]。

圖5 冷通道安裝平面示意圖

圖6 封閉冷通道之后的氣流組織模擬

3 改造實(shí)際效果

目前該機(jī)房放置9個(gè)機(jī)柜，三套獨(dú)立運(yùn)行的高性能計(jì)算集群，共計(jì)刀片式服務(wù)器60余臺(tái)、機(jī)架式服務(wù)器26臺(tái)、8路胖節(jié)點(diǎn)2臺(tái)、管理節(jié)點(diǎn)4臺(tái)、存儲(chǔ)服務(wù)器8臺(tái)、網(wǎng)絡(luò)交換機(jī)數(shù)個(gè)?？照{(diào)制冷系統(tǒng)由2臺(tái)制冷量為38kW的精密空調(diào)來調(diào)節(jié)機(jī)房溫度，實(shí)施封閉冷通道方案之后，空調(diào)送風(fēng)溫度穩(wěn)定在15.9℃，在冷通道外面加裝了1臺(tái)制冷量為12.5kW的立式空調(diào)作為補(bǔ)充，如圖7所示。根據(jù)該機(jī)房實(shí)際穩(wěn)定運(yùn)行后的功率，也就是整個(gè)機(jī)房實(shí)際運(yùn)行效率維持在 70-80%時(shí)，由專業(yè)的熱線風(fēng)速儀測量機(jī)柜正面平均溫度穩(wěn)定在 18℃，機(jī)柜背面靠近精密空調(diào)的兩個(gè)機(jī)柜背面平均溫度穩(wěn)定在 30℃左右，其他距離空調(diào)較遠(yuǎn)的機(jī)柜背面平均溫度穩(wěn)定在25℃左右，相比改造前機(jī)柜背面溫度的40℃降低了大概10℃，并且在2019年夏天室外溫度較高的時(shí)間段，機(jī)房內(nèi)溫度也保持恒定，沒有局部溫度過高出現(xiàn)報(bào)警的情況。在拆除舊的計(jì)算設(shè)備以及空調(diào)之后，由甘肅省計(jì)算中心財(cái)務(wù)年度支出數(shù)據(jù)可知，該機(jī)房2019年全年的用電量500976kWh，按工業(yè)用電價(jià)格核算后，一年總的電費(fèi)約44萬元左右，相比于改造前平均每年的電費(fèi)50萬元，節(jié)省電費(fèi)6萬元。

圖7 改造后機(jī)房實(shí)景圖

4 小結(jié)

機(jī)房的制冷環(huán)境必須與機(jī)房內(nèi)設(shè)備運(yùn)行情況協(xié)調(diào)才能使整個(gè)機(jī)房運(yùn)行安全、穩(wěn)定，如果不斷更新設(shè)備而機(jī)房制冷環(huán)境得不到改善就容易造成資源的浪費(fèi)。因此，對于小型機(jī)房來說，受機(jī)房面積的限制，如果設(shè)備過于集中擺放容易造成部分位置出現(xiàn)熱點(diǎn)，增加發(fā)生消防事故的概率[7]。在機(jī)房的實(shí)際運(yùn)行維護(hù)工作中，技術(shù)人員應(yīng)不斷總結(jié)方法和經(jīng)驗(yàn)，利用科學(xué)的方法模擬、預(yù)測機(jī)房改造后的各種可能性與問題，根據(jù)設(shè)備情況不斷改進(jìn)和完善現(xiàn)有的做法，從而選擇最有效、最節(jié)能的方法來對機(jī)房進(jìn)行升級改造工作。