數(shù)據(jù)中心AI節(jié)能技術(shù)研究及應(yīng)用

蔡 榮，吳昕燁，徐 遲，金立標(biāo)，曹 燦

（1.中國聯(lián)通無錫分公司，江蘇 無錫 214142；2.中國聯(lián)通江蘇省分公司，江蘇 南京 210029）

0 引 言

數(shù)據(jù)中心的主要能耗系統(tǒng)為IT系統(tǒng)與暖通系統(tǒng)，IT設(shè)備節(jié)能技術(shù)主要用于新建數(shù)據(jù)中心。對于既有數(shù)據(jù)中心，其節(jié)能重點主要是暖通系統(tǒng)節(jié)能改造與運行控制優(yōu)化。暖通系統(tǒng)作為數(shù)據(jù)中心的重要組成部分之一，既要達到安全、節(jié)能、高效運行的狀態(tài)，同時也要具有高可靠性、高可控性[1]?；诖耍瑢?shù)據(jù)中心暖通系統(tǒng)進行控制與高效監(jiān)管是保障數(shù)據(jù)中心安全運行和高效節(jié)能減排的重要方式。

目前，Google、阿里、華為等云服務(wù)商都有將人工智能（Artificial Intelligence，AI）算法在水冷設(shè)備端運用的典型例子，但主要集中在一些技術(shù)基礎(chǔ)較好、歷史數(shù)據(jù)較多以及數(shù)據(jù)處理維度較完整的互聯(lián)網(wǎng)數(shù)據(jù)中心（Internet Date Center，IDC）中。數(shù)據(jù)中心的暖通制冷功率一般由水冷式機組功率、末梢精密空調(diào)功率、冷卻/冷凍水泵功率以及冷卻塔功耗4部分構(gòu)成[2]。末端車間的精密空調(diào)功率約為整體冷卻功率的30%，控制策略也和風(fēng)冷機房基本相似。由于水冷式機組設(shè)計復(fù)雜、運行參數(shù)繁多，各組成部分的效率也受多種參數(shù)的制約，因此將通過收集水冷式機組的各種運行參數(shù)和歷史數(shù)據(jù)進行建模，擬合水冷式機組的總功率，從而找出各技術(shù)參數(shù)和總功率之間的關(guān)聯(lián)。擬合建成后，采用隨機游走、遺傳算法等策略，在確保最大輸出制冷量達到末端機房負荷的條件下，維持水冷式機組良好的運行狀況。

1 華東云數(shù)據(jù)中心現(xiàn)狀

中國聯(lián)通華東云數(shù)據(jù)中心為自有自建，園區(qū)占地面積100 000 m2，總體規(guī)劃包含4棟IDC機房樓及配套動力中心。整個園區(qū)分3期逐步實施，現(xiàn)已建成投產(chǎn)一期。一期項目占地17 031 m2，包含一棟4層IDC機房及配套動力中心。

數(shù)據(jù)中心對環(huán)境溫度和濕度的要求較高，需要建設(shè)高效制冷系統(tǒng)對IT設(shè)備進行散熱。同時為保障IT設(shè)備穩(wěn)定運行，往往依賴空調(diào)、冷水機等設(shè)備來降溫，這是數(shù)據(jù)中心制冷系統(tǒng)能耗較高的主要原因[3]。數(shù)據(jù)中心制冷系統(tǒng)包括空調(diào)壓縮機、冷卻水系統(tǒng)、冷凍水系統(tǒng)以及冷卻塔等，能耗占比約40%。影響制冷系統(tǒng)能耗的因素有各類設(shè)備的發(fā)熱、建筑圍護設(shè)備傳熱、太陽輻射熱、系統(tǒng)能效比、氣流組織以及空調(diào)運行時間等，可以概括為設(shè)備因素與環(huán)境因素。數(shù)據(jù)中心節(jié)能改造通常以提高制冷系統(tǒng)效率和降低冷量損耗為主，制冷系統(tǒng)能效提升對于數(shù)據(jù)中心節(jié)能意義重大。華東某IDC機房熱力圖如圖1所示。

圖1 華東某IDC機房熱力圖

現(xiàn)冷機模式水溫設(shè)置為12 ℃，回水溫度為17.7 ℃，機組電流比81%。設(shè)計水溫為7 ℃，板式換熱器（以下簡稱板換）模式時水溫會更高。目前，負載只開一套系統(tǒng)，基本已經(jīng)滿負荷運行，后面負載上升需要再開一套。根據(jù)室外溫度人為切換板換，切換板換的條件是濕球溫度低于10 ℃，而切換冷機的條件是機房高溫告警。機房是冷通道封閉，冷通道溫度控制在27 ℃以內(nèi)，回風(fēng)溫度高的地方達到34 ℃。此外，全年自然冷源使用時間為兩個半月[4]。

目前，IDC機房的節(jié)能切入點設(shè)備大多為制冷裝置，一般依據(jù)人工經(jīng)驗和暖通常識來優(yōu)化機房環(huán)境溫度和氣流組織。冷卻泵、冷卻塔、冷凍泵的電量無法分開采集，系統(tǒng)冷卻水側(cè)水利不平衡情況較為嚴(yán)重，無AI系統(tǒng)自動控制，機組切換時需要人為調(diào)整冷卻水水利平衡?？照{(diào)回風(fēng)反映了機艙內(nèi)電器的總體發(fā)熱狀況，但機械的工作負荷在動態(tài)變化，氣流組織也在不斷改變，很難人為預(yù)測。

2 基于AI技術(shù)的節(jié)能方案

2.1 方案原理

基于AI和大數(shù)據(jù)分析的智能化節(jié)能管理系統(tǒng)的研發(fā)重心在IDC核心數(shù)據(jù)分析層面，通過對數(shù)據(jù)的綜合分析，即可獲取節(jié)能決策中所需要的調(diào)節(jié)依據(jù)。數(shù)據(jù)采集資源主要包括自動環(huán)控系統(tǒng)信息、自動儀表使用信息、水冷式發(fā)電機組控制系統(tǒng)信息等。水冷式發(fā)電機組的信息包含水冷式電動機的執(zhí)行技術(shù)參數(shù)（冷凝器進出水溫度、蒸餾器進出水溫度、冷凍供水電壓、主機電壓等）、泵的執(zhí)行技術(shù)參數(shù)（運轉(zhuǎn)次數(shù)、流量等）、冷卻水塔的執(zhí)行技術(shù)參數(shù)（運轉(zhuǎn)次數(shù)、流量等）與其他技術(shù)參數(shù)（如室外溫濕度、IT總負荷等）。風(fēng)冷機組的主要數(shù)據(jù)包含IT產(chǎn)品耗電量、室內(nèi)空調(diào)耗電量、機房室內(nèi)外濕度、機房尺寸、機房地面架空高度、機柜數(shù)機房列頭柜功耗、機柜總送風(fēng)速度、機柜進風(fēng)口濕度、機柜出風(fēng)速度、機柜出通風(fēng)濕度、區(qū)域中央空調(diào)出通風(fēng)濕度、區(qū)域中央空調(diào)回風(fēng)口濕度以及中央空調(diào)發(fā)電機組的總功率等[5]。

AI算法將持續(xù)采集冷機、水泵、冷卻塔等冷站主要部件的溫度、流量、壓力、功率等基礎(chǔ)參數(shù)，通過實時算法計算識別冷機啟停、水泵變頻、輸送系數(shù)以及冷站能效等冷站基礎(chǔ)運行情況數(shù)據(jù)，并與自控系統(tǒng)上傳數(shù)據(jù)進行清洗比對。在累計一定基礎(chǔ)數(shù)據(jù)后，建立冷站各設(shè)備運行特征模型，通過智能匹配最優(yōu)運行策略下發(fā)自控系統(tǒng)，根據(jù)自控系統(tǒng)回傳數(shù)據(jù)進行實時數(shù)據(jù)迭代計算，動態(tài)監(jiān)測與評估冷站運行情況，診斷冷站運行問題，優(yōu)化下發(fā)策略，以提高冷站整體運行效率。

智能AI控制系統(tǒng)可以對各網(wǎng)絡(luò)系統(tǒng)的啟、停、工作或失效狀態(tài)等進行自動檢測、管理調(diào)度。與此同時，控制器還可以對各網(wǎng)絡(luò)系統(tǒng)和監(jiān)控點的配置、工作方法、歷史數(shù)據(jù)曲線等進行顯示。各系統(tǒng)運行不良時，操作系統(tǒng)會產(chǎn)生非正?；蚬收蠣顟B(tài)的語音和圖像報警信號。管理系統(tǒng)所有工作參量、信息均以圖片方式表示，同時以圖表、曲線等方式打印記錄[6]。

控制系統(tǒng)必須具備擴充功能，未來擴充功能及系統(tǒng)時只需加裝一個可獨立編程軟硬件整合控制器即可。信息系統(tǒng)中的設(shè)施需要根據(jù)特性要求的變化需求進行適當(dāng)調(diào)整，通過與綜合系統(tǒng)的融合，為其使用提供必要的機電設(shè)備運行基礎(chǔ)。場內(nèi)控制器應(yīng)能安全可靠、獨立工作，各場內(nèi)控制器之間能進行點對點通信，當(dāng)場內(nèi)某一控制器故障時不會干擾控制系統(tǒng)中其他部分的工作。

將控制值班室的網(wǎng)絡(luò)主機、網(wǎng)絡(luò)控制臺和現(xiàn)場控制器結(jié)合組成集散管理系統(tǒng)，通過設(shè)置在控制裝置周圍的現(xiàn)場傳感器對各裝置進行自動控制，使各控制區(qū)域的參數(shù)符合建筑物設(shè)計要求、故障告警指示以及建筑物節(jié)能的設(shè)定。由現(xiàn)場控制臺經(jīng)通信端口與網(wǎng)絡(luò)系統(tǒng)控制器和監(jiān)控值班室中的網(wǎng)絡(luò)系統(tǒng)管理工作站通信后，控制系統(tǒng)工程管理站。系統(tǒng)工作站通過各地區(qū)的設(shè)備工作狀態(tài)信息對現(xiàn)場裝置參數(shù)實施自動/手動調(diào)節(jié)和監(jiān)視管理，進而提供對受控裝置狀況的運動態(tài)勢分析與報告。

對于系統(tǒng)工作站的控制用戶界面，需要具有人員密碼信息管理、樹形構(gòu)造、日期信息管理、趨勢圖表信息管理、告警信息管理、群組信息管理、控件實時展示、控件信息管理以及控件記憶體加載等控制功能?？刂葡到y(tǒng)具有在線編程控制功能，現(xiàn)場控制器應(yīng)用軟件可以在系統(tǒng)工作站編輯并輸入信息，設(shè)置正確后即可運行。

2.2 冷凍站AI節(jié)能

AI節(jié)能方案采用典型的大數(shù)據(jù)平臺架構(gòu)，支持主流的兼容接口協(xié)議，例如RS485、Modbus、控制器域網(wǎng)（Controller Area Network，CAN)以及傳輸控制協(xié)議 /網(wǎng)際協(xié)議（Transmission Control Protocol/ Internet Protocol，TCP/IP），同時支持從第三方平臺獲取源數(shù)據(jù)?；A(chǔ)運行數(shù)據(jù)是實現(xiàn)大數(shù)據(jù)+機器學(xué)習(xí)機房節(jié)能的前提和必要條件，通過傳感器、數(shù)據(jù)網(wǎng)關(guān)與自控系統(tǒng)采集暖通系統(tǒng)運行動態(tài)數(shù)據(jù)，建立運行數(shù)據(jù)庫，如圖2所示。

圖2 運行數(shù)據(jù)庫

采用連續(xù)數(shù)據(jù)采集終端，建立云平臺數(shù)據(jù)庫，實現(xiàn)高并發(fā)數(shù)據(jù)采集與存儲。使用基于Python的物理模型、經(jīng)驗?zāi)Ｐ团c數(shù)據(jù)挖掘算法，動態(tài)計算冷站運行情況。采用機器學(xué)習(xí)算法和降維手段生成數(shù)據(jù)特征量，提取并建立冷站運行模式。根據(jù)馬爾可夫決策理論,采用Q-Learning的強化學(xué)習(xí)方法，選擇最優(yōu)運行策略。通過串口、TCP/IP等接口下發(fā)控制策略，實現(xiàn)閉環(huán)控制。此外，提供圖形可視化展示界面，直觀理解運行狀態(tài)，優(yōu)化人機交互過程。數(shù)據(jù)處理模型如圖3所示。

圖3 數(shù)據(jù)處理模型

通過建立能耗分析平臺，使用不同算法模塊實現(xiàn)對數(shù)據(jù)的儲存、清洗、流轉(zhuǎn)、計算以及分析，完成對冷站各設(shè)備的完整閉環(huán)控制。在每個數(shù)據(jù)計算周期，根據(jù)平臺采集得到的各項運行數(shù)據(jù)，結(jié)合現(xiàn)場獲取的銘牌參數(shù)與額定數(shù)據(jù)，利用各項功能模塊基于動態(tài)調(diào)參的經(jīng)驗?zāi)Ｐ团c物理模型計算冷站設(shè)備基本性能參數(shù)。在累計一定時長的運行數(shù)據(jù)后，通過基于人工智能的層次聚類、密度聚類等算法對數(shù)據(jù)進行回歸、聚類，提取該冷站設(shè)備運行的主要特征模型。同時對冷站所在地的室外溫度、濕度等具有明顯周期性的數(shù)據(jù)進行子集劃分，并對子集進行層次聚類，獲取當(dāng)?shù)赝獠織l件的典型周期特征。

通過AI算法提取冷站內(nèi)部與外部特征，劃分若干種冷站運行典型工況，并利用人工神經(jīng)網(wǎng)絡(luò)（Artifical Neural Network，ANN）、隨機森林、貝葉斯網(wǎng)絡(luò)等算法建立典型工況下的主要運行參數(shù)預(yù)測模型。將分析得到的典型工況與數(shù)據(jù)庫中存儲的專家模型進行比對識別，根據(jù)設(shè)備自身條件，利用主要運行參數(shù)預(yù)測模型判斷當(dāng)前各參數(shù)與設(shè)定值的合理性，計算優(yōu)化潛力與節(jié)能空間，為自控系統(tǒng)下發(fā)最優(yōu)設(shè)定值與控制策略。與此同時，對調(diào)控后的設(shè)備運行情況進行實時監(jiān)控，擴充數(shù)據(jù)集維度，提高模型精度，對優(yōu)化控制建議進行動態(tài)迭代，使其更加匹配冷站實際運行工況。

2.3 機房末端空調(diào)AI節(jié)能

持續(xù)采集設(shè)備能耗、環(huán)境溫濕度以及空調(diào)運行參數(shù)，將累計至少一個月的數(shù)據(jù)作為歷史數(shù)據(jù)集，根據(jù)實施機房狀況、采樣點分布以及不同空調(diào)型號分別建立制冷影響力模型、空調(diào)能耗與制冷量關(guān)聯(lián)模型、機房溫度預(yù)測模型和空調(diào)控制邏輯模型，并且評估空調(diào)的制冷量冗余情況，最終通過實時數(shù)據(jù)輸入模型生成最佳的調(diào)配參數(shù)。針對可變頻和不可變頻設(shè)備類型，分別下發(fā)策略進行精準(zhǔn)控制。采用深度學(xué)習(xí)、時間序列數(shù)據(jù)挖掘以及偏微分方程求解的推理框架，基于單指令多數(shù)據(jù)流（Single Instruction Multiple Data，SIMD）機器學(xué)習(xí)算法實現(xiàn)并行化加速。采用流式數(shù)據(jù)處理引擎，實現(xiàn)對實時數(shù)據(jù)的高并發(fā)數(shù)據(jù)采集及存儲。此外，提供K8s容器化運行環(huán)境，支持動態(tài)部署以及彈性擴縮容。末端AI節(jié)能架構(gòu)如圖4所示。

圖4 末端AI節(jié)能架構(gòu)

機房空調(diào)AI節(jié)能是一個動態(tài)循環(huán)過程，每個循環(huán)周期包括的主要步驟如下文所述。

（1）數(shù)據(jù)采集。通過智能傳感器和網(wǎng)關(guān)設(shè)備采集相關(guān)靜態(tài)和動態(tài)數(shù)據(jù)，包括環(huán)境溫濕度、設(shè)備能耗和空調(diào)運行工況，結(jié)合機房和傳感器物理分布情況構(gòu)建靜態(tài)點位數(shù)據(jù)和動態(tài)信號量的關(guān)聯(lián)數(shù)據(jù)集。

（2）分析建模?；跉v史數(shù)據(jù)集建立制冷影響力模型、空調(diào)能耗與制冷量關(guān)聯(lián)模型、機房溫度預(yù)測模型、空調(diào)控制邏輯模型以及空調(diào)制冷量冗余度模型，根據(jù)實時數(shù)據(jù)集推理和驗證模型的準(zhǔn)確度。

（3）數(shù)據(jù)分析。采集空調(diào)運行情況下機房的環(huán)境溫度變化，通過數(shù)據(jù)分析評估當(dāng)前機房環(huán)境溫度是否偏低或偏高，生成控制策略。

（4）設(shè)備控制。通過人工操作或程序下發(fā)自動調(diào)整末端空調(diào)運行參數(shù)，使其達到合理制冷量輸出時能耗最低的狀態(tài)，實現(xiàn)空調(diào)的運行省電。

3 暖通系統(tǒng)整體AI節(jié)能優(yōu)化控制

通過大數(shù)據(jù)和AI技術(shù)分析機房歷史溫度數(shù)據(jù)、電量數(shù)據(jù)、空調(diào)運行數(shù)據(jù)，建立機房熱交換模型。熱交換模型逐級傳參，典型的層級包括末端風(fēng)機→表冷器→水閥→分集水器→冷凍/冷機水泵→冷卻水泵/塔。除此之外，考慮外部氣象和IT負荷因素，通過對全部機房內(nèi)冷量需求的精準(zhǔn)預(yù)測來調(diào)整冷站的最優(yōu)輸出，同時仿真推理得到制冷設(shè)備的最低功耗運行狀態(tài)。精確匹配冷量需求曲線如圖5所示。

圖5 精確匹配冷量需求曲線

通過對室內(nèi)溫場進行分析來確定最佳的供冷需求，具體是采集每個機房內(nèi)的溫度、機柜和末端空調(diào)耗電以及精密空調(diào)的運行數(shù)據(jù)等，建立機房熱量預(yù)測模型、區(qū)域溫度影響力模型等，使區(qū)域溫差最小，滿足每臺末端對冷量的需求。室內(nèi)調(diào)節(jié)不僅需要考慮平衡本機房內(nèi)部的需求，同時還要結(jié)合全局策略滿足整個機樓的需求。

利用AI節(jié)能系統(tǒng)采集末端和冷熱源設(shè)備的運行數(shù)據(jù)，以滿足所有機房冷量需求為前提進行后續(xù)的模型推導(dǎo)，推理冷熱源設(shè)備運行的最佳參數(shù)。AI節(jié)能系統(tǒng)需要實時分析全局、全量數(shù)據(jù)，對設(shè)備穩(wěn)定性和可靠性有較高的要求。全量數(shù)據(jù)不僅包含通過群控系統(tǒng)和末端空調(diào)分散采集到的靜態(tài)、性能數(shù)據(jù)，而且還依賴于大量由室內(nèi)優(yōu)化算法建模產(chǎn)生的結(jié)果數(shù)據(jù)和中間數(shù)據(jù)。除此之外，調(diào)節(jié)策略同樣需要考慮全局能耗最低，理想狀態(tài)下能夠?qū)崿F(xiàn)冷熱源和末端空調(diào)能耗的雙降。冷熱源和末端工況聯(lián)合建模如圖6所示。

圖6 冷熱源和末端工況聯(lián)合建模

華東云數(shù)據(jù)中心夏季日用電量約99 000 kW·h，冬季約92 000 kW·h，AI系統(tǒng)上線后可節(jié)電約12%。

4 結(jié) 論

通過收集IDC機房信息和AI建模，利用深度學(xué)習(xí)的控制方法將分析結(jié)論下發(fā)到機房的管理系統(tǒng)中，實現(xiàn)數(shù)據(jù)中心節(jié)能高效運轉(zhuǎn)。將AI算法運用于IDC機房節(jié)電方面，能夠使機房的節(jié)電方式變得更加智能化、精細化，節(jié)電效益更加顯著。