智能電網(wǎng)下數(shù)據(jù)中心能耗費(fèi)用優(yōu)化綜述

黃 焱, 王 鵬, 謝高輝, 安俊秀

(1. 中國科學(xué)院成都計(jì)算機(jī)應(yīng)用研究所, 四川 成都 610041; 2. 中國科學(xué)院大學(xué), 北京 100049;3. 西南民族大學(xué), 四川 成都 610225; 4. 廣州五舟科技股份有限公司技術(shù)研究院, 廣東 廣州 510000;5. 成都信息工程大學(xué), 四川 成都 610225)

?

智能電網(wǎng)下數(shù)據(jù)中心能耗費(fèi)用優(yōu)化綜述

黃 焱1,2, 王 鵬3, 謝高輝4, 安俊秀5

(1. 中國科學(xué)院成都計(jì)算機(jī)應(yīng)用研究所, 四川 成都 610041; 2. 中國科學(xué)院大學(xué), 北京 100049;3. 西南民族大學(xué), 四川 成都 610225; 4. 廣州五舟科技股份有限公司技術(shù)研究院, 廣東 廣州 510000;5. 成都信息工程大學(xué), 四川 成都 610225)

在電價(jià)隨時(shí)間和地理位置波動(dòng)的智能電網(wǎng)環(huán)境下,分布式數(shù)據(jù)中心運(yùn)營商在滿足各種內(nèi)外部約束條件下,根據(jù)外部負(fù)載類型和負(fù)載量的變化,通過負(fù)載分配、節(jié)點(diǎn)狀態(tài)控制、使用能量存儲(chǔ)設(shè)備等方法對(duì)能耗費(fèi)用優(yōu)化目標(biāo)以及碳排放量、網(wǎng)絡(luò)帶寬費(fèi)用、響應(yīng)時(shí)間、電網(wǎng)穩(wěn)定性等協(xié)同優(yōu)化目標(biāo)進(jìn)行優(yōu)化.介紹數(shù)據(jù)中心的能耗構(gòu)成和能耗費(fèi)用優(yōu)化問題的基本模型,從調(diào)整運(yùn)行節(jié)點(diǎn)數(shù)、動(dòng)態(tài)電壓頻率調(diào)整(DVFS)、負(fù)載分配、部分執(zhí)行、使用不間斷電源(UPS)、使用可再生能源、與電網(wǎng)交互、虛擬化8個(gè)方面對(duì)數(shù)據(jù)中心能耗費(fèi)用優(yōu)化方法和研究進(jìn)展進(jìn)行分類、總結(jié)、對(duì)比；未來的研究熱點(diǎn)包括多目標(biāo)優(yōu)化、數(shù)據(jù)中心需求響應(yīng)、節(jié)點(diǎn)級(jí)UPS、可再生能源發(fā)電設(shè)施、在線優(yōu)化算法、能源互聯(lián)網(wǎng)等.

能耗費(fèi)用優(yōu)化；智能電網(wǎng)；負(fù)載分配；地理分布式數(shù)據(jù)中心；能源互聯(lián)網(wǎng)

過去的30年間,數(shù)據(jù)中心經(jīng)歷了從無到有的高速發(fā)展過程.早期的數(shù)據(jù)中心計(jì)算資源稀少、價(jià)格昂貴、集群規(guī)模小,相關(guān)研究主要圍繞如何將昂貴的計(jì)算資源充分地利用起來,對(duì)能耗問題的關(guān)注較少.在那個(gè)時(shí)期高性能計(jì)算、分布式計(jì)算、集群計(jì)算等技術(shù)得到了快速發(fā)展.隨著網(wǎng)絡(luò)技術(shù)的發(fā)展,尤其是云計(jì)算、大數(shù)據(jù)、移動(dòng)互聯(lián)網(wǎng)的盛行,網(wǎng)絡(luò)計(jì)算和網(wǎng)絡(luò)存儲(chǔ)成為日常需求,數(shù)據(jù)中心的數(shù)量和規(guī)模持續(xù)、快速增長(zhǎng).預(yù)計(jì)2017年全球各類數(shù)據(jù)中心的數(shù)量將達(dá)到860萬個(gè),2020年數(shù)據(jù)中心能耗將占全球能耗的8%,能耗費(fèi)用將占運(yùn)營成本的41.6%[1-2],成為數(shù)據(jù)中心運(yùn)營的最大支出,因此,能耗優(yōu)化成為綠色數(shù)據(jù)中心的研究熱點(diǎn)[3].

數(shù)據(jù)中心是由服務(wù)器、存儲(chǔ)設(shè)備、網(wǎng)絡(luò)設(shè)備、制冷設(shè)備和電源設(shè)備等構(gòu)成的綜合系統(tǒng),其能耗優(yōu)化主要包含硬件級(jí)和算法級(jí)2個(gè)方面,是傳統(tǒng)電網(wǎng)環(huán)境下數(shù)據(jù)中心能耗優(yōu)化研究的重點(diǎn).硬件級(jí)能耗優(yōu)化是指使用低功耗多核處理器芯片、直流電源、高效制冷設(shè)備等[4]高能效的硬件設(shè)備從源頭上控制數(shù)據(jù)中心能耗的基礎(chǔ)水平,是新建數(shù)據(jù)中心首選的能耗優(yōu)化方法.由于涉及硬件設(shè)備的更換,在已建成數(shù)據(jù)中心使用該方法的成本較高.算法級(jí)能耗優(yōu)化是指對(duì)已投入運(yùn)營的數(shù)據(jù)中心采用負(fù)載分配、服務(wù)器狀態(tài)控制、制冷系統(tǒng)動(dòng)態(tài)調(diào)節(jié)等算法級(jí)能耗優(yōu)化方法在現(xiàn)有硬件設(shè)備的基礎(chǔ)上，通過優(yōu)化控制算法降低系統(tǒng)運(yùn)行能耗,是數(shù)據(jù)中心能耗優(yōu)化的主要研究?jī)?nèi)容,也是本文關(guān)注的重點(diǎn).

能耗優(yōu)化和能耗費(fèi)用優(yōu)化是2個(gè)密切相關(guān)但不完全相同的問題.運(yùn)營商最關(guān)心的能耗費(fèi)用由能耗和電價(jià)共同決定,可以把能耗優(yōu)化看成是能耗費(fèi)用優(yōu)化的子問題,智能電網(wǎng)的發(fā)展給數(shù)據(jù)中心能耗費(fèi)用優(yōu)化帶來新的機(jī)遇與挑戰(zhàn).

本文詳細(xì)分析智能電網(wǎng)環(huán)境下數(shù)據(jù)中心能耗費(fèi)用優(yōu)化面臨的挑戰(zhàn)、數(shù)據(jù)中心的能耗構(gòu)成、能耗費(fèi)用優(yōu)化問題的基本模型,從調(diào)整運(yùn)行節(jié)點(diǎn)數(shù)、動(dòng)態(tài)電壓頻率調(diào)整(dynamic voltage and frequency scaling, DVFS)、負(fù)載分配、部分執(zhí)行、使用不間斷電源(uninterruptible power supply,UPS)、使用可再生能源、與電網(wǎng)交互和虛擬化8個(gè)方面對(duì)近幾年的代表性研究方法進(jìn)行分類綜述,并對(duì)未來的研究發(fā)展方向進(jìn)行展望.

1 智能電網(wǎng)與數(shù)據(jù)中心能耗費(fèi)用

2003年的“美加大停電”事件造成了300億美元的損失,提高電網(wǎng)的安全性和穩(wěn)定性迫在眉睫.現(xiàn)代通信、計(jì)算機(jī)、電力電子等技術(shù)被迅速引入電網(wǎng)應(yīng)用中,此后智能電網(wǎng)的概念被提出并得到廣泛關(guān)注.2005年，意大利EnelS. p. A建成了世界上首個(gè)部分采用智能電網(wǎng)技術(shù)的商用智能電網(wǎng).2008年，美國科羅拉多州波爾建成了美國首個(gè)智能電網(wǎng).我國的智能電網(wǎng)目前雖還處于初級(jí)階段,但已成為國家的重要能源戰(zhàn)略[5].

智能電網(wǎng)的根本目的是改善電力輸送效率、整合可再生能源、提高電網(wǎng)的安全性和可靠性.最本質(zhì)的特點(diǎn)是實(shí)現(xiàn)電力和信息的雙向傳輸,以此建立起一個(gè)覆蓋電力系統(tǒng)整個(gè)生產(chǎn)過程、高度自動(dòng)化和廣泛分布的能量交換網(wǎng)絡(luò),可以對(duì)發(fā)電、輸電、變電、配電、用電及調(diào)度進(jìn)行實(shí)時(shí)響應(yīng)[6].智能電網(wǎng)的支撐技術(shù)包含智能傳感技術(shù)、分布式數(shù)據(jù)傳輸、計(jì)算和控制技術(shù)以及多個(gè)供電單元之間的數(shù)據(jù)和控制命令的有效傳輸技術(shù)等.

為了保障電網(wǎng)的運(yùn)行安全,電力運(yùn)營商制定了靈活的電價(jià)策略：隨著時(shí)間和地區(qū)不斷波動(dòng)的零售電價(jià)可以引導(dǎo)用戶的用電行為.數(shù)據(jù)中心的用電量巨大,對(duì)于電網(wǎng)的運(yùn)行穩(wěn)定有較大影響,可以采取談判、競(jìng)標(biāo)等方式參與到電價(jià)制定中來.數(shù)據(jù)中心與智能電網(wǎng)構(gòu)成了一個(gè)高度耦合的系統(tǒng).該系統(tǒng)涉及多個(gè)互相制約的優(yōu)化目標(biāo)和復(fù)雜的約束條件,對(duì)優(yōu)化目標(biāo)進(jìn)行數(shù)學(xué)建模以及模型的求解均面臨新的挑戰(zhàn),成為近幾年新的研究領(lǐng)域.

云計(jì)算模式近年來被廣泛應(yīng)用于數(shù)據(jù)中心,網(wǎng)絡(luò)接入和可彈性擴(kuò)展的核心特征促使用戶將應(yīng)用部署在分布式數(shù)據(jù)中心以應(yīng)對(duì)用戶需求,大量計(jì)算需求從本地轉(zhuǎn)移到了網(wǎng)絡(luò)[7].大數(shù)據(jù)處理平臺(tái)Hadoop支持跨數(shù)據(jù)中心的大數(shù)據(jù)分析,數(shù)據(jù)中心間的數(shù)據(jù)同步、數(shù)據(jù)備份等技術(shù)的不斷成熟以及跨數(shù)據(jù)中心計(jì)算在阿里巴巴的商業(yè)化應(yīng)用,使得分布式環(huán)境下的數(shù)據(jù)中心能耗費(fèi)用優(yōu)化具有理論和現(xiàn)實(shí)意義.

對(duì)于數(shù)據(jù)中心能耗費(fèi)用優(yōu)化問題,傳統(tǒng)電網(wǎng)環(huán)境與智能電網(wǎng)環(huán)境的區(qū)別主要體現(xiàn)在電價(jià)波動(dòng)和與電網(wǎng)的交互2個(gè)方面.在傳統(tǒng)電網(wǎng)中電力和信息是單向傳輸?shù)?發(fā)電方和供電方之間沒有信息的交互機(jī)制,電價(jià)規(guī)則比較單一,供電方無法根據(jù)用戶的負(fù)載實(shí)時(shí)調(diào)節(jié)電價(jià),因此供電方無法對(duì)用戶的用電行為進(jìn)行引導(dǎo)、調(diào)節(jié),會(huì)出現(xiàn)電力供需不平衡的現(xiàn)象,影響電網(wǎng)運(yùn)行的穩(wěn)定性.在智能電網(wǎng)環(huán)境下,電力和信息是雙向傳輸?shù)?發(fā)電方和用電方根據(jù)雙向信息自治達(dá)成協(xié)議的調(diào)節(jié)模式,分布式能源和分布式用戶會(huì)根據(jù)需求和價(jià)格的雙向約束實(shí)現(xiàn)電力與負(fù)載的平衡.因此,在傳統(tǒng)電網(wǎng)環(huán)境下,相關(guān)研究大多不考慮價(jià)格因素,將研究的重點(diǎn)放在數(shù)據(jù)中心能耗優(yōu)化方面.在智能電網(wǎng)環(huán)境下,供電方和用電方的信息雙向傳輸,用電方可以參與到電網(wǎng)運(yùn)行中來,電價(jià)可以隨著用戶負(fù)載實(shí)時(shí)變化.

智能電網(wǎng)環(huán)境下的電價(jià)隨著地理位置和時(shí)間發(fā)生波動(dòng).如圖1所示為2014年12月17日Google數(shù)據(jù)中心所處的3個(gè)區(qū)域的電價(jià)波動(dòng)曲線.可以看出,同一時(shí)刻3個(gè)區(qū)域的電價(jià)各不相同,同一區(qū)域的電價(jià)也隨著時(shí)間發(fā)生波動(dòng).智能電網(wǎng)環(huán)境下電價(jià)的波動(dòng)給數(shù)據(jù)中心能耗費(fèi)用優(yōu)化帶來巨大的優(yōu)化空間,在同一時(shí)刻將負(fù)載盡量多地分配到低電價(jià)區(qū)域執(zhí)行,在同一區(qū)域?qū)⒇?fù)載盡量多地在低電價(jià)時(shí)段執(zhí)行將有效地降低能耗負(fù)載費(fèi)用.2009年,Qureshi等[8]將智能電網(wǎng)時(shí)間和地理位置的動(dòng)態(tài)電價(jià)用于數(shù)據(jù)中心的能耗費(fèi)用優(yōu)化,使智能電網(wǎng)條件下的數(shù)據(jù)中心能耗費(fèi)用優(yōu)化成為一個(gè)新興的研究方向.

圖1 智能電網(wǎng)環(huán)境下隨著時(shí)間和地理位置波動(dòng)的電價(jià)Fig.1 Electricity price fluctuating according to time and location in smart grid

智能電網(wǎng)環(huán)境下的數(shù)據(jù)中心能耗費(fèi)用優(yōu)化面臨如下的挑戰(zhàn).1)電價(jià)在地理位置和時(shí)間上不斷波動(dòng).如何將負(fù)載分配到適合的數(shù)據(jù)中心并在適合的時(shí)間段運(yùn)行是能耗費(fèi)用優(yōu)化問題需解決的核心問題.2)電費(fèi)的計(jì)費(fèi)方式多樣化,既包含數(shù)據(jù)中心消耗電量的費(fèi)用,即用量費(fèi)用(energy charge, EC),又包含用戶為其峰值功率支付的費(fèi)用,即需量費(fèi)用(demand charge, DC).如何對(duì)多樣化的目標(biāo)進(jìn)行優(yōu)化也是能耗費(fèi)用優(yōu)化需要解決的問題.3)數(shù)據(jù)中心運(yùn)行的負(fù)載多樣化,包含對(duì)響應(yīng)時(shí)間有嚴(yán)格要求的交互式負(fù)載、對(duì)時(shí)間響應(yīng)要求較低的批處理負(fù)載以及混合型負(fù)載等,復(fù)雜的負(fù)載類型給能耗費(fèi)用優(yōu)化問題增加了復(fù)雜的約束條件.4)數(shù)據(jù)中心的負(fù)載、電價(jià)以及可再生能源的發(fā)電量都具有隨機(jī)性,無法提前知曉.如何在這些外部條件未知的前提下在合理的響應(yīng)時(shí)間內(nèi)給出最優(yōu)化方案存在數(shù)學(xué)方法上的挑戰(zhàn).5)數(shù)據(jù)中心的能耗巨大,會(huì)對(duì)智能電網(wǎng)的運(yùn)行產(chǎn)生影響,智能電網(wǎng)電價(jià)制定的博弈、競(jìng)拍,是能耗費(fèi)用優(yōu)化問題面臨的挑戰(zhàn).

這些挑戰(zhàn)給智能電網(wǎng)環(huán)境下的數(shù)據(jù)中心的能耗費(fèi)用優(yōu)化帶來了一系列全新的研究課題,引起了學(xué)者的高度關(guān)注.近年來,INFOCOM、ACM e-Energy、SIGCOMM、ICDCS、SIGMETRICS等國際會(huì)議和Proceedings of the IEEE、TPDS、TSG、FGCS等國際期刊發(fā)表了很多相關(guān)論文.美國斯坦福大學(xué)[9]、加拿大麥吉爾大學(xué)[10]、日本會(huì)津大學(xué)[11]、華中科技大學(xué)[12]、東南大學(xué)[13]、西安交通大學(xué)[14]、東北大學(xué)[15]、香港中文大學(xué)[16-17]等院校開展了相關(guān)研究. Rahman等[18]按照數(shù)據(jù)中心能耗管理的優(yōu)化目標(biāo)將相關(guān)研究分為費(fèi)用優(yōu)化、碳排放優(yōu)化、對(duì)電網(wǎng)的影響和數(shù)據(jù)中心選址4個(gè)類別進(jìn)行綜述.Kong等[19]按照負(fù)載調(diào)度、虛擬機(jī)管理、容量規(guī)劃、跨學(xué)科研究對(duì)數(shù)據(jù)中心綠色能源管理進(jìn)行綜述.Dayarathna等[20]從硬件和軟件2個(gè)層面對(duì)數(shù)據(jù)中心的能耗模型進(jìn)行綜述：在硬件層面對(duì)單核CPU、多核CPU、GPU等處理器的能耗模型,對(duì)內(nèi)存、機(jī)械硬盤、固態(tài)硬盤等存儲(chǔ)設(shè)備的能耗模型,對(duì)服務(wù)器、網(wǎng)絡(luò)設(shè)備、制冷設(shè)備等相關(guān)研究進(jìn)行總結(jié)歸納；在軟件層面對(duì)操作系統(tǒng)、虛擬機(jī)、計(jì)算密集型應(yīng)用、通信密集型應(yīng)用等相關(guān)研究進(jìn)行總結(jié)歸納.目前，國內(nèi)沒有數(shù)據(jù)中心能耗費(fèi)用優(yōu)化研究方面的綜述文章,僅筆者對(duì)近年來智能電網(wǎng)環(huán)境下數(shù)據(jù)中心能耗費(fèi)用優(yōu)化代表性研究的數(shù)據(jù)中心類型、節(jié)點(diǎn)類型、負(fù)載類型、電力來源、輔助優(yōu)化目標(biāo)、優(yōu)化層級(jí)和優(yōu)化方法等進(jìn)行過初步歸納[21].

2 數(shù)據(jù)中心能耗費(fèi)用優(yōu)化問題

2.1 數(shù)據(jù)中心的能耗構(gòu)成

圖2 數(shù)據(jù)中心的能耗構(gòu)成和能量轉(zhuǎn)換過程Fig.2 Energy consumption structure and energy conversion process for data center

數(shù)據(jù)中心由IT設(shè)備、能量傳輸系統(tǒng)和制冷系統(tǒng)3個(gè)部分構(gòu)成,如圖2所示.其中,IT設(shè)備包含服務(wù)器、存儲(chǔ)、網(wǎng)絡(luò)設(shè)備等,能量傳輸系統(tǒng)包含UPS、穩(wěn)壓器、AC/DC、DC/AC轉(zhuǎn)換器等,制冷系統(tǒng)包含空調(diào)、水冷、熱能存儲(chǔ)等,數(shù)據(jù)中心的能耗優(yōu)化主要圍繞這3個(gè)方面展開.數(shù)據(jù)中心的總能耗與IT設(shè)備能耗的比值(power usage effectiveness,PUE)體現(xiàn)了數(shù)據(jù)中心的能效,PUE值越小意味著用于計(jì)算、存儲(chǔ)等核心設(shè)備的能耗比例越大,數(shù)據(jù)中心的能效越高.PUE值通常為1.1～2.0.

外部能源到達(dá)配電柜后先由交流電轉(zhuǎn)換為直流電對(duì)UPS充電,然后由UPS輸出交流電到電源分配單元(power distribution unit, PDU)為IT設(shè)備供電,到達(dá)服務(wù)器等終端設(shè)備時(shí)還需要再次將交流電轉(zhuǎn)化為直流電進(jìn)行供電.中間經(jīng)歷了2次交/直流轉(zhuǎn)換,至少有10%的能量損耗,能效水平較低.直流供電技術(shù)的出現(xiàn)較好地解決了這一問題[22],是數(shù)據(jù)中心能量傳輸系統(tǒng)未來的發(fā)展趨勢(shì).

空調(diào)、水冷和熱能存儲(chǔ)[23]等制冷系統(tǒng)能耗約占數(shù)據(jù)中心總能耗的50%,是數(shù)據(jù)中心能耗優(yōu)化、PUE值控制的關(guān)鍵因素[24].空調(diào)系統(tǒng)的智能控制是目前的研究熱點(diǎn),研究方向包含智能制冷和高溫?cái)?shù)據(jù)中心：將數(shù)據(jù)中心劃分為多個(gè)區(qū)域分別制冷的動(dòng)態(tài)制冷技術(shù)和以機(jī)柜為單位進(jìn)行制冷的精確制冷方式可以有效地降低數(shù)據(jù)中心的熱點(diǎn)溫度,提高制冷效率[25-26]；通過提升數(shù)據(jù)中心的運(yùn)行溫度可顯著降低制冷系統(tǒng)的能耗比例(數(shù)據(jù)中心的運(yùn)行溫度由18℃上升至23℃可降低8%的能耗),是數(shù)據(jù)中心制冷優(yōu)化的未來趨勢(shì).

制冷系統(tǒng)的能耗控制使數(shù)據(jù)中心的PUE值較為穩(wěn)定,可視為常數(shù),因此可將數(shù)據(jù)中心的能耗優(yōu)化簡(jiǎn)化為IT設(shè)備的能耗優(yōu)化,僅需要對(duì)IT設(shè)備的能耗優(yōu)化方法進(jìn)行研究.

2.2 數(shù)據(jù)中心能耗費(fèi)用優(yōu)化問題的基本模型

根據(jù)研究目標(biāo)構(gòu)建系統(tǒng)模型、提出數(shù)學(xué)問題并對(duì)數(shù)學(xué)問題進(jìn)行求解是數(shù)據(jù)中心能耗費(fèi)用優(yōu)化的關(guān)鍵步驟.相關(guān)研究的核心創(chuàng)新體現(xiàn)在根據(jù)優(yōu)化目標(biāo)和優(yōu)化方法構(gòu)建能耗費(fèi)用優(yōu)化問題的系統(tǒng)模型,并建立數(shù)學(xué)模型,以求解決定變量.此類問題大多可轉(zhuǎn)化為線性規(guī)劃和非線性規(guī)劃問題,可以采用多項(xiàng)式時(shí)間算法、廣義Benders分解、啟發(fā)式算法、Lyapunov優(yōu)化、混合整數(shù)規(guī)劃、自適應(yīng)優(yōu)化、標(biāo)準(zhǔn)次梯度法、分支定界法、內(nèi)點(diǎn)法、量子諧振子算法[27]等成熟的方法進(jìn)行求解,各類問題的數(shù)學(xué)求解可參見文獻(xiàn)[18]的總結(jié).

圖3 數(shù)據(jù)中心能耗費(fèi)用優(yōu)化問題的基本模型Fig.3 Fundamental model for energy cost optimization of data center

從系統(tǒng)模型的角度看，智能電網(wǎng)環(huán)境下數(shù)據(jù)中心能耗費(fèi)用優(yōu)化問題是在電價(jià)隨時(shí)間和地理位置波動(dòng)的供電環(huán)境中,分布式數(shù)據(jù)中心運(yùn)營商在滿足各種內(nèi)外部約束的條件下根據(jù)外部負(fù)載類型和負(fù)載量的變化,通過負(fù)載分配、節(jié)點(diǎn)狀態(tài)控制、使用能量存儲(chǔ)設(shè)備等方法對(duì)能耗費(fèi)用優(yōu)化目標(biāo)以及碳排放量、網(wǎng)絡(luò)帶寬費(fèi)用、響應(yīng)時(shí)間、電網(wǎng)穩(wěn)定性等協(xié)同優(yōu)化目標(biāo)進(jìn)行優(yōu)化的問題,基本模型如圖3所示.模型中電力供應(yīng)、外部負(fù)載、約束條件、與電網(wǎng)交互是數(shù)據(jù)中心能耗費(fèi)用優(yōu)化問題的外部條件,需要根據(jù)優(yōu)化目標(biāo)求解負(fù)載分配、節(jié)點(diǎn)控制和能源使用的最優(yōu)方式.

數(shù)據(jù)中心的電力供應(yīng)由智能電網(wǎng)、不間斷電源UPS以及備用柴油發(fā)電機(jī)等共同完成.智能電網(wǎng)環(huán)境下電價(jià)隨地理位置和時(shí)間的變化,以及能量存儲(chǔ)設(shè)備對(duì)電價(jià)峰值和功率峰值的調(diào)節(jié)能力,給能耗費(fèi)用優(yōu)化提供了空間和方法.數(shù)據(jù)中心的電能按能源類型可分為太陽能、風(fēng)能等低碳能源和煤電、油電等高碳能源,提高低碳能源的使用率有助于實(shí)現(xiàn)數(shù)據(jù)中心的碳排放目標(biāo),但會(huì)對(duì)能耗費(fèi)用和電網(wǎng)穩(wěn)定性產(chǎn)生影響.從這個(gè)角度來看,低碳能源和高碳能源是一對(duì)互相制約的矛盾體,各種類型能源的協(xié)調(diào)使用構(gòu)成了新的能耗費(fèi)用優(yōu)化問題.

外部負(fù)載包含對(duì)響應(yīng)時(shí)間有嚴(yán)格要求的交互式負(fù)載、對(duì)響應(yīng)時(shí)間要求較低的批處理負(fù)載和由多種類型負(fù)載構(gòu)成的混合型負(fù)載[8].多樣化的負(fù)載類型給數(shù)據(jù)中心的負(fù)載分配、節(jié)點(diǎn)運(yùn)行狀態(tài)控制提出了多樣化的約束條件,從而產(chǎn)生運(yùn)行不同負(fù)載類型的數(shù)據(jù)中心能耗費(fèi)用優(yōu)化研究方向.數(shù)據(jù)中心的能耗巨大會(huì)對(duì)電網(wǎng)的穩(wěn)定性產(chǎn)生影響.智能電網(wǎng)的雙向信息傳輸特性使得數(shù)據(jù)中心可以通過參與電價(jià)制定、電網(wǎng)運(yùn)行與電網(wǎng)進(jìn)行交互,使得電價(jià)成為可進(jìn)行博弈的變量,給能耗費(fèi)用優(yōu)化問題增加了一個(gè)新的維度,從而產(chǎn)生了很多新的研究課題.

能耗費(fèi)用優(yōu)化目標(biāo)包含用戶為其消耗電量(kWh)支付的用量費(fèi)用和為其峰值功率(kW)支付的需量費(fèi)用[15].為了應(yīng)對(duì)短暫的峰值功率,電力運(yùn)營商需要投入更多的電力基礎(chǔ)設(shè)施,數(shù)據(jù)中心需要投入更多的資金在供電系統(tǒng)和制冷系統(tǒng)上.目前大多數(shù)研究是對(duì)用量費(fèi)用進(jìn)行優(yōu)化,需量費(fèi)用相關(guān)的研究相對(duì)較少.需量費(fèi)用與智能電網(wǎng)的穩(wěn)定性是數(shù)據(jù)中心和智能電網(wǎng)共同的優(yōu)化目標(biāo),成為新的研究熱點(diǎn)；能耗費(fèi)用優(yōu)化問題的輔助優(yōu)化目標(biāo),包含響應(yīng)時(shí)間、碳排放量、應(yīng)用服務(wù)質(zhì)量、可再生能源使用率、制冷能耗、網(wǎng)絡(luò)費(fèi)用、負(fù)載溢出率[28]等.

負(fù)載分配方法決定了數(shù)據(jù)中心的運(yùn)行節(jié)點(diǎn)數(shù)和運(yùn)行節(jié)點(diǎn)的負(fù)載,從而決定了數(shù)據(jù)中心的能耗費(fèi)用,因此負(fù)載分配方法是能耗費(fèi)用優(yōu)化模型中的決定變量.負(fù)載分配包含數(shù)據(jù)中心間的負(fù)載分配和各執(zhí)行時(shí)間段的負(fù)載分配,分別適用于對(duì)交互式負(fù)載和批處理負(fù)載的能耗費(fèi)用進(jìn)行優(yōu)化.節(jié)點(diǎn)控制是能耗費(fèi)用優(yōu)化模型中的決定變量,控制方法包含節(jié)點(diǎn)運(yùn)行/關(guān)閉的狀態(tài)控制和對(duì)運(yùn)行電壓/頻率的控制等,直接決定了數(shù)據(jù)中心的能耗費(fèi)用.

(1)

(2)

3 數(shù)據(jù)中心能耗費(fèi)用優(yōu)化方法與研究進(jìn)展

數(shù)據(jù)中心的能耗費(fèi)用優(yōu)化方法的分類如圖4所示,包含硬件級(jí)和算法級(jí)2種類型.本節(jié)主要對(duì)算法級(jí)優(yōu)化方法進(jìn)行綜述,包含調(diào)整運(yùn)行節(jié)點(diǎn)數(shù)、DVFS、負(fù)載分配、部分執(zhí)行、使用UPS、使用可再生能源、與電網(wǎng)交互、虛擬化8種類型.從數(shù)據(jù)中心的角度來看,這些研究方法可以分為節(jié)點(diǎn)級(jí)、數(shù)據(jù)中心級(jí)和跨數(shù)據(jù)中心3個(gè)層級(jí).這些算法級(jí)能耗費(fèi)用優(yōu)化方法的優(yōu)化層級(jí)、優(yōu)缺點(diǎn)及相關(guān)研究如表1所示,本節(jié)對(duì)這8種優(yōu)化方法的相關(guān)研究分別綜述.

3.1 調(diào)整運(yùn)行節(jié)點(diǎn)數(shù)

節(jié)點(diǎn)是數(shù)據(jù)中心的基本運(yùn)行單元,運(yùn)行節(jié)點(diǎn)數(shù)是能耗費(fèi)用優(yōu)化模型中的決定變量,根據(jù)負(fù)載動(dòng)態(tài)調(diào)整運(yùn)行節(jié)點(diǎn)數(shù)是數(shù)據(jù)中心級(jí)能耗優(yōu)化的主要方法.

2001年,Chase等[31-32]對(duì)數(shù)據(jù)中心的算法級(jí)能耗優(yōu)化進(jìn)行研究,發(fā)現(xiàn)數(shù)據(jù)中心的負(fù)載常處于動(dòng)態(tài)變化中,低負(fù)載時(shí)很多節(jié)點(diǎn)處于空閑狀態(tài)卻依然消耗著大量電能；提出將新到負(fù)載向負(fù)載較高的節(jié)點(diǎn)分配,使其余節(jié)點(diǎn)執(zhí)行完現(xiàn)有負(fù)載后進(jìn)入休眠或關(guān)閉狀態(tài),從而動(dòng)態(tài)調(diào)節(jié)運(yùn)行節(jié)點(diǎn)數(shù),降低數(shù)據(jù)中心的

優(yōu)化方法優(yōu)化層級(jí)優(yōu)點(diǎn)缺點(diǎn)文獻(xiàn)調(diào)整運(yùn)行節(jié)點(diǎn)數(shù)2減少空閑狀態(tài)節(jié)點(diǎn)的能耗不能實(shí)時(shí)調(diào)節(jié)運(yùn)行節(jié)點(diǎn)數(shù)[31,32]DVFS1可實(shí)時(shí)調(diào)節(jié)CPU運(yùn)行電壓和頻率對(duì)節(jié)點(diǎn)性能有影響[4,10,15,30,33,34,67]負(fù)載分配不同位置數(shù)據(jù)中心之間3保障負(fù)載的實(shí)時(shí)響應(yīng)易使電網(wǎng)負(fù)載不均衡,影響其穩(wěn)定性[15,29,35-38]運(yùn)行時(shí)間段之間1無需數(shù)據(jù)遷移,適合批處理負(fù)載負(fù)載響應(yīng)的實(shí)時(shí)性差[9]同時(shí)考慮時(shí)間和地理位置1、3可解決復(fù)雜負(fù)載的能耗費(fèi)用優(yōu)化模型構(gòu)建和數(shù)學(xué)問題的求解難度大[4,28,37-44]數(shù)據(jù)中心內(nèi)的負(fù)載遷移2減少空閑狀態(tài)節(jié)點(diǎn)的能耗遷移時(shí)間較長(zhǎng),影響應(yīng)用的可靠性[45]部分執(zhí)行1、2直接減少運(yùn)行負(fù)載量對(duì)負(fù)載類型有嚴(yán)格的要求[16,46]使用UPS2、3不影響負(fù)載的執(zhí)行影響數(shù)據(jù)中心的供電可靠性[16,23,47-55]使用可再生能源1、2、3碳排放量和電價(jià)較低電力供給不穩(wěn)定,電網(wǎng)負(fù)載不均衡[14,56-62]與電網(wǎng)交互1、2數(shù)據(jù)中心與智能電網(wǎng)可以雙贏競(jìng)價(jià)、博弈等操作增加了模型復(fù)雜度[12,63-66]虛擬化技術(shù)2、3提高集群利用率,降低總能耗單節(jié)點(diǎn)能耗增加、吞吐量降低[69-73]

注：“優(yōu)化層級(jí)”一欄中的數(shù)字1、2、3分別表示跨數(shù)據(jù)中心級(jí)優(yōu)化、數(shù)據(jù)中心級(jí)優(yōu)化和節(jié)點(diǎn)級(jí)優(yōu)化.

能耗.當(dāng)前負(fù)載執(zhí)行完畢或者將負(fù)載遷移到其他節(jié)點(diǎn)后才能調(diào)節(jié)運(yùn)行節(jié)點(diǎn)數(shù),需要一段等待時(shí)間,并且需要考慮負(fù)載運(yùn)行狀態(tài)的同步問題,因此該方法無法實(shí)時(shí)使用,僅適用于對(duì)運(yùn)行響應(yīng)時(shí)間要求較低的批處理負(fù)載的數(shù)據(jù)中心的能耗費(fèi)用優(yōu)化.實(shí)時(shí)能耗調(diào)節(jié)一般采用下面介紹的DVFS方法.

3.2 動(dòng)態(tài)電壓頻率調(diào)整(DVFS)

CPU是服務(wù)器中功率最大的器件[30],通過對(duì)其能耗進(jìn)行控制可以對(duì)數(shù)據(jù)中心的能耗進(jìn)行節(jié)點(diǎn)級(jí)控制.CPU的運(yùn)行功率P取決于能耗費(fèi)用優(yōu)化模型中的決定變量工作電壓U和頻率f[67]：

式中：C、A為常數(shù).使用DVFS技術(shù)可通過調(diào)節(jié)電壓和頻率對(duì)CPU的運(yùn)行功率進(jìn)行實(shí)時(shí)控制.

2006年，Intel推出首款支持DVFS的服務(wù)器系列CPU后,Fan等[30]率先使用DVFS技術(shù)對(duì)同負(fù)載類型的數(shù)據(jù)中心的能耗與性能進(jìn)行研究.Etinski等[33]使用DVFS對(duì)HPC系統(tǒng)的能耗管理進(jìn)行研究.宋杰等[15]提出了一種云計(jì)算環(huán)境下的基于DVFS的能效模型和度量方法.DVFS方法成為目前數(shù)據(jù)中心節(jié)點(diǎn)級(jí)能耗優(yōu)化的主要方法,常與跨數(shù)據(jù)中心的負(fù)載分配方法、數(shù)據(jù)中心級(jí)的運(yùn)行節(jié)點(diǎn)數(shù)控制等方法同時(shí)使用.

使用DVFS方法降低CPU的電壓和頻率,在降低節(jié)點(diǎn)運(yùn)行功率的同時(shí)會(huì)降低節(jié)點(diǎn)的計(jì)算性能,導(dǎo)致運(yùn)行在節(jié)點(diǎn)上的負(fù)載的響應(yīng)速度變慢.如果節(jié)點(diǎn)的負(fù)載壓力較大,使用DVFS方法將進(jìn)一步提高節(jié)點(diǎn)的負(fù)載壓力,影響節(jié)點(diǎn)運(yùn)行穩(wěn)定性.因此DVFS技術(shù)適合在數(shù)據(jù)中心的低負(fù)載時(shí)段使用,提高節(jié)點(diǎn)的使用率,對(duì)數(shù)據(jù)中心能耗費(fèi)用進(jìn)行優(yōu)化.

3.3 負(fù)載分配方法

負(fù)載分配方法是數(shù)據(jù)中心能耗費(fèi)用優(yōu)化模型中的決定變量.在電價(jià)隨地理位置和時(shí)間波動(dòng)的智能電網(wǎng)環(huán)境下,負(fù)載在何時(shí)、何地運(yùn)行決定了數(shù)據(jù)中心的能耗費(fèi)用,負(fù)載分配方法是最基本的能耗費(fèi)用優(yōu)化方式,包含數(shù)據(jù)中心之間的負(fù)載分配和執(zhí)行時(shí)間段之間的負(fù)載分配2種類型.

3.3.1 不同位置數(shù)據(jù)中心之間的負(fù)載分配 面對(duì)在地理位置上動(dòng)態(tài)變化的電價(jià),負(fù)載分配的核心思想是將負(fù)載盡量分配到電價(jià)較低區(qū)域的數(shù)據(jù)中心運(yùn)行,將問題轉(zhuǎn)化為滿足負(fù)載響應(yīng)時(shí)間約束的最小費(fèi)用流問題,確定分配到各數(shù)據(jù)中心的負(fù)載量,完成數(shù)據(jù)中心間的負(fù)載分配.這種方法由Rao等[29]在2010年提出,構(gòu)建了分布式數(shù)據(jù)中心能耗費(fèi)用優(yōu)化的基本模型,適用于對(duì)響應(yīng)時(shí)間有嚴(yán)格要求的交互式負(fù)載的分配,如運(yùn)行搜索引擎業(yè)務(wù)的分布式數(shù)據(jù)中心的能耗費(fèi)用優(yōu)化[39],是跨數(shù)據(jù)中心能耗費(fèi)用優(yōu)化的基本方法.與調(diào)節(jié)運(yùn)行節(jié)點(diǎn)數(shù)相比,該方法可以實(shí)時(shí)地完成分布式數(shù)據(jù)中心間的負(fù)載分配,適合對(duì)實(shí)時(shí)性要求較強(qiáng)的交互式負(fù)載進(jìn)行分配.當(dāng)大量用戶同時(shí)使用這種方法進(jìn)行負(fù)載分配時(shí),可能造成電價(jià)較低區(qū)域的數(shù)據(jù)中心負(fù)載的過重,降低負(fù)載的響應(yīng)時(shí)間并對(duì)電網(wǎng)的運(yùn)行穩(wěn)定性造成影響.

跨數(shù)據(jù)中心的負(fù)載分配需要與數(shù)據(jù)中心級(jí)和節(jié)點(diǎn)級(jí)能源優(yōu)化結(jié)合才能將負(fù)載降至最低,即與通過動(dòng)態(tài)調(diào)節(jié)運(yùn)行節(jié)點(diǎn)數(shù)的數(shù)據(jù)中心級(jí)能耗優(yōu)化方法[29]和通過DVFS的節(jié)點(diǎn)級(jí)能耗優(yōu)化方法[10]結(jié)合.Gu等[36]綜合使用調(diào)節(jié)運(yùn)行節(jié)點(diǎn)數(shù)、DVFS和數(shù)據(jù)中心間的負(fù)載分配方法將分布式數(shù)據(jù)中心能耗費(fèi)用優(yōu)化問題轉(zhuǎn)化為混合整數(shù)非線性規(guī)劃問題進(jìn)行求解.

對(duì)于對(duì)外提供服務(wù)的數(shù)據(jù)中心,降低其能耗費(fèi)用是為了獲得更好的盈利能力,需將服務(wù)定價(jià)、負(fù)載分配以及服務(wù)器狀態(tài)調(diào)節(jié)等相關(guān)策略統(tǒng)一考慮[15].Wang等[34]提出了一種基于執(zhí)行期限的定價(jià)策略,用戶執(zhí)行某項(xiàng)任務(wù)所需的費(fèi)用與任務(wù)執(zhí)行時(shí)間有關(guān),如果用戶縮短執(zhí)行時(shí)間,則數(shù)據(jù)中心運(yùn)營商需要啟用更多的節(jié)點(diǎn),用戶則需要支付更高的費(fèi)用.

在云計(jì)算數(shù)據(jù)中心,虛擬機(jī)是常用的組成元素,將虛擬機(jī)進(jìn)行分配同樣可以對(duì)數(shù)據(jù)中心的能耗費(fèi)用進(jìn)行優(yōu)化.Abbasi等[35]將虛擬機(jī)作為負(fù)載進(jìn)行動(dòng)態(tài)分配,將虛擬機(jī)向數(shù)據(jù)中心分配時(shí)綜合考慮了動(dòng)態(tài)電價(jià)、能源使用率、虛擬機(jī)遷移所需的帶寬費(fèi)用,以及虛擬機(jī)遷移的延時(shí)對(duì)服務(wù)質(zhì)量的影響等,將問題轉(zhuǎn)化為混合整數(shù)規(guī)劃問題進(jìn)行求解.

3.3.2 運(yùn)行時(shí)間段之間的負(fù)載分配 面對(duì)隨時(shí)間動(dòng)態(tài)變化的電價(jià),負(fù)載分配的核心思想是使盡量多的負(fù)載運(yùn)行于電價(jià)較低的時(shí)間段.分配過程受數(shù)據(jù)中心的性能以及負(fù)載響應(yīng)時(shí)間的約束.與調(diào)節(jié)運(yùn)行節(jié)點(diǎn)數(shù)相比,這種方法對(duì)運(yùn)行在某一數(shù)據(jù)中心內(nèi)部的負(fù)載進(jìn)行調(diào)度,無需數(shù)據(jù)遷移,適用于對(duì)響應(yīng)時(shí)間要求較低的批處理負(fù)載任務(wù)的分配,但對(duì)負(fù)載響應(yīng)的實(shí)時(shí)性較差.Luo等[9]對(duì)單一集群上的批處理負(fù)載能耗費(fèi)用問題進(jìn)行研究,提出一種基于運(yùn)行時(shí)間段之間負(fù)載分配的IDC能耗費(fèi)用優(yōu)化算法,將計(jì)算量較大的任務(wù)切分為較小的子任務(wù),在集群上并行運(yùn)行：首先對(duì)進(jìn)入任務(wù)隊(duì)列的負(fù)載重新排序,降低負(fù)載拒絕率；然后根據(jù)電價(jià)的時(shí)間變化和負(fù)載的響應(yīng)時(shí)間調(diào)節(jié)負(fù)載的執(zhí)行時(shí)間,在滿足響應(yīng)時(shí)間的前提下優(yōu)化能耗費(fèi)用.

3.3.3 同時(shí)考慮時(shí)間和地理位置的負(fù)載分配 現(xiàn)實(shí)中的數(shù)據(jù)中心可能同時(shí)運(yùn)行著多種類型的負(fù)載.例如,運(yùn)行搜索引擎類應(yīng)用的數(shù)據(jù)中心同時(shí)運(yùn)行著對(duì)時(shí)間響應(yīng)有嚴(yán)格要求的交互式查詢?nèi)蝿?wù)以及對(duì)頁面數(shù)據(jù)的MapReduce操作這類對(duì)響應(yīng)時(shí)間要求較低的操作.這類問題的解決重點(diǎn)在于問題模型的建立和數(shù)學(xué)求解,可以用于解決復(fù)雜負(fù)載的能耗費(fèi)用優(yōu)化問題.一般將數(shù)據(jù)中心的運(yùn)行節(jié)點(diǎn)分為2類,分別運(yùn)行2種類型的負(fù)載：對(duì)于交互式類型的負(fù)載,需要滿足負(fù)載的響應(yīng)時(shí)間要求；對(duì)于批處理負(fù)載,需要滿足其在無窮大的時(shí)間內(nèi)等待執(zhí)行負(fù)載隊(duì)列的穩(wěn)定性,建立滿足這2種類型負(fù)載特性和約束的能耗費(fèi)用優(yōu)化模型.

Yao等[4]在負(fù)載分配中同時(shí)考慮了時(shí)間和地理位置,提出了一種雙時(shí)間尺度能耗費(fèi)用優(yōu)化算法.首先根據(jù)電價(jià)在地理位置上的變化在數(shù)據(jù)中心間進(jìn)行負(fù)載分配,在大時(shí)間尺度上調(diào)節(jié)運(yùn)行服務(wù)器的數(shù)量,然后根據(jù)電價(jià)在時(shí)間上的變化在小時(shí)間尺度上調(diào)節(jié)服務(wù)器的服務(wù)率和負(fù)載分配方式.Xu等[28]將節(jié)點(diǎn)負(fù)載超出節(jié)點(diǎn)最大處理能力的概率定義為負(fù)載溢出率,將其作為優(yōu)化約束條件,在優(yōu)化模型中對(duì)負(fù)載溢出率設(shè)置閾值,使用類似的雙時(shí)間尺度優(yōu)化算法進(jìn)行能耗費(fèi)用優(yōu)化.Guo等[39]對(duì)同時(shí)運(yùn)行交互式負(fù)載和批處理負(fù)載的云計(jì)算數(shù)據(jù)中心的能耗費(fèi)用進(jìn)行建模,用Lyapunov優(yōu)化方法求解.Luo等[40]在分布式集群環(huán)境中考慮了地理位置上的電價(jià)變化,提出了一種基于時(shí)間-空間調(diào)度方法的能耗費(fèi)用優(yōu)化算法.Zheng等[38]利用動(dòng)態(tài)變化的電價(jià)和碳排放量,在滿足碳排放量和負(fù)載響應(yīng)要求的前提下對(duì)IDC數(shù)據(jù)中心的能耗費(fèi)用和網(wǎng)絡(luò)費(fèi)用的總和進(jìn)行優(yōu)化.Chiaraviglio等[37]同時(shí)考慮了數(shù)據(jù)中心運(yùn)營商和網(wǎng)絡(luò)設(shè)施運(yùn)營商的能耗費(fèi)用,將問題轉(zhuǎn)化為混合整數(shù)規(guī)劃問題用分布式算法求解.Buchbinder等[41]將網(wǎng)絡(luò)帶寬費(fèi)用引入負(fù)載分配模型中,在電網(wǎng)和多種可再生能源混合的電力環(huán)境下對(duì)費(fèi)用進(jìn)行在線優(yōu)化.與同構(gòu)數(shù)據(jù)中心相比,異構(gòu)數(shù)據(jù)中心的能耗費(fèi)用優(yōu)化空間更大,其優(yōu)化難度也更高[42-44].

3.3.4 數(shù)據(jù)中心內(nèi)的負(fù)載遷移方法 數(shù)據(jù)中心內(nèi)的負(fù)載遷移方法最早由Chase等[31]于2001年提出,采用與負(fù)載均衡相反的思路,將新到負(fù)載的分配逐步集中到部分節(jié)點(diǎn),并將其他節(jié)點(diǎn)的負(fù)載向這些節(jié)點(diǎn)遷移,使其他節(jié)點(diǎn)的負(fù)載逐步變?yōu)?,將空閑節(jié)點(diǎn)改為休眠或關(guān)閉狀態(tài),通過動(dòng)態(tài)調(diào)節(jié)運(yùn)行節(jié)點(diǎn)數(shù)對(duì)能耗費(fèi)用進(jìn)行優(yōu)化.

虛擬機(jī)是IDC數(shù)據(jù)中心最常見的一種應(yīng)用類型,1臺(tái)服務(wù)器上一般同時(shí)運(yùn)行多個(gè)虛擬機(jī);虛擬機(jī)在數(shù)據(jù)中心內(nèi)的遷移技術(shù)已經(jīng)非常成熟,通過虛擬機(jī)遷移對(duì)節(jié)點(diǎn)資源進(jìn)行整合聚集是IDC數(shù)據(jù)中心能耗優(yōu)化的主要方法.Xiao等[45]使用虛擬化技術(shù)來動(dòng)態(tài)分配數(shù)據(jù)中心的資源,將節(jié)點(diǎn)的狀態(tài)標(biāo)識(shí)為H(Hot)、W(Warm)、G(Green)、C(Cold).當(dāng)集群整體負(fù)載低于G時(shí),將低于C的物理節(jié)點(diǎn)上的虛擬機(jī)向低于W的節(jié)點(diǎn)遷移;當(dāng)該節(jié)點(diǎn)上的虛擬機(jī)遷移完成后關(guān)閉該物理節(jié)點(diǎn),減少集群的峰值功率.

這種方法常用于對(duì)運(yùn)行在數(shù)據(jù)中心的虛擬機(jī)進(jìn)行管理,從而對(duì)數(shù)據(jù)中心的能耗費(fèi)用進(jìn)行優(yōu)化.由于負(fù)載遷移和節(jié)點(diǎn)狀態(tài)切換需要一定的時(shí)間,并需要保持用戶數(shù)據(jù)和運(yùn)行狀態(tài)的一致性,切換時(shí)集群的性能和服務(wù)的穩(wěn)定性會(huì)受到影響,不建議頻繁地切換節(jié)點(diǎn)狀態(tài).

3.3.5 討論 以上研究均使用智能電網(wǎng)的實(shí)時(shí)電價(jià).假定數(shù)據(jù)中心的運(yùn)行不對(duì)實(shí)時(shí)電價(jià)產(chǎn)生影響,并以數(shù)據(jù)中心的用量費(fèi)用作為優(yōu)化目標(biāo).實(shí)際上,數(shù)據(jù)中心是長(zhǎng)期、高負(fù)載的用電單位,與電力運(yùn)營商簽訂長(zhǎng)期用電合同,不使用零售電價(jià).實(shí)際的電費(fèi)合同從用電總量、峰值功率2個(gè)方面與用戶進(jìn)行約定.將負(fù)載分配到電價(jià)較低的區(qū)域會(huì)導(dǎo)致該區(qū)域的負(fù)載升高.一方面數(shù)據(jù)中心需要投入昂貴的硬件設(shè)施來應(yīng)對(duì)負(fù)載峰值;另一方面數(shù)據(jù)中心需要為其負(fù)載峰值支付很高的用量費(fèi)用,從而降低能耗費(fèi)用優(yōu)化的效果.由于數(shù)據(jù)中心的負(fù)載分配受電價(jià)波動(dòng)的影響,數(shù)據(jù)中心的負(fù)載很難提前預(yù)測(cè),無法與電力供應(yīng)商簽訂準(zhǔn)確的電費(fèi)合同,因此控制數(shù)據(jù)中心的峰值功率并與電網(wǎng)進(jìn)行交互對(duì)于能耗費(fèi)用優(yōu)化的影響很大.

3.4 部分執(zhí)行方法

部分執(zhí)行(partial execution, PE)是一種通過降低服務(wù)質(zhì)量減少負(fù)載執(zhí)行數(shù)量的方法,可達(dá)到降低峰值功率的效果,常用于搜索引擎、金融計(jì)算、仿真模擬等可接受近似計(jì)算結(jié)果的領(lǐng)域[16],這些類型業(yè)務(wù)的計(jì)算結(jié)果精度取決于計(jì)算任務(wù)量,計(jì)算時(shí)間越長(zhǎng),計(jì)算越充分,其計(jì)算結(jié)果越精確.以雅虎搜索為例,執(zhí)行50%的負(fù)載即可獲得80%的服務(wù)質(zhì)量[46],但隨著負(fù)載執(zhí)行比率的增加,服務(wù)質(zhì)量的提高越來越緩慢,因此降低少許服務(wù)性能即可大幅降低數(shù)據(jù)中心的能耗.

Xu等[16]將PE方法用于降低運(yùn)行搜索引擎類負(fù)載的分布式數(shù)據(jù)中心的峰值功率,將數(shù)據(jù)中心運(yùn)行模式分為高質(zhì)量服務(wù)和低質(zhì)量服務(wù)兩種模式,在滿足服務(wù)質(zhì)量的約束下,依次將負(fù)載最高的時(shí)間段運(yùn)行模式設(shè)為低質(zhì)量服務(wù)模式,降低峰值功率.PE方法可以在滿足服務(wù)質(zhì)量的前提下直接降低運(yùn)行負(fù)載量,配合DVFS方法、運(yùn)行節(jié)點(diǎn)控制方法可以更大程度降低數(shù)據(jù)中心的能耗費(fèi)用.由于PE方法對(duì)于負(fù)載的類型有明確的限定,其使用范圍較為固定,專用于對(duì)運(yùn)行搜索引擎、金融計(jì)算等交互式負(fù)載的數(shù)據(jù)中心能耗費(fèi)用進(jìn)行優(yōu)化.

3.5 使用UPS能量存儲(chǔ)設(shè)備

在負(fù)載高峰時(shí)段,使用能量存儲(chǔ)設(shè)備對(duì)數(shù)據(jù)中心供電可以降低電網(wǎng)的峰值用電功率,從而降低需量費(fèi)用；此時(shí)可采用數(shù)據(jù)中心的電力保障設(shè)備UPS.UPS的加入給數(shù)據(jù)中心能耗費(fèi)用優(yōu)化模型增加了1個(gè)電能存儲(chǔ)調(diào)節(jié)裝置,即增加了1個(gè)變量,使得優(yōu)化問題增加了1個(gè)維度,形成1個(gè)新的優(yōu)化研究方向.

數(shù)據(jù)中心的UPS即不間斷電源用于保障電力的穩(wěn)定供應(yīng),常在主供電源中斷后、備用電源啟動(dòng)前的10～20 s使用,而UPS的設(shè)計(jì)容量可供數(shù)據(jù)中心運(yùn)行5～30 min,因此在確保數(shù)據(jù)中心供電安全性的前提下,可以利用電價(jià)隨時(shí)間的波動(dòng)和數(shù)據(jù)中心負(fù)載的波動(dòng)對(duì)UPS進(jìn)行充放電操作,減少數(shù)據(jù)中心在電價(jià)峰值和負(fù)載峰值時(shí)段的電網(wǎng)用電,從而對(duì)數(shù)據(jù)中心的能耗費(fèi)用進(jìn)行優(yōu)化.2008年,Bar-Noy等[49]最早使用UPS對(duì)已知負(fù)載情況下的電網(wǎng)峰值控制進(jìn)行研究,并于第2年對(duì)隨機(jī)負(fù)載情況下的電網(wǎng)峰值優(yōu)化問題構(gòu)建了在線優(yōu)化算法,將該研究用于數(shù)據(jù)中心的峰值功率控制.目前的相關(guān)研究分為以下2個(gè)類別.

3.5.1 利用外部負(fù)載的波動(dòng) 高負(fù)載時(shí)間使用UPS對(duì)數(shù)據(jù)中心供電,在低負(fù)載時(shí)間對(duì)UPS進(jìn)行充電,降低數(shù)據(jù)中心的峰值功率,對(duì)用量費(fèi)用進(jìn)行優(yōu)化.Xu等[16]將UPS用于運(yùn)行交互式負(fù)載的分布式數(shù)據(jù)中心,在滿足用戶服務(wù)質(zhì)量的前提下同時(shí)使用UPS充放電操作和PE方法對(duì)需量費(fèi)用進(jìn)行優(yōu)化.Palasamudram等[50]使用類似的方法對(duì)分布式內(nèi)容分發(fā)網(wǎng)絡(luò)(content delivery network,CDN)的需量費(fèi)用和用量費(fèi)用進(jìn)行優(yōu)化.Aksanli等[51]提出主供電源與UPS共同使用且UPS放電電流可調(diào)節(jié)的模型,使UPS的使用非常靈活.Govindan等[48]對(duì)充放電折舊費(fèi)用固定、未考慮UPS的生命周期和數(shù)據(jù)中心可用性等問題的UPS模型進(jìn)行改造并設(shè)計(jì)了eBuff模型,將充放電深度、充放電次數(shù)、充放電功率、充放電時(shí)間、充放電過程中的能耗損失以及數(shù)據(jù)中心可用性等因素考慮在內(nèi),對(duì)能耗費(fèi)用進(jìn)行優(yōu)化.

3.5.2 利用電價(jià)的時(shí)間波動(dòng) 在電價(jià)較低的時(shí)間段對(duì)UPS進(jìn)行充電,在電價(jià)較高的時(shí)間段使用UPS對(duì)數(shù)據(jù)中心進(jìn)行供電,從而降低數(shù)據(jù)中心的需量費(fèi)用.在已知外部電價(jià)和負(fù)載的條件下對(duì)UPS充放電控制是一種離線算法,只需要對(duì)負(fù)載數(shù)據(jù)中心的外部電價(jià)和負(fù)載進(jìn)行排序.當(dāng)外部電價(jià)和負(fù)載為無法提前知曉的隨機(jī)數(shù)時(shí),該優(yōu)化問題的求解面臨新的挑戰(zhàn).Urgaonkar等[52]使用Lyapunov優(yōu)化對(duì)單一數(shù)據(jù)中心的能耗費(fèi)用優(yōu)化進(jìn)行研究,將UPS電量的限制轉(zhuǎn)化為隊(duì)列穩(wěn)定問題進(jìn)行求解.Guo等[53]對(duì)分布式數(shù)據(jù)中心的該優(yōu)化問題進(jìn)行研究,同時(shí)考慮電價(jià)在時(shí)間和地理位置上的變化.

3.5.3 討論 將UPS用于數(shù)據(jù)中心的能耗費(fèi)用優(yōu)化不會(huì)對(duì)當(dāng)前運(yùn)行的負(fù)載產(chǎn)生直接影響,但會(huì)對(duì)數(shù)據(jù)中心的供電可靠性產(chǎn)生兩方面的影響：1)利用外部負(fù)載的波動(dòng)和電價(jià)的時(shí)間波動(dòng)對(duì)UPS進(jìn)行充放電操作會(huì)縮短UPS的電池使用壽命,降低數(shù)據(jù)中心的供電可靠性；2)當(dāng)UPS處于充放電過程中時(shí),其電量達(dá)不到設(shè)計(jì)值,應(yīng)急供電時(shí)間會(huì)相應(yīng)減少,從而降低數(shù)據(jù)中心的供電可靠性,因此使用UPS對(duì)數(shù)據(jù)中心能耗費(fèi)用進(jìn)行優(yōu)化需要將UPS的使用壽命和供電可靠性考慮在內(nèi).

以上研究中的UPS均是向整個(gè)數(shù)據(jù)中心供電,電能需要經(jīng)過2次交/直流轉(zhuǎn)換才能最終被服務(wù)器等IT設(shè)備使用,這個(gè)過程至少有10%的能量損耗.Google為其每臺(tái)服務(wù)器內(nèi)置了12 V的大容量電池以保障供電,當(dāng)主供電源中斷時(shí)大容量電池直接對(duì)服務(wù)器供電,解決了傳統(tǒng)數(shù)據(jù)中心能量傳輸系統(tǒng)的損耗問題,因此內(nèi)置節(jié)點(diǎn)級(jí)UPS的服務(wù)器是未來服務(wù)器發(fā)展的新趨勢(shì).

節(jié)點(diǎn)級(jí)UPS使得節(jié)點(diǎn)能耗控制更加靈活,其充放電控制是未來新的研究方向[54].Yao等[55]借鑒Google數(shù)據(jù)中心的模式,為每臺(tái)服務(wù)器配備獨(dú)立的UPS,通過MPC模型預(yù)估控制器對(duì)每個(gè)UPS的充放電行為進(jìn)行控制,從而優(yōu)化數(shù)據(jù)中心的能耗費(fèi)用.

UPS容量和UPS單次充放電的費(fèi)用對(duì)能耗費(fèi)用優(yōu)化的效果有直接影響.在對(duì)用量費(fèi)用進(jìn)行優(yōu)化時(shí),較大容量的UPS可以在低電價(jià)時(shí)段儲(chǔ)存更多的電能,在高電價(jià)時(shí)段釋放出來；在對(duì)需量費(fèi)用優(yōu)化時(shí),較大容量的UPS可以將高負(fù)載時(shí)段功率降得更低,但其自身成本的增加也不可忽略.當(dāng)單次充放電費(fèi)用較低時(shí),使用UPS能很好地降低能耗費(fèi)用；當(dāng)單次充放電費(fèi)用提高時(shí),UPS對(duì)降低能耗費(fèi)用的作用逐漸減弱,文獻(xiàn)[53]對(duì)此進(jìn)行了詳細(xì)的實(shí)驗(yàn)驗(yàn)證.

與UPS相比,熱能存儲(chǔ)設(shè)備的價(jià)格優(yōu)勢(shì)十分明顯,是數(shù)據(jù)中心能耗費(fèi)用優(yōu)化的新方法.Google于2011年在其數(shù)據(jù)中心首次使用熱能存儲(chǔ)設(shè)備.熱能存儲(chǔ)設(shè)備的儲(chǔ)熱能力強(qiáng),可以通過在電價(jià)較低的時(shí)間段進(jìn)行冷卻,在電價(jià)較高的時(shí)間段使用熱能存儲(chǔ)設(shè)備通過對(duì)數(shù)據(jù)中心制冷來降低制冷系統(tǒng)的能耗費(fèi)用.Guo等[23]利用電價(jià)在時(shí)間上的波動(dòng)對(duì)使用熱能存儲(chǔ)設(shè)備的數(shù)據(jù)中心能耗費(fèi)用進(jìn)行研究.

3.6 使用可再生能源的方法

風(fēng)能、水能、太陽能等可再生能源在數(shù)據(jù)中心的使用越來越廣泛.與石油、煤炭、天然氣等高碳能源相比.可再生能源的電價(jià)雖然較低,但其初期建設(shè)成本高,發(fā)電量隨天氣變化的波動(dòng)性大,對(duì)電網(wǎng)的穩(wěn)定性影響較大.合理地使用可再生能源可以在降低能耗費(fèi)用的同時(shí)有效地降低輔助優(yōu)化目標(biāo)——碳排放量.可再生能源的接入使得數(shù)據(jù)中心能耗費(fèi)用優(yōu)化模型的電力供應(yīng)增加了一個(gè)隨機(jī)變量,增加了問題求解的復(fù)雜性.可再生能源在降低能耗費(fèi)用和降低碳排放量方面的顯著優(yōu)勢(shì),成為近年來數(shù)據(jù)中心能耗費(fèi)用優(yōu)化的研究熱點(diǎn).

3.6.1 研究進(jìn)展 可再生能源的發(fā)電量和價(jià)格受天氣影響始終處于變化狀態(tài).使用可再生能源對(duì)能耗費(fèi)用進(jìn)行優(yōu)化時(shí),需要按照風(fēng)能、水能、太陽能等能源的特征對(duì)其發(fā)電行為進(jìn)行建模,還需要考慮外部負(fù)載類型、發(fā)電費(fèi)用、能量存儲(chǔ)、服務(wù)等級(jí)協(xié)議等因素.為了方便科研人員對(duì)再生能源的使用進(jìn)行評(píng)估,Brown等[56]對(duì)數(shù)據(jù)中心可再生能源的發(fā)電和使用全過程進(jìn)行仿真建模,并對(duì)不同負(fù)載類型數(shù)據(jù)中心的可再生能源使用進(jìn)行優(yōu)化,設(shè)計(jì)了數(shù)據(jù)中心可再生能源使用模擬器ReRack.竇暉等[14]對(duì)自建可再生能源發(fā)電廠的數(shù)據(jù)中心建立能耗費(fèi)用模型,形式化為一個(gè)隨機(jī)優(yōu)化問題,提出一種在線式負(fù)載調(diào)度算法,并使用Lyapunov優(yōu)化方法求解.Berral等[60]對(duì)自建可再生能源發(fā)電廠的數(shù)據(jù)中心選址問題進(jìn)行研究.通過虛擬機(jī)遷移方法在保證可再生能源使用比例的前提下對(duì)數(shù)據(jù)中心能耗費(fèi)用進(jìn)行優(yōu)化,并用OpenNebula實(shí)現(xiàn)了一個(gè)數(shù)據(jù)中心能耗費(fèi)用管理平臺(tái),對(duì)虛擬機(jī)進(jìn)行管理.

高能耗的數(shù)據(jù)中心擁有年度碳排放量指標(biāo).當(dāng)碳排放量超標(biāo)時(shí)需要購買昂貴的碳排放量指標(biāo)或被征收高額的電費(fèi),在碳排放量的約束下對(duì)能耗費(fèi)用進(jìn)行優(yōu)化是一種直接的優(yōu)化思路.Le等[57]提出了碳排放總量受限的數(shù)據(jù)中心能源使用、能耗費(fèi)用和碳排量管理的框架.Zhou等[58]將該問題的碳排放總量約束轉(zhuǎn)化為當(dāng)前時(shí)間片虛擬隊(duì)列的穩(wěn)定問題,通過Lyapunov優(yōu)化方法求解負(fù)載分配方式、運(yùn)行節(jié)點(diǎn)數(shù)和節(jié)點(diǎn)服務(wù)率.碳排放量和能耗費(fèi)用是互相制約的2個(gè)優(yōu)化目標(biāo),將負(fù)載由低電價(jià)數(shù)據(jù)中心向低碳區(qū)域的數(shù)據(jù)中心遷移可以降低碳排放量,但由于低碳區(qū)域的電價(jià)一般高于高碳區(qū)域的電價(jià),能耗費(fèi)用將提高.Abbasi等[62]在此基礎(chǔ)上增加了碳排放總量的約束條件進(jìn)行研究.

在有限的能耗費(fèi)用預(yù)算下提高可再生能源的使用比例是另一種優(yōu)化思路.Zhang等[59]對(duì)固定能耗費(fèi)用預(yù)算下的分布式數(shù)據(jù)中心如何最大限度地使用可再生能源進(jìn)行研究；Kiani等[61]假設(shè)分布式數(shù)據(jù)中心自帶可再生能源發(fā)電設(shè)施,同時(shí)考慮可再生能源的使用和不同地理位置數(shù)據(jù)中心之間的電價(jià)波動(dòng),根據(jù)外部負(fù)載使用的電力來源將負(fù)載定義為綠色負(fù)載和棕色負(fù)載,在保障綠色能源使用率最高的前提下,對(duì)電網(wǎng)能耗費(fèi)用進(jìn)行優(yōu)化.

3.6.2 討論 可再生能源具有綠色、低碳的社會(huì)屬性和投產(chǎn)之后低發(fā)電成本的經(jīng)濟(jì)屬性,近年來發(fā)展迅速,得到廣泛應(yīng)用.預(yù)計(jì)2030年,可再生能源的產(chǎn)能將占能源消耗總量的20%.可再生能源發(fā)電量不可提前預(yù)知、產(chǎn)能受天氣因素的影響較大,大量接入可再生能源可能對(duì)電網(wǎng)的運(yùn)行穩(wěn)定性產(chǎn)生較大影響.使用大容量電池解決電網(wǎng)峰值問題的成本過高,因此,電力運(yùn)營商推出需求響應(yīng)項(xiàng)目來保障電網(wǎng)的運(yùn)行穩(wěn)定[68].數(shù)據(jù)中心能耗巨大且負(fù)載可以動(dòng)態(tài)調(diào)節(jié),參與需求響應(yīng)項(xiàng)目并根據(jù)電網(wǎng)運(yùn)行狀態(tài)調(diào)節(jié)數(shù)據(jù)中心的運(yùn)行功率,可以大幅降低能耗費(fèi)用,但同時(shí)也會(huì)給數(shù)據(jù)中心的運(yùn)行穩(wěn)定性帶來不利影響,這給數(shù)據(jù)中心的可再生能源使用提出了新的挑戰(zhàn),成為2014—2015年INFOCOM、SIGCOMM、ICDCS、SIGMETRICS、HPDC等國際會(huì)議的最新研究熱點(diǎn).

3.7 與電網(wǎng)交互的方法

在能耗費(fèi)用優(yōu)化的過程中,電網(wǎng)運(yùn)營商的目標(biāo)是使電網(wǎng)負(fù)載達(dá)到均衡狀態(tài)以降低電網(wǎng)的運(yùn)行風(fēng)險(xiǎn),而數(shù)據(jù)中心運(yùn)營商的目標(biāo)是最小化能耗費(fèi)用,兩者目標(biāo)不一致.使用戶積極參與到電網(wǎng)的運(yùn)營中是智能電網(wǎng)的核心目標(biāo)之一.數(shù)據(jù)中心參與智能電網(wǎng)的運(yùn)行和價(jià)格制定,可以在對(duì)其能耗費(fèi)用進(jìn)行優(yōu)化的同時(shí)提高電網(wǎng)運(yùn)行的穩(wěn)定性.

由于智能電網(wǎng)中不同區(qū)域的電價(jià)存在差異,數(shù)據(jù)中心運(yùn)營商在任務(wù)調(diào)度時(shí)會(huì)將負(fù)載分配到價(jià)格較低的區(qū)域,這在降低數(shù)據(jù)中心能耗費(fèi)用的同時(shí)會(huì)加重?cái)?shù)據(jù)中心所在區(qū)域的電力負(fù)載,對(duì)電網(wǎng)的負(fù)載穩(wěn)定性產(chǎn)生較大影響[63].智能電網(wǎng)會(huì)為大規(guī)模數(shù)據(jù)中心設(shè)定能耗閾值,通過節(jié)點(diǎn)邊際價(jià)格等價(jià)格機(jī)制對(duì)數(shù)據(jù)中心的負(fù)載分配進(jìn)行引導(dǎo).

Wang等[17]在保證電網(wǎng)均衡的前提下對(duì)能耗費(fèi)用進(jìn)行優(yōu)化,將優(yōu)化過程分為2個(gè)階段,首先通過分支界定法為每個(gè)數(shù)據(jù)中心設(shè)置能耗閾值,降低電網(wǎng)運(yùn)行風(fēng)險(xiǎn),根據(jù)閾值和定價(jià)策略生成對(duì)應(yīng)的電價(jià),對(duì)智能電網(wǎng)的負(fù)載進(jìn)行均衡；然后通過次梯度算法求解數(shù)據(jù)中心間的負(fù)載分配方式、每個(gè)數(shù)據(jù)中心的運(yùn)行節(jié)點(diǎn)數(shù).Zhang等[64]假設(shè)數(shù)據(jù)中心對(duì)電網(wǎng)的運(yùn)行負(fù)載穩(wěn)定性具有影響,電價(jià)采用節(jié)點(diǎn)邊際定價(jià)法,當(dāng)消耗的電量超過閾值時(shí),電價(jià)將不斷提高.數(shù)據(jù)中心根據(jù)歷史運(yùn)行數(shù)據(jù)設(shè)定每月和每日的能耗費(fèi)用預(yù)算,當(dāng)超過預(yù)算時(shí)通過保證高等級(jí)用戶的服務(wù)響應(yīng),降低低等級(jí)用戶的服務(wù)響應(yīng),對(duì)能耗費(fèi)用進(jìn)行優(yōu)化.Yao等[65]將能耗費(fèi)用優(yōu)化問題轉(zhuǎn)化為負(fù)載和功耗之間的動(dòng)態(tài)控制問題,設(shè)計(jì)了基于反饋的預(yù)估控制模型,使用遞歸最小二乘法對(duì)負(fù)載進(jìn)行在線預(yù)測(cè),通過動(dòng)態(tài)調(diào)節(jié)數(shù)據(jù)中心的運(yùn)行節(jié)點(diǎn)數(shù)和節(jié)點(diǎn)負(fù)載來控制系統(tǒng)負(fù)載,通過調(diào)節(jié)功耗預(yù)算來降低峰值功率.Zhou等[12]提出了分布式數(shù)據(jù)中心需求側(cè)響應(yīng)的交易機(jī)制,并對(duì)由多種可再生能源同時(shí)供電的數(shù)據(jù)中心使用多領(lǐng)導(dǎo)者單跟隨者博弈模型,提出了一種新的定價(jià)策略,既保障數(shù)據(jù)中心的性能、穩(wěn)定性和健壯性,又保障智能電網(wǎng)的均衡定價(jià)[66].

3.8 虛擬化技術(shù)

核心思想是使用虛擬化軟件(如：KVM、XEN等)將物理機(jī)切分為若干個(gè)互相獨(dú)立的虛擬機(jī),使每臺(tái)虛擬機(jī)運(yùn)行自己的應(yīng)用軟件.虛擬化技術(shù)使得數(shù)據(jù)中心具有服務(wù)器整合、在線遷移、隔離性、高可用性、靈活部署、管理方便等優(yōu)點(diǎn),降低了數(shù)據(jù)中心的建設(shè)、運(yùn)營成本,增加了應(yīng)用部署的靈活性,在數(shù)據(jù)中心得到廣泛應(yīng)用.虛擬化技術(shù)與數(shù)據(jù)中心能耗管理方法的結(jié)合給數(shù)據(jù)中心的能耗費(fèi)用優(yōu)化提供了新的思路.

葉可江等[69]從能耗測(cè)量、能耗建模、能耗管理實(shí)現(xiàn)機(jī)制和能耗管理優(yōu)化算法4個(gè)方面對(duì)虛擬化云計(jì)算平臺(tái)能耗管理的相關(guān)研究進(jìn)行綜述.作為集群資源管理技術(shù),虛擬化技術(shù)可以與前面所述的多種方法綜合使用,對(duì)數(shù)據(jù)中心能耗進(jìn)行優(yōu)化.Gallego等[70]綜合使用了虛擬化、DVFS和調(diào)整運(yùn)行節(jié)點(diǎn)數(shù)方法對(duì)虛擬化的數(shù)據(jù)中心能耗進(jìn)行優(yōu)化,將問題轉(zhuǎn)化為混合整數(shù)規(guī)劃問題進(jìn)行求解.

使用虛擬化技術(shù)可以將多臺(tái)服務(wù)器上運(yùn)行的應(yīng)用程序整合到一臺(tái)服務(wù)器,通過關(guān)閉空閑的服務(wù)器來降低數(shù)據(jù)中心的能耗.Kusic等[71]最早對(duì)虛擬化的數(shù)據(jù)中心能耗優(yōu)化進(jìn)行研究,在保障QoS的前提下,通過調(diào)整服務(wù)器中處于運(yùn)行狀態(tài)的虛擬機(jī)數(shù)量,將應(yīng)用程序進(jìn)行整合,關(guān)閉空閑的物理節(jié)點(diǎn),提高運(yùn)行服務(wù)器的使用效率.

在虛擬化的服務(wù)器中,虛擬機(jī)的硬件資源是虛擬化得來的,虛擬資源與物理資源相分離,無法對(duì)虛擬機(jī)使用硬件層和操作系統(tǒng)層的能耗管理技術(shù),這成為虛擬化平臺(tái)能耗管理的新挑戰(zhàn).由于虛擬化環(huán)境中虛擬機(jī)的能耗無法直接測(cè)量,Kansal等[72]提出了一個(gè)間接的虛擬機(jī)能耗測(cè)量機(jī)制Joulemeter,為虛擬機(jī)建立能耗模型,根據(jù)虛擬機(jī)運(yùn)行時(shí)的資源使用率測(cè)量值來估算虛擬機(jī)的能耗.將服務(wù)器虛擬化并部署應(yīng)用之后,其服務(wù)器的單節(jié)點(diǎn)能耗比虛擬化之前有所增加,服務(wù)器的單節(jié)點(diǎn)吞吐量有所降低,從而會(huì)影響數(shù)據(jù)中心的性能.Jin等[73]對(duì)運(yùn)行計(jì)算密集型和網(wǎng)絡(luò)密集型負(fù)載的虛擬化數(shù)據(jù)中心的能耗進(jìn)行研究,通過實(shí)驗(yàn)分析了數(shù)據(jù)中心虛擬化帶來的能耗優(yōu)化和性能降低之間的平衡關(guān)系.

4 結(jié) 語

智能電網(wǎng)與數(shù)據(jù)中心的結(jié)合使能耗優(yōu)化問題增加了電價(jià)這一新的維度,從而產(chǎn)生了一系列亟待解決的新問題,引起大量專家和學(xué)者的關(guān)注,成為綠色數(shù)據(jù)中心研究的熱點(diǎn).不同的電力來源、電價(jià)規(guī)則、優(yōu)化目標(biāo)、負(fù)載類型、約束條件、應(yīng)用領(lǐng)域形成種類繁多的能耗費(fèi)用優(yōu)化問題,解決問題的核心在于建立合理、完備、可解的問題模型,并使用相應(yīng)的數(shù)學(xué)方法進(jìn)行求解.目前智能電網(wǎng)本身的研究還處于起步階段,基于智能電網(wǎng)的數(shù)據(jù)中心能耗費(fèi)用優(yōu)化研究遠(yuǎn)遠(yuǎn)沒有成熟,很多問題和難點(diǎn)都需要進(jìn)一步研究,總結(jié)如下.

1)多目標(biāo)優(yōu)化：為數(shù)據(jù)中心進(jìn)行負(fù)載分配時(shí)往往需考慮多個(gè)優(yōu)化目標(biāo),如負(fù)載響應(yīng)時(shí)間、服務(wù)質(zhì)量、碳排放量、服務(wù)穩(wěn)定性等,這些優(yōu)化目標(biāo)之間的制約關(guān)系以及如何在多個(gè)優(yōu)化目標(biāo)之間找到平衡需要進(jìn)行深入研究.

2)數(shù)據(jù)中心需求響應(yīng)：數(shù)據(jù)中心的能耗巨大,負(fù)載可以動(dòng)態(tài)調(diào)節(jié),適合于參與需求響應(yīng)項(xiàng)目.數(shù)據(jù)中心需求響應(yīng)可以在調(diào)節(jié)電網(wǎng)負(fù)載的同時(shí)降低數(shù)據(jù)中心的能耗費(fèi)用,從而得到雙贏的結(jié)果.數(shù)據(jù)中心既可以使用電力運(yùn)營商的時(shí)間段定價(jià)、峰值定價(jià)、一致性峰值定價(jià)、實(shí)時(shí)定價(jià)等定價(jià)方式被動(dòng)地參與需求響應(yīng),也可以通過投標(biāo)、談判等方式主動(dòng)地參與需求響應(yīng).數(shù)據(jù)中心如何參與需求響應(yīng),如何設(shè)計(jì)適合數(shù)據(jù)中心的需求響應(yīng)項(xiàng)目有待進(jìn)行深入研究.

3)節(jié)點(diǎn)級(jí)UPS：使用內(nèi)置UPS服務(wù)器的數(shù)據(jù)中心能耗效率高,可以精確地調(diào)節(jié)電網(wǎng)的功率負(fù)載,是數(shù)據(jù)中心未來的發(fā)展趨勢(shì)；同時(shí),節(jié)點(diǎn)級(jí)UPS僅對(duì)單個(gè)節(jié)點(diǎn)供電,無須對(duì)整個(gè)數(shù)據(jù)中心供電,提高了UPS的平均使用壽命,降低了UPS單次充放電的成本.如何控制節(jié)點(diǎn)級(jí)CPU的充放電行為、UPS的容量與優(yōu)化性能的關(guān)系以及使用節(jié)點(diǎn)級(jí)UPS的經(jīng)濟(jì)效益分析是能耗費(fèi)用優(yōu)化的關(guān)鍵.

4)可再生能源發(fā)電設(shè)施：為數(shù)據(jù)中心配備可再生能源發(fā)電設(shè)施是現(xiàn)代數(shù)據(jù)中心實(shí)現(xiàn)碳排放量目標(biāo)的有效方法.新建發(fā)電設(shè)施如何選址,如何對(duì)包含動(dòng)態(tài)電價(jià)、UPS、可再生能源的數(shù)據(jù)中心進(jìn)行能耗優(yōu)化有很多需要解決的問題.

5)在線優(yōu)化算法：數(shù)據(jù)中心的電價(jià)、負(fù)載、可再生能源的發(fā)電量等都處于動(dòng)態(tài)變化中,無法提前知曉,與離線優(yōu)化算法相比,在線優(yōu)化算法的設(shè)計(jì)與實(shí)現(xiàn)難度更大.

6)能源互聯(lián)網(wǎng)：能源互聯(lián)網(wǎng)是信息技術(shù)與可再生能源相結(jié)合的產(chǎn)物,用于解決可再生能源的利用效率問題.能源互聯(lián)網(wǎng)中的能量以電能、化學(xué)能、熱能等形式存在,多樣化能源的分布式發(fā)電、傳輸、存儲(chǔ)、消耗為數(shù)據(jù)中心的能耗費(fèi)用優(yōu)化開啟了一個(gè)全新的研究領(lǐng)域.

綜合數(shù)據(jù)中心能耗費(fèi)用優(yōu)化所面臨的挑戰(zhàn)、研究熱點(diǎn)以及研究展望,結(jié)合本文總結(jié)的能費(fèi)用優(yōu)化方法,本課題組將在下一階段對(duì)數(shù)據(jù)中心能耗費(fèi)用優(yōu)化相關(guān)應(yīng)用的多目標(biāo)優(yōu)化、數(shù)據(jù)中心需求響應(yīng)、節(jié)點(diǎn)級(jí)UPS、可再生能源發(fā)電設(shè)施選址、在線優(yōu)化算法等問題展開研究.

[1] GAO P X, CURTIS A R, WONG B, et al. It’s not easy being green [J]. ACM SIGCOMM Computer Communication Review, 2012, 42(4): 211-222.

[2] BILAL K, MALIK S U R, KHALID O, et al. A taxonomy and survey on green data center networks [J]. Future Generation Computer Systems, 2014, 36(7): 189-208.

[3] WANG L, KHAN S U. Review of performance metrics for green data centers: a taxonomy study [J]. The Journal of Supercomputing, 2013, 63(3): 639-656.

[4] YAO Y, HUANG L, SHARMA A, et al. Power cost reduction in distributed data centers: a two-time-scale approach for delay tolerant workloads [J]. IEEE Transactions on Parallel and Distributed Systems, 2014, 25(1): 200-211.

[5] 余貽鑫,秦超.智能電網(wǎng)基本理念闡釋[J].中國科學(xué):信息科學(xué),2014,44(6): 694-701. YU Yi-xin, QIN Chao. Expatiation on the basic ideas of smart grid [J]. SCIENTIA SINCA Informations, 2014, 44(6): 694-701.

[6] 張東霞,苗新,劉麗平,等.智能電網(wǎng)大數(shù)據(jù)技術(shù)發(fā)展研究[J].中國電機(jī)工程學(xué)報(bào),2015, 35(1): 2-11. ZHANG Dong-xia, MIAO Xin, LIU Li-pin, et al. Research on development strategy for smart grid big data [J]. Proceedings of the CSEE, 2015, 35(1): 2-11.

[7] WU G, GU H, WANG K, et al. A scalable AWG-based data center network for cloud computing [J]. Optical Switching and Networking, 2015, 16: 46-51.

[8] QURESHI A, WEBER R, BALAKRISHNAN H, et al. Cutting the electric bill for internet-scale systems [J]. ACM SIGCOMM Computer Communication Review, 2009, 39(4): 123-134.

[9] LUO J, RAO L, LIU X. Temporal load balancing with service delay guarantees for data center energy cost optimization [J]. IEEE Transactions on Parallel and Distributed Systems, 2014, 25(3): 775-784.

[10] RAO L, LIU X, ILIC M D, et al. Distributed coordination of internet data centers under multiregional electricity markets [J]. Proceedings of the IEEE, 2012, 100(1): 269-282.

[11] GU L, ZENG D, LI P, et al. Cost minimization for big data processing in geo-distributed data centers [J]. IEEE Transactions on Emerging Topics in Computing, 2014, 2(3): 314-323.

[12] ZHOU Z, LIU F, LI Z, et al. When smart grid meets geo-distributed cloud: an auction approach to datacenter demand response [C]∥ Proceedings of the 34rd IEEE International Conference on Computer Communications. Hong Kong: IEEE, 2015: 2650-2658.

[13] 王巍,羅軍舟,宋愛波.基于動(dòng)態(tài)定價(jià)策略的數(shù)據(jù)中心能耗成本優(yōu)化[J].計(jì)算機(jī)學(xué)報(bào),2013, 36(3): 599-612. WANG Wei, LUO Jun-zhou, SONG Ai-bo. Dynamic pricing based energy cost optimization in data center enviroments [J]. Chinese Journal of Computers, 2013, 36(3): 599-612.

[14] 竇暉,齊勇,王培健,等.一種最小化綠色數(shù)據(jù)中心電費(fèi)的負(fù)載調(diào)度算法[J].軟件學(xué)報(bào),2014,25(7):1448-1458. DOU Hui, QI Yong, WANG Pei-jian, et al. Workload scheduling algorithm for minimizing electricity bills of green data centers [J]. Journal of Software, 2014,25(7): 1448-1458.

[15] 宋杰,李甜甜,閆振興,等.一種云計(jì)算環(huán)境下的能效模型和度量方法[J].軟件學(xué)報(bào),2012,23(2): 200-214. SONG Jie, LI Tian-tian, YAN Zhen-xing, et al. Energy-efficiency model and measuring approach for cloud computing [J]. Journal of Software, 2012, 23(2):200-214.

[16] XU H, LI B. Reducing electricity demand charge for data centers with partial execution [C]∥ Proceedings of the 5th International Conference on Future Energy Systems. Bangkok: ACM, 2014: 51-61.

[17] WANG H, HUANG J, LIN X J, et al. Exploring smart grid and data center interactions for electric power load balancing [J]. ACM SIGMETRICS Performance Evaluation Review, 2014, 41(3): 89-94.

[18] RAHMAN A, LIU X, KONG F. A survey on geographic load balancing based data center power management in the smart grid environment [J]. IEEE Communications Surveys and Tutorials, 2014, 16(1): 214-233.

[19] KONG F, LIU X. A survey on green-energy-aware power management for datacenters [J]. ACM Computing Surveys, 2014, 47(2): 1-30.

[20] DAYARATHNA M, WEN Y, FAN R. Data center energy consumption modeling: a survey [J]. IEEE Communications Surveys and Tutorials, 2015, 17(9):1-65.

[21] HUANG Y, WANG P, XIE G H. A short list of researches in data center energy cost optimization in recent years[EB/OL]. [2015-06-12].http:∥www.qhoa.org/uploads/doc/DCCO.pdf.

[22] ZHANG W. Energy-efficient and power-dense DC-DC converters in data center and electric vehicle applications using wide bandgap devices [D]. Knoxville: The University of Tennessee, 2015.

[23] GUO Y, GONG Y, FANG Y, et al. Energy and network aware workload management for sustainable data centers with thermal storage [J]. IEEE Transactions on Parallel and Distributed Systems, 2014, 25(8):2030-2042.

[24] FULPAGARE Y, BHARGAV A. Advances in data center thermal management[J]. Renewable and Sustainable Energy Reviews, 2015, 43: 981-996.

[25] LI Z, KANDLIKAR S G. Current Status and Future Trends in data-center cooling technologies [J]. Heat Transfer Engineering, 2015, 36(6): 523-538.

[26] ARGHODE V K, SUNDARALINGAM V, JOSHI Y. Airflow management in a contained cold aisle using active fan tiles for energy efficient data-center operation [J]. Heat Transfer Engineering, 2015, 37(3/4):246-256.

[27] 王鵬,黃焱,任超,等.多尺度量子諧振子高維函數(shù)全局優(yōu)化算法[J].電子學(xué)報(bào),2013,41(12)：2468-2473. WANG Peng, HUANG Yan, REN Chao, et al. Multi-scale quantum harmonic oscillator for high-dimensional function global optimization algorithm [J]. Acta Electronica Sinica, 2013, 41(12): 2468-2473.

[28] XU D, LIU X, FAN B. Minimizing energy cost for Internet-scale datacenters with dynamic traffic [C]∥ Proceedings of the IEEE 19th International Workshop on Quality of Service. San Jose: IEEE, 2011: 1-2.

[29] RAO L, LIU X, XIE L, et al. Minimizing electricity cost: optimization of distributed internet data centers in a multi-electricity-market environment [C]∥ Proceedings of the 29rd IEEE International Conference on Computer Communications. San Diego: IEEE, 2010: 1-9.

[30] FAN X, WEBER W D, BARROSO L A. Power provisioning for a warehouse-sized computer [J]. ACM SIGARCH Computer Architecture News, 2007, 35(2): 13-23.

[31] CHASE J S, ANDERSON D C, THAKAR P N, et al. Managing energy and server resources in hosting centers [J]. ACM SIGOPS Operating Systems Review, 2001, 35(5): 103-116.

[32] PINHEIRO E, BIANCHINI R, CARRERA E V, et al. Load balancing and unbalancing for power and performance in cluster-based systems [C]∥ Proceedings of the Workshop on Compilers and Operating Systems for Low Power. Barcelona: Springer, 2001: 182-195.

[33] ETINSKI M. DVFS power management in HPC systems [D]. Barcelona: Technical University of Catalonia, 2012.

[34] WANG W, ZHANG P, LAN T, et al. Datacenter net profit optimization with deadline dependent pricing [C]∥ Proceedings of the 46th Annual Conference on Information Sciences and Systems. Princeton: IEEE, 2012: 1-6.

[35] ABBASI Z, MUKHERJEE T, VARSAMOPOULOS G, et al. Dynamic hosting management of web based applications over clouds [C]∥ Proceedings of the 18th International Conference on High Performance Computing. Bengaluru: IEEE, 2011: 1-10.

[36] GU L, ZENG D, BARNAWI A, et al. Optimal task placement with QoS constraints in geo-distributed data centers using DVFS [J]. IEEE Transactions on Computers, 2015, 64(7): 2049-2059.

[37] CHIARAVIGLIO L, MATTA I. An energy-aware distributed approach for content and network management [C]∥Proceedings of the 2011 IEEE Conference on Computer Communications Workshops. Shanghai: IEEE, 2011: 337-342.

[38] ZHENG X, CAI Y. Energy-aware load dispatching in geographically located internet data centers [J]. Sustainable Computing: Informatics and Systems, 2011,1(4): 275-285.

[39] GUO Y, FANG Y, KHARGONEKAR P P. Optimal workload and energy storage management for cloud data centers [C]∥ Proceedings of the 2013 IEEE Military Communications Conference. San Diego: IEEE, 2013:1850-1855.

[40] LUO J, RAO L, LIU X. Data center energy cost minimization: a spatio-temporal scheduling approach [C]∥ Proceedings of the 32rd IEEE International Conference on Computer Communications. Turin: IEEE, 2013: 340-344.

[41] BUCHBINDER N, JAIN N, MENACHE I. Online job-migration for reducing the electricity bill in the cloud [M] ∥Networking 2011. Berlin Heidelberg: Springer, 2011: 172-185.

[42] LI J, LI Z, REN K, et al. Towards optimal electric demand management for internet data centers [J]. IEEE Transactions on Smart Grid, 2012, 3(1): 183-192.

[43] KAYAASLAN E, CAMBAZOGLU B B, BLANCO R, et al. Energy-price-driven query processing in multi-center web search engines [C]∥ Proceedings of the 34th international ACM SIGIR conference on Research and development in Information Retrieval. Beijing: ACM, 2011: 983-992.

[44] SANKARANARAYANAN A N, SHARANGI S, FEDOROVA A. Global cost diversity aware dispatch algorithm for heterogeneous data centers [J]. ACM SIGSOFT Software Engineering Notes, 2011, 36(5): 289-294.

[45] XIAO Z, SONG W, CHEN Q. Dynamic resource allocation using virtual machines for cloud computing environment [J]. IEEE Transactions on Parallel and Distributed Systems, 2013, 24(6): 1107-1117.

[46] HE Y, ELNIKETY S, LARUS J, et al. Zeta: Scheduling interactive services with partial execution [C]∥ Proceedings of the Third ACM Symposium on Cloud Computing. San Jose: ACM, 2012: 12.

[47] AKSANLI B, PETTIS E, ROSING T. Architecting efficient peak power shaving using batteries in data centers [C]∥ Proceedings of the IEEE 21th International Symposium on Modeling, Analysis and Simulation of Computer and Telecommunication Systems. San Francisco: IEEE, 2013: 242-253.

[48] GOVINDAN S, SIVASUBRAMANIAM A, URGAONKAR B. Benefits and limitations of tapping into stored energy for datacenters [C]∥ Proceedings of the 38th Annual International Symposium on Computer Architecture. San Jose: IEEE, 2011: 341-351.

[49] BAR-NOY A, FENG Y, JOHNSON M P, et al. When to reap and when to sow-lowering peak usage with realistic batteries [M]∥ Experimental Algorithms. Berlin Heidelberg: Springer, 2008: 194-207.

[50] PALASAMUDRAM D S, SITARAMAN R K, URGAONKAR B, et al. Using batteries to reduce the power costs of internet-scale distributed networks [C]∥ Proceedings of the Third ACM Symposium on Cloud Computing. San Jose: ACM, 2012: 11.

[51] AKSANLI B, PETTIS E, ROSING T. Architecting efficient peak power shaving using batteries in data centers [C]∥ Proceedings of the IEEE 21st International Symposium on Modeling, Analysis and Simulation of Computer and Telecommunication Systems. San Francisco: IEEE, 2013: 242-253.

[52] URGAONKAR R, URGAONKAR B, NEELY M J, et al. Optimal power cost management using stored energy in data centers [C]∥ Proceedings of the ACMSIGMETRICS 2011. San Jose: ACM, 2011: 221-232.

[53] GUO Y, FANG Y. Electricity cost saving strategy in data centers by using energy storage [J]. IEEE Transactions on Parallel and Distributed Systems, 2013,24(6): 1149-1160.

[54] JIANG T, YU L, CAO Y. Joint workload and battery scheduling for data center energy cost minimization [M]∥ Energy Management of Internet Data Centers in Smart Grid. Berlin Heidelberg: Springer, 2015: 59-78.

[55] YAO J, LIU X, ZHANG C. Predictive electricity cost minimization through energy buffering in data centers [J]. IEEE Transactions on Smart Grid, 2014, 5(1): 230-238.

[56] BROWN M, RENAU J R. Power simulation for data centers with renewable energy generation [J]. ACM SIGMETRICS Performance Evaluation Review, 2011, 39(3): 77-81.

[57] LE K, BILGIR O, BIANCHINI R, et al. Managing the cost, energy consumption, and carbon footprint of internet services [J]. ACM SIGMETRICS Performance Evaluation Review, 2010, 38(1): 357-358.

[58] ZHOU Z, LIU F, XU Y, et al. Carbon-aware load balancing for geo-distributed cloud services [C]∥ Proceedings of the IEEE 21st International Symposium on Modeling, Analysis and Simulation of Computer and Telecommunication Systems. San Francisco: IEEE, 2013: 232-241.

[59] ZHANG Y, WANG Y, WANG X. Greenware: greening cloud-scale data centers to maximize the use of renewable energy [M]∥ Middleware 2011. Berlin Heidelberg: Springer, 2011: 143-164.

[60] BERRAL J L, GOIRI, NGUYEN T D, et al. Building green cloud services at low cost [C]∥ The 35th IEEE International Conference on Distributed Computing Systems. Columbus: IEEE, 2014: 449-460.

[61] KIANI A, ANSARI N. Toward low-cost workload distribution for integrated green data centers [J]. IEEE Communications Letters, 2015, 19(1): 26-29.

[62] ABBASI Z, PORE M, GUPTA S K S. Online server and workload management for joint optimization ofelectricity cost and carbon footprint across data centers [C]∥ The 28th IEEE International Parallel and Distributed Processing Symposium. Phoenix: IEEE, 2014: 317-326.

[63] MOHSENIAN-RAD A H, LEON-GARCIA A. Coordination of cloud computing and smart power grids [C]∥ Proceedings of the First IEEE International Conference on Smart Grid Communications. Gaitherburg: IEEE, 2010: 368-372.

[64] ZHANG Y, WANG Y, WANG X. Capping the electricity cost of cloud-scale data centers with impacts on power markets [C]∥ Proceedings of the 20th international symposium on High performance distributed computing. San Jose: ACM, 2011: 271-272.

[65] YAO J, LIU X, GU Z, et al. Online adaptive utilization control for real-time embedded multiprocessor systems [J]. Journal of Systems Architecture, 2010, 56(9): 463-473.

[66] ZHOU Z, LIU F, LI Z. Pricing bilateral electricity trade between smart grids and hybrid green datacenters [J]. ACM Sigmetrics Performance Evaluation Review, 2015, 43(1): 443-444.

[67] BOSE P, MARTONOSI M, BROOKS D. Modeling and analyzing CPU power and performance: metrics, methods, and abstractions [C]∥ Proceedings of the ACM SIGMETRICS 2001. Cambridge: ACM, 2001.

[68] WIERMAN A, LIU Z, LIU I, et al. Opportunities and challenges for data center demand response [C]∥ Proceedings of the 2014 International Green Computing Conference. Dallas: IEEE, 2014: 1-10.

[69] 葉可江,吳朝暉,姜曉紅,等.虛擬化云計(jì)算平臺(tái)的能耗管理[J].計(jì)算機(jī)學(xué)報(bào),2012, 35(6): 1262-1285. YE Ke-jiang, WU Zhao-hui, JIANG Xiao-hong, et al. Power management of virtualized cloud computing platform [J]. Chinese Journal of Computers, 2012, 35(6): 1262-1285.

[70] GALLEGO ARRUBLA J A, KO Y M, POLANSKYR J, et al. Integrating virtualization, speed scaling, and powering on/off servers in data centers for energy efficiency [J]. IIE Transactions, 2013, 45(10): 1114-1136.

[71] KUSIC D, KEPHART J O, HANSON J E, et al. Power and performance management of virtualized computing environments via lookahead control [J]. Cluster Computing, 2009, 12(1): 1-15.

[72] KANSAL A, ZHAO F, LIU J, et al. Virtual machine power metering and provisioning [C]∥ Proceedings of the 1st ACM Symposium on Cloud Computing. Indianapolis: ACM, 2010: 39-50.

[73] JIN Y, WEN Y, CHEN Q, et al. An empirical investigation of the impact of server virtualization on energy efficiency for green data center [J]. The Computer Journal, 2013, 56(8): 977-990.

Data center energy cost optimization in smart grid: a review

HUANG Yan1,2, WANG Peng3, XIE Gao-hui4, AN Jun-xiu5

(1.ChengduInstituteofComputerApplication,ChineseAcademyofSciences,Chengdu610041,China;2.UniversityofChineseAcademyofSciences,Beijing100049,China; 3.SouthwestUniversityforNationalities,Chengdu610225,China; 4.AcademyofTechnology,GuangzhouWuzhouTechnologyCorporation,Guangzhou510000,China; 5.ChengduUniversityofInformationTechnology,Chengdu610225,China)

Electricity price varies with time and geographic position in smart grid. According to the chage of external load type and loading capacity, data center operators optimize data center energy cost, carbon emission, network cost, response time, grid stability through load distribution, node state controling and using energy storage to meet internal and external constraints. Energy structure of data center was analyzed; a basic model of data center energy cost optimization problem was proposed. Specially, a taxonomy, comparison and peroration of the latest researchs in data center energy cost optimization problem were provided from eight key perspectives: dynamic running node number adjustment, dynamic voltage and frequency scaling (DVFS), load distribution, partial execution, using uninterruptible power supply (UPS), using renewable energy, interaction with smart grid, virtualization. Further research hotspots include multi-objective optimization, data center demand response, distributed UPS, renewable energy generating plants, online algorithm, energy internet.

energy cost optimization; smart grid; load distribution; geographically distributed data centers; energy Internet

2015-11-25.

國家自然科學(xué)基金資助項(xiàng)目(60702075)；廣東省科技廳高新技術(shù)產(chǎn)業(yè)化科技攻關(guān)資助項(xiàng)目(2011B010200007)；四川省青年科學(xué)基金資助項(xiàng)目(09ZQ026-068)；成都市創(chuàng)新發(fā)展戰(zhàn)略研究資助項(xiàng)目(11RKYB016ZF)；四川省高校重點(diǎn)實(shí)驗(yàn)室開放基金資助項(xiàng)目(MSSB-2015-9).

黃焱(1982—),男,博士生,從事智能優(yōu)化算法研究. ORCID: 0000-0003-3896-5636. E-mail: hep128@qq.com 通信聯(lián)系人：王鵬,男,教授,博導(dǎo). ORCID: 0000-0002-8551-921X. E-mail: yunzjs@163.com

10.3785/j.issn.1008-973X.2016.12.020

TP 393

A

1008-973X(2016)12-2386-14