數(shù)據(jù)中心節(jié)能算法研究綜述*

劉 永 ，王新華 ，2，王 朕 ，王 碩

（1.山東師范大學(xué) 信息科學(xué)與工程學(xué)院，山東 濟(jì)南 250014；2.山東省分布式計(jì)算機(jī)軟件新技術(shù)重點(diǎn)實(shí)驗(yàn)室，山東 濟(jì)南 250014）

傳統(tǒng)的數(shù)據(jù)中心總是集中于服務(wù)器等計(jì)算系統(tǒng)性能上的提高，忽略了電能的消耗和CO2的排放，這不僅造成數(shù)據(jù)中心運(yùn)營(yíng)成本的日益加重，還給周邊環(huán)境帶來(lái)了嚴(yán)重的溫室效應(yīng)。目前，數(shù)據(jù)中心節(jié)能因素已受到研究人員和運(yùn)營(yíng)商的廣泛關(guān)注，亞馬遜網(wǎng)站估計(jì)亞馬遜數(shù)據(jù)中心服務(wù)器的購(gòu)買和運(yùn)營(yíng)成本占到了數(shù)據(jù)中心總成本的53%，而用電成本則占到了42%。惠普和國(guó)際正常運(yùn)行時(shí)間學(xué)會(huì)根據(jù)最近的 “數(shù)據(jù)中心用電預(yù)測(cè)報(bào)告”預(yù)測(cè)指出：服務(wù)器和網(wǎng)絡(luò)設(shè)備在現(xiàn)有用電基礎(chǔ)上還可以節(jié)約20%的電能，并且還會(huì)使相應(yīng)的制冷設(shè)備減少30%的能耗。

無(wú)論是服務(wù)器、網(wǎng)絡(luò)設(shè)備，還是制冷、用電設(shè)備，其用電量都會(huì)對(duì)各個(gè)數(shù)據(jù)中心的電能消耗帶來(lái)影響。因此，要保證數(shù)據(jù)中心節(jié)能，就要想辦法減少這些設(shè)備的用電水平，以降低整個(gè)數(shù)據(jù)中心的電能消耗。

1 節(jié)能技術(shù)算法介紹

1.1 硬件層節(jié)能技術(shù)

在服務(wù)器硬件節(jié)能方面采用最廣泛的技術(shù)是CPU的動(dòng)態(tài)電壓/主頻升降技術(shù)DVFS（Dynamic Voltage and Frequency Scaling）。該技術(shù)允許CPU的時(shí)鐘頻率自動(dòng)調(diào)整，同時(shí)CPU的電壓值也會(huì)根據(jù)CPU的利用情況自動(dòng)變化，從而達(dá)到節(jié)能的目的。

目前針對(duì)DVFS技術(shù)降低電能消耗的算法主要有：基于時(shí)間間隔算法、進(jìn)程算法和進(jìn)程間算法?；跁r(shí)間間隔算法主要是通過(guò)CPU在過(guò)去一段時(shí)間的利用率來(lái)預(yù)測(cè)CPU將來(lái)的利用率，并適當(dāng)調(diào)整CPU的電壓和主頻。進(jìn)程算法則利用了程序結(jié)構(gòu)信息來(lái)調(diào)整處理任務(wù)的CPU主頻和電壓。而進(jìn)程間算法對(duì)運(yùn)行在系統(tǒng)中的任務(wù)區(qū)別對(duì)待，不同的任務(wù)其CPU處理速度不同。

雖然DVFS技術(shù)原理看似很簡(jiǎn)單，但在實(shí)際應(yīng)用時(shí)可能會(huì)產(chǎn)生很多問(wèn)題：（1）由于現(xiàn)代CPU架構(gòu)的復(fù)雜性，例如：預(yù)測(cè)滿足應(yīng)用程序性能需求的CPU時(shí)鐘頻率是必需的，而許多CPU采用了通道技術(shù)或多級(jí)緩存技術(shù)，這對(duì)實(shí)現(xiàn) DVFS技術(shù)增加了難度；（2）有研究表明，CPU的電能消耗和電壓值之間也不是簡(jiǎn)單的平方關(guān)系，即 Ecpu≠V2cpu， 其中，Ecpu是 CPU消耗的電能，V2cpu是 CPU的電壓值。參考文獻(xiàn)[1]中指出：一個(gè)CPU芯片的不同部件可能需要多個(gè)不同的電壓，即使其中一個(gè)部件的電壓值降低，但CPU芯片總的電壓消耗還是由較大的供電電壓決定，并且應(yīng)用程序的執(zhí)行時(shí)間通常與CPU的主頻成反比，而采用了DVFS技術(shù)后，就不再是簡(jiǎn)單的反比關(guān)系；（3）目前許多數(shù)據(jù)中心都采用了虛擬化技術(shù)，尤其是云計(jì)算數(shù)據(jù)中心更是以虛擬化技術(shù)為基礎(chǔ)，而DVFS技術(shù)如果不加修改，是不能直接用于虛擬化環(huán)境的。因此，盡管采用DVFS技術(shù)可能會(huì)節(jié)省電能，但鑒于上述各種原因，要想通過(guò)DVFS技術(shù)達(dá)到節(jié)能的目的還有很長(zhǎng)的路要走。

1.2 操作系統(tǒng)層節(jié)能管理

目前在操作系統(tǒng)層上的節(jié)能管理主要有：Pallipadi研究組的Ondemand Governor系統(tǒng)[2]、Zeng研究組的ECOsystem系統(tǒng)[3]、Rajkumar研究組的 Linux/RK內(nèi)核[4]等。本文分別介紹這三種系統(tǒng)。

1.2.1 Ondemand Governor系統(tǒng)

Ondemand Governor系統(tǒng)是一個(gè)嵌入到Linux操作系統(tǒng)內(nèi)核的電源管理器（稱為按需管理器）。該管理器實(shí)時(shí)地監(jiān)控 CPU的利用率，根據(jù)當(dāng)前應(yīng)用程序的CPU利用率自動(dòng)調(diào)節(jié)CPU的主頻和供電電壓。按需管理器參數(shù)一般默認(rèn)設(shè)置為與CPU利用率的80%相對(duì)應(yīng)的主頻和供電電壓值。

目前按需管理器已經(jīng)能夠被應(yīng)用到對(duì)稱處理器系統(tǒng)和多核多線程的CPU架構(gòu)中。但按需處理器存在一個(gè)缺點(diǎn)：即以集中的模式取樣系統(tǒng)中所有CPU的利用率，這種方式增加了系統(tǒng)在時(shí)間上的開(kāi)銷?？朔@一缺點(diǎn)一個(gè)有效的方法是：并行地對(duì)CPU利用率取樣，減少在CPU利用率取樣時(shí)間上的開(kāi)銷。

1.2.2 ECOsystem系統(tǒng)

ECOsystm系統(tǒng)是專門用于蓄電池設(shè)備的電能管理系統(tǒng)，它是通過(guò)修改Linux操作系統(tǒng)的內(nèi)核得到的。Zeng等人在設(shè)計(jì)這一系統(tǒng)時(shí)不僅考慮了服務(wù)器硬件資源所消耗的電能，還考慮了應(yīng)用程序運(yùn)行時(shí)消耗電能的情況。為了計(jì)算硬件設(shè)備和應(yīng)用程序消耗的電能，Zeng等人引進(jìn)了一個(gè)叫做currentcy的電能消耗單位，它是一段時(shí)間內(nèi)消耗的電能值。當(dāng)用戶向ECOsystem系統(tǒng)提供了蓄電池的供電時(shí)間以及所要運(yùn)行應(yīng)用程序的優(yōu)先級(jí)時(shí)，ECOsystem系統(tǒng)就會(huì)計(jì)算它們消耗的currentcy值，從而把計(jì)算出的currentcy分配給要運(yùn)行的應(yīng)用程序和硬件設(shè)備。當(dāng)應(yīng)用程序消耗的電能超過(guò)了分配給它的currentcy時(shí)，該應(yīng)用程序?qū)⑼Ｖ惯\(yùn)行。

1.2.3 Linux/RK內(nèi)核

Rajkumar研究組[4]針對(duì)使用了 DVFS技術(shù)的服務(wù)器系統(tǒng)提出了一些節(jié)能算法，并修改了Linux操作系統(tǒng)的內(nèi)核。他們把修改后的內(nèi)核稱為L(zhǎng)inux/Resource內(nèi)核，即Linux/RK。Linux/RK在保證應(yīng)用程序運(yùn)行隔離性的同時(shí)，還減少了應(yīng)用程序的電量消耗。

Linux/RK包括系統(tǒng)時(shí)鐘頻率分配Sys-Clock（SystemClock Frequency Assignment）、單調(diào)優(yōu)先級(jí)時(shí)鐘頻率 分 配 PM-Clock（Priority-MonotonicClock Frequency Assignment）、 優(yōu) 化 時(shí) 鐘 頻 率 分 配 Opt-Clock（Optimal Clock Frequency Assignment）、動(dòng)態(tài)單調(diào)優(yōu)先級(jí)時(shí)鐘頻率分配 DPM-Clock（Dynamic PM-Clock）4種節(jié)能算法。Linux/RK會(huì)根據(jù)CPU電壓/主頻變化的開(kāi)銷等自動(dòng)選擇這4種算法。實(shí)驗(yàn)表明，Sys-Clock、PM-Clock以及DPMClock算法能節(jié)約大約50%的電量。

1.3 應(yīng)用程序?qū)庸?jié)能

除了在硬件層、操作系統(tǒng)層設(shè)計(jì)方法節(jié)能外，還可以通過(guò)設(shè)計(jì)出優(yōu)化的應(yīng)用程序來(lái)節(jié)能。這是因?yàn)樵O(shè)計(jì)差的應(yīng)用程序運(yùn)行時(shí)不僅性能會(huì)很低，還會(huì)消耗大量的電能。但目前還沒(méi)有一個(gè)統(tǒng)一的標(biāo)準(zhǔn)評(píng)價(jià)一個(gè)應(yīng)用程序是否節(jié)能，而Tiwari認(rèn)為程序執(zhí)行越快，電能消耗就越少。因此，在開(kāi)發(fā)應(yīng)用程序時(shí)，應(yīng)該遵循軟件工程設(shè)計(jì)的原則，盡量縮短程序的代碼行數(shù)，優(yōu)化代碼結(jié)構(gòu)，從而提高應(yīng)用程序執(zhí)行的速度，以達(dá)到節(jié)能的目的。

1.4 集群層節(jié)能算法

集群層節(jié)能算法有多種分類方式。以DVFS技術(shù)為參照，可以將集群劃分為DVFS技術(shù)集群和非DVFS技術(shù)的集群；以虛擬化技術(shù)為標(biāo)準(zhǔn)，將集群分為虛擬化集群和非虛擬化集群。本文主要根據(jù)集群是否采用了虛擬化技術(shù)進(jìn)行分類，介紹目前出現(xiàn)的節(jié)能算法。

1.4.1 非虛擬化集群層節(jié)能算法

非虛擬化集群節(jié)能的主要思想是把服務(wù)整合到少量的服務(wù)器上，以提高單個(gè)服務(wù)器的資源利用率，并關(guān)閉多余的服務(wù)器，從而節(jié)約整個(gè)集群的電能。這里介紹幾個(gè)具有代表性的非虛擬化集群節(jié)能算法的案例。

Elnozahy等人[5]研究了同構(gòu)集群上運(yùn)行單個(gè)Web服務(wù)的電能消耗和服務(wù)性能間的平衡問(wèn)題，使用了DVFS技術(shù)，并提出了獨(dú)立電壓縮放IVS（Independent Voltage Scaling）、 協(xié) 調(diào) 電 壓 縮 放 CVS （Coordinated Voltage Scaling）、 組 合 協(xié) 調(diào) 策 略 CCP （Coordinated Combined Policy）等3種算法用于CPU主頻和電壓的彈性擴(kuò)展。其中，組合協(xié)調(diào)策略提供了一個(gè)決定CPU主頻閾值的數(shù)學(xué)模型，它根據(jù)Web服務(wù)預(yù)期的響應(yīng)時(shí)間設(shè)置CPU的主頻，該策略能夠決定運(yùn)行Web服務(wù)的服務(wù)器數(shù)量，關(guān)閉多余的服務(wù)器，從而達(dá)到節(jié)能的目的。

Garg等人[6]研究了高性能計(jì)算應(yīng)用程序在地理上分布的云數(shù)據(jù)中心上的調(diào)度問(wèn)題。數(shù)據(jù)中心因?yàn)榈乩砦恢?、設(shè)計(jì)和資源管理系統(tǒng)不同，其電力成本、CO2排放率以及負(fù)載也不同。為此，提出了5種算法。其中貪婪最小化碳排放量算法GMCE （GreedyMinimum Carbon Emission）、 最小化碳排放算法 MCEMCE （Minimum-Carbon-Emission-Minimum-Carbon-Emission）保證選擇的數(shù)據(jù)中心是CO2排放最少的數(shù)據(jù)中心。貪婪最大利潤(rùn)算法 GMP（Greedy Maximum Profit）、最大利潤(rùn)算法 MPMP（Maximum-Profit-Maximum-Profit）保證選擇的數(shù)據(jù)中心是最省電的數(shù)據(jù)中心。最小化碳排放以及最大利潤(rùn)化算法MCEMP （Minimizing Carbon Emission and Maximizing Profit）保證選擇的數(shù)據(jù)中心既能節(jié)能又能減少CO2的排放。

Pinheiro等人[7]提出了一種同構(gòu)集群的管理技術(shù)，該技術(shù)在保證QoS的同時(shí)，能使同構(gòu)集群的電能消耗最少；使用吞吐量和應(yīng)用程序的執(zhí)行時(shí)間作為QoS的約束條件。算法中的master節(jié)點(diǎn)周期性地監(jiān)視集群的負(fù)載情況，在保證應(yīng)用程序QoS的同時(shí)，決定哪些節(jié)點(diǎn)打開(kāi)或關(guān)閉，從而使電能的消耗最小。該算法也存在一定的缺點(diǎn)，因?yàn)榧旱墓芾碛蓡蝹€(gè)的master節(jié)點(diǎn)執(zhí)行，因此很容易造成單點(diǎn)失效，并且該算法一次只能添加或關(guān)閉一個(gè)節(jié)點(diǎn)，對(duì)激增的用戶服務(wù)請(qǐng)求會(huì)造成很大的延遲，不適合大規(guī)模的集群環(huán)境。

1.4.2 虛擬化集群層節(jié)能算法

虛擬化集群因?yàn)槭褂昧颂摂M化技術(shù)，因此其節(jié)能算法涉及到虛擬機(jī)的調(diào)度問(wèn)題。虛擬化集群節(jié)能算法的主要思想是把虛擬化了的服務(wù)，即將虛擬機(jī)整合到少量的物理服務(wù)器上，關(guān)閉多余的物理服務(wù)器，以達(dá)到集群節(jié)能的目的。

Kusic等人[8]研究了虛擬化 Web集群系統(tǒng)中電能和性能之間的均衡問(wèn)題，所提出的系統(tǒng)控制器SC（System Controller）使用了限制預(yù)控制LLC（Limited Lookahead Control）策略，根據(jù)當(dāng)前的Web請(qǐng)求負(fù)載，部署用于處理Web請(qǐng)求的虛擬機(jī)，在保證違反服務(wù)等級(jí)協(xié)議SLA（Service Level Agree）最小數(shù)量的同時(shí)，使得電能消耗最少。為了節(jié)能，還提出了開(kāi)關(guān)主機(jī)和虛擬機(jī)的時(shí)間和電能成本模型，并使用人工神經(jīng)網(wǎng)絡(luò)來(lái)提高系統(tǒng)性能。實(shí)驗(yàn)結(jié)果顯示使用LLC的服務(wù)器集群可以節(jié)省大約26%的電能，并且只有1.6%的服務(wù)等級(jí)協(xié)議違反率。但由于所提出的節(jié)能模型的復(fù)雜性，在15個(gè)主機(jī)構(gòu)成的集群上控制器的執(zhí)行時(shí)間長(zhǎng)達(dá)30 min，因此所提出的系統(tǒng)控制器不適合大規(guī)模的集群環(huán)境。

Vinh等人[9]也提出了一個(gè)類似的用于云計(jì)算數(shù)據(jù)中心的調(diào)度器。該調(diào)度器使用了4個(gè)算法：預(yù)測(cè)算法、開(kāi)關(guān)算法、任務(wù)調(diào)度算法和評(píng)估算法。預(yù)測(cè)算法使用了基于歷史負(fù)載需求的神經(jīng)預(yù)測(cè)器來(lái)預(yù)測(cè)負(fù)載的未來(lái)需求。開(kāi)關(guān)算法根據(jù)預(yù)測(cè)結(jié)果動(dòng)態(tài)地調(diào)度服務(wù)器的分配，關(guān)閉不需要的服務(wù)器以達(dá)到節(jié)能的目的，任務(wù)調(diào)度算法負(fù)責(zé)把請(qǐng)求分配到運(yùn)行的服務(wù)器上。評(píng)估算法則在執(zhí)行過(guò)程中尋找一個(gè)合適的訓(xùn)練周期，實(shí)驗(yàn)使用了ClarkNet和NASA作為負(fù)載。結(jié)果顯示將動(dòng)態(tài)訓(xùn)練和增加20%的服務(wù)器相結(jié)合效果最好，在ClarkNet負(fù)載上當(dāng)丟棄率為0.02%時(shí)，節(jié)能49.8%。在NASA負(fù)載上當(dāng)丟棄率僅為0.16%時(shí)，節(jié)能 55.4%。

Buyya等人[10]提出了云數(shù)據(jù)中心虛擬機(jī)的動(dòng)態(tài)節(jié)能分配，把虛擬機(jī)的分配分為兩步：第一步，接收新的部署虛擬機(jī)請(qǐng)求，并使用改進(jìn)的最適合降序MBFD（Modification of the Best Fit Decreasing）算法把虛擬機(jī)放置到主機(jī)上；第二步，用單閾值 ST（Single Threshold）等算法選擇要遷移的虛擬機(jī)，并使用MBFD算法把遷移的虛擬機(jī)分配到其他主機(jī)上。實(shí)驗(yàn)結(jié)果表明，虛擬機(jī)的動(dòng)態(tài)分配不僅提供了可靠的QoS，還使得電能的消耗最小。

Song等人[11]研究了虛擬化數(shù)據(jù)中心環(huán)境下應(yīng)用程序的資源分配問(wèn)題，把資源調(diào)度劃為應(yīng)用程序調(diào)度、本地調(diào)度、全局調(diào)度三個(gè)層次。應(yīng)用程序調(diào)度器把應(yīng)用程序分配到虛擬機(jī)上，本地調(diào)度器根據(jù)應(yīng)用程序的優(yōu)先級(jí)把CPU等硬件資源分配給虛擬機(jī)，全局調(diào)度器控制CPU等硬件資源的分配。此外，還提出了一個(gè)線形編程模型和分配算法，該算法在虛擬機(jī)運(yùn)行過(guò)程中，不需要虛擬機(jī)的動(dòng)態(tài)遷移，應(yīng)用程序有明確的優(yōu)先級(jí)，適合用于企業(yè)計(jì)算環(huán)境。

1.4.3 根據(jù)DVFS技術(shù)分類的節(jié)能算法

集群節(jié)能算法除上述的分類外，還可以按照是否采用了DVFS技術(shù)進(jìn)行分類。表1給出了按照算法是否采用DVFS技術(shù)分類的參考文獻(xiàn)。

表1 按照DVFS技術(shù)分類的節(jié)能算法文獻(xiàn)

2 數(shù)據(jù)中心節(jié)能的其他研究問(wèn)題

當(dāng)前數(shù)據(jù)中心的節(jié)能除了服務(wù)器節(jié)能占了很大比例以外，制冷設(shè)備、網(wǎng)絡(luò)設(shè)備等也要注重節(jié)能。根據(jù)亞馬遜網(wǎng)站估計(jì)其數(shù)據(jù)中心電能消耗比例為IT設(shè)備 （服務(wù)器設(shè)備，網(wǎng)絡(luò)設(shè)備）占53%，制冷設(shè)備占 23%，電源設(shè)備占19%，其他設(shè)備占5%。

2.1 制冷設(shè)備節(jié)能

為了降低數(shù)據(jù)中心制冷設(shè)備的運(yùn)營(yíng)成本，首先要選擇合適的制冷設(shè)備。通常數(shù)據(jù)中心都會(huì)選擇機(jī)房專用精密空調(diào)作為制冷設(shè)備，因?yàn)檫@不僅考慮溫度的降低，還要考慮環(huán)境的濕度、潔凈度、控制管理等相關(guān)因素，并且機(jī)房專用精密空調(diào)具有連續(xù)運(yùn)行能力強(qiáng)、使用壽命長(zhǎng)的特點(diǎn)。

其次，還要進(jìn)行合理的機(jī)柜布局。通常將高功率設(shè)備和高密度設(shè)備均分在每個(gè)機(jī)柜內(nèi)，以避免造成數(shù)據(jù)中心的熱點(diǎn)和冷卻的難點(diǎn)，這可以大大降低制冷設(shè)備的運(yùn)行費(fèi)用和購(gòu)買費(fèi)用。

2.2 網(wǎng)絡(luò)設(shè)備節(jié)能

數(shù)據(jù)中心除了考慮制冷設(shè)備消耗的電能外，也要考慮網(wǎng)絡(luò)設(shè)備的電能消耗。根據(jù)統(tǒng)計(jì)，網(wǎng)絡(luò)設(shè)備消耗的電能占到數(shù)據(jù)中心總消耗電能的20%～30%，并且隨著服務(wù)器節(jié)能技術(shù)的發(fā)展，其耗能所占的比重還會(huì)繼續(xù)上升。目前在網(wǎng)絡(luò)設(shè)備節(jié)能方面也已經(jīng)開(kāi)展了很多工作。

Gupta[15]等人提出了節(jié)約連接到因特網(wǎng)上的網(wǎng)絡(luò)設(shè)備的電能消耗，并在局域網(wǎng)上驗(yàn)證了節(jié)能的可行性，而且提出了有效的調(diào)度算法使得網(wǎng)絡(luò)設(shè)備的空閑部件進(jìn)入睡眠以節(jié)約電能。Nedevschi[16]和 Christensen[17]研究了網(wǎng)絡(luò)設(shè)備的電源管理，通過(guò)網(wǎng)絡(luò)設(shè)備睡眠和速率適配使得網(wǎng)絡(luò)設(shè)備在網(wǎng)絡(luò)空閑或低負(fù)載時(shí)節(jié)省電能。威斯康辛-麥迪遜大學(xué)和思科公司在網(wǎng)絡(luò)和協(xié)議的設(shè)計(jì)及配置中把節(jié)能作為一個(gè)主要目標(biāo)，并使用整體優(yōu)化技術(shù)來(lái)優(yōu)化網(wǎng)絡(luò)設(shè)備的電能消耗。Shang Yunfei[18]在高密度的數(shù)據(jù)中心網(wǎng)絡(luò)路由方面提出了節(jié)能的路由算法，首先建立了一個(gè)節(jié)能路由模型，并用0-1背包問(wèn)題證明所提出的模型是一個(gè)NP問(wèn)題，然后提出一個(gè)路由算法來(lái)解決節(jié)能問(wèn)題。實(shí)驗(yàn)結(jié)果表明，該算法對(duì)于網(wǎng)絡(luò)設(shè)備的節(jié)能很有效，尤其在網(wǎng)絡(luò)負(fù)載低的時(shí)候節(jié)能效果更明顯。

2.3 電源設(shè)備節(jié)能

目前，數(shù)據(jù)中心的電源配置PDU（Power Distribution Unit）方案有多種：機(jī)架安裝電源配置方案、集中式電源配置方案、使用靜態(tài)轉(zhuǎn)換開(kāi)關(guān)STS（StaticTransform Switch）的冗余電源配置方案、使用機(jī)架式自動(dòng)轉(zhuǎn)換開(kāi)關(guān)ATS（Automatic Transform Switch）的負(fù)載冗余電源配置方案等。應(yīng)該根據(jù)數(shù)據(jù)中心的規(guī)模、支持電源設(shè)備的類型以及選擇方案的預(yù)算等選擇合適的電源配置方案，以達(dá)到節(jié)約電能和節(jié)省費(fèi)用的目的。表2給出了常用數(shù)據(jù)中心機(jī)房電源配置方案對(duì)比表。

表2 常用數(shù)據(jù)中心機(jī)房電源配置方案對(duì)比表

3 數(shù)據(jù)中心節(jié)能的研究熱點(diǎn)和挑戰(zhàn)

3.1 研究熱點(diǎn)

3.1.1 虛擬機(jī)整合

[10]提出了有效的虛擬化數(shù)據(jù)中心的資源管理策略。該策略在保證QoS的同時(shí)，利用虛擬機(jī)遷移技術(shù)不斷把虛擬機(jī)整合到少量服務(wù)器，關(guān)閉多余的服務(wù)器來(lái)減少電能消耗。參考文獻(xiàn)[19]根據(jù)當(dāng)前CPU等硬件資源利用率、虛擬機(jī)網(wǎng)絡(luò)拓?fù)湟约胺?wù)器的熱狀態(tài)，通過(guò)整合虛擬機(jī)減少電能消耗。參考文獻(xiàn)[20]建立了CPU電能消耗模型，并使用單閾值策略和雙閾值策略選擇遷移的虛擬機(jī)，把虛擬機(jī)整合到少量服務(wù)器上來(lái)節(jié)約電能。參考文獻(xiàn)[21]提出了基于自適應(yīng)利用率閾值的虛擬機(jī)動(dòng)態(tài)整合算法，它不僅保證了服務(wù)等級(jí)協(xié)議SLA（Service Level Agreement），還節(jié)省了大量電能。參考文獻(xiàn)[8]提出的系統(tǒng)控制器使用了限制預(yù)控制，根據(jù)當(dāng)前的Web請(qǐng)求負(fù)載，部署用于處理Web請(qǐng)求的虛擬機(jī)，在保證SLA的同時(shí)，使得電能消耗最少。

3.1.2 網(wǎng)絡(luò)路由

參考文獻(xiàn)[18]在密集型數(shù)據(jù)中心中建立了一個(gè)節(jié)能路由模型，并提出一個(gè)路由算法來(lái)解決網(wǎng)絡(luò)節(jié)能問(wèn)題。參考文獻(xiàn)[22]提出了一個(gè)路由算法，在保證網(wǎng)絡(luò)全連接以及鏈路最大利用率的同時(shí)，關(guān)閉不用的網(wǎng)絡(luò)節(jié)點(diǎn)，使網(wǎng)絡(luò)電能消耗最小。參考文獻(xiàn)[23]考慮了網(wǎng)絡(luò)通信設(shè)備的電能消耗，提出了電能剖面感知路由算法（Energy Profile Aware Routing），實(shí)驗(yàn)結(jié)果表明能節(jié)省35%的電能。參考文獻(xiàn)[24]使用電能剖面概念（Energy Porfile）獲得網(wǎng)絡(luò)設(shè)備電能消耗特征，并提出了基于Dijkstra的節(jié)能 路 由 算 法 （Dijkstra-based PowerAware Routing Alogorithm，DPRA）。參考文獻(xiàn)[25]提出了“活動(dòng)窗口管理的擁塞控制技術(shù)”并結(jié)合提出的節(jié)能服務(wù)調(diào)諧處理算法來(lái)控制因特網(wǎng)服務(wù)運(yùn)營(yíng)商 ISP（InternetService Providers）網(wǎng)絡(luò)上訪問(wèn)節(jié)點(diǎn)的電能消耗，實(shí)驗(yàn)表明在保證QoS和互聯(lián)網(wǎng)流量的同時(shí)，能節(jié)省70%的電能。參考文獻(xiàn)[26]基于認(rèn)知包網(wǎng)絡(luò) CPN（Cognitive Packet Network）的路由協(xié)議 [27]提出了節(jié)能路由協(xié)議EARP（Energy-Aware Routing Protocol），在保證QoS的同時(shí)使得包網(wǎng)絡(luò)中每條路由消耗的電能最少。參考文獻(xiàn)[28]使用了G-網(wǎng)絡(luò)（G-network）中的控制能力理論，在包網(wǎng)絡(luò)的電能消耗和QoS之間建立數(shù)學(xué)模型，使用網(wǎng)絡(luò)路由器和網(wǎng)絡(luò)鏈路驅(qū)動(dòng)設(shè)備電能消耗特征，使得提出的算法能夠在QoS和網(wǎng)絡(luò)電能消耗之間取得平衡。

3.1.3 網(wǎng)絡(luò)信息復(fù)制和分發(fā)設(shè)計(jì)

數(shù)據(jù)中心中運(yùn)行的應(yīng)用程序很多用于信息分發(fā)，無(wú)論是移動(dòng)設(shè)備用戶還是Web 2.0用戶，用戶數(shù)量越來(lái)越多，并且這些用戶分享大量的網(wǎng)絡(luò)信息。但網(wǎng)絡(luò)信息的快速、可靠分發(fā)需要對(duì)數(shù)據(jù)中心投入大量的硬件資源，并需要支付維持硬件設(shè)備運(yùn)行的成本。目前，網(wǎng)絡(luò)傳輸數(shù)據(jù)基本上基于協(xié)議棧中遠(yuǎn)程訪問(wèn)和復(fù)制功能等協(xié)議，其利潤(rùn)很難隨著硬件設(shè)備的升級(jí)而提升。當(dāng)數(shù)據(jù)中心成為發(fā)布和訪問(wèn)網(wǎng)絡(luò)信息的巨大平臺(tái)時(shí)（例如云計(jì)算數(shù)據(jù)中心），在網(wǎng)絡(luò)上傳輸?shù)臄?shù)據(jù)量將大幅度增加，此時(shí)需要設(shè)計(jì)新的網(wǎng)絡(luò)內(nèi)容復(fù)制和分發(fā)策略，來(lái)保證網(wǎng)絡(luò)內(nèi)容的計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)傳輸和電能消耗、服務(wù)質(zhì)量之間的均衡。

3.2 面臨的挑戰(zhàn)

除了上述研究熱點(diǎn)以外，當(dāng)前數(shù)據(jù)中心還有許多問(wèn)題有待研究，尤其是云計(jì)算的提出，給數(shù)據(jù)中心節(jié)能帶來(lái)了更多的機(jī)遇和挑戰(zhàn)。

本文對(duì)當(dāng)前數(shù)據(jù)中心中常用的節(jié)能技術(shù)以及算法進(jìn)行分析，并介紹了數(shù)據(jù)中心中網(wǎng)絡(luò)設(shè)備、制冷設(shè)備、電源設(shè)備等節(jié)能方法。隨著節(jié)能減排以及降低成本的迫切要求，越來(lái)越多的數(shù)據(jù)中心將采用虛擬化技術(shù)，虛擬化技術(shù)是云計(jì)算的重要技術(shù)之一。

當(dāng)前虛擬化數(shù)據(jù)中心節(jié)能還存在很多問(wèn)題，例如虛擬服務(wù)器本身的節(jié)能管理等。隨著研究的深入，現(xiàn)階段的研究者越來(lái)越關(guān)注通過(guò)利用虛擬機(jī)調(diào)度，關(guān)閉多余的服務(wù)器來(lái)節(jié)省整個(gè)集群消耗的電能或者提出節(jié)能的網(wǎng)絡(luò)路由算法，關(guān)閉多余的網(wǎng)絡(luò)設(shè)備來(lái)節(jié)省整個(gè)網(wǎng)絡(luò)消耗的電能。

參考文獻(xiàn)

[1]KATACHALAM V V，F(xiàn)RANZM.Power reduction techniques for microprocessor systems [J].ACM Computing Surveys（CSUR），2005，37（3）： 195-237.

[2]PALLIPADI V，STARIKOVSKIY A.The ondemand governor[C].Proceedings ofthe Linux Symposium.Canada： LS 2006：658-672.

[3]ZENG H， ELLIS C S， LEBECK A R.A Vahdat.ECOSystem： managing energyasafirstclassoperating system resource[J].ACM SIGPLAN Notices，2002，37（10）：123-132.

[4]RAJKUMAR R， JUVVA K， MOLANO A， et al.Resource kernels： A resource-centric approach to real-time and multimedia systems[C].Readings in multimedia computing and networking.San Jose/CA： ACADEMIC PRESS， 2001：476-490.

[5]ELNOZAHY E， KISTLER M， RAJAMONY R.Energy-Efficient server clusters [J]. Power-Aware Computer Systemspp.2003，2325：179-197.

[6]GARG SK， YEO C S， ANANDASIVAM A， etal.Environment-conscious scheduling of HPC applications on distributed cloud-oriented data centers[J].Journal of Parallel and Distributed Computing， 2010，71（6）：732-749.

[7]PINHEIRO E， BIANCHINI R， CARRERA E V， et al.Load balancing and unbalancing for power and performance in cluster-based systems[C].Proceedings of the Workshop on Compilers and Operating Systems for Low Power.Barcelona：COLP 01， 2001：182-195.

[8]KUSIC D， KEPHART J O， HANSON J E， et al.Power and performance management of virtualized computing environments vialookahead control， clustercomputing[J].Cluster Computing， 2009， 12（1）： 1-15.

[9]VINH T， SATO Y， INOGUCHI Y.A Prediction-Based Green Scheduler for Datacenters in Clouds[EB/OL].[2011-02-23].http：//ino-www.jaist.ac.jp/members/duytvt/IEICE2011.pdf.

[10]BELOGLAZOV A，BUYYA R.Energy efficient allocation of virtual machine in cloud data centers[C].2010 10th IEEE/ACM International Conference on Cluster，Cloud and Grid Computing.Washington DC：IEEE Computer Society，2010：577-578.

[11]SONG Y，WANG H，LI Y，et al.Multi-tiered on-demand resource scheduling for VM-Based data center[C].Proceedings of the 9th IEEE/ACM International Symposium on ClusterComputing and the Grid.Washington：IEEE Computer Society Press， 2009：148-155.

[12]SRIKANTAIAH S， KANSAL A， Zhao Feng.Energy-aware consolidation for cloud computing[C].Proceedings of the 2008 conference on Power aware computing and systems.California： USENIX Association Berkeley， 2008：10-10.

[13]CHASE J S， ANDERSON D C， THAKAR P N， et al.Managing energy and server resources in hosting centers[C].Proceedings of the 18th ACM Symposium on Operating Systems Principles.New York： ACM New York， 2001：103–116.

[14]GMACH D， ROLIA J， CHERKASOVAL， et al.Resource pool management： reactive versus proactiveor let’s be friends[J].Computer Networks， 2009， 53（7）：2905-2922.

[15]GUPTA M，SINGH S.Using low-power modes for energy conservation in ethernet LANs[C].Proceedingsof26th IEEE InternationalConferenceon Computer.Anchorage：IEEE， 2007： 2451-2455.

[16]NEDEVSCHIS， POPA L， IANNACCONE G， etal.Reducing network energy consumption via sleeping and rate-adaptation [C].Proceedings ofthe 5th USENIX Symposium on Networked Systems Design and Implementation.California：USENIX Association Berkeley， 2008：323-336.

[17]CHRISTENSENK， NORDMANB， BROWNR.Power management in networked devices[J].Computer，37（8）：91-93.

[18]Shang Yunfei， Li Dan， Xu Mingwei.Green routing in data center network：modeling and algorithm Design[EB/OL].[2011-03-25].http：//www.asiafi.net/meeting/2010/summerschool/p/asiafi2010s-final2.pdf.

[19]BELOGLZOV A，BUYYA R.Energyefficientresource management in virtualized cloud data centers[C].Proceedings of the 10th IEEE/ACM International Conference on Cluster，Cloud and Grid Computing.Melbourne： IEEE， 2010：826-831.

[20]BELOGLZOV A， ABAWAJY J， BUYYA R.Energy-aware resource allocation heuristics for efficient management of data centers for cloud computing[EB/OL]. [2011-03-20].http：//beloglazov.info/papers/2010-energy-aware-fgcs.pdf.

[21]BELOGLZOV A，BUYYA R.Adaptivethreshold-based approach for energy-efficient consolidation of virtual machines in cloud data centers[C].Proceedings of the 8th International Workshop on Middleware for Grids，Clouds and e-Science.New York：ACM， 2010.

[22]CHIARAVIGLIO L， MELLIA M， NERI F.Energy-aware networks： reducing powerconsumption by switching off network elements[EB/OL].[2011-04-20].http：//cloudbus.org/papers/AdaptiveVMCloud-MGC2010.pdf.

[23]RESTREPO J C，GRUBER C G，MACHUCA C M.Energy profile aware routing[C].IEEE International Conference on Communications Workshops（2009）.Dresden： IEEE， 2009：1-5.

[24]GARROPPO R G， GIORADANO S， NENCIONI G， et al.Energy aware routing based on energy characterization of devices： solutions and analysis[EB/OL].[2011-03-30].http：//networking.disi.unitn.it/cavalese2011/papers/51.pdf.

[25]PANARELLO C，LOMBARDO A， SCHEMBRA G.Energy saving and network performance：a trade-off approach[C].Proceedings of the 1st International Conference on Energy-EfficientComputingandNetworking.New York： ACM，2010：41-50.

[26]MAHMOODIT.Energy-awareroutinginthecognitive packet network[J].Performance Evaluation， 2011， 68（4）：338-346.

[27]GELENBE E.Cognitive Packet network[P].U.S：Patent 6804201，2004-04-11.

[28]GELENBE E，MORFOPOULOU C.RoutingandGNetworks to qptimise energy and quality of service in packet networks[J].Lecture Notes of the Institute for Computing Sciences， Social Informatics and Telecommunications Engineering， 2011， 54（4）： 163-173.