基于多代理分散式控制的智能電網(wǎng)存儲管理

王麗君，蔚承建，胡恒愷，王 開，劉 凱

WANG Lijun1,WEIChengjian1,HU Hengkai1,WANG Kai2,LIU Kai3

1.南京工業(yè)大學(xué) 電子與信息工程學(xué)院，南京 210009

2.東南大學(xué) 信息科學(xué)與工程學(xué)院，南京 210018

3.解放軍理工大學(xué) 國防工程學(xué)院，南京 210007

1.College of Electronics and Information Engineering,Nanjing University of Technology,Nanjing 210009,China

2.Department of Information Science and Engineering,Southeast University,Nanjing 210018,China

3.Defence College of Engineering,PLA University of Science and Technology,Nanjing 210007,China

智能電網(wǎng)，又被稱為電網(wǎng)“高速公路”，是當(dāng)今國際最前沿的新能源產(chǎn)業(yè)之一，已成為各國爭相研發(fā)的熱點。智能電網(wǎng)發(fā)展的一個顯著特征是儲能設(shè)備的應(yīng)用，儲能設(shè)備可以降低用戶對于峰值電力的需求，減小電力需求的波動。因此在智能電網(wǎng)中，儲能設(shè)備是實現(xiàn)智能電網(wǎng)的重要基礎(chǔ)之一[1-3]。

智能電網(wǎng)的另一個重要組成部分是智能電表。智能電表可以獲取當(dāng)前電網(wǎng)中各電力供應(yīng)商的信息，從而有效地管理家庭或公司的用電設(shè)備，節(jié)省用戶的用電花費。在智能電網(wǎng)中，電價隨著用戶需求不斷動態(tài)變化著，電價與用戶需求形成擬線性關(guān)系，即需求越大電價越高。儲能設(shè)備在用電高峰期為用電設(shè)備供應(yīng)電能，降低用電高峰期對電力發(fā)電機(jī)組的需求，從而可以降低能源成本和CO2的排放量。然而，如果大量的儲能設(shè)備在同一時刻接入電網(wǎng)進(jìn)行充電，將會使電網(wǎng)負(fù)載過大，導(dǎo)致用戶花費提高及CO2排放量的增大，甚至有可能會損壞當(dāng)前電網(wǎng)。因此，如何對儲能設(shè)備進(jìn)行有效的管理是關(guān)鍵問題所在。

多代理系統(tǒng)（Multi-agent Systems，MAS）模型作為分析系統(tǒng)性能的基本方法已受到很多研究者的關(guān)注[4-5]，多代理技術(shù)被普遍認(rèn)為是管理和控制智能電網(wǎng)的一個有效途徑。隨著可以監(jiān)視和控制家庭設(shè)備的智能電表的出現(xiàn)，軟件Agent可嵌入到智能電表中作為家庭或公司用電設(shè)備的控制管理者。在當(dāng)前的電網(wǎng)中，基于Agent技術(shù)的存儲管理應(yīng)用還比較少。目前只有間歇性發(fā)電設(shè)備（如太陽能發(fā)電，風(fēng)能發(fā)電）使用了大型的電力存儲設(shè)備[6]。首先考慮智能電表優(yōu)化家庭電力使用的是Daryanian[7]，他考慮了家庭儲能設(shè)備的管理方法；Houwing[8]提出了基于Agent技術(shù)的熱電聯(lián)供設(shè)備的優(yōu)化算法；Vandael[9]利用MAS模型管理了混合動力汽車的儲能設(shè)備；Vytelingum[10]研究了基于代理的智能電網(wǎng)微存儲管理，提出了一種依據(jù)市場預(yù)測價格自適應(yīng)學(xué)習(xí)的存儲策略，使得實際存儲策略接近最優(yōu)存儲策略，社會福利顯著提高。但其中Agent只采用了簡單的學(xué)習(xí)策略，而沒有考慮Agent之間的交互問題，所以鑒于智能電網(wǎng)對未來低碳經(jīng)濟(jì)的重要性，本文進(jìn)一步發(fā)展了Vytelingum的研究工作，提出來Agent更有效的學(xué)習(xí)策略，并考慮了Agent之間的相互學(xué)習(xí)，使得存儲策略更加逼近于最優(yōu)存儲策略，社會福利最大化。

1 模型描述

將每天分成T個固定時間段。每天，Agent從電力供應(yīng)商買入電量、儲能設(shè)備存儲電量。Agent集合的用電需求將會呈現(xiàn)出一種規(guī)律變化模式。下面具體描述Agent及相應(yīng)市場模型。

1.1 Agent描述

設(shè)用戶Agent集合為 A，一天的時間段集合J={1,2,…,T}，一般可將T設(shè)為48，即每半小時為一個時間段。Agent的目標(biāo)是最小化用戶的用電成本。假設(shè)Agent a∈A有一個基本固定的使用電量需求組合求。對于Agent a，儲能設(shè)備的最大儲電容量為cam，存儲效率為 μa，單位電量存儲成本為ma，即如果儲能設(shè)備充入q電量，但只能釋放出μaq電量，用戶花費的存儲成本為maq。

Agent代表自利的用戶，目標(biāo)是最小化用電量成本，因此需要優(yōu)化儲能設(shè)備的當(dāng)日存儲策略

1.2 電力市場模型

在電力市場模型中，主要考慮市場當(dāng)中的價格機(jī)制，以及用戶的存儲策略。在此電力市場模型中，電力價格是由市場的總體電力需求決定的，所以需求的改變會直接影響市場中電價的變化。而家庭用戶的用電需求存在共同特性，如用戶在夜間用電量較少，而在傍晚的用電需求則會達(dá)到峰值，同時由于家庭用戶用電量存在周期性。根據(jù)這些特性，假設(shè)電力市場中用戶每日平均用電需求如圖1所示。

本文主要目的在于研究Agent自適應(yīng)策略對于Agent本身以及系統(tǒng)的影響，因此在這里首先定義社會福利標(biāo)準(zhǔn)。

負(fù)載系數(shù)：用一天的48時段平均用電量比上當(dāng)天峰值的用電量，理想值為1，較低的負(fù)載系數(shù)表明當(dāng)前系統(tǒng)中含有較高的峰值用電量。

排碳量：在發(fā)電中會產(chǎn)生大量的CO2，這里用生產(chǎn)每度電（kWh）所產(chǎn)生的CO2來描述排碳量，理想值越低越好。每度電含碳量與電力總需求成正比關(guān)系，當(dāng)電力市場中的總需求增大時，生產(chǎn)每度電所排出的CO2也相應(yīng)提高。

圖1 用戶平均用電需求

2 最優(yōu)存儲策略

在電力市場中，電價根據(jù)市場的總電量需求和供給決定的[10-11]。本文假設(shè)電價與用戶購買總電量成簡單的線性正比關(guān)系。根據(jù)家庭用戶普遍的用電特征，假設(shè)1天為周期性的用電情況，因此可以將1天作為一個研究周期，Agent的最優(yōu)存儲策略就是使得用戶一天花費成本（實際使用電量成本和存儲成本）最小的策略。

為了計算最優(yōu)存儲策略，假設(shè)Agent完全掌握市場信息，即Agent a掌握了其他Agent a′∈A的私有信息，即Agent a′的用電量、存儲效率單位電量存儲成本 ma′、存儲容量。同時每個Agent掌握了用電價格與用電量的關(guān)系。用戶在時間段 j電價可以定義為：

Agent a一天花費總成本等于各個時間段 j用電成本的總和，即：

其中ba表示Agent a的存儲策略組合，表示使用儲能設(shè)備的使用成本。

在這里，需要對Agent的電量存儲策略做進(jìn)一步的說明。用戶每天負(fù)載的實際用電量基本上是保持不變的，為了最小化每天的用電成本，其儲能設(shè)備每天的總充電量乘以存儲效率等于總放電量，即并且用戶一天的實際用電量經(jīng)歷一個高低變化的循環(huán)過程，從而可以合理地估計，作為容量有限的儲能設(shè)備，也一定會經(jīng)歷充放電的循環(huán)過程。

在將Agent最優(yōu)存儲策略數(shù)學(xué)化描述之前，先介紹一下納什均衡的概念。納什均衡[12-13]：假設(shè)有n個局中人參與博弈，在給定其他人策略的條件下，每個局中人都選擇自己的最優(yōu)策略（個人最優(yōu)策略可能依賴于也可能不依賴于他人的策略），從而使自己利益最大化。所有局中人的策略構(gòu)成一個策略組合（Strategy Profile）。納什均衡指的是這樣一種策略組合，這種策略組合是由所有局中人的最優(yōu)策略組成。即在給定別人策略的情況下，沒有人愿意打破這種策略組合（均衡狀態(tài)），在此狀態(tài)之下，任何一個局中人單方面改變自己的策略都不會使自己的利益增大。

在電力市場中，用戶電價 pj是由所有用戶在時間段 j的總購買的電量決定的。因此agent a的用電成本依賴于其他Agent的存儲策略，而所有Agent都會選擇使自己用電成本最小的存儲策略，由于市場信息是完全透明的，即每個Agent都掌握了其他Agent的私有信息，因此每個Agent都會根據(jù)其他Agent的策略選取最優(yōu)存儲策略即滿足納什均衡時的存儲策略，式（5）的多目標(biāo)函數(shù)定義了Agent的最優(yōu)存儲策略。

B={ba1，ba2，…，ban} 是 Agent的 存 儲 策 略 集 合 ，costai(·)在公式（4）中定義，表示儲能設(shè)備初始剩余電量，且式中所有變量大于等于0。約束①表示充電量不得超過儲能設(shè)備容量；約束②表示一天的充電量必須全部用完；約束③表示每一時間段的放電量不超過當(dāng)前時刻儲能設(shè)備的剩余電量；約束④表示每一時間段的充電量不超過允許最大充電容量；約束⑤表示每一時間段的儲能設(shè)備剩余電量；約束⑥每一時間段的儲能設(shè)備可充電量；約束⑦考慮了用戶不可以向電力市場賣電；約束以同時充電與放電。從上述優(yōu)化目標(biāo)函數(shù)以及限制條件，就可以計算出最優(yōu)存儲策略bai*以及最優(yōu)的存儲容量cai*。

3 電力市場的ZIPML Agent

在上述計算最優(yōu)存儲策略的時候，假設(shè)每一時間段j的用電量和電價都是已知的，然而在電力市場中用戶在時間段 j的實際電價需要Agent預(yù)測。所以Agent必須通過學(xué)習(xí)算法不斷優(yōu)化自己的存儲策略，從而使得存儲策略逼近最優(yōu)存儲策略。學(xué)習(xí)算法的有效性將直接決定Agent在電力市場中的表現(xiàn)。因此本文基于CDA市場中ZIP Agent[14]的學(xué)習(xí)策略，提出了適應(yīng)電力市場的ZIPML Agent用于儲能設(shè)備的管理。

3.1 ZIPML Agent最佳存儲策略

針對實際電價需要Agent預(yù)測，且在每天同一時間段 j的電價隨著用戶實際購買電量的變化（由于用戶使用儲能設(shè)備導(dǎo)致）而不斷變化，本文所考慮的存儲策略是基于前一天市場的最優(yōu)存儲策略，Agent首先需要預(yù)存儲容量。

Agent a的目標(biāo)是根據(jù)預(yù)測價格 pa和固定使用電量la優(yōu)化下一天的最優(yōu)存儲策略ba，最優(yōu)化成本函數(shù)如下：

由于市場的價格不斷改變，Agent每天也必須不斷改變其存儲容量。同時由于儲能設(shè)備存在使用成本要通過學(xué)習(xí)以更好地適應(yīng)市場，降低花費。在這里用ca表示Agent經(jīng)過學(xué)習(xí)后的實際存儲容量上界，即式（6）中 ca滿足，其中 t表示Agent學(xué)習(xí)的天數(shù)。

3.2 單Agent學(xué)習(xí)

首先考慮Agent存儲策略的學(xué)習(xí)，Agent需要根據(jù)優(yōu)化的當(dāng)前最優(yōu)存儲策略式（6）算出）自適應(yīng)調(diào)整實際存儲策略?；贑DA市場下的ZIP策略提出了適應(yīng)電力市場的ZIPML策略。具體存儲策略自適應(yīng)學(xué)習(xí)算法形式如下：

3.3 多Agent相互學(xué)習(xí)

4 實驗分析

根據(jù)英國用戶平均用電需求，使用java程序編寫了存儲代理模擬器，用于模擬代理策略對于電力價格及自身利益的影響。為了驗證自適應(yīng)學(xué)習(xí)算法的有效性，實驗?zāi)M了1 000個Agent 100天內(nèi)的存儲策略變化趨勢。參照了用戶平均用電需求，根據(jù)圖1設(shè)置用戶電力需求。同時假設(shè)Agent在未采用儲能設(shè)備時每日具有相同的基本固定用電需求(? j∈J )，單位電量存儲成本ma=0.1，存儲效率 μa=0.95，學(xué)習(xí)系數(shù) λa∈[0 .05，0.1] ，沖量系數(shù)γa∈[0 .3，0.6]，初始剩余電量設(shè)置為0.5 kWh，初始最大存儲容量(0)設(shè)置為5 kWh，初始存儲策略)(? j∈J) 設(shè)置為0 kWh。

為了簡化納什均衡的計算首先考慮由1 000個同質(zhì)Agent組成的系統(tǒng)，其中每個Agent的固定用電需求都如圖1所示。由于所有Agent都有相同的私有信息，因此式（5）中所有子目標(biāo) cos ta(·)完全相同，式（5）可由多目標(biāo)優(yōu)化問題轉(zhuǎn)化為一個二次優(yōu)化問題。根據(jù)上述設(shè)置，首先算出系統(tǒng)的納什均衡，圖2給出了納什均衡策略，其中大于0的部分表示給儲能設(shè)備充電；小于0的部分表示儲能設(shè)備放電。從圖中可以明顯看出，Agent在夜間（低電價）存儲電力，在傍晚（高電價）使用存儲的電力。

圖2 最優(yōu)存儲策略

圖3表示了其中一個Agent在100天內(nèi)的存儲策略變化趨勢，可以看出在100天的時候?qū)嶋H存儲策略已經(jīng)非常逼近最優(yōu)存儲策略?？梢钥闯鯝gent經(jīng)過30天的自適應(yīng)學(xué)習(xí)以后已經(jīng)接近最優(yōu)存儲策略，隨著學(xué)習(xí)天數(shù)的增加，與最優(yōu)存儲策略更加逼近。在市場交易末期最大存儲容量收斂于1.7 kWh。這就表明對于一般用戶，只需要容量為2 kWh的儲能設(shè)備就可以很好地優(yōu)化管理用電需求。開始逼近最優(yōu)用電成本，并收斂于最優(yōu)成本，而在第100天的時候最優(yōu)用電成本與實際用電成本相比已達(dá)到了99.98%。圖7和圖8顯示了系統(tǒng)的社會福利，第10天時碳排放量已經(jīng)明顯減小，100天后碳排放量已減少至原來的93.6%。負(fù)載系數(shù)也由初始狀態(tài)下的66%上升至92%，這表明當(dāng)前系統(tǒng)中用電需求量已經(jīng)達(dá)到平坦?fàn)顟B(tài)，起到了削峰的效果，從而增加了電網(wǎng)的可靠性，提高了電網(wǎng)的使用效率。

圖5 系統(tǒng)價格

上述實驗表明，ZIPML策略可以快速有效地逼近納什均衡策略。有了這個性質(zhì)之后，需要對ZIPML策略的有效性進(jìn)行研究，假設(shè)系統(tǒng)中每個Agent有著各不相同的固定用電需求，在這里用電需求的設(shè)置為符合圖1的正態(tài)分布。其中50%的Agent使用Vytelingum提出的學(xué)習(xí)策略，50%的Agent使用ZIPML學(xué)習(xí)策略。

這里通過用戶節(jié)省花費的百分比來檢驗策略的有效性。從圖4中可以看出在當(dāng)前的系統(tǒng)環(huán)境設(shè)置下，隨著時間的推移，第10天以后ZIPML Agent則可以更加有效地節(jié)省用電花費；最終ZIPML Agent可以為用戶節(jié)省6.1%的花費，優(yōu)于Vytelingum Agent的5.6%。

圖4 ZIPML策略與Vytelingum策略比較

最后對于社會福利進(jìn)行分析，研究在納什均衡狀態(tài)下，系統(tǒng)的集體利益是否被破壞[15]。系統(tǒng)中1 000個Agent的總體需求，用電需求的設(shè)置為符合圖1的正態(tài)分布。圖5中可以看到，隨著天數(shù)的增加，電價漸漸趨于平穩(wěn)，30天后系統(tǒng)的電價已經(jīng)接近平坦?fàn)顟B(tài)。圖6顯示了用戶總用電成本與最優(yōu)值的比較，Agent存儲策略經(jīng)過25天左右的自適應(yīng)學(xué)習(xí)以后，實際用電成本已

圖6 系統(tǒng)總成本

圖7 排碳量減少曲線圖

圖8 負(fù)載因素

5 結(jié)論

鑒于智能電網(wǎng)對未來低碳經(jīng)濟(jì)的重要性，本文在Vytelingum的研究工作基礎(chǔ)上，考慮了Agent之間的相互學(xué)習(xí)，在此基礎(chǔ)上提出了更有效的基于多Agent技術(shù)的ZIPML算法，使得實際存儲策略逼近最優(yōu)存儲策略。通過模擬實驗得出，ZIPML Agent相比于Vytelingum Agent可以更加有效地節(jié)省用電花費，約節(jié)省6.1%。用戶實際存儲策略經(jīng)過一段時間后逐漸逼近最優(yōu)存儲策略；系統(tǒng)總成本也逼近于最優(yōu)值。負(fù)載因素逐漸逼近于1，即電網(wǎng)高峰期的負(fù)荷得到有效降低，排碳量也有明顯減少，驗證了該算法的有效性。

[1]U S Department-Of-Energy.Grid 2030：a national vision for electricity's second 100 years[EB/OL].（2003-02-01）.http：//www.ferc.gov/eventcalendar/files/20050608125055-grid-2030.pdf.

[2]Galvin R，Yeager K.Perfect power：how the micro grid revolution will unleash cleaner，greener[M].[S.l.]：More Abundant Energy.McGraw-Hill Professional，2008.

[3]MacKay D.Sustainable energy：without the hot air[M].[S.l.]：UIT Cambridge，2009.

[4]Exarchakos L，Leach M，Exarchakos G.Modelling electricity storage systems management under the influence of demandside management programmes[J].International Journal of Energy Research，2009，33（1）：62-76.

[5]van Dam K H，Houwing M，Bouwmans I.Agent-based control of distributed electricity generation with micro combined heat and power cross-sectoral learning for process and infrastructure engineers[J].Computers &Chemical Engineering，2008，32（1/2）：205-217.

[6]Korpaas M，Holen A T，Hildrum R.Operation and sizing of energy storage for wind power plants in a market system[J].International Journal of Electrical Power&Energy Systems，2003，25（8）：599-606.

[7]Daryanian B，Bohn R，Tabors R.Optimal demand-side response to electricity spot prices for storage-type customers[J].IEEE Transactions on Power Systems，1989，4（3）：897-903.

[8]Houwing M，Negenborn R R，Heijnen P W，et al.Least-cost model predictive control of residential energy resources when applying chp[M].London，UK：Power Tech，2007：425-430.

[9]Vandael S，Boucke N，Holvoet T，et al.Decentralized demand side management of plug-in hybrid vehicles in a smart Grid[C]//Autonomous Agents and MultiAgent Systems（AAMAS 2010），Toronto，Canada，2010.

[10]Vytelingum P，Voice T D，Ramchurn S D，et al.Agent-based micro-storage management for the smart grid[C]//Autonomous Agents And MultiAgent Systems（AAMAS 2010），Toronto，Canada.，2010.

[11]Williams J，Wright B.Storage and commodity markets[M].UIT，Cambridge：[s.n.]，1991.

[12]Osborne M J.An introduction to game theory[M].[S.l.]：Oxford University Press，2003.

[13]Weibull J W.Evolutionary game theory[M].Cambridge，MA：MIT Press，1995.

[14]Cliff D，Bruten J.Minimal-intelligence agents for bargaining behaviors in market-based environments，Technical Report HPL-97-91[R].1997.

[15]Holland A.Welfare losses in commodity storage games[C]//Proceedings of The 8th International Conference on Autonomous Agents and Multiagent Systems，Budapest，2009：1253-1254.