基于雙層Kriging元模型算法的多產消代理商主從博弈能量管理模型

孫國強，王善磊，陳 勝，吳 晨，，胡國偉，周亦洲，衛(wèi)志農

（1. 河海大學 能源與電氣學院，江蘇 南京 211100；2. 國網江蘇省電力有限公司經濟技術研究院，江蘇 南京 210008）

0 引言

構建低碳可持續(xù)能源系統(tǒng)已成為國際社會推動能源轉型、促進減少污染氣體排放、應對全球氣候變化的普遍共識和一致行動。在碳達峰和碳中和背景下，由于分布式能源的優(yōu)勢逐步顯現(xiàn)，能源供給模式開始由集中式向分布式轉型，終端用戶的角色也逐步由消費者升級為產消者。2017年11月，國家發(fā)改委、國家能源局發(fā)布了《關于開展分布式發(fā)電市場化交易試點的通知》，產消者作為新興主體參與市場化交易有了政策支撐［1］。然而，以產消者為代表的用戶側獨立主體在參與市場交易時不可避免地面臨以下問題：①受到自身容量限制，產消者單獨參與電力現(xiàn)貨市場交易時缺乏市場競爭力；②產消者多位于系統(tǒng)末端，電網對其不可觀，因此難以被準確地調控［2］。在此背景下，產消代理商的概念應運而生。

產消代理商本質為面向產消者的能源聚合商，能夠實現(xiàn)對不同類型產消用戶的有效聚合，使其具備市場準入資格。目前，針對產消者及其代理商的市場交易以及優(yōu)化調度問題已有較多研究，文獻［3］研究產消者的日前優(yōu)化調度問題，并且基于交互式能源機制建立了產消者的分布式調度框架。文獻［4-5］研究多產消者基于合作博弈的日前調度策略，并分別基于Shapley 值法以及納什談判法實現(xiàn)合作剩余的公平分配。文獻［6］研究產消者的需求響應模型，建立產消者與消費者之間的主從博弈模型。然而，上述文獻僅對產消代理商的集中交易策略進行研究，僅考慮產消代理商與外部電網的單一交互關系。而實際上，由于多個代理商的用電行為以及用電模式具有良好的互補特性以及交互關系，因此對其交易策略的研究應該逐漸向產消代理商之間協(xié)調發(fā)展。文獻［7］提出了一種基于分布式算法的產消者點對點多邊競價模型，并以智能合約的形式規(guī)定了產消者在點對點交易過程中的權利和義務。文獻［8］則將產消者之間的能源交易問題轉化為非合作博弈問題進行求解，進而以納什均衡解作為最佳交易策略。

本文在產消代理商參與集中交易的基礎上，同時考慮各產消代理商之間的分散式電能共享，并引入市場運營商MO（Market Operator）作為產消代理商與上級電網之間交易的過渡層，建立MO 與多產消代理商主從博弈優(yōu)化模型，并以電價作為激勵手段引導各產消代理商調整自身能量管理策略，提高彼此間的共享電量。然而，考慮到產消者聚合單元的多樣性，能量管理模型中將不可避免地出現(xiàn)如燃氣輪機啟停、電動汽車EV（Electric Vehicle）充放電狀態(tài)等布爾變量，導致能量管理模型非凸，無法推導其等效KKT（Karush-Kuhn-Tucher）條件，進而無法以計算速度較快的解析法對其進行求解。除解析法外，文獻［9-10］提出了迭代循環(huán)的求解方法，但需要頻繁調用上下層模型，求解效率過低。

Kriging 元模型為求解該問題提供了新的思路。由于對非線性模型具有良好的近似能力以及誤差估計能力，Kriging 元模型經常被選作近似替代復雜仿真模型的簡化數(shù)學模型，如文獻［11］采用Kriging 元模型替代復雜的混合整數(shù)非線性模型，文獻［12］采用元模型算法求解復雜的混合儲能優(yōu)化配置問題，文獻［13］則將Kriging 元模型用于替代虛擬電廠的能量管理模型。本文在文獻［11-13］的基礎上，進一步采用雙層Kriging 元模型替代下層產消代理商的能量管理模型，并在誤差估計中引入低可信度代理模型，從而能夠正確反映高可信度函數(shù)的變化趨勢，顯著提高誤差估計精度，同時提高模型的訓練速度以及擬合能力［14］。

綜上所述，本文首先介紹了產消代理商的基本概念、基本特性、分類方法、運行框架及與其他能源服務商的區(qū)別；其次，考慮到不同產消代理商之間較大的電能互補潛力，構建了MO 與多產消代理商之間的主從博弈優(yōu)化模型，剖析了MO 的動態(tài)定價策略及其與產消代理商運行策略之間的相互影響，并通過電價積極引導產消代理商之間的電能共享；最后，引入雙層Kriging 元模型算法擬合替代下層非凸的產消代理商能量管理模型，實現(xiàn)主從博弈模型的高效求解。算例驗證了本文所提方法的有效性。

1 產消代理商的概念

隨著市場環(huán)境的不斷開放，兼具電能生產和消費能力的產消者將作為新型利益主體參與市場運行。在此背景下，以先進的自動化技術、智能量測技術以及實時通信技術作為技術支持，對配電側不同類型產消者進行整合，形成集電能生產和消費于一體、具有自主決策能力的聚合商——產消代理商，其含義可理解為集群化的產消者，因此具有源荷雙重屬性，且具有電力與信息高度融合與交互、對“價值”信號高度敏感等特點，其概念示意圖見附錄A圖A1。

1.1 產消代理商的基本特性

在交互能源機制下，角色多重性、用戶多樣性以及交互性是產消代理商區(qū)別于其他能源服務商的基本特性［15］。角色多重性，即產消代理商兼具電力消費者以及生產者雙重角色，且其身份可以在兩者之間轉換或同時兼顧；用戶多樣性，即產消代理商的種類、優(yōu)化策略、效用度量指標以及能量交互機制的多樣性；交互性，即產消代理商具有良好的主觀能動性，并體現(xiàn)在產消代理商之間、產消代理商與上級運營商之間的互動過程。

1.2 產消代理商的市場運行機制

參考北歐電力市場運行機制，本文構建的產消代理商分層管理框架如圖1 所示。從圖中可見，各產消代理商隸屬于第三方主體，其內部含有能量管理系統(tǒng)（EMS）等計算資源。在日前調度過程中，各產消代理商的能量管理系統(tǒng)結合內部產消用戶的資源功率以及預測信息，制定可控資源的產用能計劃，并上報其期望參與共享以及與電網交互的功率。產消代理商的上級運營商記為MO，其主要承擔產消代理商與上級電網能量互動的過渡層作用，同時MO為盈利性的機構，擁有電力零售權，可制定與產消代理商的交易電價，并按照電網電價以及上網電價與電力市場進行交易，利用兩者之間的差價來獲取收益。

圖1 產消代理商分層管理框架Fig.1 Hierarchical framework of prosumer aggregators

1.3 產消代理商與其他能源服務商的區(qū)別

產消代理商與其他能源服務商的區(qū)別和聯(lián)系如附錄A 表A1所示。在聚合單元層面，產消代理商本質上是對不同產消者用戶的聚合，并對產消者內部聚合的分布式電源、儲能等資源進行整合；而虛擬電廠是從區(qū)域配電網層級聚合分布式電源以及儲能資源。在地域特性以及整體規(guī)模方面，產消代理商整體規(guī)模較小，對外整體呈現(xiàn)源荷雙重屬性；而虛擬電廠是聚合不同節(jié)點處的分布式能源，聚合規(guī)模較大，且一般對外呈現(xiàn)電源特性。在市場參與方面，產消代理商間的交易一般適用交互能源機制，即除了集中交易外，還可以通過點對點或能量共享的形式進行分散式交易，且點對點交易是自發(fā)進行的，與文獻［16］提出的在平臺支撐下進行的產消者-平臺-產消者形式也有所不同。

1.4 產消代理商的分類

各產消代理商按其社會特性及源荷特性，可大致分為工業(yè)型、商業(yè)型和居民型。其中，工業(yè)型產消代理商可調容量較高，屬于“電源主導型”產消代理商，對外整體呈現(xiàn)出“電能盈余”狀態(tài)；商業(yè)型產消代理商主要為聚合商業(yè)樓宇的代理商，負荷需求量較高，屬于“負荷主導型”產消代理商，對外整體呈現(xiàn)“電能缺額”狀態(tài)；居民型產消代理商主要聚合居民側可控負荷資源，可控容量較小，更側重用電的經濟性和舒適性［15，17］。盡管居民型產消代理商也屬于“負荷主導型”產消代理商，但是一般對外整體呈現(xiàn)“電能自平衡”狀態(tài)。

從聚合單元的角度看，各產消代理商具有一定的重合性，但對外整體呈現(xiàn)的狀態(tài)是相對確定的。如對于商業(yè)型產消代理商而言，若增加充電樁設施，雖然在某些時刻由于EV 放電可降低商業(yè)型產消代理商的購電需求，但從整體上看，不會改變商業(yè)型產消代理商的負荷主導特性以及電能缺額特性。因此，產消代理商的分類除了考慮聚合單元外，仍有必要從社會特性及對外整體呈現(xiàn)的源荷特性角度考慮。

2 MO與多產消代理商主從博弈模型

結合圖1 可知，MO 為產消代理商市場交易的上級運營商，MO的電價制定將會決定產消代理商選擇何種交易方式，而產消代理商的交易方式也會反過來影響MO 的電價制定，對比產消代理商和MO 的市場地位以及投資主體，可構建MO 與多產消代理商主從博弈模型，其博弈框架如圖2所示。

圖2 本文構建的主從博弈框架Fig.2 Framework of proposed Stackelberg game

由圖2 可見：MO 充當領導者角色，結合市場電價約束和購售電量約束，以最大化自身收益為目標制定各產消代理商的交易電價；各產消代理商作為跟隨者，在接收到MO 的交易電價信息后，以最小化用電成本為目標優(yōu)化內部各聚合單元的電量；MO則再次依據(jù)產消代理商的能量管理策略調整零售電價，從而形成領導者-跟隨者順次博弈，構成Stackelberg 博弈關系，而各產消代理商之間構成非合作博弈關系。

2.1 MO最優(yōu)定價模型

MO 的效益函數(shù)為MO 參與現(xiàn)貨市場獲取的凈利潤，其中成本包括向上級電網和產消代理商購電支付的費用，收益包括向上級電網以及產消代理商售電的收入，具體如下：

對于每個交易時刻，MO首先根據(jù)各產消代理商提交的購電量和售電量來確定共享電量，當電量盈余時將多余電量出售給上級電網，當電量缺額時從上級電網購入電量，因此有如下電量平衡約束：

2.2 不同類型產消代理商能量管理模型

2.2.1 工業(yè)型產消代理商

工業(yè)型產消代理商多聚合工業(yè)產消者，常見的聚合單元包含燃氣輪機、電儲能系統(tǒng)ESS（Electrical Storage System）、光伏機組等。工業(yè)型產消代理商整體對外呈現(xiàn)電源特性，其運行成本函數(shù)表示如下［19］：

2.2.2 商業(yè)型產消代理商

商業(yè)型產消代理商多聚合商業(yè)產消用戶，主要可調資源為樓宇的中央空調系統(tǒng)CACS（Central Air-Conditioning System），運行成本函數(shù)如下：

進一步基于熱力學方程以及智能樓宇的能量守恒原理，可得t時刻智能樓宇的室溫時變方程為［20］：

2.2.3 居民型產消代理商

居民型產消代理商多聚合居民產消用戶，常見的聚合單元主要包括EV 負荷、洗碗機、洗衣機等可轉移負荷以及屋頂光伏，居民型產消代理商的運行效用函數(shù)表示如下：

洗衣機、洗碗機等可轉移負荷可根據(jù)市場電價進行負荷轉移，產消代理商需向參與負荷轉移的居民支付一定的補償費用，計算如下：

3 基于Kriging元模型算法的博弈模型求解

由于本文建立的主從博弈模型中下層產消代理商的能量管理模型涉及燃機輪機、EV 等布爾變量，導致下層模型非凸，難以獲取其等效KKT 條件。而若簡單采用智能算法對其進行迭代求解，則需要對下層模型進行頻繁調用，嚴重影響模型的計算效率。因此，可考慮用元模型等效代理下層復雜的能量管理模型，而Kriging 模型由于對非線性模型具有良好的近似能力和誤差估計能力，故本文選擇Kriging 元模型作為下層產消代理商能量管理模型的代理模型，其數(shù)學原理見附錄B，從而可將交易電價與交易電量之間的隱性映射關系簡單顯示，避免了對下層模型的頻繁調用，實現(xiàn)模型的高效求解。

3.1 雙層Kriging元模型

為提高Kriging 元模型的訓練效率，本文進一步采用雙層Kriging 元模型算法。該算法采用雙樣本池更新法，其中低置信度樣本池用于反映樣本點在更新過程中的整體變化趨勢，高置信度樣本池用于實際的數(shù)值結果擬合。采用雙層Kriging 元模型后，可將交易電價和交易電量之間的隱性映射關系表示為：

式中：ΩMO為交易電價的可行域空間。

3.2 基于雙層Kriging元模型的博弈模型求解流程

3.2.1 初始模型構建

3.2.2 模型在線修正

1）關鍵區(qū)域劃分。

將3.2.1 節(jié)中生成的樣本集Bj代入目標函數(shù)式（1）中，計算不同樣本點對應的目標函數(shù)值SMO，并根據(jù)SMO的大小將MO 的策略空間劃分為多個區(qū)域。通過不斷縮小優(yōu)質采樣點的區(qū)間范圍，逐步剔除含最優(yōu)解概率較低的區(qū)域，從而實現(xiàn)各區(qū)域的并行計算，提高尋優(yōu)效率。關鍵區(qū)域劃分的方法和步驟見附錄C。

2）雙樣本池更新。

雙樣本池更新思路如下：首先，在每個關鍵區(qū)域上，通過粒子群優(yōu)化（PSO）算法結合擬合好的雙層Kriging 元模型對優(yōu)化模型（式（30））進行尋優(yōu)，快速鎖定該區(qū)域內的最優(yōu)交易電價和交易電量，盡管此時的交易電量并非真實值，但是該樣本點反映了上一輪電價-電量之間的擬合趨勢，一定程度上反映了目標函數(shù)的變化趨勢，故將其放入低置信度樣本池中；然后，將上述最優(yōu)電價作為已知量，代入下層產消代理商的能量管理模型中，計算實際最優(yōu)交易電量，此時得到的交易電價-電量為真實值，可作為數(shù)值擬合的樣本點，將其加入高置信度樣本池中。

3.2.3 模型求解步驟

基于雙層Kriging 元模型算法的主從博弈模型的詳細求解流程如附錄D圖D1所示，具體如下。

步驟1：輸入基本參數(shù)，構建初始訓練樣本集。

步驟2：構建初始雙層Kriging元模型。

步驟7：判斷前后2次迭代全局最優(yōu)解是否滿足收斂條件，是則輸出最優(yōu)解，否則返回步驟2。

4 算例分析

4.1 算例數(shù)據(jù)

本文以一個MO 與3 類不同產消代理商構成的仿真算例驗證所提方法的有效性。工業(yè)型產消代理商、商業(yè)型產消代理商和居民型產消代理商分別記為代理商1、代理商2 和代理商3。燃氣輪機以及ESS的參數(shù)詳見附錄E表E1、E2。CACS的相關參數(shù)見附錄E 表E3，智能樓宇建筑熱參數(shù)見參考文獻［20］。EV 的基本參數(shù)見附錄E 表E4，各類型EV 的數(shù)量均為200 輛，EV 蓄電量上、下限分別為電池容量的95%和15%，最大充放電功率取為電池容量的20%，充放電效率為0.9。可轉移負荷的補貼電價為50 €／（MW·h），最大可轉移量為總負荷的5%，并規(guī)定負荷只能從用電峰值時段轉移至非峰值時段，即允許負荷轉移時段為11:00—15:00和18:00—20:00。各代理商光伏出力曲線以及負荷曲線見附錄E 圖E1、E2 。

本文采用PSO 算法對上層MO 動態(tài)定價問題進行優(yōu)化求解，并采用YALMIP 工具包調用CPLEX 求解器對下層代理商能量管理模型進行求解，Kriging元模型的構建平臺為MATLAB 中的DACE 工具箱。所有算例測試均在MATLAB 2017b軟件上完成。

4.2 算例結果分析

4.2.1 MO動態(tài)定價與產消代理商優(yōu)化結果分析

為體現(xiàn)MO 與多產消代理商之間通過主從博弈確定交易電價以及能量管理策略的有效性，本文設置以下2 種策略：策略1 為MO 不對電價進行優(yōu)化，電力市場購售電價即為產消代理商與MO 的交易電價；策略2為MO采用主從博弈框架進行電價優(yōu)化。

不同策略下，MO 的電價優(yōu)化結果如圖3 所示，MO 與上級電網的最終交易電量如圖4 所示，代理商間的共享電量如附錄F 圖F1 所示。從圖中可以看出，策略2 中MO 通過電價優(yōu)化，顯著增加了代理商間的共享電能，從而減少了MO 與上級電網之間的交易電量，提高了經濟效益。

圖3 不同策略下交易電價優(yōu)化結果Fig.3 Optimization results of transaction price under different strategies

圖4 MO與上級電網交易電量結果Fig.4 Trading electricity results between MO and superior power grid

各代理商的交易電量圖見附錄F圖F2。由圖可見：在01:00—05:00 時段，由于各代理商均供不應求，此時各代理商無法進行能量共享，MO 為保證不虧本，將產消代理商的購電電價定為電網的購電電價；在06:00—08:00和18:00—24:00時段，不同產消代理商的購售電策略不同，如在06:00—08:00時段，代理商1 處于向MO 售電狀態(tài)，而代理商2 和代理商3 均需從MO 購電，總體來看，電能處于供不應求狀態(tài)，MO需向上級電網購電以滿足產消代理商的電量需求，此時MO 通過提高代理商售電電價吸引多電產消代理商出售更多電量以滿足少電產消代理商的需求；在09:00—17:00時段，除代理商2外，代理商1和代理商3均處于向MO售電狀態(tài)，整體處于供大于求狀態(tài)，MO 降低此時代理商的購電電價，以減少向上級電網的出售電量，促使少電產消代理商以及自平衡產消代理商增加用電量，從而提高彼此間的共享電量。可見，產消代理商的運行狀態(tài)會影響MO電價的制定，而MO 制定的電價亦可以引導各產消代理商調整各自的運行狀態(tài)，增加彼此間的共享電量。

不同策略下，各代理商的運行成本以及MO 的整體收益變化如表1所示（負值代表成本）。

表1 不同策略下各主體收益Table 1 Income of each subject under different strategies

由表1可見，MO進行電價優(yōu)化后，代理商1的經濟收益和MO 的綜合效益分別提高了732.40 €和408.68 €，代理商2、代理商3的運行成本也分別降低了96.47 €和183.90 €?？梢?，采用主從博弈框架對MO 進行電價優(yōu)化能夠顯著提高MO 的經濟效益，并能在一定程度上降低各產消代理商的運行成本。

4.2.2 多產消代理商互補特性及耦合作用分析

不同產消代理商對于整體電能共享的作用如圖5所示。從圖中可以看出：若不考慮代理商1加入聯(lián)盟，整體共享電量相對較低；若不考慮代理商2 或代理商3 加入聯(lián)盟，雖然整體的共享電能也有所降低，但是遠不如不考慮代理商1 加入聯(lián)盟降低得多?？梢?，本文考慮多類型產消代理商的能量共享能夠充分利用不同產消代理商的時空互補特性，增加產消代理商間的共享電量，減少整體與上級電網的交互功率。

圖5 不同場景下的共享電量結果Fig.5 Shared power results under different scenarios

具體到產消代理商聚合單元來看，以商業(yè)型產消代理商的CACS 為例，其在不同策略下的運行狀態(tài)如圖6所示。

圖6 不同策略下CACS運行狀態(tài)Fig.6 Operation status of CACS under different strategies

通過對比可以看到：策略2 中CACS 在07:00—09:00和15:00—17:00時段耗電量有明顯降低，這主要是因為MO 降低了售電電價并提高了購電電價，CACS為減少運行成本，在滿足最低舒適度要求的前提下，減少電能的消耗；在10:00—14:00時段，MO通過降低購電電價吸引少電產消代理商多消耗電能，故此時CACS 耗電量較策略1 有明顯增加。燃氣輪機和EV 在不同策略下的運行狀態(tài)分別見附錄F 圖F3和圖F4。

4.2.3 雙層Kriging元模型算法的有效性分析

為測試不同算法的性能，本文對雙層Kriging 元模型、單層Kriging 元模型和傳統(tǒng)迭代算法（PSO 算法）進行了系統(tǒng)性的測試。圖7為某次計算過程中3種算法的收斂過程圖，表2 為取10 次計算結果的平均值。

圖7 不同算法收斂過程Fig.7 Convergence process of different algorithms

表2 不同算法性能測試結果Table 2 Performance test results of different algorithms

從圖7 中可以看出，3 種算法最終得出的MO 運行收益相差不大，但是不同算法的收斂過程和收斂速度差別較大，2 種Kriging 元模型算法的整體收斂速度更快，雙層、單層Kriging 元模型算法分別在約180 次和350 次迭代后收斂，其效率遠高于傳統(tǒng)PSO算法。

由表2可知，3種算法的下層模型調用次數(shù)和總計算時間存在明顯差異性。由于PSO算法每一步粒子的更新均需要對下層模型進行調用求解，當粒子數(shù)量較多時，對下層模型的頻繁調用將帶來嚴重的“維度災難”。與PSO 算法相比，2 種Kriging 元模型算法均能夠大幅度減少對下層模型的調用次數(shù)，有效提高計算效率。并且，相比單層Kriging元模型，雙層Kriging 元模型對下層模型的調用次數(shù)更少，計算時間減少了26%，這主要得益于雙層Kriging 元模型更強大的數(shù)據(jù)擬合能力和更高效的樣本訓練機制。

2種Kriging 元模型的收斂過程如附錄F圖F5所示?？梢?，雙層Kriging 元模型整體的誤差要小于單層Kriging 元模型，在低置信度代理模型的作用下，其整體誤差在迭代開始時也較小，且收斂速度較單層Kriging元模型更快。

產消者數(shù)量增加對于模型求解時間的影響見附錄F表F1?？梢钥闯?，隨著代理商數(shù)量的增加，模型總的迭代次數(shù)變化并不明顯，計算時間的增加速度也較為緩慢，并非呈類似指數(shù)型的爆炸式上升，可見本文所提算法對于復雜系統(tǒng)環(huán)境依然適用。

5 結論

本文提出一種MO 和多產消代理商的主從博弈模型，并采用一種雙層Kriging 元模型算法實現(xiàn)模型的高效求解。算例結果表明：

1）通過本文所構主從博弈模型對產消代理商購售電價的優(yōu)化，能夠增加產消代理商間的共享電量，有效減少MO 與上級電網的交易電量，提高MO 及各產消代理商的經濟效益；

2）雙層Kriging 元模型算法在保證計算結果正確的前提下，有效減少了模型的迭代次數(shù)，顯著提高了模型的求解效率。

隨著用戶側市場的不斷開放，本文所構建的主從博弈模型能夠適應小規(guī)模的分布式發(fā)電交易，使市場中的主體可以積極自主地尋求交易，通過市場化的手段達到不同資源優(yōu)化配置。在后續(xù)研究中，筆者將進一步探索基于合作博弈、非合作博弈等手段的產消代理商集中-分散交易方式，并對產消代理商內部產消者的合作剩余分配進行深入研究。

附錄見本刊網絡版（http：//www.epae.cn）。