基于圖神經(jīng)網(wǎng)絡(luò)的電-熱聯(lián)合能源系統(tǒng)優(yōu)化調(diào)度研究

陳 曦，司恒斌，張 良，馮泊翔，任曉龍，田 雙，張志宏

（1.國網(wǎng)陜西電力信息通信公司，陜西西安 710065；2.廈門大學(xué)，福建廈門 361005）

0 引言

隨著當(dāng)前社會(huì)對(duì)能源需求的增加與節(jié)能減排之間的矛盾日益突出，實(shí)現(xiàn)能源的充分利用成為亟待解決的問題[1-2]，而多能流調(diào)度與耦合是實(shí)現(xiàn)綜合能源系統(tǒng)高效運(yùn)行的關(guān)鍵[3-4]。但由于諸多非線性約束條件的存在，使得多能流優(yōu)化調(diào)度作為非凸優(yōu)化問題難以得到全局最優(yōu)解[5]。隨著可再生能源的普及，其波動(dòng)性與隨機(jī)性又為優(yōu)化調(diào)度工作帶來了新的挑戰(zhàn)[6]。

對(duì)綜合能源系統(tǒng)優(yōu)化調(diào)度問題的求解工作大多集中在隨機(jī)優(yōu)化[8]、魯棒優(yōu)化與分布魯棒優(yōu)化[9]方面，但存在場(chǎng)景多求解困難、趨于保守等問題。此外也出現(xiàn)了使用智能算法求解的研究。文獻(xiàn)[10]考慮源荷不確定性的電-熱系統(tǒng)，使用改進(jìn)的粒子群算法求解，一定程度上克服了粒子群算法的缺陷。文獻(xiàn)[11]基于多場(chǎng)景技術(shù)，設(shè)計(jì)了分階段的優(yōu)化調(diào)度模型。文獻(xiàn)[12]考慮人對(duì)溫度感知的模糊性，從負(fù)荷調(diào)節(jié)的角度開發(fā)了電-熱系統(tǒng)優(yōu)化調(diào)度模型，減輕了調(diào)度壓力。文獻(xiàn)[13]提出了多主體微網(wǎng)的電-熱聯(lián)合能源系統(tǒng)的分層調(diào)控策略。這些方法為優(yōu)化調(diào)度工作提供了可行的解決方案，但系統(tǒng)狀態(tài)每次改變都要重新求解，在面對(duì)大規(guī)模問題時(shí)難以實(shí)現(xiàn)快速響應(yīng)。

強(qiáng)化學(xué)習(xí)（Reinforcement Learning，RL）近年在諸多組合優(yōu)化問題的求解取得了突出的進(jìn)展[14]，并在電力系統(tǒng)優(yōu)化調(diào)度[15]領(lǐng)域得到了廣泛應(yīng)用。文獻(xiàn)[16-17]提出基于深度確定性策略梯度（Deep Deterministic Policy Gradient，DDPG）算法的優(yōu)化調(diào)度方法，但由于算法本身的局限性，訓(xùn)練效率較低。文獻(xiàn)[18]提出了多智能體的強(qiáng)化學(xué)習(xí)調(diào)度優(yōu)化方案，實(shí)現(xiàn)了更高效的探索。文獻(xiàn)[19]提出了基于柔性行動(dòng)器-評(píng)判器（Soft Actor-Critic，SAC）算法[20]的電-熱聯(lián)合系統(tǒng)的優(yōu)化模型，SAC 算法可進(jìn)行單步更新，無需等環(huán)境結(jié)束后再更新網(wǎng)絡(luò)參數(shù)，因此在訓(xùn)練效率上具有明顯的優(yōu)勢(shì)，但因?qū)?dòng)作的評(píng)價(jià)值（Q 值）高估而導(dǎo)致效率下降。這些基于強(qiáng)化學(xué)習(xí)的能源系統(tǒng)優(yōu)化調(diào)度方法，將系統(tǒng)狀態(tài)向量送入強(qiáng)化學(xué)習(xí)模型，進(jìn)行學(xué)習(xí)并輸出調(diào)度方案，忽略了網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)，損失能源系統(tǒng)天然的網(wǎng)絡(luò)結(jié)構(gòu)信息。圖神經(jīng)網(wǎng)絡(luò)（Graph Neural Network，GNN）[21]作為近年在圖結(jié)構(gòu)數(shù)據(jù)的熱門研究方向，通過利用鄰接矩陣來刻畫節(jié)點(diǎn)間的連接關(guān)系，可有效挖掘節(jié)點(diǎn)間復(fù)雜的非線性關(guān)系。在電力系統(tǒng)的無功優(yōu)化問題上，其精度與魯棒性均取得了相較于傳統(tǒng)多層感知機(jī)（Multi-Layer Perceptron，MLP）更好的效果[22]。因此本文將系統(tǒng)建模為圖結(jié)構(gòu)數(shù)據(jù)進(jìn)行訓(xùn)練，通過充分利用系統(tǒng)節(jié)點(diǎn)間的連接關(guān)系，提高訓(xùn)練效率與優(yōu)化結(jié)果。

對(duì)于包含新能源電站的電-熱聯(lián)合能源系統(tǒng)優(yōu)化問題，本文提出了一種基于圖神經(jīng)網(wǎng)絡(luò)架構(gòu)的值分布最大熵Actor-Critic 算法（Distributional Soft Actor-Critic，DSAC）的強(qiáng)化學(xué)習(xí)模型用于優(yōu)化調(diào)度?；贕NN 架構(gòu)的強(qiáng)化學(xué)習(xí)模型，可以處理圖結(jié)構(gòu)信息，因此將電-熱聯(lián)合能源系統(tǒng)建模為圖結(jié)構(gòu)數(shù)據(jù)送入模型，可以為強(qiáng)化學(xué)習(xí)算法提供更為精準(zhǔn)的節(jié)點(diǎn)表示，進(jìn)而實(shí)現(xiàn)更為有效的探索與訓(xùn)練效率。在33-32 節(jié)點(diǎn)的電熱聯(lián)合能源系統(tǒng)上的實(shí)驗(yàn)表明，所提方法相較于基于MLP 的強(qiáng)化學(xué)習(xí)模型與傳統(tǒng)的智能算法，實(shí)現(xiàn)了更快的收斂速度，得到了更為經(jīng)濟(jì)的優(yōu)化策略。

1 電-熱聯(lián)合系統(tǒng)優(yōu)化調(diào)度模型

1.1 電-熱聯(lián)合系統(tǒng)模型

1.1.1 電力系統(tǒng)模型

交流電力系統(tǒng)潮流方程為：

式中：NE為電力系統(tǒng)節(jié)點(diǎn)集合；Pi,Qi分別為節(jié)點(diǎn)i注入的有功功率與無功功率；Ui為節(jié)點(diǎn)i的電壓幅值；Gij為節(jié)點(diǎn)i與節(jié)點(diǎn)j之間的電導(dǎo)；Bij為節(jié)點(diǎn)i與節(jié)點(diǎn)j之間電納；θij=θi-θj，為節(jié)點(diǎn)i與節(jié)點(diǎn)j的相角差。

1.1.2 熱力系統(tǒng)模型

由于熱能的傳導(dǎo)需要介質(zhì)，選擇最常用的水力介質(zhì)，將熱力系統(tǒng)分為水力模型與熱力模型。

1）水力模型。水力模型由流量連續(xù)方程，回路壓力方程構(gòu)成：

式中：A為節(jié)點(diǎn)-支路關(guān)聯(lián)矩陣；m為管道質(zhì)量流量速率向量；mq為節(jié)點(diǎn)注入流量向量；B為回路-支路關(guān)聯(lián)矩陣；hf為壓頭損失向量，與管道的阻尼系數(shù)和管道質(zhì)量流量速率相關(guān)。

2）熱力模型。熱力模型包括節(jié)點(diǎn)功率方程，管道溫度下降方程和介質(zhì)混合方程為：

式中：NH為熱力系統(tǒng)節(jié)點(diǎn)集合；Hi為節(jié)點(diǎn)i的熱功率；Cp為水的比熱容；mq,i為節(jié)點(diǎn)i的注入流量；分別為節(jié)點(diǎn)i的進(jìn)水溫度與出水溫度；Ti,j,Tj,i分別為管道支路ij的i端的水溫與j端的水溫；Te為外部環(huán)境溫度；λ為導(dǎo)熱系數(shù)；Lij為管道支路ij的長度；Ti為混合節(jié)點(diǎn)i的水溫；mij為節(jié)點(diǎn)j與節(jié)點(diǎn)i之間的質(zhì)量流量速率；|ni|為所有流至節(jié)點(diǎn)i的節(jié)點(diǎn)總數(shù)。

1.1.3 電-熱系統(tǒng)耦合環(huán)節(jié)

耦合環(huán)節(jié)考慮可以同時(shí)發(fā)電和供熱的熱電聯(lián)產(chǎn)機(jī)組（Combined Heating and Power，CHP），本文選擇調(diào)控更為靈活且常見的抽凝機(jī)組，其機(jī)組特性對(duì)應(yīng)的多邊形模型為：

式中：PCHP,HCHP分別為CHP 機(jī)組的電出力和熱出力；分別為CHP 機(jī)組的電出力功率的上、下限；γ1,γ2,γ3分別為多邊形區(qū)域系數(shù)。

1.2 目標(biāo)函數(shù)

1）火力電站運(yùn)行成本。

2）供熱站運(yùn)行成本。

3）CHP 機(jī)組運(yùn)行成本。

4）棄風(fēng)成本。

5）最優(yōu)經(jīng)濟(jì)調(diào)度的目標(biāo)函數(shù)。

式中：Ft為時(shí)刻t電-熱聯(lián)合能源系統(tǒng)總運(yùn)行成本。

1.3 約束條件

1）網(wǎng)絡(luò)節(jié)點(diǎn)功率平衡約束。

2）安全約束。系統(tǒng)的穩(wěn)定運(yùn)行需滿足必要的安全約束條件，其中電力網(wǎng)絡(luò)需滿足電壓約束，相角差約束，線路傳輸約束；熱力網(wǎng)絡(luò)需滿足節(jié)點(diǎn)溫度與管道流量約束，即：

式中：Ui,max,Ui,min分別為節(jié)點(diǎn)i的電壓幅值的上下限；為相角差上限；Pˉ為電力線路傳輸功率上限；Ti,max,Ti,min分別為節(jié)點(diǎn)i的供水溫度的上下限；mij,max,mij,min分別為管路ij的供水流量的上下限。

3）機(jī)組出力約束。

2 面向電-熱聯(lián)合能源系統(tǒng)優(yōu)化調(diào)度的GNN架構(gòu)強(qiáng)化學(xué)習(xí)模型

2.1 強(qiáng)化學(xué)習(xí)模型基本框架

Actor-Critic 算法是一種經(jīng)典的強(qiáng)化學(xué)習(xí)算法。其中Actor 指策略網(wǎng)絡(luò)πθ(a|s)，即學(xué)習(xí)一個(gè)策略來得到盡可能高的回報(bào)；Critic 指價(jià)值網(wǎng)絡(luò)Vφ(s)，是對(duì)當(dāng)前策略進(jìn)行估計(jì)并輸出評(píng)估值；θ,φ是待學(xué)習(xí)的參數(shù)，需要在訓(xùn)練過程中迭代更新。每一步更新中，Actor 根據(jù)當(dāng)前的環(huán)境狀態(tài)st輸出動(dòng)作at并作用于環(huán)境，得到即時(shí)回報(bào)rt。Critic 根據(jù)環(huán)境給出的回報(bào)值及當(dāng)前網(wǎng)絡(luò)參數(shù)計(jì)算的打分來調(diào)整其打分，使其評(píng)分更接近環(huán)境的真實(shí)回報(bào)。Actor 則根據(jù)Critic 的打分，調(diào)整其策略πθ。

2.2 基于DSAC算法的優(yōu)化調(diào)度強(qiáng)化學(xué)習(xí)模型

DSAC 算法[23]目標(biāo)為尋找最優(yōu)策略π 來獲得最大的累積回報(bào)期望值Gπ：

其中，γ∈[0,1]為折扣率；γi-t為γ的i-t次方，用以調(diào)整智能體對(duì)短期回報(bào)與長期回報(bào)的權(quán)重；α為溫度系數(shù)；H(π(.|s))=E[-log π(a|s)]，為系統(tǒng)狀態(tài)s下策略π(a|s)的熵值。

相較于Actor-Critic 算法，增加熵項(xiàng)的目的是讓策略隨機(jī)化，即輸出的每一個(gè)動(dòng)作概率盡可能分散，而不是集中在一個(gè)動(dòng)作上，從而保證策略學(xué)習(xí)的隨機(jī)性，使探索的范圍盡可能大，避免落入局部最優(yōu)解。

為了對(duì)策略π 進(jìn)行評(píng)估，定義softQ值函數(shù)并使用Bellman 算子Tπ進(jìn)行計(jì)算：

策略改進(jìn)的目標(biāo)是找到一個(gè)新的策略πnew好于當(dāng)前策略使得回報(bào)期望更大，因此策略網(wǎng)絡(luò)根據(jù)最大化softQ值來更新學(xué)習(xí)，即：

為避免Q值在學(xué)習(xí)中被高估而降低策略性能，算法不再直接計(jì)算soft 回報(bào)Zπ(s,a) 的期望值Qπ(s,a)，而是建模soft 回報(bào)Zπ(s,a) 的分布：Zπ(Zπ(s,a)|s,a):S×A→(Zπ(s,a))，如圖1 所示，傳遞給Actor 用于訓(xùn)練參數(shù)。

圖1 面向電-熱聯(lián)合系統(tǒng)優(yōu)化調(diào)度的強(qiáng)化學(xué)習(xí)框架Fig.1 Reinforcement learning framework for optimal scheduling of electric-thermal combined system

(Zπ(s,a))稱為值分布函數(shù)，并基于Bellman 算子來學(xué)習(xí)soft 回報(bào)Zπ(s,a)：

式中：d為度量2 個(gè)分布的距離函數(shù)。

2.3 圖神經(jīng)網(wǎng)絡(luò)模型

能源系統(tǒng)具有天然的網(wǎng)絡(luò)結(jié)構(gòu)，將其抽象建模為由節(jié)點(diǎn)和邊構(gòu)成的圖G(V,E)。其中V為系統(tǒng)中的節(jié)點(diǎn)集；E為系統(tǒng)中的邊集。

為更好地利用圖中信息，本文采用注意力機(jī)制對(duì)節(jié)點(diǎn)信息進(jìn)行聚合，得到節(jié)點(diǎn)表示[24]：

式中：a為注意力網(wǎng)絡(luò)的參數(shù)向量；We為對(duì)邊信息進(jìn)行線性變換的參數(shù)矩陣；hi，hj，hk分別為i，j，k的向量表示；ei,j為邊的特征向量；GELU 為激活函數(shù)；‖為向量連接符。

2.4 優(yōu)化調(diào)度環(huán)境

將強(qiáng)化學(xué)習(xí)應(yīng)用在電-熱聯(lián)合能源系統(tǒng)的優(yōu)化調(diào)度，需要設(shè)定問題的動(dòng)作a，狀態(tài)s和回報(bào)函數(shù)r。

1）定義智能體動(dòng)作集合A。火力電站有功功率出力，CHP 機(jī)組的電、熱功率出力，供熱站的熱功率出力及新能源電站的消納系數(shù)作為動(dòng)作變量，即：

式（20）中各動(dòng)作范圍為第1 節(jié)優(yōu)化模型中式（12）所列各機(jī)組出力約束。

2）定義圖結(jié)構(gòu)的系統(tǒng)狀態(tài)。強(qiáng)化學(xué)習(xí)需要提取當(dāng)前時(shí)刻的系統(tǒng)狀態(tài)s用于訓(xùn)練，需要將系統(tǒng)信息進(jìn)行編碼，本文將系統(tǒng)建模為圖G(V,E)，系統(tǒng)狀態(tài)通過節(jié)點(diǎn)特征與邊特征來反映。

電力系統(tǒng)的節(jié)點(diǎn)i在時(shí)刻t的特征與節(jié)點(diǎn)i,j之間邊的特征分別為：

熱力系統(tǒng)節(jié)點(diǎn)i在時(shí)刻t的特征與節(jié)點(diǎn)i,j之間邊的特征分別為：

3）定義回報(bào)函數(shù)?；貓?bào)函數(shù)包含最小化系統(tǒng)運(yùn)行成本Ft與違反約束懲罰，但強(qiáng)化學(xué)習(xí)的目標(biāo)為最大化回報(bào)值，因此需要對(duì)回報(bào)取負(fù)值，即：

式中：λi＞0 為懲罰因子；|·| 為優(yōu)化模型式（10）—式（12）中所列的功率平衡約束、安全約束與出力約束。當(dāng)滿足全部約束時(shí)，。此時(shí)回報(bào)值rt=-Ft。

2.5 基于圖神經(jīng)網(wǎng)絡(luò)架構(gòu)的強(qiáng)化學(xué)習(xí)模型

本文所提的基于圖神經(jīng)網(wǎng)絡(luò)架構(gòu)的強(qiáng)化學(xué)習(xí)模型中Actor 的網(wǎng)絡(luò)具體架構(gòu)如圖2 所示。

圖2 Actor網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 Actor network structure

模型輸入為當(dāng)前時(shí)刻t的狀態(tài)圖G(Vt,Et)，在經(jīng)過k層圖神經(jīng)網(wǎng)絡(luò)后得到系統(tǒng)時(shí)刻t的表示并輸出各動(dòng)作的均值μ與方差的對(duì)數(shù)lnσ，變換后得到正態(tài)分布N(μ,σ2)。采樣并添加噪聲后，通過Tanh層得到（-1，1）內(nèi)的值，最后將其映射到式（12）所列的動(dòng)作范圍內(nèi)得到實(shí)際的調(diào)度出力值。Actor 網(wǎng)絡(luò)的層數(shù)為4，各層神經(jīng)元數(shù)量為：128，64，32，32。Critic 網(wǎng)絡(luò)的層數(shù)為5，各層神經(jīng)元數(shù)量為：128，64，64，32，32，各層激活函數(shù)為GELU。

3 算法驗(yàn)證與分析

本文以修改的IEEE 33 節(jié)點(diǎn)電力系統(tǒng)與32 節(jié)點(diǎn)的某地供熱系統(tǒng)[25]為例，分析所提模型的優(yōu)化效果。系統(tǒng)結(jié)構(gòu)如圖3 所示，其中G1，G2 為2 個(gè)火力發(fā)電站，其裝機(jī)容量為1.2 MW；W 為風(fēng)力電站，裝機(jī)容量為0.55 MW；GB1，GB2 為2 個(gè)供熱站，裝機(jī)容量為0.5 MW；CHP 為熱電聯(lián)產(chǎn)機(jī)組。為分析所提算法的優(yōu)勢(shì)，設(shè)置了3 種場(chǎng)景進(jìn)行對(duì)比分析：場(chǎng)景1 不含儲(chǔ)能單元；場(chǎng)景2 僅電力系統(tǒng)含儲(chǔ)能單元；場(chǎng)景3 僅熱力系統(tǒng)含儲(chǔ)能單元。

圖3 電-熱聯(lián)合能源系統(tǒng)結(jié)構(gòu)Fig.3 Structure of electric-thermal combined energy system

3.1 模型訓(xùn)練的收斂性與結(jié)果分析

場(chǎng)景1 下，在網(wǎng)絡(luò)層數(shù)與神經(jīng)元個(gè)數(shù)相同的情況下對(duì)基于MLP 架構(gòu)下的DSAC，SAC，DDPG 算法進(jìn)行了對(duì)比實(shí)驗(yàn)，訓(xùn)練過程中的回報(bào)值如圖4所示。

圖4 基于MLP架構(gòu)的強(qiáng)化學(xué)習(xí)算法對(duì)比Fig.4 Comparison of reinforcement learning algorithms based on MLP architecture

從圖4 可知，DSAC 算法相較于經(jīng)典強(qiáng)化學(xué)習(xí)算法，具有更高的回報(bào)值。為進(jìn)一步驗(yàn)證本文所提出的基于GNN 架構(gòu)的DSAC 算法的優(yōu)勢(shì)，在相同的網(wǎng)絡(luò)設(shè)定下，對(duì)基于GNN 與MLP 架構(gòu)的DSAC 算法進(jìn)行了對(duì)比實(shí)驗(yàn)，訓(xùn)練過程中的回報(bào)值如圖5所示。

圖5 基于GNN與MLP架構(gòu)的DSAC算法對(duì)比Fig.5 Comparison of DSAC algorithms based on GNN and MLP architectures

從圖5 可知，基于GNN 架構(gòu)的回報(bào)曲線經(jīng)過3 000 輪訓(xùn)練之后收斂，和基于MLP 架構(gòu)的回報(bào)曲線相比，GNN 更快開始上升并收斂，且回報(bào)值更大。說明通過將系統(tǒng)建模為圖，并使用GNN 模型對(duì)邊特征加以利用，可以避免探索進(jìn)入局部最優(yōu)解。

從多個(gè)角度對(duì)比與使用傳統(tǒng)智能算法（粒子群算法、遺傳算法）的優(yōu)化結(jié)果，由于傳統(tǒng)智能算法受初始值影響較大，進(jìn)行了多輪訓(xùn)練并選取了最好的結(jié)果，如表1 所示。所有代碼均在CPU 上計(jì)算。

表1 不同算法優(yōu)化結(jié)果對(duì)比Table 1 Comparison of optimization results of different algorithms

從表1 可知，強(qiáng)化學(xué)習(xí)算法在訓(xùn)練時(shí)間上具有明顯優(yōu)勢(shì)，且成本相較于智能算法也更低。

3.2 儲(chǔ)能單元對(duì)電力系統(tǒng)運(yùn)行影響分析

使用基于GNN 框架的DSAC 算法在場(chǎng)景1，2下進(jìn)行訓(xùn)練，得到電力系統(tǒng)調(diào)度結(jié)果如圖6 所示。

圖6 不同場(chǎng)景下電力系統(tǒng)調(diào)度結(jié)果Fig.6 Power system scheduling results under different scenarios

如圖6 所示，總出力與負(fù)荷曲線基本吻合，各場(chǎng)景下出力源的出力均在范圍內(nèi)，且白天用電高峰期表現(xiàn)出了緩慢爬坡的特性。從總出力來看，場(chǎng)景1 下峰值出力是低谷時(shí)的近2 倍；場(chǎng)景2 下，峰值出力是低谷時(shí)的1.5 倍，表現(xiàn)的更為平緩。

3.3 蓄電池狀態(tài)分析

場(chǎng)景2 中蓄電池24 h 內(nèi)各時(shí)刻容量如圖7所示。

圖7 蓄電池容量變化Fig.7 Changes in battery capacity

從圖7 可知，與節(jié)點(diǎn)31 上的風(fēng)電場(chǎng)相連的蓄電池，在風(fēng)力發(fā)電高峰期時(shí)（夜晚）進(jìn)行充電，并在用電高峰期進(jìn)行放電。與節(jié)點(diǎn)21 相連的蓄電池，在用電低谷期（21:00-8:00）進(jìn)行充電，在用電高峰期（9:00-14:00）進(jìn)行放電，符合實(shí)際運(yùn)行需要。說明通過合理設(shè)置約束條件，強(qiáng)化學(xué)習(xí)可以實(shí)現(xiàn)對(duì)含蓄電池的電力系統(tǒng)進(jìn)行合理的優(yōu)化調(diào)度來實(shí)現(xiàn)“削峰填谷”。

3.4 儲(chǔ)能單元對(duì)熱力系統(tǒng)運(yùn)行影響分析

場(chǎng)景1，3 下熱力系統(tǒng)調(diào)度結(jié)果對(duì)比如圖8所示。

圖8 不同場(chǎng)景下熱力系統(tǒng)調(diào)度結(jié)果Fig.8 Thermal system scheduling results under different scenarios

從圖8 可知，總出力與負(fù)荷曲線基本吻合，在夜晚負(fù)荷高峰時(shí)段能夠?qū)崿F(xiàn)緩慢爬坡滿足需求。各熱源出力差異較小，可以有效減少傳輸過程中的熱力損耗。各熱源節(jié)點(diǎn)出力相對(duì)更為平穩(wěn)，特別是節(jié)點(diǎn)31 上連接的CHP 機(jī)組，與儲(chǔ)熱罐相連，即使夜晚高負(fù)荷的情況下，仍保持了和白天相同的出力，其原因在于儲(chǔ)熱罐可以在夜晚熱負(fù)荷高峰時(shí)彌補(bǔ)缺口。這就避免夜晚“以熱定電”的情況發(fā)生，從而節(jié)省運(yùn)行成本。

3.5 儲(chǔ)熱單元狀態(tài)分析

場(chǎng)景3 中儲(chǔ)熱罐24 h 內(nèi)各時(shí)刻容量如圖9所示。

圖9 儲(chǔ)熱罐容量變化Fig.9 Capacity change of thermal storage tank

從圖9 可知，夜晚熱負(fù)荷高峰時(shí)，儲(chǔ)熱罐放熱以滿足熱力缺口，并于8:00 接近放空，在白天溫度升高熱負(fù)荷降低時(shí)（10:00-17:00），開始存儲(chǔ)熱水，并于晚間開始放熱。

4 結(jié)語

本文提出了基于GNN 架構(gòu)的值分布最大熵Actor-Critic 算法的強(qiáng)化學(xué)習(xí)模型。將電-熱聯(lián)合能源系統(tǒng)建模為圖結(jié)構(gòu)數(shù)據(jù)，輸入提出的強(qiáng)化學(xué)習(xí)模型中，從而充分利用系統(tǒng)的拓?fù)浣Y(jié)構(gòu)信息。實(shí)驗(yàn)表明，所提方法實(shí)現(xiàn)了更快的收斂速度，得到了更好的優(yōu)化結(jié)果。說明系統(tǒng)拓?fù)浣Y(jié)構(gòu)信息的利用，對(duì)于強(qiáng)化學(xué)習(xí)方法求解能源系統(tǒng)優(yōu)化問題不可或缺，在優(yōu)化調(diào)度任務(wù)中更具優(yōu)勢(shì)。