基于強化學習的寫字樓動態(tài)電力價格策略

樊園杰， 張磊， 吳利剛， 周倩， 張梁

(1. 山西大同大學商學院， 大同 037004； 2. 山西大同大學煤炭工程學院， 大同 037004;3. 山西大同大學機電工程學院， 大同 037004； 4.安徽省智能機器人信息融合與控制工程實驗室， 蕪湖 241002)

2021年，國家電網(wǎng)發(fā)布“碳達峰、碳中和”行動方案。面對新能源快速發(fā)展的機遇與挑戰(zhàn)，國家電網(wǎng)將以“碳達峰”為基礎前提，“碳中和”為最終目標，通過供給側(cè)結(jié)構(gòu)調(diào)整和需求側(cè)響應的“雙側(cè)”發(fā)力，解決“雙高”“雙峰”問題，推動能源清潔低碳高效利用[1-2]。大力發(fā)展可再生能源已成為國家在資源方面的整體戰(zhàn)略趨勢，尤其是太陽能和風能的利用。然而可再生能源發(fā)電的間歇性、波動性和電力消費即時性之間存在的矛盾以及儲能的技術經(jīng)濟壁壘，使得可再生能源發(fā)電的大規(guī)模利用仍然存在障礙。智能電網(wǎng)[3-5]集信息、通信、智能控制技術于一體，融合了分布式發(fā)電和負載需求響應，實現(xiàn)了可靠、高效、清潔、自愈、安全等特點的全新電網(wǎng)運行模式。在電力分級市場中，單依靠增加電力系統(tǒng)的傳輸設備數(shù)量來減少電網(wǎng)波動行是行不通的。通過需求側(cè)動態(tài)價格響應來靈活的處理不同時間段電力資源供需不匹配問題，從而提高電網(wǎng)的可靠性、安全性并且降低電力資源能耗成本，成為當前研究的熱點[6-8]。

基于需求側(cè)動態(tài)價格響應是一種及時調(diào)整電價的商業(yè)策略，目的是通過時變的電價可以改變消費者的用電習慣，從而實現(xiàn)電力的分流、削峰和填谷。文獻[9]考慮分時電價的家用電器能耗調(diào)度問題，可有效地降低用戶成本，提高能源有效利用率。文獻[10]研究了大規(guī)模使用強制的分時電價對商業(yè)和工業(yè)領域的影響。而如何制定電價是電價體制改革的關鍵[11]，為此，朱天博等[12]采用區(qū)塊鏈技術保障市場規(guī)則的正常運行以及用戶的個人利益，進而保障交易的可靠性、安全性。文獻[6]則是將能源系統(tǒng)中微電網(wǎng)的動態(tài)需求響應策略轉(zhuǎn)化為以零售商利益最大化為目標的混合整數(shù)規(guī)劃問題。為了使得電力零售商利潤最大化[13-15]，零售商和用戶之間可通過Stackelberg博弈模型進行建模，用戶根據(jù)公布的價格管理家用電器的能源使用，使其支付最少的費用[16-18]。

現(xiàn)研究分級電力市場中，由物業(yè)和寫字樓所組成的微電網(wǎng)配電系統(tǒng)。物業(yè)作為寫字樓消費者與電網(wǎng)公司之間的橋梁，在保證供需平衡的前提下，如何提高電網(wǎng)的可靠性和降低消費者成本成為核心問題, 而如何充分調(diào)動需求側(cè)資源，推動電力系統(tǒng)由“源隨荷動”向“源荷互動”轉(zhuǎn)變是電力系統(tǒng)安全穩(wěn)定運行面臨的新挑戰(zhàn)，受到研究人員的廣泛關注。

1 系統(tǒng)模型

如圖1所示，將國家電網(wǎng)-物業(yè)電力管理部門-寫字樓視為一個電力傳輸?shù)姆旨夒娏κ袌觯渲?，國家電網(wǎng)是電力供應的起始端，負責電力的產(chǎn)生與傳輸；物業(yè)電力管理部門(property power management, PPM)介于國家電網(wǎng)與寫字樓消費者之間，作為保障電力供應與信息傳輸(電力價格、電力能耗、不舒適度)的樞紐，在電力供需中既要保持供需關系的平衡，維持電力系統(tǒng)穩(wěn)定；又要實時監(jiān)測電力需求，根據(jù)電力需求通過電力零售價格來約束電力資源的使用。在上述的電力傳輸與信息交互的過程中，物業(yè)的工作狀態(tài)分為電力高峰期、低谷期和過渡期。

圖1 分級電力市場Fig.1 Hierarchical electricity market

物業(yè)以電力批發(fā)價從國家電網(wǎng)購買電力，同時接收電力供應“緊張度”和寫字樓的電力需求信息；物業(yè)通過實時計算，根據(jù)寫字樓的需求信息、電力批發(fā)價格以及電力“緊張度”給出實時的電力零售價，完成電力供應的同時將該信息傳輸給寫字樓； 研究重點是物業(yè)如何通過所接收到的信息制定合理的動態(tài)電價策略，從而改變寫字樓消費者的用電習慣，在保障供需平衡的前提下，提高電網(wǎng)的可靠性和降低消費者的購電成本。

1.1 寫字樓模型

寫字樓內(nèi)各電氣設備在不同的時間段內(nèi)對電力的需求是不同的，將寫字樓中所有的電氣設備耗電情況視作一個整體，只考慮寫字樓整體的電力能耗情況，暫不考慮各電氣設備的具體能耗。

根據(jù)用電設備對電量消耗的需求特性，可將寫字樓用電設備分為不可調(diào)度負載與可調(diào)度負載。不可調(diào)度負載指的是辦公樓部分電氣設備由于其工作性質(zhì)的特殊性，電力供應不可中斷也不可縮減的負載，如辦公、照明、電梯等；可調(diào)度負載指的是可以臨時縮減電力能耗的柔性負載，如空調(diào)、加濕器、電動汽車集群充電等。因此，不可調(diào)度負載模型可表述為

(1)

在t時刻，可調(diào)度負載的模型可表述為

(2)

(3)

(4)

ζt≤0，ζt∈[0,1]

(5)

(6)

(7)

αt>0；βt>0；αt,βt∈[0,1]

(8)

式中：αt為消費者個人偏好程度參數(shù)，αt的值越大，說明寫字樓消費者對于電力資源的需求也越大，物業(yè)應該盡最大的可能滿足消費者的電力需求，反之亦然；βt為預定義的不舒適度參數(shù)。

最后，寫字樓在t時刻總的能量消耗模型可表述為

(9)

(10)

式中：dt為寫字樓用電負載在t時刻總的能耗量；d為在T時間段內(nèi)寫字樓用戶負載總的能耗量。

綜合考慮電力零售價格、電力實際能耗量、用戶不舒適度等諸多因素，定義寫字樓用戶的目標函數(shù)為

(11)

1.2 物業(yè)模型

物業(yè)作為寫字樓消費者與電網(wǎng)公司之間的橋梁，是一個營利性的中介組織，以最大化自身的收益為最終的目的。定義物業(yè)獲得利潤的目標函數(shù)為

(12)

(13)

1.3 目標函數(shù)

綜合考慮物業(yè)與寫字樓用戶端雙方利益，定義總目標函數(shù)為

(14)

2 基于強化學習的動態(tài)價格響應算法

如圖2所示，強化學習是智能體在與未知隨機環(huán)境的信息交互中，通過采取相應的動作以獲取最大即時獎勵或者累計獎勵的過程，適用于求解模型未知的決策問題。

St為智能體在t時刻從環(huán)境接收到的實時狀態(tài)信息；At為當環(huán)境處于St狀態(tài)時智能體采取的動作；Rt為智能體采取At動作時所獲得的獎勵圖2 智能體與環(huán)境的交互Fig.2 Interaction between agent and environment

2.1 分級電力市場的MDP模型

(15)

式(15)中：rt為t時刻所獲得的獎勵值；γ為未來獎勵相對于目前獎勵的折扣率；γk∈[0,1]為權衡因子，用于衡量當前獎勵與未來獎勵的相對重要性。

定義狀態(tài)-動作價值函數(shù)為

Qπ(s,a)=Eπ(Gt|st=s,at=a)

(16)

式(16)中：Qπ(s,a)為在狀態(tài)s下采取動作a后獲得累計回報的期望值；st、at分別為t時刻的狀態(tài)與該狀態(tài)下采取的動作；Eπ(·)為在策略π下采取本次動作的期望值；策略π為狀態(tài)到動作的映射，動作與狀態(tài)是一一對應的，表征該狀態(tài)下采取該動作的概率大小。

狀態(tài)-動作價值函數(shù)通過貝爾曼方程(Bellman equation)分解為當前獎勵與未來獎勵兩部分。，即

Qπ(st,at)=Eπ[rt+γQπ(st+1,at+1)|st,at]

(17)

式(17)中：st+1和at+1分別為下一時刻的狀態(tài)與動作。

式(17)表明當前狀態(tài)-動作的價值只與當前的獎懲值以及下一步的狀態(tài)-動作價值有關，而與其他因素無關；因此，通過貝爾曼方程的迭代可求解最佳動作，獲得最優(yōu)策略π*，即

Q*(s,a)=maxQπ(s,a)

(18)

(19)

式中：Q*(s,a)為在狀態(tài)s下采取動作a所對應Q值的最優(yōu)解。

2.2 采用Q-Learning求解動態(tài)零售電力價格

Q-Learning算法是一種廣泛應用的強化學習方法，采用s-a表格的形式記錄整個學習過程的Q(s,a)，在整個學習的過程中利用貝爾曼方程迭代更新Q(s,a)值，并通過比較獲得最佳的動作a，具體迭代更新可表示為

Q(st,at)]

(20)

式(20)中：α為學習率。

表1為Q-Learning算法。為了保證智能體在與新環(huán)境的交互中，既能選擇最優(yōu)的行為策略，而且具有對未知環(huán)境隨機的探索能力，一般選擇貪婪策略(ε-greedy)，其中ε∈[0,1]為區(qū)間內(nèi)的常數(shù)，當θ<ε時，智能體通過隨機選擇動作來探索未知環(huán)境，其中θ為隨機生成的數(shù)值；相反，當θ≥ε時，智能體通過利用現(xiàn)有的已知來選取當前狀態(tài)下具有最大價值的動作[12]，因此智能體的學習滿足：

(21)

3 數(shù)值模擬

3.1 數(shù)值模擬參數(shù)與環(huán)境設置

數(shù)值模擬以一典型的寫字樓日常能耗為例，將該寫字樓每24 h定為一個時間周期，共計仿真3個時間周期；在每個周期中，每隔1 h進行一次數(shù)據(jù)結(jié)算與信息更新。

表2 彈性系數(shù)參數(shù)Table 2 Elastic coefficient parameter

表3 電力價格Table 3 Electricity price

函數(shù)中折扣衡量當前獎勵與未來獎勵的相對重要性權衡因子γ=0.9；貪婪算法中ε=0.5。

數(shù)值模擬在Windows10專業(yè)版64位以及Core i9-10900k@3.7 GHz，NVidia GeForce RTX 3080硬件下完成，通過Python 3.8.5進行測試。寫字樓用戶數(shù)值模擬以24 h為一個時間周期，在3次數(shù)值模擬中算法運行時間分別為：17 619.26、17 721.58、12 575.40 s。

3.2 模型能耗分析

圖3 寫字樓電力能耗需求Fig.3 Power consumption demand of office buildings

實驗中，不可調(diào)度電力資源不受電力零售價格的影響，因此在圖5中只顯示實時電力零售價格信息與可調(diào)度電力資源的電力能耗信息；以24 h為一個時間周期，仿真實驗中每小時為一個時間節(jié)點，共模擬3個周期?？梢婋娏α闶蹆r格的波動性整體保持穩(wěn)定，在電力高峰期與過渡期的電力價格差整體高于電力低谷期，其目的是在電力能耗的高峰期約束寫字樓消費者的電力消耗，通過提高價格來緩解電力供應緊張的形勢，旨在減小電力“緊張度”。模擬實驗表明：電力低谷期(0:00—8:00、22:00—24:00)電力零售價格偏低，可調(diào)度電量的使用量普遍偏高，但是綜合考慮寫字樓的工作時間，得出：可調(diào)度電量并不需要被全部供應；相反，在電力高峰期(9:00—13:00、17:00—21:00)寫字樓內(nèi)電氣設備高負荷運轉(zhuǎn)，可調(diào)度電量有被完全供應的需要，但是受制于電力“緊張度”的原因，在電力高峰期可調(diào)度電量不能被完全滿足。

圖4 電力價格曲線Fig.4 Electricity price curve

圖5 需求側(cè)可調(diào)度能源與電力零售價格響應Fig.5 Demand side adjustable energy and retail price response of power

由圖5可知，在0～24 h，在電力低谷期6：00的時候節(jié)省的電力資源最多，而物業(yè)則是在電力高峰期13：00獲利最多；在25～48 h時間段內(nèi)，4：00—8：00的電力零售價格維持恒定均為2.4元/(kW·h)，間接證明該算法在處理電力能耗與電力批發(fā)價格之間不失一般性的能夠給出相同的電力零售價格；同樣地，物業(yè)在電力高峰期17：00獲利最多；在25～48 h與49～72 h，在電力低谷期2：00的時候，電力資源縮減量最多；每24 h中，電力資源節(jié)省量最高時刻分別為6：00、2：00、2：00。分析圖6可知：在3個時間周期中，電力資源縮減量分別為74.60、58.32、64.11 kW·h。

通過數(shù)值模擬發(fā)現(xiàn)，由于寫字樓的辦公屬性，電力資源縮減量在電力低谷期普遍偏高，而物業(yè)則是在電力高峰期獲取相對較高的收益，說明電力資源縮減量與物業(yè)的收益沒有特定的線性關系；電力零售價格的波動受到彈性系數(shù)ζt與電力資源能耗需求的影響；在彈性系數(shù)跳躍性變化時，價格波動明顯，電力資源縮減量的變化也更為突出。每24 h電力資源縮減量的能耗對比如圖6所示。

圖6中，每日可調(diào)度電力資源實際能耗保持在約370 kW·h，電力資源縮減量也相對穩(wěn)定，證明該算法在實際應用中能夠有效地處理現(xiàn)實問題，并且在處理相同的問題時，雖然目標函數(shù)會秉承消費者成本支出最小和物業(yè)利益最大的原則，但是在3個周期內(nèi)，相同時間點卻給出不同的電力零售價格，說明該算法在應對相同問題時，目的雖然相同，但是能夠給出不同的解決方案。

圖6 72 h能耗對比Fig.6 Comparison of 72 h energy consumption

3.3 經(jīng)濟效益分析

圖7中呈現(xiàn)了寫字樓消費者在每24 h中的電力能耗縮減與能耗支出成本的節(jié)省。圖8中對比了寫字樓消費者的成本節(jié)省與物業(yè)電管部門的盈利收益，通過對比發(fā)現(xiàn)，物業(yè)盈利與消費者成本節(jié)省二者是反比例關系，符合電力市場的現(xiàn)實關系。綜合分析可知，在0～24 h，電力節(jié)省量最多，但是物業(yè)獲取的利潤卻相對最少，僅為242.31元；而在25～48 h與49～72 h中物業(yè)獲取的利潤分別為306.16、334.69元，說明物業(yè)獲取的利潤與電力資源節(jié)省量并非線性關系，間接說明該算法并不是簡單地將電力資源縮減量與物業(yè)獲取利潤耦合關聯(lián)。

結(jié)合3.2節(jié)模型能耗分析可以得出，基于強化學習的需求側(cè)電力價格響應在3個能耗需求相同，電力批發(fā)價格相同的周期中，最終在相同時刻給出了不同的電力零售價格，但是卻始終保持了可調(diào)度電力資源實際能耗與物業(yè)獲取利益的相對穩(wěn)定，說明該算法具有良好的自適應能力與合理解決問題的能力。

圖7 CUS能耗縮減-成本節(jié)省Fig.7 CUS energy reduction-cost savings

圖8 雙方利益分析Fig.8 Interests of both parties analysis

4 結(jié)論

在微電網(wǎng)能源管理系統(tǒng)中，首先建立以國家電網(wǎng)公司-物業(yè)管理部門-寫字樓消費者為整體的分級電力市場模型,并將分級電力市場建模為MDP模型，然后通過基于強化學習的需求側(cè)動態(tài)價格響應算法獲得物業(yè)最優(yōu)的能源調(diào)度策略，通過Q-Learning求解最優(yōu)的動態(tài)零售價格序列，在保障寫字樓用戶正常辦公的前提下，不僅節(jié)省電力成本，而且最大程度地提高物業(yè)的盈利，有效減少電力波動，提高電網(wǎng)的可靠性。以寫字樓用戶72 h能耗需求與實際能耗為例，通過數(shù)值模擬驗證，分析電力資源節(jié)省量與消費者態(tài)度之間的非線性關系，驗證了所提算法的有效性和實用性。

僅在以寫字樓為例建立離散-有限的MDP 模型中證明了該算法的實用性，后期將繼續(xù)增加其他電力能耗類型在電力資源調(diào)度與能源管理中做整體性分析或局域性調(diào)度；特別是在智能電網(wǎng)電力傳輸與分配方面做深入研究。