風(fēng)光儲(chǔ)制氫下多臺(tái)制氫機(jī)組優(yōu)化調(diào)度研究①

董 硯 盧 禹 雷兆明 康學(xué)斌

(河北工業(yè)大學(xué)電氣工程學(xué)院 天津 300130)

0 引言

人們已經(jīng)愈發(fā)重視能源危機(jī)和環(huán)境問題,清潔的可再生能源作為可持續(xù)發(fā)展的重要組成,對(duì)傳統(tǒng)的化石燃料的替代作用也日益凸顯。我國(guó)風(fēng)能和太陽能分布廣泛、資源豐富并且在時(shí)空上有天然的互補(bǔ)性,越來越受到人們重視[1]。隨著我國(guó)大力推進(jìn)綠色低碳能源,以風(fēng)能、太陽能為代表的新能源將繼續(xù)保持快速發(fā)展[2]。

風(fēng)能和太陽能的間歇性和波動(dòng)性使得對(duì)其消納變得困難,所以常結(jié)合儲(chǔ)能裝置形成微電網(wǎng)[3]。文獻(xiàn)[4]采用混合儲(chǔ)能系統(tǒng)降低可再生能源輸出功率的波動(dòng)程度,提高了輸出功率的質(zhì)量,使風(fēng)電更容易被消納。文獻(xiàn)[5]通過對(duì)儲(chǔ)能電池的控制解決風(fēng)電場(chǎng)短期計(jì)劃出力的跟蹤問題,能夠促進(jìn)風(fēng)電消納。文獻(xiàn)[6]采用一種煤風(fēng)氫能源網(wǎng)結(jié)構(gòu),通過制氫的方式消納風(fēng)電。文獻(xiàn)[7]利用抽水蓄能電站來抑制可再生能源發(fā)電的波動(dòng),最大化可再生能源的消納。文獻(xiàn)[8]對(duì)微電網(wǎng)源荷儲(chǔ)協(xié)調(diào)優(yōu)化調(diào)度進(jìn)行研究,改善了源荷兩側(cè)的匹配度并能提高系統(tǒng)的風(fēng)光消納量。

上述文獻(xiàn)中都通過各種方式促進(jìn)可再生能源的消納,其中平抑波動(dòng)和追蹤計(jì)劃出力曲線研究較多,制氫與儲(chǔ)能結(jié)合的調(diào)度研究較少。制氫已成為當(dāng)下熱點(diǎn),但研究重點(diǎn)放在系統(tǒng)的整體性能上,并未對(duì)制氫環(huán)節(jié)進(jìn)行擴(kuò)展。因此,本文研究含有多臺(tái)制氫機(jī)組的風(fēng)光儲(chǔ)制氫系統(tǒng),采用改進(jìn)時(shí)序差分算法和多目標(biāo)粒子群優(yōu)化算法分別對(duì)多臺(tái)制氫機(jī)組和儲(chǔ)能電池調(diào)度來追求經(jīng)濟(jì)效益,其中儲(chǔ)能電池的調(diào)度為輔助作用,用來使風(fēng)光出力曲線匹配制氫出力曲線,并通過算例分析測(cè)試算法性能。

1 問題描述及數(shù)學(xué)模型

本文在給定風(fēng)電、光伏功率下,對(duì)儲(chǔ)能電池和多臺(tái)制氫機(jī)組進(jìn)行調(diào)度。制氫機(jī)組的功率-效率曲線[9-11]是調(diào)度的基礎(chǔ)(見圖1)。制氫機(jī)組效率隨著輸入功率增加而變小,在調(diào)度多臺(tái)制氫機(jī)組時(shí)平均分配功率會(huì)使整體效率最大,因此對(duì)多臺(tái)制氫機(jī)組的調(diào)度為機(jī)組的運(yùn)行-待機(jī)間的切換調(diào)度,即運(yùn)-待調(diào)度。

圖1 PEM 制氫機(jī)組功率-效率曲線

1.1 目標(biāo)函數(shù)

1.1.1 多臺(tái)制氫機(jī)組調(diào)度目標(biāo)函數(shù)

多臺(tái)制氫機(jī)組調(diào)度的目標(biāo)是經(jīng)濟(jì)效益最高。

其中,T 為總時(shí)段數(shù);Nt為t 時(shí)段機(jī)組運(yùn)行個(gè)數(shù);Put為t 時(shí)段風(fēng)光出力功率;F 為收益函數(shù),F(Put/Nt)=cΔtFH2(Put/Nt);c 為氫氣售價(jià);Δt 為時(shí)間間隔;FH2為氫氣產(chǎn)量函數(shù);α 為機(jī)組使用代價(jià),為負(fù)值。

1.1.2 儲(chǔ)能電池調(diào)度目標(biāo)函數(shù)

儲(chǔ)能電池調(diào)度為多目標(biāo)優(yōu)化調(diào)度,目標(biāo)分別是制氫機(jī)組出力曲線與儲(chǔ)能電池調(diào)節(jié)后風(fēng)光出力曲線最大可能的匹配和儲(chǔ)能電池參與下經(jīng)濟(jì)效益最高。

其中,Pbt為t 時(shí)段儲(chǔ)能電池功率,電池放電為正值,充電為負(fù)值;Pet為t 時(shí)段多臺(tái)制氫機(jī)組所耗功率,當(dāng)Put+Pbt在其出力范圍內(nèi)時(shí)取Put+Pbt值,否則取邊界值;函數(shù)中(Put+Pbt)/Nt值超出制氫機(jī)組出力上限時(shí)取上限值,低于下限時(shí)該時(shí)段收益為F(Pmin)(Put+Pbt)/Pmin+αNt。

1.2 約束條件

1.2.1 功率平衡約束與制氫機(jī)組運(yùn)行約束

功率平衡約束為

制氫機(jī)組出力上下限約束為

制氫機(jī)組運(yùn)-待時(shí)間約束為

其中,To,min和Ts,min分別是最小運(yùn)-待時(shí)間,To和Ts分別是機(jī)組運(yùn)行和待機(jī)時(shí)間。

1.2.2 儲(chǔ)能電池運(yùn)行約束

儲(chǔ)能電池充放電功率約束[12]為

其中,Pbmin為最大充電功率,為負(fù)值;Pbmax為最大放電功率,為正值。

儲(chǔ)能電池荷電狀態(tài)約束[12]為

其中,Emin為電池最小剩余電量,Emax為電池最大剩余電量,Et為第t 個(gè)時(shí)段末電池的剩余電量。各時(shí)段剩余電量的遞推關(guān)系如下所示。

其中,ρ 為蓄電池的自持放電率;ΔEt為第t 個(gè)時(shí)段的電量變化,正值表示放電,負(fù)值表示充電;ηc和ηd分別為外部電網(wǎng)對(duì)電池的充電效率和電池內(nèi)部的放電效率;Δt 為時(shí)間間隔。

儲(chǔ)能電池剩余電量約束為

其中,E0為初始剩余電量,ET為最終剩余電量。儲(chǔ)能電池需要連續(xù)使用,因此最終剩余電量與初始剩余電量差距應(yīng)盡可能得小,此處設(shè)置罰函數(shù)處理為λ(ET-E0)2,其中λ 為懲罰因子,為負(fù)值。

2 模型求解

調(diào)度目標(biāo)為儲(chǔ)能電池和多臺(tái)制氫機(jī)組,其中對(duì)多臺(tái)制氫機(jī)組的調(diào)度是離散解區(qū)間的調(diào)度問題,采用改進(jìn)時(shí)序差分算法。儲(chǔ)能電池的調(diào)度是連續(xù)解區(qū)間的調(diào)度問題,采用多目標(biāo)粒子群優(yōu)化算法。

2.1 改進(jìn)時(shí)序差分算法

時(shí)序差分算法(temporal-difference algorithm,TDA)是強(qiáng)化學(xué)習(xí)中最為核心的算法,是蒙特卡洛思想和動(dòng)態(tài)規(guī)劃(dynamic programing,DP)思想的結(jié)合。與蒙特卡洛方法類似,TDA 不需要環(huán)境動(dòng)態(tài)模型,可以直接從原始經(jīng)驗(yàn)中學(xué)習(xí)。與DP 一樣,TDA根據(jù)其他學(xué)習(xí)估計(jì)更新估計(jì),而無需等待最終結(jié)果[13]。改進(jìn)時(shí)序差分算法(improved temporal-difference algorithm,ITDA)將蒙特卡羅思想融入動(dòng)態(tài)規(guī)劃,用樣本表征環(huán)境。

2.1.1 狀態(tài)空間

將各制氫機(jī)組每個(gè)時(shí)段的不同運(yùn)-待安排設(shè)定為環(huán)境的一個(gè)狀態(tài),表示為Stn,每個(gè)時(shí)段的任一狀態(tài)的任一動(dòng)作都只指向下一個(gè)時(shí)段的各個(gè)狀態(tài)(見圖2)。

圖2 狀態(tài)空間

2.1.2 樣本采集

按時(shí)段隨機(jī)生成方案,同時(shí)考慮制氫機(jī)組運(yùn)-待約束和出力約束,將不滿足約束的方案剔除并重新生成。第1 個(gè)時(shí)段運(yùn)-待方案生成后,考慮歷史運(yùn)-待情況下,再生成第2 個(gè)時(shí)段。以此類推,得到方案樣本。其中若某一時(shí)段重復(fù)一定次數(shù)仍不能得到方案,則重新生成。將方案樣本帶入目標(biāo)函數(shù)求出各個(gè)狀態(tài)的獎(jiǎng)勵(lì)R 并記錄,重復(fù)上述過程得到改進(jìn)時(shí)序差分算法的樣本集。

2.1.3 重要性采樣率

改進(jìn)時(shí)序差分算法用樣本表征環(huán)境,環(huán)境的發(fā)生概率由樣本表現(xiàn),所以隨著策略更新需要重復(fù)采樣,這加大了算法的復(fù)雜性,因此引入重要性采樣率來避免這個(gè)問題,僅使用同一樣本集即可完成算法。重要性采樣率為

其中,π(a| s) 為目標(biāo)策略,b(a | s) 為行為策略。目標(biāo)策略采用ε-greedy 策略求得,行為策略為均等概率選擇動(dòng)作。ε-greedy 策略即大多數(shù)時(shí)間選擇有最大動(dòng)作價(jià)值的動(dòng)作,但是有ε 的概率選擇隨機(jī)的動(dòng)作。對(duì)所有非貪心的動(dòng)作,選擇它的概率是ε/A(s),其中A(s) 是動(dòng)作總數(shù),對(duì)于貪心的動(dòng)作,選擇它的概率是1 -ε+ε/A(s)。

2.1.4 價(jià)值函數(shù)更新

隨著重要性采樣率的引入,狀態(tài)價(jià)值函數(shù)V(s)更新式有所改變,如下所示:

其中,α1為狀態(tài)步長(zhǎng)因子;γ 為衰減因子;ρ 為重要性采樣率;R 為獎(jiǎng)勵(lì),其值為該時(shí)段的收益;β 為原式中步長(zhǎng)因子α1的替代,用于適應(yīng)ρ 驅(qū)動(dòng)下狀態(tài)價(jià)值函數(shù)額更新,當(dāng)ρ 為1 時(shí),β=α1。

動(dòng)作價(jià)值函數(shù)Q(s,a) 更新如下:

其中,α2為動(dòng)作步長(zhǎng)因子,V(s) 為狀態(tài)價(jià)值函數(shù)。

2.2 多目標(biāo)粒子群優(yōu)化算法

多目標(biāo)粒子群優(yōu)化(multi-objective particle swarm optimization,MOPSO)算法[14]是在粒子群優(yōu)化(particle swarm optimization,PSO)算法[15]基礎(chǔ)上建立的,于2004 年被提出。其保留了PSO 使用簡(jiǎn)單的速度-位置模型實(shí)現(xiàn)對(duì)整個(gè)解空間尋優(yōu)的方式,對(duì)個(gè)體極值和全局極值的選取做了如下變動(dòng):(1)對(duì)于個(gè)體極值,MOPSO 算法在不能嚴(yán)格對(duì)比出哪個(gè)更好的情況下隨機(jī)選擇其中的一個(gè);(2)對(duì)于全局極值,MOPSO 算法在外部存檔中根據(jù)擁擠程度選擇,擁擠程度越小,選擇概率越大。

2.2.1 速度-位置更新公式

粒子的速度和位置按式(15)進(jìn)行更新。

其中,ω 為慣性權(quán)重,c1和c2為學(xué)習(xí)因子,r1和r2為[0,1]之間的隨機(jī)數(shù),vi和xi為第i 個(gè)粒子的速度和位置,pi為第i 個(gè)粒子的個(gè)體極值,pg為全局極值,d 為維數(shù)。

較大的慣性權(quán)重有利于全局尋優(yōu),較小的則有利于局部尋優(yōu)。為了使算法在開始時(shí)具有較好的全局搜索能力,在迭代后期具有較好的收斂效果,采用變動(dòng)慣性權(quán)重ω,其更新公式為

其中,ωs為初始慣性權(quán)重,ωe為終止慣性權(quán)重,t 為當(dāng)前迭代次數(shù),tmax為最大迭代次數(shù)。

2.2.2 粒子的設(shè)定與更新及種群初始化

粒子的設(shè)定將調(diào)度時(shí)段數(shù)設(shè)定為粒子的維度,將各個(gè)時(shí)段的儲(chǔ)能電池出力情況值設(shè)定為對(duì)應(yīng)維度的值。

粒子的更新每次迭代更新粒子的速度和位置,如果速度超出限制則取邊界值,同時(shí)位置超出限制則重新生成。重復(fù)一定次數(shù)后依然沒有可行解則采用原值。

種群初始化每個(gè)時(shí)段的充放電功率都會(huì)影響以后時(shí)段的充放電,首先從第1 個(gè)時(shí)段開始,根據(jù)初始電量和儲(chǔ)能電池出力約束確定第1 個(gè)時(shí)段儲(chǔ)能的充放電功率范圍。然后從這個(gè)范圍內(nèi)隨機(jī)取一個(gè)值作為本段的充放電功率,求出本段末的剩余電量作為下一時(shí)段的初始電量。第2 個(gè)時(shí)段同第1 時(shí)段一樣,以此類推產(chǎn)生一個(gè)粒子。用同樣的方式產(chǎn)生種群。

2.3 算法整體流程

結(jié)合改進(jìn)時(shí)序差分算法和多目標(biāo)粒子群優(yōu)化算法得到具體的算法流程如圖3 所示。

圖3 算法流程圖

3 算例分析

本文研究?jī)?nèi)容為實(shí)際工程研究項(xiàng)目的預(yù)研任務(wù),根據(jù)實(shí)際項(xiàng)目的設(shè)備參數(shù)建立了含有5 臺(tái)制氫機(jī)組的風(fēng)光儲(chǔ)制氫模型,進(jìn)行仿真實(shí)驗(yàn)驗(yàn)證調(diào)度算法。由于工程項(xiàng)目還在建設(shè)中,對(duì)實(shí)體機(jī)組的調(diào)度需要待工程建設(shè)完成后驗(yàn)證。其中風(fēng)電裝機(jī)容量為4 MW,光伏裝機(jī)容量為2 MW;儲(chǔ)能電池最大充放電功率為0.6 MW,最大電量為2 MW·h,最小電量為0.2 MW·h,初始電量為1.2 MW·h,充放電效率均為0.87,放電率為0.005[12];制氫機(jī)組最大出力功率和最小出力功率分別為2 MW 和0.8 MW,最小運(yùn)-待時(shí)間均為2 h,使用代價(jià)為40 元/h;氫氣售價(jià)為40 元/kg[6]。風(fēng)光預(yù)測(cè)出力曲線如圖4 所示。

圖4 風(fēng)光預(yù)測(cè)出力曲線

將風(fēng)光預(yù)測(cè)出力曲線分成24 時(shí)段對(duì)多臺(tái)制氫機(jī)組進(jìn)行調(diào)度,每個(gè)時(shí)段值為該時(shí)段平均值。改進(jìn)時(shí)序差分算法參數(shù)為步長(zhǎng)因子α1為0.01,步長(zhǎng)因子α2為0.2,衰減因子γ 為0.9,ε-greedy 策略中ε 為0.1,樣本數(shù)為2 萬個(gè)。與分布估計(jì)算法(estimation of distribution algorithm,EDA)進(jìn)行對(duì)比,分布估計(jì)算法有隨機(jī)性,所以運(yùn)行50 次結(jié)果取平均值。本文方法在樣本集確定后結(jié)果將不會(huì)改變,所以在10 個(gè)樣本集下運(yùn)行結(jié)果取平均值,如圖5 所示?？梢钥闯?2 種算法下收益隨著迭代次數(shù)的增加而增加。改進(jìn)時(shí)序差分算法(ITDA)僅需5 次迭代便可收斂,而EDA 算法需要16 次才能收斂,并且改進(jìn)時(shí)序差分算法的最終收斂值也要高于EDA 算法,改進(jìn)時(shí)序差分算法有更好的收斂性和收斂值。

圖5 改進(jìn)時(shí)序差分算法與分布估計(jì)算法收斂曲線

多臺(tái)制氫機(jī)組的調(diào)度是在24 個(gè)時(shí)段下,并且每個(gè)時(shí)段為該段平均值,將得到的方案作用于96 個(gè)時(shí)段下可能出現(xiàn)某些時(shí)段匹配不好的情況,如圖6 所示。調(diào)度儲(chǔ)能電池可以優(yōu)化這個(gè)問題。

圖6 風(fēng)光出力與制氫出力曲線

MOPSO 算法參數(shù)為種群規(guī)模為40,迭代次數(shù)為500,粒子的速度范圍為[-0.06,0.06],初始慣性權(quán)重ωs為0.8,終止慣性權(quán)重ωe為0.5,學(xué)習(xí)因子c1和c2均為2。算法運(yùn)算效果如圖7 所示?？梢钥闯?隨著迭代次數(shù)增加,收益整體呈上升趨勢(shì),匹配誤差呈下降趨勢(shì)。圖中收益值并未加入罰函數(shù),在算法運(yùn)算的時(shí)候,為了使儲(chǔ)能電池最后剩余電量趨近于初始電量,在目標(biāo)函數(shù)上引入罰函數(shù),匹配結(jié)果如圖8 所示?？梢钥闯?儲(chǔ)能電池優(yōu)化后2 條曲線匹配程度遠(yuǎn)優(yōu)于圖6,但是在30 時(shí)段附近仍有較大出入,這是因?yàn)閮?chǔ)能電池的出力限制導(dǎo)致的。

圖7 多目標(biāo)粒子群優(yōu)化算法收斂曲線

圖8 風(fēng)光儲(chǔ)出力與制氫出力曲線

儲(chǔ)能電池的調(diào)度同時(shí)考慮了連續(xù)使用性,其各時(shí)段剩余電量如圖9 所示。可以看出,儲(chǔ)能電池各時(shí)段剩余電量均滿足荷電狀態(tài)約束,最終剩余電量也十分接近初始電量,有很好的連續(xù)使用性。

圖9 儲(chǔ)能剩余電量

4 結(jié)論

本文研究調(diào)度多臺(tái)制氫機(jī)組和儲(chǔ)能電池來消納風(fēng)電和光伏。需要面對(duì)風(fēng)電和光伏的間歇性和波動(dòng)性以及制氫設(shè)備和儲(chǔ)能電池的出力限制和使用限制。采用文中所述改進(jìn)時(shí)序差分算法對(duì)多臺(tái)制氫機(jī)組調(diào)度具備更好的算法收斂性和收斂值,更具有經(jīng)濟(jì)性。但隨著時(shí)段數(shù)的擴(kuò)大,制氫設(shè)備出力難以很好地匹配風(fēng)光出力,儲(chǔ)能電池的加入并通過多目標(biāo)粒子群算法調(diào)度在處理這個(gè)問題上取得了很好的效果。

能動(dòng)地調(diào)度多臺(tái)制氫機(jī)組可以調(diào)節(jié)制氫效率,擴(kuò)大出力區(qū)間,更具備經(jīng)濟(jì)性和消納性。儲(chǔ)能電池的參與也能進(jìn)一步提高系統(tǒng)的消納能力。本文所述風(fēng)光儲(chǔ)制氫系統(tǒng)可以兼顧經(jīng)濟(jì)性和消納性,能夠適應(yīng)風(fēng)能和太陽能的間歇性和波動(dòng)性,為風(fēng)電和光伏消納方案的制定提供了新的思路。