高比例光伏微網(wǎng)無功均分控制中的Q 學(xué)習(xí)方法

史建勛，張沖標，吳 晗，宣紹琪，高麗青，沈 珺

（1.國網(wǎng)浙江嘉善縣供電有限公司，嘉興 314100；2.南京理工大學(xué)自動化學(xué)院，南京 210094）

隨著工業(yè)化進程的向前，國內(nèi)外電力建設(shè)的發(fā)展日漸強盛，大規(guī)模風(fēng)能、光能等新能源以分布式電源的形式并網(wǎng)，使得電網(wǎng)更加復(fù)雜化、先進化，同時，電網(wǎng)的安全穩(wěn)定運行面臨著更嚴峻的考驗，以光伏PV（photovoltaic）發(fā)電為代表的新能源分布式發(fā)電DG（distributed generation）技術(shù)的有力推廣正在快速推進微電網(wǎng)發(fā)展成未來能源互聯(lián)網(wǎng)的重心[1]。微電網(wǎng)能對分布式電源有效控制和靈活管理[2]，是現(xiàn)代智能電網(wǎng)的關(guān)鍵組成部分。

微電網(wǎng)有脫網(wǎng)工作和并網(wǎng)工作兩種模式[3]。微網(wǎng)在并網(wǎng)運行狀態(tài)時，頻率和電壓由主網(wǎng)決定，容易實現(xiàn)功率均分。當(dāng)微網(wǎng)脫離主網(wǎng)獨立運行時，并聯(lián)運行的DG為了有效、合理分配功率，一般都采用下垂特性控制[4-6]。系統(tǒng)線阻不一致時，會引起傳統(tǒng)簡單下垂控制下DG輸出的無功功率有偏差。偏差過大時會產(chǎn)生微網(wǎng)內(nèi)無功環(huán)流，甚至致使系統(tǒng)運行失穩(wěn)。微網(wǎng)中受接入高比例光伏后的影響方面不僅涉及到并網(wǎng)節(jié)點處電壓波動，還涉及到輸送功率的波動，往往會使得負荷電壓也產(chǎn)生變化。用戶光伏通常分散接入微電網(wǎng)的各節(jié)點，其并網(wǎng)功率若不能完全被本地負荷利用將會導(dǎo)致反向潮流和電壓升高[7-8]。越高比率的戶用光伏接入微網(wǎng)中，系統(tǒng)內(nèi)的反向潮流就越明顯，則節(jié)點電壓升高甚至越限，微電網(wǎng)系統(tǒng)損耗顯著增加[9]。因此，必須實現(xiàn)精確的無功功率均分，抑制無功環(huán)流，從而維持孤島交流微電網(wǎng)穩(wěn)定運行。

通過調(diào)節(jié)微電網(wǎng)中各分布式電源無功功率平均分配來抑制系統(tǒng)無功環(huán)流和提高電壓質(zhì)量是保障電網(wǎng)安穩(wěn)運行的決定性舉措之一。深遠探究無功均分技術(shù)是促進孤島交流微電網(wǎng)發(fā)展不可或缺的使命，能帶來不可小覷的經(jīng)濟效益和社會效益。為了克服傳統(tǒng)下垂控制下無功分配不均的弊端，文獻[10]對逆變器下垂系數(shù)進行自適應(yīng)修正，傳送基準逆變器的輸出功率到別的逆變器進行輸出有功、無功功率的作差，進而改變各自對應(yīng)的下垂系數(shù)，最終實現(xiàn)DG輸出功率平均分配。但是該方案必需DG 間連接信息進行調(diào)節(jié)下垂系數(shù)，并要求有一定的通信帶寬；文獻[11]介紹了一種考慮復(fù)阻抗影響的下垂控制方案，具有高效的動態(tài)性能，最終實現(xiàn)了高精度的功率均分，但是增加DG 輸出阻抗后會造成較大的電壓偏差；文獻[12]提出了一種基于本地信息精確辨識線阻實際值的線路觀測器，利用該辨識值補償線路電壓降，實現(xiàn)DG 輸出無功均分。但是該方法不能應(yīng)用在網(wǎng)狀、多維度等復(fù)雜微電網(wǎng)結(jié)構(gòu)中。

強化學(xué)習(xí)算法是一種人工智能算法，不依賴具體的數(shù)學(xué)模型、全局搜索能力強、應(yīng)用簡單，適用于解決非線性、離散、大規(guī)模的問題，廣泛應(yīng)用于電力系統(tǒng)優(yōu)化等多領(lǐng)域。Q學(xué)習(xí)是目前應(yīng)用最為廣泛的強化學(xué)習(xí)算法，具有所需參數(shù)少、可以采用離線實現(xiàn)方式、收斂到最優(yōu)策略等優(yōu)點。由此，為了改進無功分配不均并控制電壓在合理范圍內(nèi)，本文提出一種高比例光伏微網(wǎng)無功均分控制中的Q學(xué)習(xí)方法，借助其漸進學(xué)習(xí)尋優(yōu)特性，對孤島工作的微電網(wǎng)無功電壓控制過程進行優(yōu)化，獲取系統(tǒng)最佳控制策略，實現(xiàn)對高比例光伏孤島微電網(wǎng)的無功均分，并保證算法具有一定的魯棒性。

1 微網(wǎng)控制理論基礎(chǔ)

1.1 孤島運行微網(wǎng)的結(jié)構(gòu)

如圖1 所示，含高比例光伏孤島運行的微網(wǎng)結(jié)構(gòu)中包含了分布式光伏、負荷以及儲能單元。

1.2 傳統(tǒng)下垂控制理論

圖1 的簡化形式等效為如圖2 所示的系統(tǒng)結(jié)構(gòu)[13]。

圖1 微電網(wǎng)的結(jié)構(gòu)Fig.1 Structure of microgrid

圖2 中的分布式電源逆變器的接入點連接LC濾波器，忽略線阻可近似視作感性的線路參數(shù)。第i個PV向公共母線輸送功率為

圖2 微電網(wǎng)的等效結(jié)構(gòu)Fig.2 Equivalent structure of microgrid

式中：UPCC為在各PV并聯(lián)公共連接點PCC（point of common coupling）量測到的電壓幅值；Ui為PVi輸出的電壓幅值；δi為PVi輸出電壓的相角與PCC電壓相角的差；Xi為PVi到PCC等效的電抗。

PVi的下垂控制方程為

式中：U為參考電壓；fi為PVi輸出頻率；f為系統(tǒng)參考頻率；kp和kq為相應(yīng)下垂系數(shù)。

根據(jù)圖2可得

式中，ΔUi近似視作PVi所在饋線的電壓降落，忽略線阻Ri可表示為

圖3 饋線阻抗不等時兩臺DG 無功分配Fig.3 Reactive power sharing of two DGs with unequal feeder reactance

1.3 Q 學(xué)習(xí)算法

強化學(xué)習(xí)的兩大主體是智能體與環(huán)境，智能體一直探索所有可能的動作，每次動作后給環(huán)境一定獎勵值作為動作的反饋，依據(jù)某種動作選擇策略在彼此的交互過程中漸趨得到最優(yōu)控制方案。智能體動作選擇依據(jù)是最大化其累計期望獎勵值?；灸Ｐ腿鐖D4所示。

圖4 強化學(xué)習(xí)基本模型Fig.4 Basic model of reinforcement learning

Q學(xué)習(xí)是由Watkins提出的一種與模型無關(guān)的強化學(xué)習(xí)算法，是一種基于值函數(shù)迭代的在線學(xué)習(xí)和動態(tài)最優(yōu)技術(shù)。比強化學(xué)習(xí)中的Sarsa、Sarsa（λ）、深度Q學(xué)習(xí)DQN[13]（deepQ-learning）等算法，Q學(xué)習(xí)算法具有所需參數(shù)少、架構(gòu)簡單、預(yù)學(xué)習(xí)簡單等突出優(yōu)勢。Q學(xué)習(xí)法作用于狀態(tài)-動作對對應(yīng)的值函數(shù)Q（s，a），該值函數(shù)的含義是在狀態(tài)s時采用動作a后所得累計獎勵，表示為

式中：s為當(dāng)前時刻狀態(tài)；s′為動作后的新狀態(tài)；a、a′為各自狀態(tài)中采取的動作；γ為折扣率，γ∈[0，1]，當(dāng)γ=0 時，系統(tǒng)只考慮立即獎勵；當(dāng)γ=1 時，長期獎勵和立即獎勵地位一樣?？梢酝ㄟ^在線學(xué)習(xí)獲得上述的Q值。

進入新狀態(tài)后，得到獎勵值反饋并更新Q值。其更新公式為

式中：Qi為第i次迭代的Q值；α為學(xué)習(xí)因子，0<α<1。α較大，算法的收斂速度快，而α值較小，則能保證算法有一定的搜索空間，提升了算法收斂穩(wěn)定性。

在Q學(xué)習(xí)過程中，Q值不斷進行更新一直到穩(wěn)定收斂為最大Q*(s,a)為止。對于每個系統(tǒng)狀態(tài)一般使用貪婪選擇策略進行最優(yōu)動作a*，即有

2 基于Q 學(xué)習(xí)的高比例光伏孤立微網(wǎng)無功均分協(xié)調(diào)控制策略

光伏逆變器的無功控制是一種有效的電壓調(diào)節(jié)手段，相比控制光伏有功、分布式儲能有功以及分接頭設(shè)備等，該方案控制經(jīng)濟性最優(yōu)。

2.1 環(huán)境狀態(tài)集S 定義

微網(wǎng)中各分布式光伏發(fā)出的無功功率視作環(huán)境狀態(tài)。無功偏差ΔQreac可以劃分為一系列的離散區(qū)間，如{ΔQ1,ΔQ2,…,ΔQm}，其對應(yīng)的狀態(tài)集S為{s1,s1,…,sm}。每個DG的狀態(tài)集表示為

式中：Qi,reac為PVi的無功輸出；Qavg為微電網(wǎng)穩(wěn)定運行時平均無功；Qload為系統(tǒng)無功負荷；N為分布式電源總數(shù)。顯然，集合S設(shè)置元素越多，微網(wǎng)運行狀態(tài)就劃分的越細密越精度高；然而集合中元素數(shù)過多，會大大拉長學(xué)習(xí)周期，進而影響在線分析控制。

2.2 動作集A 定義

當(dāng)交流微電網(wǎng)脫離主網(wǎng)，穩(wěn)態(tài)工作狀況下的頻率是一個全局量，并聯(lián)運行的分布式光伏有功功率輸出依據(jù)下垂系數(shù)精確分配，即有功與等效阻抗無關(guān)?？紤]到輸出電壓是局部變量，各PV 間的無功偏差則由PV 輸出電壓幅值差、線阻差以及微電網(wǎng)結(jié)構(gòu)等因素決定。本文中無功電壓下垂控制動作集A含義是：使微網(wǎng)當(dāng)下時刻的某狀態(tài)s過轉(zhuǎn)變到更佳狀態(tài)s′的動作策略的集合。故每個PV的動作集定義為

式中：ajj=kqQjj,jj∈{1,2,…,L}；L為動作數(shù)目。

2.3 獎勵函數(shù)R 和Q 值函數(shù)的定義

動作執(zhí)行后的立即獎勵值會直接影響Q值，而Q值大小可以直接體現(xiàn)所選動作執(zhí)行效果的好壞。對于考慮電壓不越限的無功均分問題，執(zhí)行基于Q算法所選動作后，會產(chǎn)生兩種差異顯著的結(jié)果：一是系統(tǒng)仍存在未實現(xiàn)無功均分，說明Q學(xué)習(xí)還未完成，為此，將總無功偏差ΔQtotal對應(yīng)的獎勵值ri設(shè)置為負值，即進行懲罰。二是系統(tǒng)實現(xiàn)無功均分，對此，將ΔQtotal對應(yīng)的獎勵值置0。

使用ΔQtotal定義獎勵值，則有

2.4 無功均分控制策略流程

傳統(tǒng)下垂控制下微電網(wǎng)無功不均分，就需要本地?zé)o功電壓控制器下垂算法進行改進。微網(wǎng)進入新的穩(wěn)態(tài)后，系統(tǒng)內(nèi)無功偏差將減小。為使Q值較快收斂，保證較快速地跟蹤微網(wǎng)實時狀態(tài)，本文將式（2）中α設(shè)為0.9。又考慮到系統(tǒng)狀態(tài)在迭代過程時前后兩次狀態(tài)交互影響小，令γ=0.1。無功均分流程如圖5所示。

圖5 基于Q 學(xué)習(xí)的無功均分控制過程Fig.5 Reactive power sharing control process based on Q-learning

智能體一直監(jiān)測微網(wǎng)狀態(tài)，當(dāng)無功功率不均分，智能體則根據(jù)當(dāng)前策略選出最優(yōu)動作作用于所轄微網(wǎng)進行控制，再根據(jù)Q值最大時對應(yīng)的動作轉(zhuǎn)變到新狀態(tài)，并更新策略和下一步的動作。該Q學(xué)習(xí)過程如此反復(fù)，直到所轄區(qū)域內(nèi)實現(xiàn)基于高比例光伏微網(wǎng)無功電壓下垂控制下的無功均分效果的最佳化為止。

3 算例分析

以圖6 所示的微電網(wǎng)為例，驗證所提方案的有效性和正確性。微電網(wǎng)電壓等級為311 V。6 個光伏的有功、無功容量相同。在節(jié)點1、2、4、5處分別連接了戶用光伏發(fā)電，出力均為kW 級。其余各節(jié)點為負荷節(jié)點。圖6 中各光伏連接至母線的線路阻抗不完全相同，系統(tǒng)仿真參數(shù)見表1。其中，各PV逆變器的電壓-無功下垂系數(shù)都是1×10-6。

圖6 含高比例光伏的微電網(wǎng)Fig.6 Microgrid with high-proportion photovoltaic

表1 系統(tǒng)仿真參數(shù)Tab.1 Simulation parameters of system

3.1 場景1：正常運行

在場景1 中，在0～0.3 s 時間t內(nèi)6 個PV 工作在傳統(tǒng)下垂模式下正常運行，穩(wěn)態(tài)時，PV1～PV6輸出的無功功率分別為2 238、3 394、4 068、2 211、3 918、3 918 var。顯然，無功不均分產(chǎn)生無功偏差，而有功功率自行均分。

6 個PV 的出力分配仿真結(jié)果如圖7 所示。在t=0.3 s，采用本文的無功均分控制策略，各PV無功偏差逐漸減??；在t=0.6 s 輸出無功基本相等都為3 350 var，實現(xiàn)無功均分。在Q學(xué)習(xí)策略下，每個PV選擇最大Q（s，a）值對應(yīng)的最優(yōu)電壓變化量進行動作，并反饋到其下垂控制單元里，從而使無功輸出一致，減小了系統(tǒng)內(nèi)的環(huán)流，保證了微網(wǎng)運行的穩(wěn)定性。

圖7 場景1 仿真結(jié)果Fig.7 Simulation results under scenario 1

3.2 場景2：系統(tǒng)負荷突變

系統(tǒng)中負荷1 和2正常工作，在t=3 s 時，給系統(tǒng)增加負荷Load3= 10 kW+j5 kvar，并采用本文的無功均分控制策略，仿真結(jié)果如圖8 所示?？芍趖=5 s時系統(tǒng)狀態(tài)又一次穩(wěn)定，再次實現(xiàn)無功均分為4 192 var。在Q學(xué)習(xí)策略下，各PV將最大Q值對應(yīng)最優(yōu)電壓變化量反饋到其下垂控制單元里控制電壓幅值，再通過無功均分策略環(huán)節(jié)使無功輸出達到一致，減少系統(tǒng)環(huán)流，保證了系統(tǒng)運行的穩(wěn)定性。而有功功率出力在3 s時受到擾動后很快自行均分，并不受擾動影響。

圖8 場景2 仿真結(jié)果Fig.8 Simulation results under scenario 2

場景2 驗證了所提方法能提高微網(wǎng)運行場景變化下的適應(yīng)性。如果Q學(xué)習(xí)采集到的狀態(tài)值即無功偏差量越多，Q表能訓(xùn)練得更完善，從而能更好更快地實現(xiàn)對微網(wǎng)的無功均分控制。

4 結(jié) 語

本文提出了一種高比例光伏微網(wǎng)無功均分控制中的Q學(xué)習(xí)方法，利用強化學(xué)習(xí)的在線學(xué)習(xí)優(yōu)點和良好的收斂特性，以系統(tǒng)總無功偏差設(shè)計的獎勵函數(shù)作為電壓幅值和無功功率之間的反饋量，根據(jù)最大Q值對應(yīng)的動作控制輸出電壓的變化，進而控制無功功率，最終實現(xiàn)無功均分。該策略減少了系統(tǒng)無功環(huán)流，提高了系統(tǒng)運行的穩(wěn)定性，并具有一定的控制魯棒性。最后通過對含高比例光伏微網(wǎng)系統(tǒng)的仿真，驗證了方法的有效性。