基于強(qiáng)化學(xué)習(xí)的換相失敗抑制策略研究

范晶晶

摘要：針對直流輸電系統(tǒng)中換相失敗問題，在控制系統(tǒng)中引入強(qiáng)化學(xué)習(xí)算法，在故障發(fā)生時通過實(shí)時采集逆變側(cè)電氣量，動態(tài)調(diào)整整流側(cè)的電流參考值，通過與低壓限流環(huán)節(jié)相互配合，抑制直流線路電流增大，利于逆變側(cè)電弧熄滅，從而抑制連續(xù)換相失敗問題，在故障消失后系統(tǒng)能盡快恢復(fù)穩(wěn)定運(yùn)行。實(shí)驗(yàn)結(jié)果表明，系統(tǒng)采用基于強(qiáng)化學(xué)習(xí)的換相失敗抑制策略比沒有采用該策略的故障恢復(fù)效果要好。

關(guān)鍵詞：強(qiáng)化學(xué)習(xí);動態(tài)調(diào)整;換相失敗

中圖分類號： TP391? ? ?文獻(xiàn)標(biāo)識碼： A

文章編號：1009-3044（2020）36-0150-03

Abstract： Aiming at the problem of commutation failure in the DC transmission system， a reinforcement learning algorithm is introduced into the control system. When a fault occurs， the inverter side electrical quantity is collected in real time， and the current reference value of the rectifier side is dynamically adjusted. Suppressing the increase of DC line current facilitates the extinguishment of the arc on the inverter side， thereby suppressing the problem of continuous commutation failure， and the system can resume stable operation as soon as possible after the fault disappears. The experimental results show that the system adopts the commutation failure suppression strategy based on reinforcement learning better than the failure recovery effect without adopting this strategy.

Key words： reinforcement learning; dynamic adjustment; commutation failure

1 引言

隨著我國社會經(jīng)濟(jì)的飛速發(fā)展，直流輸電以大容量、低損耗的獨(dú)特優(yōu)勢，逐步參與到大電網(wǎng)的建設(shè)上來[1]。于是，建設(shè)特高壓、遠(yuǎn)距離的交直流混聯(lián)輸電系統(tǒng)成為必然趨勢。然而，直流系統(tǒng)的運(yùn)行過程中會出現(xiàn)一系列的故障，其中直流系統(tǒng)的換相失敗問題最為嚴(yán)重[2]。

LCC-HVDC換流器具有兩種方式實(shí)現(xiàn)對換流站換流閥的觸發(fā)，分別為分相觸發(fā)和等間隔觸發(fā)[3]，換流站在運(yùn)行過程中，如果觸發(fā)脈沖丟失故障發(fā)生，逆變器便會發(fā)生換相失敗問題，歸根結(jié)底，逆變器換相失敗發(fā)生的根本原因是其換流閥關(guān)斷角小于換相失敗發(fā)生時的臨界關(guān)斷角，在換相失敗發(fā)生時，換流閥關(guān)斷角接近于0。

針對換相失敗問題，相關(guān)文獻(xiàn)提出通過投入無功補(bǔ)償裝置維持受端交流電壓穩(wěn)定，當(dāng)受端交流系統(tǒng)發(fā)生故障后，交流電壓迅速跌落，無功補(bǔ)償不足，可采用靜止無功補(bǔ)償裝置的投入，抬高跌落的交流電壓 [4]。另外，有文獻(xiàn)提出可通過調(diào)整直流線路平波電抗器的數(shù)值來抑制換相失敗，在換相過程無法正常完成，直流系統(tǒng)的電容器會釋放電流，導(dǎo)致直流線路直流電流的迅速增大，如果此時增大直流線路平波電抗器的數(shù)值，可以有效抑制直流電流的增大。在直流系統(tǒng)的控制方面，相關(guān)文獻(xiàn)[5]提出通過控制系統(tǒng)增發(fā)觸發(fā)脈沖來緩解換相失敗帶來的危害，但當(dāng)受端交流系統(tǒng)為弱交流系統(tǒng)時，逆變站換流閥很有可能出現(xiàn)連續(xù)換相失敗問題，此時再進(jìn)行觸發(fā)脈沖的調(diào)整，將會進(jìn)一步增加系統(tǒng)擾動。也有文獻(xiàn)提出將觸發(fā)超前角[β]和關(guān)斷角[γ]的整定值提高，增大觸發(fā)超前角將有利于預(yù)防換相失敗的發(fā)生，然而增大觸發(fā)超前角將造成換流站吸收的無功功率增加，導(dǎo)致有功功率的傳輸效率降低，影響了整個直流系統(tǒng)運(yùn)行的經(jīng)濟(jì)型[6]。

本文通過引入強(qiáng)化學(xué)習(xí)整流側(cè)參考電流動態(tài)調(diào)整模塊，在故障發(fā)生時，通過實(shí)時采集逆變側(cè)電氣量，動態(tài)調(diào)整整流側(cè)的電流參考值，同時與低壓限流環(huán)節(jié)相互配合，抑制直流線路電流增大，利于逆變側(cè)電弧熄滅，抑制連續(xù)換相失敗問題，從而在故障消失后系統(tǒng)能盡快恢復(fù)穩(wěn)定運(yùn)行。

2 相關(guān)理論

2.1 強(qiáng)化學(xué)習(xí)

在強(qiáng)化學(xué)習(xí)中[7，8]，一個智能體（Agent）在不同時間步與環(huán)境交互盡可能得到累積最大獎賞。強(qiáng)化學(xué)習(xí)問題可以以一個五元組的形式[]建模成一個馬爾可夫決策過程（Markov Decision Process，MDP）。其中，[S]表示狀態(tài)空間，[A]表示動作空間，[P：S×A×S→0，1]表示概率轉(zhuǎn)移函數(shù)，[R：S×R→r∈R]獎賞函數(shù)，[γ∈（0，1）]是折扣因子。Agent的目標(biāo)是通過學(xué)習(xí)到一個最優(yōu)策略從而最大化累積折扣獎賞的期望值，通常用累積折扣獎賞來定義[t]時刻的狀態(tài)回報，即：

尋找出最優(yōu)策略是強(qiáng)化學(xué)習(xí)的關(guān)鍵，并在該策略基礎(chǔ)上進(jìn)行決策。在強(qiáng)化學(xué)習(xí)中，策略為[π]，[π（s，a）]是指在狀態(tài)[s]下選擇動作[a]的概率。如果策略[π]是一個確定的策略，在任意狀態(tài)[s∈S]，[π（s）]表示在狀態(tài)[s]下所選擇的動作[a]。

強(qiáng)化學(xué)習(xí)中用來評估策略[π]的好壞的是值函數(shù)，由狀態(tài)值函數(shù)[Vπ]、動作值函數(shù)[Qπ]組成，[Vπ（s）]表示在狀態(tài)[s]下，根據(jù)策略[π]得到的期望回報，[Qπ（s）]表示在狀態(tài)[s]下，選擇動作[a]并根據(jù)策略[π]得到的期望回報。通常用[Qπ（s）]來評估策略[π]的好壞。

公式（2）為Bellman方程。

強(qiáng)化學(xué)習(xí)中[π*]表示最優(yōu)策略，該策略能最大化獎賞函數(shù)，對應(yīng)的[Q*（s，a）]可以表示為：

公式（3）為最優(yōu)Bellman方程。

2.2 換相失敗機(jī)理

正常情況下兩個橋臂可以正常換相，但當(dāng)發(fā)生故障后，其中一個橋臂的換流閥未能及時換相成功卻又收到了反向電壓的作用，這種情形被定義為換相失敗。對于逆變側(cè)受端交流系統(tǒng)發(fā)生故障而導(dǎo)致的直流系統(tǒng)換相失敗問題，有文獻(xiàn)指出：逆變側(cè)受端交流系統(tǒng)故障導(dǎo)致?lián)Q相支撐電壓跌落，使得換相電壓作用逆變器的時間面積變小，而引起逆變器的關(guān)斷角小于換相失敗發(fā)生時的臨界關(guān)斷角，這是直流系統(tǒng)逆變器發(fā)生換相失敗的根本原因[9]。

相關(guān)文獻(xiàn)研究表明[10]，逆變系統(tǒng)關(guān)斷角[γ]與換流變壓器變比k、逆變側(cè)直流電流Id、逆變系統(tǒng)等效換相電抗Xc、逆變側(cè)交流母線電壓有效值UL、觸發(fā)超前角β的相互關(guān)系為：

直流輸電系統(tǒng)運(yùn)行中逆變側(cè)交流系統(tǒng)故障情況下，直流電流會發(fā)生不平穩(wěn)變化，然而根據(jù)換相過程分析，逆變器換相過程中直流電流的變化不應(yīng)被忽略。為此，本文計及考慮逆變側(cè)交流系統(tǒng)故障時，直流輸電系統(tǒng)逆變側(cè)直流電流變化。

以逆變器運(yùn)行關(guān)斷角[γ]大小定義逆變器換相過程，當(dāng)換相結(jié)束即

從上式可以看出，逆變系統(tǒng)換相成功與否與逆變器觸發(fā)延遲角[α]、換相電壓幅值及換相起止時刻的直流電流大小有關(guān)。

據(jù)此分析，逆變側(cè)交流系統(tǒng)故障造成流過逆變器的直流電流增大、交流系統(tǒng)母線電壓下降時，其直流電流控制則可貫穿整個換相過程始終，在逆變系統(tǒng)故障運(yùn)行時可增強(qiáng)LCC-HVDC逆變站控制系統(tǒng)對其換相過程的控制。因此，可通過直流電流控制，充分降低逆變器發(fā)生換相失敗的概率。

2.3 強(qiáng)化學(xué)習(xí)算法在直流控制系統(tǒng)中的應(yīng)用

低壓限流環(huán)節(jié)在LCC-HVDC的作用異常重要，具有左右交流系統(tǒng)故障時直流電壓、電流沖擊大小及故障后直流功率恢復(fù)速度等，其曲線設(shè)定與具體系統(tǒng)的特性關(guān)系密切，因此，為了不致改變VDCOL對原系統(tǒng)運(yùn)行特性的影響作用，直流電流整定值[Ido_rec]取VDCOL與直流電流預(yù)測控制整定值[Id_PREV]之間的較小值，實(shí)施方案以對CIGRE HVDC輸電系統(tǒng)控制系統(tǒng)的改進(jìn)為例，如下圖所示。

直流電流預(yù)測值[Id_PREV]表達(dá)式如下所示：

其中CF表示為直流控制系統(tǒng)通過關(guān)斷角來判斷逆變器是否可能發(fā)生換相失?。ㄊ菫?，否為0）。[Id_NOR]是為發(fā)生換相失敗時系統(tǒng)正常運(yùn)行狀態(tài)下的整流側(cè)直流電流參考值。

[Id_PREVC]是換相失敗發(fā)生后通過強(qiáng)化學(xué)習(xí)動態(tài)跟蹤系統(tǒng)而得到的整流側(cè)直流電流參考值。強(qiáng)化學(xué)習(xí)模塊包括采集測量模塊、強(qiáng)化學(xué)習(xí)數(shù)據(jù)處理模塊、參考電流輸出模塊。采集測量模塊主要用來采集逆變側(cè)的狀態(tài)數(shù)據(jù)，所述狀態(tài)數(shù)據(jù)主要包括逆變側(cè)交流系統(tǒng)母線電壓有效值以及直流系統(tǒng)逆變側(cè)直流電流值。強(qiáng)化學(xué)習(xí)數(shù)據(jù)處理模塊與所述采集測量模塊相連，以獲取所述數(shù)據(jù)采集模塊的狀態(tài)數(shù)據(jù)。其中，數(shù)據(jù)處理模塊包括數(shù)據(jù)存儲庫和Q-學(xué)習(xí)算法模型，Q-學(xué)習(xí)算法模型利用獲取的狀態(tài)數(shù)據(jù)對逆變側(cè)直流電流的狀態(tài)數(shù)據(jù)進(jìn)行預(yù)測，選擇最佳的動作，即動態(tài)調(diào)整整流側(cè)的參考值。例如在逆變側(cè)電流變大時，通過降低整流側(cè)直流電流參考值來動態(tài)調(diào)整直流線路上的電流，從而起到抑制逆變側(cè)直流電流升高作用，利于逆變器熄弧，在故障發(fā)生期間可抑制連續(xù)換相失敗問題，減小故障對系統(tǒng)造成的危害。其中，動態(tài)整流側(cè)參考值[Id_PREVC]為動作Action提供選擇區(qū)間，根據(jù)低壓限流的歷史數(shù)據(jù)，區(qū)間下限選取得比低壓限流值中的電流參考值要小一些，本文中的[Id_PREVC]的選擇區(qū)間為[0.5，1.0]。由于整流側(cè)電流參考值[Id_PREVC]的動態(tài)跟蹤作用，會有效抑制直流電流在故障時的增大，同時動態(tài)得到一個關(guān)斷角實(shí)測值。直流系統(tǒng)換相失敗發(fā)生判斷的標(biāo)準(zhǔn)便是關(guān)斷角小于臨界關(guān)斷角的值，這個值接近于0，正常運(yùn)行狀態(tài)下的關(guān)斷角約為18°，當(dāng)系統(tǒng)關(guān)斷角實(shí)測值在故障期間離目標(biāo)值18°的誤差綜合最小，那便是最優(yōu)的動作情況，這種最優(yōu)動作情況即是整流側(cè)直流電流參考值[Id_PREVC]的數(shù)據(jù)選擇過程。實(shí)測值關(guān)斷角[γ]和目標(biāo)值關(guān)斷角[γobj]之間的誤差為：[E=γ-γobj]，那么設(shè)模型中的獎賞為一個負(fù)值的變量。

如公式7所示：

3 實(shí)驗(yàn)分析

3.1 實(shí)驗(yàn)數(shù)據(jù)及設(shè)置

為了驗(yàn)證強(qiáng)化學(xué)習(xí)算法模塊在抑制直流系統(tǒng)故障發(fā)生換相失敗的有效性，以下實(shí)驗(yàn)的直流系統(tǒng)選自PSCAD仿真軟件中自有算例CIGRE標(biāo)準(zhǔn)直流輸電系統(tǒng)，系統(tǒng)模型及數(shù)據(jù)如下所示，圖及表中所有值的單位為[Ω]、H或mF。

強(qiáng)化學(xué)習(xí)的狀態(tài)數(shù)據(jù)來自沒有加入強(qiáng)化學(xué)習(xí)換相失敗預(yù)測模塊前的歷史仿真數(shù)據(jù)。仿真數(shù)據(jù)包括單相故障時的數(shù)據(jù)以及三相故障時的數(shù)據(jù)，如表2和表3所示，數(shù)據(jù)集中包括逆變側(cè)直流電流值[Id_inv]、逆變側(cè)交流電壓有效值[VAC_inv]。強(qiáng)化學(xué)習(xí)算法程序基于matlab編程環(huán)境，模型中的學(xué)習(xí)速率為0.4，折扣率因子為0.99。仿真過程是基于matlab和PSCAD的聯(lián)合仿真，在測試算法時建立了PSCAD和MATLAB之間的接口模塊，采集到的實(shí)時狀態(tài)數(shù)據(jù)經(jīng)過算法處理，返回系統(tǒng)最佳動作值，從而有效抑制故障發(fā)生后的連續(xù)換相失敗。

3.2 實(shí)驗(yàn)結(jié)果分析

本文仿真測試分別以受端交流系統(tǒng)三相短路和單相接地故障為典型。不同類型故障設(shè)置于逆變側(cè)交流系統(tǒng)母線處，故障持續(xù)時間均為0.05s，仿真測試中所的Lf為故障電抗。

（1）逆變側(cè)交流母線單相故障

下圖為逆變側(cè)交流系統(tǒng)母線單相接地故障開始時刻6.000s、故障電抗0.55H情況下，未加入強(qiáng)化學(xué)習(xí)算法與加入所提算法下逆變系統(tǒng)逆變側(cè)電氣量的對比圖，[VAC_inv]受端電力系統(tǒng)的交流母線電壓有效值、[Id_inv]為LCC-HVDC逆變側(cè)直流電流、[Δαinv_PREV]為系統(tǒng)面對故障自適應(yīng)調(diào)節(jié)的觸發(fā)延遲角提前值，以及[Id_PREV]為強(qiáng)化學(xué)習(xí)算法輸出的整流側(cè)直流電流動態(tài)參考值。

從圖3可以看出，相對于未引入算法的系統(tǒng)控制效果，引入強(qiáng)化學(xué)習(xí)算法可以及時抑制受端交流系統(tǒng)故障情況下LCC-HVDC直流電流的短時上升、逆變側(cè)交流母線電壓的進(jìn)一步下降，從而更為有效地降低逆變器換相失敗發(fā)生的概率，而且從仿真曲線可以看出引入強(qiáng)化學(xué)習(xí)模塊后對并網(wǎng)系統(tǒng)故障后直流輸電系統(tǒng)恢復(fù)的快速性和有效性上也有一定提高。

（2）逆變側(cè)交流母線三相故障

圖4為未引入強(qiáng)化學(xué)習(xí)算法與引入算法兩種情形下逆變器發(fā)生換相失?。ü收蠒r刻6.000s，故障電抗1.14H）時相應(yīng)的[VAC_inv]、[Id_inv]、[Δαinv_PREV]及[Id_PREV]波形。由圖中波形可以看出，引入算法后在逆變側(cè)交流系統(tǒng)三相故障情況下，對逆變器換相失敗的抑制和故障后直流系統(tǒng)的快速恢復(fù)均有效果。

4 結(jié)束語

本文針對直流輸電系統(tǒng)中換相失敗問題，引入強(qiáng)化學(xué)習(xí)算法模塊，在故障發(fā)生時通過實(shí)時采集逆變側(cè)電氣量，動態(tài)調(diào)整整流側(cè)的電流參考值，通過與低壓限流環(huán)節(jié)相互配合，抑制直流線路電流增大，利于逆變側(cè)電弧熄滅，抑制連續(xù)換相失敗問題。實(shí)驗(yàn)結(jié)果表明，引入強(qiáng)化學(xué)習(xí)算法后，直流輸電控制系統(tǒng)在抑制換相失敗方面有較好的效果。

參考文獻(xiàn)：

[1] 韓民曉，文俊，徐永海.高壓直流輸電原理與運(yùn)行[M].2版.北京：機(jī)械工業(yè)出版社，2013.

[2] 張文峰. 交直流混聯(lián)受端電網(wǎng)故障特性變異分析[M]. 北京： 中國電力出版社， 2015

[3] 黃玉東.高壓直流輸電換相失敗的研究[D].北京：華北電力大學(xué)，2006.

[4] 陳樹勇，李新年，余軍，等.基于正余弦分量檢測的高壓直流換相失敗預(yù)防方法[J].中國電機(jī)工程學(xué)報，2005，25（14）：1-6.

[5] 王智冬.交流系統(tǒng)故障對特高壓直流輸電換相失敗的影響[J].電力自動化設(shè)備，2009，29（5）：25-29，38.

[6] Tamai S，Naitoh H，Ishiguro F，et al.Fast and predictive HVDC extinction angle control[J].IEEE Transactions on Power Systems，1997，12（3）：1268-1275.

[7] Sutton R S，A G.Reinforcement learning：an introduction[J].IEEE Transactions on Neural Networks，1998，9（5）：1054.

[8] 劉全，翟建偉，章宗長，等.深度強(qiáng)化學(xué)習(xí)綜述[J].計算機(jī)學(xué)報，2018，41（1）：1-27.

[9] 王鋼，李志鏗，黃敏，等.HVDC輸電系統(tǒng)換相失敗的故障合閘角影響機(jī)理[J].電力系統(tǒng)自動化，2010，34（4）：49-54，102.

[10] Sun Y Z，Peng L，Ma F，et al.Design a fuzzy controller to minimize the effect of HVDC commutation failure on power system[J].IEEE Transactions on Power Systems，2008，23（1）：100-107.

【通聯(lián)編輯：梁書】