基于雙向長短期記憶網(wǎng)絡(luò)的高壓輸電線路短路故障識(shí)別方法

金 樂

（呼和浩特供電局，呼和浩特 010020）

0 引言

高壓輸電線路是供電系統(tǒng)的重要組成部分。為了確?？煽抗╇?，要求高壓輸電線路必須安全可靠運(yùn)行。系統(tǒng)發(fā)生故障時(shí)，需準(zhǔn)確辨別故障類型，快速排除故障，恢復(fù)正常供電[1-3]。在高壓輸電線路故障中短路故障占絕大部分，輸電線路因短路故障引起過高的短路電流時(shí)，會(huì)引發(fā)強(qiáng)烈的熱效應(yīng)，若短路故障持續(xù)時(shí)間較長，很容易破壞線路、電氣設(shè)備等的絕緣性[4]。同時(shí)，輸電線路短路故障還會(huì)導(dǎo)致系統(tǒng)電壓下降，電能質(zhì)量降低。所以如何準(zhǔn)確辨別短路故障類型，并有效消除短路故障，是目前電網(wǎng)發(fā)展一個(gè)重要問題[5-7]。

高壓輸電線路短路故障類型識(shí)別本質(zhì)上是一種故障選相，即根據(jù)獲取的短路故障信息，判斷哪些相發(fā)生相間短路或接地短路，以此識(shí)別短路故障類型[8]。當(dāng)輸電線路發(fā)生短路故障時(shí)，該故障相電流升高而電壓下降，據(jù)此通常選擇低電壓和相電流構(gòu)造的選相元件完成保護(hù)。然而前者的應(yīng)用場合比較有限，主要適合在較短線路的送電端和較小電源的受電端，因此一般當(dāng)作輔助的選相元件。高壓輸電線路采用分裂導(dǎo)線實(shí)現(xiàn)遠(yuǎn)距離傳輸，由于傳輸容量較大，線路中均配有補(bǔ)償裝置，導(dǎo)致在短路故障發(fā)生后其暫態(tài)過程較為復(fù)雜，有無窮多個(gè)頻率不同且衰減的非周期分量包含在其中，具有大量的故障信息。通常先利用算法對(duì)收集的暫態(tài)信息進(jìn)行分析處理得到所需要特征量，再采用適當(dāng)?shù)姆诸悪C(jī)制對(duì)故障的特征量進(jìn)行分類，達(dá)到輸電線路短路故障辨識(shí)的目的[9-12]。文獻(xiàn)[13]對(duì)包含在故障電流分量中的暫態(tài)量進(jìn)行提取，以每相暫態(tài)電流能量大小關(guān)系作為識(shí)別短路故障類型的依據(jù)。文獻(xiàn)[14]基于暫態(tài)電流行波的變化規(guī)律與時(shí)頻特征，利用小波分解進(jìn)行多層分解，提出了一種短路故障檢測與辨識(shí)的方法。

目前被廣泛應(yīng)用的辨識(shí)方法為機(jī)器學(xué)習(xí)方法，主要包括支持向量機(jī)、小波包及小波分析等[9-11]。與機(jī)器學(xué)習(xí)相比，深度學(xué)習(xí)是新的研究方向，可擬合更為復(fù)雜的非線性函數(shù)，處理高維非線性數(shù)據(jù)樣本，它對(duì)原始數(shù)據(jù)集的學(xué)習(xí)比機(jī)器學(xué)習(xí)更為充分，其概念源于神經(jīng)網(wǎng)絡(luò)的研究[12]。遞歸神經(jīng)網(wǎng)絡(luò)（Re?current Neural Network，RNN）是一種擅長對(duì)序列進(jìn)行分析的神經(jīng)網(wǎng)絡(luò)，序列長度象征其網(wǎng)絡(luò)深度[15]。文獻(xiàn)[16]基于非結(jié)構(gòu)化的數(shù)據(jù)利用RNN進(jìn)行輸變電系統(tǒng)的故障檢測，而且研究了網(wǎng)絡(luò)參數(shù)對(duì)檢測結(jié)果的影響。長短時(shí)記憶神經(jīng)網(wǎng)絡(luò)（Long Short-Term Memory,LSTM）是一種RNN的改進(jìn)變體，更擅長處理和預(yù)測時(shí)間序列事件。文獻(xiàn)[14]在利用經(jīng)驗(yàn)?zāi)B(tài)分解提取特征參數(shù)后，采用LSTM預(yù)測旋轉(zhuǎn)機(jī)械狀態(tài)。文獻(xiàn)[17]通過利用LSTM算法基于移動(dòng)傳感器所采集的三維數(shù)據(jù)對(duì)人類的活動(dòng)進(jìn)行識(shí)別。文獻(xiàn)[18-19]均采用雙向長短期記憶網(wǎng)絡(luò)（Bidirectional Long-Short Memory，BiLSTM）算法對(duì)文本進(jìn)行關(guān)鍵字提取，且都具有較高的提取精度。但都存在諸如對(duì)超參數(shù)優(yōu)化不足、數(shù)據(jù)量較少、需預(yù)先提取特征參量等不足。

本文對(duì)BiLSTM的模型結(jié)構(gòu)及原理進(jìn)行研究，提出基于BiLSTM的輸電線路短路故障辨識(shí)方法，采用信息細(xì)節(jié)最為豐富的原始數(shù)據(jù)作為網(wǎng)絡(luò)訓(xùn)練輸入，實(shí)現(xiàn)了準(zhǔn)確辨識(shí)高壓輸電線路短路故障，且辨識(shí)過程中不受過渡電阻、短路故障發(fā)生位置、相角差等參數(shù)的影響。

1 BiLSTM模型結(jié)構(gòu)

1.1 深度學(xué)習(xí)

傳統(tǒng)的機(jī)器學(xué)習(xí)，如支持向量機(jī)、遺傳算法等，網(wǎng)絡(luò)層少，其特征非線性映射往往為單層，無法實(shí)現(xiàn)復(fù)雜的非線性函數(shù)擬合，不能充分學(xué)習(xí)數(shù)據(jù)特征。而深度學(xué)習(xí)隱含層的數(shù)量高達(dá)成百上千個(gè)，深度學(xué)習(xí)使用深層次非線性映射，對(duì)復(fù)雜數(shù)據(jù)分布進(jìn)行充分學(xué)習(xí)，將隱藏在高維空間中的特征映射至低維空間[20-23]。深度學(xué)習(xí)模型見圖1，由輸入層、多個(gè)隱含層及輸出層構(gòu)成。數(shù)據(jù)信息由輸入層經(jīng)多層隱含層進(jìn)行映射學(xué)習(xí)，并由輸出層輸出學(xué)習(xí)結(jié)果。

圖1 深度學(xué)習(xí)模型

1.2 RNN原理

RNN是一個(gè)擁有反饋環(huán)、可循環(huán)的神經(jīng)網(wǎng)絡(luò)模型，能把當(dāng)前時(shí)刻學(xué)習(xí)到的信息保存一段時(shí)間，并傳遞給下一時(shí)刻使用。RNN擅長處理時(shí)間序列問題，在其網(wǎng)絡(luò)層間同時(shí)包含前饋連接與反饋連接，前饋連接可充分學(xué)習(xí)和利用歷史信息。遞歸神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)如圖2所示。

圖2 RNN單元展開

由圖2可知，RNN的每個(gè)步驟都在執(zhí)行同樣的工作，但其輸入不同。通過這種訓(xùn)練方式，極大限度減少網(wǎng)絡(luò)中要學(xué)習(xí)的參數(shù)，同時(shí)可大大縮短訓(xùn)練時(shí)間。

1.3 LSTM

LSTM是一種特殊的遞歸神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。RNN與LSTM網(wǎng)絡(luò)隱含層結(jié)構(gòu)如圖3所示。傳統(tǒng)RNN的隱含層只含h狀態(tài)，擅長學(xué)習(xí)短期的時(shí)間序列，而LSTM則是利用記憶單元來對(duì)RNN隱含層進(jìn)行改良，在RNN的模型上增加了狀態(tài)C（細(xì)胞狀態(tài)），可實(shí)現(xiàn)數(shù)據(jù)信息的長期保存。

圖3 RNN與LSTM網(wǎng)絡(luò)隱含層結(jié)構(gòu)

狀態(tài)C擁有3種特殊結(jié)構(gòu)：遺忘門、輸入門和輸出門，類似于3個(gè)開關(guān)，遞歸調(diào)整LSTM中隱含層數(shù)據(jù)的輸入與輸出，完成信息的長期保存。遺忘門是決定數(shù)據(jù)是否長期保存的關(guān)鍵，通過一定的概率來決定保留上一狀態(tài)C中信息的多少。輸入門將當(dāng)前時(shí)刻即時(shí)狀態(tài)中的信息傳遞給長期狀態(tài)C。輸出門決定是否將長期狀態(tài)中的信息作為當(dāng)前時(shí)刻輸出的信息。遺忘門與輸入門共同作用于狀態(tài)C來實(shí)現(xiàn)數(shù)據(jù)信息的更新，并通過輸出門輸出，即當(dāng)前時(shí)刻的樣本在隱含層的輸出。通過這種方式，LSTM可對(duì)輸入信息實(shí)現(xiàn)較長時(shí)間的記憶。LSTM長期控制結(jié)構(gòu)如圖4所示。

LSTM的門結(jié)構(gòu)為選擇性結(jié)構(gòu)，通過含激活函數(shù)的隱含層?。?，1）之間的任意數(shù)值。門結(jié)構(gòu)決定將上一時(shí)刻中的哪些信息傳遞給下一時(shí)刻，輸出值為1代表將在上一時(shí)刻數(shù)據(jù)中學(xué)習(xí)到的信息全部傳遞給下一時(shí)刻，輸出值為0代表在上一時(shí)刻數(shù)據(jù)中學(xué)習(xí)到的信息都不傳輸給下一時(shí)刻，其隱含層結(jié)構(gòu)如圖5所示。其中，細(xì)胞狀態(tài)Ct是LSTM的核心結(jié)構(gòu)，是實(shí)現(xiàn)長期記憶的重要環(huán)節(jié)，可在一條水平線上完成對(duì)數(shù)據(jù)樣本信息的傳遞。

1.4 BiLSTM

由于LSTM只能讀取一個(gè)方向的序列數(shù)據(jù)，沒有考慮到屬性后信息的影響，Graves等提出了BiL?STM，并將其應(yīng)用于語音識(shí)別。BiLSTM的基本思想是對(duì)每個(gè)訓(xùn)練序列分別從正向和反向兩個(gè)方向同時(shí)進(jìn)行訓(xùn)練，而且兩者都連接到相同的輸出層。通過這種特殊的網(wǎng)絡(luò)結(jié)構(gòu)，可以為輸出層提供每個(gè)時(shí)間序列點(diǎn)的上下文完整信息。

圖5 LSTM隱藏單元結(jié)構(gòu)

圖6為BiLSTM模型在時(shí)間上的展開，正向LSTM依次接受第t-1個(gè)時(shí)刻到第t+2個(gè)時(shí)刻的輸入xt-1到xt+2，依次計(jì)算前向隱含狀態(tài)ht-1，ht，…，ht+2，其輸出量為kt-1，…，kt+2。反向的LSTM接受第t-1時(shí)刻到第t+2個(gè)時(shí)刻的輸入xt+2到xt-1，并相應(yīng)的計(jì)算出反向隱含狀態(tài)ht+2，ht，…，ht-1，這樣就得到了每個(gè)時(shí)刻正向和反向的雙向特征。

圖6 BiLSTM模型

2 基于BiLSTM短路故障辨識(shí)模型

當(dāng)需依據(jù)故障電流時(shí)間序列實(shí)現(xiàn)某一時(shí)刻高壓輸電線路短路故障辨識(shí)時(shí)，只有將其前后時(shí)刻的運(yùn)行狀態(tài)信息有效地結(jié)合利用，才能準(zhǔn)確識(shí)別短路故障類型。因此考慮到雙向長短期記憶網(wǎng)絡(luò)的特性與優(yōu)點(diǎn)，本文構(gòu)建了基于雙向長短期記憶網(wǎng)絡(luò)的高壓輸電線路短路故障辨識(shí)模型。模型整體結(jié)構(gòu)如圖7所示。

圖7 BiLSTM故障辨模型整體結(jié)構(gòu)

在利用BiLSTM辨識(shí)短路故障類型過程中，首先將經(jīng)過預(yù)處理后用于訓(xùn)練的多種工況下輸電線路雙端短路電流時(shí)間序列X={x1，x2，…，xn}傳入網(wǎng)絡(luò)輸入層，從向左和向右兩個(gè)方向通過網(wǎng)絡(luò)層對(duì)輸入的數(shù)據(jù)進(jìn)行訓(xùn)練學(xué)習(xí)，其中I層LSTM向右傳播歷史信息，r層LSTM向左傳播未來信息。向左或向右單方向的訓(xùn)練過程與LSTM的訓(xùn)練過程相同，即在其網(wǎng)絡(luò)層之間同樣是既有正向傳播又有反向傳播。網(wǎng)絡(luò)模型訓(xùn)練過程中，由正向傳播可獲得該階段的代價(jià)函數(shù)，再經(jīng)過反向傳播誤差，不斷對(duì)網(wǎng)絡(luò)模型的參數(shù)進(jìn)行更新，當(dāng)?shù)螖?shù)達(dá)到設(shè)定值時(shí)訓(xùn)練停止，最后將測試樣本輸入到訓(xùn)練好的模型中，進(jìn)行故障辨識(shí)。

2.1 正向傳播

（1）遺忘門先讀取上一時(shí)刻短路故障電流的隱含層輸出信息ht-1和當(dāng)前時(shí)刻輸入故障電流xt-1，本模型中隱含層包括100個(gè)按前后時(shí)刻連接的同構(gòu)LSTM細(xì)胞，再輸出一個(gè)數(shù)值。當(dāng)ft=0時(shí)細(xì)胞狀態(tài)Ct-1會(huì)全部忘記上一故障電流樣本的信息，ft=1時(shí)細(xì)胞狀態(tài)Ct-1會(huì)全部保留上一故障電流樣本的信息：

（2）輸入門輸入該時(shí)刻的故障電流信息，主要分為兩部分，第一部分利用隱含層sigmoid激活函數(shù)，輸出為it；第二部分使用隱含層tanh激活函數(shù)，輸出為at：

（3）遺忘門與輸入門同時(shí)作用于細(xì)胞狀態(tài)Ct，主要由兩部分組成，第一部分為前一時(shí)刻細(xì)胞狀態(tài)Ct-1與遺忘門輸出ft的乘積，第二部分為輸入門it與at的乘積：

（4）隱含層由兩部分組成，其狀態(tài)的更新決定信息的輸出。第一部分是Ot，由上一時(shí)刻短路故障電流的隱藏狀態(tài)ht-1和本時(shí)刻故障電流數(shù)據(jù)xt以及隱含層激活函數(shù)sigmoid獲得，其定義為：；第二部分ht由當(dāng)前時(shí)刻隱含層細(xì)胞狀態(tài)Ct和隱含層tanh激活函數(shù)構(gòu)成，其定義為：。具體如公式（5）和公式（6）所示：

2.2 反向傳播

BiLSTM反向傳播與RNN類似，BiLSTM訓(xùn)練網(wǎng)絡(luò)的目標(biāo)是使預(yù)測的向量盡可能接近目標(biāo)向量。設(shè)定損失函數(shù)最小為優(yōu)化目標(biāo)，通過適應(yīng)性動(dòng)量估計(jì)算法（Adaptive Moment Estimation，Adam）不斷更新權(quán)重來獲取隱含層的網(wǎng)絡(luò)，使網(wǎng)絡(luò)誤差不斷減小，從而實(shí)現(xiàn)網(wǎng)絡(luò)的優(yōu)化。減小網(wǎng)絡(luò)反向傳播誤差一個(gè)重要環(huán)節(jié)就是完成模型中所有參數(shù)基于損失函數(shù)偏導(dǎo)數(shù)的計(jì)算，通過反向計(jì)算誤差項(xiàng)，計(jì)算出對(duì)應(yīng)的各權(quán)重的梯度，再利用梯度下降法對(duì)參數(shù)不斷進(jìn)行更新，直至滿足要求。Adam也是一種基于梯度下降的方法，其每次進(jìn)行參數(shù)迭代時(shí)的步長均在確定范圍內(nèi)，不會(huì)由于梯度過大而造成學(xué)習(xí)步長過大，參數(shù)值比較穩(wěn)定，且該算法比較容易實(shí)現(xiàn)，具有很高的計(jì)算效率和較低的內(nèi)存需求，與其他方法相比更加優(yōu)越。BiLSTM網(wǎng)絡(luò)的目標(biāo)函數(shù)采用均方差（Mean Squared Error，MSE），其計(jì)算公式如下：

式中：yreal，i，yperdict，i分別為當(dāng)前實(shí)際值與預(yù)測值。

3 仿真分析

3.1 基于RTDS的輸電線路仿真模型

為了方便設(shè)置高壓輸電線路不同位置的短路故障點(diǎn)，基于實(shí)時(shí)數(shù)字仿真器（Real Time Digital Simulator，RTDS）搭建500 kV高壓輸電線路模型時(shí)，選擇利用兩條輸電線路模型串聯(lián)的方法，在線路中間設(shè)置故障，并在線路兩側(cè)各設(shè)置一個(gè)電流互感器，以獲得故障時(shí)線路兩端的電流暫態(tài)量，輸電線路仿真模型示意圖如圖8所示。

3.2 數(shù)據(jù)樣本集采取

由于BiLSTM算法為深度學(xué)習(xí)算法，需要龐大的數(shù)據(jù)作為網(wǎng)絡(luò)訓(xùn)練樣本集，因此在模型中對(duì)多種不同工況下的輸電線路短路故障進(jìn)行仿真，通過排列組合對(duì)所設(shè)置的參數(shù)進(jìn)行遍歷，共有種，即5500種。參數(shù)遍歷如表1所示。

表1 模型參數(shù)遍歷

在模型中獲取輸電線路兩端的電流采樣數(shù)據(jù)，并選取故障發(fā)生前一個(gè)周波到故障發(fā)生后一個(gè)周波的數(shù)據(jù)作為辨識(shí)輸電線短路故障類型時(shí)的訓(xùn)練樣本與測試樣本。模型中線路長為100 km，短路故障起始時(shí)刻為0.05 s，短路持續(xù)時(shí)間0.05 s，采樣頻率為1200 Hz，系統(tǒng)頻率為50 Hz。在RTDS的Run?time運(yùn)行模塊中利用Plot得到仿真波形，如圖9—圖12所示為典型故障波形。

首先通過Plot將提取的各類所需的波形保為.mpb格式，然后通過Multiplot模塊對(duì)該波形文件進(jìn)行分析并生成表格，Multiplot模塊為對(duì)RTDS的仿真結(jié)果進(jìn)行處理與分析的模塊，最后在表格中截取出故障發(fā)生前一個(gè)周波到故障發(fā)生后一個(gè)周波的數(shù)據(jù)作為樣本集。

3.3 基于BiLSTM的短路故障辨識(shí)仿真測試分析

在MatlabR2018a環(huán)境下設(shè)置參數(shù)，設(shè)置網(wǎng)絡(luò)輸入層（inputsize）為6層，隱含層神經(jīng)元（numHid?denUnits）為100個(gè)，網(wǎng)絡(luò)輸出層（numclasses）為10層即10種類型，網(wǎng)絡(luò)迭代次數(shù)（MaxEpochs）為100次，一次進(jìn)入模型訓(xùn)練的數(shù)據(jù)量（miniBatchsize）為27，訓(xùn)練集為4739個(gè).cell文件，測試集1610個(gè).cell文件，學(xué)習(xí)率起始值（InitialLearnRate）為0.01，按照步長0.01依次增加學(xué)習(xí)率，終止值為0.1。通過多次試驗(yàn)發(fā)現(xiàn)，隨著初始學(xué)習(xí)率的增加，測試的準(zhǔn)確率不斷降低。本文將初始學(xué)習(xí)率設(shè)定為0.01，此時(shí)短路故障辨識(shí)準(zhǔn)確率較高且穩(wěn)定。

對(duì)于不同初始學(xué)習(xí)率下網(wǎng)絡(luò)的訓(xùn)練過程，因設(shè)定的初始學(xué)習(xí)率較多，選擇3個(gè)有代表性的訓(xùn)練波形進(jìn)行展示，如圖13—圖15所示。由圖可以看出，雖然隨著初始學(xué)習(xí)率的不斷增加，BiLSTM的訓(xùn)練尋優(yōu)速度也隨之加快，但圖15顯示，系統(tǒng)的穩(wěn)定性也在逐漸下降，網(wǎng)絡(luò)在較小的訓(xùn)練次數(shù)內(nèi)無法收斂。圖13顯示在迭代3次左右后，訓(xùn)練模型的準(zhǔn)確率開始收斂，訓(xùn)練到54次時(shí)準(zhǔn)確率急速降低，隨后又迅速上升。訓(xùn)練54次后其準(zhǔn)確率明顯下降的原因是模型的迭代次數(shù)過多，在深層網(wǎng)絡(luò)中，誤差梯度不斷更新積累，形成更大的梯度，導(dǎo)致網(wǎng)絡(luò)權(quán)重的大幅更新，使網(wǎng)絡(luò)變得不穩(wěn)定，形成NaN值。網(wǎng)絡(luò)層之間的梯度重復(fù)相乘導(dǎo)致梯度爆炸。BiLSTM的神經(jīng)元降至0，訓(xùn)練暫停，之后網(wǎng)絡(luò)模型再一次開始訓(xùn)練。本文將模型中的迭代次數(shù)調(diào)整為10次重新訓(xùn)練，其訓(xùn)練過程如圖14所示。由圖16可知，在調(diào)整迭代次數(shù)為10次后，避免了梯度爆炸的出現(xiàn)，減少了訓(xùn)練時(shí)間，而測試的準(zhǔn)確率仍為100%。

圖8 輸電線路仿真模型示意圖

圖9 L1相接地短路故障電流波形

圖10 L1、L2相接地短路故障電流波形

圖11 L2、L3相接地短路故障電流波形

圖12 三相短路故障電流波形

經(jīng)多次試驗(yàn)發(fā)現(xiàn)，雖然網(wǎng)絡(luò)的訓(xùn)練樣本與測試樣本是采集于故障位置、負(fù)荷電流、系統(tǒng)阻抗、過渡電阻等參數(shù)均不同的高壓輸電線路短路故障模型，但BiLSTM仍可以準(zhǔn)確辨別輸電線路短路故障類型，且準(zhǔn)確率可達(dá)100%。說明BiLSTM在進(jìn)行高壓輸電線路短路故障辨識(shí)時(shí)擁有極強(qiáng)的學(xué)習(xí)能力與泛化能力，同時(shí)具有極高的準(zhǔn)確率。

4 結(jié)語

圖13 初始學(xué)習(xí)率為0.01的模型訓(xùn)練過程波形

圖14 初始學(xué)習(xí)率為0.05的模型訓(xùn)練過程波形

圖15 初始學(xué)習(xí)率為0.07的模型訓(xùn)練過程波形

本文對(duì)高壓輸電線路短路特點(diǎn)進(jìn)行了分析，以構(gòu)建基于暫態(tài)量的輸電線路故障診斷方案作為研究目標(biāo)，利用深度學(xué)習(xí)算法BiLSTM實(shí)現(xiàn)了輸電線路的故障識(shí)別。結(jié)果表明，所采用的輸電線路短路故障辨識(shí)方法可行，辨識(shí)率極高。

圖16 初始學(xué)習(xí)率0.01，迭代次數(shù)為10的網(wǎng)絡(luò)模型訓(xùn)練過程波形