基于T-LSTM 模型的線路故障診斷方法及遷移性研究

吳俊宏，張 印，李 莎，周 杰，吳 松，王金磊

（雅礱江流域水電開(kāi)發(fā)有限公司二灘水力發(fā)電廠， 四川 攀枝花 617000）

目前將深度學(xué)習(xí)技術(shù)引入電力線路故障診斷領(lǐng)域已經(jīng)取得了一定的成效[1]。然而，對(duì)深度學(xué)習(xí)模型進(jìn)行訓(xùn)練需要用到大量的故障數(shù)據(jù)，如果用于訓(xùn)練的故障數(shù)據(jù)不能滿足要求，將會(huì)導(dǎo)致模型的性能?chē)?yán)重下降[2]。近年來(lái)，隨著深度學(xué)習(xí)的廣泛應(yīng)用，遷移學(xué)習(xí)也受到了越來(lái)越多的關(guān)注[3]。遷移學(xué)習(xí)可以把深度學(xué)習(xí)模型在某一領(lǐng)域中學(xué)習(xí)到的知識(shí)遷移到另一相關(guān)領(lǐng)域中，這樣可以使深度學(xué)習(xí)模型在數(shù)據(jù)不足的情況下仍能在新領(lǐng)域具備良好的性能[4]。為了使訓(xùn)練出的LSTM 故障診斷模型具有良好的可遷移性，本文將結(jié)合遷移學(xué)習(xí)的理論和LSTM 深度學(xué)習(xí)模型，提出了基于遷移LSTM（T-LSTM）模型的電力線路故障診斷方法。

1 遷移學(xué)習(xí)相關(guān)理論

在現(xiàn)實(shí)生活中，想要獲取如此多數(shù)量的帶標(biāo)注的數(shù)據(jù)是十分困難的，即使能夠獲取，也需要花費(fèi)大量的人力物力。除此之外，不同應(yīng)用場(chǎng)景下的數(shù)據(jù)分布是存在一定差異的，想要用一個(gè)通用的深度學(xué)習(xí)模型來(lái)滿足不同應(yīng)用場(chǎng)景下的使用需求是非常困難的。即使擁有足夠用于訓(xùn)練的標(biāo)注數(shù)據(jù)，但是要從頭訓(xùn)練一個(gè)復(fù)雜的深度網(wǎng)絡(luò)模型是十分耗時(shí)的。因此，為了解決標(biāo)注數(shù)據(jù)缺乏、數(shù)據(jù)分布差異和訓(xùn)練過(guò)程耗時(shí)的問(wèn)題，提出了遷移學(xué)習(xí)的概念。在遷移學(xué)習(xí)中，對(duì)“域”和“任務(wù)”的數(shù)學(xué)定義分別如式（1）和式（2）所示：

式中，x表示域中樣本的特征空間，P（X）表示邊際概率分布，其中，X滿足X={x1，x2，...，xn}∈x；y代表標(biāo)簽空間，f（g）為目標(biāo)預(yù)測(cè)函數(shù)。

所謂的遷移學(xué)習(xí)，就是將深度學(xué)習(xí)模型從一個(gè)或者多個(gè)源域Ds的任務(wù)Ts中學(xué)習(xí)和提取到的有用知識(shí)和經(jīng)驗(yàn)用在新的目標(biāo)域DT的任務(wù)TT上。簡(jiǎn)單來(lái)說(shuō)，就是將對(duì)于某一個(gè)問(wèn)題訓(xùn)練好的模型通過(guò)對(duì)其進(jìn)行簡(jiǎn)單地調(diào)整，使其同樣能夠在一個(gè)新的問(wèn)題上表現(xiàn)出良好的性能。

2 源線路與目標(biāo)線路故障數(shù)據(jù)的相似性計(jì)算

當(dāng)對(duì)模型進(jìn)行遷移學(xué)習(xí)時(shí)，其中一個(gè)關(guān)鍵的問(wèn)題就是負(fù)遷移。負(fù)遷移不僅不會(huì)對(duì)遷移模型在目標(biāo)域任務(wù)上的表現(xiàn)有任何幫助作用，反而會(huì)影響其在目標(biāo)域任務(wù)上所表現(xiàn)出的性能。因此，在進(jìn)行遷移學(xué)習(xí)之前，對(duì)源域數(shù)據(jù)和目標(biāo)域數(shù)據(jù)的分布進(jìn)行相似性計(jì)算是非常有必要的。

本文將用來(lái)對(duì)模型進(jìn)行預(yù)訓(xùn)練的線路稱(chēng)為源線路，將應(yīng)用遷移訓(xùn)練后的模型進(jìn)行故障診斷的線路稱(chēng)為目標(biāo)線路。為了檢驗(yàn)源線路與目標(biāo)線路故障數(shù)據(jù)分布之間的相似性，本文使用最大均值差異（MMD）的方法來(lái)計(jì)算源線路與目標(biāo)線路故障數(shù)據(jù)分布之間的相似性。然后，選取與目標(biāo)線路故障數(shù)據(jù)相似性最大的源線路對(duì)應(yīng)的預(yù)訓(xùn)練模型，并對(duì)其進(jìn)行遷移訓(xùn)練。

對(duì)于一個(gè)滿足p分布的樣本集X={x1，x2，...，xn}和一個(gè)滿足q分布的樣本集Y={y1，y2，...，yn}，通過(guò)尋找在樣本空間上的映射函數(shù)f，計(jì)算出兩個(gè)分布的樣本在函數(shù)f上的均值，通過(guò)將兩個(gè)均值相減，即可求出兩個(gè)分布對(duì)應(yīng)于f的均值差異。當(dāng)找到某一個(gè)f使得這個(gè)均值差異有最大值時(shí)，就得到了MMD 值。MMD 的計(jì)算表達(dá)式如式（3）所示：

式中，sup（g）表示求上界，Ex～p和Ey～q表示均值，F(xiàn)表示在樣本空間上的函數(shù)集合。

設(shè)源線路的故障樣本和目標(biāo)線路的故障樣本分別對(duì)應(yīng)分布p和q，X和Y則分別表示從源線路和目標(biāo)線路上采集得到的兩個(gè)短路故障數(shù)據(jù)集，數(shù)據(jù)集的大小分別為m和n?？梢缘贸鯩MD 的經(jīng)驗(yàn)估計(jì)表達(dá)式如式（4）所示：

V'MMD[X，Y]的值越小，就表示源線路的故障數(shù)據(jù)和目標(biāo)線路的故障數(shù)據(jù)分布相似性越大，當(dāng)V'MMD[X，Y]=0 時(shí)，則表示兩個(gè)數(shù)據(jù)集來(lái)自同一分布。反之，當(dāng)V'MMD[X，Y]的值越大時(shí)，則表示源線路的故障數(shù)據(jù)和目標(biāo)線路的故障數(shù)據(jù)分布差異越大。

3 基于T-LSTM 的故障診斷方法

3.1 基于LSTM 模型的故障診斷方法

在對(duì)線路故障診斷的研究中，本文提出了基于LSTM 深度網(wǎng)絡(luò)模型的故障診斷方法[5]。用于線路故障診斷的LSTM 深度網(wǎng)絡(luò)模型的結(jié)構(gòu)見(jiàn)圖1。

圖1 LSTM 深度網(wǎng)絡(luò)模型的結(jié)構(gòu)

該模型包含了2 個(gè)具有64 個(gè)隱藏單元的LSTM層。在LSTM 層后設(shè)置了一個(gè)展平層，用于從LSTM層到全連接層的過(guò)渡。展平層可以獲取LSTM 層最后一個(gè)記憶單元的輸出并將其平鋪成一維向量。在展平層后設(shè)置隱藏單元為128 的全連接層，使用ReLU函數(shù)作為該層的激活函數(shù)。最后使用一個(gè)隱藏單元為10 的全連接層作為分類(lèi)層，使用Softmax 函數(shù)作為激活函數(shù)輸出0 到1 的值，實(shí)現(xiàn)對(duì)線路故障的診斷。

在深度網(wǎng)絡(luò)模型的訓(xùn)練過(guò)程中，對(duì)于有q個(gè)樣本的訓(xùn)練集，將前向傳播迭代輸出的向量Y'i與故障樣本真實(shí)的標(biāo)簽向量Yi的均方誤差值作為損失函數(shù)的函數(shù)值J，其計(jì)算公式如式（5）所示。

然后，使用基于梯度下降的Adam 優(yōu)化算法[6]，將損失值和損失函數(shù)的梯度反饋到網(wǎng)絡(luò)以更新權(quán)重和偏差，從而達(dá)到訓(xùn)練深度網(wǎng)絡(luò)的目的。

為保證訓(xùn)練時(shí)網(wǎng)絡(luò)能夠更好的收斂到最優(yōu)值，這里使用指數(shù)衰減學(xué)習(xí)率[7]，使學(xué)習(xí)率隨著訓(xùn)練的迭代輪次增加而減小，其表達(dá)式如式（6）所示：

其中：η0表示初始學(xué)習(xí)率；RD為衰減率；NB為一個(gè)訓(xùn)練批次中的樣本數(shù)；ST為訓(xùn)練迭代的輪次；q為訓(xùn)練集總的故障樣本數(shù)；η表示經(jīng)過(guò)ST輪訓(xùn)練后的學(xué)習(xí)率。

其訓(xùn)練和驗(yàn)證過(guò)程中損失值與正確率的迭代圖如圖2 所示。

圖2 模型訓(xùn)練過(guò)程中的損失值與正確率迭代圖

從圖2 中可以看出，算法在訓(xùn)練集和驗(yàn)證集上的損失值均在下降，故該模型沒(méi)有出現(xiàn)過(guò)擬合的現(xiàn)象。此外，在經(jīng)過(guò)500 個(gè)迭代周期的訓(xùn)練后，總體的識(shí)別準(zhǔn)確率均可以穩(wěn)定在100%。

3.2 T-LSTM 故障診斷模型的理論框架

根據(jù)遷移學(xué)習(xí)的相關(guān)理論，本文在LSTM 模型的基礎(chǔ)上，提出了使用經(jīng)過(guò)遷移訓(xùn)練的LSTM（T-LSTM）模型來(lái)對(duì)輸電線路短路故障進(jìn)行故障診斷的方法。T-LSTM 故障診斷模型的原理框圖如圖3 所示。

圖3 T-LSTM 故障診斷模型的原理框圖

根據(jù)圖3 可知，基于T-LSTM 模型的故障診斷方法主要包含了以下3 個(gè)步驟：

（1）在仿真平臺(tái)上搭建電力線路仿真模型，通過(guò)改變電力線路中的電壓等級(jí)、線路長(zhǎng)度和線路單位長(zhǎng)度的電阻、電感、電容等參數(shù)，分別建立起源線路和目標(biāo)線路的仿真模型。再分別對(duì)源線路和目標(biāo)線路在不同工況下進(jìn)行短路故障仿真，來(lái)分別獲取源線路的故障樣本和少量目標(biāo)線路的故障樣本，并將其制作成數(shù)據(jù)集；

（2）根據(jù)本文第2 節(jié)中所提到的方法計(jì)算每條源線路和目標(biāo)線路的故障數(shù)據(jù)分布的相似程度，選擇與目標(biāo)線路相似度最大的源線路，并使用該源線路的故障數(shù)據(jù)集對(duì)LSTM 模型進(jìn)行預(yù)訓(xùn)練，從而得到經(jīng)過(guò)預(yù)訓(xùn)練后的LSTM 故障診斷模型；

（3）使用少量目標(biāo)線路的故障樣本來(lái)對(duì)經(jīng)過(guò)預(yù)訓(xùn)練后的LSTM 模型進(jìn)行遷移訓(xùn)練，來(lái)獲得經(jīng)過(guò)遷移訓(xùn)練過(guò)后的LSTM（T-LSTM）模型，并將T-LSTM模型用于對(duì)目標(biāo)線路進(jìn)行故障診斷。

4 實(shí)例驗(yàn)證及可遷移性分析

4.1 源線路與目標(biāo)線路的故障數(shù)據(jù)生成

利用仿真平臺(tái)搭建輸電線路故障仿真模型，分別建立起源線路和目標(biāo)線路的仿真模型。本文分別搭建了3 條源線路和1 條目標(biāo)線路的仿真模型，每條輸電線路的具體參數(shù)如表1 所示。

表1 源線路和目標(biāo)線路的系統(tǒng)參數(shù)

根據(jù)表1 中的參數(shù)搭建起輸電線路的仿真模型后，在各條源線路和目標(biāo)線路的仿真模型上，對(duì)不同故障類(lèi)型、不同故障位置、不同故障阻抗和系統(tǒng)兩端電源不同相位差的各種參數(shù)組合進(jìn)行故障仿真，來(lái)分別獲取源線路的故障樣本和少量目標(biāo)線路的故障樣本，并將其制作成故障數(shù)據(jù)集。這里采集的故障數(shù)據(jù)同樣是故障發(fā)生后一個(gè)周期內(nèi)三相故障電流序列，采樣頻率為20 kHz。

由于源線路和目標(biāo)線路的故障數(shù)據(jù)分布存在一定的差異，為了防止在遷移訓(xùn)練的過(guò)程中出現(xiàn)負(fù)遷移的問(wèn)題，使用本文第2 節(jié)所述的MMD 來(lái)計(jì)算每條源線路和目標(biāo)線路故障數(shù)據(jù)分布的相似程度，選擇與目標(biāo)線路故障數(shù)據(jù)相似度最高的1 條源線路，并對(duì)使用該源線路故障樣本預(yù)訓(xùn)練后的LSTM 模型進(jìn)行遷移訓(xùn)練。

4.2 T-LSTM 模型的測(cè)試和微調(diào)率對(duì)性能的影響

在對(duì)LSTM 模型進(jìn)行預(yù)訓(xùn)練的過(guò)程中，源線路的短路故障樣本為1 350 組，目標(biāo)線路的故障樣本為540 組。由于本文中的3 條源線路和目標(biāo)線路故障數(shù)據(jù)之間的MMD 值相近且數(shù)值較小，不存在負(fù)遷移的問(wèn)題，故選擇源線路L1的故障樣本對(duì)模型進(jìn)行預(yù)訓(xùn)練。在預(yù)訓(xùn)練模型的基礎(chǔ)上，使用少量的目標(biāo)線路的短路故障樣本對(duì)模型進(jìn)行遷移訓(xùn)練，最終得到T-LSTM 模型。并使用目標(biāo)線路的測(cè)試集樣本對(duì)T-LSTM 模型的性能進(jìn)行測(cè)試。

在T-LSTM 模型的整個(gè)訓(xùn)練過(guò)程中，預(yù)訓(xùn)練的迭代次數(shù)設(shè)置為500，遷移訓(xùn)練的迭代次數(shù)設(shè)置為100。除此之外，遷移訓(xùn)練中使用的目標(biāo)線路的故障樣本數(shù)量會(huì)對(duì)模型最終的診斷準(zhǔn)確率產(chǎn)生較大的影響。這里將用于模型遷移訓(xùn)練的目標(biāo)線路故障樣本數(shù)量與用于模型預(yù)訓(xùn)練的源線路故障樣本數(shù)量的比值稱(chēng)為微調(diào)率。圖4 展示了在不同的微調(diào)率下，T-LSTM 模型在目標(biāo)線路的測(cè)試集上故障診斷正確率的變化情況。

圖4 不同微調(diào)率下T-LSTM 模型診斷正確率的變化

從圖4 中可以看出，當(dāng)微調(diào)率為0 時(shí)，即沒(méi)有對(duì)模型進(jìn)行遷移訓(xùn)練時(shí)，模型在目標(biāo)線路上的故障診斷正確率僅為81.11%。隨著微調(diào)率的升高，T-LSTM模型的故障診斷準(zhǔn)確率也隨之得到提升。當(dāng)微調(diào)率達(dá)到10%時(shí)，T-LSTM 模型在目標(biāo)線路上的故障診斷正確率能夠達(dá)到100%。由此可以得出，和沒(méi)有經(jīng)過(guò)遷移學(xué)習(xí)的LSTM 模型相比，T-LSTM 故障診斷模型具有更好的可遷移性，能夠在新的目標(biāo)線路的故障診斷問(wèn)題上表現(xiàn)出更加良好的性能。

4.3 實(shí)例驗(yàn)證

為了更好地驗(yàn)證本文所提出的故障診斷模型在實(shí)際線路故障時(shí)的診斷準(zhǔn)確率，這里使用了某大型水電站某線路發(fā)生單相接地故障時(shí)的故障錄波數(shù)據(jù)對(duì)該故障診斷模型的性能進(jìn)行驗(yàn)證。該線路發(fā)生故障時(shí)的故障錄波波形如圖5 所示。

圖5 某水電站線路發(fā)生單相接地故障時(shí)故障錄波波形

截取該線路故障發(fā)生后一個(gè)周期內(nèi)的三相電流信號(hào)作為故障特征信號(hào)，經(jīng)過(guò)前向傳播計(jì)算，故障診斷模型輸出一個(gè)表示短路故障類(lèi)型的多維向量。針對(duì)該線路的故障，經(jīng)故障診斷模型計(jì)算后，輸出的向量 為Y'=[0.99 0.00 0.00 0.00 0.00 0.01 0.00 -0.01 0.01 0.00]。其中，輸出的十維向量Y'中，不同的數(shù)字代表該故障診斷模型將此故障診斷為10 種故障類(lèi)型時(shí)分別對(duì)應(yīng)的概率。

通過(guò)輸出的向量可以看出，故障診斷模型將該線路故障診斷為A 相接地故障的概率為99%，因此，診斷該線路故障類(lèi)型為A 相接地短路，與線路實(shí)際故障情況一致。

經(jīng)過(guò)實(shí)例驗(yàn)證，該方法能夠?qū)?shí)際電力線路的故障類(lèi)型準(zhǔn)確地進(jìn)行診斷。

5 結(jié)論

本文闡述了基于T-LSTM 模型的故障診斷方法，并對(duì)其進(jìn)行了可遷移性研究。首先，結(jié)合遷移學(xué)習(xí)的相關(guān)理論，提出了使用T-LSTM 模型來(lái)對(duì)目標(biāo)線路進(jìn)行故障診斷的方法。在對(duì)LSTM 模型進(jìn)行遷移訓(xùn)練的過(guò)程中，提出了使用MMD 算法來(lái)對(duì)源線路和目標(biāo)線路故障數(shù)據(jù)的相似性進(jìn)行計(jì)算，選出與目標(biāo)線路相似性最高的源線路所對(duì)應(yīng)的預(yù)訓(xùn)練模型，并使用目標(biāo)線路的訓(xùn)練集樣本對(duì)其進(jìn)行遷移訓(xùn)練。然后，使用目標(biāo)線路的測(cè)試集故障樣本對(duì)T-LSTM 模型進(jìn)行測(cè)試。通過(guò)實(shí)驗(yàn)驗(yàn)證，當(dāng)遷移訓(xùn)練的微調(diào)率為10%時(shí)，T-LSTM 模型在目標(biāo)線路上的故障診斷正確率能夠達(dá)到100%，并且能夠?qū)?shí)際電力線路的故障進(jìn)行準(zhǔn)確地診斷；而當(dāng)微調(diào)率為0 時(shí)，即沒(méi)有對(duì)模型進(jìn)行遷移訓(xùn)練時(shí)，傳統(tǒng)的LSTM模型在目標(biāo)線路上的故障診斷正確率僅為81.11%。因此，表明了在目標(biāo)線路故障樣本較少的情況下，T-LSTM 僅需少量目標(biāo)線路的故障數(shù)據(jù)對(duì)預(yù)訓(xùn)練模型進(jìn)行微調(diào)，即可構(gòu)建適用于目標(biāo)線路的故障診斷模型。