基于遷移學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)電網(wǎng)故障診斷

丁津津， 邵慶祝， 齊振興， 謝民， 高博， 于洋

(1.國(guó)網(wǎng)安徽省電力有限公司電力科學(xué)研究院， 合肥 230601； 2.國(guó)網(wǎng)安徽省電力有限公司， 合肥 230022； 3.安徽大學(xué)電氣工程與自動(dòng)化學(xué)院， 合肥 230601)

隨著能源和電力系統(tǒng)的發(fā)展，可再生能源的并網(wǎng)和用電設(shè)備的接入，電網(wǎng)的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)越來(lái)越復(fù)雜，用戶對(duì)電能質(zhì)量要求的提高，都給故障診斷帶來(lái)困難。配電網(wǎng)的安全穩(wěn)定運(yùn)行是保障社會(huì)生產(chǎn)和居民生活的必要保障，因此及時(shí)實(shí)現(xiàn)故障定位，保證故障及時(shí)排除、供用電迅速恢復(fù)，具有重要意義?；跈C(jī)理分析的傳統(tǒng)方法[1-2]，在復(fù)雜的大電網(wǎng)結(jié)構(gòu)下，處理非線性、非連續(xù)性、預(yù)測(cè)等問(wèn)題難以達(dá)到預(yù)期效果，易受到故障類型，過(guò)渡電阻，噪聲等因素的影響。

近些年來(lái)的電網(wǎng)數(shù)據(jù)采集系統(tǒng)的建立，提供了電網(wǎng)故障期間的錄波數(shù)據(jù)，使得人工智能算法在電網(wǎng)故障診斷領(lǐng)域得到應(yīng)用，它可以代替人工對(duì)電力系統(tǒng)龐大的復(fù)雜數(shù)據(jù)進(jìn)行處理。在電網(wǎng)故障領(lǐng)域運(yùn)用的主要包括專家系統(tǒng)[3]、貝葉斯網(wǎng)絡(luò)[4]、Petri網(wǎng)[5]、人工神經(jīng)網(wǎng)絡(luò)(artificial neural network，ANN)[6]等。其中，ANN具有很好的適應(yīng)和泛化能力，文獻(xiàn)[7]將離散小波變換與ANN相結(jié)合，實(shí)現(xiàn)電網(wǎng)故障區(qū)段識(shí)別。但文獻(xiàn)[8]指出傳統(tǒng)ANN存在維數(shù)災(zāi)，輸入數(shù)據(jù)敏感，不能感知平面空間特征等缺點(diǎn)。近些年來(lái)，深度學(xué)習(xí)被廣泛應(yīng)用在電網(wǎng)故障診斷領(lǐng)域中，CNN[9-10]是一種深度學(xué)習(xí)算法，具有強(qiáng)大的特征提取能力，不僅在平面感知力能力上優(yōu)于傳統(tǒng)ANN，而且能夠處理較高維度的數(shù)據(jù)，在故障領(lǐng)域廣泛應(yīng)用。文獻(xiàn)[11]根據(jù)變壓器有載分接開(kāi)關(guān)的振動(dòng)信號(hào)的相間分布建立CNN故障診斷模型。文獻(xiàn)[12]利用隨機(jī)矩陣?yán)碚摌?gòu)造多維數(shù)據(jù)矩陣作為CNN的輸入,實(shí)現(xiàn)配電網(wǎng)的故障診斷。文獻(xiàn)[13]依托CNN建立監(jiān)控告警識(shí)別模型，實(shí)現(xiàn)電網(wǎng)監(jiān)控告警智能識(shí)別。

在實(shí)際系統(tǒng)不同工況下，往往故障數(shù)據(jù)較少，導(dǎo)致離線訓(xùn)練模型準(zhǔn)確率不足，難以預(yù)測(cè)各類未知故障。以CNN為代表的深度學(xué)習(xí)算法在目標(biāo)域樣本數(shù)量較少的情況下，深度學(xué)習(xí)的效果比較差，為了解決樣本不足的問(wèn)題，近年來(lái)，研究者提出遷移學(xué)習(xí)的思想，并且應(yīng)用于文本分類、圖像識(shí)別等領(lǐng)域。文獻(xiàn)[14]將豐富標(biāo)注的商品信息作為源域數(shù)據(jù)進(jìn)行遷移，提高目標(biāo)域文本情感分類性能。文獻(xiàn)[15]提出了基于遷移學(xué)習(xí)，對(duì)滾動(dòng)軸承的振動(dòng)歷史數(shù)據(jù)進(jìn)行遷移，從而提高模型的診斷準(zhǔn)確率。

針對(duì)配電網(wǎng)故障診斷中存在的目標(biāo)域樣本不足而導(dǎo)致預(yù)測(cè)精度低的問(wèn)題，現(xiàn)提出模型遷移的方法，利用少量目標(biāo)域中的數(shù)據(jù)進(jìn)行遷移到源域中進(jìn)行微調(diào)訓(xùn)練。同時(shí)為了讓樣本集更好地進(jìn)行遷移學(xué)習(xí)，提出PCA算法，它能夠在原始數(shù)據(jù)上保留大部分信息的基礎(chǔ)上減少特征維數(shù)，加快模型運(yùn)行速度，已經(jīng)在電力系統(tǒng)中多維數(shù)據(jù)分析方向得到了廣泛的應(yīng)用。為電網(wǎng)的故障診斷提供了理論基礎(chǔ)，提升了模型的泛化能力。

1 PCA-CNN算法原理

1.1 主成分分析算法

在當(dāng)今電網(wǎng)多變量信號(hào)的情況下，許多變量之間可能存在相關(guān)性。PCA的主要目標(biāo)在降低各影響因素間的多重相關(guān)性，同時(shí)盡量減少原數(shù)據(jù)的信息損失[16-17]。用綜合變量來(lái)替代原始數(shù)據(jù)高維度變量，去除線性相關(guān)成分，增加數(shù)據(jù)可視化，提高運(yùn)行速率。

對(duì)采集到整理的m×n樣本矩陣X，m表示樣本數(shù)量，n表示每個(gè)樣本的采樣點(diǎn)數(shù)，計(jì)算矩陣X的協(xié)方差矩陣Cov。

(1)

(2)

(3)

式中：xi為第i個(gè)樣本。

采用奇異值分解(singular value decomposition, SVD)的方法計(jì)算協(xié)方差矩陣的特征值和特征向量。

[U,S,V]=svd(Cov)

(4)

U=[u(1),u(2),…,u(k)，…,u(n)]

(5)

式中：U為協(xié)方差矩陣的特征向量，維度為n×n；選取U的前k項(xiàng)與矩陣X進(jìn)行變化得到降維后m×k的矩陣Z。

1.2 CNN模型構(gòu)建

CNN是一種處理時(shí)間序列的深度學(xué)習(xí)算法，且在電力系統(tǒng)方向已經(jīng)有廣泛的應(yīng)用。它由卷積層、降采樣層、全連接層、輸出層組成，如圖1所示。

CNN的輸入層是由一組二維的數(shù)據(jù)矩陣圖，由卷積核與樣本矩陣進(jìn)行卷積，經(jīng)過(guò)激活函數(shù)得到一個(gè)特征面。卷積計(jì)算公式為

(6)

卷積運(yùn)算后的降采樣層是對(duì)卷積層的輸出進(jìn)行篩選過(guò)濾，去除非重要的特征參數(shù)，通過(guò)采樣核k進(jìn)行二次特征的提取，均值采樣法的運(yùn)算公式為

(7)

式(7)中：?為滑步卷積過(guò)程。

全連接層與輸出層相連，是一個(gè)傳統(tǒng)的多層感知器，其作用是利用特征進(jìn)行分類。

CNN的有監(jiān)督學(xué)習(xí)訓(xùn)練過(guò)程包含前饋運(yùn)算和反饋運(yùn)算。

前饋運(yùn)算：假設(shè)網(wǎng)絡(luò)已訓(xùn)練完畢，即其中參數(shù)w1，…，wn已收斂到最優(yōu)解，此時(shí)可用網(wǎng)絡(luò)進(jìn)行故障類別預(yù)測(cè)。預(yù)測(cè)的過(guò)程就是一次前饋運(yùn)算。

wn=fs2(fc2{fs1[fc1(w1)]})

(8)

式(8)中：w1為輸入；wn為輸出；fc為卷積層運(yùn)算；fs為降采樣層。

圖1 CNN故障診斷模型Fig.1 CNN fault diagnosis model

反饋運(yùn)算：將輸出層的結(jié)果與數(shù)據(jù)標(biāo)簽相比對(duì)，計(jì)算兩者之間的誤差并反向傳播至各層，更新權(quán)重參數(shù)。

F′=F+fBP(αen)

(9)

式(9)中：F′為更新后的核參數(shù)；en為輸出和數(shù)據(jù)標(biāo)簽的誤差；fBP為反饋運(yùn)算過(guò)程；α為學(xué)習(xí)率。

2 基于PCA-CNN的預(yù)訓(xùn)練模型

由于電力系統(tǒng)中發(fā)生的故障類別較多，且三相短路故障是電力系統(tǒng)中危害比較大，為了表征故障類型特征，針對(duì)故障前后的三相電流和電壓的時(shí)間序列作特征分析，將三相電流i和三相電壓u的時(shí)序數(shù)據(jù)搭建矩陣，如式(10)所示。結(jié)合實(shí)際配電網(wǎng)場(chǎng)景，構(gòu)建仿真模型，通過(guò)設(shè)置不同的故障條件，得到不同的故障樣本。同時(shí)為了得到足夠的故障特征，設(shè)置高維度的采樣序列，這就導(dǎo)致了樣本仿真時(shí)間長(zhǎng)，模型訓(xùn)練慢，加大預(yù)測(cè)成本。

X=[ia,ib,ic,ua,ub,uc]

(10)

因此采用PCA算法對(duì)原始電流電壓數(shù)據(jù)進(jìn)行降維處理，緩解維度災(zāi)難，得到有用的主要特征，對(duì)故障診斷性能起到重要作用。由于在降維的過(guò)程中會(huì)損失部分特征信息，為了盡可能地保留原始數(shù)據(jù)的特征，通常選擇保留99%以上的主要信息，在不影響模型分類的準(zhǔn)確性同時(shí)提高了模型運(yùn)行速率和數(shù)據(jù)的可視化。

(11)

特征維度降為k時(shí)，滿足式(10)要求即可滿足保留99%原始數(shù)據(jù)信息。

利用PCA算法處理后得到的綜合變量作為CNN的輸入層，輸出層為一個(gè)1×10維的矩陣，10個(gè)數(shù)值分別為10種故障類型的概率大小，數(shù)值越大則表示發(fā)生此類故障概率越大。為了消除不同特征的量綱影響，對(duì)原始數(shù)據(jù)集進(jìn)行歸一化處理。

CNN的不同模型結(jié)構(gòu)參數(shù)的設(shè)置，都會(huì)有不同的結(jié)果，如卷積層和降采樣層數(shù)、卷積核的數(shù)目以及大小、批次訓(xùn)練的數(shù)量、學(xué)習(xí)率以及迭代次數(shù)都會(huì)影響訓(xùn)練結(jié)果的準(zhǔn)確性。本文研究采用逐層訓(xùn)練步驟，控制變量法來(lái)進(jìn)行CNN的模型訓(xùn)練得到最優(yōu)的訓(xùn)練精度，流程圖如圖2所示。

圖2 預(yù)訓(xùn)練模型流程圖Fig.2 Flow chart of pre training model

3 基于遷移學(xué)習(xí)的CNN網(wǎng)絡(luò)模型

3.1 遷移適配

目前，在配電網(wǎng)輸電線路領(lǐng)域中存在樣本標(biāo)注少的問(wèn)題，對(duì)于訓(xùn)練樣本不足的新分類任務(wù)，遷移學(xué)習(xí)將已經(jīng)訓(xùn)練好的源域模型放到新的任務(wù)中進(jìn)行識(shí)別。使用已經(jīng)訓(xùn)練好的網(wǎng)絡(luò)權(quán)重參數(shù)，將這些權(quán)重遷移到目標(biāo)域中，在新分類任務(wù)上進(jìn)行目標(biāo)域訓(xùn)練。解決了目標(biāo)域樣本不足以及獲取訓(xùn)練樣本的成本問(wèn)題。

為了避免負(fù)遷移的可能性，采用MMD對(duì)數(shù)據(jù)進(jìn)行差異測(cè)量，通過(guò)一個(gè)均值指標(biāo)來(lái)評(píng)價(jià)。

假設(shè)Ds、Dt分別代表源域和目標(biāo)域，MMD的距離可表示為

(12)

式(12)中:ns、nt分別為兩個(gè)域的樣本個(gè)數(shù)；xsi、xtj分別為兩個(gè)域的樣本；‖·‖H為RKHS范數(shù)。

將兩組分布樣本均值作差，得到的MMD數(shù)值越小，則代表分布差異性越小，更適合遷移學(xué)習(xí)。

3.2 遷移訓(xùn)練

圖3 模型遷移CNN流程圖Fig.3 CNN flow chart of model migration

首先利用降維后的源域數(shù)據(jù)進(jìn)行CNN的有監(jiān)督訓(xùn)練，通過(guò)反饋運(yùn)算不斷更新權(quán)重，從而得到適合源域數(shù)據(jù)的預(yù)訓(xùn)練模型，但是由于源域數(shù)據(jù)和目標(biāo)域的差異性，預(yù)訓(xùn)練模型不適合目標(biāo)域，針對(duì)樣本量不足的目標(biāo)域，將預(yù)訓(xùn)練模型遷移到目標(biāo)域中，如圖3所示。①獲取適合遷移的預(yù)訓(xùn)練模型；②將預(yù)訓(xùn)練模型中提取特征結(jié)構(gòu)的卷積池化層權(quán)值參數(shù)遷移過(guò)來(lái)構(gòu)建目標(biāo)域模型；③利用降維后的目標(biāo)域數(shù)據(jù)對(duì)遷移過(guò)來(lái)的模型進(jìn)行微調(diào)訓(xùn)練。

4 仿真分析

4.1 時(shí)序樣本集的構(gòu)建

在MATLAB中Simulink模塊中搭建小電流接地故障仿真模型，如圖4所示。通過(guò)批量仿真生成暫態(tài)數(shù)據(jù)集。為了接近實(shí)際電網(wǎng)運(yùn)行情況，利用故障模塊設(shè)置不同的故障線路，分別為發(fā)生單相接地故障(AG)、雙相短路故障(AB)、三相接地故障(ABG)等，一共10種。同時(shí)設(shè)置不同的系統(tǒng)頻率、系統(tǒng)電壓、系統(tǒng)負(fù)荷等。故障樣本參數(shù)如表1所示。系統(tǒng)仿真步長(zhǎng)為0.1 ms，設(shè)置故障開(kāi)始時(shí)間為0.3 s，故障切斷時(shí)間為0.7 s，仿真時(shí)間為1 s，仿真產(chǎn)生大量時(shí)序數(shù)據(jù)，一個(gè)采樣周期內(nèi)每個(gè)樣本有 1 200個(gè)采樣點(diǎn)。

根據(jù)上述仿真條件，采集故障線路兩端的三相電流和三相電壓時(shí)序數(shù)據(jù)。假設(shè)采集節(jié)點(diǎn)1～節(jié)點(diǎn)4為源域數(shù)據(jù)集，節(jié)點(diǎn)5為目標(biāo)域數(shù)據(jù)集。源域每個(gè)節(jié)點(diǎn)分別生成3 600個(gè)樣本數(shù)據(jù)，目標(biāo)域仿真生成300個(gè)樣本數(shù)據(jù)。將每個(gè)源域節(jié)點(diǎn)分別與目標(biāo)域節(jié)點(diǎn)做均值差異性檢測(cè)，最終可得出節(jié)點(diǎn)2和節(jié)點(diǎn)5的分布性差異性最小，更有利于遷移學(xué)習(xí)，因此選擇相似性最高的節(jié)點(diǎn)2源域數(shù)據(jù)輔助目標(biāo)域進(jìn)行分類。

表1 故障仿真模型參數(shù)遍歷表

G為發(fā)電機(jī)；T為變壓器；S1、S2、S3、S4為各支線路圖4 仿真實(shí)驗(yàn)圖Fig.4 Simulation experiment diagram

4.2 CNN網(wǎng)絡(luò)結(jié)構(gòu)的選擇

在CNN訓(xùn)練學(xué)習(xí)階段，將所有源域樣本加上標(biāo)簽，由于每種故障類型的編碼是作為CNN的訓(xùn)練期望輸出，對(duì)于不同故障類型獨(dú)立分類，將每個(gè)輸出歸一為0～1的數(shù)，所以將輸出值最大的標(biāo)簽為1，其他置0。

CNN模型參數(shù)的設(shè)置會(huì)直接影響整個(gè)故障診斷的準(zhǔn)確率和效率，因此本文設(shè)計(jì)了多種不同CNN拓?fù)浣Y(jié)構(gòu)，設(shè)置最大迭代次數(shù)為20，學(xué)習(xí)率為0.1。每種拓?fù)浣Y(jié)構(gòu)選取3 000組原始數(shù)據(jù)樣本訓(xùn)練，300組測(cè)試樣本進(jìn)行測(cè)試，每種結(jié)構(gòu)都經(jīng)過(guò)20次的反復(fù)仿真測(cè)試，訓(xùn)練結(jié)果如表2所示。 可以看出，卷積層和池化層的層數(shù)不同會(huì)導(dǎo)致故障診斷的準(zhǔn)確率差別較大，且每種結(jié)構(gòu)耗時(shí)都比較長(zhǎng)，效率低。序列5模型相比其他模型，增大了卷積核大小，測(cè)試準(zhǔn)確率達(dá)到95.3%。

表2 不同CNN模型仿真結(jié)果

4.3 PCA-CNN模型性能評(píng)估

利用PCA算法對(duì)原始1 200維的采樣點(diǎn)降維處理，按保留99%原數(shù)據(jù)集的方差，在不影響模型性能的同時(shí)提升模型效率，根據(jù)實(shí)驗(yàn)證明映射后的維度為60維度時(shí)，模型測(cè)試準(zhǔn)確率高且運(yùn)行速率大大提升。同時(shí)選擇未經(jīng)任何處理的三相電流和電壓數(shù)據(jù)分別對(duì)CNN和支持向量機(jī)(support vector machine，SVM)作故障診斷比較，驗(yàn)證本文提出的PCA-CNN方法的優(yōu)勢(shì)。

分別選取1 000、2 000、3 000訓(xùn)練樣本數(shù)對(duì)模型進(jìn)行訓(xùn)練，用300組測(cè)試樣本來(lái)測(cè)試模型故障判斷的準(zhǔn)確性。測(cè)試結(jié)果如圖5所示，可以看出隨著訓(xùn)練樣本的增多，故障診斷模型準(zhǔn)確率越高。此外，在相同的訓(xùn)練樣本數(shù)量下CNN模型的性能要高于SVM,與PCA-CNN相比略顯不足，經(jīng)過(guò)PCA降維后CNN模型故障識(shí)別率高達(dá)98.6%。并且經(jīng)過(guò)PCA降維后模型運(yùn)行速率大大提高，平均訓(xùn)練時(shí)間在60 s左右，更有利于故障的及時(shí)排查。

圖5 故障類型判斷準(zhǔn)確率Fig.5 Accuracy of fault type judgment

4.4 模型測(cè)試

在上述得出的結(jié)論中，PCA-CNN預(yù)訓(xùn)練模型經(jīng)過(guò)多次迭代實(shí)驗(yàn)后，對(duì)源域測(cè)試樣本的故障識(shí)別率達(dá)到了99%；但是在對(duì)于目標(biāo)域數(shù)據(jù)測(cè)試中，結(jié)果出現(xiàn)大量錯(cuò)誤樣本。

從實(shí)驗(yàn)結(jié)果中得出預(yù)訓(xùn)練模型對(duì)源域具有正確的識(shí)別能力，為了能對(duì)目標(biāo)域數(shù)據(jù)也具有高準(zhǔn)確度，需要對(duì)模型進(jìn)行遷移微調(diào)訓(xùn)練，將已經(jīng)訓(xùn)練好的源域模型權(quán)重參數(shù)進(jìn)行遷移，保留源域模型的網(wǎng)絡(luò)結(jié)構(gòu)、卷積核權(quán)重、降采樣層權(quán)重。再隨機(jī)選取其中目標(biāo)域300組樣本對(duì)遷移后的模型繼續(xù)訓(xùn)練，通過(guò)反向傳播更新參數(shù)，得到適合目標(biāo)域的模型。經(jīng)過(guò)目標(biāo)域模型測(cè)試后，發(fā)現(xiàn)幾次迭代后準(zhǔn)確率很快達(dá)到100%。

4.5 非遷移學(xué)習(xí)與遷移學(xué)習(xí)識(shí)別率對(duì)比

分別利用無(wú)遷移學(xué)習(xí)的CNN，和經(jīng)過(guò)遷移學(xué)習(xí)的CNN識(shí)別率進(jìn)行迭代對(duì)比，其他條件保持一致，訓(xùn)練結(jié)果如圖6所示，可以看出在模型遷移學(xué)習(xí)后，CNN模型訓(xùn)練在第5次的迭代時(shí)就迅速達(dá)到至100%的準(zhǔn)確率，實(shí)驗(yàn)結(jié)果表明在不同的過(guò)渡電阻、系統(tǒng)頻率、系統(tǒng)負(fù)荷以及故障類型下均能準(zhǔn)確完成故障識(shí)別。而沒(méi)有經(jīng)過(guò)遷移學(xué)習(xí)的CNN模型在經(jīng)歷多次迭代后仍然不能準(zhǔn)確識(shí)別故障類型，且診斷準(zhǔn)確率提升緩慢，容易陷入局部最優(yōu)。

圖6 遷移訓(xùn)練對(duì)比結(jié)果圖Fig.6 Transfertraining comparison results graph

5 結(jié)論

提出了一種基于遷移學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)模型去解決電網(wǎng)中線路故障類型的診斷，為了讓數(shù)據(jù)更好地符合遷移學(xué)習(xí)，采用了PCA算法對(duì)電網(wǎng)線路傳輸過(guò)程中的電流電壓數(shù)據(jù)進(jìn)行降維處理，加快了模型運(yùn)行速度，節(jié)省了測(cè)試所需時(shí)間。并通過(guò)仿真模型進(jìn)行了驗(yàn)證，通過(guò)理論的分析和實(shí)驗(yàn)驗(yàn)證可以得到如下結(jié)論。

利用卷積神經(jīng)網(wǎng)絡(luò)在電網(wǎng)的故障區(qū)域上可以實(shí)現(xiàn)精準(zhǔn)定位，隨著迭代次數(shù)最高達(dá)到100%的準(zhǔn)確率，預(yù)訓(xùn)練模型可以實(shí)現(xiàn)對(duì)源域的精確識(shí)別。

在目標(biāo)域只有少量數(shù)據(jù)時(shí)，將遷移學(xué)習(xí)的思想結(jié)合卷積神經(jīng)網(wǎng)絡(luò)，對(duì)模型進(jìn)行遷移訓(xùn)練，可以實(shí)現(xiàn)小樣本下的故障識(shí)別。通過(guò)仿真模型證明了該方法在不同的系統(tǒng)頻率，故障類型，過(guò)渡電阻的影響下，模型準(zhǔn)確率隨著訓(xùn)練次數(shù)的增加迅速上升至100%，平均準(zhǔn)確率達(dá)到95%，證明本文的方法能夠?qū)收项愋途珳?zhǔn)識(shí)別。