基于雙注意力機制優(yōu)化CNN架構(gòu)的GIS局部放電模式識別

王彥彪，陳振勇，郭文萍，王宗寶，黃銀漢

(1.國網(wǎng)甘肅省電力公司白銀供電公司，甘肅 白銀 730900；2.國電南瑞南京控制系統(tǒng)有限公司，江蘇 南京 211100)

局部放電(partial discharge，PD)是反映氣體絕緣開關(guān)設(shè)備(gas insulated switchgear，GIS)內(nèi)部絕緣狀況的重要指標之一[1-2]。由于不同缺陷引發(fā)的局部放電現(xiàn)象和機理不同，其對內(nèi)部絕緣造成的劣化程度各異，因此，有必要對GIS內(nèi)部出現(xiàn)的局部放電信號進行識別，以保證GIS的安全穩(wěn)定運行。

局部放電信號識別可以分為特征提取和分類器識別兩步，其中信號的特征提取是識別成功與否的關(guān)鍵。針對局部放電信號的特征提取，常采用統(tǒng)計參數(shù)法[3-4]、分形特征[5]、圖像矩特征[6]、紋理特征[7]等，但是通過這些方法提取得到的特征數(shù)量較多，造成特征空間維度較高，不僅有嚴重的特征冗余，還給分類器帶來負擔。同時，上述的特征提取方法需要大量的專家經(jīng)驗和先驗知識，在缺乏理論背景的前提下，較難提取出合適的特征。

目前，隨著深度學習在圖像識別、語音識別、語義分析等領(lǐng)域的成功應(yīng)用，基于深度學習實現(xiàn)端到端的故障智能化診斷逐漸成為研究熱點。如：文獻[8]采用卷積神經(jīng)網(wǎng)絡(luò)對直流交聯(lián)聚乙烯電纜的局部放電類型進行識別；文獻[9]通過卷積神經(jīng)網(wǎng)絡(luò)對5種局放缺陷類型的時域波形圖像進行識別；文獻[10]基于卷積神經(jīng)網(wǎng)絡(luò)對高壓電纜局部放電模式進行識別。可見，卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network, CNN)架構(gòu)作為目前應(yīng)用最為廣泛且成熟的深度學習架構(gòu)已被應(yīng)用在各類電氣設(shè)備的故障診斷中。然而傳統(tǒng)CNN架構(gòu)存在問題[11-12]：①網(wǎng)絡(luò)卷積、池化時沒有考慮各層結(jié)構(gòu)中不同特征重要性，徒增網(wǎng)絡(luò)計算量，影響網(wǎng)絡(luò)性能；②網(wǎng)絡(luò)池化往往采用平均池化或最大池化，針對不同深度特征缺乏池化方式的科學合理選擇。

針對上述問題，在CNN架構(gòu)的基礎(chǔ)上，本文提出雙注意力模塊優(yōu)化的CNN架構(gòu)，即在傳統(tǒng)卷積、池化過程中加入包含通道和空間注意力機制的模塊，以解決不同通道特征和相同通道不同位置特征的重要性選擇、加權(quán)問題。據(jù)此，提出一種基于雙注意力機制優(yōu)化的GIS局部放電信號識別方法，通過超高頻和超聲波檢測法對不同缺陷局部放電信號進行采集，構(gòu)建由超高頻局部放電譜圖圖像特征和超聲信號格拉米角場密度分布組成的特征空間，基于所提方法完成數(shù)據(jù)深層特征提取和類型識別。

1 局部放電實驗

1.1 樣本制作

基于GIS制造過程中可能因人為失誤而造成的4種常見缺陷建立實驗?zāi)Ｐ蚚13-14]，如圖1所示。

圖1 典型缺陷試樣Figure 1 Typical defect sample

1)表面污穢。在二次側(cè)瓷套內(nèi)導體表面含油脂。

2)金屬微粒。GIS罐中含金屬微粒，微粒尺寸約為5 mm×3 mm×1 mm。

3)電暈放電。通過在操作手柄連接桿上焊接突起實現(xiàn)，突起尺寸約為5 mm×5 mm×2 mm。

4)沿面放電。通過內(nèi)部金屬環(huán)的磨損缺陷模擬，缺損深度為2 mm，長度為10 mm。

1.2 局部放電測試平臺及加壓方式

局部放電測試平臺如圖2所示，變壓器為無暈試驗變壓器(YDTW-25/100)，保護電阻為10 kW保護性水阻。采用Tektronix DPO7104高速數(shù)字存儲示波器記錄PD波形，超高頻探頭的檢測頻段為300～1 500 MHz，超聲波傳感器檢測中心頻率為40 kHz。實驗在高壓屏蔽大廳進行，針對無缺陷GIS的加壓測試背景噪聲控制在3 pC左右。

圖2 局部放電測試平臺Figure 2 Partial discharge test platform

根據(jù)高壓開關(guān)設(shè)備試驗標準IEC 62271-203，測試設(shè)備必須在耐受電壓下承受1 min的最大應(yīng)力，在此期間發(fā)生的局部放電信號應(yīng)被忽略，1 min后外施電壓降至PD測試電壓。GIS額定電壓Ur為15 kV，在45 kV耐受電壓下施加1 min的升壓，然后，將電壓降至1.2Ur/1.73=10.4 kV以測量局部放電。每次測量完成后將實驗設(shè)備閑置1 h，然后再測量下一組數(shù)據(jù)。GIS局部放電過程中的電壓施加曲線如圖3所示。

圖3 外施電壓Figure 3 Applied voltage

1.3 局部放電信號

4種典型缺陷樣本的超高頻信號PRPD譜圖如圖4所示，可見不同缺陷下測得的PRPD譜圖形態(tài)各異，可將其作為分類算法輸入進行識別，為后續(xù)算法識別便捷，將數(shù)據(jù)進行歸一化處理，使信號幅值分布在[0,1]范圍內(nèi)。采用統(tǒng)計、圖像特征等對局部放電PRPD譜圖進行特征提取，這些方法均需要較為豐富的專業(yè)背景，難以滿足電力設(shè)備智能診斷的需求[15]。對采集的PRPD譜圖進行預處理后，本文采用后續(xù)深度學習算法對其進行深度特征提取，免去人工特征提取步驟，簡化診斷流程。

歸一化處理后的4種典型缺陷樣本超聲波信號如圖5所示，采樣頻率為40 kHz，采集時間為30 ms。由于采樣點為與時間相關(guān)的一維序列，且長度為104樣本點，若將其直接作為網(wǎng)絡(luò)的輸入，不僅會導致網(wǎng)絡(luò)運行緩慢，還存在數(shù)據(jù)點丟失的情況。據(jù)此，本文將測得的時序信號采用格拉米角場(gramian angular field, GAF)密度表示[16-17]，如圖6所示，將數(shù)據(jù)映射到極坐標系中，而不是笛卡爾坐標系。

圖4 超高頻局放信號PRPD譜圖Figure 4 PRPD patterns of UHF PD signal

圖5 超聲波局放信號Figure 5 Ultrasonic PD signal

圖6 超聲波局放信號的GAF密度分布Figure 6 GAF density distribution of ultrasonic PD signal

GAF圖像有2個優(yōu)點：①極坐標系保持笛卡爾坐標系不存在的絕對時間關(guān)系；②該方程能夠產(chǎn)生唯一的映射。因此當數(shù)據(jù)反演時，GAF圖像產(chǎn)生的變換是無損的[18]，其主要顯示數(shù)據(jù)點之間的時間相關(guān)性，同時保留了空間位置信息。

基于局部放電實驗平臺，針對每類缺陷，本文通過超高頻檢測法采集局部放電PRPD譜圖200張，通過超聲波檢測法采集局部放電信號150條。

2 雙注意力機制優(yōu)化的CNN架構(gòu)

2.1 通道注意力模塊

通道注意力模塊(channel attention modulem, CAM)通過加權(quán)不同通道間的相關(guān)性生成特征圖，由于每個通道都可被看作一個特征檢測器，該機制可以使模型更加關(guān)注有效信息的通道特征[19]。由于卷積運算只能在局部空間中進行，CAM很難獲得足夠的信息來提取不同通道間的關(guān)系，因此，將通道上的整個空間特征編碼為全局特征，使用全局平均池化和全局最大池化來實現(xiàn)。整體思路[20]：將輸入特征分別經(jīng)過全局平均池化和全局最大池化后獲得全局描述特征；再由2層結(jié)構(gòu)的感知器進行特征連接，將由多層感知器輸出的特征進行元素加權(quán)、融合；最后，將Mc特征和輸入特征F進行元素相乘得到最終的特征，整體提取過程如圖7所示。

圖7 通道注意力模塊Figure 7 Channel attention module

平均池化和最大池化的過程分別如下：

(1)

Fmax=max(F(i,j))

(2)

式(1)、(2)中Favg、Fmax分別為具有輸入特征映射F的全局平均和全局最大池化結(jié)果；H、W分別為輸入特征的高、寬。

通道注意力Mc的計算公式為

Mc(F)=

(3)

其中，W0、W1為多層感知器中的全連接結(jié)構(gòu)，W0層起降維作用，W1層將輸入特征恢復至原始尺度。為了降低模型的復雜度，采用含2個全連接層的瓶頸式結(jié)構(gòu)σ表示Sigmoid操作。

2.2 空間注意力模塊

與通道注意力機制不同的是，空間注意力機制更加關(guān)注目標特征位置，利用特征的空間關(guān)系生成空間注意力圖[21]，空間注意力模塊(spatial attention module, SAM)整體流程如圖8所示。計算整體思路[22]：首先，對輸入特征F的通道進行軸向全局平均池化和全局最大池化；然后，將池化結(jié)果連接生成一個有效的特征描述符；最后，經(jīng)過卷積降維生成空間注意力圖Ms(F)。計算過程為

(4)

其中σ為Sigmoid操作，7×7為卷積核大小。通過空間注意力圖可反映輸入特征需關(guān)注或抑制的位置。

圖8 空間注意力模塊Figure 8 Spatial attention module

2.3 整體網(wǎng)絡(luò)架構(gòu)

為了提高局部放電識別模型的性能，在特征提取網(wǎng)絡(luò)中加入CAM、SAM。通道注意力模塊分別采用平均池化和最大池化壓縮特征映射的空間維數(shù)，空間注意力模塊分別沿信道維度應(yīng)用平均、最大池化。

注意力模塊是一個輕量級的通用模塊，可以集成到CNN中進行端到端的訓練。在5層CNN架構(gòu)的基礎(chǔ)上，本文引入雙注意力模塊進行優(yōu)化，整體結(jié)構(gòu)如圖9所示，圖9(a)為單個CSAM結(jié)構(gòu)，對于每個卷積塊的特征圖A，添加2個連續(xù)的注意力模塊(CAM、SAM)，并將處理后的特征B傳遞給下一個卷積模塊；圖9(b)為含雙注意力模塊的CNN架構(gòu)，輸入為局部放電PRPD譜圖和GAF圖像，通過5層CSAM結(jié)構(gòu)進行深層特征提取，再經(jīng)Flatten層將多維輸入一維化，最后由2層全連接層輸出至Softmax分類識別。

圖9 整體網(wǎng)絡(luò)架構(gòu)Figure 9 Overall network architecture

所提網(wǎng)絡(luò)架構(gòu)的結(jié)構(gòu)參數(shù)如表1所示，網(wǎng)絡(luò)輸入尺寸設(shè)定為256×256×1；M1～M5為CSAM結(jié)構(gòu)，分別含2個3×3×32、3×3×32、3×3×64、3×3×64、3×3×128的優(yōu)化卷積塊。在Flatten層將特征圖矢量化為1×1×8 192，實現(xiàn)從卷積層到全連接層的過渡；然后，將8 192個元素分別輸出至含150、4個神經(jīng)元的雙層全連接層；最后，將全連接特征輸出至Softmax進行局部放電類型識別。

表1 網(wǎng)絡(luò)參數(shù)Table 1 Network parameters

3 結(jié)果分析

通過十折交叉驗證對GIS局部放電類型[23-24]進行識別，即將局部放電數(shù)據(jù)集分成10份，依次將其中9份做訓練，其余1份做驗證，10次結(jié)果的均值作為對算法精度的估計。本文分別對網(wǎng)絡(luò)訓練損失函數(shù)值、識別準確率及F1指數(shù)進行分析，探討不同特征輸入時的網(wǎng)絡(luò)性能以及不同網(wǎng)絡(luò)在相同特征輸入時的性能。

3.1 網(wǎng)絡(luò)輸入對比分析

針對不同特征輸入時的網(wǎng)絡(luò)性能，本文對4種情形進行討論：

情形1 網(wǎng)絡(luò)輸入為局部放電PRPD譜圖時采用CSAM-CNN識別模型；

情形2 網(wǎng)絡(luò)輸入為局部放電時序信號時采用CSAM-CNN識別模型；

情形3 網(wǎng)絡(luò)輸入為局部放電格拉米角場密度分布時采用CSAM-CNN識別模型；

情形4 網(wǎng)絡(luò)輸入為局部放電PRPD譜圖及格拉米角場密度分布時采用CSAM-CNN識別模型。

不同網(wǎng)絡(luò)輸入時的損失函數(shù)值如圖10所示，在網(wǎng)絡(luò)收斂速度方面，情形4在40步左右逐步收斂，情形1/2/3在迭代前期有較小的振蕩，80步左右趨于收斂；在網(wǎng)絡(luò)收斂方面，loss穩(wěn)定值大小依次為情形4<1<3<2。綜上，網(wǎng)絡(luò)輸入為局部放電PRPD譜圖及格拉米角場密度分布時的網(wǎng)絡(luò)收斂較快，且保持較低的網(wǎng)絡(luò)損失值。

圖10 網(wǎng)絡(luò)輸入對loss值影響分析Figure 10 Influence analysis of network input on loss value

基于十折交叉驗證的識別準確率如表2所示，識別準確率反映了訓練完成網(wǎng)絡(luò)對測試集數(shù)據(jù)的識別程度。從表2可以看出，與其他情形比較，情形4的平均準確率最高，為97.57%，而情形2的平均準確率最低，為66.79%。說明采用超聲波局部放電時序信號作為網(wǎng)絡(luò)輸入不僅使網(wǎng)絡(luò)迭代速度降低，還降低了識別準確率。而融合超高頻局放PRPD譜圖和超聲波局放格拉米角場密度分布的數(shù)據(jù)特征具有更好的故障表征能力，能夠較為全面的反映局放類型。

表2 識別準確率Table 2 Recognition accuracy %

基于十折交叉驗證的F1指數(shù)結(jié)果如表3所示，F(xiàn)1指數(shù)的計算公式為

(5)

其中，TP表示預測為真，實際也為真；FP表示預測為真，實際為假；FN表示預測為假，實際為真。F1指數(shù)通過實現(xiàn)精確率和召回率間的平衡，從而能夠更加客觀的描述網(wǎng)絡(luò)預測性能，其值越接近1說明性能越好。從表3可以看出，情形4的F1指數(shù)最接近1，且均高于其他情形，說明情形4的網(wǎng)絡(luò)綜合性能最佳。

表3 F1指數(shù)Table 3 F1 index

3.2 不同深度學習算法對比分析

針對不同網(wǎng)絡(luò)在相同特征輸入時的性能，本文對2種情形進行討論：

情形5 網(wǎng)絡(luò)輸入為局部放電PRPD譜圖及格拉米角場密度分布時采用棧式自編碼器(stacked auto encoder, SAE)識別模型；

情形6 網(wǎng)絡(luò)輸入為局部放電PRPD譜圖及格拉米角場密度分布時采用卷積神經(jīng)網(wǎng)絡(luò)識別模型。

采用不同深度學習網(wǎng)絡(luò)時的損失函數(shù)值如圖11所示，在網(wǎng)絡(luò)收斂速度方面，3個網(wǎng)絡(luò)均在40步左右趨于穩(wěn)定，有較快的收斂速度；在網(wǎng)絡(luò)收斂方面，loss穩(wěn)定值大小依次為情形4<6<5。綜上，采用CSAM-CNN識別模型能夠保持較低的網(wǎng)絡(luò)損失值。

圖11 網(wǎng)絡(luò)類型對loss值影響分析Figure 11 Influence analysis of network type on loss value

識別準確率、F1指數(shù)分別如表4、5所示，可以看出，在同一特征輸入下，采用CSAM-CNN識別模型不僅在識別準確率上高于其他模型，而且在F1指數(shù)上也更接近1。說明與其他常用深度學習相比，CSAM-CNN具有更快收斂速度、更低損失函數(shù)值，同時故障識別率更高、網(wǎng)絡(luò)綜合性能更佳。

表4 識別準確率Table 4 Recognition accuracy %

表5 F1指數(shù)Table 5 F1 index

4 結(jié)語

針對GIS局部放電信號進行準確、高效識別，提出了一種基于雙注意力機制優(yōu)化CNN的GIS局部放電信號模式識別方法，得出結(jié)論：

1)當采用融合局部放電PRPD譜圖和格拉米角場密度分布圖作為CSAM-CNN識別模型輸入時，能夠達到97.57%左右的識別準確率，高于采用單一特征時的模型識別率；

2)在同一特征輸入時，采用CSAM-CNN識別模型具有更快收斂速度、更低損失函數(shù)值，同時故障識別率也更高、網(wǎng)絡(luò)綜合性能更佳。