基于多尺度協(xié)作模型的電氣設(shè)備紅外圖像超分辨率故障辨識方法

謝 慶 楊天馳 裴少通 謝 軍 律方成

基于多尺度協(xié)作模型的電氣設(shè)備紅外圖像超分辨率故障辨識方法

謝 慶 楊天馳 裴少通 謝 軍 律方成

（新能源電力系統(tǒng)國家重點實驗室（華北電力大學(xué)） 保定 071003）

針對現(xiàn)有紅外圖像分辨率低、清晰度差，易影響基于紅外圖像的電氣設(shè)備故障檢測效果的缺點，提出一種基于多尺度協(xié)作模型的電氣設(shè)備紅外圖像超分辨率故障辨識方法。該文構(gòu)建了基于多尺度協(xié)作模型的電氣設(shè)備紅外圖像超分辨率重建網(wǎng)絡(luò)，該網(wǎng)絡(luò)以生成對抗網(wǎng)絡(luò)為基礎(chǔ)，通過引入多尺度協(xié)作模型和雙通道結(jié)構(gòu)，改善了超分辨率重建網(wǎng)絡(luò)對紅外圖像的適應(yīng)性，并優(yōu)化了圖像特征提取效果。在實現(xiàn)紅外圖像超分辨率重建基礎(chǔ)上，結(jié)合深度學(xué)習(xí)目標檢測方法，建立電氣設(shè)備紅外圖像超分辨率故障辨識模型。針對所提方法進行了實驗驗證，實驗結(jié)果表明：經(jīng)該文所提超分辨率重建網(wǎng)絡(luò)后，紅外圖像質(zhì)量可明顯提升，峰值信噪比（PSNR）、結(jié)構(gòu)相似性（SSIM）值可分別提高至27.26dB、0.828 3；采用該文所提紅外圖像超分辨率故障辨識模型可顯著提高故障辨識效果，mAP、mAR、mAC和mAIOU值平均相對提高了19.34%、19.14%、11.83%和25.03%。

超分辨率重建 紅外圖像 多尺度協(xié)作 故障辨識

0 引言

對電氣設(shè)備運行狀態(tài)進行有效監(jiān)測并對其故障進行準確診斷可有效提高電力系統(tǒng)安全穩(wěn)定性[1]。紅外檢測技術(shù)因其直觀高效、安全非接觸等優(yōu)點在電氣設(shè)備故障檢測及診斷中得到廣泛應(yīng)用[2]。然而，受硬件發(fā)展水平制約，現(xiàn)有紅外熱成像儀捕獲的紅外圖像通常存在空間分辨率低、清晰度差等缺點，使得基于紅外圖像的電氣設(shè)備故障檢測結(jié)果可信度較低。受傳輸帶寬、存儲空間及感光元件等諸多限制，直接通過提高硬件水平以提升紅外圖像分辨率的方法難度較大、成本較高。為提高基于紅外圖像的電氣設(shè)備故障檢測效果，亟需提出一種切實有效的電氣設(shè)備紅外圖像分辨率提升方法，并實現(xiàn)基于紅外圖像的電氣設(shè)備故障精準辨識。

隨著人工智能技術(shù)的發(fā)展，基于深度學(xué)習(xí)的數(shù)字圖像目標檢測算法被廣泛應(yīng)用于電氣設(shè)備故障檢測中[3-4]。白潔音等[5]在FRCNN（faster regions with convolutions neutral networks feature）算法框架下對輸電線路多目標故障進行檢測，Miao Xiren等[6]利用SSD（single shot multibox detector）算法對絕緣子進行檢測，實驗證明了上述算法具有較高的準確度。然而，目標檢測算法主要由海量數(shù)據(jù)驅(qū)動，圖像質(zhì)量會直接影響模型表達能力，但現(xiàn)有紅外圖像存在空間分辨率低等問題，嚴重影響了目標檢測模型的泛化能力。

圖像超分辨率重建可基于軟件方法將低分辨率圖像重建為高分辨率圖像，該理論的提出為圖像質(zhì)量提升提供了新的低成本解決方案[7]。針對圖像超分辨率重建技術(shù)，Tong Tong等[8]將密集連接結(jié)構(gòu)應(yīng)用于超分辨率網(wǎng)絡(luò)，實現(xiàn)了圖像多層特征高效融合；Zhang Yulun[9]等將殘差稠密塊結(jié)構(gòu)應(yīng)用于超分辨率網(wǎng)絡(luò)，實現(xiàn)了圖像局部特征的高效提取。但上述方法在提高分辨率的同時丟失了原有圖像的細節(jié)特征。為此，感知損失函數(shù)及生成對抗網(wǎng)絡(luò)被應(yīng)用于超分辨率重建中[10-11]，上述方案提高了圖像局部清晰度，但卻降低了圖像整體信噪比。在電力系統(tǒng)中，超分辨率重建技術(shù)已開始應(yīng)用。陳智雨等[12]、白萬榮等[13]分別采用超分辨率重建技術(shù)實現(xiàn)了電力線路及絕緣子的可視化檢測，提高了故障檢測效果。然而，上述方法構(gòu)建的超分辨率重建網(wǎng)絡(luò)均采用單一尺度卷積核，但是電氣設(shè)備種類繁多、大小不一，且電氣設(shè)備紅外拍攝角度及拍攝距離多變，使得電氣設(shè)備紅外圖像待分析區(qū)域尺度多變，采用單一尺度卷積核會影響電氣設(shè)備紅外圖像超分辨率重建結(jié)果。

據(jù)此，本文提出一種基于多尺度協(xié)作模型的電氣設(shè)備紅外圖像超分辨率故障辨識方法。首先，建立一種基于多尺度協(xié)作模型（Multi-Scale Collaboration Block，MSCB）的紅外圖像超分辨率重建網(wǎng)絡(luò)，該網(wǎng)絡(luò)以生成對抗網(wǎng)絡(luò)為核心，通過引入多尺度協(xié)作模型及雙通道結(jié)構(gòu)，提高超分辨率重建網(wǎng)絡(luò)對電氣設(shè)備紅外圖像適應(yīng)性，并優(yōu)化重建效果；然后，在圖像超分辨率重建的基礎(chǔ)上，結(jié)合深度學(xué)習(xí)目標檢測算法，實現(xiàn)電氣設(shè)備紅外圖像故障辨識；最后，通過實驗驗證了該方法的有效性。

1 基于多尺度協(xié)作模型的紅外圖像超分辨率重建方法

1.1 基于多尺度協(xié)作模型的紅外圖像超分辨率重建網(wǎng)絡(luò)結(jié)構(gòu)

為提升電氣設(shè)備紅外圖像超分辨率重建效果，本文以生成對抗網(wǎng)絡(luò)為核心，提出了一種基于多尺度協(xié)作模型的紅外圖像超分辨率重建方法。

生成對抗網(wǎng)絡(luò)由生成器和判別器組成，是一種典型的無監(jiān)督型深度學(xué)習(xí)網(wǎng)絡(luò)[14]。生成器可提取低分辨率（Low Resolution）圖像（簡稱LR圖像）分布特征，并生成超分辨率（Super Resolution）圖像（簡稱SR圖像）。判別器可判斷SR圖像與真實高分辨率（High Resolution）圖像（簡稱HR圖像）的差異，并通過訓(xùn)練迭代使SR圖像與HR圖像無限接近，最終實現(xiàn)了任意圖像的超分辨率重建。

此外，考慮到電氣設(shè)備紅外圖像中高頻分量一般為溫度變化較明顯區(qū)域，低頻分量一般為背景區(qū)域，紅外圖像及其高低頻分量如圖1所示。為充分提取圖像特征，本文在生成器中設(shè)計了可分別提取高頻分量及低頻分量的雙通道結(jié)構(gòu)，以便優(yōu)化超分辨率重建效果。

圖1 紅外圖像及其高低頻分量

同時，為適應(yīng)電氣設(shè)備紅外圖像拍攝對象、拍攝距離多變等特點，并更好地學(xué)習(xí)圖像特征，本文在超分辨率重建中引入了具備不同尺度卷積核和密集連接結(jié)構(gòu)的多尺度協(xié)作模型。

綜上所述，本文所提基于多尺度協(xié)作模型的電氣設(shè)備紅外圖像超分辨率重建方法，其網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。該網(wǎng)絡(luò)結(jié)構(gòu)包括生成器和辨別器兩個部分。生成器中包括高、低頻特征提取通道和像素混合模塊，高頻通道由17級MSCB組成，低頻通道由1級MSCB組成，像素混合模塊由1個像素混合層和若干卷積層組成；辨別器由多個卷積層和批量歸一化層組成，并由全連接層實現(xiàn)SR圖像與HR圖像間差異的判定。

圖2 基于多尺度協(xié)作模型的圖像超分辨率重建網(wǎng)絡(luò)基本結(jié)構(gòu)

進行網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化訓(xùn)練時，損失函數(shù)可選擇綜合損失函數(shù)[15]，該損失函數(shù)兼顧了像素損失與感知損失，可使重建后的圖像有更銳利的邊緣和更豐富的紋理，并提高超分辨率重建效果。

1.2 多尺度協(xié)作模型

為充分適應(yīng)電氣設(shè)備紅外圖像特點，提高紅外圖像超分辨重建效果，本文構(gòu)建了多尺度協(xié)作模型，其結(jié)構(gòu)如圖3所示。MSCB具備三旁路結(jié)構(gòu)，各旁路均具有三個卷積層，且各旁路卷積層的卷積核尺度分別為5′5、7′7及9′9。此外，MSCB通過殘差學(xué)習(xí)及旁路間密集連接優(yōu)化卷積層間的協(xié)作能力，進一步增強紅外圖像多尺度特征提取能力，提高超分辨率重建網(wǎng)絡(luò)對電氣設(shè)備紅外圖像的適用性。

圖3 多尺度協(xié)作模型結(jié)構(gòu)

MSCB各旁路特征計算過程如式（1）所示。

由MSCB結(jié)構(gòu)及計算方法可知，MSCB的輸入和輸出具有相同數(shù)目的特征映射，故可將多個MSCB串聯(lián)使用。

2 基于多尺度協(xié)作模型的紅外圖像超分辨率重建網(wǎng)絡(luò)性能測試與分析

2.1 模型訓(xùn)練及樣本組成

為證明本文所提紅外圖像超分辨率方法有效性，進行了實驗驗證。軟件環(huán)境為Python，BatchSize設(shè)置為8，優(yōu)化器為Adam；硬件環(huán)境CPU為IntelI7-9700F，內(nèi)存128GB，GPU為RTX2080ti×2，顯存22GB。

數(shù)據(jù)集采用DIV2K[16]和自制電氣設(shè)備紅外數(shù)據(jù)集，樣本數(shù)目共8 000，且尺寸均為128×100。以原樣本為HR圖像，分別進行4倍下采樣操作，可得到尺寸為32×25的LR圖像。本文隨機選取7 000張圖像作為訓(xùn)練集，另1 000張圖像作為測試集。

本文選擇峰值信噪比（Peak Signal-to-Noise Ratio, PSNR）及結(jié)構(gòu)相似性（Structural Similarity, SSIM）[17]等指標對圖像超分辨率重建效果進行綜合評價，其中PSNR的單位為分貝（dB），PSNR越大代表重建圖像相比真實圖像失真越少，SSIM的值在0～1之間，SSIM越大代表重建圖像與真實圖像的結(jié)構(gòu)相似性越高。

2.2 網(wǎng)絡(luò)結(jié)構(gòu)有效性驗證

2.2.1 雙通道結(jié)構(gòu)有效性驗證

本文采用雙通道結(jié)構(gòu)分別提取紅外圖像高頻部分及低頻部分特征，為驗證此方法有效性，分別構(gòu)建了具備單通道結(jié)構(gòu)和雙通道結(jié)構(gòu)的超分辨率重建網(wǎng)絡(luò)，其中單通道結(jié)構(gòu)僅保留了高頻信息通道。圖4為兩模型超分辨率重建效果評價指標。

圖4 雙通道及單通道結(jié)構(gòu)超分辨率重建效果評價指標對比

由圖4結(jié)果可知，由于雙通道兼顧了原始紅外圖像高頻信息及低頻信息，故采用雙通道結(jié)構(gòu)進行紅外圖像超分辨率重建，其重建效果評價指標明顯優(yōu)于單通道。因此采用雙通道結(jié)構(gòu)可提高紅外圖像超分辨率重建網(wǎng)絡(luò)的性能。

2.2.2 多尺度協(xié)作模型有效性驗證

為適應(yīng)電氣設(shè)備圖像尺度多變特性，并進一步提高超分辨重建效果，本文引入多尺度協(xié)作模型，該模型采用多尺度卷積核和密集連接結(jié)構(gòu)。

圖5為采用多尺度卷積核與單尺度卷積核超分辨率重建效果評價指標對比結(jié)果，其中單尺度卷積核分別為5′5卷積核及7′7卷積核。

圖6為采用密集連接結(jié)構(gòu)與稀疏連接結(jié)構(gòu)超分辨率重建效果評價指標對比結(jié)果。其中，在稀疏連接結(jié)構(gòu)中，僅保留了平行卷積塊間殘差連接。

圖5 多尺度卷積核及單尺度卷積核超分辨率重建效果評價指標

圖6 密集連接及稀疏連接超分辨率重建效果評價指標

由圖5及圖6結(jié)果可知，采用多尺度卷積核及密集連接結(jié)構(gòu)均可提升超分辨率重建效果評價指標。進一步分析可知，利用多尺度卷積核可實現(xiàn)原始低分辨率紅外圖像在不同粒度上的特征采集，解決紅外圖像中待檢測區(qū)域尺度多變對超分辨率重建特征提取過程的不利影響；利用密集連接結(jié)構(gòu)可增加卷積核間信息的共享程度，進一步提高特征提取的效果。同時，多尺度協(xié)作模型兼具多尺度卷積核及密集連接結(jié)構(gòu)，故采用多尺度卷積核可有效提升紅外圖像超分辨率重建效果。

2.3 超分辨率圖像重建效果驗證

為了進一步驗證本文方法的有效性，將本文方法超分辨重建結(jié)果與雙三次插值（Bicubic）、深度超分辨率（Very Deep Super-Resolution, VDSR）算法[18]、增強型超分辨率生成對抗網(wǎng)絡(luò)（Enhanced Super-Resolution Generative Adversarial Networks, ESRGAN）[15]等常用方法重建結(jié)果進行了對比。Bicubic、VDSR、ESRGAN軟硬件環(huán)境及樣本設(shè)置與本文方法保持一致。

表1為各方法對測試樣本進行紅外圖像超分辨率重建后，重建效果評價指標計算結(jié)果平均值。圖7為各方法對某紅外圖像測試樣本進行超分辨率重建結(jié)果局部細節(jié)對比。

表1 各方法超分辨率重建效果評價指標平均值

Tab.1 Evaluation index of super-resolution reconstruction effect of each method

由表1結(jié)果可知，本文方法重建結(jié)果的PSNR和SSIM指標分別達到27.26dB和0.828 3，明顯較高。且由圖7結(jié)果可知，采用本文方法對紅外圖像超分辨率重建，設(shè)備邊緣處更加清晰，且重建圖像清晰度更高。綜上所述，本文方法紅外圖像超分辨率重建效果明顯優(yōu)于其他方法。

圖7 紅外圖像超分辨率重建結(jié)果細節(jié)對比

3 電氣設(shè)備故障紅外圖像超分辨率辨識方法

3.1 電氣設(shè)備故障紅外圖像超分辨率辨識方法具體步驟方法

利用深度學(xué)習(xí)目標檢測網(wǎng)絡(luò)可實現(xiàn)紅外圖像故障辨識，上述方法均基于數(shù)據(jù)驅(qū)動，提高圖像質(zhì)量可有效提升深度學(xué)習(xí)目標檢測網(wǎng)絡(luò)性能，并提高基于紅外圖像的故障辨識效果。據(jù)此，本文提出了電氣設(shè)備紅外圖像超分辨率故障辨識方法，該方法具體結(jié)構(gòu)如圖8所示。

圖8 電氣設(shè)備故障超分辨率辨識方法結(jié)構(gòu)

具體步驟為：

（1）采用本文所提方法對原始紅外圖像樣本進行超分辨率重建，并由重建結(jié)果構(gòu)建SR數(shù)據(jù)集。

（2）將SR數(shù)據(jù)集分為SR訓(xùn)練集和SR測試集，并利用SR訓(xùn)練集訓(xùn)練目標辨識網(wǎng)絡(luò)，確定網(wǎng)絡(luò)參數(shù)。

（3）利用訓(xùn)練好的網(wǎng)絡(luò)對SR測試集進行故障辨識，并將故障辨識結(jié)果輸出。

3.2 故障辨識效果實驗驗證及分析

3.2.1 實驗數(shù)據(jù)集

本文采集了共計1 000張電氣設(shè)備異常升溫紅外圖像，且包含互感器、穿墻套管、電容器、絕緣子及避雷器共計五種設(shè)備[19]，同時紅外圖像采集時光照強度、環(huán)境背景、拍攝角度、拍攝距離等均不相同。表2為樣本組成情況，共選取700張圖像作為訓(xùn)練集，300張圖像作為測試集。各樣本圖像均僅是單類設(shè)備的紅外圖像，但單張樣本中可能存在多處故障區(qū)域，如圖9中某互感器故障紅外圖像樣本中包含兩處故障區(qū)域，故測試樣本中待檢測故障數(shù)目高于測試樣本總數(shù)。

表2 樣本種類及數(shù)量

Tab.2 Types and quantities of data

圖9 互感器故障紅外圖像

3.2.2 實驗結(jié)果與分析

目前基于深度學(xué)習(xí)的目標檢測算法主要分為兩類[20]；一類是一階段法，代表算法為SSD[21-22]和YOLOv4[23]；另一類是二階段法，代表算法為Faster-RCNN[24]。為了證明本文超分辨率故障檢測算法的有效性，本文分別選取上述三種目標檢測網(wǎng)絡(luò)，構(gòu)建電氣設(shè)備紅外故障辨識模型。

此外，為驗證本文所提紅外圖像超分辨率故障辨識方法優(yōu)越性，本文除對各樣本進行超分辨率處理，構(gòu)建SR數(shù)據(jù)集（簡稱S集）外，仍以原始低分辨率樣本為基礎(chǔ)，構(gòu)建了LR數(shù)據(jù)集（簡稱L集），并分別采用兩組數(shù)據(jù)集對目標檢測網(wǎng)絡(luò)進行訓(xùn)練與測試，完成故障辨識。

本文采用平均準確率（Average Precision, AP）、平均召回率（Average Recall, AR）、平均置信度（Average Confidence, AC）以及平均交并比（Average Intersection over Union, AIOU）[25-26]等指標對故障辨識效果進行評價。其中，AP值越高代表辨識結(jié)果中正確辨識的數(shù)量越多，即誤檢率越低；AR值越高代表所有待辨識的故障中被辨識出的故障數(shù)量越多，即漏檢率越低；AC可反映所有被辨識出的故障的置信度，其值越高說明辨識結(jié)果的可信任程度越高；AIOU可反映所有被辨識出的故障的定位精度，其值越高說明故障定位結(jié)果越準確。各指標計算公式為

表3 各方法故障辨識平均準確率對比

Tab.3 Comparison of fault identification AP of each method(%)

表4 各方法故障辨識平均召回率對比

Tab.4 Comparison of fault identification AR of each method(%)

表5 各方法故障辨識平均置信度對比

Tab.5 Comparison of fault identification AC of each method

表6 各方法故障辨識平均交并比對比

Tab.6 Comparison of fault identification AIOU of each method

由表3～表6結(jié)果可知，經(jīng)超分辨率重建后，各深度學(xué)習(xí)目標檢測網(wǎng)絡(luò)下故障辨識效果指標均顯著提升，這表明，本文方法可有效提高紅外圖像故障辨識效果。

圖10給出了采用YOLOv4目標檢測網(wǎng)絡(luò)時，某互感器紅外圖像測試樣本原始圖像（LR圖像）及其超分辨率圖像（SR圖像）的故障辨識結(jié)果。

圖10 某互感器紅外圖像測試樣本超分辨率前后故障辨識結(jié)果對比

由圖10可知，該樣本實際有兩處故障區(qū)域，但LR圖像僅能辨識出一處故障區(qū)域；相比SR圖像，LR圖像辨識結(jié)果置信度較低，且辨識結(jié)果與真實故障區(qū)域相比，辨識范圍偏大，造成故障定位精度下降。進一步分析可知，LR圖像Ⅱ處故障區(qū)域及其邊緣模糊，且受互感器金具的干擾，故該處故障辨識失?。欢?jīng)本文方法超分辨率重建后，有效地提高了故障區(qū)域及其邊緣處的清晰度，故Ⅱ處故障區(qū)域被成功辨識，且故障辨識效果有效提升。

為對測試樣本整體的辨識效果進行評價，可計算各故障類別下辨識效果評價指標的均值，得到均值平均準確率（mean AP，mAP）、均值平均召回率（mean AR，mAR）、均值平均置信度（mean AC，mAC）以及均值平均交并比（mean AIOU，mAIOU），其結(jié)果見表7。

表7 各方法故障辨識效果對比

Tab.7 Comparison of fault identification effect of each method

由表7結(jié)果計算可知，對電氣設(shè)備紅外故障圖像經(jīng)本文所提超分辨率重建后，各方法故障辯識結(jié)果的mAP、mAR、mAC和mAIOU值平均相對提高了19.34%、19.14%、11.83%和25.03%。這表明，本文方法可有效減少電氣設(shè)備紅外圖像故障辨識的誤判率及漏判率，并提高故障辨識結(jié)果可信度及定位精度。

4 結(jié)論

本文提出了一種基于多尺度協(xié)作模型的電氣設(shè)備紅外圖像超分辨率故障辨識方法，該方法通過超分辨率重建提升原始紅外圖像分辨率，結(jié)合深度學(xué)習(xí)目標檢測算法實現(xiàn)電氣設(shè)備紅外圖像故障辨識。本文主要結(jié)論如下：

1）多尺度協(xié)作模型可提高對電氣設(shè)備紅外圖像的適用性，雙通道結(jié)構(gòu)可兼顧紅外圖像高、低頻信息，綜合上述方法可改進超分辨率重建網(wǎng)絡(luò)。實驗結(jié)果表明：本文方法可有效提高紅外圖像超分辨率重建效果，且PSNR、SSIM值可分別提高至27.26dB、0.828 3。

2）利用紅外圖像超分辨率重建結(jié)果，結(jié)合深度學(xué)習(xí)目標檢測算法，可實現(xiàn)基于電氣設(shè)備紅外圖像故障辨識。實驗結(jié)果表明，利用本文方法進行超分辨率重建后，可降低故障辨識結(jié)果的誤判率及漏檢率，并提高故障辨識結(jié)果的置信度及定位精度。經(jīng)計算，本文方法可使mAP、mAR、mAC和mAIOU值平均相對提高19.34%、19.14%、11.83%和25.03%。

[1] Xia Changjie, Ren Ming, Wang Bing, et al. Infrared thermography-based diagnostics on power equipment: state-of-the-art[J]. High Voltage, 2020, DOI:10.1049/ hve2.12023.

[2] 李玉杰, 李洪濤, 宋思齊, 等. 基于紅外的GIS內(nèi)部導(dǎo)體溫度檢測技術(shù)研究[J]. 電力工程技術(shù), 2019, 38(2): 142-146.

Li Yujie, Li Hongtao, Song Siqi, et al. Temperature detection of internal conductor in GIS based on infrared thermal imaging[J]. Electric Power Engineering Technology, 2019, 38(2): 142-146.

[3] 周念成, 廖建權(quán), 王強鋼, 等. 深度學(xué)習(xí)在智能電網(wǎng)中的應(yīng)用現(xiàn)狀分析與展望[J]. 電力系統(tǒng)自動化, 2019, 43(4): 180-191.

Zhou Niancheng, Liao Jianquan, Wang Qianggang, et al. Analysis and prospect of the application of deep learning in smart grid[J]. Automation of Electric Power Systems, 2019, 43(4): 180-191.

[4] 孫曙光, 李勤, 杜太行, 等. 基于一維卷積神經(jīng)網(wǎng)絡(luò)的低壓萬能式斷路器附件故障診斷[J]. 電工技術(shù)學(xué)報, 2020, 35(12): 2562-2573.

Sun Shuguang, Li Qin, Du Taihang, et al. Fault diagnosis of accessories for the low voltage conventional circuit breaker based on one-dimensional convolutional neural network[J]. Transactions of China Electrotechnical Society, 2020, 35(12): 2562-2573.

[5] 白潔音, 趙瑞, 谷豐強, 等. 多目標檢測和故障識別圖像處理方法[J]. 高電壓技術(shù), 2019, 45(11): 3504-3511.

Bai Jieyin, Zhao Rui, Gu Fengqiang, et al. Multi-target detection and fault recognition image processing method[J]. High Voltage Engineering, 2019, 45(11): 3504-3511．

[6] Miao Xiren, Liu Xinyu, Chen Jing, et al. Insulator detection in aerial images for transmission line inspection using single shot multi-box detector[J]. IEEE Access, 2019: 9945-9956．

[7] Chao Dong, Chen Change Loy, He Kaiming, et al. Image Super-resolution using deep convolutional networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2016, 38(2): 295-307.

[8] Tong Tong, Li Gen, Liu Xiejie, et al. Image super-resolution using dense skip connections[C]//IEEE 2017 International Conference on Computer Vision, Venice, Italy, 2017: 4809-4817.

[9] Zhang Yulun, Tian Yapeng, Kong Yu, et al. Residual dense network for image super-resolution[J]. IEEE Conference on Computer Vision and Pattern Recognition, 2018: 2472-2481.

[10] Justin Johnson, Alexandre Alahi, Li Fei-Fei. Perceptual losses for real-time style transfer and super-resolution[C]//European Conference on Computer Vision, Amsterdam: Springer, 2016: 694-711.

[11] Christian Ledig, Lucas Theis, Ferenc Huszár, et al. Photo-realistic single image super-resolution using a generative adversarial network[C]//IEEE Conference on Computer Vision and Pattern Recognition, Hawaii, 2017: 105-114.

[12] 陳智雨, 鞏少巖, 俞學(xué)豪, 等. 基于自學(xué)習(xí)超分辨率的電力線路巡檢可視化[J]. 電力信息與通信技術(shù), 2019, 17(9): 11-16.

Chen Zhiyu, Gong Shaoyan, Yu Xuehao, et al. Super-resolution visual patrol inspection for power line based on self-learning[J]. Electric Power Information and Communication Technology, 2019, 17(9): 11-16.

[13] 白萬榮, 張馴, 朱小琴, 等. 基于E-FCNN的電力巡檢圖像增強[J]. 中國電力, 2021(5): 179-185.

Bai Wanrong, Zhang Xun, Zhu Xiaoqin, et al. Electric power inspection image enhancement based on E-FCNN[J]. Electric Power, 2021(5): 179-185.

[14] 王功明, 喬俊飛, 王磊. 一種能量函數(shù)意義下的生成式對抗網(wǎng)絡(luò)[J]. 自動化學(xué)報, 2018, 44(5): 793-803.

Wang Gongming, Qiao Junfei, Wang Lei. A generative adversarial network based on energy function[J]. Acta Automatic Sinica, 2018, 44(5): 793-803.

[15] Wang Xintao, Yu Ke, Wu Shixiang, et al. Enhanced super-resolution generative adversarial networks[C]// LNCS 11133: Proceedings of the 2018 European Conference on Computer Vision Workshop, 2018: 63-79.

[16] Radu Timofte, Eirikur Agustsson, Luc Van Gool, et al. Ntire 2017 challenge on single image super-resolution: methods and results[C]//IEEE Conference on Computer Vision and Pattern Recognition Workshop, 2017: 1110-1121.

[17] Wang Zhou, Alan Conrad Bovik, Hamid Rahim Sheikh, et al. Image quality assessment: from error visibility to structural similarity[J]. IEEE Transactions on Image Process, 2004, 13 (4): 600-612.

[18] Jiwon Kim, Jung Kwon Lee, Kyoung Mu Lee. Accurate image super-resolution using very deep convolutional networks[C]//IEEE Conference on Computer Vision and Pattern Recognition, Las Vegas, NV, USA, 2016: 1646-1654.

[19] 朱惠玲, 牛哲文, 黃克燦, 等. 基于單階段目標檢測算法的變電設(shè)備紅外圖像目標識別及定位[J]. 電力自動化設(shè)備, 2021, 41(8): 217-224.

Zhu Huiling, Niu Zhewen, Huang Kecan, et al. Target recognition and localization in infrared image of electrical equipment based on single-stage target detection algorithm[J]. Electric Power Automation Equipment, 2021, 41(8): 217-224.

[20] 徐建軍, 黃立達, 閆麗梅, 等. 基于層次多任務(wù)深度學(xué)習(xí)的絕緣子自爆缺陷檢測[J]. 電工技術(shù)學(xué)報, 2021, 36(7): 1407-1415.

Xu Jianjun, Huang Lida, Yan Limei, et al. Insulator self-explosion defect detection based on hierar-chical multi-task deep learning[J]. Transactions of China Electrotechnical Society, 2021, 36(7): 1407-1415.

[21] 王旭紅, 李浩, 樊紹勝, 等. 基于改進SSD的電力設(shè)備紅外圖像異常自動檢測方法[J]. 電工技術(shù)學(xué)報, 2020, 35(增刊1): 302-310.

Wang Xuhong, Li Hao, Fan Shaosheng, et al. Infrared image anomaly automatic detection method for power equipment based on improved single shot multi box detection[J]. Transactions of China Electrotechnical Society, 2020, 35(S1): 302-310.

[22] 王卓, 王玉靜, 王慶巖, 等. 基于協(xié)同深度學(xué)習(xí)二階段絕緣子故障檢測方法[J]. 電工技術(shù)學(xué)報, 2021, 36(17): 3594-3604.

Wang Zhuo, Wang Yujing, Wang Qingyan, et al. Two stage insulator fault detection method based on collaborative deep learning[J]. Transactions of China Electrotechnical Society, 2021, 36(17): 3594-3604.

[23] Joseph Redmon, Santosh Divvala, Ross Girshick, et al. You only look once: unified real-time object detection[C]//IEEE Conference on Computer Vision and Pattern Recognition, Las Vegas, 2016: 779-788.

[24] 張倩, 王建平, 李帷韜. 基于反饋機制的卷積神經(jīng)網(wǎng)絡(luò)絕緣子狀態(tài)檢測方法[J]. 電工技術(shù)學(xué)報, 2019, 34(16): 3311-3321.

Zhang Qian, Wang Jianping, Li Weitao. Insulator state detection of convolutional neural networks based on feedback mechanism[J]. Transactions of China Electrotechnical Society, 2019, 34(16): 3311-3321.

[25] 鄭含博, 李金恒, 劉洋, 等. 基于改進YOLOv3的電力設(shè)備紅外目標檢測模型[J]. 電工技術(shù)學(xué)報, 2021, 36(7): 1389-1398.

Zheng Hanbo, Li Jinheng, Liu Yang, et al. Object detection model for power equipment based on improved YOLOv3[J]. Transactions of China Electrotechnical Society, 2021, 36(7): 1389-1398.

[26] 徐奇?zhèn)? 黃宏, 張雪鋒, 等. 基于改進區(qū)域全卷積網(wǎng)絡(luò)的高壓引線接頭紅外圖像特征分析的在線故障診斷方法[J]. 電工技術(shù)學(xué)報, 2021, 36(7): 1380-1388.

Xu Qiwei, Huang Hong, Zhang Xuefeng, et al. Online fault diagnosis method for infrared image feature analysis of high-voltage lead connectors based on improved R-FCN[J]. Transactions of China Electro- technical Society, 2021, 36(7): 1380-1388.

Super-Resolution Identification Method of Electrical Equipment Fault Based on Multi-Scale Cooperation Model

Xie Qing Yang Tianchi Pei Shaotong Xie Jun Lü Fangcheng

（State Key Laboratory of Alternate Electrical Power System with Renewable Energy Sources North China Electric Power University Baoding 071003 China）

Aiming at the shortcomings of existing infrared images, such as low resolution and poor definition, which can easily affect the fault detection effect of electrical equipment based on infrared images, a super resolution fault identification method of infrared images of electrical equipment based on multi-scale collaboration model is proposed. Firstly, a super resolution reconstruction network for infrared images of electrical equipment is constructed based on multi-scale collaboration model. The network is based on generative adversarial network. By introducing multi-scale collaboration module and two-channel structure, the adaptability of the super resolution reconstruction network to infrared images is improved, and the effect of image feature extraction is optimized. On the basis of infrared image super-resolution reconstruction, combined with deep learning target detection method, a super-resolution fault identification model of infrared image of electrical equipment is established. Experimental verification of the proposed method is carried out. The experimental results show that the infrared image quality can be significantly improved after the proposed super resolution reconstruction network, and the PSNR and SSIM values can be increased to 27.26dB and 0.828 3 respectively. The proposed infrared image super-resolution fault identification model can significantly improve the fault identification effect, mAP, mAR, mAC and mAIOU increased by 19.34%、19.14%、11.83% and 25.03% on average.

Super-resolution reconstruction, infrared image, multi-scale collaboration, fault identification

10.19595/j.cnki.1000-6753.tces.210273

TM507

國家重點研發(fā)計劃資助項目（2020YFB0906005）。

2021-03-03

2021-04-14

謝 慶 男，1979年生，教授，博士生導(dǎo)師，研究方向為高電壓與絕緣技術(shù)、人工智能技術(shù)及其應(yīng)用等。E-mail：xq_ncepu@126.com

謝 軍 男，1988年生，講師，博士，研究方向為電氣設(shè)備故障檢測及智能運維。E-mail：junxie@ncepu.edu.cn（通信作者）

（編輯 郭麗軍）