多模型融合的輸電線路絕緣子自爆故障檢測

林志成，繆希仁，江 灝，陳 靜

(福州大學(xué)電氣工程與自動化學(xué)院,福建 福州 350108)

0 引言

絕緣子是架空輸電線路中廣泛應(yīng)用的關(guān)鍵部件之一，主要起到支撐與絕緣作用.由于受外界自然環(huán)境等因素影響，絕緣子易發(fā)生自爆、污穢、裂紋等故障，嚴(yán)重威脅輸電線路的安全可靠運(yùn)行[1].因此有必要在輸電線路巡檢過程中及時(shí)對故障絕緣子進(jìn)行檢測識別.其中，絕緣子自爆是架空輸電線路中常見故障類型之一.由于巡檢圖像中絕緣子自爆區(qū)域較小，目標(biāo)背景較為復(fù)雜,給絕緣子自爆故障檢測研究帶來一定挑戰(zhàn).

近年來，無人機(jī)在架空輸電線路巡檢中開始逐步應(yīng)用，有效提高了架空輸電線路巡檢工作效率[2].現(xiàn)階段，無人機(jī)巡檢主要通過機(jī)載相機(jī)采集海量輸電線路關(guān)鍵部件圖像，傳輸至本地巡檢數(shù)據(jù)庫后，通過分析巡檢圖像實(shí)現(xiàn)輸電線路關(guān)鍵部件故障檢測.目前，在絕緣子識別與故障檢測方面，Oberweger等[3]運(yùn)用橢圓描述算子實(shí)現(xiàn)絕緣子目標(biāo)檢測，然后運(yùn)用離群因子檢測方法實(shí)現(xiàn)絕緣子故障檢測.Zhai 等[4]結(jié)合故障絕緣子顯著性特征并利用自適應(yīng)形態(tài)學(xué)算法實(shí)現(xiàn)輸電線路中絕緣子識別及故障檢測.韓正新等[5]通過對巡檢圖像進(jìn)行色彩轉(zhuǎn)換及基于最大類間方差與最大熵值分割方法實(shí)現(xiàn)巡檢圖像中絕緣子識別，進(jìn)一步通過空間序列關(guān)系建立的特征檢測算法實(shí)現(xiàn)絕緣子自爆檢測.隨著近幾年深度學(xué)習(xí)在圖像目標(biāo)識別與檢測領(lǐng)域的發(fā)展，基于深度學(xué)習(xí)的絕緣子識別與故障檢測方面的研究也逐步推進(jìn).Chen等[6]使用一階全卷積網(wǎng)絡(luò)分割絕緣子區(qū)域，經(jīng)過形態(tài)學(xué)重建處理后，再次使用全卷積網(wǎng)絡(luò)檢測故障絕緣子.Zhao等[7]提出一種多區(qū)域聯(lián)合的深度卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)以提取巡檢圖像中絕緣子特征，再利用支持向量機(jī)實(shí)現(xiàn)絕緣子故障狀態(tài)檢測.Xian等[8]提出一種基于深度卷積神經(jīng)網(wǎng)絡(luò)的級聯(lián)結(jié)構(gòu)，將絕緣子故障檢測問題轉(zhuǎn)為兩級對象檢測問題，實(shí)現(xiàn)巡檢圖像中絕緣子故障檢測.但目前絕緣子識別與故障檢測研究主要集中于單一方法檢測，所提算法較少綜合考慮巡檢圖像中絕緣子故障檢測實(shí)際特點(diǎn)，因此，有必要開展并深入多模型融合檢測算法在絕緣子故障檢測方面的研究.

針對以上問題，為有效實(shí)現(xiàn)輸電線路中絕緣子自爆故障檢測，通過分析對比現(xiàn)有目標(biāo)檢測算法的絕緣子自爆故障檢測差異性特點(diǎn)，選取差異性較為明顯的三個(gè)目標(biāo)檢測算法，利用融合算法，融合各模型絕緣子自爆故障檢測結(jié)果，最后實(shí)現(xiàn)輸電線路巡檢圖像中絕緣子自爆故障檢測.

1 絕緣子自爆故障檢測原理

圖1 絕緣子自爆故障檢測原理圖Fig.1 Insulator self-explosion fault detection schematic

針對電力巡檢圖像中絕緣子自爆區(qū)域較小，目標(biāo)背景較為復(fù)雜的特點(diǎn)，為有效實(shí)現(xiàn)電力巡檢圖像中絕緣子自爆故障檢測，提出一種多模型融合計(jì)算的輸電線路絕緣子自爆故障檢測方法，原理如圖1所示.故障檢測主要分為訓(xùn)練和檢測兩個(gè)階段.訓(xùn)練階段主要利用打標(biāo)處理后的數(shù)據(jù)分別對三個(gè)模型進(jìn)行訓(xùn)練，當(dāng)損失值趨于穩(wěn)定時(shí)固化各網(wǎng)絡(luò)模型；檢測階段首先利用三個(gè)訓(xùn)練好的目標(biāo)檢測網(wǎng)絡(luò)實(shí)現(xiàn)巡檢圖像中絕緣子自爆故障區(qū)域檢測，其次利用多模型融合計(jì)算各模型檢測得到的絕緣子自爆故障區(qū)域框信息及置信度值，實(shí)現(xiàn)無人機(jī)電力巡檢圖像中絕緣子自爆故障檢測.

1.1 目標(biāo)檢測算法原理

所用目標(biāo)檢測算法可分為One stage與Two stage兩種，One stage目標(biāo)檢測算法主要有： YOLOv3[9]、SSD[10]、Retinanet[11]等；Two stage目標(biāo)檢測網(wǎng)絡(luò)主要有： R-CNN[12]、Faster RCNN[13]、Mask RCNN[14]等.

1.1.1Onestage目標(biāo)檢測算法原理

One stage目標(biāo)檢測算法具有檢測速度較快的特點(diǎn)，核心思想就是直接將目標(biāo)邊框定位的問題轉(zhuǎn)化為回歸問題處理.One stage目標(biāo)檢測基本流程如圖2所示.1) 利用基礎(chǔ)特征提取網(wǎng)絡(luò)實(shí)現(xiàn)輸入圖像深度特征提??；2) 直接回歸計(jì)算目標(biāo)框坐標(biāo)位置與類別概率.

1.1.2Twostage目標(biāo)檢測算法原理

與One stage目標(biāo)檢測相比，Two stage目標(biāo)檢測效率較低，但是檢測準(zhǔn)確率較高.Two stage核心思想是在特征圖上先生成一系列區(qū)域候選框，再通過卷積神經(jīng)網(wǎng)絡(luò)對區(qū)域候選框進(jìn)行分類及框坐標(biāo)微調(diào).Two stage目標(biāo)檢測基本流程如圖3所示.1) 通過深度卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)圖像深度特征提取；2) 利用RPN網(wǎng)絡(luò)生成一系列區(qū)域候選框并對目標(biāo)框進(jìn)行分類與位置初預(yù)測；3) 運(yùn)用全連接層對候選區(qū)域框中位置坐標(biāo)進(jìn)行修正與目標(biāo)類別判斷.

圖2 One stage 目標(biāo)檢測流程Fig.2 One stage object detection process

圖3 Two stage 目標(biāo)檢測流程Fig.3 Two stage object detection process

1.1.3目標(biāo)檢測模型特性分析

以YOLOv3和Retinanet為代表的One stage目標(biāo)檢測網(wǎng)絡(luò)通過直接在圖像中的回歸操作，在保證檢測精度基礎(chǔ)上，大大提高了檢測速度.YOLOv3網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示.它將圖片劃分為網(wǎng)格區(qū)域，在包含目標(biāo)中心點(diǎn)的網(wǎng)格中預(yù)測目標(biāo)的矩形定位框與類別，通過引入錨點(diǎn)框(Anchor)機(jī)制使每個(gè)網(wǎng)絡(luò)可預(yù)測多類別與多尺度目標(biāo)，有利于圖像中小目標(biāo)物體的檢測.然而，在直接回歸算法中生成的大部分區(qū)域候選框只包含背景，易使訓(xùn)練樣本出現(xiàn)類別不平衡問題，正樣本形成的損失無法有效訓(xùn)練網(wǎng)絡(luò)參數(shù).

圖4 YOLOv3目標(biāo)檢測網(wǎng)絡(luò)Fig.4 YOLOv3 object detection network

為有效解決上述問題，Retinanet通過引入改進(jìn)的交叉熵(Focal loss)損失函數(shù)為

FL(pt)=-at(1-pt)γln(pt)

(1)

其中：y∈{+1-1}為真實(shí)框的類別；p∈[0,1]為類別y=1的預(yù)測概率；at∈[0,1]為控制系數(shù)主要調(diào)節(jié)正負(fù)樣本對總的損失值的共享權(quán)重；(1-pt)γ為調(diào)制系數(shù)，主要控制易分類與難分類樣本的權(quán)重，假設(shè)γ不為0時(shí)，當(dāng)某一樣本易被分錯(cuò)時(shí)pt較小，則調(diào)制系數(shù)趨近于1對原來損失值影響較小，若pt趨近于1說明該樣本屬于易分類樣本，則調(diào)制系數(shù)為0，當(dāng)前樣本對總的損失值貢獻(xiàn)變小.

Retinanet目標(biāo)檢測網(wǎng)絡(luò)通過引入Focal loss損失函數(shù)，有效減少大批量負(fù)樣本損失，最終實(shí)現(xiàn)網(wǎng)絡(luò)既能保證高檢測精度，又能顯著提升網(wǎng)絡(luò)模型檢測效率.Retinanet網(wǎng)絡(luò)結(jié)構(gòu)如圖5所示.

圖5 Retinanet目標(biāo)檢測網(wǎng)絡(luò)Fig.5 Retinanet object detection network

Two stage目標(biāo)檢測網(wǎng)絡(luò)采用區(qū)域候選網(wǎng)絡(luò)(region proposal networks，RPN)代替Selective Search算法，實(shí)現(xiàn)了端到端的計(jì)算.RPN的核心思想是利用卷積層生成的特征圖,判斷預(yù)設(shè)的多尺度多比例候選框是否含有待檢測目標(biāo)，在區(qū)域提取和檢測定位、分類上共享卷積層，在檢測速度上大大提升.RCNN系列算法在目標(biāo)檢測領(lǐng)域中得到了廣泛應(yīng)用，主要得益于其優(yōu)異的網(wǎng)絡(luò)設(shè)計(jì)，較高的檢測精度，但是其中也存在著一個(gè)最大的問題，即大量的候選框需要對其目標(biāo)進(jìn)行判斷和定位，算法解算效率較低.

Two stage目標(biāo)檢測網(wǎng)絡(luò)比較有代表性的是Mask RCNN網(wǎng)絡(luò)，其網(wǎng)絡(luò)結(jié)構(gòu)如圖6所示.Mask_RCNN在Faster RCNN的基礎(chǔ)上將RoiPooling替換為RoiAlign,RoiAlign對特征圖上ROI的獲取不再使用取整操作，而是使用雙線性插值來精確獲取每個(gè)塊對應(yīng)的特征，使每個(gè)ROI能有效對齊輸入圖像上的ROI區(qū)域，進(jìn)一步提高了圖像中小目標(biāo)物體的檢測.

圖6 Mask RCNN目標(biāo)檢測網(wǎng)絡(luò)Fig.6 Mask RCNN object detection network

1.2 多模型融合計(jì)算原理

各單一模型檢測后分別生成一系列包含置信度值與預(yù)測目標(biāo)框坐標(biāo)信息，為濾除重疊框并進(jìn)一步融合各絕緣子自爆故障檢測模型的檢測結(jié)果.首先運(yùn)用非極大值抑制(non-maximum supression，NMS)濾除重疊邊框得到各模型預(yù)測目標(biāo)框，其中邊框置信度計(jì)算公式如下式所示.

(2)

濾除各模型重疊預(yù)測框后，運(yùn)用下式進(jìn)一步融合每張巡檢圖像中各模型預(yù)測框.

(3)

圖7 多模型檢測融合效果Fig.7 Multi-model detection fusion effect

各單一模型檢測結(jié)果融合計(jì)算主要核心思想就是根據(jù)預(yù)測框置信度值融合各模型檢測結(jié)果中重疊率高的預(yù)測目標(biāo)框，最后生成新的預(yù)測目標(biāo)框.多模型融合效果如圖7所示，通過式(3)融合計(jì)算公式，最后生成的預(yù)測框能夠根據(jù)各單一模型預(yù)測框置信度，有效融合各模型生成的預(yù)測框，進(jìn)一步提高絕緣子自爆故障檢測精度.

2 實(shí)驗(yàn)結(jié)果與分析

實(shí)驗(yàn)計(jì)算平臺的軟硬件配置如下： Ubuntu 18.04 LTS，Intel Core i7-6850K @ 3.60 GHz 12 CPUs，NVIDIA

GeForce GTX1080 Ti，CUDA版本9.0，cuDnn版本6.0，內(nèi)存共32 G.

絕緣子故障檢測數(shù)據(jù)集為： 訓(xùn)練集中650張巡檢圖像均含有絕緣子自爆故障，自爆區(qū)域大小及在圖中分布位置不同，且自爆區(qū)域背景多樣；測試集中100張巡檢圖像用于模型訓(xùn)練過程測試；驗(yàn)證集100張巡檢圖像中絕緣子自爆區(qū)域與自爆區(qū)域背景分布多樣，用于驗(yàn)證所提方法有效性.

評價(jià)指標(biāo)主要由平均準(zhǔn)確率(average precision,AP)、召回率(recall,R)、準(zhǔn)確率(precision,P)、評價(jià)值(validation value,VAL)構(gòu)成，VAL計(jì)算公式為

VAL=0.5 AP+0.3R+0.2P

(4)

其中： AP、P、R主要用來評估目標(biāo)檢測模型性能；VAL值為評估輸電線路巡檢故障目標(biāo)檢測綜合評價(jià)值.

2.1 絕緣子自爆故障檢測結(jié)果與分析

所提絕緣子自爆故障檢測方法要包含兩個(gè)部分： 1) 使用多模型實(shí)現(xiàn)巡檢圖像中絕緣子自爆區(qū)域檢測，得到各個(gè)模型檢測得到的目標(biāo)框坐標(biāo)及置信度；2) 運(yùn)用設(shè)計(jì)的加權(quán)融合算法實(shí)現(xiàn)絕緣子自爆故障檢測.

2.1.1各模型訓(xùn)練與測試

表1 單模型絕緣子自爆故障檢測結(jié)果

訓(xùn)練Mask RCNN、Retinanet、YOLOv3目標(biāo)檢測模型，三個(gè)目標(biāo)檢測模型的基礎(chǔ)網(wǎng)絡(luò)分別為Inception_Resnetv2、Resnet101與Darknet53，數(shù)據(jù)批訓(xùn)練大小設(shè)置為16，初始學(xué)習(xí)速率設(shè)置為0.001,速度衰減因子為0.000 5，批訓(xùn)練步數(shù)設(shè)置為80 000步.當(dāng)各模型損失值趨于平穩(wěn)，網(wǎng)絡(luò)收斂時(shí)，固化各網(wǎng)絡(luò)最優(yōu)模型并進(jìn)行測試,測試結(jié)果如表1所示.Retinanet模型綜合評價(jià)指標(biāo)值高于其他兩個(gè)模型，綜合性能較好；其中Mask RCNN模型AP值最高，預(yù)測框回歸較為準(zhǔn)確；各模型對絕緣子自爆故障檢測準(zhǔn)確率較高.各模型檢測結(jié)果如圖8所示，三個(gè)模型均能較好實(shí)現(xiàn)巡檢圖像中多類型、復(fù)雜背景下絕緣子自爆故障檢測；其中如圖8(a)所示，Mask RCNN對部分較小自爆區(qū)域的檢測性能稍差，誤檢率相對較高；如圖8(b)所示，Retinanet模型能較好均衡不同類型自爆區(qū)域的檢測；如圖8(c)所示，YOLOv3對小目標(biāo)檢測效果較好，能夠有效檢測出巡檢圖像中相對較小的絕緣子自爆故障區(qū)域.

圖8 各模型檢測結(jié)果Fig.8 Individual model test results

2.1.2多模型融合測試

根據(jù)式(3)融合Mask RCNN、Retinanet、YOLOv3三個(gè)具有一定差異性模型的預(yù)測框坐標(biāo)信息與各預(yù)測框的置信度值得到新的預(yù)測框坐標(biāo)，計(jì)算各項(xiàng)評價(jià)指標(biāo)值，最后得到輸電線路絕緣子自爆故障檢測AP值為93.52%，R值為93.69%，P值為99.04%，VAL值為94.68%.由計(jì)算結(jié)果可見，多模型融合計(jì)算后的各評價(jià)指標(biāo)值均高于單個(gè)模型檢測值.實(shí)驗(yàn)結(jié)果表明，通過融合具有一定差異性的故障檢測模型能有效提高絕緣子自爆故障檢測的各項(xiàng)指標(biāo)值.

2.1.3多模型融合測試結(jié)果與分析

絕緣子自爆故障檢測結(jié)果如圖9所示.雖然輸電線路巡檢圖像中故障絕緣子種類多樣，環(huán)境背景較為復(fù)雜、自爆區(qū)域相對巡檢圖像占比較小,給絕緣子自爆故障檢測研究帶來一定挑戰(zhàn)，但是利用多模型融合檢測能有效綜合各模型優(yōu)點(diǎn)，顯著提升絕緣子自爆故障檢測各評價(jià)值，且檢測得到的絕緣子自爆故障區(qū)域預(yù)測框與真實(shí)標(biāo)注框IOU均大于0.5，預(yù)測框坐標(biāo)回歸較為準(zhǔn)確.由實(shí)驗(yàn)結(jié)果圖及計(jì)算表明，所提方法能有效解決輸電線路巡檢圖像中絕緣子自爆的故障檢測.

圖9 絕緣子自爆故障檢測結(jié)果Fig.9 Insulator self-explosion fault detection results

2.2 不同模型融合對故障檢測結(jié)果的影響

共選取6個(gè)性能具有一定差異性的目標(biāo)檢測模型： Mask RCNN、YOLOv3、Retinanet、Faster RCNN、SSD、R-FCN(模型編號依次為： A、B、C、D、E、F).分別利用單個(gè)模型檢測測試集中所有圖片，經(jīng)過計(jì)算發(fā)現(xiàn)SSD與R-FCN兩個(gè)模型在絕緣子自爆故障檢測方面性能較差，因此最后只選取編號為ABCD四個(gè)模型進(jìn)行組合分析.不同模型組合故障檢測結(jié)果如表2所示.

表2 不同模型融合效果對比

由實(shí)驗(yàn)結(jié)果可見，多模型融合故障檢測比單模型故障檢測VAL值高，特別是準(zhǔn)確率提高明顯；其中模型編號為A+B+C的模型融合效果最好，平均準(zhǔn)確率、召回率、準(zhǔn)確率值都有大幅提升，多模型融合能夠更加有效地實(shí)現(xiàn)輸電線路巡檢圖像中絕緣子自爆的故障檢測.

2.3 不同絕緣子自爆故障檢測方法對比

表3 絕緣子自爆故障檢測方法對比結(jié)果

為驗(yàn)證本方法的有效性，分別與其他6種目標(biāo)檢測模型Faster RCNN、Mask RCNN、Retinanet、SSD、YOLOv3、R-FCN作對比，在保證訓(xùn)練數(shù)據(jù)與測試數(shù)據(jù)一樣的情況下，絕緣子自爆故障檢測對比結(jié)果如表3所示.

通過對比實(shí)驗(yàn)數(shù)據(jù)可以發(fā)現(xiàn)，SSD與R-FCN雖然準(zhǔn)確率都達(dá)到90%以上，但是平均準(zhǔn)確率與召回率較低，絕緣子自爆故障檢測精度較差；Retinanet的VAL值最高，但是召回率比Mask RCNN低；Faster RCNN除準(zhǔn)確率外的其他三個(gè)評價(jià)值都比YOLOv3高，但是YOLOv3能夠有效檢測到較小的絕緣子自爆區(qū)域；通過綜合分析各模型特點(diǎn)，針對巡檢圖像中絕緣子自爆區(qū)域背景復(fù)雜、目標(biāo)小等問題，利用提出的融合算法實(shí)現(xiàn)Mask RCNN、YOLOv3與Retinanet三個(gè)模型檢測結(jié)果融合，有效提高了絕緣子自爆故障檢測平均準(zhǔn)確率、召回率、準(zhǔn)確率及VAL值.

3 結(jié)語

針對架空輸電線路無人機(jī)巡檢圖像中部分絕緣子自爆區(qū)域小、背景復(fù)雜及故障絕緣子類別多樣等特點(diǎn)，利用性能差異較為明顯的Mask RCNN、Retinanet、YOLOv3三個(gè)目標(biāo)檢測模型計(jì)算的預(yù)測框坐標(biāo)與置信度值，運(yùn)用融合計(jì)算方式，實(shí)現(xiàn)絕緣子自爆故障檢測，綜合評價(jià)VAL值為94.81%，與其他單一模型對絕緣子自爆故障檢測相比，所提多模型融合計(jì)算方法檢測精度較高.實(shí)驗(yàn)結(jié)果表明，所提方法能夠綜合各模型特點(diǎn)，顯著提升絕緣子自爆故障檢測各評價(jià)值，較為準(zhǔn)確地實(shí)現(xiàn)架空輸電線路無人機(jī)巡檢圖像中絕緣子自爆故障檢測，對輸電線路智能化巡檢故障診斷具有一定參考價(jià)值.