基于4層R-CNN的輸電線路多目標(biāo)檢測

單亞鋒，趙天宇，付 昱，付 華，王珂珂

（遼寧工程技術(shù)大學(xué) 電氣與控制工程學(xué)院，遼寧 葫蘆島 125105）

0 引言

輸電線路部件發(fā)生故障必然會威脅電力系統(tǒng)的穩(wěn)定，對用戶的用電可靠性造成影響，而且?guī)斫?jīng)濟損失.所以對輸電線路的定期巡檢與維護是智能電網(wǎng)建設(shè)過程中極其重要的內(nèi)容[1].對于輸電線路的巡檢，目前越來越多的國家逐漸從傳統(tǒng)巡檢方式向無人機巡檢方式轉(zhuǎn)變，而無人機巡檢需要對大量的巡線航拍圖片進行準(zhǔn)確地識別與分析，因此，在輸電線路目標(biāo)識別領(lǐng)域基于深度學(xué)習(xí)的圖片識別方法發(fā)揮了至關(guān)重要的作用[2-5].在圖像識別領(lǐng)域，單階段（One-stage）檢測器以單激發(fā)多盒探測器SSD[6]、單次檢測（YOLO）[7]等為代表；雙階段（Two-stage）檢測器主要包括實例分割卷積神經(jīng)網(wǎng)絡(luò)（Mask R-CNN）[8]、區(qū)域推薦卷積神經(jīng)網(wǎng)絡(luò)（Faster R-CNN）等.單階段檢測算法雖然用時短，但在小尺度目標(biāo)檢測識別領(lǐng)域，由于雙階段檢測算法檢測精度更高，所以有著更廣闊的應(yīng)用前景.文獻[9]提出了一種基于樣本擴充以及Faster R-CNN的電網(wǎng)異物監(jiān)測的方法，但在所生成樣本的輸出質(zhì)量方面還有一定的提升空間.文獻[10]、文獻[11]都將Faster R-CNN算法應(yīng)用到了電力領(lǐng)域，驗證了在識別百量級圖像時該算法的適用性和穩(wěn)定性.其中文獻[11]驗證了Faster R-CNN模型能夠在復(fù)雜背景下以較高的精度和較低的時間成本檢測絕緣子.文獻[12]利用Faster R-CNN模型實現(xiàn)了航拍圖像中均壓環(huán)、間隔棒、防振錘等電力小部件的識別定位，并獲得93.5%準(zhǔn)確率，但因為樣本量較小，在絕緣子之間存在互相遮擋時，識別效果還需要進一步改善，因此應(yīng)使航拍圖像的樣本多樣性繼續(xù)提高.相比于Faster R-CNN兩階段目標(biāo)識別算法，文獻[13]提出一種多階段級聯(lián)檢測框架即級聯(lián)卷積神經(jīng)網(wǎng)絡(luò)（Cascade R-CNN），在具有挑戰(zhàn)性的常見對象（COCO）數(shù)據(jù)集上，級聯(lián)卷積神經(jīng)網(wǎng)絡(luò)檢測效果超過了所有的單階段目標(biāo)檢測器.文獻[14]驗證了Cascade R-CNN模型在交通標(biāo)志檢測領(lǐng)域應(yīng)用的可行性，識別準(zhǔn)確率達到98%以上.

在圖片處理過程中，特征提取是影響目標(biāo)識別準(zhǔn)確率的關(guān)鍵步驟之一.相比于亞里克斯神經(jīng)網(wǎng)絡(luò)（AlexNet）[15]、視覺幾何神經(jīng)網(wǎng)絡(luò)（VGGNet）[16]等，深度殘差神經(jīng)網(wǎng)絡(luò)（ResNet）作為深度學(xué)習(xí)的前端具有更大的優(yōu)勢[17].ResNet101網(wǎng)絡(luò)可以有效地解決訓(xùn)練過程中產(chǎn)生的梯度彌散問題[18-19]，但卷積計算可能存在低層信息丟失的現(xiàn)象.FPN[20]可在不同層特征融合的基礎(chǔ)上進行獨立預(yù)測，獲得較好的特征提取結(jié)果.

針對上述圖片識別存在的問題，利用基于圖像預(yù)處理的方式實現(xiàn)對航拍圖像中絕緣子及其缺陷、鳥巢、防振錘等9類目標(biāo)數(shù)據(jù)集的擴充，設(shè)計和搭建ResNet-101網(wǎng)絡(luò)以及6層FPN網(wǎng)絡(luò)相結(jié)合的模型來提取輸入目標(biāo)特征，在多階段級聯(lián)神經(jīng)網(wǎng)絡(luò)Four R-CNN模型訓(xùn)練中，通過區(qū)域推薦網(wǎng)絡(luò)（RPN）生成錨點框輸入級聯(lián)的分類器與邊框回歸器進行訓(xùn)練，根據(jù)分類器得分和邊框回歸結(jié)果確定絕緣子、防振錘、鳥窩等目標(biāo)的分類與絕緣子缺陷定位.

1 圖像預(yù)處理

由于實驗使用的原始圖片為代碼托管（Github）平臺上公開的無人機航拍巡檢樣本，數(shù)量有限.對于小樣本問題，深度學(xué)習(xí)無法發(fā)揮出最大優(yōu)勢.因此，利用樣本生成技術(shù)擴充數(shù)據(jù)集，這對于所構(gòu)建的深度學(xué)習(xí)模型起著至關(guān)重要的作用.

在擴充數(shù)據(jù)集的過程中，為更好提升多目標(biāo)識別情況下的準(zhǔn)確率，各類別圖像樣本不僅要達到一定數(shù)量級來滿足深度學(xué)習(xí)的訓(xùn)練要求，而且要避免出現(xiàn)過擬合現(xiàn)象.針對無人機航拍的特點，在圖像預(yù)處理時通過亮度變換、尺度放縮等操作進行模擬.由于無人機在拍攝電網(wǎng)相關(guān)目標(biāo)時不可避免的會抖動，故采用運動模糊算法進行模擬，在一定程度上對數(shù)據(jù)集的泛化性起到了提升作用.表1為圖像預(yù)處理參數(shù)設(shè)置.

表1 圖像預(yù)處理參數(shù)設(shè)置Tab.1 parameters of image preprocessing

2 基于Four R-CNN的多目標(biāo)識別

2.1 特征提取網(wǎng)絡(luò)

以ResNet101網(wǎng)絡(luò)為特征提取網(wǎng)絡(luò)的主干，包括conv1、conv2_x、conv3_x、conv4_x、conv5_x等5層殘差模塊，每一層包含若干殘差學(xué)習(xí)結(jié)構(gòu).經(jīng)降采樣處理后，訓(xùn)練圖片的像素為1 024×1 024，輸出像素分別為512×512×64、256×256×256、128×128×512、64×64×1 024、32×32×1 048.顯然，基于ResNet101網(wǎng)絡(luò)的特征提取過程，圖片尺寸不斷減小而通道數(shù)量不斷增加.隨著特征圖底層的丟失，圖片分辨率會逐級下降，導(dǎo)致檢測模型無法對輸電線路小目標(biāo)進行有效識別與定位.常用的深度學(xué)習(xí)網(wǎng)絡(luò)能夠?qū)Υ蠖鄶?shù)目標(biāo)實現(xiàn)成功識別，但是由于遠(yuǎn)景的圖像過于模糊，依然存在大量漏檢、錯檢的情況，所以常用的特征提取網(wǎng)絡(luò)對遠(yuǎn)景小目標(biāo)圖像的識別效果并不理想.

由于無人機拍攝的是輸電線路易損件的局部缺陷，為了提升小目標(biāo)的識別效果，采用ResNet101和FPN網(wǎng)絡(luò)作為特征提取網(wǎng)絡(luò)，在殘差網(wǎng)絡(luò)的基礎(chǔ)上設(shè)計了2種FPN網(wǎng)絡(luò)，分別是5層FPN結(jié)構(gòu)（P2層、P3層、P4層、P5層、P6層）和6層FPN結(jié)構(gòu)（P2層、P3層、P4層、P5層、P6層、P7層），見表2.為驗證特征提取網(wǎng)絡(luò)的效果，采用Cascade R-CNN驗證表2的4種網(wǎng)絡(luò)模型.6層FPN網(wǎng)絡(luò)識別小目標(biāo)的平均準(zhǔn)確率值最高，達到89.3%，因此最終選擇6層FPN網(wǎng)絡(luò).

表2 小目標(biāo)檢測結(jié)果對比Tab.2 comparison of small target detection results

將ResNet101網(wǎng)絡(luò)和6層FPN網(wǎng)絡(luò)融合，P2層、P3層、P4層、P5層增加了自下而上帶有反向側(cè)邊連接的支路結(jié)構(gòu)，與conv2_x、conv3_x、conv4_x、conv5_x相連.內(nèi)容方面，P2層、P3層、P4層、P5層與conv2_x、conv3_x、conv4_x、conv5_x的圖片尺寸呈現(xiàn)一一對應(yīng)的關(guān)系，但通道數(shù)量存在差異.P2層由conv2_x層1x1卷積內(nèi)核和P3層以步幅為2像素的上采樣組成，像素為256×256×256，同理P3層為128×128×256，P4層為64×64×256，P5層為32× 32×256.P6層由P5層以步幅為2的下采樣得到，像素為16×16×256，同理P7層為8×8×256.因為低層具備高分辨率的特征，故P2層、P3層、P4層、P5層與低層融合后，能夠有效識別出航拍圖像中的電力小部件.由于神經(jīng)網(wǎng)絡(luò)的不斷加深，卷積運算和輪詢會使小目標(biāo)的信息逐漸消失，應(yīng)用深特征圖層的高語義信息，設(shè)計P6層和P7層有助于更加精確地檢測大目標(biāo).

2.2 基于Four R-CNN的輸電線路多目標(biāo)識別模型

提出4層R-CNN（Four R-CNN）級聯(lián)網(wǎng)絡(luò)，ResNet101+FPN用于特征提取，生成特征幀.將不同的重疊度（IOU）設(shè)置為級聯(lián)R-CNN，并對預(yù)處理后的圖像進行訓(xùn)練，以實現(xiàn)高質(zhì)量的目標(biāo)檢測.在每個檢測階段，包括一個分類器hi和一個回歸器fi，根據(jù)分類器與回歸器產(chǎn)生的損失來綜合判斷目標(biāo)類別以及確定目標(biāo)位置.Four R-CNN網(wǎng)絡(luò)總體損失函數(shù)為

式中，Lcls為分類損失；Lloc為定位損失；g為輸入圖片真實值；λ為權(quán)衡系數(shù)；xi為不同IOU閾值下的關(guān)鍵幀；yi為不同IOU閾值下各種輸入圖片的標(biāo)簽類別；[·]為邊界框回歸IOU閾值，與分類用閾值相同.

Four R-CNN模型的分類損失使用Softmax損失函數(shù)代替，為

式中，aj為Softmax輸出向量第j個值，j=1，2，…，m.m為類別數(shù)，取9，則ak為輸出向量9個值.定位損失為

式中，bi為錨框，bi=(bx，by，bw，bh)；為標(biāo)記框，為分類損失函數(shù)，使用 1LS函數(shù)代替R，

式中，x=.

基于4層R-CNN級聯(lián)算法的網(wǎng)絡(luò)框架模型見圖1.

圖1 4層 R-CNN級聯(lián)算法網(wǎng)絡(luò)框架模型Fig.1 network framework model of Four-layer R-CNN cascade algorithm

算法步驟如下．

（1）將COCO形式的數(shù)據(jù)集輸入到基于ResNet101和6層FPN的特征提取網(wǎng)絡(luò)，特征圖用于后續(xù)的RPN網(wǎng)絡(luò)，其中conv4_x作為邊界框回歸，conv5_x作為RPN網(wǎng)絡(luò)的輸入.

（2）未經(jīng)損失函數(shù)調(diào)整的原始邊框回歸（bbox_pred_0）輸入到Four R-CNN的網(wǎng)絡(luò)進行訓(xùn)練，通過下采樣后送到RoI Pooling得到輸電線路目標(biāo)分類得分Lcls_1以及邊框回歸Lbox_1，同理得到第2次調(diào)整的Lcls_2和Lbox_2，第3次調(diào)整的Lcls_3和Lbox_3，前3級檢測網(wǎng)絡(luò)IOU閾值分別設(shè)0.4、0.5、0.6.

（3）按照第3階段的過程將邊框回歸Lbox_3再次輸入，設(shè)定第4層R-CNN的IOU為0.7，最后得到分類得分Lcls_4和邊框回歸Lbox_4.期間網(wǎng)絡(luò)的訓(xùn)練都是收斂的，得到檢測模型，最后得到電網(wǎng)檢測各類別的概率.

2.3 輸電線路多目標(biāo)識別

輸線路多目標(biāo)識別由圖像處理和圖像識別兩部分構(gòu)成，基于樣本生成的Four R-CNN輸電線路多目標(biāo)識別流程，見圖2.

圖2 輸電線路多目標(biāo)識別流程Fig.2 flowchart of transmission lines multi-objective identification

輸電線路多目標(biāo)識別主要流程如下.

（1）提取絕緣子、相間棒、防振錘、鳥窩和絕緣子缺陷樣本，利用旋轉(zhuǎn)、放縮等操作對原始圖像進行增強．

（2）利用圖像標(biāo)注（Labellmg）進行目標(biāo)標(biāo)注，生成對應(yīng)的可擴展標(biāo)記語言（XML）文件．

（3）利用開源機器學(xué)習(xí)庫（PyTorch）搭建深度學(xué)習(xí)模型，把XML文件轉(zhuǎn)化COCO格式來滿足Four R-CNN模型的訓(xùn)練要求．

（4）以模塊化封裝包mmdetection所包含的神經(jīng)網(wǎng)絡(luò)代碼為基礎(chǔ)，構(gòu)建基于ResNet101和6層FPN的Four R-CNN訓(xùn)練網(wǎng)絡(luò)．

（5）通過建立的數(shù)據(jù)集對模型進行訓(xùn)練，優(yōu)化相關(guān)參數(shù)，使模型的識別效果達到最佳，最后以COCO檢測評價矩陣對模型性能進行評價.

3 實驗及結(jié)果分析

3.1 樣本準(zhǔn)備

采用COCO格式制作數(shù)據(jù)集，共包含18 620張電網(wǎng)巡檢航拍圖像，其中16 320張是通過亮度的改變、尺寸的調(diào)整等方式進行數(shù)據(jù)擴充，再選出的圖像.為了更好地說明實驗的泛化性和檢測精度，采用不同季節(jié)、不同天氣、不同角度、不同時間段的航拍數(shù)據(jù).選擇2 000張航拍圖像作為測試集，在剩余的14 320張航拍圖像中，選取12 888張作為訓(xùn)練集，1 432張作為驗證集.

3.2 Four R-CNN模型訓(xùn)練

開發(fā)環(huán)境設(shè)備型號見表3，硬盤存儲空間為4 TB.

表3 開發(fā)環(huán)境Tab.3 development environment

實驗采用PyTorch實現(xiàn)雙路GPU分布式訓(xùn)練.通過測試將imgs_per_gpu設(shè)為8，即每次加載8張樣本圖片，workers_per_gpu為2，即每個gpu分配線程數(shù)為2.num_classes設(shè)為10，即分為3種絕緣子、防震錘、相間棒、2類絕緣子缺陷、防震錘缺陷和鳥窩.采用SDG作基礎(chǔ)迭代器，初始學(xué)習(xí)率設(shè)為0.08，迭代1 000次后學(xué)習(xí)率設(shè)為0.001，動量因子設(shè)為0.9，權(quán)重衰減因子設(shè)為0.002.設(shè)P2層、P3層、P4層、P5層、P6層、P7層的錨步分別是10、15、22、33、50、77，框的大小通過K均值進行聚類，使用Four R-CNN以獲得較好的權(quán)重．

實驗以損失函數(shù)（Loss）作為評判算法收斂效果的依據(jù)，Loss值與算法的收斂效果高低成反比.經(jīng)過多次實驗，迭代3 500，損失函數(shù)見圖3.

圖3 損失函數(shù) Fig.3 loss function

由圖3可知，本文Loss值為0.023 1，略高于Four R-CNN（ResNet101）網(wǎng)絡(luò)的0.017 2，但均明顯低于其余網(wǎng)絡(luò)模型，表明ResNet101+FPN網(wǎng)絡(luò)模型的收斂效果較好，所采取的網(wǎng)絡(luò)模型在Four R-CNN（ResNet101）網(wǎng)絡(luò)模型的基礎(chǔ)上融合了特征金字塔FPN網(wǎng)絡(luò)，雖然犧牲了收斂效果，但更有利于提高輸電線路小目標(biāo)或重疊目標(biāo)識別的準(zhǔn)確度.

3.3 小目標(biāo)識別結(jié)果

由于深度學(xué)習(xí)對小目標(biāo)檢測效果不理想，為了驗證小目標(biāo)的檢測效果，采用Four R-CNN在不同的網(wǎng)絡(luò)模型下測試平均準(zhǔn)確率，評價指標(biāo)如下.

準(zhǔn)確率（查準(zhǔn)率）為

平均準(zhǔn)確率為

式（5）～式（6）中，T為被檢正例的正確個數(shù)；F為被檢正例的錯誤個數(shù)；n為測試樣本總數(shù).

3.4 多目標(biāo)識別結(jié)果

為了測試基于數(shù)據(jù)擴充的Four R-CNN輸電線路多目標(biāo)識別技術(shù)在輸電線路目標(biāo)識別和異物定位中的有效性，采用基于ResNet101和6層FPN網(wǎng)絡(luò)的Four R-CNN網(wǎng)絡(luò)，對2 000 張測試圖像，進行了多目標(biāo)識別測試，隨機選擇了4 張圖像用于展示檢測結(jié)果，見圖4.其中綠色方框代表著候選區(qū)域的類別以及候選區(qū)域的準(zhǔn)確位置，故障類別主要包括絕緣子缺陷、防振錘和鳥巢等.類別后面的百分?jǐn)?shù)表示置信度，置信度越高，則識別率越高.輸電線路的目標(biāo)識別結(jié)果見表4.

圖4 多目標(biāo)識別結(jié)果Fig.4 detection results of multi-target

表4 9類數(shù)據(jù)驗證結(jié)果Tab.4 results of nine types of data validation

表4中平均準(zhǔn)確率P越大說明模型越好，若P為1表明識別準(zhǔn)確率100%.從驗證結(jié)果知，各類別準(zhǔn)確率的平均值為95.8%.表明本算法可以精確識別出輸電線路各個目標(biāo)情況，解決輸電線路多目標(biāo)檢測任務(wù).表5為算法對比表，采用ResNet101+FPN作為backbone的Four R-CNN在檢測精度上優(yōu)于其他算法，但是檢測速度不高.

表5 算法對比Tab.5 algorithm comparison

本網(wǎng)絡(luò)在訓(xùn)練時間和測試速度方面略低于其它算法.Four R-CNN采用多尺度特征融合之后的特征來做預(yù)測，可以在不同層獨立的特征進行預(yù)測，并且上一級的輸出是下一級的輸入，輸入的精度提高，輸出結(jié)果的精度就會隨之提高.

4 結(jié)論

針對輸電線路上絕緣子、防振錘等易損件，以及鳥巢等異物的識別，提出了一種基于4層R-CNN的輸電線路多目標(biāo)檢測方法，能對輸電線路巡檢圖像進行多目標(biāo)分類與定位，并利用數(shù)據(jù)擴充技術(shù)構(gòu)建的圖像數(shù)據(jù)集對所提方法進行實驗驗證.

（1）利用Four R-CNN網(wǎng)絡(luò)較強的深度學(xué)習(xí)能力，同時結(jié)合ResNet101網(wǎng)絡(luò)、6層FPN網(wǎng)絡(luò)的優(yōu)勢，提高輸電線路小目標(biāo)識別準(zhǔn)確度.所提出的訓(xùn)練模型使遠(yuǎn)景目標(biāo)模糊、小目標(biāo)漏檢以及目標(biāo)重疊等問題得到有效解決.

（2）本文所提方法對3種絕緣子、相間棒、防振錘、鳥巢和2種絕緣子缺陷能夠?qū)崿F(xiàn)端到端的識別，平均準(zhǔn)確度達到95.8%.