基于改進Faster RCNN的變電站紅外圖像多目標識別*

王 妤，陳秀新，袁和金*

(1.保定職業(yè)技術(shù)學(xué)院計算機信息工程系，河北 保定071051；2.華北電力大學(xué)控制與計算機工程學(xué)院，河北 保定071003)

高壓電氣設(shè)備在長期運行中由于表面老化、化學(xué)腐蝕、自然災(zāi)害以及人為損傷等多種因素會出現(xiàn)各種各樣故障。這些設(shè)備在故障前期通常伴隨有局部放電、整體或局部異常發(fā)熱等現(xiàn)象。紅外檢測可以及時發(fā)現(xiàn)電氣設(shè)備故障，通常利用各種紅外檢測設(shè)備獲取到高壓電氣設(shè)備的溫度值和溫度空間分布特征，從而分析高壓電氣設(shè)備中可能存在的隱患以到達故障檢測的目的[1]。

目前國家電網(wǎng)積極探索智能化變電站的建設(shè)，許多變電站已經(jīng)安裝紅外檢測系統(tǒng)，通過固定紅外攝像頭和人工手持紅外熱像儀等巡檢方式將采集到的紅外圖像通過網(wǎng)絡(luò)通信技術(shù)傳輸?shù)奖O(jiān)控系統(tǒng)中，由監(jiān)控中心的技術(shù)人員進行故障排查?，F(xiàn)有的紅外檢測系統(tǒng)在進行故障診斷時對技術(shù)人員的專業(yè)知識和經(jīng)驗要求很高，不具有智能分析與決策的能力。而且故障數(shù)據(jù)海量、高頻、分散，依靠人工排查需要耗費大量人力物力且準確性難以保障。通過智能算法對故障數(shù)據(jù)進行智能分析和處理，將它們轉(zhuǎn)化為有價值的知識，已經(jīng)成為堅強智能電網(wǎng)建設(shè)過程中需要迫切解決的關(guān)鍵性問題[2]。

深度學(xué)習(xí)在智能電網(wǎng)中應(yīng)用較為廣泛。2017年，甘偉焜[3]等利用卷積神經(jīng)網(wǎng)絡(luò)識別變壓器紅外圖像，減少了傳統(tǒng)機器學(xué)習(xí)算法中人為計算特征的步驟，但是該方法只針對變壓器進行研究，識別種類比較單一，無法解決變電站多設(shè)備檢測問題；2017年，王萬國[4]等利用RCNN識別圖像中的電氣設(shè)備，提高了設(shè)備部位的檢測效率和識別準確率；2018年，李軍鋒[5]提出結(jié)合雙通道卷積神經(jīng)網(wǎng)絡(luò)和隨機森林的電力設(shè)備智能識別算法，很好地抑制了背景區(qū)域的顯著性。但是該方法采用圖像分割算法，區(qū)域分割程度好壞直接影響最終的識別準確率。

針對以上方法存在的不足，以及考慮到多種電氣設(shè)備、不同算法適用性，局限性以及優(yōu)缺點等問題，本文提出基于改進Faster RCNN的變電站紅外圖像多目標識別模型，可以準確識別定位紅外圖像中的多種電氣設(shè)備及部位，為故障診斷奠定基礎(chǔ)。同時本文建立了多種電氣設(shè)備標記的變電站設(shè)備紅外數(shù)據(jù)集以更好地適應(yīng)電氣設(shè)備和紅外圖像的特征，提高變電站紅外圖像多目標識別的實用性。

1 基于Faster RCNN的紅外圖像多目標識別

本文基于Faster RCNN[6]對變電站紅外圖像中多種電氣設(shè)備進行目標識別，其核心思想是通過區(qū)域建議策略，從待識別的變電站紅外圖像中生成多種電氣設(shè)備區(qū)域建議，并通過邊框修正進行區(qū)域建議調(diào)整，進而精準定位識別多種電氣設(shè)備?；贔aster RCNN模型的紅外圖像多目標識別模型網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

圖1 Faster RCNN網(wǎng)絡(luò)結(jié)構(gòu)圖

對于任意一張/一幀紅外圖像，首先通過CNN提取紅外圖像中多種電氣設(shè)備特征得到特征圖；RPN網(wǎng)絡(luò)在特征圖上生成區(qū)域建議并判斷區(qū)域建議是否為目標，同時對區(qū)域建議做邊框回歸；Roi Pooling整合特征圖和區(qū)域建議生成區(qū)域建議特征圖，并將區(qū)域建議映射到維度固定的特征向量；最后利用softmax分類器對區(qū)域建議進行分類，并再次通過邊框回歸操作對區(qū)域建議進一步修正[7]。

1.1 基于VGG16的特征提取

VGGNet[8]由牛津大學(xué)的視覺幾何組和Google DeepMind公司提出，在提取圖像特征領(lǐng)域表現(xiàn)良好。經(jīng)過多年研究和改進，VGGNet已經(jīng)發(fā)展出多種網(wǎng)絡(luò)結(jié)構(gòu)，部分VGGNet網(wǎng)絡(luò)結(jié)構(gòu)如表1所示。

表1 VGGNet

幾種VGGNet網(wǎng)絡(luò)模型中，對于提取帶檢測框的特征提取網(wǎng)絡(luò)模型，VGG16網(wǎng)絡(luò)結(jié)構(gòu)在目標檢測、語義分割、模式識別等領(lǐng)域表現(xiàn)的非常出色。VGG16分為16層，包括13個卷積層和3個全連接層。卷積層設(shè)置卷積核大小為3×3，池化層采用2×2最大值池化，輸出層采用Softmax邏輯回歸[9]進行分類。

1.2 RPN區(qū)域建議生成

Faster RCNN引入RPN網(wǎng)絡(luò)代替選擇性搜索，同時引入錨點(anchor)應(yīng)對目標形狀變化問題[10]。RPN通過錨點直接在特征圖上生成區(qū)域建議，引入了檢測中常用到的多尺度方法[11－12]。錨點是位置和大小固定的框，可以理解成事先設(shè)置好的固定的區(qū)域建議[13]。根據(jù)紅外圖像設(shè)置會為特征圖中每個像素生成不同尺寸和比例(1∶1，1∶2，2∶1三種)的9個錨點框，如圖2所示。初始得到的錨點框很不準確，需要通過邊框回歸操作對錨點進行調(diào)整才能更好地擬合預(yù)測目標[14]。

圖2 錨點

區(qū)域建議一般用四維向量(x，y，w，h)表示，分別表示窗口的中心點坐標和寬高[15]。如圖3所示，框A代表RPN網(wǎng)絡(luò)生成的原始的目標定位，框G代表真正的目標定位。邊框回歸通過一定操作，使原始目標A經(jīng)過映射得到一個跟真實目標G更接近的回歸窗口G′[16]。

圖3 邊框回歸

比較簡單的思路是平移和縮放操作[17]，計算公式分別如式(1)和式(2)所示:

當輸入的原始目標A與真實目標G相差較小時，d x(A)、d y(A)、d w(A)、d h(A)四種變換可視為線性變換[18]，可以通過線性回歸建模對目標區(qū)域進行微調(diào)。通過錨點和邊框回歸，RPN網(wǎng)絡(luò)可以接受所有區(qū)域建議并為目標輸出一套好的建議。RPN網(wǎng)絡(luò)包含兩個輸出:一個是錨點作為目標的概率；第二個是邊框回歸，對錨點進行調(diào)整。

1.3 分類和邊框回歸

ROI Pooling整合RPN生成的區(qū)域建議和VGG16得到的特征圖生成區(qū)域建議特征圖并將不同大小的輸入轉(zhuǎn)換為固定維度的輸出，得到固定大小的輸出向量[19]。然后對圖像中所有區(qū)域建議進行識別，輸出區(qū)域建議所屬的類，并再次進行邊框回歸進一步修正區(qū)域建議在圖像中精確位置[20]，如圖4所示。

圖4 分類和邊框回歸

2 改進Faster RCNN參數(shù)學(xué)習(xí)與結(jié)構(gòu)優(yōu)化

為了使模型更好適應(yīng)紅外圖像中電氣設(shè)備的圖像特點，本文建立了多標記的紅外圖像數(shù)據(jù)集，采用基于遷移學(xué)習(xí)的特征提取改善參數(shù)學(xué)習(xí)效果；針對電氣設(shè)備部位識別準確率偏低的情況，本文在原有算法的基礎(chǔ)上添加了類別修正功能，提高了電氣設(shè)備部位的識別準確率，從而提高電氣設(shè)備紅外熱成像多目標識別的工程實用性。

2.1 基于遷移學(xué)習(xí)的特征提取

傳統(tǒng)機器學(xué)習(xí)通常只能解決單一領(lǐng)域內(nèi)的問題，基本流程是首先對大量的樣本數(shù)據(jù)進行訓(xùn)練得到學(xué)習(xí)好的網(wǎng)絡(luò)模型，然后使用模型對測試樣本進行分類。傳統(tǒng)機器學(xué)習(xí)框架通常要滿足兩個條件:訓(xùn)練樣本數(shù)量足夠多、測試樣本和訓(xùn)練樣本具有相同的分布。遷移學(xué)習(xí)的出現(xiàn)和不斷發(fā)展改變了機器學(xué)習(xí)模式，由從零開始學(xué)習(xí)轉(zhuǎn)變成為積累學(xué)習(xí)。遷移學(xué)習(xí)具有良好的靈活性、可擴展性和較高的數(shù)據(jù)忍耐力。本文放棄隨機初始化參數(shù)方法，改用遷移學(xué)習(xí)方法將ImageNet數(shù)據(jù)集上訓(xùn)練好的VGG16預(yù)訓(xùn)練模型的網(wǎng)絡(luò)結(jié)構(gòu)和權(quán)重參數(shù)作為電氣設(shè)備紅外熱成像識別模型的初始狀態(tài)，然后在紅外數(shù)據(jù)集上微調(diào)整個網(wǎng)絡(luò)權(quán)值，對模型中的所有參數(shù)進行更新以適應(yīng)新的分類任務(wù)，更好地提取紅外圖像特征，如圖5所示。

圖5 遷移學(xué)習(xí)

2.2 Faster RCNN優(yōu)化

在使用Faster RCNN紅外識別模型對紅外圖像中電氣設(shè)備進行多目標識別過程中，設(shè)備部位由于外觀相似導(dǎo)致識別錯誤率較高，為后續(xù)電氣設(shè)備故障診斷帶來了極大困擾。針對這一問題，本文借鑒非極大值抑制思想對Faster RCNN進行了優(yōu)化，在原有算法基礎(chǔ)上添加了類別修正功能，使模型可以對識別錯誤的設(shè)備部位類型進行修正，從而提高紅外圖像中電氣設(shè)備的識別準確率。

2.2.1 非極大值抑制

非極大值抑制(NMS)本質(zhì)是搜索局部最大值，抑制非極大值元素[21]。局部代表一個鄰域，包含維數(shù)和大小兩個可變參數(shù)。

目標檢測過程中一般會采取窗口滑動方式在紅外圖像上生成許多區(qū)域建議，然后對區(qū)域建議進行特征提取，送入分類器識別區(qū)域建議類別，并按照區(qū)域建議得分進行排序。選取得分最高的區(qū)域建議，然后計算其他區(qū)域建議與當前區(qū)域建議的重疊度(IoU)。IoU全稱為交并比(Intersection over Union)，計算公式如式(3)所示。

IoU的閾值是一個可優(yōu)化的參數(shù)，一般范圍為0~0.5，可以使用交叉驗證來選擇最優(yōu)參數(shù)。如果重疊度大于設(shè)定閾值就刪除，因為同一電氣設(shè)備可能會有多個區(qū)域建議得分較高，但只需保留一個即可。舉例說明處理流程如下:①假如紅外圖像生成A、B、C、D、E、F六個區(qū)域建議，選取最高得分區(qū)域建議F，分別判斷A~E與F的重疊度IoU是否大于設(shè)定好的閾值。②假設(shè)A與F的重疊度超過設(shè)定閾值，則刪掉A，并標記F為第一個保留的區(qū)域建議。③從剩余區(qū)域建議B、C、D、E中選擇得分最高的E，然后分別判斷E與B、C、D的重疊度，假設(shè)B、C與E的重疊度大于設(shè)定閾值，則刪掉B和C，并標記E為保留下的第二個區(qū)域建議。④重復(fù)上述過程，找到所有被保留下來的區(qū)域建議。

2.2.2 類別修正

本文借鑒NMS思想對Faster RCNN進行了改進，在原有算法基礎(chǔ)上添加了類別修正功能，使模型可以對識別錯誤的設(shè)備部位類型進行修正，從而提高紅外圖像中電氣設(shè)備的識別準確率。NMS思想是通過計算重疊率IoU，將超過設(shè)定好的IoU閾值的區(qū)域建議刪除，從而保留每一類識別效果最好的區(qū)域建議。而類別修正則是將所有區(qū)域建議分為設(shè)備和部位兩類，通過比較設(shè)備和部位重疊面積占部位面積的比例判斷部位和設(shè)備的包含關(guān)系，從而達到類別修正的目的。類別修正步驟如下:

①將紅外圖像識別出的所有區(qū)域建議按照命名規(guī)則分為設(shè)備整體A和設(shè)備部位B兩類(設(shè)備整體命名規(guī)則為設(shè)備簡稱，例如避雷器:“BLQ”、斷路器“DLQ”；設(shè)備部位命名規(guī)則為“設(shè)備_部位”，例如避雷器接頭“BLQ_JT”、斷路器瓷瓶套管“DLQ_CT”)。分類完成后分別將A、B中所有區(qū)域建議按照面積從小到大進行排序。

②從A中選取面積最小的區(qū)域建議A i，依次遍歷B中區(qū)域建議(B j)并與Ai進行計算重疊面積比例(Area overlap ratio)，計算公式如式(4)所示:

然后將AoR與設(shè)定好的閾值0.8進行比較。如果AoR>＝0.8，說明區(qū)域建議B j絕大部分區(qū)域包含在A i中，可以認為B j屬于設(shè)備整體A i。如果B j名稱前綴(即“_”之前設(shè)備名稱)與Ai名稱相同，說明部位識別正確不需要進行修正；如果如果B j名稱前綴與Ai名稱不同，說明部位識別錯誤需要進行修正，修正方法為修改B j名稱前綴跟Ai相同即可。并添加數(shù)組索引確保后續(xù)遍歷不再訪問，減少計算量和縮短處理時間。

如果AoR<0.8，則認為B j不屬于Ai，不做處理繼續(xù)下一個區(qū)域建議B j＋1的計算。

③依次遍歷A中區(qū)域建議并重復(fù)②過程直到所有區(qū)域建議修改完成。

3 實驗結(jié)果與分析

3.1 紅外數(shù)據(jù)集

目前，電氣設(shè)備故障診斷中常見算法是對某一類電氣設(shè)備進行研究，尚未有公開的數(shù)據(jù)集。尤其是對于本文所研究的重點，對于包含變壓器、斷路器、電流互感器(CT)、電壓互感器(PT)、電抗器等多類電氣設(shè)備的紅外圖像更是沒有公開可用的數(shù)據(jù)集。為了使模型更好適應(yīng)紅外圖像中電氣設(shè)備的圖像特點，保證模型特征提取的針對性和有效性，本文使用LabelImg工具對搜集到的大量紅外圖片進行標注整理。根據(jù)DLT－664帶電設(shè)備紅外診斷應(yīng)用規(guī)范，不同電氣設(shè)備甚至同一設(shè)備的不同部位診斷規(guī)則不盡相同，因此本文按照各類設(shè)備及部位對搜集到的紅外圖像進行分類、標注、整理，將27 586張紅外圖像制作成VOC2007格式紅外數(shù)據(jù)集，部分設(shè)備及部位標注名稱如表2所示。

表2 標注規(guī)則

3.2 特征提取網(wǎng)絡(luò)對比

本文使用隨機初始化參數(shù)的VGG16模型與在ImageNet數(shù)據(jù)集上訓(xùn)練好的VGG16預(yù)訓(xùn)練模型在紅外數(shù)據(jù)集上進行相同的訓(xùn)練作為對比，實驗結(jié)果表明使用VGG16預(yù)訓(xùn)練模型在紅外數(shù)據(jù)集上進行再訓(xùn)練，分類性能優(yōu)于隨機初始化參數(shù)的VGG16模型，如圖6所示。

圖6 特征提取網(wǎng)絡(luò)準確率對比

實驗對VGG16、ResNet50和ResNet101三種特征提取網(wǎng)絡(luò)的性能進行對比，表3是三種特征提取網(wǎng)絡(luò)性能對比實驗結(jié)果。

表3 特征提取網(wǎng)絡(luò)性能對比

實驗結(jié)果表明，使用VGG16、ResNet50和Res-Net101三種神經(jīng)網(wǎng)絡(luò)模型對電氣設(shè)備紅外圖像進行特征提取時都可以達到較好的分類效果。VGG16通過多次重復(fù)使用同一大小的卷積核來提取更復(fù)雜和更具有表達性的特征，而深度殘差網(wǎng)絡(luò)ResNet50和ResNet101則是設(shè)計一種殘差模塊訓(xùn)練更深的網(wǎng)絡(luò)。通過對三種神經(jīng)網(wǎng)絡(luò)模型準確率和運行時間的對比可知，ResNet101方法相比于VGG16方法準確率增長了0.65%，但是運行時間確是原來的1.7倍，因為ResNet101深度更深，在進行網(wǎng)絡(luò)訓(xùn)練時需要進行更多的計算，因此需要更高的計算效率和更大的存儲空間。ResNet50深度同樣比VGG16更深，理論上準確率應(yīng)該比VGG16高，但是實驗結(jié)果表明ResNet50方法在紅外數(shù)據(jù)集上識別結(jié)果比VGG16方法低1.2%。

3.3 識別準確率對比

實驗選取了27 586張質(zhì)量較好的紅外圖像制作成紅外數(shù)據(jù)集并按照80%和20%的比例劃分為訓(xùn)練集和測試集。采用訓(xùn)練集中的22 069張紅外圖像對Faster RCNN算法進行1 000次迭代，學(xué)習(xí)率為0.001，每隔100次迭代保存一次網(wǎng)絡(luò)模型。算法訓(xùn)練過程中，通過閾值為0.5的非極大抑制操作對每張紅外圖像中生成的多個區(qū)域建議進行處理，最后篩選出每類識別效果最好的候選框。并用測試集中的5 517張紅外圖像對Faster RCNN的應(yīng)用效果進行了驗證，識別效果如圖7所示。

如圖7所示，F(xiàn)aster RCNN可以準確識別紅外圖像中的多種電氣設(shè)備以及設(shè)備部位，如CT、PT、避雷器、斷路器等，為后續(xù)通過溫度判斷設(shè)備故障類型奠定基礎(chǔ)。以上為識別正確的效果圖，但是部分設(shè)備部位因外觀相似會出現(xiàn)識別錯誤的情況，如圖8所示。其中，圖8(a)、8(c)均存在設(shè)備部位識別錯誤問題，圖8(a)中識別出設(shè)備為隔離開關(guān)(GLKG)，接頭部分識別結(jié)果應(yīng)為隔離開關(guān)接頭(GLKG_JT)，但實際識別結(jié)果卻是斷路器接頭(DLQ_JT)。同樣，圖8(c)中識別出設(shè)備為避雷器(BLQ)，瓷瓶套管部分識別結(jié)果應(yīng)為避雷器瓷瓶(BLQ_CT)，但實際識別結(jié)果卻是PT瓷瓶(PT_CT)。因為不同設(shè)備甚至同一設(shè)備的不同部位診斷規(guī)則不盡相同，識別錯誤會影響后續(xù)通過溫度進行故障診斷時診斷規(guī)則的選擇，從而導(dǎo)致設(shè)備故障診斷結(jié)果出錯。

圖7 識別效果圖

針對以上存在的部位識別錯誤問題，本文使用改進Faster RCNN中對識別錯誤部位進行類別修正，以圖8(a)為例:

AoR等于DLQ_JT與GLKG區(qū)域重疊部分面積與DLQ_JT面積的比值(0.86)，大于設(shè)置好的閾值0.8，說明部位DLQ_JT屬于設(shè)備GLKG，從而修改部位類別，將DLQ_JT修改為GLKG_JT，修正結(jié)果如圖8(b)所示。通過以上方法可將識別錯誤部位進行修正，從而提高識別準確率，為后續(xù)故障診斷奠定基礎(chǔ)。

圖8 改進前后識別效果圖

對測試集中所有紅外圖像的識別結(jié)果進行統(tǒng)計，設(shè)備識別準確率、改進前后部位識別準確率以及總體的識別準確率如圖9所示。從圖9(a)和圖9(b)兩個圖中可以看出電氣設(shè)備識別準確率較高，但部位識別準確率卻比較低，尤其是瓷套(瓷瓶套管的統(tǒng)稱)和接頭僅能達到60%~70%左右。因為電氣設(shè)備外觀區(qū)別較大，進行識別時比較容易區(qū)分，然而瓷套和接頭等設(shè)備部位因為外觀形態(tài)相似，在紅外圖像中更是難以區(qū)分，導(dǎo)致設(shè)備部位識別錯誤率較高。

圖9 識別準確率對比

改進Faster RCNN通過類別修正，在不影響電氣設(shè)備識別準確率的基礎(chǔ)上進一步提高了部位的識別準確率。多種部位的識別準確率較改進前有了很大的提高，尤其是接頭、瓷瓶套管等部位，最高的PT接頭識別準確率增加了23.8%。從而使電氣設(shè)備的總體識別準確率從原來的83.1%提高到了92.8%，比改進前提高了9.7%。

3.4 目標檢測算法對比

本文對YOLO、SSD、RCNN、Fast RCNN、Faster RCNN以及本文算法六種目標檢測算法在紅外數(shù)據(jù)集上的識別結(jié)果進行了對比，實驗結(jié)果如表4所示。

表4 目標檢測算法對比

YOLO和SSD是one-stage算法，可以直接預(yù)測不同目標的類別與位置，速度較快但相對識別準確率較低，YOLO和SSD在紅外數(shù)據(jù)集上的識別準確率分別為72.4%和79.3%。RCNN、Fast RCNN和Faster RCNN是two-stage算法，需要先生成區(qū)域建議，然后再對區(qū)域建議做分類與回歸。經(jīng)過不斷地優(yōu)化與改進，RCNN系列的目標檢測算法速度越來越快，精度也越來越高，如表4所示，F(xiàn)aster RCNN識別準確率達到83.1%，比SSD高3.8%。而本文算法在Faster RCNN基礎(chǔ)上進行了優(yōu)化，通過類別修正進一步提高了電氣設(shè)備的識別準確率。

4 結(jié)論

本文使用Faster RCNN模型準確識別和定位紅外圖像中的多種電氣設(shè)備及部位，并針對模型存在的問題進行了優(yōu)化，提高了電氣設(shè)備的識別準確率，為后續(xù)電氣設(shè)備故障診斷奠定基礎(chǔ)。主要工作如下:①構(gòu)建了基于Faster RCNN的電氣設(shè)備紅外熱成像多目標識別模型。采用VGG16提取紅外圖像中電氣設(shè)備特征，提高了計算效率。②本文采用基于遷移學(xué)習(xí)的特征提取，克服了傳統(tǒng)特征在復(fù)雜數(shù)據(jù)集上表征能力不強的問題，既能提取良好特征，又減少了訓(xùn)練時間。③針對Faster RCNN紅外熱成像多目標識別模型對電氣設(shè)備部位識別準確率低的問題，本文借鑒非極大值抑制思想對Faster RCNN進行了改進，進一步提高了紅外圖像中電氣設(shè)備的識別準確率。

本文依然存在不足:在故障診斷方面研究不足；檢測結(jié)果為矩形框，仍然存在背景影響。下一步工作是加強Faster RCNN在故障診斷方面的研究以及研究檢測設(shè)備輪廓抑制背景干擾的可行性。