基于改進YOLOv7的絕緣子缺失檢測方法

余一聰,何領(lǐng)朝,蔡榮貴,洪家軍

(1.莆田學(xué)院 新工科產(chǎn)業(yè)學(xué)院,福建 莆田 351100;2.福州數(shù)據(jù)技術(shù)研究有限公司,福建 福州 350200)

1 研究背景

隨著電力系統(tǒng)智能化水平日益提升,人們對電力系統(tǒng)的日常安全穩(wěn)定運行提出了更高需求。絕緣子是輸電系統(tǒng)中的重要元器件,數(shù)量龐大,長期暴露在室外環(huán)境下很容易出現(xiàn)故障,對電力系統(tǒng)的安全穩(wěn)定運行造成嚴(yán)重的影響。我國疆土遼闊,地形復(fù)雜,輸電線路經(jīng)常需橫跨山河湖川,電力系統(tǒng)的巡線任務(wù)采用傳統(tǒng)的人工巡檢方式人力成本太高,對工作人員的素質(zhì)要求嚴(yán)格,同時易受復(fù)雜的自然環(huán)境影響,特別對偏遠山區(qū)的輸電線路的檢查,更加耗時耗力,甚至由于作業(yè)難度太大,難以完成或者完成的質(zhì)量不高。為獲取輸電線路運行狀況,同時降低巡線成本,提高巡線效率,電力部門逐漸開始用無人機巡檢替代人工巡檢。無人機巡檢不受天氣、環(huán)境影響,節(jié)約了人力物力,同時也拍攝了大量的現(xiàn)場照片,為后續(xù)算法訓(xùn)練做了重要的數(shù)據(jù)儲備。

目前大部分檢測方法是基于單步檢測法和兩步檢測法。兩步檢測法精度較高,但消耗計算資源較多,耗時較長,不利于落地部署。單步檢測法消耗資源較少,但精度較低。為解決上述問題,本文在YOLOv7算法的基礎(chǔ)上,通過增加CBAM注意力機制結(jié)構(gòu),并采用線上線下增強相結(jié)合模式,提出一種基于改進的YOLOv7算法,稱為YOLOv7_CBAM,并應(yīng)用到絕緣子缺失檢測領(lǐng)域中。該算法利用YOLOv7算法強大的特征提取能力,學(xué)習(xí)從樣本中檢測絕緣子,并判斷絕緣子正常與否。實驗結(jié)果表明,該方法模型能夠兼顧精度和速度,可以有效區(qū)分絕緣子是否存在缺失現(xiàn)象。本研究主要貢獻有以下三點。

(1)在原來YOLOv7算法基礎(chǔ)上增加CBAM注意力機制結(jié)構(gòu),有助于網(wǎng)絡(luò)模型在大面積覆蓋圖像中定位感興趣區(qū)域。

(2)將改進YOLOv7算法應(yīng)用到絕緣子缺失檢測領(lǐng)域,提升了絕緣子缺失的檢測精度,節(jié)省了人力與時間成本。

(3)采用線下與線上增強相結(jié)合模式,增加了樣本多樣性,利于提升檢測的精確度。

2 相關(guān)研究

當(dāng)前,計算機視覺識別圖像已成為學(xué)術(shù)界、工業(yè)界的一個主流研究方向。計算機視覺檢測方式分為單步檢測法和兩步檢測法。兩種不同策略的性能對比如表1所示,兩步檢測法精度較高,但消耗計算資源較多,耗時較長,不利于落地部署。單步檢測法消耗資源較少,但精度較低。

表1 不同策略性能對比

Zuo D等[1]提出了一種基于計算機視覺復(fù)雜背景下的直升機空中絕緣子成像缺陷檢測算法,該算法先通過特征提取,訓(xùn)練并獲取到一個具有檢測和定位功能的絕緣子分類器,針對絕緣子進行一系列數(shù)字圖像處理并分割,最后利用分割好的絕緣子像素,分析確定絕緣子是否有缺陷。Guo F等[2]提出了一種基于YOLOv3的檢測算法,對拍攝的絕緣子圖像進行檢測和分類,最終實現(xiàn)了對正常絕緣子和缺陷絕緣子的智能檢測。Liu X等[3]提出了一種基于FasterRCNN的絕緣子故障檢測方法,該方法包括一個卷積網(wǎng)絡(luò)、區(qū)域網(wǎng)絡(luò)和目標(biāo)檢測器,實現(xiàn)對絕緣子缺失區(qū)域的檢測,該檢測方法雖精度有所提升,但兩步檢測消耗計算資源較多,耗時較長。

YOLO系列算法是一種基于端到端的單步檢測模型,通過將目標(biāo)檢測任務(wù)視為回歸問題,只需用一個神經(jīng)網(wǎng)絡(luò)就能同時預(yù)測出目標(biāo)的類別和位置,相比其他算法,檢測速度有了很大提升[4]。YOLOv1作為YOLO系列開山之作,其最大的缺陷是精度不高,在PASCAL VOC上的檢測精度達到63.4%,雖不如FastRcnn的73.2%,但其45FPS的檢測速度已完全能夠滿足實時檢測要求,況且該算法在精度上有很大的提升空間。YOLOv2在YOLOv1基礎(chǔ)上改進,在略微犧牲檢測速度的情況下提升檢測精度。后續(xù)版本如YOLOv3、YOLOv4等如法炮制,增加多種改進如多尺度特征融合、錨框、注意力機制、數(shù)據(jù)增強等技術(shù)進一步提升檢測精度。

YOLOv7模型是由Alexey Bochkovskiy等在2022年提出的,算法相較于之前提出的YOLOv4在精度和速度上都有很大提升[5]。在MS COCO數(shù)據(jù)集上5FPS到160FPS范圍內(nèi),速度和精度上表現(xiàn)優(yōu)于YOLOR、YOLOX、YOLOv5、DETR等算法。YOLOv7-E6比基于Transformer的檢測器Swin Cascade-Mask RCNN速度快509%,精度高2%,比基于卷積的檢測器ConvNeXt-XL Cascade-Mask RCNN[6]速度快551%,精度高0.7%。

3 基于改進YOLOv7網(wǎng)絡(luò)的絕緣子缺失檢測方法

3.1 數(shù)據(jù)集

原始絕緣子數(shù)據(jù)集由1000張圖像組成。材料上包括橡膠絕緣子、玻璃絕緣子、陶瓷絕緣子。結(jié)構(gòu)上包括單絕緣子串和雙絕緣子串?？偣卜譃槿悩?biāo)簽,分別是:正常絕緣子串Normal_insulator、包含缺失的絕緣子串Defective_insulators、缺失絕緣子串Insulators_fault。

3.2 數(shù)據(jù)增強

數(shù)據(jù)增強分為線下增強和線上增強兩種處理。線下增強:對數(shù)據(jù)集中的圖像進行反轉(zhuǎn)、隨機調(diào)整亮度、隨機裁剪、旋轉(zhuǎn)等增加樣本多樣性,以便增加樣本數(shù)量[7]。線上增強:在輸入網(wǎng)絡(luò)模型前,對樣本進行翻轉(zhuǎn)、調(diào)整亮度、Mosaic、隨機裁剪、Mixup[8]、Copy_paste[9]等,并且一般不改變樣本數(shù)量。

為了增強數(shù)據(jù),本研究采用線下增強采用隨機翻轉(zhuǎn)、隨機改變亮度對比度策略,把樣本增強至8084張。線上增強采用隨機左右翻轉(zhuǎn)、Mosaic、Mixup、Copy_paste。

3.3 改進YOLOv7網(wǎng)絡(luò)模型

YOLOv7網(wǎng)絡(luò)的主要成就包括以下四點:(1)設(shè)計了幾種Bag-of-freebies方法,可以在不增加推理成本的情況下提高檢測精度。(2)發(fā)現(xiàn)了兩個新問題,一是重參數(shù)化模塊如何替換原始模塊,二是動態(tài)分配策略如何分配給不同輸出層問題,并針對這兩個問題給出解決方案。(3)提出實時目標(biāo)檢測擴充方法和符合擴充方法,可以有效計算和設(shè)計參數(shù)。(4)減少約40%的參數(shù)和50%的計算量,并且表現(xiàn)出更快的推理速度和更高的檢測精度。

網(wǎng)絡(luò)坐標(biāo)損失采用CIoULoss,目標(biāo)置信度損失與分類損失均采用BCEWith-LogitsLoss,如式(1)所示。

LCIOU=1-IOU(A,B)+ρ2(Actr,Bctr)/c2+α·v

(1)

式(1)中,v、α分別滿足式(2)和式(3)。

(2)

(3)

式(2)和式(3)中,A表示預(yù)測框,B表示真實框,wgt與hgt表示真實框B的寬與高,w與h表示預(yù)測框A的寬與高,ρ表示框A與B之間的歐式距離,c為框A與B最小包圍框的對角線長度,IOU(A,B)表示框A與B之間交并比,如式(4)所示。

LBCEWithLogits={l1,l2,…,ln}

(4)

n表示Batch size,其中l(wèi)n滿足關(guān)系式(5)。

ln=-wn[yn·logxn+(1-yn)·log(1-xn)]

(5)

CBAM塊是一個簡捷有效的注意力機制模塊,如圖1所示,該模塊融合了通道注意力機制和空間注意力機制,能快速集成到卷積神經(jīng)網(wǎng)絡(luò)中,實現(xiàn)端到端訓(xùn)練[10]。通道注意力機制與時頻變換類似,它為不同通道分配不同大小的權(quán)重,以衡量通道與關(guān)鍵信息之間的相關(guān)性,并間接地提高對關(guān)鍵信息的關(guān)注度?？臻g注意力機制則將不同的權(quán)重分配給特征圖中的不同區(qū)域,以增強重要區(qū)域的信息,削弱非重要區(qū)域的信息。通道注意力機制篩選與目標(biāo)相關(guān)的通道信息,而空間注意力機制關(guān)注與目標(biāo)相關(guān)的位置信息。

圖1 CBAM模塊結(jié)構(gòu)

在卷積層輸出后,經(jīng)過通道注意力模塊加權(quán)處理后,特征會再進入空間注意力模塊進一步加權(quán)處理,最終輸出加權(quán)結(jié)果。該結(jié)構(gòu)結(jié)合通道和空間兩個維度的注意力機制模塊,不僅能有效減少參數(shù)和計算力,還能作為即插即用的模塊集成到現(xiàn)有網(wǎng)絡(luò)架構(gòu)中去,以便進一步提高特征提取能力。

本文改進YOLOv7網(wǎng)絡(luò)模型如圖2所示,其中YOLOv7網(wǎng)絡(luò)中各模塊結(jié)構(gòu)如圖3所示。通過將CBAM模塊添加到REP模塊前,有助于網(wǎng)絡(luò)在大面積覆蓋圖像中定位感興趣區(qū)域。

圖2 改進YOLOv7網(wǎng)絡(luò)模型

圖3 YOLOv7各模塊結(jié)構(gòu)示意圖

4 實驗設(shè)計及結(jié)果

4.1 實驗設(shè)計

實驗設(shè)計流程主要包括以下幾步,如圖4所示,首先獲取數(shù)據(jù)集;對獲取到的數(shù)據(jù)集進行打標(biāo)簽,主要標(biāo)注類別以及目標(biāo)所在樣本中的位置坐標(biāo);對所有樣本進行線下增強,方法包括隨機旋轉(zhuǎn)、改變亮度、隨機剪切等,標(biāo)簽同時隨著樣本增強改變;對增強后的樣本進行隨機切分,分為測試集和訓(xùn)練集,本方法采用的切分比例為測試集:訓(xùn)練集=1:9;最后將增強后的訓(xùn)練集樣本進行批量線上增強,然后輸入到改進YOLOv7網(wǎng)絡(luò)模型進行訓(xùn)練;最后保存訓(xùn)練好的權(quán)重,在測試集上進行結(jié)果驗證。

圖4 實驗設(shè)計流程

4.2 評價指標(biāo)

實驗評價指標(biāo)包括Pr(精確度)、AP(每個分類的平均精度)、mAP(平均精度均值)、Re(召回率)。精確度與召回率的求解如式(6)所示。

(6)

式(6)中,Tp是正樣本正確識別為正樣本的樣本數(shù)目,Fp是負樣本被錯誤識別為正樣本的樣本數(shù)目,Fn是正樣本被錯誤識別為負樣本的樣本數(shù)目。召回率表示算法從數(shù)據(jù)集中找回正樣本的能力,精確度用來衡量算法從數(shù)據(jù)集中找出正樣本的準(zhǔn)確性。

IOU(交并比)用來衡量候選框與標(biāo)記框重疊率,取值為0到1。當(dāng)使用不同的預(yù)設(shè)IOU值,檢測目標(biāo)的召回率Re與精確度Pr也不同。P-R曲線表示取不同IOU值,精確度Pr與召回率Re形成的曲線。AP表示P-R曲線與坐標(biāo)軸圍成的面積,類別AP值越大,表示模型對該類別的檢測效果越好。mAP表示所有類別目標(biāo)的AP均值,如式(7)所示。

(7)

式(7)中,APi表示第i類目標(biāo)AP值,n表示需要檢測的目標(biāo)個數(shù)。mAP越大,表示算法的整體性能越好。

4.3 對比實驗結(jié)果

本研究選用YOLOv5、YOLOv7、FasterRCNN、SSD算法作為對比算法。YOLOv5網(wǎng)絡(luò)模型選用YOLOv5m、YOLOv5n、YOLOv5s,樣本輸入尺寸選用640×640大小,均訓(xùn)練30個Epoch,且均在官方給出的模型上進行調(diào)優(yōu)。本文改進的YOLOv7與非YOLO系列模型FasterRCNN、SSD的實驗對比結(jié)果如圖5和圖6所示,其中圖中標(biāo)記的YOLOv7_CBAM是本文改進的方法。

圖5 非YOLO系列實驗對比結(jié)果(mAP_0.5)

圖6 非YOLO系列實驗對比結(jié)果(mAP_0.5:0.95)

圖5中mAP_0.5記為將IOU設(shè)為0.5時的mAP值,mAP_0.5:0.95記為在不同IOU閾值,從0.5到0.95,步長為0.05上的平均mAP。

由圖5和圖6可以看出,改進YOLOv7算法mAP曲線起始值均大于FasterRCNN、SSD,表明YOLOv7的預(yù)訓(xùn)練模型泛化性要優(yōu)于FasterRCNN、SSD。改進YOLOv7算法曲線提前進入高位平穩(wěn)狀態(tài),表明在該檢測任務(wù)上改進YOLOv7算法檢測性能要大大優(yōu)于FasterRCNN、SSD的檢測效果,且改進YOLOv7模型收斂性和泛化能力比FasterRCNN、SSD更強。

在進行改進的YOLOv7與同為YOLO系列的官方Y(jié)OLOv7、YOLOv5m、YOLOv5n、YOLOv5s的實驗對比,如圖7和圖8所示,改進YOLOv7和官方的YOLOv7趨勢接近,它的mAP_0.5與mAP_0.5:0.95起時值均比YOLOv5大,這表明YOLOv7的預(yù)訓(xùn)練模型泛化性要優(yōu)于YOLOv5。改進YOLOv7與YOLOv7的mAP_0.5曲線均在YOLOv5上方,且提前進入平穩(wěn)狀態(tài),這表明在檢測任務(wù)上YOLOv7算法檢測性能優(yōu)于YOLOv5,且模型收斂性較強。改進YOLOv7與YOLOv7的mAP_0.5:0.95曲線同樣在YOLOv5上方,在YOLOv5已經(jīng)達到收斂狀態(tài)時,改進YOLOv7與YOLOv7曲線不僅在上方,且仍呈上升趨勢,表明在YOLOv5性能達到瓶頸時,改進YOLOv7與YOLOv7仍具有上升優(yōu)化空間。而單獨對比改進YOLOv7與YOLOv7曲線,發(fā)現(xiàn)改進YOLOv7曲線均在官方Y(jié)OLOv7模型上方,改進YOLOv7精度達到了99.03%,由于YOLOv7的精度已經(jīng)很高,因此在圖8中表現(xiàn)不太明顯。

圖7 改進YOLOv7與YOLO系列的模型實驗對比結(jié)果(mAP_0.5)

圖8 改進YOLOv7與YOLO系列的模型實驗對比結(jié)果(mAP_0.5:0.95)

進一步分析圖7與圖8的數(shù)據(jù),可以發(fā)現(xiàn)同時訓(xùn)練20Epoch時,改進YOLOv7算法的mAP_0.5:0.95值分別比官方Y(jié)OLOv7、YOLOv5m、YOLOv5s、YOLOv5n高了近0.4%、8.25%、20.15%、38.54%,mAP_0.5的值提高了近1.07%、1.13%、4.04%、8.26%。這完全可以表明改進的YOLOv7模型是完全有效。

基于改進YOLOv7模型在應(yīng)用效果中的部分推理結(jié)果,表明本文提出的方法能夠有效區(qū)分絕緣子是否存在缺失,判斷并標(biāo)注缺失的位置,如圖9所示。

圖9 改進YOLOv7網(wǎng)絡(luò)推理結(jié)果

結(jié)語

絕緣子是輸電系統(tǒng)中的重要元器件,本文提出基于改進YOLOv7的絕緣子缺失檢測方法,采用線上增強與線下增強相結(jié)合的數(shù)據(jù)增強模式,增加了樣本多樣性,利用改進YOLOv7算法強大的特征提取能力,從樣本中檢測絕緣子,判斷絕緣子正常與否并標(biāo)記位置。實驗結(jié)果表明,該方法模型在測試集上的mAP_0.5(又稱為Map50)達到了99.03%,精度較原來YOLOv7算法提升了1.07%,能夠有效區(qū)分絕緣子是否存在缺失。另外,本方法仍有一些不足之處,如絕緣子在圖像中占比較小時,識別將受到影響。在采集圖像時,外界的天氣、環(huán)境中的浮塵以及拍攝角度等因素,都會導(dǎo)致獲得的圖像存在噪聲,這種噪聲會對圖像質(zhì)量產(chǎn)生負面影響,如降低對比度、模糊圖像特征等,進而影響識別的準(zhǔn)確性。