基于改進(jìn)YOLOv5的絕緣子掉串缺陷識別研究

喬鈺彬,范 菁,張 宜,肖云波

(云南民族大學(xué)電氣信息工程學(xué)院,云南 昆明 650531)

1 引言

根據(jù)國家各地區(qū)能源需求量不同,國家提出了“西電東送、南北互供、全國聯(lián)網(wǎng)”的三大策略。輸電線路在策略中占據(jù)極其重要的位置。由于輸電線路所處環(huán)境復(fù)雜,長期裸露在戶外,且對于高壓輸電線路距離長[1]、易受惡劣天氣的影響。因此,定期的電力巡檢對電網(wǎng)的安全穩(wěn)定性十分重要。目前巡檢的方式有人工巡檢[2]、直升機(jī)或者無人機(jī)巡檢[3],其中無人機(jī)在電力巡檢中已成為主流。無人機(jī)巡檢時(shí)拍攝到的圖片數(shù)量較大,通過人為篩選巡檢圖像中存在缺陷的設(shè)備信息工作量大,效率低,存在漏檢和誤檢的可能性較大。近些年隨著計(jì)算機(jī)視覺的不斷發(fā)展,通過智能檢測方法對圖像進(jìn)行識別成為目前的主流。

絕緣子作為輸電線路的關(guān)鍵設(shè)備,對它的掉串檢測極其重要。絕緣子所處環(huán)境復(fù)雜且缺陷絕緣子在整個(gè)航拍圖像上所占比例較小等問題導(dǎo)致絕緣子的掉串缺陷檢測難度較大。隨著深度學(xué)習(xí)的發(fā)展,運(yùn)用深度學(xué)習(xí)對絕緣子掉串缺陷進(jìn)行檢測成為當(dāng)前趨勢。

在絕緣子檢測中,傳統(tǒng)的特征檢測方法如文獻(xiàn)[4]中把絕緣子輪廓的局部紋理分布的內(nèi)外差異最大化,建立了一個(gè)新的輪廓模型以此來提取絕緣子。文獻(xiàn)[5]中提出絕緣子圖像二值化,根據(jù)絕緣子的特征定位絕緣子的位置。文獻(xiàn)[6]通過把玻璃和陶瓷的顏色特征與空間特征結(jié)合來識別絕緣子的位置。但這些傳統(tǒng)的檢測方法訓(xùn)練時(shí)間長,泛化能力較差,其結(jié)果依賴特征提取方式,較難應(yīng)用于復(fù)雜背景下的絕緣子檢測。隨著R-CNN[7]系列、YOLO[8]系列和SSD[9]檢測算法的出現(xiàn),目標(biāo)檢測和識別技術(shù)有了巨大的突破[1]。文獻(xiàn)[10]中利用Faster RCNN算法對絕緣子進(jìn)行定位和缺陷檢測,但是檢測時(shí)間較長,檢測實(shí)時(shí)性不高。文獻(xiàn)[11]通過對SSD算法和深度殘差網(wǎng)絡(luò)(DenseNet)的結(jié)合對輸電線路上設(shè)備的缺陷進(jìn)行檢測,檢測精度為89%,測試一張圖片時(shí)間為0.1s。文獻(xiàn)[12]中通過SRCNN對模糊圖像進(jìn)行重構(gòu),然后利用YOLOv3算法對絕緣子缺陷進(jìn)行檢測,檢測精度達(dá)93.6%且檢測時(shí)間較短。文獻(xiàn)[13]在基于YOLOv4的基礎(chǔ)上對絕緣子進(jìn)行爆裂檢測,檢測精度達(dá)91.78%,每秒處理幀數(shù)為46f/s?？梢?YOLO系列較Faster RCNN[14]和SSD算法在檢測精度和檢測時(shí)間上都有提升。

綜合考慮YOLO系列算法的檢測精度和訓(xùn)練時(shí)間后,文章以YOLOv5[15]算法為基礎(chǔ)建立絕緣子掉串缺陷識別模型,為降低模型訓(xùn)練中過擬合的概率將模型中SPP模塊的池化層替換為SoftPool[16];更換原網(wǎng)絡(luò)中的損失函數(shù)以提高模型的穩(wěn)定性;為進(jìn)一步使檢測結(jié)果更準(zhǔn)確利用PSO融合K-means[17]優(yōu)化初始錨框并改變最終通道輸出個(gè)數(shù)進(jìn)行絕緣子掉串缺陷識別實(shí)驗(yàn)。

2 基于YOLOv5的目標(biāo)檢測網(wǎng)絡(luò)

2.1 YOLOv5算法

基于YOLOv5的絕緣子掉串缺陷識別模型的主干網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示,由輸入端(Input)、基準(zhǔn)網(wǎng)絡(luò)(Backbone)、特征融合部分(Neck)、檢測頭(Head)組成[19]。YOLOv5輸入端嵌套了YOLOv4的 Mosaic數(shù)據(jù)增強(qiáng)[20]以提高網(wǎng)絡(luò)訓(xùn)練精度。在基準(zhǔn)網(wǎng)絡(luò)部分和特征融合部分加入了FPN+PANET的結(jié)構(gòu),運(yùn)用交叉結(jié)構(gòu)層的連接可減少計(jì)算量,保證計(jì)算的精度。檢測頭包括了分類和回歸的輸出結(jié)果,輸出層的輸出包含了三個(gè)不同的特征維度。YOLOv5又根據(jù)不同的網(wǎng)絡(luò)深度有YOLOv5s、YOLOv5m、YOLOv5l、YOLOv5x四個(gè)版本,四個(gè)網(wǎng)絡(luò)結(jié)構(gòu)深度和寬度的設(shè)置如表1所示。隨著網(wǎng)絡(luò)結(jié)構(gòu)加深,模型易出現(xiàn)過擬合。結(jié)合絕緣子掉串缺陷數(shù)據(jù)集的特點(diǎn),通過實(shí)驗(yàn)驗(yàn)證分析,文章采用模型深度較淺的YOLOv5s作為網(wǎng)絡(luò)模型。

表1 YOLOv5四個(gè)網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)

圖1 YOLOv5網(wǎng)絡(luò)結(jié)構(gòu)

2.2 算法改進(jìn)

YOLOv5模型從檢測速度和檢測時(shí)間上都有一定的提升,但由于YOLOv5模型訓(xùn)練是基于公開數(shù)據(jù)集,針對文章中所提及的輸電線路絕緣子掉串缺陷這樣的小目標(biāo)數(shù)據(jù)集的特點(diǎn),需要對YOLOv5模型進(jìn)一步的改進(jìn),從而能更準(zhǔn)確地識別絕緣子及掉串缺陷,提高模型的穩(wěn)定性和泛化能力。

2.2.1 基于SoftPool池化結(jié)構(gòu)的YOLOv5模型

池化層作為卷積神經(jīng)網(wǎng)絡(luò)中不可或缺的一部分,在深度學(xué)習(xí)網(wǎng)絡(luò)模型中隨處可見,池化的操作在一定程度上可以減少訓(xùn)練中過擬合現(xiàn)象,增大卷積的感受野,降低特征的冗余度。目前常用的池化包括平均池化和最大池化,平均池化是取特定區(qū)域的平均值作為輸出,保留背景效果較好,但容易使圖片模糊。最大池化則是取特定區(qū)域的最大值作為輸出,適用于特征信息極為突出的部分,但又容易忽略某些細(xì)節(jié)信息。同上述兩種池化不同,SoftPool通過softmax進(jìn)行加權(quán)平均,反向傳遞中梯度每次都會更新,在保留池化層功能的同時(shí)盡可能減少池化引起的特征信息的丟失。

由于絕緣子掉串缺陷在航拍圖像上所占比例較小且掉串在圖像上不是很突出,利用平均池化和最大池化可能會丟失掉串缺陷這樣的重要信息。通過對比分析,文章中在SPP模塊中將原網(wǎng)絡(luò)中的MaxPool替換為SoftPool,以降低模型出現(xiàn)過擬合的可能性,同時(shí)確保絕緣子掉串信息盡可能完整的保留。SoftPool在YOLOv5中的位置如圖2所示。

圖2 SoftPool在YOLOv5網(wǎng)絡(luò)的位置

SoftPool對候選區(qū)域的特征權(quán)重

(1)

其中:wi表示權(quán)重,ai表示激活值。前向傳遞得到的權(quán)重信息能保證圖像中重要信息向后傳遞,在特征信息的反向傳遞過程中又會預(yù)設(shè)最小梯度。得到wi后,加權(quán)特征值的輸出為

(2)

2.2.2 改進(jìn)的損失函數(shù)

損失函數(shù)是作為評價(jià)模型穩(wěn)定性的重要指標(biāo)。原始YOLOv5模型中對位置損失函數(shù)的設(shè)置是GIoU＿loss,對于絕緣子數(shù)據(jù)集在訓(xùn)練中可能會出現(xiàn)預(yù)測框和目標(biāo)框未重疊的目標(biāo)檢測框,使得GIoU退化到IoU[21]。DIoU則對于絕緣子數(shù)據(jù)集在訓(xùn)練中預(yù)測框中心點(diǎn)位置相同的情況,不同形狀的預(yù)測框使得DIoU回歸值相同,在模型訓(xùn)練中會影響對目標(biāo)區(qū)域檢測的準(zhǔn)確性。CIoU＿loss結(jié)合GIoU＿loss和DIoU＿loss未考慮到的部分,使得預(yù)測框回歸精度更高。因此,文章在考慮絕緣子數(shù)據(jù)集各方面因素后選擇CIoU＿loss作為位置損失函數(shù)。

(3)

其中:α為權(quán)重,v衡量長寬比的相似度,b,bgt分別表示預(yù)測框和目標(biāo)框的中心點(diǎn),兩者之間距離采用歐式距離ρ。c表示能同時(shí)包含預(yù)測框和目標(biāo)框的最小包圍框的斜距。

傳統(tǒng)的NMS對于數(shù)據(jù)集中絕緣子圖像重疊部分的檢測會存在錯(cuò)誤篩選信息。抑制冗余的預(yù)測框不僅要考慮圖像重疊部分,也要考慮預(yù)測框和目標(biāo)框的中心點(diǎn)距離。在YOLOv4里針對目標(biāo)框的篩選同時(shí)考慮到上述兩個(gè)問題,選用的是DIoU＿NMS。因此,文章中借鑒YOLOv4中DIoU＿NMS,將原網(wǎng)絡(luò)的NMS更改為DIoU＿NMS,公式如下所示。

(4)

(5)

(6)

其中:IoU表示預(yù)測框與目標(biāo)框的交并比,ε為NMS閾值,N表示預(yù)測框信息,Bi表示目標(biāo)框信息,ki為每個(gè)不同類別分類得分值[22]。

2.2.3 優(yōu)化初始錨框及最終輸出通道

原始YOLOv5模型在訓(xùn)練和測試中采用公開數(shù)據(jù)集,這些數(shù)據(jù)集類別多,形態(tài)與絕緣子掉串缺陷也存在差異,默認(rèn)的錨框設(shè)置不太適用于絕緣子掉串缺陷識別檢測。因此文章利用PSO融合K-means算法優(yōu)化初始錨框參數(shù)。

優(yōu)化錨框過程如下:首先通過讀取每張圖像標(biāo)注的xml信息得到每張圖像上所有標(biāo)注框的坐標(biāo)信息,根據(jù)每個(gè)標(biāo)注框坐標(biāo)信息計(jì)算長寬的平均值作為PSO的輸入,PSO通過全局搜索最優(yōu)錨框長寬值作為K-means初始聚類中心并進(jìn)行聚類。通過聚類得到的錨框信息替換原始YOLOv5s模型中的錨框信息,以此用與模型訓(xùn)練。

YOLOv5模型的Head層為輸出層,它生成最終的檢測框并預(yù)測類別。原始的YOLOv5最終輸出channels為255(80個(gè)類別+1個(gè)置信度+4個(gè)坐標(biāo)參數(shù)),而文章中檢測的類別只有絕緣子和掉串缺陷兩類。為了適用于文章中檢測類別,減少輸出通道數(shù)過大造成的冗余,使輸出檢測框更準(zhǔn)確,則設(shè)置N=2,即改變最終輸出channels為21。

3 實(shí)驗(yàn)結(jié)果分析

3.1 數(shù)據(jù)集及實(shí)驗(yàn)環(huán)境

本實(shí)驗(yàn)環(huán)境配置情況:Intel(R) Xeon(R) Gold 5218R CPU,軟件平臺Ubuntu,深度學(xué)習(xí)模型采用 Pytorch 搭建。

實(shí)驗(yàn)所需數(shù)據(jù)集通過結(jié)合河南、云南某市電網(wǎng)公司提供的有關(guān)絕緣子的圖像以及選取部分Github 上公開的數(shù)據(jù)集[23],共獲得910張?jiān)紨?shù)據(jù)集圖像,為了提高模型的泛化能力,通過隨機(jī)鏡像、旋轉(zhuǎn)、隨機(jī)亮度變換、隨機(jī)顏色通道變換對數(shù)據(jù)集進(jìn)行擴(kuò)充。擴(kuò)充后的實(shí)驗(yàn)數(shù)據(jù)集共2000張絕緣子圖像,包括陶瓷、玻璃、復(fù)合材料三種不同材料的絕緣子圖像。實(shí)驗(yàn)數(shù)據(jù)集中掉串缺陷絕緣子圖像有800張,完好的絕緣子圖像有1200張。采用 VOC2007 格式進(jìn)行標(biāo)注,圖像標(biāo)注工具采用labelimg,其中絕緣子標(biāo)注為insulator,缺陷標(biāo)注為defect。數(shù)據(jù)集按照8:2劃分為訓(xùn)練集和測試集。

訓(xùn)練過程中,對訓(xùn)練集的隨機(jī)幾張圖片通過Mosaic數(shù)據(jù)增強(qiáng)方式,由隨機(jī)縮放、隨機(jī)裁剪、隨機(jī)排列拼接,構(gòu)成新的數(shù)據(jù)圖像用于定位及檢測絕緣子和缺陷。訓(xùn)練中參數(shù)設(shè)置如表2所示,模型訓(xùn)練中使用Adam優(yōu)化參數(shù)。

表2 實(shí)驗(yàn)參數(shù)設(shè)置

3.2 實(shí)驗(yàn)?zāi)Ｐ驮u價(jià)指標(biāo)

文章中使用準(zhǔn)確率、召回率及平均檢測精度作為實(shí)驗(yàn)評價(jià)指標(biāo)。

1)準(zhǔn)確率(Precision,P)

(7)

2)召回率(Recall,R)

(8)

3)平均精度(mean Average Precision,mAP)

(9)

(10)

以上各式中,TP(True Positive)表示預(yù)測正確樣本的個(gè)數(shù),FP(False Positive)表示非樣本檢測為樣本的個(gè)數(shù),FN(False Negative)表示未檢測出樣本的個(gè)數(shù)。

3.3 實(shí)驗(yàn)結(jié)果分析

3.3.1 不同模型下預(yù)訓(xùn)練結(jié)果分析

YOLOv5有 YOLOv5s、YOLOv5m、YOLOv5l、YOLOv5x四個(gè)訓(xùn)練模型,四個(gè)網(wǎng)絡(luò)模型深度逐漸增加。為了驗(yàn)證文章中選用YOLOv5s權(quán)重模型進(jìn)行訓(xùn)練的可行性,使用YOLOv5的四種權(quán)重模型分別對絕緣子數(shù)據(jù)集進(jìn)行訓(xùn)練,訓(xùn)練結(jié)果如表3所示。由表3可以得出,在相同Epoch下,隨著權(quán)重模型深度的不斷加深,訓(xùn)練的時(shí)間也逐漸增加。從平均精度結(jié)果可知,YOLOv5s的平均精度略優(yōu)于YOLOv5其它三種模型,達(dá)92.6%。由上述分析可知,YOLOv5s模型訓(xùn)練時(shí)間短,平均精度較好,適合作為文章中絕緣子及掉串缺陷檢測的模型。

表3 不同模型下訓(xùn)練結(jié)果

3.3.2 基于DIoU＿NMS下不同損失函數(shù)結(jié)果分析

為了分析文章中選擇的CIoU＿loss+DIoU＿NMS損失函數(shù)對最終檢測結(jié)果的有效性,分別改變YOLOv5中IoU＿loss為GIoU＿loss、DIoU＿loss、CIoU＿loss進(jìn)行模型訓(xùn)練,實(shí)驗(yàn)結(jié)果如表4所示。原始模型中的GIoU在結(jié)合了DIoU-NMS后檢測絕緣子及掉串缺陷的綜合準(zhǔn)確率在三個(gè)IoU中僅為93.7%。CIoU+DIoU-NMS對絕緣子及掉串缺陷的綜合檢測結(jié)果雖然召回率同前兩個(gè)損失函數(shù)相比有所降低,但是從準(zhǔn)確率和平均精度結(jié)果看,通過CIoU+DIoU-NMS訓(xùn)練模型對檢測結(jié)果的綜合性能及模型的穩(wěn)定性有所提升。

表4 不同損失函數(shù)下檢測結(jié)果

3.3.3 不同算法檢測結(jié)果分析

將文章中算法與Faster RCNN、SSD、YOLOv3[24]及原始YOLOv5算法進(jìn)行對比,檢測結(jié)果如表5所示。由表可知, YOLOv5算法對絕緣子及掉串缺陷的總體檢測平均精度雖較YOLOv3比略低,但是從YOLOv5算法對絕緣子掉串缺陷的檢測結(jié)果來看,準(zhǔn)確率提高了6.8%。通過這兩個(gè)算法的比較分析,YOLOv5算法對絕緣子掉串缺陷的檢測有較好的效果。

表5 不同檢測算法的檢測結(jié)果

改進(jìn)的YOLOv5對絕緣子的檢測準(zhǔn)確率同原始YOLOv5、YOLOv3、Faster RCNN、SSD比分別提高了0.7%、0.3%、8.8%、7.4%。改進(jìn)的YOLOv5對絕緣子掉串的檢測準(zhǔn)確率同原始YOLOv5、YOLOv3、Faster RCNN、SSD比分別提高了2.5%、9.3%、58.4%、21.4%。原始YOLOv5和改進(jìn)后YOLOv5參數(shù)收斂結(jié)果如圖3所示,由IoU＿loss曲線可知,改進(jìn)后的YOLOv5損失更低。綜上,由實(shí)驗(yàn)結(jié)果對比分析可知,文章中提出的方法對絕緣子及掉串缺陷的綜合檢測性能均有所提升。

圖3 參數(shù)收斂結(jié)果對比

由Mosaic數(shù)據(jù)增強(qiáng)進(jìn)行絕緣子及掉串雙目標(biāo)檢測結(jié)果圖及改進(jìn)YOLOv5算法對絕緣子及掉串雙目標(biāo)檢測結(jié)果圖分別如圖4和圖5所示。由圖4可知,通過Mosaic數(shù)據(jù)增強(qiáng)隨機(jī)將四張?jiān)紨?shù)據(jù)集重組成一張圖片進(jìn)行檢測,通過模型訓(xùn)練檢測出的絕緣子用紅色方框圈出并標(biāo)注insulator,檢測出的掉串缺陷用粉色框圈出并標(biāo)注defect。通過下圖的檢測結(jié)果可以看出文章中模型能準(zhǔn)確的檢測識別在復(fù)雜背景下的不同角度的絕緣子及掉串缺陷。

圖4 Mosaic數(shù)據(jù)增強(qiáng)目標(biāo)檢測結(jié)果(紅色方框表示檢測出的絕緣子,粉色方框表示檢測出的缺陷)

圖5 改進(jìn)YOLOv5算法目標(biāo)檢測結(jié)果

4 結(jié)論

針對絕緣子圖像中掉串部分所占圖像比例較小的問題,提出基于改進(jìn)YOLOv5的輸電線路絕緣子掉串缺陷識別方法。YOLOv5以YOLOv5s預(yù)訓(xùn)練模型為載體,通過將原網(wǎng)絡(luò)SPP模塊中池化層替換為SoftPool,設(shè)置損失函數(shù)為CIoU+DIoU＿NMS,并利用PSO融合K-means聚類算法優(yōu)化初始錨框等方法優(yōu)化YOLOv5算法。與原始YOLOv5算法相比平均檢測精度提高3.7%;與YOLOv3算法、Faster RCNN 算法和SSD 算法對比,改進(jìn)的YOLOv5算法的準(zhǔn)確率和召回率更高,模型穩(wěn)定性較高,能較準(zhǔn)確的檢測出絕緣子掉串缺陷。實(shí)驗(yàn)表明文章中提出的方法具有一定的可行性。