改進的輕量級YOLOv4輸電線路鳥巢檢測方法

武明虎 雷常鼎 劉聰

［收稿日期］2022-0211

［第一作者］武明虎（1975-），男，湖北巴東人，湖北工業(yè)大學教授，研究方向為信號與信息處理

［文章編號］1003-4684（2023）02-0011-06

［摘要］基于深度學習的輸電線路缺陷檢測方法往往需要昂貴的硬件支持來實現實時和高精度的技術指標要求，難以大規(guī)模推廣和普及。針對這一問題，提出一種改進的輕量級YOLOv4神經網絡模型方法。具體的，為提高檢測精度，在特征提取網絡中增加了輕量級注意力機制；為提高檢測速度，選用輕量級Mobilenet-v3網絡作為YOLOv4的骨干網，同時采用了深度可分離卷積代替了傳統YOLOv4模型中的多尺度特征金字塔結構普通卷積。實驗結果表明，改進的輕量級YOLOv4模型能有效檢測出輸電線路中的鳥巢，平均檢測精度（AP）值達到97.56%，相較于YOLOv4模型提高了1.80%，檢測速度達到YOLOv3的45.8倍，是YOLOv4的56.6倍，具有較強的實際應用價值。

［關鍵詞］深度學習； 缺陷檢測； YOLOv4； 注意力機制

［中圖分類號］TP391.4? ［文獻標識碼］A

高壓輸電線路多處于深山、林區(qū)、曠野等環(huán)境保護良好、水源豐富、鳥類活動頻繁的區(qū)域，鳥類經常會在輸電線路的桿塔或絕緣子上方筑巢而形成鳥害，嚴重威脅輸電線路的安全運行，定期清除高壓輸電線路的鳥巢非常重要。高壓輸電線路地域復雜，人工檢測非常不便， 隨著電網建設的擴大，新型的無人機巡檢方式逐步取代人工巡檢。

目前輸電線路缺陷檢測方法包括傳統的圖像處理和基于深度學習兩類方法，傳統的圖像處理方法[1-3]缺乏魯棒性、僅能識別和定位一種部件。隨著深度學習運用在線路檢測中，基于深度學習輸電線路檢測領域也取得了一系列成果[4-10]，然而目前基于深度學習的輸電線路缺陷檢測模型的參數量和計算量比較大，檢測速度較慢。

針對上述問題，本文提出一種改進的輕量級卷積神經網絡YOLOv4模型。針對YOLOv4在自建輸電線路鳥巢數據集中檢測硬件要求高和參數量過大的問題。在YOLOv4的基礎上，將主干特征網絡由CSPDarknet-53替換成Google的輕量級MobileNetv3網絡，大大降低網絡參數量，減少模型計算量，使其可以無需昂貴的硬件用于輸電線路鳥巢實時檢測和通過遠程控制無人機捕獲的實時視頻進行實時檢測和本地化。其次在加強特征提取網絡PANet中增加最新的輕量級Coordinate Attention注意模塊，數據集實驗結果顯示，改進后的輕量級YOLOv4算法模型更小，檢測速度也有很大提升。

1??? 改進YOLOv4目標檢測算法

改進YOLOv4模型融合了輕量級網絡和雙重注意力機制，其總體結構如圖1所示，引入MobileNetv3輕量級網絡模型，用它替換YOLOv4模型的主干網絡CSPDarknet53，可在不損失精度的前提下，有效減少模型參數量，提高模型檢測速度。針對輸電線路鳥巢目標被遮擋、多小目標的特點，在YOLOv4特征融合網絡的最后三個分支中引入CA模塊，以提高模型的檢測精度。相較于通道注意力通過將輸入進行二維全局池化轉化為單個特征向量，CA模塊利用兩個一維全局池化操作將沿垂直和水平方向的輸入特征分別聚合為兩個單獨的方向感知特征圖。然后將這兩個方向感知特征圖編碼為兩個注意力圖，這樣做的優(yōu)點是每個注意力圖都可以沿著一個空間方向捕獲長程依賴，沿著另一個空間方向保留精確的位置信息。兩個注意力圖接著被乘到輸入特征圖上來增強特征圖的表示能力。相比輕量級網絡上的注意力方法，CA存在以下優(yōu)勢：首先，它不僅能捕獲跨通道的信息，還能捕獲方向感知和位置感知的信息，這種注意力能幫助模型更加精準地定位和識別感興趣的目標，通過集成CA模塊，賦予特征圖區(qū)分空間方向的能力，使模型更加關注包含重要信息的目標區(qū)域，抑制不相關信息，提高目標檢測的整體精度。

1.1??? 輕量級骨干特征提取網絡

圖2中，卷積層由卷積層、批處理歸一化層和H-swish激活函數組成。MobileNetv3將普通卷積替換成深度可分離卷積，大大減少了參數，在不降低檢測精度的同時減少了計算量，實現了速度與精度的完美結合。在訓練過程中，圖像被拉伸和縮放到416×416，然后發(fā)送到卷積神經網絡。經過5次3/2卷積（卷積核大小為3×3，步長為2），縮減為13×13，并選擇52×52、26×26、13×13三個尺度輸出feature map。

1.2??? 基于MobileNetv3的yolov4網絡結構改進

MobileNet網絡可分為MobileNet-v1[11]、MobileNet-v2[12]和MobileNet-v3[13]三種類型。MobileNet-v3分為大版本和小版本。在ImageNet分類任務中，大版本比小版本的準確率高1.4%。但是大版本的檢測速度與小版本相比降低了10%。為保證實時檢測和本地化需求，使用小版的MobileNet-v3取代CSPDarkNet53作為改進YOLOv4的骨干特征提取網絡。

MobileNet-v3在瓶頸層增加了擠壓激勵結構，將膨脹層通道修改為1/4，在不增加計算時間的情況下提高檢測精度。在MobileNet-v2中，平均池之前的1×1卷積層提高特征圖的維數。然而，在MobileNet-v3中，特征圖首先使用平均池化將其縮減為1×1。然后增加特征圖的維數，將計算量減少49倍，提高了特征圖的計算速度。圖1顯示了將MobileNetv3與YOLOv4融合的輕量級網絡結構。為進一步降低網絡的參數，將加強特征提取網絡PANet中的普通3×3卷積替換成深度可分離卷積。

1.3??? 特征融合網絡

在MobileNet-v3特征提取網絡后，使用特征融合網絡PANet和SPP對提取的特征進行融合，以提高模型的檢測能力。SPP模塊的作用是使卷積神經網絡的輸入不受固定大小的限制，在不降低網絡運行速度的同時，可以增加接受域，有效分離重要的上下文特征。SPP模塊位于特征提取網絡 MobileNetv3之后。SPP網絡使用四種不同的最大池化比例來處理輸入特征圖。池化的核心大小為1×1、5×5、9×9、13×13，而1×1相當于不經過處理，對四個feature map進行concat操作。最大池化采用填充操作，移動步長為1，池化層后feature map的大小不變。

在SPP之后，使用PANet進行參數的聚合。與YOLOv3的特征金字塔結構不同的是，PANet在自頂向下的特征金字塔之后增加了自底向上的路徑增強結構，該結構包含兩個PAN結構。并對PAN結構進行了改性。原PAN結構采用了一種快捷連接方式將下采樣特征圖與深度特征圖融合，輸出特征圖的通道數量保持不變。修改后的PAN使用concat操作連接兩個輸入特征映射，并合并兩個特征映射的通道號。自上而下的特征金字塔結構傳達強烈的語義特征，自下而上的路徑增強結構充分利用淺層特征傳達強烈的定位特征。PANet可以充分利用淺層特征，并針對不同的檢測器水平，對不同的主干層進行特征融合，進一步提高特征提取能力，提高檢測器性能。

2??? 基于 Coordinate Attention 的yolov4網絡結構改進

Coordinate Attention [14]塊可以看作是一個計算單元。CA模塊通過精確的位置信息對通道關系和長程依賴性進行編碼，具體操作分為Coordinate信息嵌入和Coordinate Attention生成2個步驟。其模塊結構見圖3。

2.1??? Coordinate信息嵌入

為了促使注意力模塊能夠捕捉具有精確位置信息的遠程空間交互，本文按照公式（1）全局池化分解為公式（2）和公式（3）的兩個一維特征編碼操作：

zc=1H×W∑Hi=1∑Wj=1xc（i，j）（1）

其中zc是與第c個通道相關聯的輸出，H和W為圖像的高度和寬度，xc（i，j）表示高度為i 寬度為j的c通道輸入，式（1）相當于將H×W×C 的輸入轉換成1×1×C的輸出。式（2）和式（3）分別使用一個尺寸為（H，1）和（1，W）的池化核分別沿著水平坐標方向和垂直坐標方向對每個通道進行編碼。

zhc（h）=1W∑0≤i

zwc（w）=1H∑0≤j

其中zhc（h）表示c通道高度為h的輸出，zwc（w）表示c通道寬度為w的輸出，xc（h，i） 表示c通道高度為h的輸入，xc（j，w）表示c通道寬度為w的輸入。公式（2）和公式（3）相當于將H×W×C 的輸入轉換成H×1×C和1×W×C 的輸出。

式（2）和式（3）這2種特征變換利用兩個一維全局池化操作，將沿垂直和水平方向的輸入特征分別聚合為兩個單獨的方向感知特征圖， 然后將這兩個方向感知特征圖編碼為兩個注意力圖。這種注意力機制與在通道注意力方法中只產生單一的特征向量的SE Block[15]有本質不同。這樣做的好處是每個注意力圖都可以沿著一個空間方向捕獲長程依賴，沿著另一個空間方向保留精確的位置信息。

2.2??? Coordinate Attention生成

該部分將上面的變換后的兩個特征圖進行級聯操作，然后使用一個共享的1×1卷積進行變換，卷積變換函數表述如下：

f=δ（F1（zh，zw）） （4）

式中δ為非線性激活函數，變換生成的fh∈RC/r×（H+W）是對空間信息在水平方向和豎直方向的中間特征圖，這里r表示下采樣比例，用來控制模塊的大小。然后沿著空間維度將f分解為2個單獨的張量fh∈RC/r×H和fw∈RC/r×W。利用另外2個1×1卷積變換Fh和Fw分別將特征圖fh和fw變換為和輸入X具有相同的通道數，得到：

gh=σ（Fh（fh）），gw=σ（Fw（fw）） （5）

式中σ是sigmoid激活函數。為了降低模型的計算復雜性和計算開銷，這里可以使用適當的通道縮減比r（本文取r=16）來減少f的通道數。然后對輸出gh和gw進行一次拓展，分別作為注意力權重。最后，CA模塊的最終輸出可以表述為公式（6）：

yc（i，j）=xc（i，j）×ghc（i）×gwc（j）（6）

式中yc（i，j） 表示c通道高度為i寬度為j的輸出， ghc（i）表示c通道高度為i的注意力權重，gwc（j）表示c通道寬度為j的注意力權重。

在圖1中，假設輸入圖像的大小是416×416×3，以第一個CA模塊為例，輸入特征地圖大小是52×52×256，沿X和Y全局平均池化后，得到兩個特征圖大小52×1×256和1×52×256，然后經過一個拼接與共享的權重，維數變?yōu)? ×104×16，降維系數是16，然后進行標準化和非線性激活，然后再分離并擴張維度到52×1×256和1×52×256，得到了兩個激活后的特征圖譜，將二者分別接一個Sigmoid激活函數，將輸入的特征圖分別與兩個激活后的特征圖譜相乘，得到尺寸為52×52×256的帶有位置信息的空間選擇性注意力特征圖。

3??? 實驗分析

3.1??? 輸電線路鳥巢數據集

本文數據采集自天津地區(qū)特高壓與高壓輸電線路桿塔照片。這些圖像來自不同電壓等級、不同桿塔類型的輸電線路。本文為了保證訓練數據集的各種類型數據均衡，在標注數據之前從原始的數據中按比例抽取不同類型的桿塔。然后對數據集中不同線路的圖片進行標注。選取了遮擋、多云、晴天、背光和強光條件下的1500幅圖像作為數據集，保證了數據集的多樣性。將標注的數據隨機選取72%作為訓練集、14%作為驗證集、14%作為測試集。根據VOC數據集生成數據集的格式。部分輸電線路鳥巢目標數據見圖4。

3.2??? 實驗環(huán)境

為了進一步加快網絡訓練速度，引入遷移學習技術，將預先訓練好的模型加載到voc數據集上，對輸電線路鳥巢數據集進行訓練，模型的訓練環(huán)境和測試環(huán)境是相同的。本文中使用的實驗裝置硬件由windows10操作系統，Intel（R） Xeon（R） Gold 5218 CPU @2.30GHz，32GB的內存，NVIDIA TITAN RTX 32GB顯存的顯卡。軟件版本為Pycharm2020，pytorch框架，Python3.6.8，Opencv3.4.3，CUDA 10.0和CUDNN 7.5。

訓練網絡參數：批量大小設置為16，初始學習率設置為0.001，迭代次數200，學習速率衰減0.1，固定圖像尺寸416×416。

3.3??? 輸電線路鳥巢目標檢測性能比較

為了驗證改進的YOLOv4網絡的有效性，對原始YOLOv4訓練模型與改進的YOLOv4網絡模型進行了對比實驗。原來的YOLOv4訓練參數與改進后的YOLOv4訓練參數一致。采用常用的目標檢測評估m(xù)AP對改進前后的模型進行比較。在目標檢測任務中，根據交集（IOU）來判斷目標是否被成功檢測，模型的預測框與地面真值框交集并的比例為IOU。對于數據集中某一類型的目標，假設閾值為α，當預測框和ground truth框的IOU均大于α時，表示模型預測正確;當預測框和ground truth框的IOU小于α時，表示模型預測錯誤。TP是正確預測的陽性樣本數，FP是錯誤預測的陰性樣本數，FN是錯誤預測的陽性樣本數，TN是正確預測的陰性樣本數。精準率和召回率的計算公式如下：

Precision=TPTP+FP

Recall=TPTP+FN

AP值通常用來作為目標檢測模型性能的一個重要評價指標。AP值為P-R曲線下的面積，以查全率為x軸，以精度為y軸。AP表示一個模型在某一類別中的準確性。mAP表示一個模型在所有不同類別的平均準確率，可以衡量網絡模型在所有類別中的性能。其中N 為檢測到的類別個數。

mAP=1N∑N1∫10P（R）dR

本文算法的檢測速度用FPS （Frame Per Second）來評估。它表示每秒可以處理的幀數。相同的模型在不同的硬件配置下有不同的處理速度。因此，本文在比較檢測速度時使用相同的硬件環(huán)境。其中tavg 為處理一張圖片所用的平均時間。

FPS=1tavg

PMs是神經網絡模型各層計算所用的參數。卷積層和全連通層的參數按照通用標準計算。對于m層的卷積層，假設輸入通道數為Cin，卷積核大小為h×w，輸出通道數為Cout，每個輸出通道有Cin×h×w參數，加上一個偏移參數。對于k層的全連接層，假設輸入通道數為Fin，輸出通道數為Fout，每個輸出通道都有Fin參數，加上一個偏移參數。PMs（Parameters）指總參數：

PMs=∑m1（Cin×h×w+1）×Cout+∑k1（Fin+1）×Fout

將測試集的數據發(fā)送到訓練的目標檢測模型中，選擇不同的模型進行實驗比較（表1）。由表1可以看出，結合MobileNetv3和CA算法的YOLOv4的mAP（IoU=0.5）得到改進，與原始YOLOv4算法相比，其mAP提高1.80%。由于增加了三個CA模塊，模型的體積變大，從32.43 MB增加到34.80 MB，平均時間增加了0.29 ms，模型權重增加了2.37 MB。注意力機制增加了特征圖的計算量，提高了檢測精度，降低了檢測速度，但速度仍然滿足實時性要求。相較于原始YOLOv4算法，本文漏檢率下降了13%，召回率也提升了13.83%。

在圖5中，第一列（a）是原始輸入圖片，第二列（b）是YOLOv4檢測結果，第三列（c）是改進的YOLOv4結合CA算法的檢測結果。在第一行圖片中，YOLOv4在高度強光照射環(huán)境下對鳥巢進行識別的置信度為0.93，改進后的YOLOv4算法將鳥巢識別的置信度提升為1;從第二、三、四、五行圖片中可以明顯看出，改進后的YOLOv4算法對小目標的檢測比原算法更準確。其中，第二、四排鳥巢目標具有較多的背景環(huán)境干擾，改進后的YOLOv4具有更強的魯棒性。由第六、七行圖片可以看出，改進的YOLOv4算法成功檢測到在逆光環(huán)境和背景干擾條件下被遮擋鳥巢小目標;從第五和第六行也可以明顯看出，當鳥巢目標小且被遮擋時，改進的YOLOv4算法對小目標的檢測精度比原YOLOv4算法高。

4??? 結論

本文在YOLOv4的基礎上，將主干特征網絡由CSPDarknet-53替換成Google的輕量級MobileNetv3網絡，大大降低了網絡參數量，使其能應用在移動端和嵌入式平臺上。同時在加強特征提取網絡PANet中增加了最新的輕量級Coordinate Attention注意模塊，使神經網絡更加關注包含重要信息的目標區(qū)域，抑制無關信息，提高實時檢測精度。實驗結果表明，改進后的輕量級YOLOv4模型在目標檢測任務中比原YOLOv4模型精度更高，權重文件大小為原來的1/7，mAP50提高了1.80%，檢測執(zhí)行速度可以滿足實時性檢測要求，驗證了這種改進算法的有效性。

［參考文獻］

［1］焦紅.直升機巡檢輸電線路圖像中防振錘的識別定位[D].大連：大連海事大學， 2011.

[2]段旺旺，唐鵬，金煒東，等.基于關鍵區(qū)域HOG特征的鐵路接觸網鳥巢檢測[J].中國鐵路， 2015（08）： 73-77.

[3]LU J， XU X， XIN L， et al. Detection of bird's nest in high power lines in the vicinity of remote campus based on combination features and cascade classifier[J]. IEEE Access， 2018 （99）：1-1.

[4]CHEN M Y， XU C. Bird's nest detection method on electricity transmission line tower based on deeply convolutional neural networks[C].∥2020 IEEE 4th Information Technology， Networking， Electronic and Automation Control Conference （ITNEC）. IEEE， 2020.

[5]JIANG H，HUANG W，CHEN J， et al. Detection of bird nests on power line patrol using single shot detector[C].∥2019 Chinese Automation Congress （CAC）. IEEE， 2020.

[6]BERG AC， FU CY， SZEGEDY C， et al. SSD：單發(fā)多盒檢測器：，10.1007/978-3-319-46448-0_2[P]. 2015.

[7]王紀武，羅海保，魚鵬飛，等.基于Faster R-CNN的多尺度高壓塔鳥巢檢測[J].北京交通大學學報，2019，43（05）：37-43.

[8]丁建，黃陸明，朱迪鋒，曹浩楠.面向高空塔架鳥巢檢測的雙尺度YOLOv3網絡學習[J].西安理工大學學報，2021，37（02）：253-260.

[9]REDMON J， FARHADI A. Yolov3： An incremental improvement[J]. arXiv preprint arXiv，2018，1804：02767.

[10] W DONG， L WU， Q WANG， et al. An automatic detection method of bird's nest on electric tower based on attention full convolutional neural networks[C].∥2021 4th International Conference on Artificial Intelligence and Big Data （ICAIBD）， 2021：304-308， doi： 10.1109/ICAIBD51990.2021，9459088.

[11] HOWARD A.G， ZHU M， CHEN B， et al. MobileNets： Efficient convolutional neural networks for mobile vision applications[EB/OL].（2022-02-10） [2020-07-03]. https：∥arxiv.org/abs/1704.04861.

[12] SANDLER M， HOWARD A， ZHU M， et al. Mobilenetv2： Inverted residuals and linear bottlenecks[C].∥Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Salt Lake City， USA： IEEE Press，2018：4510-4520.

[13] HOWARD A， SANDLER M， CHU G， et al. Searching for mobilenetv3[C].∥In Proceedings of the IEEE International Conference on Computer Vision. Seoul， Korea： IEEE Press， 2019：1314-1324.

[14] HOU Q， ZHOU D， FENG J. Coordinate attention for efficient mobile network design[C].∥Proceedings of the IEEE/CVF conference on computer vision and pattern recognition，2021： 13 713-13 722.

[15] JIE H， LI S， GANG S， et al. Squeeze and excitation networks[J]. IEEE transactions on pattern analysis and machine intelligence， 2017， 42（08）： 2011-2023.

Improved YOLOv4 Transmission Lines Bird'sNest Detection Method

WU Minghu，LEI Changding， LIU Cong

School of Electrical and Electronic Engineering， Hubei Univ. of Tech.， Wuhan 430068， China

Abstract：Transmission line defect detection methods based on deep learning often need expensive hardware support to achieve real time and high precision technical requirements， so it is difficult to be popularized on a large scale. To solve this problem， an improved lightweight YOLOv4 neural network model is proposed. Specifically， in order to improve the detection accuracy， a lightweight attention mechanism is added to the feature extraction network. In order to improve the detection speed， lightweight Mobilenet v3 network is selected as the backbone network of YOLOv4， and deep deprivable convolution is adopted to replace the traditional multi scale characteristic pyramid convolution in YOLOv4 model. The experimental results show that the improved lightweight YOLOv4 model can effectively detect nests in transmission lines， and the average detection accuracy （AP） value reaches 97.56%， which is 1.80% higher than that of YOLOv4 model. The detection speed is 45.8 times that of YOLOv3 and 56.6 times that of YOLOv4， which has strong practical application value.

Keywords：deep learning; defect detecting; YOLOv4; Attentional mechanism

［責任編校： 張巖芳］