基于改進(jìn)YOLOv5的機場鳥類目標(biāo)檢測算法

摘 要：針對近年來鳥撞事件對航空安全造成的影響，為驅(qū)鳥系統(tǒng)提供了可實時檢測鳥類并準(zhǔn)確分辨品種的算法—一種基于YOLOv5的鳥類目標(biāo)檢測算法YOLO-birds。該方法將Neck層中的PANet融合網(wǎng)絡(luò)替換為BiFPN，實現(xiàn)更簡單、快速的多尺度特征融合。引入了EIoU邊界框回歸損失函數(shù)，在CIoU的基礎(chǔ)上分別計算寬高的差值替代縱橫比，并引入Focal Loss解決難易樣本不平衡問題，提高了收斂速度和回歸精度。實驗結(jié)果表明：在修改后的CUB_200數(shù)據(jù)集中，該算法的精確率達(dá)85.12%，比原模型提高了7.30個百分點，mAP_0.5達(dá)87.97%，比原算法提高了7.02個百分點。該改進(jìn)方法在檢測速度變化不大的同時可以達(dá)到更佳的檢測精度，對鳥類檢測的整體識別率大幅提高。

關(guān)鍵詞：目標(biāo)檢測；深度學(xué)習(xí)；YOLOv5；BiFPN；EIoU；鳥類檢測

中圖分類號：TP391.41 文獻(xiàn)標(biāo)識碼：A 文章編號：2095-1302（2024）06-00-05

0 引 言

在全球范圍內(nèi)，民用航空業(yè)的蓬勃發(fā)展為人類帶來了空前的便利。然而，隨著航空交通的增加，機場與鳥類之間的沖突問題也日益突出。數(shù)據(jù)顯示，自航空業(yè)誕生以來，已經(jīng)有數(shù)千起鳥類撞擊飛機的事件發(fā)生。根據(jù)國際航空運輸協(xié)會（IATA）的統(tǒng)計，每年全球范圍內(nèi)發(fā)生的鳥類撞擊事件約有10，000起，其中超過90%發(fā)生在機場附近。這些事件造成的經(jīng)濟(jì)損失不容忽視。從1990年到2009年，美國聯(lián)邦航空管理局（FAA）共接到89 727起動物撞擊事件報告，其中97.4%為航空器鳥撞事故。鳥撞事故共造成超3億美元的經(jīng)濟(jì)損失和巨大的人員傷亡[1]。除了經(jīng)濟(jì)方面的影響，鳥類撞擊飛機還帶來了嚴(yán)重的安全隱患。鳥類進(jìn)入飛機的發(fā)動機或碰撞飛機機身，可能導(dǎo)致發(fā)動機故障、燃油泄漏或其他關(guān)鍵系統(tǒng)損壞，從而威脅乘客和機組人員的生命安全。此外，機場防鳥撞措施也對環(huán)境保護(hù)和可持續(xù)發(fā)展具有重要意義。鳥類是生態(tài)系統(tǒng)中重要的一環(huán)，它們在維持生態(tài)平衡、傳播種子、控制害蟲方面發(fā)揮著不可或缺的作用。因此，對于防范鳥撞事故災(zāi)害的研究具有極其重要的現(xiàn)實意義。

針對鳥類目標(biāo)檢測，國內(nèi)外研究人員提出過多種解決方法。其中，Girshick等[2]提出的R-CNN通過滑動窗口策略對圖像進(jìn)行遍歷，使用聚類方法將候選框分組。但該方法訓(xùn)練階段較多、步驟繁瑣，因此效率不高。翁雨辰等[3]提出了一種基于深度區(qū)域網(wǎng)絡(luò)的卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)用于解決細(xì)粒度鳥類檢測問題，該方法顯示出非常高的檢測精度。但該架構(gòu)采用標(biāo)準(zhǔn)卷積的主干網(wǎng)絡(luò)結(jié)構(gòu)，導(dǎo)致較大的計算量和參數(shù)量，對鳥類實時性檢測的效果并不理想。在另一種方法中，Shakeri等[4]使用高斯混合模型去除背景，這種方法能實現(xiàn)較高的實時性，但也可能移除許多不易檢測的鳥類目標(biāo)。李新葉等[5]利用Faster R-CNN結(jié)合語義提取和檢測的分類方法，在卷積層引入自上而下的候選區(qū)域建議方法，極大提升了鳥類檢測效果。然而該方法采用了候選區(qū)域建議，因此計算量很大且檢測速度達(dá)不到實時性檢測的要求。

為了實現(xiàn)在機場場景下的鳥類檢測，文中提出了一種基于YOLOv5的鳥類目標(biāo)檢測算法YOLO-birds。對特征融合網(wǎng)絡(luò)模型進(jìn)行修改，將PANet融合網(wǎng)絡(luò)更換優(yōu)化為BiFPN。BiFPN采用可學(xué)習(xí)的權(quán)重來捕捉不同輸入特征的重要性，并多次執(zhí)行自頂向下和自底向上的多尺度特征融合，從而實現(xiàn)更高效的多尺度特征融合。修改回歸損失函數(shù)，將目標(biāo)框大小與位置損失函數(shù)由CIoU修改為EIoU，將縱橫比拆開，并且加入Focal專注于高質(zhì)量錨框，該方法可以同時加速收斂、提高回歸精度，并優(yōu)化邊界框回歸任務(wù)中可能存在的樣本不平衡問題。

1 算法改進(jìn)

1.1 YOLO-birds

文中針對機場場景下存在的問題，基于YOLOv5s進(jìn)行優(yōu)化提出了YOLO-birds算法。YOLO系列算法是一種典型的one-stage目標(biāo)檢測算法，基于回歸思想，采用端到端檢測方法，直接產(chǎn)生目標(biāo)物的位置坐標(biāo)和類別概率。Ultralytics LLC在2020年5月份提出了YOLOv5（You Only Look Once），其結(jié)構(gòu)更為緊湊，YOLOv5s版本的權(quán)重數(shù)據(jù)文件僅為YOLOv4的1/9[6-7]，大小僅為27 MB，其網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示，主要由輸入端、主干網(wǎng)絡(luò)（Backbone）、Neck網(wǎng)絡(luò)和輸出端（Prediction）組成。

輸入端由Mosaic數(shù)據(jù)增強、自適應(yīng)錨框計算和自適應(yīng)圖片縮放三部分組成。自適應(yīng)圖片縮放部分可以自適應(yīng)最小化添加黑邊，提高網(wǎng)絡(luò)的目標(biāo)檢測速度。主干網(wǎng)絡(luò)包括Focus與交叉階段部分連接（Cross State Partial， CSP）[8]，F(xiàn)ocus結(jié)構(gòu)用于將特征圖分塊處理以減少層數(shù)和計算量，提高檢測速度。Neck部分主要由空間金字塔池化模塊（Spatial Pyramid Pooling， SPP）[9]、CSP與BiFPN構(gòu)成。輸出端包含Classification Loss（分類損失函數(shù)）和 Bounding Box Regression Loss（回歸損失函數(shù)）。YOLO-birds采用EIoU Loss作為bounding box回歸的損失，減少了使用IoU Loss時的不足[10]。

1.2 特征融合網(wǎng)絡(luò)優(yōu)化

針對在機場場景中需要進(jìn)行快速、準(zhǔn)確的鳥類識別應(yīng)用，在YOLO-birds中將特征融合網(wǎng)絡(luò)優(yōu)化為BiFPN更適用于該場景，不僅能夠提高目標(biāo)檢測的準(zhǔn)確度，還可以在不增加過多計算成本的情況下提高檢測速度。BiFPN全稱為Bidirectional Feature Pyramid Network加權(quán)雙向（自頂向下+自底向上）特征金字塔網(wǎng)絡(luò)[11]，結(jié)構(gòu)如圖2所示。原特征融合網(wǎng)絡(luò)使用的為路徑聚合網(wǎng)絡(luò)（Path Aggregation Network， PANet）[12]，該網(wǎng)絡(luò)具有良好的精度，但存在以下缺點：

（1）當(dāng)模型訓(xùn)練數(shù)據(jù)不足或訓(xùn)練數(shù)據(jù)中存在噪聲時容易產(chǎn)生過擬合，從而導(dǎo)致檢測結(jié)果不準(zhǔn)確；

（2）PANet對輸入分辨率和目標(biāo)大小較敏感，輸入分辨率和目標(biāo)大小發(fā)生變化時需要重新訓(xùn)練，降低了模型的適用性。

BiFPN相較于PANet實現(xiàn)了更加復(fù)雜的雙向融合，對PANet進(jìn)行了如下優(yōu)化：

（1）移除只有一個輸入邊的節(jié)點，最大限度提高了特征網(wǎng)絡(luò)的融合效果；

（2）在同一級別添加額外的輸入到輸出節(jié)點的邊，以更低的成本實現(xiàn)更多特征的融合；

（3）通過在不同層級的特征圖中多次融合信息，增強了模型的特征細(xì)節(jié)感知能力，以提高檢測算法的準(zhǔn)確性；

（4）采用自適應(yīng)權(quán)重機制，能夠有效學(xué)習(xí)不同特征圖對最終檢測結(jié)果的貢獻(xiàn)，從而實現(xiàn)更精準(zhǔn)的特征融合。

圖3為改進(jìn)后的網(wǎng)絡(luò)結(jié)構(gòu)。

由于輸入特征的分辨率不同，它們在對輸出特征的貢獻(xiàn)方面通常存在著不平衡性。為解決這一問題，采用了快速歸一化融合方法，在每個輸入特征上添加額外的權(quán)重，并讓網(wǎng)絡(luò)自動學(xué)習(xí)每個特征對輸出結(jié)果的重要性，以實現(xiàn)更加均衡的特征融合（Fast Normalized Fusion），表達(dá)式如下：

（1）

式中：O表示輸出的融合特征；Ii表i示輸入的特征；wi≥0是來自不同層次特征的權(quán)重；η=0.000 1是保證數(shù)值穩(wěn)定的小數(shù)。對每個wi進(jìn)行了ReLU操作以保證其非負(fù)，每個歸一化權(quán)重的值最終落在0和1之間。該快速融合方法具有與基于softmax融合非常相似的學(xué)習(xí)行為和準(zhǔn)確性，在GPU上運行速率提高約30%。

1.3 損失函數(shù)優(yōu)化

為了提高訓(xùn)練時的收斂速度與回歸精度，同時解決邊界框回歸任務(wù)中的樣本不平衡問題，在YOLO-birds中將回歸損失函數(shù)優(yōu)化為EIoU。原損失函數(shù)為CIoU[13]，全稱Complete IoU，是一種目標(biāo)檢測任務(wù)中常用的評價指標(biāo)。它是IoU（Intersection over Union）的改進(jìn)方法，可以更準(zhǔn)確地衡量兩個邊界框之間的相似性。但CIoU中使用的系數(shù)v僅考慮了寬和高的比例，沒有考慮寬高與目標(biāo)寬高之間的差異，而縱橫比的相對差異不明顯，導(dǎo)致模型在處理尺寸變化較大的目標(biāo)時表現(xiàn)不佳。為解決CIoU存在的不足，一些研究者提出了EIoU （Efficient Intersection over Union）方法，它在CIoU的基礎(chǔ)上進(jìn)一步優(yōu)化，使得EIoU具有更好的穩(wěn)定性、高效性和魯棒性，損失函數(shù)如下：

（2）

（3）

式中：Ldis為距離損失；Lasp為邊長損失；IoU為交并比；LIoU為預(yù)測框和真實框之間重疊部分面積與并集的面積之差；ρ表示兩個矩形間的歐幾里得距離；b和bgt表示預(yù)測框和真實框；c表示預(yù)測框和真實框的最小閉包矩形區(qū)域?qū)蔷€長度；cw和ch分別是兩個矩形的閉包的寬和高；w和h表示預(yù)測框的寬和高；wgt和hgt表示真實框的寬和高。

CIoU存在寬高不可同時增減的局限性，與之相比，EIoU收斂速度雖快，但在回歸時容易受到訓(xùn)練樣本質(zhì)量不平衡的影響，導(dǎo)致梯度過大，從而影響模型的訓(xùn)練效果。因此，在EIOU的基礎(chǔ)上結(jié)合Focal Loss[14]解決正負(fù)樣本不平衡和難易樣本不平衡的問題，損失函數(shù)如下：

（4）

式中：γ用于調(diào)整正負(fù)樣本權(quán)重的超參數(shù)，平衡損失函數(shù)兩部分的影響。訓(xùn)練過程中，高低質(zhì)量樣本是影響模型收斂的重要因素。在低質(zhì)量樣本上的訓(xùn)練容易造成損失值的劇烈波動，而Focal的引入可抑制低質(zhì)量樣本對損失值的影響，解決高低質(zhì)量樣本類別不平衡的問題。

2 數(shù)據(jù)處理與結(jié)果分析

2.1 數(shù)據(jù)集介紹和處理

文中采用的數(shù)據(jù)集為CUB_200[15]，如圖4所示。CUB-200數(shù)據(jù)集全稱為Caltech-UCSD Birds-200-2011數(shù)據(jù)集，是由加利福尼亞理工學(xué)院提供的鳥類數(shù)據(jù)庫，該數(shù)據(jù)集共收錄了11 788張鳥類圖片，劃分為200類子集，其中訓(xùn)練集有5 994張，測試集有5 794張，每張均附帶了圖像類標(biāo)記信息、bounding box、關(guān)鍵part部位以及鳥的屬性信息。

在訓(xùn)練前，將原數(shù)據(jù)集bounding_boxes.txt中的標(biāo)簽通過程序轉(zhuǎn)換成可供YOLO算法訓(xùn)練的txt標(biāo)簽形式，同時對數(shù)據(jù)集進(jìn)行調(diào)整，將鳥的種類從200種降至37科以便于訓(xùn)練，數(shù)據(jù)集中用于訓(xùn)練和驗證的圖片未做改變。

2.2 網(wǎng)絡(luò)訓(xùn)練

文中YOLO-birds的網(wǎng)絡(luò)結(jié)構(gòu)基于YOLOv5s優(yōu)化而來，YOLOv5s網(wǎng)絡(luò)是YOLOv5系列中深度最小，特征圖寬度最小的網(wǎng)絡(luò)，該網(wǎng)絡(luò)結(jié)構(gòu)的訓(xùn)練速度最快。實驗使用的操作系統(tǒng)為Windows10，開發(fā)語言選擇Python，選擇Pytorch框架。文中實驗所使用的具體配置情況見表1所列。

訓(xùn)練參數(shù)及參數(shù)設(shè)置情況說明：網(wǎng)絡(luò)模型訓(xùn)練階段，輸入圖片尺寸為640×640，batch-size為16，dataloader-workers為6，采用GPU加速。使用Python調(diào)用train. py文件，通過bird_model_bifpn.yaml和bird_parameter.yaml對訓(xùn)練模型的檢測種類進(jìn)行定義，對預(yù)訓(xùn)練權(quán)重文件的路徑進(jìn)行設(shè)置，通過訓(xùn)練獲得該模型的權(quán)重數(shù)據(jù)。

為驗證文中所進(jìn)行的改進(jìn)實驗對檢測效果有一定的提升作用，使用相同的數(shù)據(jù)集訓(xùn)練YOLOv5s、YOLOv5s+EIoU、YOLOv5s+BIFPN與YOLO-birds，獲得模型的各項參數(shù)進(jìn)行消融實驗，對比結(jié)果見表2所列，精度與召回率曲線如圖5所示。由表2可看出，僅更換損失函數(shù)為EIoU時，平均精度僅提高了0.27%，召回率提高了1.57%，mAP_0.5提升了2.0%，mAP_0.5：0.95提升了2.76%；僅更換特征融合網(wǎng)絡(luò)為BiFPN時，平均精度提高了6.36%，召回率提高了8.02%，mAP_0.5提升了7.11%，mAP_0.5：0.95提升了10.66%；而文中改進(jìn)模型YOLOv5s-ours平均精度提高了7.30%，召回率提高了8.22%，mAP_0.5提升了7.02%，mAP_0.5：0.95提升了10.78%。結(jié)果表明，分別對各模塊進(jìn)行改進(jìn)均可提高模型性能，且這些改進(jìn)是互補的，將其結(jié)合能進(jìn)一步增強網(wǎng)絡(luò)性能，對鳥類的檢測定位更加準(zhǔn)確，效果更好。

2.3 測試結(jié)果與分析

使用detect.py對測試圖片進(jìn)行檢測，選擇訓(xùn)練出的權(quán)重文件best.pt，設(shè)置置信度為0.25，非極大抑制值為0.45，采用GPU加速，測試圖片來源于西沙群島三沙永興機場周圍鳥類真實攝影圖片，檢測結(jié)果如圖4所示。

通過圖4可以發(fā)現(xiàn)，YOLOv5s在部分場景下表現(xiàn)不夠優(yōu)秀，該模型將圖6（a1）左側(cè)的鳥以相近的置信度識別為兩種鳥類，同時未識別出右側(cè)的鳥類。而YOLO-birds可以準(zhǔn)確檢測出測試圖片中的所有鳥類并使用方框標(biāo)注。對于處于不同姿態(tài)的鳥，如圖6（b1）中兩只鳥分別處于站立與飛行狀態(tài)，YOLO-birds均能以較高的置信度檢測出來并標(biāo)注。結(jié)果表明，文中改進(jìn)后的算法在鳥類識別場景中的目標(biāo)檢測有明顯提升。

3 結(jié) 語

文中基于YOLOv5s提出了一種改進(jìn)后的算法YOLO-birds，該模型在綜合考慮檢測精度和速度的情況下，可用于實現(xiàn)驅(qū)鳥系統(tǒng)中的實時檢測。盡管文中提出的改進(jìn)方法具有良好的性能表現(xiàn)，但仍存在一些不足，例如對較小目標(biāo)的檢測效果不夠理想，后續(xù)研究工作可以通過在模型中添加小目標(biāo)檢測層，并更換目標(biāo)更小的鳥類數(shù)據(jù)集以達(dá)到可檢測到更小鳥類目標(biāo)的效果。

注：本文通訊作者為王傳云。

參考文獻(xiàn)

[1]張志林，姚衛(wèi)星.飛機風(fēng)擋鳥撞動響應(yīng)分析方法研究[J].航空學(xué)報，2004，25（6）：577-580.

[2] GIRSHICK R，DONAHUE J，DARRELL T，et al. Rich feature hierarchies for accurate object detection and semantic segmentation [J]. IEEE computer society，2014.

[3]翁雨辰，田野，路敦民，等. 深度區(qū)域網(wǎng)絡(luò)方法的細(xì)粒度圖像分類[J]. 中國圖象圖形學(xué)報，2017，22（11）：11.

[4] SHAKERI M，HONG Z. Real-time bird detection based on background subtraction [C]// Intelligent Control and Automation （WCICA），2012 10th World Congress on. IEEE，2012.

[5]李新葉，王光陛.基于卷積神經(jīng)網(wǎng)絡(luò)語義檢測的細(xì)粒度鳥類識別[J].科學(xué)技術(shù)與工程，2018，18（10）：240-244.

[6] BOCHKOVSKIY A，WANG C Y，LIAO H. YOLOv4：Optimal speed and accuracy of object detection [J]. Artificial intelligence，2020（4）.

[7] WU M. Using channel pruning-based YOLO v4 deep learning algorithm for the real-time and accurate detection of apple flowers in natural environments [J]. Computers and electronics in agriculture，2020，178（1）.

[8] WANG C Y，LIAO H Y M，WU Y H，et al. CSPNet：A new backbone that can enhance learning capability of CNN [C]// 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops（CVPRW）. IEEE，2020.

[9] HE K，ZHANG X，REN S，et al. Spatial pyramid pooling in deep convolutional networks for visual recognition [J]. Pattern analysis amp; machine intelligence IEEE transactions on，2015，37（9）：1904-1916.

[10] REZATOFIGHI H，TSOI N，GWAK J Y，et al. Generalized intersection over union：A metric and a loss for bounding box regression [C]// 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. IEEE，2019.

[11] TAN M，PANG R，LE Q V. EfficientDet：Scalable and efficient object detection [C]// 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. IEEE，2020.

[12] LIU S，QI L，QIN H，et al. Path aggregation network for instance segmentation [C]// 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition，2018.

[13] ZHENG Z H，WANG P，REN D，et al. Enhancing geometric factors in model learning and inference for object detection and instance segmentation [J]. IEEE transactions on cybernetics，2021，52（8）：8574-8586.

[14] ZHANG Y F，REN W，ZHANG Z，et al. Focal and efficient IOU loss for accurate bounding box regression [Z]. arXiv：2101.08158.

[15] WAH C，BRANSON S，WELINDER P，et al. The Caltech-UCSD Birds-200-2011 dataset [Z]. California institute of technology，2011.

基金項目：國家自然科學(xué)基金（61703287）；遼寧省教育廳科學(xué)研究項目（LJKZ0218）；沈陽市中青年科技創(chuàng)新人才項目（RC210401）；沈陽航空航天大學(xué)2022年大學(xué)生創(chuàng)新創(chuàng)業(yè)訓(xùn)練計劃項目—創(chuàng)新訓(xùn)練項目（X202210143051）

作者簡介：劉鵬翔（2002—），男，河北滄州人，本科在讀，研究方向為人工智能。

王一凡（2002—），男，河北承德人，本科在讀，研究方向為人工智能。

李東嶼（2001—），男，河北保定人，本科在讀，研究方向為人工智能。

朱建澎（2001—），男，遼寧鞍山人，本科在讀，研究方向為人工智能。

張新宇（2001—），男，山東淄博人，本科在讀，研究方向為人工智能。

王傳云（1984—），男，山東臨朐人，副教授，研究方向為模式識別、機器視覺、物聯(lián)網(wǎng)。