基于BiFPN-YOLOv5的公路養(yǎng)護檢測算法

李成袁

關(guān)鍵詞：公路養(yǎng)護; 目標檢測; YOLOv5; BiFPN; SIou loss

0 引言

公路是中國最重要的交通設(shè)施，為我國經(jīng)濟發(fā)展帶來了基礎(chǔ)與保障[1]。目前我國高速公路已達到14.96萬km，雖然我國公路已取得了巨大的成就，但其中有60%的公路年限超過了8年，導(dǎo)致公路的養(yǎng)護問題逐漸成為公路管理的主要任務(wù)[2]。公路養(yǎng)護問題上最核心的問題是如何快速精準地檢測到公路損壞的位置，目前最主流的方式是通過人工對公路健康狀態(tài)進行巡查與記錄，但依賴人工的方式會浪費大量的人力與物力，同時人工的方式通常會出現(xiàn)漏檢與誤檢的情況，因此利用目標檢測算法來對公路情況進行實時檢查與記錄具有較強的現(xiàn)實意義[3]。

隨著深度學(xué)習的發(fā)展，目標檢測算法從傳統(tǒng)的幀差法[4]與光流法[5]發(fā)展為基于深度學(xué)習的目標檢測算法，但基于深度學(xué)習的目標檢測算法中主要可分為One-stage 與Two-stage 兩類，其中Two-stage 方法以RCNN系列改進算法為代表[6]，其特點為檢測時分為兩個階段進行檢測，第一階段檢測目標圖片的候選框，然后第二階段再對檢測到的候選框進行分類與回歸操作，從而得到高精度的檢測框。但該類方法由于需要兩階段分步進行檢測，因此檢測的效率相對較低。為了解決此問題，One-stage方法被提出，其中最具代表的方法的YOLO系列算法[7]，其核心思想是通過一個網(wǎng)絡(luò)直接輸出候選框的位置信息與類別。由于該類方法具有更快的檢測效率與足夠的精度，因此在路面檢測領(lǐng)域有著廣泛的應(yīng)用，如豆世豪[8]提出的改進YOLOv3的道路場景目標檢測方法，通過對YO?LOv3引入SPP模塊實現(xiàn)局部特征與全局特征的融合，但由于其網(wǎng)絡(luò)相對復(fù)雜導(dǎo)致檢測效率相對較低，為此楊登杰[9]提出了一種使用MobileNetV3-YOLOv4的檢測算法，且輕量化改進YOLOv4的主干特征網(wǎng)絡(luò)，將原來的YOLOv4的CSPDarknet53主干特征網(wǎng)絡(luò)用輕量級網(wǎng)絡(luò)Mobile-NetV3進行替換，從而得到了更快的檢測速度。

隨著YOLOv5[10]的提出，其檢測效率與精度都優(yōu)于YOLOv4，但在公路損壞檢測中由于復(fù)雜的背景與嚴重的遮擋，導(dǎo)致其精度不足，因此本文提出了BiF?PN-YOLOv5算法，通過使用BiFPN替換FPN，從而使得模塊能夠融合不同尺度的特征進行檢測，同時使用SIoU loss重新定義定位損失函數(shù)，提高了模型訓(xùn)練的速度和推理的準確性。

1 公路路面養(yǎng)護數(shù)據(jù)集制作

1.1 數(shù)據(jù)獲取

檢測對象主要為需要養(yǎng)護的物體與干擾項，數(shù)據(jù)集類別如表1所示。采集設(shè)備為巡邏車上的高清攝像頭，其分辨率為1 280×720，拍攝時為了獲得更廣的視野與穩(wěn)定性，因此通過搭建平臺把攝像頭固定在車頂，如圖1所示。經(jīng)過對拍攝的攝像進行逐幀截取，再對其篩選掉模糊、過度曝光與重復(fù)的圖片，獲得3 000 張公路路面圖片。

1.2 數(shù)據(jù)標記

目測檢測模型以監(jiān)督學(xué)習的方式進行訓(xùn)練，因此需要對需要的養(yǎng)護的物體與干擾項進行標記，在標注時將養(yǎng)護物體最小外接矩陣框作為養(yǎng)護物體的真實框，肉眼可見的干擾項的最小外接矩陣框作為干擾項的真實框。標注工具為了能夠在線進行分工檢測，因此選用在線標記工具MAKE SENSE，通過對目標物體進行標記后能夠自動輸出其標記的XML文件，生成的XML格式文件主要包含：寬、高、維度和已標注的類別以及左上角坐標和右上角坐標等信息。

2 基于BiFPN-YOLOv5的公路養(yǎng)護檢測算法

為了更精準地檢測小目標物體，因此Bochkovskiy 等人[11]在2020年提出YOLOv4來解決此問題，隨后在2021年該團隊提出了YOLOv5，通過引入了多尺度的思想來使得模型能夠同時檢測不同尺寸物體，并改進了骨干網(wǎng)絡(luò)的設(shè)計提升了模型檢測的速度，從而使得模型的其精度與實時性都得到改善，因此YOLOv5更為適合于公路養(yǎng)護檢測中。

雖然YOLOv5能夠有效及實時地檢測目標物體，但是由于公路養(yǎng)護檢測中存在大量不同尺度的物體需要進行檢測，同時在車輛的運動過程中，檢測物體的大小也實時變化，因此YOLOv5對不同尺度的特征進行融合時，通常需要把不同尺度的物體調(diào)整到相同的尺度，然后再對目標物體進行相加融合。YOLOv5 不同尺度的特征采用平等對待的方式，但實際公路養(yǎng)護檢測過程中不同尺度的物體對輸出特征的貢獻往往是不同的。同時在公路養(yǎng)護檢測過程中，檢測的物體是隨著車輛加速度方向不同從而檢測物體移動的方向也會不同，如果不考慮檢測框與真實框中心點的移動方向會導(dǎo)致收斂速度較慢且效率較低，且預(yù)測框可能在訓(xùn)練過程中找不到正確方向移動導(dǎo)致最終的檢測模型性能降低。

為了解決公路養(yǎng)護檢測過程中存在的上述兩個問題，因此本文提出了BiFPN-YOLOv5算法，該算法在YOLOv5基礎(chǔ)上主要進行兩個部分的改進，首先是提出了使用BiFPN[12]方法進行不同大小特征的加權(quán)特征融合，為每個輸入的特征增加一個權(quán)重，從而使模型能夠?qū)W習每個輸入特征的重要程度，此外提出了使用SIoU loss來改進傳統(tǒng)的無方向定位損失，該方法通過考慮所需回歸之間的向量角度，重新定義了懲罰指標。下面兩個小節(jié)將會介紹具體如何實現(xiàn)。

2.1 改進的定位損失函數(shù)

YOLOv5中的定位損失函數(shù)采用的CIoU loss，該方法不僅考慮了重疊框與預(yù)測框中心點的距離，也考慮了重疊與不重疊時穩(wěn)定性的問題，但是從收斂角度并沒有考慮，會導(dǎo)致最終的模型難以收斂，且找不到適合的收斂方向，因此本文提出使用SIoU loss來尋找預(yù)測框中心點到真實框中心點最優(yōu)移動角度，從而使得模型能夠向正確的方向進行收斂。

首先通過在CIoU loss的基礎(chǔ)上引入真實框和預(yù)測框之間的向量角度，再重新定義了定位損失函數(shù)，其主要由四個損失項構(gòu)成：

1）角度損失

角度損失的基本思想是讓模型的預(yù)測框快速的先移動到最近的坐標軸，之后僅沿著一個方向X或Y 軸進行回歸坐標，從而增加角度損失來減少了自由度的數(shù)量。如圖2所示，為了向一個方向進行收斂，因此角度損失函數(shù)的計算公式如下：

2.2 改進的多特征融合方法

在YOLOv5中采用的多特征融合方式對不同尺度的特征融合采用相同的權(quán)重，而真實情況中不同尺度的特征對輸出特征的貢獻度并不相同，因此本文引入雙向特征金字塔（BiFPN）來使得網(wǎng)絡(luò)能夠通過不同的權(quán)重對不同的輸入的特征進行學(xué)習，同時反復(fù)使用自頂向下與自底向上的方式進行多尺度特征的融合。

BiFPN在不同大小的尺度特征進行融合時，通過上采樣與下采樣操作相同分辨率的特征，同時在相同特征的輸入與輸出節(jié)點使用橫向連接，使得模型能夠在不增加計算成本的情況下融合更多有效特征，且BiFPN 中一對路徑可作為一個獨立的特征層，BiFPN自身作為一個基本單元，反復(fù)多次從而使得高層特征得以融合，其網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。

本文提出的BiFPN-YOLOv5的整體結(jié)構(gòu)圖如圖4 所示，將原本的PANet結(jié)構(gòu)改進為BiFP結(jié)構(gòu)，從而使得模型能夠更好對不同大小的特征進行融合。

3 實驗方法及結(jié)果分析

本實驗在Windows11操作系統(tǒng)，采用Python作為編程語言，利用PyTorch使用顯卡cuda為計算加速。設(shè)備運行環(huán)境：Intel（R） Core（TM） i5-10600KF 處理器，GeForce RTX 3080顯卡，內(nèi)存為32G。數(shù)據(jù)采用本文制作的公路路面養(yǎng)護數(shù)據(jù)集，其中訓(xùn)練集2 000張，驗證集500張，測試集500張，通過對YOLOv5及BiFPNYOLOv5進行訓(xùn)練，再對公路路面進行檢測結(jié)果進行分析比較，驗證本文算法的有效性。

3.1 評價指標

本實驗評價指標選用Precision、Recall、mAP作為評價指標，目標檢測過程中漏檢目標個數(shù)為FN表示，正確檢測個數(shù)為TP表示，錯誤檢測個數(shù)為FP表示，Precision與Recall的計算公式如下：

4.2 實驗結(jié)果

為了驗證本文算法的有效性，選用YOLOv5作為對比算法，并且用YOLOv5+YOLOv5+CIoU loss作為消融對比算法，實驗結(jié)果如表2所示?？梢钥闯鍪褂肧LoU定位損失函數(shù)能夠有效提高模型的mAP，相比YOLOv5提高了3.36%，在此基礎(chǔ)上使用BiFPN對不同尺度的特征進行融合能夠使得召回率與mAP同時得到比較明顯的提升，這主要是因為BiFPN-YOLOv5能通過上采樣與下采樣操作相同分辨率的特征，同時在相同特征的輸入與輸出節(jié)點使用橫向連接，從而使得模型能有效提升其檢測性能。

實驗結(jié)果對比圖如圖5所示，可以看出YOLOv5 對于中間的小車存在重復(fù)檢測的情況，把小車同時檢測為卡車和小車，但本文算法能夠避免重復(fù)檢測問題，同時本文算法通過引入BiFPN能夠獲取更多小尺度的特征，從（a）中看到本文算法能夠有效檢測交通標志，而YOLOv5存在漏檢的情況。綜上所述，本文算法對小物體的檢測能夠有所提升同時能夠減少檢測框重復(fù)的問題。

4 結(jié)束語

針對公路養(yǎng)護過程中需要養(yǎng)護的物體與干擾項的檢測過程存在大量遮擋問題，且隨著車輛移動拍攝的圖片中目標物體的大小也存在不確定性，因此提出了BiFPN-YOLOv5算法來對需要養(yǎng)護物體更為精準地檢測，通過使用BiFPN來替換原本的PANet結(jié)構(gòu)，BiFPN中對不同尺度的特征加入了不同權(quán)重，從而不同尺度的特征層對輸出結(jié)果影響程度不同，使模型能更好使用特征語義；同時使用SIoU loss來改進原本的CIou loss，使得模型能夠有效尋找預(yù)測框中心點到真實框中心點最優(yōu)移動角度，從而使得模型能夠向正確的方向進行收斂。同時通過實驗證明本文算法能夠有效應(yīng)用于公路養(yǎng)護過程中目標檢測中，未來將側(cè)重于輕量化模型大小與結(jié)構(gòu)，使得算法能夠保證精度的情況下提升其實時性。