基于改進YOLOv4 算法在車輛檢測中的應(yīng)用

趙燕姣，李鋼，姚瓊辛，任 杰

（長安大學(xué) 信息工程學(xué)院，陜西西安 710061）

車輛檢測是借助相應(yīng)的深度學(xué)習(xí)算法檢測出圖片中的車輛并判斷屬于哪種類型，車輛作為道路上的重要通行工具，對其準(zhǔn)確檢測已成為城市交通管理的重要工作[1]。一般來說，傳統(tǒng)的目標(biāo)檢測算法分為三步：劃定可能包含有目標(biāo)的區(qū)域、進行特征提取以及檢測分類[2]，但劃定區(qū)域時，整個算法的時間復(fù)雜度會大幅度提升，并且手工提取特征會導(dǎo)致算法魯棒性差，由于以上缺點的存在，引入深度學(xué)習(xí)的方法檢測車輛。

基于深度學(xué)習(xí)的檢測算法可分為兩種[3]：兩階段算法和單階段算法。兩階段的算法主要以Region-CNN 算法及其改進算法為代表，檢測過程分為兩個階段：先利用RPN 生成預(yù)選框，再通過檢測網(wǎng)絡(luò)實現(xiàn)預(yù)選框的分類和回歸，雖然這類算法具有較高的AP值，但是整個算法運行時間較長。單階段的算法包括SSD 算法、YOLO[4-6]系列算法，這類算法去掉了RPN 階段，因而檢測速度較快，但準(zhǔn)確率較低。其中YOLOv4 算法的檢測速度和精度都比其余單階段檢測算法有優(yōu)勢，因而改進YOLOv4 算法可用于對具體目標(biāo)的檢測。

李昭慧[7]等人為了能夠精確地檢測出駕駛?cè)藛T是否處于疲勞駕駛，針對YOLOv4 的網(wǎng)絡(luò)框架，引入空洞卷積技術(shù)，并且在其特征金字塔的前半部分和后半部分各增加一個卷積層，從而提高對深層特征的提取，增加卷積來輸出感受野。葉子勛等人通過替換骨干網(wǎng)絡(luò)來解決模型龐大的問題[8]。羅暉[9]等人在檢測公路路面病害時，改進YOLOv4 中的損失函數(shù)，來提高檢測的精確度。針對原YOLOv4 算法在復(fù)雜環(huán)境下對車輛的特征提取能力不強、檢測精度低等問題，對通用的算法做了改進。

1 YOLOv4算法原理

1.1 YOLOv4網(wǎng)絡(luò)架構(gòu)

YOLOv4 網(wǎng)絡(luò)結(jié)構(gòu)如圖1 所示。

圖1 YOLOv4網(wǎng)絡(luò)結(jié)構(gòu)圖

YOLOv4 的骨干網(wǎng)絡(luò)是CSPDarkNet53，由DarkNet53[10]與CSPNet[11]結(jié)合而成。CSPNet 可以實現(xiàn)更加豐富的梯度組合，并整合了網(wǎng)絡(luò)從開始到結(jié)束階段的所有特征圖來減少計算量。CSPDarkNet53 包含5 個CSPNet 模塊，激活函數(shù)使用Mish 函數(shù)，具體公式如式（1）所示，函數(shù)圖如圖2 所示，橫坐標(biāo)代表x的值，縱坐標(biāo)代表Mish 值。Mish 函數(shù)可以增強深層信息的傳播，使網(wǎng)絡(luò)具有更高的準(zhǔn)確性，骨干特征提取網(wǎng)絡(luò)將部分CSPNet 模塊提取的特征傳入頸部[12]。

圖2 Mish函數(shù)曲線圖

頸部是由SPP 和PANet 兩部分組成。SPP 網(wǎng)絡(luò)對特征層進行1×1、5×5、9×9 和13×13 四種尺度的最大池化（Maxpooling）操作，有效提高網(wǎng)絡(luò)的感受野，并提取出重要的上下文特征[13]。PANet 結(jié)構(gòu)的作用可以進一步提高特征提取能力，和FPN[14]相比多了自下而上的特征融合，可以使底層的信息傳到高層。

頭部是由三個YOLO head 組成的預(yù)測層，功能是利用獲得的特征進行預(yù)測，YOLO head 工作原理是：K-means 算法對樣本目標(biāo)聚類得出先驗框大小，在此基礎(chǔ)上利用相對偏移量計算出預(yù)測框的大小及位置[13]。

1.2 Mosaic數(shù)據(jù)增強

數(shù)據(jù)增強是針對訓(xùn)練數(shù)據(jù)集過少來擴充數(shù)據(jù)集的技術(shù)。通過對圖片翻轉(zhuǎn)、裁剪、縮放、添加噪聲、Mosaic 增強等操作可以達到擴充數(shù)據(jù)集的目的。Mosaic 數(shù)據(jù)增強是CutMix[15]數(shù)據(jù)增強的改進，Mosaic增強過程如圖3 所示。Mosaic 數(shù)據(jù)增強擴充了數(shù)據(jù)集的多樣性，并增加了網(wǎng)絡(luò)的魯棒性[16]。

圖3 Mosaic數(shù)據(jù)增強過程圖

2 改進的YOLOv4算法

2.1 K-means++算法

目標(biāo)檢測中引入Anchor box 機制有助于模型快速收斂，Anchor box 是指預(yù)先定義好不同長寬比的邊界，在YOLO head 階段通過相應(yīng)的技術(shù)對Anchor box進行微調(diào)可以得到預(yù)測結(jié)果。YOLOv4 算法對訓(xùn)練數(shù)據(jù)使用K-means 聚類算法獲得Anchor box，Kmeans 聚類算法最終結(jié)果受初始化聚類中心點的影響，為了擺脫此影響，提出改進版本的K-means++算法獲取Anchor box，K-means++算法可以使計算速度大幅提高，減少運行時間。K-means++算法的實現(xiàn)流程如圖4 所示。

圖4 K-means++實現(xiàn)流程圖

2.2 空洞卷積

在圖像分割和目標(biāo)檢測領(lǐng)域，空洞卷積（Dilated Convolution）被廣泛使用?？斩淳矸e可以增加感受野，當(dāng)圖像經(jīng)過YOLOv4 的SPP 網(wǎng)絡(luò)后會丟失很多信息，特別是空間結(jié)構(gòu)信息，對分辨率較低的圖片破壞效果尤為嚴(yán)重。為了解決該問題在YOLOv4 的骨干網(wǎng)中加入了空洞卷積模塊，空洞卷積可以保留圖像內(nèi)部的信息，提高目標(biāo)檢測效果。改進后的網(wǎng)絡(luò)結(jié)構(gòu)如圖5 所示。

圖5 改進后的YOLOv4網(wǎng)絡(luò)結(jié)構(gòu)

空洞卷積引入了擴張率（Dilation Rate）概念，該值代表卷積核在處理數(shù)據(jù)時各值間的距離[17]，擴張率分別為1、2、4 的空洞卷積如圖6 所示。

圖6 空洞卷積圖解

空洞卷積的卷積核計算公式如式（2）所示：

式中，xn是加入空洞之后的卷積核大小，xk是擴張率為1 的卷積核大小，Dr為空洞率。

2.3 損失函數(shù)

損失函數(shù)可以對模型的預(yù)測性能進行評估，YOLOv4 算法的損失函數(shù)由bbox 損失、置信度損失和類別誤差組成[18]，總損失函數(shù)如式（3）所示：

其中，bbox 損失函數(shù)LCIoU和相關(guān)公式如式（4）所示：

用P 代表預(yù)測矩形框，Q 代表實際矩形框，式中，IoU為P 與Q 的交集和并集的比值，b為P 的中心點，bgt為Q 的中心點，ρ為b和bgt的歐幾里得距離，c是同時含有P 和Q 的最小封閉區(qū)域的對角線距離，av是對長寬比的懲罰項[12]，v為描述P和Q的長寬比的比例一致性的參數(shù)，wgt為Q 的寬度，hgt為Q 的高度，w為P 的寬度，h為P 的高度，a為平衡參數(shù)。

YOLOv4 算法在運行過程中為了定位目標(biāo)會生成大量的先驗框，當(dāng)一幅圖中目標(biāo)個數(shù)很少，大量的先驗框處于背景區(qū)域，這就導(dǎo)致正負(fù)樣本數(shù)差異過大。因此，在損失函數(shù)方面使用Focal Loss 損失函數(shù)[19]，它可以避免原始交叉熵函數(shù)導(dǎo)致的正負(fù)樣本不均衡的問題，從而達到提高目標(biāo)檢測精度的目的。Focal Loss 表達式為：

式中，ln 是以e 為底的對數(shù)，y為真實標(biāo)簽，y'為標(biāo)簽的預(yù)測值，γ為調(diào)節(jié)參數(shù)，用于調(diào)節(jié)簡單樣本權(quán)重，以提高網(wǎng)絡(luò)訓(xùn)練速度，使得模型可以更好實現(xiàn)樣本的特征學(xué)習(xí)[9]，α參數(shù)用來平衡正負(fù)樣本數(shù)量比例。

3 實驗準(zhǔn)備

3.1 數(shù)據(jù)采集

該次實驗數(shù)據(jù)樣本由拍攝西安市南二環(huán)道路上的車輛圖片、挑選公共數(shù)據(jù)集和對圖片通過算法擴充三部分組成。其中拍攝了3 000 張圖片，從VOC2007公開數(shù)據(jù)集挑選了684 張圖片，為了使訓(xùn)練后的網(wǎng)絡(luò)模型魯棒性更好，對數(shù)據(jù)集進行加霧、加雨、調(diào)整亮度、圖像高斯模糊等方式擴充。每種擴充方式是從原始數(shù)據(jù)集中選擇500 張圖片，通過相應(yīng)的圖像處理算法來修改圖片。圖7 展示的是未處理之前、加霧、加雨、圖像變亮、高斯模糊的圖片。擴充后的訓(xùn)練集5 115張，測試集569張，比值為9∶1，利用標(biāo)注軟件來進行手工標(biāo)注，數(shù)據(jù)標(biāo)簽是car（汽車）、bus（公交車）兩類。

圖7 數(shù)據(jù)擴增效果圖

3.2 實驗環(huán)境

實驗的硬件環(huán)境：RTX2070 GPU 顯卡、Intel(R)Core(TM) i5-9400F CPU @ 2.90 GHz。軟件環(huán)境：Windows10、Python 3.6.2、CUDA 10.0、Pytorch 1.2.0。

4 實驗結(jié)果與分析

4.1 模型評估指標(biāo)

利用實驗結(jié)果所得的精確率（Precision）、模型查全性能的召回率（Recall）、模型整體性能的F1 值、類別平均精度AP（Average Precision）[20]作為模型好壞的標(biāo)準(zhǔn)。mAP 和AP 的相關(guān)計算如式（6）所示：

式中，TP 指檢測出正確的車輛數(shù)，比如實際為car 的樣本，檢測出來也為car，F(xiàn)P 指檢測出錯誤的車輛數(shù)，比如實際為非car，檢測出來為car，F(xiàn)N 指沒有正確檢測出的車輛數(shù)，比如實際為car，檢測為非car。F1 表示綜合評價指標(biāo)，F(xiàn)1 是P和R同時達到最高，取到平衡的值，公式如式（7）所示：

4.2 實驗結(jié)果

該次實驗是以VOC 數(shù)據(jù)集的預(yù)訓(xùn)練模型為基礎(chǔ)進行訓(xùn)練完成的，該訓(xùn)練方法提高了模型在未訓(xùn)練數(shù)據(jù)上良好的表現(xiàn)能力，使訓(xùn)練更穩(wěn)定，減少了訓(xùn)練模型的時間。算法改進前后檢測效果如圖8、9 所示，從檢測結(jié)果可以看出，改進后的算法在檢測車輛時的準(zhǔn)確度得到了提升，并且降低了漏檢率。

圖8 YOLOv4算法檢測結(jié)果

圖9 改進的YOLOv4算法檢測結(jié)果

實驗最后所得的busP-R曲線如圖10 所示，carP-R曲線如圖11 所示，其中橫坐標(biāo)代表召回率（Recall），縱坐標(biāo)代表精確率（Precision），bus 的AP值為86.05%，car 的AP 值為86.21%。

圖10 bus P-R圖

圖11 car P-R曲線

使用相同的數(shù)據(jù)集，做改進YOLOv4 算法和YOLOv4、YOLOv3 對比實驗，實驗結(jié)果如表1 所示。

表1 不同算法的性能對比

由表可知，改進后算法較原YOLOv4 算法mAP值提高了7.31%，相比于YOLOv3 算法提高了8.83%。各項評估值均有不同程度的提升，達到了預(yù)期的結(jié)果。

5 結(jié)束語

通過改進YOLOv4 算法，解決了在復(fù)雜環(huán)境下車輛檢測精確率低的問題。實驗由兩部分組成：通過圖像處理算法擴充數(shù)據(jù)集和修改YOLOv4 網(wǎng)絡(luò)，對比實驗結(jié)果可知，改進后的YOLOv4 的mAP 達到了86.13%，召回率和精確率均比原YOLOv4 有較高的提升，達到了預(yù)期的效果，但是還存在網(wǎng)絡(luò)模型參數(shù)大的問題，下一步的重點是減少網(wǎng)絡(luò)模型參數(shù)量，方便YOLOv4 模型在移動端部署，減少對其內(nèi)存的占用。