基于目標(biāo)檢測網(wǎng)絡(luò)的交通標(biāo)志識別

摘 ?要：在無人駕駛和駕駛輔助領(lǐng)域，交通標(biāo)志識別是非常重要的。利用YOLOv4算法的實(shí)時(shí)性檢測效果，本文提出了一種基于YOLOv4的交通標(biāo)志識別框架，主要識別LISA數(shù)據(jù)集中的四種交通標(biāo)志：禁止標(biāo)志、行人通過標(biāo)志、前進(jìn)標(biāo)志、限速標(biāo)志，為了進(jìn)一步提高YOLOv4的實(shí)驗(yàn)性能，采用K-means算法對實(shí)驗(yàn)數(shù)據(jù)進(jìn)行聚類分析，確定適合LISA數(shù)據(jù)集的先驗(yàn)框大小，實(shí)驗(yàn)結(jié)果表明改進(jìn)后的框架對比原始的yolov4框架和YOLOv3框架，其mAP值分別提高了0.37%和1.04%，說明改進(jìn)后的YOLOv4框架在交通標(biāo)志識別方面具有較高的實(shí)用價(jià)值。

關(guān)鍵詞：目標(biāo)檢測;交通標(biāo)志識別;K-means算法;LISA數(shù)據(jù)集

中圖分類號：TP311.5 ? ? 文獻(xiàn)標(biāo)識碼：A

Traffic Sign Recognition based on Target Detection Network

HE Kaihua

（Zhejiang Sci-Tech University， Computer Technology， Hangzhou 310018， China）

1137730657@qq.com

Abstract： Traffic sign recognition plays a crucial role in the field of unmanned driving and driving assistance. In view of the real-time detection effect of YOLOv4 （You Only Look Once， YOLO） algorithm， this paper proposes a traffic sign recognition framework based on YOLOv4， which mainly identifies four types of traffic signs in LISA dataset： stop， crosswalk， go， and speed limit. In order to improve the experimental performance of YOLOv4， K-means algorithm is used to conduct cluster analysis on the experimental data and determine a suitable size for the LISA dataset. Experimental results show that compared with the original YOLOv4 and YOLOv3 framework， the improved framework's mAP （mean Average Precision） value is improved by 0.37% and 1.04%， indicating that the improved YOLOv4 is of great practical value in traffic sign recognition.

Keywords： target detection; traffic sign recognition; K-means algorithm; LISA dataset

1 ? 引言（Introduction）

目標(biāo)檢測是計(jì)算機(jī)視覺領(lǐng)域中一項(xiàng)重要的研究課題，主要是利用機(jī)器的自主學(xué)習(xí)能力來檢測圖像中是否存在預(yù)定的目標(biāo)。目標(biāo)檢測網(wǎng)絡(luò)的定義為在給定的圖像或者視頻中，判斷其中是否存在多個(gè)預(yù)定義類別的任何目標(biāo)實(shí)例。如果存在，則返回每一個(gè)實(shí)例的空間位置和覆蓋范圍。傳統(tǒng)的目標(biāo)檢測算法的基本流程分為：區(qū)域選擇、特征提取及分類器分類，區(qū)域選擇使用傳統(tǒng)的滑動窗口對整幅圖像進(jìn)行遍歷，來確定圖像中目標(biāo)的位置。常用SIFT（Scale-Invariant Feature Transform，尺度不變特征變換）和HOG（Histogram of Oriented Gradient，方向梯度直方圖）對圖像進(jìn)行特征提取，最后使用SVM（Support Vector Machine，支持向量機(jī)）、Adaboost等分類器進(jìn)行分類。但是傳統(tǒng)的目標(biāo)檢測算法步驟流程在基于滑動窗口的區(qū)域選擇時(shí)，時(shí)間復(fù)雜度高、窗口冗余，并且手工提取特征的魯棒性不高。綜上所述，傳統(tǒng)的目標(biāo)檢測方法受限條件比較多，很難達(dá)到很好的識別準(zhǔn)確率。近年來，隨著深度學(xué)習(xí)廣泛運(yùn)用于圖像領(lǐng)域，基于卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測算法[1]也取得了很大的成就，其大致可以分為兩大類：基于區(qū)域生成的目標(biāo)檢測算法：如R-CNN[2]、Fast R-CNN[3]、Faster R-CNN[4]?；诨貧w的目標(biāo)檢測算法：如SSD[5]、YOLO[6]系列、retina-net[7]。本文使用YOLOv4[8]目標(biāo)檢測算法對交通道路場景下的4種主要的交通標(biāo)志進(jìn)行識別。

本文主要的工作內(nèi)容如下：

（1）針對目標(biāo)定位不準(zhǔn)確的問題，對于不同的實(shí)驗(yàn)數(shù)據(jù)集，重新調(diào)整anchor值的大小。

（2）通過圖像增強(qiáng)的方法，分別從旋轉(zhuǎn)角度、飽和度、曝光量、色度這四個(gè)方面來增加實(shí)驗(yàn)數(shù)據(jù)集的數(shù)量。

（3）將YOLOv4、YOLOv3和更改anchor值后的YOLOv4進(jìn)行了對比實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果表明更新anchor值后的YOLOv4的實(shí)驗(yàn)效果是最好的。

2 ? YOLOv4算法（YOLOv4 algorithm）

2.1 ? YOLOv4框架介紹

YOLOv4目標(biāo)檢測算法是眾多目標(biāo)檢測算法中的一種，是一種端到端的檢測算法。主要以CSPDarknet53網(wǎng)絡(luò)為基礎(chǔ)，利用殘差網(wǎng)絡(luò)來進(jìn)行深層特征的提取，最終經(jīng)過多尺寸的特征層得到目標(biāo)的類別和位置。

YOLOv4網(wǎng)絡(luò)的整體框架和YOLOv3[9]網(wǎng)絡(luò)是一樣的，主要是在YOLOv3的基礎(chǔ)之上進(jìn)行四個(gè)方面的改進(jìn)。

（1）輸入端的改進(jìn)：主要是對輸入數(shù)據(jù)進(jìn)行Mosaic增強(qiáng)，通過選取四張圖像進(jìn)行隨機(jī)裁剪、隨機(jī)拼接、隨機(jī)排布來達(dá)到豐富數(shù)據(jù)集的效果，并且由于拼接操作增加了很多小目標(biāo)，增加了網(wǎng)絡(luò)對于小目標(biāo)識別的魯棒性。

（2）Backbone主干特征提取網(wǎng)絡(luò)的改進(jìn)：使用CSPDarknet53，相比YOLOv3中的Darknet53網(wǎng)絡(luò)多了五個(gè)CSP[10]模塊，并且只在主干網(wǎng)絡(luò)中使用Mish[11]激活函數(shù)，網(wǎng)絡(luò)其余部分使用Leaky_relu激活函數(shù)。使用Dropblock[12]正則化方式隨機(jī)刪除神經(jīng)元的數(shù)量，簡化網(wǎng)絡(luò)結(jié)構(gòu)，防止過擬合。

（3）Neck：目標(biāo)檢測網(wǎng)絡(luò)在Backbone和最后的輸出層之間添加了SPP[13]（Spatial Pyramid Pooling，空間金字塔）模塊和FPN+PAN[14]（Path Aggregation Network，路徑聚合網(wǎng)絡(luò)）模塊。

（4）預(yù)測模塊：將訓(xùn)練時(shí)的損失函數(shù)改為CLOU_Loss，將預(yù)測篩選框的nms改為DIOU_nms。這樣做的好處是將重疊面積、中心點(diǎn)距離、長寬比這三個(gè)因素都考慮到了。

2.2 ? anchors的更新

anchor值的大小對于YOLOv4目標(biāo)檢測網(wǎng)絡(luò)十分重要，它是由當(dāng)前數(shù)據(jù)集通過K-means[15]聚類算法統(tǒng)計(jì)出來的，合適的anchor值能夠加快網(wǎng)絡(luò)的收斂速度，降低誤差。在原始的YOLOv4目標(biāo)檢測網(wǎng)絡(luò)中，anchor值是針對coco數(shù)據(jù)集的，所以為了提高對于本次實(shí)驗(yàn)物體的定位精度，重新使用K-means聚類算法對anchor值進(jìn)行更新，更新后的anchor值，詳見表1。

3 ? 實(shí)驗(yàn)（Experiment）

3.1 ? 實(shí)驗(yàn)框架結(jié)構(gòu)

使用CSPDarknet-53網(wǎng)絡(luò)時(shí)，首先根據(jù)檢測的對象對算法中的配置文件進(jìn)行修改，將檢測類別按照檢測所需修改為四類，然后將CSPDarknet-53網(wǎng)絡(luò)加入到Y(jié)OLOv4網(wǎng)絡(luò)中，根據(jù)GPU的實(shí)際使用情況，修改網(wǎng)絡(luò)參數(shù)，然后使用訓(xùn)練集進(jìn)行模型訓(xùn)練。

交通標(biāo)志識別檢測過程，如圖1所示。

首先利用YOLOv4檢測算法對已經(jīng)完成預(yù)處理的圖像數(shù)據(jù)進(jìn)行模型訓(xùn)練，得到適合該場景的最優(yōu)模型并保存。測試檢測目標(biāo)時(shí)將輸入圖像放入對應(yīng)的YOLOv4目標(biāo)檢測測試腳本中，并通過保存下來的最優(yōu)模型進(jìn)行多目標(biāo)測試，最終選擇置信度最高的邊框輸出。由于本實(shí)驗(yàn)的檢測對象為交通場景下的四種主要交通標(biāo)志，具體為禁止標(biāo)識、行人通過標(biāo)識、限速標(biāo)識和前進(jìn)標(biāo)識，所以得到的模型僅能夠檢測這四種交通標(biāo)識類別。

3.2 ? 實(shí)驗(yàn)數(shù)據(jù)集的準(zhǔn)備

本文的數(shù)據(jù)集為LISA[16]數(shù)據(jù)集，主要檢測四種交通標(biāo)志，分別為禁止標(biāo)志（Stop）、行人通過標(biāo)志（Crosswalk）、前進(jìn)標(biāo)志（Go）、限速標(biāo)志（Speed Limit）。其各自的標(biāo)志樣例，如圖2所示。

實(shí)驗(yàn)數(shù)據(jù)集參考Pascal voc 2007數(shù)據(jù)集的制作格式，對數(shù)據(jù)集中的數(shù)據(jù)進(jìn)行標(biāo)注，標(biāo)注完成后生成對應(yīng)的XML文件。本文中的交通標(biāo)識主要分為四大類，涵蓋了日常生活中最常見的幾種交通標(biāo)志。一共制作了4750張圖像，數(shù)據(jù)集會通過旋轉(zhuǎn)角度、調(diào)整飽和度、調(diào)整曝光量、增加色度這四個(gè)方面來增加數(shù)據(jù)集的數(shù)量，然后按照8：2的比例分成訓(xùn)練集和測試集。

3.3 ? 網(wǎng)絡(luò)的訓(xùn)練參數(shù)及實(shí)驗(yàn)設(shè)備配置

在ubuntu18.04操作系統(tǒng)下對YOLOv3、YOLOv4和優(yōu)化過的YOLOv4網(wǎng)絡(luò)分別進(jìn)行訓(xùn)練，實(shí)驗(yàn)所用計(jì)算機(jī)的硬件參數(shù)，詳見表2。

訓(xùn)練的初始參數(shù)，詳見表3。在訓(xùn)練迭代次數(shù)達(dá)到6400和7200時(shí)，將學(xué)習(xí)率分別降至初始學(xué)習(xí)率的10%和1%。

本實(shí)驗(yàn)訓(xùn)練圖像的大小為416×416，因此不同特征對應(yīng)的尺度是13×13、26×26、52×52，即每一個(gè)yolo層會輸出三個(gè)預(yù)測框（有三個(gè)yolo層，故共有九個(gè)anchor值），預(yù)測種類數(shù)為4，則卷積層的輸出維度為3×（4+1+4）=27。這樣能夠在維持準(zhǔn)確率的同時(shí)，減少網(wǎng)絡(luò)的運(yùn)算量，節(jié)約訓(xùn)練時(shí)間，提高實(shí)驗(yàn)?zāi)Ｐ偷臋z測精度和檢測速度。

3.4 ? 實(shí)驗(yàn)結(jié)果展示

實(shí)驗(yàn)數(shù)據(jù)AP值，如圖3所示。圖（a）為原始anchor大小下YOLOv4的目標(biāo)檢測結(jié)果、圖（b）為使用K-means聚類后YOLOv4的目標(biāo)檢測結(jié)果、圖（c）為YOLOv3的目標(biāo)檢測結(jié)果。

為了評估網(wǎng)絡(luò)模型的檢測效果，本文采用AP（Average Precision）值來衡量模型的效果，其值越大表明效果越好。

（a）YOLOv4+原始anchor值（b）YOLOv4+新anchor值（c）YOLOv3+原始anchor值

圖（a）和圖（c）使用的都是網(wǎng)絡(luò)原始的anchor值，實(shí)驗(yàn)結(jié)果表明YOLOv4的實(shí)驗(yàn)mAP值比YOLOv3的提升0.67%，更新anchor值后的YOLOv4的實(shí)驗(yàn)結(jié)果，如圖（b）所示，相比圖（a）其mAP值提升0.37%。更直觀的實(shí)驗(yàn)結(jié)果分析對比，詳見表4。

4 ? 結(jié)果（Result）

原始的YOLO架構(gòu)中的anchor值是對應(yīng)COCO數(shù)據(jù)集的，當(dāng)訓(xùn)練新的數(shù)據(jù)集時(shí)，需要使用K-means聚類方法對anchor值的大小重新進(jìn)行計(jì)算。從表4可得，這種做法能夠提升實(shí)驗(yàn)的mAP值。并且在測試階段，使用YOLOv3框架平均處理一張圖片的時(shí)間為66.31毫秒，而更新anchor值后的YOLOv4框架平均處理一張圖片的時(shí)間為52.72毫秒。綜上所述：不管是檢測的準(zhǔn)確性還是實(shí)時(shí)性，更新anchor值后的YOLOv4框架的總體性能是最優(yōu)的。

5 ? 結(jié)論（Conclusion）

本文介紹了道路交通場景下基于YOLOv4目標(biāo)檢測算法的交通標(biāo)志識別方法，包括了數(shù)據(jù)集的預(yù)處理、模型訓(xùn)練、調(diào)參優(yōu)化、檢測結(jié)果分析。實(shí)驗(yàn)結(jié)果表明，優(yōu)化后的YOLOv4的交通標(biāo)志識別模型已經(jīng)達(dá)到很好的效果，四種交通標(biāo)志類別識別的mAP值能夠達(dá)到98.9%，能夠準(zhǔn)確快速地檢測出四種交通標(biāo)志。并且使用相同的數(shù)據(jù)集和網(wǎng)絡(luò)參數(shù)在YOLOv3上進(jìn)行了對比實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果表明YOLOv4框架對比YOLOv3，其mAP值有1.04%的提升，并且前者對比后者的檢測時(shí)間快了13.59毫秒。CNN的訓(xùn)練需要大量的數(shù)據(jù)，在使用數(shù)據(jù)增強(qiáng)的方法之后，實(shí)驗(yàn)mAP值提高將近5.02%，使得最終的網(wǎng)絡(luò)模型具有非常優(yōu)秀的檢測效果。

參考文獻(xiàn)（References）

[1] 李杰. 基于卷積神經(jīng)網(wǎng)絡(luò)的交通標(biāo)志檢測算法研究[D]. 華中科技大學(xué)，2019.

[2] Girshick R， Donahue J， Darrell T， et al. Rich feature hierarchies for accurate object detection and semantic segmentation[C]. Proceedings of the IEEE conference on computer vision and pattern recognition， 2014： 580-587.

[3] Girshick R. Fast r-cnn[C]. Proceedings of the IEEE international conference on computer vision， 2015： 1440-1448.

[4] Ren S， He K， Girshick R， et al. Faster r-cnn： Towards real-time object detection with region proposal networks[C]. Advances in neural information processing systems， 2015： 91-99.

[5] Liu W， Anguelov D， Erhan D， et al. Ssd： Single shot multibox detector[C]. European conference on computer vision. Springer， Cham， 2016： 21-37.

[6] Redmon J， Divvala S， Girshick R， et al. You only look once： Unified， real-time object detection[C]. Proceedings of the IEEE conference on computer vision and pattern recognition， 2016： 779-788.

[7] Lin T Y， Goyal P， Girshick R， et al. Focal loss for dense object detection[C]. Proceedings of the IEEE international conference on computer vision， 2017： 2980-2988.

[8] Bochkovskiy A， Wang C Y， Liao H Y M. YOLOv4： Optimal Speed and Accuracy of Object Detection[J]. Computer Vision and Pattern Recognition， 2020， 17（9）： 198-215.

[9] Redmon J， Farhadi A. Yolov3： An incremental improvement[J]. Computer Vision and Pattern Recognition， 2018， 22（4）： 17-23.

[10] Wang C Y， Mark Liao H Y， Wu Y H， et al. CSPNet： A new backbone that can enhance learning capability of cnn[C]. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops， 2020： 390-391.

[11] Misra D. Mish： A self regularized non-monotonic neural activation function[J]. Machine Learning， 2019， 18（5）： 5-21.

[12] Ghiasi G， Lin T Y， Le Q V. Dropblock： A regularization method for convolutional networks[C]. Advances in Neural Information Processing Systems， 2018： 10727-10737.

[13] Ghiasi G， Lin T Y， Le Q V. Dropblock： A regularization method for convolutional networks[C]. Advances in Neural Information Processing Systems， 2018： 10727-10737.

[14] Liu S， Qi L， Qin H， et al. Path aggregation network for instance segmentation[C]. Proceedings of the IEEE conference on computer vision and pattern recognition. 2018： 8759-8768.

[15] Cover T， Hart P. Nearest neighbor pattern classification[J]. Nearest neighbour pattern classification. IEEE Transactions on Information Theory， 1967， 13（1）：21-27.

[16] Li L， Li X， Cheng C， et al. Research collaboration and ITS topic evolution： 10 years at T-ITS[J]. IEEE Transactions on Intelligent Transportation Systems， 2010， 11（3）： 517-523.

作者簡介：

何凱華（1995-），男，碩士生.研究領(lǐng)域：圖像處理.