一種基于深度學(xué)習(xí)的交通標(biāo)志識別算法研究

謝豆 石景文 劉文軍 劉澍

摘要：針對當(dāng)前在真實環(huán)境中交通標(biāo)志呈多尺度分布，且圖像背景復(fù)雜、天氣光照多變等多種因素造成識別精度低、識別速度慢等情況。提出了一種基于深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的交通標(biāo)志識別的設(shè)計與實現(xiàn)。首先從公開數(shù)據(jù)集TT100K中選取出現(xiàn)次數(shù)最多的45類交通標(biāo)志進(jìn)行識別，接著對圖像進(jìn)行mosaic等圖像增強(qiáng)及圖像處理。然后在深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)中的YOLOv4網(wǎng)絡(luò)結(jié)構(gòu)上進(jìn)行改進(jìn)，使用聚類劃分需要檢測的目標(biāo)框尺寸和CIOU對預(yù)測結(jié)果進(jìn)行優(yōu)化，最后使用遷移學(xué)習(xí)對模型進(jìn)行訓(xùn)練。通過對模型的評估發(fā)現(xiàn)，與現(xiàn)有的方法相比，該模型的識別精度更高，識別速度更快。

關(guān)鍵詞：深度學(xué)習(xí);目標(biāo)檢測;交通標(biāo)志檢測;YOLOv4

中圖分類號：TP393? ? ?文獻(xiàn)標(biāo)識碼：A

文章編號：1009-3044（2022）06-0116-03

開放科學(xué)（資源服務(wù)）標(biāo)識碼（OSID）：

1 概述

近年來，交通標(biāo)志識別作為智能駕駛中一個重要的組成部分，引起了人們的廣泛研究。準(zhǔn)確快速地識別出各種交通標(biāo)志能幫助駕駛員規(guī)范行駛，從而能夠提高出行效率，降低交通事故的發(fā)生。

傳統(tǒng)的交通標(biāo)志識別方式主要采用基于計算機(jī)視覺和機(jī)器學(xué)習(xí)模型的方法 [1-2]。如Nandi等人[1]通過圖片的不同色彩空間進(jìn)行識別、對交通標(biāo)志的形狀及輪廓進(jìn)行分割提取交通標(biāo)志、融合交通標(biāo)志的形狀與色彩特征和采用深度學(xué)習(xí)中的神經(jīng)網(wǎng)絡(luò)進(jìn)行識別。Gao等人[2]根據(jù)每個交通標(biāo)志的顏色和形狀的不同來區(qū)分。采用色彩模型CIECAM97和形狀模型提取出不同的交通標(biāo)志進(jìn)行判別。這些研究方法需要對圖像做復(fù)雜的圖像處理，減慢了檢測速度。且靈活性弱，不能應(yīng)用在多種不同的應(yīng)用場景下。

當(dāng)前基于深度學(xué)習(xí)的交通標(biāo)志識別逐漸成為研究的主流[3-5]。張傳偉等人[3]使用目標(biāo)檢測模型YOLO構(gòu)建交通標(biāo)志識別模型，魏龍等人[4]則采用改進(jìn)的YOLO模型進(jìn)一步優(yōu)化交通標(biāo)志識別的效果。基于神經(jīng)網(wǎng)絡(luò)識別交通標(biāo)志的優(yōu)勢是在不對原始圖像進(jìn)行過多的圖像處理的情況下，滿足在差異性大的環(huán)境中正確識別交通標(biāo)志的需求。

當(dāng)前的目標(biāo)檢測算法主要分為兩類：一階檢測算法和二階檢測算法。二階檢測算法將分開進(jìn)行的檢測步驟合二為一，具有更好的實時性。一類代表性的為YOLO系列[6-7]。本文提出的一種基于改進(jìn)的深度學(xué)習(xí)的交通標(biāo)志識別算法研究。對傳統(tǒng)的YOLOv4模型進(jìn)行改進(jìn)，并采用遷移學(xué)習(xí)進(jìn)行模型訓(xùn)練。在大大縮短訓(xùn)練時間的情況下，保證了模型精度的提升。

2 檢測算法設(shè)計

2.1 準(zhǔn)備數(shù)據(jù)集

在訓(xùn)練深度學(xué)習(xí)目標(biāo)檢測模型之前，選擇適合的數(shù)據(jù)集尤為重要。在交通標(biāo)志數(shù)據(jù)集方面，當(dāng)前公開且滿足一定數(shù)量的數(shù)據(jù)集主要有五個。分別是針對美國交通的LISA數(shù)據(jù)集、針對比利時交通的BTSD數(shù)據(jù)集和針對德國交通的GTSDB數(shù)據(jù)集和TT100K數(shù)據(jù)集。本文選擇針對中國交通的數(shù)據(jù)集TT100K數(shù)據(jù)集作為模型訓(xùn)練的數(shù)據(jù)集。如圖1所示，從數(shù)據(jù)集中選出最常見的三類交通標(biāo)志（包括禁令標(biāo)志、指示標(biāo)志和警告標(biāo)志）。由于原始數(shù)據(jù)集數(shù)據(jù)巨大，本文從中選取在道路中出現(xiàn)次數(shù)最多的45類交通標(biāo)志進(jìn)行訓(xùn)練。

2.2 數(shù)據(jù)集標(biāo)注

與進(jìn)行圖片分類的數(shù)據(jù)集不同，進(jìn)行圖片目標(biāo)檢測的數(shù)據(jù)集不僅需要給圖片打標(biāo)簽，還要對圖片中物體的位置信息進(jìn)行標(biāo)注。需要在標(biāo)注文件中標(biāo)明每張圖片所在文件夾、圖片名稱、路徑、大?。ㄒ韵袼貫閱挝唬?、深度（圖片通道數(shù)，通常為3）、特別是圖中所出現(xiàn)的交通標(biāo)志的標(biāo)簽、交通標(biāo)志的坐標(biāo)位置等。

關(guān)于圖片中物體位置的標(biāo)注需先將原始數(shù)據(jù)集的格式轉(zhuǎn)換為PASCAL VOC數(shù)據(jù)格式，再轉(zhuǎn)換為YOLO數(shù)據(jù)格式，如圖2所示。兩種數(shù)據(jù)格式存在不同：PASCAL VOC數(shù)據(jù)包含了物體左上角橫縱坐標(biāo)和右下角橫縱坐標(biāo)。YOLO格式關(guān)于物體的位置信息則為目標(biāo)的中心點橫坐標(biāo)與圖片總寬度之比、目標(biāo)的中心點縱坐標(biāo)與圖片總高度之比、目標(biāo)框的寬度與圖片總寬度之比、目標(biāo)框的高度與圖片總高度之比。

2.3 訓(xùn)練模型構(gòu)建

準(zhǔn)備好數(shù)據(jù)集后開始構(gòu)建交通標(biāo)志檢測所需的模型結(jié)構(gòu)。如圖3所示，本文使用模型的主要結(jié)構(gòu)有4個，分別是CSPDarknet53、SPP、PANet和YoLoHead結(jié)構(gòu)。CSPDarknet53負(fù)責(zé)對接收的圖片數(shù)據(jù)進(jìn)行初步的特征處理，接收的圖片數(shù)據(jù)大小為416px*416px。使用連續(xù)堆疊的卷積能夠提取更高維度的特征信息。SPP和PANet為特征金字塔，對不同大小的卷積輸出進(jìn)行差異化處理。

YOLOHead結(jié)構(gòu)負(fù)責(zé)對接收的特征層進(jìn)行分類檢測。經(jīng)過前面結(jié)構(gòu)的特征提取后，會輸出三類不同尺寸大小的卷積層。YOLOHead分別將這三類卷積特征換分成不同大小的網(wǎng)格。每個網(wǎng)格對類別進(jìn)行預(yù)測，將最后得到的3個預(yù)測框與預(yù)先設(shè)置好的anchor尺寸大小進(jìn)行NMS（非極大值抑制），保留尺寸最佳的預(yù)測框。最后，將預(yù)測框送入回歸算法中進(jìn)行分析，得出預(yù)測框的最終類別。

2.4 模型訓(xùn)練

模型參數(shù)設(shè)置是不斷測試與調(diào)整的過程。經(jīng)過多次訓(xùn)練調(diào)整，設(shè)置最優(yōu)的模型訓(xùn)練參數(shù)。接收的訓(xùn)練圖片格式為3通道、大小為416px*416px。每一批訓(xùn)練的樣本數(shù)量為16，總共訓(xùn)練90000批次。學(xué)習(xí)動量為0.949、學(xué)習(xí)率為0.001，在訓(xùn)練批數(shù)達(dá)到1000次后采用余弦退火衰減的方式更新學(xué)習(xí)率。訓(xùn)練批數(shù)迭代到72000次和81000次時，依次在原來的學(xué)習(xí)率基礎(chǔ)上衰減10倍。

為了在提高模型精度的同時減少訓(xùn)練時間，采用特定模型預(yù)訓(xùn)練后進(jìn)行遷移學(xué)習(xí)予以輔助。本文預(yù)訓(xùn)練為學(xué)習(xí)完COCO數(shù)據(jù)集后獲得的模型。COCO數(shù)據(jù)集包含的數(shù)據(jù)種類多、且多為真實場景中的數(shù)據(jù)，與本系統(tǒng)模型要訓(xùn)練的數(shù)據(jù)集更貼合。

2.5 模型優(yōu)化

要想使模型檢測達(dá)到理想的精度，除了高質(zhì)量的數(shù)據(jù)集和選擇正確的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)還需要對模型進(jìn)行不斷的優(yōu)化。常見的模型優(yōu)化方法有變換激活函數(shù)、更換學(xué)習(xí)率、增加數(shù)據(jù)集多樣性等。本文采用的模型優(yōu)化方法有使用mish激活函數(shù)、采用masaic對樣本進(jìn)行數(shù)據(jù)增強(qiáng)、使用余弦退火衰減變換訓(xùn)練時的學(xué)習(xí)速率和在選擇預(yù)測框時使用CIOU策略進(jìn)行計算。

本系統(tǒng)中除了對圖片進(jìn)行自適應(yīng)對比度變換還進(jìn)行了masaic處理。masaic是一種可以完整進(jìn)行圖片數(shù)據(jù)增強(qiáng)的策略。如圖4所示，在圖中最左端的原始圖像中，masaic對每一張圖片隨機(jī)進(jìn)行方向上的轉(zhuǎn)變、圖片大小的調(diào)節(jié)和圖片色域的變換，豐富圖片類型。每張圖片進(jìn)行第一輪處理后會歸為合適大小，由原來的四張圖片合成為一張圖片。如此一來，原本單一的圖片背景將更加多樣，模型從一張圖片中學(xué)習(xí)到的信息也更多。在節(jié)省訓(xùn)練計算資源的同時也提高了模型的泛化效果。

2.6 模型評估

對模型進(jìn)行評估有利于對模型進(jìn)一步的優(yōu)化，保障模型的質(zhì)量。本文中的模型評估通過Map值、損失率、平均精確度等對模型進(jìn)行多方位的考量。

如圖5給出了模型評估實驗，橫坐標(biāo)為模型訓(xùn)練的批次數(shù)，縱坐標(biāo)為損失值與Map值。損失曲線用藍(lán)色表示，Map值曲線為紅色表示。

[AP=R∈（0，0.1...1）maxρ（R）] （1）

[Map=APC] （2）

如公式（1）所示，R為召回率（recall），召回率為正樣本中預(yù)測正確的數(shù)量與所有正樣本之比。準(zhǔn)確率則為預(yù)測正確的數(shù)量與所有預(yù)測結(jié)果之比。一個模型中有多個召回率與準(zhǔn)確率，為了使評價系數(shù)更全面，使用公式（1）將召回率與準(zhǔn)確率結(jié)合運算得出平均準(zhǔn)確率AP。將所有的召回率R平分為11個區(qū)間，每個區(qū)間內(nèi)包含多個準(zhǔn)確率。將這些在同一個區(qū)間內(nèi)的準(zhǔn)確率集合用表示。每個區(qū)間內(nèi)最大的準(zhǔn)確率用maxρ（R）表示。最后將得到的11個數(shù)值求得均值結(jié)果就是平均準(zhǔn)確率。而Map值則可以用公式（2）得出。AP為平均準(zhǔn)確率、C表示模型需要識別的類別數(shù)。平均準(zhǔn)確率與類別數(shù)之比為Map值。在訓(xùn)練完成后，平均損失低至0.1774，Map值也達(dá)到了89.8%。效果良好，優(yōu)于大多數(shù)預(yù)測模型。

將模型與訓(xùn)練相同樣本的其他模型進(jìn)行對比。如圖6中與Fast-rcnn模型對比，柱形圖表示Fast-rcnn模型的平均準(zhǔn)確率、折線圖表示本系統(tǒng)給出的模型平均準(zhǔn)確率。橫坐標(biāo)為預(yù)測的標(biāo)簽名稱，縱坐標(biāo)為平均準(zhǔn)確率數(shù)值。檢測結(jié)果顯示本系統(tǒng)模型的檢測效果精度高，每類標(biāo)簽識別精度差距小且都優(yōu)于Fast-rcnn模型。

3 系統(tǒng)實現(xiàn)

在模型實驗情況良好的情況下，為了將模型部署在終端中進(jìn)行簡單操作即可使用：運用PyQt5語言搭建桌面程序。終端程序包含三個主要功能：對圖片進(jìn)行交通標(biāo)志檢測、對視頻進(jìn)行交通標(biāo)志檢測和對攝像頭進(jìn)行交通標(biāo)志檢測。如圖7所示，顯示了終端進(jìn)行視頻交通標(biāo)志檢測的畫面。當(dāng)用戶運行軟件時，點擊視頻檢測按鈕即可選擇對應(yīng)的視頻文件進(jìn)行檢測。與攝像頭檢測與圖片檢測相似，程序會將檢測的原始畫面與檢測后的畫面同時顯示。并將檢測到的交通標(biāo)志截圖放大顯示。在文本框中，會顯示對應(yīng)的檢測結(jié)果，顯示順序為交通標(biāo)志對應(yīng)的標(biāo)簽名和交通標(biāo)志在畫面中的坐標(biāo)位置。程序還能夠?qū)z測信息進(jìn)行保存與錄像，大大方便了用戶使用。

4 結(jié)論

基于目標(biāo)檢測YOLOv4模型，在TT100K數(shù)據(jù)集上進(jìn)行訓(xùn)練，并且在經(jīng)過模型訓(xùn)練、優(yōu)化與評估后取得了Map值為89%的良好性能，實驗表明，模型在速度與精度上具有較好的競爭力，通過PyQt對模型進(jìn)行集成，給出了初步的應(yīng)用系統(tǒng)方案，后續(xù)將深入對模型檢測速度與精度的進(jìn)一步提升。

參考文獻(xiàn)：

[1] Nandi D，Saifuddin Saif A F M，Paul P，et al.Traffic sign detection Based on color segmentation of obscure image candidates：a comprehensive study[J].International Journal of Modern Education and Computer Science，2018，10（6）：35-46.

[2] Gao X W，Podladchikova L，Shaposhnikov D，et al.Recognition of traffic signs Based on their colour and shape features extracted using human vision models[J].Journal of Visual Communication and Image Representation，2006，17（4）：675-685.

[3] 張傳偉，李妞妞，岳向陽，等.基于改進(jìn)YOLOv2算法的交通標(biāo)志檢測[J].計算機(jī)系統(tǒng)應(yīng)用，2020，29（6）：155-162.

[4] 魏龍，王羿，姚克明.基于改進(jìn)YOLO v4的小目標(biāo)檢測方法[J].軟件導(dǎo)刊，2021，20（7）：54-58.

[5] 何銳波，狄嵐，梁久禎.一種改進(jìn)的深度學(xué)習(xí)的道路交通標(biāo)識識別算法[J].智能系統(tǒng)學(xué)報，2020，15（6）：1121-1130.

[6] Redmon J，Divvala S，Girshick R，et al.You only look once：unified，real-time object detection[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition.June 27-30，2016，Las Vegas，NV，USA.IEEE，2016：779-788.

[7] Bochkovskiy A， Wang C Y， Liao H Y M. Yolov4： Optimal speed and accuracy of object detection[J]. arXiv preprint arXiv： 2004.10934， 2020.

【通聯(lián)編輯：梁書】