改進(jìn)YOLOv5的交通標(biāo)志檢測(cè)算法

胡昭華，王 瑩

1.南京信息工程大學(xué) 電子與信息工程學(xué)院，南京 210044

2.南京信息工程大學(xué) 江蘇省大氣環(huán)境與裝備技術(shù)協(xié)同創(chuàng)新中心，南京 210044

交通標(biāo)志檢測(cè)的任務(wù)是在圖像或視頻中顯示出交通標(biāo)志的類別及位置。交通標(biāo)志檢測(cè)是智能交通系統(tǒng)中重要組成部分，在無(wú)人駕駛、自動(dòng)駕駛等很多領(lǐng)域均被廣泛應(yīng)用。因此，交通標(biāo)志檢測(cè)研究有很高的研究意義和應(yīng)用價(jià)值。

交通標(biāo)志檢測(cè)研究可劃分為傳統(tǒng)方法和基于深度學(xué)習(xí)的方法。其中，傳統(tǒng)的方法利用外觀、顏色特征進(jìn)行檢測(cè)交通標(biāo)志[1-2]，但是特征提取依賴手工，存在很多局限，不滿足交通標(biāo)志檢測(cè)實(shí)時(shí)性、精確性的要求。2014年，R-CNN首次將卷積網(wǎng)絡(luò)用于目標(biāo)檢測(cè)[3]，自此以后，基于深度學(xué)習(xí)方法開始廣泛應(yīng)用于交通標(biāo)志檢測(cè)?；谏疃葘W(xué)習(xí)的目標(biāo)檢測(cè)算法主要分為兩個(gè)方向：基于一階段檢測(cè)與雙階段檢測(cè)算法。一階段檢測(cè)算法主要有：YOLOv2[4]、YOLOv3[5]、EfficientDet[6]以及SSD[7]等。雙階段檢測(cè)算法主要有Fast R-CNN[8]、Faster R-CNN[9]、SPP-Net[10]以及HyperNet[11]網(wǎng)絡(luò)等。

Zhu等人[12]創(chuàng)建了新的交通標(biāo)志檢測(cè)基準(zhǔn)（Tsinghua-Tencent100K，TT100K）與廣泛使用的檢測(cè)基準(zhǔn)（german traffic sign detection benchmark，GTSDB）[13]相比，圖像數(shù)量更多、分辨率更高、背景更加復(fù)雜，很多研究在此基準(zhǔn)上進(jìn)行。由于交通標(biāo)志目標(biāo)較小、分辨率低，Li等人[14]介紹了新的感知對(duì)抗網(wǎng)絡(luò)，利用重復(fù)更新的生成器網(wǎng)絡(luò)和鑒別器網(wǎng)絡(luò)為小對(duì)象生成超分辨率表示，將小的交通標(biāo)志分辨率增加，以提高檢測(cè)性能。Liu等人[15]提出對(duì)深層特征進(jìn)行反卷積，并將其與淺層特征連接起來(lái)，利用淺層特征解決由于交通標(biāo)志尺寸小帶來(lái)的檢測(cè)困難問(wèn)題。Wan等人[16]在YOLOv3基礎(chǔ)上進(jìn)行各種優(yōu)化策略，包括網(wǎng)絡(luò)剪枝、四尺度預(yù)測(cè)分支和損失函數(shù)改進(jìn)，以此來(lái)解決小交通標(biāo)志檢測(cè)的帶來(lái)挑戰(zhàn)。Tang等人[17]基于交通標(biāo)志的統(tǒng)計(jì)特性，提出了一種新的集成特征金字塔網(wǎng)絡(luò)和特征聚合，從而增強(qiáng)網(wǎng)絡(luò)對(duì)交通標(biāo)志大小差異的魯棒性。以YOLOv5為基礎(chǔ)，設(shè)計(jì)了一種記憶性特征融合網(wǎng)絡(luò)，輸入采用可見(jiàn)標(biāo)簽比，利用模塊增強(qiáng)主干網(wǎng)絡(luò)的特征提取能力和減少模型采樣損失，做到了準(zhǔn)確和實(shí)時(shí)的交通燈檢測(cè)[18]。雖然現(xiàn)有的檢測(cè)算法在交通標(biāo)志檢測(cè)方面取得了較好的成績(jī)，但是由于交通標(biāo)志中小目標(biāo)占比大，且小目標(biāo)分辨率低，在實(shí)際檢測(cè)中存在很多困難，比如：檢測(cè)精度低、漏檢等問(wèn)題。針對(duì)以上分析，交通標(biāo)志檢測(cè)還待進(jìn)一步研究。

由于在交通標(biāo)志檢測(cè)中小目標(biāo)占比大，所以提高小目標(biāo)檢測(cè)精度這一短板，整體檢測(cè)精度就能提升。本研究旨在提高交通標(biāo)志中小目標(biāo)檢測(cè)的精度和召回率，從而提升整體的檢測(cè)性能，更好地將交通標(biāo)志檢測(cè)用于實(shí)際生活中。本文中算法以YOLOv5[19]框架為基礎(chǔ)進(jìn)行改進(jìn)，改進(jìn)思路如下：

（1）在特征提取主干中引入?yún)^(qū)域上下文模塊（regional context module，RCM），提高特征融合能力，充分利用周圍環(huán)境有效信息，為交通標(biāo)志的學(xué)習(xí)起到重要補(bǔ)充作用。一般來(lái)說(shuō)，背景信息和目標(biāo)信息具有很強(qiáng)的相關(guān)性。因此，該步驟有助于檢測(cè)小的交通標(biāo)志對(duì)象。

（2）在特征提取主干添加注意力模塊（shuffle attention，SA）[20]，與原C3結(jié)構(gòu)結(jié)合形成特征增強(qiáng)模塊（feature enhancement module，F(xiàn)EM），重新分配提取特征的權(quán)重，增強(qiáng)交通標(biāo)志小目標(biāo)的特征表達(dá)能力，提高主干的特征提取能力。

（3）在多尺度檢測(cè)環(huán)節(jié)，將深層特征與淺層特征進(jìn)一步融合，使輸出端在獲得高級(jí)語(yǔ)義信息的同時(shí)兼顧到淺層的位置信息，有利于小目標(biāo)的位置信息學(xué)習(xí)。

1 YOLOv5算法理論

YOLOv5屬于一階段檢測(cè)算法，一階段檢測(cè)算法與雙階段檢測(cè)算法相比少了中間負(fù)樣本篩選過(guò)程，所以YOLOv5具有一階段算法實(shí)時(shí)性的優(yōu)點(diǎn)。而且YOLOv5檢測(cè)精度在一階段檢測(cè)算法中較好，尤其在小目標(biāo)檢測(cè)方面。所以本文選擇YOLOv5算法為基礎(chǔ)進(jìn)行交通標(biāo)志檢測(cè)。

YOLOv5檢測(cè)流程可分為四部分：輸入端、Backbone主干部分、Neck頸部、輸出端。輸入端采用了自適應(yīng)圖像填充和Mosic數(shù)據(jù)增強(qiáng)，Mosic數(shù)據(jù)增強(qiáng)通過(guò)將4張圖片隨機(jī)裁剪、旋轉(zhuǎn)、縮放等方式隨機(jī)排放組成一張圖像，此數(shù)據(jù)增強(qiáng)方式可有效提高小目標(biāo)檢測(cè)精度；此外，輸入端還采用了自適應(yīng)錨框設(shè)計(jì)，更好地解決了不同數(shù)據(jù)集中目標(biāo)大小不同問(wèn)題，為數(shù)據(jù)集提供了更合適的預(yù)設(shè)錨框。主干部分采用了Focus切片操作，進(jìn)行下采樣，可以減少計(jì)算復(fù)雜度；C3模塊是一種殘差模塊組成的，有效減少計(jì)算量；SPPF結(jié)構(gòu)類似SPP結(jié)構(gòu)，可以實(shí)現(xiàn)不同尺度融合，YOLOv5有不同版本，5.0版本采用了SPP結(jié)構(gòu)，但是對(duì)于交通標(biāo)志檢測(cè)總體精度較低，SPPF在總體樣本上精度比SPP較高，所以本文在5.0基礎(chǔ)上將SPPF模塊替換了SPP模塊；頸部采用了路徑聚合PAN[21]結(jié)構(gòu)，可以有效實(shí)現(xiàn)特征不同尺度的融合。輸出端3個(gè)分支，分別用于大、中、小目標(biāo)檢測(cè)輸出。YOLOv5結(jié)構(gòu)如圖1所示。

圖1 YOLOv5結(jié)構(gòu)圖Fig.1 YOLOv5 structure diagram

2 改進(jìn)的YOLOv5算法

改進(jìn)后的YOLOv5算法在原算法的基礎(chǔ)上加以改進(jìn)，利用區(qū)域上下文信息能夠更好地補(bǔ)充交通標(biāo)志周圍的有效信息，具體做法是在主干中原SPPF位置加以改進(jìn)，構(gòu)造成區(qū)域上下文模塊RCM；并且為了更好地提取特征的有效信息，本文在主干的最后兩個(gè)原C3位置進(jìn)行構(gòu)造為特征增強(qiáng)模塊；在多尺度檢測(cè)階段，將檢測(cè)輸出頭與主干淺層特征進(jìn)行融合。改進(jìn)后的YOLOv5算法結(jié)構(gòu)如圖2所示。

圖2 改進(jìn)后的YOLOv5結(jié)構(gòu)圖Fig.2 Improved YOLOv5 structure diagram

2.1 區(qū)域上下文模塊

對(duì)于目標(biāo)檢測(cè)而言，待檢測(cè)目標(biāo)不可能單獨(dú)存在，它一定會(huì)和周圍的其他目標(biāo)或多或少存在某種關(guān)系，這就是通常所說(shuō)的上下文信息[22]。對(duì)于交通標(biāo)志檢測(cè)而言，周圍的交通標(biāo)志桿子等可以作為交通標(biāo)志的有效周圍信息，因此學(xué)習(xí)它們之間存在的關(guān)系，對(duì)交通標(biāo)志檢測(cè)起到非常重要的作用。

YOLOv5更新很快，現(xiàn)在已經(jīng)有了6.0版本。由于6.0版本省略了Focus切片，影響交通標(biāo)志檢測(cè)的精度，所以本文采用了5.0版本。SPPF結(jié)構(gòu)是6.0提出的，在總體樣本精度上比SPP模塊高，所以將SPPF模塊替換了SPP模塊。SPPF模塊如圖3所示，采用了5×5 maxpooling最大池化，最大池化雖然會(huì)擴(kuò)大感受野，但是會(huì)降低特征圖的分辨率，不利于網(wǎng)絡(luò)學(xué)習(xí)?？斩淳矸e（dalited convolution）具有可以學(xué)習(xí)上下文信息、擴(kuò)大感受野且不降低特征分辨率等優(yōu)點(diǎn)，所以本文將不同擴(kuò)張率的空洞卷積代替了最大池化。

圖3 SPPF模塊Fig.3 SPPF module

受RFB模塊影響[23]，優(yōu)化后的SPPF模塊包含四路分支，本文稱之為區(qū)域上下文模塊RCM。區(qū)域上下文模塊RCM如圖4所示，一共四路分支可分為兩類，分別用于提取較遠(yuǎn)處上下文信息和相鄰上下文信息。其中，較遠(yuǎn)處上下文信息首先通過(guò)空洞卷積擴(kuò)大感受野獲得，緊接著通過(guò)1×1卷積將信息細(xì)節(jié)處理；相鄰區(qū)域信息先通過(guò)1×1卷積獲得，緊接著經(jīng)過(guò)空洞卷積將信息局部擴(kuò)大處理。這兩類上下文信息中空洞卷積擴(kuò)張率（dilation rate，d）選擇相同，都采用了擴(kuò)張率d=3與d=4，從而可以獲得多個(gè)感受野信息，最后將較遠(yuǎn)處區(qū)域信息與相鄰區(qū)域信息進(jìn)行融合，構(gòu)成了區(qū)域上下文信息模塊RCM。此模塊可以學(xué)習(xí)到交通標(biāo)志目標(biāo)周圍區(qū)域的相關(guān)聯(lián)信息，從而起到重要的補(bǔ)充作用。

圖4 區(qū)域上下文RCM模塊Fig.4 Regional context RCM module

2.2 特征增強(qiáng)模塊FEM

注意力機(jī)制能夠使網(wǎng)絡(luò)更加關(guān)注重要的目標(biāo)信息，抑制無(wú)關(guān)的背景影響，在神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)中是一個(gè)重要的提升學(xué)習(xí)性能的組成部分。特征提取的關(guān)鍵環(huán)節(jié)在于網(wǎng)絡(luò)的Backbone主干部分，所以本文將注意力模塊SA加入了網(wǎng)絡(luò)的主干。

在神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)中，注意力機(jī)制主要有兩種：通道注意和空間注意。（convolutional block attention module，CBAM）[24]將通道與空間注意結(jié)合在一起，獲得較好的性能，但是計(jì)算量大且收斂困難。SA注意力模塊采用洗牌單元同時(shí)將注意通道與空間通道進(jìn)行結(jié)合，如圖5所示，首先將輸入大小為H×W×C的特征圖X沿通道尺寸進(jìn)行劃分為g組，這里g取64，得到矩陣[X1,X2,…,Xg]，然后對(duì)每個(gè)特征圖Xk（Xk大小為H×W×C/g），再沿通道劃分為Xk1、Xk2（Xk1、Xk2大小都為H×W×C/2g），Xk1、Xk2分別進(jìn)行通道注意channel atention與空間注意spatial atention處理。其中，通道注意是先進(jìn)行全局平均池化（global averaging pooling，GAP），具體表達(dá)式如下：

圖5 SA注意力模塊Fig.5 SA attention module

然后進(jìn)行Scale操作，具體使用參數(shù)縮放W1和移動(dòng)通道向量b1，最后進(jìn)行激活函數(shù)σ處理：

空間注意力操作最先不是進(jìn)行的全局平均池化，而是群范數(shù)（group norm，GN），然后和通道注意執(zhí)行相同操作，具體表達(dá)式如下：

這里σ是激活函數(shù)，W2是參數(shù)縮放和b2是移動(dòng)通道向量，GN是群范數(shù)，W1、b1、W2、b2是超參，超參數(shù)較少，因此SA模塊屬于輕量級(jí)。將通道注意與空間注意進(jìn)行融合，這樣每個(gè)劃分后的特征圖上同時(shí)擁有兩個(gè)方向注意機(jī)制，最后將劃分后的特征圖進(jìn)行“洗牌”操作以實(shí)現(xiàn)跨組信息沿通道維度流動(dòng)。

C3模塊是由兩個(gè)嵌套的殘差模塊組成的，本文將SA模塊嵌入到C3模塊第二個(gè)殘差塊中，形成特征增強(qiáng)模塊如圖6所示。由于提取特征的關(guān)鍵在于主干部分，所以將特征增強(qiáng)模塊放在主干比較合適，而且在主干提取特征網(wǎng)絡(luò)較淺處放入注意力模塊可能會(huì)使交通標(biāo)志檢測(cè)性能降低。所以本文只將FEM模塊用在了主干C3中的倒數(shù)1、2位置，即下文中所說(shuō)主干C3的a、b位置。

圖6 特征增強(qiáng)模塊FEMFig.6 Feature enhancement module FEM

2.3 改進(jìn)多尺度檢測(cè)部分

在YOLOv5s中有3個(gè)輸出檢測(cè)頭，當(dāng)輸入圖片為640×640大小時(shí)，輸出端輸出的特征圖分別為80×80、40×40、20×20大小，它們分別負(fù)責(zé)預(yù)測(cè)小目標(biāo)、中等目標(biāo)以及大目標(biāo)。由于交通標(biāo)志的目標(biāo)大多是小目標(biāo)，這些小目標(biāo)在40×40、20×20大小的特征圖中像素僅有幾個(gè)像素，丟失大量位置信息，因此小目標(biāo)在中等、大目標(biāo)檢測(cè)層的效果不好，所以改善這兩個(gè)輸出檢測(cè)層部分很關(guān)鍵。

從YOLOv5結(jié)構(gòu)圖中可以看出，檢測(cè)頭位于整個(gè)結(jié)構(gòu)的最后，處于較深的神經(jīng)網(wǎng)絡(luò)層中，所以它提取到的語(yǔ)義信息比較完善，與此同時(shí)，在特征層不斷加深過(guò)程中較淺的位置信息會(huì)丟失，因此為輸出層增加位置信息尤為重要。鑒于此，從淺層信息出發(fā)，獲得充足的位置信息，所以考慮到將淺層的特征層與輸出檢測(cè)層進(jìn)行融合。主干特征層位于網(wǎng)絡(luò)的最前端，屬于淺層特征層，它的輸出特征圖是逐漸遞減的，遞減的過(guò)程中有的特征圖的大小恰好與檢測(cè)層的輸出大小相同，所以本文將主干特征層中輸出大小為40×40、20×20的特征層分別與中等、大目標(biāo)檢測(cè)層進(jìn)行融合，可以獲得小目標(biāo)的邊界信息。改進(jìn)后的網(wǎng)絡(luò)稱為M-YOLOv5，具體結(jié)構(gòu)如圖7所示。

圖7 M-YOLOv5網(wǎng)絡(luò)Fig.7 M-YOLOv5 network

3 實(shí)驗(yàn)

實(shí)驗(yàn)環(huán)境為Windows10操作系統(tǒng)，計(jì)算機(jī)內(nèi)存為64 GB，處理器型為i9-11900K，顯卡是RTX 3080Ti，顯存為12 GB，采用的深度學(xué)習(xí)框架為pytorch1.8，編程語(yǔ)言python3.8。

3.1 數(shù)據(jù)集

3.1.1 TT100K數(shù)據(jù)集

數(shù)據(jù)集TT100K是由清華和騰訊共同制作完成的。此數(shù)據(jù)集一共提供了100 000個(gè)圖像，包含30 000個(gè)交通標(biāo)志實(shí)例。圖像涵蓋了光照變化和天氣條件變化，與其他交通標(biāo)志數(shù)據(jù)集相比，種類更多、目標(biāo)更小、檢測(cè)難度更大。本文從中選取了45類，共9 170張圖片，分為7 335張訓(xùn)練集和1 835張測(cè)試集。

3.1.2 CCTSDB數(shù)據(jù)集

另一個(gè)交通標(biāo)志檢測(cè)數(shù)據(jù)集是（CSUST Chinese traffic sign detection benchmark，CCTSDB）[25]。它一共包含15 724張訓(xùn)練集和400張測(cè)試集，共有3大類：警告、指示、禁止。本文將15 724張進(jìn)行訓(xùn)練，400張進(jìn)行測(cè)試，輸入大小為640×640。

3.2 方案設(shè)計(jì)與評(píng)價(jià)指標(biāo)

在訓(xùn)練之前，使用YOLOv5自帶的自動(dòng)錨框適應(yīng)對(duì)先驗(yàn)框尺寸進(jìn)行調(diào)整，訓(xùn)練集與測(cè)試集9∶1劃分，在COCO[26]數(shù)據(jù)集上預(yù)先訓(xùn)練得到的權(quán)重進(jìn)行初始化。優(yōu)化函數(shù)采用了SGD，訓(xùn)練批次大小為16，總共訓(xùn)練了120次，初始學(xué)習(xí)率大小設(shè)為0.01，動(dòng)量為0.937，IOU閾值為0.5。

實(shí)驗(yàn)評(píng)價(jià)指標(biāo)采用總體樣本平均精確度mAP，小目標(biāo)平均精度APs、小目標(biāo)平均召回率ARs。小目標(biāo)指的是面積小于32×32像素的目標(biāo)。

精確度（precision，P）是指預(yù)測(cè)正確的正樣本的數(shù)量占所有預(yù)測(cè)為正樣本數(shù)量的百分比。召回率（recall，R）是指預(yù)測(cè)正確為正樣本的數(shù)量占實(shí)際為正樣本數(shù)量的百分比。AP是P-R（precision-recall）曲線下的面積。mAP是所有類別的AP平均值。具體計(jì)算公式如下：

這里的TP、TN、FP、FN分別是預(yù)測(cè)為正樣本實(shí)際是正樣本、預(yù)測(cè)為負(fù)樣本實(shí)際是負(fù)樣本、預(yù)測(cè)為正樣本實(shí)際是負(fù)樣本、預(yù)測(cè)為負(fù)樣本實(shí)際是正樣本。m是樣本類別數(shù)量，本文m取45和3。

模型復(fù)雜度采用參數(shù)量（parameters，Params），具體計(jì)算公式如下：

這里的Co表示輸出通道數(shù)，Ci表示輸入通道數(shù)，kw、kh分別表示卷積核寬、高。

檢測(cè)速度指標(biāo)采用FPS，代表每秒處理的幀數(shù)，單位是frame/s。

3.3 TT100K數(shù)據(jù)集實(shí)驗(yàn)結(jié)果分析

本文共設(shè)計(jì)了兩組實(shí)驗(yàn)，分別是不同改進(jìn)部分的消融實(shí)驗(yàn)和與其他主流算法對(duì)比實(shí)驗(yàn)。

3.3.1 消融實(shí)驗(yàn)

為了驗(yàn)證本文所提出的改進(jìn)對(duì)交通標(biāo)志檢測(cè)的性能是否有效，設(shè)計(jì)了一組消融實(shí)驗(yàn)，對(duì)比分析了：（1）原YOLOv5模型；（2）在YOLOv5基礎(chǔ)上使用上下文模塊YOLOv5+RCM；（3）在YOLOV5基礎(chǔ)上使用特征增強(qiáng)模塊YOLOv5+FEM；（4）在YOLOv5基礎(chǔ)上加上改進(jìn)多尺度檢測(cè)部分YOLOv5+M；（5）同時(shí)添加區(qū)域上下文模塊、特征增強(qiáng)模塊YOLOv5+RCM+FEM；（6）同時(shí)添加區(qū)域上下文模塊、特征增強(qiáng)模塊和改進(jìn)多尺度檢測(cè)部分YOLOv5+RCM+FEM+M。在相同的實(shí)驗(yàn)條件下，在數(shù)據(jù)集TT100K上進(jìn)行實(shí)驗(yàn)，輸入大小為960×960，這里以及本文所有的YOLOv5是指YOLOv5s模型。具體實(shí)驗(yàn)性能見(jiàn)表1。

表1 消融實(shí)驗(yàn)Table 1 Ablation experiments

從表1可以看出，僅添加上下文模塊，在小目標(biāo)精度上增加了1.5個(gè)百分點(diǎn)，在小目標(biāo)召回率上提升了1.9個(gè)百分點(diǎn)；僅添加特征增強(qiáng)模塊，在小目標(biāo)精度上提升了0.6個(gè)百分點(diǎn)，在小目標(biāo)召回率上提升了1.2個(gè)百分點(diǎn)；僅添加改進(jìn)的多尺度檢測(cè)部分，在小目標(biāo)精度上增加了2.2個(gè)百分點(diǎn)，在小目標(biāo)召回率上提升了2.3個(gè)百分點(diǎn)。三者單獨(dú)的效果不是很明顯，但是將三者都添加到原算法，在小目標(biāo)精度、召回率上分別提升3.5、4.1個(gè)百分點(diǎn)，提升效果較為明顯?？傮w樣本的平均精度略有提升，提高了大約2.6個(gè)百分點(diǎn)。參數(shù)量的增加主要來(lái)源于上下文模塊，增加了約1.4×106。最終的FPS也會(huì)隨著參數(shù)的增加而降低，由原來(lái)125 frame/s降為83.3 frame/s。

為了驗(yàn)證注意力機(jī)制SA的有效性，本文還與其他注意力機(jī)制（squeeze-and-excitation，SE）[27]、CBAM、（coordinate attention，CA）[28]注意力機(jī)制進(jìn)行橫向比較。從表2可以看出，與這些注意力機(jī)制相比，本文所用注意力機(jī)制SA在小目標(biāo)精度上和CBAM相同，但是在小目標(biāo)召回率、總體目標(biāo)精度上是最高的，參數(shù)量最少，屬于輕量化模型，速度高于其他注意力機(jī)制，所以本文采用SA注意力機(jī)制組成本文的FEM模塊。

表2 添加不同注意力對(duì)比實(shí)驗(yàn)Table 2 Comparison experiments of adding different attentions

為了驗(yàn)證添加區(qū)域上下文模塊對(duì)于周圍特征提取是否有效，特征增強(qiáng)模塊對(duì)特征提取是否有增強(qiáng)效果，本文使用特征圖可視化中間結(jié)果進(jìn)行對(duì)比，如圖8所示，其中圖（a）為交通標(biāo)志原圖，圖（b）為原SPPF模塊輸出的特征圖，圖（c）為添加RCM后輸出的特征圖，圖（d）為原C3模塊輸出的特征圖，圖（e）為添加RCM、FEM模塊后特征圖，這里C3位于主干中最后，即C3下面所說(shuō)的a位置。

圖8 交通標(biāo)志原圖與中間特征圖Fig.8 Original and intermediate feature diagrams of traffic signs

經(jīng)過(guò)特征圖可視化對(duì)比，可以看出加入上下文模塊后感受野增大，特征圖顯示了目標(biāo)周圍的信息，說(shuō)明上下文確實(shí)起到補(bǔ)充有效信息的作用。加入特征增強(qiáng)模塊后，交通標(biāo)志的特征相比于原來(lái)更加清晰，說(shuō)明特征增強(qiáng)模塊對(duì)于特征的學(xué)習(xí)是有效的。

本文實(shí)驗(yàn)對(duì)比了RCM中空洞卷積的選取對(duì)交通標(biāo)志檢測(cè)性能的影響，從表3可以看出，空洞卷積取值3、4時(shí)小目標(biāo)交通標(biāo)志檢測(cè)性能最優(yōu)，當(dāng)空洞卷積取值3個(gè)不同值時(shí)，這樣會(huì)增加計(jì)算量，性能還不如3、4時(shí)好，所以本文最終將空洞卷積的擴(kuò)張率分別選取為3和4。

表3 RCM、FEM部分對(duì)比實(shí)驗(yàn)Table 3 RCM and FEM partial contrast experiments單位：%

確定了RCM的最優(yōu)后，以RCM擴(kuò)張率3、4為基礎(chǔ)，本文就FEM在主干的位置進(jìn)行了實(shí)驗(yàn)對(duì)比，其中主干中有4個(gè)C3，從下到上分別記C3的位置為a、b、c、d，其中由于在位置d處加入SA注意力模塊，通道數(shù)不兼容，所以無(wú)法構(gòu)成本文的特征增強(qiáng)模塊。一共進(jìn)行了3組實(shí)驗(yàn)對(duì)比，分別是YOLOv5+FEM(a)、YOLOv5+FEM(a+b)、YOLOv5+FEM(a+b+c)。FEM依次累計(jì)加入主干，這3組分別代表a處加入FEM、a、b處加入FEM、a、b、c處加入FEM。具體性能見(jiàn)表3，可以看出在a處性能較好，然后加入b處，性能最優(yōu)，最后添加c處性能會(huì)下降，由此可見(jiàn)并不是加入越多越好，在較淺處進(jìn)行特征增強(qiáng)，會(huì)降低檢測(cè)效果。

3.3.2 與主流算法對(duì)比實(shí)驗(yàn)

為了驗(yàn)證本文改進(jìn)算法檢測(cè)性能，將本文改進(jìn)的算法與主流算法YOLOv3、YOLOv4[29]、SSD、Faster R-CNN、Faster RCNN+EFPN[30]、文獻(xiàn)[12]算法、文獻(xiàn)[31]算法、文獻(xiàn)[32]算法、文獻(xiàn)[33]算法進(jìn)行比較，其中后面的算法是最近的交通標(biāo)志算法在TT100K數(shù)據(jù)集上的實(shí)驗(yàn)。Faster RCNN+EFPN是2021年提出的較新算法在TT100K上進(jìn)行的實(shí)驗(yàn)。這里的Faster R-CNN主干是ResNet-101，SSD主干是ResNet-50；輸入大小是寬高相同的。對(duì)比結(jié)果見(jiàn)表4。

從表4可以看出，檢測(cè)精度與輸入尺寸成正相關(guān)，尺寸越大，效果越好，但是FPS是負(fù)相關(guān)的。從表中可以看出，參數(shù)量與檢測(cè)速度成反比。在這些算法中，YOLOv5參數(shù)量最少，僅7.2×106，速度最快。在尺寸為640時(shí)，F(xiàn)PS達(dá)到了130 frame/s，改進(jìn)后的算法在增加了約1.7×106的參數(shù)后，速度會(huì)降為83.3 frame/s，但是在這些算法中速度也是比較優(yōu)越的，可以達(dá)到實(shí)時(shí)性檢測(cè)。在分析精度，輸入尺寸都是640時(shí)，YOLOv5無(wú)論在精度上優(yōu)于YOLOv3、YOLOv4，SSD雖然尺寸300，但是精度不及YOLOv3的一半，所以SSD效果不太好。Faster RCNN在輸入尺寸為1 400時(shí)性能較好，但是在精度上不及輸入尺寸為960的YOLOv5。在這些先進(jìn)算法中，F(xiàn)aster RCNN+EFPN，它的輸入尺寸比本文的要大，由于實(shí)驗(yàn)條件有限，本文采用的輸入尺寸是960×960，改進(jìn)后的YOLOv5也是優(yōu)于Faster RCNN+EFPN的，在小目標(biāo)平均精度、平均召回率上分別提高大約5.5、1.9個(gè)百分點(diǎn)。在總體目標(biāo)上平均精度也是優(yōu)于文獻(xiàn)[33]，大約提高了5.2個(gè)百分點(diǎn)。綜上所述，本文改進(jìn)后的算法在交通標(biāo)志檢測(cè)數(shù)據(jù)集TT100K上，不論精度還是速度都存在一定優(yōu)越性。

表4 與先進(jìn)算法對(duì)比Table 4 Contrast with advanced algorithms

3.4 CCTSDB數(shù)據(jù)集實(shí)驗(yàn)結(jié)果分析

為了進(jìn)一步驗(yàn)證本文改進(jìn)的YOLOv5檢測(cè)算法對(duì)其他交通標(biāo)志的魯棒性，在數(shù)據(jù)集CCTSDB進(jìn)一步實(shí)施相關(guān)實(shí)驗(yàn)，由于CCTSDB與TT100K相比，其中的交通標(biāo)志大多是大目標(biāo)或中目標(biāo)類型，小目標(biāo)類型的交通標(biāo)志只占極小部分，所以對(duì)它的精度評(píng)價(jià)指標(biāo)只用了mAP。具體實(shí)驗(yàn)結(jié)果見(jiàn)表5。

從表5可以看出，本文算法與原YOLOv5算法相比，精度大約提升了2.0個(gè)百分點(diǎn)，增加了大約1.7×106參數(shù)，速度略微降低。與CCTSDB數(shù)據(jù)集上主流算法T-YOLO[34]、改進(jìn)的YOLOv3-tiny[35]、文獻(xiàn)[36]進(jìn)行對(duì)比，本文算法在精度上也是略高0.3個(gè)百分點(diǎn)，在速度上也可以達(dá)到實(shí)時(shí)性檢測(cè)。表明本文所改進(jìn)的算法在其他交通標(biāo)志數(shù)據(jù)集上具有魯棒性。

表5 CCTSDB與先進(jìn)算法對(duì)比Table 5 CCTSDB contrast with advanced algorithms

3.5 定性檢測(cè)結(jié)果對(duì)比

本節(jié)抽取部分TT100K數(shù)據(jù)集進(jìn)行識(shí)別效果對(duì)比如圖9所示，對(duì)比了兩組改進(jìn)前后檢測(cè)結(jié)果，從圖9（a）、（b）對(duì)比可以看出，在i5檢測(cè)目標(biāo)上檢測(cè)精度分別是83%、90%，精度提升了大約7個(gè)百分點(diǎn)，在ph4.5上檢測(cè)精度分別是88%、89%，精度也高于原YOLOv5；在圖9（c）、（d）可以看出，在i5上原算法和本文算法精度分別是87%、91%，在pl40上精度分別是85%、86%，分別提升了4.0個(gè)百分點(diǎn)和1.0個(gè)百分點(diǎn)。綜上所述，說(shuō)明本文算法對(duì)于交通標(biāo)志檢測(cè)是有效的。

圖9 部分檢測(cè)效果對(duì)比圖Fig.9 Comparison diagrams of part detection effects

CCTSDB數(shù)據(jù)集檢測(cè)選取了比較特殊的幾類圖片，分別是夜晚大雨、大雪、大霧條件下交通標(biāo)志檢測(cè)。檢測(cè)效果如圖10所示。從檢測(cè)圖中可以看出，與原算法對(duì)比，在夜晚大雨條件下，如圖10（a）所示原算法未檢測(cè)出待檢測(cè)的目標(biāo)，改進(jìn)的算法在圖10（b）可以檢測(cè)出原算法漏檢的目標(biāo)，提高了漏檢率；大霧條件下，改進(jìn)的算法在圖10（f）中的禁止駛?cè)脒@一檢測(cè)目標(biāo)精度為83%，原算法為圖10（e）的77%，大約提升了6個(gè)百分點(diǎn)，且較遠(yuǎn)處目標(biāo)在原算法上存在漏檢，改進(jìn)的算法可以檢測(cè)出。在特殊復(fù)雜環(huán)境下檢測(cè)仍可以保持較好精度，說(shuō)明本文改進(jìn)的算法具有一定魯棒性。

圖10 特殊環(huán)境檢測(cè)效果對(duì)比圖Fig.10 Comparison diagrams of special environmental detection effects

4 結(jié)束語(yǔ)

針對(duì)交通標(biāo)志檢測(cè)中小目標(biāo)占的比例較多，本文在YOLOv5上進(jìn)行三方面改進(jìn)：利用區(qū)域上下文信息補(bǔ)充特征信息、利用特征增強(qiáng)模塊強(qiáng)化特征信息、利用改進(jìn)的多尺度檢測(cè)部分融合淺層的位置信息。優(yōu)化后的算法在精度上改善了交通標(biāo)志檢測(cè)效果，通過(guò)實(shí)驗(yàn)定量分析、交通標(biāo)志檢測(cè)定量分析證明本文改善的算法在檢測(cè)精度上有一定提升，在速度上可以達(dá)到實(shí)時(shí)性檢測(cè)。下一步研究可以圍繞將算法優(yōu)化應(yīng)用于工程中交通標(biāo)志檢測(cè)。