基于加權(quán)密集連接卷積網(wǎng)絡的快速交通標志檢測

邵毅明，屈治華，鄧天民，宋曉華

(重慶交通大學交通運輸學院，重慶400074)

0 引言

交通標志檢測技術(shù)作為無人駕駛系統(tǒng)的重要環(huán)節(jié)，為智能車的行車導航和駕駛決策提供了有效信息.復雜交通環(huán)境下交通標志的準確定位和實時檢測對提高車輛的行駛安全，保障道路交通順暢起到了至關(guān)重要的作用[1-2]，對其研究具有重要的理論價值和應用價值.

在計算機視覺和人工智能領(lǐng)域，以卷積神經(jīng)網(wǎng)絡為代表的深度學習算法在目標檢測、識別、跟蹤等方面相比于傳統(tǒng)機器學習算法優(yōu)勢明顯，從訓練數(shù)據(jù)集中通過端到端的學習獲取圖像特征，避免了復雜繁瑣的人工特征提取階段，在一些特定任務中其結(jié)果甚至超越了人類的能力[3].現(xiàn)有深度學習目標檢測算法可分為兩類：一類是雙階段檢測器，代表性的算法有Faster RCNN[4]，RNN[5]等，此類算法普遍存在網(wǎng)絡參數(shù)和計算量過大的問題，需要占用大量存儲空間對網(wǎng)絡進行保存，難以滿足實際應用中對算法實時性的要求；另一類是端到端的單階段目標檢測器，主要研究算法有YOLO[6]，SDD[7]，此類方法可直接利用輸入圖片，在圖片各個位置同時回歸得到目標的回歸邊界框坐標和分類，相比前者在運算效率上得到提升，但算法利用全連接層中的全局特征進行訓練，檢測精度較低.對于實際場景中的交通標志檢測任務，目前算法難以達到檢測精度和時間效率間的相互平衡，高精度網(wǎng)絡普遍包含大量網(wǎng)絡參數(shù)和計算量，在訓練過程中需要占用大量存儲空間，對硬件設備提出了較高要求[8-9].

本文兼顧算法檢測精度與實時性需求，提出一種基于MobileNet和CBAM的輕量化動態(tài)加權(quán)密集連接網(wǎng)絡，對檢測效率較高的YOLOv2框架進行改進，通過引入動態(tài)加權(quán)層對密集連接卷積網(wǎng)絡中的所有卷積層特征施加不同權(quán)重，并在訓練過程中動態(tài)更新，實現(xiàn)所有網(wǎng)絡層間的信息傳遞，使網(wǎng)絡能夠?qū)Σ煌疃鹊奶卣餍畔⑦M行高效利用，降低訓練過程中因梯度消失造成的網(wǎng)絡收斂困難問題.利用MobileNet和CBAM模塊對密集連接網(wǎng)絡中的卷積和池化操作進行優(yōu)化，在確保檢測精度的前提下對網(wǎng)絡進行壓縮，實現(xiàn)實時性檢測要求.

1 輕量化動態(tài)加權(quán)密集連接卷積網(wǎng)絡

1.1 密集連接卷積網(wǎng)絡

密集連接卷積網(wǎng)絡對傳統(tǒng)卷積網(wǎng)絡模型中的連接方式進行改進，采用跨層連接方式對網(wǎng)絡中所有特征維度相同的卷積層進行兩兩互連，使各層特征能夠在輸入層和輸出層間高速傳遞[10].隨著網(wǎng)絡的傳播，按照特征圖維度大小將網(wǎng)絡劃分為若干密集塊，各密集塊間的特征圖尺寸依次減小，但每個密集塊內(nèi)的特征圖尺寸保持一致.圖1為一個3層密集連接的密集塊示意圖.

圖1 密集塊示意圖Fig.1 Dense block diagram

可以看出，每個卷積層的輸入與前面所有層的輸出并聯(lián)粘接，實現(xiàn)多層特征融合，最大限度的利用圖像的有效特征以達到更好的檢測精度.密集塊中各層特征間關(guān)系滿足

式中：x0為輸入特征圖；xm為第m層的輸出特征圖；矩陣[x0,x1,…,xm-1]為第0,1,…,m-1層輸出特征圖的并聯(lián)粘接，其粘接后的結(jié)果將作為第m層的輸入；Hm(·)代表對第m層進行非線性變化，通常包括批量標準化、ReLU激活和卷積操作.

各不同特征維度的密集塊間通過過渡層進行連接，構(gòu)成密集連接卷積網(wǎng)絡的主體.過渡層由一個卷積層和最大池化層構(gòu)成，主要作用是減少前一密集塊輸出特征的維數(shù)和尺寸，實現(xiàn)跨通道特征融合，同時增加非線性特征，實現(xiàn)特征圖的極致利用.

1.2 動態(tài)加權(quán)密集連接

在密集連接卷積網(wǎng)絡中，密集塊內(nèi)當前層特征和前面所有卷積特征通過平等關(guān)系進行跨層并聯(lián)，但我們認為網(wǎng)絡中每一層卷積操作的作用是不同的，相比于低層網(wǎng)絡提取的信息，深度信息在目標檢測過程占據(jù)著更重要的位置，因此密集塊內(nèi)各層的卷積特征在并聯(lián)時應有主次區(qū)分，即當前層特征起主導作用，前序卷積特征起輔助作用.因此，本節(jié)提出一種動態(tài)加權(quán)密集連接的特征跨層連接方法，綜合利用圖像的多維淺層特征，通過對不同特征圖施加不同權(quán)重比例，在訓練過程中對其進行自我動態(tài)調(diào)節(jié)，使網(wǎng)絡可以更加高效的對特征信息進行利用，在避免對密集連接機制造成影響的同時，實現(xiàn)圖像特征的多維傳遞，并且進一步降低網(wǎng)絡的計算量，提高運行效率.則密集塊中第i層特征圖施加的權(quán)重值wi可定義為

式中：N為密集塊中共有的卷積層數(shù)；μ為各連接層的權(quán)重系數(shù)，在訓練開始階段對μ隨機賦予[0，1]的初始值；ej為第j層權(quán)重的對數(shù)值，可看出越深的卷積層所占據(jù)的特征權(quán)重值越大.

為保證加權(quán)準確性，在多維權(quán)重訓練過程中采用交叉熵損失函數(shù)作為目標函數(shù)，通過隨機梯度下降(SGD)的方式進行迭代訓練，使加權(quán)過程更有利于損失函數(shù)的降低，實現(xiàn)在訓練過程中對不同特征圖的自適應動態(tài)加權(quán).增強融合特征的連接強度，減少冗余信息，以提高檢測精度.圖2為一個改進后的3層動態(tài)加權(quán)密集塊結(jié)構(gòu)示意圖，改進過后的特征間關(guān)系表示為

圖2 動態(tài)加權(quán)密集塊Fig.2 Dynamically weighted dense block

1.3 輕量化網(wǎng)絡結(jié)構(gòu)

2017年Google在TensorFlow深度學習框架下提出MobileNet概念[11]，MobileNet是一種面向移動端的卷積神經(jīng)網(wǎng)絡模型，采用深度可分解式卷積方式將標準卷積分為兩個部分，大幅降低模型的計算量和生成模型過程中所需的存儲空間，增強模型實用性.圖3為標準卷積過程和MobileNet的深度可分解卷積過程示意圖.

圖3 標準卷積核和深度可分解卷積核對比Fig.3 Comparison of standard convolution kernel and deep decomposed convolution kernel

MobileNet將標準卷積運算中濾波器濾波過程和特征維度整合過程進行分解：首先，對大小為DF×DF×M輸入特征圖每一個通道的二維切面，使用二維卷積核進行分通道卷積運算，卷積核的大小為Dk×Dk×1，共需要M個卷積核，經(jīng)過可分解卷積操作后得到的輸出特征圖為DG×DG×M；之后，為將之前生成的特征圖串聯(lián)成新的輸出特征，保證輸出的完整性，采用N個大小為1×1×M的卷積核進行逐點點積來調(diào)整特征映射的通道數(shù)，生成一個線性組合輸出，則可分解卷積操作的計算成本表示為Dk?Dk?M?DF?DF+M?N?DF?DF.

2 基于加權(quán)密集連接的交通標志快速檢測網(wǎng)絡

本文選用YOLOv2框架[12]進行改進，結(jié)合動態(tài)加權(quán)密集連接網(wǎng)絡和MobileNet-CBAM模塊提出一種輕量級交通標志檢測網(wǎng)絡，其整體網(wǎng)絡架構(gòu)如圖4所示.

圖4 整體網(wǎng)絡結(jié)構(gòu)Fig.4 Overall network structure

過多的卷積和池化結(jié)構(gòu)會造成圖像特征在傳遞過程中的逐層丟失，使后續(xù)網(wǎng)絡無法對低分辨率圖像的高效信息進行提取.因此，保留YOLOv2結(jié)構(gòu)的前3個卷積層和2個池化層來獲取圖像的底層特征，通過連接兩個動態(tài)加權(quán)密集塊結(jié)構(gòu)實現(xiàn)多層特征的有效結(jié)合，兼顧圖像的深層語義信息和底層語義信息.為改善網(wǎng)絡計算成本，提高檢測效率，使用MobileNet輕量化網(wǎng)絡代替密集塊內(nèi)的Hm(?)卷積操作，為保證特征跨層連接的有效性，在不改變密集塊基礎(chǔ)結(jié)構(gòu)的同時，對MobileNet結(jié)構(gòu)進行一定修改，其結(jié)構(gòu)如圖5所示.由于跨連接操作通過將前序卷積特征融合生成當前卷積層新的輸入特征，后續(xù)卷積層的輸入通道數(shù)將不斷增加，為實現(xiàn)特征間高效傳遞，需對通道數(shù)量較大的特征進行降維.首先，使用一個1×1大小的卷積層對圖像進行處理，降低特征通道數(shù)，減少后續(xù)操作的計算量；之后，采用可分離卷積提取圖像特征；最后，使用1×1線性卷積恢復特征維度，避免非線性變換對特征的破壞.此外，為盡可能地保留圖像細節(jié)特征，采用空間頻率注意力模塊(CBAM)[13]對過渡層中的池化操作進行替換，CBAM選用圖像的最大池化信息作為平均池化的互補信息進行結(jié)合，使用通道注意力模塊和空間注意力模塊從兩個單獨維度推斷特征圖的注意力圖，減少了池化過程中的信息丟失，提升對小尺度目標檢測的敏感性.

圖5 改進后的輕量化網(wǎng)絡結(jié)構(gòu)Fig.5 Modified lightweight network structure

3 實驗過程及結(jié)果討論

3.1 實驗數(shù)據(jù)集

選取德國交通標志檢測數(shù)據(jù)集(GTSDB)對所提算法的檢測精度和計算成本進行評價.GTSDB數(shù)據(jù)集[14]包含43類共900張真實車輛駕駛環(huán)境下的高清交通標志場景圖像，含有大量不良光照、遮擋、運動模糊等不利條件下的交通標志樣本，幾乎涵蓋了現(xiàn)實場景中的各類情況.將其分為訓練樣本600張，包含846個交通標志；測試樣本300張，包含360個交通標志；每幅圖像分辨率歸一化為680 pixel×400 pixel，部分樣本如圖6所示.

圖6 部分樣本示意圖Fig.6 Schematic diagram of partial samples

3.2 網(wǎng)絡訓練

為保證實驗對比的有效性，實驗環(huán)境均采用：Intel core i7-8700K CPU@4.30 GHz，32 G內(nèi)存，顯存為NVIDIA GeForce GTX1080Ti，實驗操作系統(tǒng)為Ubuntu-16.04，TensorFlow深度學習框架.定義交并比(IoU)大于0.5的交通標志為正確檢測，最小批尺寸設為128，動量為0.8，衰減系數(shù)為0.000 5，初始學習率為0.001，學習率的衰減系數(shù)設置為0.1，學習率的調(diào)整方式為分步式降低，分別在迭代次數(shù)為40 000和60 000時乘上衰減系數(shù)，總迭代次數(shù)為80 000次.

3.3 實驗結(jié)果及分析

為驗證本文算法對交通標志檢測的準確性和時效性，構(gòu)建多種檢測網(wǎng)絡從算法檢測精度、模型大小和計算成本等方面對算法性能進行對比.A～D算法均選用YOLOv2框架，區(qū)別在于A算法采用包含19層卷積層和5層池化層的Darknet結(jié)構(gòu)作為特征提取器，B網(wǎng)絡只使用4層卷積層和2層最大池化層，之后通過連接動態(tài)加權(quán)密集塊對圖像特征進行提取，C網(wǎng)絡采用CBAM模塊對B網(wǎng)絡中的池化層進行替換，D為本文所提出的輕量化動態(tài)密集鏈接網(wǎng)絡，統(tǒng)計結(jié)果如表1所示.

表 1 不同網(wǎng)絡結(jié)構(gòu)檢測性能對比Table 1 Comparison of detection performance of different network structures

(1)對比A和B網(wǎng)絡可知，B算法的檢測精度提高了4.92%，主要是由于原網(wǎng)絡采用過深的卷積和池化層，造成特征在傳遞過程中丟失嚴重，且深層網(wǎng)絡中過低的分辨率導致圖像特征難以提取，加權(quán)密集塊通過特征跨層連接更能夠兼顧圖像的各層語義信息，通過端到端的學習對各特征權(quán)重進行自適應調(diào)節(jié)，傳遞了更多的有用信息.

(2)對比B和C網(wǎng)絡可知，CBAM模塊使用通道注意力和空間注意力實現(xiàn)特征的三維表達，通過聚合平均池化特征和最大池化特征，實現(xiàn)圖像全局信息和局部細節(jié)特征的互補，有效降低池化操作對圖像特征的破壞；通過計算量的對比可看出，CBAM模塊的加入對網(wǎng)絡總體的計算量和參數(shù)變化影響很小，可在忽略計算成本的前提下有效提高2.6%的算法檢測精度.

(3)D網(wǎng)絡采用輕量化MobileNet對網(wǎng)絡進行壓縮，整體模型尺寸為18.3 MB，對比C網(wǎng)絡減少了88.9%，同時模型的檢測精度仍可達到96.14%.相比于傳統(tǒng)算法A，所提算法在檢測精度和計算效率上都有了很大的提升，證明所提出的動態(tài)加權(quán)密集連接網(wǎng)絡和CBAM結(jié)構(gòu)可有效提高網(wǎng)絡對圖像特征的表征能力，提高目標檢測精度，且MobileNet輕量級網(wǎng)絡可明顯改善網(wǎng)絡的運行效率，實現(xiàn)交通標志的實時高效檢測.

為進一步驗證本文算法對于交通標志檢測的有效性，選取多種主流檢測算法對網(wǎng)絡的檢測精度和效率進行對比分析，統(tǒng)計結(jié)果如表2所示.

表2 不同檢測算法性能比較Table 2 Performance comparison of different detection algorithms

可看出，相比主流深度學習網(wǎng)絡Faster RCNN和Haar+Adaboost，本文算法在檢測精度上同樣具有一定優(yōu)勢，同時檢測速度可達到139 frame/s，網(wǎng)絡參數(shù)量和計算量遠小于上述算法，可以滿足目標實時檢測需求.對比輕量級網(wǎng)絡ShuffleNet和SqueezeNet，本文算法的檢測精度為96.14%，分別提升了14.27%和9.20%.因此，本文算法在檢測精度和時間效率方面達到了更好的平衡，在確保輕量級網(wǎng)絡檢測效率的前提下，有效降低了網(wǎng)絡的漏檢和誤檢率.

本文算法和YOLOv2算法對于交通標志的部分檢測結(jié)果如圖7所示，可發(fā)現(xiàn)YOLOv2對于小尺度目標存在部分漏檢現(xiàn)象，結(jié)合表1統(tǒng)計和圖7(b)～(d)可以看出，本文算法對于邊緣均存在少許遮擋、不良光照、傾斜等條件下的交通標志仍具有較高精度的目標回歸框，算法魯棒性強，能夠?qū)崿F(xiàn)復雜交通環(huán)境下交通標志的快速精準檢測.

圖7 部分檢測結(jié)果示意圖Fig.7 Schematic diagram of partial test results

4 結(jié)論

本文提出了一種高精度快速交通標志檢測網(wǎng)絡，利用輕量化網(wǎng)絡MobileNet的低延時、低能耗優(yōu)點，有效提升算法對于高分辨率圖像檢測的實用性；在對網(wǎng)絡進行壓縮的基礎(chǔ)上，提出動態(tài)加權(quán)密集連接結(jié)構(gòu)，充分融合各卷積層特征，采用CBAM模塊最大限度降低池化操作造成的特征丟失；在可忽略計算成本的前提下有效增強網(wǎng)絡對圖像特征的表達能力，構(gòu)建可用在實際車載系統(tǒng)中的交通標志檢測模型.實驗基于GTSDB數(shù)據(jù)集，探討和分析了不同結(jié)構(gòu)檢測算法的精度和時間效率.結(jié)果表明，本文網(wǎng)絡可在保持低損失的前提下，有效減少網(wǎng)絡規(guī)模和計算資源，提升目標檢測效率.