交通場景中改進SSD算法的小尺度行人檢測研究

汪慧蘭，戴 舒，劉 丹，王桂麗

安徽師范大學 物理與電子信息學院，安徽 蕪湖 241000

行人檢測技術(shù)能有效減少交通事故的發(fā)生，提高駕駛的安全性，是智能輔助駕駛系統(tǒng)中的關(guān)鍵技術(shù)，其中小尺度行人檢測問題一直以來也是目標檢測領(lǐng)域的研究熱點和難點之一[1-2]。隨著深度學習的迅猛發(fā)展，國內(nèi)外研究學者先后提出了很多優(yōu)秀的目標檢測算法[3-4]。其中基于兩階段的目標檢測方法中典型的R-CNN系列（R-CNN[5]、DRI-RCNN[6]、Fast R-CNN[7]以及Faster RCNN[8]等）在行人檢測方面能取得非常好的精度，但由于其自身會產(chǎn)生很多的冗余邊界框，導致其檢測時間比較久，很難滿足檢測系統(tǒng)實時性的要求。區(qū)別于R-CNN系列為代表的兩步檢測算法，YOLO是典型的單步檢測算法之一，舍去了候選框提取分支（Proposal階段），通過將輸入圖像劃分網(wǎng)格，并分別在每個網(wǎng)格設(shè)置多個默認候選框用于目標的置信度分類和邊界框坐標的回歸[9]。簡化了網(wǎng)絡(luò)結(jié)構(gòu)，大大提高了網(wǎng)絡(luò)的運算速度，在保障目標檢測精度的前提下能滿足實際應(yīng)用場景下實時性檢測需要。但是該算法對于小目標的檢測仍然存在漏檢和誤檢的情況。

基于此，2016年底，Liu等提出了SSD算法——基于回歸的檢測過程中結(jié)合區(qū)域的思想[10]，采用不同尺度和長寬比的默認框，使得檢測效果較定制化邊界框的YOLO有比較好的提升。因此，SSD算法在提高MAP的同時兼顧速度，成為了基于深度學習的目標檢測領(lǐng)域發(fā)展的一個方向和可能的研究趨勢。為了進一步提高對小尺度行人目標的檢測，研究學者們以SSD為框架相繼提出了很多改進的算法，如2017年，F(xiàn)u等提出的DSSD模型[11]，Li等提出的FSSD模型[12]；Jeong等提出的RSSD模型[13]等等。分析這些模型可知，它們主要是通過改進基礎(chǔ)網(wǎng)絡(luò)的架構(gòu)來提高卷積神經(jīng)網(wǎng)絡(luò)的特征提取能力，或者是將高低層特征進行有效的融合等方法來提高目標檢測算法的檢測能力，所以往往在提高目標檢測精度的時候犧牲了網(wǎng)絡(luò)的檢測速度，仍然無法滿足實時場景下的檢測要求。

綜上所述，針對道路交通場景中行人目標存在姿態(tài)多變、行人所處的背景環(huán)境復雜以及行人目標較小等情況，同時考慮精度和實時性檢測的需要，本文在保留SSD基礎(chǔ)網(wǎng)絡(luò)架構(gòu)VGG16的基礎(chǔ)上，一方面通過引入新的卷積結(jié)構(gòu)和檢測模塊來增強網(wǎng)絡(luò)的特征提取能力；另一方面采用Focal Loss函數(shù)[14]代替標準交叉熵損失函數(shù)，在保證檢測速度的同時，提高算法對道路交通中小尺度行人檢測的能力。

1 SSD算法的總體網(wǎng)絡(luò)結(jié)構(gòu)

根據(jù)輸入的檢測圖像大小不同，SSD主要有SSD300和SSD500兩種網(wǎng)絡(luò)結(jié)構(gòu)。如圖1是SSD300的總體網(wǎng)絡(luò)架構(gòu)圖[9]。

圖1 SSD300的總體網(wǎng)絡(luò)架構(gòu)圖Fig.1 Network architecture of SSD300

由圖1可知SSD300行人檢測過程的基本步驟：將大小為300×300×3圖像輸入主干網(wǎng)絡(luò)，可從預(yù)訓練好的基礎(chǔ)網(wǎng)絡(luò)中獲得大小不同的特征圖，同時將大小分別為38×38、19×19、10×10、5×5、3×3、1×1的Conv4_3、Conv7、Conv8_2、Conv9_2、Conv10_2、Conv11_2這6個卷積層的特征圖輸出。由這些特征圖的每個像素點分別構(gòu)造出6個不同長寬比例的默認候選框，然后分別進行檢測和分類，生成多個初步符合條件的默認候選框，最后利用非極大值抑制方法篩選出符合要求的候選框，生成最終的檢測框集合，即行人檢測結(jié)果[15]。

較傳統(tǒng)的檢測算法使用頂層特征圖的方法，SSD使用了多尺度特征圖預(yù)測。如圖2（a）所示的多尺度行人目標，其8×8大小的特征圖如圖2（b）所示。淺層網(wǎng)絡(luò)輸出的特征圖較大，包含的像素點較多，每個像素點設(shè)置生成不同長寬比例的默認候選框，候選框尺寸較小，適合用來識別小目標（圖中藍色方框），對圖像中尺度較大的行人，占據(jù)圖像的比例要多，較小的默認候選框面對較大的目標，尺寸相差較大，不能有效地檢測到。隨著網(wǎng)絡(luò)的加深，特征圖通過下采樣操作，深層卷積輸出的特征圖尺度較小，如圖2（c）所示為4×4大小的特征圖。每個像素點生成的默認候選框尺寸較大，感受野變大，可以比較準確地檢測到尺度較大的行人目標?；谏鲜鲈颍W(wǎng)絡(luò)輸出多尺度的特征圖可以有效適應(yīng)交通場景中存在的不同大小的行人目標，從而提高算法檢測的準確性。

圖2 多尺度行人目標特征示意圖Fig.2 Multi-scale pedestrian target feature map

2 改進SSD網(wǎng)絡(luò)模型的搭建

由以上分析可知，SSD網(wǎng)絡(luò)通過不同的卷積層輸出多尺度的特征圖對不同大小的目標進行置信度分類和邊界框的回歸。但卷積核對目標提取的特征不夠充分，特征圖包含如邊緣或色塊等較多低級特征，目標的語義信息不夠豐富，分類的信息量較少，導致對交通場景中小尺度的行人目標檢測效果還是不夠理想?；诖?，針對道路交通中小尺度行人目標，本文在傳統(tǒng)SSD基礎(chǔ)網(wǎng)絡(luò)架構(gòu)VGG16的基礎(chǔ)上結(jié)合Inception模塊中稀疏連接，通過優(yōu)化主干網(wǎng)絡(luò)的卷積結(jié)構(gòu)，將檢測模塊采用殘差塊結(jié)構(gòu)，并引入Focal Loss函數(shù)作為分類損失。搭建的改進SSD網(wǎng)絡(luò)模型如圖3所示。

圖3 改進后的SSD網(wǎng)絡(luò)模型Fig.3 Improved SSD network model

由圖3可知，SSD網(wǎng)絡(luò)模型具體的改進如下：

（1）將卷積層（Conv4-3）和卷積層（Conv7）采用優(yōu)化的卷積模塊，其他輸出卷積層保留原有的結(jié)構(gòu)。

（2）將負責預(yù)測的3×3的卷積核采用殘差模塊的網(wǎng)絡(luò)結(jié)構(gòu)，用RB（res block）指代。

（3）引入Focal Loss函數(shù)作為分類損失。

2.1 優(yōu)化的卷積模塊

由于交通場景圖像中行人目標所占據(jù)的區(qū)域比例通常不同，用一種尺寸的卷積核進行卷積會造成對小目標行人有效特征的丟失。所以根據(jù)行人目標位置信息的差異，借鑒Inception網(wǎng)絡(luò)模型中的稀疏連接[16]和卷積分解思想[17]，在同一卷積層上并聯(lián)不同尺寸的卷積核，得到改進的卷積模塊結(jié)構(gòu)圖如圖4所示。

圖4 改進的卷積模塊結(jié)構(gòu)圖Fig.4 Improved convolution module

由圖4可知，如果輸入特征圖為19×19×512，可分成4個通道：（1）128個1×1的卷積核，輸出19×19×128；（2）128個1×1的卷積核，作為3×3卷積核之前的降維，變成19×19×128，再進行256個3×3的卷積（padding為1），輸出19×19×256；（3）24個1×1的卷積核，作為5×5卷積核之前的降維，變成19×19×24，再進行64個5×5的卷積（padding為2），輸出19×19×64；（4）pool層，使用3×3的核（padding為1），然后進行64個1×1的卷積，輸出19×19×64；對這四部分輸出結(jié)果并聯(lián)，即128+256+64+64=512。改進的卷積模塊結(jié)最后依然是512層，但是參數(shù)個數(shù)明顯減少了，從19×19×512=184 832變成了1×1×128+（1×1×128+3×3×256）+（1×1×24+5×5×64）+（3×3×512+1×1×64）=8 856，減小了幾個數(shù)量級。

因此卷積模塊結(jié)構(gòu)中有4個通道，由1×1、3×3、5×5這3種尺度的卷積核構(gòu)成。卷積后得到不同大小的特征圖。在不同的特征圖上用0像素進行填補（padding），就可以得到相同大小的特征圖，然后進行特征融合（concat）。由于5×5的卷積核所需要的計算量很大，所以在網(wǎng)絡(luò)結(jié)構(gòu)中加入了1×1的卷積核進行降維，這樣不僅降低了維度，減少了計算瓶頸，同時也增加了網(wǎng)絡(luò)層數(shù)，提高了網(wǎng)絡(luò)的表達能力。

在一定程度上，網(wǎng)絡(luò)越深表達能力越強，性能越好。但隨著網(wǎng)絡(luò)深度的增加，梯度消散和梯度爆炸的問題嚴重影響網(wǎng)絡(luò)的訓練。所以，為了加快網(wǎng)絡(luò)的訓練速度，將卷積模塊融合殘差連接的思想，增加一條輸入到輸出的映射支路，從而進一步優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)[17]。

如圖5所示為本文所采用的優(yōu)化卷積模塊結(jié)構(gòu)圖。映射支路使用一個1×1的卷積核作為卷積層調(diào)整特征圖的維度，以便于更好地和主支路疊加融合。為了進一步優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)，降低網(wǎng)絡(luò)的計算量，將大尺寸的卷積核分解為對稱的小的卷積核，將5×5的卷積核替換成2個3×3的卷積核，降低了參數(shù)數(shù)量，減小了計算量。由結(jié)構(gòu)圖可知，優(yōu)化后的卷積模塊不僅增加了網(wǎng)絡(luò)的寬度，也提高了網(wǎng)絡(luò)對不同尺度目標的適應(yīng)性，能更有效地提取到小尺度行人目標的特征信息。

圖5 優(yōu)化后的卷積模塊結(jié)構(gòu)圖Fig.5 Optimized convolution module

2.2 改進的特征圖檢測模塊

卷積神經(jīng)網(wǎng)絡(luò)中不同卷積層輸出的特征圖具有的特征梯度幅值大小不同，相比較于淺層輸出的特征圖，深層特征圖包含較多的語義抽象信息，特征梯度幅值要小[18]。為避免淺層特征圖在進行預(yù)測候選框時產(chǎn)生較大的梯度幅值，影響網(wǎng)絡(luò)的訓練的穩(wěn)定性，采用殘差模塊來代替3×3的卷積核，一方面可避免預(yù)測時產(chǎn)生較大的梯度幅值對網(wǎng)絡(luò)的訓練產(chǎn)生影響，另一方面可增加檢測模塊的網(wǎng)絡(luò)深度，增強網(wǎng)絡(luò)的特征表達能力，提高檢測的精度。殘差模塊中使用了1×1卷積模塊，能夠?qū)νǖ罃?shù)起到升維或者降維的作用，從而使3×3卷積以相對較低維度的輸入進行卷積運算，提高計算效率，改進的檢測模塊結(jié)構(gòu)圖如圖6所示。

圖6 改進的檢測模塊結(jié)構(gòu)圖Fig.6 Improved detection module

2.3 Focal Loss函數(shù)的引入

SSD算法在對6個不同尺度大小的特征圖生成的默認候選框進行分類和回歸時，從很多個大小、位置以及寬高比不同的默認框中，根據(jù)IOU重疊率生成正負樣本。根據(jù)默認框的生成原則可知，SSD的密集采樣可產(chǎn)生104~105個候選樣本，其中絕大多數(shù)為容易區(qū)分的負樣本，通常負樣本數(shù)量遠超正樣本的數(shù)量。正負樣本數(shù)的不平衡將導致?lián)p失函數(shù)在訓練時難以收斂，而且大量的負樣本，在訓練的過程中會主導損失函數(shù)和梯度的變化，影響模型的優(yōu)化，甚至會造成網(wǎng)絡(luò)的性能嚴重退化。文獻[14]提出一種Focal Loss損失函數(shù)，如式（1）所示：

其中，pt為類別t的預(yù)測概率，(1-pt)γ是調(diào)制因子，γ為調(diào)制參數(shù)。若一個樣本被分錯，則pt會很小，則調(diào)制因子(1-pt)接近1，損失不被影響；當pt→1，因子(1-pt)接近0，則分得比較好的樣本權(quán)值就被調(diào)低了。

SSD網(wǎng)絡(luò)模型采用多任務(wù)損失函數(shù)，總體目標損失函數(shù)是定位誤差損失（locatization loss，loc）和置信度誤差損失（confidence loss，conf）的加權(quán)和。其中的分類置信度損失使用的是交叉熵損失函數(shù)（Softmax Loss），如式（2）所示：

從式（2）中可以看出，置信度的誤差包含正樣本的誤差和負樣本的誤差兩個部分。為了平滑地調(diào)整不同樣本的權(quán)重，本文引入Focal Loss函數(shù)代替標準交叉熵得到新的置信度損失函數(shù)，如式（3）所示：

其中，pi為第i個樣本被預(yù)測為正負樣本的概率，γ為可調(diào)制因子。當γ=0的時候，F(xiàn)ocal Loss就是傳統(tǒng)的交叉熵損失，當γ增加的時候，調(diào)制系數(shù)也會增加，參數(shù)γ能平滑地調(diào)節(jié)易分樣本調(diào)低權(quán)值的比例。

3 實驗結(jié)果及分析

基于構(gòu)建的如圖3所示的改進SSD網(wǎng)絡(luò)模型，實驗選擇加州理工大學提供的Caltech Pedestrian Benchmark數(shù)據(jù)集[19]，檢測對象是交通場景中不同尺度大小的行人目標，硬件顯卡為NVIDIA GeForce GTX 1080 GPU，系統(tǒng)的內(nèi)存為64 GB，CUDA的版本為9.0。

3.1 損失變化曲線圖比較及分析

在訓練的過程中，利用tensorboard可視化工具動態(tài)監(jiān)測網(wǎng)絡(luò)運行過程中損失值的變化情況。改進前和改進后的SSD算法損失變化曲線圖如圖7。圖中橫坐標表示網(wǎng)絡(luò)的迭代次數(shù)?？v坐標表示的是整個網(wǎng)絡(luò)結(jié)構(gòu)在訓練過程中的損失函數(shù)的變化情況，最后期望趨近于0。

圖7 損失變化曲線比較圖Fig.7 Comparison of loss change curves

由改進前SSD算法損失變化曲線圖7（a）可知，紅色曲線為損失曲線，在前幾百次的迭代中損失函數(shù)值較大，之后驟然下降到15附近，當訓練迭代到30 000次時，學習率衰減百分之十，損失值緩慢下降，到達90 000次迭代時，學習率又會在前一個學習率的基礎(chǔ)上衰減百分之十，學習速率變慢，損失函數(shù)值小幅度減小。100 000次以后，損失函數(shù)的值基本不再減小，趨于穩(wěn)定值12左右。觀察改進后的SSD網(wǎng)絡(luò)模型損失變化曲線圖7（b）可知，在接近幾百次的迭代后，損失從一開始25.8下降到10附近，之后損失值緩慢下降趨近于數(shù)值8，并且在8附近輕微震蕩，到達150 000次迭代的時候基本趨于穩(wěn)定。

基于以上將改進前后的SSD目標檢測算法在不同的迭代次數(shù)時損失變化曲線進行客觀分析可知，由于Focal Loss損失函數(shù)可通過調(diào)制因子調(diào)整樣本的權(quán)重，對于預(yù)測概率高的簡單易分樣本，通過將調(diào)制因子(1-pi)γ的大小設(shè)置為合適的數(shù)值，本文通過實驗驗證取γ=2。使其在整個損失中所占的權(quán)重大大減少，相反對于預(yù)測概率較低的難分樣本，增加其在整個損失中所占的比重，使得反向傳播的梯度也變得越大。這樣損失函數(shù)能夠更加關(guān)注于包含更多有用信息的困難樣本，解決訓練過程中正負樣本不平衡的問題，使得改進后的網(wǎng)絡(luò)在訓練過程中，損失下降更加迅速，網(wǎng)絡(luò)收斂較快，且穩(wěn)定后的損失值更小。從而驗證了改進的SSD行人檢測方法訓練過程更加穩(wěn)定、更有效、收斂更快。

3.2 行人檢測結(jié)果分析與比較

為進一步直觀評估改進行人目標檢測的性能，將改進的SSD算法分別與當前較為流行的YOLOv3、YOLOv4、SSD算法進行比較。將測試集分別輸入到訓練好的四種網(wǎng)絡(luò)模型中，為了保證數(shù)據(jù)的比較性，模型均以VGG16作為基礎(chǔ)網(wǎng)絡(luò)，且按照迭代訓練12萬次時或滿足收斂條件時訓練停止，保存模型的最終權(quán)值，得到四種行人目標檢測算法對測試集中對行人樣本的檢測結(jié)果，檢測部分結(jié)果分別如圖8~圖11所示。

圖8 YOLOv3行人目標檢測結(jié)果Fig.8 Pedestrian detection results of YOLOv3

圖9 SSD300算法行人目標檢測結(jié)果Fig.9 Pedestrian detection results of SSD300

圖11 改進的SSD算法行人目標檢測結(jié)果Fig.11 Pedestrian detection results of improved SSD

觀察以上行人檢測結(jié)果圖可知，總的來說，當?shù)缆方煌▓鼍爸行腥四繕舜嬖诖罅恐丿B、光線較暗和目標行人像素較模糊、行人目標尺度過小以及相似背景干擾等復雜多變的情況，以上四種檢測算法都能夠有效地檢測到交通場景中的目標行人。但具體地分析，當圖像中的行人目標較小、大量重疊時，或者光線較暗、行人目標像素較模糊時，從圖8~圖10檢測結(jié)果可知YOLOv3和SSD算法的檢測結(jié)果相當，但比YOLOv4效果要差，但三種模型對于小目標都出現(xiàn)較嚴重漏檢和誤檢現(xiàn)象。

圖10 YOLOv4行人目標檢測結(jié)果Fig.10 Pedestrian detection results of YOLOv4

從圖11可知，改進后的SSD算法對小目標和重疊目標檢測精確度更高，原因在于將傳統(tǒng)SSD網(wǎng)絡(luò)中卷積層（Conv4-3和Conv7）采用優(yōu)化的卷積模塊，將負責預(yù)測的3×3的卷積核采用殘差模塊的網(wǎng)絡(luò)結(jié)構(gòu)，使網(wǎng)絡(luò)模型的泛化能力更好，抗干擾能力更強，從而可以有效應(yīng)對在實際場景下的運動模糊和光線較差等不良因素。即使在復雜的道路交通背景下，特別針對小尺度目標行人的檢測效果可知，基于本文改進的SSD目標檢測模型，仍能順利地檢測出測試集中存在的行人目標，并且檢測到的目標個數(shù)更為準確，檢測框的位置更為精準，與真實目標邊框的重疊率更高，證實了本文提出的改進算法在真實目標場景下，對小尺度目標行人具有更好的魯棒性，從準確率優(yōu)于其他幾種檢測算法。

3.3 檢測性能對比分析

基于Caltech行人數(shù)據(jù)集對2 000張行人樣本測試識別結(jié)果的準確率、召回率、平均準確度及速度進行比較。設(shè)檢測結(jié)果取真陽性(TP)、真陰性(TN)、假陽性(FP)、假陰性(FN)四種結(jié)果中的一種。則準確率AP表示正確預(yù)測的樣本占所有樣本的比重：

召回率R表示所有正樣本中被正確預(yù)測的比重：

平均準確率MAP表示對行人檢測類別的AP的平均。

分析表1數(shù)據(jù)可知，YOLOv4相對于YOLOv3在準確率上提升了近10個百分點，然而速度并幾乎沒有下降。SSD300在速度上比YOLO系列慢，但檢測準確率提高。YOLO系列和SSD300在準確率和速度上各有優(yōu)勢，但兩者不能兼顧。本文改進的SSD檢測算法相比較于YOLOv4和SSD300行人檢測算法，可在速度上與SSD300相當?shù)那闆r下，準確率進一步分別提升了2.1個百分點和2.8個百分點，召回率分別提升了6.7個百分點和6.2個百分點，平均準確率分別提升了4.3個百分點和5.5個百分點，說明卷積層結(jié)合稀疏連接來優(yōu)化卷積結(jié)構(gòu)對圖像特征的提取能取較好的效果，檢測精度得到了明顯提高。從檢測速度上分析，本文提出的基于改進的SSD算法也能達到了58 frame/s，能滿足實時性要求，這得益于利用殘差結(jié)構(gòu)減少了卷積結(jié)構(gòu)的參數(shù)和Focal Loss函數(shù)的引入，因此在提高算法檢測精度的同時可以滿足道路交通場景下小尺度行人目標的實時檢測需要。

表1 四種網(wǎng)絡(luò)模型的性能指標對比Table 1 Performance index comparison of four network models

4 結(jié)束語

為滿足交通場景中行人目標檢測算法對于檢測實時性和精確度的要求，本文在傳統(tǒng)的SSD網(wǎng)絡(luò)模型的基礎(chǔ)上提出了一些改進，首先在主干網(wǎng)絡(luò)的Conv4-3和Conv7兩個卷積層結(jié)合Inception模塊中的稀疏連接，提高卷積結(jié)構(gòu)對圖像的特征提取能力，增加特征圖中小目標的語義信息；其次檢測模塊采用殘差結(jié)構(gòu)代替?zhèn)鹘y(tǒng)的3×3大小的卷積核，對輸出的特征圖進行分類和位置的回歸，來進一步提高對小的行人目標的檢測精度；最后采用Focal Loss函數(shù)來代替softmax標準交叉熵損失函數(shù)，解決訓練過程中的正負樣本不平衡的問題，提高網(wǎng)絡(luò)的收斂速度。但行人檢測技術(shù)所涉及的研究課題具有一定的廣度和深度，本文算法所做的研究工作仍有待于進一步地完善，還有一些問題值得深入學習和探究。

（1）本文基于以VGG16為主干網(wǎng)絡(luò)的傳統(tǒng)的SSD網(wǎng)絡(luò)模型為基礎(chǔ)，做出相應(yīng)的改進，旨在提升算法的檢測性能，同時與其他優(yōu)秀的算法相比較，在公共數(shù)據(jù)集上通過大量實驗驗證了本文改進算法的合理性和有效性。但是算法的檢測速度還有很大的提升空間，可以在網(wǎng)絡(luò)結(jié)構(gòu)的優(yōu)化方面進一步做出努力?？紤]到網(wǎng)絡(luò)模型的參數(shù)量巨大，可通過對網(wǎng)絡(luò)進行輕量化，縮小模型，提高網(wǎng)絡(luò)的運行速度，以取得更好的精度與效率。

（2）一個性能優(yōu)越的深度神經(jīng)網(wǎng)絡(luò)模型，離不開豐富的訓練樣本圖像，所以，制作數(shù)據(jù)集時不僅要考慮到訓練樣本集的質(zhì)量是否符合要求，提高樣本的數(shù)量也是至關(guān)重要的。在不改變圖像類別的情況下，增加數(shù)據(jù)量，能提高模型的泛化能力。