基于改進(jìn)YOLOv3的行人檢測(cè)算法

張立旗，肖秦琨，韓澤佳

（西安工業(yè)大學(xué) 電子信息工程學(xué)院，西安710021）

行人檢測(cè)長(zhǎng)期以來一直是計(jì)算機(jī)視覺與圖像處理領(lǐng)域的一個(gè)重要研究課題，在無人駕駛、視頻監(jiān)控、智能安檢、智能機(jī)器人等領(lǐng)域有著廣泛的應(yīng)用。目前針對(duì)行人檢測(cè)問題，國(guó)內(nèi)外學(xué)者已經(jīng)提出了一系列行人檢測(cè)算法，但是在復(fù)雜環(huán)境下都不能達(dá)到理想的檢測(cè)效果。

近年來，隨著計(jì)算機(jī)性能的不斷提高，基于深度學(xué)習(xí)的行人檢測(cè)算法也取得了突破性成果?；谏疃葘W(xué)習(xí)的檢測(cè)算法主要分為2 種類型：基于候選區(qū)域選擇（兩階段）的檢測(cè)方法和基于邏輯回歸（一階段）的檢測(cè)方法。基于候選區(qū)域（兩階段）檢測(cè)方法通過利用滑動(dòng)窗口獲取目標(biāo)建議，然后再通過卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行特征提取，最后利用分類器對(duì)特征進(jìn)行分類識(shí)別，典型方法有R-CNN[1]、Fast-R-CNN。這類算法雖然有較高的檢測(cè)精度，但是檢測(cè)速度較慢，無法滿足實(shí)時(shí)性要求?；谶壿嫽貧w（一階段）的檢測(cè)算法通過預(yù)先設(shè)置錨框，直接對(duì)輸入圖像通過卷積進(jìn)行特征提取，然后對(duì)卷積圖中的錨框進(jìn)行回歸和分類，其典型算法包括SSD 算法[2]和YOLO 系列算法。YOLO 采用雷德蒙 （Redmon）在2015年提出的OverFeat 算法，實(shí)現(xiàn)了端到端的訓(xùn)練。YOLOv2 和YOLOv3 在原有的基礎(chǔ)上對(duì)網(wǎng)絡(luò)進(jìn)行了改進(jìn)，取得了更優(yōu)的檢測(cè)結(jié)果。YOLOv3 算法仍然存在檢測(cè)精度低的問題，并且文獻(xiàn)[3]～文獻(xiàn)[8]中改進(jìn)方案并未達(dá)到較好的檢測(cè)效果。此外，當(dāng)前的相關(guān)研究仍然無法同時(shí)兼顧檢測(cè)準(zhǔn)確率和速度的提升。

綜上所述，本文基于YOLOv3 算法為基礎(chǔ)，針對(duì)小尺度目標(biāo)漏檢率高和檢測(cè)速率慢的問題提出以下改進(jìn)：①精簡(jiǎn)YOLOv3 骨干特征提取網(wǎng)絡(luò)冗余結(jié)構(gòu)，提出Darknet-41 骨干網(wǎng)絡(luò)，解決因網(wǎng)絡(luò)層加深導(dǎo)致的過擬合問題，同時(shí)也減少參數(shù)量和計(jì)算量，提升了對(duì)目標(biāo)的檢測(cè)速率；②設(shè)計(jì)新的特征融合結(jié)構(gòu)，在多尺度特征融合的基礎(chǔ)上，增強(qiáng)對(duì)淺層特征的融合；③改進(jìn)損失函數(shù)以回歸更加精確的預(yù)測(cè)框的信息；④采用改進(jìn)的非極大值抑制算法Adaptive NMS，自適了對(duì)遮擋目標(biāo)的檢測(cè)能力。

1 YOLOv3 算法原理

YOLOv3 算法的基本原理就是利用邏輯回歸思想獲取邊界框的位置信息和所屬類別信息[3]。YOLOv3 整體網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

圖1 YOLOv3 網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 YOLOv3 network structure

YOLOv3 網(wǎng)絡(luò)結(jié)構(gòu)是由特征提取網(wǎng)絡(luò)Darknet53和檢測(cè)網(wǎng)絡(luò)層兩部分組成，其中Darknet53 是由53個(gè)卷積層和23 個(gè)跳躍連接構(gòu)成[4]；檢測(cè)網(wǎng)絡(luò)則引入了FPN （Feature Pyramid Networks for Object De tection） 思想，在3 個(gè)不同尺度的特征圖上進(jìn)行檢測(cè)，提升了對(duì)不同尺度目標(biāo)的檢測(cè)能力。

YOLOv3 算法將輸入的圖像數(shù)據(jù)通過特征提取網(wǎng)絡(luò)的卷積操作劃分為S×S 的網(wǎng)格，1 個(gè)網(wǎng)格通過3 個(gè)錨框?qū)β淙肫渲械哪繕?biāo)進(jìn)行預(yù)測(cè)，網(wǎng)絡(luò)的輸出大小為S×S×3×（4+1+C）[5]，包含預(yù)測(cè)框的中心坐標(biāo)和高寬、置信度以及C 個(gè)類別概率，最后使用NMS（非極大值抑制） 確定檢測(cè)目標(biāo)的坐標(biāo)信息和類別的預(yù)測(cè)值。置信度定義如下：

式中：confidence 為預(yù)測(cè)框的置信度；Pr（object）為網(wǎng)格中某目標(biāo)的類別概率；為預(yù)測(cè)框和真實(shí)框的交并比。

2 改進(jìn)的YOLOv3 檢測(cè)算法

2.1 輕量化的骨干網(wǎng)絡(luò)

YOLOv3 采用的Darknet-53 骨干網(wǎng)絡(luò)，共有23個(gè)殘差塊，共53 層卷積層，其利用Resnet 使網(wǎng)絡(luò)層不斷加深來提高準(zhǔn)確率，但過深的網(wǎng)絡(luò)會(huì)導(dǎo)致冗余參數(shù)、梯度消失和退化等問題，造成網(wǎng)絡(luò)訓(xùn)練速率較慢和檢測(cè)精度較低。針對(duì)上述問題，本文對(duì)骨干網(wǎng)絡(luò)進(jìn)行了適當(dāng)精簡(jiǎn)。首先通過消融實(shí)驗(yàn)對(duì)Darknet-53 網(wǎng)絡(luò)層次敏感值進(jìn)行分析，然后裁剪敏感值較低的網(wǎng)絡(luò)層，最后在原網(wǎng)絡(luò)的基礎(chǔ)上裁剪了12 層，并將改進(jìn)后的骨干網(wǎng)絡(luò)命名為Darknet-41。改進(jìn)后的網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。

圖2 Darknet-41 網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.2 Darknet-41 network structure diagram

2.2 特征融合結(jié)構(gòu)改進(jìn)

YOLOv3 檢測(cè)網(wǎng)絡(luò)采用了FPN（Feature Pyramid Networks for Object Detection）方法，輸出3 個(gè)不同尺度的特征圖，用于不同尺度的目標(biāo)檢測(cè)。在目標(biāo)檢測(cè)過程中，淺層特征有利于小尺度目標(biāo)的檢測(cè)，而深層特征則更有利于大尺度目標(biāo)檢測(cè)，由于YOLOv3 算法的檢測(cè)網(wǎng)絡(luò)層并沒有充分利用淺層特征，因此造成對(duì)小目標(biāo)的檢測(cè)精度較低。針對(duì)上述問題，本文設(shè)計(jì)了新的檢測(cè)網(wǎng)絡(luò)層，加強(qiáng)了對(duì)檢測(cè)目標(biāo)淺層特征信息的融合。改進(jìn)的YOLOv3 網(wǎng)絡(luò)如圖3所示。

圖3 改進(jìn)的YOLOv3 網(wǎng)絡(luò)Fig.3 Improved YOLOv3 network

YOLOv3 會(huì)輸出3 個(gè)檢測(cè)特征圖，其中52×52×256 輸出特征圖是用來檢測(cè)小尺度目標(biāo)，但是由于其沒有充分利用淺層特征，導(dǎo)致對(duì)小尺度目標(biāo)的檢測(cè)精度較低。因此本文引入了第二個(gè)Residual Block 提取的淺層特征。首先通過將原輸出特征層52×52×256 通過上采樣與淺層104×104×256 進(jìn)行融合，并將104×104×256 作為輸出特征圖，用于對(duì)小目標(biāo)的檢測(cè)。通過實(shí)驗(yàn)表明通過融入檢測(cè)目標(biāo)的淺層特征，提升了對(duì)小目標(biāo)的檢測(cè)精度。

2.3 非極大值抑制（NMS）改進(jìn)

YOLOv3 中采用的是非極大值抑制（NMS）來剔除冗余檢測(cè)框[6]，但是非極大值抑制（NMS）會(huì)粗略地將目標(biāo)重疊率比較高的邊界框刪除，因此會(huì)造成有遮擋的行人檢測(cè)精度較低。針對(duì)這一個(gè)問題，本文提出了一種Adaptive NMS（自適應(yīng)非極大值抑制），通過自適應(yīng)調(diào)整閾值的辦法，對(duì)預(yù)測(cè)框的選擇和提取工作進(jìn)行自適應(yīng)調(diào)整，減少遮擋目標(biāo)的漏檢問題。改進(jìn)的Adaptive NMS（自適應(yīng)非極大值抑制）定義如下：

一個(gè)檢測(cè)框Bi的密度標(biāo)簽定義如下：

根據(jù)這個(gè)定義，利用以下策略更新修剪步驟：

式中：NM為自適應(yīng)NMS 閾值；dm表示檢測(cè)框M 的擁擠度；ci表示臨近檢測(cè)框Bi的得分。

2.4 損失函數(shù)改進(jìn)

YOLOv3 的原始損失函數(shù)包含三部分：預(yù)測(cè)框坐標(biāo)損失、置信度損失和分類損失，其中邊框損失函數(shù)采用的是均方誤差（Mean Square Error，MSE）損失函數(shù)[7]。但是由于MSE 無法準(zhǔn)確表達(dá)邊框之間的IoU 關(guān)系，而且不具有尺度不變性，因此本文引進(jìn)了DIoU loss（Distance IoU loss），其將目標(biāo)與預(yù)測(cè)框之間的距離、重疊率和制度都考慮進(jìn)去，使得邊框回歸變得更加穩(wěn)定，并且在與目標(biāo)框不重疊的時(shí)候仍然可以提供有效的收斂方向。LDIoU計(jì)算公式如下：

式中：d=ρ（b，bgt）表示預(yù)測(cè)框與真實(shí)框中心點(diǎn)之間的距離；c 表示的是能同時(shí)覆蓋預(yù)測(cè)框和真實(shí)框的最小矩形的對(duì)角線。

由于改進(jìn)的YOLOv3 算法只檢測(cè)行人，因此本文提出的算法就直接去掉預(yù)測(cè)類別損失，從而減少網(wǎng)絡(luò)輸出維度，降低計(jì)算量。與此對(duì)應(yīng)，損失函數(shù)分別由兩部分組成，其計(jì)算公式：

式中：Ecoordi表示位置損失；Econfi表示置信度損失函數(shù)。

因此通過上述的改進(jìn)之后的總損失函數(shù)如下：

3 實(shí)驗(yàn)與結(jié)果分析

3.1 實(shí)驗(yàn)平臺(tái)及數(shù)據(jù)集

本文搭建的實(shí)驗(yàn)平臺(tái)：電腦配置為8 核Intel（R）Core（TM）i7-8750HCPU@2.20 GHz、AG-Forece GTX 1050Ti、8 G 運(yùn)行內(nèi)存；軟件操作系統(tǒng)為軟件操作系統(tǒng)為Ubantu18.04LTS 64 位，程序運(yùn)行所需環(huán)境為Python3.7 版本，并行計(jì)算框架版本為CUDA10.0，深度神經(jīng)網(wǎng)絡(luò)加速庫(kù)為CUDNN7.3.4，深度學(xué)習(xí)框架為Pytorch 1.6.1。

本文采用的數(shù)據(jù)集為VOC2012，共有11530 張照片。由于VOC2012 數(shù)據(jù)集中有20 種類別的標(biāo)簽信息，因此需要通過數(shù)據(jù)清理的方法，僅僅保存為person 類別的標(biāo)簽，然后將清洗后的數(shù)據(jù)集按照8∶1∶1 分為訓(xùn)練集、驗(yàn)證機(jī)和測(cè)試集，用于后續(xù)的網(wǎng)絡(luò)訓(xùn)練和測(cè)試。

3.2 網(wǎng)絡(luò)訓(xùn)練結(jié)果分析

本文改進(jìn)YOLOv3 網(wǎng)絡(luò)結(jié)構(gòu)首先通過加載原YOLOv3 算法在COCO 數(shù)據(jù)集上得到的預(yù)訓(xùn)練權(quán)重，然后再通過神經(jīng)網(wǎng)絡(luò)的遷移學(xué)習(xí)[8]，加載預(yù)訓(xùn)練權(quán)重用于后續(xù)的網(wǎng)絡(luò)訓(xùn)練與測(cè)試。網(wǎng)絡(luò)訓(xùn)練的過程中超參數(shù)設(shè)置如表1所示，最后對(duì)訓(xùn)練的結(jié)果進(jìn)行詳細(xì)分析。

表1 訓(xùn)練超參數(shù)設(shè)置Tab.1 Training hyperparameter settings

圖4為模型訓(xùn)練過程中平均損失變化曲線，可以看出，在進(jìn)行了15 輪的迭代訓(xùn)練時(shí)，loss 迅速下降，而在經(jīng)過25 輪的迭代后loss 緩慢下降并最終達(dá)到穩(wěn)定，則此時(shí)該網(wǎng)絡(luò)的損失達(dá)到最小，網(wǎng)絡(luò)達(dá)到擬合狀態(tài)。

圖4 平均損失變化曲線Fig.4 Average loss curve

圖5為交并比（IoU）為0.5 以及置信度為0.5的指標(biāo)下測(cè)試均值平均精度（mAP）變化曲線，在進(jìn)行迭代訓(xùn)練的過程中更新并保留mAP 最高的算法，然后在測(cè)試集上測(cè)試本文提出算法的檢測(cè)準(zhǔn)確率。由圖可知，本文算法的mAP 為93.3%相比YOLOv3算法提升了4.6%。檢測(cè)速度由48.63 幀/s 提升到57.34 幀/s。

圖5 平均精度變化曲線Fig.5 Average accuracy change curve

3.3 實(shí)驗(yàn)結(jié)果

通過將改進(jìn)的YOLOv3 的算法對(duì)VOC2012 測(cè)試集上的行人目標(biāo)進(jìn)行檢測(cè)，部分檢測(cè)結(jié)果如圖6所示。檢測(cè)結(jié)果表明，本文提出的算法對(duì)小尺度行人目標(biāo)和遮擋行人目標(biāo)都具有較好的檢測(cè)效果。

圖6 改進(jìn)YOLOv3 測(cè)結(jié)果圖Fig.6 Improved YOLOv3 test results

3.4 實(shí)驗(yàn)結(jié)果分析

3.4.1 消融實(shí)驗(yàn)結(jié)果

本文算法在YOLOv3 算法的基礎(chǔ)上精簡(jiǎn)骨干網(wǎng)絡(luò)，降低網(wǎng)絡(luò)深度，提出Darknet-41 骨干網(wǎng)絡(luò)；設(shè)計(jì)新的特征融合結(jié)構(gòu)，通過引入第二個(gè)Residual Block的淺層特征；引入了DIoU 損失函數(shù)和Adaptive NMS（自適應(yīng)非極大值抑制）。為了能夠更詳細(xì)地分析本文提出的改進(jìn)算法對(duì)YOLOv3 的產(chǎn)生的影響，分別進(jìn)行5 組實(shí)驗(yàn)，其實(shí)驗(yàn)結(jié)果如表2所示。

表2 消融實(shí)驗(yàn)結(jié)果Tab.2 Results of ablation experiments

由表2可以看出，在2 組實(shí)驗(yàn)，精簡(jiǎn)網(wǎng)絡(luò)結(jié)構(gòu)，在檢測(cè)平均精度略微受到影響的基礎(chǔ)下，檢測(cè)速率卻提升了8.1 幀/s；在第3 組實(shí)驗(yàn)，設(shè)計(jì)了新的FPN結(jié)構(gòu)，通過引入淺層特征，相比第2 組實(shí)驗(yàn)結(jié)果mAP和FPS（檢測(cè)速度）分別提升了1.2%和0.9 幀/s。在第4 組實(shí)驗(yàn)，通過引入了DIoU 損失函數(shù)，使得網(wǎng)絡(luò)能夠回歸更加精確的坐標(biāo)框的信息，相比于第3 組實(shí)驗(yàn)結(jié)果mAP 和FPS（檢測(cè)速度）提升1.6%和0.6幀/s。第5 組實(shí)驗(yàn)就是利用改進(jìn)的Adaptive NMS（自適應(yīng)非極大值抑制），通過自適應(yīng)調(diào)整閾值的辦法，對(duì)預(yù)測(cè)框的選擇和提取工作進(jìn)行自適應(yīng)調(diào)整相比較第4 組實(shí)驗(yàn)結(jié)果mAP 和FPS 分別提升了1.9%和0.5 幀/s。

3.4.2 不同算法實(shí)驗(yàn)對(duì)比

為檢驗(yàn)本文提出改進(jìn)的YOLOv3 算法的有效性，將本文提出的算法與其他目標(biāo)檢測(cè)算法在VOC2012行人數(shù)據(jù)集上進(jìn)行訓(xùn)練與測(cè)試，并得到平均精度（mAP）、FPS、漏檢率等評(píng)價(jià)指標(biāo)，如表3所示。

表3 不同算法的檢驗(yàn)結(jié)果Tab.3 Test results of different algorithms

從表3中我們可以得到本文的算法的mAP 為93.3%、漏檢率為6.2%、檢測(cè)速率達(dá)到了58.7 幀/s，相比較YOLOv3 算法的mAP 和檢測(cè)速率分別提升了4.6%和10.1 幀/s，漏檢率降低2.4%。此外，通過對(duì)比文獻(xiàn)[9]～文獻(xiàn)[11]的目標(biāo)檢測(cè)算法，可以發(fā)現(xiàn)本文提出的算法還是具有更優(yōu)的檢測(cè)效果。

圖7為YOLOv3 算法與本文提出的算法對(duì)相同測(cè)試數(shù)據(jù)集進(jìn)行測(cè)試的部分檢測(cè)結(jié)果。通過對(duì)比可以發(fā)現(xiàn)，改進(jìn)后的模型在對(duì)小尺度行人目標(biāo)和發(fā)生遮擋的目標(biāo)進(jìn)行檢測(cè)的時(shí)候，有效地避免了漏檢。

圖7 行人目標(biāo)檢測(cè)效果對(duì)比Fig.7 Comparison of pedestrian target detection results

4 結(jié)語(yǔ)

本文提出改進(jìn)YOLOv3 的行人檢測(cè)方法，通過對(duì)骨干網(wǎng)絡(luò)進(jìn)行精簡(jiǎn)，提出Darknet-41 骨干網(wǎng)絡(luò)降低網(wǎng)絡(luò)深度，提升了檢測(cè)速度。同時(shí)改進(jìn)FPN 層結(jié)構(gòu)，通過引進(jìn)第二個(gè)Residual Block，融合淺層特征，從而提高了該檢測(cè)算法對(duì)中小目標(biāo)檢測(cè)的精確度。然后引進(jìn)DIoU 損失函數(shù)，以便得到更加精確的回歸框的信息。最后通過改進(jìn)的Adaptive NMS（自適應(yīng)非極大值抑制），用于對(duì)于預(yù)測(cè)框的剔除冗余檢測(cè)框，提高了對(duì)遮擋目標(biāo)的檢測(cè)能力。最后通過實(shí)驗(yàn)發(fā)現(xiàn)本文提出的算法具有更優(yōu)的檢測(cè)效果。