基于改進YOLOv3 的行人檢測研究

車啟謠，嚴運兵

（武漢科技大學 汽車與交通工程學院，武漢 430065）

0 引言

近年來，行人檢測技術得到快速發(fā)展并取得了一定成果，在智能人臉安檢、輔助駕駛系統(tǒng)，以及智能網聯(lián)等領域占據了重要地位。在自動駕駛領域中，行人檢測技術主要采用安裝在物體上的視覺傳感器，對采集到的感興趣區(qū)域進行分析處理，以完成對行人的識別。現(xiàn)有的行人檢測技術主要通過提取人體的幾何特征與運動信息特征來設計特征提取方法，雖在檢測速度與精準度上都有所提升，但仍有一些問題未得到很好的解決。如：檢測結果易受到光照變化和遮擋物的影響，降低了行人檢測效果，且行人自身存在較大的形變，加大了有效特征提取的難度。此外，還存在目標檢測算法復雜、對于多目標情況下檢測時間較長、實時性較差、魯棒性也難以達到要求等問題。

目前，針對行人檢測問題所采用的算法可分為2 種：一是采用人工選取目標點特征，再通過機器學習訓練分類器的檢測算法；二是采用深度學習訓練網絡模型的檢測算法。

采用機器學習訓練分類器的算法提出較早，并且一直處于不斷的優(yōu)化中。2001 年，Viola 等人通過提取Haar 特征，再對AdaBoost 級聯(lián)分類器進行訓練的方法實現(xiàn)目標人臉檢測。2005 年，Dalal 等人通過提取HOG 特征，對行人的邊緣特征進行描述，并發(fā)現(xiàn)HOG 描述子十分適合人的檢測，但是描述子生成過程較長，實時性差，并且難以處理行人被遮擋的問題。2015 年，譚飛剛等人提出一種結合二值化Haar 特征多部件驗證的雙層行人檢測算法，提高了行人部分被遮擋時的檢測精準度。雖然傳統(tǒng)的機器學習算法也在持續(xù)優(yōu)化與更新，但仍難以滿足相應的要求。

目前，基于深度學習的檢測算法在描述目標特征圖時的精準檢測與輸出，已逐漸占據了主導地位。2014 年，Girshick 等人提出的R-CNN 目標檢測框架，主要通過選擇性地搜索可能包含檢測目標的候選區(qū)域，并對每個候選框進行分類，再利用CNN提取特征，現(xiàn)已成為最典型的雙階段目標檢測算法。隨后，針對雙階段目標檢測算法空間模型規(guī)模大、測試速度慢等缺點，2015 年，Girshick 等人提出基于邊界框和多任務損失分類的Fast R-CNN 算法。2017 年，Ren 等人通過引入區(qū)域建議網絡，提出了Faster R-CNN 算法。

當前情況下，雙階段目標檢測算法雖然在不斷地進行優(yōu)化，但是仍然難以滿足目標檢測算法適用場景的實時性與魯棒性。相比較之下，基于回歸分析思想的單階段目標檢測算法具有檢測速度快、精度高的特點。2015 年，Redmon 等人提出了YOLO檢測算法，將特征提取、回歸和分類置于單個卷積網絡中，通過簡化網絡結構的方法，實現(xiàn)端到端的目標檢測，但該算法對小尺度目標的檢測精準度與召回率低。針對此問題，2016 年，Liu 等人采用分層提取特征的思想與目標預測機制提出了SSD算法。2017 年，Jeong 等人基于SSD 算法，通過增減反卷積模塊提出R-SSD 算法。Li 等人通過融合多種特征層與特征尺度并生成特征金字塔的方法，提出了F-SSD 算法。但是，以上算法仍然會存在對小目標檢測效果欠佳、檢測速度較慢的缺陷。

盡管傳統(tǒng)的目標檢測方法基本能夠滿足物體本身的檢測要求，但效率和精準度方面卻仍有不足亟待完善。為此，本文對傳統(tǒng)YOLOv3 檢測算法提出了一些改進，并在CUHK 數據集上對改進后算法的準確率和召回率進行了仿真驗證。

1 YOLOv3 神經網絡算法

自2015 年以來，學界就陸續(xù)推出了更新?lián)Q代的數個YOLO 系列版本。YOLO 系列算法相對于Fast R-CNN 算法來說，未將檢測結果分2 部分進行求解，而是基于回歸的思想，在輸出回歸層直接回歸出目標位置及其類別，有著更好的檢測精度與檢測速度。

2018 年，Joseph 等人提出YOLOv3 算法，相對于前身對多個部分融入了改進內容。主要借用ResNet 殘差網絡的思想，采用更好的基礎特征提取網絡Darknet-53，和之前的網絡結構相比，在一定程度上提升了檢測速度，網絡性能對比見表1；同時，采用多尺度融合預測的方法，共提取3 個特征層，提升了算法對小目標的檢測精度。至此，為保證每個目標的預測準確率與多目標標簽分類，采用新的代價函數替換原函數。

表1 Darknet-53 網絡性能對比表Tab.1 Comparison table of Darknet-53 network performance

YOLOv3 檢測模型主要由骨干網絡和檢測網絡兩部分組成，其網絡結構如圖1 所示。圖1，采用基于殘差網絡思想的Darknet-53 作為用于特征提取的主干網絡。Darknet-53 模型包含53 個卷積層和23個跳躍連接，具有相對YOLOv2 模型更深的卷積層。

圖1 YOLOv3 模型結構Fig.1 YOLOv3 model structure

檢測網絡部分采用Faster R-CNN 中使用的FPN 特征金字塔結構，盡可能地減少特征損失，提高檢測精度。其中，共提取3 個特征層，分別為：輸出特征分辨率為52×52 的中間層、26×26 的中下層和13×13 的底層，3 個特征層分別針對小、中、大三種分辨率的目標對象通過檢測。在獲得3 個有效特征層后通過多特征融合，并對有效特征層進行預測，得到預測結果后，再利用解碼預測模塊，對網絡處理后的數據進行解碼，由此得到最終結果。

2 改進的YOLOv3 神經網絡算法

2.1 選用K-means++聚類算法

YOLO 系列算法從YOLOv3 開始，采用9 個anchor 進行預測，但仍然采用與YOLOv2 相同的Kmeans 聚類算法來獲取anchors 的大小。K-means聚類算法會隨機指定個聚類中心（cluster）作為初始點，并將距離相近的cluster 不斷進行均值化處理，當cluster 很小時，保存聚類來確定anchor 的初始位置。距離相近的依據以值進行判定，具體公式如下：

其中，為樣本點到每一個質心的距離；為其它邊框；為聚類時被選作中心的邊框；為目標預測框與目標標簽框的交并比。

由于K-means 聚類算法中聚類中心的隨機性與離群點及孤立點的敏感性，算法的聚類效果易受到因初始值選取不當而造成的影響。此外，也會導致算法在分類時的不精準現(xiàn)象，出現(xiàn)錯誤分類的情況。為此，本文使用K-means++算法取代原聚類算法，以期得到更符合樣本的先驗證框。

K-means++與K-means 算法不同的是：第一步會隨機選取一個cluster 作為初始點，同時為了避免噪聲，采取輪盤法選擇一個新的距離較遠的點，直至個cluster 被選出；此后再進行K-means 聚類算法。盡管在初始點的選擇上，K-means++算法花費了較多的時間，但實際上卻減輕了初始聚類中心選擇不當所造成的誤差，提升了算法的計算效率。

2.2 殘差網絡模塊

卷積神經網絡深度的加深，可以提取更為豐富的特征，提升檢測性能。但隨著網絡層數的增加，也會加重深層網絡的訓練負擔，造成網絡的性能退化等一系列問題。為了緩解網絡加深后所帶來的種種問題，YOLOv3 算法采用了與文獻［21］中提出的ResNet 相類似的殘差網絡結構。

殘差網絡結構通過快捷連接的方式，將每若干層中的某一層數據直接添加到后面數據層的輸出部分，將中間的某一層或多層卷積層進行縮減，用來減少計算量，并降低網絡深度。

YOLOv2 采用大量的3×3 的卷積核進行卷積，而YOLOv3 則先采用一個大小為3×3、步長為2 的卷積核進行卷積，將輸入特征層的高和寬進行壓縮，從而產生一個新的卷積層Layer，稍后再保存Layer并進行一次3×3 的卷積和1×1 的卷積，得到的結果與Layer 相加，便構成了殘差網絡結構。YOLOv3 殘差網絡模塊結構如圖2 所示。

圖2 殘差網絡模塊結構圖Fig.2 Residual network module structure diagram

為了解決由于網絡深度增大而產生的準確率下降和性能退化問題，本文在網絡進行最末端的卷積處理后，加入殘差網絡模塊來降低模型的計算量。該模塊采用3 層卷積層的網絡結構，并使用1×1 的卷積代替3×3 卷積。改進后的ResNet-H 結構如圖3 所示。

圖3 ResNet-H 模塊結構圖Fig.3 ResNet-H module structure diagram

2.3 CBAM 注意力機制

通常，人眼在接觸到某一場景或客觀事物時，關注點的不均勻分布會導致人的注意力朝向會轉移至感興趣的區(qū)域或者信息。通過這種選擇性的視覺注意力機制，可以高效地分配注意力資源，并最終服務于人的主觀意志。基于此，為了使計算機視覺在識別信息時自主學會留意關鍵有用的信息，研究人員通過計算概率分布的形式來展示詞之間的關系，從而產生了注意力機制。

與其它機制相比，CBAM 注意力機制采用了通道注意力與空間注意力相結合的方法，通過2 個維度依次在輸入特征圖中推斷出特征權重，再將該權重與輸入特征圖進行點積，從而得到優(yōu)化后的輸出特征圖。整體流程如圖4 所示。

圖4 CBAM 模塊的結構Fig.4 Structure of CBAM module

YOLOv3 檢測算法的本質是將輸入的圖像進行編碼，而后再從中解碼出目標位置和類別信息進行輸出。在此過程中，通過在網絡中加入CBAM 注意力機制，可以使YOLOv3 網絡對行人施加較大的權重，從而提升特征提取能力。

由圖1 可知，YOLOv3 最初會提取3 個基礎特征層，每次基礎特征層與其他上采樣的特征層堆疊拼接后，會進行5 次的卷積處理，此時在卷積處理中加入注意力模塊。網絡結構中加入的具體部位如圖5 所示。

圖5 加入CBAM 模塊后的結構圖Fig.5 Structure diagram after adding CBAM module

2.4 多頭自注意力機制MHSA

卷積神經網絡CNN 在識別特征時，通常會采用較小的卷積核來識別物體的局部特征，增加網絡層數的同時，也減少了參數，但也會使得卷積層的感受野相對特征圖要小上很多。尤其在行人檢測中，往往需要在較大的特征圖中獲取行人特征，使得網絡能夠從目標的較大相鄰區(qū)域中收集上下文信息，提取更好的行人特征。為了得到全局信息，需要拓展網絡的深度，堆疊多個卷積層，為此需要消耗很多計算資源。

自注意力機制（Self-attention）在2017 年由Vaswani 等人提出，并主要應用于學習文本表示。在文本語言處理中，自注意力機制能夠通過計算每個詞的注意力概率來更好地捕獲上下文信息，以表達詞與詞之間的語義關系。同時，文中還提出了多頭自注意力機制（Multi -headed Self -attention），即通過多次Self-attention 計算，將每個機制上的不同注意點權重矩陣結果進行拼接融合，即可表達出更加全面的關聯(lián)程度。為此，考慮將其引入行人檢測網絡，由此來提取圖片的全局特征。

多頭自注意力機制結構如圖6 所示。該機制將、和矩陣進行不同維度的矩陣映射，輸出參數后進行儲存，并將多次結果進行拼接融合后、再進行一次矩陣映射，就得到了輸出結果。另外，由于使用過多的多頭自注意力機制會導致計算機負荷增加，從而降低檢測精度，故會在第四次的下采樣后再將其加入進去。

圖6 多頭自注意力機制結構Fig.6 Multi-headed self-attention mechanism structure

2.5 改進后的YOLOv3 模型結構

本文主要通過將K-means 更改為K-means++聚類算法、在網絡結構中加入改進的殘差網絡模塊、CBAM 注意力機制與MHSA 多頭自注意力機制的方法來對YOLOv3 加以改進，改進后的YOLOv3-i 模型結構如圖7 所示。

圖7 YOLOv3-i 模型結構Fig.7 YOLOv3-i model structure

3 驗證與分析

3.1 實驗環(huán)境設置

本文實驗在Windows 10 系統(tǒng)下進行。GPU 為NVIDIA Tesla V100、內存32 G、顯存32 GB；深度學習框架為Pytorch 1.5.1 版本。

3.2 實驗數據配置

實驗所選取的數據集為香港中文大學（CUHK）開源行人檢測數據集，共包括1 063 張行人圖片。實驗開始前，先選用其中的800 張圖片進行調試訓練，稍后另取各100 張圖片進行驗證與測試。

訓練采用的初始學習率為0.001，學習率衰減策略為每經過一個，學習率降低為原來的0.05倍，迭代次數為1 000 次，為45。即每個在訓練集中取45 個樣本進行訓練，直至全部樣本都遍歷完成一次訓練。

3.3 實驗結果及分析

在相同的實驗場景下，本文將基于YOLOv3 改進的YOLOv3-i 算法與YOLOv3 檢測算法共進行5組實驗，旨在驗證加入各個模塊后，對行人檢測方面的性能改進。實驗明細概述如下。

（1）實驗：原YOLOv3 算法；

（2）實驗：使用K-means++改進后的YOLOv3算法；

（3）實驗：使用K-means++和殘差網絡模塊改進后的YOLOv3 算法；

（4）實驗：使用K-means++、殘差網絡模塊、CBAM 注意力機制改進后的YOLOv3 算法；

（5）實驗：使用K-means++、殘差網絡模塊、CBAM 注意力機制和MHSA 多頭自注意力機制改進后的YOLOv3 算法；

5 組實驗的平均準確率、召回率、準確率及調和平均值結果見表2。

表2 不同實驗檢測結果對比Tab.2 Comparison of detection results of different experiments %

從表2 中可以看出，本文提出的YOLOv3-i 算法的值達到88.20%，而原算法的值為70.75%，相比而言提高了17.45%；召回率、檢測精準度等數值也均有提升。而從、兩組實驗可見，實驗的相對提升了8.85%，表明多頭注意力機制相比于傳統(tǒng)的卷積網絡有更強的特征提取能力。

原YOLOv3 與本文提出的YOLOv3-i 改進算法的實際測試結果對比如圖8 所示。在小目標的檢測上，經過圖8（a）與圖8（b）的對比，可以清晰地看出改進的算法對行人目標的邊緣輪廓進行了更好的刻畫，提升了特征檢測效果。而對于受到嚴重遮擋重疊的行人目標部分，圖8（d）相對圖8（c）而言仍能進行識別。由此可以表明：改進后的算法提升了對小目標以及被遮擋部位的特征提取能力，能夠更加精準地發(fā)現(xiàn)行人檢測目標。

圖8 不同實驗檢測效果對比圖Fig.8 Comparison of detection effects of different experiments

4 結束語

本文以YOLOv3 網絡為基礎，通過選用Kmeans++聚類算法、在網絡結構中加入改進的殘差網絡模塊、CBAM 注意力機制與MHSA 多頭自注意力機制的方法，提出了改進的行人檢測方法。本文算法在CUHK 數據集上進行訓練及對比測試，實驗結果表明：優(yōu)化后的算法有著更強的特征提取能力，較大地提升了YOLOv3 算法對行人的檢測效果。

但本文提出的方法仍然存在問題，如改進的算法在當前的訓練集上會有較好的提升，但在其它數據集上，若圖片中行人受到嚴重遮擋或距離較遠時，檢測效果會有所下降。其次，算法未在實際道路及場景上進行測試，后續(xù)將進一步展開研究，嘗試提高算法的抗干擾和實時檢測能力。