一種基于多尺度滑動窗口圖像檢測行人的新方法

鄭賢哲 王艷東 劉澤宇

[摘? ? 要]針對行人檢測領(lǐng)域的相關(guān)現(xiàn)實問題，傳統(tǒng)機器學習算法通常采用對整幅圖片以滑動窗口逐步檢測的方法解決，這樣會因檢測非必要背景窗口過多而大大降低計算效率，針對上述問題提出一種基于多尺度滑動窗口圖像檢測行人的新方法。首先以滑動窗口遍歷圖像，對整幅圖片進行顯著性檢測，然后通過二值化處理的方式，將顯著性物體分割出來，最后過濾非必要窗口，繼而提高檢測效率。實驗中采用HOG方法提取行人特征，運用線性SVM進行檢測，最后驗證新方法的有效性。實驗中，使用大小為300×451Dpi、261×400Dpi的圖像，檢測窗口數(shù)量分別減少了44.21%、34.96%，檢測速率分別提高了9.30%、12.73%。實驗結(jié)果表明，相比于傳統(tǒng)檢測方法，新方法提高了檢測效率。

[關(guān)鍵詞]HOG特征提取;行人檢測;SVM;顯著性檢驗

[中圖分類號]TP391 [文獻標志碼]A [文章編號]2095–6487（2020）03–0–04

[Abstract]In view of the related practical problems in the field of pedestrian detection， traditional machine learning algorithms usually adopt a method of gradually detecting the entire picture with a sliding window， which will greatly reduce the computational efficiency due to the detection of too many unnecessary background windows. To solve the above problems， a new method of pedestrian detection based on multi-scale sliding window images is proposed. First， traverse the image with a sliding window to detect the saliency of the entire picture， then segment the salient objects by binarization， and finally filter the unnecessary windows to improve the detection efficiency. In the experiment， the HOG method is used to extract pedestrian features， linear SVM is used for detection， and finally the effectiveness of the new method is verified. In the experiment， using images with sizes of 300×451Dpi and 261×400Dpi， the number of detection windows was reduced by 44.21% and 34.96%， respectively， and the detection rate was increased by 9.30% and 12.73%， respectively. Experimental results show that compared with traditional detection methods， the new method improves detection efficiency.

[Keywords]HOG feature extraction; pedestrian detection; SVM; significance test

1 國內(nèi)外的研究現(xiàn)狀

近年來，隨著圖像識別技術(shù)的發(fā)展，基于圖像識別檢測行人的技術(shù)也得到廣泛的關(guān)注和研究。國內(nèi)外研究人員在特征提取、分類器改進、圖像處理以及駕駛應用等領(lǐng)域提出了各種不同的算法。

文獻[1]在智能車輛輔助駕駛系統(tǒng)、文獻[2-4]在智能交通控制以及智能視頻監(jiān)控等領(lǐng)域推動了行人檢測技術(shù)的發(fā)展。文獻[5]提出了運用梯度方向直方圖（HOG）算法提取行人特征的方法，并采用基于線性SVM的人體檢測作為測試用例，證明了定向梯度（HOG）描述符的直方圖網(wǎng)格能夠很好的體現(xiàn)行人特征。文獻[6]將排阻級聯(lián)（Cascade-of-Rejectors）方法與直方圖梯度特征集成，實現(xiàn)快速準確的人體檢測。文獻[7-10]講述了一種基于邊緣對稱的行人檢測法，該算法根據(jù)車道識別方法獲得感興趣區(qū)域，通過感興趣區(qū)域垂直邊緣獲取行人雙腿的對稱軸，根據(jù)灰色對稱性和局部熵值驗證候選區(qū)。文獻[11]提出了基于深度學習的行人檢測算法，該方法利用行人數(shù)據(jù)庫中行人的特征能被深度卷積神經(jīng)網(wǎng)絡自動學習的特點提高行人特征提取效率。文獻[12-14]提出通過多特征融合的方法獲取行人的特征。

2 方法

經(jīng)研究發(fā)現(xiàn)，在行人檢測過程中大部分重要信息會集中于一些關(guān)鍵的區(qū)域，即所謂的敏感性區(qū)域。如果能夠快速找出圖像中的敏感性區(qū)域，則可以加快圖像處理的速度。因此提出一種敏感性區(qū)域檢驗方法，來解決傳統(tǒng)滑動窗口易產(chǎn)生的問題。敏感性檢測方法主要包括顯著性檢驗、顯著性圖二值化及敏感性區(qū)域分割。使用HOG算法提取行人特征，采用線性SVM作為分類器，然后結(jié)合提出的新方法，檢測其有效性。模型整體框架如圖1所示。

2.1 敏感區(qū)域檢測

2.1.1 顯著性檢測

以下采用基于圖像頻域分析顯著性檢測（FT）的方法。FT是用多個帶通濾波器對圖像的連續(xù)頻帶進行濾波，將所有的輸出合并作為最終的顯著圖，然后產(chǎn)生全分辨率的顯著圖。整個過程通過疊加多個高斯帶通濾波器來實現(xiàn)的，高斯濾波器為：

式（1）中x，y表示圖像中像素的位置，σ1，σ2表示高斯分布的標準差，DOG帶通濾波器的通頻帶寬是由σ1，σ2的比值決定。

顯著性檢測公式為：

其中，

式中SFT（x，y）為圖像坐標位置（x，y）處的顯著性像素，Iμ（x，y）為圖像轉(zhuǎn)換在Lab空間后的像素的算術(shù)平均值，Iwhc（x，y）為圖像高斯模糊后獲得的模糊圖像，模糊圖像可用來消除圖像中的紋理細節(jié)和噪聲。計算輸入圖像的平均矢量值與高斯模糊是矢量之間的歐氏距離，即可獲得圖像的顯著性圖像。

顯著性檢測具體實現(xiàn)流程如下，算法流程圖如圖2所示。

2.1.2 顯著圖二值化

利用上文敘述的顯著性模型可求得圖像的顯著性區(qū)域，所得到的顯著性圖像是一個單通道的灰度圖，然后根據(jù)顯著圖中背景和顯著性區(qū)域部分的差異可進行二值化處理，進而得到顯著性圖像的二值化圖像，采用最大類間方差法（即大津算法進行二值化處理）分割出可能包含行人的感興趣區(qū)域。

最大類間方差是一種自適應的閾值確定方法。算法假設圖像像素能夠根據(jù)閾值，被分成背景[background]和目標[objects]兩部分。然后，計算該最佳閾值來區(qū)分這兩類像素，使得兩類像素區(qū)分度最大。

記M=256單通道灰度分級，Sum=像素總數(shù)

采用遍歷的方法得到使類間方差最大的閾值，即為所求。

2.2 特征提取

以下采用梯度直方圖（HOG）方法對圖像特征進行提取。這個方法是建立在圖像本身的梯度特征圖基礎(chǔ)上的，而且在特征提取過程中使用了重疊的局部對比度歸一化的方法，進一步提高了精確度。

因為HOG方法的操作對象是圖像的局部邊緣特征，所以它在圖像幾何和光學的變化方面都有很好的適應性，因此HOG方法是比較適用于圖像行人特征抽取。

2.3 分類器選擇

因為行人檢測是典型的二分類問題，且SVM在二分類中表現(xiàn)較好，所以分類器選擇用SVM算法來測試提出方法的有效性。SVM基本原理如下：

對于給定的數(shù)據(jù)集：

針對線性可分的情況，要找到兩條直線，這兩條直線恰好平行，并且不含任何訓練點，此時能夠把空間中的點分成兩類。這種條件下可以得到分類間隔是，將該條件轉(zhuǎn)化為最小。并且滿足，且使最小的分類面就是最優(yōu)分類面。最優(yōu)算法如下：

數(shù)據(jù)訓練集為T.

構(gòu)造出并求解對于變量w，b的最優(yōu)化問題：

求解出最優(yōu)解。

3 實驗分析

3.1 敏感性檢測分析

為了直觀表現(xiàn)出所述方法，采用兩張圖片突出敏感性檢測的特點。結(jié)果如圖3所示，其中（a）為對應的灰度圖，（b）為顯著性圖。實驗結(jié)果如圖3所示：

由以上實驗結(jié)果可知：

（1）從整體來看，顯著圖不突出圖中物體的細節(jié)描述。

（2）因為顯著性圖像是根據(jù)原圖像與Lab空間下平均像素值歐式距離來顯示的，所以會突出顏色相對比較亮或比較暗的部分，從而突出圖像中的物體。

（3）顯著性圖像比較明顯的表現(xiàn)出物體的邊緣。

（4）整體上顯著圖增加了物體和背景的差異性，方便二值化圖像處理，但是如果背景和前景像素值很近時，將不能很好的突出前景，比如圖中矩形標出的位置。

3.2 HOG+SVM 實驗分析

實驗時，采用Dariu.M.Gavrila所建網(wǎng)站提供的行人數(shù)據(jù)集進行行人檢測訓練。使用的正樣本是大小為48×96 Dpi的行人圖像1767張，負樣本是大小為48×96 Dpi的非行人圖像1200張。然后用梯度直方圖方法對樣本圖像進行特征提取，由計算可得，每張圖像樣本經(jīng)過特征提取所得特征向量長度為1980，正負樣本特征提取完可求得1967行，1980列的特征矩陣，也就是支持向量機所要訓練的數(shù)據(jù)。SVM進行訓練時，循環(huán)次數(shù)為10000次或者誤差為0.01是訓練停止。為了檢測訓練樣本的大小對正確率的影響，逐步增加正樣本，以767張行人圖像作為測試各個情況下檢測正確率的計算，檢測結(jié)果如表1所示。

由表1可知，當負樣本個數(shù)保持不變，逐漸增大正樣本個數(shù)，則行人測試的正確率逐漸上升，但是非行人檢測的正確率卻有所下降。如果行人樣本增大，則SVM學習的行人特征越全面，對判斷行人的效果會增加，由于除了行人之外其它樣本都為非行人，即非行人的特征是非統(tǒng)一的、多樣的，所以非行人特征很難學習。因此增加行人樣本數(shù)，可以提高系統(tǒng)的行人識別能力，但是不足之處是會增加圖像中非行人的誤檢率。

行人檢測結(jié)果如圖4所示。

其中圖（a）為正樣本數(shù)為10000，負樣本數(shù)為1200時的檢測結(jié)果，根據(jù)結(jié)果知，誤檢率相對較大，可通過增加分類閥值提高檢測效果，圖（b）為正樣本1767，負樣本數(shù)1200的檢測結(jié)果，結(jié)果相對較好，但是有漏檢現(xiàn)象，可通過減小分類閥值調(diào)節(jié)。

3.3 行人檢測實例分析

此次實驗選擇由正樣本為1767張，負樣本為1200張訓練得到的SVM線性分類器，程序運行環(huán)境為Visual Studio 2012。分別比較基于顯著性檢驗的和沒有顯著性檢驗的行人檢測方法的差別。以兩張圖像為例，檢測結(jié)果如表2和表3所示。

由表2和表3可知，相對于單純的HOG+SVM檢測方法，基于顯著性檢驗的行人檢測方法可減少運行時間。檢測速率分別提高了9.30%、12.73%，同時也減少了行人的誤檢個數(shù)，這是因為通過顯著性檢驗可以過濾掉一些非行人部分，在一定程度上提高了檢測效果。但是如圖6可知，本設計存在部分行人漏檢的問題，這是由于HOG對行人特征提取不足所導致的，需要進一步改進。

4 結(jié)語

上文主要研究了單幅圖像中行人檢測的方法以及圖像處理過程，深入探討了行人圖像特征提取過程，分類器樣本訓練方法及行人分類問題。 針對單純的特征提取和分類檢測的不足，運用了一種圖像顯著性檢驗算法，即基于圖像頻域分析的顯著性算法。通過該算法使圖像的前景部分更加明顯，然后對得到的顯著性圖像進行二值化，分割出圖中待檢測的感興趣區(qū)域。針對待檢測圖像背景復雜、分割出的前景區(qū)域和背景區(qū)域交錯等問題，提出了在運用滑動窗口滑動時，首先計算滑動窗口中前景區(qū)域占背景區(qū)域的百分比，再選擇出可能含有行人的檢測窗口，然后進行行人檢測的檢測流程及算法。根據(jù)算法過程，再使用opencv以及c++程序編寫進行實驗驗證，驗證提出的方案具有可行性及實用價值。

參考文獻

[1] D. Geronimo，A. M. Lopez，A. D. Sappa and T. Graf，"Survey of Pedestrian Detection for Advanced Driver Assistance Systems，" in IEEE Transactions on Pattern Analysis and Machine Intelligence，vol. 32，no. 7，pp. 1239-1258，July 2010.

[2] J. Candamo，M. Shreve，D. B. Goldgof，D. B. Sapper and R. Kasturi，"Understanding Transit Scenes： A Survey on Human Behavior-Recognition Algorithms，" in IEEE Transactions on Intelligent Transportation Systems，vol. 11，no. 1，pp. 206-224，March 2010.

[3] 烏恩.智能視頻監(jiān)控中運動目標檢測與跟蹤算法研究[D].北京：國防科學技術(shù)大學，2010

[4] 梁志剛.智能輔助駕駛系統(tǒng)中的行人檢測[D].上海：上海交通大學，2012.

[5] N. Dalal and B. Triggs，"Histograms of oriented gradients for human detection，" 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition （CVPR'05），San Diego，CA，USA，2005，pp. 886-893 vol. 1.

[6] Qiang Zhu，Mei-Chen Yeh，KWang-Ting Cheng and S. Avidan，"Fast Human Detection Using a Cascade of Histograms of Oriented Gradients，" 2006 IEEE Computer Society Conference on Computer Vision and Pattern Recognition （CVPR'06），2006，pp. 1491-1498.

[7] I. S. Han and W. S. Han，"Application of neuromorphic visual processing in pedestrian detection technology，" 2013 Science and Information Conference，London，2013，pp. 536-541.

[8] G. Lie，W. Rong-ben，J. Li-sheng，L. Lin-hui and Y. Lu，"Algorithm Study for Pedestrian Detection Based on Monocular Vision，" 2006 IEEE International Conference on Vehicular Electronics and Safety，Beijing，2006，pp. 83-87.

[9] J. Dong，J，Ge and Y，Luo，Nighttime Pedestrian Detection with Near Infrared using Cascaded Classifiers，2007 IEEE International Conference on Image Processing，San Antonio，TX[J].2007，pp，VI - 185-VI - 188.

[10] Junfeng Ge，Yupin Luo，Gyomei Tei，etc. Real-Time Pedestrian Detection and Tracking at Nighttime for Driver-Assistance Systems，IEEE Trans，Intell. Transp，Syst[J].2009，10：283-298.

[11] 張?zhí)祜w. 基于STRCF的改進HOG特征跟蹤算法研究[J].東莞理工學院學報，2020，（03）：55-05.

[12] 王斌.融合多模型和幀間信息的行人檢測算法[J].計算機輔助設計與圖形學學報.2017（03）.

[13] 周全良. 基于多特征和Adaboost的行人檢測研究[D].南京：南京郵電大學，2014.

[14] 張春鳳.基于多特征的行人檢測技術(shù)研究[D].浙江：浙江工業(yè)大學，2013.