基于行人與車輛關(guān)系模型的行人檢測(cè)

張　軍　楊伯軒　楊正瓴

(天津大學(xué)自動(dòng)化學(xué)院　天津 300072)

?

基于行人與車輛關(guān)系模型的行人檢測(cè)

張軍楊伯軒楊正瓴

(天津大學(xué)自動(dòng)化學(xué)院天津 300072)

針對(duì)在交通場(chǎng)景下的行人，考慮到絕大多數(shù)交通場(chǎng)景中車輛與行人同時(shí)存在，提出一種在對(duì)背景圖像進(jìn)行初步行人檢測(cè)的同時(shí)對(duì)車輛進(jìn)行檢測(cè)的方法，建立一種行人與車輛關(guān)系模型。以車輛位置作為輔助檢測(cè)基礎(chǔ)，引入真假陽(yáng)性檢驗(yàn)用以排除出現(xiàn)在不可能區(qū)域的行人并介紹了具體方法。該方法首先對(duì)行人、車輛、行人與車輛關(guān)系特征進(jìn)行定義并建模形成與其有關(guān)的函數(shù)關(guān)系，然后推導(dǎo)得到適用于支持向量機(jī)的標(biāo)準(zhǔn)形式，最后通過(guò)支持向量機(jī)回歸法訓(xùn)練分類器進(jìn)行分類識(shí)別。現(xiàn)場(chǎng)實(shí)測(cè)結(jié)果表明，此種方法大大降低了誤檢率，對(duì)不同分辨率圖片中的行人均有較好的識(shí)別效果。

智能交通系統(tǒng)行人檢測(cè)車輛輔助檢測(cè)支持向量機(jī)多分辨率

0　引　言

行人檢測(cè)十幾年來(lái)一直是計(jì)算機(jī)視覺(jué)和智能交通領(lǐng)域的研究熱點(diǎn)，它在汽車輔助駕駛或自動(dòng)駕駛系統(tǒng)、視頻監(jiān)控、運(yùn)動(dòng)識(shí)別等領(lǐng)域均有廣泛的應(yīng)用。目前的行人檢測(cè)方法主要分為基于視覺(jué)傳感器和基于非視覺(jué)傳感器兩大類。其中基于非視覺(jué)傳感器方法對(duì)硬件要求較高但檢測(cè)效果較差，因此使用率較低。目前主要應(yīng)用的方法是基于視覺(jué)傳感器的方法，該方法包括：基于模型匹配法、基于運(yùn)動(dòng)信息法、基于統(tǒng)計(jì)分類法、基于形狀分析法等。近年來(lái)，基于梯度特征的行人檢測(cè)方法逐漸普及，因其使行人檢測(cè)在有效性和效率方面均明顯提高，漸漸成為行人檢測(cè)的主流方法[1]。然而，行人檢測(cè)會(huì)受到行人的外形多種多樣，穿各種各樣顏色和式樣的服裝，行人所處的自然場(chǎng)景較復(fù)雜等原因的影響導(dǎo)致識(shí)別率會(huì)有所下降[2]。同時(shí)當(dāng)行人處于場(chǎng)景遠(yuǎn)處而圖像的分辨率不足時(shí)，往往會(huì)導(dǎo)致行人漏檢。由于在實(shí)際交通場(chǎng)景中不能保證圖像均擁有較高的分辨率，所以低分辨率的行人檢測(cè)在實(shí)際應(yīng)用中也十分重要[3]。

為解決上述問(wèn)題，考慮到交通場(chǎng)景中行人多數(shù)不是單獨(dú)孤立的存在，機(jī)動(dòng)車經(jīng)常存在于其周圍且機(jī)動(dòng)車相比于行人更易進(jìn)行檢測(cè)[4]。因此，構(gòu)建一個(gè)行人與車輛關(guān)系模型，借助車輛來(lái)進(jìn)行輔助定位，引入真假陽(yáng)性檢測(cè)排除一些出現(xiàn)在不可能區(qū)域但被誤檢測(cè)的行人；同時(shí)建模形成支持向量機(jī)結(jié)構(gòu)[5]。最后通過(guò)訓(xùn)練支持向量機(jī)來(lái)進(jìn)行分類識(shí)別[6]。

1　基于HOG的初步行人檢測(cè)

方向梯度直方圖HOG(Histogram of Oriented Gradient)是一種局部區(qū)域描述符。它通過(guò)計(jì)算和統(tǒng)計(jì)圖像局部區(qū)域的梯度方向直方圖來(lái)構(gòu)成特征?？蓪OG特征結(jié)合SVM分類器進(jìn)行行人檢測(cè)[7]。

本文通過(guò)對(duì)目標(biāo)和掃描窗口進(jìn)行檢測(cè)來(lái)計(jì)算HOG特征，具體過(guò)程如下：

(1) 將彩色圖像進(jìn)行灰度化。

(2) 將圖像進(jìn)行歸一化處理。

(3) 計(jì)算圖像橫坐標(biāo)和縱坐標(biāo)方向的梯度，并據(jù)此計(jì)算每個(gè)像素位置的梯度方向值，圖像中像素點(diǎn)(x,y)的梯度為：

Gx(x,y)=H(x+1,y)-H(x-1,y)Gy(x,y)=H(x,y+1)-H(x,y-1)

(1)

式中Gx(x，y)、Gy(x，y)、H(x，y)分別表示輸入圖像素點(diǎn)中水平方向梯度值、垂直方向梯度值和像素值。則轉(zhuǎn)化為(x，y)處的梯度幅值和梯度方向分別為式(2)和式(3)。

(2)

(3)

(4) HOG結(jié)構(gòu)采用矩形結(jié)構(gòu)，將圖像分為若干個(gè)block，每一個(gè)block包括4個(gè)2×2的相鄰的cell構(gòu)成，每一個(gè)cell包括64個(gè)8×8的像素點(diǎn)，如圖1所示。

圖1　HOG塊的劃分方式

(5) 將所有block的HOG特征串聯(lián)起來(lái)，并將它們結(jié)合成最終的特征向量進(jìn)行分類。

2　引入車輛關(guān)系后的模型構(gòu)建

由上述方法所得的行人檢測(cè)結(jié)果往往會(huì)受到圖像以及背景中類似于行人的干擾影響，導(dǎo)致檢測(cè)準(zhǔn)確率降低。如圖2所示。

圖2　初步行人檢測(cè)結(jié)果

其中，只在區(qū)域2處得到較為準(zhǔn)確的行人檢測(cè)結(jié)果；由于區(qū)域1、3、4擁有與行人十分接近的HOG邊緣特征而導(dǎo)致誤檢測(cè)。進(jìn)一步觀察，發(fā)現(xiàn)被誤檢測(cè)的區(qū)域與附近車輛擁有相對(duì)固定的位置關(guān)系。同時(shí)由于車輛體積較大，所占像素點(diǎn)較多，相對(duì)于行人很容易被準(zhǔn)確檢測(cè)。因此，在同一幅圖中，同時(shí)進(jìn)行行人與車輛識(shí)別，并根據(jù)車輛位置排除一些出現(xiàn)在不可能區(qū)域而被誤檢測(cè)的行人，例如出現(xiàn)在車輛上方的區(qū)域1、3；車輛下方的區(qū)域4等。

2.1定義行人與車輛關(guān)系

在一幅圖像的多個(gè)車輛中選定一個(gè)車輛后，假設(shè)攝像機(jī)與地面完全水平對(duì)齊，我們將初步檢測(cè)到的行人與車輛的關(guān)系分為5種，分別是行人在車輛上方、下方、旁邊、交疊、遠(yuǎn)離。根據(jù)此位置關(guān)系將行人與車輛的關(guān)系定義為一個(gè)與二者有關(guān)系的函數(shù)G(p，v)，其中p為行人位置的中心，v為車輛位置的中心，構(gòu)建直角坐標(biāo)系，并以左下角為原點(diǎn)，像素點(diǎn)位置為其坐標(biāo)。如果兩者之間的位置關(guān)系是上述5個(gè)位置關(guān)系中除了“遠(yuǎn)離”以外的任何一個(gè)，則將其位置關(guān)系由一個(gè)5維向量描述，將其定義為：

G(p,v)=(δ(s),ΔCx,ΔCy,Δh,1)

(4)

其中：

(5)

分別表示車輛與行人中心像素點(diǎn)在x，y方向上的像素點(diǎn)個(gè)數(shù)之差即坐標(biāo)值之差。

(6)

表示車輛與行人高度所占像素點(diǎn)個(gè)數(shù)之別即y軸坐標(biāo)差之比。

(7)

為整體歸一化系數(shù)，通過(guò)加權(quán)提高監(jiān)測(cè)器對(duì)光照的魯棒性。當(dāng)行人與車輛之間的距離大于一定的閾值時(shí)，將行人與車輛之間的關(guān)系判定為“遠(yuǎn)離”，此時(shí)行人與所選車輛無(wú)關(guān)，上述所有值均為0 。

在上述基礎(chǔ)上進(jìn)一步定義行人的特征，同樣也用一個(gè)5維向量g(p)描述行人的大小與位置，將其定義為：

g(p)=(δ(s),Cpx,Cpy,h,h2)

(8)

其中Cpx、Cpy分別為行人中心位置的橫、縱坐標(biāo)，h為其高度所占像素點(diǎn)個(gè)數(shù)。同理對(duì)車輛進(jìn)行相同定義：

g(v)=(δ(s),Cvx,Cvy,h,h2)

(9)

2.2構(gòu)建改進(jìn)識(shí)別函數(shù)

在2.1節(jié)所述內(nèi)容基礎(chǔ)之上將定義擴(kuò)展至整幅圖像，定義行人的識(shí)別率是所有行人識(shí)別率的均值。最終的函數(shù)值由初步HOG行人檢測(cè)結(jié)果和引入車輛后的檢測(cè)結(jié)果共同決定。

假設(shè)在一幅圖中有n個(gè)行人與m個(gè)車輛。定義數(shù)值函數(shù)：

(10)

其中Wp和Wv分別對(duì)應(yīng)行人、行人與車輛之間的關(guān)系模型的參數(shù)。上式中后一項(xiàng)為引入車輛后對(duì)整體函數(shù)值的貢獻(xiàn)，用以確保正確的分類情況下函數(shù)值高于其余的可能情況。

同時(shí)，行人存在一定程度上的誤檢測(cè)，會(huì)導(dǎo)致函數(shù)值大于實(shí)際情況，因此引入真假陽(yáng)檢驗(yàn)修正系數(shù)tpi和tvj，則式(10)變?yōu)椋?/p>

(11)

其中tpi和tvj為2進(jìn)制數(shù)，當(dāng)行人出現(xiàn)在一些不可能出現(xiàn)的區(qū)域中(車輛上方、下方)，例如圖2中的1、3、4區(qū)域時(shí)，其值為0；否則為1?？赏ㄟ^(guò)此方法使函數(shù)值更接近真實(shí)情況，降低漏檢率。

對(duì)于式(11)來(lái)說(shuō)，其同時(shí)含有行人、車輛兩個(gè)變量。當(dāng)車輛參數(shù)固定時(shí)，式(11)轉(zhuǎn)化為一個(gè)將所有行人作為變量單獨(dú)考慮的一個(gè)問(wèn)題。且在一個(gè)典型的交通場(chǎng)景中，車輛的數(shù)量一般不會(huì)超過(guò)8個(gè)，當(dāng)采用多個(gè)2類分類器時(shí)，此分類問(wèn)題一般不會(huì)超過(guò)28個(gè)，在實(shí)際分類時(shí)較好解決。由于分類器的線性特性，可將式(11)如下形式：

(12)

式(12)給我們提供了一個(gè)機(jī)器學(xué)習(xí)的方法，令Wc=[Wp，Wv]，假設(shè)攝像機(jī)與地面水平且行人與車輛滿足上述定義時(shí)，一個(gè)標(biāo)準(zhǔn)的支持向量機(jī)結(jié)構(gòu)便可通過(guò)對(duì)Wc的訓(xùn)練來(lái)解決此分類問(wèn)題。

3　支持向量機(jī)的構(gòu)建及參數(shù)選擇

3.1支持向量機(jī)回歸法

在本文中，為了防止維數(shù)的災(zāi)難性增大，我們采用用于核函數(shù)估計(jì)的支持向量機(jī)即支持向量機(jī)回歸法。將原空間的向量映射到新的空間K[8]。

首先，考慮最優(yōu)分類面，在本文中采用線性回歸函數(shù)：

f(x)=wcx+b

(13)

來(lái)擬合數(shù)據(jù){xi，yi；i=1，2,…，n}，同時(shí)由于在實(shí)際交通場(chǎng)景條件下，所有的行人樣本可以在一定的精度ε范圍內(nèi)進(jìn)行線性擬合，即：

(14)

其中i=1，2,…，n，兩個(gè)不等式表示擬合誤差有兩個(gè)方向。分類時(shí)為了控制最大化分類間隔類似，使回歸函數(shù)最為平坦，此時(shí)便有了用于回歸的支持向量機(jī)原問(wèn)題：

(15)

若允許擬合超過(guò)誤差ε，只需引入松弛因子使ε變?yōu)棣?ζk，將其代入式(15)，則目標(biāo)函數(shù)變?yōu)椋?/p>

(16)

然后，考慮到實(shí)際交通模型分類要求，則式(16)問(wèn)題轉(zhuǎn)化為：

(17)

s.t.?PK,?VK,L(Pk,PKk)≤S(Pk,Vk)-S(PKk,VKk)+ξk

其中ξk為松弛因子，Pk、Vk為原圖像實(shí)際空間中的行人與車輛，PKk、VKk為所映射到的K空間的行人與車輛，L(Pk，PKk)是實(shí)際行人位置與映射的K值空間位置之間的Hamming損失，反映了錯(cuò)誤檢測(cè)率。

最后，由于在式(17)中，行人在原空間的實(shí)際位置Pk由HOG檢測(cè)得到，但車輛參數(shù)Vk的精確檢測(cè)結(jié)果未知。為了解決這個(gè)問(wèn)題考慮到噪聲與行人和車輛重合的情況，直接采用原始的檢測(cè)結(jié)果作為初始估計(jì)，最終其變?yōu)椋?/p>

(18)

3.2支持向量機(jī)模型參數(shù)確定

由于本文所選定的分類器為線性分類器，因此需要確定懲罰系數(shù)C。首先，從所有訓(xùn)練圖片中選取20幅圖片作為負(fù)訓(xùn)練樣本，并與正訓(xùn)練樣本一起構(gòu)成最初的訓(xùn)練樣本。之后選取2000個(gè)包含行人的正樣本和2000個(gè)不包含行人的負(fù)樣本訓(xùn)練分類器得到初步結(jié)果。最后，用此分類器對(duì)所有不含行人的訓(xùn)練樣本進(jìn)行檢測(cè)得到困難負(fù)樣本，并與之前的負(fù)訓(xùn)練樣本進(jìn)行合并，得到總3198個(gè)負(fù)訓(xùn)練樣本。

為了確定參數(shù)C，需要同時(shí)考慮支持向量數(shù)以及樣本的正確接收率(TPR)。在驗(yàn)證過(guò)程中，將收集到的2000個(gè)正樣本隨機(jī)地平均分成10組，取其中8組與上述得到的負(fù)訓(xùn)練樣本一起作為訓(xùn)練樣本，剩下的2組作為測(cè)試樣本計(jì)算TPR，并取10次實(shí)驗(yàn)結(jié)果的均值作為最終結(jié)果。如圖3所示，不同的的參數(shù)C對(duì)應(yīng)不同的樣本正確接收率。根據(jù)曲線所示，本文選取C=8作為初步檢測(cè)的支持向量機(jī)模型參數(shù)。

圖3　樣本正確接收率隨參數(shù)C變化曲線

4　實(shí)驗(yàn)結(jié)果及分析

在實(shí)驗(yàn)過(guò)程中，我們嘗試對(duì)不同分辨率的圖像進(jìn)行行人檢測(cè)，在高分辨率的情況下，初步的行人檢測(cè)結(jié)果便可以得到較好的識(shí)別效果，如圖4所示。

圖4　高分辨率下的行人檢測(cè)結(jié)果

但是，當(dāng)圖片的分辨率較低或受光照、黑夜或背景較為嘈雜的影響時(shí)行人檢測(cè)率會(huì)有明顯下降，此時(shí)，引入行人與車輛關(guān)系模型輔助檢測(cè)能有效地降低誤檢測(cè)率，得到較好的檢測(cè)結(jié)果。如圖5所示，當(dāng)背景較為嘈雜時(shí)。

圖5　嘈雜背景下優(yōu)化前后的行人檢測(cè)結(jié)果

如圖6所示，當(dāng)在夜晚?xiàng)l件下，光線昏暗且有強(qiáng)燈光干擾時(shí)。

圖6　夜晚?xiàng)l件下優(yōu)化前后的行人檢測(cè)結(jié)果

當(dāng)處在強(qiáng)光條件下時(shí)，檢測(cè)結(jié)果如圖7所示。

圖7　強(qiáng)光條件下優(yōu)化前后的行人檢測(cè)結(jié)果

從圖5-圖7中可明顯看出引入行人與車輛關(guān)系模型后，與傳統(tǒng)HOG邊緣檢測(cè)方法相比能夠在較差的圖片質(zhì)量中獲得更為準(zhǔn)確行人檢測(cè)結(jié)果。

在上述基礎(chǔ)上考慮將圖片放大至原來(lái)的1.5倍和2.5倍，以改變其分辨率狀況。在此基礎(chǔ)上，選擇200幅基礎(chǔ)圖片在改變其大小的情況下進(jìn)行HOG基礎(chǔ)行人檢測(cè)，引入與車輛關(guān)系模型的行人檢測(cè)，檢測(cè)結(jié)果如圖8所示。

圖8　優(yōu)化前后不同分辨率下的行人誤檢率曲線

圖中hr、mr和lr分別表示圖像的分辨率為高分辨率、中分辨率和低分辨率。如圖所示，通過(guò)引入行人與車輛關(guān)系模型有效地降低了行人誤檢測(cè)率。

同時(shí)人為選擇高、低分辨率圖像各100張，分別采用文中所述方法和參考文獻(xiàn)中當(dāng)前較為主流的行人檢測(cè)方法進(jìn)行行人檢測(cè)。將得到的行人檢測(cè)率匯總?cè)∑骄挡⒅谱髡劬€圖，如圖9所示。

圖9　不同方法在不同條件下的行人識(shí)別率

其中A、B、C、D、E分別表示基于行人與車輛關(guān)系型的行人檢測(cè)方法；基于Edgelet特征的分割檢測(cè)方法；基于HOG特征的初步行人檢測(cè)方法；基于輪廓模板的方法；基于人體部件的局部檢測(cè)方法。圖中所述行人識(shí)別率為綜合考慮誤檢測(cè)與漏檢測(cè)后的行人識(shí)別準(zhǔn)確率?？梢钥闯?，在高分辨率背景較為清晰時(shí)算法均有較好表現(xiàn)。但在低分辨率背景較為嘈雜時(shí)，文中所述算法擁有更高的檢測(cè)準(zhǔn)確率。

5　結(jié)　語(yǔ)

本文根據(jù)實(shí)際交通場(chǎng)景特點(diǎn)，考慮到攝像機(jī)分辨率受背景條件等各方面因素的影響。在HOG邊緣檢測(cè)方法的基礎(chǔ)上，提出了一種擁有較低行人誤檢測(cè)率的方法。此方法能有效地利用交通場(chǎng)景中普遍存在且較容易檢測(cè)的車輛作為輔助檢測(cè)工具并建立相應(yīng)的模型。同時(shí)構(gòu)建一個(gè)標(biāo)準(zhǔn)的支持向量機(jī)結(jié)構(gòu)便可完成對(duì)線性分類器的訓(xùn)練，操作相對(duì)簡(jiǎn)單且準(zhǔn)確性較高。實(shí)驗(yàn)結(jié)果表明，此方法在不同分辨率條件下均有良好的表現(xiàn)。可對(duì)原始行人檢測(cè)圖像進(jìn)行進(jìn)一步優(yōu)化處理，得到更為準(zhǔn)確的檢測(cè)結(jié)果。

但是，由于在場(chǎng)景中，可能存在行人處于車輛前方與車輛重疊的情況，在引入新算法時(shí)導(dǎo)致行人的漏檢。因此在接下來(lái)的工作中將嘗試改變圖像大小，把不同分辨率圖像的行人檢測(cè)結(jié)果綜合以降低漏檢率。

[1] 張學(xué)功.模式識(shí)別[M].北京:清華大學(xué)出版社,2006.

[2] 楊淑瑩.VC++圖像處理程序設(shè)計(jì)[M].北京:清華大學(xué)出版社,2003.

[3] Junjie Yan,Xucong Zhang,Zhen Lei.Robust Multi-Resolution Pe-destrian Detection in Traffic Scenes[C]//Proc. of IEEE Conference on Computer Vision and Pattern Recognition.San Diego,USA,2013:3003-3040.

[4] Carsten J,Ferguson D,Stentz A.3D field D*:Improved Path Planning and Replanning in three dimensions[C]//Proc. IEEE/RSJ Intern-ational Conference on Intelligent Robots and System Piscataway,NJ,USA:IEEE,2006:3381-3386.

[5] Yan Chen,Qiang Wu,Xiangjan He.Motion Based Pedestrian Rec-ognition[C]//Proc.of IEEE Congress on Image and Signal Processing.Sanya,China,2008:376-380.

[6] 程藝喆,雷武虎,戴勝波,等.基于圖像差分的自適應(yīng)背景建模高光譜目標(biāo)檢測(cè)[J].計(jì)算機(jī)應(yīng)用,2014,34(S2):291-294,319.

[7] 孫銳,陳軍,高雋.基于顯著性檢測(cè)與HOG-NMF特征的快速檢測(cè)方法[J].電子與信息學(xué)報(bào),2013,35(8):1921-1926.

[8] 丁世飛,齊丙娟,譚紅艷.支持向量機(jī)理論與算法研究綜述[J].電子科技大學(xué)學(xué)報(bào),2011,40(1):2-10.

PEDESTRIAN DETECTION BASED ON PEDESTRIAN AND VEHICLE RELATION MODEL

Zhang JunYang BoxuanYang Zhengling

(SchoolofElectricalEngineeringandAutomation,TianjinUniversity,Tianjin300072,China)

For the pedestrians in traffic scenarios, and considering that the vehicles and pedestrians coexist in majority of traffic scenes, we put forward a method that detects vehicles on background image while carries outs preliminary pedestrian detection, and build a pedestrians and vehicles relationship model. We use the location of vehicle as the basis of auxiliary detection, introduce the true and false positive tests to exclude the pedestrians appearing in impossible region, and present the specific method. This method first defines pedestrians, vehicles, and the characteristics of pedestrians and vehicles relationship, and models them to form the correlated function relation. Then this is deduced to obtain the standard form suitable for support vector machine. Finally the method uses the support vector machine regression method to train the classifier for classification and recognition. Site measurement results show that this method greatly reduces the rate of error detection, and has good recognition effect on pedestrians on the pictures with different resolutions.

Intelligent transportation systemPedestrian detectionVehicle auxiliary detectionSupport vector machineMulti-resolution

2015-03-24。天津市科技計(jì)劃項(xiàng)目(13ZXCXGX404 00)。張軍，副教授，主研領(lǐng)域：智能交通與圖像處理。楊伯軒，碩士。楊正瓴，副教授。

TP391

A

10.3969/j.issn.1000-386x.2016.08.050