基于三維模型的行人徘徊行為檢測(cè)算法

朱夢(mèng)哲 馮 瑞

(復(fù)旦大學(xué)計(jì)算機(jī)科學(xué)技術(shù)學(xué)院 上海 201203)(上海視頻技術(shù)與系統(tǒng)工程研究中心 上海 201203)

基于三維模型的行人徘徊行為檢測(cè)算法

朱夢(mèng)哲 馮 瑞

(復(fù)旦大學(xué)計(jì)算機(jī)科學(xué)技術(shù)學(xué)院 上海 201203)(上海視頻技術(shù)與系統(tǒng)工程研究中心 上海 201203)

針對(duì)不同應(yīng)用場(chǎng)景給出了不同的徘徊定義，并提出一種基于三維模型的行人徘徊行為檢測(cè)算法。該方法利用融合前景檢測(cè)和行人檢測(cè)的方法獲取目標(biāo)，并利用攝像機(jī)標(biāo)定信息和圖像信息建立目標(biāo)的三維模型。針對(duì)傳統(tǒng)算法無(wú)法獲取目標(biāo)真實(shí)軌跡的問(wèn)題，利用三維模型對(duì)分塊目標(biāo)跟蹤方法進(jìn)行改進(jìn)，以提取目標(biāo)的真實(shí)運(yùn)動(dòng)軌跡。根據(jù)不同的應(yīng)用場(chǎng)景對(duì)目標(biāo)軌跡進(jìn)行分析，判斷目標(biāo)是否有徘徊行為。實(shí)驗(yàn)結(jié)果表明，該方法能夠獲得較為準(zhǔn)確的目標(biāo)三維模型，得到目標(biāo)的真實(shí)運(yùn)動(dòng)軌跡，從而魯棒地、快速地檢測(cè)目標(biāo)的徘徊行為。

智能視頻監(jiān)控 徘徊行為檢測(cè) 三維重建 行人跟蹤 行人檢測(cè) 前景檢測(cè)

0 引 言

行人徘徊行為檢測(cè)是行人異常行為檢測(cè)的一種，其利用視頻分析相關(guān)技術(shù)對(duì)特定區(qū)域進(jìn)行監(jiān)控，檢測(cè)目標(biāo)是否有徘徊行為，以執(zhí)行相應(yīng)的預(yù)定程序。行人徘徊行為檢測(cè)目前主要應(yīng)用于公共場(chǎng)所的安防監(jiān)控以及商業(yè)場(chǎng)所的行為分析領(lǐng)域。隨著社會(huì)發(fā)展、城市智能化的推進(jìn)，行人徘徊行為檢測(cè)的應(yīng)用場(chǎng)景將會(huì)逐漸增加，其重要性也會(huì)日益提高。

本文提出了一種基于三維模型的行人徘徊行為檢測(cè)算法。該方法利用行人檢測(cè)和前景檢測(cè)相融合進(jìn)行目標(biāo)檢測(cè)，并利用攝像機(jī)標(biāo)定信息構(gòu)建行人的三維模型，采用分塊目標(biāo)跟蹤技術(shù)獲取三維坐標(biāo)系中目標(biāo)的運(yùn)動(dòng)軌跡，最后對(duì)軌跡進(jìn)行分析，檢測(cè)目標(biāo)是否存在徘徊行為。

1 徘徊行為定義

目前學(xué)術(shù)界對(duì)于徘徊行為并沒有標(biāo)準(zhǔn)的定義，國(guó)外研究者Bird[1]、Ard?[2]、Zin[3]、Arroyo[3]均利用滯留時(shí)間對(duì)徘徊進(jìn)行定義。國(guó)內(nèi)研究者瞿中等[5]利用軌跡曲率變化對(duì)徘徊行為進(jìn)行定義，劉強(qiáng)等[6]利用網(wǎng)格對(duì)軌跡進(jìn)行分類以確定徘徊行為。這些研究工作并未考慮不同場(chǎng)景的需求以及環(huán)境的變化，或者只考慮了非常單一的情形。在實(shí)際應(yīng)用中，不同場(chǎng)景有著不同的需求，同時(shí)環(huán)境也存在巨大差異，圖1展示了不同場(chǎng)景中可能的徘徊行為運(yùn)動(dòng)軌跡。

圖1 不同場(chǎng)景中可能的徘徊行為軌跡

1.1 高危場(chǎng)景

金庫(kù)、軍事禁區(qū)等場(chǎng)景，安全要求極高，一旦有目標(biāo)進(jìn)入監(jiān)控區(qū)域即認(rèn)為是可疑目標(biāo)。鑒于可能存在的誤判情況，定義徘徊行為：目標(biāo)在監(jiān)控區(qū)域內(nèi)滯留時(shí)間超過(guò)閾值。如圖1(a)所示，其中虛線框?yàn)楸O(jiān)控區(qū)域。

利用時(shí)間分析對(duì)高危場(chǎng)景的徘徊行為進(jìn)行判定。令tent為目標(biāo)進(jìn)入監(jiān)控區(qū)域的時(shí)間，tcur為當(dāng)前時(shí)刻，若tcur-tent>tth且目標(biāo)未離開監(jiān)控區(qū)域，則判定目標(biāo)有徘徊行為。其中tth為滯留時(shí)間閾值。

1.2 人流密集場(chǎng)景

廣場(chǎng)、車站等人流密集場(chǎng)景，徘徊行為檢測(cè)主要用于安防監(jiān)控。行人、游客等目標(biāo)再正常情況下會(huì)直奔目的地，其運(yùn)動(dòng)軌為直來(lái)直去，偶有停留。而對(duì)于小偷、黃牛、危險(xiǎn)品攜帶者等可疑人員，通常情況下處于漫無(wú)目的，等待機(jī)會(huì)伺機(jī)下手的狀態(tài)，因而其運(yùn)動(dòng)軌跡呈現(xiàn)彎彎曲曲、雜亂無(wú)章的狀態(tài)。圖1(c)和(d)顯示了該場(chǎng)景中目標(biāo)發(fā)生徘徊行為時(shí)的運(yùn)動(dòng)軌跡。

該場(chǎng)景中人流量大，目標(biāo)眾多，目標(biāo)跟蹤效果會(huì)受到影響。將監(jiān)控區(qū)域劃分成多個(gè)子區(qū)域，可以降低對(duì)跟蹤效果的要求，為了計(jì)算便捷，劃分成矩形子區(qū)域，如圖2所示。若目標(biāo)在某個(gè)子區(qū)域中滯留時(shí)間超過(guò)閾值，則認(rèn)為該區(qū)域是目標(biāo)的一個(gè)滯留點(diǎn)，如圖2中黑點(diǎn)所示。

圖2 監(jiān)控區(qū)域劃分

可疑目標(biāo)在活動(dòng)中，需要等待機(jī)會(huì)尋找作案地點(diǎn)，因此會(huì)有多個(gè)滯留點(diǎn)。對(duì)滯留點(diǎn)進(jìn)行統(tǒng)計(jì)，若目標(biāo)滿足式(1)，則判定其有徘徊行為：

N1>Nth1

(1)

其中N1表示滯留點(diǎn)數(shù)目，Nth1為閾值。由于可能存在目標(biāo)在較小區(qū)域內(nèi)反復(fù)走位進(jìn)行踩點(diǎn)的情況，即同一子區(qū)域內(nèi)可能會(huì)有多次滯留。因此對(duì)于滿足式(2)的目標(biāo)，也認(rèn)為其有徘徊行為：

N2>Nth2

(2)

其中，N2為存在兩次或兩次以上滯留的滯留點(diǎn)數(shù)目，Nth2為相應(yīng)的閾值，同時(shí)Nth2滿足式(3)：

Nth1>Nth2

(3)

1.3 室內(nèi)場(chǎng)景

教室、超市等室內(nèi)場(chǎng)景，徘徊行為檢測(cè)主要有安防監(jiān)控和行為分析統(tǒng)計(jì)兩類應(yīng)用。對(duì)于安防監(jiān)控，主要目標(biāo)是小偷、危險(xiǎn)品攜帶者等可疑人員。對(duì)于行為分析統(tǒng)計(jì)，主要目標(biāo)是對(duì)特定商品感興趣的消費(fèi)者。該場(chǎng)景范圍較小，通常有大量的障礙物，因此目標(biāo)運(yùn)動(dòng)范圍小，軌跡會(huì)有往復(fù)，如圖1(d)所示。

由于場(chǎng)景中目標(biāo)的可運(yùn)動(dòng)范圍受限，可以對(duì)目標(biāo)的運(yùn)動(dòng)軌跡模式進(jìn)行分析，判斷目標(biāo)行為是否屬于徘徊。分析圖1(d)中的運(yùn)動(dòng)軌跡，目標(biāo)運(yùn)動(dòng)出現(xiàn)往復(fù)時(shí)會(huì)形成一個(gè)拐點(diǎn)，如圖3中黑色實(shí)心點(diǎn)所示。

圖3 拐點(diǎn)示意圖

若目標(biāo)第t幀的軌跡點(diǎn)Pt滿足式(4)，即軌跡在點(diǎn)Pt的方向角變化大于90度，則Pt為拐點(diǎn)。

(4)

統(tǒng)計(jì)目標(biāo)運(yùn)動(dòng)過(guò)程中產(chǎn)生的拐點(diǎn)數(shù)量，若其超過(guò)閾值NP，則判定目標(biāo)存在徘徊行為。

2 三維模型

2.1 攝像機(jī)成像原理

攝像機(jī)將三維現(xiàn)實(shí)世界映射到二維圖像平面中，其成像原理可以由針孔模型來(lái)描述。三維空間中一點(diǎn)Q(X,Y,Z)，其在圖像平面的對(duì)應(yīng)點(diǎn)為q(x,y)，點(diǎn)Q和點(diǎn)q滿足式(5)：

(5)

其中fx和fy分別為攝像機(jī)在不同方向上的焦距，cx和cy分別為焦點(diǎn)在不同方向上的偏移。R、t分別旋轉(zhuǎn)矩陣和平移向量。

通過(guò)對(duì)攝像機(jī)進(jìn)行標(biāo)定[7]可以得到fx、fy、cx、cy、R、t等相機(jī)參數(shù)，進(jìn)而得到圖像與現(xiàn)實(shí)世界的對(duì)應(yīng)關(guān)系。

2.2 三維目標(biāo)模型

由成像原理可知，圖像平面內(nèi)的一點(diǎn)對(duì)應(yīng)三維坐標(biāo)系中多個(gè)點(diǎn)，傳統(tǒng)方法需要通過(guò)距離傳感器或雙目攝像機(jī)來(lái)獲取目標(biāo)的三維信息，而實(shí)際應(yīng)用中，多數(shù)場(chǎng)景并無(wú)此條件。本文利用攝像機(jī)標(biāo)定信息和目標(biāo)已知信息從圖像幀中獲取目標(biāo)的三維信息，無(wú)需特殊設(shè)備，適合于多數(shù)場(chǎng)景。

令(Xf,Yf,Zf)、(Xh,Yh,Zh)分別表示三維坐標(biāo)系中目標(biāo)足部和頭部中心的坐標(biāo)，(xf,yf)、(xh,yh)為其在圖像中的對(duì)應(yīng)點(diǎn)。連接(Xf,Yf,Zf)、(Xh,Yh,Zh)得到直線Φ，假設(shè)圖像中的目標(biāo)均為直立姿態(tài)，則Φ應(yīng)當(dāng)近似垂直于地面，即有式(6)的關(guān)系成立，如圖4(左)所示：

(6)

其中H為目標(biāo)身高。若已知圖像中點(diǎn)(xf,yf)、(xh,yh)，根據(jù)式(5)、式(6)的對(duì)應(yīng)關(guān)系，可以求得目標(biāo)身高H。人體的寬度(肩寬)L無(wú)法直接由圖像信息得到，本文采用人體比例對(duì)其進(jìn)行估計(jì)，取L=0.22H[8]。

由于攝像機(jī)的視角各異，圖像中目標(biāo)區(qū)域的寬度不定，采用圓柱體模型近似描述人體。其中圓柱體的高度由身高H確定，直徑由肩寬L確定。為了便于計(jì)算，用L×L×H的棱柱體模型代替圓柱體模型，如圖4(右)所示。目標(biāo)在圖像平面中的大小可以利用三維模型估算出。為了便于計(jì)算，將棱柱體頂點(diǎn)映射到圖像平面中，取其外接矩形作為目標(biāo)在成像平面中的像區(qū)域。

圖4 目標(biāo)三維模型

2.3 重建三維目標(biāo)模型

三維模型建立的關(guān)鍵是要獲取圖像中足部和頭部中心的坐標(biāo)，本文利用目標(biāo)的前景圖獲取該信息。

近似認(rèn)為點(diǎn)(xf,yf)在其外接矩形的底邊上，即滿足式(7)：

(7)

令Nl表示前景圖中目標(biāo)外接矩形內(nèi)直線φ′左側(cè)的前景點(diǎn)數(shù)，Nr為φ′右側(cè)的前景點(diǎn)數(shù)，則xf可由式(8)確定。

(8)

當(dāng)足部(xf,yf)確定后，頭部(xh,yh)可由式(9)確定。

(9)

其中Pfg表示目標(biāo)的前景點(diǎn)集合。

3 徘徊檢測(cè)算法

徘徊行為檢測(cè)算法的主要流程如圖5所示，算法首先提取待監(jiān)控的目標(biāo)，然后對(duì)目標(biāo)進(jìn)行跟蹤，最后利用跟蹤得到的目標(biāo)軌跡判斷是否有徘徊行為，根據(jù)判定結(jié)果執(zhí)行預(yù)定的程序。

圖5 徘徊行為檢測(cè)算法流程

3.1 目標(biāo)檢測(cè)

融合前景檢測(cè)和行人檢測(cè)的信息對(duì)目標(biāo)進(jìn)行檢測(cè)，可以有效減少誤檢情況。前景檢測(cè)采用ViBe算法[9]，其具有快速初始化的能力，同時(shí)擁有較好的檢測(cè)性能。行人檢測(cè)采用Dollar等[10]提出的快速行人檢測(cè)方法。

3.2 目標(biāo)跟蹤

本文采用分塊跟蹤方法對(duì)目標(biāo)進(jìn)行跟蹤方法[11]，并利用三維模型對(duì)其進(jìn)行改進(jìn)。相對(duì)于傳統(tǒng)的方法，基于三維模型的跟蹤方法存在以下一些特點(diǎn)：

(1) 解決尺度變化問(wèn)題。傳統(tǒng)跟蹤方法對(duì)圖像中目標(biāo)的尺度變化較為敏感，劇烈的尺度變化極易導(dǎo)致跟蹤丟失?；谌S模型的跟蹤通過(guò)目標(biāo)的三維信息計(jì)算得到目標(biāo)在圖像中的大小，從而有效地解決尺度變化的問(wèn)題。

(2) 提高預(yù)測(cè)效果。傳統(tǒng)跟蹤方法利用運(yùn)動(dòng)模型對(duì)軌跡進(jìn)行預(yù)測(cè)以提高跟蹤效果。但傳統(tǒng)跟蹤方法無(wú)法獲得目標(biāo)在現(xiàn)實(shí)世界的真實(shí)運(yùn)動(dòng)軌跡，因而軌跡預(yù)測(cè)效果較差。基于三維模型的跟蹤方法可以利用目標(biāo)真實(shí)運(yùn)動(dòng)軌跡進(jìn)行預(yù)測(cè)，以提高跟蹤效果。

3.2.1 軌跡預(yù)測(cè)

對(duì)運(yùn)動(dòng)軌跡進(jìn)行預(yù)測(cè)，可以在目標(biāo)匹配失敗的情況下保持追蹤器的效果[12]。令目標(biāo)的軌跡點(diǎn)Pt由目標(biāo)足部的三維坐標(biāo)表示，則目標(biāo)在幀間的位移Dt可以由式(10)給出：

Dt=Pt-Pt-1

(10)

利用式(11)給出的二次指數(shù)平滑預(yù)測(cè)方法對(duì)行人軌跡位移進(jìn)行預(yù)測(cè)：

(11)

(12)

3.2.2 分塊匹配

分塊匹配能夠有效解決部分遮擋的問(wèn)題。對(duì)目標(biāo)三維模型沿z方向進(jìn)行分塊，使得每一分塊的中心在直線Φ上，如圖6(左)所示。分塊的數(shù)目根據(jù)由實(shí)際場(chǎng)景決定，由于目標(biāo)腿部的變化較大，因此匹配時(shí)忽略腿部分塊。

圖6 分塊匹配示意圖

由于目標(biāo)的三維模型已知，搜索區(qū)域半徑r可以通過(guò)行人的行走速度進(jìn)行估算。其定義由式(13)給出，其中sp為行人的平均行走速率，fps為圖像幀率，λ為調(diào)節(jié)參數(shù)。

(13)

(14)

分塊圖像的相似度利用Lab顏色直方圖的Bhattacharyya距離來(lái)描述。分別對(duì)每個(gè)分塊的a和b顏色通道建立直方圖，并對(duì)其進(jìn)行歸一化，則其相似度由式(15)定義。

(15)

3.2.3 行人檢測(cè)結(jié)果修正

3.2.4 加權(quán)向量中值濾波

(16)

最后，目標(biāo)當(dāng)前幀的位置Pt由式(17)給出：

Pt=Pt-1+Dt

(17)

3.3 徘徊檢測(cè)

基于三維坐標(biāo)系劃分監(jiān)控區(qū)域，利用基于三維模型得到的真實(shí)運(yùn)動(dòng)軌跡進(jìn)行徘徊行為檢測(cè)，可以有效減少軌跡誤差導(dǎo)致的誤檢情況。

3.3.1 高危場(chǎng)景

判斷目標(biāo)的軌跡點(diǎn)Pt是否在監(jiān)控區(qū)域內(nèi)，若目標(biāo)進(jìn)入監(jiān)控區(qū)域，則記錄時(shí)刻tent，由1.1節(jié)的方法進(jìn)行徘徊行為判定。

3.3.2 人流密集場(chǎng)景

對(duì)監(jiān)控區(qū)域進(jìn)行子區(qū)域劃分，子區(qū)域數(shù)量由實(shí)際場(chǎng)景決定。利用3.3.1節(jié)的方法對(duì)每個(gè)子區(qū)域進(jìn)行滯留時(shí)間判斷，記錄目標(biāo)的滯留子區(qū)域數(shù)N1、N2，利用1.2節(jié)的方法進(jìn)行徘徊行為判定。

3.3.3 室內(nèi)場(chǎng)景

由于圖像幀中存在許多的噪聲，同時(shí)提取的目標(biāo)軌跡會(huì)有許多的抖動(dòng)，實(shí)際獲得的目標(biāo)軌跡可能存在許多偽拐點(diǎn)，如圖7中灰色點(diǎn)所示。偽拐點(diǎn)會(huì)導(dǎo)致對(duì)目標(biāo)行為產(chǎn)生誤判，利用聚類方法可以對(duì)拐點(diǎn)進(jìn)行過(guò)濾[14]。

令Cli為當(dāng)前處理的類別，對(duì)于每一個(gè)軌跡點(diǎn)Pt，若其到Cli中心cti的距離小于閾值Rth，則將Pt加入到Cli中，同時(shí)更新Cli的中心點(diǎn)cti。更新公式如式(18)，其中NCli為Cli中軌跡點(diǎn)數(shù)目。

(18)

若Pt到Cli中心cti的距離大于Rth，則建立新的類別Cli+1，將Pt加入到Cli+1中,同時(shí)將Cli中的所有軌跡點(diǎn)由中心點(diǎn)cti代替，如圖7所示。

圖7 偽拐點(diǎn)過(guò)濾

利用過(guò)濾后的軌跡點(diǎn)以及1.3節(jié)中的方法，可以對(duì)目標(biāo)進(jìn)行徘徊行為判定。

4 實(shí)驗(yàn)分析

本文實(shí)驗(yàn)平臺(tái)為Microsoft Windows 7 Home Premium 64 bit，Microsoft Visual Studio Community 2013， Matlab R2010a， OpenCV 2.4.0。硬件配置為Intel?CoreTMi3-380M CPU，4.00 GB DDR3 1 066 MHz RAM。

選取PETS2009數(shù)據(jù)集(http://www.cvg.reading.ac.uk/PETS2009/a.html)以及自建數(shù)據(jù)集對(duì)算法進(jìn)行測(cè)試。其中PETS2009數(shù)據(jù)集對(duì)應(yīng)的相機(jī)內(nèi)部參數(shù)和外部參數(shù)由數(shù)據(jù)集給出，自建數(shù)據(jù)集的內(nèi)外參數(shù)由人工標(biāo)定得到。

4.1 三維模型

表1 三維重建實(shí)驗(yàn)結(jié)果

表1中各分類的定義如下：

當(dāng)φ基本擬合或存在輕微偏差時(shí)，三維模型能夠近似擬合目標(biāo)模型，此時(shí)目標(biāo)跟蹤效果較好；而當(dāng)偏差較大時(shí)，三維模型擬合效果較差，可能會(huì)影響目標(biāo)跟蹤效果。由表1可知，大部分情況下，算法都能較為準(zhǔn)確地建立三維模型。

偏差主要是由于目標(biāo)前景圖被其他景物干擾，如圖8(左)，或被其他目標(biāo)干擾所產(chǎn)生，如圖8(右)。同時(shí)，目標(biāo)非直立姿態(tài)也會(huì)導(dǎo)致偏差的產(chǎn)生。

圖8 PETS2009數(shù)據(jù)集處理結(jié)果

4.2 目標(biāo)跟蹤

將本文的目標(biāo)跟蹤算法與FragTrack[13]、TLD[15]跟蹤方法進(jìn)行對(duì)比測(cè)試，圖9為PETS數(shù)據(jù)集第137、165、213幀的跟蹤結(jié)果，第一行為FragTrack跟蹤算法，第二行為TLD跟蹤算法，第三行為本文的跟蹤算法。在第165幀時(shí)，F(xiàn)ragTrack與TLD跟蹤方法均有所偏離，而第213幀時(shí)FragTrack方法已經(jīng)失效，TLD方法則跟蹤到了另一個(gè)目標(biāo)。

圖9 三維軌跡測(cè)試

傳統(tǒng)跟蹤算法對(duì)尺度變化較為敏感，因而會(huì)導(dǎo)致跟蹤失效。本文算法利用目標(biāo)的三維模型對(duì)其在圖像中的大小進(jìn)行估計(jì)，因而能夠有效解決尺度變化的問(wèn)題。另外，本文的跟蹤方法對(duì)目標(biāo)進(jìn)行分塊跟蹤，并利用預(yù)測(cè)步驟對(duì)目標(biāo)位置進(jìn)行估計(jì)，能有效地解決遮擋問(wèn)題。

表2展示了三種算法的跟蹤效果，可以看出FragTrack與TLD算法的誤差均較大，同時(shí)標(biāo)準(zhǔn)差也較大，跟蹤效果不穩(wěn)定。本文的跟蹤算法具有較好的跟蹤效果，同時(shí)也比較穩(wěn)定。

表2 三維重建實(shí)驗(yàn)結(jié)果

利用特殊場(chǎng)景，對(duì)跟蹤得到的三維軌跡精度進(jìn)行測(cè)試。場(chǎng)景中鋪有60×60 cm2的瓷磚，如圖10(左)中的黑色直線描出。以圖中橫向?yàn)閤軸，縱向?yàn)閥軸建立坐標(biāo)系。

令目標(biāo)沿著與y軸平行的瓷磚邊沿運(yùn)動(dòng)，此時(shí)目標(biāo)x軸坐標(biāo)值為定值，可測(cè)定x方向上的誤差，如圖10(中)所示，其結(jié)果由圖11給出。同理，令目標(biāo)沿著與x軸平行的瓷磚邊沿運(yùn)動(dòng)以測(cè)定y方向上的誤差，如圖10(右)所示，其結(jié)果由圖12給出。

圖10 三維軌跡測(cè)試

圖11 x方向上誤差

圖12 y方向上誤差

分析圖11和圖12，目標(biāo)軌跡在各方向上的波動(dòng)較小，能夠較好地?cái)M合真實(shí)軌跡。x方向平均誤差在12 cm左右，y軸誤差在20 cm左右。這是由于當(dāng)目標(biāo)沿著與x軸平行的直線運(yùn)動(dòng)時(shí)，攝像機(jī)捕捉到目標(biāo)側(cè)影，此時(shí)算法找到的目標(biāo)足部點(diǎn)實(shí)際在目標(biāo)的一側(cè)。而當(dāng)目標(biāo)沿著與y軸平行的直線運(yùn)動(dòng)時(shí)，攝像機(jī)捕捉到的是目標(biāo)背影，此時(shí)算法找到的足部點(diǎn)與真實(shí)足部點(diǎn)較為接近。實(shí)際應(yīng)用中，監(jiān)控區(qū)域的劃分需要考慮各方向上的系統(tǒng)偏差，從而得到目標(biāo)的精確位置。

4.3 徘徊檢測(cè)

對(duì)數(shù)據(jù)集進(jìn)行分類，對(duì)各個(gè)場(chǎng)景進(jìn)行測(cè)試，實(shí)驗(yàn)結(jié)果如表3、表4和表5。其中高危場(chǎng)景選取了25個(gè)視頻，其中15個(gè)有徘徊行為。人流密集場(chǎng)景選取了30個(gè)視頻，其中18個(gè)有徘徊行為。室內(nèi)場(chǎng)景選取了32個(gè)視頻，其中14個(gè)有徘徊行為。

表3 高危場(chǎng)景

表4 人流密集場(chǎng)景

表5 室內(nèi)場(chǎng)景

對(duì)高危場(chǎng)景，由于場(chǎng)景簡(jiǎn)單，因而本文與對(duì)比方法效果均較好。但當(dāng)場(chǎng)景中出現(xiàn)遮擋以及尺度變化時(shí)，本文方法能夠更為有效地處理。

對(duì)人流密集場(chǎng)景，涉及目標(biāo)較多，且目標(biāo)運(yùn)動(dòng)范圍較大，因而檢測(cè)效果受到影響。本文的方法通過(guò)三維模型擬合以及軌跡預(yù)測(cè)，能夠有效地提高跟蹤效果，以應(yīng)對(duì)目標(biāo)之間的重疊、遮擋的情況，與對(duì)比方法相比，能夠有效提高檢測(cè)精度。

對(duì)室內(nèi)場(chǎng)景，劉強(qiáng)基于熵的方法對(duì)軌跡判斷較為嚴(yán)格，因而能夠有效檢測(cè)徘徊行為，但其對(duì)于軌跡擾動(dòng)容忍度較低，因而誤檢率較高。瞿中的方法跟蹤效果較低，同時(shí)未對(duì)軌跡中的抖動(dòng)進(jìn)行處理，因而檢測(cè)準(zhǔn)確率較低。本文的方法通過(guò)三維模型進(jìn)行跟蹤，同時(shí)利用聚類方法消除軌跡抖動(dòng)，因而檢測(cè)精度得到提高。

5 結(jié) 語(yǔ)

本文分析了不同場(chǎng)景的需求，針對(duì)不同的需求給出了相應(yīng)的徘徊定義，有較強(qiáng)的適應(yīng)性。針對(duì)傳統(tǒng)徘徊檢測(cè)算法的不足，本文提出了基于三維模型的徘徊行為檢測(cè)算法，利用攝像機(jī)標(biāo)定信息以及圖像已知信息構(gòu)建目標(biāo)三維模型?；谌S模型的分塊跟蹤方法能夠有效解決目標(biāo)在圖像幀中尺度變化的問(wèn)題，同時(shí)提高軌跡預(yù)測(cè)的準(zhǔn)確性。利用三維坐標(biāo)系中的真實(shí)軌跡對(duì)目標(biāo)行為進(jìn)行判斷，極大地提高了檢測(cè)的準(zhǔn)確性。實(shí)驗(yàn)表明本文提出的基于目標(biāo)跟蹤的徘徊行為檢測(cè)方法能夠較為有效地、快速地對(duì)目標(biāo)的徘徊行為進(jìn)行監(jiān)控。

本文建立的三維模型依賴于圖像中目標(biāo)直立姿態(tài)的假設(shè)，在大部分場(chǎng)景中該假設(shè)成立，但對(duì)于某些場(chǎng)景中的目標(biāo)，由于其姿態(tài)不定，易導(dǎo)致檢測(cè)和跟蹤的失效。改進(jìn)目標(biāo)的三維模型以適應(yīng)不同的目標(biāo)姿態(tài)是本文今后的工作之一，同時(shí)提高目標(biāo)較多場(chǎng)景中的檢測(cè)準(zhǔn)確率也是今后的努力方向。

[1] Bird N D, Masoud O, Papanikolopoulos N P, et al. Detection of loitering individuals in public transportation areas[J]. IEEE Transactions on Intelligent Transportation Systems, 2005, 6(2): 167-177.

[3] Zin T T, Tin P, Toriu T, et al. A Markov Random Walk Model for Loitering People Detection[C]//2010 Sixth International Conference on Intelligent Information Hiding and Multimedia Signal Processing. IEEE Computer Society, 2010: 680-683.

[4] Arroyo R, Yebes J J, Bergasa L M, et al. Expert video-surveillance system for real-time detection of suspicious behaviors in shopping malls[J]. Expert Systems with Applications, 2015, 42(21): 7991-8005.

[5] 瞿中, 張寧. 運(yùn)動(dòng)目標(biāo)軌跡網(wǎng)格化分析與徘徊行為檢測(cè)研究[J]. 微電子學(xué)與計(jì)算機(jī), 2014, 31(4): 60-63,67.

[6] 劉強(qiáng), 羅斌, 翟素蘭, 等. 基于離散曲率熵的徘徊行為檢測(cè)[J]. 計(jì)算機(jī)工程與應(yīng)用, 2013, 49(18): 164-166,216.

[7] 李健, 陳長(zhǎng)明. 基于OpenCV的改進(jìn)兩步法攝像機(jī)標(biāo)定[J]. 計(jì)算機(jī)應(yīng)用與軟件, 2010, 27(3): 104-106,109.

[8] 何敬東. 人體比例和在體育動(dòng)作簡(jiǎn)圖中的應(yīng)用[J]. 中國(guó)學(xué)校體育, 2003(5): 69-70.

[9] Barnich O, Droogenbroeck M V. ViBe: A universal background subtraction algorithm for video sequences[J]. IEEE Transactions on Image Processing, 2011, 20(6): 1709-1724.

[10] Dollar P, Appel R, Belongie S, et al. Fast Feature Pyramids for Object Detection[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2014, 36(8): 1532-1545.

[11] Adam A, Rivlin E, Shimshoni I. Robust Fragments-based Tracking using the Integral Histogram[C]//Computer Vision and Pattern Recognition, 2006 IEEE Computer Society Conference on. IEEE, 2006: 798-805.

[12] Führ G, Jung C R. Robust Patch-Based Pedestrian Tracking Using Monocular Calibrated Cameras[C]//2012 25th SIBGRAPI Conference on Graphics, Patterns and Images. IEEE Computer Society, 2012: 166-173.

[13] Dihl L, Jung C, Bins J. Robust Adaptive Patch-Based Object Tracking Using Weighted Vector Median Filters[C]//2012 25th SIBGRAPI Conference on Graphics, Patterns and Images. IEEE, 2011: 149-156.

[14] Lin Q, Zhang D, Huang X, et al. Detecting wandering behavior based on GPS traces for elders with dementia[C]//Control Automation Robotics & Vision (ICARCV), 2012 12th International Conference on. IEEE, 2012: 672-677.

[15] Kalal Z, Mikolajczyk K, Matas J. Tracking-Learning-Detection[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2012, 34(7): 1409-1422.

[16] 劉曉明, 張起貴. 基于靜態(tài)場(chǎng)景下的單目標(biāo)徘徊檢測(cè)及跟蹤方法[J]. 微型機(jī)與應(yīng)用, 2010, 29(13): 26-29.

DETECTION ALGORITHM OF PEDESTRIAN WANDERING BASED ON 3D MODEL

Zhu Mengzhe Feng Rui

(DepartmentofComputerScience,FudanUniversity,Shanghai201203,China)(ShanghaiEngineeringResearchCenterforVideoTechnologyandSystem,Shanghai201203,China)

Different wandering definitions are proposed for different application scenarios, and a pedestrian wandering behavior detection algorithm based on 3D model is proposed. The method uses the method of fusion foreground detection and pedestrian detection to obtain the target, and uses the camera calibration information and the image information to establish the 3D model of the target. Aiming at the problem that the traditional algorithm can not obtain the true trajectory of the target, the 3D model is used to improve the segmented target tracking method to extract the true trajectory of the target. According to the different application scenarios to analyze the target trajectory to determine whether there is wandering behavior of the target. The experimental results show that the proposed method can obtain accurate three-dimensional model of the target and obtain the true trajectory of the target, so as to detect the wandering behavior of the target robustly and quickly.

Intelligent video surveillance Pedestrian wandering detection 3D reconstruction Pedestrian tracking Pedestrian detection Foreground detection

2016-02-17。國(guó)家科技支撐計(jì)劃項(xiàng)目(2013BAH09F01);上海市科委科技創(chuàng)新行動(dòng)計(jì)劃項(xiàng)目(14511106900)。朱夢(mèng)哲，碩士生，主研領(lǐng)域：視頻圖像處理。馮瑞，研究員。

TP391.54

A

10.3969/j.issn.1000-386x.2017.04.026