多攝像機(jī)環(huán)境下的目標(biāo)跟蹤

申明軍,歐陽(yáng)寧,莫建文,張 彤

摘 要:在多攝像機(jī)智能視頻監(jiān)控系統(tǒng)中,主要的難點(diǎn)是在多個(gè)攝像機(jī)之間對(duì)相同的目標(biāo)建立正確的對(duì)應(yīng)關(guān)系,即目標(biāo)交接。利用目標(biāo)離開(kāi)視野域的時(shí)間和空間作為約束條件,結(jié)合模板匹配的方法,對(duì)沒(méi)有視野重疊域的多攝像機(jī)監(jiān)控下的目標(biāo)進(jìn)行連續(xù)跟蹤。避免視野域內(nèi)將所有目標(biāo)進(jìn)行匹配,提高了交接的實(shí)時(shí)性和準(zhǔn)確率。

關(guān)鍵詞:視頻監(jiān)控;多攝像機(jī)跟蹤;顏色直方圖;目標(biāo)交接

中圖分類號(hào):TP911.73文獻(xiàn)標(biāo)識(shí)碼:A

文章編號(hào):1004-373X(2009)12-061-03

Multi-camera Object Tracking

SHEN Mingjun,OUYANG Ning,MO Jianwen,ZHANG Tong

(Graphic Information Institute,Guilin University of Electronic Technology,Guilin,541004,China)

Abstract:The main difficulty in multiple-camera tracking system is that the correct relationship to the same object between the multiple-camera is established.It can track the object in multi-camera video surveillance system of non-overlapping,using constraint conditions of the time and space when the object both leaving and entering the view of the camera,combined with the color histogram matching method.The immediacy and the accurate for avoiding the match to all of the objects in the view are improved.

Keywords:video surveillance;multi-camera tracking;color histogram;target handoff

0 引 言

由于具有直觀性等特點(diǎn),視頻檢測(cè)器被廣泛用來(lái)對(duì)各種環(huán)境、區(qū)域和場(chǎng)所進(jìn)行實(shí)時(shí)監(jiān)控。例如:社區(qū)和重要建筑物內(nèi)部的安全監(jiān)控,城市路網(wǎng)交通狀況的監(jiān)控,地鐵站和飛機(jī)場(chǎng)的監(jiān)控,以及停車場(chǎng)和超市的監(jiān)控等。受單個(gè)攝像機(jī)視域范圍的限制,為了適應(yīng)廣域監(jiān)控的需要,大量的視頻檢測(cè)器被廣泛安置在整個(gè)監(jiān)控區(qū)域中。隨著視頻檢測(cè)器數(shù)量的急劇增加,傳統(tǒng)的人工被動(dòng)監(jiān)控已經(jīng)遠(yuǎn)遠(yuǎn)無(wú)法滿足監(jiān)控任務(wù)的需要。因此,實(shí)現(xiàn)可以代替人眼的智能自動(dòng)監(jiān)控功能已成為視頻監(jiān)控研究的目標(biāo),大量的研究成果也隨之出現(xiàn)。

由于單攝像機(jī)的視野范圍有限,難以實(shí)現(xiàn)大范圍、多角度、長(zhǎng)時(shí)間對(duì)人的跟蹤,這使得多攝像機(jī)的使用成為必然。多攝像機(jī)具有監(jiān)控范圍大,視野寬闊,全方位視點(diǎn)等優(yōu)點(diǎn),使得多攝像機(jī)環(huán)境下的人體跟蹤成為計(jì)算機(jī)視覺(jué)領(lǐng)域內(nèi)的一個(gè)主要研究方向。多攝像機(jī)監(jiān)控應(yīng)用可以很好地解決監(jiān)控中的阻塞問(wèn)題,確保對(duì)目標(biāo)長(zhǎng)時(shí)間多角度的跟蹤,可以彌補(bǔ)單攝像機(jī)監(jiān)控的不足。

多攝像機(jī)跟蹤中的目標(biāo)交接是建立在單攝像機(jī)的檢測(cè)和跟蹤基礎(chǔ)之上,對(duì)各個(gè)單攝像機(jī)的跟蹤結(jié)果進(jìn)行處理,從而得出正確的目標(biāo)網(wǎng)絡(luò)標(biāo)號(hào)。文獻(xiàn)[1]利用三維立體匹配算法,對(duì)目標(biāo)建立靈活的外觀模型,利用目標(biāo)基于地面的深度信息對(duì)目標(biāo)跟蹤,最后由多攝像機(jī)融合部分利用目標(biāo)的運(yùn)動(dòng)軌跡以及時(shí)間空間線索進(jìn)行匹配。文獻(xiàn)[2]是利用外觀模型和軌跡相結(jié)合的方法進(jìn)行多攝像機(jī)目標(biāo)的跟蹤。在多攝像機(jī)的協(xié)同工作問(wèn)題上,這里利用目標(biāo)距攝像機(jī)的距離作為限制條件,對(duì)攝像機(jī)在目標(biāo)的監(jiān)控進(jìn)行優(yōu)先安排。本文在單攝像機(jī)跟蹤的基礎(chǔ)上利用目標(biāo)的位置坐標(biāo)和時(shí)間對(duì)交接的目標(biāo)進(jìn)行匹配的范圍予以約束,利用顏色-空間直方圖匹配的方法對(duì)目標(biāo)進(jìn)行交接,達(dá)到連續(xù)的跟蹤。構(gòu)建2臺(tái)攝像機(jī)組成的實(shí)驗(yàn)平臺(tái),驗(yàn)證可以實(shí)現(xiàn)連續(xù)跟蹤的目的。

1 多攝像機(jī)監(jiān)控的構(gòu)建

多攝像機(jī)的目標(biāo)監(jiān)控可以分為有重疊視域和無(wú)重疊視域兩種情況。這里主要討論沒(méi)有重疊視域情況下多攝像機(jī)監(jiān)控系統(tǒng)的目標(biāo)交接問(wèn)題。

目標(biāo)交接的定義:當(dāng)對(duì)一個(gè)大的場(chǎng)景進(jìn)行監(jiān)控時(shí),必須用到多個(gè)攝像機(jī)。假定有一個(gè)目標(biāo),當(dāng)前在攝像機(jī)C1的視野內(nèi),經(jīng)過(guò)一段時(shí)間后,該目標(biāo)進(jìn)入到攝像機(jī)C2的視野內(nèi),這時(shí)就必須確定目標(biāo)的身份,即目標(biāo)交接達(dá)到連續(xù)跟蹤的目的。目標(biāo)交接問(wèn)題是多攝像機(jī)運(yùn)動(dòng)目標(biāo)跟蹤系統(tǒng)中的一個(gè)關(guān)鍵步驟,在多攝像機(jī)運(yùn)動(dòng)目標(biāo)跟蹤中起著舉足輕重的作用,只有在成功解決這個(gè)問(wèn)題的基礎(chǔ)上,才能進(jìn)行相關(guān)的后續(xù)工作,如行為分析、場(chǎng)景理解等。因此,它在整個(gè)系統(tǒng)中的地位非常重要。圖1是存在重疊視野范圍的多攝像機(jī)系統(tǒng)示意圖。其中,C1,C2是兩臺(tái)攝像機(jī)。攝像機(jī)視野域之間是沒(méi)有重疊區(qū)域的。

圖1 無(wú)重疊域的多攝像機(jī)系統(tǒng)示意圖

2 多攝像機(jī)監(jiān)控的目標(biāo)交接

2.1 目標(biāo)的坐標(biāo)和時(shí)間約束

當(dāng)一個(gè)目標(biāo)進(jìn)入某個(gè)攝像機(jī)視野時(shí),可能會(huì)出現(xiàn)以下2種情況:

(1) 此目標(biāo)之前在另外一個(gè)或者另外幾個(gè)攝像機(jī)的視野內(nèi),即為在其他攝像機(jī)中出現(xiàn)過(guò)的目標(biāo);

(2) 此目標(biāo)之前不在任何其他攝像機(jī)的視野內(nèi),也即為新目標(biāo)。為了判定此目標(biāo)是否為新目標(biāo)(即是否在其他攝像機(jī)中出現(xiàn)過(guò)),可以根據(jù)攝像機(jī)的視野邊界線來(lái)確定。

在用單攝像機(jī)運(yùn)動(dòng)目標(biāo)檢測(cè)模塊檢測(cè)到有一個(gè)目標(biāo)Oj進(jìn)入或者離開(kāi)攝像機(jī)Cj視野時(shí),檢查目標(biāo)的質(zhì)心坐標(biāo)P(x,y)所在區(qū)域范圍是否在兩臺(tái)攝像機(jī)兩條相鄰視野邊界線的區(qū)域內(nèi),如圖2所示。C1,C2是兩臺(tái)攝像機(jī)的視野域。Area1,Area2分別是攝像機(jī)C1,C2毗鄰且沒(méi)有重疊域的視野部分。當(dāng)目標(biāo)由Area1行進(jìn)進(jìn)入Area2時(shí),急需進(jìn)行目標(biāo)身份的確認(rèn),即進(jìn)行目標(biāo)的交接,對(duì)目標(biāo)進(jìn)行連續(xù)跟蹤。當(dāng)目標(biāo)由攝像機(jī)C1離開(kāi)進(jìn)入攝像機(jī)C2時(shí),記錄目標(biāo)從攝像機(jī)C1離開(kāi)時(shí)刻T1和進(jìn)入攝像機(jī)C2的時(shí)刻T2。設(shè)T為離開(kāi)攝像機(jī)C1到進(jìn)入攝像機(jī)C2的間隔時(shí)間限制,一般設(shè)為3~5 s。如果(T1-T2)≤T,對(duì)這兩個(gè)目標(biāo)進(jìn)行匹配,以確認(rèn)監(jiān)控網(wǎng)絡(luò)的標(biāo)號(hào)。如果目標(biāo)出現(xiàn)在C1,C2時(shí),質(zhì)心坐標(biāo)不在Area1或者Area2區(qū)域范圍內(nèi),則將這個(gè)目標(biāo)當(dāng)作新目標(biāo)。對(duì)目標(biāo)給予坐標(biāo)和時(shí)間的約束,很大程度上減少了目標(biāo)交接時(shí),進(jìn)行目標(biāo)直方圖匹配所需的匹配目標(biāo)直方圖個(gè)數(shù),提高了實(shí)時(shí)性和準(zhǔn)確性。

2.2 目標(biāo)空間-顏色直方圖及匹配

顏色直方圖是一種最直接反映目標(biāo)顏色信息的方法,但是一般的顏色直方圖只能反映出目標(biāo)顏色信息的統(tǒng)計(jì)特征。失去了目標(biāo)顏色的空間分布特征,而目標(biāo)顏色的空間分布特征對(duì)目標(biāo)而言是很重要的一種信息。文章采用一種基于顏色-空間二維直方圖進(jìn)行目標(biāo)匹配的方法。將目標(biāo)圖像分割成5×5的小塊,再將這些小塊按照與目標(biāo)質(zhì)心距離給予不同的權(quán)重重新組合成一種具有重疊方式的圖像塊;然后統(tǒng)計(jì)每塊區(qū)域內(nèi)的顏色直方圖,以得到該圖像的顏色-空間二維直方圖;最后結(jié)合目標(biāo)的時(shí)間-坐標(biāo)約束,對(duì)直方圖進(jìn)行匹配,利用得到的目標(biāo)直方圖進(jìn)行相似性的計(jì)算。

圖2 目標(biāo)質(zhì)心坐標(biāo)約束示意圖

2.2.1 空間-顏色直方圖

這里采用具有重疊方式的圖像分塊方法,通過(guò)在每一區(qū)域內(nèi)統(tǒng)計(jì)顏色直方圖來(lái)獲得顏色的空間分布信息。首先,將目標(biāo)圖像均分成5×5塊:A=[P1,P2,P4,P5,P7,P8],B=[P1,P2,P3,P4,P5,P6],C=[P2,P3,P5,P6,P8,P9],D=[P4,P5,P6,P7,P8,P9],E=[P10,P13,P15],F=[P10,P11,P12],G=[P12,P14,P17],H=[P15,P16,P17],如圖3所示。其中,E,F,G,H分別位于圖像的左、上、右、下部分,代表場(chǎng)景;A,B,C,D是對(duì)位于圖像中央主體部分的細(xì)分,分別代表目標(biāo)圖像主體的左半部、上半部、右半部和下半部。A,B,C,D四部分彼此是相互重疊的,這樣的分塊方法使每塊都包含了圖像的中心部分P5,從而在一定程度上避免了由于分塊過(guò)小而破壞目標(biāo)顏色完整性的缺點(diǎn),并保留足夠豐富的顏色信息。E,F,G,H的寬度較窄,這樣可以通過(guò)限定信息有效性的方法來(lái)提高匹配的準(zhǔn)確性。因此任意兩個(gè)子塊顏色直方圖的加權(quán)平均都相當(dāng)于對(duì)重疊區(qū)域進(jìn)行加權(quán)后,在兩個(gè)區(qū)域的并集內(nèi)統(tǒng)計(jì)的“加權(quán)”顏色直方圖,這更有利于突出圖像主要部分(重疊區(qū)域)的顏色分布特征。例如:顏色直方圖A+B 強(qiáng)調(diào)了圖像左上部分的特征;顏色直方圖A+C 強(qiáng)調(diào)了圖像垂直中間部分的特征。因此可以根據(jù)圖像內(nèi)容的空間分布更靈活和準(zhǔn)確地描述圖像的顏色特征。

圖3 目標(biāo)圖像分塊

由于人體目標(biāo)屬于非剛性目標(biāo),受到姿勢(shì)變化等的影響較大,目標(biāo)上半身中間的顏色信息給予較大的權(quán)重,而其他部分的顏色信息給予較小的權(quán)重。

2.2.2 目標(biāo)直方圖匹配

在單攝像機(jī)跟蹤基礎(chǔ)上得到目標(biāo)的顏色-空間直方圖。對(duì)于得到的直方圖在需要進(jìn)行交接時(shí)如2.1所述,使用Bhattacharyya系數(shù)方法可用來(lái)計(jì)算2個(gè)目標(biāo)圖像直方圖的相似程度。對(duì)于2個(gè)有m級(jí)的直方圖p和q,有:

p={pu}u=1,2,…,m,∑mu=1pu=1(1)

q={qu}u=1,2,…,m,∑mu=1qu=1(2)

式中:pu,qu表示在顏色直方圖p,q 中分別屬于顏色級(jí)數(shù)u的概率。直方圖p,q的相似度可以利用式(3)計(jì)算得到:

d(p,q)=1-∑mu=1puqu(3)

在將目標(biāo)直方圖顏色分塊后,計(jì)算兩個(gè)目標(biāo)分塊直方圖p,q的匹配程度時(shí),計(jì)算這兩個(gè)直方圖的距離:

D(p,q)=∑8i=1ωidi(4)

式中:i=1,2,…,8,分別對(duì)應(yīng)A,B,C,D,E,F,G,H這8個(gè)分塊;ωi是每一個(gè)分塊的權(quán)重值,根據(jù)距離質(zhì)心的距離,可給予不同的權(quán)重值;di是兩個(gè)目標(biāo)直方圖對(duì)應(yīng)子塊的Bhattacharyya距離,這里得到的是一個(gè)Bhattacharyya系數(shù),即一個(gè)度量值。通過(guò)分析D(p,q)值可知兩個(gè)直方圖顏色不匹配的程度,從而得到正確的匹配結(jié)果。結(jié)合對(duì)交接目標(biāo)進(jìn)行的時(shí)間和坐標(biāo)限制,對(duì)目標(biāo)進(jìn)行正確的交接,以達(dá)到連續(xù)跟蹤的目的。

3 實(shí)驗(yàn)結(jié)果及分析

這里構(gòu)建一個(gè)由兩臺(tái)攝像機(jī)組成的沒(méi)有重疊視野域的實(shí)驗(yàn)平臺(tái)。單攝像機(jī)的跟蹤是采用blob跟蹤算法。對(duì)目標(biāo)進(jìn)行跟蹤,并構(gòu)建目標(biāo)的直方圖顏色模型。實(shí)際場(chǎng)景如圖4所示。圖4(a),(b)分別為攝像機(jī)C1,C2的視野域,兩臺(tái)攝像機(jī)間沒(méi)有重疊視野域。圖4(a)中有兩個(gè)目標(biāo),圖4(b)中沒(méi)有目標(biāo),穿越中間的區(qū)域間隔時(shí)間為3~5 s。

圖4 無(wú)重疊視野域的兩臺(tái)攝像機(jī)

圖5是目標(biāo)交接的結(jié)果。圖5(a)在C1第17幀中檢測(cè)到這個(gè)目標(biāo)2;圖5(c)在C2的第111幀中檢測(cè)到這個(gè)目標(biāo),這個(gè)目標(biāo)是C2中第1個(gè)目標(biāo),在C2中的標(biāo)號(hào)是1。C1_2表示這個(gè)目標(biāo)在第1臺(tái)攝像機(jī)中的標(biāo)號(hào)是2,即給出了目標(biāo)的網(wǎng)絡(luò)標(biāo)號(hào),對(duì)其進(jìn)行連續(xù)的跟蹤。同樣,對(duì)第1個(gè)攝像機(jī)中的第3個(gè)目標(biāo)給出標(biāo)號(hào)C1_3,以達(dá)到統(tǒng)一標(biāo)號(hào)連續(xù)跟蹤的目的。

圖5 兩個(gè)目標(biāo)交接

參考文獻(xiàn)

[1]Zhao Tao,Aggarwal M,Kumar R,et al.Real-time Wid Area Multi-camera Stereor Tracking[A].IEEE Computer Society Coneference on Computer Vision and Pattern Rcognieiton,2005,1:976-983.

[2]Jinman Kang,Cohen I,Medioni G.Continuous Tracking within and across Camera Streams[A].2003 IEEE Computer Society Conference on Computer Vision and Pattern Recognition[C].2003,1:267-272.

[3]Yue Zhnaefng,Zhou S K,Chellappa R.Robust Two-camera Tracking Using Homognarhy[A].IEEE International Conference on Acoustics,Speech and Signal Processing[C].2004,3:1-4.

[4]Omar Javed,Sohaib Khan,Zeeshan Rasheed,et al.Camera Handoff: Tracking in Multiple Uncalibrated Stationary Cameras[J].Workshop Human Motion,2000:113-118.

[5]Jvaed O,Rasheed Z,Alatas O,et al.KNIGHTM:A Real-time Surveillance System for Multiple Overlapping and Non-overlapping Cameras[A].International Conefrence on multimedia and EXPO[C].2003,1:49-52.

[6]Utsumi A,Tetsutnai N.Human Tracking Using Multiple-Camera-based Head Appearance modeling[A].Sixth IEEE International Conference on Automatic Face and Gesture Reeongition[C].2004:657-662.

[7]陳偉宏.基于多攝像頭的目標(biāo)跟蹤算法研究[D].長(zhǎng)沙:湖南大學(xué),2005.

[8]Javed O,Rasheed Z,Shafique K,et al.Tracking Across Multiple Cameras with Disjoint Views[A].Ninth IEEE International Conference on Computer Vision[C].2003(2):952-957.