擁擠場(chǎng)景中對(duì)多個(gè)人的檢測(cè)和跟蹤技術(shù)研究

徐 曼

(1.上海電力學(xué)院計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，上海 200090;2.復(fù)旦大學(xué) 計(jì)算機(jī)科學(xué)技術(shù)學(xué)院，上海 200433)

人的檢測(cè)和跟蹤技術(shù)在視頻監(jiān)控、人機(jī)交互、輔助駕駛系統(tǒng)等方面有著廣泛的應(yīng)用，該技術(shù)主要由兩部分組成:一是對(duì)人的檢測(cè)，即在視頻幀中用目標(biāo)檢測(cè)技術(shù)檢測(cè)出人;二是將在多個(gè)連續(xù)幀間跟蹤檢測(cè)到的人做標(biāo)記.對(duì)于人的檢測(cè)，早期采用的是基于移動(dòng)的目標(biāo)檢測(cè)方法，假設(shè)攝像機(jī)是靜止不動(dòng)的，此時(shí)背景不變，變化的區(qū)域(motion blobs)就是檢測(cè)的對(duì)象.這種方法適用于對(duì)單個(gè)移動(dòng)的人的檢測(cè)，要求照明不變或場(chǎng)景變化很慢，而且人是場(chǎng)景中唯一移動(dòng)的對(duì)象.

在實(shí)際應(yīng)用中，場(chǎng)景復(fù)雜，監(jiān)測(cè)到的移動(dòng)區(qū)域不再是一個(gè)人，有可能是物體，也有可能是多個(gè)互相遮擋的人，人的出現(xiàn)可能會(huì)伴隨著人與人的遮擋及景物的遮擋，因此基于移動(dòng)的方法不再適用.在人群擁擠的復(fù)雜場(chǎng)景中如何實(shí)現(xiàn)魯棒的多個(gè)人的檢測(cè)和跟蹤，已成為研究的熱點(diǎn).

1 人的檢測(cè)和跟蹤系統(tǒng)

1.1 系統(tǒng)結(jié)構(gòu)

人的檢測(cè)和跟蹤系統(tǒng)基本結(jié)構(gòu)如圖1所示.該系統(tǒng)由檢測(cè)器和跟蹤器兩部分組成.輸入視頻流后，首先由檢測(cè)器對(duì)每一幀進(jìn)行監(jiān)測(cè)，檢測(cè)出每一幀圖像中包含的多個(gè)人，以一個(gè)檢測(cè)子的形式R={ri}(ri為多元組，代表一個(gè)人，通常由檢測(cè)人的位置、大小、特征、所在幀編號(hào)等組成)表示該集合.跟蹤器以這些檢測(cè)結(jié)果為基礎(chǔ)，對(duì)檢測(cè)到的人進(jìn)行跟蹤，并計(jì)算不同幀中檢測(cè)對(duì)象間的聯(lián)系.最后，給出不同檢測(cè)對(duì)象在視頻流中的軌跡T={Tk}，其中 Tk為第 k 個(gè)人的軌跡，Tk={rk1，rk2，，…，rkl}，kl為檢測(cè)子的個(gè)數(shù).

圖1 檢測(cè)和跟蹤系統(tǒng)的基本結(jié)構(gòu)

根據(jù)具體的檢測(cè)和跟蹤方法，可以將系統(tǒng)框架進(jìn)一步細(xì)化，主要包括3個(gè)方面:檢測(cè)器的組成;跟蹤器的組成;系統(tǒng)整體結(jié)構(gòu)的調(diào)整.比如，在文獻(xiàn)［1］中檢測(cè)器由部分檢測(cè)器和聯(lián)合檢測(cè)器兩部分組成;而跟蹤器由前向跟蹤和后向跟蹤組成.文獻(xiàn)［2］提出了基于數(shù)據(jù)聯(lián)系的3層的層級(jí)式跟蹤方法，可以實(shí)現(xiàn)在擁擠環(huán)境中單個(gè)攝像機(jī)對(duì)多個(gè)對(duì)象的魯棒跟蹤.

基于文獻(xiàn)［2］的分層聯(lián)系框架，文獻(xiàn)［3］對(duì)多個(gè)檢測(cè)對(duì)象的親密度量進(jìn)行了改進(jìn)，提出了一種基于學(xué)習(xí)親密度模型的跟蹤方法，在系統(tǒng)中引入了機(jī)器學(xué)習(xí)模塊.文獻(xiàn)［4］構(gòu)建了小軌跡圖，通過(guò)求圖的最大權(quán)重獨(dú)立集，在小軌跡之間建立聯(lián)系并進(jìn)行多目標(biāo)跟蹤.

1.2 技術(shù)概述

關(guān)于用于靜止圖像和視頻跟蹤的人的檢測(cè)方法有大量的研究，其中大部分都是基于滑窗的方法，DALAL在博士論文［5］中進(jìn)行了較為全面的綜述.現(xiàn)階段人的檢測(cè)技術(shù)主要包括兩個(gè)方面:一是具有高區(qū)分能力的特征;二是分類(lèi)器.

1.2.1 特征

檢測(cè)對(duì)象人的特征表示可以分為全局特征和基于局部的特征兩種.其中，基于局部的特征由于不容易受遮擋的影響，因而應(yīng)用得比較多.常用的局部特征有:SIFT特征;小波特征;HOG(梯度直方圖)特征;小邊緣特征［1］.文獻(xiàn)［5］將這些局部特征用于行人檢測(cè)，實(shí)驗(yàn)結(jié)果顯示HOG特征用于行人檢測(cè)的性能優(yōu)于其他3種.

其中HOG特征是目前最好的一種描述邊緣和形狀特征的局部特征.很多研究者對(duì)HOG特征進(jìn)行了改進(jìn)，提出了一些類(lèi)HOG的特征.文獻(xiàn)［6］針對(duì)雜亂背景中的噪音邊緣，結(jié)合HOG特征和另外一種描述子LBP，提出了將HOG-LBP特征用于行人檢測(cè).

LBP是一種紋理描述子，它通過(guò)均勻模型過(guò)濾掉圖像中的噪音，彌補(bǔ)了HOG特征的不足.文獻(xiàn)［7］針對(duì)HOG特征的高位率存儲(chǔ)和傳輸問(wèn)題，提出了CHOG(壓縮的HOG)特征，將梯度直方圖表示成樹(shù)結(jié)構(gòu)進(jìn)行高效壓縮，在壓縮的HOG特征間比較相似度，提供了一種低位率的特征描述子.文獻(xiàn)［8］將圖像的分割信息集成到HOG特征中，提高了行人檢測(cè)的準(zhǔn)確度.

1.2.2 分類(lèi)器

用于行人檢測(cè)的分類(lèi)器主要有SVM分類(lèi)器和決策樹(shù)兩種.一些研究工作針對(duì)分類(lèi)器展開(kāi)，主要目的是提高分類(lèi)器的區(qū)分能力和分類(lèi)速度.SVM分類(lèi)器的訓(xùn)練速度快，但是非線性SVM分類(lèi)器的運(yùn)行復(fù)雜度較高;而決策樹(shù)的分類(lèi)速度較快，但同時(shí)訓(xùn)練速度較慢，而且訓(xùn)練的復(fù)雜度隨類(lèi)別的增加而呈指數(shù)級(jí)增長(zhǎng).因此，在實(shí)時(shí)應(yīng)用中大多使用線性的SVM核分類(lèi)器，其訓(xùn)練速度和分類(lèi)速度都比較快，而且比非線性方法耗費(fèi)的內(nèi)存少.文獻(xiàn)［9］提出了SVM直方圖相交核方法，加速了直方圖比較函數(shù)的處理速度，同時(shí)還提出了一種基于多級(jí)方向邊緣能量直方圖的特征，實(shí)驗(yàn)表明該方法優(yōu)于 DALAL［5］的方法.

1.2.3 檢測(cè)方法

從人的表示方法的角度，可以將人的檢測(cè)技術(shù)分為兩種:一是基于整體表示的方法，將人表示成一個(gè)整體;二是基于部分的方法，將人表示成不同部位的組合.基于整體表示的方法比較簡(jiǎn)單，但對(duì)于部分被遮擋的情況效果不好;基于部分的表示方法對(duì)遮擋有一定的魯棒性.

1.2.4 關(guān)鍵問(wèn)題

在人多的擁擠環(huán)境中，人的出現(xiàn)常常表現(xiàn)為不同程度的遮擋，其中包括人的遮擋和景物的遮擋，如何檢測(cè)出有部分遮擋的人，是對(duì)人的檢測(cè)技術(shù)必須解決的關(guān)鍵問(wèn)題.一個(gè)較好的解決方法是將部位檢測(cè)和整體檢測(cè)結(jié)合起來(lái)，組成聯(lián)合檢測(cè)器.

文獻(xiàn)［1］和文獻(xiàn)［2］實(shí)現(xiàn)了聯(lián)合檢測(cè)的技術(shù)，將人表示為不同部位的組合，以方便處理遮擋問(wèn)題.使用了部分檢測(cè)器和聯(lián)合檢測(cè)器，其中部分檢測(cè)器是基于部分特征的，聯(lián)合檢測(cè)器是由部分特征與貝葉斯推論組合而成的.檢測(cè)時(shí)，首先用人整體和頭肩部分檢測(cè)器對(duì)圖像進(jìn)行掃描，得到一幅圖像中存在多個(gè)人的推測(cè)，然后再逐個(gè)用軀干和腿的部位檢測(cè)器進(jìn)行驗(yàn)證.

2 跟蹤多個(gè)人的技術(shù)

基于檢測(cè)的跟蹤方法［1，2，10-19］應(yīng)用較為普遍，即用檢測(cè)器檢測(cè)視頻中的每一幀，然后基于檢測(cè)結(jié)果建立多個(gè)檢測(cè)對(duì)象之間的聯(lián)系.針對(duì)復(fù)雜場(chǎng)景中多個(gè)對(duì)象的跟蹤，研究者提出了基于數(shù)據(jù)聯(lián)系的跟蹤方法(DAT方法)［20］，在多個(gè)對(duì)象聯(lián)系假設(shè)間進(jìn)行匹配，通過(guò)計(jì)算多個(gè)對(duì)象的連接映像似然值處理遮擋問(wèn)題.由于連接假設(shè)空間通常是高維的，因此采用了很多有效的優(yōu)化算法，包括基于粒子濾波器的方法、馬爾可夫鏈蒙特卡洛方法(MCMC)、EM 方法、Hungarian 算法等［1-3］.

DAT方法的兩個(gè)主要組成部分:一是用來(lái)測(cè)量?jī)蓚€(gè)小軌跡是否屬于同一個(gè)對(duì)象的親密度模型［3，12-14，21，22］;二是聯(lián)系優(yōu)化結(jié)構(gòu)，用來(lái)決定基于親密度模型，鏈接哪些小軌跡.

2.1 親密度模型

親密度模型主要使用對(duì)象的顏色特征(如顏色直方圖)、移動(dòng)特征(如速度)和小軌跡之間的幀數(shù)，采用歐氏距離、簡(jiǎn)單高斯分布等度量其密度.假設(shè)，rp1，rp2是兩個(gè)檢測(cè)結(jié)果，rp1=(p1，s1，c1)，rp2=(p2，s2，c2)，表示兩個(gè)檢測(cè)子的位置、大小和顏色直方圖，它們之間的親密度公式為［1］:

式中:Apos，Asize，Aappr——位置、大小及外貌的相似度;

γpos，γsize——正則化參數(shù).

文獻(xiàn)［2］提出的3層的層級(jí)式聯(lián)系方法，在每一階段采用不同的親密度量模型，第一層聯(lián)系中采用式(1)至式(4)定義的親密度模型，得到小軌跡集;在中級(jí)階段，對(duì)這些小軌跡基于更復(fù)雜的親密量度模型作進(jìn)一步計(jì)算聯(lián)系，以形成更長(zhǎng)的小軌跡.中級(jí)階段中使用的親密度量模型綜合考慮了顏色、移動(dòng)信息及兩個(gè)小軌跡間的幀數(shù)等.兩條小軌跡的親密度模型定義為:

Aa，Am，At——顏色相似度，移動(dòng)信息親密度，時(shí)間親密度.

文獻(xiàn)［1］對(duì)文獻(xiàn)［2］的中級(jí)聯(lián)系親密度量模型進(jìn)行了改進(jìn)，不再使用經(jīng)驗(yàn)的固定參數(shù)和權(quán)值，而由學(xué)習(xí)得到，是一種基于學(xué)習(xí)親密度模型的跟蹤方法.另外，結(jié)合AdaBoost算法和Rank-Boost算法的優(yōu)點(diǎn)，提出了一種 boosting算法，即HybridBoost算法，可用于訓(xùn)練親密度量的參數(shù).

2.2 聯(lián)系優(yōu)化方法

文獻(xiàn)［2］中基于Hungarian算法對(duì)優(yōu)化結(jié)構(gòu)進(jìn)行了改進(jìn)，采用一種分層的聯(lián)系框架，每一層采用不同的親密度模型，同時(shí)利用上一層跟蹤的結(jié)果，采用貝葉斯方法對(duì)其逐層優(yōu)化，考慮到了檢測(cè)器的誤警、漏檢，以及不準(zhǔn)確的檢測(cè)子和場(chǎng)景遮擋等噪音問(wèn)題，是一種魯棒的跟蹤方法.該方法在中級(jí)階段對(duì)檢測(cè)結(jié)果進(jìn)行了卡爾曼濾波，得到移動(dòng)模型;將檢測(cè)結(jié)果進(jìn)行精煉，減小錯(cuò)誤的檢測(cè)結(jié)果對(duì)跟蹤的影響.中級(jí)階段的數(shù)據(jù)聯(lián)系是一個(gè)迭代的過(guò)程.在高級(jí)階段，由中級(jí)階段已經(jīng)計(jì)算得到的小軌跡，通過(guò)貝葉斯推論得到進(jìn)入、退出及場(chǎng)景遮擋的統(tǒng)計(jì)估計(jì)，用于對(duì)最終軌跡的精煉.

另外，還有一些基于聯(lián)系優(yōu)化的研究，比如基于線性規(guī)劃的方法、最小流的方法都是比較有代表性的.文獻(xiàn)［23］和文獻(xiàn)［24］采用馬爾可夫蒙特卡羅方法和粒子濾波建立了數(shù)據(jù)聯(lián)系.

3 實(shí)驗(yàn)數(shù)據(jù)集及性能度量

3.1 實(shí)驗(yàn)數(shù)據(jù)集

常用的實(shí)驗(yàn)數(shù)據(jù)集有CAVIAR視頻庫(kù)［25］、i-LIDS AVSS AB視頻集［26］和 TRECVID08 數(shù)據(jù)集［27］.

CAVIAR視頻庫(kù)提供了不同的情景，包括:人單獨(dú)行走;遇到其他人;進(jìn)入商店;走出商店;打架;經(jīng)過(guò);經(jīng)過(guò)并在公共場(chǎng)所留下包裹等.提供了兩個(gè)場(chǎng)景的視頻庫(kù):第一個(gè)視頻庫(kù)是用一個(gè)廣角攝像機(jī)在INRIA實(shí)驗(yàn)室的走廊入口處拍攝的視頻，半分辨PAL標(biāo)準(zhǔn)(分辨率為384×288像素，幀率為25幀/s)，MPEG2壓縮，文件大小為6～12 MB，有些文件達(dá)到21 MB;第二個(gè)視頻庫(kù)也是使用廣角鏡頭拍攝的，在Lisbon的一個(gè)商場(chǎng)的門(mén)廳外分別沿著門(mén)廳方向和跨門(mén)庭兩個(gè)方向同步拍攝，視頻文件執(zhí)行的標(biāo)準(zhǔn)、壓縮標(biāo)準(zhǔn)和文件大小與第一個(gè)視頻庫(kù)相同.

i-LIDS AVSS AB視頻集是從一個(gè)地鐵站拍攝得到的，包含 3個(gè)視頻，135個(gè)真實(shí)軌跡.TRECVID08數(shù)據(jù)集較有挑戰(zhàn)性，其中的視頻是從機(jī)場(chǎng)拍攝得到的，場(chǎng)景擁擠(每一幀10～30人)，互相遮擋較為嚴(yán)重，并有頻繁的互動(dòng).

3.2 性能度量

Recall，查全率，定義為正確匹配的對(duì)象/所有的真實(shí)對(duì)象.Precision，查準(zhǔn)率，定義為正確匹配的對(duì)象/所有查出的對(duì)象.這兩個(gè)評(píng)價(jià)標(biāo)準(zhǔn)都是基于幀的.

跟蹤性能通常有以下度量標(biāo)準(zhǔn):

(1)GT(No.of groundtruth trajectories)，跟蹤到的真實(shí)軌跡的數(shù)量;

(2)T%(Mostly tracked)，跟蹤出長(zhǎng)度大于真實(shí)軌跡80%的軌跡的比例;

(3)ML%(Mostly lost)，跟蹤出長(zhǎng)度小于真實(shí)軌跡20%的軌跡的比例;

(4)PT%，部分跟蹤率，定義為1-MT-ML;

(5)Frag(Fragments)，真實(shí)軌跡被中斷的次數(shù)，越小越好;

(6)IDS(ID switches)，發(fā)生身份交換的次數(shù)，越小越好.

這些綜合標(biāo)準(zhǔn)基本上也是基于上述檢測(cè)和跟蹤的度量標(biāo)準(zhǔn)來(lái)確定的，主要有:

(1)多對(duì)象跟蹤準(zhǔn)確度，計(jì)算誤警數(shù)量、漏檢數(shù)量和身份交換數(shù)量等，越大越好;

(2)真實(shí)實(shí)例漏檢比例，越小越好;

(3)每幀誤檢率，越小越好.

4 結(jié)語(yǔ)

對(duì)擁擠場(chǎng)景中人的檢測(cè)和跟蹤的困難主要體現(xiàn)在:擁擠環(huán)境中存在較多的人和人之間的遮擋以及場(chǎng)景遮擋，而且人和人之間體貌相似的較多，很容易產(chǎn)生對(duì)象的交叉，當(dāng)兩個(gè)人的軌跡發(fā)生交叉時(shí)，標(biāo)識(shí)會(huì)發(fā)生交換.如何解決遮擋和部分遮擋問(wèn)題，提供具有高度區(qū)分能力的特征是解決擁擠環(huán)境下多個(gè)人的檢測(cè)和跟蹤的關(guān)鍵問(wèn)題.將來(lái)的工作主要要圍繞4個(gè)方面展開(kāi):一是提供高區(qū)分度的特征用于人的檢測(cè);二是發(fā)明適用于人的檢測(cè)的聚類(lèi)技術(shù);三是建立更好的自適應(yīng)親密度量模型;四是研制用于跟蹤過(guò)程中高維假設(shè)空間的高效優(yōu)化算法.

［1］ WU Bo，NEVATIA R.Detection and tracking of multiple，partially occluded humans by bayesian combination of edgelet based part detectors［J］.International Journal of Computer Vision，2007，75(2):247-266.

［2］ HUANG Chang，WU Bo，NEVATIA R.Robust object tracking by hierarchical association of detection responses［C］//Computer Vision-ECCV，2008:788-801.

［3］ LI Yuan，HUANG Chang，NEVATIA R.Learning to associate:hybridBoosted multi-target tracker for crowded scene［C］//Proceeding of IEEE Computer Society Conference on Computer Vision and Pattern Recognition，2009:2 953-2 960.

［4］ BRENDEL William，AMER Mohamed，TODOROVIC Sinisa.Multiobject tracking as maximum weight independent set［C］//Proceeding of IEEE Computer Society Conference on Computer Vision and Pattern Recognition(CVPR)，2011:1 273-1 280.

［5］ DALAL N.Finding people inimages andvideo［D］.Grenoble:INRIA Rhne-Alpes，2006.

［6］ WANG Xiaoyu，HAN Tony X，YAN Shuicheng.An HOG-LBP human detectorwith partialocclusion handling［C］//Proceeding of the 12th IEEE International Conference on Computer Vision，2009:32-39.

［7］ CHANDRASEKHAR Vijay，TAKAC Gabriel，CHEN David，et al.CHOG:compressed histogram of gradients:a low bit-rate feature descriptor［C］//Proceeding of IEEE Computer Society Conference on Computer Vision and Pattern Recognition，2009:2 504-2 511.

［8］ OTT Patrick， EVERINGHAM Mark. Implicit color segmentation features for pedestrian detection［C］//Proceeding of the 12th IEEE International Conference on Computer Vision，2009:723-730.

［9］ MAJI Subhransu，BERG AlexanderC，MALIK Jitendra.Classification using intersection kernel support vector machines is efficient［C］//Proceeding of IEEE Computer Society Conference on Computer Vision and Pattern Recognition，2008:1-8.

［10］ OKUMA Kenji，TALEHANI Ali，F(xiàn)REITAS Nando D，et al.A boosted particle filter:multitarget detection and tracking［C］//Proceeding of European Conf.Computer Vision(ECCV)，2004:28-39.

［11］ GRABNER H，BISCHOF H.On-line boosting and vision［C］//Proceeding of IEEE Computer Society Conference on Computer Vision and Pattern Recognition(CVPR)，2006:260-267.

［12］ LEIBE B，SCHINDLER K，GOOL L V.Coupled detection and trajectory estimation for multi-object tracking［C］//Proceeding of IEEE Int＇l Conf.Computer Vision(ICCV)，2007:1-8.

［13］ ANDRILUKA M，ROTHS，SCHIELEB.People-trackingbydetection and people-detection-by-tracking ［C］//Proceeding of IEEE Computer Society Conference on Computer Vision and Pattern Recognition(CVPR)，2008:1-8.

［14］ XING J，AI H，LAO S.Multi-object tracking through occlusions by local tracklets filtering and global tracklets association with detection responses［C］//Proceeding of IEEE Computer Society Conference on Computer Vision and Pattern Recognition(CVPR)，2009:1 200-1 207.

［15］ CHOI W，SAVARESE S.Multiple target tracking in world coordinate with single，minimally calibrated camera［C］//Proceeding of European Conf.Computer Vision(ECCV)，2010:553-567.

［16］ YUL Jie，F(xiàn)ARIN Dirk，SCHIELE Bernt.Multi-target tracking in crowded scenes［C］//DAGM＇11 Proceedings of the 33rd InternationalConference on Pattern Recognition，2011:406-415.

［17］ STALDER S，GRANDER H，VAN GoolL.Cascaded confidence filtering for improved tracking-by-detection［C］//Proceeding of European Conf.Computer Vision(ECCV)，2010:369-382.

［18］ BREITENSTEIN M D，REICHLIN F，LEIBE B，et al.Online multi-person tracking-by-detection from a single，uncalibrated camera［J］.IEEE Trans.on Pattern Analysis and Machine Intelligence，2011:1 820-1 833.

［19］ BREITENSTEIN M，REICHLIN F，LEIBE B，et al.Robust tracking-by-detection using a detector confidence particle filter［C］//Proceeding of IEEE International Conference on Computer Vision(ICCV)，2009:1 515-1 522.

［20］ QIN Zhen，SHELTON Christian R.Improvingmulti-target tracking via social grouping［C］//Proceeding of IEEE Computer Society Conference on Computer Vision and Pattern Recognition(CVPR)，2012:1 972-1 978.

［21］ LI Y，NEVATIA R.Key object driven multi-category object recognition，localization and tracking using spatio-temporal context［C］//Proceeding of European Conf.Computer Vision(ECCV)，2008:409-422.

［22］ GRABNER H，MATAS J，COOL L Van，et al.Tracking the invisible:learning where the object might be［C］//Proceeding of IEEE Computer Society Conference on Computer Vision and Pattern Recognition(CVPR)，2010:1 285-1 292.

［23］ DOUKWORTH Daniel.Monte carlo methods for multiple target tracking and parameter estimation.technical report No.UCB/EECS-2012-68［R］.http://www.eecs.berkeley.edu/Pubs/TechRpts/2012/EECS-2012-68.html.

［24］ VU Anh Tuyet，VO Ba Ngu，Evans，et al.Markov chain monte carlo for bayesian multi-targettracking［C］//2011 Proceedings of the 14th International Conference on Information Fusion(FUSION)，2011:1-8.

［25］ SMEATON A F，OVER P，KRAAJI W.Evaluation campaigns and trecvid［C］//MIR ’06:Proceedings of the 8th ACM International Workshop on Multimedia Information Retrieval，2006:321-330..