基于多邊形頂點(diǎn)單應(yīng)映射的多攝像機(jī)前景融合實(shí)時(shí)運(yùn)動(dòng)目標(biāo)檢測(cè)*

任 劼 ，許 銘 ，趙慧民

(1. 西安工程大學(xué)電子信息學(xué)院，陜西 西安 710048;2. 西交利物浦大學(xué)電氣與電子工程系，江蘇 蘇州 215123;3. 廣東技術(shù)師范學(xué)院電子與信息學(xué)院，廣東 廣州 510665)

基于多邊形頂點(diǎn)單應(yīng)映射的多攝像機(jī)前景融合實(shí)時(shí)運(yùn)動(dòng)目標(biāo)檢測(cè)*

任 劼1，許 銘2，趙慧民3

(1. 西安工程大學(xué)電子信息學(xué)院，陜西 西安 710048;2. 西交利物浦大學(xué)電氣與電子工程系，江蘇 蘇州 215123;3. 廣東技術(shù)師范學(xué)院電子與信息學(xué)院，廣東 廣州 510665)

采用多攝像機(jī)多平面單應(yīng)前景映射融合的方法可以減小目標(biāo)遮擋所造成的影響并提高目標(biāo)檢測(cè)的準(zhǔn)確性和可靠性。采用傳統(tǒng)的前景圖單應(yīng)變換是一個(gè)圖像級(jí)的運(yùn)算，需要將前景圖中的全部像素逐一投影到參考視角中。為了消除透視效應(yīng)產(chǎn)生空洞區(qū)域，還需根據(jù)分辨率較高的參考視角反映射的方法確定前景投影圖。由于計(jì)算量較大，處理無(wú)法應(yīng)用到實(shí)時(shí)目標(biāo)檢測(cè)中。該文提出了一種前景輪廓多邊形頂點(diǎn)映射的方法，首先對(duì)在單攝像機(jī)中檢測(cè)出的前景進(jìn)行多邊形逼近，只對(duì)前景多邊形的頂點(diǎn)進(jìn)行單應(yīng)映射，最后在參考視角中根據(jù)映射頂點(diǎn)進(jìn)行前景重構(gòu)，提高前景映射的運(yùn)算速度以滿足多攝像機(jī)前景融合實(shí)時(shí)目標(biāo)檢測(cè)。實(shí)驗(yàn)中，多邊形頂點(diǎn)法與傳統(tǒng)法、輪廓法、矩形框法進(jìn)行了比較。實(shí)驗(yàn)表明，重構(gòu)的前景映射圖不僅可以有效地逼近圖像級(jí)單應(yīng)變換的前景映射圖，而且在運(yùn)動(dòng)目標(biāo)大小不同的情況下，多攝像機(jī)前景融合目標(biāo)檢測(cè)的運(yùn)算速度可以分別提高約12和69倍。

運(yùn)動(dòng)目標(biāo)檢測(cè);單應(yīng);多攝像機(jī)

近年來(lái)，加速轉(zhuǎn)型的中國(guó)社會(huì)所面臨的越來(lái)越多的不穩(wěn)定因素，以及社會(huì)治安防范的日益復(fù)雜，視頻監(jiān)控需求呈快速而穩(wěn)定的增長(zhǎng)。傳統(tǒng)的實(shí)時(shí)監(jiān)控方式需要工作人員在布滿監(jiān)視器的監(jiān)控室中工作并對(duì)特殊事件做出預(yù)警，效果很大程度上依賴于當(dāng)前監(jiān)測(cè)者的主觀意識(shí)、反應(yīng)速度和疲勞程度。智能視頻監(jiān)控作為人工智能和機(jī)器視覺(jué)的一個(gè)研究方向，引起了廣泛的關(guān)注。智能視頻監(jiān)控系統(tǒng)的目標(biāo)就是可以自動(dòng)并實(shí)時(shí)完成對(duì)目標(biāo)的檢測(cè)、跟蹤、分類和識(shí)別，對(duì)可能發(fā)生的異常情況發(fā)出預(yù)警信號(hào)，以幫助監(jiān)控人員快速做出應(yīng)對(duì)，對(duì)存儲(chǔ)的各種視頻進(jìn)行快速恢復(fù)、尋找查詢和分析[1-2]。

根據(jù)所采用的攝像機(jī)的數(shù)目，智能監(jiān)控系統(tǒng)可分為單攝像機(jī)和多攝像機(jī)兩類。如果采用單攝像機(jī)，典型的視頻監(jiān)控系統(tǒng)需要承擔(dān)的工作分為運(yùn)動(dòng)物體檢測(cè)、目標(biāo)跟蹤、目標(biāo)分類和特殊事件檢測(cè)。視頻序列中的運(yùn)動(dòng)物體可通過(guò)前景檢測(cè)的辦法逐幀進(jìn)行檢測(cè)并利用時(shí)空關(guān)系進(jìn)行跟蹤。被跟蹤目標(biāo)的特征信息在被提取后，利用設(shè)定的特殊事件觸發(fā)條件進(jìn)行判斷，當(dāng)特殊事件發(fā)生時(shí)將會(huì)產(chǎn)生預(yù)警信號(hào)。

當(dāng)運(yùn)動(dòng)物體在屏幕中是單一無(wú)遮擋時(shí)，單一攝像機(jī)可以輕松完成上述各種工作。在現(xiàn)實(shí)應(yīng)用中，來(lái)自其他運(yùn)動(dòng)物體的動(dòng)態(tài)遮擋和來(lái)自樹(shù)木、建筑物等障礙物的的靜態(tài)遮擋會(huì)嚴(yán)重影響智能監(jiān)控的結(jié)果?？紤]到當(dāng)一個(gè)運(yùn)動(dòng)目標(biāo)在一個(gè)攝像機(jī)中被其它物體遮擋時(shí)，在其它不同位置的攝像機(jī)中觀測(cè)時(shí)可能不會(huì)產(chǎn)生遮擋現(xiàn)象，利用多攝像機(jī)協(xié)同監(jiān)測(cè)可以有效地緩解遮擋帶來(lái)的影響。由于多攝像機(jī)可被安置在不同的地點(diǎn)以檢測(cè)不同的區(qū)域，采用多攝像機(jī)還可以擴(kuò)大監(jiān)測(cè)區(qū)域?；诙鄶z像機(jī)視頻監(jiān)控的優(yōu)越性，對(duì)多攝像的智能視頻監(jiān)控系統(tǒng)的研究有著重要的現(xiàn)實(shí)和理論意義。

1 文獻(xiàn)綜述

根據(jù)多攝像機(jī)信息融合的程度，國(guó)內(nèi)外研究多攝像機(jī)目標(biāo)檢測(cè)和跟蹤的文章可被劃分為低度融合、中度融合和高度融合三類。

1.1 低度融合

采用低度信息融合方法的視頻監(jiān)控系統(tǒng)主要是采用多攝像機(jī)切換的辦法來(lái)解決單一攝像機(jī)監(jiān)測(cè)時(shí)視野受限的缺陷[3]。具體辦法是首先利用某一攝像機(jī)進(jìn)行目標(biāo)檢測(cè)與跟蹤，當(dāng)監(jiān)測(cè)到當(dāng)前視角在目標(biāo)的運(yùn)動(dòng)過(guò)程中不再具有良好的檢測(cè)效果或目標(biāo)離開(kāi)當(dāng)前攝像機(jī)的視角范圍時(shí)，需要切換到另一臺(tái)攝像機(jī)進(jìn)行檢測(cè)與跟蹤。在這一類方法中，目標(biāo)的檢測(cè)和跟蹤是由不同的攝像機(jī)完成的，在同一時(shí)間只有一個(gè)攝像機(jī)負(fù)責(zé)監(jiān)控，攝像機(jī)之間幾乎沒(méi)有信息融合。所以多攝像機(jī)切換的方法僅僅是增加了視角覆蓋范圍而無(wú)法緩解由于遮擋所帶來(lái)的影響。

1.2 中度融合

當(dāng)同一運(yùn)動(dòng)物體在不同攝像機(jī)中的對(duì)應(yīng)關(guān)系被確定后，在不同攝像機(jī)中檢測(cè)到的運(yùn)動(dòng)軌跡或運(yùn)動(dòng)物體的觀測(cè)信息就可以被融合到參考視角以提高檢測(cè)和跟蹤的可靠性。研究者們常采用中心投影[4-5]、極線法和單應(yīng)變換法等幾何約束的方法來(lái)建立不同攝像機(jī)之間的對(duì)應(yīng)關(guān)系[6-10]。

采用運(yùn)動(dòng)軌跡融合的方法中，Khan和Shah[11]在建立了不同攝像機(jī)之間的對(duì)應(yīng)關(guān)系后，將各個(gè)攝像機(jī)視角中所檢測(cè)到的目標(biāo)的運(yùn)動(dòng)軌跡映射到一個(gè)虛擬的頂視圖平面進(jìn)行融合，以提高目標(biāo)檢測(cè)和跟蹤的準(zhǔn)確性。這類方法的缺陷是在一個(gè)視角的跟蹤結(jié)果不會(huì)被用來(lái)提高其他視角中跟蹤的可靠性。

改進(jìn)的算法中目標(biāo)跟蹤不再由單一攝像機(jī)執(zhí)行，而是先將各個(gè)攝像機(jī)中所檢測(cè)到的特征信息投射至參考視角并融合，然后在參考視角內(nèi)利用融合后的信息進(jìn)行全局的目標(biāo)檢測(cè)與跟蹤。各攝像機(jī)視角中所獲取的檢測(cè)特征大致可以分為：點(diǎn)[6]、線[8,12]、區(qū)域[13-14]。Mittal and Davis[5]利用前景區(qū)域和對(duì)極線相交的線段的顏色信息尋找匹配區(qū)域。Hu等[8]用主軸的方法可以緩解前景檢測(cè)誤差所帶來(lái)的影響。

1.3 高度融合

Fleuret等[15]將地平面劃分成了小的柵格，每個(gè)小柵格的大小由該攝像機(jī)中行人所對(duì)應(yīng)的矩形區(qū)域的平均大小決定；隨后根據(jù)每個(gè)柵格中運(yùn)動(dòng)目標(biāo)像素所占的比例計(jì)算出了地平面占有率圖。Khan和Shah[16]將各單視圖的前景似然率圖通過(guò)基于地平面的單應(yīng)變換投射至一個(gè)參考視角，然后在參考視角中對(duì)其進(jìn)行疊加，并利用設(shè)定的閾值在參考視角中確定行人在地面的位置。隨后，基于地平面的單應(yīng)變換被拓展至一系列在一定高度且平行于地平面的虛擬平面的單應(yīng)變換，以提高目標(biāo)檢測(cè)的可靠性。文獻(xiàn)[17]同樣采用了包括地平面在內(nèi)的3層單應(yīng)平面通過(guò)多攝像機(jī)的前景似然率圖融合對(duì)行人進(jìn)行定位，實(shí)現(xiàn)穩(wěn)定跟蹤。Eshel和Moses[18]將不同攝像機(jī)的各像素根據(jù)頭頂平面的單應(yīng)變換映射至虛擬的頭頂平面，然后根據(jù)投射至同一點(diǎn)的來(lái)自不同攝像機(jī)的各像素的灰度信息建立超級(jí)像素，利用超級(jí)像素的匹配結(jié)果來(lái)確定運(yùn)動(dòng)目標(biāo)的位置。Peng等[19]將不同攝像機(jī)視角中檢測(cè)出來(lái)的前景區(qū)域根據(jù)地平面映射至虛擬頂視圖中進(jìn)行融合后，將相交區(qū)域根據(jù)行人高度所決定的虛擬平面反映射回各攝像機(jī)視角，利用貝葉斯網(wǎng)絡(luò)進(jìn)行檢測(cè)和跟蹤。

傳統(tǒng)的單應(yīng)映射方法是一種圖像級(jí)的變換，攝像機(jī)視圖中的每個(gè)像素需通過(guò)單應(yīng)變換被逐一投射至參考視角中。為了避免在參考視角圖像中由于透視效應(yīng)產(chǎn)生空洞區(qū)域，一般采用將參考視角中的每一個(gè)像素反映射回?cái)z像機(jī)視圖，如果反映射的像素點(diǎn)在攝像機(jī)視圖中，則用攝像機(jī)視圖中的像素值填充參考視角中對(duì)應(yīng)像素點(diǎn)的值。這樣，所需要進(jìn)行映射變換的像素的數(shù)量需由參考視角圖像的分辨率來(lái)確定。在實(shí)際應(yīng)用中，常作為參考視角的頂視圖由于要覆蓋較大的區(qū)域通常具有更高的分辨率，使這種逐像素的映射在計(jì)算和傳輸過(guò)程中所需的時(shí)間較長(zhǎng)，造成其難以適用于實(shí)時(shí)檢測(cè)中。如果采用多攝像機(jī)以及多個(gè)高度平面單應(yīng)變換融合的算法，所需要的時(shí)間將會(huì)成倍增加。

為了改進(jìn)上述缺陷，本文提出了一種基于多邊形近似逼近算法的多層單應(yīng)變換融合算法用于多攝像機(jī)目標(biāo)實(shí)時(shí)檢測(cè)，并采用了兩組不同的序列對(duì)所提出的算法進(jìn)行了有效性和可靠性的評(píng)估。在與傳統(tǒng)的圖像級(jí)變換法、矩形框法和輪廓法進(jìn)行比較后，實(shí)驗(yàn)結(jié)果表明所提出的方法在保證了可靠性的同時(shí)，除了可以有效地降低所需要的時(shí)間外，還具有時(shí)間及精度可控的優(yōu)點(diǎn)。

2 單應(yīng)估計(jì)

單應(yīng)關(guān)系是基于同一平面(單應(yīng)平面)的兩個(gè)視角圖像之間的映射關(guān)系。通過(guò)選取其中的一幅圖像作為參考視角圖像，可以將另一幅圖像投射至參考圖像進(jìn)行圖像融合。除了可以選取攝像機(jī)捕獲的圖像作為參考圖像外，還可以選取合成俯視圖像或空中俯視圖像作為參考圖像以獲取更大的視野范圍。設(shè)(uc,vc)是在攝像機(jī)視角c下圖像中單應(yīng)平面上的一點(diǎn)，其在頂視圖中的對(duì)應(yīng)點(diǎn)為(ut,vt)，pc=[uc,vc,1]T和pt=[ut,vt,1]T是這兩點(diǎn)的其次坐標(biāo)表示，則它們之間的單應(yīng)變換可表示為：

(1)

(2)

其中，符號(hào)?在單應(yīng)變換中存在一個(gè)縮放因子。Pc和Hc,t中的上標(biāo)c為攝像機(jī)的標(biāo)號(hào)，c=a,b。由于在本文中采用了虛擬的頂視圖作為參考視角圖像，pt和Hc,t中的上標(biāo)t指頂視圖。兩幅圖之間的單應(yīng)關(guān)系矩陣可根據(jù)兩幅圖像中相關(guān)的點(diǎn)、線或橢圓等特征的對(duì)應(yīng)關(guān)系計(jì)算。本文采用了一系列手工選取的對(duì)應(yīng)點(diǎn)進(jìn)行攝像機(jī)校準(zhǔn)，從而求出單應(yīng)矩陣。

2.1 地平面單應(yīng)矩陣估計(jì)

由于單應(yīng)變換是投影變換在一定約束條件下的簡(jiǎn)化形式，所以在對(duì)攝像機(jī)進(jìn)行標(biāo)定后，攝像機(jī)的投影矩陣可被用來(lái)直接計(jì)算基于地平面的單應(yīng)矩陣。設(shè)pw=[Xw,Yw,Zw,1]T是三維空間中的一個(gè)點(diǎn)，pw映射到圖像中的對(duì)應(yīng)點(diǎn)Pc的關(guān)系可通過(guò)一個(gè)投影矩陣M表示：

(3)

其中m1,m2,m3,m4各是一個(gè)3×1的向量，M是由攝像機(jī)標(biāo)定所得的內(nèi)外參數(shù)構(gòu)成的3×4矩陣。

(4)

(5)

(6)

2.2 多平面單應(yīng)矩陣估計(jì)

在單應(yīng)變換中不僅可以采用地平面作為單應(yīng)平面，選取平行并高于地平面的一組虛擬平面作為單應(yīng)平面時(shí)，圖像之間的單應(yīng)變換依舊存在。當(dāng)攝像機(jī)標(biāo)定后，多平面單應(yīng)關(guān)系矩陣依舊可以從攝像機(jī)投影矩陣直接產(chǎn)生。當(dāng)不采用攝像機(jī)標(biāo)定時(shí)，多平面單應(yīng)關(guān)系矩陣可根據(jù)地平面單應(yīng)矩陣和垂直方向的消影點(diǎn)[16]、四個(gè)共線的點(diǎn)的交比關(guān)系或4個(gè)桿子上具有不同高度標(biāo)示點(diǎn)求得[17-18]。除此之外，多平面單應(yīng)矩陣還可以通過(guò)一系列在頭頂和腳底點(diǎn)之間根據(jù)高度比例線性內(nèi)插的點(diǎn)求得。

(7)

對(duì)比公式(4)和(7)可知，基于h高度平面的單應(yīng)矩陣可由基于地平面的單應(yīng)矩陣與投影矩陣M中的第三列元素乘以給定的高度h求得：

(8)

其中，[o]是一個(gè)3×2的全零矩陣[20]。

3 單攝像機(jī)前景檢測(cè)與表示

3.1 前景檢測(cè)

前景提取的目的是根據(jù)背景圖像將運(yùn)動(dòng)的物體從每幀圖像中提取出來(lái)，其提取效果主要由背景模型決定?；旌细咚鼓Ｐ涂梢杂行У匾种迫鐦?shù)葉擺動(dòng)等背景元素的輕微變化，被廣泛地應(yīng)用在前景提取中[21]。本文采用K個(gè)高斯分布對(duì)每一個(gè)像素的彩色值進(jìn)行建模，設(shè)一個(gè)像素在時(shí)刻t的顏色取值為pt=[Rt,Gt,Bt]T，該像素取該值的概率為：

(9)

(10)

在t時(shí)刻，圖像幀It中的每個(gè)像素It(r,c)與背景模型進(jìn)行比較，如果其值與B個(gè)分布的中心的差值都大于該分布標(biāo)準(zhǔn)差的ThB倍，則該像素被判斷為一個(gè)前景像素。ThB可根據(jù)經(jīng)驗(yàn)選取，通常為2.5,且j∈[1,B]。

(11)

如果一個(gè)像素被判斷為背景像素，即它能與已有的K個(gè)分布中的一個(gè)匹配上，則需要對(duì)與其匹配的分布進(jìn)行更新。如果背景像素與已有的K個(gè)分布中都匹配不上，則需建立新的分布，并在對(duì)權(quán)重更新后重新對(duì)各分布進(jìn)行排序。檢測(cè)出的前景像素在經(jīng)過(guò)連通成分分析、形態(tài)學(xué)運(yùn)算、尺寸濾波后形成前景區(qū)域。

3.2 前景多邊形逼近表示

4 基于地平面的多攝像機(jī)前景融合

4.1 多邊形映射

(12)

(13)

如果將攝像機(jī)用一個(gè)光源替代，每一個(gè)目標(biāo)在頂視圖的前景映射區(qū)域就可看作是在光源作用下物體在地面上的影子，即由地平面與物體輪廓投影的相交區(qū)域。圖1為基于地平面的單攝像機(jī)單應(yīng)投影示意圖。類似的方法可以在文獻(xiàn)[24-26]中找到。

圖1 基于地平面的單攝像機(jī)單應(yīng)投影示意圖Fig.1 Schematic diagram of the homography projection according to the ground plane

4.2 多攝像機(jī)融合

當(dāng)采用多個(gè)攝像機(jī)時(shí)，多個(gè)攝像機(jī)分別檢測(cè)出來(lái)的前景圖在投射至頂視圖后進(jìn)行疊加就可得到多攝像機(jī)的融合圖。由不同攝像機(jī)視角產(chǎn)生的前景投影區(qū)域可能會(huì)在頂視圖中相交，相交區(qū)域在融合圖中得到增強(qiáng)：

(14)

式中，c是攝像機(jī)的標(biāo)號(hào),c=a,b。

當(dāng)頂視圖中的前景投影區(qū)域來(lái)是來(lái)源于不同視角的同一運(yùn)動(dòng)物體時(shí)，它們的相交區(qū)域顯示了該運(yùn)動(dòng)物體在頂視圖中接觸地面的位置。圖2是一個(gè)行人的雙攝像機(jī)融合和相交的示意圖，其中兩個(gè)前景投影區(qū)域相交于的黑色區(qū)域是目標(biāo)站立在地面上的位置，但其形狀、尺寸和目標(biāo)的橫截面并不完全相同。

圖2 基于地平面的雙攝像機(jī)單應(yīng)投影融合和相交的示意圖Fig.2 Schematic diagram of the overlaid foreground projections and the intersection region

4.3 多平面融合

為了提高多視角融合目標(biāo)檢測(cè)的可靠性，可采用與地面平行的一系列不同高度的虛擬平面作為單應(yīng)平面。如采用h作為平面下標(biāo)，基于多平面的多視角前景融合頂視圖可以表示為

(15)

在獲取各目標(biāo)在頂視圖中的位置時(shí)，可采用一系列根據(jù)經(jīng)驗(yàn)設(shè)定的閾值進(jìn)行判斷。如果融合頂視圖Ft中的某一個(gè)像素值大于給定的閾值Thi，該像素即為前景像素。最后經(jīng)過(guò)連通區(qū)域分析、形態(tài)學(xué)處理和尺寸濾波，就可將檢測(cè)出來(lái)的前景像素轉(zhuǎn)換成代表目標(biāo)位置的前景區(qū)域，完成頂視圖中的目標(biāo)檢測(cè)。

(16)

5 實(shí)驗(yàn)結(jié)果及分析

本文采用了兩組視頻序列對(duì)所提出的多視角實(shí)時(shí)運(yùn)動(dòng)目標(biāo)檢測(cè)算法進(jìn)行測(cè)試，并將基于多邊形頂點(diǎn)的前景映射法與基于圖像、輪廓、矩形框的前景映射法進(jìn)行比較，對(duì)算法的有效性和可靠性進(jìn)行評(píng)估。實(shí)驗(yàn)中同樣對(duì)算法的運(yùn)行時(shí)間進(jìn)行了測(cè)試，以評(píng)估其實(shí)時(shí)性。序列一是在校園中采集的，兩個(gè)攝像機(jī)離運(yùn)動(dòng)目標(biāo)較近，所以檢測(cè)出的前景區(qū)域的尺寸較大。序列二是標(biāo)準(zhǔn)序列，攝像機(jī)被架設(shè)在路邊的建筑物上，所以檢測(cè)出的前景區(qū)域較小。

5.1 校園序列

校園序列中，每個(gè)視角視頻采用的分辨率為像素，幀率為15幀/s。視頻中共有2 790幀，由于前660幀不存在目標(biāo)或只存在單目標(biāo)，實(shí)驗(yàn)只對(duì)后2 155幀每隔15幀處理一次。頂視圖的分辨率為840×1 000像素。

圖3所示為前景區(qū)域提取和前景區(qū)域的多邊形近似結(jié)果，圖3(a)和3(b)為原圖及所提取的前景圖。實(shí)驗(yàn)測(cè)試了不同的近似距離ε來(lái)控制頂點(diǎn)的個(gè)數(shù)，圖3(c)和3(d)中采用的ε分別為0和2個(gè)像素。其中綠色的線條為前景區(qū)域的輪廓，紅色的點(diǎn)為多邊形近似后的頂點(diǎn)。

圖3 前景區(qū)域檢測(cè)及多邊形近似結(jié)果Fig.3 The foreground polygon approximation results

設(shè)第k幀的原始前景圖像為Ftemp,k，經(jīng)過(guò)近似后重構(gòu)的前景圖像為Fpoly,k，

(17)

(18)

式中，#()表示計(jì)算非0像素的個(gè)數(shù)，c表示補(bǔ)集。

表1所示為采用不同的ε進(jìn)行前景多邊形近似，與前景輪廓(高度近似)和矩形框(非常粗略近似)的時(shí)間和準(zhǔn)確度比較的結(jié)果。如不采用多邊形近似，平均每個(gè)前景區(qū)域的輪廓需要用217.84個(gè)像素表示，而矩形框只需要4個(gè)像素。采用多邊形近似用頂點(diǎn)表示前景區(qū)域，隨著ε的取值由1增加到10，所需的頂點(diǎn)像素個(gè)數(shù)由62.73減小到8.87個(gè)，但所需的處理時(shí)間并沒(méi)有明顯的降低。多邊形近似可準(zhǔn)確地重建檢測(cè)出的前景區(qū)域，準(zhǔn)確度隨著ε值的減小而提高。采用矩形框法會(huì)造成非常多的錯(cuò)誤映射像素。

表1 前景多邊形近似、輪廓、矩形框近似性能比較

經(jīng)過(guò)多邊形近似后，多邊形的頂點(diǎn)被投射至頂視圖，并根據(jù)投射的頂點(diǎn)重構(gòu)前景投影區(qū)域。圖4(a)和4(b)分為圖3(b)和3(d)在頂視圖中的映射結(jié)果。采用三種方法獲取的像素映射后重構(gòu)出的前景映射區(qū)域的準(zhǔn)確率比較結(jié)果如表2所示。多邊形近似法可以可靠地重建前景映射區(qū)域，當(dāng)ε小于2個(gè)像素時(shí)，重建結(jié)果與輪廓法的準(zhǔn)確性相似，更能調(diào)節(jié)ε取值以靈活選取所需計(jì)算和傳輸?shù)捻旤c(diǎn)個(gè)數(shù)。

圖4 前景區(qū)域圖像級(jí)映射和多邊形近似映射結(jié)果比較Fig.4 Foreground projection results

表2 前景多邊形近似、輪廓、矩形框映射準(zhǔn)確率比較

Table2Thecomparisonresultoftheaccuracyforthepolygonprojectionwithdifferentwithdifferentdistance,

thecontourmethodandtheboundingboxmethod

項(xiàng)目輪廓多邊形近似距離ε(像素)1 02 05 010 0矩形框RFN/%3 093 023 264 966 160 01RFP/%2 983 073 264 519 6978 72

當(dāng)采用多個(gè)攝像機(jī)時(shí)，頂視圖中的前景映射區(qū)域疊加后即可得到頂視融合圖，所采用的單應(yīng)平面可以是地面或與地面平行的一系列虛擬平面。圖5為兩個(gè)視角下，對(duì)第1 275幀根據(jù)不同高度平面進(jìn)行前景映射至頂視圖疊加的結(jié)果。所采用平面的高度分別為：0m(地平面)，0.75m和1.5m。

圖5 根據(jù)不同高度平面映射疊加的結(jié)果Fig.5 Fusion of the foreground projections according to the homographies for a set of parallel planes at different heights

圖像法和多邊形近似法的時(shí)間評(píng)估主要分三部分：① 兩個(gè)攝像機(jī)的前景檢測(cè)；② 兩個(gè)攝像機(jī)的前景投影；③ 頂視圖中前景映射融合。本文主要是對(duì)第二部分進(jìn)行了改進(jìn)，兩種算法的時(shí)間比較結(jié)果如表3所示。相比于圖像級(jí)映射所需的71.56s處理142幀，采用多邊形近似法后映射只需要1.03s，其計(jì)算速度是圖像級(jí)的69.47倍。

表3 圖像法與多邊形近似法投影時(shí)間比較

根據(jù)公式(16)，可計(jì)算疊加區(qū)域中的相交區(qū)域。圖6 所示是根據(jù)多高度平面映射疊加的結(jié)果(圖6(a))，及取不同閾值時(shí)的相交區(qū)域結(jié)果。選取不同大小的閾值會(huì)對(duì)影響相交區(qū)域的結(jié)果，圖6(b)和6(c)的閾值分別取255和210。閾值Thi可根據(jù)經(jīng)驗(yàn)選取，或根據(jù)所采用單應(yīng)平面的層數(shù)D自動(dòng)選?。?/p>

Thi=255D-1(D-1)

(19)

圖6 根據(jù)多高度平面映射疊加及使用不同閾值時(shí)的相交區(qū)域結(jié)果Fig.6 Overlaid foreground projections from two camera views and intersection regions identified with differnet thresholds Thi

圖7 采用序列2的多平面前景單應(yīng)映射融合運(yùn)動(dòng)目標(biāo)檢測(cè)結(jié)果Fig.7 Object detection by foreground fusion for multi-plane homographies using PETS’ 2001 datasets

5.2 PETS’2001序列

PETS’2001序列是由英國(guó)金斯頓大學(xué)公布的視頻監(jiān)控的一組標(biāo)準(zhǔn)序列，實(shí)驗(yàn)中攝像機(jī)視角和頂視圖分別選用了384×288像素和500×500像素的分辨率。圖7為采用標(biāo)準(zhǔn)序列的兩個(gè)視角前景多層單應(yīng)的運(yùn)動(dòng)物體檢測(cè)過(guò)程，其中，(a)(b)是前景輪廓， (c)(d)是前景區(qū)域，(e)是前景映射融合，(f)是頂視圖中的運(yùn)動(dòng)目標(biāo)檢測(cè)結(jié)果。由于攝像機(jī)架設(shè)得較遠(yuǎn)，圖像中運(yùn)動(dòng)物體的尺寸較小，實(shí)驗(yàn)中ε的取值變化為0.5～2像素。實(shí)驗(yàn)結(jié)果顯示漏報(bào)率由2.9%增加至4.4%，虛警率則由4.8%增加至5.4%，同樣可以精準(zhǔn)地重構(gòu)映射的前景區(qū)域。處理一幀算法所需運(yùn)行時(shí)間為8.5ms，相比基于圖像級(jí)映射所需的108.5ms，提高12.8倍。

綜合以上兩個(gè)測(cè)試數(shù)據(jù)集的實(shí)驗(yàn)結(jié)果，本文提出的算法在運(yùn)動(dòng)目標(biāo)尺寸較大或較小的情況下，均能可靠地重構(gòu)出映射的前景區(qū)域，完成基于多攝像機(jī)多平面單應(yīng)前景映射融合的目標(biāo)實(shí)時(shí)檢測(cè)。隨著參考視角分辨率的增高，相對(duì)于傳統(tǒng)的圖像級(jí)單應(yīng)變化，其運(yùn)算速度的提高會(huì)更加顯著。

6 總 結(jié)

本文提出了一種實(shí)時(shí)的多攝像機(jī)目標(biāo)檢測(cè)算法。為了解決攝像機(jī)信息高度融合時(shí)，傳統(tǒng)的圖像級(jí)單應(yīng)變換對(duì)像素逐一映射所帶來(lái)的速度慢的缺點(diǎn)，本文采用了基于前景輪廓多邊形逼近，只對(duì)多邊形的頂點(diǎn)進(jìn)行單應(yīng)映射，并在參考視角中根據(jù)映射頂點(diǎn)進(jìn)行前景重構(gòu)。實(shí)驗(yàn)表明，重構(gòu)的前景映射圖不僅可以有效地逼近圖像級(jí)單應(yīng)變換的前景映射圖，而且可以有效地降低運(yùn)算時(shí)間，使基于多攝像機(jī)多平面單應(yīng)前景映射融合的目標(biāo)檢測(cè)具有實(shí)時(shí)性。與基于輪廓和矩形框的重構(gòu)方法相比，本方法具有更強(qiáng)的可控性或較低的錯(cuò)誤映射像素。

[1]WANGX.Intelligentmulti-cameravideosurveillance:Areview[J].PatternRecognitionLetters, 2013, 34(1): 3-19.

[2] 黃凱奇, 陳曉棠, 康運(yùn)鋒, 等. 智能視頻監(jiān)控技術(shù)綜述[J]. 計(jì)算機(jī)學(xué)報(bào), 2015, 38(6): 1093-1118.

[3] 李熙瑩，羅長(zhǎng)政，王鎮(zhèn)波，等. 高飽和交叉口背景提取與更新算法[J]. 中山大學(xué)學(xué)報(bào)(自然科學(xué)版), 2012, 51(3): 23-28.

[4]DOCKSTADERSL,TEKALPAM.Multiplecameratrackingofinteractingandoccludedhumanmotion[J].ProceedingsoftheIEEE, 2001, 89(10): 1441-1455.

[5]MITTALA,DAVISLS.M2tracker:Amulti-viewapproachtosegmentingandtrackingpeopleinaclutteredscene[J].InternationalJournalofComputerVision, 2003, 51(3): 189-203.

[6] 夏候凱順, 嚴(yán)娟，葉小朋，等. 基于Kalman濾波的無(wú)線傳感器網(wǎng)絡(luò)多目標(biāo)跟蹤[J]. 中山大學(xué)學(xué)報(bào)(自然科學(xué)版), 2014, 53(2): 18-22.

[7]BLACKJ,ELLIST,ROSINP.Multiviewimagesurveillanceandtracking[C]∥ProceedingsoftheIEEEWorkshoponMotionandVideoComputing, 2002: 169-174.

[8]HUW,HUM,ZHOUX,etal.Principalaxis-basedcorrespondencebetweenmultiplecamerasforpeopletracking[J].IEEETransactionsonPatternAnalysisandMachineIntelligence, 2006, 28(4): 663-671.

[9] 林青, 范晶晶, 胡波. 多攝像頭目標(biāo)跟蹤動(dòng)態(tài)單應(yīng)投影方法研究[J]. 復(fù)旦大學(xué)學(xué)報(bào), 2015, 50(4): 501-510.

[10] 高翔, 朱婷婷, 劉洋. 多攝像頭系統(tǒng)的目標(biāo)檢測(cè)與跟蹤方法研究[J]. 計(jì)算機(jī)技術(shù)與發(fā)展, 2015, 25(7): 221-225.

[11]KHANS,SHAHM.Consistentlabelingoftrackedobjectsinmultiplecameraswithoverlappingfieldsofview[J].IEEETransactionsonPatternAnalysisandMachineIntelligence, 2003, 25(10): 1355-1360.

[12]KIMK,DAVISLS.Multi-cameratrackingandsegmentationofoccludedpeopleongroundplaneusingsearch-guidedparticlefiltering[M]∥ProceedingsoftheECCV.BerlinHeidelberg:Springer, 2006: 98-109.

[13]ARSID,HRISTOVE,LEHMENTN,etal.Applyingmultilayerhomographyformulticamerapersontracking[C]∥ProceedingsoftheSecondACM/IEEEInternationalConferenceonDistributedSmartCameras, 2008: 1-9.

[14]ALAHIA,JACQUESL,BOURSIERY,etal.Sparsitydrivenpeoplelocalizationwithaheterogeneousnetworkofcameras[J].JournalofMathematicalImagingandVision, 2011, 41(1/2): 39-58.

[15]FLEURETF,BERCLAZJ,LENGAGNER,etal.Multicamerapeopletrackingwithaprobabilisticoccupancymap[J].IEEETransactionsonPatternAnalysisandMachineIntelligence, 2008, 30(2): 267-282.

[16]KHANSM,SHAHM.Trackingmultipleoccludingpeoplebylocalizingonmultiplesceneplanes[J].IEEETransactionsonPatternAnalysisandMachineIntelligence, 2009, 31(3): 505-519.

[17] 姜明新, 王洪玉, 劉曉凱. 基于多相機(jī)的多目標(biāo)跟蹤算法 [J]. 自動(dòng)化學(xué)報(bào), 2012, 38(4): 531-539.

[18]ESHELR,MOSESY.Trackinginadensecrowdusingmultiplecameras[J].InternationalJournalofComputerVision, 2010, 88(1): 129-143.

[19]PENGP,TIANY,WANGY,etal.Robustmultiplecameraspedestriandetectionwithmulti-viewBayesiannetwork[J].PatternRecognition, 2015, 48(5): 1760-1772.

[20]CRIMINISIA.Single-viewmetrology[M]//AccurateVisualMetrologyfromSingleandMultipleUncalibratedImages.London:Springer, 2001: 69-105.

[21]STAUFFERC,GRIMSONWEL.Adaptivebackgroundmixturemodelsforreal-timetracking[C]∥ProceedingsoftheIEEEComputerSocietyConferenceonComputerVisionandPatternRecognition, 1999.

[22]SUZUKIS.Topologicalstructuralanalysisofdigitizedbinaryimagesbyborderfollowing[J].ComputerVision,Graphics,andImageProcessing, 1985, 30(1): 32-46

[23]DOUGLASDH,PEUCKERTK.Algorithmsforthereductionofthenumberofpointsrequiredtorepresentadigitizedlineoritscaricature[J].Cartographica:TheInternationalJournalforGeographicInformationandGeovisualization, 1973, 10(2): 112-122.

[24]RENJ,ORWELLJ,JONESG,etal.Trackingthesoccerballusingmultiplefixedcameras[J].ComputerVisionandImajeUnderstanding, 2009, 113(5):633-642.

[25]RENJ,ORWELLJ,JONESG,etal.Real-timemodelineof3-dsoccerballtrajectoriesfrommultiplefixedcameras[J].IEEE, 2008,18(3):350-362.

[26]RENJ,XUM,ORWELLJ,etal.Multi-cameravideosurveillanceforreal-timeanalysisandreconstructionofsoccergames[J].MachineVisionandApplications, 2010,21(6):855-863.

Real-time object detection with foreground fusion from multiple cameras using homography mapping of polygon vertices

RENJie1，XUMing2，ZHAOHuimin3

(1.College of Electronics and Information, Xi’an Polytechnic University, Xi’an 710048,China；2.Department of Electrical and Electronic Engineering, Xi’an Jiaotong Liverpool University,Suzhou 215123,China；3.School of Electronic and Information, Guangdong Polytechnic Normal University,Guangzhou 510665, China)

Multi-camera and multi-plane foreground fusion approach can relieve the effects of occlusion and improve the accuracy and robustness of moving object detection. The traditional homography mapping is an image-level transformation which projects each pixel in the binary foreground image into a reference view. To avoid perspective openings or holes which are generated during the mapping from the camera view to the top view, the number of the pixels in the homography mapping is decided by the resolution of the top view, which is usually higher than that of the camera view. The slow speed has dissuaded the foreground homography mapping from real-time applications. A foreground polygon approximation method is proposed. After the foreground regions are identified in a camera view, each foreground region is approximated by a polygon and only the vertices of the polygon are projected to the reference view through homography mapping. Then the projected foreground region, which is rebuilt in the reference view, is utilized in real-time moving object detection with multiple cameras. To evaluate the performance, the proposed polygon approximation method has been compared with the contour based method and the bounding-box based method. The experimental results have shown that the proposed algorithm can produce competitive results in comparison with those using foreground bitmap mapping. Considering the differences of moving objects’ size, the processing speed is about 12 and 69 times faster than the bitmap mapping method.

object detection ； homography ； multi-camera

10.13471/j.cnki.acta.snus.2016.04.006

2016-02-19

國(guó)家自然科學(xué)基金資助項(xiàng)目(60975082)；陜西省教育廳科研計(jì)劃項(xiàng)目(15JK1310)；廣東省自然科學(xué)基金資助項(xiàng)目(2015A030313672，2016A030311013); 廣東省教育廳省級(jí)重大資助項(xiàng)目(2014KZDXM060); 廣東省普通高校國(guó)際合作重大項(xiàng)目(2015KGJHZ021)

任劼(1984年生)，女；研究方向：機(jī)器視覺(jué)視頻監(jiān)控;E-mail:renjie_xpu@126.com

TP

A

0529-6579(2016)04-0030-09