多視角目標(biāo)檢測(cè)與跟蹤技術(shù)的研究與實(shí)現(xiàn)

瞿俊峰+++沈星辰+++倪進(jìn)園

摘 要：隨著計(jì)算機(jī)視覺(jué)的發(fā)展，運(yùn)動(dòng)目標(biāo)的檢測(cè)與跟蹤技術(shù)得到了充分的應(yīng)用，然而容易被遮擋的致命缺陷大大限制了這一技術(shù)的發(fā)展空間。采用多個(gè)相機(jī)進(jìn)行多視角觀察是解決這一問(wèn)題的有效方法。文章在已有的目標(biāo)檢測(cè)和跟蹤技術(shù)的基礎(chǔ)上加入了多個(gè)視角之間的航跡融合，將多個(gè)視角的坐標(biāo)投影到統(tǒng)一的坐標(biāo)系中，從而改善單一視角下目標(biāo)檢測(cè)與跟蹤技術(shù)的不足。

關(guān)鍵詞：目標(biāo)檢測(cè)；目標(biāo)跟蹤；多視角；航跡融合；歸一化矩陣

1 概述

隨著計(jì)算機(jī)視覺(jué)的發(fā)展，單視角目標(biāo)檢測(cè)跟蹤技術(shù)的應(yīng)用越來(lái)越廣泛。商場(chǎng)、車(chē)站、大樓等許多公共場(chǎng)合都采用了這一項(xiàng)技術(shù)。

目前常見(jiàn)的目標(biāo)檢測(cè)方法有幀差法、光流法、混合高斯模型和非參數(shù)模型法等。幀差法[1]對(duì)環(huán)境有很好的適應(yīng)性，差分圖像受光線變化影響小，檢測(cè)有效而穩(wěn)定，但是只能檢測(cè)相對(duì)運(yùn)動(dòng)的目標(biāo)，檢測(cè)出的目標(biāo)位置不精確，不能提取完整的運(yùn)動(dòng)目標(biāo)，較大程度依賴差分幀的選擇時(shí)機(jī)和目標(biāo)的運(yùn)動(dòng)速度，背景不能保證完全靜止，就會(huì)導(dǎo)致目標(biāo)提取的錯(cuò)誤。光流法[2]能夠在不知道場(chǎng)景的任何信息的情況下， 檢測(cè)出運(yùn)動(dòng)對(duì)象。但是大多數(shù)光流方法計(jì)算復(fù)雜，只能得到稀疏的光流場(chǎng)，不適于實(shí)時(shí)處理。混合高斯模型[3]比單高斯模型更精確，能夠較完整的提取目標(biāo)。但是參數(shù)更新的收斂速度慢，不能夠及時(shí)反映背景的變化；對(duì)全局亮度的變化比較敏感，有時(shí)會(huì)將整個(gè)視頻幀作為前景。需要事先假定背景分布模型及需要進(jìn)行模型參數(shù)估計(jì)和優(yōu)化，也不適用于密度分布未知的計(jì)算機(jī)視覺(jué)等應(yīng)用系統(tǒng)。非參數(shù)模型[4]能夠較敏感地檢測(cè)出運(yùn)動(dòng)物體，較完整地分割出運(yùn)動(dòng)對(duì)象。但是要建立非參數(shù)模型需要先存入N幀圖像用來(lái)判斷像素點(diǎn)和進(jìn)行背景更新，制約檢測(cè)速度，較難滿足實(shí)時(shí)性。

常見(jiàn)的目標(biāo)跟蹤方法有特征匹配法、卡爾曼濾波法和光流法等。特征匹配法[5]對(duì)目標(biāo)的視角、光線及運(yùn)動(dòng)狀態(tài)的變化等不利因素有較好的適應(yīng)性，對(duì)于剛性目標(biāo)的跟蹤具有很好的實(shí)時(shí)性和跟蹤精度。但是跟蹤準(zhǔn)確性對(duì)于計(jì)算量有較大需求?？柭鼮V波法[6]計(jì)算簡(jiǎn)單，跟蹤準(zhǔn)確，但是不能很好解決相互遮擋的問(wèn)題，在運(yùn)動(dòng)目標(biāo)之前相互交叉之后又繼續(xù)運(yùn)動(dòng)的情況下，會(huì)出現(xiàn)將兩個(gè)目標(biāo)視為一個(gè)目標(biāo)，交叉之后分開(kāi)時(shí)，又視為兩個(gè)新的目標(biāo)。光流法[7]的優(yōu)點(diǎn)在于不需要目標(biāo)的先驗(yàn)知識(shí)，計(jì)算比較精確。但是，它對(duì)照度變化和噪聲比較敏感、計(jì)算量也比較大。而且由于實(shí)際景物中的速度場(chǎng)不一定總是與圖像中的直觀速度場(chǎng)有唯一對(duì)應(yīng)的關(guān)系，偏導(dǎo)數(shù)的計(jì)算又會(huì)加重噪聲水平，使得基于光流的方法在實(shí)際應(yīng)用中常常不穩(wěn)定。

多視角目標(biāo)檢測(cè)跟蹤技術(shù)，通過(guò)多個(gè)航跡之間的關(guān)聯(lián)融合，解決單一視角存在的一些問(wèn)題。本文根據(jù)國(guó)內(nèi)外的研究現(xiàn)狀，分析其優(yōu)缺點(diǎn)，以單視角運(yùn)動(dòng)目標(biāo)檢測(cè)、單視角目標(biāo)跟蹤和多視角運(yùn)動(dòng)目標(biāo)融合為研究?jī)?nèi)容，建立一種新的基于多視角探測(cè)的運(yùn)動(dòng)目標(biāo)檢測(cè)跟蹤系統(tǒng)。通過(guò)對(duì)該項(xiàng)目的研究，可以有效的提高多視角目標(biāo)檢測(cè)跟蹤系統(tǒng)的檢測(cè)率和跟蹤精度，使其具有更廣泛的應(yīng)用。

2 目標(biāo)檢測(cè)

早期的運(yùn)動(dòng)目標(biāo)檢測(cè)大多采用幀差法。這種方法檢測(cè)速度快，計(jì)算量小，但是會(huì)造成檢測(cè)結(jié)果不完整，不能完整提取運(yùn)動(dòng)目標(biāo)的信息，給后續(xù)的處理帶來(lái)了很大的麻煩。因此，我們選擇了混合高斯模型進(jìn)行運(yùn)動(dòng)目標(biāo)檢測(cè)。

背景像素值在一段時(shí)間內(nèi)分布為多峰，利用單個(gè)高斯模型的集合來(lái)描述像素值在一段時(shí)間的變化狀態(tài)，就是混合高斯。對(duì)每一個(gè)像素點(diǎn)，定義K個(gè)高斯分布來(lái)表示其狀態(tài)，K值體現(xiàn)了像素值多峰分布的峰的個(gè)數(shù)，K值一般取在3-5之間，檢測(cè)過(guò)程中只要像素點(diǎn)符合K個(gè)高斯分布的一個(gè)，就認(rèn)為該像素點(diǎn)為具有背景特征的像素點(diǎn)，反之，該像素點(diǎn)被判為目標(biāo)。

將一副圖像分成RGB三個(gè)通道，各個(gè)通道將各色的灰度值作為每個(gè)像素點(diǎn)的值，構(gòu)成相應(yīng)的三個(gè)灰度矩陣。

然后從第n+1幀開(kāi)始，逐幀進(jìn)行背景匹配和背景、高斯分布更新。更新過(guò)程如下：對(duì)于每一幀，取一個(gè)像素點(diǎn)當(dāng)前的灰度值與已有的5個(gè)高斯分布函數(shù)進(jìn)行比較：如果存在匹配，則返回該高斯分布的序號(hào)k（1，2，3，4，5）；如果不匹配，則繼續(xù)評(píng)判后續(xù)函數(shù)是否匹配，如果均不匹配，則對(duì)已有高斯函數(shù)進(jìn)行替換，將原有的高斯函數(shù)中權(quán)重最小的高斯函數(shù)替換為新的高斯函數(shù)，將新的高斯函數(shù)的權(quán)重w設(shè)為被替換高斯函數(shù)的現(xiàn)有權(quán)值，初始化新的高斯分布均值mean=該像素點(diǎn)灰度值，并且設(shè)定方差為3。對(duì)于存在匹配的高斯分布k，我們對(duì)其均值、方差、權(quán)重進(jìn)行修正，總體而言，對(duì)于存在匹配的高斯分布k加大其權(quán)重，對(duì)于不匹配的高斯分布k減小其權(quán)重。更新后的權(quán)重w=（1-a）×w+a，其中a為學(xué)習(xí)因子，在這里設(shè)定學(xué)習(xí)因子a=0.5。更新后的均值mean=（1+a）×mean+a×image_source，其中image_source為當(dāng)前像素的灰度值。更新后方差為std2=（1-a）×std2+a×（image_source-mean）2。

最后，在一幀圖像處理完后，對(duì)各高斯分布進(jìn)行歸一化，找出權(quán)重最大的高斯分布并以此函數(shù)對(duì)應(yīng)位置的值作為當(dāng)前幀各像素點(diǎn)的背景值，從而提取出當(dāng)前幀的背景。

3 目標(biāo)跟蹤

為了實(shí)現(xiàn)快速計(jì)算以實(shí)現(xiàn)實(shí)時(shí)處理，同時(shí)考慮到通過(guò)多視角航跡融合可以在一定程度上消除目標(biāo)相互遮擋帶來(lái)的缺陷，這里采用卡爾曼濾波實(shí)現(xiàn)目標(biāo)跟蹤。

卡爾曼濾波器的基本思想是：如果滿足以下三個(gè)假設(shè)：

（1）被建模的系統(tǒng)是線性的，即k時(shí)刻的系統(tǒng)狀態(tài)可以用某個(gè)矩陣與k-1個(gè)時(shí)刻的系統(tǒng)狀態(tài)的乘積表示；（2）影響測(cè)量的噪聲屬于白噪聲；（3）噪聲本質(zhì)上是高斯分布的。

且給出了該系統(tǒng)的歷史測(cè)量值，那么可以建出一個(gè)將這些早期觀測(cè)值的后驗(yàn)概率最大化的系統(tǒng)狀態(tài)模型。假設(shè)的后兩條說(shuō)明噪聲與時(shí)間無(wú)關(guān)，同時(shí)通過(guò)均值和協(xié)方差就可以準(zhǔn)確地建立起幅值模型。將前期測(cè)量值的后驗(yàn)概率最大化是指每次獲得測(cè)量值之后的模型都是在考慮早期的模型和新測(cè)量值之間的不確定性基礎(chǔ)上建立的，并且具有最高的正確概率。

其中，R為測(cè)量噪聲協(xié)方差。

所以，后驗(yàn)誤差協(xié)方差為

卡爾曼濾波器用反饋控制的方法估計(jì)過(guò)程狀態(tài)：濾波器估計(jì)k時(shí)刻的狀態(tài)，然后用含有噪聲的測(cè)量變量獲得反饋。工作過(guò)程可分為兩步，第一步為預(yù)測(cè)，用已獲得的信息修正模型，然后用修正以后的模型計(jì)算目標(biāo)下一時(shí)刻最有可能出現(xiàn)的位置；第二步為校正，在獲得了k+1時(shí)刻的測(cè)量值后，將測(cè)量值與k時(shí)刻模型的預(yù)測(cè)值進(jìn)行調(diào)整。

4 航跡融合

協(xié)方差矩陣算法計(jì)算簡(jiǎn)便，精確度高，因此非常適合應(yīng)用在這種場(chǎng)合，下面對(duì)這種方法進(jìn)行詳細(xì)的論述。

首先對(duì)于三臺(tái)相機(jī)，各取5個(gè)對(duì)應(yīng)點(diǎn)，進(jìn)行坐標(biāo)變換。設(shè)三個(gè)視場(chǎng)內(nèi)坐標(biāo)分別為（x1，y1），（x2，y2）和（x3，y3）。建立一個(gè)矩陣H。然后將坐標(biāo)歸一化，即

各組數(shù)據(jù)歸一化之后計(jì)算協(xié)方差conv（x1，y1）、conv（x1，x1）、conv（y1，y1）；conv（x2，y2）、conv（x2，x2）、conv（y2，y2）；conv（x3，y3）、conv（x3，x3）、conv（y3，y3），建立協(xié)方差矩陣

于是，建立坐標(biāo)轉(zhuǎn)換矩陣P

接下來(lái)，就可以根據(jù)三個(gè)視場(chǎng)內(nèi)的坐標(biāo)將目標(biāo)投影到融合坐標(biāo)系中

5 結(jié)束語(yǔ)

該項(xiàng)目基本實(shí)現(xiàn)了當(dāng)初的預(yù)期目標(biāo)。首先對(duì)于目標(biāo)檢測(cè)和目標(biāo)跟蹤，該項(xiàng)目都成功的實(shí)現(xiàn)并且對(duì)于非高速目標(biāo)都可以實(shí)現(xiàn)檢測(cè)和跟蹤。而且，引入了航跡關(guān)聯(lián)之后，對(duì)于目標(biāo)檢測(cè)和跟蹤的效果都有明顯提升，而單一視角下目標(biāo)易被遮擋的問(wèn)題也得到了一定程度上的解決。

程序運(yùn)行后，如圖1所示，對(duì)于運(yùn)動(dòng)目標(biāo)，在每個(gè)視角內(nèi)都用黑色框框出，同時(shí)根據(jù)當(dāng)前狀態(tài)預(yù)測(cè)下一時(shí)刻運(yùn)動(dòng)狀態(tài)。

在圖2中，目標(biāo)發(fā)生遮擋，在每個(gè)單一視角中，可以發(fā)現(xiàn)兩個(gè)目標(biāo)被判定為一個(gè)，但是在融合坐標(biāo)系中，還是可以觀察到單獨(dú)的目標(biāo)（車(chē)）在移動(dòng)。

參考文獻(xiàn)

[1]高凱亮，覃團(tuán)發(fā)，王逸之，等.一種基于幀差法與背景減法的運(yùn)動(dòng)目標(biāo)檢測(cè)新方法[J].電訊技術(shù)，2011（10）：86-91.DOI：10.3969/j.issn.1001-893x.2011.10.018.

[2]王曉衛(wèi)，寧固.一種改進(jìn)的基于光流的運(yùn)動(dòng)目標(biāo)的檢測(cè)算法[J].武漢大學(xué)學(xué)報(bào)：信息科學(xué)版，2003（3）：351-353.

[3]華媛蕾，劉萬(wàn)軍.改進(jìn)混合高斯模型的運(yùn)動(dòng)目標(biāo)檢測(cè)算法[J].計(jì)算機(jī)應(yīng)用，2014，34（2）：580-584.

[4]毛燕芬，施鵬飛.一種用于運(yùn)動(dòng)目標(biāo)檢測(cè)的多模態(tài)非參數(shù)背景模型[J].上海交通大學(xué)學(xué)報(bào)，2005.

[5]奚慧婷.剛性運(yùn)動(dòng)目標(biāo)的跟蹤算法研究[D].華東師范大學(xué)，2008.DOI：10.7666/d.y1371587.

[6]黃超群.基于混合高斯模型和Kalman濾波器的運(yùn)動(dòng)目標(biāo)檢測(cè)與跟蹤[D].云南大學(xué)，2010.

[7]裴巧娜.基于光流法的運(yùn)動(dòng)目標(biāo)檢測(cè)與跟蹤技術(shù)[D].北方工業(yè)大學(xué)，2009.