基于局部背景特征點(diǎn)的目標(biāo)定位和跟蹤

張鐵，馬瓊雄

?

基于局部背景特征點(diǎn)的目標(biāo)定位和跟蹤

張鐵，馬瓊雄

(華南理工大學(xué)機(jī)械與汽車工程學(xué)院，廣東廣州，510641)

針對(duì)存在多個(gè)與目標(biāo)相似的區(qū)域以及攝像頭經(jīng)常運(yùn)動(dòng)的跟蹤問題，提出一種基于局部背景特征點(diǎn)的目標(biāo)定位和跟蹤方法。首先，根據(jù)相鄰匹配的局部背景特征點(diǎn)與目標(biāo)的位置關(guān)系對(duì)目標(biāo)進(jìn)行定位，然后，以定位得到的預(yù)測(cè)位置作為搜索起點(diǎn)，結(jié)合粒子濾波和均值偏移方法獲取目標(biāo)的候選區(qū)域，最后，根據(jù)候選區(qū)域和預(yù)測(cè)位置的距離對(duì)候選區(qū)域的相似度加權(quán)，將加權(quán)后相似度最高的候選區(qū)域作為跟蹤結(jié)果。研究結(jié)果表明：該算法能夠避免周圍相似物體的干擾并準(zhǔn)確跟蹤目標(biāo)，具有較好的魯棒性和實(shí)時(shí)性。

粒子濾波；均值偏移；局部背景特征點(diǎn)；目標(biāo)定位；目標(biāo)跟蹤

粒子濾波、均值偏移以及他們相結(jié)合的方法已經(jīng)普遍應(yīng)用到視覺跟蹤領(lǐng)域。粒子濾波是從目標(biāo)狀態(tài)的后驗(yàn)概率中抽取隨機(jī)狀態(tài)粒子，并通過觀測(cè)目標(biāo)與模板的相似度修正各粒子權(quán)重，最終聯(lián)合各粒子來表示目標(biāo)狀態(tài)分布，在處理非線性、非高斯系統(tǒng)的狀態(tài)和參數(shù)估計(jì)問題方面具有獨(dú)到的優(yōu)勢(shì)[1?2]。均值偏移通過非參數(shù)估計(jì)方法計(jì)算跟蹤目標(biāo)的概率密度，并沿著該密度函數(shù)梯度方向快速迭代收斂至其峰值，計(jì)算簡(jiǎn)單，具有很好的實(shí)時(shí)性。但是均值偏移方法只能尋找局部最大值而不是全局最大值，如果2幀圖像之間沒有足夠的重疊部分都會(huì)導(dǎo)致丟失目標(biāo)[2]?；诹Ｗ訛V波跟蹤方法的關(guān)鍵在于以使粒子有效地分布于目標(biāo)分布峰值所在的區(qū)域。為了達(dá)到更好的跟蹤效果，許多學(xué)者從各個(gè)方面進(jìn)行了研究。如把均值偏移算法引入粒子濾波框架中使粒子聚集到后驗(yàn)峰值附近[1, 3]，并結(jié)合多特征融合[4?5]、核直方圖[1?2]、背景加權(quán)[6]等方法減少背景干擾來提高目標(biāo)特征的描述能力。移動(dòng)機(jī)器人在交互過程中攝像頭會(huì)發(fā)生轉(zhuǎn)動(dòng)和移動(dòng)，即使目標(biāo)靜止不動(dòng)，目標(biāo)在相鄰時(shí)刻的2幀圖像中的位置可能變化很大，并且由于人體的表觀特征(如頭部、軀干等)比較相似，移動(dòng)機(jī)器人在多人環(huán)境下跟蹤特定的人容易受到周圍人的影響。因此，不能以上幀的目標(biāo)位置作為起始位置搜索局部最優(yōu)值，需要在搜索前對(duì)目標(biāo)進(jìn)行全局定位才能夠提高粒子濾波和均值偏移等方法的跟蹤效果。虞旦等[7]使用卡爾曼濾波補(bǔ)償攝像頭運(yùn)動(dòng)造成目標(biāo)在像平面的偏移，并結(jié)合均值偏移實(shí)現(xiàn)對(duì)人體的跟蹤，但是在建模時(shí)需要將機(jī)器人的運(yùn)動(dòng)一起考慮進(jìn)去，比較復(fù)雜。JUNG等[8]通過匹配特征點(diǎn)，求出相鄰時(shí)刻2幅圖像的仿射變化矩陣，補(bǔ)償攝像頭自身運(yùn)動(dòng)造成的目標(biāo)在圖像上的偏移，然后使用粒子濾波跟蹤運(yùn)動(dòng)目標(biāo)。張笑微等[3]先使用灰度圖像模板獲取目標(biāo)在當(dāng)前幀的大致位置之后，以該位置為中心，均勻選取4個(gè)粒子進(jìn)行均值偏移，使每個(gè)粒子通過收斂到局部的極值點(diǎn)，然后通過粒子加權(quán)的方法得到最終目標(biāo)位置。江曉蓮等[9]將視覺顯著性和Wang?Landau蒙特卡羅采樣方法結(jié)合起來，提高全局采樣的效率。近幾年在線學(xué)習(xí)和基于上下文的跟蹤方法也逐漸發(fā)展起來。CERMAN等[10]提出的“Sputnik Tracker”通過學(xué)習(xí)能夠識(shí)別與目標(biāo)物體黏著運(yùn)動(dòng)的區(qū)域，通過這些區(qū)域提供目標(biāo)的位置信息，克服遮擋以及外觀突變等問題；YANG等[11]利用在一個(gè)較短的時(shí)間段內(nèi)和目標(biāo)保持一致的運(yùn)動(dòng)關(guān)系輔助物體(auxiliary objects)提供目標(biāo)的位置信息，從而提高跟蹤效果。GRABNER等[12]提出了支持者(supporters)的概念，從圖像中抽取出在物體表面并且和目標(biāo)的運(yùn)動(dòng)有較高相關(guān)性的特征點(diǎn)，通過這些局部特征來投票確定目標(biāo)的位置。DINH等[13]首先尋找所有和目標(biāo)相似的區(qū)域(distracters)，然后在目標(biāo)周圍尋找有用的信息(supporters)避免錯(cuò)誤跟蹤到相似區(qū)域。文獻(xiàn)[10?13]用特征點(diǎn)計(jì)算目標(biāo)位置，要求這些特征點(diǎn)在一定時(shí)間周期內(nèi)和目標(biāo)具有運(yùn)動(dòng)相關(guān)性，需要記錄1個(gè)時(shí)間段內(nèi)特征點(diǎn)的信息并分析它們和目標(biāo)之間的運(yùn)動(dòng)關(guān)系來確定是否還有效，計(jì)算量相對(duì)比較大，并且在1個(gè)時(shí)間段內(nèi)和目標(biāo)保持一致運(yùn)動(dòng)關(guān)系的特征點(diǎn)比較難找。本文作者將圖像中和所有和目標(biāo)相似的區(qū)域(即文獻(xiàn)[13]中的Distracters)定義為候選區(qū)域。針對(duì)攝像頭移動(dòng)導(dǎo)致目標(biāo)在相鄰2幀之間的位置變化較大以及存在多個(gè)候選區(qū)域的情況，首先利用目標(biāo)周圍特征點(diǎn)的信息預(yù)測(cè)目標(biāo)的位置，然后用改進(jìn)的融合均值偏移的粒子濾波方法來獲取候選區(qū)域，根據(jù)候選區(qū)域和預(yù)測(cè)目標(biāo)位置的距離計(jì)算每個(gè)候選區(qū)域的距離權(quán)重，將加權(quán)后相似度最高的候選區(qū)域作為跟蹤結(jié)果，提高現(xiàn)有跟蹤算法的跟蹤效果。

1 目標(biāo)定位算法

移動(dòng)機(jī)器人在運(yùn)動(dòng)過程中拍攝回來的圖像一般只有平移和縮放的變化，較少有旋轉(zhuǎn)的變化。每個(gè)特征點(diǎn)和它周圍的特征點(diǎn)存在著固定的相對(duì)位置關(guān)系，根據(jù)上一時(shí)刻圖像特征點(diǎn)和目標(biāo)的位置關(guān)系以及當(dāng)前圖像中匹配的特征點(diǎn)位置，可以估算當(dāng)前幀的目標(biāo)位置。

在特征點(diǎn)檢測(cè)、描述以及匹配方面前人已經(jīng)進(jìn)行了大量的研究[14?16]，本文作者在前人研究的基礎(chǔ)上，針對(duì)估算目標(biāo)位置的需求，在特征點(diǎn)的選擇、描述以及匹配方法上進(jìn)行相應(yīng)改進(jìn)。為描述方便，下文將上一時(shí)刻(?1時(shí)刻)的圖像稱為模板圖像，將當(dāng)前時(shí)刻(時(shí)刻)的圖像稱為觀測(cè)圖像。

1.1 獲取特征點(diǎn)

采用ROSTEN等[16]提出的快速特征點(diǎn)檢測(cè)方法來獲取原始特征點(diǎn)。為了減少計(jì)算量，只在模板圖像的目標(biāo)周圍檢測(cè)特征點(diǎn)。定義模板圖像的特征點(diǎn)檢測(cè)范圍m是以目標(biāo)中心為中心的矩形區(qū)域。為了保證能在觀測(cè)圖像中找到模板圖像的部分特征點(diǎn)，將檢測(cè)范圍以目標(biāo)中心為中心平均劃分為上、下、左、右4個(gè)矩形子區(qū)域，并保證每個(gè)子區(qū)域都有一定數(shù)量的特征點(diǎn)。特征點(diǎn)數(shù)量太少容易導(dǎo)致找不到匹配的特征點(diǎn)，數(shù)量太多又影響運(yùn)算速度，因此，檢測(cè)范圍m是根據(jù)上一時(shí)刻匹配的特征點(diǎn)數(shù)量f動(dòng)態(tài)變化的，當(dāng)匹配的特征點(diǎn)數(shù)量f少于閾值nf時(shí)，則增大m，否則減小m，其變化如下式所示：

式中：m()為時(shí)刻模板圖像的特征點(diǎn)檢測(cè)范圍；為時(shí)刻模板圖像的特征點(diǎn)檢測(cè)范圍。

相鄰特征點(diǎn)的特征相似而且對(duì)目標(biāo)位置預(yù)測(cè)的貢獻(xiàn)接近，因此，在1個(gè)范圍內(nèi)只選擇1個(gè)特征點(diǎn)作為代表。定義以1個(gè)特征點(diǎn)為中心，半徑為mp的圓形區(qū)域作為代表特征點(diǎn)范圍，在該范圍內(nèi)的其他特征點(diǎn)則忽略不用。

類似地，用相同的方法在觀測(cè)圖像中檢測(cè)代表特征點(diǎn)。不同之處在于：由于不確定目標(biāo)在觀測(cè)圖像中的位置，因此，需要檢測(cè)觀測(cè)圖像所有的特征點(diǎn)。設(shè)觀測(cè)圖像的代表特征點(diǎn)范圍半徑為-op。

1.2 特征點(diǎn)模型

為了描述簡(jiǎn)便，以下將“代表特征點(diǎn)”簡(jiǎn)稱為“特征點(diǎn)”。以特征點(diǎn)為中心，邊長(zhǎng)為f的正方形區(qū)域來描述特征點(diǎn)，借鑒文獻(xiàn)[1?2]的粒子濾波和均值偏移方法中通過特征集合描述目標(biāo)模型和候選目標(biāo)模型的方法，將在模板圖像中的特征點(diǎn)模型定義為目標(biāo)特征點(diǎn)，其模型定義為

類似地，將觀測(cè)圖像中需要和目標(biāo)特征點(diǎn)匹配的特征點(diǎn)定義為候選特征點(diǎn)，中心為的候選特征點(diǎn)模型定義為

在本文中，使用HSV顏色直方圖描述模型的特征，設(shè)表示候選特征點(diǎn)的中心，目標(biāo)特征點(diǎn)和候選特征點(diǎn)的相似度使用Bhattacharyya系數(shù)來衡量，可表示為，其計(jì)算方法為

1.3 匹配特征點(diǎn)

將模板圖像中的特征點(diǎn)及其匹配的觀測(cè)圖像特征點(diǎn)稱為1對(duì)“匹配特征點(diǎn)對(duì)”。1對(duì)匹配特征點(diǎn)對(duì)包括它在模板圖像中的特征點(diǎn)和觀測(cè)圖像中的特征點(diǎn)。模板圖像中第個(gè)特征點(diǎn)在圖像上的位置表示為，和分別是在模板圖像上的坐標(biāo)和坐標(biāo)；觀測(cè)圖像中第個(gè)特征點(diǎn)在圖像上的位置表示為，和分別是在觀測(cè)圖像上的坐標(biāo)和坐標(biāo)。按上節(jié)所述方法分別對(duì)每個(gè)特征點(diǎn)建立特征模型。設(shè)mmo是模板圖像的特征點(diǎn)與觀測(cè)圖像特征點(diǎn)匹配的相似度閾值，若2個(gè)特征點(diǎn)的相似度大于閾值mmo，則認(rèn)為2個(gè)特征點(diǎn)有可能匹配，可以將其作為候選的匹配特征點(diǎn)。由于有的特征點(diǎn)在觀測(cè)圖像中存在多個(gè)相似度超過閾值mmo的特征點(diǎn)，甚至真正匹配的特征點(diǎn)相似度低于其他特征點(diǎn)，因此，還需要篩選候選的匹配特征點(diǎn)。

每個(gè)特征點(diǎn)和它周圍的特征點(diǎn)存在著一定的相對(duì)位置關(guān)系，即若已經(jīng)準(zhǔn)確匹配出m對(duì)特征點(diǎn)，則對(duì)于某個(gè)特征點(diǎn)來說，它和這m對(duì)特征點(diǎn)的相對(duì)位置關(guān)系接近，可以利用特征點(diǎn)之間的相對(duì)角度和距離來實(shí)現(xiàn)特征點(diǎn)的匹配[14?15]。在本文提出的特征點(diǎn)匹配方法中，除了特征點(diǎn)的相似度要超過閾值mmo之外，還要求2個(gè)特征點(diǎn)在模板圖像中的相對(duì)位置和在觀測(cè)圖像中的相對(duì)位置相同。

用模板圖像和觀測(cè)圖像中2對(duì)特征點(diǎn)的相對(duì)位置誤差來描述他們之間的匹配程度，第對(duì)特征點(diǎn)f和第對(duì)特征點(diǎn)f的相對(duì)位置誤差定義為(f,f)，其計(jì)算方法為

1.4 估計(jì)目標(biāo)位置

圖1所示來自公共數(shù)據(jù)集CAVIAR[17]的ThreePastShop1cor視頻。圖1中未標(biāo)號(hào)的圓點(diǎn)為沒有匹配成功的特征點(diǎn)，圓點(diǎn)1~10是匹配的特征點(diǎn)。在模板圖像中，直線的交點(diǎn)處是目標(biāo)中心位置，直線代表了特征點(diǎn)和目標(biāo)的位置關(guān)系；在觀測(cè)圖像中，直線的交點(diǎn)位置是根據(jù)特征點(diǎn)位置關(guān)系計(jì)算出來的目標(biāo)位置。匹配的特征點(diǎn)包含靜態(tài)背景特征點(diǎn)和隨動(dòng)背景特征點(diǎn)2種。

1) 靜態(tài)背景特征點(diǎn)：這些特征點(diǎn)在圖像中的相對(duì)位置不會(huì)發(fā)生變化，一般分布在靜態(tài)背景中，如特征點(diǎn)1~7。利用靜態(tài)背景特征點(diǎn)和目標(biāo)的相對(duì)位置關(guān)系可以計(jì)算出模板圖像目標(biāo)位置在觀測(cè)圖像中的相應(yīng)位置。

2) 隨動(dòng)背景特征點(diǎn)：在模板圖像和觀測(cè)圖像中存在一些和目標(biāo)保持著一致運(yùn)動(dòng)關(guān)系的特征點(diǎn)，這些特征點(diǎn)可能分布在與目標(biāo)相連接的區(qū)域，如特征點(diǎn)10；也可能分布在和目標(biāo)相對(duì)獨(dú)立的運(yùn)動(dòng)物體上，如特征點(diǎn)8和9。利用隨動(dòng)背景特征點(diǎn)可以計(jì)算出觀測(cè)圖像中目標(biāo)所在的位置。

通過背景特征點(diǎn)估算目標(biāo)的位置使起始搜索位置接近目標(biāo)位置，粒子有效地分布于目標(biāo)分布峰值區(qū)域，可以提高粒子濾波、均值偏移等方法的跟蹤效率，而且只使用上1幀特征點(diǎn)和目標(biāo)信息，方法相對(duì)簡(jiǎn)單而且計(jì)算量小。

在通過式(5)獲得對(duì)匹配的特征點(diǎn)中，根據(jù)第對(duì)特征點(diǎn)估算出目標(biāo)位置表示為

在匹配的特征點(diǎn)集合中，對(duì)于位置誤差總和越小的特征點(diǎn)對(duì)，和它相對(duì)位置發(fā)生變化的特征點(diǎn)數(shù)量最少，用它來估計(jì)位置的可靠性更高，而相對(duì)位置誤差越大的特征點(diǎn)，和它相對(duì)位置發(fā)生變化的特征點(diǎn)越多，則用它來估算位置可靠性更高，因此，每個(gè)特征點(diǎn)對(duì)估算目標(biāo)位置的權(quán)重不同。特征點(diǎn)估算位置的權(quán)重用高斯函數(shù)表示為

2 跟蹤算法

2.1 改進(jìn)的融合均值偏移的粒子濾波方法

粒子濾波算法包括初始化粒子集、重要性采樣/序貫重要性采樣、更新粒子權(quán)值、重采樣以及狀態(tài)輸出等幾個(gè)基本部分。常見的融合均值偏移的粒子濾波方法是在粒子采樣過程中先將粒子均值偏移到局部極值點(diǎn)，然后再通過粒子加權(quán)的方法得到最終目標(biāo)位 置[1, 3]。本文在粒子采樣階段和狀態(tài)輸出階段進(jìn)行如下改進(jìn)。

粒子采樣階段的改進(jìn)說明如下：由于目標(biāo)周圍還存在其他的候選區(qū)域，因此，很難通過簡(jiǎn)單特征對(duì)目標(biāo)進(jìn)行粗定位，然后在定位位置周圍放置粒子[3]。用矩形框來描述粒子，表示粒子的中心位置，矩形框的寬度和高度分別表示粒子寬度和高度。粒子的模型和1.2節(jié)特征點(diǎn)的模型描述方式相同。設(shè)粒子在方向上的變化幅度為，粒子在方向上的變化幅度為，則粒子的分布范圍是寬為，高為的矩形區(qū)域。在粒子分布范圍內(nèi)均勻分布粒子，并且相鄰粒子中心在方向的距離等于粒子寬度，在方向上的距離等于粒子的高度，即保證在當(dāng)前幀目標(biāo)的中心位置在上一幀目標(biāo)所覆蓋的區(qū)域時(shí)，Bhattacharyya系數(shù)的局部最大值可以使均值偏移方法可靠地收斂到目標(biāo)位置[2]。

狀態(tài)輸出階段的改進(jìn)說明如下：當(dāng)目標(biāo)周圍存在其他的候選區(qū)域時(shí)，粒子經(jīng)過均值偏移之后，有可能收斂到各個(gè)局部峰值位置，不同方向粒子進(jìn)行加權(quán)運(yùn)算時(shí)會(huì)相互抵消，造成跟蹤精度下降。因此，在每個(gè)粒子通過均值偏移運(yùn)算收斂到局部極值點(diǎn)后，根據(jù)粒子的分布位置將這些粒子劃分為若干個(gè)代表候選區(qū)域的粒子子集。通過粒子子集中的粒子加權(quán)得到若干個(gè)候選區(qū)域之后，根據(jù)候選區(qū)域和起始位置的距離對(duì)候選區(qū)域的相似度進(jìn)行加權(quán)，距離起始位置越近的候選目標(biāo)權(quán)重越大，本文以高斯函數(shù)作為核函數(shù)對(duì)相似度進(jìn)行加權(quán)。最后選擇相似度最高的候選區(qū)域作為目標(biāo)。

將粒子劃分到相應(yīng)候選區(qū)域的粒子集的方法說明如下：從粒子集中選擇權(quán)值最高的粒子作為1個(gè)候選區(qū)域的中心，設(shè)以該中心為中心，半徑為目標(biāo)外接圓半徑1.2倍的圓作為粒子集的粒子分布范圍。將范圍內(nèi)的粒子都劃分在這個(gè)候選區(qū)域的粒子子集中，然后依次從未劃分到候選區(qū)域的粒子中選擇權(quán)值最高的粒子作為新的候選區(qū)域的中心，將在分布范圍內(nèi)的粒子劃分到這個(gè)候選區(qū)域的粒子子集中。重復(fù)上述步驟，直到所有的粒子都被劃分到相應(yīng)的候選區(qū)域的粒子集中為止。

2.2 跟蹤算法流程

通過局部背景特征點(diǎn)估算目標(biāo)位置，再以該位置作為起點(diǎn)搜索目標(biāo)，利用的粒子濾波方法對(duì)存在多個(gè)候選區(qū)域的圖像進(jìn)行跟蹤，流程歸納如下。

步驟1：手動(dòng)選定目標(biāo)區(qū)域，按2.1節(jié)所述的方法建立目標(biāo)模型，將當(dāng)前圖像作為模板圖像分別按1.1節(jié)和1.2節(jié)的方法檢測(cè)模板圖像中的特征點(diǎn)和建立特征點(diǎn)模型。

步驟2：獲取下1幀圖像作為觀測(cè)圖像，估算目標(biāo)的位置。分別按1.1節(jié)和1.2節(jié)的方法檢測(cè)觀測(cè)圖像中的特征點(diǎn)和建立特征點(diǎn)模型；按1.3節(jié)的方法匹配特征點(diǎn)；再按1.4節(jié)的方法估算目標(biāo)位置。

步驟3：以步驟2估算的目標(biāo)位置為中心，按2.1節(jié)的方法跟蹤目標(biāo)。

步驟4：以觀測(cè)圖像作為模板圖像，以步驟3得到的目標(biāo)作為當(dāng)前的目標(biāo)，跳轉(zhuǎn)到步驟2。

3 實(shí)驗(yàn)結(jié)果及分析

本算法實(shí)驗(yàn)的運(yùn)行環(huán)境為Windows7系統(tǒng)，Intel Core i7?2670QM處理器(主頻2.2 G)，內(nèi)存為3 G，基于開源圖像處理工具EmguCV在VS2010平臺(tái)上使用C#進(jìn)行算法開發(fā)。以文獻(xiàn)[1, 3]中融合均值偏移的粒子濾波方法作為基本跟蹤算法，簡(jiǎn)稱為“BT”方法，將本文研究的結(jié)合定位的跟蹤算法稱為“LBT”方法。選擇具有多候選區(qū)域的室內(nèi)外環(huán)境圖像序列進(jìn)行實(shí)驗(yàn)，首先在各個(gè)圖像序列中選擇2幀圖像作為模板圖像和觀測(cè)圖像，對(duì)基于局部背景特征點(diǎn)的定位在跟蹤中的作用進(jìn)行分析，然后對(duì)“BT”和“LBT””法的跟蹤結(jié)果進(jìn)行對(duì)比分析，最后對(duì)定位方法的性能進(jìn)行分析。

3.1 跟蹤結(jié)果分析

實(shí)驗(yàn)1的圖像來自公共數(shù)據(jù)集“Videos for Head Tracking”[18]的seq_villains1序列；實(shí)驗(yàn)2的圖像來自自己拍攝的視頻數(shù)據(jù)；實(shí)驗(yàn)3和實(shí)驗(yàn)4的圖像分別來自公共數(shù)據(jù)集TLD[19]的pedestrian2和carchase序列。為了公平比較2種方法的運(yùn)行時(shí)間，控制“BT”方法中粒子的分布范圍滿足能夠覆蓋到目標(biāo)的要求而不至于因?yàn)榱Ｗ訑?shù)太多而影響效率。粒子在方向上的變化幅度，在方向上的變化幅度；而對(duì)于“LBT”方法，粒子方向上的變化幅度，在方向上的變化幅度。此外，“LBT”算法的其他參數(shù)設(shè)置如下：模板圖像代表特征點(diǎn)范圍的半徑；觀測(cè)圖像代表特征點(diǎn)范圍的半徑；初始時(shí)刻()模板圖像的特征點(diǎn)檢測(cè)范圍為目標(biāo)尺寸的4倍；匹配特征點(diǎn)數(shù)目的閾值；描述特征點(diǎn)區(qū)域的正方形邊長(zhǎng)；特征點(diǎn)匹配的相似度閾值，候選區(qū)域權(quán)重高斯核函數(shù)的標(biāo)準(zhǔn)差為0.7；特征點(diǎn)估算目標(biāo)位置權(quán)重函數(shù)的標(biāo)準(zhǔn)差。

在實(shí)驗(yàn)結(jié)果圖2~5中，不同圓點(diǎn)、直線以及它們交點(diǎn)的含義和圖1相同。在每幅圖中，子圖(a)的矩形框是目標(biāo)區(qū)域；子圖(b)中矩形框是“LBT”方法得到的目標(biāo)區(qū)域；子圖(c)中的矩形框是“BT”得到的目標(biāo)區(qū)域；子圖(d)是觀測(cè)圖像中目標(biāo)區(qū)域的Bhattacharyya相似度分布圖，計(jì)算公式如式(2)所示。

(a) 模板圖像；(b) LBT方法跟蹤結(jié)果；(c) BT方法跟蹤結(jié)果；(d) 相似度分布圖

第1組實(shí)驗(yàn)選擇的觀測(cè)圖像右邊的人臉更接近于圖2(a)中目標(biāo)的位置。圖2(b)和圖2(c)的矩形區(qū)域是2個(gè)候選區(qū)域。根據(jù)“LBT”方法，首先根據(jù)特征點(diǎn)對(duì)目標(biāo)進(jìn)行定位，得到的位置如圖2(b)中直線的交點(diǎn)所示，接近圖2(b)的候選區(qū)域，該候選區(qū)域具有最高的權(quán)重，因此能夠準(zhǔn)確跟蹤到目標(biāo)；而對(duì)于“BT”方法，如圖2(c)所示，由于觀測(cè)圖像中右邊的人臉位置更接近于模板圖像中目標(biāo)的位置，因此，錯(cuò)誤地跟蹤到右邊候選區(qū)域。

第2組實(shí)驗(yàn)圖像中存在3個(gè)和目標(biāo)相似的區(qū)域，并且相似度接近，如圖3(d)所示。圖3(b)和圖3(c)所示的矩形區(qū)域是2個(gè)被檢測(cè)出來的候選區(qū)域。經(jīng)過背景特征點(diǎn)定位之后，定位位置接近圖3(b)區(qū)域的位置，因此，它具有較高的權(quán)重，在2個(gè)候選區(qū)域與目標(biāo)的相似度都接近的情況下，“LBT”方法能夠準(zhǔn)確跟蹤到目標(biāo)。而對(duì)于“BT”方法，由于觀測(cè)圖像中右邊的人臉位置更接近于模板圖像中目標(biāo)的位置，因此，錯(cuò)誤地跟蹤到右邊候選區(qū)域。

(a) 模板圖像；(b) LBT方法跟蹤結(jié)果；(c) BT方法跟蹤結(jié)果；(d) 相似度分布圖

第3組實(shí)驗(yàn)的圖像為戶外環(huán)境，背景顏色單一，不利于尋找特征點(diǎn)，特征點(diǎn)主要分布在3個(gè)行人以及他們的影子上。選擇中間行人的影子作為目標(biāo)，如圖4(d)所示，3個(gè)影子和目標(biāo)的相似度都比較接近。在“LBT”方法中，用于定位的特征點(diǎn)分布在行人及其影子上，由于行人和他們的影子在2幅圖像中保持著接近的運(yùn)動(dòng)關(guān)系，把它們都看作是隨動(dòng)背景特征點(diǎn)，通過特征點(diǎn)估算出來的位置接近真實(shí)目標(biāo)的位置，該位置的候選區(qū)域具有較高的位置權(quán)重，因此，“LBT”方法能夠準(zhǔn)確跟蹤目標(biāo)。而對(duì)于“BT”方法，由于觀測(cè)圖像中左邊的影子位置更接近于模板圖像中目標(biāo)的位置，在相似度接近時(shí)，跟蹤結(jié)果會(huì)向左邊的人影偏移，導(dǎo)致“BT”方法跟蹤誤差較大。

(a) 模板圖像；(b) LBT方法跟蹤結(jié)果；(c) BT方法跟蹤結(jié)果；(d) 相似度分布圖

第4組實(shí)驗(yàn)的目標(biāo)為正在行駛的車輛，如圖5(d)所示，與目標(biāo)相似度高的區(qū)域較多。在“LBT”方法中，用于定位的特征點(diǎn)分布在目標(biāo)周圍的車輛及其影子上，是隨動(dòng)背景特征點(diǎn)，通過特征點(diǎn)估算出來的位置接近真實(shí)目標(biāo)的位置，該位置的候選區(qū)域具有較高的位置權(quán)重，因此，“LBT”方法能夠準(zhǔn)確跟蹤目標(biāo)。而對(duì)于“BT”方法，由于粒子分布在不同的候選區(qū)域上，加權(quán)之后不同方向的粒子作用相互抵消，導(dǎo)致估算出來的目標(biāo)位置在2個(gè)候選區(qū)域之間，跟蹤誤差較大。

(a) 模板圖像；(b) LBT方法跟蹤結(jié)果；(c) BT方法跟蹤結(jié)果；(d) 相似度分布圖

定性分析完“LBT”方法中基于局部特征點(diǎn)定位在跟蹤中的作用，以下以上述4個(gè)圖像序列分別用“LBT”和“BT”方法進(jìn)行試驗(yàn)，對(duì)比跟蹤誤差和跟蹤時(shí)間。“BT”方法獲得的目標(biāo)中心與真實(shí)目標(biāo)中心的歐式距離稱為基本跟蹤誤差，平均基本跟蹤誤差用表示，最大基本跟蹤誤差用表示；“BT”方法跟蹤目標(biāo)的時(shí)間為基本跟蹤時(shí)間，平均基本跟蹤時(shí)間用表示，最大基本跟蹤時(shí)間用表示；“LBT”方法獲得的目標(biāo)中心與真實(shí)目標(biāo)中心的歐式距離稱為跟蹤誤差，平均跟蹤誤差用表示，最大跟蹤誤差用表示；“LBT”方法跟蹤所用的時(shí)間為跟蹤時(shí)間，平均跟蹤時(shí)間用表示，最大跟蹤時(shí)間用表示；結(jié)果如表1所示。

表1 跟蹤結(jié)果

從表1可以看出：“LBT”方法通過背景特征點(diǎn)定位之后，跟蹤誤差小于“BT”方法的跟蹤誤差，而且從上面4組實(shí)驗(yàn)的分析可知“BT”方法容易因?yàn)榉植荚谄渌蜻x區(qū)域上粒子的影響而錯(cuò)誤跟蹤到非目標(biāo)區(qū)域。在跟蹤時(shí)間方面，由于“LBT”方法能夠根據(jù)背景特征點(diǎn)定位出目標(biāo)的位置，可以縮小搜索范圍，可減少粒子數(shù)量，所以，在不同環(huán)境和不同圖像尺寸的圖像序列中，跟蹤時(shí)間相差不大。而對(duì)于“BT”方法，跟蹤時(shí)間受粒子數(shù)量以及粒子均值偏移迭代次數(shù)的影響，為了適應(yīng)攝像頭移動(dòng)導(dǎo)致目標(biāo)在相鄰2幀之間的位置變化較大的情況，粒子的采樣范圍需要增大到可以覆蓋到目標(biāo)位置，因此，“BT”需要粒子的數(shù)量大于“LBT”方法。雖然“LBT”方法增加了一個(gè)用局部特征點(diǎn)定位和劃分候選區(qū)域的過程，但通過正確對(duì)目標(biāo)粗定位，降低了跟蹤誤差和跟蹤時(shí)間。

3.2 目標(biāo)定位算法性能評(píng)估

通過以上實(shí)驗(yàn)分析，在“LBT”方法中，目標(biāo)定位的性能起到關(guān)鍵的作用，接下來通過測(cè)試大量不同場(chǎng)景的圖像序列對(duì)定位時(shí)間與精度進(jìn)行評(píng)估。序列1至4的圖像來源分別與實(shí)驗(yàn)1~4的來源相同，序列5的圖像來自公共數(shù)據(jù)集“SPEVI”[20]，序列6的圖像來源是CAVIAR數(shù)據(jù)集[17]的ThreePastShop1cor視頻。在原始圖像序列中，挑選背景變化較大的圖像重新組成測(cè)試圖像序列，然后依次選擇相鄰2幀分別作為模板圖像和觀測(cè)圖像進(jìn)行測(cè)試，實(shí)驗(yàn)參數(shù)與3.1節(jié)的參數(shù)相同。通過匹配特征點(diǎn)計(jì)算出來的位置和真實(shí)目標(biāo)位置的誤差稱為定位誤差，對(duì)定位算法的評(píng)估指標(biāo)分別為平均定位誤差、最大定位誤差、平均定位時(shí)間和最長(zhǎng)定位時(shí)間。結(jié)果如表2所示。

表2 定位算法的統(tǒng)計(jì)數(shù)據(jù)

由于模板圖像中特征點(diǎn)只分布在目標(biāo)周圍并且維持著一定的數(shù)量，“LBT”方法的定位時(shí)間并不完全與圖像尺寸成正比，當(dāng)觀測(cè)圖像特征點(diǎn)比較少并且與模板圖像特征點(diǎn)相似度高的特征點(diǎn)數(shù)量少時(shí)，定位時(shí)間較短，如表2所示，序列2和序列3的圖像尺寸一樣，但序列3中背景顏色特征比較單一，檢出的特征點(diǎn)也較少，因此，定位時(shí)間也較短。

綜上所述，本文提出的基于局部背景特征定位的方法在各種場(chǎng)景下具有較高的定位精度以及實(shí)時(shí)性，除了與本文的改進(jìn)的粒子濾波方法相結(jié)合外，還可以與現(xiàn)有的其他跟蹤算法結(jié)合提高跟蹤效果。

4 結(jié)論

1) 提出了一種基于局部背景特征點(diǎn)的目標(biāo)定位和跟蹤方法。該算法首先利用相鄰2幀目標(biāo)與周圍特征點(diǎn)的位置關(guān)系對(duì)目標(biāo)的位置進(jìn)行初步定位，然后以該位置為起點(diǎn)，利用均值偏移的方法將粒子偏移到和目標(biāo)相似度高的位置，根據(jù)粒子的分布得到多個(gè)候選目標(biāo)區(qū)域，最后根據(jù)候選區(qū)域和定位位置的距離對(duì)候選目標(biāo)的相似度進(jìn)行加權(quán)，將加權(quán)后相似度最高的候選區(qū)域作為跟蹤結(jié)果。實(shí)驗(yàn)結(jié)果表明，融合了局部背景特征點(diǎn)定位的跟蹤方法能高效獲得目標(biāo)的大致位置，結(jié)合對(duì)候選區(qū)域加權(quán)的方法，不僅能提高跟蹤效率，而且能避免相似區(qū)域的干擾。

2) 為了提高定位效率，模板圖像中檢測(cè)特征點(diǎn)的范圍是動(dòng)態(tài)變化的。當(dāng)特征點(diǎn)數(shù)量較少時(shí)，可能會(huì)出現(xiàn)找不到匹配的特征點(diǎn)或者是用錯(cuò)誤匹配的特征點(diǎn)進(jìn)行定位的問題，導(dǎo)致跟蹤失敗或者是定位時(shí)間增長(zhǎng)。在未來的研究中將研究更有效的特征點(diǎn)選擇方法，從而使本方法適用于更多跟蹤場(chǎng)合。

[1] CHIA Y S, KOW W Y, KHONG W L, et al. Kernel-based object tracking via particle filter and mean shift algorithm[C]// 11th International Conference on Hybrid Intelligent Systems (HIS). Melacca: IEEE, 2011: 522?527.

[2] COMANICIU D, RAMESH V, MEER P. Kernel-based object tracking[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2003, 25(5): 564?577.

[3] 張笑微, 周建雄, 師改梅, 等. 融合結(jié)構(gòu)信息的粒子濾波均值偏移跟蹤算法[J]. 計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào), 2008, 20(12): 1583?1589.Zhang Xiaowei, Zhou Jianxiong, SHI Gaimei, et al. Fusion of structural information in object tracking using particle filter and mean shift[J]. Journal of Computer-Aided Design & Computer Graphics, 2008, 20(12): 1583?1589.

[4] 侯志強(qiáng), 黃安奇, 余旺盛, 等. 利用SIFT特征聯(lián)合匹配的非剛體目標(biāo)跟蹤算法[J]. 系統(tǒng)工程與電子技術(shù), 2015, 37(6): 1417?1423.HOU Zhiqiang, HUANG Anqi, YU Wangsheng, et al.Non-rigid object tracking based on joint matching of SIFT features[J].Systems Engineering and Electronics, 2015, 37(6): 1417?1423.

[5] 吳迪, 唐勇奇, 萬琴. 基于視覺場(chǎng)景復(fù)雜度多特征自適應(yīng)融合的目標(biāo)跟蹤[J]. 上海交通大學(xué)學(xué)報(bào), 2015, 49(12): 1868?1875.WU Di, TANG Yongqi, WAN Qin.A novel adaptive fusion strategy based on tracking background complexity[J].Journal of Shanghai Jiaotong University, 2015, 49(12): 1868?1875.

[6] NING Jifeng, ZHANG Lei, ZHANG David, et al. Robust mean-shift tracking with corrected background-weighted histogram[J]. The Institution of Engineering and Technology Computer Vision, 2012, 6(1): 62?69.

[7] 虞旦, 韋巍, 張遠(yuǎn)輝. 基于單目視覺的移動(dòng)機(jī)器人跟隨[J]. 儀器儀表學(xué)報(bào), 2010, 31(3): 659?664. YU Dan, WEI Wei, ZHANG Yuanhui. Person following of mobile robot using monocular camera[J]. Chinese Journal of Scientific Instrument, 2010, 31(3): 659?664.

[8] JUNG B, SUKHATME G S. Detecting moving objects using a single camera on a mobile robot in an outdoor environment[C]// 8th International Conference on Intelligent Autonomous Systems. Amsterdam, Netherlands: IEEE, 2004: 980?987.

[9] 江曉蓮, 李翠華, 劉鍇, 等. 基于視覺顯著性的Wang?Landau蒙特卡羅采樣突變目標(biāo)跟蹤算法[J]. 廈門大學(xué)學(xué)報(bào)(自然科學(xué)版), 2013, 52(4): 498?505. JIANG Xiaolian, LI Cuihua, LIU Kai, et al. Abrupt motion tracking via saliency-based Wang?Landau Monte Carlo sampling[J]. Journal of Xiamen University(Natural Science), 2013, 52(4): 498?505.

[10] CERMAN L, MATAS J, HLAVA V. Sputnik tracker: having a companion improves robustness of the tracker[C]// 16th Scandinavian Conference on Image Analysis. Norway: Springer, 2009: 291?300.

[11] YANG Ming, WU Ying, HUA Gang. Context-aware visual tracking[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2009, 31(7): 1195?1209.

[12] GRABNER H, MATAS J, GOOL L V, et al. Tracking the invisible: learning where the object might be[C]// IEEE Conference on Computer Vision and Pattern Recognition (CVPR). San Francisco, CA, USA: IEEE, 2010: 1285?1292.

[13] DINH T B, VO N, MEDIONI G. Context tracker: exploring supporters and distracters in unconstrained environments[C]// IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Providence, USA: IEEE, 2011: 1177?1184.

[14] XIONG Zhen, ZHANG Yun. A novel interest-point-matching algorithm for high-resolution satellite images[J]. IEEE Transactions on Geoscience and Remote Sensing, 2009, 47(12): 4189?4200.

[15] 靳峰, 馮大政. 結(jié)合圖像信息和幾何關(guān)系的配準(zhǔn)算法[J]. 華中科技大學(xué)學(xué)報(bào)(自然科學(xué)版), 2014, 42(2): 77?80. JIN Feng, FENG Dazheng. Past precise registration algorithm combining image information and geometric relations[J]. Journal of Huazhong University of Science and Technology(Nature Science), 2014, 42(2): 77?80.

[16] ROSTEN E, PORTER R, DRUMMOND T. Machine learning for high-speed corner detection[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2006, 32(1): 105?119.

[17] CAVIAR. Context aware vision using image-based active recognition[EB/OL]. [2011?05?12]. http://groups.inf.ed.ac.uk /vision/CA VIAR/CAVIARDATA1.

[18] BIRCHFIELD S. Elliptical head tracking using intensity gradients and color histograms[C]// IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Santa Barbara, USA: IEEE, 1998: 232?237.

[19] KALAL Z, MIKOLAJCZYK K, MATAS J. Tracking- learning-detection[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012, 34(7): 1409?1422.

[20] SPEVI. Surveillance performance evaluation initiative[EB/OL]. [2014?03?10]. http://www.eecs.qmul.ac.uk/~andrea/spe vi.html.

Target location and tracking based on local background feature points

ZHANG Tie, MA Qiongxiong

(School of Mechanical & Automotive Engineering, South China University of Technology, Guangzhou 510641, China)

To solve the problems of multiple similar objects and camera motion in target tracking, a method of target location and tracking was proposed based on local background feature points. Firstly, a target position was predicted by considering the position relation between the target and the matched feature points surround target of previous image. Then candidate objects were searched starting from the predicted position by combining particle filter and mean shift. Finally, the similarity of each candidate object was weighed by the distance between candidate object position and predicted position. The final target was the candidate object with the highest similarity. The results show that the proposed algorithm can track targets accurately in the presence of surrounding similar objects, and it possesses strong robustness and good real-time performance.

particle filter; mean shift; local background feature; target location; target tracking

10.11817/j.issn.1672-7207.2016.09.018

TP391

A

1672?7207(2016)09?3040?10

2015?09?20；

2015?12?02

廣東省省部產(chǎn)學(xué)研項(xiàng)目(2012B090600028)；廣東省科技計(jì)劃項(xiàng)目(2011A091101001，2012B010900076)；廣州市科技計(jì)劃項(xiàng)目(2014Y2-00014)(Project(2012B090600028) supported by the Industry?University?Research Project of Guangdong Province and Ministry of Education; Projects(2011A091101001, 2012B010900076)supported by the Science and Technology Planning of Guangdong Province; Project(2014Y2-00014) supported by the Science and Technology Planning of Guangzhou)

張鐵，博士，教授，博士生導(dǎo)師，從事機(jī)器人、機(jī)器視覺和智能控制等研究；E-mail: merobot@scut.edu.cn

(編輯 劉錦偉)