基于Meanshift和粒子濾波的目標(biāo)跟蹤方法

徐　瞇, 徐成鴻, 舒　軍

(1武漢理工大學(xué) 自動(dòng)化學(xué)院，武漢 430070；2湖北工業(yè)大學(xué)，武漢 430068)

?

基于Meanshift和粒子濾波的目標(biāo)跟蹤方法

徐瞇1, 徐成鴻2, 舒軍2

(1武漢理工大學(xué) 自動(dòng)化學(xué)院，武漢 430070；2湖北工業(yè)大學(xué)，武漢 430068)

摘要：Meanshift是一種目標(biāo)跟蹤的有效算法。但是，當(dāng)光照條件變化快或目標(biāo)被遮擋的時(shí)候表現(xiàn)很差。與之相比，基于粒子濾波的目標(biāo)跟蹤有一個(gè)很好的表現(xiàn)，但是跟蹤速度比Meanshift慢很多。由于使用單個(gè)算法的限制，本文提出了一種基于Meanshift和粒子濾波相結(jié)合的新的算法。此種方法構(gòu)建了反饋系統(tǒng)，Meanshift技術(shù)被用于初始跟蹤，當(dāng)Meanshift的跟蹤結(jié)果不可信時(shí)，通過(guò)粒子濾波來(lái)提高跟蹤效果。RGB顏色直方圖用于表征圖像的特征，Bhattacharyya系數(shù)來(lái)衡量目標(biāo)模型與候選模型的相似度。通過(guò)對(duì)不同視頻的跟蹤實(shí)驗(yàn)證明，提出的這種方法在目標(biāo)發(fā)生移變、旋轉(zhuǎn)、縮放時(shí)都能很好的表現(xiàn)，而且實(shí)現(xiàn)了一個(gè)滿(mǎn)意的跟蹤速度。

關(guān)鍵詞：目標(biāo)跟蹤；Meanshift；粒子濾波；算法融合

0引言

目標(biāo)跟蹤是對(duì)圖像序列中運(yùn)動(dòng)目標(biāo)進(jìn)行定位的過(guò)程，跟蹤方法的研究一直是智能視頻監(jiān)控、交通管理、人體行為分析和人機(jī)感知接口等領(lǐng)域研究的關(guān)鍵和難點(diǎn)問(wèn)題。目標(biāo)跟蹤的挑戰(zhàn)主要集中在光照變化、復(fù)雜背景干擾、目標(biāo)特征不穩(wěn)定和易被遮擋等方面。現(xiàn)有的目標(biāo)跟蹤算法可以分為確定性跟蹤算法和隨機(jī)性跟蹤算法兩大類(lèi)。確定性跟蹤算法通?？梢赞D(zhuǎn)化為最優(yōu)化問(wèn)題，即尋找目標(biāo)的最優(yōu)匹配。典型的如Meanshift算法[2-8]，采用的是“峰值”跟蹤思想，即它總是尋找最相似的區(qū)域，具有高實(shí)時(shí)性。但仍存在目標(biāo)與背景相似、光照條件變化快或目標(biāo)被遮擋的情況下不能保證跟蹤魯棒性的問(wèn)題。隨機(jī)性跟蹤算法是目標(biāo)狀態(tài)估計(jì)算法，如粒子濾波算法[6-9]，其成功用于目標(biāo)跟蹤的主要原因在于采用多個(gè)粒子，有效地表達(dá)了跟蹤的不確定性，并且能夠很好地處理非線(xiàn)性、非高斯跟蹤問(wèn)題，容易實(shí)現(xiàn)。但是其計(jì)算量大，會(huì)大大降低跟蹤速度，且存在粒子退化及不能實(shí)時(shí)跟蹤的問(wèn)題。

為了解決上述跟蹤中存在的問(wèn)題，研究者利用這兩種算法的優(yōu)點(diǎn)，做出了相應(yīng)的融合。馬麗等[ 12]首先判斷運(yùn)動(dòng)目標(biāo)是否被遮擋，無(wú)遮擋時(shí)用Meanshift算法，若遮擋發(fā)生轉(zhuǎn)換為粒子濾波方法，判斷遮擋消失后恢復(fù)Meanshift算法。這種方法在一定程度上減少了計(jì)算量，但每次跟蹤都需要判斷遮擋或是遮擋結(jié)束，計(jì)算比較費(fèi)時(shí)。由于背景干擾的存在，判斷遮擋本身就不一定準(zhǔn)確，在非遮擋情況下完全依賴(lài)于Meanshift 跟蹤算法，在Meanshift 跟蹤不準(zhǔn)確的情況下依然會(huì)跟丟目標(biāo)。

本文針對(duì)Meanshift跟蹤算法能快速收斂的特性和粒子濾波跟蹤算法準(zhǔn)確度高的特點(diǎn)，研究如何結(jié)合這兩種算法能更好地發(fā)揮各自的優(yōu)點(diǎn)，使得跟蹤效果較單獨(dú)使用其中一種算法有非常明顯的提高。首先簡(jiǎn)單描述了Meanshift 算法和粒子濾波算法，然后給出本文提出的跟蹤方法的思想及其主要實(shí)現(xiàn)步驟，最后通過(guò)實(shí)驗(yàn)結(jié)果驗(yàn)證了所提出算法的實(shí)時(shí)性和魯棒性。

1MEAN-SHIFT

Meanshift 算法[2-8]是一種基于非參數(shù)的核密度估計(jì)理論，在概率空間中求解概率密度極值的優(yōu)化算法。在目標(biāo)跟蹤中，通過(guò)目標(biāo)檢測(cè)或手工確定目標(biāo)，計(jì)算其在特征空間中的直方圖，用相同的方法計(jì)算核函數(shù)加權(quán)下的目標(biāo)窗口的直方圖分布及當(dāng)前幀對(duì)應(yīng)候選模型窗口的直方圖分布，選擇兩個(gè)直方圖間的Bhattacharyya系數(shù)來(lái)衡量目標(biāo)模型與候選模型的相似度，那么跟蹤的目標(biāo)就是在當(dāng)前幀尋找使得Bhattacharyya最大的位置y。

其中，h是核函數(shù)窗口的大小，K(‖·‖2)為核函數(shù)。若{xi}i=1,…,nh為候選模型歸一化的像素位置，b(xi)表示處位置xi像素的RGB顏色索引值，則特征u=1…m在候選模型中的概率定義如下:

C與Ch是歸一化系數(shù)。

bahattacharyya系數(shù)定義如下：

2粒子濾波

結(jié)合Figure1，粒子濾波的跟蹤流程如下：

(1)初始化。隨機(jī)的生成N個(gè)具有相同概率的粒子在目標(biāo)可能位于的區(qū)域。這里初始化15個(gè)粒子展示一下。

(2)計(jì)算每個(gè)粒子的權(quán)重。以每個(gè)粒子為中心形成不同的候選區(qū)域，計(jì)算描述目標(biāo)直方圖與候選區(qū)域的直方圖相似程度的bahattacharyya系數(shù)，值越大，被賦予的權(quán)重越大。展示被初始化的15個(gè)粒子的置信系數(shù)。

(3)標(biāo)準(zhǔn)化權(quán)重。確保所有粒子權(quán)重的和等于1。

(4)輸出階段。根據(jù)每個(gè)粒子的權(quán)重和位置，計(jì)算目標(biāo)最可能位于的新的位置。

(5)重采樣。移除權(quán)值小的粒子，權(quán)值大的粒子被分成多個(gè)粒子，可見(jiàn)③確保粒子的總數(shù)仍然是N。

(6)如果繼續(xù)跟蹤，跳轉(zhuǎn)到(2)，否則跳出

Figure 1. ①,② 和③代表通過(guò)跟蹤一幀X的粒子變化，④，⑤和⑥代表幀X+1粒子的變化

3提出的算法

粒子濾波最關(guān)鍵的步驟是重采樣，因?yàn)槲覀冊(cè)谶@個(gè)階段需要計(jì)算每個(gè)粒子的置信系數(shù)，在不同的情況下有不同的計(jì)算置信系數(shù)的方法，我們提出的方法是這樣計(jì)算的。

假設(shè)一幀中粒子的分部如Figure 2?？拷@個(gè)圖中心的黑色矩形框是根據(jù)前幀計(jì)算出來(lái)的跟蹤結(jié)果，現(xiàn)在以它為模型。對(duì)于一個(gè)粒子，得到一個(gè)以這個(gè)粒子為中心并且大小和模型一樣的區(qū)域，如圖中位于右上角的灰色矩形框。比較兩個(gè)區(qū)域的直方圖，并計(jì)算表現(xiàn)兩個(gè)區(qū)域相似度的Bahattacharyya系數(shù) ，可以采用這個(gè)系數(shù)描述粒子的置信系數(shù)，最后歸一化粒子的權(quán)重。

Figure 2　靠近這個(gè)圖中心的黑色矩形框是根據(jù)前幀計(jì)算出來(lái)的跟蹤結(jié)果，而位于此圖右上角的灰色矩形框是用來(lái)與前者比較的

提出的結(jié)合Meanshift和粒子濾波進(jìn)行跟蹤的主要步驟如下：

(1) 初始化目標(biāo)模型A。

(2) 從視頻中讀取一幀。

(3) 首先基于Meanshift進(jìn)行跟蹤。

(4) 計(jì)算跟蹤結(jié)果，并定義區(qū)域?yàn)楹蜻x區(qū)域B.

(5) 計(jì)算描述區(qū)域A與B的相似程度的Bahattacharyya系數(shù)Ba(A,B)。

(6) 如果Ba(A,B)不小于事先設(shè)定的閥值C，意味著跟蹤結(jié)果是可信的，通過(guò)直方圖融合更新模型A，然后轉(zhuǎn)到2)；否則繼續(xù)。

(7) 如果單獨(dú)基于Meanshift的跟蹤不可信，在區(qū)域D中采用粒子濾波算法，D的中心與B相同，長(zhǎng)度與寬度是B的兩倍。

(8) 計(jì)算跟蹤結(jié)果，通過(guò)直方圖融合更新模型A, 轉(zhuǎn)到2)。

(9) 如果跟蹤結(jié)束，跳出。

4實(shí)驗(yàn)與分析

為了證實(shí)本文提出的方法的優(yōu)越性，進(jìn)行了一系列的目標(biāo)跟蹤實(shí)驗(yàn)。如下給出了兩組兩者的比較實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果顯示本文提出的方法相比單獨(dú)使用Meanshift或粒子濾波具有更高的可信度。

在Figure 3和4中，分別給出了Meanshift和提出方法對(duì)一輛快速移動(dòng)的小車(chē)的跟蹤結(jié)果。我們的攝像機(jī)跟隨著小車(chē)的移動(dòng)，所以我們拍攝的小車(chē)存在旋轉(zhuǎn)，而且它的比例也發(fā)生了變化。跟蹤結(jié)果顯示：提出的方法在目標(biāo)發(fā)生平移、旋轉(zhuǎn)、縮放時(shí)有很好的表現(xiàn)，而Meanshift算法不能準(zhǔn)確地跟蹤目標(biāo)，在第240幀時(shí)幾乎要跟丟目標(biāo)。

Figure 3　僅用meanshift方法跟蹤一輛快速移動(dòng)、旋轉(zhuǎn)、縮放的車(chē)的結(jié)果

Figure 4　本文提出的方法跟蹤一輛快速移動(dòng)、旋轉(zhuǎn)、縮放的車(chē)的結(jié)果

在另一個(gè)例子如Figure5和6，我們想要跟蹤的人的穿著與道路的顏色非常接近。跟蹤結(jié)果顯示本文提出的方法對(duì)目標(biāo)顏色與背景顏色相似的情形具有很好的魯棒性，然而單獨(dú)使用粒子濾波進(jìn)行跟蹤會(huì)跟丟目標(biāo)。

Figure 5　用粒子濾波方法跟蹤一個(gè)衣服顏色與背景非常相似的人的結(jié)果

Figure 6　本文提出的方法跟蹤一個(gè)衣服顏色與背景非常相似的人的結(jié)果

以上實(shí)驗(yàn)結(jié)果可以得出：傳統(tǒng)的Meanshift算法由于僅用顏色直方圖描述圖像的特征，存在目標(biāo)顏色與背景相似時(shí)不能準(zhǔn)確跟蹤的缺陷，且當(dāng)目標(biāo)運(yùn)動(dòng)較快時(shí)，由于模板不能實(shí)時(shí)更新，很容易跟蹤失敗。粒子濾波的不足在于粒子退化以及實(shí)時(shí)性跟蹤。實(shí)驗(yàn)結(jié)果顯示本文提出的方法克服了以上不足，在目標(biāo)發(fā)生移變、旋轉(zhuǎn)、縮放、目標(biāo)顏色與背景相似時(shí)都能很好的表現(xiàn)，較單獨(dú)使用Meanshift或粒子濾波更高效、更精確。

5結(jié)束語(yǔ)

本文首先提出了一種結(jié)合meanshift和粒子濾波的新算法，然后分別對(duì)兩種跟蹤算法進(jìn)行了研究，對(duì)影響跟蹤效果的一些主要原因進(jìn)行了描述，最后實(shí)施了提出的新方法。通過(guò)不同視頻的跟蹤實(shí)驗(yàn)證明，提出的這種方法在目標(biāo)發(fā)生移變、旋轉(zhuǎn)、縮放時(shí)都能很好的表現(xiàn)，而且實(shí)現(xiàn)了一個(gè)滿(mǎn)意的跟蹤速度。

由于LBP紋理特征[2]具有光照和旋轉(zhuǎn)不變性，在未來(lái)的研究中通過(guò)結(jié)合顏色特征和LBP紋理特征可能實(shí)現(xiàn)一個(gè)更魯棒性的跟蹤效果。

參考文獻(xiàn):

[1] Ling Li，Yang Li，Yuan Luo，Research on Key Algorithm of Human Motion Tracking for Intelligent Rehabilitation System[C]. Proceedings of 24th Chinese Control and Decision Conference,2012:1288-1292.

[2] Xiang Zhang,Yuan Ming.An Improved Mean Shift Tracking Algorithm Based On Color And Texture Feature[C]. Proceedings of the 2010 International Conference on Wavelet Analysis and Pattern Recognition, 2010: 38-43.

[3] Du K, Ju Y, Jin Y. MeanShift tracking algorithm with adaptive block color histogram[C].IEEE Transactions on Special Fund for Basic Scientific Research in the Central University, 2012:2692-2695.

[4] Jiawei He,Yingyun Yang,Multi-iterative Tracking Method using Meanshift Based on Kalman Filter[C].IEEE,2014:22-27

[5] Intekhab Alam, Object Tracking in Video Sequences Using Information Fusion Principles[C]. IEEE Trans. On 5th Computer Science and Electronic Engineering Conference,2015:146-151.

[6] Da Tang,Yu Jin Zhang,Combining Mean-shift and Particle Filter for Object Tracking[C]. International Conference on Image and Graphics,2011:771-776

[7]張穎穎，王紅娟，黃義定.基于meanshift和粒子濾波的行人目標(biāo)跟蹤方法[J].計(jì)算機(jī)與現(xiàn)代化，2012:40-43

[8]馬麗，常發(fā)亮，喬誼正. 基于均值漂移算法和粒子濾波算法的目標(biāo)跟蹤[J].模式識(shí)別與人工智能， 2006, 19(6) :787-793．

[9] Kyuseo Han, Johnny Park ,Avinash C. Kak, Robust Tracking of Articulated Human Movements through Component-based Multiple Instance Learning with Particle Filtering[C]. IEEE,2011:847-853.

[10] Wu lianhui, Zhang Guoyun, Guo Longyuan ,Study The Improved CAMSHIFT Algorithm to Detect the Moving Object in Fisheye Image[C]. IEEE Trans. On International Conference on Mechatronic Sciences,2013:1017-1020.

[11]M.Mehta, C.Goyal, M.Srivastava and R.Jain, Real-time Object Detection and Tracking: Histogram Matching and Kalman Filter Approach[C]. The 2nd International Conference on Computer and Automation Engineering, 5: 796-801, 2010.

[12]C.Y Liu and N.H.C Yung, Scale-Adaptive Spatial Appearance Feature Density Approximation for Object Tracking[C]. IEEE Transactions onIntelligent Transportation Systems, 1: 284-290, 2011.

Object Tracking Method Based on Mean-shift and Particle Filter

XU Mi1, XU Cheng-hong2, SHU Jun2

(1.School of Automation， Wuhan University of Technology，Wuhan 430070, China；2.Hubei University of Technology, Wuhan 430068, China)

Abstract:Meanshift is an effective algorithm for object tacking. However, it has a poor performance when the illumination condition changes fast or the tracking target are shadowed. By contract, particle filter based object tracking has a better tracking performance, but the tracking speed is much slower compared to mean-shift. Owing to the limitations of the use of a single algorithm, a novel object tracking method based on both meanshift and particle filter is proposed in this paper. A system with feedback has been constructed by the proposed method, in which the mean-shift technique is used for initial registration and the particle filter is called to improve the performance of tracking when the tracking result with meanshift is unconvincing. RGB color histogram is exploited as image feature and Bhattacharyya coefficient is used for measuring the similarity between object model and candidate regions. Tracking experiments on various videos show that the proposed method performs well and achieves a satisfying tracking speed when targeted objects go through shift-variant, rotation and scaling.

Key words:object tracking; mean-shift; particle filter; algorithm fusion

收稿日期：2015-11-25

基金項(xiàng)目：湖北省教育廳科學(xué)技術(shù)研究計(jì)劃優(yōu)秀中青年人才項(xiàng)目資助(Q20121409)

作者簡(jiǎn)介：徐瞇(1990-)，女，湖北仙桃人，碩士研究生，研究方向?yàn)榭刂瓶茖W(xué)與工程。

中圖分類(lèi)號(hào)：TP391

文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1674-344X(2016)02-0022-05