基于改進(jìn)Mean Shift的運動目標(biāo)跟蹤算法

徐火希

(黃岡師范學(xué)院 電子信息學(xué)院，湖北 黃州　438000)

?

基于改進(jìn)Mean Shift的運動目標(biāo)跟蹤算法

徐火希

(黃岡師范學(xué)院 電子信息學(xué)院，湖北 黃州438000)

摘要：為了提高傳統(tǒng)Mean Shift算法在目標(biāo)快速運動和被大面積遮擋兩種情況下跟蹤的效果，對Mean Shift跟蹤算法進(jìn)行了3點改進(jìn)：采用Kalman濾波器預(yù)測運動目標(biāo)軌跡，以提高算法對快速運動目標(biāo)的魯棒性；提出了一種融合Kalman濾波器殘差和Bhattacharyya系數(shù)的遮擋處理機(jī)制，以提高目標(biāo)被大面積遮擋時的跟蹤效果；提出了一種基于自適應(yīng)更新因子的目標(biāo)模型更新機(jī)制，以提高動態(tài)適應(yīng)能力。對比實驗結(jié)果表明，改進(jìn)算法能有效提高在上述兩種情況下的跟蹤效果，并且在遮擋情況下具有較好的魯棒性。

關(guān)鍵詞：均值漂移；卡爾曼濾波器；遮擋處理；目標(biāo)跟蹤

Citation format:XU Huo-xi.Moving Target Tracking Algorithm Based on Improved Mean Shift[J].Journal of Ordnance Equipment Engineering,2016(2):127-130.

目標(biāo)跟蹤是計算機(jī)視覺領(lǐng)域的研究熱點之一，其主要目的是在連續(xù)幀圖像序列中定位同一目標(biāo)。自20世紀(jì)以來，出現(xiàn)了許多運動目標(biāo)跟蹤算法，Mean Shift是其中的熱門算法之一。Mean Shift[1,2]作為一種無參數(shù)的核密度梯度估計方法，具有簡潔高效、不需要先驗知識、實時性好等優(yōu)點，因而使用比較廣泛。但由于缺乏模型更新機(jī)制、易收斂于局部非目標(biāo)的極值點等原因，算法在快速運動和大面積遮擋等情況下跟蹤效果不佳。對于前者，目前主要采用預(yù)測目標(biāo)位置[3]的方法，也有通過在不同尺度下進(jìn)行搜索匹配來提高收斂效果，如圖像金字塔[4]和退火Mean Shift[5]等，但該類算法計算復(fù)雜，魯棒性較差；對于后者，主要是采用Bhattacharyya系數(shù)進(jìn)行遮擋檢測[6,7]，但是該系數(shù)可區(qū)分性較低，因此很難確定合適的判斷閾值。

Kalman濾波器作為一種高效的遞推估計算法，能夠以較小的計算量準(zhǔn)確預(yù)測目標(biāo)的位置和速度[8]。本研究將其與Mean Shift跟蹤算法相結(jié)合，采用Kalman濾波器預(yù)測目標(biāo)的位置，能有效提高快速運動情況下的跟蹤效果。同時充分結(jié)合目標(biāo)的運動信息和顏色分布特征，提出一種融合Kalman濾波器殘差和Bhattacharyya系數(shù)的遮擋處理機(jī)制，有助于提高遮擋情況下的跟蹤效果。此外，還提出一種自適應(yīng)目標(biāo)模板更新機(jī)制，提高算法對場景的動態(tài)變化如遮擋等情況的適應(yīng)性。

1基于Kalman濾波器和Mean Shift的跟蹤算法原理

對于快速運動的目標(biāo)，傳統(tǒng)的Mean Shift跟蹤算法中采取泰勒展開式近似計算Bhattacharyya系數(shù)，計算誤差較大，容易導(dǎo)致跟蹤失敗。而此時如果采用Kalman濾波器進(jìn)行預(yù)測，只要參數(shù)設(shè)置得當(dāng)，會使預(yù)測位置更加接近當(dāng)前幀中目標(biāo)的實際位置，從而有利于提高跟蹤效果。同時，由于目標(biāo)的位置不是收斂的，而是按照一定軌跡變化，因此需要根據(jù)目標(biāo)的實際位置對濾波器進(jìn)行校正。算法主要包含以下4個階段：

1) 目標(biāo)模型建立階段

(1)

2) Kalman預(yù)測階段

對于跟蹤階段的每一幀圖像，將Kalman濾波器預(yù)測的位置作為Mean Shift進(jìn)行跟蹤的起始位置。根據(jù)Kalman濾波器的預(yù)測模型，對應(yīng)的預(yù)測階段計算方程如下：

(2)

(3)

3) Mean Shift跟蹤階段

在跟蹤階段中，首先建立待選模型如下：

(4)

然后，計算兩個模型相似度，一般采用Bhattacharyya系數(shù)。并將該系數(shù)在前一幀中目標(biāo)位置中心y0處進(jìn)行泰勒展開，近似可得：

(5)

(6)

其中，g(x)=-k′(x)。得到新位置后，再以該位置作為待選模型的新位置進(jìn)行迭代，直到得到滿足一定閾值要求的Bhattacharyya系數(shù)才停止跟蹤過程。并將此時的待選模型位置作為目標(biāo)在當(dāng)前幀圖像中的實際位置。

4) Kalman校正階段

在跟蹤結(jié)束后，為使濾波器的預(yù)測結(jié)果能夠及時跟上目標(biāo)位置的變化，需要采用目標(biāo)的實際位置信息對Kalman濾波器進(jìn)行校正。具體的校正方程如下：

(7)

(8)

(9)

其中：Yk為目標(biāo)位置的觀測向量，也即目標(biāo)的實際位置；Kk為Kalman增益矩陣。

2融合Kalman濾波器殘差和Bhattacharyya系數(shù)的遮擋處理機(jī)制

傳統(tǒng)的Mean Shift算法采用顏色直方圖作為模型特征進(jìn)行跟蹤，這對于目標(biāo)小部分遮擋、輕微變形和旋轉(zhuǎn)等情況都具有較好適用性。但是顏色直方圖是一種弱的模型表達(dá)方式，當(dāng)目標(biāo)被大面積遮擋甚至完全遮擋時，待選模型的顏色直方圖與目標(biāo)模型的相似程度將大大降低，很有可能導(dǎo)致Mean Shift迭代收斂到圖像中的其他位置而跟蹤失敗。而采用Kalman濾波器進(jìn)行預(yù)測時，由于參考了目標(biāo)的歷史軌跡信息，因而即使在被遮擋情況下仍能比較準(zhǔn)確地預(yù)測目標(biāo)位置。但由于無法準(zhǔn)確獲取目標(biāo)的觀測位置，此時校正Kalman濾波器將會降低濾波器的準(zhǔn)確性，因此有必要對遮擋情況進(jìn)行判斷。文獻(xiàn)[8-9]采用混合相似度檢測遮擋，并在模型更新過程中引入相互監(jiān)督機(jī)制，文獻(xiàn)[10]將跟蹤窗口分塊處理，并通過每個子模塊的相似度變化來建立遮擋判斷準(zhǔn)則，都能取得一定效果，但計算過于復(fù)雜。文獻(xiàn)[11]采用Kalman濾波器殘差作為遮擋檢測依據(jù)，僅僅只考慮了目標(biāo)的運動信息，文獻(xiàn)[12]采用目標(biāo)模型與待選模型的Bhattacharyya系數(shù)作為依據(jù)，僅使用了目標(biāo)的顏色分布信息，都不能較準(zhǔn)確進(jìn)行遮擋檢測。本研究利用目標(biāo)的運動信息和顏色直方圖分布特征，提出一種融合Kalman濾波器殘差和Bhattacharyya系數(shù)的遮擋處理機(jī)制。

定義預(yù)測位置Xk=[xk,yk]T和觀測位置Yk=[xck,yck]T，則Kalman濾波器殘差可以表示為

(10)

在出現(xiàn)遮擋時，目標(biāo)模型與待選模型之間的Bhattacharyya系數(shù)急劇減小，導(dǎo)致r(k)急劇增加，因此可定義遮擋判別系數(shù)T(k)如下：

(11)

在正常情況下，T(k)變化不大；出現(xiàn)大面積遮擋時，T(k)會急劇增大，并且比r(k)的增加程度更大，比僅僅使用Kalman濾波器殘差進(jìn)行判斷時變化更加明顯，因此可以利用T(k)進(jìn)行遮擋判斷。

本研究提出的處理機(jī)制如下：首先設(shè)置閾值ε，并在每幀圖像的跟蹤過程結(jié)束后計算T(k)。然后將T(k)與閾值ε進(jìn)行比較，如果T(k)增加到遠(yuǎn)大于ε，說明目標(biāo)被大面積遮擋，立即停止校正Kalman濾波器，但仍然利用Kalman濾波器線性預(yù)測目標(biāo)位置；如果T(k)重新減小到ε以下，則重新啟動Kalman濾波器校正過程。

3基于自適應(yīng)更新因子的目標(biāo)模型更新機(jī)制

在目標(biāo)跟蹤過程中，會出現(xiàn)遮擋、光照變化等情況，因此必須更新背景模型以適應(yīng)場景的動態(tài)變化。本文基于遮擋判別系數(shù)T(k)來更新目標(biāo)模型，具體思路如下[13]：

(12)

其中：qk為k時刻的目標(biāo)顏色模型；pk為k時刻Kalman濾波器預(yù)測的目標(biāo)模型；ε1為模型更新閾值；λ為自適應(yīng)的更新因子，與T(k)的梯度變化相關(guān)，且-0.5<λ<0.5。

當(dāng)T(k)>ε1時，表明場景中出現(xiàn)遮擋、光照變化等情況。并且如果T(k)的梯度正向變化，說明場景中動態(tài)變化較大，Mean Shift跟蹤的結(jié)果誤差較大，而Kalman濾波器由于結(jié)合了目標(biāo)的歷史軌跡信息，因此其在當(dāng)前時刻預(yù)測的目標(biāo)模型可信度更高，所以令λ>0，使對應(yīng)的預(yù)測狀態(tài)在目標(biāo)模型中的比重更大，反之令λ<0，使上一時刻的目標(biāo)模型所占比重更大。如果T(k)≤ε1，表明場景變化不大，但是為了適應(yīng)可能出現(xiàn)的場景緩慢變化，此處直接按上一時刻的目標(biāo)模型進(jìn)行更新。

4實驗結(jié)果與分析

4.1目標(biāo)快速運動情況

如圖1所示，采用的視頻序列為模擬的足球比賽視頻，其中上、下分別為傳統(tǒng)Mean Shift算法和改進(jìn)算法的跟蹤效果圖。可以看到，在足球飛行過程中，在第310幀和320幀時，足球處于上升階段，采用兩種算法都能夠跟蹤足球飛行軌跡，但改進(jìn)算法的跟蹤效果更好，能夠用跟蹤框準(zhǔn)確鎖定序列中的足球位置，而傳統(tǒng)的Mean Shift 算法仍有一定偏差。在第330幀時， 足球處于下墜階段，運動速度更快。此時，傳統(tǒng)的Mean Shift算法跟蹤誤差較大，跟蹤框與目標(biāo)的實際位置相距較遠(yuǎn)，而改進(jìn)算法仍能夠準(zhǔn)確跟蹤足球運動軌跡。這是由于在目標(biāo)快速運動時，Kalman濾波器仍能夠準(zhǔn)確預(yù)測目標(biāo)軌跡，從而提高了跟蹤效果。

4.2目標(biāo)被完全遮擋情況

如圖2所示，所用視頻序列為自拍視頻，其中上圖、下圖分別為傳統(tǒng)算法和改進(jìn)算法的跟蹤效果圖。在第256幀時，目標(biāo)未被遮擋，兩種算法都能夠較好地跟蹤目標(biāo)。隨后在行進(jìn)過程中，目標(biāo)三次被樹木完全遮擋。在第390幀時，目標(biāo)第三次被完全遮擋，此時采取傳統(tǒng)的Mean Shift算法已經(jīng)完全無法搜尋到和目標(biāo)模型匹配的位置。而相比之下，改進(jìn)算法仍然能準(zhǔn)確跟上目標(biāo)位置的變化，但此時只進(jìn)行了Kalman預(yù)測過程，沒有開啟校正過程。在第412幀時，目標(biāo)再次出現(xiàn)，改進(jìn)算法能迅速鎖定目標(biāo)，而傳統(tǒng)算法誤差巨大。同時，在此階段，目標(biāo)出現(xiàn)了三次遮擋情況，改進(jìn)算法都能夠準(zhǔn)確地定位圖像中目標(biāo)位置，說明本文設(shè)計的遮擋處理機(jī)制取得了較好的跟蹤效果，并且目標(biāo)模型更新機(jī)制對遮擋具有較好的魯棒性。

圖1　目標(biāo)快速運動情況下跟蹤效果對比

圖2　目標(biāo)被完全遮擋情況下跟蹤效果對比

5結(jié)論

本研究對Mean Shift算法在目標(biāo)快速運動和被大范圍遮擋兩種情況下的跟蹤問題進(jìn)行了研究，主要創(chuàng)新點如下：

1) 提出將Kalman濾波器預(yù)測得到的目標(biāo)位置作為Mean Shift迭代的起始位置，并根據(jù)目標(biāo)的觀測位置反饋校正Kalman濾波器。實驗證明該方式有效提高了在目標(biāo)快速運動情況下的跟蹤效果。

2) 提出了融合Kalman濾波器殘差和Bhattacharyya系數(shù)的遮擋處理機(jī)制，能有效提高在目標(biāo)被大面積遮擋情況下的跟蹤效果。

3) 提出一種基于自適應(yīng)更新因子的目標(biāo)模型更新機(jī)制，實驗表明對遮擋情況具有較好的魯棒性。

參考文獻(xiàn):

[1]CHENG Y Z.Mean shift,mode seeking,and clustering[J].Pattern Analysis and Machine Intelligence,IEEE Computer Society,1995,17(8):790 -799.

[2]COMANICIU D,RAMESH V,MEER P.Kernel-based object tracking[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2003,25(2):564-577.

[3]朱勝利，朱善安，李旭超.等.快速運動目標(biāo)的Mean Shift跟蹤算法[J].光電工程,2006,33(5):66-70.

[4]LI S X,CHANG H X,ZHU C F.Adaptive pyramid mean shift for global real-time visual tracking[J].Image and Vision Computing,2010,28(3)：424-437.

[5]SHEN C H,BROOKS M J,VAN DEN HENGED.A Fast Global Kernel Density Mode Seeking:Applications to Localization and Tracking[J].IEEE Transactions on Image Processing,2007,16(5):1457-1469.

[6]章學(xué)靜,陳禾,楊靜.結(jié)合卡爾曼濾波器和Mean Shift的抗遮擋跟蹤算法[J].北京理工大學(xué)學(xué)報,2013,33(10):1056-1061.

[7]左軍毅，程詠梅，王正平.一種對背景干擾及遮擋魯棒的視頻目標(biāo)跟蹤算法[J].計算機(jī)測量與控制,2009,17(11):2292-2294.

[8]鄒小東，于鴻洋，張萍.基于Camshift與Kalman濾波算法的動態(tài)目標(biāo)跟蹤[J].電視技術(shù),2012,36(15):120-123.

[9]楊紅霞，杭亦文，劉旭.基于Meanshift與kalman濾波器的視頻目標(biāo)跟蹤算法[J].武漢理工大學(xué)學(xué)報:信息與管理工程版,2012,34(2):147-150.

[10]王建華,王春平,梁偉,等.Mean Shift跟蹤的背景優(yōu)化及動態(tài)分析[J].電光與控制，2012，19(2):17-21.

[11]韓濤,吳衡,張虎龍.Kalman濾波融合優(yōu)化 Mean Shift 的目標(biāo)跟蹤算法[J].光電工程,2014,41(6):56-62.

[12]王江濤,楊靜宇.遮擋情況下基于 Kalman 均值偏移的目標(biāo)跟蹤[J].系統(tǒng)仿真學(xué)報,2007,19(18):4216-4220.

[13]常發(fā)亮,劉雪,王華杰.基于均值漂移與卡爾曼濾波的目標(biāo)跟蹤算法[J].計算機(jī)工程與應(yīng)用,2007,43(12):50-52.

[14]趙齊月，毛征孟，凡剛，等. 基于特征貢獻(xiàn)度的MeanShift目標(biāo)跟蹤[J]．兵工自動化，2015(8)：37-40.

(責(zé)任編輯楊繼森)

Moving Target Tracking Algorithm Based on Improved Mean Shift

XU Huo-xi

(School of Electronic Information, Huanggang Normal University, Huangzhou 438000, China)

Abstract:To improve the tracking effect of traditional Mean Shift algorithm in fast motion and being blocked in large areas of moving targets, the Mean Shift algorithm was improved in three aspects in this paper. Firstly, a Kalman filter was used to predict the target tracks to improve the robustness to fast targets. Secondly, an occlusion-handling mechanism combining Kalman filter residuals and Bhattacharyya coefficients was put forward to improve the tracking effect of largely-occluded targets. Thirdly, an update mechanism based on an adaptive update factor was proposed to improve the dynamic adaptability of target models. At last, the comparison experiments results showed that the developed algorithm could improve the tracking effect in both cases and had good robustness to occlusion.

Key words:Mean Shift; Kalman filter; occlusion handling; targets tracking

文章編號：1006-0707(2016)02-0127-04

中圖分類號：TP391

文獻(xiàn)標(biāo)識碼：A

doi:10.11809/scbgxb2016.02.031

作者簡介：徐火希(1969—)，男，博士，講師，主要從事計算機(jī)視覺、數(shù)字信號處理研究。

收稿日期：2015-10-20；修回日期：2015-11-06

本文引用格式：徐火希.基于改進(jìn)Mean Shift的運動目標(biāo)跟蹤算法[J].兵器裝備工程學(xué)報，2016(2):127-130.

【信息科學(xué)與控制工程】