基于多特征在線模板更新的魯棒目標(biāo)跟蹤算法

陳東岳，陳宗文，桑永嘉

(東北大學(xué)信息科學(xué)與工程學(xué)院，110136沈陽)

目標(biāo)跟蹤是計算機(jī)視覺領(lǐng)域的核心研究課題之一，在視頻監(jiān)控、智能機(jī)器人、導(dǎo)彈制導(dǎo)、汽車輔助駕駛系統(tǒng)、體感控制等諸多領(lǐng)域有著廣泛的應(yīng)用.

基于單攝像機(jī)的目標(biāo)跟蹤算法根據(jù)算法思想的不同可以分為三大類.第一類是基于在線學(xué)習(xí)的跟蹤算法，這類算法可以通過學(xué)習(xí)建立并更新目標(biāo)的表觀模型，也可以通過學(xué)習(xí)訓(xùn)練分類器，實(shí)現(xiàn)目標(biāo)與背景的區(qū)分.代表性工作包括在線Adaboost算法(簡稱 OAB)［1-2］、多實(shí)例學(xué)習(xí)算法(簡稱MIL)［3］.這類算法的本質(zhì)是通過單幀目標(biāo)檢測與識別實(shí)現(xiàn)跟蹤，因此又稱為“先檢測后跟蹤”.此類方法的特點(diǎn)是魯棒性強(qiáng)，缺點(diǎn)是訓(xùn)練耗時，跟蹤速度較慢.

第二類是蒙特卡羅跟蹤算法，這類算法將跟蹤問題轉(zhuǎn)化為非線性非高斯的貝葉斯濾波問題，通過求解濾波問題實(shí)現(xiàn)目標(biāo)的狀態(tài)估計.比較典型的算法包括粒子濾波跟蹤［4-5］與馬爾可夫鏈蒙特卡羅方法［6］.由于實(shí)際跟蹤問題都是非線性非高斯的，其貝葉斯準(zhǔn)則下的后驗(yàn)概率計算是一個積分運(yùn)算.考慮到退化問題，大多數(shù)粒子濾波算法采用候選樣本狀態(tài)的加權(quán)均值進(jìn)行目標(biāo)狀態(tài)估計［7］.馬爾可夫鏈蒙特卡羅方法則從眾多候選框中選取后驗(yàn)概率最大的樣本，通常還會與擴(kuò)展卡爾曼濾波方法相結(jié)合進(jìn)行運(yùn)動估計［8］.此類方法在理論上比較完善，但現(xiàn)實(shí)中的跟蹤問題通常難以滿足貝葉斯估計的要求，因此在實(shí)際應(yīng)用中效果并不理想.

第三類算法是以均值漂移(Mean-shift)和活動輪廓模型為代表的基于特征概率密度梯度的迭代跟蹤算法.Mean-shift算法使用色彩作為基本特征［9-11］，而活動輪廓模型通常使用梯度作為基本特征［12-13］.這兩種方法的本質(zhì)都是有約束的梯度搜索，相比之下Mean-shift算法更加簡單快速，魯棒性更好;但在跟蹤精度上略遜于活動輪廓模型.而活動輪廓模型則對背景和目標(biāo)本身的紋理復(fù)雜度和輪廓清晰程度比較敏感.

通過對上述算法的分析，各類算法各有利弊.目前目標(biāo)跟蹤領(lǐng)域研究的主流思想是通過多種方法的融合解決實(shí)際跟蹤過程中出現(xiàn)的目標(biāo)突變、光照變化、遮擋、目標(biāo)消失以及復(fù)雜動態(tài)環(huán)境等問題.本文正是基于上述思想，在Mean-shift算法框架下提出了一種基于多特征融合與模板在線更新策略的魯棒跟蹤算法.

1 算法概述

1.1 Mean-shift跟蹤算法分析

Mean-shift算法最早是由 Comaniciu 等［9］于2000年首次將其應(yīng)用于目標(biāo)跟蹤問題，取得了較好效果.經(jīng)典的Mean-shift跟蹤算法的核心思想可以用式(1)來描述:

式中:x為跟蹤框的中心位置坐標(biāo)，xi，i=1，2，…，n為跟蹤框覆蓋的全部n個像素點(diǎn)的坐標(biāo)，G為核函數(shù)，用于調(diào)節(jié)跟蹤框內(nèi)不同位置的像素在概率密度估計中的作用;函數(shù)w(xi)用于度量像素xi從屬于待跟蹤目標(biāo)的程度或可能性，盡管在不同的算法中函數(shù)w(xi)的數(shù)學(xué)形式略有區(qū)別，但總體上可以定性地理解為:像素xi對應(yīng)的特征在跟蹤模板中出現(xiàn)的可能性越大則w(xi)越大．因此，Mean-shift算法的核心思想就是尋找到一個跟蹤框使其加權(quán)中心與幾何中心重合．而這個尋找過程是通過一種迭代逼近的方式完成的．目前，關(guān)于Mean-shift算法中的核函數(shù)選擇的研究已經(jīng)比較成熟．因此Mean-shift算法的改進(jìn)主要集中在如何計算函數(shù)w(xi)，如何優(yōu)化搜索方式以及模板更新策略等問題上．

分析后，發(fā)現(xiàn)函數(shù)w(xi)主要與兩個因素有關(guān):一是用什么特征來描述像素xi，二是如何定義待跟蹤目標(biāo)的模板．而實(shí)際上經(jīng)典Mean-shift算法的大部分缺陷也體現(xiàn)在這兩個因素上.經(jīng)典Mean-shift算法使用色彩作為基本特征，并利用色彩直方圖描述跟蹤模板，且其跟蹤模板通常僅取決于第一幀初始跟蹤框內(nèi)的圖像塊，在跟蹤過程中不進(jìn)行更新.然而，在實(shí)際應(yīng)用中，可能出現(xiàn)遮擋、目標(biāo)形變以及目標(biāo)與背景的色彩過于相似等問題.當(dāng)目標(biāo)與背景的色彩相似時，色彩直方圖無法有效區(qū)分目標(biāo)與背景，會造成跟蹤漂移甚至跟蹤失敗.遮擋與目標(biāo)形變則使得目標(biāo)表觀特征與跟蹤模板的相似度下降，當(dāng)兩者差異累積到一定程度時，原有模板已經(jīng)無法有效描述當(dāng)前目標(biāo)，從而導(dǎo)致跟蹤失敗.本文試圖通過引入多特征融合與模板更新機(jī)制解決由色彩相似或模板偏差造成的跟蹤漂移和跟蹤失敗問題.

1.2 算法流程

在經(jīng)典的Mean-shift跟蹤算法框架下，提出了色彩與紋理特征的融合機(jī)制以及能夠區(qū)分目標(biāo)漸變與目標(biāo)遮擋的在線模板更新算法.與傳統(tǒng)Mean-shift算法相比，本文在算法流程中添加了特征融合與模板更新兩個環(huán)節(jié).在特征融合部分，將光照不變性色彩特征與旋轉(zhuǎn)不變性紋理特征通過BWH算法進(jìn)行加權(quán)融合以獲取跟蹤目標(biāo)位置的估計值;在模板更新環(huán)節(jié)，建立遮擋檢測算法判別遮擋現(xiàn)象與自身形變，從而為決定是否進(jìn)行模板更新.具體的算法流程如圖1所示.

圖1 算法流程圖

2 色彩與紋理特征的提取與融合

在特征的選擇上，為了解決目標(biāo)與背景的某種特征過于相似的問題，應(yīng)選取具有互補(bǔ)性的局部特征.因此本文提出了基于色彩特征與紋理特征相融合的像素權(quán)值估計方法.

2.1 照度不變性色彩特征提取

在跟蹤過程中，隨著光照條件的變化，目標(biāo)色彩與亮度會發(fā)生變化，目標(biāo)當(dāng)前色彩直方圖與模板的色彩直方圖的相似度降低，從而導(dǎo)致跟蹤失敗.因此，目標(biāo)的色彩特征應(yīng)具有較強(qiáng)的光照不變性.在比較了不同的色彩空間的特性后，本文選用了HSV色彩空間，去除亮度分量V，保留色調(diào)分量H和飽和度分量S，用于建立二維色彩直方圖.一般將每個分量的數(shù)值范圍線性劃分為16個級別，構(gòu)建一個16×16的直方圖矩陣.圖2給出了兩幅內(nèi)容相同，照度不同的圖像.兩幅圖像在HSV空間的直方圖相似度較高，能夠滿足算法的要求.

圖2 不同光照條件下的色彩直方圖對比

2.2 基于LBP的紋理特征提取

紋理是反映目標(biāo)表面色度和亮度變化模式的視覺特征.考慮到本文所需的紋理特征必須是與像素一一對應(yīng)的局部特征，因此沒有選擇熵、高階矩以及頻率能量等統(tǒng)計性特征，而是提出了一種具有旋轉(zhuǎn)不變性的LBP(local binary pattern)特征的提取算法.LBP特征最早由Ojala等［14］于1994年提出，是一種高效的局部紋理特征提取算法.按照傳統(tǒng)的LBP算法，首先以當(dāng)前像素點(diǎn)gc為中心(gc為該點(diǎn)的亮度值)，r為半徑，建立圓形，并在圓周上順指針取點(diǎn)gi，i=1，2，…，N建立鄰域點(diǎn)集．圖3給出了3種不同半徑下的鄰域點(diǎn)集分布模式(改自文獻(xiàn)［14］)．

圖3 3種不同的LBP鄰域點(diǎn)分布

本文使用半徑為r=1，鄰域點(diǎn)個數(shù)為N=8的情況．逐個將鄰域點(diǎn)gi與中心點(diǎn)gc進(jìn)行比較，如gi的亮度高于gc，記為1;否則記為0．則圓周上的8個像素將對應(yīng)于一個八位二進(jìn)制數(shù)．將該二進(jìn)制數(shù)轉(zhuǎn)化為十進(jìn)制數(shù)，即為當(dāng)前像素gc對應(yīng)的LBP特征，其值域范圍為［0，255］．

LBP特征能夠較好的反映像素點(diǎn)局部鄰域的空間分布模式，能夠?yàn)檫吘?、角點(diǎn)等特征點(diǎn)提供可分性較強(qiáng)的數(shù)學(xué)描述.然而，傳統(tǒng)的LBP算法并不具有旋轉(zhuǎn)不變性.Salberg等［15］提出了一些具有旋轉(zhuǎn)不變性的改進(jìn)型LBP算法.但考慮到計算的復(fù)雜度以及可區(qū)分度方面的要求，對于實(shí)時目標(biāo)跟蹤問題而言效果并不理想.針對上述問題，將形狀數(shù)的概念引入到LBP特征描述方法中，提出了一種新的具有旋轉(zhuǎn)不變性的魯棒LBP特征提取算法(RRLBP，rotation-invariant robust LBP).

首先，為克服局部噪聲對LBP特征的影響，定義RRLBP二進(jìn)制序列計算函數(shù)如式(2)所示.其中Bi(gc)表示像素gc對應(yīng)的LBP二進(jìn)制數(shù)中的第i位.

對生成的二進(jìn)制數(shù)B進(jìn)行循環(huán)移位操作．設(shè)循環(huán)左移 p位后得到的二進(jìn)制數(shù)記為 Bp，p=1，2，…，m．在循環(huán)左移產(chǎn)生的全部m個新的二進(jìn)制數(shù)中，找到數(shù)值最小的一個，將其轉(zhuǎn)為十進(jìn)制數(shù)作為LBP特征輸出．例如，gc對應(yīng)的原二進(jìn)制數(shù)為00110001，則其對應(yīng)的最小二進(jìn)制數(shù)為循環(huán)左移5位得到的00010011，對應(yīng)的RRLBP特征為19.從算法中不難看出，目標(biāo)或目標(biāo)局部的RRLBP特征具有較好的旋轉(zhuǎn)不變性.基于上述算法，以本文提出的RRLBP為局部像素基本特征，參照標(biāo)準(zhǔn)Meanshift算法對跟蹤框內(nèi)的圖像塊進(jìn)行核化RRLBP直方圖估計(為去除平坦區(qū)域?qū)ean-shift算法的影響，RRLBP特征為0的點(diǎn)不參與直方圖的統(tǒng)計).圖4(a)、(b)給出了具有旋轉(zhuǎn)變化和光照變化的2張手部圖像以及相應(yīng)的RRLBP特征圖.圖4(c)、(d)為相應(yīng)的RRLBP核化直方圖.從圖中可以看出，兩幅圖像的直方圖幾乎沒有變化，相關(guān)系數(shù)達(dá)到0.987 8.這說明本文提出的RRLBP特征具有較強(qiáng)的旋轉(zhuǎn)不變性和對光照條件變化的魯棒性.

圖4 RRLBP特征提取結(jié)果

2.3 基于BWH的自適應(yīng)特征融合

利用照度不變性色彩特征提取及LBP的紋理特征提取的方法可以實(shí)現(xiàn)目標(biāo)色彩特征與紋理特征的提取.然而在Mean-shift算法框架下每個像素只能被賦予一個權(quán)值w(xi)．因此需要對特征進(jìn)行融合.本文算法提取的色彩特征和紋理特征具有較強(qiáng)的互補(bǔ)性，其目的在于增強(qiáng)算法對不同目標(biāo)和背景的適應(yīng)性.例如當(dāng)目標(biāo)色彩與背景色彩有明顯區(qū)別時，應(yīng)以色彩特征為主進(jìn)行跟蹤;而在二者的紋理特征區(qū)別比較明顯時，則對紋理特征賦予更大權(quán)重.基于上述考慮，本文提出了一種基于BWH(background-weighted histogram)算法的自適應(yīng)特征融合方法.

BWH最早用于去除由于目標(biāo)初始化不準(zhǔn)確造成的背景像素對目標(biāo)模板直方圖的影響［16］.本文則利用BWH算法對不同特征進(jìn)行權(quán)值調(diào)整.設(shè)目標(biāo)模板直方圖為 {qu}u=1，2，…，m，當(dāng)前幀目標(biāo)候選區(qū)域直方圖{pu}u=1，2，…，m，背景模板直方圖為{ou}u=1，2，…，m，則修正后的目標(biāo)模板直方圖{u}u=1，…，m可由式(3)得到

其中

式中:o*為背景模板直方圖{ou}u=1，2，…，m的非零最小值，經(jīng)過上述修正，目標(biāo)模板直方圖中與背景模板直方圖相似的特征成分將會被抑制．分別對色彩特征直方圖和紋理特征直方圖進(jìn)行上述操作，修正后的兩種特征的目標(biāo)模板直方圖分別記為．對于某個給定的像素xi，若其色彩特征值為u*，紋理特征值為v*．則其權(quán)值w(xi)為

其中

在實(shí)際操作中，背景模板直方圖通過統(tǒng)計圖5中的大框與小框之間的回字形區(qū)域得到．圖5中的第二行給出了特征融合前后的像素權(quán)值空間分布圖．其中圖5(a)、(c)為直方圖修正前基于色彩特征和紋理特征的像素權(quán)值分布圖圖5(b)、(d)為直方圖修正后的兩種特征對應(yīng)的像素權(quán)值分布(x);圖5(e)為特征融合后最終得到的w(x)的分布．從圖5(a)可以看出，在直方圖修正前，背景的綠色區(qū)域的像素權(quán)值很大;圖5(c)中基于LBP特征的目標(biāo)與背景邊界區(qū)域的像素權(quán)值也較高;經(jīng)過修正后，基于色彩特征的像素權(quán)值分布主要集中在目標(biāo)身上的方框區(qū)域(區(qū)別于草地的淺綠色)，而基于LBP特征的高權(quán)值像素則主要集中在目標(biāo)球衣上的數(shù)字區(qū)域．從圖5(e)給出的融合結(jié)果可以看出，兩種特征的數(shù)值大小比例比較合理，球員背后的數(shù)字區(qū)域權(quán)值較高，從而避免了球衣和草地顏色相近造成的混淆．這說明本文提出的基于BWH的特征融合方法具有較強(qiáng)的自適應(yīng)調(diào)節(jié)能力，能夠自動選擇合理的加權(quán)比例以實(shí)現(xiàn)目標(biāo)與背景的區(qū)分．

圖5 特征融合結(jié)果

3 迭代搜索與在線模板更新

Mean-shift算法在每一幀的跟蹤過程中，使用迭代更新像素加權(quán)中心的方式實(shí)現(xiàn)目標(biāo)搜索.然而當(dāng)目標(biāo)或背景特征分布比較復(fù)雜，或目標(biāo)自身發(fā)生形變以及遮擋現(xiàn)象時，傳統(tǒng)的Mean-shift算法難以保證算法的魯棒性，容易發(fā)生基于累積誤差的漂移現(xiàn)象.為了解決上述問題，本文在傳統(tǒng)的Mean-shift算法框架下加入了基于直方圖相似度校驗(yàn)的迭代搜索策略以及基于直方圖差異空間分布圖的模板更新策略.

3.1 目標(biāo)搜索策略

傳統(tǒng)Mean-shift算法的搜索步驟是計算當(dāng)前跟蹤框內(nèi)像素的核化加權(quán)中心xc，將跟蹤框的幾何中心x0移動加權(quán)中心xc，重復(fù)上述過程直至xc=x0．然而在實(shí)際過操作過程中，經(jīng)常會出現(xiàn)迭代難以收斂和跟蹤框漂移現(xiàn)象．為此，本文提出了基于直方圖相似度校驗(yàn)的迭代搜索策略，具體算法步驟如下:

1)根據(jù)式(6)計算當(dāng)前跟蹤框內(nèi)圖像的修正色彩直方圖

3)按照傳統(tǒng)Mean-shift算法將跟蹤框中心移動至當(dāng)前框內(nèi)像素加權(quán)中心，重復(fù)步驟1和2.若重復(fù)過程中得到的直方圖總相似度S從第i次搜索開始連續(xù)3次呈現(xiàn)下降趨勢，則將跟蹤框移動至第i次的中心位置xi與第i-1次的中心位置xi-1連線的中點(diǎn)，并隨機(jī)加上1～2個像素的擾動．

4)重復(fù)上述步驟，直到跟蹤框位置收斂或達(dá)到最大迭代次數(shù)則停止搜索.

3.2 遮擋檢測

在模板更新策略的設(shè)計方面，需要考慮兩個基本問題，即“何時需要更新模板”以及“如何更新模板”.一般來講，當(dāng)目標(biāo)的表觀特征發(fā)生變化時需要更新模板，然而在實(shí)際問題中，目標(biāo)表觀特征的變化既可能是目標(biāo)自身的變化、光照條件變化或攝像機(jī)視角變化引起的，也可能是由遮擋現(xiàn)象引起的.因此如何區(qū)分二者成為跟蹤問題中的一個難題.

式(7)的本質(zhì)是尋找面積比例增加最快的某種色彩．顯然新加入的遮擋物會產(chǎn)生較大的θu．然而單純依靠式(7)仍然不能完善的解決遮擋現(xiàn)象與自身形變的區(qū)分．以人員跟蹤為例，目標(biāo)在行走過程中可能突然轉(zhuǎn)身，由于其衣服的色彩前后不同造成某種全新的色彩在跟蹤框中所占比例突然增大，又或者是彩色光照條件的變化引發(fā)目標(biāo)表觀特征中的色彩分量的比例發(fā)生變化．為解決上述問題，定義直方圖差異空間分布圖φ(x)．設(shè)點(diǎn)x的色彩特征為Ⅰ(x)，Ⅰ(x)的取值為1，2，…，m．令

顯然新加入的色彩將會在空間分布圖φ(x)具有較高的灰度．圖6給出了遮擋現(xiàn)象發(fā)生時的檢測結(jié)果．圖6(a)為視頻中發(fā)生遮擋現(xiàn)象的一幀圖像，方框區(qū)域?yàn)楦櫧Y(jié)果．圖6(b)為直方圖差異空間分布圖φ(x)．從中可以看出遮擋物(書籍)區(qū)域的直方圖差異明顯高于目標(biāo)及其他背景區(qū)域．圖6(c)為直方圖差異θu．從中可以看出對應(yīng)于遮擋物的藍(lán)色分量數(shù)值遠(yuǎn)高于其他分量．基于上述結(jié)果，本文綜合直方圖總相似度S、直方圖差異θu以及直方圖差異空間分布圖φ(x)3個指標(biāo)對遮擋現(xiàn)象與自身變化進(jìn)行區(qū)分．將φ(x)的灰度加權(quán)中心與幾何中心的距離記為d．則以下3個條件同時滿足時，判為遮擋現(xiàn)象．

條件1S＜TS，TS為相似度閾值，一般取0.6～0.7．

條件2 max(θu)＞Tθ，Tθ為直方圖差異閾值，一般為跟蹤框像素個數(shù)的1/50～1/25．

條件3d＞Td，Td為距離閾值，一般取值為跟蹤框?qū)蔷€長度的0.1～0.5倍．

根據(jù)圖1的算法流程，首先判斷是否發(fā)生遮擋.如發(fā)生遮擋則不更新模板，否則對模板進(jìn)行更新.需要注意的是本文算法共有4個模板，分別為:目標(biāo)色彩直方圖模板，目標(biāo)紋理直方圖模板，背景色彩直方圖模板，背景紋理直方圖模板.4個模板的更新算法均相同，設(shè)t時刻的待更新模板為H(t)，當(dāng)前跟蹤結(jié)果對應(yīng)的模板為L(t)，則更新公式為

式中:一般ρ取2，以使新進(jìn)入的模板具有更大的權(quán)重，從而提高算法對目標(biāo)形變的跟蹤能力.將本文提出的特征提取與融合算法以及迭代搜索算法帶入傳統(tǒng)Mean-shift跟蹤算法框架，并添加遮擋判斷與模板更新環(huán)節(jié).實(shí)現(xiàn)對具有自身形變的目標(biāo)的魯棒跟蹤.

圖6 遮擋現(xiàn)象檢測結(jié)果

4 實(shí)驗(yàn)與分析

為測試本文方法的跟蹤性能，作者從多篇相關(guān)文獻(xiàn)和互聯(lián)網(wǎng)上搜集了8段比較有代表性的視頻(Animal、 Basketball、 Soccer、 Singer、 Skating1、Skating2［16］，F(xiàn)ootbal［17］，Tabletennisl(CIPR SIF Sequence數(shù)據(jù)庫［18］)).時長從3 ～795 s不等;幀率從23～29 fps不等;單幀分辨率從352×240～1280×720不等.并選取了加入BWH機(jī)制的Mean-shift算法(簡稱 BWH+MS)［19］、OAB 算法［1］、MIL 算法［3］3種性能較好的跟蹤算法進(jìn)行比較.所有算法均在Window7，64位操作系統(tǒng)下運(yùn)行，電腦配置為內(nèi)存 4 G，Intel Corel，i7-2720QM CPU 2.20G.其中本文方法和BWH+MS的方法在Matlab 2012a平臺運(yùn)行;OAB和MIL算法則使用作者提供的源代碼在VC2005平臺運(yùn)行.

圖7給出了4種算法對“Basketball”視頻中部分關(guān)鍵幀的跟蹤結(jié)果.可以看出:OAB算法在42幀開始已經(jīng)出現(xiàn)了明顯的跟蹤漂移現(xiàn)象;MIL算法約在451幀左右出現(xiàn)漂移，并迅速轉(zhuǎn)移至另一名球員身上，這是算法對于同色遮擋現(xiàn)象的處理能力不足導(dǎo)致的;在第1 036幀，由于閃光燈作用，單幀圖像照度突然變化，恰在此時待跟蹤目標(biāo)與另一名同色球衣的球員相鄰，因此BWH+MS算法的跟蹤框轉(zhuǎn)移到了另一名球員身上;在4種算法中只有本文算法能夠完整地跟蹤到目標(biāo)，直到視頻結(jié)束.這說明本文算法對于遮擋，同色干擾以及照度突變等現(xiàn)象有較強(qiáng)的抵抗能力.

圖7 Basketball視頻跟蹤結(jié)果對比

圖8給出的“Skating1”視頻是目標(biāo)跟蹤領(lǐng)域經(jīng)典難題之一.主要難點(diǎn)在于目標(biāo)運(yùn)動速度不穩(wěn)定，背景復(fù)雜、光照條件變化快速且劇烈，尤其是視頻的后半段目標(biāo)幾乎完全進(jìn)入陰影區(qū)域，對于算法魯棒性的要求非常高.從圖8給出的實(shí)驗(yàn)結(jié)果看，MIL算法和OAB算法在舞臺燈光的干擾下，先后在第250幀和第435幀丟失了目標(biāo).從第435～890幀，OAB算法始終將地?zé)翦e認(rèn)為目標(biāo)，直到真正的目標(biāo)偶然經(jīng)過該區(qū)域?qū)Φ責(zé)粼斐闪苏趽?，才使得跟蹤框重新回到目?biāo)身上，之后約在1 470幀左右由于背景照度劇烈下降導(dǎo)致目標(biāo)丟失，直到視頻結(jié)束.BWH+MS算法在第1 069幀第一次丟失目標(biāo)，主要原因是由于滑冰者右腳白色冰鞋揚(yáng)起造成跟蹤框漂移，之后搜索陷入局部最小，導(dǎo)致跟蹤失敗.本文方法則始終保持良好的跟蹤效果，直至視頻結(jié)束.這一結(jié)果在現(xiàn)有的跟蹤算法中極為少見，說明本文算法對于上述復(fù)雜背景條件和各類干擾的處理能力較強(qiáng).

圖8 Skating1視頻跟蹤結(jié)果對比

由于本文算法中在初始化和算法執(zhí)行過程中(模板更新策略)存在一定的隨機(jī)性，為了得到具有統(tǒng)計意義的實(shí)驗(yàn)數(shù)據(jù)，采用4種算法對每段視頻重復(fù)10次跟蹤過程，每次的初始跟蹤框的位置和大小均進(jìn)行隨機(jī)小幅度調(diào)整.表1給出了10次平均成功跟蹤幀數(shù)以及10次中成功完成跟蹤直至視頻結(jié)束的次數(shù).從結(jié)果中可以看出本文方法對于8段中6段視頻都能較好完成跟蹤，對于比較困難的“Skating1”和“Skating2”兩段視頻的跟蹤成功率也在50%以上.而BWH+MS、OAB以及MIL對于8段視頻中的4～5段幾乎都無法完成跟蹤，對于比較困難的 Skating1、Skating2和Singer則在10次測試中從未成功完成過跟蹤任務(wù).通過比較可以看出，本文算法具有較強(qiáng)的魯棒性和較高的準(zhǔn)確性.

表1 跟蹤結(jié)果數(shù)據(jù)統(tǒng)計 幀/次數(shù)

5 結(jié)語

視頻目標(biāo)跟蹤是計算機(jī)視覺領(lǐng)域的經(jīng)典問題之一，之所以歷經(jīng)數(shù)十年始終保持研究熱度是由于視頻跟蹤問題本身的復(fù)雜性.與傳統(tǒng)的目標(biāo)檢測和識別問題不同，在實(shí)際應(yīng)用中待跟蹤目標(biāo)和背景的表觀特征經(jīng)常會發(fā)生快速且劇烈的變化.這些現(xiàn)象對跟蹤算法的魯棒性和快速適應(yīng)能力提出了極高的要求.本文方法充分考慮到這些困難，將Mean-shift算法、多特征融合、魯棒搜索以及模板更新等多種算法策略結(jié)合在一起，取得了比較好的跟蹤效果.

然而本文仍存在一些問題有待改進(jìn)，首先是算法的參數(shù)較多，不易調(diào)節(jié)和操作;其次是算法沒能實(shí)現(xiàn)跟蹤框大小的自動調(diào)節(jié)，對于由完全遮擋造成的目標(biāo)消失現(xiàn)象也未給出全面的解決方案.未來的工作將圍繞上述問題展開，并將跟蹤算法應(yīng)用于某一特定任務(wù)，取得應(yīng)用成果.

［1］GRABNER H，BISCHOF H.Online boosting and vision［C］//Computer Society Conference on Computer Vision and Pattern Recognition.New York:IEEE，2006:260-267.

［2］GRABNER H，GRABNER M，BISCHOF H.Real-time tracking via on-line boosting［C］//British Machine Vision.Edinburgh:Springer，2006:47-56.

［3］BABENKO B，YANG Ming-Hsuan，BELONGIE S.Robust object tracking with online multiple instance learning［J］. IEEE Transactionson Pattern Analysisand Machine Intelligence，2011，33(8):1619-1632.

［4］YONG Rui， CHENG Yunqiang. Betterproposal distributions:object tracking using unscented particle filter［C］//IEEE ComputerSocietyConferenceon Computer Vision and Pattern Recognition.Redmond:IEEE，2001:786-793.

［5］TEHRANI N H，TAKEUCHI A，MITA S，et al.On-road multivehicle tracking using deformable object model and particle filter with improved likelihood estimation［J］.Intelligent Transportation Systems，IEEE Transactions on，2012，13(2):748-758.

［6］SANTHOSHKUMAR S，KARTHIKEYAN S，MANJUNATH B S.Robust multiple object tracking by detection with interacting markov chain monte carlo［C］//IEEE International Conference on Image Processing.Melbourne:IEEE，2013:2953-2957.

［7］TIAN Jun，QIAN Jiansheng，LI Shiyin，et al.Visual tracking with adaptive multi-cue fusion particle filter［J］.Optics and Precision Engineering，2010，18(10):2254-2261.

［8］DORE A，SOTO M，REGAZZONI C S.Bayesian tracking for video analytics［J］.Signal Processing Magazine，2010，27(5):46-55.

［9］COMANICIU D，RAMESH V，MEER P.Real-time tracking of non-rigid object susingmean shift［C］//IEEE Computer Society Conference on Computer Vision and Pattern Recognition.Hilton:IEEE，2000:142-149.

［10］DU Kai，JU Yongfeng，JIN Yinli，et al.MeanShift tracking algorithm with adaptive block color histogram［C］//ConsumerElectronics， Communications and Networks (CECNet)，2012 2nd International Conference on.Yichang:IEEE，2012:2692-2695.

［11］WANG Daihou，WANG Changhong，QU Zhenshen.Adaptive model mean shift tracking［C］//Fifth International Conference on Machine Vision(ICMV 12).International Society for Optics and Photonics.Wuhan:SPIE，2013:878403-878405.

［12］YILMAZ A，LI X，SHAH M.Contour-based object tracking with occlusion handling in video acquired using mobile cameras［J］.Pattern Analysis and Machine Intelligence，IEEE Transactions on，2004，26(11):1531-1536.

［13］JEAN J H，LIAN F L.Robust visual servo control of a mobile robot for object tracking using shape parameters［J］.Control Systems Technology，IEEE Transactions on，2012，20(6):1461-1472.

［14］OJALA T，PIETIK?INEN，HARWOOD D.Performance evaluation of texture measures with classification based on Kull back discrimination of distributions［C］//Proceedings of the 12th IAPR International Conference on Pattern Recognition.Israel:IEEE，1994:582-585.

［15］SALBERG A B，HARDEBERG J Y，JENSSEN R.Rotation invariant image description with local binary pattern histogram fourier features［C］//ISCIA 2009 Proceedings.Heidelberg:Springer，2009:61-70.

［16］KWON J，LEE K.Visual tracking decomposition［C］//IEEE Computer Society Conference on Computer Vision and Pattern Recognition.San Francisco:IEEE，2010:1269-1276.

［17］COMANICIU D，MEMBER V，MEER P.Kernel-based object tracking［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2003，25(5):564-575.

［18］HOSSEINI M S，PLATANIOTIS K S.Temporal derivatives in compressed video sensing［C］//MMSP 2012 IEEE 14th International Workshop on.Banff，AB:IEEE，2012:31-36.

［19］JEYAKAR J，BABU R V，RAMAKRISHNAN K R.Robust object tracking with background-weighted local kernels［J］.Computer Vision and Image Understanding，2008，112(1):296-309.