基于顏色特征的自適應(yīng)尺度目標(biāo)跟蹤研究

馬松華，徐伯慶

(上海理工大學(xué) 光電信息與計(jì)算機(jī)工程學(xué)院，上海 200093)

0 引言

目標(biāo)跟蹤指對視頻序列中目標(biāo)的狀態(tài)進(jìn)行持續(xù)推斷，通過定位視頻中每一幀目標(biāo)生成運(yùn)動軌跡。隨著研究的不斷深入，人們提出了很多目標(biāo)跟蹤方法，但是對遮擋、姿態(tài)、快速運(yùn)動、光照變化以及尺度變化等情況仍面臨許多問題[1]。目標(biāo)跟蹤分為生成模型方法[2-5]和判別模型方法。生成模型方法是對當(dāng)前幀進(jìn)行目標(biāo)區(qū)域建模，然后在下一幀中尋找與模型區(qū)域最相似的區(qū)域，就是預(yù)測的目標(biāo)位置。判別模型方法主要是將目標(biāo)和背景區(qū)分開來，以目標(biāo)區(qū)域?yàn)檎龢颖?，背景區(qū)域?yàn)樨?fù)樣本，通過機(jī)器學(xué)習(xí)方法訓(xùn)練分類器，使其在下一幀中找到最佳目標(biāo)區(qū)域。

目前目標(biāo)跟蹤主要采用判別模型方法，其中相關(guān)濾波的引入效果很好。Bolme等[6]利用誤差最小平方和建立一個(gè)目標(biāo)背景分類器，找到一個(gè)濾波器，使其在目標(biāo)上響應(yīng)最大，同時(shí)在計(jì)算過程中使用快速傅里葉變換提升速度，對目標(biāo)和背景區(qū)分效果很好。Henriques等[7]提出利用核函數(shù)基于檢測跟蹤的循環(huán)結(jié)構(gòu)(Exploiting the Circulant Structure of Tracking-by-detection with Kernels，CSK),采用循環(huán)矩陣對目標(biāo)進(jìn)行密集采樣，通過核函數(shù)計(jì)算相鄰幀的相關(guān)性進(jìn)而得到目標(biāo)位置。CSK算法使用的是原始灰度特征，Henriques等[8]在此基礎(chǔ)上將單通道擴(kuò)展至多通道，利用方向梯度直方圖(Histogram of Oriented Gradient，HOG)作為外觀模型特征代替原始的灰度特征，提出了核相關(guān)濾波(Kernelized Correlation Filters,KCF)以及雙相關(guān)濾波(Dual Correlation Filters，DCF)，提升了跟蹤精度。Danelljan等[9]將顏色特征(color names,CN)應(yīng)用到相關(guān)濾波中，提高了目標(biāo)外觀的辨識能力，得到了很好的跟蹤效果。為實(shí)現(xiàn)自適應(yīng)尺度及結(jié)合顏色特征的目標(biāo)跟蹤，本文在CN算法基礎(chǔ)上提出一種尺度估計(jì)方法，采用標(biāo)準(zhǔn)跟蹤數(shù)據(jù)集OTB[10](Object Tracking Benchmark)中的視頻序列進(jìn)行驗(yàn)證，并與CN和其它跟蹤算法進(jìn)行對比。

1 CN跟蹤器

本文將自適應(yīng)顏色特征[11-19]作為目標(biāo)外觀模型，然后作用在CSK跟蹤器上，通過映射將目標(biāo)區(qū)域中的所有RGB值與11種基礎(chǔ)顏色[20]進(jìn)行關(guān)聯(lián)操作。為減少計(jì)算時(shí)間、提高跟蹤精度，將基礎(chǔ)顏色從較高的維度(11維)通過主成分分析法(PCA)降到二維，通過降維誤差最小化得到原始特征的大部分信息，見式(1)。

(1)

(2)

(3)

將顏色信息添加到擴(kuò)展的多維顏色特征CSK跟蹤器中，通過使用大小為M×N中心的帶有顏色信息的圖像塊x,利用循環(huán)移位xm,n，(m,n)∈{0,…，M-1}×{0,…，N-1}作為分類器的訓(xùn)練樣本，利用高斯函數(shù)y(m,n)通過最小化結(jié)構(gòu)風(fēng)險(xiǎn)泛函式(4)訓(xùn)練分類器。

(4)

其中，y(m,n)是xm,n的函數(shù)，λ是控制過擬合的正則化參數(shù)，φ是映射到核函數(shù)k引起的希爾伯特空間，定義內(nèi)積為<φ(f),φ(g)≥k(f,g)。通過w=∑m,na(m,n)φ(xm,n)得到式(5)中的最小值。

對系數(shù)a有：

(5)

這里F是離散傅里葉變換(DFT),其中Y=F{y}，Ux=F{ux}，ux(m,n)=k(xm,n,x)，同時(shí)對于所有的m、n、f和g，有k(fm,n,gm,n)=k(f,g)，文獻(xiàn)[7]證明核函數(shù)k具有平移不變性，這樣就可通過循環(huán)矩陣和高斯核函數(shù)求解相關(guān)濾波，通過相關(guān)濾波得到最大響應(yīng)位置。

2 自適應(yīng)尺度

(6)

其中，As為訓(xùn)練分類器中的學(xué)習(xí)系數(shù)，Ys為分類器的輸出，Uxs=F{uxs},uxs(m,n)=k(xsm,n,xs)。

(7)

(8)

(9)

由于相鄰兩幀中尺度的變化相對于位置變化較小，因此先通過帶有顏色特征的位置濾波器確定目標(biāo)位置，然后在目標(biāo)位置的周圍取不同尺度，通過計(jì)算尺度濾波的最大響應(yīng)值得到最佳尺度。

3 實(shí)驗(yàn)結(jié)果及分析

實(shí)驗(yàn)計(jì)算機(jī)配置為Intel(R) Core(YM) i5-3230M CPU，主頻2.60GHz,內(nèi)存4.0GB，軟件環(huán)境為MATLAB R2014a。對于視頻序列，算法參數(shù)保持不變。其中正則化參數(shù)λ為0.01，高斯核的標(biāo)準(zhǔn)差σ為0.2，學(xué)習(xí)因子α為0.075，空間帶寬s為1/16，尺度濾波器S為33，尺度因子γ為1.02，尺度學(xué)習(xí)因子β為0.25。

本實(shí)驗(yàn)采用中心位置誤差(Center Location Error，CLE)、距離精度[18](Distance Precision，DP)和成功率[21](Success Rate，SR)這3個(gè)評估標(biāo)準(zhǔn)衡量跟蹤器情況，相應(yīng)計(jì)算公式如下：

CLE表示估計(jì)的目標(biāo)中心位置與真實(shí)位置之間的歐式距離：

(10)

其中，(xi,yi)表示目標(biāo)的真實(shí)位置，(xi_st,yi_st)表示通過跟蹤算法得到第i幀的目標(biāo)中心位置。

DP表示中心位置誤差小于特定閾值的幀數(shù)與總幀數(shù)之比，有

(11)

其中，m表示中心位置誤差小于特定閾值(實(shí)驗(yàn)取20 pixel)的幀數(shù)，n表示視頻序列的總幀數(shù)。

SR計(jì)算公式為：

(12)

其中，Ri表示實(shí)驗(yàn)獲取的跟蹤框面積，Rst表示視頻序列中標(biāo)記的跟蹤框面積。

為驗(yàn)證本文算法的跟蹤效果，選取CarScale，Girl，Human8，Shaking，Singer1，Skater，Skating1，Toy，Tiger1和Vase這10個(gè)視頻序列進(jìn)行測試，表1給出了5種算法(CSK，KCF，DSST[10]，CN，本文算法)對10個(gè)視頻序列進(jìn)行跟蹤的平均CLE(in pixels)、DP(%)和SR(%)，其中最好的結(jié)果被加粗。從表1可以看出，與CN算法相比，平均中心位置誤差由原來的14.52 pixel下降到9.53 pixel，距離精度由原來的77.9%增加到現(xiàn)在的86.0%，成功率由原來的44.4%增加到71.3%，跟蹤效果明顯優(yōu)于CN算法，本文算法優(yōu)于其它算法。

表1 不同算法的平均CLE、DP、SR

3.1 定性分析

為更加直觀地和其它算法對比，本文選取了多組視頻序列，將所有的算法都在這些視頻序列上進(jìn)行測試，其跟蹤結(jié)果對比如圖1所示。為區(qū)別不同算法，分別用不同顏色的方框標(biāo)記，其中本文算法為紅色跟蹤框，CN算法為黑色跟蹤框，KCF為藍(lán)色跟蹤框，DSST為黃色跟蹤框，CSK為綠色跟蹤框。

在CarScale中，目標(biāo)存在尺度變化情況，在第170幀時(shí)遮擋較嚴(yán)重，CSK算法跟蹤失敗。在整個(gè)跟蹤中，只有本文算法和DSST算法跟蹤效果好。在Dog1視頻中，目標(biāo)的尺度變化很大，所有算法都能準(zhǔn)確跟蹤到目標(biāo)，但只有本文算法表現(xiàn)最好。在Girl視頻中，第116幀和316幀分別出現(xiàn)旋轉(zhuǎn)和姿態(tài)變化情況，本文算法能很好地適應(yīng)。第437幀目標(biāo)發(fā)生嚴(yán)重遮擋，DSST、KCF、CSK都將遮擋物當(dāng)作目標(biāo)進(jìn)行跟蹤，在第471幀遮擋消失后，目標(biāo)丟失，只有本算法和CN算法能夠準(zhǔn)確跟蹤，而本文算法跟蹤比CN算法效果好。在Skating1序列中，目標(biāo)存在著旋轉(zhuǎn)、遮擋、光照和尺度等變化，本文算法能準(zhǔn)確跟蹤并適應(yīng)尺度的變化，效果也比其它算法好。

圖1 不同跟蹤算法效果

3.2 定量分析

為說明本算法跟蹤效果，現(xiàn)以Girl和Skating1視頻序列為例，圖2(a)、圖2(b)分別為Girl視頻序列的DP和SR曲線，圖2(c)、圖2(d)分別為Skating1視頻序列的DP和SR曲線，從圖中可以看出，本算法的跟蹤效果比其它跟蹤效果好。

圖2 DP和SR曲線

4 結(jié)語

本文在CN算法基礎(chǔ)上增加了一種自適應(yīng)尺度方法，通過顏色特征對目標(biāo)區(qū)域進(jìn)行采樣，利用核相關(guān)濾波器確定目標(biāo)的位置和尺度。當(dāng)目標(biāo)大小發(fā)生改變時(shí)，算法的跟蹤框能夠自適應(yīng)變化，獲取更多有效信息，同時(shí)通過更新濾波器的模板系數(shù)和尺度模板，使跟蹤精度更高。從10組視頻序列的跟蹤結(jié)果可知，本文算法不僅對尺度變化、遮擋、旋轉(zhuǎn)、光照變化、姿態(tài)變化具有很好的魯棒性，而且平均中心位置誤差達(dá)到9.53%，距離精度達(dá)到86.0%，成功率達(dá)到71.3%，這3個(gè)評估標(biāo)準(zhǔn)都優(yōu)于其它算法。但是本文算法對快速運(yùn)動效果不好，原因是目標(biāo)位置由上一幀目標(biāo)的中心決定，可搜索范圍有限。因此，下一步的研究重點(diǎn)是在復(fù)雜場景中通過引入運(yùn)動狀態(tài)估計(jì)方法提高魯棒性及跟蹤精度。