自適應模型更新相關濾波目標跟蹤方法*

王科平， 武帥帥， 王紅旗

(河南理工大學 電氣工程與自動化學院，河南 焦作 454000)

0 引 言

目標跟蹤在人機交互、機器人等領域得到廣泛應用。近年來,學者們將相關濾波[1～8]方法引入目標跟蹤框架之中，并取得很好的跟蹤效果。Bolme D S等人[1]提出了最小輸出平方誤差和(minimum output sum of squared error,MOSSE)跟蹤方法，首次采用目標的循環(huán)移位作為訓練樣本，并利用循環(huán)矩陣的性質在頻域中進行分類器的求解，使得目標跟蹤的速度達到超速。Henriques J F等人[2]將核函數(shù)引入相關濾波目標跟蹤，采用目標的灰度值作為目標特征，使用目標的循環(huán)移位作為訓練樣本，并將其映射到核函數(shù)空間進行分類。但灰度特征受光照變化等影響較大，為此Henriques J F等人[7]提出了KCF(kernelized correlation filters)跟蹤方法，采用梯度方向直方圖(histogram of oriented gradient,HOG)特征作為目標特征，提高了跟蹤的穩(wěn)定性。Danelljan M等人[4]采用CN(color name)特征作為目標特征，由于CN特征將11維顏色特征縮到2維，有效降低了外界環(huán)境變化對目標的干擾。Galoogahi H K等人[6]有限邊界相關濾波跟蹤方法，通過減少循環(huán)移位造成的合成樣本和對樣本進行仿射變換的方法來訓練分類器，提高了跟蹤的穩(wěn)定性。但當目標被遮擋或者跟蹤框發(fā)生漂移時，上述跟蹤方法仍持續(xù)更新目標模型和濾波器模型，導致背景信息更新到目標模型和濾波器模型中。為了解決這個問題，Asha C S等人[9]提出自適應學習率相關濾波視覺跟蹤，根據(jù)目標運動的速度來確定目標模型和濾波器模型的更新率，使跟蹤的穩(wěn)定性得到一定提高。Wang M等人[10]采用多峰檢測的方法來決定是否更新目標模型和濾波器模型，雖然能夠判斷目標遮擋和漂移，但當目標因姿態(tài)變化或者旋轉時濾波器響應同樣會出現(xiàn)多峰情況，導致模型不能及時更新。

針對目標因姿態(tài)變化、旋轉等情況被誤判為目標被遮擋、漂移的情況，使濾波器模型和目標模型能夠實時有效更新，本文提出一種基于協(xié)方差特征的目標跟蹤質量評估方法。首先，利用相關濾波方法找到目標的估計位置；其次，通過獲取目標估計位置的協(xié)方差特征；最后通過比較估計位置的協(xié)方差特征與模型的協(xié)方差特征的相似性決定是否更新目標模型和濾波器模型。

1 CSK跟蹤

CSK跟蹤算法具有很高的跟蹤速度，其使用目標圖像塊的周期循環(huán)移位作為訓練樣本，通過核化分類響應與期望響應的最小平方誤差和訓練一個分類器，并通過線性差分方式更新分類器和目標模型。

1.1 分類器訓練

在第t幀視頻中，以獲取目標為中心獲取包含目標的圖像塊x，大小為M×N，M,N分別為圖像塊的高和寬。以x為基樣本，所有循環(huán)移位得到圖像塊xm,n(m,n)∈{0,…,M-1}×{0,…,N-1}作為訓練樣本。分類期望響應為一個高斯函數(shù)Y，ym,n為對應于訓練樣本xm,n的訓練標簽。通過找到一個w使得分類響應f(x)=wTx與期望響應Y的平方誤差和最小，即

‖Xw-Y‖2+λ‖w‖2

(1)

(2)

1.2 目標檢測

在新的一幀視頻中，以上一幀目標位置為中心截取大小為M×N的圖像塊z，以z的循環(huán)移位作為候選樣本，線性分類器在頻域可表示為

(3)

(4)

式中p為視頻幀的索引，γ為學習率。

2 基于協(xié)方差特征模型更新

提出的采用區(qū)域協(xié)方差特征旨在解決兩個問題：目標發(fā)生旋轉、姿態(tài)變化時模型更新和目標被遮擋、跟蹤框發(fā)生漂移時模型更新。

2.1 區(qū)域協(xié)方差特征

區(qū)域協(xié)方差特征[11]能夠描述不同特征之間的相關性。I為一維灰度圖像或三維彩色圖像，F(xiàn)為從I中提取的W×H×d維特征圖像，滿足F(x,y)=φ(I,x,y)。對一個給定區(qū)域R?F用{fk}k=1，…，n表示區(qū)域R內的d維特征點，用d×d的協(xié)方差矩陣表示區(qū)域R為

(5)

式中μ為區(qū)域內特征點的均值向量。

兩個協(xié)方差矩陣C1，C2的相似性[11]表示為

(6)

式中 {λi(C1,C2)}i=1,…,d為C1,C2的廣義特征值。ρ的值越小，C1,C2越相似。

2.2 模型更新策略

在目標跟蹤過程中，由于目標以及背景均為動態(tài)變化，因此，目標模型和濾波器模型需要進行實時更新。CSK跟蹤算法采用式(4)更新目標模型和分類器模型，沒有對目標遮擋和跟蹤框漂移情況進行判斷，容易將背景信息引入濾波器模型和目標模型。文獻[10]采用多峰檢測方式進行目標遮擋判斷，但目標姿態(tài)變化和旋轉同樣會使濾波響應出現(xiàn)多峰情況。

本文提出新的模型更新方法：首先在視頻初始幀的目標位置，以目標區(qū)域Rt的協(xié)方差特征作為協(xié)方差特征模型Cmod，在新的一幀視頻中采用相關濾波跟蹤方法獲取新的目標位置，在新的目標位置計算目標區(qū)域Rn的協(xié)方差Cnew；然后通過式(6)計算Cmod與Cnew的相似；最后根據(jù)協(xié)方差的相似性更新模型。模型更新方法如下

(7)

式中T1,T2為協(xié)方差相似性閾值，ρupd為協(xié)方差矩陣Cmod與Cnew的相似性，γ1,γ2,γ3為對應閾值下的學習率。為了能夠更好地適應目標變化，本文對協(xié)方差模型進行更新，當ρupd

2.3 算法步驟

1)以t-1幀視頻中目標的位置為中心，在第t幀中截取1+p倍目標大小的圖像塊并提取圖像塊CN特征；

2)利用式(3)計算濾波響應f(z)，f(z)的最大值位置即為第t幀視頻中目標位置；

3)在第t幀目標位置計算目標的協(xié)方差特征，根據(jù)式(6)計算相似性，并通過式(7)計算模型學習率；

4)在第t幀中以步驟(2)中獲取的目標位置為中心截取1+p倍目標大小的圖像塊并根據(jù)式(4)更新目標模型；

5)提取步驟(4)中截取圖像塊的CN特征，根據(jù)式(2)計算分類器，并根據(jù)式(4)更新分類器模型；

6)記錄第t幀目標位置，并重復步驟(1)～步驟(6)。

3 實驗分析

3.1 實驗環(huán)境與參數(shù)設置

實驗的軟件平臺為MATLAB 2014a，硬件平臺為筆記本電腦，性能參數(shù)：Intel(R) Core(TM) i7-4710MQ CPU @ 2.50 GHz，運行內存為8 GB(RAM)。實驗參數(shù)設置如表1。

表1 實驗參數(shù)

3.2 性能評估方法

為了驗證本文所提算法的有效性，使用OTB—2013[12]中給出的數(shù)據(jù)集，對視頻的11種屬性進行評估。實驗中將所提算法與CN，KCF，CSK，CT[13]，Struck[14]，TLD[15]6種主流算法進行比較,并采用精度和成功率作為評價標準。11種屬性分別為尺度變化(SV)、光照變化(IV)、遮擋(OCC)、運動模糊(MB)、形變(DEF)、快速運動(FM)、平面外旋轉(OPR)、平面內旋轉(IPR)、復雜背景(BC)、出視野(OV)、低分辨率(LR)。結果如表2、表3所示。

表2 7種算法在11種屬性上的平均精度

表3 7種算法在11種屬性上的平均成功率

3.3 實驗結果分析

3.3.1 整體分析

如表2所示為在11種屬性上7種跟蹤算法的精度，精度是指跟蹤位置與目標真實位置的歐氏距離小于某個閾值的視頻幀數(shù)占視頻總幀數(shù)的比值，本文取閾值為20個像素。從表中可以看出本文所提算法在目標DEF和目標OCC方面均優(yōu)于其他算法。表3給出了7中算法在11種屬性上的成功率，成功率是指目標框與人工標定目標框的重疊率大于某個閾值的視頻幀數(shù)占總視頻幀數(shù)的比率，閾值設為0.5。從表中可以得出與上述同樣的結論。由整體精度圖和成功率圖，可以看出本文所提算法較KCF的精度和成功率分別提高了1.5 %和1.5 %，較CN算法的精度和成功率分別提高了3.6 %和5 %。

3.3.2 遮擋與形變分析

如圖 1所示，圖中Jogging序列在第70幀發(fā)生 ，在第85幀離開遮擋物，在第97幀時只有本文算法和TLD算法在跟蹤目標。圖中Girl序列在第87，302，469幀分別發(fā)生轉身、搖頭和遮擋情況，所提算法能夠很好辨別遮擋，同時在轉身、遮擋情況下不更新模型，跟蹤效果良好。

圖1 目標遮擋和姿態(tài)變化跟蹤結果

4 結 論

本文算法針對目標遮擋、形態(tài)變化，利用協(xié)方差特征的相似性來評估目標跟蹤質量從而自適應更新模型，實驗表明:本文算法有效改善了目標遮擋、形變時跟蹤問題，同時在整體跟蹤效果上也優(yōu)于其他6種算法，表明本文算法在解決目標遮擋、形變方面具有良好的魯棒性。