基于核相關(guān)濾波器的目標旋轉(zhuǎn)跟蹤算法*

李 龍， 王耀南， 張振軍

(1.機器人視覺感知與控制技術(shù)國家工程實驗室，湖南 長沙 410082；2.湖南大學(xué) 電氣與信息工程學(xué)院，湖南 長沙 410082)

基于核相關(guān)濾波器的目標旋轉(zhuǎn)跟蹤算法*

李 龍1,2， 王耀南1,2， 張振軍1,2

(1.機器人視覺感知與控制技術(shù)國家工程實驗室，湖南 長沙 410082；2.湖南大學(xué) 電氣與信息工程學(xué)院，湖南 長沙 410082)

提出一種新的魯棒的旋轉(zhuǎn)估計算法，以核相關(guān)濾波器理論為基礎(chǔ)，通過在目標中心等角度間隔來采樣一個樣本金字塔，單獨訓(xùn)練一個一維的角度估計濾波器，從而將目標旋轉(zhuǎn)角估計問題變?yōu)橐粋€檢測問題。提出的角度估計方法具有通用性，可以輔助其它沒有角度估計功能的跟蹤器。在實驗中，單獨訓(xùn)練一個位移跟蹤濾波器和一個尺度估計濾波器，結(jié)合本文提出的角度估計濾波器形成一個由三層濾波器組成的跟蹤器。和經(jīng)典的算法在不同測試數(shù)據(jù)上的對比實驗表明,該算法能達到較高的跟蹤精度。

目標跟蹤； 核相關(guān)濾波器； 旋轉(zhuǎn)估計； 魯棒跟蹤

0 引 言

目標跟蹤算法從最初簡單的模板匹配[1]、卡爾曼濾波[2]、光流算法[3]等，到逐漸流行的粒子濾波算法[4]、Mean-Shift[5]等。最近開始流行的相關(guān)濾波器算法因為兼具魯棒性好、計算量少的特點而得到廣泛關(guān)注，在歷屆視覺目標跟蹤(visual object tracking,VOT)挑戰(zhàn)賽[6]中也有著搶眼的表現(xiàn)。

線性回歸分析需要對一組數(shù)據(jù)進行線性擬合，由于其問題存在閉式解，使得它變得非常簡單好用。在線性回歸分析的基礎(chǔ)上引入核技巧就有了正則最小二乘回歸，由文獻[7]可以知道，它也存在閉式解。回歸分析的一種特殊情形是所有樣本之間存在一種關(guān)聯(lián)性—所有的樣本都是由一個基本樣本經(jīng)過循環(huán)移位得到的，在這種情況下所有的樣本組成一個循環(huán)矩陣，由文獻[8]可以知道，循環(huán)矩陣的特征向量對應(yīng)于傅里葉變換矩陣的列向量，將循環(huán)矩陣進行特征值分解以后可以發(fā)現(xiàn)它與基本樣本的離散傅里葉變換之間存在一種簡單的關(guān)系。因此，在樣本之間存在這種特殊關(guān)聯(lián)的情況下，線性回歸分析可以在頻域里快速求解，且為閉式解，既保證了最優(yōu)性又有著很高的計算效率，在實時跟蹤領(lǐng)域有著很高的價值。核相關(guān)濾波器文獻[9]將核回歸和循環(huán)矩陣理論結(jié)合到一起，證明了在滿足特定的樣本假設(shè)的情況下，核回歸分析也可以在頻域里快速求解，并提出核相關(guān)濾波器(kernelized correlation filters,KCF)理論。與傳統(tǒng)算法相比，KCF不僅引入了核技巧，還提出如何使用多維特征數(shù)據(jù)，從而將梯度方向直方圖(histograms of oriented gradients,HOG)特征應(yīng)用到跟蹤器中，讓算法的適用性和魯棒性得到增強。

核相關(guān)濾波器在目標跟蹤領(lǐng)域引起了較大的反響，2014年的VOT比賽冠軍[10]針對傳統(tǒng)的相關(guān)濾波器只能估算平移參數(shù)而無法跟蹤其它變換參數(shù)的缺陷，設(shè)計了一個快速有效的分類尺度空間跟蹤器 (discriminative scale space tracker,DSST)。該算法探討了兩種尺度估測方法，其一是擴大搜索維度，將原先的二維平面圖像擴展到三維尺度空間表示，在三維空間訓(xùn)練相關(guān)濾波器并進行跟蹤目標；其二是設(shè)計一個一維的尺度估計濾波器，在完成目標的平移跟蹤以后單獨估算尺度。

本文受KCF和DSST算法的啟發(fā)，針對目標旋轉(zhuǎn)參數(shù)的估計問題再設(shè)計一個額外的旋轉(zhuǎn)估計濾波器，用于在估算了目標的位移和尺度參數(shù)以后單獨估算目標的旋轉(zhuǎn)變化。與DSST不同，DSST是建立在最小輸出均方誤差和(minimum output sum of squared error,MOSSE)濾波器理論的基礎(chǔ)上，相當(dāng)于使用線性核函數(shù)的KCF，本文將核技巧引入到濾波器的設(shè)計與應(yīng)用中，來提高跟蹤效果的魯棒性。

1 基于核相關(guān)濾波器的旋轉(zhuǎn)估計算法

1.1 學(xué)習(xí)一個旋轉(zhuǎn)濾波器

為了學(xué)習(xí)一個旋轉(zhuǎn)濾波器，對樣本圖像進行旋轉(zhuǎn)，得到樣本在不同角度下的表示，再對每個樣本進行特征提取，從而一個旋轉(zhuǎn)樣本對應(yīng)一個d維特征向量。

為了與循環(huán)矩陣對應(yīng)起來，換個觀察角度來看問題。如圖1所示，對目標圖像進行等角度間隔旋轉(zhuǎn)采樣，得到n幅圖像，依次記為q0,q1,…,qn-1。令x=[q0,q1,…,qn-1]，將x的每一行看成一個單獨的特征向量，則x是一個長度為n，維數(shù)是d的一個向量。對x進行循環(huán)移位，得到x0=x,x1=[zn-1,z0,…，zn-2],…,xn-1=[z1,z2,…,z0]，共生成n個樣本，給每個樣本賦一個標簽值(回歸值)，一般用高斯函數(shù)生成。然后需要求解一個嶺回歸(ridge regression)問題，為了簡化問題，先只考慮d=1的情況，對于d>1的情形，只需要對每個特征維度分別訓(xùn)練一個跟蹤器，然后在應(yīng)用的時候每個跟蹤器單獨計算目標響應(yīng)，將所有響應(yīng)值疊加起來即可。

圖1 構(gòu)造旋轉(zhuǎn)樣本金字塔

(1)

式中λ為用來控制過擬合風(fēng)險的正則項，若λ=0，則問題簡化為線性回歸(linear regression)。嶺回歸問題存在閉式解

w=(XTX+λI)-1XTY

(2)

(3)

式中X為由所有樣本組成的一個大矩陣，Y為由所有樣本標簽組成的一個列向量。

由于X是由基本向量x生成的循環(huán)矩陣，因此記為C(x)。循環(huán)矩陣的一個重要性質(zhì)是它的特征值分解與傅里葉變換之間存在著一種天然的聯(lián)系

(4)

(5)

1.2 核相關(guān)濾波器

帶核的最小二乘回歸問題是求解這樣一個回歸器

(6)

使得如下目標函數(shù)取得最小值

(7)

式中α=[α0,α1,…,αN-1]是帶求解系數(shù)向量，K是核矩陣且K(i,j)=K(xi,xj)。該問題的閉式解為

α=(K+λI)-1y

(8)

在本文設(shè)定的旋轉(zhuǎn)估計問題中，所有xi都是由基本樣本x經(jīng)循環(huán)移位得到的，文獻[9]已經(jīng)證明，在采用線性核、徑向基函數(shù)等核函數(shù)的情況下，核矩陣K是循環(huán)矩陣。利用循環(huán)矩陣與傅里葉變換之間的內(nèi)在聯(lián)系，可以得到

(9)

1.3 快速旋轉(zhuǎn)估計

在跟蹤過程中，正如訓(xùn)練過程一樣，在目標位置(假設(shè)目標的中心和尺度已經(jīng)使用其它跟蹤器得到)等角度間隔采樣許多個樣本，然后提取各自特征描述向量，構(gòu)造基本樣本z。然后就需要對所有的z的循環(huán)移位得到的樣本進行評估，即把z0,z1,…,zn-1依次代入式(6)

(10)

同樣[9]Kxx也是循環(huán)矩陣，利用式(4)對上式進行化簡得到

(11)

2 實驗結(jié)果與分析

在本文的實驗中，使用三層核相關(guān)濾波器來分別對目標的平移變化、尺度變化以及旋轉(zhuǎn)變化分別進行估計：第一層相關(guān)濾波器是專門用于跟蹤目標平移變化的二維濾波器，詳見文獻[9]；第二層相關(guān)濾波器是專門用于跟蹤目標尺度變化的一維濾波器，用于在已知目標位置的情況下單獨估算目標尺度，詳見文獻[10]；第三層相關(guān)濾波器是專門用于跟蹤目標旋轉(zhuǎn)變化的一維濾波器，用于在已知目標位置和尺度的情況下單獨估算目標旋轉(zhuǎn)角度，圖2是本文提出的算法。

圖2 基于三層濾波器的目標跟蹤算法

實驗用到的對比算法有經(jīng)典的基于跟蹤—學(xué)習(xí)—檢測(tracking-learning-detection,TLD)算法，基于稀疏表示和粒子濾波的L1APG(L1trackerusingacceleratedproximalgradient)[11]算法和基于局部稀疏表示的SCM(sparsity-basedcollaborativemodel)算法[12]，以及基于相關(guān)濾波器的KCF[9]算法和DSST[10]算法。其中KCF只跟蹤目標平移變化，TLD和DSST同時估算目標尺度，L1APG和SCM算法估算參數(shù)的放射變換。

為了驗證算法的有效性，從公共測試集[13]中選取Doll,Dudek,MountainBike圖像序列進行實驗。這三個圖像序列中目標發(fā)生45°以內(nèi)的小角度旋轉(zhuǎn)，其中，Doll,Dudek序列還伴隨著目標尺度的變化。另外還選取部分無人機實拍視頻中抽取兩個無人機對地面車輛跟蹤場景的圖像序列，并手動標定了真值。

實驗結(jié)果以重疊率曲線和精度曲線的方式顯示，如圖3所示，其中的數(shù)值表示單個跟蹤器在所有數(shù)據(jù)集上的平均重疊率/跟蹤精度。從圖中可以看出本文算法在這些數(shù)據(jù)集上取得了較好的效果。

圖3 不同算法的評估結(jié)果

圖4顯示的是部分跟蹤結(jié)果，從圖中可以看出，不管是對小角度旋轉(zhuǎn)還是對大角度變化，本文所提出的跟蹤算法都能正確地估計出目標的角度變化參數(shù)，給出正確的結(jié)果。同時可以看出，對于Truck數(shù)據(jù)集，由于目標長度太大，用矩形框描述非常不適宜，所以TLD算法無法跟蹤目標，而基于粒子濾波和稀疏表示的SCM算法無法適應(yīng)目標在不同視角下發(fā)生的外觀變化，也無法連續(xù)跟蹤目標，本文所提出的基于三層核相關(guān)濾波器的跟蹤算法不僅能持續(xù)跟蹤目標，還能正確估計出目標姿態(tài)。

圖4 部分跟蹤結(jié)果

3 結(jié)束語

本文提出一種基于核相關(guān)濾波器的角度估計算法，算法根據(jù)核回歸理論和循環(huán)矩陣理論，在頻域訓(xùn)練一個角度估計濾波器。在實驗中，本文設(shè)計了一個由三層核相關(guān)濾波器組成的跟蹤器，通過和其它算法的對比，證明了本文算法在目標跟蹤中的有效性。本文算法是通用性的，可以用于輔助其它沒有旋轉(zhuǎn)估計功能的跟蹤器來完成對目標旋轉(zhuǎn)變化的跟蹤。

[1] Nakhmani A,Tannenbaum A.A new distance measure based on generalized image normalized cross-correlation for robust video tracking and image recognition[J].Pattern Recognition Letters,2013,34(3):315-321.

[2] Ruckdeschel P,Spangl B,Pupashenko D.Robust Kalman tracking and smoothing with propagating and non-propagating outlier-s[J].Statistical Papers,2014,55(1):93-123.

[3] Kalal Z,Mikolajczyk K,Matas J.Forward-backward error:Automatic detection of tracking failures[C]∥2010 International Conference on Pattern Recognition,ICPR 2010,Istanbul:IEEE,2010:2756-2759.

[4] Nummiaro K,Koller-meier E,Van Gool L.An adaptive color-based particle filter[J].Image and Vision Computing,2003,21(1):99-110.

[5] Jia D,Zhang L,Li C.The improvement of mean-shift algorithm in target tracking[J].International Journal of Security and Its Applications,2015,9(2):21-28.

[6] Kristan M,Pflugfelder R,Leonardis A,et al.The visual object tracking (VOT)challenge results[J].Lecture Notes in Computer Science,2014,8926:191-217.

[7] Rifkin R,Yeo G,Poggio T.Regularized least-squares classifica-tion[J].Acta Electronica Sinica,2003,190(1):93-104.

[8] Gray R M.Toeplitz and circulant matrices:A review[J].Communications and Information Theory,2005,2(3):155-239.

[9] Henriques J F,Rui C,Martins P,et al.High speed tracking with kernelized correlation filters[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2015,37(3):583-596.

[10] Danelljan M,Hger G,Khan F,et al.Accurate scale estimation for robust visual tracking[C]∥Proceedings of the British Machine Vision Conference,BMVC 2014，Nottingham:BMVA,2014:1-38.

[11] Bao C,Wu Y,Ling H,et al.Real time robust l1 tracker using accelerated proximal gradient approach[C]∥2012 IEEE Confe-rence on Computer Vision and Pattern Recognition,CVPR 2012,Providence,RI:IEEE,2012:1830-1837.

[12] Zhong W,Lu H,Yang M H.Robust object tracking via sparse collaborative appearance model[J].IEEE Transactions on Image Processing,2014,23(5):2356-2368.

[13] Yi W,Jongwoo L,Ming H Y.Object tracking benchmark[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2015,37(9):1834-1848.

Object rotation tracking based on kernelized correlation filters*

LI Long1,2, WANG Yao-nan1,2, ZHANG Zhen-jun1,2

(1.National Engineering Laboratory for Robot Vision Perception and Control Technologies,Changsha 410082,China; 2.College of Electrical and Information Engineering,Hunan University,Changsha 410082,China)

A new robust rotation estimation method is proposed,which is based on kernelized correlation filters.A rotation pyramid is sampled around the target center and an extra 1D rotation filter is trained.Then the rotation estimation problem is tackled in a tracking-by-detection way.The rotation estimation approach is generic and can be incorporated with any tracking algorithm without a rotation estimation scheme.In the experiment,a three-layer-based tracker consisting of a 2D translation filter,a 1D scale filter and a 1D rotation filter is proposed trained and demonstrated to achieve more accurate results against state-of-the-arts on challenging dataset with rotation variation.

object tracking; kernelized correlation filters; rotation estimation; robust tracking

10.13873/J.1000—9787(2017)03—0147—03

2016—04—01

國家科技重大專項項目(07—Y30B10—9001—14/16)；國家自然科學(xué)基金資助項目(61501181)

TP 391.4

A

1000—9787(2017)03—0147—03

李 龍(1988-)，男，碩士研究生，主要研究方向為目標跟蹤，模式識別。