改進的核相關(guān)濾波目標跟蹤算法

謝維波, 夏遠祥, 劉文

(華僑大學(xué) 計算機科學(xué)與技術(shù)學(xué)院， 福建 廈門 361021)

改進的核相關(guān)濾波目標跟蹤算法

謝維波, 夏遠祥, 劉文

(華僑大學(xué) 計算機科學(xué)與技術(shù)學(xué)院， 福建 廈門 361021)

提出一種基于核相關(guān)濾波的尺度和旋轉(zhuǎn)自適應(yīng)跟蹤算法.首先,利用核相關(guān)濾波確定目標的中心位置;然后,使用特征點匹配的方式估計目標的尺度變化和旋轉(zhuǎn)角度.在特征點匹配過程中，使用前、后兩次光流匹配消除不穩(wěn)定特征點；計算特征點對的權(quán)重分布，從而估計出目標的最佳尺度和角度；判斷當前目標是否受到遮擋，進而使用更合理的方式更新特征點集和目標模型，進一步提高算法的魯棒性.實驗結(jié)果表明:文中算法不僅能在一定程度上處理目標外觀變化問題，而且跟蹤的實時性較好.

視頻跟蹤； 核相關(guān)濾波； 尺度計算； 角度計算； 遮擋檢測

目標跟蹤是計算機視覺領(lǐng)域中最具挑戰(zhàn)的問題之一，在視頻監(jiān)控、機器人等領(lǐng)域[1-9]有著廣泛的應(yīng)用.近年來，基于相關(guān)濾波的跟蹤算法[1-4]憑借其較快的速度在跟蹤領(lǐng)域取得了不錯的效果.Henriques等[4]提出基于核相關(guān)濾波(kernelized correlation filter，KCF)的跟蹤算法，在跟蹤目標時有不錯的效果.然而,當目標尺度發(fā)生變化或旋轉(zhuǎn)時，目標模型不能充分描述目標的表觀特征，而容易跟蹤失敗.本文在KCF跟蹤算法的基礎(chǔ)上，通過引入特征點匹配的方法對目標尺度和角度進行估計，實現(xiàn)目標的尺度、角度自適應(yīng)跟蹤.

1 核相關(guān)濾波模型

傳統(tǒng)的相關(guān)濾波跟蹤算法被視為線性嶺回歸模型,即

(1)

式(1)中：xi為輸入;yi為相應(yīng)的標簽;w為相應(yīng)的系數(shù).這種模型在處理非線性問題上會受到限制，通過使用核方法[10]，可以解決非線性問題.Henriques等[4]通過引入嶺回歸和循環(huán)矩陣將相關(guān)濾波器核化，則訓(xùn)練模型階段的表達式為

(2)

(3)

2 目標尺度估計和旋轉(zhuǎn)角度估計

根據(jù)特征點之間相對距離和相對角度的變化估計目標的尺度和角度，同時,通過計算特征點對的權(quán)重分布提高估計的準確度，并提出了一種遮擋檢測機制，以提高算法的魯棒性.

2.1 前、后向光流匹配

根據(jù)特征點估計目標的尺度和角度，因此，如何匹配到穩(wěn)定的特征點就變得尤為重要.文中算法采用耗時較少FAST特征子[11]檢測圖像特征點，并使用256維的BRIEF[12]描述子對其進行描述.

2.2 遮擋檢測

在跟蹤視頻的初始幀中，初始目標框人為選定，則首次匹配的特征點集Ms是跟蹤目標的穩(wěn)定描述，稱為穩(wěn)定特征點集.設(shè)t幀時匹配的特征點集為M′，數(shù)量記為Nt=|M′|.當目標被遮擋時，Nt將會變得很小.因此，文中算法根據(jù)穩(wěn)定特征點的數(shù)量Ns=|Ms|和t幀時匹配特征點集的數(shù)量Nt的比值來確定跟蹤目標是否被遮擋，即

2.3 特征點對的權(quán)重分布

(5)

(6)

式(6)中：m為t幀時活動特征點集中特征點的個數(shù);h為帶寬參數(shù);k為高斯核函數(shù).

2.4 目標最佳尺度估計

(7)

式(7)中：‖·‖為歐氏距離.

考慮特征點對的權(quán)重，則尺度伸縮系數(shù)為

(8)

則t時刻的目標框的寬度和高度分別為

當目標未被遮擋時，更新目標尺度；否則，無需更新.則目標框的寬度和高度分別為

2.5 目標旋轉(zhuǎn)角度估計

當跟蹤目標在平面內(nèi)旋轉(zhuǎn)時，正確匹配的特征點之間的相對方向也會發(fā)生旋轉(zhuǎn)，并且和目標旋轉(zhuǎn)角度一致.因此，文中算法根據(jù)前、后兩幀特征點之間相對角度的變化估計目標框的旋轉(zhuǎn)角度.

圖1 特征點對的角度變化示例Fig.1 Examples of pairwise angular change between keypoints

(13)

考慮特征點對的權(quán)重，則t幀時角度變化為

(i,j).

(14)

式(14)中：m為活動特征點集中特征點的個數(shù).在文中算法中，當目標被遮擋或角度變化αt小于閾值αd時，跟蹤框的角度變化無需更新.則t幀時目標框的角度為

實驗中,首幀目標框的角度θ1為90°.

3 文中跟蹤算法

3.1 基本原理

3.1.1 確定目標的位置 文中算法將跟蹤目標分成確定目標位置和確定目標尺度、角度兩部分.目標狀態(tài)用矩形框b=[x,y,w,h,θ]表示，設(shè)定目標搜索范圍為原目標框大小的2倍.

對于下一幀新的樣本z，利用訓(xùn)練好的α，計算傅里葉域的響應(yīng)值,即

3.1.2 確定目標的尺度變化和旋轉(zhuǎn)角度變化 確定目標的中心位置后，檢測并匹配新一幀圖像的特征點.根據(jù)式(4)判斷目標是否被遮擋，根據(jù)式(9),(10)，(14)確定目標框的尺度和旋轉(zhuǎn)角度.

3.1.3 確定更新方案 為了更好地適應(yīng)跟蹤過程中目標外觀的變化，準確估計當前目標的尺度和旋轉(zhuǎn)角度，需要及時對活動點集、相關(guān)濾波模板和目標外觀模型進行更新.

a) 動點集更新.首先,檢測當前目標是否被遮擋，如果沒有發(fā)生遮擋，則用當前匹配的特征點集完全替換上一幀匹配的活動點集；如果目標被遮擋，則當前活動點集無需更新，即

b) 波模型和外觀模型更新.傳統(tǒng)的KCF算法采用固定模式更新濾波模板和目標外觀模型，但當目標被遮擋時，這種更新方式會帶來誤差.為了提高跟蹤精度，當目標被遮擋時，停止對濾波模板和外觀模型的更新，即

(2)

式(20)中：β為模型更新因子.

文中算法的流程圖，如圖2所示.

圖2 文中算法的流程圖Fig.2 Flow chart of algorithm

4 實驗結(jié)果分析

為了對文中算法性能進行更加準確的評估，使用文獻[7]中的10組目標尺度變化和旋轉(zhuǎn)變化的標準視頻序列對算法進行測試.同時，與當前主流的跟蹤算法DFT[5]，STC[3]和基準方法KCF進行對比.實驗中，對比算法來自相應(yīng)作者的公開代碼，并且保留默認的參數(shù)設(shè)置.文中算法的正則化參數(shù)λ和帶寬參數(shù)h設(shè)置為0.01，角度變化閾值αd設(shè)為2，模型更新因子β設(shè)為0.075.所有實驗都在Windows7系統(tǒng)，Corei5-3470 3.20GHzCPU和8GBRAM的臺式機上進行，文中算法在Matlab2012和VisualStudio2010平臺上實現(xiàn).

4.1 定性分析

文中算法和對比算法在部分視頻序列上的部分跟蹤結(jié)果，如圖3所示.這些視頻序列不僅有尺度和旋轉(zhuǎn)問題，還有遮擋(Soccer和Coke)、光照(Dog1，Soccer和Coke)等問題.不同算法的跟蹤結(jié)果用不同線型的矩形框表示，其中，實線框表示文中算法，線段框表示KCF算法，點框表示DFT算法，點線框表示STC算法.

Dog1視頻的部分跟蹤結(jié)果，如圖3(a)所示.由圖3(a)可知：在第600幀時，由于跟蹤目標由正面轉(zhuǎn)為側(cè)面，目標姿勢及相對大小都發(fā)生了一定的改變，此時，DFT算法不能很好地跟蹤目標，其他算法能跟蹤目標，而只有文中算法的跟蹤框的角度能隨之改變.Deer視頻的部分跟蹤結(jié)果，如圖3(b)所示.由圖3(b)可知：在第6幀時，由于跟蹤目標驟降，DFT，STC跟蹤失??；第29幀時，KCF跟蹤失敗，文中算法一直有著較好的跟蹤效果.Soccer視頻的部分跟蹤結(jié)果，如圖3(c)所示.由圖3(c)可知：在第73幀時，跟蹤目標上下劇烈運動，STC算法產(chǎn)生了較大的跟蹤偏差；在第192幀時，產(chǎn)生了較大的背景干擾，同時,目標發(fā)生了有角度的運動，相對大小也發(fā)生了改變，KCF算法逐漸丟失跟蹤目標，文中算法仍然有著較好的跟蹤效果.Coke視頻的部分跟蹤結(jié)果，如圖3(d)所示.由圖3(d)可知：在第34幀時，目標由上到右下時，產(chǎn)生了部分遮擋，同時，光線由明轉(zhuǎn)暗且產(chǎn)生了有角度的旋轉(zhuǎn)，DFT產(chǎn)生了較大的跟蹤偏差；第77幀時，目標由近至遠，尺度發(fā)生了變化時，KCF和文中算法仍能很好地跟蹤目標.整體看來，文中算法有較好的跟蹤精度.

(a) Dog1視頻 (b) Deer視頻

(c) Soccer視頻 (d) Coke視頻圖3 跟蹤算法的性能比較Fig.3 Performance comparison of tracking algorithms

4.2 定量分析

為了驗證文中算法的有效性，用幀率、中心位置誤差(centrelocationerror，CLE)和距離精度(distanceprecision，DP)3個指標對比其他跟蹤算法.其中，幀率用來衡量跟蹤速度；平均中心位置誤差及距離精度用來衡量跟蹤結(jié)果的準確度.

4.2.1 跟蹤速度 幀率表示每秒運行的幀數(shù)，值越大跟蹤速度越快.DFT，STC，KCF和文中算法的幀率分別為：13.1，397.4，39.4，79.3幀·s-1.由此可知：雖然需要對尺度和旋轉(zhuǎn)角度進行估計，但文中算法在測試視頻序列中仍有較好的跟蹤實時性(每秒運行幀數(shù)達到15～20，即可視為實時跟蹤).

4.2.2 跟蹤精度 中心位置誤差CLE表示跟蹤目標中心位置與標注目標中心位置之間的平均歐式距離，其值越小，表示跟蹤精度越高.各算法在視頻序列上的目標中心位置誤差，如表1所示.

表1 中心位置誤差Tab.1 Centre location error

由表1可知：文中算法比其他算法有較低的CLE，在平均CLE上取得了最優(yōu)的效果.與KCF算法相比，文中算法的CLE平均降低了8.39px.

距離精度DP定義為CLE小于某一閾值的幀數(shù)占視頻總幀數(shù)的百分比.設(shè)定閾值為20px.各算法在10組視頻序列上的DP，如表1所示.由表1可知：文中算法在平均DP上取得了最優(yōu)值.相較于KCF算法，平均DP提高了8.2%.

綜合以上定性和定量分析可知：文中算法能較好地適應(yīng)目標尺度及旋轉(zhuǎn)變化，對目標遮擋、光照變化等也具有一定的魯棒性；另一方面，通過利用快速傅里葉變換將時域運算變換到頻域運算，提高了跟蹤效率，具有較好的實時性.

5 結(jié)束語

在KCF算法的基礎(chǔ)上，提出一種利用特征點匹配的方式對目標尺度和角度進行估計的機制.通過與原KCF算法和其他當前主流跟蹤算法對比，驗證了文中算法對尺度和角度估計的有效性.然而，文中算法仍有不足之處.在實驗中發(fā)現(xiàn)，當目標具有較大角度旋轉(zhuǎn)時，該算法效果不是很好.同時，因為文中算法是根據(jù)特征點匹配估計尺度變化和旋轉(zhuǎn)角度變化，當目標區(qū)域特征點較少或目標區(qū)域較小時，跟蹤效果有限.因此，如何處理目標的較大角度變化問題和特征點較少問題將是下一步的工作.

[1] BOLME D S,BEVERIDGE J R,DRAPER B A.Visual object tracking using adaptive correlation filters[C]∥Proceedings of the International Conference on Computer Vision and Pattern Recognition.San Francisco:IEEE Press,2010:2544-2550.

[2] HENRIQUES J F,CASERIO R,MARTINS P.Exploiting the circulant structure of tracking-by-detection with kernels[C]∥Proceedings of the Europe Conference on Computer Vision.Florence:Springer Press,2012:702-715.

[3] ZHANG Kaihua,ZHANG Lei,LIU Qingshan,etal.Fast visual tracking via dense spatio-temporal context learning[C]∥Proceedings of the Europe Conference on Computer Vision.Zurich:Springer Press,2014:127-141.

[4] HENRIQUES J F,CASERIO R,MARTINS P,etal.High-speed tracking with kernelized correlation filters[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2014,37(3):583-596.

[5] SEVILL L,MILLER E L.Distribution fields for tracking[C]∥Proceedings of the International Conference on Computer Vision and Pattern Recognition.Providence:IEEE Press,2012:1910-1917.

[6] ZHANG Kaihua,ZHANG Lei,YANG Minghusan.Real-time compressive tracking[C]∥Proceedings of the Europe Conference on Computer Vision.Florence:Springer Press,2012:864-877.

[7] WU Yi,LIM J,YANG M H.Online object tracking: A benchmark[C]∥Proceedings of the International Conference on Computer Vision and Pattern Recognition.Portland:IEEE Press,2013:2411-2418.

[8] DANELJAN M,HAGER G,KHAN F S.Accurate scale estimation for robust visual tracking[C]∥Proceedings of British Machine Vision Conference.Nottingham:Springer Press,2014:1-11.

[9] 鐘必能,陳雁,沈映菊.在線機器學(xué)習(xí)跟蹤算法的進展[J].華僑大學(xué)學(xué)報(自然科學(xué)版)，2014,35(1)：41-46.

[10] PATNAIK R,CASASENT D.Fast fft-based distortion-invariant kernel filters for general object recognition[C]∥Proceedings of the International Society for Optics and Photonics.San Jose:IEEE Press,2009:725202.

[11] ROSTEN E,PORTER R,DRUMMOND T.Faster and better: A machine learning approach to corner detection[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2010,32(3):105-119.

[12] CALONDER M,LEPETIT V,STRECHA C,etal.BRIEF: Binary robust independent elementary features[C]∥Proceedings of the Europe Conference on Computer Vision.Heraklion:Springer Press,2010:778-792.

[13] SHI Jianbo,TOMASI C.Good feature to track[C]∥Proceedings of the International Conference on Computer Vision and Pattern Recognition.Seattle:IEEE Press,1994:21-23.

(責任編輯： 黃曉楠 英文審校： 吳逢鐵)

Improved Object Tracking Algorithm Based on Kernelized Correlation Filter

XIE Weibo, XIA Yuanxiang, LIU Wen

(College of Computer Science and Technology, Huaqiao University, Xiamen 361021, China)

A scale and rotation adaptive tracking algorithm based on kernelized correlation filter is proposed. Firstly, the algorithm determines the center positon of the object via kernelized correlation filter. Then the algorithm estimates the scale changes and rotation angle of an object using keypoints matching. In the process of keypoints matching, the method eliminates unstable keypoints using forward and backward matching. The next, the algorithm estimates the optimal scale and angle by considering the weight of keypoints. At last, the method detects whether the target is occluded, and then update keypoints set and object model more reasonable, and hence improving the robustness of the algorithm. The results of experiments show that the proposed algorithm not only can handle changes of object′s appearance to a certain degree, but also have high tracking efficiency. Keywords：visual tracking; kernelized correlation filter; scale calculation; angle calculation; occlusion detection

10.11830/ISSN.1000-5013.201703017

2016-05-14

謝維波(1964-)，男，教授，博士，主要從事信號處理、視頻圖像分析的研究.E-mail:xwblxf@hqu.edu.cn.

國家自然科學(xué)基金資助項目(61271383); 華僑大學(xué)研究生科研創(chuàng)新能力培育計劃資助項目(1400214007)

TP 311

A

1000-5013(2017)03-0379-06