多尺度時空上下文目標跟蹤

李澤仁，紀 峰，常 霞，吳仰玉

?

多尺度時空上下文目標跟蹤

李澤仁，紀 峰，常 霞，吳仰玉

（北方民族大學 數(shù)學與信息科學學院，寧夏 銀川 750021）

相關(guān)濾波器在視覺目標跟蹤中得到了廣泛應用，針對復雜場景下目標跟蹤容易出現(xiàn)跟蹤漂移的問題，以及現(xiàn)有多尺度跟蹤算法計算量大的問題，本文提出一種實時的多尺度目標跟蹤方法。首先由時空上下文模型輸出目標位置置信圖完成目標定位，再在尺度空間上訓練相關(guān)濾波器完成目標尺度估計，最后基于目標位置和尺度提出了一種新的時空上下文模型更新機制，避免了模型更新錯誤。實驗表明：該方法在尺度變化、局部遮擋、目標姿態(tài)變化等情況下均能完成魯棒跟蹤，跟蹤正確率較原始時空上下文跟蹤算法提高了38.4%。

目標跟蹤；時空上下文；多尺度

0 引言

目標跟蹤是當前計算機視覺領域內(nèi)的一個基礎性研究課題，其任務是在視頻圖像中的每一幀中估計出目標位置[1]，盡管近幾年目標跟蹤取得了很大進展，但諸如光照變化、目標尺度變化、目標被遮擋等各種因素的干擾，使得設計一個能適應復雜場景的目標跟蹤方法依然是一個非常具有挑戰(zhàn)性的課題。根據(jù)目標在線模型，當前目標跟蹤可分為生成式跟蹤算法[2-4]和判別式跟蹤算法[5-8]。

生成式跟蹤算法通過特征提取完成目標模型構(gòu)建，然后利用在線學習到的目標模型基于最小重構(gòu)誤差，在目標局部區(qū)域搜索完成目標定位。判別式跟蹤算法主要利用當前的檢測技術(shù)，利用目標作為正樣本、背景作為負樣本訓練一個分類器，通過在線更新的分類器判別輸出置信度最高的樣本作為目標在當前幀的位置。

近年來相關(guān)濾波器技術(shù)[9]在目標跟蹤中得到了廣泛應用，基于此文獻[10]在貝葉斯框架下利用時空上下文（spatio-temporal context, STC）來完成目標跟蹤，在實時性和準確性上都取得了不錯效果。然而，STC跟蹤器采用全局模板更新目標在線模型，在目標尺度發(fā)生變化以及目標被遮擋等情況下容易發(fā)生更新錯誤，進而導致跟蹤漂移。

針對以上問題，本文在利用時空上下文模型完成目標定位的基礎上，在尺度空間上訓練相關(guān)濾波器完成目標尺度估計，提出了一種尺度自適應的目標跟蹤方法。同時基于目標位置和尺度提出了一種新的時空上下文模型更新機制，減少了遮擋等外界干擾帶來的模型更新錯誤，提高了目標跟蹤的準確率。

1 時空上下文跟蹤器（STC）

STC跟蹤器將跟蹤問題看成是在每一幀的目標置信圖()中的目標定位問題。基于貝葉斯框架，()可以表示為：

(2)

式中：s(－*)是圖像特征的權(quán)重函數(shù)；是歸一化參數(shù)；是尺度參數(shù)。

因為邊緣包含背景信息的可能性較大，因此式(1)中目標置信圖()定義為：

H＋1stc＝(1－)Hstc＋hstc(8)

在目標位置置信圖中尋找最大值，則最大值對應位置即為當前幀目標位置：

從以上的分析可以發(fā)現(xiàn)，STC跟蹤器采用快速傅里葉變換將原本在空域中進行的特征提取等操作轉(zhuǎn)換到頻域中進行，大大提高了目標跟蹤的實時性，但由于其采用全局信息更新目標在線模型，一旦目標出現(xiàn)尺度變化以及目標遮擋等情況，勢必會引入更多的更新錯誤，進而最終引發(fā)跟蹤漂移。

2 本文算法

針對以上存在的問題，本文提出如下改進策略：在STC模型完成目標定位的基礎上，為了給出目標精確的尺度變化，在尺度空間上訓練一個獨立的相關(guān)濾波器。結(jié)合目標位置和尺度對時空上下文模型進行更新，避免引入模型更新錯誤。

2.1 相關(guān)濾波器尺度估計

現(xiàn)有的多尺度跟蹤算法多采用目標尺度窮舉搜索的方式，在獲得尺度估計的同時，計算量也隨著候選尺度的個數(shù)大大提高，難以滿足實時應用的需求，本文基于相關(guān)濾波器的高效性，提出一種全新的快速尺度估計策略，大大提高了多尺度跟蹤算法的實時性。

至此即完成了目標定位和尺度估計，基于此本文提出了一種自適應的時空上下文模型更新機制，以適應目標的尺度變化等各種外觀變化。

2.2 時空上下文模型自適應更新

式(8)表明：STC跟蹤器采用固定的學習率對時空上下文模型進行更新，一旦目標被遮擋或出現(xiàn)劇烈的姿態(tài)變化等，容易將錯誤的目標信息更新到上下文模型中，考慮到當前幀置信圖中極大值反應了目標受到外界因素干擾的程度，本文采用如下的模型更新機制：

2.3 算法描述

結(jié)合2.1的目標尺度估計和2.2的時空上下文模型更新，本文的目標跟蹤算法的流程圖描述如圖1所示。

圖1 本文算法框架圖

3 實驗與結(jié)果分析

實驗采用常見的6段具有諸如尺度變化、光照變化和姿態(tài)變化遮擋等不同挑戰(zhàn)性的視頻序列，并與原始STC算法[10]以及壓縮感知跟蹤算法CT[8]、多示例學習跟蹤算法MIL[6]進行對比實驗，對比算法采用文獻[10]的參數(shù)設置。實驗視頻幀數(shù)共計4598幀，其不同的挑戰(zhàn)性如表1所示。

3.1 評估標準

表1 測試視頻的主要挑戰(zhàn)性

3.2 結(jié)果分析

3.2.1 定量分析

圖2展示了所有算法的整體性能，紅色（圓形線）代表本文算法的結(jié)果，綠色（虛線）、黑色（實線）、和藍色（菱形線）分別代表STC、CT和MIL的跟蹤結(jié)果）。本文的多尺度時空上下文跟蹤方法（Proposed）在正確率曲線和成功率曲線中均排名第一。在成功率曲線中，本文方法的AUC（area under curve）值比原STC方法提高了0.329，在正確率曲線中，本文方法較原STC方法提高了38.4%，充分驗證了本文的多尺度估計和模型自適應更新機制的有效性。表2給出了算法在各個視頻序列中的平均中心位置誤差對比，其中黑體代表最佳性能，斜體代表次優(yōu)性能，可見本文方法在各類具有不同挑戰(zhàn)性的視頻中均有不錯的表現(xiàn)，所有測試視頻的平均中心位置誤差為10.3pixel，優(yōu)于其他算法。

由于本文算法采用了尺度相關(guān)濾波器進行尺度估計，并添加了模型自適應更新機制，算法計算量較原始STC算法有所提升。表3給出了所有評估算法的平均跟蹤速度對比，可見本文算法較STC的350FPS的平均跟蹤速度有所降低，但107FPS的跟蹤速度依然可以滿足實時應用的要求。

3.2.2 定性分析

圖3給出了各種算法在所有測試視頻上的部分跟蹤結(jié)果（黑色矩形框代表本文算法的跟蹤結(jié)果，藍色、綠色和紅色分別代表STC、CT和MIL的跟蹤結(jié)果）。（注：該彩色原圖詳見《紅外技術(shù)》網(wǎng)站的電子版）下面將結(jié)合各類視頻的不同挑戰(zhàn)性對算法的性能進行分析。

圖2 整體性能的成功率曲線和正確率曲線

表2 算法平均中心位置誤差對比/pixel

表3 算法平均跟蹤速度對比

圖3 不同算法的部分跟蹤結(jié)果

1）尺度變化：Car4序列和David序列展示了本文算法對目標尺度變化的適應性，在Car4序列中隨著攝像頭與目標的距離不斷變化，目標尺度經(jīng)歷了一個由大到小再不斷變大的過程，可以發(fā)現(xiàn)本文算法可以很好地捕捉到目標的尺度變化，而STC算法則在跟蹤框變大后無法再捕捉到目標尺度變小的過程（如圖3(a)所示）；在David序列中，目標在第464幀轉(zhuǎn)身的過程中目標尺度變小，只有本文算法捕捉到了這種變化，跟蹤框自適應地進行了調(diào)整，充分驗證了本文算法相關(guān)濾波器尺度估計的有效性。

2）全局和局部遮擋：Suv序列和Faceocc2序列展示了本文算法的抗遮擋能力，在Suv序列中，目標分別經(jīng)歷了3段不同程度的樹木遮擋，第206幀左右第一次遮擋后，CT和MIL已經(jīng)丟失目標，STC的跟蹤結(jié)果與目標中心位置距離越來越大，而本文方法由于采用了自適應的模型更新機制，能較好抑制背景信息，因此在遮擋后依然能夠定位到目標，在Faceocc2序列中人臉受到了不同程度的遮擋，第730幀左右人臉被書本和帽子遮擋后STC發(fā)生跟蹤漂移，只有本文方法和CT方法取得了較好的跟蹤結(jié)果。

3）光照變化和姿態(tài)變化：目標的各種外觀變化會影響目標在線模型的更新，Car4序列和David序列中出現(xiàn)了不同程度的光照變化，Dog1序列和David序列中的目標經(jīng)歷了不同程度的姿態(tài)變化，由于本文方法采用不同的尺度參數(shù)和自適應的學習率對目標外圍的背景信息進行抑制，減少了模型的錯誤更新，因此取得了較好的跟蹤效果。

4）快速運動和運動模糊：Deer序列中由于目標運動較快帶來了不同程度的運動模糊，STC、CT和MIL在第10幀左右即開始偏移目標，第18幀左右則完全丟失目標，只有本文方法成功完成了整個跟蹤任務，充分顯示了時空上下文模型自適應地更新目標信息的高效性。

4 結(jié)論

針對現(xiàn)有多尺度目標跟蹤算法難以滿足實時應用的問題，本文提出了一種高效的尺度自適應目標跟蹤算法。在時空上下文跟蹤器的基礎上，基于相關(guān)濾波器的高效性，提出了一種新的目標尺度估計方法。結(jié)合目標位置和尺度，自適應更新時空上下文模型，減少了模型錯誤更新，較好地保留了目標信息。最后通過具有不同挑戰(zhàn)性的測試視頻進行實驗，表明：本文方法在尺度變化、局部遮擋、目標姿態(tài)變化等情況下均能完成魯棒跟蹤，跟蹤正確率較原始時空上下文跟蹤算法提高了38.4%。實驗中我們發(fā)現(xiàn)當目標丟失并重新出現(xiàn)在場景中時本文算法的跟蹤效果并不理想，下一步擬結(jié)合目標重檢測機制對本文算法進行改進。

[1] Emilio M. Video:[M]. Queen Mary University of London, UK, 2012: 15-24

[2] Ross D, Lim J, Lin R, et al. Incremental learning for robust visual tracking[C]//, 2008: 125-141.

[3] MEI X, LING H. Robust visual tracking and vehicle classification via sparse representation[J]., 2011, 33(11): 2259-2272.

[4] LI H, SHEN C, SHI Q. Real-time visual tracking using compressive sensing[C]/, 2011: 1305-1312.

[5] Grabner H, Leistner C, Bischof H. Semi-supervised On-Line Boosting for Robust Tracking[C]//, 2008, Part I: 234-247.

[6] Babenko B, YANG M H, Belongie S. Robust object tracking with online multiple instance learning[J]., 2011, 33: 1619-1632.

[7] Kalal Z, Matas J, Mikolajczyk K. Tracking-learning-detection[J]., 2012, 34(7): 1409-1422.

[8] ZHANG K H, ZHANG L, YANG M H. Real-time compressive tracking[C]//, 2012: 864-877.

[9] David S Bolme, J Ross Beveridge, Bruce A Draper, et al. Visual object tracking using adaptive correlation filters[C]//, 2010: 2544-2550.

[10] ZHANG K H, ZHANG L, LIU Q S, et al. Fast visual tracking via dense spatio-temporal context learning[C]//, 2014: 127-141.

[11] WU Y, Lim J, YANG M H. Online object tracking: a benchmark[C]//, 2013: 2411-2418.

Multi-scale Object Tracking Based on Spatio-temporal Context

LI Zeren，JI Feng，CHANG Xia，WU Yangyu

(,,750021,)

Correlation filter has been great applied in visual tracking. Aiming at the drift problem in complex situations, a multiple scale tracking method is proposed. Firstly, spatio-temporal context model is used to output the precise location of object by the confidence map. Secondly, the scale estimation is obtained by a trained correlation filter. Finally, based on the new location and scale, a new update mechanism of the spatio-temporal context model is proposed. Experimental results show that the proposed algorithm can complete the robust tracking under the condition of scale changes, partial occlusion, pose variations, etc. Tracking precision is improved by 38.4% compared with the original spatio-temporal context tracking method.

object tracking，spatio-temporal context，scale update

TP391

A

1001-8891(2017)06-0535-06

2016-08-29；

2016-09-01.

李澤仁（1987-），男，安徽阜陽人，碩士研究生，研究方向為計算機圖形圖像處理。

國家自然科學基金（61440044，61102008）；北方民族大學科研項目（2014XYZ04）。