基于時空特征的實時相關(guān)濾波目標跟蹤

趙翱東, 石　磊, 劉　飛

(1.江南大學 物聯(lián)網(wǎng)工程學院,江蘇 無錫 214122；2.無錫職業(yè)技術(shù)學院,江蘇 無錫 214121)

?

計算與測試

基于時空特征的實時相關(guān)濾波目標跟蹤

趙翱東1,2, 石磊1, 劉飛1

(1.江南大學 物聯(lián)網(wǎng)工程學院,江蘇 無錫 214122；2.無錫職業(yè)技術(shù)學院,江蘇 無錫 214121)

提出一種基于時空信息的相關(guān)濾波實時目標跟蹤算法,以解決紋理改變、光照變化、旋轉(zhuǎn)變形甚至遮擋情況下目標跟蹤效率問題。此算法考慮到目標定位過程中,目標與其周圍信息存在空域上的相關(guān)性,來構(gòu)建目標空域濾波模型,并且該算法引入時間變量來在線更新得到時空域濾波模型,利用相鄰幀信息相似性來降低遮擋對跟蹤的影響。通過實驗對比,驗證了當目標受到非理想因素干擾時,所提算法具有健壯的魯棒性和良好實時性。

相關(guān)濾波； 空域； 時空信息； 實時跟蹤

0　引　言

目標跟蹤是計算機視覺領(lǐng)域中非?；钴S的研究主題,在視覺監(jiān)控、運動分析、人機交互等領(lǐng)域快速發(fā)展。但由于目標受到目標縮放、光照變化和局部遮擋等干擾時,跟蹤效果制約嚴重[1]。近些年,國內(nèi)外學者在機器視覺跟蹤方面提出很多算法或者改進辦法[2～6]。

Black M等人[2]提出通過離線學習構(gòu)建出跟蹤模型子空間來實現(xiàn)目標跟蹤。Ross D等人[3]提出通過在線學習建立目標子空間模型,實現(xiàn)一種增量式視覺跟蹤算法。近些年,基于相關(guān)濾波器的跟蹤算法由于其良好的跟蹤效果,超快的跟蹤速度,使得此類跟蹤方法備受關(guān)注,改進方法也層出不窮。文獻[5]首次將相關(guān)濾波應(yīng)用在跟蹤領(lǐng)域,通過計算濾波器模板來獲得響應(yīng)最大的區(qū)域作為目標區(qū)域。文獻[6]在相關(guān)濾波器的基礎(chǔ)上提出改進尺度的方法,提高了相關(guān)濾波器在目標尺度發(fā)生較大變化場景中的應(yīng)用。

無論基于模型,還是基于判別式,上述跟蹤算法僅僅將研究對象局限于目標本身,忽略了目標周圍的信息特征,造成算法精度不高。文獻[7]通過訓練目標周圍的正樣本得到弱分類器,并級聯(lián)建立強分類器,實現(xiàn)目標判別。文獻[8]利用目標周圍多個正負樣本作為特征包來強化分類器的判別效果,達到從背景中區(qū)分目標的能力。這些方法考慮到目標周圍的信息特征,但其選擇的隨機性決定目標模型更新過程的不確定性和不精確性。

為了增強跟蹤精度,本文提出一種基于時空信息的實時相關(guān)濾波跟蹤算法。利用目標與其周圍空域信息存在空域上的相關(guān)性,構(gòu)建目標空域濾波器模型,利用幀間的時序關(guān)系,累積更新空域濾波器模型構(gòu)造出時空域濾波器模型；最終利用時空域濾波器模型與目標響應(yīng)區(qū)域的卷積計算獲得響應(yīng)置信圖,以響應(yīng)置信圖中響應(yīng)的極大值點作為中心點,獲取的目標區(qū)域。

1　相關(guān)濾波器跟蹤理論

1.1相關(guān)濾波的原理

假如存在2組信號,信號f和信號g,通過卷積得到2組信息的相關(guān)性,在線性情況下,計算公式如下

(1)

在離散情況下,計算公式如下

(2)

式中f*為f的復(fù)共軛。2組信息的相關(guān)性就是衡量2組信號在某一時刻的相似程度。

相關(guān)濾波器應(yīng)用于跟蹤的核心思想為：2個信號越相似,其卷積得到的相關(guān)性越高。在跟蹤過程中,通過搜索樣本與模板之間的相關(guān)性,在卷積過程中,響應(yīng)最大的樣本即為最終的目標區(qū)域。

1.2誤差最小平方和濾波器濾波跟蹤方法

文獻[5]提出利用誤差最小平方和濾波器(minimum output sum of square error filter,MOSSE)的跟蹤思路。假設(shè)已知濾波器模板模型h的情況下,通過輸入樣本f,計算對應(yīng)的濾波器響應(yīng),計算公式如下所示

g=f?h

(3)

式中g(shù)為輸入樣本的響應(yīng)輸出。因此,在跟蹤的過程中,需要不斷計算更新每一時刻的濾波器模板模型h,以此對輸入的樣本卷積,響應(yīng)最大的即為某時刻的目標區(qū)域。

為了保證算法的實時性,文獻[5]通過快速傅里葉變換方法將式(3)中的卷積計算轉(zhuǎn)換到頻域內(nèi)的點乘計算,式(3)可以表示為

F(g)=F(f?h)=F(f)⊙F(h)*

(4)

式(4)可以簡化為

G=F⊙H*

(5)

因此,在跟蹤過程中需要不斷計算濾波器模板模型H*。

在MOSSE模型中,將m個目標圖像作為輸入,得到濾波器模板模型

(6)

通過不斷計算濾波器模板模型H*來獲取目標的區(qū)域。然而MOSSE模型在計算濾波模型的過程中,一方面提取多個目標圖像塊特征訓練濾波器,造成特征間交叉冗余,影響學習跟蹤速度;另外一方面MOSSE模型只利用了目標自身的信息特征,未考慮目標與其周圍信息之間的空域相關(guān)性[9],在出現(xiàn)遮擋情況下,MOSSE算法容易受到遮擋物的干擾,最終導致丟失目標的情況出現(xiàn)。因此,本文提出利用目標與目標周圍信息間的相關(guān)性構(gòu)建空域濾波模型,考慮幀間的時序關(guān)系對跟蹤目標的重要影響[10],構(gòu)造出時空域濾波模型。在保證算法魯棒性的同時,通過設(shè)置空域區(qū)域的方式避免了需要選取大量樣本來計算樣本響應(yīng),降低了計算量,提升了算法的速率。

2　基于時空信息的相關(guān)濾波跟蹤算法

在跟蹤過程中,目標區(qū)域某些特征在空間位置上保持相對穩(wěn)定。例如:人臉定位時,臉部的眼睛和鼻子有著相對固定的空間距離,但眼睛與臉部以外的特征點的距離卻時刻改變,本文把目標區(qū)域內(nèi)部特征之間,以及其與目標周圍區(qū)域存在的動態(tài)聯(lián)系[9]稱之為目標空域相關(guān)性。另外,相鄰幀之間變化(很短時間內(nèi))可以合理地假定是平穩(wěn)且很小的,當前幀包含的信息在下一幀中是相似的。即使目標漸入遮擋物時,雖然幀局部信息變化較大,但整體信息是相似的。基于連續(xù)幀之間的時序關(guān)系,當前幀的目標信息可為下一幀的目標區(qū)域預(yù)測提供先驗知識[10],在一定程度上解決目標遮擋的影響。因此，本文將提出一種基于空域相關(guān)性和時域特性來構(gòu)建濾波器模型的跟蹤算法。

2.1空域相關(guān)濾波模型

圖1中,實線框區(qū)域包含了目標及其周圍信息,即本文所定義的空域ΩD,本文設(shè)其大小為目標區(qū)域(虛線框區(qū)域)的2倍。點x*為目標區(qū)域的中心點位置。中心點x*所對應(yīng)的上下文空域為ΩD(x*),其信息特征{D(x)=(I(x),x)|x∈ΩD(x*)},其中,x表示上下文空域ΩD(x*)的像素點,I(x)表示其灰度值。

圖1　空域示意圖Fig 1　Diagram of spatial domain

由于目標在移動過程中,一般情況下極短時間內(nèi)目標的移動偏移量在一定范圍內(nèi)。在設(shè)置輸入樣本f時,與MOSSE方法輸入大量的候選樣本圖像不同,本文通過設(shè)置以點x*為中心點,2倍于前幀中目標區(qū)域的空域范圍作為輸入圖像區(qū)域?？紤]到隨著空域中像素點x與目標中心x*的距離增加,目標中心x*與像素點x的空域相關(guān)性越小,符合高斯分布模式。構(gòu)建輸入函數(shù)f如下

f(x)=I(x)ωσ(x-x*)

(7)

式中ωσ為高斯分布函數(shù),定義為

(8)

式中參數(shù)σ為跟蹤過程中跟蹤框高與寬的和的50 %。

與MOSSE方法相似,假設(shè)相關(guān)響應(yīng)函數(shù)g(x)服從如下分布

(9)

式中x∈R2為目標位置,x*為目標區(qū)域的幾何中心點位置,K為標準常量為1,參數(shù)α,β分別為尺度參數(shù)和形狀參數(shù)。實驗中,采用β=1,α=2.25,能夠很好地確定最大值響應(yīng),即目標中心點位置。

假設(shè)空域濾波器模型為hsc(x),因此,根據(jù)式(3)得到

g(x)=f(x)?hsc(x)

(10)

為了保持算法的實時性,將上式的卷積運算轉(zhuǎn)換為頻域的乘積運算,見式(11)

F(g(x))=F(f(x))⊙F(hsm(x))

(11)

式中F為傅里葉變換函數(shù),⊙為兩個矩陣對應(yīng)元素相乘。因此,可以學習得到目標空域濾波器模型

(12)

式中F-1為傅里葉逆變換函數(shù)。因此,得到目標空域相關(guān)濾波器模型。

2.2時空域相關(guān)濾波模型

hsc(x)是目標的空域相關(guān)濾波器模型,如圖2所示考慮時間參數(shù),得到如下時空域相關(guān)濾波模型,即

(13)

式中η為更新的學習率,在實驗中，采用0.075這個值。

圖2　相鄰幀間時序關(guān)系Fig 2　Timing relationship of consecutive frames

2.3獲取目標區(qū)域

最終,在輸入t+1時刻樣本圖像ft+1(x)時,本文計算得到時空域相關(guān)濾波模型對應(yīng)的響應(yīng)輸出,計算如下

(14)

式中?為卷積運算符。

圖3中,最左側(cè)圖實線區(qū)域為目標空域,中間圖為時空域相關(guān)濾波卷積模板,最右側(cè)圖即為響應(yīng)輸出對應(yīng)的偽彩圖。

(15)

由式(15)得到在t+1時刻目標的幾何中心點位置,確定目標區(qū)域。

圖3　基于時空域相關(guān)濾波模型的響應(yīng)圖Fig 3　Response map based on temporal-spatio domain related filtering model

2.4算法流程

利用目標及其周圍信息的時空相關(guān)性構(gòu)建時空域相關(guān)濾波模型,設(shè)置空域范圍作為輸入,獲得對應(yīng)的輸出響應(yīng),響應(yīng)的最大值即為目標的幾何中心點,獲得目標區(qū)域。算法流程如下：

1)初始化：初始化出首幀的目標跟蹤窗,考慮到目標與其周圍信息之間的相關(guān)性,構(gòu)建出目標空域相關(guān)濾波模型。利用時間軸上連續(xù)幀之間的關(guān)系構(gòu)建出目標時—空域相關(guān)濾波模型。

2)目標跟蹤：讀取下一幀,將卷積時—空域相關(guān)濾波模型計算得到響應(yīng)輸出,獲得下一幀的目標跟蹤窗。

a.根據(jù)目標上一幀的位置設(shè)置輸入樣本圖像,根據(jù)式(14)計算得到卷積時空域相關(guān)濾波模型的輸出響應(yīng)。

b.遍歷輸出響應(yīng),利用式(15)計算得到響應(yīng)最大值,作為目標的幾何中心點,得到目標跟蹤窗；

c.時—空域相關(guān)濾波模型更新：得到目標最優(yōu)跟蹤窗后,利用式(12)更新空域相關(guān)濾波模型,根據(jù)式(13)更新時—空域相關(guān)濾波模型。

5)結(jié)束：跳轉(zhuǎn)到第2步。

3　實驗結(jié)果與分析

為了驗證算法的正確性和有效性,在Intel(R)Pentium(R) 2.9G Hz,內(nèi)存4.0 GB的微機實現(xiàn)。重點對算法的魯棒性進行檢驗,包括目標旋轉(zhuǎn)、目標形變、局部遮擋以及快速運動等情況。除此之外,將算法與多示例學習(multiple instance learning,MIL)Track算法[8],MOSSE算法[5]進行了對比說明。本文中所有實驗初始狀態(tài)一致,實驗所對比的標準跟蹤框的數(shù)據(jù)來源于Benchmark[2]。

3.1對局部遮擋與紋理變化的實驗

Woman序列實驗是針對目標出現(xiàn)遮擋和紋理變化時,算法的抗干擾性能驗證。

圖4　Woman圖片序列跟蹤效果Fig 4　Tracking effect of Womans image serial sequences

圖4中,在#127幀時目標Woman出現(xiàn)局部遮擋與紋理變化,MIL算法的跟蹤窗出現(xiàn)偏移,且從此出現(xiàn)脫靶情況。MOSSE算法由于未考慮目標周圍特征,因此,在出現(xiàn)局部遮擋之后出現(xiàn)偏移情況,較本文所提算法跟蹤效果稍差。本文算法由于考慮了目標上下文環(huán)境,抗干擾性明顯增強。本文算法考慮到時空特征,結(jié)合目標空域信息與相鄰幀之間時序關(guān)系,跟蹤效果最佳。

圖5為三種算法的跟蹤中心點位置與標準跟蹤中心點的誤差曲線分析圖。橫軸表示幀號,縱軸表示“跟蹤窗中心點位置”與“真實目標中心點位置”偏離誤差,從圖5中可以看出MIL算法在#120幀開始出現(xiàn)較大的中心偏移,有的高達200個像素值。而本文算法算法充分利用目標與其周圍信息,在目標出現(xiàn)遮擋情況下很好地計算出目標跟蹤窗。兼顧了目標周圍信息和時間特性。相比MOSSE算法，本文算法中心點偏差保持在10個像素點以內(nèi)。

圖5　Woman序列的跟蹤中心點誤差曲線圖Fig 5　Center point error curve of tracking based on Woman sequences

3.2對嚴重遮擋與目標旋轉(zhuǎn)形變的實驗

Faceooc2序列實驗是針對目標出現(xiàn)旋轉(zhuǎn)和嚴重遮擋時,算法的抗干擾性能驗證。

圖6中,自#151幀起目標發(fā)生大面積遮擋,并且在序列過程中伴隨平面內(nèi)旋轉(zhuǎn)。MIL和MOSSE算法不同程度出現(xiàn)跟蹤窗偏移,從圖中可以看出，在#188幀,MOSSE算法跟蹤偏移嚴重,而本文算法跟蹤效果最佳。

圖6　Faceooc2圖片序列跟蹤效果Fig 6　Tracking results of Faceooc2 sequences

圖7　Faceocc2序列的跟蹤中心點誤差曲線圖Fig 7　Center point error curve of tracking based on Faceocc2 sequences

從圖7看出,在目標出現(xiàn)嚴重遮擋和旋轉(zhuǎn)變化時,MOSSE算法跟蹤效果最差,中心偏差誤差曲線中偏離最大。說明了本文算法在相關(guān)濾波框架下利用目標的時間和空間特征更好地克服遮擋對跟蹤算法的影響。

4　結(jié)　論

本文算法利用目標與其周圍空域信息,以及該目標在時間軸上相鄰幀之間的聯(lián)系,建立目標的時空域濾波模型。另外,本文算法引入時間變量來在線更新時空域濾波模型,利用相鄰幀的時序關(guān)系以及其信息的相似性,以前一幀的信息輔助預(yù)測漸入遮擋物的后續(xù)幀目標狀態(tài),提高算法抗遮擋的魯棒性。通過實驗證明：本文算法在目標出現(xiàn)旋轉(zhuǎn)形變、紋理改變、光照變化、局部遮擋甚至嚴重遮擋時,依然保持良好的魯棒性。

[1]Fan Jialue,Shen Xiaohui,Wu Ying.Scribble Tracker:A matting-based approach for robust tracking[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2012,34(8):1633-1644.

[2]Black M,Jepson A.Eigentracking:Robust matching and tracking of articulated objects using a view-based representation[J].International Journal of Computer Vision,1998,26:63-84.

[3]Ross D,Lim J,Lin R,et al.Incremental learning for robust visual tracking[J].International Journal of Computer Vision,2007,77(1-3):125-141.

[4]Bolme D S,Beveridge J R,Draper B A,et al.Visual object tra-cking using adaptive correlation filters[C]∥IEEE Conference on Computer Vision & Pattern Recognition,IEEE,2010:2544-2550.

[5]Danelljan M,H?ger G,Khan F,et al.Accurate scale estimation for robust visual tracking[C]∥Proc of British Machine Vision Conf,Nottingham UK，2014.http:∥dx.doi.org∥10.5244/C.28.65.

[6]Avidan S.Ensemble tracking[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2007,29:261-271.

[7]Babenko B,Yang M H,BELONGIE S.Robust object tracking with online multiple instance learning[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2011,33(8):1619-1632.

[8]Grabner H,Matas J,Van G L,et al.Tracking the invisible:Learning where the object might be[C]∥Proceedings of the IEEE Computer Society Conf on Computer Vision and Pattern Recognition,San Francisco,CA,2010:1285-1292.

[9]Wen L Y,Cai Zh W,Zhen L,et al.Robust online learned spatio-temporal context model for visual tracking[J].IEEE Transactions on Image Processing,2014,23(2):785-796.

Real-time correlation filtering target tracking based on spatio-temporal feature

ZHAO Ao-dong1,2, SHI Lei1, LIU Fei1

(1.School of Internet of Things Engineering,Jiangnan University,Wuxi 214122,China;2.Wuxi Institute of Technology,Wuxi 214121,China)

To solve efficient problem of object tracking in terms of texture changes,illumination changes,rotational changes and even occlusion,propose a real time target tracking algorithm based on correlation filtering of spatial-temporal information.The proposed algorithm has considered that the object is relative to surrounding information in spatial area,which can be used to construct target spatial filtering model in the process of target localization.Moreover,this algorithm introduces temporal variables to update spatial filtering model online,using information similarity between consecutive frames to decrease effects of occlusion on tracking.Through experiment contrast,it is verified that the proposed algorithm has strong robustness and good real-time performance when the target is under interference of non-ideal factors.

correlation filtering; spatial area; spatial-temporal information; real-time tracking

2016—05—09

TP 391

A

1000—9787(2016)08—0119—04

趙翱東(1977-),男,江蘇無錫人,碩士研究生,講師,研究方向為智能控制、模式識別。

DOI:10.13873/J.1000—9787(2016)08—0119—04