基于字典學(xué)習(xí)改進(jìn)的時(shí)空上下文算法

張 堯,才 華,2,曹 露,王冰雪,陳廣秋

(1.長春理工大學(xué) 電子信息工程學(xué)院,長春 130022；2.長春中國光學(xué)科學(xué)技術(shù)館,長春 130117)

目標(biāo)跟蹤技術(shù)在公共安全、智能交通等領(lǐng)域應(yīng)用廣泛[1].在實(shí)際應(yīng)用中,通常由于光照明暗變化、外部遮擋等因素的干擾,影響視頻跟蹤的魯棒性.利用目標(biāo)周圍的上下文環(huán)境進(jìn)行輔助跟蹤定位,不僅可使用前后相關(guān)幀的時(shí)間上下文,還可利用目標(biāo)自身及周圍的背景條件作為空間上下文達(dá)到魯棒跟蹤的目的.Zhang等[2]提出了一種效果優(yōu)良的時(shí)空上下文(spatio-temporal context,STC)算法,充分考慮了目標(biāo)附近稠密的上下文環(huán)境,其性能超過了大部分當(dāng)前主流算法.此外,加權(quán)時(shí)空上下文算法[3]和基于稀疏表示的時(shí)空上下文算法[4],也極大提高了時(shí)空上下文的跟蹤效果.

字典學(xué)習(xí)包括稀疏編碼和字典更新兩個(gè)階段,先更新迭代稀疏系數(shù)矩陣,然后在迭代字典矩陣和稀疏系數(shù)矩陣時(shí)更新字典,以得到符合優(yōu)化目的的字典,對數(shù)量巨大的數(shù)據(jù)集進(jìn)行降維,從中得到最能表現(xiàn)樣本的特征,達(dá)到運(yùn)算量最小的目的.目前較成熟的字典學(xué)習(xí)算法有正交匹配追蹤(orthogonal matching pursuit,OMP)算法[5]、最優(yōu)方向法(method of directions,MOD)算法[6]等.利用構(gòu)建圖像特征集合字典對目標(biāo)特征信息進(jìn)行分析對比,可解決目標(biāo)長期靜止時(shí)的跟蹤問題,并利用實(shí)時(shí)更新目標(biāo)模板,最大限度保證模板實(shí)時(shí)表征目標(biāo)的各種特性[7].潘晴等[8]提出了在跟蹤過程中構(gòu)建字典,其中背景字典由每幀圖像重新構(gòu)造,并通過特征選擇避免在更新過程中引入干擾,該算法可有效解決視角變化、光照變化帶來的跟蹤失敗問題.時(shí)空上下文算法可挖掘連續(xù)幀間目標(biāo)周圍局部場景中的時(shí)空關(guān)系信息,將其與字典學(xué)習(xí)相結(jié)合,可將時(shí)空信息融合到字典構(gòu)建與模板更新中,能有效對抗強(qiáng)遮擋導(dǎo)致的跟蹤失敗問題.

1 時(shí)空上下文算法

在目標(biāo)跟蹤過程中,目標(biāo)和所在場景在相鄰幀內(nèi)有較強(qiáng)的時(shí)空對應(yīng)關(guān)系,這種關(guān)系可被應(yīng)用在精準(zhǔn)定位目標(biāo)上.時(shí)空上下文算法利用Bayes框架計(jì)算置信圖,其中最大似然概率的位置即為目標(biāo)中心[9].目標(biāo)規(guī)模通常會隨著時(shí)間而改變.因此,權(quán)函數(shù)ωσ中的規(guī)模參數(shù)σ應(yīng)相應(yīng)更新.權(quán)重函數(shù)的尺度參數(shù)更新公式為

(1)

圖1 STC算法流程Fig.1 Flow chart of STC algorithm

圖2 前景字典的構(gòu)造Fig.2 Construction of foreground dictionary

2 改進(jìn)算法

2.1 構(gòu)造前景字典

2.2 構(gòu)造上下文字典

在目標(biāo)跟蹤過程中,目標(biāo)很少與全部場景分割開,因?yàn)榭偞嬖谝恍┡c目標(biāo)運(yùn)動有短時(shí)間或長時(shí)間關(guān)聯(lián)的部分.本文將該部分稱為空間背景上下文[10],目標(biāo)與上下文的相關(guān)性可以被利用.

圖3為跟蹤目標(biāo)區(qū)域卷積時(shí)空上下文模型得到的置信圖.由圖3可見,目標(biāo)存在嚴(yán)重障礙,導(dǎo)致目標(biāo)的外觀發(fā)生很大變化.黃色跟蹤框中為跟蹤的目標(biāo),被嚴(yán)重遮擋,但紅色框中的上下文區(qū)域卻僅有小部分被阻擋.圖中黃色點(diǎn)表示目標(biāo)中心,周圍紅色點(diǎn)表示上下文區(qū)域中的特征點(diǎn),因?yàn)辄S色點(diǎn)與紅色點(diǎn)的空間關(guān)系并未發(fā)生變化,連續(xù)兩幀整體的上下文區(qū)域還存在較高的相似度,因此目標(biāo)局部上下文未出現(xiàn)較大變化,此幀的局部上下文也可較好地估計(jì)下一幀的目標(biāo)位置.

圖3 上下文信息與目標(biāo)時(shí)空關(guān)系分析Fig.3 Analysis of context information and target spatio-temporal relation

圖4 上下文字典的構(gòu)造Fig.4 Construction of context dictionary

2.3 基于稀疏表示的特征選擇

先進(jìn)行尺度上的歸一化,再觀察跟蹤結(jié)果,從而有效地克服尺寸變化.本文使用一個(gè)d維的歸一化尺度模板T∈d×1,描述目標(biāo)的外觀,其中d為模板的特征維數(shù)[11].在除首幀外的每一幀中,通過跟蹤器定位目標(biāo)狀態(tài)后,先要?dú)w一化目標(biāo)到模板尺度,再按照m×n的大小采樣子塊pi∈l×1,i=1,2,…,N,利用

(2)

(3)

(4)

(5)

按概率權(quán)重的大小對子塊進(jìn)行排序,從中選取權(quán)重最高的前k個(gè)子塊更新前景字典,為保證字典的規(guī)模不變,將特征信息量少的k個(gè)子塊進(jìn)行剔除.同時(shí),選擇以前維度中具有最高概率權(quán)重的特征更新到模板[14].這種更新方法可有效保持目標(biāo)外觀,避免增加干擾導(dǎo)致跟蹤失敗.

2.4 基于稀疏表示的時(shí)空上下文算法

徑向函數(shù)hsc(x-z)編碼了目標(biāo)與其空間上下文間的空間關(guān)系,ηi表示子塊特征的概率權(quán)重,將目標(biāo)與其空間上下文的聯(lián)系進(jìn)行權(quán)重分配,有效區(qū)分了各空間上下文的重要性,所以本文將條件概率公式P(x|c(z),o)改寫為

P(x|c(z),o)=ηihsc(x-z).

(6)

置信圖通過空間上下文模型和先驗(yàn)概率模型進(jìn)行圖求解,可得

其中:I(z)表示點(diǎn)的灰度；ωσ(z-x*)表示一個(gè)加權(quán)函數(shù),z距離x*越近,權(quán)值越大；b為歸一化參數(shù)；α為尺度參數(shù)；β為一個(gè)形狀參數(shù).進(jìn)行快速Fourier變換(FFT),得

(8)

利用FFT學(xué)習(xí)改進(jìn)的空間上下文模型為

(9)

(10)

計(jì)算第(t+1)幀置信圖：

(11)

置信圖函數(shù)值最大的一點(diǎn)即為目標(biāo)位置：

(12)

利用補(bǔ)充特征權(quán)重的方法,使STC算法能在受強(qiáng)遮擋干擾的情況下,保持穩(wěn)定、準(zhǔn)確的跟蹤效果.

2.5 算法描述

步驟1) 輸入視頻,利用Python視頻分幀,將視頻的每一幀提取并保存,從而得到視頻幀序列；

步驟2) 初始化,在首幀手動圈出目標(biāo),對目標(biāo)進(jìn)行均勻采樣一系列子塊,構(gòu)造前景字典Φtar,在空間上下文區(qū)域隨機(jī)采樣一系列局部子塊構(gòu)造上下文字典Φtar；

步驟3) 應(yīng)用稀疏表示,計(jì)算模板中每一維特征的概率權(quán)重；

步驟4) 利用計(jì)算出的概率權(quán)重,重新排序特征,選取排名前k的特征及其對應(yīng)子塊,用于更新前景字典Φtar和模板T；

步驟6) 重復(fù)步驟3)～5),實(shí)現(xiàn)對視頻中運(yùn)動目標(biāo)的跟蹤.

改進(jìn)算法跟蹤過程結(jié)構(gòu)流程如圖5所示.

圖5 改進(jìn)算法跟蹤流程Fig.5 Tracking flow chart of improved algorithm

3 實(shí) 驗(yàn)

本文實(shí)驗(yàn)平臺為MATLAB R2016a,PC機(jī)配置為Inter(R) Core(TM) i3-2120 CPU@ 3.30 GHz.實(shí)驗(yàn)中部分測試視頻數(shù)據(jù)集來自于VOT2018數(shù)據(jù)集.針對遮擋程度的差異,選擇Shelter1,Faceocc,Jogging這3個(gè)數(shù)據(jù)集進(jìn)行實(shí)驗(yàn),并采用經(jīng)典跟蹤算法DSST(discriminative scale space tracking)算法[15]和KCF(kernelized correlation filters)算法[16]進(jìn)行對比實(shí)驗(yàn),實(shí)驗(yàn)結(jié)果如圖6所示.

圖6 測試序列跟蹤結(jié)果Fig.6 Tracking results of test sequence

通過計(jì)算實(shí)際目標(biāo)位置與跟蹤到目標(biāo)位置之間的歐氏距離定義中心誤差,計(jì)算公式為

(13)

其中:xi和yi分別表示跟蹤算法得到目標(biāo)中心的橫縱坐標(biāo);xg和yg分別表示實(shí)際中心的橫縱坐標(biāo).Shelter1和Faceocc兩個(gè)數(shù)據(jù)集中遮擋程度逐漸嚴(yán)重.圖7為4種算法在Shelter1(A)和Faceocc(B)數(shù)據(jù)集中進(jìn)行跟蹤實(shí)驗(yàn)的中心位置誤差變化曲線.

利用實(shí)際框與跟蹤到的目標(biāo)框之間的重疊度判斷跟蹤成功率,重疊度計(jì)算公式為

(14)

改進(jìn)算法在目標(biāo)準(zhǔn)確度上明顯優(yōu)于原算法,在Jogging數(shù)據(jù)集測試中,原算法從58幀開始丟失目標(biāo),中心誤差驟增,而改進(jìn)算法仍能穩(wěn)健跟蹤.表1為各算法在數(shù)據(jù)集中的中心誤差平均值及成功率對比結(jié)果.

圖7 4種算法在Shelter1(A)和Faceocc(B)數(shù)據(jù)集中進(jìn)行跟蹤實(shí)驗(yàn)的中心位置誤差變化曲線Fig.7 Error curves of center position of tracking experiment of four algorithms in data sets of Shelter1 (A) and Faceocc (B)

數(shù)據(jù)集總幀數(shù)中心誤差平均值/像素原算法改進(jìn)算法文獻(xiàn)[15]算法文獻(xiàn)[16]算法Shelter13269.724.877.348.25Faceocc411125.516.717.117.85Jogging307120.77.89150.15140.2數(shù)據(jù)集總幀數(shù)各算法成功率/%原算法改進(jìn)算法文獻(xiàn)[15]算法文獻(xiàn)[16]算法Shelter132694.898.296.795.6Faceocc41116.5494.894.593.1Jogging30719.594.527.223.1

由表1可見,在存在不同遮擋情況的3組數(shù)據(jù)集中,改進(jìn)后的時(shí)空上下文算法都能保持良好的成功率,平均中心位置誤差在3個(gè)序列中表現(xiàn)最佳.在出現(xiàn)強(qiáng)遮擋的Jogging數(shù)據(jù)集中,原算法與文獻(xiàn)[15]算法和文獻(xiàn)[16]算法均出現(xiàn)了不同程度的跟蹤漂移現(xiàn)象,而本文改進(jìn)算法成功率為94.5%,能有效對抗強(qiáng)遮擋導(dǎo)致的跟蹤失敗問題.

綜上所述,本文提出了一種基于字典學(xué)習(xí)改進(jìn)的時(shí)空上下文算法,構(gòu)建了前景字典和上下文字典.利用稀疏解的特性,判斷哪些特征受遮擋或干擾,將子塊特征的概率權(quán)重參與到構(gòu)建條件概率中.通過3組對比實(shí)驗(yàn)定性、定量分析了實(shí)驗(yàn)結(jié)果.實(shí)驗(yàn)結(jié)果表明,改進(jìn)算法能較好地克服強(qiáng)遮擋導(dǎo)致的跟蹤失敗問題,具有較強(qiáng)的魯棒性.