一種融合卡爾曼濾波的改進(jìn)時(shí)空上下文跟蹤算法

趙洲， 黃攀峰，*， 陳路

1.西北工業(yè)大學(xué) 航天學(xué)院 智能機(jī)器人研究中心， 西安 710072 2.西北工業(yè)大學(xué) 航天飛行動(dòng)力學(xué)重點(diǎn)實(shí)驗(yàn)室， 西安 710072

一種融合卡爾曼濾波的改進(jìn)時(shí)空上下文跟蹤算法

趙洲1,2， 黃攀峰1,2，*， 陳路1,2

1.西北工業(yè)大學(xué) 航天學(xué)院 智能機(jī)器人研究中心， 西安 710072 2.西北工業(yè)大學(xué) 航天飛行動(dòng)力學(xué)重點(diǎn)實(shí)驗(yàn)室， 西安 710072

針對時(shí)空上下文跟蹤算法對快速運(yùn)動(dòng)和遭受嚴(yán)重遮擋目標(biāo)的跟蹤精度下降問題，提出一種融合卡爾曼濾波的改進(jìn)時(shí)空上下文跟蹤算法。首先人工標(biāo)記目標(biāo)所在的矩形區(qū)域，然后利用改進(jìn)的時(shí)空上下文算法對目標(biāo)進(jìn)行穩(wěn)定跟蹤，在跟蹤過程中，基于連續(xù)兩幀圖像灰度的歐氏距離判定目標(biāo)跟蹤狀態(tài)，當(dāng)判定目標(biāo)遭受嚴(yán)重遮擋時(shí)，利用卡爾曼濾波進(jìn)行預(yù)測估計(jì)。算法對噪聲有一定的容忍度，通過降低噪聲對跟蹤過程的影響，能夠得到更優(yōu)的目標(biāo)區(qū)域。仿真實(shí)驗(yàn)結(jié)果表明：本文算法適用于不同光照強(qiáng)度下高速、高機(jī)動(dòng)目標(biāo)的穩(wěn)定跟蹤，并且對目標(biāo)的尺度變化和短時(shí)嚴(yán)重遮擋具有魯棒性。算法幀平均耗時(shí)為34.07 ms；幀幾何中心平均誤差為5.43 pixel，比時(shí)空上下文算法減少70.2%；目標(biāo)輪廓面積平均誤差為13.08%，比時(shí)空上下文算法減少52.7%。

目標(biāo)跟蹤； 卡爾曼濾波； 時(shí)空上下文； 置信圖； 貝葉斯； 歐氏距離

計(jì)算機(jī)視覺已經(jīng)在許多領(lǐng)域得到運(yùn)用，其中目標(biāo)跟蹤作為其重要的組成部分，已經(jīng)成為研究的熱點(diǎn)問題。目標(biāo)跟蹤在商業(yè)領(lǐng)域中可以用于智能監(jiān)控、人機(jī)交互、目標(biāo)定位和人體跟蹤等[1]；軍事領(lǐng)域中可以用于敵對目標(biāo)的自動(dòng)定位和追蹤等[2]；航天航空領(lǐng)域中可以用于非合作目標(biāo)抓捕，合作目標(biāo)定位、導(dǎo)航和追蹤，以及空間機(jī)器人的伺服控制等。雖然目標(biāo)跟蹤在各個(gè)領(lǐng)域中得到了廣泛運(yùn)用，但由于跟蹤對象以及對象所處的復(fù)雜環(huán)境，目標(biāo)跟蹤仍然存在許多亟待解決的難點(diǎn)：① 目標(biāo)的輪廓、位姿和尺度變化等內(nèi)在因素；② 跟蹤過程出現(xiàn)的光照強(qiáng)度變化、遮擋和復(fù)雜背景等外在因素[3]。

針對目標(biāo)跟蹤過程中可能存在的遮擋、光照強(qiáng)度和目標(biāo)位姿變化等問題，研究人員提出許多不同的跟蹤算法。這些算法大多運(yùn)用模板匹配[4-5]、小面元跟蹤[6-7]、粒子濾波[8-9]、稀疏表達(dá)[10]、輪廓建模[11]和圖像分割[12]等。比如，Pouya等[13]提出一種基于Kanade-Lucas-Tomasi (KLT)和卡爾曼濾波的跟蹤算法，該算法運(yùn)用KLT跟蹤目標(biāo)，同時(shí)，通過卡爾曼濾波算法對KLT得到的跟蹤結(jié)果進(jìn)行估測，以獲得跟蹤的最佳路徑。Wang和Liu[14]提出了一種基于目標(biāo)質(zhì)地特性的跟蹤方法，該算法估計(jì)目標(biāo)在當(dāng)前幀的位姿，通過卡爾曼濾波算法預(yù)測在下一幀時(shí)目標(biāo)的位姿。為了增強(qiáng)在目標(biāo)跟蹤過程中卡爾曼濾波算法的穩(wěn)定性，F(xiàn)u和Han[15]對線性卡爾曼濾波算法進(jìn)行了改進(jìn)，該算法首先利用背景差分法搜尋移動(dòng)目標(biāo)，然后將質(zhì)心加權(quán)方法用在卡爾曼濾波算法中，優(yōu)化預(yù)測狀態(tài)值。Su等[16]對視覺顯著性模型進(jìn)行了改進(jìn)，將其與粒子濾波算法一起用于解決目標(biāo)突然運(yùn)動(dòng)問題。蔡佳和黃攀峰[17]提出了一種適用于目標(biāo)位姿發(fā)生快速變化的跟蹤算法，該算法對跟蹤形變較大和遭受部分遮擋的目標(biāo)具有魯棒性。高羽等[18]針對機(jī)動(dòng)目標(biāo)，提出了一種全新的動(dòng)態(tài)模型，有效解決了狀態(tài)模型不準(zhǔn)確引起的問題。甘明剛等[19]在傳統(tǒng)Mean Shift算法中引入了歸一化轉(zhuǎn)動(dòng)慣量，并且針對目標(biāo)被遮擋情況利用卡爾曼濾波進(jìn)行預(yù)測估計(jì)，實(shí)驗(yàn)表明該算法在面對目標(biāo)產(chǎn)生較大位姿和輪廓變化，以及遭受部分遮擋時(shí)，都能表現(xiàn)出良好的跟蹤效果。但是，當(dāng)目標(biāo)遭受嚴(yán)重遮擋時(shí)，上述跟蹤算法很難確保有效跟蹤。

在目標(biāo)跟蹤過程中，常常會(huì)忽略目標(biāo)與其周圍環(huán)境的關(guān)系，然而利用目標(biāo)周圍環(huán)境信息來輔助跟蹤對解決完全遮擋和目標(biāo)超出跟蹤視野等問題是非常重要的，Thang等[20]通過對目標(biāo)周圍信息進(jìn)行分析，將其分為相似于目標(biāo)的干擾項(xiàng)和與目標(biāo)有聯(lián)系的支持項(xiàng)，實(shí)驗(yàn)驗(yàn)證了利用上下文信息很好的防止面對復(fù)雜背景跟蹤到相似目標(biāo)，以及在目標(biāo)離開視野和完全遮擋后，幫助再次獲得正確目標(biāo)，但是該跟蹤算法不能跟蹤外觀快速變化的目標(biāo)。Yang等[21]將圖像中具有3種性質(zhì)(與目標(biāo)同時(shí)出現(xiàn)、運(yùn)動(dòng)與目標(biāo)相關(guān)和跟蹤簡單)的信息作為輔助目標(biāo)，輔助目標(biāo)作為跟蹤目標(biāo)的上下文信息被運(yùn)用于整個(gè)跟蹤過程中，該算法能應(yīng)對目標(biāo)遭受短時(shí)間遮擋和丟失，但是對于輔助目標(biāo)的恰當(dāng)選擇還需要進(jìn)一步研究。同樣面對完全遮擋和超出跟蹤視野等問題，Grabner等[22]利用霍夫變換，將帶有目標(biāo)的支持項(xiàng)關(guān)聯(lián)起來，同時(shí)區(qū)分了強(qiáng)耦合運(yùn)動(dòng)和弱耦合運(yùn)動(dòng)；通過這種方式，在面對目標(biāo)遭受完全遮擋、遠(yuǎn)離視野和外觀快速變化的情況下，能對目標(biāo)位置進(jìn)行估計(jì)，但是當(dāng)該算法遭遇目標(biāo)的支持項(xiàng)的突然改變時(shí)，將會(huì)失效?？偠灾?，在跟蹤過程中利用上下文信息對解決完全遮擋、外觀快速變化和目標(biāo)超出跟蹤視野等問題是非常有效的。

針對跟蹤過程中出現(xiàn)的嚴(yán)重遮擋、光照強(qiáng)度改變、目標(biāo)位姿變化和高速高機(jī)動(dòng)等問題，本文提出一種融合卡爾曼濾波的改進(jìn)時(shí)空上下文跟蹤 (ISTC-KF)算法。該算法結(jié)合時(shí)空上下文(STC)快速跟蹤與卡爾曼濾波預(yù)測估計(jì)的優(yōu)勢進(jìn)行目標(biāo)跟蹤，并且跟蹤實(shí)驗(yàn)結(jié)果表明，在目標(biāo)快速運(yùn)動(dòng)、存在較大形變和被遮擋情況下，算法仍能夠進(jìn)行實(shí)時(shí)、穩(wěn)定地跟蹤。本文算法與文獻(xiàn)[20-22]都屬于利用上下文信息輔助跟蹤，但是本文提出的算法與它們有本質(zhì)上的區(qū)別，它們利用的上下文信息為目標(biāo)周圍稀少的關(guān)鍵點(diǎn)信息，而本文算法則是利用了圍繞目標(biāo)周圍的整個(gè)局部信息，這樣防止了僅利用稀少關(guān)鍵點(diǎn)信息而丟失與目標(biāo)相關(guān)的其余重要上下文信息，并且通過時(shí)空上下文模型的學(xué)習(xí)不斷更新目標(biāo)與局部上下文信息的相關(guān)性，同時(shí)利用卡爾曼濾波可以有效降低跟蹤過程中噪聲帶來的不利影響。

1 時(shí)空上下文與卡爾曼濾波算法

1.1 時(shí)空上下文算法

STC算法[23]建立在貝葉斯框架下，用式(1)定義了被跟蹤目標(biāo)與它周圍區(qū)域的時(shí)空上下文關(guān)系，得到灰度特征的統(tǒng)計(jì)相關(guān)性，同時(shí)結(jié)合生物視覺系統(tǒng)領(lǐng)域的注意力集中點(diǎn)理論來得出下一幀中目標(biāo)出現(xiàn)區(qū)域的置信圖：

c(x)=P(x|o)=

(1)

式中：Xr={m(r)=(I(r),r)|r∈Ωm(x*)}為時(shí)空上下文特征集合；c(·)為目標(biāo)的置信圖；o表示跟蹤目標(biāo)出現(xiàn)在當(dāng)前幀中；I(r)為位置r處的圖像灰度；x∈R2為目標(biāo)位置；x*為目標(biāo)的中心位置，Ωm(x*)為環(huán)繞x*的區(qū)域；m(r)為位置r的時(shí)空上下文特征；P(x|m(r),o)為條件概率，定義了目標(biāo)位置與目標(biāo)周圍環(huán)境的空間關(guān)系；P(m(r)|o)為上下文先驗(yàn)概率。

STC算法通過計(jì)算置信圖，得出使置信圖最大的目標(biāo)位置，其中對目標(biāo)模型的學(xué)習(xí)和檢測過程中，都使用傅里葉變換加快STC算法自身的解算速度。針對遭受部分遮擋，以及位姿和光照強(qiáng)度變化快的目標(biāo)，STC算法能夠取得較好的跟蹤效果，但面對高機(jī)動(dòng)以及遭受嚴(yán)重遮擋的目標(biāo)時(shí)，算法跟蹤精度下降，甚至失效。

1.2 卡爾曼濾波算法

卡爾曼濾波算法[24-25]主要用于目標(biāo)位置以及狀態(tài)的估測，該算法以目標(biāo)的位置、速度和加速度為目標(biāo)狀態(tài)矢量，通過建立目標(biāo)狀態(tài)方程來描述目標(biāo)狀態(tài)的變化，利用遞推的計(jì)算方法，估測目標(biāo)位置和狀態(tài)，并且卡爾曼濾波算法對噪聲有一定程度的容納性，可以有效降低目標(biāo)跟蹤過程中噪聲產(chǎn)生的影響。在本文算法中，它主要用于當(dāng)目標(biāo)遭受嚴(yán)重遮擋時(shí)對目標(biāo)位置的預(yù)測?？柭鼮V波可用式(2)的狀態(tài)方程和式(3)的觀測方程分別表示：

xt+1=φxt+wt

(2)

Yt=Hxt+Vt

(3)

式中：xt為在幀數(shù)t的狀態(tài)向量；φ為狀態(tài)轉(zhuǎn)移矩陣；wt為考慮系統(tǒng)擾動(dòng)的狀態(tài)噪聲；H為觀測矩陣；Vt為測量噪聲；Yt為由傳感器獲得的測量向量。

2 跟蹤算法

STC算法在目標(biāo)跟蹤過程中展現(xiàn)出快速跟蹤的優(yōu)勢，但是對于高速高機(jī)動(dòng)和遭受嚴(yán)重遮擋以及完全遮擋時(shí)會(huì)失效，不能判斷目標(biāo)是靜止還是已經(jīng)跟蹤失敗，沒有進(jìn)行判斷的能力，導(dǎo)致跟蹤失敗時(shí)，跟蹤框位置不會(huì)發(fā)生變化，而STC算法與同類算法[20-22]的不同在于：其充分利用了圍繞目標(biāo)周圍的整個(gè)局部信息而非目標(biāo)周圍稀少的關(guān)鍵點(diǎn)信息，這樣防止了僅利用稀少關(guān)鍵點(diǎn)信息而丟失與目標(biāo)相關(guān)的其余重要上下文信息。航空航天中的機(jī)動(dòng)目標(biāo)所處環(huán)境簡單，能利用的上下文信息本身較少，使得文獻(xiàn)[20-22]利用關(guān)鍵點(diǎn)信息的方式并不能較好地適用于該領(lǐng)域的跟蹤，所以本文在利用STC算法的優(yōu)勢時(shí)，對其缺陷進(jìn)行了改進(jìn)，來滿足對航空航天中的高速高機(jī)動(dòng)目標(biāo)進(jìn)行跟蹤的要求。

2.1 改進(jìn)時(shí)空上下文算法

本文重新定義了目標(biāo)位置與其周圍環(huán)境的空間關(guān)系的條件概率。為了在跟蹤過程中更好地適應(yīng)跟蹤目標(biāo)尺度的變化，運(yùn)用高斯函數(shù)替代STC算法中的權(quán)重函數(shù)。這是因?yàn)樵诮o出目標(biāo)區(qū)域時(shí)，目標(biāo)區(qū)域的邊緣方向是未知的，而二維的高斯函數(shù)具有旋轉(zhuǎn)對稱性，在邊緣檢測時(shí)不會(huì)偏向任何一方；而且STC算法在對目標(biāo)模型的學(xué)習(xí)和檢測過程中，都使用傅里葉變換加快STC算法自身的解算速度。高斯函數(shù)的傅里葉變換以及反變換還是高斯函數(shù)本身，這樣雖然圖像的邊緣既含有低頻分量，又含有高頻分量，但是并不會(huì)受無關(guān)的高頻信號所污染。ISTC的先驗(yàn)概率為

(4)

式中：β為跟蹤目標(biāo)的尺度比例參數(shù)。

(5)

現(xiàn)有的搜索目標(biāo)的算法一般都是模板匹配[4-5]，通過初始選擇定義好的模板進(jìn)行全局或者局部搜索，但在面對高速高機(jī)動(dòng)目標(biāo)時(shí)，由于目標(biāo)的外觀產(chǎn)生巨大形變，而使得初始定義的模板不能較好地尋找目標(biāo)。本文提出的算法是在上一幀取得的目標(biāo)基礎(chǔ)上，對目標(biāo)模型不斷進(jìn)行學(xué)習(xí)，更好地適應(yīng)了模型外觀快速的變化，同時(shí)利用傅里葉變換加快了求解最大置信圖的速度。

圖1 獲得目標(biāo)中心位置的方法
Fig.1 Method for obtaining central position of tracking object

2.2 融合卡爾曼濾波算法

在目標(biāo)跟蹤過程中，復(fù)雜環(huán)境使得目標(biāo)遭受遮擋的狀況無法避免。如果遇到此種情況，很多算法都將失效。由于本文算法是基于STC算法的改進(jìn)，能夠滿足目標(biāo)遭受部分遮擋的跟蹤問題，但是針對嚴(yán)重遮擋問題，還需要進(jìn)行再次改進(jìn)。

首先對跟蹤過程中遭受的嚴(yán)重遮擋進(jìn)行判定。通過式計(jì)算第t-2幀和第t-1幀跟蹤目標(biāo)圖像灰度的歐氏距離[26]：

dE(It-1(r),It-2(r))=

k=1,2,3…

(6)

(7)

預(yù)測第t+1幀目標(biāo)位置的協(xié)方差矩陣Pt+1|t為

Pt+1|t=φPt|tφΤ+Q

(8)

式中：Pt|t為第t幀的協(xié)方差矩陣；Q為狀態(tài)噪聲協(xié)方差矩陣，在本文中為常數(shù)陣。

Pt+1|t+1=Pt+1|t-Kt+1HPt+1|t

(9)

(10)

式中：Kt+1為卡爾曼增益矩陣，可由式(11)獲得：

Kt+1=Pt+1|tHT(HPt+1|tHT+R)-1

(11)

式中：R為測量噪聲協(xié)方差矩陣，在本文中為常數(shù)陣。

(12)

圖2 融合卡爾曼濾波的改進(jìn)時(shí)空上下文(ISTC-KF)跟蹤算法流程
Fig.2 Flowchart of tracking algorithm of improved spatio-temporal context with Kalman filter (ISTC-KF)

首先，在第1幀中人為指定跟蹤目標(biāo)的矩形框，利用ISTC算法在沒有被遮擋和部分遮擋的情況下對目標(biāo)進(jìn)行跟蹤；然后在跟蹤的過程中，實(shí)時(shí)判斷目標(biāo)是否存在嚴(yán)重遮擋，如果存在嚴(yán)重遮擋，則利用卡爾曼濾波預(yù)測下一幀目標(biāo)可能存在的位置，并將預(yù)測的位置賦值于ISTC算法中的目標(biāo)中心位置，再次運(yùn)行跟蹤算法，判斷是否還存在嚴(yán)重遮擋。

3 實(shí)驗(yàn)條件與結(jié)果分析

3.1 實(shí)驗(yàn)條件

為了驗(yàn)證本文算法的可行性和有效性，在飛機(jī)表演視頻和室內(nèi)David等數(shù)據(jù)集上進(jìn)行算法的跟蹤實(shí)驗(yàn)。在整個(gè)跟蹤實(shí)驗(yàn)中，使用的實(shí)驗(yàn)平臺為：1 GB內(nèi)存和2.31 GHz主頻的計(jì)算機(jī)，基于Windows操作系統(tǒng)，以MATLAB (2012b)為編程平臺，實(shí)驗(yàn)參數(shù)與文獻(xiàn)[23]設(shè)定不全一樣，更新時(shí)空上下文模型的學(xué)習(xí)參數(shù)為0.004 5，置信圖中的尺度參數(shù)為2，權(quán)重函數(shù)中的尺度參數(shù)為每3幀更新一次，所用的系統(tǒng)狀態(tài)傳遞矩陣φ和觀測矩陣H分別為

測量噪聲協(xié)方差矩陣R為

狀態(tài)噪聲協(xié)方差矩陣Q為

協(xié)方差矩陣的初值為

3.2 結(jié)果分析

針對遭受嚴(yán)重遮擋、高速高機(jī)動(dòng)和自身位姿改變的目標(biāo)，分別采用STC算法和本文算法進(jìn)行跟蹤實(shí)驗(yàn)，并比較跟蹤效果。本文所有跟蹤實(shí)驗(yàn)均是在第1幀手動(dòng)標(biāo)記目標(biāo)區(qū)域情況下進(jìn)行。

圖 3為嚴(yán)重遮擋情況下的跟蹤結(jié)果。視頻的每幀尺寸為640 pixel×480 pixel。由圖 3可知，在第1幀和第47幀無遮擋情況下，STC算法與本文算法都表現(xiàn)出了良好的跟蹤效果；當(dāng)跟蹤到第70幀和第73幀時(shí)，目標(biāo)遭受了部分遮擋，兩種算法同樣表現(xiàn)出了較好的跟蹤效果；但是當(dāng)進(jìn)入第80幀和第83幀時(shí)，目標(biāo)遭受全部遮擋。在遭受全部遮擋后，根據(jù)第92幀和第112幀的跟蹤結(jié)果可知，本文算法還能繼續(xù)跟蹤目標(biāo)，而STC算法卻已經(jīng)丟失了目標(biāo)，所以本文算法能很好地解決嚴(yán)重遮擋問題。

圖4為David室內(nèi)跟蹤結(jié)果。視頻的每幀尺寸為320 pixel×240 pixel。此次選的視頻所面對的跟蹤挑戰(zhàn)為：光照強(qiáng)度劇烈變化、目標(biāo)自身位姿改變以及目標(biāo)尺度的變化。由圖 4可知，在第52、146、287幀光照強(qiáng)度很低的情況下，兩種算法都能對目標(biāo)進(jìn)行跟蹤，但是當(dāng)進(jìn)入第414幀和第473幀時(shí)，STC算法較本文算法有明顯的飄移。比較第473幀和第512幀圖像，在面對目標(biāo)尺度和自身位姿發(fā)生較大改變時(shí)，本文算法能較好地適應(yīng)目標(biāo)尺度和位姿的改變。在第612幀和第701幀時(shí)，目標(biāo)外形出現(xiàn)了改變，但是本文算法并未受到此影響，還是表現(xiàn)了良好的跟蹤效果。

圖3 嚴(yán)重遮擋情況下的跟蹤結(jié)果
Fig.3 Tracking results of severe occlusion sequence

圖4 David室內(nèi)跟蹤結(jié)果
Fig.4 Tracking results of David indoor sequence

目標(biāo)跟蹤算法的常用性能評價(jià)指標(biāo)針包括幾何中心誤差、目標(biāo)輪廓重疊面積和重疊面積比率等。針對本文跟蹤的目標(biāo)尺度不斷發(fā)生變化的情況，使用幾何中心誤差和目標(biāo)輪廓面積誤差比率作為目標(biāo)跟蹤算法的性能評價(jià)指標(biāo)。

表1為圖4中David幾何中心的定位信息。在跟蹤過程中自動(dòng)得出目標(biāo)跟蹤矩形框的幾何中心位置，然后人工畫出目標(biāo)的最小矩形框，求出此最小矩形的中心位置并將其作為目標(biāo)的真實(shí)位置。實(shí)驗(yàn)中所求得的STC算法和本文算法的幀平均誤差分別為18.24 pixel和5.43 pixel，可見本文算法對目標(biāo)的定位優(yōu)于STC算法。這是因?yàn)樵诟倪M(jìn)STC算法后，擴(kuò)大了對目標(biāo)的搜索，使得本文算法能更加精確地定位目標(biāo)。表2為圖4中David最小外接矩形的定位信息。在跟蹤過程中自動(dòng)得出目標(biāo)跟蹤矩形框的面積，然后人工畫出目標(biāo)的最小矩形框，求出此最小矩形的面積并將其作為目標(biāo)的真實(shí)面積。實(shí)驗(yàn)中求得的STC算法和本文算法的幀平均誤差分別為27.65%和13.08%，可見本文算法對目標(biāo)的定位精度優(yōu)于STC算法。由表 2中的數(shù)據(jù)可知，在第414、473和512幀中，本文算法的幀平均誤差改變較大。其原因?yàn)樵谶@3幀中，由于目標(biāo)輪廓、位姿和尺度變化幅度大，導(dǎo)致人工標(biāo)出的目標(biāo)真實(shí)面積比其余5幀小，因此得出的幀平均誤差產(chǎn)生很大變化。

表1 David幾何中心的定位信息Table 1 Location information of David’ geometric center

表2 David最小外接矩形的定位信息Table 2 Location information of David’ least circumscribed rectangular

跟蹤實(shí)驗(yàn)過程中，同步記錄了兩種算法在每幀消耗的時(shí)間，隨機(jī)選擇了David室內(nèi)跟蹤結(jié)果中第100～160幀的耗時(shí)進(jìn)行比對，如圖 5為STC算法和本文算法在每幀耗時(shí)的對比。由圖 5可知，STC算法和本文算法的平均耗時(shí)分別為6.00 ms和34.07 ms。本文算法耗時(shí)要高于STC算法，這是由于本文算法擴(kuò)大了目標(biāo)搜索范圍，并且在跟蹤過程中要實(shí)時(shí)地判斷目標(biāo)是否遭受嚴(yán)重遮擋，所以耗時(shí)較多；雖然在耗時(shí)上高于STC算法，但卻得到了更佳的跟蹤效果。

圖6為高速高機(jī)動(dòng)目標(biāo)的跟蹤結(jié)果。此次選著的視頻面對的跟蹤挑戰(zhàn)為：目標(biāo)自身位姿和目標(biāo)尺度的變化劇烈。視頻的每幀尺寸為320 pixel×240 pixel。從圖6中可知，面對高機(jī)動(dòng)和高速的跟蹤目標(biāo)，STC算法在第5幀之后已經(jīng)失效，尤其對于第58幀和第63幀，跟蹤框變得越來越大，這是由于STC在面對目標(biāo)尺度變化時(shí)，只適應(yīng)目標(biāo)尺度單調(diào)增加的情況，最后，跟蹤窗口超過了背景圖像的大小，使得跟蹤失敗，但本文算法面對高速高機(jī)動(dòng)目標(biāo)時(shí)，表現(xiàn)的更為優(yōu)越。

圖5 兩種算法幀耗時(shí)對比
Fig.5 Comparison of time consumption per frame using two methods

為了更好地驗(yàn)證提出的算法，通過選取公共數(shù)據(jù)集[27-28]中的6種具有挑戰(zhàn)性的圖像序列進(jìn)行實(shí)驗(yàn)，并將本文算法與4種優(yōu)秀算法進(jìn)行比較，這4種優(yōu)秀算法分別為：CT (Compressive Tracking)[29]、CXT (Context Tracker)[20]、STC和TLD (Tracking-Learning-Detection)[30]。這些圖像序列覆蓋了目標(biāo)跟蹤領(lǐng)域大多數(shù)具有挑戰(zhàn)的場景：光照變化、尺度變化、遮擋、形變、運(yùn)動(dòng)模糊、快速運(yùn)動(dòng)、平面內(nèi)外旋轉(zhuǎn)、低分辨率和背景雜斑。第1幀采用公共數(shù)據(jù)集提供的ground-truth初始化跟蹤框。通過中心定位誤差和重疊率對上述5種算法進(jìn)行評價(jià)，結(jié)果如表3和表4所示。表3和表4中：粗體和斜體數(shù)值分別表示最好的和次好的結(jié)果。

圖6 高速高機(jī)動(dòng)目標(biāo)跟蹤結(jié)果
Fig.6 Tracking results of high speed and highly maneuvering target sequence

圖7為5種算法在6種圖像測試序列的中心定位誤差，圖8為對6種圖像序列的采樣跟蹤結(jié)果?？偟膩碚f，本文算法在跟蹤快速運(yùn)動(dòng)目標(biāo)時(shí)的表現(xiàn)更好；整體跟蹤效果優(yōu)于同類跟蹤算法CXT和STC。

表4 平均重疊率Table 4 Average overlap rate

圖7 中心定位誤差定量評價(jià)
Fig.7 Quantitative evaluation in terms of central location error

圖8 評價(jià)算法對6種具有挑戰(zhàn)性的圖像序列的采樣跟蹤結(jié)果
Fig.8 Sample tracking results of evaluated algorithms for six challenging image sequences

4 結(jié) 論

1) 為解決在跟蹤過程中丟失高速高機(jī)動(dòng)和遭受嚴(yán)重遮擋目標(biāo)的問題，提出一種基于時(shí)空上下文快速跟蹤的算法，同時(shí)結(jié)合卡爾曼濾波算法能對目標(biāo)狀態(tài)以及位置進(jìn)行估測和降低噪聲影響的優(yōu)勢，實(shí)現(xiàn)了對目標(biāo)位置的提前預(yù)測。

2) 通過跟蹤實(shí)驗(yàn)，與4種優(yōu)秀算法進(jìn)行比較，ISTC-KF在保證跟蹤精度的前提下，對跟蹤目標(biāo)遭受嚴(yán)重遮擋、自身位姿變化以及受到的光照強(qiáng)度變化等情況具有較好的魯棒性。

3) 本文算法主要針對簡單背景下的高速高機(jī)動(dòng)目標(biāo)，對于復(fù)雜背景下的運(yùn)動(dòng)目標(biāo)的跟蹤效果不佳，這是由于復(fù)雜背景中有很多干擾項(xiàng)(顏色、紋理與目標(biāo)相近)，使得跟蹤過程中不能很好區(qū)分目標(biāo)與背景，后續(xù)將繼續(xù)針對復(fù)雜背景問題進(jìn)行進(jìn)一步改進(jìn)。

[1] ZHOU H Y, YUAN Y, ZHANG Y, et al. Non-rigid object tracking in complex scenes[J]. Pattern Recognition Letters, 2009, 30(2): 98-102.

[2] SIVIC J, SCHAFFALITZKY F, ZISSERMAN A. Object level grouping for video shots[J]. International Journal of Computer Vision, 2006, 67(2): 189-210.

[3] 張煥龍, 胡士強(qiáng), 楊國勝. 基于外觀模型學(xué)習(xí)的視頻目標(biāo)跟蹤方法綜述[J]. 計(jì)算機(jī)研究與發(fā)展, 2015, 52(1): 177-190.

ZHANG H L, HU S Q, YANG G S. Video object tracking based on appearance models learning[J]. Journal of Computer Research and Development, 2015, 52(1): 177-190 (in Chinese).

[4] ZIMMERMANN K, MATAS J, SVOBODA T. Tracking by an optimal sequence of linear predictors[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2009, 31(4): 677-692.

[5] ELLIS L, DOWSON N, MATAS J, et al. Linear regression and adaptive appearance models for fast simultaneous modelling and tracking[J]. International Journal of Computer Vision, 2011, 95(2): 154-179.

[6] KALAL Z, MIKOLAJCZYK K, MATAS J. Forward-backward error: Automatic detection of tracking failures[C]//Proceedings of 2010 the 20th International Conference on Pattern Recognition (ICPR). Piscataway, NJ: IEEE Press, 2010: 2756-2759.

[7] ZHANG L, VAN DER MAATEN L. Preserving structure in model-free tracking[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2014, 36(4): 756-769.

[8] TZIMIROPOULOS G, ZAFEIRIOU S, PANTIC M. Sparse representations of image gradient orientations for visual recognition and tracking[C]//Proceedings of 2011 IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops (CVPRW). Piscataway, NJ: IEEE Press, 2011: 26-33.

[9] LIWICKI S, ZAFEIRIOU S, TZIMIROPOULOS G, et al. Efficient online subspace learning with an indefinite kernel for visual tracking and recognition[J]. IEEE Transactions on Neural Networks and Learning Systems, 2012, 23(10): 1624-1636.

[10] MEI X, LING H B. Robust visual tracking and vehicle classification via sparse representation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2011, 33(11): 2259-2272.

[11] HORBERT E, REMATAS K, LEIBE B. Level-set person segmentation and tracking with multi-region appearance models and top-down shape information[C]//Proceedings of 2011 IEEE International Conference on Computer Vision (ICCV). Piscataway, NJ: IEEE Press, 2011: 1871-1878.

[12] NICOLAS P, AURELIE B. Tracking with occlusions via graph cuts[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2011, 33(1): 144-157.

[13] POUYA B, SEYED A C, MUSA B M M. Upper body tracking using KLT and Kalman filter[J]. Procedia Computer Science, 2012, 13: 185-191.

[14] WANG Y, LIU G. Head pose estimation based on head tracking and the Kalman filter[J]. Physics Procedia, 2011, 22: 420-427.

[15] FU Z X, HAN Y. Centroid weighted Kalman filter for visual object tracking[J]. Measurement, 2012, 45(4): 650-655.

[16] SU Y Y, ZHAO Q J, ZHAO L J, et al. Abrupt motion tracking using a visual saliency embedded particle filter[J]. Pattern Recognition, 2014, 47(5): 1826-1834.

[17] 蔡佳, 黃攀峰. 基于改進(jìn)SURF和P-KLT的特征點(diǎn)實(shí)時(shí)跟蹤方法研究[J]. 航空學(xué)報(bào), 2013, 34(5): 1204-1214.

CAI J, HUANG P F. Research of real-time feature point tracking method based on the combination of improved SURF and P-KLT algorithm[J]. Acta Aeronautica et Astronautica Sinica, 2013, 34(5): 1204-1214 (in Chinese).

[18] 高羽, 張建秋, 尹建君. 機(jī)動(dòng)目標(biāo)的多項(xiàng)式預(yù)測模型及其跟蹤算法[J]. 航空學(xué)報(bào), 2009, 30(8): 1479-1489.

GAO Y, ZHANG J Q, YIN J J. Polynomial prediction model and tracking algorithm of maneuver target[J]. Acta Aeronautica et Astronautica Sinica, 2009, 30(8): 1479-1489 (in Chinese).

[19] 甘明剛, 陳杰, 王亞楠, 等. 基于Mean Shift算法和 NMI特征的目標(biāo)跟蹤算法研究[J]. 自動(dòng)化學(xué)報(bào), 2010, 36(9): 1332-1336.

GAN M G, CHEN J, WANG Y N, et al. A target tracking algorithm based on mean shift and normalized moment of inertia feature[J]. Acta Automatic Sinica, 2010, 36(9): 1332-1336 (in Chinese).

[20] THANG B D, NAM V, GERARD M. Context tracker: Exploring supporters and distracters in unconstrained environments[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Piscataway, NJ: IEEE Press, 2011: 1177-1184.

[21] YANG M, WU Y, HUA G. Context-aware visual tracking[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence (PAMI), 2009, 31(7): 1195-1209.

[22] GRABNER H, MATAS J, VAN G L, et al. Tracking the invisible: Learning where the object might be[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Piscataway, NJ: IEEE Press, 2010: 1285-1292.

[23] ZHANG K H, ZHANG L, LIU Q S, et al. Fast visual tracking via dense spatio-temporal context learning[C]//European Conference on Computer Vision (ECCV). Zurich: Springer, 2014: 127-141.

[24] CHEN S Y. Kalman filter for robot vision: A survey[J]. IEEE Transactions on Industrial Electronics, 2012, 59(11): 4409-4420.

[25] 王向華, 覃征, 楊新宇, 等. 基于多次卡爾曼濾波的目標(biāo)自適應(yīng)跟蹤算法與仿真分析[J]. 系統(tǒng)仿真學(xué)報(bào), 2008, 20(23): 6458-6465.

WANG X H, QIN Z, YANG X Y, et al. Adaptive algorithm based on multi-Kalman filter for target tracking and simulation analyses[J]. Journal of System Simulation, 2008, 20(23): 6458-6465 (in Chinese).

[26] WANG L, ZHANG Y, FENG J. On the Euclidean distance of images[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence (PAMI), 2005, 27(8): 1334-1339.

[27] WU Y, LIM J, YANG M H. Online object tracking: A benchmark[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Piscataway, NJ: IEEE Press, 2013: 2411-2418.

[28] WU Y, LIM J, YANG M H. Object tracking benchmark[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2015, 37(9): 1834-1848.

[29] ZHANG K, ZHANG L, YANG M H. Real-time compressive tracking[C]//European Conference on Computer Vision (ECCV). Florence: Springer, 2012: 864-877.

[30] KALAL Z, MATAS J, MIKOLAJCZYK K. P-N learning: Bootstrapping linary classifiers by structural constraints[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Piscataway, NJ: IEEE Press, 2010: 49-56.

(責(zé)任編輯： 張玉)

URL：www.cnki.net/kcms/detail/11.1929.V.20160629.0822.002.html

Atrackingalgorithmofimprovedspatio-temporalcontextwithKalmanfilter

ZHAOZhou1,2,HUANGPanfeng1,2,*,CHENLu1,2

1.ResearchCenterforIntelligentRobotics,SchoolofAstronautics,NorthwesternPolytechnicalUniversity,Xi’an710072,China2.NationalKeyLaboratoryofAerospaceFlightDynamics,NorthwesternPolytechnicalUniversity,Xi’an710072,China

Fortherapidtargetsufferingfromsevereocclusion,thetrackingaccuracyofspatio-temporalcontextalgorithmdecreases.Anoveltrackingalgorithmofimprovedspatio-temporalcontextwithKalmanfilterisproposedinthepaper.Therectangularregionofthetrackingobjectismanuallymarkedatthefirstframe,andtheimprovedspatio-temporalcontextalgorithmisthenappliedtotrackthetarget.TheEuclideandistanceoftheimageintensityintwoconsecutiveframesdeterminesthestateofthetargetinthetrackingprocess.WeapplyKalmanfiltertoreducetheinfluenceofnoiseandpredictandestimatethepossiblepositionofthetargetundersevereocclusion,andobtainbetterrectangularregionofthetrackingobject.Theexperimentalresultsshowthatthealgorithmofimprovedspatio-temporalcontextwithKalmanfiltercanbeusedforhighspeedandhighlymaneuveringtrackingtargetwithdifferentlightintensities,andisrobustforthetargetwithvariedscaleandsevereocclusion.Timeconsumptionperframeis34.07ms.Geometriccentererrorperframeis5.43pixel,70.2%lessthanthatviathespatio-temporalcontextalgorithm.Thecontourareaperframeis13.08%,52.7%lessthanthatviathespatio-temporalcontextalgorithm.

targettracking;Kalmanfilter;spatio-temporalcontext;confidencemap;Bayesian;Euclideandistance

2016-04-11；Revised2016-05-19；Accepted2016-06-27；Publishedonline2016-06-290822

s：NationalNaturalScienceFoundationofChina(11272256,61005062,60805034)

.E-mailpfhuang@nwpu.edu.cn

2016-04-11；退修日期2016-05-19；錄用日期2015-06-27； < class="emphasis_bold">網(wǎng)絡(luò)出版時(shí)間

時(shí)間：2016-06-290822

www.cnki.net/kcms/detail/11.1929.V.20160629.0822.002.html

國家自然科學(xué)基金 (11272256,61005062,60805034)

.E-mailpfhuang@nwpu.edu.cn

趙洲， 黃攀峰， 陳路． 一種融合卡爾曼濾波的改進(jìn)時(shí)空上下文跟蹤算法J． 航空學(xué)報(bào),2017,38(2):320306.ZHAOZ,HUANGPF,CHENL.Atrackingalgorithmofimprovedspatio-temporalcontextwithKalmanfilterJ.ActaAeronauticaetAstronauticaSinica,2017,38(2):320306.

http://hkxb.buaa.edu.cnhkxb@buaa.edu.cn

10.7527/S1000-6893.2016.0202

V249; TP391

A

1000-6893(2017)02-320306-11