視頻目標(biāo)跟蹤典型算法比較與分析

王 蘋，張 磊，吳澤民，徐任暉，趙曉通，徐明月

(解放軍理工大學(xué) 通信工程學(xué)院，江蘇 南京210007)

視頻目標(biāo)跟蹤實(shí)質(zhì)是在連續(xù)圖像序列中找到具有最相似特征的區(qū)域，核心問題是對(duì)輸入圖像序列每一幀圖像中的目標(biāo)能夠?qū)崿F(xiàn)魯棒地預(yù)測(cè)其運(yùn)動(dòng)趨勢(shì)。隨著計(jì)算機(jī)自身硬件配置性能的不斷提高，加之圖像處理分析技術(shù)的不斷發(fā)展，實(shí)時(shí)目標(biāo)跟蹤得以實(shí)現(xiàn)。

穩(wěn)定的視頻跟蹤正是視頻分析處理和計(jì)算機(jī)視覺的重要問題，在軍事偵查、自動(dòng)機(jī)器人導(dǎo)航、人機(jī)交互接口、視頻標(biāo)注等方面有廣泛應(yīng)用。視頻圖像提供的信息是復(fù)雜和海量的，依靠人工進(jìn)行信息識(shí)別和提取是不現(xiàn)實(shí)的。2009 年，美軍通過無人機(jī)在阿富汗和伊拉克獲得的視頻信息總量，一個(gè)人需要24 年才能看完;在通常戰(zhàn)備執(zhí)勤時(shí)，需要至少一個(gè)人緊盯屏幕發(fā)現(xiàn)可疑目標(biāo)，而其他的輔助人員進(jìn)行信息甄別和記錄。在我國，邊海防哨所已經(jīng)配備了大量的視頻采集裝備，但是受人員數(shù)量限制，僅僅依靠人工方法進(jìn)行視頻目標(biāo)的捕捉與記錄不但工作強(qiáng)度大，而且工作效率低，及時(shí)發(fā)現(xiàn)可疑目標(biāo)的時(shí)機(jī)往往把握不住。目前，各大城市的智能交通系統(tǒng)都具有車輛違章檢測(cè)功能，可以極大地提高發(fā)現(xiàn)交通違法事件的效率。但是受目前視頻目標(biāo)跟蹤性能的限制，還僅能對(duì)交通燈道口的違章行為進(jìn)行識(shí)別，不能完全獲得各路段的違章行為。各方面的需求不斷推動(dòng)著視頻目標(biāo)跟蹤研究的進(jìn)一步深化。

然而，當(dāng)目標(biāo)發(fā)生劇烈的運(yùn)動(dòng)或者形變、背景相對(duì)復(fù)雜或者與目標(biāo)相似、外界環(huán)境發(fā)生較大變化時(shí)，大多數(shù)視頻目標(biāo)跟蹤算法不具有很好的魯棒性。歸結(jié)來看，對(duì)于大量跟蹤算法［1］的問題主要是由于外觀和運(yùn)動(dòng)的變化造成的。外觀變化包括目標(biāo)幾何和光度變化，如遮擋、形變、亮度變化等。運(yùn)動(dòng)變化往往發(fā)生在較低幀率的視頻中或者目標(biāo)運(yùn)動(dòng)劇烈的情況下。以上問題的存在，使得視頻目標(biāo)跟蹤研究仍有很長(zhǎng)的路要走。

本文將對(duì)視頻目標(biāo)跟蹤技術(shù)的研究背景、系統(tǒng)組成原理進(jìn)行闡述;對(duì)當(dāng)前幾種前沿的跟蹤算法進(jìn)行詳細(xì)的分析比較;并且對(duì)跟蹤算法的評(píng)價(jià)指標(biāo)和典型的標(biāo)準(zhǔn)庫進(jìn)行介紹;最后總結(jié)了視頻目標(biāo)跟蹤技術(shù)的發(fā)展前景和面臨的困難挑戰(zhàn)。

1 視頻目標(biāo)跟蹤系統(tǒng)構(gòu)成及研究現(xiàn)狀

視頻目標(biāo)跟蹤系統(tǒng)是一個(gè)動(dòng)態(tài)系統(tǒng)的估計(jì)問題，利用的是目標(biāo)在時(shí)間上的連續(xù)性和空間上的相關(guān)性。視頻目標(biāo)跟蹤系統(tǒng)的一般框架如圖1 所示。

圖1 視頻目標(biāo)跟蹤系統(tǒng)框架

典型的視頻目標(biāo)跟蹤系統(tǒng)由四部分組成:目標(biāo)初始化，外觀模型，運(yùn)動(dòng)估計(jì)，目標(biāo)定位。目標(biāo)初始化包括手動(dòng)初始化和自動(dòng)初始化，手動(dòng)初始化是用戶用邊緣框注釋出目標(biāo)的位置，自動(dòng)則通過檢測(cè)器進(jìn)行檢測(cè)目標(biāo)。外觀模型包括視覺描述和統(tǒng)計(jì)模型。視覺描述主要是用不同類型的視覺特征來構(gòu)造魯棒的目標(biāo)描述子。統(tǒng)計(jì)模型是用統(tǒng)計(jì)學(xué)習(xí)的方法構(gòu)造有效的數(shù)學(xué)模型來識(shí)別目標(biāo)。運(yùn)動(dòng)估計(jì)主要是利用了狀態(tài)方程和觀測(cè)方程構(gòu)成的預(yù)測(cè)器進(jìn)行估計(jì)，常用預(yù)測(cè)器包括線性回歸技術(shù)［2］，卡爾曼濾波［3］和粒子濾波［4－6］等。目標(biāo)的跟蹤定位是目標(biāo)跟蹤中的核心問題，主要利用貪婪搜索或者是最大后驗(yàn)概率來實(shí)現(xiàn)［7］。

目前，很多跟蹤算法通過在特征提取、外觀模型和結(jié)構(gòu)信息方面的改進(jìn)，跟蹤的精度和魯棒性得到極大的提高。較為常用的特征包括像素值［8］、顏色［9－12］、文本描述子［13－14］。利用目標(biāo)外觀模型較為常用的有顏色分布［10－11］、子空間［8，15］、支持向量機(jī)SVM［16］以及稀疏表示［17－19］等。類似于目前較為流行的目標(biāo)檢測(cè)［20］和識(shí)別［21］的算法，通過獲取結(jié)構(gòu)信息對(duì)目標(biāo)進(jìn)行跟蹤的算法也越來越多［9，22－24］。在目標(biāo)發(fā)生遮擋和形變時(shí)，目標(biāo)的內(nèi)部結(jié)構(gòu)信息對(duì)于模型的恢復(fù)和魯棒性跟蹤尤為重要。

2 典型視頻目標(biāo)跟蹤算法

判定目標(biāo)跟蹤算法好壞往往從魯棒性、準(zhǔn)確性和快速性三個(gè)方面比較［25］:

1)魯棒性(Robustness)。魯棒性是指在各種環(huán)境中算法都能實(shí)現(xiàn)對(duì)目標(biāo)的穩(wěn)定持續(xù)跟蹤。但往往會(huì)受到目標(biāo)自身形變、環(huán)境中的光照變化、部分或者全遮擋等影響。

2)準(zhǔn)確性(Accuracy)。在目標(biāo)跟蹤的研究中，準(zhǔn)確性包括兩個(gè)方面，一是對(duì)運(yùn)動(dòng)目標(biāo)檢測(cè)的準(zhǔn)確性，這一點(diǎn)主要是在監(jiān)控系統(tǒng)中要求比較嚴(yán)格，為的是對(duì)目標(biāo)檢測(cè)的漏警率和虛警率的降低，將檢測(cè)到真實(shí)目標(biāo)的概率提高;另一個(gè)是對(duì)運(yùn)動(dòng)目標(biāo)分割的準(zhǔn)確性，主要應(yīng)用在圖像壓縮編碼領(lǐng)域，其實(shí)質(zhì)是圖像分割(Image Segmentation)問題。將運(yùn)動(dòng)目標(biāo)和背景進(jìn)行準(zhǔn)確的分割后，方便提取目標(biāo)準(zhǔn)確的運(yùn)動(dòng)信息。

3)快速性(Speed)。在實(shí)際的視頻目標(biāo)跟蹤系統(tǒng)中，對(duì)運(yùn)動(dòng)目標(biāo)實(shí)時(shí)的跟蹤就要求跟蹤算法必須快速，計(jì)算量相對(duì)較小。然而跟蹤算法本身處理的圖像序列包含大量的數(shù)據(jù)，所需的運(yùn)算量極大，很難能夠滿足實(shí)時(shí)的要求。一種通用的減小運(yùn)算量的方法是利用金字塔分解或者小波變換將圖像分層處理;另一種思路是設(shè)計(jì)專用硬件實(shí)現(xiàn)實(shí)時(shí)的視頻目標(biāo)跟蹤。

本節(jié)將從以上提到的跟蹤器性能出發(fā)，詳細(xì)介紹當(dāng)前前沿的四種視頻目標(biāo)跟蹤算法，即LGT，TLD，ALIEN 和DGT，并對(duì)其工作原理、性能進(jìn)行分析和比較。

2.1 LGT(Local-Global layer Tracker)跟蹤器

隨著低成本、小規(guī)模攝像機(jī)傳感器的應(yīng)用不斷增多，對(duì)視頻序列的魯棒的自動(dòng)跟蹤需求也隨之迅速增加［26］。實(shí)際應(yīng)用中，目標(biāo)外觀隨著形變、角度變化、光照變化等因素的變化而變化。因此，魯棒的跟蹤取決于能否隨著目標(biāo)外形的變化自適應(yīng)地更新目標(biāo)模型。

最早是Stolkin 等人［27］進(jìn)行的兩層模型的嘗試。目標(biāo)像素的亮度模型的重新學(xué)習(xí)使用剛性目標(biāo)物體的運(yùn)動(dòng)和幾何模型增強(qiáng)結(jié)構(gòu)。L.Cehovin 等人在2013 年針對(duì)目標(biāo)迅速和劇烈的外觀變化提出一種雙層視覺LGT 模型［28］，即整合的目標(biāo)全局和局部外觀的兩層模型。跟蹤算法如圖2 所示。

圖2 雙層結(jié)構(gòu)目標(biāo)跟蹤算法

其中，局部層是由局部塊組成的集合，反映目標(biāo)外觀發(fā)生的幾何變化。隨著目標(biāo)幾何形變，局部層通過移除或添加局部塊來更新結(jié)構(gòu)。添加的局部塊是由全局層約束得到的。全局層主要是反映目標(biāo)全局的視覺特性，包括顏色、形狀和表面上的局部運(yùn)動(dòng)。全局層的更新需要依賴跟蹤過程中得到的穩(wěn)定的局部塊。LGT 算法的魯棒性更好，并且跟蹤精度更高，對(duì)參數(shù)變化不敏感。這篇文章的重要貢獻(xiàn)就是在兩層模型的貝葉斯公式中應(yīng)用了雙層約束。

這種交叉的雙層視頻模型是較為先進(jìn)的技術(shù)，效果優(yōu)于其他的跟蹤器。

2.2 TLD(Tracking-Learning-Detection)跟蹤器

考慮手持?jǐn)z像機(jī)拍攝的視頻流，各種事物從相機(jī)拍攝范圍內(nèi)出入。僅在單獨(dú)的一幀中用邊緣框框出了感興趣目標(biāo)，而需要解決的問題是，在接下來的每一幀中自動(dòng)標(biāo)出目標(biāo)的邊緣框或者當(dāng)目標(biāo)沒有出現(xiàn)時(shí)給出提示。該視頻流需要長(zhǎng)時(shí)間實(shí)時(shí)跟蹤處理。在文獻(xiàn)［29］中，將這類任務(wù)定義為長(zhǎng)期跟蹤問題。

解決長(zhǎng)期跟蹤問題的關(guān)鍵是目標(biāo)的檢測(cè)。首先，目標(biāo)外觀會(huì)變化，甚至跟初始幀中外觀沒有任何關(guān)聯(lián);其次一個(gè)成功的長(zhǎng)期跟蹤器要能夠應(yīng)對(duì)尺度、光照的變化，復(fù)雜背景，部分遮擋，以及實(shí)時(shí)地完成處理。

在文獻(xiàn)［29］中Kalal 的出發(fā)點(diǎn)立足于單獨(dú)的跟蹤或檢測(cè)無法解決長(zhǎng)期跟蹤問題。文中提出一種新穎的跟蹤框架TLD(Tracking－Learning－Detection)，如圖3 所示。文章將長(zhǎng)期的目標(biāo)跟蹤分解為跟蹤、學(xué)習(xí)、檢測(cè)。跟蹤器逐幀跟蹤目標(biāo)，檢測(cè)器局部化目前位置出現(xiàn)的所有外觀，在必要時(shí)修正跟蹤器，學(xué)習(xí)階段評(píng)估檢測(cè)器的誤差并更新，避免這些誤差。作者研究確定檢測(cè)器誤差并學(xué)習(xí)，提出一種新穎的學(xué)習(xí)方式(P－N學(xué)習(xí)):1)P 評(píng)估遺漏的檢測(cè);2)N 評(píng)估錯(cuò)誤預(yù)警。學(xué)習(xí)過程模型化為一個(gè)離散的動(dòng)態(tài)系統(tǒng)，學(xué)習(xí)中確保有改善的情況被查找到。

圖3 TLD 算法跟蹤框架

Kalal 提出的TLD 跟蹤系統(tǒng)，能夠?qū)崿F(xiàn)對(duì)視頻流中的目標(biāo)的實(shí)時(shí)地跟蹤、學(xué)習(xí)、檢測(cè)，利用標(biāo)準(zhǔn)數(shù)據(jù)庫和同時(shí)期較為前沿的跟蹤器相比，TLD 的長(zhǎng)期實(shí)時(shí)跟蹤性能優(yōu)于其他跟蹤器。

2.3 ALIEN(Appearance Learning In Evidential Nuisance)跟蹤器

文獻(xiàn)［30］中給出妨礙因素(Nuisance Factors)的定義。妨礙因素是指影響圖像結(jié)構(gòu)處理的因素，不是用于跟蹤的直接興趣點(diǎn)，然而又必須考慮在內(nèi)。妨礙因素分為可逆妨礙和不可逆妨礙?？赡娣恋K主要是指反差、視角變化等，不可逆妨礙包括遮擋、傳感器量化、一般光照變化等。不可逆的妨礙通?？梢赞D(zhuǎn)化為可逆妨礙。

ALIEN 跟蹤器利用弱匹配目標(biāo)模板的多尺度不變局部特征，考慮到三維形狀和平面的絕對(duì)偏差，以及陰影、遮擋、傳感器量化等不可逆妨礙因素的影響。同時(shí)基于傳遞匹配特性的無參學(xué)習(xí)算法，將目標(biāo)從上下文分離出來，防止遮擋情況下的目標(biāo)模板的錯(cuò)誤更新。這種學(xué)習(xí)準(zhǔn)則在緩慢變化的情況下具有漸近穩(wěn)定的特性，確保了算法在長(zhǎng)時(shí)間跟蹤中的無偏移特性。

文章作者從一般的觀察出發(fā)，嘗試同時(shí)解決可逆和非可逆的妨礙因素?；谶@種考慮，作者選用局部特征來表示目標(biāo)，同時(shí)利用過采樣保留多數(shù)目標(biāo)和場(chǎng)景信息。

文中算法的基本流程如圖4 所示。

圖4 ALIEN 算法流程圖

2.4 DGT(Dynamic-Graph-Tracking)跟蹤器

目前，很多文章對(duì)遮擋問題都有所討論，例如將目標(biāo)進(jìn)行水平垂直的分割對(duì)抗遮擋;稀疏表示對(duì)遮擋問題也不敏感;以及利用場(chǎng)景學(xué)習(xí)機(jī)制、上下文信息等。絕大多數(shù)的跟蹤器在解決遮擋問題［9，18，31］時(shí)沒有考慮到目標(biāo)自身的形變［12，23］問題。針對(duì)目標(biāo)形變問題通常采用局部塊進(jìn)行表示，但此時(shí)塊之間的結(jié)構(gòu)信息將被忽略。

文獻(xiàn)［35］在一個(gè)統(tǒng)一的框架中同時(shí)考慮到遮擋和形變的問題，引入動(dòng)態(tài)圖進(jìn)行跟蹤。圖表示利用目標(biāo)的內(nèi)部結(jié)構(gòu)信息，能夠識(shí)別幾何形變的目標(biāo)，同時(shí)能夠借助目標(biāo)未被遮擋部分定義出被遮擋目標(biāo)。

作者的基本思路是:首先，將視頻目標(biāo)跟蹤問題公式化為跟蹤動(dòng)態(tài)無向圖的問題，即目標(biāo)圖和候選圖的匹配問題，利用馬爾科夫隨機(jī)場(chǎng)(Markov Random Filed)將候選圖中的局部塊與背景分割，再利用譜聚類(Spectral Clustering)的方法完成圖匹配;其次，目標(biāo)狀態(tài)利用塊一致性的依賴關(guān)系通過帶權(quán)重的投票獲得，同時(shí)由前景和背景的分割進(jìn)一步改善;最后，有效地在線更新機(jī)制更新模型，魯棒地適應(yīng)目標(biāo)結(jié)構(gòu)的變化。

文中的算法同時(shí)考慮到目標(biāo)出現(xiàn)遮擋和發(fā)生形變的情況，利用無向圖更好地記錄目標(biāo)的內(nèi)部信息，有效對(duì)抗遮擋和形變。

2.5 對(duì)比與歸納

通過對(duì)上述4 種跟蹤器的工作原理的詳細(xì)分析，可以歸納出以下幾點(diǎn):

1)LGT 算法在目標(biāo)表示上結(jié)合局部和全局特征。局部特征包含大量空間信息，對(duì)部分遮擋具有魯棒性，全局特征作為局部特征選取時(shí)的約束信息。雙層的貝葉斯公式對(duì)跟蹤進(jìn)行雙層約束，提高目標(biāo)模型更新的精確性，基本達(dá)到實(shí)時(shí)的要求。但是實(shí)際應(yīng)用中該算法對(duì)于雜亂背景，以及目標(biāo)發(fā)生尺度變化時(shí)都較為敏感。

2)TLD 算法能夠通過檢測(cè)、學(xué)習(xí)跟蹤目標(biāo)，針對(duì)長(zhǎng)期實(shí)時(shí)的跟蹤環(huán)境，處理效果較好。但由于算法沒有考慮到目標(biāo)的遮擋和形變等問題，在處理非剛性目標(biāo)跟蹤中存在一定的局限性。同時(shí)針對(duì)劇烈運(yùn)動(dòng)的目標(biāo)跟蹤效果不佳。

3)ALIEN 算法無差別地處理可逆和不可逆妨礙因素，算法對(duì)遮擋是否發(fā)生作出判定給出不同的計(jì)算思路。將目標(biāo)和上下文同時(shí)進(jìn)行建模和模型更新，保留了較多跟蹤目標(biāo)的信息。但在復(fù)雜背景下以及目標(biāo)發(fā)生形變的情況下，跟蹤器將無法準(zhǔn)確跟蹤。

4)DGT 算法提出利用無向圖表征目標(biāo)，將目標(biāo)跟蹤的問題公式化為無向圖匹配問題，同時(shí)在長(zhǎng)期跟蹤中具有漸近穩(wěn)定的特性。該算法同時(shí)考慮到目標(biāo)的遮擋和形變問題。但是無加權(quán)表示的無向圖在尺度發(fā)生變化時(shí)較為敏感。同時(shí)由于光照變化造成的前景、背景不易區(qū)分也給跟蹤帶來一定的難度。

幾種算法各有優(yōu)勢(shì)和劣勢(shì)，針對(duì)不同的應(yīng)用場(chǎng)景，需要充分理解它們的算法特性加以改進(jìn)應(yīng)用。同時(shí)算法較為新穎的思路為今后的研究給出極大的啟示。

3 算法評(píng)價(jià)指標(biāo)及標(biāo)準(zhǔn)庫

近年來，視頻目標(biāo)跟蹤技術(shù)在計(jì)算機(jī)視覺領(lǐng)域的廣泛應(yīng)用推動(dòng)著跟蹤算法的不斷提升改進(jìn)。但是仍舊有很多的因素影響著跟蹤算法的性能。因此，評(píng)估主流跟蹤算法的優(yōu)勢(shì)和劣勢(shì)非常重要，能夠給未來這個(gè)方向的研究提供更多的方向。

首先，關(guān)于跟蹤算法的評(píng)價(jià)指標(biāo)問題。定量分析(Quantitative Analysis)算法性能，能夠更加清晰地看出算法的各方面優(yōu)勢(shì)。較為常用的指標(biāo)包括成功率(Success Rate)如Pascal Score［33］，F(xiàn)－measure，和精度率(Precision Rate)如CLE(Center－Location－Error)，Precision Plot［13，34］。其次，用于測(cè)試的數(shù)據(jù)庫也是至關(guān)重要的部分。具有代表性的數(shù)據(jù)庫對(duì)綜合評(píng)估跟蹤算法至關(guān)重要?，F(xiàn)有的用于視頻跟蹤的監(jiān)控場(chǎng)景的視頻庫包括VIVID［35］，CAVIAR［36］，PETS，VIRAT(Video and Image Retrieval Analysis Tool)等。

3.1 視頻目標(biāo)跟蹤算法評(píng)價(jià)指標(biāo)

多數(shù)跟蹤算法將目標(biāo)表示為邊緣框(A Bounding Box)，通過比較邊緣框重疊面積確定跟蹤的成功率(Success Rate)。

式中，Bp，Bgt分別表示跟蹤器跟蹤的目標(biāo)邊緣框和真實(shí)邊緣框(Ground Truth)，等式右邊表示邊緣框交疊部分面積占邊緣框并面積的比率。設(shè)置門限值t0(一般取0.5)，大于此門限為跟蹤成功，小于則跟蹤失敗。

2)F－measure，與之類似

跟蹤精度率(Precision Rate)的比較，較為常用的指標(biāo)也有兩種。

3)CLE(Center－Location－Error)，計(jì)算跟蹤的邊緣框內(nèi)中心點(diǎn)與真實(shí)邊緣框內(nèi)中心點(diǎn)的像素距離。距離越大表示跟蹤的精確度越低。

4)Precision Plot，近段時(shí)間的研究常用Precision Plot 來衡量整體跟蹤的表現(xiàn)。主要反映的是跟蹤器估計(jì)出的位置距離真實(shí)位置在某個(gè)門限范圍內(nèi)的圖像幀的百分率。門限值單位為像素。

3.2 視頻目標(biāo)跟蹤算法標(biāo)準(zhǔn)庫

可用于測(cè)試的視頻庫有很多，但是大多數(shù)的圖像序列沒有給出真實(shí)位置注釋(Ground Truth Annotations)，在進(jìn)行定量評(píng)估時(shí)會(huì)產(chǎn)生誤差。包含多種特殊場(chǎng)景(光照變化、復(fù)雜背景、部分遮擋或全遮擋等)同時(shí)具有真實(shí)位置的數(shù)據(jù)庫非常的重要。

2008 年美國國防部高級(jí)研究項(xiàng)目署開始的VIRAT(Video and Image Retrieval Analysis Tool)系統(tǒng)，用于進(jìn)行無人機(jī)航拍圖像的分析處理，用以實(shí)現(xiàn)針對(duì)特定事件的有效預(yù)警等功能。視頻庫包含多場(chǎng)景，如大型公共場(chǎng)所、停車場(chǎng)、校園等。背景復(fù)雜簡(jiǎn)單情況不一，同時(shí)包含攝像機(jī)自身運(yùn)動(dòng)的情況。另外，文獻(xiàn)［37］收集構(gòu)建了目前較為常用且含真實(shí)位置標(biāo)注的具有典型代表性的圖像序列數(shù)據(jù)庫，如遮擋、劇烈形變、光照變化、陰影情況等。

以上數(shù)據(jù)庫都包含復(fù)雜多樣的場(chǎng)景狀況，普遍適用于跟蹤器的測(cè)試，是較為全面合理的測(cè)試數(shù)據(jù)庫。

4 視頻目標(biāo)跟蹤技術(shù)發(fā)展前景與挑戰(zhàn)

視頻目標(biāo)跟蹤技術(shù)是一個(gè)多學(xué)科相結(jié)合的研究領(lǐng)域，包括機(jī)器視覺、人工智能、計(jì)算機(jī)科學(xué)、模式識(shí)別、圖像處理等方面。該領(lǐng)域仍處在發(fā)展階段，很多的問題亟需解決。跟蹤的特征選擇、動(dòng)態(tài)外觀模型、運(yùn)動(dòng)估計(jì)等方面將是研究非常重要的領(lǐng)域。目前，研究人員針對(duì)特定的應(yīng)用場(chǎng)景下的視頻目標(biāo)跟蹤問題已經(jīng)提出了很多的解決的方案策略，但是仍然存在著很多的進(jìn)步空間，需要新的思路進(jìn)行完善。

綜上，對(duì)視頻目標(biāo)跟蹤技術(shù)的未來發(fā)展趨勢(shì)可以歸結(jié)如下:一是運(yùn)動(dòng)目標(biāo)外觀的模型化，即外觀建模，運(yùn)動(dòng)目標(biāo)外觀模型隨著目標(biāo)自身運(yùn)動(dòng)能夠自適應(yīng)的作出調(diào)整是目前的一個(gè)研究的熱點(diǎn)問題;二是目標(biāo)模型的更新策略，較多的算法在模型更新階段會(huì)出現(xiàn)誤差和偏移，往往會(huì)導(dǎo)致跟蹤失敗;三是多傳感器的視頻目標(biāo)跟蹤，這其中就要重點(diǎn)考慮到數(shù)據(jù)關(guān)聯(lián)融合的問題;四是對(duì)目標(biāo)動(dòng)作的識(shí)別問題，通過目標(biāo)運(yùn)動(dòng)狀態(tài)進(jìn)行目標(biāo)的進(jìn)一步的行為分析。

5 結(jié)語

本文對(duì)視頻目標(biāo)跟蹤算法中較為常見的問題進(jìn)行歸納，對(duì)該技術(shù)進(jìn)行了綜述，重點(diǎn)分析比較了目前較為前沿的跟蹤算法。對(duì)跟蹤性能比較的評(píng)價(jià)指標(biāo)以及標(biāo)準(zhǔn)庫進(jìn)行簡(jiǎn)單介紹。視頻目標(biāo)跟蹤基本流程是利用目標(biāo)的運(yùn)動(dòng)信息、顏色、紋理等特征采樣描述子形式描述目標(biāo)，通過外觀建模以及模型更新的策略實(shí)現(xiàn)運(yùn)動(dòng)目標(biāo)的運(yùn)動(dòng)狀態(tài)的預(yù)測(cè)，獲取目標(biāo)的位置信息。

由于最終的具體應(yīng)用背景的不同，視頻目標(biāo)跟蹤領(lǐng)域的研究?jī)?nèi)容存在較大差異，極具挑戰(zhàn)性的問題也有很多，不管是在研究領(lǐng)域還是在實(shí)際的工程應(yīng)用中都具有非常重要的意義和廣闊的前景。

［1］蔡榮太，吳元昊，王明佳，等.視頻目標(biāo)跟蹤算法綜述［J］. 電視技術(shù)，2010，34(12):135－138.

［2］ELLIS L，DOWSON N，MATAS J，et al. Linear regression and adaptive appearance models for fast simultaneous modelling and tracking［J］. International Journal of Computer Vision，2011，95(2):154－179.

［3］KALMAN R E. A new approach to linear filtering and prediction problems［J］. Journal of Fluids Engineering，1960，82(1):35－45.

［4］ISARD M，BLAKE A. Condensation—conditional density propagation for visual tracking［J］. International Journal of Computer Vision，1998，29(1):5－28

［5］ARULAMPALAM M S，MASKELL S，GORDON N，et al.A tutorial on particle filters for online nonlinear/non－Gaussian Bayesian tracking［J］.IEEE Trans.Signal Processing，2002，50(2):174－188.

［6］SHEN C，BROOKS M J，VAN DEN H A.Augmented particle filtering for efficient visual tracking［C］//Proc. ICIP 2005.［S.l.］:IEEE Press，2005:856－859.

［7］LI X，HU W，SHEN C，et al. A survey of appearance models in visual object tracking［J］. ACM Trans. Intelligent Systems and Technology，2013，4(4):58.

［8］LIM J，ROSS D A，LIN R S，et al.Incremental learning for visual tracking［C］//SAUL LK，WEISS Y BOTTOU L.Advances in Neural Information Processing Systems 7.［S.l.］:Neural Information Processing Systems Foundation，Inc.，2004:793－800.

［9］ADAM A，RIVLIN E，SHIMSHONI I. Robust fragments－based tracking using the integral histogram［C］//Proc.2006 IEEE Computer Society Conference on Computer vision and pattern recognition，［S.l.］:IEEE Press，2006:798－805.

［10］COMANICIU D，RAMESH V，MEER P. Real－time tracking of non－rigidobjects using mean shift［C］//Proc.2000 IEEE Conference on Computer Vision and Pattern Recognition.［S.l.］:IEEE Press，2000:142－149.

［11］PéREZ P，HUE C，VERMAAK J，et al. Color－based probabilistic tracking［M］//Computer vision—ECCV 2002.［S.l.］:Springer Berlin Heidelberg，2002:661－675.

［12］WANG S，LU H，YANG F，et al.Superpixel tracking［C］//Proc.ICCV 2011.［S.l.］:IEEE Press，2011:1323－1330.

［13］BABENKO B，YANG M H，BELONGIE S. Robust object tracking with online multiple instance learning［J］. IEEE Trans. Pattern Analysis and Machine Intelligence，2011，33(8):1619－1632.

［14］GRABNER H，BISCHOF H. On－line boosting and vision［C］//Proc.CVPR 2006.［S.l.］:IEEE Press，2006:260－267.

［15］WEN L，CAI Z，LEI Z，et al. Online spatio－temporal structural context learning for visual tracking［M］//Computer Vision–ECCV 2012.Berlin:Springer，2012:716－729.

［16］TIAN M，ZHANG W，LIU F.On－line ensemble SVM for robust object tracking［M］//Computer Vision – ACCV 2007. Berlin:Springer，2007:355－364.

［17］LIU B，HUANG J，YANG L，et al. Robust tracking using local sparse appearance model and k－selection［C］//Proc. CVPR 2011.［S.l.］:IEEE Press，2011:1313－1320.

［18］MEI X，LING H. Robust visual tracking using L1 minimization［C］//Proc. ICCV 2009.［S.l.］:IEEE Press，2009:1436－1443.

［19］ZHANG K，ZHANG L，YANG M. Fast compressive tracking［J］.IEEE Trans. Pattern Analysis＆Machine Intelligence，2014，36(10):2002－2015.

［20］FELZENSZWALB P F，GIRSHICK R B，MCALLESTER D，et al.Object detection with discriminatively trained part－based models［J］. IEEE Transa. Pattern Analysis and Machine Intelligence，2010，32(9):1627－1645.

［21］QUATTONI A，COLLINS M，DARRELL T. Conditional random fields for object recognition［C］//Proc.Advances in Neural Information Processing Systems 2004.［S.l.］:Neural Information Processing Systems Foundation，Inc.，2004:1097－1104.

［22］GRACIANO A B V，CESAR R M，BLOCH I. Graph－based object tracking using structural pattern recognition［C］//Proc.Computer Graphics and Image Processing，2007.［S.l.］:IEEE Press，2007:179－186.

［23］KWON J，LEE K M. Tracking of a non－rigid object via patchbased dynamic appearance modeling and adaptive basin hopping monte carlo sampling［C］//Proc. CVPR 2009. ［S.l.］:IEEE Press，2009:1208－1215.

［24］YANG M，WU Y，HUA G. Context－aware visual tracking［J］.IEEE Trans. Pattern Analysis and Machine Intelligence，2009，31(7):1195－1209.

［25］侯志強(qiáng)，韓崇昭. 視覺跟蹤技術(shù)綜述［J］. 自動(dòng)化學(xué)報(bào)，2006，32(4):603－617.

［26］WANG X. Intelligent multi－camera video surveillance:a review［J］.Pattern recognition letters，2013，34(1):3－19.

［27］STOLKIN R，GREIG A，HODGETTS M，et al.An EM/E－MRF algorithm for adaptive model based tracking in extremely poor visibility［J］.Image and Vision Computing，2008(26):480－495.

［28］CEHOVIN L，KRISTAN M，LEONARDIS A. Robust visual tracking using an adaptive coupled－layer visual model［J］. IEEE Trans.Pattern Analysis and Machine Intelligence， 2013， 35(4):941－953.

［29］KALAL Z，MIKOLAJCZYK K，MATAS J. Tracking－learning－detection［J］. IEEE Trans. Pattern Analysis and Machine Intelligence，2012，34(7):1409－1422.

［30］PERNICI F，DEL BIMBO A.Object tracking by oversampling local features［J］. IEEE Trans. Pattern Analysis and Machine Intelligence，2014，36(12):2538－2551.

［31］GRABNER H，MATAS J，VAN GOOL L，et al. Tracking the invisible:Learning where the object might be［C］//Proc. CVPR 2010.［S.l.］:IEEE Press，2010:1285－1292.

［32］CAI Z，WEN L，LEI Z，et al.Robust deformable and occluded object tracking with dynamic graph［J］. IEEE Trans. Image Processing，2014，23(12):5497－5509.

［33］EVERINGHAM M，VAN GOOL L，WILLIAMS C K I，et al. The pascal visual object classes(VOC)challenge［J］. International Journal Of Computer Vision，2010，88(2):303－338.

［34］HENRIQUES J F，CASEIRO R，MARTINS P，et al.Exploiting the circulant structure of tracking－by－detection with kernels［M］//Computer Vision–ECCV 2012.Berlin:Springer，2012:702－715.

［35］COLLINS R，ZHOU X，TEH S K.An open source tracking testbed and evaluation web site［C］//Proc.IEEE International Workshop on Performance Evaluation of Tracking and Surveillance. ［S.l.］:IEEE Press，2005:17－24.

［36］FISHER R B.The PETS04 surveillance ground－truth data sets［C］//Proc.6th IEEE international workshop on performance evaluation of tracking and surveillance.［S.l.］:IEEE Press，2004:1－5.

［37］WU Y，LIM J，YANG M H. Online object tracking:A benchmark［C］//Proc.CVPR 2013.［S.l.］:IEEE Press，2013:2411－2418.