基于壓縮感知的單目標(biāo)多尺度跟蹤關(guān)鍵算法研究

王菡　李長(zhǎng)齊　李俊禮

【摘要】目標(biāo)跟蹤是視頻監(jiān)控、視頻壓縮、人工智能等所必須的技術(shù)，本文提出針對(duì)目標(biāo)跟蹤提出了解決問(wèn)題的關(guān)鍵算法，用于解決目標(biāo)跟蹤過(guò)程中遇到的干擾。

一、緒論

“天眼”是指視頻監(jiān)控，視頻監(jiān)控已經(jīng)在城市道路，商場(chǎng)監(jiān)控，車站機(jī)場(chǎng)等公共場(chǎng)合得到了普遍應(yīng)用，隨著移動(dòng)終端的興起，家庭等私人場(chǎng)所的監(jiān)控使用的數(shù)量也是與日俱增。傳統(tǒng)的視頻監(jiān)控系統(tǒng)主要是以閉路電視錄像的方式進(jìn)行記錄和保存，當(dāng)遇到異常情況時(shí)需要調(diào)用相關(guān)視頻時(shí)，需要工作人員對(duì)視頻記錄進(jìn)行異常分析來(lái)查找原因，或者需要專門的技術(shù)人員一直盯著監(jiān)控屏幕的方式來(lái)進(jìn)行場(chǎng)景實(shí)時(shí)監(jiān)控，這種方式需要有人長(zhǎng)時(shí)間盯著監(jiān)控器，容易造成人員視覺(jué)疲勞，對(duì)于實(shí)時(shí)監(jiān)控，長(zhǎng)時(shí)間監(jiān)視屏幕也容易出現(xiàn)漏報(bào)、誤報(bào)等現(xiàn)象以及不能及時(shí)發(fā)現(xiàn)異常。由于受到光照變化，目標(biāo)形變以及突然加速等因素的干擾，建立一個(gè)穩(wěn)定、效率高的跟蹤系統(tǒng)仍然非常具有挑戰(zhàn)性。本文我們提出了兩種魯棒實(shí)時(shí)的跟蹤算法：基于預(yù)測(cè)的多尺度壓縮跟蹤算法和基于顏色修正的多尺度壓縮跟蹤算法，用于解決跟蹤過(guò)程中遇到的干擾。

二、目標(biāo)跟蹤概述

一個(gè)成熟完善的監(jiān)控系統(tǒng)由視頻采集、圖像預(yù)處理、目標(biāo)檢測(cè)、目標(biāo)分類、目標(biāo)跟蹤、異常檢測(cè)、事件分析與理解和預(yù)警報(bào)警等幾個(gè)步驟組成。其中，目標(biāo)跟蹤是其中一個(gè)視頻監(jiān)控中重要的功能模塊，它的作用是檢測(cè)出需要的目標(biāo)對(duì)象，然后通過(guò)跟蹤目標(biāo)對(duì)象并獲得其運(yùn)動(dòng)軌跡，為上層算法提供判斷分析的數(shù)據(jù)。

視頻中的目標(biāo)跟蹤主要有目標(biāo)對(duì)象、搜索機(jī)制和模型更新三部分組成。

由于Lucas 和 Kanade的重要貢獻(xiàn)，全局模板被提出用于目標(biāo)跟蹤。隨后，為了適應(yīng)表觀模型的變化，提出了基于子空間的跟蹤算法[1]。Mei和Ling提出基于稀疏表示的跟蹤算法來(lái)處理目標(biāo)跟蹤中發(fā)生的表觀模型受到損壞的情況。除了基于模板的表示方法，還有顏色信息表示、邊緣直方圖信息表示、梯度直方圖信息表示，灰度特征以及紋理特征等[2]。依據(jù)表示方式不同，目標(biāo)跟蹤有不同的分類方法。依據(jù)文獻(xiàn)[3]提出的分類方法，可以把基于目標(biāo)特征的跟蹤分為三類，即基于點(diǎn)特征的跟蹤、基于邊緣輪廓以及剪影特征的跟蹤以及基于目標(biāo)對(duì)象外觀特征構(gòu)建的跟蹤。

基于點(diǎn)特征的跟蹤是使用點(diǎn)集來(lái)對(duì)表示目標(biāo)對(duì)象，通過(guò)對(duì)前后兩幀圖像中的相關(guān)點(diǎn)集進(jìn)行檢測(cè)來(lái)實(shí)現(xiàn)跟蹤目標(biāo)，根據(jù)所采用的點(diǎn)特征的方法，基于點(diǎn)特征的目標(biāo)跟蹤又分為基于貝葉斯模型的后驗(yàn)概率統(tǒng)計(jì)方法和確定性計(jì)算方法;后驗(yàn)概率性統(tǒng)計(jì)方法是通過(guò)觀測(cè)模型和測(cè)量模型來(lái)估計(jì)目標(biāo)的最終狀態(tài)[3]。比較著名的后驗(yàn)概率算法有卡爾曼濾波跟蹤算法、擴(kuò)展的卡爾曼濾波算法和粒子濾波跟蹤算法[3]。由于卡爾曼濾波要求被跟蹤目標(biāo)的觀測(cè)狀態(tài)和預(yù)測(cè)狀態(tài)都要服從線性高斯分布才能進(jìn)行，而現(xiàn)實(shí)目標(biāo)跟蹤中，這樣的情況很難實(shí)現(xiàn)，所以Rosales等對(duì)卡爾曼濾波進(jìn)行了改進(jìn)，提出了改進(jìn)的擴(kuò)展卡爾曼濾波（Extended Kalman Filter，EKF），擴(kuò)展的卡爾曼濾波只要求跟蹤目標(biāo)服從高斯分布就可運(yùn)用，但在實(shí)際使用中還是受到了一定的限制;Kitagawa等提出了粒子濾波跟蹤算法對(duì)卡爾曼濾波進(jìn)一步改進(jìn)，粒子濾波跟蹤算法對(duì)被跟蹤目標(biāo)的觀測(cè)狀態(tài)和預(yù)測(cè)狀態(tài)沒(méi)有作要求，因此，可以更好的滿足現(xiàn)實(shí)目標(biāo)跟蹤的需要。確定性方法則是在一定約束條件下，通過(guò)代價(jià)函數(shù)建立相鄰兩幀間點(diǎn)的對(duì)應(yīng)關(guān)系。

基于線跟蹤是利用目標(biāo)對(duì)象的邊界或者輪廓信息來(lái)表示目標(biāo)對(duì)象，然后通過(guò)輪廓演變或者形狀匹配來(lái)跟蹤目標(biāo)對(duì)象。這類跟蹤一般分為兩類：形狀匹配和外形跟蹤。基于面跟蹤通過(guò)構(gòu)建跟蹤對(duì)象的外觀信息來(lái)表示跟蹤對(duì)象，然后在后續(xù)幀中以一定的搜索機(jī)制搜索目標(biāo)，并在搜索到目標(biāo)后更新目標(biāo)外觀信息。根據(jù)對(duì)目標(biāo)外觀信息表述的不同，可以將基于面的跟蹤分為兩類：產(chǎn)生式表觀模型跟蹤算法和判別式表觀模型跟蹤算法。產(chǎn)生式表觀模型跟蹤方法是只利用目標(biāo)本身的表觀信息來(lái)建立模型，而后通過(guò)搜索算法在下一幀中搜索目標(biāo)。而判別式跟蹤方法是把跟蹤當(dāng)成二分類問(wèn)題，利用分類器把目標(biāo)從背景中分離出來(lái)，不僅需要用到目標(biāo)本身的信息，也要用到背景信息。較為典型的相關(guān)文獻(xiàn)有生成模型的基于稀疏表達(dá)的外觀模型[4]，基于正交匹配追蹤的外觀模型[5]，增量學(xué)習(xí)方法[6]等。這些已有的生成式外觀模型最大的問(wèn)題在于，外觀特征的學(xué)習(xí)需要的訓(xùn)練樣本數(shù)目較多，為了降低計(jì)算復(fù)雜度，只能在線下學(xué)習(xí)并假設(shè)目標(biāo)外觀在整個(gè)跟蹤過(guò)程中是不變的。而且生成式模型不能充分利用目標(biāo)附近的背景信息，這些背景信息往往有利于提升跟蹤效果。比較典型的判別式跟蹤模型有利用支持向量機(jī)分類器的跟蹤，在線提升跟蹤算法，半監(jiān)督在線提升跟蹤算法，多實(shí)例學(xué)習(xí)跟蹤算法，壓縮跟蹤算法等。

三、壓縮感知在目標(biāo)跟蹤中的應(yīng)用

在視頻視覺(jué)跟蹤領(lǐng)域有很多的基于稀疏表示和壓縮感知的跟蹤算法。這些算法用一些目標(biāo)模板的稀疏線性組合來(lái)表示目標(biāo)。一些模板利用Li規(guī)則最小化可以很近似的表示一個(gè)目標(biāo)。在文獻(xiàn)[7]中，最小誤差邊界策略被引用進(jìn)來(lái)，但仍然遠(yuǎn)不能達(dá)到實(shí)時(shí)性的要求。在文獻(xiàn)[8]中，Li等人利用正交匹配基跟蹤算法擴(kuò)展了L1跟蹤算法，雖然效率得到了很大的提高，實(shí)現(xiàn)了實(shí)時(shí)跟蹤，但由于不能充分利用目標(biāo)附近的背景信息，往往導(dǎo)致跟蹤的效果不是很好。Kaihua Zhang等人提出將壓縮感知理論應(yīng)用到目標(biāo)跟蹤中去降低提取的特征的維數(shù)，提出了壓縮跟蹤，由于采用非常稀疏的隨機(jī)投影矩陣，使得在壓縮域內(nèi)的計(jì)算復(fù)雜度大大降低。該算法簡(jiǎn)單、實(shí)時(shí)、高效，但還存在一些問(wèn)題，如沒(méi)有充分利用目標(biāo)的上下文信息，當(dāng)目標(biāo)突然加速或者光照變化大時(shí)，容易發(fā)生漂移，甚至丟失目標(biāo);由于使用了固定尺度的跟蹤框，在跟蹤過(guò)程中由于目標(biāo)尺度的變化，容易發(fā)生跟蹤漂移的問(wèn)題。Huilan Luo等提出了結(jié)合目標(biāo)預(yù)測(cè)位置的壓縮跟蹤，利用前幀的信息預(yù)測(cè)目標(biāo)在下一幀的位置，并結(jié)合檢測(cè)，取得了良好的效果，但是尺度沒(méi)有變化，還是容易出現(xiàn)漂移問(wèn)題。后來(lái)，Kaihua Zhang等人在壓縮跟蹤的基礎(chǔ)上，提出了快速的壓縮跟蹤，并提出了尺度的變化，但尺度變化不明顯。Yunxia Wu等人在壓縮跟蹤的基礎(chǔ)上提出了多尺度跟蹤，把粒子濾波和壓縮跟蹤結(jié)合，解決了尺度變化問(wèn)題，取得了比較好的效果，但對(duì)遮擋情況效果不理想。

四、基于預(yù)測(cè)的多尺度壓縮跟蹤

目標(biāo)跟蹤是計(jì)算機(jī)視覺(jué)研究領(lǐng)域的一個(gè)熱門課題，在社會(huì)生活中的應(yīng)用越來(lái)越廣。由于跟蹤過(guò)程中，跟蹤環(huán)境的復(fù)雜多變，跟蹤目標(biāo)外觀易受到光線干擾、運(yùn)動(dòng)目標(biāo)大小尺度發(fā)生變化、運(yùn)動(dòng)目標(biāo)與攝像機(jī)之間的角度的偏移造成的目標(biāo)觀測(cè)外觀變化、背景和目標(biāo)的相似性干擾、對(duì)目標(biāo)遮擋以及運(yùn)動(dòng)突然加速造成的目標(biāo)外觀模糊等情況，開(kāi)發(fā)一個(gè)性能滿足需要，又適應(yīng)多個(gè)場(chǎng)景中干擾因素的算法非常困難。在通過(guò)檢測(cè)實(shí)現(xiàn)跟蹤的算法中，Kaihua Zhang等提出用壓縮感知對(duì)正負(fù)采樣樣本降維跟蹤的算法，提高了目標(biāo)跟蹤處理的速度。但是，該算法有以下不足：第一，由于采用了固定大小的跟蹤框來(lái)檢測(cè)識(shí)別目標(biāo)，使得目標(biāo)在跟蹤過(guò)程中，跟蹤框不能隨目標(biāo)尺度變化而變化，從而影響目標(biāo)跟蹤的魯棒性;第二，在搜索目標(biāo)位置時(shí)，由于選用了固定半徑的搜索策略。這使得目標(biāo)在跟蹤過(guò)程中，不能運(yùn)行的太快或偏離上一幀目標(biāo)位置太遠(yuǎn)，否則，搜索半徑就會(huì)很大，影響跟蹤的實(shí)時(shí)性;第三，沒(méi)有充分前一幀中的信息，比如可以提高跟蹤性能的背景信息。本文針對(duì)以上問(wèn)題，提出了基于預(yù)測(cè)的多尺度壓縮跟蹤算法，通過(guò)利用上一幀目標(biāo)的位置信息，預(yù)測(cè)目標(biāo)的大概位置;然后再在該位置精搜索目標(biāo)的準(zhǔn)確位置，并利用尺度空間信息量的度量方法，來(lái)實(shí)現(xiàn)目標(biāo)的多尺度自適應(yīng)變化;最后，在對(duì)貝葉斯分類器參數(shù)的更新上，采用了非線性的更新方式，對(duì)處理遮擋問(wèn)題有更好的效果。通過(guò)在benchmark挑戰(zhàn)圖像序列中的測(cè)試，我們的算法與CT、FCT、MSCT算法進(jìn)行了對(duì)比，實(shí)驗(yàn)證明總體表現(xiàn)都比上述基于壓縮跟蹤的算法效果要好。

五、關(guān)鍵算法

1、目標(biāo)的壓縮特征提取方法。在基于檢測(cè)的跟蹤中，需要提取一些目標(biāo)特征來(lái)表示目標(biāo)。而為了減少計(jì)算量，傳統(tǒng)的方法，有的是構(gòu)建子空間模型來(lái)表示目標(biāo)，有的是利用增量子空間模型表示目標(biāo)來(lái)適應(yīng)目標(biāo)外觀的變化，有的通過(guò)支持向量機(jī)（SVM）來(lái)提高判別特征的選擇，但是這些方法的計(jì)算復(fù)雜度高，不能滿足實(shí)際應(yīng)用的需要。為了降低計(jì)算量，本文擬在目標(biāo)附近選取一些正樣本塊，在遠(yuǎn)離目標(biāo)的區(qū)域取一些負(fù)樣本塊，再將這些樣本與方框?yàn)V波器進(jìn)行卷積，得到正負(fù)樣本的高維特征向量;由于高維特征向量的維數(shù)仍然很大，進(jìn)一步利用測(cè)量矩陣對(duì)高維特征向量進(jìn)行降維，可大大的降低運(yùn)算量，得到壓縮域內(nèi)的正負(fù)樣本特征向量，初步研究表明，該降維后的特征基本保留了原向量的大部分信息，對(duì)跟蹤的精度影響較小。

2、目標(biāo)的壓縮特征的多尺度表示方法。在目前的跟蹤方法中，大部分跟蹤使用固定大小的跟蹤框檢測(cè)識(shí)別樣本，跟蹤框不隨目標(biāo)尺度變化而改變，無(wú)法適應(yīng)目標(biāo)尺度變化對(duì)跟蹤效果的影響，從而影響跟蹤的效果。本項(xiàng)目擬通過(guò)正負(fù)樣本與多尺度方框?yàn)V波器進(jìn)行卷積得到正負(fù)樣本的高維多尺度特征向量，然后再通過(guò)測(cè)量矩陣的投影，得到壓縮域的低維的多尺度特征，以實(shí)現(xiàn)目標(biāo)尺度變化的魯棒性。

3、壓縮目標(biāo)位置的預(yù)測(cè)方法：在大多數(shù)的跟蹤方法中，把跟蹤看成對(duì)每一幀的檢測(cè)問(wèn)題，即基于檢測(cè)的跟蹤問(wèn)題。由于只考慮當(dāng)前幀的信息，忽略了時(shí)空信息，造成跟蹤算法存在以下的以下問(wèn)題：1）跟蹤目標(biāo)突然加速或者漂移時(shí)，在當(dāng)前幀檢測(cè)目標(biāo)搜索的范圍就會(huì)相應(yīng)的變大，相應(yīng)的計(jì)算量也會(huì)明顯的提高，影響跟蹤的實(shí)時(shí)性。2）由于沒(méi)有充分利用時(shí)空上下文幀的信息，當(dāng)目標(biāo)被遮擋時(shí)，因檢測(cè)不到目標(biāo)造成跟蹤失敗，丟失目標(biāo)。結(jié)合預(yù)測(cè)目標(biāo)位置的跟蹤算法，可以利用前一幀的信息，通過(guò)預(yù)測(cè)算法預(yù)測(cè)目標(biāo)在下一幀的位置，不僅可以減少目標(biāo)的搜索范圍，對(duì)目標(biāo)遮擋也有一定的免疫性。因此對(duì)目標(biāo)位置的預(yù)測(cè)對(duì)于提高算法的速度和魯棒性都非常有必要。Mean-shift算法是一種基于核概率密度估計(jì)的無(wú)參數(shù)算法。該類算法應(yīng)用于預(yù)測(cè)目標(biāo)位置有很好的效果。本文擬采用修正的背景權(quán)重直方圖框架的mean-shift方法預(yù)測(cè)目標(biāo)的位置，該方法通過(guò)降低目標(biāo)跟蹤中目標(biāo)模型和背景模型的顯著背景特征來(lái)減少背景干擾，更準(zhǔn)確的預(yù)測(cè)目標(biāo)的位置。

4、多尺度描述下的特征搜索策略：在基于檢測(cè)的跟蹤算法中，目標(biāo)的搜索影響著跟蹤的速度，精確度和穩(wěn)定性。傳統(tǒng)的跟蹤算法中，對(duì)目標(biāo)的檢測(cè)一般是在目標(biāo)的上一幀位置處開(kāi)始搜索，這就要求在目標(biāo)跟蹤過(guò)程中，不能運(yùn)動(dòng)太快或偏離目標(biāo)在上一幀的位置處太遠(yuǎn)，否則需要搜索的半徑就非常大，并且要求目標(biāo)跟蹤中要始終比較精確，否則會(huì)存在積累錯(cuò)誤，造成目標(biāo)的最終跟丟。因此，選擇一個(gè)好的搜索策略，不僅影響到跟蹤的速度，還影響到跟蹤的穩(wěn)定性和精確性。本文擬采用先粗后精的搜索策略，先通過(guò)上一幀的信息預(yù)測(cè)目標(biāo)在下一幀的位置，然后在該預(yù)測(cè)位置以半徑25，步長(zhǎng)4搜索到目標(biāo)的大致位置，再在此位置以半徑10，步長(zhǎng)1搜索目標(biāo)的最終位置，這可以很大程度減少計(jì)算量，提高跟蹤的速度;并且結(jié)合預(yù)測(cè)的目標(biāo)位置，還可以減少對(duì)漂移的影響，提高跟蹤的精度。

基金項(xiàng)目：云南省教育廳指導(dǎo)性項(xiàng)目《基于壓縮感知的單目標(biāo)多尺度跟蹤算法研究》（201ZDX139）

參考文獻(xiàn)：

[1]Baker S，Matthews I. Lucas-kanade 20 years on： A unifyingframework[J]. International journal of computer vision， 2004，56（3）： 221-255.

[2]X. Mei and H. Ling. Robust Visual Tracking using L1Minimization. In ICCV， 2009.

[3]蔣良衛(wèi). 圖像序列中目標(biāo)跟蹤技術(shù)研究[D].華中科技大學(xué)，2013.

[4]Mei X， Ling H. Robust visual tracking and vehicleclassification via sparse representation[J]. IEEE Transactions onPattern Analysis and Machine Intelligence. 2011， 33（11）：2259-2272.

[5]Li H，Shen C，Shi Q. Real-time visual tracking usingcompressive sensing[C]// IEEE Conference on ComputerVision and Pattern Recognition （CVPR）. 2011： 1305-1312.

[6]Ross D A，Lim J，Lin R S，et al. Incremental learning forrobust visual tracking[J]. International Journal of ComputerVision， 2008， 77（1-3）： 125-141.

[7]Grabner H， Grabner M， Bischof H. Real-Time Tracking viaOn-line Boosting[C]// British Machine Vision Conference2006， Edinburgh， Uk， September. 2006：47-56.

[8]Grabner H，Leistner C，Bischof H. Semi-supervised on-lineboosting for robust tracking[M]//Computer Vision–ECCV2008. Springer Berlin Heidelberg，2008： 234-247.