基于相關(guān)濾波器的尺度自適應目標跟蹤算法

周廣宏,張楠

?

基于相關(guān)濾波器的尺度自適應目標跟蹤算法

周廣宏,張楠

無錫職業(yè)技術(shù)學院控制技術(shù)學院, 江蘇 無錫 214121

針對跟蹤目標外觀尺寸發(fā)生變化，造成跟蹤效率較低的問題，本文提出一種基于相關(guān)濾波的尺度自適應目標跟蹤算法。該算法利用多個通道的顏色特征描述目標外觀，通過學習得到的位置相關(guān)濾波器估計目標的中心，并據(jù)此提取多尺度樣本來構(gòu)建模板，繼而利用空間學習獲得的尺度濾波器評估目標最優(yōu)尺度，從而實現(xiàn)尺度自適應目標跟蹤。實驗驗證該算法在目標尺度發(fā)生變化時魯棒性強。

濾波器; 自適應尺度; 目標跟蹤

目標跟蹤技術(shù)是利用圖像傳感器進行數(shù)據(jù)采集，視頻監(jiān)控、異常行為檢測等，是計算機視覺領(lǐng)域中不可或缺的一部分[1,2]。然而在真實場景應用過程中，目標尺度的縮放、光照的劇烈變化以及旋轉(zhuǎn)形變會使跟蹤性能下降明顯[3]。當今跟蹤技術(shù)的需求日益旺盛，國內(nèi)外專家提出很多新的算法或者改進方法[4,5]。

文獻[4]提出一種密集采樣的策略來獲得樣本，通過循環(huán)矩陣訓練核函數(shù)建立核相關(guān)濾波器，將響應最大的位置作為目標的中心位置。Martin等[5]針對循環(huán)結(jié)構(gòu)核相關(guān)濾波跟蹤算法[4]中利用灰度特征描述目標狀態(tài)的不足，提出聯(lián)合多個通道的顏色特征來描述目標，采用徑向基函數(shù)核建立核相關(guān)濾波器來實現(xiàn)跟蹤，并且提出了一種可自適應降低顏色空間維度的方法實現(xiàn)快速跟蹤。

在目標外觀尺度發(fā)生明顯變化時，構(gòu)建高效、魯棒的跟蹤算法是視覺跟蹤方面的難點，也是研究熱點[6,7]。然而文獻[5]所提的CN(Color name)跟蹤算法未考慮目標外觀大小發(fā)生明顯變化的情況，無法適應目標外觀尺度的變化。針對目標尺度發(fā)生較大變化時，算法的精度大幅度下降的問題，本文在CN跟蹤算法基礎(chǔ)上，提出一種基于相關(guān)濾波方法的多尺度跟蹤算法，實現(xiàn)尺度自適應的相關(guān)濾波跟蹤。

1 CN跟蹤理論

1.1 傳統(tǒng)相關(guān)濾波跟蹤的方式

假設(shè)存在兩組信號，即信號和信號。兩組信號的相似度可以定義為它們的相關(guān)性。

其中，*表示的復共軛[8]。

相關(guān)濾波器是利用相似度高的信號之間卷積時響應高來反映相似程度。在跟蹤過程中，濾波器模板卷積樣本區(qū)域，將響應最高的樣本作為目標區(qū)域。相關(guān)濾波跟蹤算法有以下三個步驟：

第1步：在-1幀時，在目標位置附近提取大量訓練樣本，訓練相關(guān)濾波器；

第2步：在時，提取候選樣本，利用相關(guān)濾波器卷積候選樣本，計算對應的響應；

第3步：將響應最強的樣本區(qū)域作為時刻目標區(qū)域。

1.2 CN算法訓練濾波器

在相關(guān)濾波跟蹤過程中，需要利用采集窗口位移操作來提取大量的樣本?？紤]到樣本間存在大量的冗余特征，CN跟蹤算法提取目標位置信息形成循環(huán)矩陣，通過循環(huán)位移操作近似采樣窗口的位移操作，構(gòu)建出濾波器的訓練樣本。

其中，()由1×的圖像向量轉(zhuǎn)置循環(huán)得到×的循環(huán)矩陣。

其中，()表示核函數(shù)將映射到Hilbert特征空間，(,￠)=á(),(￠)?為核函數(shù)，y為樣本x的期望輸出，為取值為0.01時的正則化參數(shù)。

其中，-1表示傅里葉逆變換函數(shù)，表示傅里葉變換。為向量的傅里葉變換。U=(u)，u=(,x)為核函數(shù)的輸出，表示目標的狀態(tài)。

假設(shè)跟蹤到新的一幀，獲取圖像塊，由上述理論可知，圖像塊區(qū)域?qū)姆诸惼黜憫敵鰹椋?/p>

1.3 CN算法顏色自適應

CN算法提取樣本圖像塊11個通道的顏色特征，分別為黑、藍、棕、灰、綠、橙、粉、紫、紅、白和黃顏色特征。在幀時，將圖像塊x轉(zhuǎn)換成Θ1維數(shù)據(jù)，通過實時選擇2個較顯著的顏色特征來表示目標狀態(tài)，利用最小代價函數(shù)找到當前幀幀合適的降維映射為：

其中，投影矩陣D?Θ1×Θ2可以將11維的顏色特征降維成為2維顏色特征。

最終利用公式(7)獲得目標響應區(qū)域，得到目標中心位置。

2 改進的跟蹤算法

針對文獻[5]中CN模型未考慮目標外觀尺度變化的情況，在目標外觀尺度變化較大時，CN算法無法有效提取特征，容易導致丟失目標的情況，本文借用聚類思想篩選構(gòu)建多尺度模板空間，提出基于CN跟蹤方法的多尺度目標跟蹤算法。

本文通過提取多尺度模板空間中的模板訓練學習尺度相關(guān)濾波器；根據(jù)CN模型來估計目標中心點的位置，提取出多個尺度的矩形樣本，引入方向梯度直方圖特征，從而可以利用尺度相關(guān)濾波器卷積矩形樣本；最終根據(jù)響應最高的樣本獲得目標區(qū)域以及目標的最優(yōu)尺度，實現(xiàn)尺度變化的實時目標跟蹤。

2.1 相似度匹配

假設(shè)存在兩個圖像塊，通過雙線性插值變換得到統(tǒng)一尺度16×16的圖像塊和。為了獲取圖像塊方向梯度直方圖特征，計算圖像塊中像素的方向和梯度值。其中16×16圖像塊在像素點（,）的水平方向G(,)和垂直方向G(,)上的梯度可表示為：

其中，?(,)表示像素點(,)處的像素值。因此像素點(,)處梯度幅值和梯度方向可表示為：

將每40度劃分為一個方向塊，得到9個方向塊，然后建立方向梯度直方圖特征f。利用圖像塊、的方向梯度直方圖，來計算相似度的方法為：

其中‖*‖表示歐式距離，利用相似度的值反映圖像塊、的相似程度，越大，相似度越高。

2.2 構(gòu)建多尺度模板空間

考慮到目標跟蹤過程中首幀目標位置準確度最高，因此將首幀目標區(qū)域1歸一化為16×16的圖像塊，設(shè)置為模板1，添加到多尺度模板空間中，并且在后續(xù)模板空間更新過程中保持不變；然后將跟蹤到的每一幀的目標區(qū)域D都進行16×16的歸一化操作，并且設(shè)置為模板T；為了保持多尺度模板空間中模板的多樣性，提升尺度相關(guān)濾波器的有效性，因此通過借鑒聚類思想篩選模板（圖1）。

圖 1 模板空間的構(gòu)建

本文通過篩選規(guī)則，選擇（實驗中取10）個最具代表性的模板來構(gòu)建更新模板空間。在時刻，構(gòu)建更新模板空間的過程如下所示：

第1步：將時刻跟蹤的目標區(qū)域D轉(zhuǎn)為灰度圖像塊，并且將圖像塊歸一化為16×16的圖像塊?；

第2步：計算圖像塊?的方向梯度直方圖特征f_Dt；

第3步：令￠=f_Dt，=è￠；

第4步：若>，計算模板空間中相似度矩陣S={(T,T)|T?,T?}，獲得相似度最低的模板對

第6步：若S_min1≥S_min2，調(diào)整模板空間=-T1，反之，=-T2；

第7步：構(gòu)建更新結(jié)束。

2.3 尺度濾波器獲取尺度

其中，U為多個尺度模板圖像塊的核函數(shù)輸出的傅里葉變換。是分類器的期望輸出。

將33個不同尺度的樣本通過雙線性插值方法，均歸一化為16×16的圖像塊。

2.4 尺度更新

根據(jù)公式(5)和(6)，利用最新的目標尺度以及目標區(qū)域更新位置相關(guān)濾波器。再根據(jù)2.2節(jié)構(gòu)建方法更新多尺度模板空間，更新尺度相關(guān)濾波器。

3 算法流程

構(gòu)建循環(huán)矩陣獲得訓練樣本，利用CN顏色空間降維，訓練位置相關(guān)濾波分類器，獲得目標中心點；引入方向梯度直方圖特征學習尺度相關(guān)濾波器，利用尺度相關(guān)濾波器計算響應，獲得目標最優(yōu)尺度。算法流程如下：

第1步（初始化）：初始化設(shè)置首幀的目標區(qū)域，利用降維的顏色特征訓練位置相關(guān)濾波器。利用方向梯度直方圖特征訓練尺度相關(guān)濾波器；

第2步（跟蹤處理）：讀取下一幀，利用位置相關(guān)濾波器獲取響應最高的位置作為目標中心點；基于中心點提33個不同尺度的樣本，利用方向梯度直方圖卷積樣本，以響應最高的樣本區(qū)域為下一幀的目標區(qū)域，并且得到目標最優(yōu)尺度；

第2.1步：利用公式（11）降維顏色特征，如公式（7）所示利用位置相關(guān)濾波器獲取響應最高點作為目標中心點；

第2.2步：如公式（12）所示，基于目標中心點位置提取33個不同尺度的樣本，利用公式（15）尺度相關(guān)濾波器卷積樣本，最后利用公式（17）得到響應最高的樣本區(qū)域作為目標區(qū)域，且獲得目標最優(yōu)尺度；

第3步（更新多尺度模板空間）：得到目標最優(yōu)尺度后，利用公式（18）更新目標區(qū)域，利用2.2節(jié)方法更新多尺度模板空間；

第4步（更新相關(guān)濾波器）：從多尺度模板空間中提取模板訓練學習尺度相關(guān)濾波器。利用公式（5）和（6）更新位置相關(guān)濾波器；

第5步（結(jié)束）：跳轉(zhuǎn)到第2步。

4 目標跟蹤效果與分析

本文算法在Intel(R)Core（TM）i5-3230M 2.60GHz，內(nèi)存8.00 GB的筆記本電腦上，利用Matlab與C++混編實現(xiàn)。為了驗證本文算法的準確性和有效性，本文在兩組復雜背景下尺度變化的視頻序列進行實驗[1]。除此之外，將本文算法與CN算法[5]，STC(Spatio-Temporal Context)算法[9]這兩種基于相關(guān)濾波的跟蹤算法進行了對比說明，通過定性的跟蹤效果和定量的重合率來說明跟蹤效果，重點檢驗本文算法的魯棒性。

4.1 對目標旋轉(zhuǎn)形變以及尺度變化的實驗

Dog1視頻圖像序列實驗過程中，目標出現(xiàn)持續(xù)的尺度無規(guī)律變化，同時目標Dog1也發(fā)生旋轉(zhuǎn)形變。對Dog1視頻序列進行實驗主要是驗證目標出現(xiàn)無規(guī)律尺度變化時，即使是伴隨著發(fā)生旋轉(zhuǎn)和形變的情況下，算法的抗干擾性能強。

從#553幀中可以看出，目標Dog1發(fā)生旋轉(zhuǎn)形變（圖2）。從#986幀可以看出，目標Dog1出現(xiàn)明顯尺度變大，CN算法的跟蹤窗明顯小于目標區(qū)域，跟蹤效果很差。從#1338幀中可以看出目標尺度又出現(xiàn)明顯的變小，雖然CN跟蹤算法框住了目標區(qū)域，然而已經(jīng)發(fā)生偏移，并且由于未考慮目標尺度變化，導致跟蹤窗無法隨目標尺度的變化而實時改變。STC跟蹤算法添加了尺度更新方式，因此可以實現(xiàn)多尺度跟蹤。相比而言本文算法(簡稱Our)由于利用多個通道的顏色特征表示目標狀態(tài)，并且實現(xiàn)了尺度隨目標外觀大小變化的更新方法，所以跟蹤目標尺度變化明顯的視頻序列效果最佳。

圖 2 Dog1圖片序列跟蹤效果

圖 3 Dog1序列的跟蹤重疊率曲線圖

4.2 對劇烈光照變化及尺度變化的實驗

Singer1視頻序列實驗過程中，目標尺度持續(xù)縮小，并且在運動過程中出現(xiàn)劇烈的光照干擾。該實驗主要是驗證目標出現(xiàn)明顯尺度變化時，目標遭受劇烈光照干擾，算法的抗干擾能力。

可以看出目標尺度持續(xù)縮小，且伴有劇烈光照變化（圖4）。在#85幀時目標遭受劇烈光照干擾，CN算法由于未考慮尺度問題，CN算法跟蹤窗始終不變，開始遭受背景干擾。從#161幀我們發(fā)現(xiàn)STC算法由于遭受光照干擾，尺度無法有效更新，導致尺度變化失效。而Our算法擇優(yōu)選取最能表示目標狀態(tài)的顏色特征，因此受光照影響較小，并且本文算法利用動態(tài)多尺度模板空間來學習尺度相關(guān)濾波器，其尺度更新策略更為健壯，跟蹤效果最佳。

從跟蹤重疊率曲線圖（圖5）可以看出，在目標出現(xiàn)持續(xù)尺度縮小以及光照變化時，CN算法無尺度變化，重疊率最低，跟蹤效果最差。STC跟蹤算法受到劇烈光照干擾，尺度更新機制失效，隨著目標逐漸縮小，重疊率持續(xù)降低。而本文算法在受到尺度逐漸縮小以及劇烈光照干擾的情況下，重疊率依然保持0.6以上，說明了本文算法在劇烈光照干擾下，尺度更新機制依然健壯。在Singer1視頻序列實驗的跟蹤速度達到16幀/s，基本滿足實時性要求。

圖 4 Singer1圖片序列跟蹤效果圖

圖 5 Singer1序列的跟蹤重疊率曲線圖

5 結(jié)論

本文算法針對CN跟蹤算法無法實現(xiàn)尺度跟蹤的缺陷，提出利用方向梯度直方圖特征學習尺度濾波器來實現(xiàn)尺度自適應跟蹤的效果。本文算法一方面學習尺度濾波器解決目標變尺度難跟蹤的問題；另外一方面以跟蹤的最優(yōu)尺度更新目標區(qū)域，有益于提升相關(guān)濾波器的跟蹤性能。通過變尺度的視頻序列進行實驗驗證，說明了本文算法在目標劇烈光照變化、旋轉(zhuǎn)形變尤其是尺度明顯變化時，具有良好的魯棒性。

[1] Wu Y, Lim J, Yang MH. Object Tracking Benchmark[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2015,37(9):1834-1848

[2] 黎萬義,王鵬,喬紅.引入視覺注意機制的目標跟蹤方法綜述[J].自動化學報,2014,40(4):561-576

[3] 蔣敏,吳佼,孔軍,等.基于時空模型的尺度自適應跟蹤算法[J].小型微型計算機系統(tǒng),2016,37(7):1522-1525

[4] Henriques JF, Rui C, Martins P,. Exploiting the Circulant Structure of Tracking-by-Detection with Kernels[C]. Florence Italy: Processing of European Conference on Computer Vision, 2012:702-715

[5] Martin D, Fahad SK, Michae F,. Adaptive Color Attributes for Real-Time Visual Tracking[C]. Columbus: Processing of Computer Vision and Pattern Recognition, 2014:1090 -1097

[6] Zhang H, Hu S, Zhang X,. Visual Tracking via Constrained Incremental Non-negative Matrix Factoriztion[J]. Signal Processing Letters, 2015,22(9):1350-1353

[7] Martin D, Gustav H, Fahad SK,. Accurate Scale Estimation for Robust Visual Tracking[C]. Nottingham, UK: Processing of British Machine Vision Conference, 2014

[8] 趙翱東,石磊,劉飛.基于時空特征的實時相關(guān)濾波目標跟蹤[J].傳感器與微系統(tǒng),2016,35(8):119-122

[9] Zhang KH, Zhang L, Yang MH. Fast Visual Tracking via Dense Spatio-Temporal Context Learning[C]. Zürich: Processing of European Conference Computer Vision, 2014:127-141

Algorithm of Self-Adaptive Scale Target Tracking on Correlative Filters

ZHOU Guang-hong, ZHANG Nan

214121,

Aim to a question of low tracking efficiency when the scale of tracked target was changing, this paper proposed the algorithm of self-adaptive scale target tracking on correlative filters. The algorithm utilized multichannel color features to describe the objective appearance and estimate the objective center by way of learning to get the location correlative filters, and hereby extract multi-scale samples to establish the model and then the optimal target scale was assessed by scale filter obtained with space learning thereby to implement target tracking with scale self-adaptive. The experiment had verified that the proposed method was strongly robust to scale changing.

Filter; self-adaptive size; target tracking

TP273+.2

A

1000-2324(2018)05-0836-05

10.3969/j.issn.1000-2324.2018.05.023

2017-10-06

2017-11-12

國家自然科學基金項目(61503188);無錫市工業(yè)AGV技術(shù)應用及推廣公共服務平臺(CMB41S1703)

周廣宏(1977-),男,碩士,講師,研究方向為智能控制及機器人導航. E-mail:zhough@wxit.edu.cn