雙HOG 特征的相關(guān)濾波目標(biāo)跟蹤

林淑彬

（閩南師范大學(xué)計(jì)算機(jī)學(xué)院，福建漳州363000）

視覺目標(biāo)跟蹤[1]是計(jì)算機(jī)視覺中的一個(gè)熱點(diǎn)問題，涉及圖像處理、模式識(shí)別、人工智能、自動(dòng)控制等不同領(lǐng)域[2]，在安全監(jiān)控、人機(jī)交互、無人駕駛、醫(yī)療診斷系統(tǒng)、機(jī)器人學(xué)等方面[3]有廣泛應(yīng)用，因此得到極大關(guān)注.視覺目標(biāo)跟蹤的難點(diǎn)在各種各樣的挑戰(zhàn)中，如局部遮擋、變形、運(yùn)動(dòng)模糊、快速運(yùn)動(dòng)、光照變化[4]、背景雜亂[5]、目標(biāo)再識(shí)別和尺度變化[6]等.目前已經(jīng)提出了許多跟蹤算法來處理不同的對(duì)象跟蹤問題，基于相關(guān)濾波器(Correlation Filter, CF)的跟蹤方法[7]和基于判別相關(guān)濾波[8](Discriminative Correlation Filter, DCF)的跟蹤方法因其性能優(yōu)異、速度快而備受關(guān)注.

CF 主要應(yīng)用于信號(hào)處理，用來描述兩個(gè)信號(hào)之間的相關(guān)性，其最大的優(yōu)點(diǎn)是計(jì)算速率高，利用假設(shè)訓(xùn)練數(shù)據(jù)的循環(huán)結(jié)構(gòu)，目標(biāo)和候選區(qū)域能在頻域[9]進(jìn)行表示并通過快速傅里葉變換(FFT)操作.Bolme 等[10]首次將CF 應(yīng)用于跟蹤提出MOSSE 算法，其利用FFT 的快速性使跟蹤速度達(dá)到了600-700fps.DCF 通過跟蹤訓(xùn)練濾波器模型中目標(biāo)的位置，提取出HOG 特征，訓(xùn)練出一個(gè)濾波器模板，對(duì)于新的可能目標(biāo)區(qū)域，提取出該區(qū)域HOG 特征，與濾波器模板作相關(guān).重復(fù)上述步驟進(jìn)行后續(xù)的目標(biāo)跟蹤與模型訓(xùn)練[6]，從而實(shí)現(xiàn)模型的在線訓(xùn)練[12]與目標(biāo)的實(shí)時(shí)跟蹤[13].實(shí)驗(yàn)表明，憑借HOG 特性，DCF 比頂級(jí)跟蹤器[11]表現(xiàn)更加出色，能以每秒數(shù)百幀的速度運(yùn)行.

由于設(shè)計(jì)滿足各種挑戰(zhàn)性場(chǎng)景的特征融合方法的難度很大，為了獲得更好的性能，讓跟蹤器可以可靠地處理各種問題，跟蹤器的單一性能有時(shí)會(huì)出現(xiàn)不穩(wěn)定的情況，但是跟蹤器的多種特征融合[14]可以有效地增強(qiáng)其魯棒性[15].受DCF 算法的啟發(fā)，本文提出一種有效的雙HOG 特征目標(biāo)跟蹤（Dual HOG feature correction filter，DHCF）方法.該方法結(jié)合不同類型的特征，通過DCF 構(gòu)造兩個(gè)HOG 特征，一個(gè)是HOG1，另一個(gè)是HOG2， 接著利用判別相關(guān)濾波器框架對(duì)兩個(gè)特征進(jìn)行濾波處理， 使它們都各自獨(dú)立地跟蹤目標(biāo)，然后從處理好的兩個(gè)特征中選擇最優(yōu)特征，根據(jù)特征獲得響應(yīng)圖，在響應(yīng)圖中尋找最大值位置，就是預(yù)測(cè)出的新目標(biāo)位置.其相關(guān)運(yùn)算在傅里葉域中使用傅里葉變換進(jìn)行計(jì)算， 通過使用多維特征和改進(jìn)的濾波器訓(xùn)練方法[18]進(jìn)一步提高了性能和計(jì)算效率.

DHCF 跟蹤器具有雙HOG 特性，與許多復(fù)雜的跟蹤器性能相當(dāng)，在OTB-2013[26]、OTB-2015[27]基準(zhǔn)上與其他算法對(duì)比取得了良好的效果.為了驗(yàn)證DHCF 跟蹤器的性能， 通過與Staple[17]、SAMF、LCT、KCF、DSST[20]、HOG 這六個(gè)跟蹤器進(jìn)行了比較，圖1 顯示了兩個(gè)基準(zhǔn)序列上各種跟蹤器的比較結(jié)果.

圖1 各跟蹤器比較效果圖Fig.1 Each tracker comparison renderings

1 相關(guān)濾波器

本節(jié)引入相關(guān)濾波的概念， 相關(guān)濾波是用來描述信號(hào)處理領(lǐng)域中兩個(gè)信號(hào)之間的相似程度.以下主要討論與本文密切相關(guān)的兩類跟蹤器，1.1 節(jié)介紹相關(guān)濾波器，1.2 節(jié)介紹判別相關(guān)濾波器.

1.1 相關(guān)濾波器

2010 年CVPR，David S.Bolme 首次將相關(guān)濾波用在了跟蹤領(lǐng)域[11].相關(guān)濾波目標(biāo)跟蹤方法的基本思想是：跟蹤中的兩個(gè)信號(hào)越相似，其相關(guān)值就越高，越接近所需的目標(biāo)區(qū)域.實(shí)驗(yàn)中通過設(shè)計(jì)相關(guān)濾波模板來實(shí)現(xiàn)，如圖2 所示.

圖2 相關(guān)濾波模型Fig.2 Correlation filtering model

Bolme 提出了一種使用誤差最小平方和濾波器(MOSSE)的跟蹤器，MOSSE 的思想[21]是,找到一個(gè)跟蹤濾波器，使它在目標(biāo)上的響應(yīng)輸出值最大，則公式如下

其中g(shù)、h、f 分別表示響應(yīng)輸出、濾波模板、輸入的圖像.上式的計(jì)算是進(jìn)行卷積計(jì)算，計(jì)算耗時(shí)，因此對(duì)其采用快速傅里葉變換（FFT），把卷積計(jì)算變成點(diǎn)乘操作，能夠極大減少計(jì)算量，從而將上式簡(jiǎn)變?yōu)?/p>

根據(jù)該式找到H

在實(shí)際跟蹤過程中，為了提高濾波器模板的魯棒性，以目標(biāo)的m 個(gè)圖像作為參考，從而提出模型公式如下

為了得到MOSSE 的最小值，將上式進(jìn)行轉(zhuǎn)換求導(dǎo)最后得到H 為

上式即濾波器的模型公式.

考慮濾波器的魯棒性，對(duì)模板進(jìn)行如下策略更新

這里將模型公式更新分為分子At和分母Bt兩個(gè)部分，η 表示學(xué)習(xí)率.

CF 通過 MOSSE 算法顯示出巨大潛力，從此 CF 跟蹤算法得到矚目，大量基于 CF 的跟蹤算法相繼出現(xiàn).Heriques 等利用訓(xùn)練塊的循環(huán)結(jié)構(gòu)，提出在具有HOG 特征的核空間[20]訓(xùn)練相關(guān)濾波器.Zhang 等[14]將上下文信息合并到過濾器學(xué)習(xí)中.SRDCF 跟蹤器[24]通過對(duì)相關(guān)濾波系數(shù)進(jìn)行空間位置懲罰來減輕邊界效應(yīng)[23]，通過減少樣本的破壞來增強(qiáng)邊界效應(yīng).

CF 的缺點(diǎn)是輸入的特征為單通道灰度圖像，特征表達(dá)能力有限；沒有尺度更新，對(duì)于尺度變化的跟蹤目標(biāo)[24]不敏感.因此DCF 在多通道特征上做了優(yōu)化.

1.2 判別相關(guān)濾波器

DCF 是Visual Tracking 領(lǐng)域應(yīng)用最為廣泛的跟蹤算法.其核心思想是： 在目標(biāo)跟蹤過程中訓(xùn)練一個(gè)跟蹤器，使用該跟蹤器去檢測(cè)預(yù)測(cè)的目標(biāo)位置，然后再使用檢測(cè)結(jié)果來更新訓(xùn)練集從而更新目標(biāo)跟蹤器.在訓(xùn)練目標(biāo)跟蹤器時(shí)采用HOG 特征[20]來描述感興趣目標(biāo)，選取的目標(biāo)中心區(qū)域劃分為正樣本，目標(biāo)周圍區(qū)域劃分為負(fù)樣本.DCF 通過目標(biāo)的循環(huán)移位構(gòu)建訓(xùn)練樣本，利用循環(huán)矩陣的特殊性，在離散傅里葉域進(jìn)行求解，再借助于FFT 變換，將卷積變換[25]為頻域的點(diǎn)乘，大大降低了計(jì)算的復(fù)雜度，提高了處理速度.

2 雙HOG 特征的相關(guān)濾波器目標(biāo)跟蹤

針對(duì)環(huán)境變化對(duì)目標(biāo)跟蹤的影響，在HOG 特征基礎(chǔ)上，本文提出基于雙HOG 特征的相關(guān)濾波器目標(biāo)跟蹤方法，見圖3.

圖3 雙HOG 特征相關(guān)濾波目標(biāo)跟蹤系統(tǒng)框圖Fig.3 Block diagram of dual HOG feature correlation filtering target tracking system

2.1 HOG 特征

在計(jì)算機(jī)視覺以及圖像處理中，方向梯度直方圖是圖像局部區(qū)域的梯度特征量統(tǒng)計(jì)，它的基本思想是采用梯度的統(tǒng)計(jì)信息來更好地描述目標(biāo)的邊緣信息，并通過局部梯度的大小對(duì)圖像局部的外觀和形狀進(jìn)行特征化.HOG 特征的提取過程為：首先為了減少光照以及背景等因素的影響，將顏色空間的對(duì)比度歸一化；其次把圖像劃分成多個(gè)大小一樣的單元，并計(jì)算各自相應(yīng)的梯度直方圖信息；然后把單元中所有特征串聯(lián)起來，構(gòu)成大的相互有重疊的塊，然后統(tǒng)計(jì)整個(gè)塊的直方圖特征；為了進(jìn)一步減少光照因素及噪聲的影響，再對(duì)每個(gè)塊內(nèi)的梯度直方圖進(jìn)行歸一化處理；最后將整個(gè)窗口中所有塊的HOG 特征向量串聯(lián)起來.

針對(duì)HOG 特征在目標(biāo)跟蹤中的特性， 提出以其作為進(jìn)行目標(biāo)位置估計(jì)的濾波器.由于HOG 是低級(jí)特性，為31 維度，所以不進(jìn)行從粗到細(xì)的融合，只是簡(jiǎn)單地將它們連接起來構(gòu)建DCF.為了獲得更多特征，實(shí)驗(yàn)將補(bǔ)丁中所有像素的平均灰度值作為1 維特征，并將其與HOG 特征連接到一個(gè)32 維向量中，然后將其平均分解為兩個(gè)16 維特征， 分別記為HOG1 和HOG2.HOG1 表示前面16 維特征，HOG2 表示后面16 維特征，兩個(gè)特征線索各自進(jìn)行相關(guān)濾波響應(yīng)，最后選擇響應(yīng)值最大的特征進(jìn)行目標(biāo)位置的預(yù)測(cè).

這里主要涉及線性回歸問題，實(shí)質(zhì)上是一種改良的最小二乘法.訓(xùn)練濾波器的目的是找到一個(gè)函數(shù)f（k）=wdk 使樣本 xi及其回歸目標(biāo) yi的平方誤差最小

在傅里葉域中工作，其中的量通常是復(fù)數(shù)，推廣到復(fù)數(shù)域，求得公式

根據(jù)循環(huán)矩陣在傅立葉空間可對(duì)角化的重要性質(zhì)得到

其中，X 是循環(huán)矩陣，F(xiàn) 是離散傅里葉變換矩陣， X＾表示離散傅里葉變換.

對(duì)矩陣進(jìn)行整合

其中，*表示矩陣復(fù)共軛，根據(jù)點(diǎn)乘運(yùn)算，上式可表示為

則所求線性回歸的解的傅里葉變換可以表示為

因此，通過公式(15)計(jì)算具有相同大小x 的特征圖矩形區(qū)域k 的響應(yīng)值R，并搜索R 的最大值來識(shí)別新的目標(biāo)位置

其中，d 表示特征維數(shù)，取值范圍從1 到D.

2.2 算法

根據(jù)上述過程，雙HOG 特征相關(guān)濾波算法DHCF 如下.

算法: 雙HOG 特征相關(guān)濾波目標(biāo)跟蹤(DHCF)，

輸入: 視頻系列S1...Sn,以及第一幀的跟蹤目標(biāo)位置，

輸出: 視頻系列的跟蹤目標(biāo)位置P1...Pn.

1： 提取第一幀跟蹤目標(biāo)位置P1；

2： 初始化目標(biāo)跟蹤器；

循環(huán)直到視頻結(jié)束:

3： 計(jì)算第t 幀的HOG 特征，并分割成HOG1 和HOG2，分別進(jìn)行相關(guān)濾波處理；

4： 分別利用循環(huán)矩陣進(jìn)行離散傅里葉變換，選擇濾波處理的最佳結(jié)果；

5： 計(jì)算濾波處理好的特征響應(yīng)圖；

6： 在響應(yīng)圖中尋找最大值的位置，即預(yù)測(cè)出新的目標(biāo)位置Pt+1.

返回視頻系列的目標(biāo)位置.

3 實(shí)驗(yàn)結(jié)果及分析

雙HOG 特征目標(biāo)跟蹤方法在OTB-2013 和OTB-2015 兩個(gè)基準(zhǔn)上進(jìn)行實(shí)驗(yàn)，其中OTB-2013 共有50個(gè)視頻序列，OTB-2015 共有100 個(gè)視頻序列， 將該跟蹤器算法與六個(gè)跟蹤器算法（Staple、SAMF、LCT、KCF、DSST、HOG）進(jìn)行對(duì)比.

3.1 實(shí)驗(yàn)裝置

實(shí)驗(yàn)環(huán)境為MATLAB R2018b，CPU 為i7 處理器，內(nèi)存8G，64 位的Windows10 操作系統(tǒng).實(shí)驗(yàn)按照標(biāo)準(zhǔn)DCF 方法[23]中的參數(shù)來構(gòu)造HOG 特征，在OTB-2013、OTB-2015 兩個(gè)基準(zhǔn)數(shù)據(jù)集上進(jìn)行測(cè)試評(píng)估.

3.2 參數(shù)設(shè)置

正則化參數(shù)λ 設(shè)置為0.01， 期望的相關(guān)輸出標(biāo)準(zhǔn)差設(shè)置為位置濾波器的目標(biāo)大小的1/16 和比例濾波器的1.5，過濾器大小M*N 設(shè)置為初始目標(biāo)大小的兩倍，學(xué)習(xí)率η 設(shè)置為0.025.將單元大小設(shè)置為1*1，用圖像灰度特征增強(qiáng)HOG 特征，使用塊大小為4*4 提取PCA_HOG 特征,將固定的補(bǔ)丁大小設(shè)置為初始目標(biāo)大小.最后，提取的特征總是乘以一個(gè)Hann 余弦窗口.

3.3 實(shí)驗(yàn)結(jié)果

基于雙HOG 特征的目標(biāo)跟蹤方法在精度和成功率上都提高了跟蹤性能.圖4、 圖5 是在100 個(gè)序列運(yùn)行后的成功率和精度圖，從圖中可看出DHCF 跟蹤器在很多環(huán)境變化中性能優(yōu)于其他跟蹤器.

Staple、SAMF 和LCT 算法均以SRDCF 為基線，能夠有效緩解邊界效應(yīng)，且優(yōu)于標(biāo)準(zhǔn)DCF.DSST 采用了新穎的尺度算子，更好地融合了尺度特征.DHCF 算法只是以簡(jiǎn)單的DCF 為基準(zhǔn)，上述算法和其他新技術(shù)也可以集成到該方法中，進(jìn)一步提高性能.由于DHCF 算法為基于多特征的DCF 跟蹤器提供了更好的替代方案，其他具有多種特征的跟蹤算法也可以從該方法中受益.在圖4 中，提出的DHCF 跟蹤器在目標(biāo)跟蹤中取得了較好的性能，其成功率和精度在快速運(yùn)動(dòng)、背景混亂、形狀變化等方面均優(yōu)于其他算法，與傳統(tǒng)HOG 算法相比也具有較優(yōu)越的性能.圖5 中，DHCF 跟蹤器在跟蹤成功率和精度方面總體性能都較好，其跟蹤精度在面內(nèi)旋轉(zhuǎn)和光照變化方面不是最優(yōu)的，分別為0.740 和0.732，都僅次于Staple 跟蹤算法，分別為0.749和0.766， 分別相差0.009 和0.034.然而在低分辨率方面其跟蹤精度取得了最佳為0.840，Staple 算法為 0.780， 傳統(tǒng)HOG 算法為0.761， 比Staple 算法和傳統(tǒng)HOG 算法分別高0.06 和 0.079.總體上看，DHCF 跟蹤器顯示的結(jié)果與其他跟蹤器相比具有較好性能，并且在各種指標(biāo)上均領(lǐng)先其他方法.

圖4 各算法跟蹤精度和成功率對(duì)比圖Fig.4 Comparison chart of tracking accuracy and success rate of each algorithm

圖5 各算法跟蹤精度和成功率對(duì)比圖Fig.5 Comparison chart of tracking accuracy and success rate of each algorithm

4 結(jié)論

本文提出了一種基于雙HOG 特征的目標(biāo)跟蹤方法，充分展示了兩個(gè)特征的優(yōu)點(diǎn).該方法中的兩個(gè)特征通過不同的目標(biāo)跟蹤分析線索，選擇最優(yōu)的特征來確定跟蹤結(jié)果.雙HOG 特征在快速運(yùn)動(dòng)、背景雜亂等情況下有較好的魯棒性，但在光照變化下性能相對(duì)較弱.實(shí)驗(yàn)表明，雙HOG 特征目標(biāo)跟蹤算法在跟蹤精度和效率上優(yōu)于其他跟蹤方法.下一步工作將結(jié)合顏色特征和HOG 特征做進(jìn)一步研究.