融合雙HOG特征和顏色特征的目標(biāo)跟蹤

林淑彬, 丁飛飛, 楊文元*

(1.閩南師范大學(xué) 計(jì)算機(jī)學(xué)院, 漳州 363000)(2.閩南師范大學(xué) 福建省粒計(jì)算及其應(yīng)用重點(diǎn)實(shí)驗(yàn)室, 漳州 363000)

視覺目標(biāo)跟蹤[1]是計(jì)算機(jī)視覺中的重要組成部分,涉及圖像處理、人工智能[2]、模式識(shí)別、自動(dòng)控制等不同領(lǐng)域,在軍事科學(xué)、醫(yī)療診斷、人機(jī)交互、無人駕駛、安全監(jiān)控等方面有廣泛應(yīng)用,因此得到極大關(guān)注，發(fā)展快速.由于受目標(biāo)局部遮擋、運(yùn)動(dòng)模糊、快速運(yùn)動(dòng)、變形、光照變化、相似背景、平面旋轉(zhuǎn)和尺度變化等因素[3]影響,視覺目標(biāo)跟蹤仍然是極具挑戰(zhàn)性的工作.近年來,有多種跟蹤方法用于處理不同的目標(biāo)跟蹤問題,其中基于判別相關(guān)濾波器(discriminative correlation filter, DCF)[4]和基于顏色特征的跟蹤方法尤其引人矚目.

在基于DCF的跟蹤器中,相關(guān)運(yùn)算可在頻域中進(jìn)行[5],因此DCF具有計(jì)算效率高的優(yōu)點(diǎn).DCF通過跟蹤訓(xùn)練濾波器模型中目標(biāo)的位置,提取出HOG特征,并訓(xùn)練出一個(gè)濾波器模板,對(duì)于下一幀目標(biāo)區(qū)域,提取出HOG特征[6],與濾波器模板作相關(guān)運(yùn)算.重復(fù)上述步驟進(jìn)行后續(xù)幀的目標(biāo)跟蹤[7]與模型訓(xùn)練,實(shí)現(xiàn)模型在線訓(xùn)練與目標(biāo)實(shí)時(shí)跟蹤[8-9].憑借HOG特性,DCF表現(xiàn)出色,每秒能以數(shù)百幀的速度運(yùn)行.

顏色特征[10]是在圖像檢索中應(yīng)用最為廣泛的視覺特征,因?yàn)轭伾蛨D像中所包含的物體或場景相關(guān).此外,與其他視覺特征相比,顏色特征對(duì)圖像本身的尺寸、方向、視角的依賴性較小,從而具有較高的魯棒性.顏色特征是一種全局特征,它描述了圖像或圖像區(qū)域所對(duì)應(yīng)的物體表面性質(zhì).顏色直方圖是最常用的表達(dá)顏色特征的方法,能簡單描述一幅圖像中顏色的全局分布.其優(yōu)點(diǎn)是不受圖像旋轉(zhuǎn)和平移變化影響[11-12],進(jìn)一步歸一化還可以提升應(yīng)對(duì)尺度變化的性能.

在復(fù)雜運(yùn)動(dòng)場景下,目標(biāo)跟蹤的性能會(huì)受影響,為了讓跟蹤器獲得更好的效果,將跟蹤器的多種特征融合[13].受DCF算法啟發(fā),文中提出一種融合雙HOG特征和顏色特征的目標(biāo)跟蹤(color HOG feature correction filter, CHOG)方法.首先在當(dāng)前幀目標(biāo)區(qū)域構(gòu)造兩個(gè)HOG特征,分割為HOG1和HOG2,再利用DCF框架對(duì)兩個(gè)特征進(jìn)行濾波處理,使它們都各自獨(dú)立地跟蹤目標(biāo),接著從處理好的兩個(gè)特征中選擇出最優(yōu)特征;然后利用顏色直方圖提取當(dāng)前幀目標(biāo)區(qū)域的顏色特征,將數(shù)字圖像中的像素值進(jìn)行相應(yīng)轉(zhuǎn)換,用數(shù)值表示顏色特征;最后融合前兩個(gè)部分并獲得特征響應(yīng)圖,在響應(yīng)圖中尋找最大值的位置,就是預(yù)測出的新目標(biāo)位置.該方法使用多維特征和改進(jìn)的濾波器訓(xùn)練,進(jìn)一步提高了性能和計(jì)算效率.CHOG跟蹤器在OTB-2013和OTB-2015[15]兩個(gè)基準(zhǔn)數(shù)據(jù)集上與KCF[4]、Staple[9]、DSST[16]、SRDCF[17]、SAMF[18]、LCT[19]6個(gè)跟蹤器進(jìn)行了比較.在背景雜亂、平面外旋轉(zhuǎn)和形狀變化等方面表現(xiàn)出良好的跟蹤效果.

1 相關(guān)工作

1.1 判別相關(guān)濾波器

文獻(xiàn)[20]中首次將相關(guān)濾波(correlation filter, CF)用在跟蹤領(lǐng)域,提出一種使用誤差最小平方和濾波器(minimum output sum of squared error filter, MOSSE)的跟蹤器.相關(guān)濾波用來描述信號(hào)處理領(lǐng)域中兩個(gè)信號(hào)之間的相似程度.相關(guān)濾波目標(biāo)跟蹤方法的基本思想是跟蹤中的兩個(gè)信號(hào)越相似,其相關(guān)值越高,越接近目標(biāo)區(qū)域.相關(guān)濾波模板如圖1.

圖1 相關(guān)濾波模型Fig.1 Correlation filtering model

MOSSE的思想是找到一個(gè)跟蹤濾波器,使它在目標(biāo)上的響應(yīng)輸出值最大:

g=f⊙h

(1)

式中,g、f、h分別為響應(yīng)輸出、輸入的圖像、濾波模板.進(jìn)行卷積計(jì)算很耗時(shí),因此對(duì)其采用快速傅里葉變換,把卷積[21]計(jì)算換成點(diǎn)乘操作,極大地減少計(jì)算量,從而將式(1)變?yōu)?

G=F·H*

(2)

得到

H*=G/F

(3)

在實(shí)際跟蹤過程中,為了提高濾波器模板的魯棒性[22],以目標(biāo)的m個(gè)樣本作為參考,其模型為:

(4)

為了得到其最小值,將上式進(jìn)行轉(zhuǎn)換求導(dǎo)，得到濾波器模型：

(5)

考慮濾波器的魯棒性,對(duì)模型進(jìn)行策略更新:

(6)

(7)

(8)

將模型更新分為分子At和分母Bt兩個(gè)部分,η為學(xué)習(xí)率.

CF通過MOSSE算法顯示出了巨大潛力,大量基于CF的跟蹤算法相繼出現(xiàn).文獻(xiàn)[4]中利用訓(xùn)練塊的循環(huán)結(jié)構(gòu),提出具有HOG特征的核空間，訓(xùn)練相關(guān)濾波器.SRDCF(spatially regularized discriminative caorrelation filter)跟蹤器[23]通過對(duì)相關(guān)濾波系數(shù)進(jìn)行空間位置懲罰減輕邊界效應(yīng).文獻(xiàn)[24]中提出C-COT跟蹤算法,它是一種基于判別式學(xué)習(xí)的特征點(diǎn)跟蹤方法,融合了具有不同空間分辨率的多個(gè)卷積層的學(xué)習(xí)框架.DCF在多通道特征上[25]作優(yōu)化,成為視頻跟蹤領(lǐng)域應(yīng)用廣泛的跟蹤算法.其核心思想是在跟蹤的目標(biāo)位置訓(xùn)練一個(gè)跟蹤器,使用該跟蹤器去檢測預(yù)測的目標(biāo)位置,再用檢測結(jié)果來更新訓(xùn)練集從而更新目標(biāo)跟蹤器.在訓(xùn)練目標(biāo)跟蹤器時(shí)采用HOG特征[24]來描述感興趣區(qū)域,選取的目標(biāo)中心區(qū)域劃分為正樣本,目標(biāo)周圍區(qū)域劃分為負(fù)樣本.DCF通過目標(biāo)的循環(huán)移位構(gòu)建正負(fù)樣本,利用循環(huán)矩陣的特殊性[26],借助于FFT變換,將卷積變換[17]為頻域的點(diǎn)乘,大大降低計(jì)算的復(fù)雜度,提高了處理速度.

1.2 顏色特征

一些特征提取算法中,一個(gè)高復(fù)雜度特征的提取能夠解決目標(biāo)檢測等問題,需要以更高的處理效果為代價(jià).而顏色特征[10，19]并不需要進(jìn)行大量計(jì)算,只需將數(shù)字圖像中的像素值進(jìn)行相應(yīng)轉(zhuǎn)換,表現(xiàn)為數(shù)值即可.因此顏色特征以其低復(fù)雜度成為一個(gè)較好的特征,而顏色直方圖是在許多圖像檢索中被廣泛采用的顏色特征.顏色直方圖所描述的是不同色彩在整幅圖像中所占的比例,而并不關(guān)心每種色彩所處的空間位置,即無法描述圖像中的對(duì)象或物體,它特別適于描述那些難以進(jìn)行自動(dòng)分割的圖像.顏色直方圖可基于不同的顏色空間,最常用的是RGB顏色空間[27].

在圖像處理中,可以將一個(gè)具體的像素點(diǎn)所呈現(xiàn)的顏色分多種方法分析,并提取出其顏色特征分量.如通過手工標(biāo)記區(qū)域提取一個(gè)特定區(qū)域的顏色特征,用該區(qū)域在一個(gè)顏色空間3個(gè)分量各自的平均值表示,或者可以建立3個(gè)顏色直方圖.計(jì)算顏色直方圖需要進(jìn)行顏色量化[14],常用的做法是將顏色空間的各個(gè)分量均勻地進(jìn)行劃分.即將顏色空間劃分成若干個(gè)小的顏色區(qū)間,每個(gè)小區(qū)間成為直方圖的一個(gè)維度,然后通過計(jì)算顏色落在每個(gè)小區(qū)間內(nèi)的像素?cái)?shù)量，得到顏色直方圖.一般來說,顏色小區(qū)間的數(shù)目越多,直方圖對(duì)顏色的分辨能力就越強(qiáng).然而,維度數(shù)目很大的顏色直方圖會(huì)增加計(jì)算負(fù)擔(dān),不利于圖像檢索[28].這時(shí)可以采用一種有效減少直方圖維數(shù)的方法，即只選用那些數(shù)值最大的維度來構(gòu)造特征[29],因?yàn)檫@些表示主要顏色的維度能夠表達(dá)圖像中大部分像素的顏色.實(shí)驗(yàn)證明這種方法不會(huì)降低顏色直方圖的檢索效果.

2 融合雙HOG特征和顏色特征的目標(biāo)跟蹤

針對(duì)運(yùn)動(dòng)場景變化對(duì)目標(biāo)跟蹤的影響,在HOG特征和顏色特征基礎(chǔ)上,文中提出融合雙HOG特征和顏色特征的相關(guān)濾波目標(biāo)跟蹤方法,系統(tǒng)框圖如圖2.

圖2 融合雙HOG特征和顏色特征的目標(biāo)跟蹤系統(tǒng)框圖Fig.2 Block diagram of target tracking system integrating dual HOG feature and color feature

2.1 特征提取

在計(jì)算機(jī)視覺和圖像處理中,方向梯度直方圖是圖像局部區(qū)域的梯度特征量的統(tǒng)計(jì).HOG特征的提取過程為:首先對(duì)原圖進(jìn)行灰度化、gamma壓縮和歸一化;然后把圖像劃分成多個(gè)大小一樣的單元,并統(tǒng)計(jì)各自相應(yīng)的梯度直方圖信息;接著把元胞所有特征串聯(lián)起來,構(gòu)成大的相互有重疊的塊,統(tǒng)計(jì)整個(gè)塊的直方圖特征;為了進(jìn)一步減少光照及噪聲影響,再對(duì)每個(gè)塊內(nèi)的梯度直方圖進(jìn)行歸一化處理,進(jìn)一步減輕光照影響;最后將整個(gè)窗口中所有塊的HOG特征向量串聯(lián)起來.

針對(duì)HOG特征在目標(biāo)跟蹤中的特性,以其作為進(jìn)行目標(biāo)位置估計(jì)的濾波器.由于HOG的低級(jí)特性,為31維度,所以不進(jìn)行從粗到細(xì)的融合,只是簡單地將它們連接起來.為了獲得更多特征,將圖像塊中所有像素的平均灰度值作為1維特征,并將其與HOG特征連接到一個(gè)32維向量中,然后將其平均分解為兩個(gè)16維特征,分別記為HOG1和HOG2.兩個(gè)16維特征線索各自進(jìn)行相關(guān)濾波響應(yīng),最后選擇出響應(yīng)值最大的特征.

訓(xùn)練濾波器的目的是找到一個(gè)函數(shù)f(p)=wdp使樣本xi及其回歸目標(biāo)yi的平方誤差最小：

(9)

λ為正則化參數(shù),控制過度擬合.

求解w得到:

w=(XHX+λI)-1XHy

(10)

式中，XH為復(fù)共軛轉(zhuǎn)置矩陣.

所有循環(huán)矩陣都可以通過離散傅立葉變換進(jìn)行對(duì)角化,所求線性回歸解為:

(11)

因此,通過式(11)計(jì)算具有相同大小x的特征圖矩形區(qū)域p的響應(yīng)值R,并搜索出R的最大值:

(12)

式中,d為特征維數(shù),取值范圍為1～D.

顏色信息以一種簡單的方式應(yīng)用于訓(xùn)練樣本中,以增強(qiáng)空間可靠性:

X′=X·C

(13)

式中：X為數(shù)據(jù)矩陣；C為基于直方圖計(jì)算目標(biāo)區(qū)域的每個(gè)像素得分而獲得的顏色掩碼.

最后,將顏色信息X′和搜索出的HOG特征最大值Rmax進(jìn)行融合,從而識(shí)別出新的目標(biāo)位置P.

2.2 算法

根據(jù)上述過程,融合雙HOG特征和顏色特征的目標(biāo)跟蹤算法CHOG步驟如下：

輸入:視頻系列S1…Sn,以及第1幀的跟蹤目標(biāo)位置

輸出:視頻系列的跟蹤目標(biāo)位置P1…Pn

(1) 提取第1幀跟蹤目標(biāo)位置P1;

(2) 初始化目標(biāo)跟蹤器;

(3) 計(jì)算第t幀的HOG特征,并分割成HOG1和HOG2,分別進(jìn)行相關(guān)濾波處理;

(4) 分別利用循環(huán)矩陣進(jìn)行傅里葉變換,選擇濾波處理的最佳結(jié)果;

(5) 提取第t幀的顏色屬性特征;

(6) 融合最佳HOG特征和顏色屬性特征，得到特征響應(yīng)圖;

(7) 根據(jù)響應(yīng)圖尋找目標(biāo)位置,即預(yù)測出的新目標(biāo)位置Pt+1.返回步驟(3)，直到視頻結(jié)束.

3 實(shí)驗(yàn)結(jié)果及分析

為了驗(yàn)證CHOG跟蹤算法的性能,在OTB-2013和OTB-2015兩個(gè)基準(zhǔn)數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn),將該跟蹤器算法與6個(gè)先進(jìn)跟蹤器算法Staple、SAMF、LCT、KCF、SRDCF、DSST進(jìn)行對(duì)比.

3.1 實(shí)驗(yàn)裝置及參數(shù)設(shè)置

實(shí)驗(yàn)環(huán)境為MATLAB R2018b,CPU為i7-3770處理器,內(nèi)存8GB,64位的Windows10操作系統(tǒng).

正則化參數(shù)λ設(shè)置為0.01,學(xué)習(xí)率η設(shè)置為0.025,對(duì)所有實(shí)驗(yàn)序列使用相同的參數(shù)設(shè)置.圖像元胞大小設(shè)置為1×1,用圖像灰度特征增強(qiáng)HOG特征,將固定的圖像塊大小設(shè)置為初始目標(biāo)大小.其他的按DCF方法中的參數(shù)來構(gòu)造HOG特征和顏色特征.

3.2 實(shí)驗(yàn)結(jié)果

在OTB-2013和OTB-2015基準(zhǔn)數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn),CHOG目標(biāo)跟蹤方法在精度和成功率方面的性能都較好.圖3是部分視頻跟蹤效果比較.圖4、5是在運(yùn)行100個(gè)序列后的精度圖,表1是各算法評(píng)價(jià)指標(biāo)的精度對(duì)比,從圖和表中可看出CHOG跟蹤器在很多環(huán)境因素變化中優(yōu)于其他跟蹤器,下面從性能和效率上進(jìn)行分析.

圖3 各跟蹤器效果比較Fig.3 Comparison of each tracker

圖4 各算法屬性跟蹤精度和成功率對(duì)比Fig.4 Comparison chart of tracking accuracy and success rate of each algorithm attribute

(1) 在性能上，Staple、SAMF和LCT算法均以SRDCF為基線,能夠有效緩解邊界效應(yīng),且優(yōu)于標(biāo)準(zhǔn)DCF.DSST采用了新穎的尺度算子,更好地融合了尺度特征.CHOG算法以簡單的DCF和顏色特征為基準(zhǔn),上述策略和其他新技術(shù)也可以集成到該方法中進(jìn)一步提高性能.從圖4、5中可以看出,CHOG跟蹤器的成功率和跟蹤精度分別是0.785和0.858,SRDCF次之，成功率和跟蹤精度分別為0.769和0.821.CHOG在目標(biāo)跟蹤中取得了較優(yōu)異的性能,在背景雜亂、平面外旋轉(zhuǎn)、形狀變化、尺度變化等方面均優(yōu)于其他算法.

圖5 各算法評(píng)價(jià)指標(biāo)對(duì)比Fig.5 Comparison chart of eualuation indexs of each algorithm

(2) 在效率上，由于CHOG算法為基于多特征的相關(guān)濾波跟蹤器提供了較好的替代方案,提高了跟蹤效率,其他具有多種特征的跟蹤算法也可以從該方法中受益.從圖5和表1可看出,CHOG跟蹤器在處理目標(biāo)快速運(yùn)動(dòng)和運(yùn)動(dòng)模糊方面的跟蹤精度和成功率比較弱,都低于SRDCF跟蹤算法,而在抗干擾方面其跟蹤精度取得了最佳效果.總體上,CHOG跟蹤器顯示的結(jié)果與其他跟蹤器具有可比性,并且在各種跟蹤指標(biāo)上均領(lǐng)先其他跟蹤器.

表1 各算法評(píng)價(jià)指標(biāo)的精度對(duì)比

4 結(jié)論

文中提出了融合雙HOG特征和顏色特征的目標(biāo)跟蹤方法.通過構(gòu)造雙HOG特征并融合顏色特征，減少運(yùn)動(dòng)場景變化對(duì)目標(biāo)跟蹤的影響,在背景雜亂、平面外旋轉(zhuǎn)、形狀變化等方面獲得了較好的魯棒性，但在處理目標(biāo)快速運(yùn)動(dòng)和運(yùn)動(dòng)模糊等方面性能相對(duì)較弱.下一步工作將采用深度特征,并嘗試在實(shí)驗(yàn)中加入YOLO3、FastRCnn等跟蹤算法,以減少快速運(yùn)動(dòng)和運(yùn)動(dòng)模糊的不良影響,提高跟蹤性能.