一種結(jié)合顏色紋理直方圖的改進(jìn)型Camshift目標(biāo)跟蹤算法

初紅霞, 謝忠玉, 王科俊

(1.哈爾濱工程大學(xué)自動(dòng)化學(xué)院, 150001, 哈爾濱; 2.黑龍江工程學(xué)院電氣與信息工程學(xué)院, 150001, 哈爾濱)

視頻序列中運(yùn)動(dòng)目標(biāo)跟蹤問題是計(jì)算機(jī)視覺領(lǐng)域的研究熱點(diǎn)[1]。由于在跟蹤過程中存在快速運(yùn)動(dòng)、遮擋、變形、光照變化、背景干擾及實(shí)時(shí)性約束等問題,因此跟蹤具有挑戰(zhàn)性[2]。MS(mean shift)由于其低復(fù)雜度和實(shí)時(shí)性性能從而在計(jì)算機(jī)視覺領(lǐng)域得到了廣泛應(yīng)用[3-4]。Comaniciu等通過使用MS迭代計(jì)算目標(biāo)的位置對(duì)目標(biāo)進(jìn)行跟蹤[5]。Bradski等提出實(shí)現(xiàn)人臉跟蹤和人機(jī)界面的Camshift算法[6],雖然該算法可以適應(yīng)較大規(guī)模的變化,但由于只有HSV顏色空間的色相分量可用于表示目標(biāo),因此在復(fù)雜背景的戶外應(yīng)用中跟蹤失敗。EMS算法通過估計(jì)局部模式和協(xié)方差矩陣位置,來近似描述局部模式的形狀[7]。Hu等使用空間顏色特征和一個(gè)新的相似性度量函數(shù)來估計(jì)目標(biāo)大小和方向變化[8]。文獻(xiàn)[9]中,基于非對(duì)稱內(nèi)核的距離變換被用來適應(yīng)對(duì)象的形狀。這些算法在背景復(fù)雜、目標(biāo)與背景顏色接近、運(yùn)動(dòng)目標(biāo)交錯(cuò)、重疊、遮擋等時(shí),會(huì)導(dǎo)致瞬間失去某個(gè)目標(biāo)特征,跟蹤結(jié)果難以令人滿意。

在上述Camshift算法中,圖像權(quán)值使用基于目標(biāo)色調(diào)的顏色概率直方圖進(jìn)行計(jì)算,沒有考慮候選模型的變化。而Camshift算法中目標(biāo)尺度和方向是利用圖像權(quán)值的特征來估計(jì),由于這些矩特征僅依賴于圖像權(quán)值的計(jì)算,只使用CamShift計(jì)算的圖像權(quán)值來估計(jì)目標(biāo)的位置,所以并不準(zhǔn)確。而MS跟蹤算法中,圖像權(quán)值是由目標(biāo)模型中顏色概率與目標(biāo)候選模型中顏色概率之比的平方根來計(jì)算,圖像權(quán)值的計(jì)算比在Camshift算法中更有效。因此,可將MS算法中的圖像權(quán)值計(jì)算方法應(yīng)用于Camshift算法中,進(jìn)而提高跟蹤的準(zhǔn)確性。

為了提高跟蹤的準(zhǔn)確性,Camshift算法也可以與卡爾曼濾波器(KF)、粒子濾波(PF)結(jié)合。然而,KF僅當(dāng)系統(tǒng)是線性時(shí),協(xié)方差矩陣的過程和測(cè)量噪聲跟蹤才是最佳的,在涉及非線性行為時(shí),跟蹤魯棒性很差[10],而PF可以處理非線性非高斯系統(tǒng)[11],特別是在快速運(yùn)動(dòng)、完全遮擋和復(fù)雜的背景環(huán)境下優(yōu)于傳統(tǒng)的KF方法。

綜上所述,考慮到僅使用顏色特征檢測(cè)和跟蹤不到顏色與背景相近的目標(biāo),本文提出了一種加入紋理特征的改進(jìn)Camshift算法,該算法利用目標(biāo)模型與目標(biāo)候選模型來計(jì)算像素的權(quán)值和矩特征,進(jìn)而估計(jì)目標(biāo)位置和方向,同時(shí)利用粒子濾波對(duì)運(yùn)動(dòng)目標(biāo)的狀態(tài)進(jìn)行估計(jì),從而提高目標(biāo)位置跟蹤精度。

1　改進(jìn)的Camshift目標(biāo)跟蹤算法

改進(jìn)Camshift目標(biāo)跟蹤算法的優(yōu)勢(shì)表現(xiàn)在權(quán)值計(jì)算方法、運(yùn)動(dòng)目標(biāo)的寬度、高度和方向的估計(jì)等方面。

1.1　權(quán)值計(jì)算

原始Camshift算法的計(jì)算只依靠目標(biāo)模型,而本文改進(jìn)的Camshift算法中像素的權(quán)值采用MS算法中圖像權(quán)值的計(jì)算,其優(yōu)勢(shì)在于圖像權(quán)值隨目標(biāo)大小而動(dòng)態(tài)變化,目標(biāo)的真實(shí)大小離候選區(qū)域越近,圖像權(quán)值越接近于1,即圖像權(quán)值是目標(biāo)大小變化的指示因子。圖像權(quán)值作為目標(biāo)的密度分布函數(shù),它的權(quán)值大小能充分反應(yīng)其屬于目標(biāo)的概率。

(1)

假定候選目標(biāo)區(qū)域的像素位置為{xi}i=1,…,nh,在當(dāng)前幀中以y為中心,則候選目標(biāo)特征值的概率為

(2)

采用Bhattacharyya系數(shù)來計(jì)算目標(biāo)模型和候選模型之間的似然性,即

(3)

(4)

計(jì)算權(quán)值

(5)

得到圖像權(quán)值后,目標(biāo)的大小和方向可用密度分布函數(shù)和圖像權(quán)值的矩特征來估計(jì),使用這種圖像權(quán)值可有效提高跟蹤的準(zhǔn)確性。

1.2　改進(jìn)Camshift目標(biāo)跟蹤算法的實(shí)現(xiàn)

首先,給出改進(jìn)的Camshift目標(biāo)跟蹤算法流程,算法框圖如圖1所示。

圖1　改進(jìn)的Camshift跟蹤算法框圖

其次,給出改進(jìn)的Camshift目標(biāo)跟蹤算法的步驟。

(1)計(jì)算階矩特征。在目標(biāo)候選區(qū)域中像素的權(quán)值表示其屬于目標(biāo)的概率和所有像素的權(quán)值總和。零階矩可看作目標(biāo)候選區(qū)域中目標(biāo)的權(quán)值面積,即

(6)

在MS跟蹤中,目標(biāo)通常在大目標(biāo)候選區(qū)域中。由于目標(biāo)候選區(qū)域中背景特征的存在,其目標(biāo)特征的概率要比目標(biāo)模型的小。因此,在MS權(quán)值計(jì)算中,增加了目標(biāo)像素權(quán)值,而減少了背景像素權(quán)值。通過計(jì)算,在跟蹤目標(biāo)的過程中可減少背景特征的影響。

令一階矩

(7)

二階矩

(8)

式中:(xi,1,xi,2)為候選區(qū)域中像素i的坐標(biāo)。

(9)

(3)計(jì)算目標(biāo)的長(zhǎng)軸、短軸和方向角。通過計(jì)算二階矩,可得被跟蹤目標(biāo)的長(zhǎng)軸、短軸和方向角。目標(biāo)長(zhǎng)軸的方向角為

(10)

(11)

圖像中目標(biāo)長(zhǎng)軸和短軸的計(jì)算式為

(12)

(13)

因?yàn)閳D像權(quán)值是由式(5)計(jì)算的,其密度分布函數(shù)受背景因素的影響,所以目標(biāo)方向計(jì)算式比傳統(tǒng)Camshfit算法更準(zhǔn)確。

(4)確定下一幀候選區(qū)域。為了確定下一幀候選區(qū)域,式(11)可改寫為方差陣

(14)

假設(shè)向量(μ11,μ21)T和(μ12,μ22)T是C0的特征向量,分別表示目標(biāo)候選區(qū)域中目標(biāo)兩個(gè)主軸的方向。L2、W2是C0的特征值。

將式(14)中的方差陣使用奇異值分解成

C0=U×S×UT=

(15)

定義方差陣C1來表示下一幀目標(biāo)候選區(qū)域的大小,即

(16)

其中Δd是下一幀目標(biāo)候選區(qū)域的增量。初始目標(biāo)候選區(qū)域的位置由如下橢圓區(qū)域來定義

(17)

(5)重復(fù)(1)、(2)、(3)、(4)直到收斂,即質(zhì)心變化小于給定的閾值。

2　改進(jìn)的Camshift和粒子濾波組合算法

2.1　粒子濾波

粒子濾波的動(dòng)態(tài)系統(tǒng)可用以下狀態(tài)空間模型表示,即

Xk=fk(Xk-1,vk-1)

(18)

Zk=hk(Xk,ωk)

(19)

式中:Xk為系統(tǒng)狀態(tài)向量;Zk為量測(cè)向量。X0:k={x0,x1,…xk},Z1:k={z1,z2,…zk},后驗(yàn)概率密度函數(shù)為P(X0:k|Z1:k),假設(shè)初始狀態(tài)X0的先驗(yàn)分布為p(X0),則狀態(tài)的后驗(yàn)概率密度(PDF)可用經(jīng)驗(yàn)分布逼近

(20)

通常,PDF是未知的,這時(shí)需要從一個(gè)容易采樣的重要性分布函數(shù)q(X0:k|Z1:k-1)獨(dú)立抽取N個(gè)樣本{X0:k(i);i=1,…,N},則狀態(tài)的PDF逼近為

(21)

(22)

2.2　基于粒子濾波的運(yùn)動(dòng)目標(biāo)狀態(tài)估計(jì)

圖2　Camshift算法和粒子濾波算法結(jié)合框圖

3　實(shí)驗(yàn)結(jié)果與分析

傳統(tǒng)的Camshift算法只使用顏色信息進(jìn)行計(jì)算,當(dāng)目標(biāo)和背景顏色比較接近,且兩者可能具有相同的直方圖,則無法區(qū)分目標(biāo),從而導(dǎo)致跟蹤誤差。此外,顏色特征易受光照影響,當(dāng)光照不穩(wěn)定時(shí),往往也導(dǎo)致跟蹤失敗,所以要尋找更好描述目標(biāo)特征的方法或者將更多的目標(biāo)特征信息同顏色特征進(jìn)行融合。當(dāng)目標(biāo)和背景顏色接近時(shí),它們一般具有不同的紋理屬性[12],因此本文應(yīng)用融合顏色和紋理兩種特征對(duì)目標(biāo)進(jìn)行跟蹤,使目標(biāo)跟蹤的魯棒性增強(qiáng)。本文選用旋轉(zhuǎn)不變的等價(jià)模式LBP(local binary pattern)算子[2]來描述顏色-紋理直方圖特征,使計(jì)算簡(jiǎn)單且對(duì)全局的灰度變化不敏感,同時(shí)對(duì)遮擋有較好的魯棒性。

3.1　顏色紋理直方圖的目標(biāo)表示

當(dāng)灰度值有小的波動(dòng)時(shí),傳統(tǒng)的特征提取方法LBP對(duì)于平滑區(qū)域的特征提取不起作用,而改進(jìn)的LBP可以移除平滑背景而抽取主要特征,從而大大減少了由最小一致模式引起的干擾,而這種最小一致模式主要來源于目標(biāo)區(qū)域中的平滑背景和的噪聲。本文采用9種一致模式中的2～6這5種主要模式來表示目標(biāo),即

(23)

(24)

U(L8,1)=|s(gp-1-gc)-s(g0-gc)|+

(25)

式(25)表示鄰域上有P=8個(gè)相鄰像素,環(huán)形鄰域的半徑R=1。gc表示鄰域關(guān)系中的中心像素的灰度值;gp(P=0,1,…,7)為8個(gè)周邊像素的灰度值;γ2表示具有旋轉(zhuǎn)不變性一致模式的U值最大為2。|a|的值越大,像素值的波動(dòng)就會(huì)越大,但并不影響閾值結(jié)果,在實(shí)驗(yàn)中,設(shè)定|a|值為3。

(26)

3.2　實(shí)驗(yàn)與結(jié)果

和傳統(tǒng)Camshift算法[6]、 基于顏色-紋理直方圖的MS算法[2]、EM-shift算法[8]相比較,評(píng)估本文改進(jìn)算法的性能。在實(shí)際視頻序列上進(jìn)行實(shí)驗(yàn),算法都在MATLAB 7.10軟件環(huán)境下運(yùn)行,改進(jìn)的算法用3個(gè)真實(shí)的視頻序列進(jìn)行測(cè)試。第一個(gè)實(shí)驗(yàn)序列是一個(gè)轎車序列[13],共501幀,從被跟蹤車輛出現(xiàn)的250幀開始,目標(biāo)較小,有微小的尺度和方向變化,且目標(biāo)和背景顏色相近,跟蹤結(jié)果如圖3所示。由圖3可知,除傳統(tǒng)的Camshift算法以外,都能實(shí)現(xiàn)跟蹤,但本文改進(jìn)算法由于顏色-紋理直方圖和粒子濾波的使用,抽取了目標(biāo)的主要特征,而抑制了背景特征,定位最精確。由于只基于顏色的Camshift的跟蹤算法對(duì)本文給出的3個(gè)視頻都不能實(shí)現(xiàn)跟蹤,所以文中沒有給出跟蹤結(jié)果。

第2個(gè)視頻是一個(gè)人的運(yùn)動(dòng)序列,人臉序列在不同跟蹤算法下的跟蹤結(jié)果如圖4所示。由圖4可知:對(duì)于人體在運(yùn)動(dòng)中有顏色相近目標(biāo)遮擋臉部、快速運(yùn)動(dòng)、背景相近、人體旋轉(zhuǎn)、尺度和方向變化;只有本文改進(jìn)的算法能成功跟蹤目標(biāo),并適應(yīng)人臉尺度的變化;基于顏色-紋理直方圖MS算法能跟蹤目標(biāo),但尺度變化時(shí),跟蹤失敗。傳統(tǒng)Camshift跟蹤算法和EM算法均跟蹤失敗或存在誤差跟蹤。

最后一個(gè)實(shí)驗(yàn)是在一個(gè)復(fù)雜的小轎車行駛的序列[13],目標(biāo)由于幾乎被完全遮擋或半遮擋而存在更大的尺度變化。傳統(tǒng)Camshift算法[6]、基于顏色紋理直方圖的MS算法[2]在165幀車輛被完全遮擋后,跟蹤中斷, 不能實(shí)現(xiàn)有效跟蹤,跟蹤結(jié)果如圖5所示。EMS和本文改進(jìn)的Camshift兩種算法在都能跟蹤到目標(biāo),尤其當(dāng)遮擋發(fā)生時(shí),EMS算法跟蹤準(zhǔn)確性較差;本文改進(jìn)的算法能更好估計(jì)目標(biāo)的大小和方向。紋理直方圖的使用和粒子濾波對(duì)運(yùn)動(dòng)目標(biāo)狀態(tài)的估計(jì),使本文算法具有較好的準(zhǔn)確性和魯棒性。

(a)基于顏色-紋理直方圖的MS算法跟蹤結(jié)果

(b)EMS算法跟蹤結(jié)果

(c)本文改進(jìn)的Camshift算法跟蹤結(jié)果圖3　6輛轎車序列在不同跟蹤算法下的跟蹤結(jié)果

(a)基于顏色-紋理直方圖的MS算法跟蹤結(jié)果

(b)EMS算法跟蹤結(jié)果

(c)本文改進(jìn)的Camshift算法跟蹤結(jié)果圖4　人臉序列在不同跟蹤算法下的跟蹤結(jié)果

(a)EMS算法跟蹤結(jié)果

(b)本文改進(jìn)的Camshift算法跟蹤結(jié)果圖5　一輛轎車序列在不同跟蹤算法下的跟蹤結(jié)果

表1列出了3個(gè)視頻序列在不同算法下的平均迭代數(shù)。本文所提算法平均迭代數(shù)低于其他算法的迭代數(shù),是所有算法中最小的,傳統(tǒng)Camshift算法不能跟蹤,所以沒有給出迭代數(shù),而EMS算法迭代數(shù)較大,影響其收斂速度的是協(xié)方差矩陣的計(jì)算,因?yàn)樵诿看蔚鷷r(shí)都要估計(jì)協(xié)方差矩陣,本文改進(jìn)算法對(duì)每一幀只估計(jì)一次,因此比EMS算法快得多。

為了更好地估計(jì)算法的有效性,表2列出3個(gè)不同視頻序列在3種不同跟蹤算法下的平均位置誤差和每幀成功率,每幀成功率是跟蹤結(jié)果和目標(biāo)真實(shí)位置之間的重疊面積之比。

表1　3個(gè)序列在不同算法下的平均迭代數(shù)

表2　不同算法在3種序列的平均中心位置誤差和成功率

由于基于顏色紋理直方圖的MS算法[2]在跟蹤中不能實(shí)現(xiàn)尺度變化,而Camshift算法在3個(gè)視頻的跟蹤過程中發(fā)生跟蹤中斷和失敗,所以文中只列出了本文算法和EMS算法每幀中心位置誤差和每幀成功率,結(jié)果如圖6、7所示,可知本文改進(jìn)算法性能明顯優(yōu)于EMS算法,在幾種跟蹤算法中性能最優(yōu)。改進(jìn)算法的每幀成功率達(dá)到50%以上,平均中心位置誤差低于20%,均滿足跟蹤系統(tǒng)的要求。由此可知,本文改進(jìn)算法既保留了傳統(tǒng)Camshift算法的簡(jiǎn)單性和有效性,又具有較高準(zhǔn)確性和魯棒性。

(a)6輛車序列

(b)人臉序列

(c)1輛車序列圖6　3個(gè)測(cè)試序列的中心位置誤差

(a)6輛車序列

(b)人臉序列

(c)1輛車序列圖7　3個(gè)測(cè)試序列的每幀成功率

4　結(jié)　論

為了提高Camshift目標(biāo)跟蹤算法的準(zhǔn)確性和魯棒性,本文提出了改進(jìn)的Camshift目標(biāo)跟蹤算法。本文算法使用特征融合的直方圖作為目標(biāo)特征的概率分布,解決了Camshift算法對(duì)顏色有特定要求的不足,當(dāng)背景中存在顏色干擾、目標(biāo)間顏色接近時(shí),也不會(huì)影響跟蹤效果,并用新的權(quán)值計(jì)算模型的矩特征,進(jìn)而估計(jì)目標(biāo)的位置和方向。算法中使用粒子濾波對(duì)運(yùn)動(dòng)目標(biāo)的狀態(tài)進(jìn)行了估計(jì),從而解決了目標(biāo)間遮擋、重疊時(shí)誤差跟蹤的問題。實(shí)驗(yàn)結(jié)果表明,本文跟蹤算法的魯棒性和準(zhǔn)確性均高于傳統(tǒng)的Camsfhit、EMS和MS算法。

參考文獻(xiàn):

[1]YANG H, SHAO L, ZHENG F, et al. Recent advances and trends in visual tracking: a review [J]. Neurocomputing, 2011, 74(18), 3823-3831.

[2]NING Jifeng, ZHANG Lei, ZHANG D. Robust object tracking using joint color-texture histogram [J]. International Journal of Pattern Recognition & Artificial Intelligence, 2011, 23: 1245-1263.

[3]WANG J, THIESSON B, XU Y, et al. Image and video segmentation by anisotropic kernel mean shift [C]∥European Computer Vision-ECCV Conference. Berlin, Germany: Springer, 2004: 238-249.

[4]COLLINS R T. Mean-shift blob tracking through scale space [C]∥IEEE Conference on Computer Vision and Pattern Recognition. Piscataway, NJ, USA:

IEEE, 2003: 234.

[5]COMANICIU D, RAMESH V, MEER P. Real-time tracking of nonrigid objects using mean shift [C]∥IEEE Conference on Computer Vision and Pattern Recognition. Piscataway, NJ, USA: IEEE, 2000: 142-149.

[6]BRADSKI G R. Computer vision face tracking for use in a perceptual user interface [J]. IEEE Workshop on Applications of Computer Vision, 1998, q2: 214-219.

[7]ZIVKOVIC Z, KR?SE B. An EM-like algorithm for color-histogram-based object tracking [C]∥IEEE Conference on Computer Vision and Pattern Recognition. Piscataway, NJ, USA: IEEE, 2004: 798-803.

[8]HU J, JUAN C, WANG J. A spatial-color mean-shift object tracking algorithm with scale and orientation estimation [J]. Pattern Recognition Letters, 2008, 29(16): 2165-2173.

[9]YANG C, RAMANI D, DAVIS L. Efficient mean-shift tracking via a new similarity measure [C]∥IEEE Conference on Computer Vision and Pattern Recognition. Piscataway, NJ, USA: IEEE, 2005: 176-183.

[10] 賁晛燁, 王科俊, 李陽, 等. 交通視頻中的Kalman濾波的多車輛跟蹤 [J]. 應(yīng)用科技, 2011, 38(3): 1-5.

BEN Xianye, WANG Kejun, LI Yang, et al. Multiple vehicle tracking algorithm based on Kalman filter in traffic video [J]. Applied Science and Technology, 2011, 38(3): 1-5.

[11] GORDON N, RISTIC B, ARULAMPALAM S. Beyond the Kalman filter: particle filters for tracking applications [J]. IEEE Trans of Aerospace & Electronic Systems, 2003, 19(7): 37-38.

[12] LIU H, SUN F. Efficient visual tracking using particle filter with incremental likelihood calculation [J]. Information Sciences, 2012, 195: 141-153.

[13] 段喜萍, 劉家鋒, 王建華, 等. 多模態(tài)特征聯(lián)合稀疏表示的視頻目標(biāo)跟蹤 [J]. 哈爾濱工程大學(xué)學(xué)報(bào), 2015, 36(12): 1609-1613.

DUAN Xiping, LIU Jiafeng, WANG Jianhua, et al. Visual target tracking via multi-cue joint sparse representation [J]. Journal of Harbin engineering University, 2015, 36(12): 1609-1613.