基于色彩相關(guān)直方圖與SIFT特征融合的粒子濾波跟蹤算法*

劉元龍　李玉惠

(昆明理工大學(xué)信息工程與自動(dòng)化學(xué)院　昆明　650500)

?

基于色彩相關(guān)直方圖與SIFT特征融合的粒子濾波跟蹤算法*

劉元龍李玉惠

(昆明理工大學(xué)信息工程與自動(dòng)化學(xué)院昆明650500)

摘要論文提出了基于色彩相關(guān)直方圖與尺度不變性特征(SIFT)相融合的粒子濾波跟蹤算法,該方法克服了在跟蹤過程中運(yùn)動(dòng)目標(biāo)的遇到形變以及目標(biāo)被短暫遮擋丟失的問題。特別是提高了當(dāng)運(yùn)動(dòng)目標(biāo)與背景相近的情況下的跟蹤效果。該算法在粒子濾波算法基礎(chǔ)上將目標(biāo)色彩相關(guān)直方圖作為目標(biāo)的一種描述特征,用于評(píng)價(jià)不同預(yù)測(cè)狀態(tài)與觀測(cè)狀態(tài)之間的色彩相關(guān)性。依靠尺度不變性特征保證克服運(yùn)動(dòng)目標(biāo)的仿射變化的特性,將色彩相關(guān)性特征與尺度不變性特征進(jìn)行特征融合,從而提高目標(biāo)描述的可靠性及跟蹤的準(zhǔn)確性。實(shí)驗(yàn)結(jié)果表明,該算法優(yōu)于傳統(tǒng)粒子濾波的跟蹤算法。

關(guān)鍵詞色彩相關(guān)直方圖; SIFT; 粒子濾波; 信息融合

Class NumberTP301.6

1引言

在智能安全監(jiān)控、精確制導(dǎo)系統(tǒng)、人機(jī)交互、機(jī)器視覺和導(dǎo)航領(lǐng)域,視覺跟蹤技術(shù)有著非常廣泛的應(yīng)用。在視覺跟蹤的眾多方法中,有一種稱作序貫蒙特卡羅方法(Sequential Monte Carlo methods,SMC)[1～2]也稱為粒子濾波。粒子濾波適用于非高斯非線性目標(biāo)的跟蹤,然而傳統(tǒng)的粒子濾波跟蹤對(duì)于形變以及光照變換目標(biāo)的跟蹤效果不理想[3]。本文在傳統(tǒng)粒子濾波的框架下,提出了基于色彩直方圖與SIFT特征[4～5]融合的粒子濾波跟蹤算法,該算法一方面利用了色彩直方圖對(duì)目標(biāo)對(duì)于光照變化的魯棒性和在目標(biāo)與背景色彩相近情況下良好的區(qū)分性等優(yōu)點(diǎn),另一方面,在融合了尺度不變性特征之后可以克服目標(biāo)的仿射變化[6],最終提高描述目標(biāo)的可靠性。

2基于色彩相關(guān)直方圖與SIFT特征融合的粒子濾波

2.1粒子濾波

現(xiàn)粒子濾波(Particle Filter)是一種非線性濾波方法,它以貝葉斯估計(jì)為基礎(chǔ),其核心思想是使用隨機(jī)樣本集合(粒子)來表示需要的后驗(yàn)密度,集合中的各個(gè)粒子具有相應(yīng)權(quán)值。

采用式(1)和式(2)描述動(dòng)態(tài)系統(tǒng):

xk=fx(xk-1,vk-1)

(1)

zk=hk(xk,nk)

(2)

其中,式(1)表示系統(tǒng)的狀態(tài)轉(zhuǎn)移方程,式(2)表示系統(tǒng)的測(cè)量方程。

(3)

在此之前需要對(duì)權(quán)值進(jìn)行歸一化處理。其中,權(quán)值通過重要性采樣法選擇[7～8]。權(quán)值被修正后為

(4)

將重要性密度函數(shù)帶入粒子濾波算法,即

(5)

對(duì)權(quán)值做公式做簡(jiǎn)化處理后可以得到:

(6)

2.2目標(biāo)運(yùn)動(dòng)模型

(7)

為了模擬隨著時(shí)間的變化目標(biāo)的狀態(tài)也要跟著變化,這里需要使用一個(gè)隨機(jī)擾動(dòng)模型來描述:

(8)

式中,T為采樣周期;Wt為一個(gè)還有多個(gè)變量的高斯白噪聲。

2.3色彩相關(guān)直方圖特征模型

關(guān)于色彩相關(guān)直方圖[10]可以作如下定義:令距離為d∈[n]這個(gè)值為一個(gè)先驗(yàn)固定值,那么在圖像I中關(guān)于i,j∈[m],k∈[d]的色彩相關(guān)直方圖定義為

(9)

根據(jù)上述的定義可以將色彩相關(guān)直方圖理解為由距離和色彩對(duì)作為索引的一個(gè)索引表。在這個(gè)表中,關(guān)于〈i,j〉的第k條內(nèi)容可以表示為:在與色彩為i的像素相距為k的地方找到色彩為j的像素概率值。

假如想要評(píng)價(jià)圖像I中相同色彩之間的相關(guān)性,那么可得圖像I的色彩自相關(guān)直方圖。由此,圖像I關(guān)于色彩ci,距離k的自相關(guān)直方圖可以表示為

(10)

色彩自相關(guān)直方圖可以理解成對(duì)同一種色彩根據(jù)在空間上的一種相關(guān)性描述,嚴(yán)格來說,它是相關(guān)直方圖的一個(gè)子集。

計(jì)算色彩相關(guān)直方圖首先需要計(jì)算得到灰度圖像共生矩陣的值:

(11)

然后將θ1的色彩固定為ci,計(jì)算條件概率

(12)

式中,分子含義是在圖像I中,相距為k,ci,cj的色彩對(duì)數(shù)目;分母表示相距為k的任意色彩對(duì)的數(shù)目。因子8k是從中心點(diǎn)到L∞范數(shù)定義的距離為k的像素?cái)?shù)目。因此,色彩相關(guān)直方圖實(shí)際上描述一個(gè)條件概率分布,這個(gè)分布隨著k變化而變化。

本文實(shí)驗(yàn)在RGB顏色空間中將各個(gè)顏色分量分成16個(gè)等級(jí),也就是m=16×16×16=4096種顏色。用St表示目標(biāo)的狀態(tài),其中(x,y)為目標(biāo)矩形區(qū)域的中心,2hx和2hy分別為矩形區(qū)域的長(zhǎng)和寬,選取距離k={1,3,5},目標(biāo)矩形區(qū)域內(nèi)的兩個(gè)像素點(diǎn)分別為θ1和θ2。則目標(biāo)區(qū)域中的色彩自相關(guān)直方圖為

(13)

其中,ci={c1,c2,…,cm}。

(14)

對(duì)于色彩空間為RGB的三通道的情況,模板與候選目標(biāo)之間的自相關(guān)直方圖測(cè)度為

(15)

在得到兩種分布之間的距離測(cè)度之后,選擇如下的觀測(cè)似然函數(shù):

(16)

式中,σ為高斯方差,實(shí)驗(yàn)中取為0.2。式中的值越大說明候選目標(biāo)與目標(biāo)模板的色彩相關(guān)直方圖越相似,候選目標(biāo)為真實(shí)目標(biāo)的可能性越大。

2.4尺度不變特征模型

為應(yīng)對(duì)光照變化以及仿射變化(平移、縮放、旋轉(zhuǎn)、錯(cuò)切變化),本文采用SIFT方法來描述目標(biāo),運(yùn)用的是目標(biāo)的局部特征信息,因而對(duì)目標(biāo)發(fā)生部分遮擋的情況也具有較強(qiáng)的魯棒性。該方法利用DOG方法來檢測(cè)尺度空間中的極值點(diǎn),如果一個(gè)像素點(diǎn)與它同尺度的8個(gè)相鄰點(diǎn)以及上下相鄰尺度對(duì)應(yīng)的9×2點(diǎn)共26個(gè)點(diǎn)進(jìn)行比較,都為最大值或最小值,那么就認(rèn)為這個(gè)像素點(diǎn)是圖像在該尺度下的一個(gè)特征點(diǎn)。然后以特征點(diǎn)為中心,在4共16個(gè)區(qū)域內(nèi)分別計(jì)算8個(gè)方向的剃度方向直方圖,從而用一個(gè)128維的特征向量來描述一個(gè)SIFT特征點(diǎn)。

psift(zt|xi)=1-exp[-match(Sq,Sp)]

(17)

其中:match(Sq,Sp)用與計(jì)算目標(biāo)目標(biāo)模型和候選模型中相匹配的SIFT特征點(diǎn)的數(shù)目。由式(17)可知,當(dāng)候選模型與目標(biāo)模型匹配的SIFT特征點(diǎn)越多,值越大,候選目標(biāo)為真實(shí)目標(biāo)的可能性越大。

2.5基于色彩相關(guān)直方圖與SIFT特征融合的粒子濾波跟蹤算法描述

綜合前面的論述,在得到上述兩種特征將其兩種特征簡(jiǎn)單地以各占50%的比率進(jìn)行加權(quán)求和,求和公式為

(18)

基于色彩相關(guān)直方圖與SIFT特征融合的例子濾波跟蹤算法的流程描述如下

7) 計(jì)算t時(shí)刻目標(biāo)狀態(tài)的估計(jì)值。

8) 置t=t+1,轉(zhuǎn)到2)。

3實(shí)驗(yàn)結(jié)果與分析

采用三組實(shí)驗(yàn)視頻對(duì)本文算法進(jìn)行驗(yàn)證,并且將本文算法和基于顏色直方圖的粒子濾波跟蹤方法進(jìn)行比較。這幾組視頻包括了目標(biāo)的任意平移、轉(zhuǎn)動(dòng)、遮擋、相似物干擾以及光照變化等一些復(fù)雜情況,實(shí)驗(yàn)中是以手動(dòng)方式選定目標(biāo),每個(gè)目標(biāo)模版采用150個(gè)粒子。

在第一組考試視頻中,對(duì)考場(chǎng)內(nèi)監(jiān)考教師進(jìn)行跟蹤。圖1(a)是基于顏色直方圖的粒子濾波跟蹤方法,圖1(b)是基于色彩相關(guān)直方圖與SIFT特征融合的粒子濾波跟蹤方法。從圖中可以看出當(dāng)目標(biāo)遠(yuǎn)離攝像機(jī)而變小,并且在運(yùn)動(dòng)過程中肢體形狀發(fā)生變化時(shí),基于基于顏色直方圖的粒子濾波跟蹤方法受到影響,出現(xiàn)偏移,而本文所述的方法能夠較穩(wěn)定地跟蹤目標(biāo)。

在第二組實(shí)驗(yàn)視頻中,對(duì)街道上行人進(jìn)行跟蹤相對(duì)于第一組視頻,跟蹤目標(biāo)的大小變化程度更大,同時(shí)還存在著目標(biāo)被短暫遮擋的情況。圖2(a)是基于顏色直方圖的粒子濾波跟蹤方法,在跟蹤的過程中受遮擋的影響,出現(xiàn)了目標(biāo)丟失的情況。而圖2(b)是本文的方法所得的跟蹤結(jié)果,從圖中可以看出,雖然會(huì)受到短暫遮擋的影響,但在后續(xù)的跟蹤中沒有將目標(biāo)丟失,依舊能夠較好地跟蹤目標(biāo)。

圖1　考場(chǎng)內(nèi)監(jiān)考教師跟蹤結(jié)果對(duì)比

圖2　室外行人跟蹤結(jié)果對(duì)比

在第三組實(shí)驗(yàn)視頻中,對(duì)高速公路上航拍車輛進(jìn)行跟蹤?？梢钥闯龅缆奉伾c被跟蹤車輛的顏色非常相近。圖3(a)是基于顏色直方圖的粒子濾波跟蹤方法的跟蹤結(jié)果,可以看出在跟蹤的過程中由于受到背景顏色相似的影響紅色方框偏離了真實(shí)的目標(biāo)位置。而本文提出的方法卻沒有發(fā)生跟蹤偏離的現(xiàn)象,如圖3(b)所示。

圖3　高速航拍車輛跟蹤結(jié)果對(duì)比

4結(jié)語

針對(duì)基于顏色粒子濾波算法在目標(biāo)發(fā)生仿射變化和當(dāng)目標(biāo)與背景相近時(shí)跟蹤效果不理想的問題,本文提出了基于色彩相關(guān)直方圖與SIFT特征融合的粒子濾波跟蹤算法,該方法從提高特征描述的可靠性入手,一方面引入顏色相關(guān)直方圖作為目標(biāo)模版的一個(gè)描述特征;另一方面將其與SIFT特征融合從而克服上述情況對(duì)跟蹤準(zhǔn)確性的影響,增強(qiáng)了跟蹤的準(zhǔn)確性。實(shí)驗(yàn)結(jié)果表明本算法能夠?qū)δ繕?biāo)發(fā)生仿射變化、目標(biāo)與背景相近、短暫遮擋等情況下實(shí)現(xiàn)的跟蹤具有較好的穩(wěn)定性和準(zhǔn)確性。然而本文只是將兩種特征做了簡(jiǎn)單的融合,并沒有對(duì)這兩種特征就重要性權(quán)重方面做分析研究。所以為了進(jìn)一步提高特征描述的可靠性,下一步的研究工作將對(duì)特征的融合方法進(jìn)行改進(jìn)。

參 考 文 獻(xiàn)

[1] Gordon N J, Salmond D J, Smith A F M. Novel approach to nonlinear/non-Gaussian Baysian state estimation[J]. IEEE Proceedings of Radar and Signal Processing,1992,140(2):107-113.

[2] Arulampalam M, Maskell S, Gordon N. A tutorial on particle filters for online non-linear/non-Gaussian Bayesian tracking[J]. IEEE transactions on Signal Processing,2002,50(2):174-188.

[3] Ning J, Zhang L, Zhang D, et al. Robust mean-shift tracking with corrected background-weighted histogram[J]. Computer Vision,2013,6(1):62-69.

[4] CHEN A H, ZHU M, WANG Y H. Mean shift tracking combining SIFT[C]//ICSP2008 Proceedings. Leipzig, Germany, Springer LNCS,2008:1523-1535.

[5] ZHOU H, YUAN Y, SHI C. Object tracking using SIFT features and mean shift[J]. Computer Vision and Image Understanding,2009,30(4):345-352.

[6] 楊曉峰.基于仿射變換模型的圖像目標(biāo)定位跟蹤方法[D].武漢:華中科技大學(xué),2005:42-49.

YANG Xiaofeng. Image target tracking method based on the affine transformation model[D]. Wuhan: Huazhong University of Science and Technology,2005:42-49.

[7] Kalva H, Petljanski B. Exploiting the directional features in MPEG-2 for H.264 intra transconding[J]. IEEE Transactions on Consumer Electrnics,2006,52(2):706-711.

[8] Doucet A, Godsill S, Andrieu C. On sequential Monte Carlo sampling methods for Bayesian filtering[J]. Statics and Computing,2000,10(1):197-208.

[9] Kim J B, Lee C W, Lee K M, et al. Wavelet-based vehicle tracking for automatic traffic surveillance[C]//IEEE Region 10 International Conference on Electrical and Electronic Technology. Singapore,2001:313-316.

[10] 臧雪柏,孫毅,王慧,等.基于空間和顏色自相關(guān)的直方圖目標(biāo)檢測(cè)方法[J].吉林大學(xué)學(xué)報(bào)(工學(xué)版),2008,(S2):202-204.

ZANG Xuebai, SUN Yi, WANG Hui, et al. Target detection method based on spatial and color histogram of autocorrelation[J]. Journal of Jilin University of Technology,2008,(S2):202-204.

收稿日期:2016年1月11日,修回日期:2016年2月13日

作者簡(jiǎn)介:劉元龍,男,碩士,研究方向:智能視頻圖像處理。李玉惠,女,教授,研究方向:數(shù)字水印、智能視頻圖像處理。

中圖分類號(hào)TP301.6

DOI:10.3969/j.issn.1672-9722.2016.07.012

Particle Filer Tracking Algorithm Based on Fusion of Color Correlogram and SIFT Features

LIU YuanlongLI Yuhui

(College of Information Engineering and Automation, Kunming University of Science and Technology, Kunming650500)

AbstractThis paper proposes a tracking algorithm based on particle filter algorithm with color correlogram and SIFT features. In the process of tracking, this algorithm has attractive result to resolve the problem of target losing no matter when the target was obscured or when target deformation occurred. The tracking effect is especially improved when moving target is similar to background in color. To evaluate different color correlation between prediction and observation state, the algorithm adopts color correlogram as one describe feature. To overcome the affine change characteristics of target, the SIFT feature is also adopted. With the color correlogram and SIFT features fusion, both the reliability of features description and accuracy of tracking is improved. This algorithm is superior to the traditional particle filter tracking algorithm.

Key Wordscolor correlogram, SIFT, particle filter, feature fusion