基于BRISK和CamShift的魯棒目標(biāo)跟蹤研究

劉亞偉, 李小民

(軍械工程學(xué)院無人機(jī)工程系，石家莊 050003)

基于BRISK和CamShift的魯棒目標(biāo)跟蹤研究

劉亞偉, 李小民

(軍械工程學(xué)院無人機(jī)工程系，石家莊 050003)

在CamShift目標(biāo)跟蹤的框架下，提出了基于BRISK特征匹配和CamShift的目標(biāo)跟蹤方法，該方法通過顏色特征和局部特征共同定位目標(biāo)，從而實(shí)現(xiàn)目標(biāo)準(zhǔn)確跟蹤。在保證跟蹤實(shí)時(shí)性的前提下，該方法改善了CamShift算法在目標(biāo)跟蹤過程中對(duì)背景、尺度、旋轉(zhuǎn)和遮擋變化的敏感性和目標(biāo)跟蹤的特征單一性。實(shí)驗(yàn)對(duì)比結(jié)果表明，該改進(jìn)方法較單獨(dú)基于特征匹配的目標(biāo)跟蹤方法,其快速性有很大提高，較CamShift跟蹤方法在目標(biāo)尺度變化、旋轉(zhuǎn)變化、光照變化、背景變化和遮擋變化條件下的魯棒性更強(qiáng)，同時(shí)增強(qiáng)了兩種算法的跟蹤準(zhǔn)確性。

目標(biāo)跟蹤； 魯棒性； CamShift； BRISK

0 引言

目標(biāo)跟蹤技術(shù)作為計(jì)算機(jī)視覺領(lǐng)域的一個(gè)重要分支，一直以來都受到各個(gè)相關(guān)領(lǐng)域的關(guān)注。但是跟蹤過程中目標(biāo)的多動(dòng)性和環(huán)境的多變性，使得目標(biāo)跟蹤受到各種干擾，所以提高跟蹤算法的魯棒性已成為一項(xiàng)非常重要的工作。目前常見的目標(biāo)跟蹤算法有：均值漂移法、粒子濾波法、卡爾曼濾波法和特征點(diǎn)匹配法等。由于均值漂移(MeanShift)的目標(biāo)跟蹤算法[1]具有計(jì)算簡(jiǎn)單、實(shí)時(shí)性好、易于實(shí)現(xiàn)等特點(diǎn)，因此在現(xiàn)實(shí)生活中應(yīng)用最為廣泛；文獻(xiàn)[2]將CamShift算法應(yīng)用于基于單目標(biāo)視覺的手勢(shì)識(shí)別過程；文獻(xiàn)[3]將CamShift應(yīng)用于運(yùn)動(dòng)目標(biāo)跟蹤過程。但是，CamShift的缺點(diǎn)也非常明顯，其在進(jìn)行匹配過程中，只考慮了單一的目標(biāo)顏色信息，所以導(dǎo)致其魯棒性較弱，尤其是在目標(biāo)發(fā)生較大的尺度變化、旋轉(zhuǎn)變化、光照變化、背景顏色變化和遮擋的條件下，使得目標(biāo)區(qū)域顏色直方圖發(fā)生較大改變，導(dǎo)致跟蹤不穩(wěn)定甚至跟蹤失敗[4]。

針對(duì)上述問題，各領(lǐng)域?qū)＜覍W(xué)者也做了大量改進(jìn)，文獻(xiàn)[5]針對(duì)CamShift在光照和相似顏色背景下跟蹤效果差的問題，提出了一種利用HSV空間中色調(diào)信息、飽和度信息和邊緣梯度信息來構(gòu)建目標(biāo)的三維直方圖特征的CamShift改進(jìn)方法;文獻(xiàn)[6]針對(duì)單一特征無法準(zhǔn)確描述目標(biāo)的問題，將輪廓和角點(diǎn)特征引入到了CamShift算法中。

基于特征匹配的目標(biāo)跟蹤[7]是采用目標(biāo)的局部特征信息，通過特征匹配來進(jìn)行跟蹤的算法。目前常用的特征匹配算法有SIFT，SURF，ORB和BRISK等。BRISK算法是由文獻(xiàn)[8]提出的一種新的角點(diǎn)檢測(cè)和描述算法。BRISK與SIFT，SURF等算法相比，由于其采用二進(jìn)制描述子和漢明距離匹配，使得計(jì)算速度和內(nèi)存占有量都有了顯著提高；與ORB相比由于其采用了鄰域采樣模式，使得其檢測(cè)到的特征點(diǎn)更加精確。文獻(xiàn)[9]將BRISK算法應(yīng)用于超分辨率圖像重建中的高精度快速圖像配準(zhǔn)；文獻(xiàn)[10]將BRISK算法應(yīng)用于局部特征描述的目標(biāo)定位過程。

本文提出了一種基于BRISK算法和CamShift算法的魯棒目標(biāo)跟蹤方法，該方法能夠顯著增強(qiáng)CamShift跟蹤對(duì)尺度、旋轉(zhuǎn)、光照、遮擋和背景變化的敏感性，并且對(duì)單獨(dú)基于特征點(diǎn)匹配的目標(biāo)跟蹤算法的快速性有顯著改善。本文算法在保證跟蹤實(shí)時(shí)性的前提下，提高了目標(biāo)跟蹤精度和魯棒性。

1 CamShift跟蹤算法

由于CamShift的原理是將MeanShift運(yùn)用于連續(xù)圖像序列，是對(duì)MeanShift算法的擴(kuò)展，所以下面著重對(duì)MeanShift算法的基本原理進(jìn)行介紹。

MeanShift算法是一種基于核密度估計(jì)的非參數(shù)模式匹配算法。首先手動(dòng)選取待跟蹤目標(biāo)區(qū)域，使用MeanShift顏色直方圖信息作為模板，再提取下一幀圖像的顏色直方圖，進(jìn)行直方圖匹配，通過計(jì)算相似度獲得相似度密度分布圖，圖中的極值位置即為目標(biāo)的位置。

MeanShift的跟蹤特征是目標(biāo)的顏色直方圖，其模型為

(1)

式中：qu代表目標(biāo)顏色直方圖的第u個(gè)分量；C是歸一化常數(shù)；{xi}表示像素的位置；δ是Kronecker函數(shù)；k是核函數(shù)K的輪廓函數(shù)。MeanShift采用Bhattacharyya系數(shù)[11]表示候選模型pu(y)與目標(biāo)模型qu的相似性,即

(2)

MeanShift迭代的目標(biāo)中心位置是通過Bhattacha-ryya[11]的泰勒展開得到的，如式(3)所示。

(3)

式中：

g(x)=-k′(x)

(4)

(5)

2 BRISK算法

BRISK算法具有縮放、傾斜、旋轉(zhuǎn)、光照等不變性，使得該算法具有較強(qiáng)的魯棒性。BRISK算法采用如圖1所示的自定義鄰域采樣模式，采樣點(diǎn)等距離分布在以特征點(diǎn)為中心的40×40像素塊內(nèi)構(gòu)建多個(gè)同心圓，共60個(gè)采樣點(diǎn)。

圖1 BRISK鄰域采樣模式Fig.1 Neighborhood sampling mode of BRISK

用A表示采樣點(diǎn)集合

A={(pi,pj)∈R2×R2|i

(6)

記任意一對(duì)采樣點(diǎn)為(pi,pj)，S表示短距離采樣點(diǎn)集合，L表示長(zhǎng)距離采樣點(diǎn)集合，即

S={(pi-pj)∈Ω|‖pi-pj‖<δmax}?Ω

(7)

P={(pi-pj)∈Ω|‖pi-pj‖>δmin}?Ω。

(8)

通常取閾值δmax=9.75t，δmin=13.67t，α=arctan 2(gy,gx)表示點(diǎn)對(duì)(pi,pj)的梯度，角點(diǎn)的特征方向定義為

(9)

(10)

BRISK采用漢明距離進(jìn)行特征匹配，用S1和S2代表兩個(gè)描述子，其中,S1=x1x2…x512，S2=y1y2…y512，x和y為二值數(shù)0或1,則S1和S2的漢明距離可定義為

(11)

式中:⊕表示異或運(yùn)算;Dkd的值越小表示匹配程度越高。

3 基于BRISK和CamShift的魯棒目標(biāo)跟蹤算法

3.1 CamShift存在問題及改進(jìn)方法

CamShift目標(biāo)跟蹤算法存在以下問題：1) 當(dāng)背景顏色與目標(biāo)相似時(shí)，容易導(dǎo)致跟蹤不穩(wěn)定，甚至導(dǎo)致跟蹤目標(biāo)丟失;2) 如果目標(biāo)發(fā)生大尺度縮放或者旋轉(zhuǎn)變換，會(huì)造成目標(biāo)區(qū)域的顏色直方圖發(fā)生變化，無法實(shí)現(xiàn)有效跟蹤;3) 如果目標(biāo)被部分遮擋或者全部遮擋，當(dāng)目標(biāo)再次出現(xiàn)時(shí)不能繼續(xù)跟蹤。

針對(duì)以上問題，本文采用CamShift與BRISK相融合的方法進(jìn)行目標(biāo)跟蹤。該算法在CamShift跟蹤正常的情況下，BRISK算法不介入，一旦CamShift跟蹤失敗，即前后兩幀目標(biāo)區(qū)域顏色直方圖相差較大，BRISK算法馬上介入。在匹配過程中，采用RANSAC算法來進(jìn)行誤匹配點(diǎn)剔除處理從而獲得正確匹配點(diǎn)對(duì)。當(dāng)匹配成功時(shí)，標(biāo)出目標(biāo)區(qū)域，這時(shí)再次啟動(dòng)CamShift跟蹤算法，提取該區(qū)域顏色直方圖并繼續(xù)進(jìn)行跟蹤。

3.2 改進(jìn)算法的實(shí)現(xiàn)

改進(jìn)算法的流程如圖2所示。

圖2 改進(jìn)算法流程圖Fig.2 Flow chart of the improved algorithm

分別設(shè)置前后兩幀的顏色直方圖信息Hi-1和Hi利用Bhattacharyya距離[11]進(jìn)行相似程度判斷,距離越大越相似。若dBhttacharyya(Hi-1,Hi)≤0.6,則說明CamShift跟蹤失敗，一旦跟蹤失敗，就把前一幀圖像目標(biāo)區(qū)域作為模板，通過BRISK算法在后續(xù)視頻幀中進(jìn)行目標(biāo)匹配操作，直到匹配成功，并找到目標(biāo)區(qū)域。

3.3 改進(jìn)算法關(guān)鍵技術(shù)簡(jiǎn)介

3.3.1 特征點(diǎn)重心偏移

(12)

3.3.2 BRISK跟蹤結(jié)果

當(dāng)前跟蹤區(qū)域?yàn)閞={x0,y0,v,h}，(x0,y0)為跟蹤矩形框的中心坐標(biāo)，h和v分別表示矩形框的水平和垂直方向半徑。用r′表示BRISK跟蹤區(qū)域，則

r′=r+(Δx,Δy)=(x0+Δx,y0+Δy,v,h) 。

(13)

3.3.3 融合

融合BRISK和CamShift的跟蹤區(qū)域用r″表示，則

r″=α×r+(1-α)×r′

(14)

式中，權(quán)系數(shù)α介于0～1之間。

4 實(shí)驗(yàn)結(jié)果及分析

實(shí)驗(yàn)選用HERO運(yùn)動(dòng)相機(jī)拍攝視頻，分別用CamShift算法、BRISK算法和改進(jìn)算法(基于BRISK和CamShift的魯棒目標(biāo)跟蹤算法)進(jìn)行對(duì)比測(cè)試，視頻幀頻率為25幀/s，分辨率為1920×1080。 實(shí)驗(yàn)是在VS2010開發(fā)平臺(tái)上，利用VC++語言和開源代碼OpenCV聯(lián)合編程實(shí)現(xiàn)。其中硬件系統(tǒng)：處理器為Inter(R)Core(TM) i3 CPU M390@2.67 GHz，內(nèi)存為4.00 GB，硬盤為500 GB，操作系統(tǒng)為Windows 7。實(shí)驗(yàn)分別在尺度變化、旋轉(zhuǎn)變化、背景變化和遮擋等外界干擾條件下進(jìn)行。

4.1 目標(biāo)發(fā)生尺度變化的情況下CamShift算法、BRISK算法和改進(jìn)算法的跟蹤效果

在目標(biāo)尺度發(fā)生變化的情況下，3種算法對(duì)目標(biāo)的跟蹤效果如圖3所示。

圖3 尺度變化條件下的跟蹤結(jié)果Fig.3 Tracking results when target scale changes

圖3考慮了第110幀(目標(biāo)縮小0.8倍)、第158幀(目標(biāo)縮小0.6倍)、第310幀(正常尺度)和第413幀(目標(biāo)擴(kuò)大1倍)4種情況下3種方法的跟蹤效果。結(jié)果顯示，CamShift算法和BRISK特征匹配算法對(duì)尺度均較為敏感，尤其是大尺度變化下(如縮小0.6倍和擴(kuò)大一倍)跟蹤不穩(wěn)定。雖然改進(jìn)算法的跟蹤效果有所提升，但是在大尺度變化下仍達(dá)不到滿意的效果。

4.2 目標(biāo)發(fā)生旋轉(zhuǎn)變化的情況下CamShift算法、BRISK算法和改進(jìn)算法的跟蹤效果

在目標(biāo)發(fā)生旋轉(zhuǎn)變化的情況下，3種算法對(duì)目標(biāo)的跟蹤效果如圖4所示。

圖4考慮了第90幀(正常)、第270幀(目標(biāo)旋轉(zhuǎn)10°)、第352幀(目標(biāo)旋轉(zhuǎn)30°)和第420幀(目標(biāo)旋轉(zhuǎn)45°) 4種情況下3種方法的跟蹤效果。結(jié)果顯示，CamShift算法在大旋轉(zhuǎn)條件下跟蹤效果不理想(如第352幀和第420幀)，但是BRISK特征匹配跟蹤算法對(duì)目標(biāo)旋轉(zhuǎn)具有較好的魯棒性，所以，該改進(jìn)算法對(duì)目標(biāo)的旋轉(zhuǎn)變化具有較好的魯棒性。

圖4 旋轉(zhuǎn)變化條件下的跟蹤結(jié)果Fig.4 Tracking results when rotating angle changes

4.3 目標(biāo)發(fā)生背景變化的情況下CamShift算法、BRISK算法和改進(jìn)算法的跟蹤效果

在目標(biāo)背景發(fā)生變化的情況下，3種算法對(duì)目標(biāo)的跟蹤效果如圖5所示。

圖5 背景變化條件下的跟蹤結(jié)果Fig.5 Tracking results when background changes

圖5考慮了第189幀(正常)、第363幀(目標(biāo)剛剛進(jìn)入背景變化區(qū)域)、第456幀(目標(biāo)完全進(jìn)入背景變化區(qū)域)和第541幀(目標(biāo)將駛出背景變化區(qū)域)4種情況下3種方法的跟蹤效果。結(jié)果顯示，當(dāng)背景與目標(biāo)的顏色相近時(shí)，對(duì)CamShift的跟蹤效果影響較大。而BRISK特征匹配的跟蹤方法對(duì)背景變化具有一定的抗干擾性，所以當(dāng)跟蹤過程中背景發(fā)生變化時(shí)，改進(jìn)算法能夠保持較好的跟蹤效果。

4.4 目標(biāo)發(fā)生遮擋變化的情況下CamShift算法、BRISK算法和改進(jìn)算法的跟蹤效果

在目標(biāo)發(fā)生遮擋變化的情況下，3種算法對(duì)目標(biāo)的跟蹤效果如圖6所示。

圖6 遮擋變化條件下的跟蹤結(jié)果Fig.6 Tracking results when shading changes

圖6考慮了第447幀(目標(biāo)小部分進(jìn)入遮擋區(qū)域)、第460幀(目標(biāo)大部分進(jìn)入遮擋區(qū)域)、第484幀(目標(biāo)小部分駛出遮擋區(qū)域)和第491幀(目標(biāo)大部分駛出遮擋區(qū)域)4種情況下3種方法的跟蹤效果。結(jié)果顯示，當(dāng)目標(biāo)進(jìn)入遮擋區(qū)域一半時(shí)，CamShift算法失效，跟蹤中斷且無法繼續(xù)跟蹤，而BRISK特征匹配的跟蹤算法對(duì)遮擋問題具有較好的魯棒性，只有當(dāng)目標(biāo)全部遮擋才會(huì)跟蹤失效，但是當(dāng)目標(biāo)駛出遮擋區(qū)域時(shí)，該算法可以再次實(shí)現(xiàn)自動(dòng)跟蹤。所以，改進(jìn)算法能夠?qū)崿F(xiàn)目標(biāo)遮擋問題的有效跟蹤。

4.5 改進(jìn)算法跟蹤準(zhǔn)確性測(cè)試

以相似背景對(duì)目標(biāo)的干擾測(cè)試視頻為例，用目標(biāo)模板與候選模板的相似度(即Bhattacharry系數(shù))[11]作為目標(biāo)跟蹤準(zhǔn)確度的衡量標(biāo)準(zhǔn)。Bhattacharry系數(shù)為0～1之間的一個(gè)數(shù)值，該數(shù)值越大，表示目標(biāo)模板與候選模板的相似程度越高，即跟蹤準(zhǔn)確性越高。測(cè)試結(jié)果如圖7所示。

圖7 Bhattacharry系數(shù)對(duì)比結(jié)果Fig.7 Contrast results of Bhattacharry

測(cè)試結(jié)果表明，跟蹤目標(biāo)進(jìn)入與目標(biāo)相似的背景環(huán)境時(shí)，Bhattacharry系數(shù)都有所下降，跟蹤準(zhǔn)確性下降。圖7中第350幀目標(biāo)進(jìn)入背景干擾環(huán)境，第450幀駛出干擾環(huán)境。由此可見，當(dāng)目標(biāo)進(jìn)入相似背景環(huán)境時(shí)，3種方法的跟蹤精度都出現(xiàn)了一定程度的下降，尤其是CamShift算法明顯下降。由于BRISK特征匹配跟蹤算法對(duì)外界干擾具有較好的魯棒性，所以Bhattacharry系數(shù)下降較小，但是由于BRISK特征匹配跟蹤算法模板不能實(shí)時(shí)更新，所以其跟蹤準(zhǔn)確性整體處于下降趨勢(shì)。本文改進(jìn)算法，由于對(duì)背景的變化敏感性較弱，所以對(duì)目標(biāo)的跟蹤具有較好的準(zhǔn)確性。

4.6 算法實(shí)時(shí)性測(cè)試

通過處理視頻中一幀圖像所用時(shí)間的平均值對(duì)算法的實(shí)時(shí)性進(jìn)行測(cè)試，測(cè)試結(jié)果如表1所示。

表1 實(shí)時(shí)性測(cè)試表

由表1可知，CamShift雖然對(duì)跟蹤目標(biāo)的尺度、旋轉(zhuǎn)、背景和遮擋變化較敏感，但是該跟蹤算法具有較好的實(shí)時(shí)性;BRISK特征匹配跟蹤算法對(duì)外界變化具有較強(qiáng)的魯棒性，但是實(shí)時(shí)性較差;而本文融合CamShift和BRISK算法的改進(jìn)算法能基本滿足實(shí)時(shí)性要求并且對(duì)外界干擾具有較好的魯棒性。

5 結(jié)論

針對(duì)CamShift目標(biāo)跟蹤算法對(duì)跟蹤過程中背景變化、尺度變化、旋轉(zhuǎn)變化和目標(biāo)被遮擋條件下跟蹤效果較差的問題，提出了一種基于BRISK特征匹配和CamShift相融合的改進(jìn)目標(biāo)跟蹤算法,并分別對(duì)CamShift算法、BRISK算法和本文改進(jìn)算法的性能進(jìn)行了測(cè)試。

實(shí)驗(yàn)結(jié)果表明，改進(jìn)算法顯著增強(qiáng)了CamShift算法對(duì)于背景變化、目標(biāo)尺度變化、目標(biāo)旋轉(zhuǎn)變化和目標(biāo)被遮擋條件下跟蹤的魯棒性和基于特征匹配目標(biāo)跟蹤算法的實(shí)時(shí)性，并提高了CamShift和BRISK跟蹤算法的跟蹤準(zhǔn)確性。

[1] 楊輝,劉軍,阮松.基于MeanShift算法視頻跟蹤研究[J].計(jì)算機(jī)工程與設(shè)計(jì),2013,34(6):2062-2066.

[2] 程文山.基于膚色分割和CamShift的手勢(shì)識(shí)別研究[D].武漢:華中師范大學(xué)，2009.

[3] 趙文倩,匡遜君,李明富.基于改進(jìn)的CamShift運(yùn)動(dòng)目標(biāo)跟蹤算法的研究[J].信息技術(shù),2012(7):164-169.

[4] 李明鎖,井亮,鄒杰,等.結(jié)合擴(kuò)展卡爾曼濾波的CamShift移動(dòng)目標(biāo)跟蹤算法[J].電光與控制，2011,18(4):1-3.

[5] 覃躍虎,支琤,徐奕.基于三維直方圖的改進(jìn)CamShift目標(biāo)跟蹤算法[J].現(xiàn)代電子技術(shù),2013,37(2):29-33.[6] 王巍,孟朝暉.一種改進(jìn)的CamShift目標(biāo)跟蹤方法[J].信息技術(shù),2015(1):85-88.

[7] 藺海峰,馬宇峰,宋濤.基于SIFT特征目標(biāo)跟蹤算法研究[J].自動(dòng)化學(xué)報(bào),2010,36(8):1204-1208.

[8] LEUTENEGGER S,CHLI M,SIEGWART R．BRISK:binary robust invariant scalable keypoints[C]//Proceedings of the IEEE International Conference on Computer Vision(ICCV),2011:2548-2555．

[9] 何林陽(yáng),劉晶紅,李剛,等.改進(jìn)BRISK特征的快速圖像配準(zhǔn)算法[J].紅外與激光工程,2014,43(8):2722-2727.

[10] 鄧集洪,魏宇星.基于局部特征描述的目標(biāo)定位[J].光電工程,2015,41(1):58-63.

[11] 劉玉.基于特征點(diǎn)的運(yùn)動(dòng)目標(biāo)跟蹤技術(shù)研究[D].南京：南京航空航天大學(xué),2011.

ARobustTargetTrackingMethodBasedonBRISKandCamShift

LIU Ya-wei, LI Xiao-min

(Department of UAV Engineering,Ordnance Engineering College,Shijiazhuang 050003,China)

A target tracking method based on BRISK feature matching and CamShift is proposed under the framework of CamShift target tracking.In this method,both the color features and local features are used to locate the targets for realizing accurate target tracking.Compared with traditional CamShift,this method can keep the real-time performance,while improving the sensitivity to the changes of background,dimensions,rotating and shading,and the oneness of the characteristics of the target tracking.The contrast experimental results show that: 1) The tracking method proposed is faster than the method based only on the feature matching; 2) Compared with CamShift,it has higher robustness to the changes of background,dimensions,rotating and shading; and 3) The precision of tracking is improved.

target tracking; robustness; CamShift; BRISK

TP391

A

1671-637X(2017)03-0041-05

2016-03-01

2016-04-16

“十二五”裝備預(yù)先研究項(xiàng)目(51325050101)

劉亞偉(1991 —),男，河北唐山人，碩士生，研究方向?yàn)闊o人機(jī)目標(biāo)識(shí)別與跟蹤技術(shù)。