基于局部背景加權直方圖的目標跟蹤

顧　鑫, 費智婷,2

(1. 中國運載火箭技術研究院研究發(fā)展中心, 北京 100076;

2.南京理工大學電子工程與光電技術學院, 江蘇 南京 210094)

?

基于局部背景加權直方圖的目標跟蹤

顧鑫1, 費智婷1,2

(1. 中國運載火箭技術研究院研究發(fā)展中心, 北京 100076;

2.南京理工大學電子工程與光電技術學院, 江蘇 南京 210094)

摘要：針對傳統的顏色直方圖和加權顏色直方圖跟蹤算法難以在復雜環(huán)境下對目標進行有效跟蹤的問題,提出了一種基于局部背景加權直方圖的目標跟蹤算法,該算法將目標的局部背景看作上下文,將其引入目標表征。在粒子濾波跟蹤算法框架下,用局部背景加權直方圖來表征目標,以增強目標與背景的鑒別性,從而突出目標區(qū)域內的前景信息。各種場景的實驗結果比較表明,提出的跟蹤算法比傳統的顏色直方圖和加權顏色直方圖跟蹤算法具有更好的穩(wěn)定性和魯棒性,特別是針對目標被局部遮擋及跟蹤環(huán)境光照變化較大等情況。

關鍵詞：顏色直方圖; 目標跟蹤; 局部背景加權直方圖; 粒子濾波

0引言

視覺目標跟蹤是目前的熱點研究問題,它融計算機視覺、模式識別、圖像處理及人工智能于一體,具有廣泛的理論研究意義和實際應用價值[1]。由于跟蹤場景及目標復雜多變、光照強度不穩(wěn)定、部分或全部遮擋等問題的存在,使視覺目標跟蹤仍然是一個經典難題。近十幾年來,國內外有相當多的研究小組在該領域做了深入的研究,并提出了一些切實有效的算法。

在視覺目標跟蹤研究初期,研究重點主要集中在光流法[2-4]及模板匹配[5]。隨著研究的深入,視覺目標跟蹤的研究主要集中在如下兩方面:基于特征匹配的跟蹤和基于動態(tài)模型的跟蹤,基于特征匹配的跟蹤通過目標的一些顯著特征及上一幀位置來定位目標,常用的跟蹤算法有:模板匹配、直方圖匹配、Mean-Shift[6]等,該算法在目標運動較快或分布復雜時魯棒性較差?；趧討B(tài)模型的跟蹤算法通過引入動態(tài)模型,能夠較好地處理這些難點,其經典的跟蹤算法是基于遞歸貝葉斯框架的卡爾曼濾波、粒子濾波等。粒子濾波通過序列蒙特卡羅算法,能夠較好地處理非線性、非高斯問題,其核心是通過一組隨機樣本及其重要性權值離散表示所求解問題的后驗概率分布[7-8]。

視覺目標跟蹤的一個核心問題是選用何種特征來表征目標,顏色直方圖是一種較為常用的目標特征表征方法,該方法對目標旋轉等情況具有較好的適應性[9],但是傳統的顏色直方圖僅是對目標區(qū)域像素值的統計,缺乏目標區(qū)域的空間信息[10]。文獻[11]提出了一種加權顏色直方圖表征算法,該算法利用像素點與目標中心的位置和像素值來計算顏色直方圖。以上兩種特征描述子都忽略了局部背景的信息,因此在跟蹤過程中,若目標的某個部分的顏色特征與局部背景非常相似,或者目標被部分遮擋的情況下,這兩種特征描述算法極易失效,如何結合局部背景信息以提升目標描述能力備受關注[12]。

本文提出了一種新的局部背景目標跟蹤算法,以局部背景加權直方圖來表征目標,在粒子濾波目標跟蹤框架下實現對目標跟蹤,該目標描述方法引入了背景加權機制,由此降低了跟蹤目標內背景像素的權重,從而有效地抑制目標內的背景信息,并突出前景信息,基于該目標描述方法可以有效地解決目標被部分遮擋及其所處環(huán)境光照變化的問題。

1粒子濾波

定義貝葉斯跟蹤中目標狀態(tài)如下:

(1)

式中，xt是目標在t時刻的狀態(tài)向量,目標的狀態(tài)遞歸估計如下:

(2)

式中，zt是狀態(tài)xt的觀測值;假設噪聲εt、et服從獨立分布。

從貝葉斯估計角度說,跟蹤問題就是根據給定觀測序列遞歸估計目標狀態(tài),求解目標狀態(tài)的后驗概率分布p(xt|z1∶t)。粒子濾波是基于序列蒙特卡羅和遞歸貝葉斯的估計方法,它將貝葉斯計算中無法數值解的積分運算轉化為有限樣本點的求和,即后驗概率分布p(xt|z1∶t)可近似表述[13]為

(3)

2基于局部背景加權直方圖的跟蹤實現

2.1局部背景加權直方圖

視覺目標跟蹤問題是利用已獲取的目標描述子,在當前幀的搜索區(qū)域內定位候選目標,搜索框通常由上一幀的目標位置決定。圖1描述了各區(qū)域,包括:跟蹤目標、局部背景、候選目標以及搜索區(qū)域。跟蹤目標由前景(車輛)和目標內背景組成。目標跟蹤的實質是利用目標的特征解算出目標的位置信息。

圖1　局部背景的定義

傳統的加權顏色直方圖定義區(qū)域內不同位置點的像素對直方圖的貢獻是不一致的,距離目標區(qū)域中心較近的像素被分配較大的權值[11]。

(4)

加權直方圖相對于傳統的直方圖僅解決了直方圖缺乏空間特性的問題,而目標所處的局部背景信息可以作為目標在運動過程中的上下文信息,為了引入局部背景信息,本文定義局部背景加權直方圖如下:

(5)

式中,vi為加權因子,表示第i個像素為前景的概率。對目標區(qū)域和局部背景內所有的像素,假設第i個像素為中心的一個3×3的鄰域Ωi內,像素值Ii可以用下式表示:

(6)

(7)

式中,ai，bi為回歸系數(在鄰域Ωi內所有像素共用一組回歸系統ai和bi),定義整體回歸誤差為

(8)

文獻[14]定義整體回歸誤差滿足下式:

(9)

(10)

(11)

γ為加權系數,則v存在閉合解如下:

(12)

式中，矩陣Id為單位矩陣。

2.2特征度量與模板更新

用局部背景加權直方圖來表征目標,Bhattacharyya距離是度量兩直方圖相似性的一種常用方法[15]。用htar表示目標區(qū)域的背景加權直方圖,hmo表示目標模板的背景加權直方圖,則目標區(qū)域與模板的相似度ρ表征如下:

(13)

式中，Bin表示直方圖的維度,則基于局部背景加權直方圖的觀測概率[16]為

(14)

式中，λi為粒子分布的方差系數,由于目標在運動過程中受周圍環(huán)境等影響,其自身的模板發(fā)生較大變化,因此對目標的模板直方圖hmo更新如下:

(15)

式中，β是更新率；η是閾值；ρ是歐氏距離。上式可以有效地避免模板的錯誤更新,大量實驗結果表明針對慢速移動目標,β=0.01且η=0.1是較好選擇。

3算法實現流程

具體算法流程如圖2所示,在粒子濾波框架下,基于局部背景加權顏色直方圖的粒子濾波跟蹤算法總結如下:

(2) 預測目標的狀態(tài):由xt=Axt-1+W;

(3) 在上一幀的目標狀態(tài)xt-1兩倍大小的區(qū)域內計算局部背景加權顏色直方圖;

(6) 根據式(15)更新目標模板hmo;

(7) 轉向步驟(2)。

圖2　算法流程圖

4實驗結果與分析

為了驗證算法的有效性,分別將本文算法和傳統的顏色直方圖跟蹤、加權顏色直方圖跟蹤進行比較。選擇在兩段公共視頻序列上進行算法驗證,兩段視頻序列圖像分別為室外航拍數據(圖像大小為640×480)和室內監(jiān)控數據(圖像大小為320×240),采用R、G、B3個分量構成目標特征空間,根據跟蹤的精度和計算實時性的要求,直方圖的長度采用8×8×8的劃分原則,粒子數目選為100。本文所有算法均在Intel(R)Core(TM)i7CPU2.93GHz,4G內存的計算機上用MATLABR2010a編程實現。在同一數據源上,人工標定初始位置,用矩形來表征目標的狀態(tài),分別進行各種算法的仿真。

實驗1是室外航拍數據,如圖3所示,實驗數據源是光學視頻序列,跟蹤對象是戶外的汽車,第一行為傳統顏色直方圖跟蹤結果,第二行為加權顏色直方圖跟蹤結果,第三行為本文算法跟蹤結果。該視頻序列跟蹤的難點是目標所處的背景變化較大,目標不斷的進出有遮擋區(qū)的叢林,導致目標受到局部遮擋,局部遮擋有兩層意義,一是車輛在運動過程中不斷的穿越叢林,車輛的顏色特征被樹林部分遮擋,導致其局部的顏色特征發(fā)生變化;二是目標在不斷運動中,其被遮擋的時間有限,遮擋的部位不斷發(fā)生變化,在被遮擋幾幀后,整個目標會再次進入跟蹤區(qū)域。在第127幀,目標被遮擋后,顏色特征發(fā)生明顯變化,導致傳統的顏色直方圖跟蹤方式失效(127幀)。由于存在外部遮擋,加權顏色直方圖跟蹤的結果與目標實際位置出現了較大偏差(127幀),目標出叢林遮擋區(qū)域后,加權顏色直方圖跟蹤恢復正常(208幀)。目標再次進入遮擋區(qū)域后,此時目標被大部分遮擋,加權顏色直方圖跟蹤失效(250幀),本文算法在目標被大部分遮擋時通過結合局部的背景信息來抑制目標內被遮擋部分的背景信息,從而增強前景的顯著性,最終提高目標的描述能力,可以全程魯棒的跟蹤目標。若目標被長時間的全部遮擋或者大部分遮擋,目標不能快速的從遮擋中運動出來,由于沒有額外的信息用于提供目標觀測,本文的跟蹤算法將失效。

實驗2是室內監(jiān)控圖像序列,如圖4所示,實驗數據源是光學視頻序列,跟蹤對象是室內的人員,第一行為傳統顏色直方圖跟蹤結果,第二行為加權顏色直方圖跟蹤結果,第三行為本文算法跟蹤結果。該視頻跟蹤的難點是目標不斷的進出光照區(qū)域和陰影區(qū),其所處環(huán)境的光照變化較大。光照變化主要包括以下幾個方面,一是由于外部光線發(fā)生了變化,導致目標表面的特征發(fā)生變化;二是目標不斷的進出光照不同區(qū)域,導致目標表面的特征發(fā)生了變化。實驗二的場景中,目標運動的時間有限,外部光線沒有發(fā)生明顯變化,主要是行人不斷的從建筑的陰影區(qū)進入無陰影的光照區(qū),再由光照區(qū)進入陰影區(qū),導致了目標顏色特征發(fā)生較大分變化。目標在運動過程中與其他行人交叉出現,導致顏色跟蹤的結果偏差較大(211幀),在第308幀時目標的顏色特征和背景沙發(fā)的顏色特征相似,且目標處在陰影區(qū)與光照區(qū)的交界處,該處光照情況變化較大,顏色跟蹤無法正常跟蹤目標;第462幀目標從陰影區(qū)進入光照區(qū)域,目標區(qū)域的光照發(fā)生較大變化,導致加權顏色直方圖跟蹤失效。本文的跟蹤算法在目標不斷的進出陰影區(qū)和光照區(qū)時,可以充分利用局部的背景信息來克服光照變化對目標的影響,從而進一步增強前景的顯著性,提高特征的鑒別能力,實現對目標的全程跟蹤。如果目標所處環(huán)境的光照變化特別大,如直接從屋內的陰影部分快速走到外面的光照很強烈區(qū)域,并沒有在兩者陰影和光照區(qū)有任何停留,即目標處的背景光照發(fā)生劇烈變化,此時本文的算法將不能滿足跟蹤的要求。

圖3　實驗1跟蹤結果

圖4　實驗2跟蹤結果

表1給出了傳統顏色直方圖和加權顏色直方圖作為目標的描述因子和本文算法跟蹤結果對比。實驗1結果表明:由于存在局部遮擋等外界因素干擾,傳統顏色直方圖和加權顏色直方圖跟蹤易失效,而本文算法通過結合局部的背景信息來抑制目標內背景,從而增強前景的顯著性,提高跟蹤的魯棒性。實驗2結果表明:本文算法對目標不斷進出陰影區(qū),所處背景光照變化較大的情況具有較好適應能力,可以一直對目標穩(wěn)定跟蹤。

表1　實驗結果對比

表2給出了不同算法的跟蹤速度fps,由實驗結果可知本文算法的復雜度與傳統顏色直方圖和加權顏色直方圖的計算復雜度基本一致。

表2　5種算法的計算代價對比　fps

5結束語

本文提出了一種基于局部背景加權直方圖的目標跟蹤算法,以局部加權直方圖來表征目標,將局部背景看作跟蹤目標的上下文信息,提出的算法通過引入局部背景能有效地降低目標內背景的影響,有效地解決目標被局部遮擋以及跟蹤環(huán)境中光照變化較大的難題。此外,本文跟蹤算法亦可應用于其他跟蹤,如計算機視覺的其他領域,如融合識別、檢測等。

參考文獻：

[1] Gu X,Wang H T,Wang L F,et al. Fusing multiple features for object tracking based on uncertainty measurement[J].ActaAutomaticaSinica,2011,37(5):550-559.(顧鑫,王海濤,汪凌鋒,等.基于不確定性度量的多特征融合跟蹤[J].自動化學報,2011,37(5):550-559.)

[2] Baker S, Matthews I. Lucas-kanade 20 years on: a unifying framework[J].InternationalJournalofComputerVision,2004,56(3):221-255.

[3] Lucas B D, Kanade T. An iterative image registration technique with an application to stereo vision[C]∥Proc.oftheInternationalJointConferenceonArtificialIntelligence,1981,81:674-679.

[4] Shi J, Tomasi C. Good features to track[C]∥Proc.oftheIEEEComputerSocietyConferenceonComputerVisionandPatternRecognition, 1994: 593-600.

[5] Porikli F, Tuzel O, Meer P. Covariance tracking using model update based on lie algebra[C]∥Proc.oftheIEEEComputerSocietyConferenceonComputerVisionandPatternRecognition, 2006, 1: 728-735.

[6] Comaniciu D, Ramesh V, Meer P. Kernel-based object tracking[J].IEEETrans.onPatternAnalysisandMachineIntelligence, 2003, 25(5): 564-577.

[7] Arulampalam M S, Maskell S, Gordon N, et al. A tutorial on particle filters for online nonlinear/non-Gaussian Bayesian tracking[J].IEEETrans.onSignalProcessing,2002,50(2):174-188.

[8] Cheng J. Infrared target tracking based on particle filtering and hierarchical shape representation[J].SystemsEngineeringandElectronics, 2011, 33(6): 1217-1220.(程建. 基于粒子濾波與層級形狀描述的紅外目標跟蹤[J]. 系統工程與電子技術, 2011, 33(6): 1217-1220.)

[9] Sun G, Wang B, Zheng Z H, Real-time target recognition and tracking using local intensity histogram[J].SystemsEngineeringandElectronics, 2011, 33(9): 1927-1931.(孫抗, 汪渤, 鄭智輝. 基于局部亮度直方圖特征的實時目標識別與跟蹤[J]. 系統工程與電子技術, 2011, 33(9): 1927-1931.)

[10] Nummiaro K, Koller-Meier E, Van Gool L. An adaptive color-based particle filter[J].ImageandVisionComputing, 2003, 21(1): 99-110.

[11] Zhuang Y, Zhan H B,Wang W, et al. Weighted color histogram based particle filter for visual target tracking[J].ControlandDecision,2006,21(8):868-872.(莊嚴,戰(zhàn)洪斌,王偉,等. 基于加權顏色直方圖和粒子濾波的彩色物體跟蹤[J]. 控制與決策, 2006, 21(8): 868-872.)

[12] Chu H X, Xie Z Y, Wang J X, et al. Mean shift target tracking with spatiogram corrected background-weighted histogram[J].ControlandDecision,2014,29(3):528-532.(初紅霞,謝忠玉,王君祥,等.空間相關背景加權直方圖均值漂移目標跟蹤[J].控制與決策,2014,29(3):528-532.)

[13] Han S, Zhang X L, Chen L, et al. Object tracking method based on improved Gaussian particle filter[J].SystemsEngineeringandElectronics, 2010, 32(6): 1191-1194.(韓松,張曉林,陳雷,等. 基于改進高斯粒子濾波器的目標跟蹤算法[J]. 系統工程與電子技術, 2010, 32(6): 1191-1194.)

[14] Ross D A, Lim J, Lin R S, et al. Incremental learning for robust visual tracking[J].InternationalJournalofComputerVision, 2008, 77(1/3): 125-141.

[15] Perez P, Vermaak J, Blake A. Data fusion for visual tracking with particles[J].ProceedingsoftheIEEE, 2004, 92(3): 495-513.

[16] Dalal N,Triggs B. Histograms of oriented gradients for human detection[C]∥Proc.oftheIEEEComputerSocietyConferenceonComputerVisionandPatternRecognition, 2005.886-893.

顧鑫(1986-),男,工程師,碩士,主要研究方向為自動目標檢測、目標跟蹤。

E-mail:nync396@126.com

費智婷(1981-),女,高級工程師,碩士,主要研究方向為自動目標檢測、雷達信號處理。

E-mail:susnnafei@163.com

網絡優(yōu)先出版地址：http://www.cnki.net/kcms/detail/11.2422.TN.20150706.1606.003.html

Object tracking based on local background weighted histogram

GU Xin1, FEI Zhi-ting1,2

(1.ChinaAcademyofLaunchVehicleTechnologyResearchandDevelopmentCenter,

Beijing100076,China; 2.SchoolofElectronicEngineeringandOptoelectronicTechnology,

NanjingUniversityofScienceandTechnology,Nanjing210094,China)

Abstract:For the object tracking based on traditional color histogram and weighted color histogram may be lost in the complex environment. An improved object tracking based on the local background weighted histogram (LBWH) is approached. The proposed tracking algorithm treats local background as the context, and introduces it into target representation. As a result, a target description, the LBWH is proposed in this paper. The LBWH enhances the discrimination between the target and background, so that highlights the foreground in the target region. An extensive number of comparative experiments show that the proposed tracking algorithm is more stable and robust than the traditional color histogram and weighted color histogram tracking algorithms, especially in the case of the object partial occlusion and illumination variation.

Keywords:color histogram; object tracking; the local background weighted histogram(LBWH); particle filter

作者簡介：

中圖分類號：TP 391

文獻標志碼：A

DOI:10.3969/j.issn.1001-506X.2016.01.31

基金項目：國家自然科學基金(61305214)資助課題

收稿日期：2015-01-21；修回日期：2015-05-27；網絡優(yōu)先出版日期：2015-07-06。