抗遮擋的自適應運動目標跟蹤方法

路 紅，李宏勝，費樹岷，郭 婧，李文成

（1.南京工程學院 自動化學院，江蘇 南京211167；2.東南大學 自動化學院，江蘇 南京210096）

0 引 言

基于視頻的運動目標跟蹤是機器視覺的核心問題，其難點在于目標被遮擋、待匹配區(qū)域附近干擾過強、目標特征變化時易產生誤匹配，致使跟蹤持續(xù)性難以保證。Mean shift算法是一種基于核密度估計的非參數(shù)模式匹配算法，通過建立加權直方圖來描述目標的顏色分布。該方法利用像素概率密度函數(shù)梯度最優(yōu)化方法，通過迭代，收斂于概率密度函數(shù)的局部極大值，實現(xiàn)快速目標定位。當目標周圍被遮擋時，由于周圍像素權重小，不會對目標定位產生劇烈的影響［1］。但是Mean shift尋找局部最優(yōu)的特點使得在多峰值非高斯分布的復雜環(huán)境下可能丟失全局最優(yōu)點。為了解決這個問題，不少文獻提出了尋找全局最優(yōu)的方法。其中通過附加預測環(huán)節(jié)（如 Kalman預測）［2－5］和多特征融合［6－10］方法成為研究的重點。但是復雜場景中遮擋判斷和處理、模板更新可靠性，以及逐幀匹配過程中的誤差累積等問題仍然制約著跟蹤魯棒穩(wěn)定性提高。為此相應的遮擋判斷［3，9，11－12］，特征和 尺 度 更 新［9，13－15］方 法 相 繼 提 出。 而 對誤差累積［2，15］問題的針對性研究目前仍較少。文獻 ［15］通過改進目標描述機制來抑制直方圖特征描述存在的誤差累積問題，但對遮擋跟蹤沒有涉及。

針對上述問題，本文提出一種復雜場景中遮擋目標自適應跟蹤方法。利用自適應Kalman濾波器預測和校正目標跟蹤軌跡，以解決Mean shift目標搜索易陷入局部最優(yōu)點的問題。根據(jù)鄰幀分量相似度偏差權衡x和y方向相似度的可靠性，并據(jù)此計算相似度融合權值，以使可靠性較高的分量相似度在最終相似度融合中占較大比重。通過噪聲協(xié)方差和目標狀態(tài)參數(shù)更新校正目標跟蹤軌跡，并通過折中當前幀和前面幀中目標參數(shù)更新目標狀態(tài)和特征模型。實驗結果表明該方法能有效提高全局最優(yōu)點的搜索效率和跟蹤魯棒穩(wěn)定性。

1 遮擋目標自適應跟蹤

1.1 目標特征模型描述和核函數(shù)

目標特征模型采用目標位置附近橢圓形圖像區(qū)域Rh的色調和飽和度加權色彩直方圖u＝｛u1，u2｝表示。為了減小目標尺度影響，分別在行、列方向選擇不同尺度參數(shù)h＝｛hx，hy｝將橢圓歸一化為單位圓。設 ｛xi＊｝i＝1，2…，n為目標模型上歸一化后的像素坐標位置。則目標特征模型q描述如式（1）示。其中u為色度級，共m級，δ為Kronecker delta函數(shù)。k（x）為核函數(shù)。在Mean shift中，常用的核函數(shù)有均勻核函數(shù)、高斯核函數(shù)及Epanechnikove核函數(shù)等。均勻核函數(shù)規(guī)定了所有落入Rh的采樣點，無論其離中心x遠近，對最終的 Mean shift向量計算具有相同貢獻。高斯核和Epanechnikov核均為中間凸起的單調遞減核輪廓函數(shù)，采樣點對最終的Mean shift向量計算取決于其離中心x的距離。其中，高斯核是最優(yōu)核，如圖1所示。本文選擇高斯核。

圖1 高斯核

當前圖像幀中，以空間點s為中心、相同核輪廓函數(shù)和帶寬h的候選目標區(qū)域內，候選目標特征模型p描述如式（2）所示。其中 ｛xi｝i＝1，2…，nh

1.2 自適應加權相似度

設qu，x，l，pu，x，l分別為色彩分量l沿x 方向計算的目標模型和候選模型，二者間相似度ρx，l基于Bhattacharrya系數(shù)度量，如式（3）所示。同理可得ρy，l。其中l(wèi)＝1，l＝2分別表示色調和飽和度色彩分量。t為幀序號

x向融合相似度ρx如式（4）示。同理可得ρy

設鄰幀相似度差值△ρx為

則x和y方向相似度融合權值ax和ay如式（6）所示。由于該權值與當前分量相似度的可靠性成正比，即：可靠性大則在最終融合相似度中的權重就大，從而使相似度計算具有自適應性。

目標模型q和候選模型p間的融合相似度ρ（s，t）如式（7）所示

1.3 基于 Mean shift的模板匹配

對于經典的Bhattacharyya系數(shù)定義式，在s點泰勒展開，可知相似度取最大值時對應式（8）取得最大值［3］，即：搜索目標的當前最優(yōu)觀測位置

設 K（x） 核 中 心 位 置 遞 推 序 列 為 ｛sj｝j＝1，2…，nh， 則Mean shift遞推過程如式（9）示，其中 g（x）＝－k′（x），xi為2維圖像空間中nh個采樣點

給定一個初始點sj，Mean shift遞推過程就是循環(huán)執(zhí)行式（9），使sj不斷沿概率密度的梯度方向移動k（x）核中心的過程。在概率密度大的地方，迭代移動的步長小一些；反之大一些。滿足一定條件時，Mean shift算法將收斂到sj附近峰值。

1.4 目標模型更新

由于目標自身特征漸變、遮擋以及場景噪聲干擾等，使得已有目標模型難以保證跟蹤的魯棒準確性。而模型何時更新及如何更新則是基于模板匹配的跟蹤系統(tǒng)的關鍵問題之一。目標模型更新不足，則導致跟蹤不穩(wěn)定；模型過更新，則逐幀誤差累積嚴重，致使跟蹤失敗。本文綜合當前幀和前面幀序列作用以及遮擋判斷以更新目標特征和尺度模型，如式（10），（11）所示，有效緩解了上述問題

popt和hopt分別表示最優(yōu)候選模型和最優(yōu)目標尺度。h－為Kalman先驗估計尺度，T1為相似度閾值。ξ為縮放倍數(shù)，可據(jù)視頻采樣率和被跟蹤目標尺度進行調整。由于高斯核函數(shù)對于遠離目標中心點的像素賦予的權值小，對部分遮擋目標跟蹤穩(wěn)定性好，因此模型更新以ρ（t）＜T1對應的目標全部或嚴重遮擋為臨界（此時模板更新無可信賴特征信息，不需更新模板）。

相對于固定尺度跟蹤，文獻 ［13］采用的變尺度跟蹤需要三倍耗時。為了提高跟蹤實時性，同時保證跟蹤持續(xù)穩(wěn)定性，本文算法首先比較h1，h2和h3的整數(shù)值，對于相等整數(shù)值，只進行1次尺度匹配。

1.5 Kalman參數(shù)更新和目標速度校正

目標狀態(tài)估計采用一階Kalman濾波器。狀態(tài)向量選擇X＝［x y vxvyhxhy］T。其中（x，y）和（vx，vy）分別為目標外接矩形框中心坐標和速度。X–和P＋分別為目標狀態(tài)Kalman先驗估計和后驗估計協(xié)方差。Mean shift迭代搜索的最佳候選目標模型作為Kalman軌跡校正的觀測值。并根據(jù)ρ（t）、系統(tǒng)噪聲協(xié)方差Q和測量噪聲協(xié)方差R折中X–和觀測值后驗估計X＋。

為了解決逐幀匹配過程中的模型更新誤差和狀態(tài)估計誤差等引起的誤差累積問題，這里用最近的N幀Mean shift迭代誤差更新Q和R。如式（12）－（14）所示

式中：M——Mean shift在第τ幀中迭代位置sc的個數(shù)，I2×2——2×2單位陣。ρ（t）＜T1時，Q——零，R——無窮大，因此X＋＝X–，即：目標軌跡的延續(xù)完全依賴估計。速度v＝｛vx，vy｝校正如式（15）所示

1.6 跟蹤算法流程

基于Mean shift的遮擋目標跟蹤流程如圖2所示。首先在以Kalman預測的目標矩形框內計算候選目標核色彩直方圖模型，然后利用Mean shift迭代搜索概率分布的峰值點（相似度最大時對應的目標位置），最后根據(jù)遮擋和場景干擾情況選擇性自適應更新模型。最優(yōu)候選目標確定的目標位置和尺度作為目標狀態(tài)觀測值，帶入Kalman濾波器修正目標運動軌跡，并對第t＋1幀中的目標軌跡做出預測。

圖2 跟蹤算法流程

感興趣被跟蹤目標通過手動確定。相似度極大值（對應目標觀測值）搜索步驟如下：

步驟1：利用式（9）和式（7）計算sj＋1和ρ（sj＋1），若ρ（sj＋1）＜ρ（sj），則sj＋1＝（sj＋1＋sj）/2，并重復步驟1，否則轉步驟2；

步驟2：若｜｜sj＋1－sj｜｜＜ε，則轉步驟3；否則sj＝sj＋1并轉步驟1；

步驟3：若目標尺度不需更新，則hopt和對應的sj＋1作為目標觀測值；若需更新尺度，則更新后轉步驟1。

2 實驗結果與討論

如圖3和圖5所示的兩個視頻是在南京市區(qū)某路面交通場景拍攝的320×240AVI錄像，幀率為30幀/秒，并基于Windows XP，Pentium 4，1G內存計算機進行了仿真試驗。取N＝3，ξ＝1/20，Kalman噪聲協(xié)方差初始化為單位矩陣，狀態(tài)轉移矩陣設置為

測量矩陣設置為

式中：I2，O2——2×2單位矩陣和零矩陣。

2.1 相似特征障礙物遮擋下的目標跟蹤

圖3為對視頻1第1～42幀中單運動目標（騎車人）的跟蹤實驗結果。目標從視頻左方駛向右方，途中從一根與騎車人衣服顏色特征相似的柱子后穿過。從第11幀開始目標被部分遮擋，第24幀開始被全部遮擋，第28幀開始從遮擋物右側部分復出，第40幀開始遮擋結束。圖3（a）中綠色 “＊”點標記的是各幀中紅色框所跟蹤的目標中心位置構成的目標運動軌跡，其局部放大圖如圖3（b）所示。目標在第27幀和28幀中的中心位置發(fā)生了較大跳躍，這是Mean shift迭代在概率密度小的區(qū)域步長增大的體現(xiàn)，相對于固定步長搜索法，該方法提高了目標定位速度。

圖3 場景障礙物遮擋下的目標跟蹤軌跡

在目標預測位置附近進行Mean shift搜索需要的迭代次數(shù)減少。雖然運動目標受到較大干擾和被全部遮擋時需要的迭代次數(shù)有所增加，如圖4中第21，24和25幀，但是總平均迭代次數(shù)僅為2次。

圖4 各幀Mean shift迭代次數(shù)

2.2 多目標場景中的互遮擋跟蹤

圖5為對視頻2第4476～4502幀中多行為狀態(tài)下的多目標（主要是車輛）跟蹤實驗結果。天藍色框跟蹤的目標獨立運行，黃色框跟蹤的目標始終處于靜止狀態(tài)。第4484幀開始紅色框被深藍色框跟蹤的目標遮擋，第4490幀開始被后者全部遮擋，第4494幀開始從左側部分復出，第4499幀開始遮擋結束。深藍色框跟蹤的目標在第4492～4502幀中被小樹遮擋。與跟蹤框同色的 “＊”點標記的是各幀中被跟蹤目標的運動軌跡。圖5（a）為第4486幀時的目標運動軌跡，圖5（b）為第4502幀時的目標運動軌跡。

對上述兩視頻序列中的運動目標跟蹤結果進行統(tǒng)計，跟蹤正確率為100%。由實驗結果可知，本文方法能有效融合Mean shift迭代和Kalman估計以校正目標運動軌跡。給出的目標狀態(tài)、模型及協(xié)方差更新方法進一步保證了跟蹤的魯棒準確性，較好實現(xiàn)了對場景障礙物遮擋和目標間互遮擋、部分和全部遮擋目標的跟蹤。本文方法對獨立運行目標和靜止目標的跟蹤也具有良好跟蹤性能。

3 結束語

本文給出一種基于Mean shift和軌跡校正的自適應目標跟蹤方法。將Kalman預測和 Mean shift目標搜索相結合，利用Mean shift迭代軌跡誤差校正噪聲協(xié)方差，并利用Kalman后驗估計校正目標跟蹤軌跡，提高了全局最優(yōu)點收斂性能。通過自適應融合x和y方向分量相似度，提高了相似度計算的可靠性。目標狀態(tài)參數(shù)、特征和尺度模型選擇性自適應更新，進一步保證了跟蹤的快速魯棒穩(wěn)定性。實驗結果表明該方法是有效的。本文目標跟蹤初始化通過手動完成，進一步結合運動檢測實現(xiàn)跟蹤系統(tǒng)的自動起始是我們下一步的工作。

［1］XUE Chen，ZHU Ming，LIU Chunxiang.Review of tracking algorithms under occlusions ［J］.Chinese Journal of Optics and Applied Optics，2009，12（5）：388－394（in Chinese）.［薛陳，朱明，劉春香.遮擋情況下目標跟蹤算法綜述 ［J］.中國光學與應用光學，2009，l2（5）：388－394.］

［2］LI Haojie，LIN Shouxun，ZHANG Yongdong.A survey of video based human motion capture ［J］.J Computer－Aided Design ＆Computer Graphics，2006，18（11）：1645－1651（in Chinese）.［李豪杰，林守勛，張勇東.基于視頻的人體運動捕捉綜述 ［J］.計算機輔助設計與圖形學學報，2006，18（11）：1645－1651.］

［3］SUN Zhongsen，SUN Junxi，SONG Jianzhong，et al.Anti－occlusion arithmetic for moving object tracking ［J］.Optics and Precision Engineering.2007，15（2）：267－271（in Chinese）.［孫中森，孫俊喜，宋建中，等.一種抗遮擋的運動目標跟蹤算法 ［J］.光學精密工程，2007，15（2）：267－271.］

［4］LIU Weijin，ZHANG Yujin.Edge－color－h(huán)istogram and Kalman filter－based real－time object tracking ［J］.Journal of Tsinghua University，2008，48（7）：1104－1107（in Chinese）.［劉惟錦，章毓晉.基于Kalman濾波和邊緣直方圖的實時目標跟蹤 ［J］.清華大學學報，2008，48（7）：1104－1107.］

［5］CHEN Yuan，YU Shengsheng，SUN Weiping，et al.Object tracking using an improved kernel method ［C］.Sichuan：Proc of the International Conference on Embedded Software and Systems，2008：511－515.

［6］Ido Leichter， Michael Lindenbaum，Ehud Rivlin. Mean shift tracking with multiple reference color histograms ［J］.Computer Vision and Image Understanding，2010，114（3）：400－408.

［7］SHAN Caifeng，TAN Tieniu，WEI Yucheng.Real－time hand tracking using a mean shift embedded particle filter ［J］.Pattern Recognition，2007，40（7）：1958－1970.

［8］YUAN Guanglin，XUE Mogen，HAN Yusheng，et al.Mean Shift object tracking based on adaptive multi－features fusion［J］.Journal of Computer Research and Development，2010，47（9）：1663－1671（in Chinese）.［袁 廣 林， 薛 模 根， 韓 裕 生，等.基于自適應多特征融合的Mean Shift目標跟蹤 ［J］.計算機研究與發(fā)展，2010，47（9）：1663－1671.］

［9］Charay Lerdsudwichai，Mohamed Abdel－Mottaleb，A－Nasser Ansari.Tracking multiple people with recovery from partial and total occlusion ［J］.Pattern Recognition，2005，38（7）：1059－1070.

［10］ZHOU Huiyu，YUAN Yuan，SHI Chunmei.Object tracking using SIFT features and mean shift ［J］.Computer Vision and Image Understanding，2009，113（3）：345－352.

［11］Kairoek Choeychuen，Pinit Kumhom，Kosin Chamnongthai.Robust ambiguous target handling for visual object tracking［J］.Int J Electron Commun，2010，64（10）：960－970.

［12］BO Wu，Ram Nevatia，Tracking of Multiple.Partially occluded humans based on static body part detection ［C］.New York：Proc of IEEE Conference on Computer Vision and Pattern Recognition，2006：951－958.

［13］NING Songpeng，YANG Jie，LIU Zhi.Mean shift blob tracking with kernel histogram filtering and hypothesis testing ［J］.Pattern Recognition Letters，2005，26（5）：605－614.

［14］JIA Jingping，ZHAO Rongchun.Adaptive tracking of objects in image sequences using improved Mean Shift algorithm ［J］.Application Research of Computers，2005，22（2）：247－251（in Chinese）.［賈靜平，趙榮椿.使用Mean Shift進行自適應序列圖像目標跟蹤 ［J］.計算機應用研究，2005，22（2）：247－251.］

［15］JIA Jingping，ZHANG Feizhou，CHAI Yanme.Object tracking using the trust－region method in scale－space with probability distribution images generated by kernel density estimation ［J］.J Tsinghua University，2009，49（4）：595－598（in Chinese）.［賈靜平，張飛舟，柴艷妹.基于核密度估計尺度空間的目標跟蹤算法 ［J］.清華大學學報，2009，49（4）：595－598.］