復雜場景中的視覺跟蹤研究

丁建偉++劉偉

摘要：現(xiàn)有的視覺跟蹤方法在復雜場景中依然難以有效跟蹤運動物體，而融合多種特征能有效地提升算法在復雜場景中的跟蹤效果。該文研究了在粒子濾波框架下基于多種特征融合的視覺跟蹤算法，通過在線訓練支持向量機分類器構造判別式目標表觀模型。在復雜場景視頻中進行測試，實驗結果表明該文跟蹤算法具有較好的魯棒性和準確性。

關鍵詞： 視覺跟蹤；復雜場景；融合；支持向量機；粒子濾波

中圖分類號：TP391 文獻標識碼：A 文章編號：1009-3044（2016）01-0196-02

Research on Visual Tracking in Complex Scenes

DING Jian-wei1，LIU Wei2，3

（1.People's Public Security University of China， Beijing， 102623， China； 2.School of Electro-mechanical Engineering， Nanyang Normal University， Nanyang 473061， China； 3.Oil Equipment Intelligent Control Engineering Laboratory of Henan Province， Nanyang Normal University， Nanyang 473061， China）

Abstract：It is still difficult for existing visual tracking algorithms to track effectively moving objects in complex scenes. However， it can promote tracking performances largely by integrating multiple features in complex scenes. This paper proposes a multiple features fusion based visual tracking algorithm in particle filter framework. And the online trained support vector machine classifier is used to construct the discriminative appearance model. The method is tested in videos with complex scenes， and experimental results shows that the proposed tracking algorithm is robust and accurate.

Key words：visual tracking； complex scenes； fusion； support vector machine； particle filter

1 概述

視覺跟蹤研究如何讓計算機自動確定感興趣的目標在視頻中的位置、軌跡以及運動參數(shù)等信息，是計算機視覺的關鍵研究問題。近年來，雖然視覺跟蹤研究有了長足的進步，但當場景中存在嚴重的圖像噪聲、快速的光照、姿態(tài)變化以及復雜的目標運動時，現(xiàn)有的目標跟蹤算法依然很難解決這些難題，原因在于跟蹤的核心問題目標表觀建模還沒有得到根本解決。

對目標表觀進行建模，一般需要首先提取跟蹤物體的視覺特征，常用的特征有原始像素特征[1]和直方圖特征[2]等，這些特征都有其優(yōu)缺點，并不適用于任意場景和物體。因此，本文研究基于多種視覺特征描述目標表觀，避免使用單一特征存在的缺點，提升跟蹤算法在復雜場景中的性能，

2 算法框架

在粒子濾波框架下，跟蹤可以看做是貝葉斯狀態(tài)空間推理問題：

[p（Xt|Ot）∝p（ot|Xt）p（Xt|Xt-1）p（Xt|Ot）dXt-1] （1）

其中[Ot={o1，o2…ot}]是目標的觀測集合，[ot]是目標在t時刻的觀測向量。[Xt]是目標在t時刻的狀態(tài)參數(shù)，[Xt=（xt，yt，ht，wt）]，其中[xt]，[yt]，[ht]和[wt]分別表示目標在橫軸和縱軸的位移，以及跟蹤方框的長度和寬度。跟蹤過程由表觀似然度函數(shù)[p（ot|Xt）]和目標動態(tài)函數(shù)[p（Xt|Xt-1）]決定，下面分別討論。

2.1表觀似然度函數(shù)

表觀似然度函數(shù)[p（ot|Xt）]表示目標狀態(tài)為[Xt]時觀測為[ot]的概率，基于在線學習的目標表觀模型計算得到。目標表觀模型可分為生成式和判別式兩種，由于判別式模型融合了背景信息，因而在跟蹤時能夠比生成式模型更好的區(qū)分相似物體的干擾，本文選擇判別式表觀模型描述目標，具體包括特征提取和在線分類器學習。

2.1.1 多特征融合

為了克服單一特征造成的局限性，提高跟蹤算法在復雜場景下的準確性，本文選擇融合HSI顏色特征、局部二值模式（Local Binary Patterns，LBP）特征、方向梯度直方圖（Histogram of Oriented Gradient， HOG）特征描述目標。

HSI顏色特征：基于HSI顏色空間提取的特征，包括色度（Hue）、飽和度（Saturation）和灰度（Intensity）。將輸入圖像從RGB空間轉(zhuǎn)化到HSI空間，調(diào)整圖像尺寸為標準大小，例如24×24像素，并將該顏色特征向量進行歸一化。

LBP特征：是一種有效的紋理描述算子，用來度量和提取圖像局部的紋理信息，具有旋轉(zhuǎn)不變性和灰度不變性等顯著的優(yōu)點。

HOG特征：HOG特征[3]通過計算和統(tǒng)計圖像局部區(qū)域的梯度方向直方圖來描述物體，對圖像的幾何和光學形變都能保持較好的不變性，因而在計算機視覺領域獲得了廣泛應用，特別是在圖像檢測領域取得了巨大的成功。由于原始的HOG特征提取比較費時，因此本文采用文獻[7]描述的快速HOG特征提取方法，并對提取的HOG特征進行歸一化。

將HSI顏色特征、LBP特征和HOG特征組合，即可得到目標圖像的特征描述子[ot]。

2.1.2 在線分類器學習

在判別式跟蹤框架中，表觀似然度函數(shù)[p（ot|Xt）]由在線學習的二分類器計算得到，本文選擇支持向量機（Support Vector Machine， SVM）分類器。SVM分類器的輸入是特征描述子[ot]，設輸出的分類結果為[y∈{+1，-1}]，其中數(shù)值-1代表背景，而數(shù)值+1代表跟蹤目標，則目標表觀似然度由下式計算得到：

[p（ot|Xt）∝f（ot）=wTot+b] （2）

式中[f（ot）]是輸入為特征向量[ot]輸出分類結果為[y=+1]的概率，[w]和[b]是SVM分類器的模型參數(shù)。

在得到每一幀跟蹤結果后，在跟蹤結果周圍提取新的樣本，然后用來訓練SVM分類器，得到新的模型參數(shù)，在實驗中使用了L2正則化的SVM訓練方式[4]。

2.2目標動態(tài)函數(shù)

目標動態(tài)函數(shù)[p（Xt|Xt-1）]表示連續(xù)幀之間目標狀態(tài)的轉(zhuǎn)移概率，考慮到算法的實時性要求，一般認為目標在當前幀的狀態(tài)與前一幀的狀態(tài)相差不大，因此可以假設[Xt]服從以[Xt-1]為均值的高斯分布，即

[p（Xt|Xt-1）=N（Xt；Xt-1，Φ）] （3）

式中[N]表示高斯分布，[Φ]是對角協(xié)方差矩陣，[Φ=diag（σ2x，σ2y，σ2h，σ2w）]，[σ2x，σ2y，σ2h，σ2w]是常數(shù)參數(shù)。

3 實驗

為了驗證算法在復雜場景下跟蹤目標的有效性，本文選擇了三段公開的跟蹤測試視頻[5]，視頻中存在各種跟蹤難題，包括光照突然變化、大的姿態(tài)變化、雜亂背景和低質(zhì)量圖像等。

圖1、圖2和圖3分別是在視頻“David”、“Car4”、“Woman”上測試的跟蹤結果截圖。圖1跟蹤的目標是人臉，視頻中存在光照突變，姿態(tài)變化和雜亂背景等。圖2跟蹤的目標是汽車，視頻中存在光照突變，尺度變化等。圖3跟蹤的目標是行人，視頻中存在物體遮擋，和雜亂背景等。由圖可知，本文算法可以準確的跟蹤目標。

圖1 在視頻“David”上的跟蹤結果截圖

圖2 在視頻“Car4”上的跟蹤結果截圖

圖3 在視頻“Woman”上的跟蹤結果截圖

4 結論

本文研究了復雜場景中目標跟蹤的難題，為了改善基于單一特征很難有效跟蹤目標的缺點，本文通過融合多種特征對目標進行跟蹤。為了檢驗算法的有效性，選取了復雜場景的視頻進行測試，實驗結果表明使用多種特征能準確魯棒的跟蹤目標。

參考文獻：

[1] Ross D A， Lim J， Lin R S， et al. Incremental learning for robust visual tracking[J]. International Journal of Computer Vision， 2008，77（1）：125–141.

[2] Comaniciu D， Ramesh V， Meer P. Kernel-based object tracking[J]. IEEE Trans. on Pattern Analysis and Machine Intelligence， 2003，25（5）：564–577.

[3] Navneet Dalal， Bill Triggs. Histograms of Oriented Gradients for Human Detection. IEEE Conference on Computer Vision and Pattern Recognition[C]. San Diego： IEEE Press， 2005：886-893.

[4] Zhuang Wang， Slobodan Vucetic. Online training on a budget of support vector machines using twin prototypes[J]. Statistical Analysis and Data Mining， 2010， 3（3）：149-169.

[5] Wu J， Lim J， Yang M H. Online Object Tracking： A Benchmark. IEEE Conference on Computer Vision and Pattern Recognition[C]. Oregon： IEEE Press， 2013：2411-2418.