復(fù)雜環(huán)境下基于相關(guān)濾波的行人跟蹤方法研究

張亞須 云利軍 龍暉

摘要：近幾年，基于相關(guān)濾波的跟蹤方法得到很大的改善，Staple跟蹤算法在KCF跟蹤方法的基礎(chǔ)上引入顏色特征和多尺度檢測，使得算法的跟蹤準(zhǔn)確度得到大的提升，但是因?yàn)镾taple算法中模型一直更新，目標(biāo)被遮擋一段時(shí)間后，模型不能很好地表達(dá)目標(biāo)行人，導(dǎo)致跟蹤效果下降。為此，在該文中，當(dāng)方向梯度直方圖特征模型大于給定的閾值時(shí)，僅僅使用梯度方向直方圖特征進(jìn)行跟蹤，否則使用顏色特征對(duì)此進(jìn)行補(bǔ)充，同時(shí)，顏色特征模型只有在大于給定的顏色特征模型響應(yīng)閾值時(shí)才更新，仿真實(shí)驗(yàn)結(jié)果表明，此方法在一定程度上能夠提高行人跟蹤的準(zhǔn)確度。

關(guān)鍵詞：相關(guān)濾波；跟蹤；遮擋；多尺度；閾值

中圖分類號(hào)：TP3 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1009-3044（2018）09-0200-03

1 引言

目標(biāo)跟蹤是計(jì)算機(jī)視覺中的一個(gè)重要方向，不僅有著重要的研究價(jià)值，而且有著廣泛的市場價(jià)值。最近十幾年，行人跟蹤得到快速發(fā)展，很多優(yōu)秀的跟蹤方法被提出，但是由于受到行人姿勢改變、運(yùn)動(dòng)軌跡改變、環(huán)境等的影響，跟蹤效果不理想。

行人跟蹤常使用顏色特征、文理特征和HOG特征等。傳統(tǒng)的均值漂移（Mean-shift）[1]算法就是使用的顏色特征，但是當(dāng)背景與目標(biāo)相似時(shí)傳統(tǒng)的均值漂移算法會(huì)跟蹤錯(cuò)誤。文獻(xiàn)[2]中把顏色特征和文理特征結(jié)合起來，在跟蹤背景與目標(biāo)顏色相似時(shí)，明顯提高了跟蹤的精確度。為了解決環(huán)境干擾和遮擋問題，文獻(xiàn)[3]中結(jié)合居于顏色和文理特征的均值漂移跟蹤方法和擴(kuò)展的卡爾曼濾波方法。近幾年，研究者把信號(hào)處理中的相關(guān)濾波應(yīng)用到目標(biāo)跟蹤中，文獻(xiàn)[4]中結(jié)合灰度空間特征和相關(guān)濾波來實(shí)現(xiàn)目標(biāo)跟蹤，跟蹤速率達(dá)到300幀每秒，文獻(xiàn)[5]中使用顏色特征，檢測效果有所改進(jìn)，但是檢測速度下降到100幀每秒。文獻(xiàn)[6]中引入核函數(shù)，被稱為KCF跟蹤方法，通過計(jì)算目標(biāo)行人的HOG特征的模型的相關(guān)性大小得到目標(biāo)行人的位置，文獻(xiàn)[7]中提出Staple跟蹤算法，結(jié)合顏色特征和HOG特征進(jìn)行行人跟蹤，同時(shí)對(duì)目標(biāo)行人進(jìn)行多尺度檢測。

Staple跟蹤算法雖然跟蹤速度和準(zhǔn)確度都不錯(cuò)，但是當(dāng)目標(biāo)行人被嚴(yán)重遮擋時(shí)，目標(biāo)行人丟失，當(dāng)目標(biāo)行人再次出現(xiàn)在跟蹤窗口時(shí)，不能正確持續(xù)地對(duì)目標(biāo)進(jìn)行跟蹤。為了解決此問題，引入判別閾值，當(dāng)目標(biāo)行人的hog特征模型的響應(yīng)值小于閾值時(shí)，認(rèn)為目標(biāo)行人被障礙行人遮擋，此時(shí)引用顏色特征對(duì)行人進(jìn)行區(qū)分，當(dāng)顏色特征模型的響應(yīng)值小于閾值時(shí)，停止對(duì)顏色特征模型更新。

2 相關(guān)內(nèi)容

2.1 相關(guān)濾波

原始相關(guān)濾波是用于信號(hào)處理方面，用來描述兩個(gè)信號(hào)的相似性。

2.2 HOG特征

KCF行人跟蹤方法以目標(biāo)行人的HOG特征作為模型，用來計(jì)算搜索區(qū)域各個(gè)窗口的響應(yīng)值。HOG特征描述子[8]通過計(jì)算和統(tǒng)計(jì)圖像局部區(qū)域的梯度方向直方圖得到圖像特征，在圖像處理、檢測中得到廣泛應(yīng)用，HOG特征提取如下：

（1）計(jì)算圖像各點(diǎn)的梯度方向值

計(jì)算每個(gè)像素水平方向和垂直方向上的梯度值，最終得到該點(diǎn)的梯度值，計(jì)算公式如下：

（2）計(jì)算梯度方向直方圖

根據(jù)公式（5），把梯度方向劃分到[0，π]上，如果[αx1，y1-αx2，y2=π]，則[αx1，y1]和[αx2，y2]落在同一個(gè)[bin]區(qū)間。把[αx，y]離散到到p個(gè)值上，則每一點(diǎn)離散值的計(jì)算如下：

將圖像劃分為小區(qū)間cell，統(tǒng)計(jì)每個(gè)梯度方向區(qū)間點(diǎn)的個(gè)數(shù)，則每個(gè)區(qū)間[p]維。這樣每個(gè)小區(qū)間相當(dāng)于p個(gè)通道，在KCF中，為了減少離散傅里葉時(shí)的計(jì)算量，加快速度，把各個(gè)通道的值直接相加。

2.3 顏色特征

顏色特征作為一種最直觀的特征，很早以前就受到研究者的關(guān)注。 一般使用顏色特征時(shí)，是使用顏色直方圖特征。首先將圖像的各個(gè)通道的色彩值劃分為多個(gè)區(qū)間，計(jì)算每個(gè)像素點(diǎn)對(duì)應(yīng)的像素值屬于哪個(gè)區(qū)間。

2.4 多尺度檢測

KCF方法跟蹤目標(biāo)行人的過程中行人窗口固定不變，當(dāng)行人遠(yuǎn)離攝像頭時(shí)，行人逐漸變小，行人在目標(biāo)框中所占區(qū)域越來越小，目標(biāo)行人特征在模型中的影響越來越弱。因此，為了使模型能夠很好地表示目標(biāo)行人，需要對(duì)目標(biāo)行人窗口進(jìn)行多尺度檢測，得到最佳的目標(biāo)行人窗口。

在多尺度檢測時(shí)，以檢測到的目標(biāo)行人窗口的中心點(diǎn)pos取多個(gè)尺度的窗口，行人多尺度窗口大小計(jì)算如下：

其中[wind]為上一幀目標(biāo)行人的實(shí)際窗口大小，[scale]為對(duì)應(yīng)的尺度變化參數(shù)。根據(jù)pos和swind，提取目標(biāo)行人各個(gè)尺度下的hog特征，然后計(jì)算hog特征模型在各個(gè)尺度下的響應(yīng)值，根據(jù)最大響應(yīng)值對(duì)應(yīng)的尺度，計(jì)算目標(biāo)行人在當(dāng)前幀的最佳窗口。

2.5 計(jì)算跟蹤精度

在計(jì)算目標(biāo)跟蹤準(zhǔn)確度時(shí)，使用檢測目標(biāo)的中心點(diǎn)與對(duì)應(yīng)幀圖片中目標(biāo)行人的標(biāo)注中心點(diǎn)的距離，令距離為[d]，當(dāng)距離[d]小于閾值[T]時(shí)認(rèn)為目標(biāo)行人跟蹤準(zhǔn)確。

3 本文改進(jìn)方法

3.1 模型更新

在現(xiàn)實(shí)中，行人跟蹤環(huán)境復(fù)雜多變，常常被別的行人遮擋，此時(shí)不能正確地跟蹤到目標(biāo)行人，為此引入顏色特征進(jìn)行區(qū)分。顏色特征是一種最直觀的特征，具有旋轉(zhuǎn)、縮放等不變性，當(dāng)行人被嚴(yán)重遮擋時(shí)，顏色特征變化極大，因此，為了更好地對(duì)顏色特征模型進(jìn)行更新，當(dāng)顏色特征模型的響應(yīng)值小于顏色特征模型閾值時(shí)，停止顏色特征模型更新。其更新公式如下：

3.2 模型響應(yīng)值計(jì)算

在跟蹤過程中，根據(jù)模型響應(yīng)最大值在搜索窗口尋找目標(biāo)行人窗口，當(dāng)hog特征模型的響應(yīng)值大于閾值[T_h]時(shí)，認(rèn)為目標(biāo)行人沒有被遮擋，根據(jù)hog特征模型的最大響應(yīng)值計(jì)算目標(biāo)行人位置；否則認(rèn)為目標(biāo)行人被遮擋，引入顏色特征模型，加權(quán)求兩種模型響應(yīng)值的和，根據(jù)加權(quán)后的響應(yīng)值計(jì)算目標(biāo)行人的窗口位置。其模型響應(yīng)值計(jì)算如下：

4 仿真實(shí)驗(yàn)與結(jié)果分析

本文選擇行人跟蹤視頻集Benchmark中的27個(gè)行人視頻作為研究，下圖為KCF、Staple和本文方法在27個(gè)視頻中進(jìn)行行人跟蹤，目標(biāo)行人中心偏移閾值與準(zhǔn)確度平均值圖。

由圖1可知，KCF跟蹤方法的準(zhǔn)確度最低，本文方法準(zhǔn)確度最高，Staple方法比本文方法稍微差些。在KCF跟蹤方法中僅僅使用hog特征，當(dāng)遇到相似目標(biāo)遮擋時(shí)，容易丟失目標(biāo)；在Staple跟蹤方法中，引入了顏色特征，可以區(qū)分不同顏色的行人，同時(shí)引入多尺度處理使窗口自適應(yīng)行人大小；本文方法與Staple方法相似，但是本文中，當(dāng)hog的響應(yīng)值較大時(shí)，認(rèn)為很好的跟蹤到目標(biāo)行人，不使用顏色特征，當(dāng)hog響應(yīng)值較小時(shí)，加入顏色特征用于區(qū)分目標(biāo)行人窗口和非目標(biāo)行人窗口，同時(shí)只有當(dāng)顏色特征模型的響應(yīng)值大于閾值時(shí)，才對(duì)顏色特征模型更新，得到的顏色特征模型能夠更好的表達(dá)行人。

下面為三種跟蹤方法在girl2中的跟蹤效果圖，其中黃色窗口為KCF跟蹤方法結(jié)果，綠色窗口為Staple方法的跟蹤結(jié)果，黑色窗口為本文方法跟蹤結(jié)果。

由圖2可知，在第108幀時(shí)，障礙行人完全遮擋了目標(biāo)行人，導(dǎo)致目標(biāo)行人丟失，在第304幀時(shí)，目標(biāo)行人再次進(jìn)入跟蹤窗口中，在第325幀時(shí)，僅有本文方法準(zhǔn)確的跟蹤到目標(biāo)行人。因?yàn)楸疚姆椒ㄔ谛腥隧憫?yīng)值太小時(shí)，認(rèn)為目標(biāo)行人被遮擋，停止對(duì)顏色特征模型更新，當(dāng)目標(biāo)行人再次進(jìn)入跟蹤窗口時(shí)，行人模型能夠很好地表示目標(biāo)行人。而KCF和Staple方法因?yàn)槟繕?biāo)長時(shí)間丟失，模型根據(jù)錯(cuò)誤目標(biāo)持續(xù)更新，導(dǎo)致模型不能很好地表達(dá)目標(biāo)行人，所以在目標(biāo)再次出現(xiàn)在窗口中時(shí)，不能再對(duì)目標(biāo)行人持續(xù)正確地進(jìn)行跟蹤。

5 結(jié)論

本文引入閾值與顏色特征模型，當(dāng)hog特征模型響應(yīng)值小于閾值，引入顏色特征用于區(qū)分目標(biāo)行人和障礙行人，同時(shí)為了使顏色特征模型更好的表示目標(biāo)行人，當(dāng)顏色特征模型響應(yīng)值小于閾值時(shí)停止更新。實(shí)驗(yàn)結(jié)果表明，此方法在復(fù)雜環(huán)境中具有較好的跟蹤效果。

參考文獻(xiàn)：

[1] Comaniciu D， Ramesh V， Meer P. Kernel based object traing[J]. IEEE Trans on Pattern Analysis and Machine Intelligence， 2003， 25（5）： 564-577.

[2] 戴淵明， 韋巍， 林亦寧. 基于顏色紋理特征的均值漂移目標(biāo)跟蹤算法[J]. 浙江大學(xué)學(xué)報(bào)（工學(xué)版）， 2012， 46（2）： 212-217.

[3] 賈松敏， 王爽， 王麗佳. 多特征自適應(yīng)均值漂移算法的目標(biāo)跟蹤[J]. 光電子?激光， 2014， 25（10）： 2018-2024.

[4] Henriques J.F， Rui C， Martins P. Exploiting the Circulant Structure of Tracking-by-Detection with Kernels[J]. European Conference on Computer Vision， 2012， 7575 （1）： 702-715.

[5] Danelljan M， Khan F.S， Felsberg M. Adaptive Color Attributes for Real-Time Visual Tracking[J]. Computer Vision & Pattern Recognition， 2014： 1090-1097.

[6] Henriques J.F， Rui C， Martins P. High-Speed Tracking with Kernelized Correlation Filters[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence， 2015， 37 （3）： 583-596.

[7] Bertinetto L， Valmadre J， Golodetz S， et al. Staple： Complementary Learners for Real-Time Tracking[C].IEEE Conference on Computer Vision and Pattern Recognition，2016，7：1401-1409.

[8] Dalal N， Triggs B. Histograms of oriented gradients for human detection [C]. IEEE Computer Society Conference on Computer Vision & Pattern Recognition，2005， 1 （12）： 886-893.