融入運動信息和模型自適應的相關濾波跟蹤

黃 鶴，陳永安，張少帥，茹 鋒,王會峰,郭 璐

(1.長安大學電子與控制工程學院，陜西 西安 710064；2.無人機系統(tǒng)國家工程研究中心，陜西 西安 710072)

0 引言

視覺目標跟蹤是計算機視覺領域的熱點問題，在視頻監(jiān)控、機器人和無人駕駛等領域都有著廣泛的應用前景[1-3]。跟蹤問題的任務，是根據(jù)給定目標的初始位置去估計目標在圖像序列的軌跡[4]。

近年來，基于檢測的跟蹤方法顯示出良好的跟蹤性能，這類方法將目標跟蹤任務作為一個分類問題來處理，利用目標和背景的圖像塊在線訓練分類器[5]。其中，相關濾波器速度快效果好，成為當前的主流研究[6-13]方向之一。

邊界效應是相關濾波類算法自引入循環(huán)矩陣的固有缺陷，一直未被解決，當前主流算法多采用在疊加余弦窗去緩解，但余弦窗卻帶來了新的問題。因此，針對跟蹤場景中常見的目標遮擋問題，本文提出了一種融入運動信息和模型自適應的相關濾波跟蹤算法，用來處理余弦窗的影響和復雜場景中目標遮擋的難題，在保證實時性的情況下，有效提升跟蹤算法的精確度和成功率。

1 跟蹤算法

1.1 多特征融合

眾所周知，HOG特征對運動模糊和光照變化具有很強的魯棒性，但對快速變形和快速運動目標跟蹤效果不好；顏色直方圖對變形不敏感，但對光照變化和背景顏色相似跟蹤效果不好。因此，本文算法采用模板類特征HOG與統(tǒng)計特征顏色直方圖互補線性結(jié)合框架，具體細節(jié)參考文獻[12]，即

f(x)=γtmplftmpl(x)+γhistfhist(x)

(1)

ftmpl(x)為模板響應；fhist(x)為顏色直方圖響應；γ為融合系數(shù)。將式(1)分為兩部分進行求解。

模板響應是K通道特征圖像的一個線性函數(shù)

ftmpl(x;h)=∑u∈Th[u]Τφx[u]

(2)

φx為圖像模板特征；φx:T→RK，定義在有限的網(wǎng)格T?Z2；h為模板模型參數(shù)。

直方圖響應由m通道特征圖像中計算得到

fhist(x;β)=g(ψx;β)

(3)

(4)

ψx為圖像顏色直方圖特征；ψx：H→Rm，定義在有限的網(wǎng)格H?Z2；β為顏色模型參數(shù)。

使用2個嶺回歸方程得到參數(shù)h和β的解

(5)

(6)

Lhist(β;ψ)為顏色直方圖的損失函數(shù)；λ為正則項系數(shù)。

模板參數(shù)h及其在線更新為:

(7)

(8)

(9)

顏色直方圖參數(shù)β及在線更新為：

(10)

ρt(O)=(1-ηhist)ρt-1(O)+ηhistρt(O)

(11)

ρt(B)=(1-ηhist)ρt-1(B)+ηhistρt(B)

(12)

ρt(O)和ρt(B)由顏色統(tǒng)計特征得到；ηhist為顏色特征學習率。

1.2 余弦窗影響處理方法

本文在疊加余弦窗的基礎上，引入卡爾曼濾波和上下文感知濾波器[14]，減緩余弦窗的影響。

1.2.1 卡爾曼濾波

相關濾波類算法都是以上一幀目標位置為中心進行搜索檢測。當遇到目標快速運動，目標移動到搜索區(qū)域邊緣，部分目標像素會被余弦窗過濾掉，此時無法保證得到的響應全局最大，造成跟蹤結(jié)果變差；或者部分目標已經(jīng)移出了搜索區(qū)域，此時余弦窗會過濾掉僅存的目標像素，造成跟蹤失敗。因此算法引入卡爾曼濾波，預測當前幀目標的位置，以預測位置為中心進行搜索檢測。

采用線性等速模型來近似目標幀間位移，目標的狀態(tài)建模為Et=[u,v,u′,v′]，u和v分別代表目標中心的水平和垂直像素位置;u′和v′分別代表水平和垂直速度分量。

(13)

(14)

(15)

(16)

(17)

目標的觀測狀態(tài)Zt通過模板響應和直方圖響應的線性融合得到。對公式中P0、Q和R的取值分析：P0代表對初值估計的不確定性，初值由標注數(shù)據(jù)給出，故取P0為零矩陣。目標觀測狀態(tài)Zt由濾波算法獲得，可信度較高，目標預測狀態(tài)只是近似估計，可信度較低，故在數(shù)值上R?Q，這里取Q=10I(4)，R=0.1I(2)，I為單位陣。

1.2.2 上下文感知濾波器

由于余弦窗過濾掉分類器需要學習的背景信息，當目標遇到復雜背景干擾時，容易造成跟蹤失敗。引入上下文感知濾波器，作為部件添加到相關濾波器中，該方法提取目標框上下左右4塊背景信息，對相關濾波器進行訓練，并且還有破壞模型的封閉解。加入目標周圍背景信息后，相當于把式(5)的求解變?yōu)?/p>

(18)

A0代表目標框；Ai代表目標周圍背景塊，與式(5)相比，多了λ3正則項。

式(18)整理為

(19)

f(h,B)為凸函數(shù)，將梯度設置為0，使其最小化，得到

(20)

在傅里葉域上得到封閉解為

(21)

1.3 模型自適應更新

相關濾波類跟蹤算法采用固定的更新率，每一幀都更新模型參數(shù)，這種更新策略有很大的缺陷。采用每一幀都更新的模式，當目標遇到連續(xù)遮擋時，模型持續(xù)更新，會學習到大量干擾信息，造成跟蹤漂移。采用固定更新率，如果更新率設置過大，且遇到遮擋、模糊、背景雜波時，模型會快速學習到大量干擾信息；如果更新率設置過小，則模型的更新速度趕不上目標的變化程度。

在此，引入高置信度檢測方法[15]，根據(jù)2個準則去判斷是否更新

Fmax=maxF(s,y，w)

(22)

(23)

F(s,y,w)表示模板響應圖；Fmax、Fmin和Fw,h分別表示響應圖中最大值、最小值和w行h列元素。平均相關峰值能量EAPCE表示響應圖的波動程度和檢測目標的置信度。

當前幀EAPCE和Fmax的值大于歷史平均值α1和α2倍時才進行模型更新。在模型更新時，提出一種新的自適應學習率方法

(24)

(25)

2 實驗與結(jié)果分析

為了驗證和評估本文算法，將本文算法與當前6個主流相關濾波類算法DSST[5]、KCF[9]、fDSST[10]、Staple[12]、Staple-CA[15]、SAMF[16]進行了對比實驗，采用OTB-2015[17]作為實驗數(shù)據(jù)集。

2.1 評價指標

評價標準采用精確度和成功率2個指標。精確度指中心位置誤差(center location error, CLE)小于某一閾值的幀數(shù)占總幀數(shù)的比值。中心位置誤差計算式為

(26)

成功率指重疊率(overlap rate, OR)大于某閾值的幀數(shù)占總幀數(shù)的比值，實際上成功率評分時采用這個曲線下方的面積。重疊率的計算式為

(27)

2.2 實驗環(huán)境及參數(shù)設置

實驗環(huán)境為Windows10操作系統(tǒng)，MATLAB 2018a，CPU為I7-8700HQ，RAM為16 GB。模板分類器的學習率ηtmpl_b=0.02，線性融合系數(shù)γtmpl=0.8。直方圖分類器的學習率ηtmpl_b=0.04，融合系數(shù)γhist=0.2。正則權(quán)重λ1=1/3，λ2=1/3，λ3=0.5。模型自適應更新中，α1=0.4，α2=0.5，α3=1.3。

2.3 實驗評估

2.3.1 總體性能比較

為了對比算法總體性能，將本文算法與其他6個主流算法在OTB-2015數(shù)據(jù)集上比較，實驗表明本文算法精確度和成功率分別為0.821和0.615，比Staple-CA算法在精確度上提升了1.3%，成功率上提升了2.8%；比Staple算法在準確度上提升了4.7%，成功率上提升了6.2%。本文算法運行速度為54.34幀/s，與其他幾種算法相比，本文算法在成功率和精確度得到提升的同時，速度上仍滿足實時性。幾種算法精確度和成功率具體對比結(jié)果如圖1和圖2所示。算法速度對比結(jié)果如表1所示。

圖1 精確度曲線

圖2 成功率曲線

表1 跟蹤算法平均速度 幀·s-1

2.3.2 數(shù)據(jù)集屬性分析

為了充分評估本文算法在復雜場景中的性能，根據(jù)OTB-2015數(shù)據(jù)集提供的11種標注屬性，對比本文算法與其他6種算法在11種屬性上的成功率，具體結(jié)果如表2所示。

表2 各個算法在11種屬性上的成功率

在表2中，黑體加下劃線為該屬性的最優(yōu)值，本文算法在成功率上9個屬性最優(yōu)。與Staple-CA算法相比，本文算法在背景雜波，運動模糊，變形，遮擋，平面外旋轉(zhuǎn)，移出視野，尺度變化7個屬性上成功率提升顯著，分別提升了3.0%，8.7%，4.4%，5.8%，3.0%，13.0%和3.0%。

2.3.3 跟蹤結(jié)果比較

為了更直觀地對比分析算法的跟蹤性能，將本文算法與圖2中排名靠前的Staple-CA和Staple算法在視頻序列中的girl、jogging、skiing、couple進行定性分析。圖3為3種算法在測試序列的部分跟蹤結(jié)果。

在圖3的girl序列、jogging序列中，當目標遇到連續(xù)嚴重遮擋時,其他幾種算法仍持續(xù)更新模型，學習到大量干擾信息，造成后續(xù)幀全部跟蹤失敗。而本文算法加入模型自適應更新，有較強的抗遮擋能力，對大部分遮擋序列都能較好跟蹤。在skiing序列中，由于目標快速運動，目標移動到搜索區(qū)域邊緣被余弦窗過濾掉，從而造成跟蹤失敗。在couple序列中，目標周圍有較多背景雜波，其他算法在跟蹤時，采用固定學習率每一幀都更新模型，致使濾波器學習到大量背景信息，造成跟蹤漂移。而本文算法采用自適應學習率，從而受到影響較小。

圖3 3種算法在4個視頻序列上的跟蹤結(jié)果

3 結(jié)束語

本文提出一種融入運動信息和模型自適應更新的相關濾波跟蹤算法，引入卡爾曼濾波和上下文感知濾波器，有效解決了余弦窗的影響；引入高置信度檢測方法和一種自適應學習率方法，有效解決了目標遮擋問題。將本文算法與其他6種主流算法在OTB-2015數(shù)據(jù)集上進行對比實驗，結(jié)果表明：本文算法精確度和成功率分別為0.821和0.615，比Staple-CA算法精確度提升了1.3%，成功率提升了2.8%，相比其他算法跟蹤效果提升明顯，魯棒性較強。同時，本文算法速度為54.34 幀/s，滿足實際工程實時性要求。