基于核相關濾波和卡爾曼濾波預測的混合跟蹤方法

范文兵, 張璐璐

(鄭州大學 電氣與信息工程學院,河南 鄭州 450001)

目標跟蹤是計算機視覺領域中的一個重要研究方向。運動目標跟蹤算法按照工作原理可分為生成式方法和判別式方法,而相關濾波算法是一種判別式跟蹤方法[1],它通過循環(huán)移位來產生訓練樣本,并在傅里葉域中進行計算,大大提高了算法效率,因此,得到了廣泛研究。Bolme 等[2]提出最小輸出平方和誤差 (minimum output sum of squared error,MOSSE)算法,并首次引入相關濾波進行圖像跟蹤。Henriques等[3]提出循環(huán)結構內核 (circulant structure of tracking-by-detection with kernel,CSK)跟蹤器,隨后又改進了CSK跟蹤器,提出了多通道特征的核相關濾波器(kernelized correlation filter,KCF)[4]?；谀繕顺叨茸兓瘑栴},Danelljan等[5]提出快速區(qū)分尺度空間跟蹤(fast discriminative scale space tracker,fDSST)算法,引入一種基于尺度金字塔的相關濾波器來檢測尺度變化,實現相關濾波與尺度濾波相結合。

針對跟蹤過程中的目標遮擋問題,目前大部分的改進側重點在搜集更多目標特征,從而在跟蹤中得到較大的目標響應。Li等[6]通過融合CN特征和HOG特征,提出尺度自適應多特征濾波算法(scale adaptive with multiple feature tracker,SAMF)。Bertinetto等[7]提出互補學習的跟蹤方法Staple,通過2種互補特征因子顏色直方圖和HOG特征進行融合。除此之外,還有一些其他針對目標遮擋問題的跟蹤算法。Kalal等[8]提出跟蹤學習檢測算法(tracking learning detection,TLD),引入學習和檢測概念,通過先驗知識實現對目標的長期跟蹤。陳麗萍等[9]通過在核相關濾波中加入高置信度判斷以及重檢機制來實現長時目標跟蹤。潘振福等[10]將峰值旁瓣比作為跟蹤目標檢測的標準,在跟蹤失敗時通過目標檢測器在圖像中重新檢測目標。上述方法雖然可以在一定程度上處理遮擋問題,但是仍然存在一些不足。第一,許多算法無法判斷出目標遮擋的具體程度,并且采用固定的學習率不能自適應地更新模型。第二,在目標遮擋情況下,這些算法單純依靠外觀模型,忽略了目標的運動信息。

本文在KCF目標跟蹤算法的框架基礎上,提出一種抗遮擋的目標跟蹤算法。首先,傳統(tǒng)KCF算法缺少對跟蹤結果的遮擋檢測,為了評估跟蹤結果的可靠性,算法引入響應的峰值旁瓣比來判斷遮擋類型。其次,針對KCF算法采用固定學習率進行模型更新而導致跟蹤漂移的問題,算法實現根據遮擋類型來自適應改變學習率參數。當目標被部分遮擋時,自適應降低目標模型更新的學習率,減少背景或者遮擋物對目標模型的影響;當嚴重遮擋發(fā)生時,停止目標模型的更新。最后,為了解決KCF算法在遮擋場景中丟失跟蹤目標的問題,算法加入卡爾曼濾波(Kalman filter,KF)構建運動模型來預測嚴重遮擋下的目標位置。

1 核相關濾波算法原理

核相關濾波算法首先提取目標的樣本特征;其次利用循環(huán)矩陣生成大量訓練樣本;再次通過高斯濾波器計算目標區(qū)域和待測區(qū)域的相關響應值,最大響應值位置即是目標中心;最后選擇新目標區(qū)域的特征來更新目標模型。

KCF 算法以嶺回歸方式訓練濾波器,假設訓練樣本為xi,其目的是尋找一個目標分類器f(xi)=wTxi,使得濾波器期望輸出yi和訓練樣本xi之間的均方誤差函數最小,即

(1)

式中:λ為正則化參數;w為分類器權重系數,w的最優(yōu)解[4]為

w=(XTX+λI)-1XTy。

(2)

式中:X為數據矩陣;I為單位矩陣;y為期望目標回歸矩陣。

利用循環(huán)矩陣和傅里葉變換性質,式(1)在頻域中的解為

(3)

找到w的最佳值等同于找到α的最佳值,其中α計算公式為

α=(K+λI)-1y。

(4)

式中:K為由Ki,j=k(xi,xj)組成的核矩陣?；谘h(huán)結構和快速傅里葉變換(FFT),矩陣α變換為

(5)

式中:kxx為核矩陣K第1行元素組成的向量。

輸出響應計算公式為

(6)

式中:F-1為離散傅里葉逆變換;f(z)為輸出響應值,其最大值就是待跟蹤目標所在位置。

KCF目標跟蹤算法采用線性插值并且以固定的學習率對模型進行更新,更新方式如下:

(7)

式中:γ為學習率;αt、xt和αt-1、xt-1分別表示第t幀和第t-1幀的參數和目標模板。

在KCF目標跟蹤算法的更新公式(7)中,學習率γ是一個固定值,但是當目標遇到遮擋時,若仍然按照固定的學習率γ對模型進行更新,就會學習到遮擋物特征,導致在后續(xù)跟蹤過程中將此遮擋物作為跟蹤目標,造成跟蹤失敗。為了解決這個問題,本文在KCF跟蹤的框架基礎上引入了遮擋判斷機制、模型自適應更新策略以及遮擋情況下的卡爾曼濾波預測估計。

2 改進的核相關濾波算法

原有的核相關濾波算法不能適應目標尺度變化,當目標尺度發(fā)生變化時,濾波器在更新時會引入更多的背景信息。為了能夠實現自適應尺度變化,原算法引入Danelljan等[5]提出的尺度估計方法。本文的遮擋處理框架由遮擋檢測方法、KCF基本跟蹤器和卡爾曼濾波預測模塊組成。由遮擋檢測方法確定遮擋類型。在非遮擋和部分遮擋的情況下,KCF基本跟蹤器使用目標可見部分的外觀信息來估計目標位置;在嚴重遮擋情況下,運行卡爾曼濾波預測模塊,使用目標的運動模型來預測目標位置。算法流程如圖1所示。

圖1 基于改進的核相關濾波目標跟蹤算法流程

2.1 遮擋檢測方法

當遮擋情況發(fā)生時,遮擋檢測方法在基本跟蹤器和預測系統(tǒng)中起著重要作用。基本跟蹤器借助物體的外觀模型來實現跟蹤,而預測系統(tǒng)借助物體的運動模型來估計目標位置[11]。在MOSSE跟蹤器中[2],響應的峰值旁瓣比PSR可以用來評估目標跟蹤狀態(tài)以及受遮擋的程度。在本文中引入了PSR作為跟蹤質量評估的標準,第t幀PSR為

(8)

式中:max(ft(z))為第t幀響應的峰值;μt和δt分別為第t幀響應的平均值和標準偏差。

在正常條件下跟蹤目標時,每幀的PSR通常在20～60。當嚴重遮擋發(fā)生時,PSR下降到7以下,基于PSR范圍獲得固定閾值以估計遮擋狀態(tài)[12]。但是并不是所有序列的PSR都在20～60,當目標快速移動或者具有低分辨率時,其PSR保持在低值。因此采用固定閾值來估計目標遮擋狀態(tài)是不合理的。

在本文中,與單獨在一幀中考慮PSR不同,假設在前幾幀不發(fā)生遮擋的情況下,將前N幀PSR的平均值μ作為遮擋檢測的標準(在本文中設置N=10),分別定義0.25μ和0.75μ為低閾值TL和高閾值TH,μ和當前幀的PSR差值為d。當dTH時,目標被嚴重遮擋,停止更新模型,通過預測器來估計目標位置。

在前幾幀沒有被遮擋的情況下,所選模板和搜索窗口之間的相關性較高,所以前幾幀上的PSR具有最大值。當目標完全沒有被遮擋時,需要更新μ,所以μ是所有幀中的最大值,即PSRt≤μ。這一條件將體現在2.2節(jié)的模型自適應更新上。

2.2 自適應模型更新

在KCF算法中,目標模型的學習率是固定值。當目標被遮擋時,模型中的遮擋信息會被更新,導致跟蹤失敗[12]。本文使用自適應學習率代替固定學習率來更新外觀模型:

(9)

式中:學習率參數γt根據式(8)中計算的PSRt自適應地改變;β為一個常數,通常設置為0.025,可以提高目標跟蹤性能[5]。

2.3 卡爾曼濾波預測跟蹤算法

KCF目標跟蹤算法基于目標在上一幀中所處位置的特征相似性來搜索目標在當前幀中的位置,沒有利用目標的運動信息,并過分依賴特征最大響應值來確定目標位置[13]。而KF對運動目標具有良好的運動約束,可以有效地減少跟蹤失敗[13]。因此,基于KCF跟蹤框架,可以將KF視為運動信息的補充,KF通過對目標狀態(tài)的測量和預測來估計其當前狀態(tài)。跟蹤目標的運動狀態(tài)方程為

xk=Fkxk-1+wk;

(10)

yk=Hkxk+vk。

(11)

(12)

(13)

KF算法可分為2個步驟:預測步驟和更新步驟。

預測步驟為

(14)

(15)

更新步驟為

(16)

(17)

Pk|k=(I-KkHk)Pk|k-1。

(18)

2.4 算法步驟

步驟1 根據第1幀中的目標信息,完成核相關濾波器及其相關參數的初始化。

步驟2 在待檢測圖像區(qū)域中提取目標HOG特征,根據式(6)得到目標位置PtKCF。

步驟3 使用Danelljan等[5]提出的方法估計目標的尺度,根據式(8)計算響應的PSRt值。

步驟4 根據前N幀的PSR值計算μ,分別計算出TH和TL;并通過前N幀的目標位置來初始化卡爾曼濾波器。

步驟5 根據式(8)計算t←N+1幀的PSRt的值,并計算d。①若目標未被遮擋,即dTH,停止更新KCF模型,利用卡爾曼濾波器預測目標,根據式(17)得到預測位置PtKF,并根據式(16)～(18)更新卡爾曼濾波器。

步驟6 設置t←t+1,重復步驟5,直至視頻序列結束。

3 實驗結果與分析

3.1 環(huán)境設置

為了評估本文算法,實驗均在Intel(R)Core(TM)i5-1135G7,主頻2.4 GHz,內存16 GB的計算機上進行驗證,采用MATLAB R2018b作為實驗仿真平臺。在OTB-2013數據集[15]上采用一次通過評估對跟蹤器進行評估,使用基于中心位置誤差的距離精度和基于重疊率的成功率作為跟蹤器的評估標準。距離精度DP表示中心位置誤差低于某個閾值的正確跟蹤幀數百分比。重疊成功率OS表示邊界框重疊率超過一定閾值的幀數百分比,使用曲線下面積AUC來衡量跟蹤器性能。幀率FPS表示視頻總幀數與所消耗時間的比值。在實驗中,選擇20像素為精度閾值,0.5為重疊閾值。

本文算法的參數設置與KCF算法一致,使用4×4的單元大小提取HOG特征,直方圖方向為9,采樣窗口大小為最初區(qū)域的1.5倍,正則化參數λ=10-4,高斯核帶寬σ=0.5。尺度相關濾波器參數設置與DSST算法[5]一致,如2.2節(jié)設置β為0.025。

3.2 跟蹤性能分析

為了驗證本文算法的有效性,選取OTB-2013數據集中的36組彩色視頻序列進行測試,并將本文KCF-KF算法與SAMF[6]、STAPLE[7]、KCF[4]、TLD[8]4種經典目標跟蹤算法進行比較。表1為5種算法的性能指標,KCF-KF算法的距離精度和重疊成功率分別為0.796和0.692,均為最佳值。KCF-KF算法的幀率為31.2幀/s,雖然算法速度有所下降,但仍然滿足實時性要求。圖2為 KCF-KF算法與其他4種傳統(tǒng)算法的精度和成功率曲線對比圖。

表1 5種跟蹤算法的性能指標

圖2 不同跟蹤算法的精度曲線和成功率曲線

為了更直觀地展示KCF-KF算法在遮擋情況下的跟蹤性能,選取jogging1、lemming、soccer、tiger1、woman 5組具有遮擋屬性的視頻序列,將KCF-KF算法與SAMF、Staple、KCF、TLD 4種算法進行實驗對比,跟蹤結果如圖3所示。在jogging1視頻序列中,面臨的主要挑戰(zhàn)為遮擋。當目標在第72幀被嚴重遮擋后,KCF、SAMF、STAPLE 3種算法均存在跟蹤漂移,TLD算法通過在線檢測機制,可以在第98幀目標變得完全可見后重新定位目標。KCF-KF算法中由于加入卡爾曼濾波來預測目標位置,可以在目標被嚴重遮擋的幀中,通過估計目標位置達到準確跟蹤。在lemming視頻序列中,運動目標在左右快速移動時被遮擋,第337幀被嚴重遮擋。當目標離開遮擋區(qū)域后,KCF、SAMF、Staple、TLD 4種算法均丟失了目標,只有KCF-KF算法在第396幀準確跟蹤目標。在soccer視頻序列中,背景復雜且目標顏色與背景顏色相似,在跟蹤過程中容易學習到太多的背景信息。從圖3(c)的結果中可以看到,相比于其他4種算法,只有KCF-KF算法能夠有效跟蹤目標。在tiger1視頻序列中,目標經歷遮擋、光照變化和尺度變化等干擾。SAMF算法、STAPLE算法和KCF-KF算法都能夠跟蹤目標,但從圖3(d)的跟蹤結果看出,KCF-KF算法對目標位置的估計更加準確。在woman視頻序列中,目標從第565幀被長時間遮擋,KCF-KF算法在模型更新模塊實現了學習率自適應,能夠優(yōu)化更新模型,從圖3(e)中可以看出,KCF-KF算法跟蹤效果最好。綜合幾種算法在具有遮擋屬性視頻序列上的跟蹤效果,KCF-KF算法能夠解決目標被遮擋時跟蹤失敗的問題,性能最佳。

圖3 不同算法在遮擋視頻序列上的跟蹤結果

4 結論

本文在傳統(tǒng)KCF算法的基礎上,對其抗遮擋能力不足的問題進行改進,實現了一種核相關濾波和卡爾曼濾波預測結合的抗遮擋圖像目標跟蹤方法。算法通過遮擋判別模塊判斷目標的遮擋狀態(tài),并對模型更新機制進行了優(yōu)化,能夠自適應更新模型的學習率。此外,還增加了一個卡爾曼濾波預測模塊,當目標被嚴重遮擋時,使用位置預測模塊來定位目標。相比于傳統(tǒng)跟蹤算法,所提算法在抗遮擋方面具有更好的性能。在未來的工作中,可將研究重點放在提取更豐富的目標特征上,進一步完善算法的性能。