跟蹤-學(xué)習(xí)-檢測框架下改進加速梯度的目標(biāo)跟蹤

楊 欣,夏斯軍,劉冬雪,費樹岷,胡銀記

(1.南京航空航天大學(xué) 自動化學(xué)院,南京210016;2.光電控制技術(shù)重點實驗室,河南 洛陽471000;3.東南大學(xué)自動化學(xué)院,南京210096)

0 引 言

視頻目標(biāo)跟蹤作為計算機視覺研究領(lǐng)域中的一個關(guān)鍵技術(shù),已廣泛應(yīng)用到國防和民用的各個領(lǐng)域中,如智能監(jiān)控、導(dǎo)航制導(dǎo)、醫(yī)學(xué)診斷、人機交互等。同時視頻跟蹤在實際的應(yīng)用中面臨著多種問題,比如:跟蹤對象的角度、姿態(tài)發(fā)生改變以及被遮擋等情況,而長時間目標(biāo)跟蹤更是一個富有挑戰(zhàn)性的工作。傳統(tǒng)的跟蹤方法可分為兩類:基于跟蹤器的跟蹤算法和基于檢測器的跟蹤算法,前者主要在于目標(biāo)特征的選取,代表性的特征包括目標(biāo)的質(zhì)點[1]、目標(biāo)的輪廓[2-4]、鏈?zhǔn)侥Ｐ蚚5]和光流[6]。此類方法都是假設(shè)目標(biāo)始終可見,一旦目標(biāo)消失就會導(dǎo)致跟蹤失敗。同樣,檢測跟蹤方法通常都是基于局部圖像特征或者滑動窗口,對每一幀單獨處理檢測出目標(biāo)位置,此類方法需要離線的學(xué)習(xí)過程,并且檢測器的性能與學(xué)習(xí)樣本多樣性直接相關(guān),因此基于檢測的跟蹤算法難以有效地解決過擬合問題。在此背景下,研究者提出了大量的解決方案,例如:Mean-shift[7-9]、粒子濾波[10,11]、L1跟蹤器[12]、視覺顯著性特征[13,14]、實時壓縮感知跟蹤(Real-time compressive tracking)[15]。這些算法雖然能較好地實現(xiàn)對無遮擋目標(biāo)的跟蹤,但無法有效地解決跟蹤過程中的遮擋和相似背景及目標(biāo)姿態(tài)變化問題,或者對全部遮擋效果不理想,因此無法實現(xiàn)持久的跟蹤。多特征融合粒子濾波算法[16,17]對目標(biāo)遮擋以及背景混淆等諸多問題具有較高的魯棒性,但當(dāng)視頻序列的尺寸較大或者背景較復(fù)雜需要數(shù)量較多的粒子時,算法處理的時間較長,會導(dǎo)致實時性變差。為實現(xiàn)持久的目標(biāo)跟蹤,Kalal等[18]提出了一種新的TLD(Tracking-learning-detection)跟蹤算法,采用跟蹤器與檢測器并行處理的框架,并通過學(xué)習(xí)模塊不斷更新檢測器相應(yīng)參數(shù)值,最終由整合模塊輸出跟蹤結(jié)果。如過跟蹤器跟蹤失敗,由檢測器修正跟蹤器的目標(biāo)模型[19]。該方法能有效地實現(xiàn)對目標(biāo)的持久跟蹤,并能在一定程度上克服目標(biāo)姿態(tài)變化問題。但當(dāng)遮擋前景與跟蹤目標(biāo)灰度特征相似時,會導(dǎo)致跟蹤出現(xiàn)偏差,尤其當(dāng)相似干擾與跟蹤目標(biāo)交叉運動時,會出現(xiàn)漂移現(xiàn)象,無法再次跟蹤到初始目標(biāo),導(dǎo)致跟蹤失敗。

根據(jù)上述分析,本文提出了一種改進的TLD目標(biāo)跟蹤算法,用改進L1APG(L1 tracker using accelerated proximal gradient approach)[20]跟蹤器來取代傳統(tǒng)TLD算法中基于光流法的跟蹤器,同時加入遮擋檢測判斷,設(shè)定遮擋閾值,并根據(jù)遮擋程度實時更新目標(biāo)模板和背景模板系數(shù)權(quán)重,進一步解決遮擋問題,從而抑制漂移問題。

1 TLD跟蹤算法

傳統(tǒng)TLD算法中跟蹤模塊主要是用中值流跟蹤算法[18],中值流跟蹤算法就是在光流法的基礎(chǔ)上加了個限制,一個“好”的跟蹤應(yīng)具有正反連續(xù)性,即無論是按照時間上的正序追蹤還是反序追蹤,產(chǎn)生的軌跡應(yīng)該是一樣的。根據(jù)這個性質(zhì)規(guī)定了任意一個追蹤器的FB誤差(Forwardbackward error):從時間t的初始位置x(t)開始追蹤產(chǎn)生時間t＋p的位置x(t＋p),再從位置x(t＋p)反向追蹤產(chǎn)生時間t的預(yù)測位置x′(t),初始位置和預(yù)測位置之間的歐氏距離就作為追蹤器在t時間的FB誤差。選取前、后兩幀誤差點較小的一半作為追蹤點,以此來估計目標(biāo)運動位置,一旦目標(biāo)消失就會導(dǎo)致跟蹤失敗。檢測器是將方差檢測器、集成分類器和最近鄰分類器采用級聯(lián)的方式,逐次通過每個檢測器,得到最終的目標(biāo)。根據(jù)初始的目標(biāo)模型,對每一幀圖像進行全面的掃描,根據(jù)每個掃描框與目標(biāo)的相識度來估計目標(biāo)可能出現(xiàn)的位置。這種檢測方法也會發(fā)生錯誤,即錯誤地分類正、負樣本。而學(xué)習(xí)模塊中P-N學(xué)習(xí)主要對這兩種錯誤(錯誤的正樣本和錯誤的負樣本)進行評估,同時生產(chǎn)新的樣本集來更新目標(biāo)模型,實現(xiàn)目標(biāo)的實時更新,并且對跟蹤模塊所選取的“關(guān)鍵點”(使用的光流法)進行更新,避免再次出現(xiàn)類似的錯誤。綜合模塊主要就是擬合過程:比較跟蹤器和檢測器的結(jié)果,選擇置信度較大者或綜合得到目標(biāo)在下一幀最有可能出現(xiàn)的位置。

2 基于改進L1APG的TLD跟蹤

2.1 L1APG跟蹤器

傳統(tǒng)TLD算法跟蹤器的置信度計算依賴于檢測器,因此最終跟蹤結(jié)果受檢測器的影響較大,并且TLD算法在復(fù)雜背景下的跟蹤效果較差,處理遮擋的能力有待提高。

當(dāng)目標(biāo)在相對靜止的背景中運動時,TLD算法跟蹤效果較好。但當(dāng)背景產(chǎn)生變化時會出現(xiàn)誤判,并且對于相似目標(biāo)更是無法準(zhǔn)確區(qū)別。此外,TLD方法對復(fù)雜條件下目標(biāo)的跟蹤處理能力不足,而L1跟蹤器由于具有靜態(tài)原子,對漂移有一定的抑制能力,基于此本文對傳統(tǒng)TLD進行改進,采用改進的L1 APG跟蹤器模塊,該模塊能夠快速地求解L1最小問題。并加入遮擋檢測,使其能夠有效處理復(fù)雜情況,增加算法的魯棒性和實時性,進而能夠?qū)δ繕?biāo)進行持久跟蹤。

候選目標(biāo)的選擇:假設(shè)在第t幀時,目標(biāo)所在的位置為x t,對目標(biāo)的預(yù)測的觀測結(jié)果定義為y1:t－1＝{y1,y2,…,y t－1},可以用下面的兩個公式來選取目標(biāo)在下一幀中的位置:

對于t幀的最佳目標(biāo)位置,近似于后驗概率取最大值時:。

目標(biāo)模型的建立:建立目標(biāo)模型是為了計算樣本在下一時刻所在位置觀察可能性p(y t|x t)。表示t幀的目標(biāo)模板;表示采樣的狀態(tài);為目標(biāo)模板空間相應(yīng)的候補目標(biāo)圖像塊集。可以得到稀疏表達模型:

式中:I為瑣碎的模板集(單位矩陣),表示遮擋和噪聲;為系數(shù)。同時,對于非負約束有利于提高L1跟蹤器的魯棒性。因此,對于每個候補的目標(biāo)塊,其稀疏表達都可以通過求解下式的L1規(guī)范最小化得到:

式中:A＝[T t,I,－I];β為平衡因子。

通過觀察,可以得:

式中:α為常量,用來控制高斯核的形狀;Γ為常量;為式(4)的最小值;z t為對t幀的預(yù)估;為樣本的觀測可能性上限,并且當(dāng),樣本就排除在樣本集里,以此來減少計算量,提高實時性。

2.2 遮擋檢測

本文算法將跟蹤過程分為如下兩種情況:

(1)當(dāng)沒有遮擋時,目標(biāo)在下一幀中的狀態(tài)應(yīng)主要由目標(biāo)模板的稀疏線性組合表示,并且背景模板只占很小的一部分。

(2)當(dāng)有遮擋時,根據(jù)遮擋的程度增大或減小背景模板所占的比例。能夠根據(jù)不同的情形來改變各自所占的比重。而式(4)顯然無法區(qū)分這兩種情形,因此將其改進為:

式中:A′＝[T t,I],a＝[a T;a I];u t為用來控制背景模板的權(quán)重。

為了更好地處理遮擋情況,引入遮擋檢測判斷,并且根據(jù)遮擋程度自適應(yīng)調(diào)節(jié)稀疏矩陣系數(shù),具體如下:設(shè)稀疏系數(shù),對模板和背景系數(shù)分別進行轉(zhuǎn)置可以得到,同樣,根據(jù)式(10)(11),可以得到判斷遮擋的目標(biāo)模板閾值σT以及背景模板閾值σI:

式中:m為常數(shù),表示無遮擋情況下的初始幀數(shù),通過實驗來確定。

最終跟蹤目標(biāo)是由目標(biāo)模板和背景模板的稀疏表達,因此,目標(biāo)區(qū)域中任意像素點的灰度值可由目標(biāo)模板與背景模板相應(yīng)點的線性之和來表示,改變兩者系數(shù)值與改變其一皆可以達到同等的效果,即:

在后面每一幀都計算相應(yīng)的參數(shù)值,與σT、σI進行比較,當(dāng)滿足判斷遮擋條件時,更新稀疏表達式的參數(shù)所占權(quán)重:

(1)當(dāng)i＞m時,分別計算。

式中:學(xué)習(xí)率λ是個固定的參數(shù),本文算法設(shè)定為0.95,該參數(shù)主要更新稀疏表達式中背景模板的比重,通過線性疊加來更改最終跟蹤目標(biāo)模型,使其能更好地處理遮擋情況。

2.3 總體算法

本文算法的整體思路為:通過對跟蹤器的有效改進,同時檢測器和跟蹤器并行處理,并且學(xué)習(xí)模塊不斷更新,最終結(jié)果由綜合模塊對比輸出。具體算法步驟如下:

Step1設(shè)定初始圖像中目標(biāo)所在位置矩陣框參數(shù)[x,y,w,h]。

Step2通過仿射變換,在目標(biāo)周圍選取正負樣本,以此來初始化檢測器相關(guān)參數(shù),并將目標(biāo)模板保存起來。

Step3檢測是否有遮擋,若有,則更新跟蹤器的參數(shù)u t(根據(jù)式(8)),否則執(zhí)行下一步。

Step4用改進的L1APG跟蹤器進行跟蹤,并對跟蹤結(jié)果計算其置信度pt;同時檢測器并行處理,得到目標(biāo)在下一幀的位置及其置信度p d。

Step5當(dāng)pt＞δ1&pd＞δ2時(δ1、δ2分別是跟蹤器和檢測器設(shè)定的閾值,初始值為0.5),對比跟蹤器和檢測器的置信度,當(dāng)|pt－pd|＞ε(ε為設(shè)置參數(shù),初始值為0.4)時,其較大者作為最終的跟蹤結(jié)果。反之,對其加權(quán)處理,作為目標(biāo)位置在下一幀的輸出,并調(diào)到步驟Step2。

3 實 驗

3.1 定性分析

圖1 圖像序列跟蹤結(jié)果Fig.1 Image sequences tracking results

對于部分遮擋情況,用FaceOcc1作為測試圖像序列,觀察圖1(a)的跟蹤結(jié)果:開始的幾十幀圖像跟蹤效果相當(dāng),但隨后L1APG跟蹤框發(fā)生畸變,無法準(zhǔn)確跟蹤到目標(biāo)。傳統(tǒng)TLD在目標(biāo)靜止而遮擋運動時發(fā)生偏移現(xiàn)象,但隨后又恢復(fù)跟蹤。在部分遮擋基礎(chǔ)上加入目標(biāo)姿態(tài)變化,用FaceOcc2作為測試圖像序列,L1 APG用紅色框表示,TLD用黃色框表示,本文算法用藍色框表示。從圖1(b)中可以得出:L1APG在目標(biāo)遮擋之后跟蹤框發(fā)生畸變,并且無法恢復(fù),導(dǎo)致跟蹤失敗。傳統(tǒng)TLD算法在目標(biāo)姿態(tài)發(fā)生變化及目標(biāo)和背景較為相似時會導(dǎo)致跟蹤失敗,直到目標(biāo)姿態(tài)恢復(fù)到初始狀態(tài)時,檢測器才能重新檢測到目標(biāo)。在目標(biāo)遮擋及姿態(tài)變化的基礎(chǔ)上,加入快速運動這一因素來對比跟蹤效果。用Football作為測試圖像序列,從圖1(c)中可以得出:當(dāng)有相似目標(biāo)出現(xiàn)時,L1APG跟蹤算法無法區(qū)分目標(biāo)。傳統(tǒng)的TLD算法隨著目標(biāo)與相似背景的交叉運動會發(fā)生偏移現(xiàn)象,導(dǎo)致跟蹤失敗。而本文的算法在以上3種情況下都具有良好的穩(wěn)定性和健壯性。

3.2 定量分析

定量分析實驗將中心位置誤差作為精度標(biāo)準(zhǔn),中心誤差定義為跟蹤目標(biāo)的中心位置與標(biāo)準(zhǔn)目標(biāo)位置的中心誤差,采用歐式距離進行比較。從圖2的誤差結(jié)果可以看出,本文的算法在穩(wěn)定性和健壯性上都要優(yōu)于其他兩種算法。

圖2 誤差結(jié)果圖Fig.2 Error result diagrams

4 結(jié)束語

提出了一種基于TLD框架的跟蹤算法,通過引入改進的L1APG跟蹤器來替換傳統(tǒng)TLD中的光流跟蹤器。由于L1APG跟蹤器具有靜態(tài)模板,并加入遮擋檢測能自適應(yīng)地更改系數(shù)權(quán)重,以此來抑制漂移問題,從而在目標(biāo)遮擋、姿態(tài)變化以及快速運動的情況下能很好地跟蹤目標(biāo),提高了穩(wěn)定性,但實時性略低,以后研究重點將是在保證準(zhǔn)確率的基礎(chǔ)上,盡可能地減少粒子數(shù)量,減小計算量,提高實時性,能更快速地跟蹤目標(biāo)。

[1]Beaudry C,Péteri R,Mascarilla L.Action recognition in videos using frequency analysis of critical point trajectories[C]∥2014 IEEE International Conference on Image Processing(ICIP),Paris,France,2014:1445-1449.

[2]Dondo D G,Redolfi J A,Griffa M,et al.Target tracking system using multiple cameras and Bayesian estimation[J].IEEE Latin America Transactions,2016,14(6):2713-2718.

[3]郝志成,高文.多模跟蹤技術(shù)在輪式偵察車圖像處理器的應(yīng)用[J].中國光學(xué),2011,4(5):480-488.Hao Zhi-cheng,Gao Wen.Application of multi-pattarn tracking in wheel type scout car image processor[J].Chinese Optics,2011,4(5):480-488.

[4]熊晶瑩,戴明.適應(yīng)移動智能設(shè)備的目標(biāo)跟蹤器[J].光學(xué)精密工程,2017,25(12):3152-3159.Xiong Jing-ying,Dai Ming.Design of tracker for mobile smart devices[J].Optics and Precision Engineering,2017,25(12):3152-3159.

[5]Buehler P,Everingham M,Huttenlocher D P,et al.Long term arm and hand tracking for continuous sign language TV broadcasts[C]∥Proceedings of the 19th British Machine Vision Conference,Leeds,UK,2008:1105-1114.

[6]Xu J,Li J.Moving target tracking algorithm based on scale invariant optical flow method[C]∥Information Science and Control Engineering(ICISCE),Beijing,China,2016:468-472.

[7]楊欣,費樹岷,李剛,等.基于復(fù)雜特征融合的改進mean shift目標(biāo)跟蹤[J].控制與決策,2014(7):1297-1300.Yang Xin,Fei Shu-min,Li Gang,et al.Improved mean shift target tracking based on complex feature fusion[J].Control and Decision,2014(7):1297-1300.

[8]王田,劉偉寧,韓廣良,等.基于改進MeanShift的目標(biāo)跟蹤算法[J].液晶與顯示,2012,27(3):396-400.Wang Tian,Liu Wei-ning,Han Guang-liang,et al.Target tracking algorithm based on improved Meanshift[J].Chinese Journal of Liquid Crystals and Displays,2012,27(3):396-400.

[9]許佳佳.基于MeanShift算法的航空影像聯(lián)合分割[J].液晶與顯示,2014,29(4):586-591.Xu Jia-jia.Joint segmentation using MeanShift algorithm for high resolution aerial images[J].Chinese Journal of Liquid Crystals and Displays,2014,29(4):586-591.

[10]夏楠,邱天爽,李景春,等.一種卡爾曼濾波與粒子濾波相結(jié)合的非線性濾波算法[J].電子學(xué)報,2013,41(1):148-152.Xia Nan,Qiu Tian-shuang,Li Jing-chun,et al.A nonlinear filtering algorithm combining Kalman filter with particle filter[J].Journal of Electronics,2013,41(1):148-152.

[11]杜超,劉偉寧,劉戀.一種基于卡爾曼濾波及粒子濾波的目標(biāo)跟蹤算法[J].液晶與顯示,2011,26(3):384-389.Du Chao,Liu Wei-ning,Liu Lian.Target tracking algorithm based on Kalman filter and particle filter[J].Chinese Journal of Liquid Crystals and Displays,2011,26(3):384-389.

[12]Mei X,Ling H.Robust visual track-ing using?1 minimization[C]∥IEEE International Conference on Computer Vision,Xi′an,China,2009:1436-1443.

[13]張亞紅,楊欣,沈雷,等.基于視覺顯著特征的自適應(yīng)目標(biāo)跟蹤[J].吉林大學(xué)學(xué)報:信息科學(xué)版,2015,33(2):195-200.Zhang Ya-hong,Yang Xin,Shen Lei,et al.Adaptive target tracking based on salient features of vision[J].Journal of Jilin University(Information Science Edition),2015,33(2):195-200.

[14]李靜宇,王延杰.基于子空間的目標(biāo)跟蹤算法研究[J].液晶與顯示,2014,29(4):617-622.Li Jing-yu,Wang Yan-jie.Subspace based target tracking algorithm[J].Chinese Journal of Liquid Crystals and Displays,2014,29(4):617-622.

[15]Zhang K,Zhang L,Yang M H.Real-time Compressive Tracking[M].Florence,Italy:Springer,2012:864-877.

[16]楊欣,劉加,周鵬宇,等.基于多特征融合的粒子濾波自適應(yīng)目標(biāo)跟蹤算法[J].吉林大學(xué)學(xué)報:工學(xué)版,2015,45(2):533-539.Yang Xin,Liu Jia,Zhou Peng-yu,et al.Particle filter adaptive target tracking algorithm based on multi-featurefusion[J].Journal of Jilin University(Engineering and Technology Edition),2015,45(2):533-539.

[17]王暐,王春平,李軍,等.特征融合和模型自適應(yīng)更新相結(jié)合的相關(guān)濾波目標(biāo)跟蹤[J].光學(xué)精密工程,2016,24(8):2059-2066.Wang Wei,Wang Chun-ping,Li Jun,et al.Correlation filter tracking based on feature fusing and model adaptive updating[J].Optics and Precision Engineering,2016,24(8):2059-2066.

[18]Kalal Z,Mikolajczyk K,Matas J.Tracking-learning-detection[J].IEEE Trans Pattern Anal Mach Intell,2012,34(7):1409-1422.

[19]Kalal Z,Mikolajczyk K,Matas J.Forward-backward error:automatic detection of tracking failures[C]∥International Conference on Pattern Recognition,Japan,2010:2756-2759.

[20]周鑫,錢秋朦,葉永強,等.改進后的TLD視頻目標(biāo)跟蹤方法[J].中國圖象圖形學(xué)報,2013,18(9):1115-1123.Zhou Xin,Qian Qiu-meng,Ye Yong-qiang,et al.The improved TLD video target tracking method[J].Journal of Image and Graphics,2013,18(9):1115-1123.