自動(dòng)全局上下文感知相關(guān)濾波器跟蹤算法

胡昭華 張倩

摘要在相關(guān)濾波器跟蹤算法中引入正則化后可以有效提高跟蹤效率，但需要花費(fèi)大量精力調(diào)整預(yù)定義參數(shù)，此外還有目標(biāo)響應(yīng)發(fā)生在非目標(biāo)區(qū)域會(huì)導(dǎo)致跟蹤漂移等問題，因此提出一種自動(dòng)全局上下文感知相關(guān)濾波器（Automatic Global Context Awareness Correlation Filter，AGCACF）跟蹤算法.首先，在跟蹤過程中利用目標(biāo)局部響應(yīng)變化實(shí)現(xiàn)自動(dòng)空間正則化，將自動(dòng)空間正則化模塊加入目標(biāo)函數(shù)，使濾波器專注于目標(biāo)對象的學(xué)習(xí)；其次，跟蹤器利用目標(biāo)全局上下文信息，結(jié)合自動(dòng)空間正則化，使濾波器能及時(shí)學(xué)習(xí)到更多與目標(biāo)有關(guān)的信息，減少背景對跟蹤性能的影響；接著，在濾波器中加入時(shí)間正則化項(xiàng)，來充分學(xué)習(xí)目標(biāo)在相鄰幀之間的變化，從而獲得更準(zhǔn)確的模型樣本.實(shí)驗(yàn)結(jié)果表明，與其他跟蹤算法相比，AGCACF跟蹤算法在距離精度和成功率方面具備更好的跟蹤效果.

關(guān)鍵詞目標(biāo)跟蹤；相關(guān)濾波；自動(dòng)空間正則化；全局上下文 ；時(shí)間感知

中圖分類號(hào)

TP391.4

文獻(xiàn)標(biāo)志碼

A

收稿日期

2021-07-30

資助項(xiàng)目

國家自然科學(xué)基金（61601230）

作者簡介

胡昭華，女，博士，副教授，主要研究方向?yàn)橐曈X跟蹤、模式識(shí)別.zhaohua_hu@163.com

0 引言

目標(biāo)跟蹤是機(jī)器視覺和大數(shù)據(jù)領(lǐng)域的重要研究任務(wù)之一.利用第1幀給出的目標(biāo)對象的相關(guān)信息，在之后的連續(xù)視頻幀定位跟蹤對象的位置，主要涉足視頻監(jiān)控、交通巡邏、醫(yī)學(xué)圖像、無人機(jī)等領(lǐng)域[1-3].近10年來，對于該方向的研究取得了長足的進(jìn)步，但是在實(shí)際應(yīng)用中如目標(biāo)的光照等外部條件的變化和形變等自身?xiàng)l件的變化方面，還面臨很大的挑戰(zhàn)，存在深入研究的空間.

近年來，使用判別相關(guān)濾波器對目標(biāo)進(jìn)行跟蹤的方法層出不窮.從最早的基于判別相關(guān)濾波器（DCF）改進(jìn)的跟蹤算法MOSSE[4]將空間域中復(fù)雜的相關(guān)操作轉(zhuǎn)換為頻域中的元素乘法能夠有效地提高跟蹤性能后，DCF就被作為一種基礎(chǔ)的跟蹤算法進(jìn)行研究.之后對DCF的改進(jìn)有循環(huán)移位采樣和核函數(shù)[5]、HOG特征[6]，以及對尺度變化跟蹤較好的顏色特征[7]、自適應(yīng)尺度[8]、限制或者利用背景信息[9-10]、空間和時(shí)間正則化[11-12]等.

對基于DCF的跟蹤器進(jìn)行改進(jìn)，主要集中在三個(gè)方面：1）構(gòu)建魯棒的外觀模型[10，12-13]；2）緩解濾波器衰退[11-12，14]；3）抑制邊界效應(yīng)[12，15].清晰的目標(biāo)外觀確實(shí)有助于提升跟蹤效果，但是卻需要大量的計(jì)算，而為了緩解濾波器衰減速度所提出的一些方法也沒有真正地改進(jìn)跟蹤效果.因此，目前大多數(shù)的跟蹤器選擇從抑制邊界效應(yīng)方向提高性能.

相關(guān)濾波器訓(xùn)練時(shí)對訓(xùn)練樣本進(jìn)行循環(huán)移位操作，在樣本框邊界處假設(shè)樣本周期性擴(kuò)展，從而導(dǎo)致跟蹤中出現(xiàn)邊界效應(yīng).Danelljan等[11]針對邊界效應(yīng)提出在相關(guān)濾波器中引入一個(gè)空間正則化項(xiàng)，來懲罰DCF系數(shù)的空間位置，使濾波器得出的結(jié)果更集中于目標(biāo)中心.然而，此方法導(dǎo)致濾波器無法完全學(xué)習(xí)經(jīng)過循環(huán)移位后的樣本，使得計(jì)算量增加，并且該算法使用的高斯-賽德爾算法進(jìn)一步加重了計(jì)算量負(fù)擔(dān).Li等[12]基于SRDCF模型提出時(shí)間正則化項(xiàng)，加強(qiáng)相鄰幀之間濾波器的聯(lián)系，使得濾波器能夠?qū)W習(xí)到更好的外觀模型，并且此算法使用交替方向乘子算法（Alternating Direction Method of Multipliers，ADMM）對算法進(jìn)行優(yōu)化，大大提升了計(jì)算效率.上述算法都使用了不變的空間懲罰系數(shù)，不能靈活應(yīng)對不同目標(biāo)的各種變化，而Dai等[16]提出的自適應(yīng)空間正則化，可以更準(zhǔn)確地對目標(biāo)區(qū)域進(jìn)行懲罰.

文獻(xiàn)[17]提出一種新的時(shí)空相關(guān)濾波器，同時(shí)使用空間和時(shí)間線索從背景中搜索對目標(biāo)模糊的空間背景，將其集成到相關(guān)濾波模型中；文獻(xiàn)[18]在ASRCF（Adaptive Spatially-Regularized Correlation Filters，自適應(yīng)空間正則相關(guān)濾波器）基礎(chǔ)上，提出一個(gè)新的自適應(yīng)時(shí)空正則化模塊，不僅具有自適應(yīng)學(xué)習(xí)背景信息和空間信息以提高濾波器性能的能力，還能夠利用上一幀與當(dāng)前幀的相關(guān)濾波器聯(lián)系來解決其他復(fù)雜狀況；文獻(xiàn)[19]提出了基于空間注意力機(jī)制的低分辨率判別相關(guān)跟蹤算法，使用一個(gè)通用的可調(diào)窗口緩解邊界效應(yīng)，然后利用空間注意力機(jī)制在圖像中突出目標(biāo)；文獻(xiàn)[20]通過在嶺回歸模型中添加卷積抑制項(xiàng)，結(jié)合所有全局背景樣本對相關(guān)濾波器形成限制，從而緩解邊界效應(yīng).

以上算法都是基于目標(biāo)對象整體變化發(fā)生的全局響應(yīng)進(jìn)行跟蹤，當(dāng)目標(biāo)局部發(fā)生變化時(shí)，算法跟蹤效果明顯降低.此外，由于循環(huán)移位對目標(biāo)樣本進(jìn)行周期性擴(kuò)展假設(shè)，邊界處被余弦窗限制，導(dǎo)致濾波器在目標(biāo)邊界附近跟蹤效果差，容易引發(fā)漂移現(xiàn)象.本文提出一種自動(dòng)全局上下文感知相關(guān)濾波器（Automatic Global Context Awareness Correlation Filter，AGCACF）跟蹤算法，主要工作如下：1）將隱藏在目標(biāo)響應(yīng)圖中的局部變化與全局變化相結(jié)合，形成新的自動(dòng)空間正則化項(xiàng)，有效抑制背景信息，獲得更準(zhǔn)確的目標(biāo)動(dòng)態(tài)信息； 2）在目標(biāo)周圍提取上下文區(qū)域，形成上下文感知模塊并與自動(dòng)空間正則化進(jìn)行結(jié)合，幫助濾波器及時(shí)獲取更多與目標(biāo)有關(guān)的信息，加強(qiáng)全局響應(yīng)的準(zhǔn)確性；3）將自動(dòng)空間正則項(xiàng)與時(shí)間正則項(xiàng)進(jìn)行結(jié)合，使濾波器學(xué)習(xí)每一幀的目標(biāo)局部-全局變化及上下文信息的同時(shí)加強(qiáng)相鄰幀之間濾波器的關(guān)聯(lián)，從而及時(shí)發(fā)現(xiàn)目標(biāo)發(fā)生突變的情況，提高濾波器的跟蹤效果；4）使用ADMM對濾波器跟蹤算法進(jìn)行迭代優(yōu)化，簡化計(jì)算過程；5）使用公開的數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)，驗(yàn)證了該算法能有效提高跟蹤性能.

1 AGCACF跟蹤算法總體框架

AGCACF跟蹤算法的總體框架如圖1所示.首先，用余弦窗在第t-1幀和第t幀分割出目標(biāo)跟蹤窗口，分別提取目標(biāo)區(qū)域計(jì)算目標(biāo)局部響應(yīng)圖，利用相鄰兩幀的局部響應(yīng)計(jì)算局部響應(yīng)變化；其次，在第t幀提取目標(biāo)上下文區(qū)域，和目標(biāo)區(qū)域一起計(jì)算目標(biāo)空間全局響應(yīng)；接著，結(jié)合局部-全局響應(yīng)變化獲得自動(dòng)空間正則化權(quán)重w；最后，與前一幀濾波器響應(yīng)圖結(jié)合，更新得第t幀濾波器響應(yīng)圖，用于預(yù)測第t+1幀目標(biāo)位置.

2 AGCACF跟蹤算法

AGCACF跟蹤算法充分利用局部-全局響應(yīng)變化實(shí)現(xiàn)自動(dòng)空間正則化，并通過時(shí)間正則化和全局上下文感知實(shí)現(xiàn)算法優(yōu)化.

2.1 相關(guān)濾波器跟蹤算法回顧

相關(guān)濾波跟蹤器就是在圖像第1幀學(xué)習(xí)一個(gè)濾波器，從而在下一幀中剪裁出包含目標(biāo)對象的候選框，之后在當(dāng)前候選區(qū)域提取需要的特征信息更新濾波器模型，將其用于跟蹤下一幀中的目標(biāo).視頻幀的目標(biāo)區(qū)域被標(biāo)記為正樣本，樣本通過循環(huán)移位操作生成更多樣本組成樣本集，相關(guān)濾波器使用這一樣本集，用傅里葉變換將復(fù)雜的時(shí)域卷積運(yùn)算轉(zhuǎn)換到頻域中進(jìn)行乘法運(yùn)算，從而提高計(jì)算效率.

相關(guān)濾波器模型：相關(guān)濾波器跟蹤算法實(shí)質(zhì)上就是從一組訓(xùn)練樣本x t和目標(biāo)響應(yīng)y t中學(xué)習(xí)一個(gè)多通道卷積濾波器h t幀數(shù)t=1，2，…，M，xk t∈RDk=1，2，…，K是在第t幀提取的維度為D的特征，K為通道數(shù).目標(biāo)函數(shù)如下：

minh t∑Kk=1xk t*hk t-y t2 2+λ 1∑Kk=1hk t2 2， （1）

式（1）首先計(jì)算目標(biāo)預(yù)期響應(yīng)值與目標(biāo)真實(shí)響應(yīng)值差值使其最小化，再結(jié)合正則化系數(shù)λ 1訓(xùn)練濾波器h t，從而使濾波跟蹤器能夠更好地跟蹤到目標(biāo).

SRDCF模型[11]：相關(guān)濾波器模型的樣本進(jìn)行循環(huán)移位操作時(shí)會(huì)導(dǎo)致目標(biāo)邊界處發(fā)生跟蹤漂移，為了緩解此類現(xiàn)象，在式（1）的相關(guān)濾波器中引入全局空間正則化來懲罰與空間位置相對應(yīng)的相關(guān)濾波器的系數(shù)，它的目標(biāo)函數(shù)為

EH t=12∑Kk=1xk t*hk t-y t2 2+12λ 1∑Kk=1u☉hk t2 2， （2）

式（2）中：h t為當(dāng)前幀濾波器；u∈RM表示正則化權(quán)重，能夠使濾波器在跟蹤目標(biāo)中心部分具有較高的響應(yīng)，越遠(yuǎn)離目標(biāo)區(qū)域響應(yīng)值越??；λ 1為空間正則化參數(shù)；☉是與向量相對應(yīng)的元素乘法；*表示元素卷積.

CACF模型[9]：為了抑制邊界效應(yīng)使得濾波器學(xué)習(xí)的目標(biāo)信息過少，從而導(dǎo)致無法應(yīng)對復(fù)雜背景干擾的狀況，提取目標(biāo)區(qū)上下文區(qū)域的背景信息，經(jīng)循環(huán)移位后獲得包含更多與目標(biāo)信息有關(guān)的矩陣樣本，用來訓(xùn)練濾波跟蹤器.目標(biāo)函數(shù)為

minh t∑Kk=1xk t0*hk t-y t2 2+λ 1∑Kk=1hk t2 2+? λ 2∑Kk=1∑Nn=1xk tn*hk t2 2，（3）

式（3）中：x t0表示目標(biāo)區(qū)域特征信息；x tn表示第n個(gè)區(qū)塊的特征信息；N表示提取的上下文區(qū)塊數(shù)目；參數(shù)λ 2用來控制上下文區(qū)塊回歸到零.

2.2 AGCACF跟蹤算法模型

SRDCF算法使用了包含目標(biāo)關(guān)鍵信息的響應(yīng)圖，但只使用空間全局響應(yīng)變化，忽略了圖像中不同位置發(fā)生的局部響應(yīng)變化，某些情況下局部發(fā)生劇烈變化時(shí)會(huì)降低跟蹤效果.此外，SRDCF算法雖然提升了跟蹤效果，但是忽略了背景區(qū)域包含的部分與目標(biāo)有關(guān)的信息，從而影響跟蹤模型的質(zhì)量.因此，本文從全局-局部響應(yīng)和邊界問題出發(fā)，提出一種自動(dòng)全局上下文感知相關(guān)濾波器跟蹤算法，巧妙結(jié)合空間局部-全局響應(yīng)變化來訓(xùn)練濾波器，同時(shí)提取目標(biāo)全局上下文信息，使濾波器能夠捕獲更細(xì)致的目標(biāo)局部變化同時(shí)也能夠獲得目標(biāo)及其周圍更多與目標(biāo)有關(guān)的信息，從而得到更準(zhǔn)確的目標(biāo)全局響應(yīng).并采用時(shí)間正則化加強(qiáng)相鄰幀濾波器的關(guān)系，訓(xùn)練獲得更好的跟蹤器.相應(yīng)的目標(biāo)函數(shù)為

EH t=12∑Kk=1xk t0*hk t-y t2 2+12∑Kk=1λ 1☉hk t2 2+12λ 2∑Kk=1∑Nn=1xk tn*hk t2 2+θ2hk t-hk t-12 2，（4）

式（4）中：表示自動(dòng)空間正則化權(quán)重；x t0和x tn分別為目標(biāo)和目標(biāo)上下文特征；h t和h t-1分別為第t幀和第t-1幀濾波器；∑Kk=1xk t0*hk t-y t2 2為基礎(chǔ)判別相關(guān)濾波器；☉hk t2 2為自動(dòng)空間正則項(xiàng)，由參數(shù)λ 1控制，全局-局部響應(yīng)相結(jié)合形成自動(dòng)空間正則化權(quán)重，獲得更準(zhǔn)確空間濾波器系數(shù)；∑Nn=1xk tn*hk t2 2為上下文項(xiàng)，選取目標(biāo)周圍4個(gè)上下文區(qū)塊運(yùn)用到算法中參與正則化過程，由參數(shù)λ 2控制，幫助濾波器更好學(xué)習(xí)目標(biāo)動(dòng)態(tài)變化；hk t-hk t-12 2是時(shí)間正則項(xiàng)，加強(qiáng)相鄰幀濾波器之間聯(lián)系，防止目標(biāo)突變.

1）自動(dòng)空間正則化

首先定義局部變化向量Π=Π1，Π2，…，ΠW，表示目標(biāo)框的二維可視化的變化.它的第i個(gè)元素Πi為

Πi=R tψ Δi-Ri t-1Ri t-1，（5）

式（5）中：ψ Δ是移位算子，表示使連續(xù)兩幀的響應(yīng)圖中的兩個(gè)相同位置峰值重合起來所需要的移位距離；Ri表示響應(yīng)圖R的第i個(gè)元素.

自動(dòng)空間正則化：局部響應(yīng)變化可以衡量當(dāng)前幀檢測范圍中的局部目標(biāo)的可信度，所以在跟蹤過程中應(yīng)該降低可信度低的部分濾波器的比重.因此，在空間正則化參數(shù)中加入局部響應(yīng)變化：

=ΡWδlogΠ+1+u， （6）

其中PW∈RW×W用來裁剪位于濾波器中心區(qū)域附近的目標(biāo)，常數(shù)δ為局部響應(yīng)變化權(quán)重，u為SRDCF中的空間正則化參數(shù)，用以緩解邊界效應(yīng).加入此項(xiàng)后，當(dāng)目標(biāo)區(qū)域變化過程中局部發(fā)生異常，濾波器能夠及時(shí)發(fā)現(xiàn)目標(biāo)的異常變化，從而避免學(xué)習(xí)這部分的目標(biāo)形態(tài).

2）目標(biāo)上下文感知模塊

本文利用自動(dòng)空間正則化權(quán)重來控制濾波器的學(xué)習(xí)，使得濾波器更專注于目標(biāo)中心附近區(qū)域.為了讓濾波器在上下文背景區(qū)域響應(yīng)接近于零，AGCACF算法在訓(xùn)練濾波器過程中加入了上下文信息.參考CACF[9]模型，在每一幀圍繞目標(biāo)對象x t0的上下左右區(qū)域分別提取一個(gè)正方形區(qū)域，它們因包含與目標(biāo)有關(guān)的不同背景信息而成為全局背景，這些上下文區(qū)域可以作為訓(xùn)練樣本x tn.將樣本x tn作為空間正則化過程添加到目標(biāo)函數(shù)中，用來訓(xùn)練濾波器hk t，并分配一個(gè)較高的值來抑制濾波器的學(xué)習(xí)使濾波器在這部分的響應(yīng)接近于零，值的大小由參數(shù)λ 2控制.這使得濾波器組能夠?qū)W習(xí)到更全面的目標(biāo)信息，獲得更準(zhǔn)確的目標(biāo)全局響應(yīng)，從而能夠更專注于目標(biāo)中心區(qū)域，減少由于目標(biāo)對象變化引起的不必要的邊界效應(yīng).

3）時(shí)間正則化模塊

由于SRDCF是基于多幅圖像訓(xùn)練濾波器，造成了較高的計(jì)算負(fù)擔(dān)，且優(yōu)化很困難.然而，時(shí)間正則項(xiàng)可以基于單個(gè)圖像進(jìn)行訓(xùn)練濾波器，然后利用相鄰幀學(xué)習(xí)到的濾波器，經(jīng)過對比兩個(gè)濾波器獲得的響應(yīng)圖中的變化部分，從而能夠更好發(fā)現(xiàn)目標(biāo)是否發(fā)生突變，增強(qiáng)了相鄰幀之間的聯(lián)系.當(dāng)當(dāng)前幀目標(biāo)發(fā)生突變時(shí)，使濾波器學(xué)習(xí)更接近前一幀學(xué)習(xí)到的濾波器，從而緩解此類情況導(dǎo)致的問題.

2.3 AGCACF跟蹤算法模型優(yōu)化

受到STRCF[12]跟蹤算法中優(yōu)化方法的啟發(fā)，為了有效地訓(xùn)練和測試，相關(guān)濾波器通常在頻域中學(xué)習(xí).AGCACF跟蹤算法選用ADMM方法進(jìn)行優(yōu)化.為簡化計(jì)算，引入一個(gè)輔助變量 t=DFh t.其中， t 是g t的離散傅里葉變換形式，F(xiàn)是一個(gè)D×D維的標(biāo)準(zhǔn)正交矩陣.然后，式（4）可以利用Parseval定理在頻域中表示，即

EH t， t=12∑Kk=1k t0☉k t- t2 2+

12∑Kk=1λ 1☉hk t2 2+

12λ 2∑Kk=1∑Nn=1k tn☉k t2 2+θ2k t-k t-12 2，（7）

式（7）中，=［1 t，2 t，…，K t]∈RKD為輔助變量矩陣.通過最小化等式來獲得最優(yōu)解，使用ADMM方法求解最優(yōu)解問題，每個(gè)子問題，Η，都具有封閉解.將式（7）表述為增廣拉格朗日等式：

L tH t， t， t=EH t， t+γ2∑Kk=1k t-DFhk t2 2+

∑Kk=1（k t-DFhk t）Tk t，（8）

式（8）中： t= 1， 2，…， K∈RKD表示拉格朗日乘子的傅里葉形式；γ為步長正則化參數(shù).引入輔助變量vk t，令vk t=mk tγ（ t=［1 t，2 t，…，K t］），k t為vk t的傅里葉變換形式，式（8）可以重新簡化成：

L tH t， t， t=EH t， t+? γ2∑Kk=1k t-DFhk t+k t2 2.（9）

子問題：結(jié)合給定的變量H t， t，獲得最優(yōu)的*的表達(dá)式為

*=arg min12∑Kk=1k t0☉k t- t2 2+? 12λ 2∑Kk=1∑Nn=1k tn☉k t2 2+? γ2∑Kk=1k t-DFhk t+k t2 2，（10）

可以看出式（10）計(jì)算較復(fù)雜，想要求出最優(yōu)解是比較困難的.因?yàn)槊總€(gè)像素上的標(biāo)簽由每個(gè)像素的所有K通道上的變量決定，因此，對每個(gè)像素所有通道進(jìn)行處理，最優(yōu)化問題變?yōu)?/p>

Γ* j t=arg minΓ j（ t）Γ j t0TΓ j t- tj2 2+? λ 2∑Nn=1Γ j tnTΓ j t2 2+? γΓ j t-Γ jDFH t+Γ j t2 2+? θΓ j t-Γ j t-12 2，（11）

式（11）中：Γ j∈CK×1表示像素j上包含所有K通道值； tj表示像素j上的預(yù)期目標(biāo)響應(yīng)值.取式（11）導(dǎo)數(shù)為零，用Sherman-Morrison公式[21]推導(dǎo)后，可獲得等式解：

Γ* j t=1γ+θ（I-ηγ+θ+η）ρ，（12）

其中，

η=Γ j t0Γ j t0T+λ 2∑Nn=1Γ j tnΓ j tnT，

ρ=Γ j t0 tj+θΓ j t-1-γΓ j t+γΓ j（DFh t）.

子問題Η：結(jié)合給定的變量 t， t，獲得最優(yōu)的hk的表達(dá)式為

hk*=arg minhk12λ 1☉hk t2 2+? γ2k t-DFhk t+k t2 2，（13）

則hk的封閉解可以表示為

hk*=T+γD-1γDvk t+gk t=? γDvk t+gk tλ 1☉+γD，（14）

式（14）中，對角矩陣=diag∈RM×M.

子問題：以上分別計(jì)算出和Η，從而可以用來計(jì)算拉格朗日乘子：

i+1=i++γi+1-i+1，（15）

式（15）中：i+1，i分別表示拉格朗日乘子第i+1次和第i次迭代后的值的傅里葉變換；i+1，i+1是前兩個(gè)步驟得出的第i+1次的迭代結(jié)果；這里參數(shù)γ（i+1）=minγ max，βγi.

2.4 目標(biāo)定位

通過將當(dāng)前幀輸入k t和前一幀獲得的濾波器k t-1作相關(guān)運(yùn)算，搜索響應(yīng)的最大值，對跟蹤目標(biāo)進(jìn)行定位：

R t=F-1∑Kk=1k t☉k t-1，（16）

這里R t是第t幀的響應(yīng)圖，F(xiàn)-1表示逆傅里葉變換操作，k t為第t幀提取的特征映射的傅里葉形式.

3 實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)驗(yàn)環(huán)境及參數(shù)

實(shí)驗(yàn)所用操作系統(tǒng)為Win10，硬件配置為Intel（R） Core（TM） @ i3-2100CPU @ 3.10 GHz，6 GB內(nèi)存的主機(jī)，軟件版本為MATLAB R2015a.采用ADMM算法進(jìn)行優(yōu)化，其中的一些參數(shù)設(shè)置為：局部變化響應(yīng)權(quán)重δ=0.2，參數(shù)λ 1=e-4，參數(shù)λ 2=1，算法中尺度濾波器尺度數(shù)為33，采樣上下文區(qū)域數(shù)為4.本實(shí)驗(yàn)?zāi)繕?biāo)候選區(qū)域選用矩形框，樣本框最小值和最大值分別為150和200，時(shí)間正則化參數(shù)θ=13.ADMM優(yōu)化過程中，迭代次數(shù)為4，步長參數(shù)γ=1.

3.2 數(shù)據(jù)集和評估指標(biāo)

為了驗(yàn)證AGCACF跟蹤算法的有效性，本文選用一次通過評估指標(biāo)（One-Pass Evaluation， OPE? ）對算法進(jìn)行評估， OPE包括成功率和精度.

1）成功率：根據(jù)算法得到預(yù)測的目標(biāo)區(qū)域?yàn)閍，而目標(biāo)真實(shí)區(qū)域?yàn)閎，則重合率（OS）為a∩ba∪b，·表示所屬區(qū)域像素?cái)?shù)，當(dāng)OS的值達(dá)到甚至超過12，則認(rèn)為濾波跟蹤器成功跟蹤目標(biāo)，因此成功率為成功跟蹤幀數(shù)占總視頻幀數(shù)的百分比.

2）精度：精確度量跟蹤器跟蹤到的目標(biāo)邊界框與真值邊界框之間的中心位置誤差，當(dāng)這個(gè)誤差值小于給定的20像素時(shí)表示算法模型精度較高.

本文選取了7個(gè)基于濾波器的對比跟蹤器AutoTrack[22]、C-COT[14]、STRCF[12]、SRDCF[11]、DeepSRDCF[23]、staple[24]、CNN-SVM[25]，使用上面定義的精度和成功率對幾個(gè)跟蹤器和AGCACF算法跟蹤器進(jìn)行評估，選用流行的OTB2013和OTB2015數(shù)據(jù)集中的視頻序列.

3.3 定量分析

圖2和圖3為所有對比跟蹤器和本文中具有自動(dòng)空間正則化和上下文感知的跟蹤器分別在OTB2013和OTB2015數(shù)據(jù)集上的跟蹤曲線，在總體跟蹤精度和成功率兩個(gè)方面，AGCACF跟蹤算法都取得了較好的結(jié)果.由圖2可知，AGCACF算法精度為86.2%，成功率為64.4%；由圖3可知，AGCACF算法精度為89.3%，成功率為68.6%.可以看出，相比其他對比算法，AGCACF算法在結(jié)合空間局部-全局響應(yīng)變化和上下文感知信息后，獲得了明顯的性能提升.

為了驗(yàn)證算法效果，實(shí)驗(yàn)研究了不同屬性場景下算法的跟蹤性能，圖4和圖5分別展示了AGCACF算法在OTB2013和OTB2015數(shù)據(jù)集中效果較為顯著的一些類型場景.可以看出AGCACF算法在背景模糊（圖4a、d和圖5a、d）、非剛性形變（圖4b、e）、平面外旋轉(zhuǎn)（圖4c、f和圖5c、f）以及遮擋（圖5b、e）情況下，都獲得了較為明顯的性能提升.

綜合觀察到的實(shí)驗(yàn)結(jié)果，AGCACF跟蹤算法從OTB數(shù)據(jù)集序列的基礎(chǔ)屬性進(jìn)行比較，驗(yàn)證了AGCACF算法的優(yōu)勢.通過將目標(biāo)局部響應(yīng)和全局響應(yīng)相結(jié)合，AGCACF算法能夠較好地應(yīng)對目標(biāo)發(fā)生如圖4中非剛性形變和圖5中遮擋這類部分變化的狀況；當(dāng)目標(biāo)在目標(biāo)區(qū)域之外發(fā)生了較大變化或者當(dāng)目標(biāo)背景對目標(biāo)影響較大時(shí)，如圖5中的背景模糊和平面外旋轉(zhuǎn)情況，結(jié)合目標(biāo)及上下文區(qū)域算法也可以很好改善這些問題.

3.4 定性分析

將本文AGCACF跟蹤算法和4個(gè)先進(jìn)算法STRCF、Auto-Track[22]、C-COT[14]、TADT[26]在視頻序列中進(jìn)行定性分析，分別選取快速運(yùn)動(dòng)、背景雜亂、目標(biāo)遮擋、平面內(nèi)旋轉(zhuǎn)、尺度變化這幾種情況進(jìn)行比較.

1）快速運(yùn)動(dòng).圖6a序列中，目標(biāo)對象快速移動(dòng).在第70幀目標(biāo)開始橫向移動(dòng)時(shí)，STRCF和C-COT首先發(fā)生漂移，接著，Auto-Track、TADT也先后丟失

了目標(biāo)位置，只有AGCACF算法還能夠跟蹤到目標(biāo).因此，AGCACF算法結(jié)合了目標(biāo)及上下文信息，使得跟蹤器在目標(biāo)快速移動(dòng)時(shí)能準(zhǔn)確跟蹤到目標(biāo).

2）背景雜亂.圖6b序列的目標(biāo)對象在移動(dòng)過程中，周圍區(qū)域有許多與目標(biāo)類似的干擾項(xiàng).可以看到，在第61幀處SRDCF就開始丟失了目標(biāo)，在隨后的第67幀，Auto-Track、TADT也發(fā)生漂移，隨后在第74幀C-COT也發(fā)生了漂移.因此，AGCACF跟蹤算法由于學(xué)習(xí)了局部響應(yīng)變化在背景雜亂視頻中能夠取得很好的性能.

3）目標(biāo)遮擋.圖6c序列的目標(biāo)女孩在第111幀被遮擋，C-COT、Auto-Track算法發(fā)生部分漂移，而當(dāng)目標(biāo)重新出現(xiàn)時(shí)，只剩下AGCACF跟蹤算法重新回到目標(biāo)上，其他算法都跟蹤失敗.AGCACF算法結(jié)合了時(shí)間正則化模塊和上下文感知模塊，提升了算法在目標(biāo)遮擋時(shí)的穩(wěn)健性.

4）平面內(nèi)旋轉(zhuǎn).圖6d序列中，當(dāng)目標(biāo)發(fā)生平面內(nèi)旋轉(zhuǎn)時(shí)，Auto-Track就失去了目標(biāo)位置，隨著目標(biāo)變化幅度變大，SRDCF和STRCF都跟蹤失敗.由于AGCACF跟蹤算法充分利用了目標(biāo)上下文信息，所以在跟蹤旋轉(zhuǎn)的目標(biāo)時(shí)具有較好的效果.

5）尺度變化.圖6e序列具有尺度變化特性，當(dāng)目標(biāo)尺度變小時(shí)，只有AGCACF跟蹤算法和STRCF還能夠完全跟蹤到目標(biāo)，其余算法發(fā)生漂移.當(dāng)目標(biāo)尺度變大時(shí)，只有AGCACF算法跟蹤效果最好.因?yàn)锳GCACF算法結(jié)合了空間局部-全局響應(yīng)變化和上下文感知信息，所以很好地跟蹤了目標(biāo)發(fā)生尺度變化的情況.

4 結(jié)論

相關(guān)濾波跟蹤算法中，邊界效應(yīng)和目標(biāo)周圍環(huán)境對跟蹤算法的性能產(chǎn)生決定性的影響.因此本文基于原有的SRDCF算法，提出一種自動(dòng)全局上下文感知相關(guān)濾波器（AGCACF）算法.通過充分利用目標(biāo)區(qū)域和上下文區(qū)域的特征信息，加強(qiáng)了濾波器對目標(biāo)的學(xué)習(xí)能力；在全局空間正則化中加入目標(biāo)局部響應(yīng)變化形成局部-全局空間正則化項(xiàng)，從而有效辨別目標(biāo)是否發(fā)生局部異常變化，通過結(jié)合目標(biāo)細(xì)致的局部變化和更多的與目標(biāo)有關(guān)的信息，使空間正則項(xiàng)高效學(xué)習(xí)目標(biāo)區(qū)域變化，緩解跟蹤過程中的邊界效應(yīng)；最后加入時(shí)間正則化項(xiàng)，不僅能夠加強(qiáng)相鄰幀之間的聯(lián)系，而且一定程度上緩解了濾波器衰退的問題.從在數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果可知，AGCACF跟蹤算法在精度和成功率上都取得了較好的魯棒性.未來工作中，將嘗試結(jié)合深度特征進(jìn)行學(xué)習(xí)和改進(jìn)固定時(shí)間正則化參數(shù)來提高跟蹤性能.

參考文獻(xiàn)

References

［1］ 張微，康寶生.相關(guān)濾波目標(biāo)跟蹤進(jìn)展綜述[J].中國圖象圖形學(xué)報(bào)，2017，22（8）：1017-1033

ZHANG Wei，KANG Baosheng.Recent advances in correlation filter-based object tracking：a review[J].Journal of Image and Graphics，2017，22（8）：1017-1033

[2] Karaduman M，nar A，Eren H.UAV traffic patrolling via road detection and tracking in anonymous aerial video frames[J].Journal of Intelligent & Robotic Systems，2019，95（2）：675-690

[3] 趙宇晴，陳廣勝，景維鵬.對簡單線性迭代聚類算法改進(jìn)的遙感影像超像素分割方法[J].東北林業(yè)大學(xué)學(xué)報(bào)，2020，48（11）：66-71

ZHAO Yuqing，CHEN Guangsheng，JING Weipeng.Improved SLIC clustering superpixels segmentation method on remote sensing image[J].Journal of Northeast Forestry University，2020，48（11）：66-71

[4] Bolme D S，Beveridge J R，Draper B A，et al.Visual object tracking using adaptive correlation filters[C]∥2010 IEEE Computer Society Conference on Computer Vision and Pattern Recognition.June 13-18，2010，San Francisco，CA，USA.IEEE，2010：2544-2550

[5] Henriques J F，Caseiro R，Martins P，et al.Exploiting the circulant structure of tracking-by-detection with kernels[M]∥Computer Vision.Berlin，Heidelberg：Springer Berlin Heidelberg，2012：702-715

[6] Henriques J F，Caseiro R，Martins P，et al.High-speed tracking with kernelized correlation filters[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2015，37（3）：583-596

[7] Danelljan M，Khan F S，F(xiàn)elsberg M，et al.Adaptive color attributes for real-time visual tracking[C]∥2014 IEEE Conference on Computer Vision and Pattern Recognition.June 23-28，2014，Columbus，OH，USA.IEEE，2014：1090-1097

[8] Danelljan M，Hger G，Shahbaz Khan F，et al.Accurate scale estimation for robust visual tracking[C]∥Proceedings of the British Machine Vision Conference 2014.Nottingham.British Machine Vision Association，2014：1-11

[9] Mueller M，Smith N，Ghanem B.Context-aware correlation filter tracking[C]∥2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.July 21-26，2017，Honolulu，HI，USA.IEEE，2017：1387-1395

[10] Galoogahi H K，F(xiàn)agg A，Lucey S.Learning background-aware correlation filters for visual tracking[C]∥2017 IEEE International Conference on Computer Vision （ICCV）.October 22-29，2017，Venice，Italy.IEEE，2017：1144-1152

[11] Danelljan M，Hger G，Khan F S，et al.Learning spatially regularized correlation filters for visual tracking[C]∥2015 IEEE International Conference on Computer Vision.December 7-13，2015，Santiago，Chile.IEEE，2015：4310-4318

[12] Li F，Tian C，Zuo W M，et al.Learning spatial-temporal regularized correlation filters for visual tracking[C]∥2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition.June 18-23，2018，Salt Lake City，UT，USA.IEEE，2018：4904-4913

[13] Danelljan M，Bhat G，Khan F S，et al.ECO：efficient convolution operators for tracking[C]∥2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.July 21-26，2017，Honolulu，HI，USA.IEEE，2017：6931-6939

[14] Danelljan M，Robinson A，Shahbaz Khan F S，et al.Beyond correlation filters：learning continuous convolution operators for visual tracking[M]∥Computer Vision-ECCV 2016.Cham：Springer International Publishing，2016：472-488

[15] Li Y M，F(xiàn)u C H，Huang Z Y，et al.Keyfilter-aware real-time UAV object tracking[C]∥2020 IEEE International Conference on Robotics and Automation （ICRA）.May 31-August 31，2020，Paris，F(xiàn)rance.IEEE，2020：193-199

[16] Dai K N，Wang D，Lu H C，et al.Visual tracking via adaptive spatially-regularized correlation filters[C]∥2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）.June 15-20，2019，Long Beach，CA，USA.IEEE，2019：4665-4674

[17] Yan Y M，Guo X X，Tang J，et al.Learning spatio-temporal correlation filter for visual tracking[J].Neurocomputing，2021，436：273-282

[18] Zhao J W，Li Y X，Zhou Z H.Learning adaptive spatial-temporal regularized correlation filters for visual tracking[J].IET Image Processing，2021，15（8）：1773-1785

[19] Huang Y P，Lu R T，Li X F，et al.Discriminative correlation tracking based on spatial attention mechanism for low-resolution imaging systems[J].The Visual Computer，2021：1-14

[20] Huang B，Xu T F，Shen Z Y，et al.BSCF：learning background suppressed correlation filter tracker for wireless multimedia sensor networks[J].Ad Hoc Networks，2021，111：102340

[21] Sherman J，Morrison W J.Adjustment of an inverse matrix corresponding to a change in one element of a given matrix[J].The Annals of Mathematical Statistics，1950，21（1）：124-127

[22] Li Y M，F(xiàn)u C H，Ding F Q，et al.AutoTrack：towards high-performance visual tracking for UAV with automatic spatio-temporal regularization[C]∥2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）.June 13-19，2020，Seattle，WA，USA.IEEE，2020：11920-11929

[23] Danelljan M，Hger G，Khan F S，et al.Convolutional features for correlation filter based visual tracking[C]∥2015 IEEE International Conference on Computer Vision Workshop （ICCVW）.December 7-13，2015，Santiago，Chile.IEEE，2015：621-629

[24] Bertinetto L，Valmadre J，Golodetz S，et al.Staple：complementary learners for real-time tracking[C]∥2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.June 27-30，2016，Las Vegas，NV，USA.IEEE，2016：1401-1409

[25] Hong S，You T，Kwak S，et al.Online tracking by learning discriminative saliency map with convolutional neural network[C]∥Proceedings of the 32nd International Conference on Machine Learning.July 6-11，2015，Like，F(xiàn)rance，USA.IEEE，2015：597-606

[26] Li X，Ma C，Wu B Y，et al.Target-aware deep tracking[C]∥2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）.June 15-20，2019，Long Beach，CA，USA.IEEE，2019：1369-1378

Correlation filter tracking algorithm based on

automatic global context awareness

HU Zhaohua1，2 ZHANG Qian1，2

1School of Electronics & Information Engineering，Nanjing University of Information Science & Technology，Nanjing 210044

2Collaborative Innovation Center of Atmospheric Environment and Equipment Technology，

Nanjing University of Information Science & Technology，Nanjing 210044

Abstract Introducing regularization into the correlation filter tracking algorithm can effectively improve the tracking efficiency，but it takes a lot of effort to adjust the predefined parameters.In addition，the target response occurring? in non-target areas will lead to tracking drift.Therefore，an Automatic Global Context Awareness Correlation Filter （AGCACF） tracking algorithm is proposed.First，during the tracking process，the automatic spatial regularization is realized using the target local response change，then its module is added into the target function to enable the filter to focus on the learning of the target object.Second，the tracker utilizes the global context information of the target，which can avail the filter learn more information related to the target and reduce the impact of background on tracking performance. Then a temporal regularization term is added to the filter to fully learn the change of targets between adjacent frames to obtain more accurate model samples.Experimental results show that the proposed AGCACF tracking algorithm has better tracking effect in distance accuracy and success rate compared with other tracking algorithms.

Key words target tracking;correlation filtering;automatic spatial regularization;global context;temporal awareness