具有空間調(diào)整和稀疏約束的相關(guān)濾波跟蹤算法

田 丹，臧守雨，涂斌斌

具有空間調(diào)整和稀疏約束的相關(guān)濾波跟蹤算法

田 丹，臧守雨，涂斌斌

(沈陽(yáng)大學(xué)信息工程學(xué)院，遼寧 沈陽(yáng) 110044)

因頻繁遮擋、尺度變化、邊界效應(yīng)等因素的影響，進(jìn)行目標(biāo)跟蹤時(shí)，時(shí)常難以達(dá)到較好的預(yù)期效果。再有，采用傳統(tǒng)特征提取策略也會(huì)影響目標(biāo)跟蹤的魯棒性。針對(duì)上述問(wèn)題，提出一種具有空間調(diào)整和稀疏約束的相關(guān)跟蹤算法。利用傳統(tǒng)特征與深度特征的有效融合，適應(yīng)目標(biāo)表觀變化；基于峰值旁瓣比判別目標(biāo)在跟蹤過(guò)程中是否被遮擋，若發(fā)生遮擋，則對(duì)濾波器進(jìn)行稀疏正則化約束，提高模型對(duì)遮擋問(wèn)題的魯棒性；若未發(fā)生遮擋，則通過(guò)高斯空間調(diào)整懲罰濾波器系數(shù)，抑制邊界效應(yīng)的影響。實(shí)驗(yàn)利用OTB數(shù)據(jù)集中5組涵蓋了嚴(yán)重遮擋和尺度變化等挑戰(zhàn)因素的標(biāo)準(zhǔn)視頻序列進(jìn)行測(cè)試，定性和定量對(duì)比了算法與4種熱點(diǎn)算法的跟蹤效果。定性分析中基于視頻序列的主要挑戰(zhàn)因素進(jìn)行比較，定量分析通過(guò)中心點(diǎn)位置誤差和重疊率比較跟蹤算法的性能。實(shí)驗(yàn)結(jié)果表明，算法對(duì)上述挑戰(zhàn)因素更具魯棒性。

目標(biāo)跟蹤；相關(guān)濾波；深度特征；稀疏約束；空間調(diào)整

目標(biāo)跟蹤[1]是計(jì)算機(jī)視覺(jué)的一個(gè)熱點(diǎn)研究領(lǐng)域，廣泛應(yīng)用于人機(jī)交互[2]、視頻監(jiān)控[3]、無(wú)人駕駛[4]、醫(yī)學(xué)診斷[5]等領(lǐng)域。在過(guò)去二十年中，目標(biāo)跟蹤受到了越來(lái)越多的關(guān)注。但是，目標(biāo)跟蹤任務(wù)仍然會(huì)受到目標(biāo)表觀形變、尺度變化、遮擋等問(wèn)題的影響，所以跟蹤算法的研究仍然具有挑戰(zhàn)性[6]。

相關(guān)濾波[7]作為目標(biāo)跟蹤的一個(gè)熱點(diǎn)研究方法，因計(jì)算量小、運(yùn)行速度快、魯棒性強(qiáng)而廣泛受到關(guān)注。DANELLJAN等[8]在相關(guān)濾波的基礎(chǔ)上引入空間正則項(xiàng)，使用Gauss-Seidel函數(shù)求解濾波器，解決邊界效應(yīng)問(wèn)題。ZHANG等[9]提出一種多任務(wù)相關(guān)粒子濾波器跟蹤算法，將粒子濾波與相關(guān)濾波相融合，使濾波器在訓(xùn)練時(shí)可以學(xué)習(xí)不同特征之間的聯(lián)系，在尺度變化和計(jì)算方面具有優(yōu)勢(shì)性。LI等[10]在空間調(diào)整相關(guān)濾波器(spatially regularized correlation filters，SRDCF)算法的基礎(chǔ)上加入時(shí)間正則項(xiàng)，提出時(shí)空正則化相關(guān)濾波器，在抑制邊界效應(yīng)的同時(shí)，可以提高模型跟蹤速度，并得到更加魯棒的目標(biāo)跟蹤結(jié)果。XU等[11]將結(jié)構(gòu)化稀疏約束應(yīng)用到多通道濾波器，利用增廣拉格朗日方法實(shí)現(xiàn)有效的濾波器學(xué)習(xí)和特征選擇，減輕了濾波器退化，保持了外觀多樣性，一定程度上抑制了空間邊界效應(yīng)對(duì)目標(biāo)跟蹤產(chǎn)生的影響。

上述方法從邊界效應(yīng)、尺度變化、跟蹤速度等方面對(duì)相關(guān)濾波算法進(jìn)行了優(yōu)化，但未考慮到頻繁遮擋對(duì)目標(biāo)跟蹤的影響。針對(duì)這一問(wèn)題，本文利用峰值旁瓣比來(lái)判別目標(biāo)是否被遮擋，當(dāng)發(fā)生遮擋時(shí)，引入稀疏約束更新濾波器來(lái)增強(qiáng)跟蹤算法的魯棒性。若未發(fā)生遮擋，則通過(guò)高斯空間調(diào)整方法懲罰濾波器系數(shù)，抑制邊界效應(yīng)的影響。此外，在保證訓(xùn)練效率的前提下，針對(duì)目標(biāo)外觀多樣性帶來(lái)的負(fù)面效應(yīng)，將傳統(tǒng)特征與深度特征[12]融合來(lái)描述目標(biāo)表觀特征變化，并引入時(shí)間正則化懲罰項(xiàng)構(gòu)建相關(guān)濾波器。提出的濾波器對(duì)跟蹤過(guò)程中遇到的目標(biāo)遮擋、尺度變化等因素具有一定的魯棒性。

1 相關(guān)工作

1.1 判別式相關(guān)濾波跟蹤原理

依據(jù)工作原理劃分，目標(biāo)跟蹤算法可以分為生成式和判別式2大類。生成式方法使用生成模型來(lái)描述目標(biāo)表觀特征，再通過(guò)搜索區(qū)域來(lái)最小化重構(gòu)誤差。判別式模型通過(guò)訓(xùn)練分類器以區(qū)分目標(biāo)和背景，從而確定目標(biāo)位置。判別式方法因能顯著區(qū)分背景與前景信息，更具魯棒性，在目標(biāo)跟蹤領(lǐng)域受到廣泛關(guān)注。

基于判別式的相關(guān)濾波器利用第一幀給定的目標(biāo)特征訓(xùn)練濾波器，選取訓(xùn)練樣本，使得濾波器作用于序列時(shí)產(chǎn)生輸出響應(yīng)，其中輸出響應(yīng)值最大的區(qū)域就被認(rèn)為是目標(biāo)所在的區(qū)域。每個(gè)目標(biāo)塊對(duì)應(yīng)的響應(yīng)值為

1.2 STRCF算法介紹

判別式相關(guān)濾波跟蹤算法通過(guò)循環(huán)移位方法構(gòu)建訓(xùn)練樣本集，由于該樣本集存在非真實(shí)樣本，易引發(fā)邊界效應(yīng)問(wèn)題。時(shí)空調(diào)整相關(guān)濾波器(spatial-temporal regularized correlation filters，STRCF)算法[10]利用正則化方法，對(duì)濾波器進(jìn)行空間懲罰，使得訓(xùn)練出的濾波器更能集中在目標(biāo)的中心區(qū)域。同時(shí)，加入時(shí)間正則化項(xiàng)來(lái)建立相鄰濾波器之間的關(guān)系，有效地解決了濾波器退化的問(wèn)題。并通過(guò)下述優(yōu)化問(wèn)題更新相關(guān)濾波器，即

2 跟蹤算法的提出

2.1 模型建立

考慮到方向梯度直方圖特征(histogram of oriented gradient，HOG)、顏色特征(color naming，CN)和灰度特征(Gray)能分別反映運(yùn)動(dòng)模糊、目標(biāo)形變和光照變化情況，本文從特征融合角度入手，將上述3方面特征與深度特征相融合，利用樣本數(shù)據(jù)自動(dòng)學(xué)習(xí)目標(biāo)特征，從而實(shí)現(xiàn)對(duì)目標(biāo)形態(tài)的有效判別。此外，針對(duì)遮擋頻繁持續(xù)存在，容易造成目標(biāo)漂移，甚至遮擋物被誤認(rèn)為跟蹤物的問(wèn)題，本文基于峰值旁瓣比判別目標(biāo)是否被遮擋，當(dāng)發(fā)生遮擋時(shí)，引入稀疏約束更新濾波器，若未發(fā)生遮擋，利用高斯空間調(diào)整抑制邊界效應(yīng)的影響。提出具有空間調(diào)整和稀疏正則化約束的相關(guān)濾波跟蹤模型，分別由數(shù)據(jù)殘差項(xiàng)，空間調(diào)整項(xiàng)，稀疏約束項(xiàng)和時(shí)間正則項(xiàng)組成，即

其中，為濾波器的權(quán)重，當(dāng)峰值旁瓣比(peak sidelobe ratio，PSR)大于閾值時(shí)，令=1，表示目標(biāo)未被遮擋，該情況下模型利用參數(shù)對(duì)濾波器進(jìn)行懲罰抑制邊界效應(yīng)的影響，當(dāng)峰值旁瓣比小于等于時(shí)，令=0，表示目標(biāo)受遮擋影響，對(duì)濾波器進(jìn)行稀疏約束增強(qiáng)跟蹤對(duì)外觀變化的魯棒性。此外，21范數(shù)通過(guò)計(jì)算每個(gè)空間位置的2范數(shù)，然后作用于1范數(shù)，來(lái)實(shí)現(xiàn)聯(lián)合稀疏；||–f–1||2是時(shí)間正則項(xiàng)。

相關(guān)濾波算法是通過(guò)循環(huán)移位初始幀得到訓(xùn)練樣本集，再與濾波器卷積求相關(guān)響應(yīng)值，從而預(yù)測(cè)目標(biāo)位置。但初始幀循環(huán)移位到邊界時(shí)，學(xué)習(xí)樣本為非真實(shí)樣本。因此，在學(xué)習(xí)濾波器時(shí)，靠近濾波器中心的系數(shù)更可靠。如果對(duì)中的每個(gè)濾波系數(shù)指定相同的懲罰參數(shù)，除了背景濾波系數(shù)外，還可能抑制目標(biāo)區(qū)域內(nèi)的濾波系數(shù)，將降低目標(biāo)跟蹤的精度，甚至?xí)?dǎo)致目標(biāo)漂移問(wèn)題。因此，為了更好地保留濾波器中屬于目標(biāo)區(qū)域的系數(shù)，同時(shí)又要抑制目標(biāo)區(qū)域之外的系數(shù)，可根據(jù)每個(gè)濾波器的空間位置為每個(gè)濾波器系數(shù)指定不同的懲罰系數(shù)，即

其中，(a,b)為圖像的中心位置；×為目標(biāo)尺寸。

2.2 模型求解

2.2.1 交替方向乘子法

交替方向乘子法(alternating direction method of multipliers，ADMM)是一種求解優(yōu)化問(wèn)題的計(jì)算框架。ADMM旨在將對(duì)偶上升法的可分解性和乘子法的上界收斂性融合在一起，通過(guò)將全局問(wèn)題分解為多個(gè)較小、較容易求解的局部子問(wèn)題，并協(xié)調(diào)子問(wèn)題的解而得到全局最優(yōu)解。具體描述為

為了增強(qiáng)對(duì)偶上升法的魯棒性與函數(shù)的強(qiáng)凸約束，引入增廣拉格朗日形式，即

其中，為步長(zhǎng)參數(shù)。進(jìn)一步轉(zhuǎn)化為對(duì)，的交替迭代，具體框架可描述為：

步驟1.初始化0，0，>0。

步驟2.計(jì)算

步驟3.若滿足終止條件則停止迭代并輸出結(jié)果；否則返回步驟1。

在，為閉凸正則函數(shù)情況下，殘差、目標(biāo)函數(shù)及對(duì)偶函數(shù)均收斂[13-14]。

2.2.2 求解模型

式(4)中各項(xiàng)均為凸函數(shù)，可以利用ADMM方法求解。

具體步驟如下：引入輔助變量，令=，則模型的增廣拉格朗日形式可以表示為

由于式(4)無(wú)閉環(huán)解，故在此基礎(chǔ)上，使用ADMM優(yōu)化算法將式(11)轉(zhuǎn)換為對(duì)下列子問(wèn)題的求解，即

將模型的求解轉(zhuǎn)化為對(duì)2個(gè)子問(wèn)題的求解：

(1) 子問(wèn)題：其可以在傅立葉域改寫(xiě)為

對(duì)上式求導(dǎo)，并令導(dǎo)函數(shù)為0，可以求得子問(wèn)題的解為

其中，為單位矩陣；(·)為沿所有通道并由的第個(gè)元素組成的向量。

(2) 子問(wèn)題：其沒(méi)有涉及空域上的卷積運(yùn)算，因此直接對(duì)子問(wèn)題求導(dǎo)可得空域上的閉環(huán)解。

①當(dāng)=1時(shí)，

②當(dāng)=0時(shí)，

最后，通過(guò)步長(zhǎng)參數(shù)的自適應(yīng)更新，來(lái)控制收斂效率。

其中，為尺度因子。

利用ADMM算法，使得每個(gè)子問(wèn)題均存在閉環(huán)解，并且能夠保證收斂到全局最優(yōu)。此外，經(jīng)過(guò)研究發(fā)現(xiàn)，ADMM算法在大多數(shù)序列上可以在2次迭代內(nèi)收斂，因此，為了提高效率，本文把最大迭代次數(shù)N設(shè)置為2。

2.3 算法總體流程

目標(biāo)跟蹤算法流程如圖1所示。首先輸入視頻序列首幀目標(biāo)位置信息和尺度信息。引入HOG，Gray和CN特征并對(duì)視頻序列進(jìn)行卷積特征提取，將傳統(tǒng)特征與深度特征進(jìn)行有效融合。其次根據(jù)上一幀目標(biāo)信息訓(xùn)練濾波器模板，根據(jù)響應(yīng)值得到新一幀目標(biāo)位置和尺度信息。再利用新一幀目標(biāo)信息更新濾波器模板，其通過(guò)PSR值判斷是否遮擋，若出現(xiàn)遮擋則建立稀疏約束模型更新濾波器模板，進(jìn)而提高模型對(duì)遮擋問(wèn)題的魯棒性；反之，則建立空間調(diào)整模型更新濾波器模板，即通過(guò)高斯空間調(diào)整懲罰濾波器系數(shù)，抑制邊界效應(yīng)的影響。最終輸出視頻序列每幀的目標(biāo)位置。

圖1 算法流程圖

3 實(shí)驗(yàn)結(jié)果分析

3.1 實(shí)驗(yàn)條件

為了驗(yàn)證算法在復(fù)雜場(chǎng)景下跟蹤的魯棒性，本文算法基于MATLAB2019a軟件實(shí)驗(yàn)平臺(tái)和Intel(R)Core(TM) i5-6200U CPU硬件實(shí)驗(yàn)環(huán)境，并利用OTB數(shù)據(jù)集中的標(biāo)準(zhǔn)視頻序列進(jìn)行測(cè)試。算法參數(shù)設(shè)置如下：=15，(0)=10，max=100，尺度因子=1.01。

此外，為了定量分析比較跟蹤算法精確度，定義目標(biāo)跟蹤的中心點(diǎn)位置誤差(center point error，CPE)為

其中，(x,y)為跟蹤算法標(biāo)注的目標(biāo)中心點(diǎn)坐標(biāo)；(x,y)為OTB數(shù)據(jù)集標(biāo)注的目標(biāo)中心點(diǎn)坐標(biāo)。中心點(diǎn)位置誤差度量了二者間的歐氏距離，該數(shù)值結(jié)果越小，跟蹤的精確度越高。

3.2 算法性能比較

3.2.1 定性實(shí)驗(yàn)

定性實(shí)驗(yàn)中，對(duì)本文算法與SRDCF[8]，多任務(wù)相關(guān)濾波器(multi-task correlation particle filter，MCPF)[9]，STRCF[10]和自適應(yīng)學(xué)習(xí)判別相關(guān)濾波器(learning adaptive discriminative correlation filters，LADCF)[11]4種熱點(diǎn)算法進(jìn)行了效果對(duì)比，分別處理了OTB數(shù)據(jù)集中的Basketball，Biker，DragonBaby，Kitesurf和Panda5組視頻序列，如圖2所示。面向視頻序列中的主要挑戰(zhàn)因素，可以看出：

(1) 尺度變化情況。視頻Panda中存在尺度變化問(wèn)題。圖2(a)給出了目標(biāo)運(yùn)動(dòng)的代表性跟蹤效果對(duì)比圖。STRCF算法從400幀前后開(kāi)始出現(xiàn)目標(biāo)漂移現(xiàn)象，MCPF算法跟蹤框不能隨目標(biāo)尺度變化自適應(yīng)調(diào)整，跟蹤結(jié)果包含大量背景信息，導(dǎo)致跟蹤精度低(例如第538幀和第620幀)。視頻Biker中存在尺度變化和快速運(yùn)動(dòng)問(wèn)題。圖2(b)給出了目標(biāo)運(yùn)動(dòng)的代表性跟蹤效果對(duì)比圖。本文算法很好地克服了尺度變化和快速運(yùn)動(dòng)的影響，特別是第70幀目標(biāo)快速運(yùn)動(dòng)并旋轉(zhuǎn)時(shí)，LADCF算法和本文算法能很好捕捉到目標(biāo)的位置。但STRCF，SRDCF和MCPF算法均在不同程度上發(fā)生目標(biāo)丟失情況。本文算法利用傳統(tǒng)特征(HOG，CN和Gray)與深度特征相融合描述目標(biāo)表觀特征，提高對(duì)目標(biāo)形態(tài)的有效判別，實(shí)現(xiàn)連續(xù)視頻序列的準(zhǔn)確跟蹤。

(2) 遮擋情況。目標(biāo)在運(yùn)動(dòng)過(guò)程中被其他物體遮擋時(shí)，跟蹤算法不可避免地學(xué)習(xí)到背景信息而導(dǎo)致模型退化。視頻DragonBaby存在嚴(yán)重遮擋問(wèn)題。圖2(c)給出了人臉運(yùn)動(dòng)的代表性跟蹤效果。第23幀、第38幀、第48幀和第87幀目標(biāo)出現(xiàn)局域遮擋問(wèn)題，STRCF和SRDCF算法出現(xiàn)目標(biāo)丟失現(xiàn)象，而LADCF、MCPF和本文算法均能在不同程度上克服遮擋影響。視頻Basketball和Kitesurf中存在臉部遮擋和光照變化問(wèn)題。圖2(d)和(e)給出了目標(biāo)運(yùn)動(dòng)的代表性跟蹤效果對(duì)比圖。視頻序列Basketball在250幀、320幀和440幀前后出現(xiàn)局域遮擋情況，幾種算法均在不同程度上克服了遮擋因素的影響。視頻序列Kitesurf在第28幀、56幀和80幀前后存在局域遮擋，STRCF和SRDCF算法在不同程度上發(fā)生了目標(biāo)漂移現(xiàn)象，且目標(biāo)跟蹤魯棒性較差。而本文算法引入空間稀疏調(diào)整有效地抑制了遮擋因素對(duì)目標(biāo)跟蹤產(chǎn)生的不利影響，實(shí)現(xiàn)穩(wěn)定跟蹤。

3.2.2 定量實(shí)驗(yàn)

為進(jìn)一步評(píng)價(jià)算法性能，對(duì)中心點(diǎn)位置誤差和重疊率2個(gè)評(píng)價(jià)指標(biāo)進(jìn)行定量對(duì)比分析，表1給出了5種算法在5組視頻序列下的平均重疊率。實(shí)驗(yàn)結(jié)果表明，在5組視頻序列跟蹤中，本文算法均達(dá)到了較高的跟蹤精度。視頻序列Biker，DragonBaby和Panda中，本文算法明顯優(yōu)于其余4種算法，視頻Baskeball中，本文跟蹤器的平均重疊率僅比LADCF算法的平均重疊率低0.025，且明顯優(yōu)于其余3種算法。視頻Kitesurf中，本文算法重疊率低于LADCF算法和MCPF算法，但也達(dá)到較高精度值。

利用式(18)度量本文算法與其他4種算法跟蹤5組視頻序列其中心點(diǎn)位置誤差的比較如圖3所示。實(shí)驗(yàn)結(jié)果表明，在5組視頻序列跟蹤中，本文算法均達(dá)到了較高的跟蹤精度。視頻Panda中，在第400～800幀區(qū)間，SRDCF跟蹤器對(duì)目標(biāo)尺度變化問(wèn)題敏感，跟蹤精度較低，在第920～1 000幀區(qū)間，STRCF算法對(duì)目標(biāo)尺度變化和形變問(wèn)題敏感，跟蹤精度較低。視頻Biker中存在目標(biāo)尺度變化、遮擋和運(yùn)動(dòng)模糊等復(fù)雜問(wèn)題，在前80幀，本文算法一直優(yōu)于其他4種算法，在80幀之后，本文算法的中心點(diǎn)位置誤差值略低于MCPF算法。視頻DragonBaby中，人臉存在遮擋和快速運(yùn)動(dòng)問(wèn)題，在第25～110 幀，SRDCF算法存在目標(biāo)丟失問(wèn)題。第45幀前后，STRCF算法的中心點(diǎn)位置誤差值不斷增大。視頻Basketball中，本文算法與LADCF算法跟蹤精度較好，明顯優(yōu)于其他3種算法。視頻KiteSurf中，從第40幀開(kāi)始，目標(biāo)人臉第一次出現(xiàn)大面積遮擋時(shí)，STRCF和SRDCF算法出現(xiàn)了目標(biāo)丟失的情況，其他3種算法中心點(diǎn)位置誤差值較低，跟蹤準(zhǔn)確度較高?？傮w來(lái)說(shuō)，本文算法在整個(gè)視頻序列跟蹤過(guò)程中，效果明顯優(yōu)于STRCF，MCPF和SRDCF算法。

表1 典型視頻序列的重疊率值對(duì)比

圖3 典型視頻序列的中心點(diǎn)位置誤差比較((a)熊貓；(b)騎行者；(c)小龍人；(d)籃球比賽；(e)沖浪者)

4 結(jié)束語(yǔ)

針對(duì)目標(biāo)表觀變化和嚴(yán)重遮擋等挑戰(zhàn)因素對(duì)跟蹤效果的影響，提出具有空間調(diào)整和稀疏約束的相關(guān)濾波跟蹤算法。主要包含4個(gè)技術(shù)部分：①有效融合傳統(tǒng)特征與深度特征，描述目標(biāo)表觀特征變化；②引入稀疏約束和高斯空間調(diào)整分別處理遮擋與邊界效應(yīng)問(wèn)題；③引入時(shí)間正則化項(xiàng)，對(duì)前一幀濾波器進(jìn)行學(xué)習(xí)，減少濾波器退化帶來(lái)的影響；④采用交替式迭代策略優(yōu)化模型。此外，基于OTB數(shù)據(jù)集進(jìn)行了對(duì)比實(shí)驗(yàn)，提出的模型在準(zhǔn)確性、魯棒性方面性能較好。主要貢獻(xiàn)有：①針對(duì)目標(biāo)外觀多樣性帶來(lái)的負(fù)面效應(yīng)，將傳統(tǒng)特征與深度特征相融合，更好適應(yīng)目標(biāo)表觀變化；②針對(duì)遮擋頻繁存在易造成目標(biāo)漂移的問(wèn)題，基于峰值旁瓣比判別目標(biāo)是否被遮擋。若發(fā)生遮擋，引入稀疏約束更新濾波器，辨別目標(biāo)與背景區(qū)域特征，增強(qiáng)跟蹤算法魯棒性。若未發(fā)生遮擋，利用高斯空間調(diào)整懲罰濾波器系數(shù)，抑制邊界效應(yīng)的影響。實(shí)驗(yàn)結(jié)果表明，本文算法在嚴(yán)重遮擋、尺度變化等情況下均具有較強(qiáng)魯棒性。

在未來(lái)研究中，擬考慮背景雜波對(duì)目標(biāo)跟蹤精度的影響，引入多峰檢測(cè)更新模型抑制相似特征，將稀疏學(xué)習(xí)與多峰檢測(cè)有效結(jié)合，進(jìn)一步增強(qiáng)跟蹤算法對(duì)干擾特征的區(qū)分能力。

[1] 孟琭, 楊旭. 目標(biāo)跟蹤算法綜述[J]. 自動(dòng)化學(xué)報(bào), 2019, 45(7): 1244-1260.

MENG L, YANG X. A survey of object tracking algorithms[J]. Acta Automatica Sinica, 2019, 45(7): 1244-1260 (in Chinese).

[2] 馮志全, 喬宇, 馮仕昌, 等. 多種手勢(shì)對(duì)應(yīng)同一語(yǔ)義的柔性映射交互算法的研究]J]. 電子學(xué)報(bào), 2019, 47(8): 1612-1617.

FENG Z Q, QIAO Y, FENG S C, et al. Research on flexible mapping algorithm of multi-gestures to one semantic[J]. Acta Electronica Sinica, 2019, 47(8): 1612-1617 (in Chinese).

[3] 孫怡峰, 吳疆, 黃嚴(yán)嚴(yán), 等. 一種視頻監(jiān)控中基于航跡的運(yùn)動(dòng)小目標(biāo)檢測(cè)算法[J]. 電子與信息學(xué)報(bào), 2019, 41(11): 2744-2751.

SUN Y F, WU J, HUANG Y Y, et al. A small moving object detection algorithm based on track in video surveillance[J]. Journal of Electronics & Information Technology, 2019, 41(11): 2744-2751 (in Chinese).

[4] 黃志清, 曲志偉, 張吉, 等. 基于深度強(qiáng)化學(xué)習(xí)的端到端無(wú)人駕駛決策[J]. 電子學(xué)報(bào), 2020, 48(9): 1711-1719.

HUANG Z Q, QU Z W, ZHANG J, et al. End-to-end autonomous driving decision based on deep reinforcement learning[J]. Acta Electronica Sinica, 2020, 48(9): 1711-1719 (in Chinese).

[5] 徐瑩瑩, 沈紅斌. 基于模式識(shí)別的生物醫(yī)學(xué)圖像處理研究現(xiàn)狀[J]. 電子與信息學(xué)報(bào), 2020, 42(1): 201-213.

XU Y Y, SHEN H B. Review of research on biomedical image processing based on pattern recognition[J]. Journal of Electronics & Information Technology, 2020, 42(1): 201-213 (in Chinese).

[6] 葛寶義, 左憲章, 胡永江. 視覺(jué)目標(biāo)跟蹤方法研究綜述[J]. 中國(guó)圖象圖形學(xué)報(bào), 2018, 23(8): 1091-1107.

GE B Y, ZUO X Z, HU Y J. Review of visual object tracking technology[J]. Journal of Image and Graphics, 2018, 23(8): 1091-1107 (in Chinese).

[7] 劉巧元, 王玉茹, 張金玲, 等. 基于相關(guān)濾波器的視頻跟蹤方法研究進(jìn)展[J]. 自動(dòng)化學(xué)報(bào), 2019, 45(2): 265-275.

LIU Q Y, WANG Y R, ZHANG J L, et al. Research progress of visual tracking methods based on correlation filter[J]. Acta Automatica Sinica, 2019, 45(2): 265-275 (in Chinese).

[8] DANELLJAN M, H?GER G, KHAN F S, et al. Learning spatially regularized correlation filters for visual tracking[C]//2015 IEEE International Conference on Computer Vision (ICCV). New York: IEEE Press, 2015: 4310-4318.

[9] ZHANG T Z, XU C S, YANG M H. Multi-task correlation particle filter for robust object tracking[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). New York: IEEE Press, 2017: 4819-4827.

[10] LI F, TIAN C, ZUO W M, et al. Learning spatial-temporal regularized correlation filters for visual tracking[C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2018: 4904-4913.

[11] XU T Y, FENG Z H, WU X J, et al. Learning adaptive discriminative correlation filters via temporal consistency preserving spatial feature selection for robust visual object tracking[J]. IEEE Transactions on Image Processing, 2019, 28(11): 5596-5609.

[12] 李璽, 查宇飛, 張?zhí)熘? 等. 深度學(xué)習(xí)的目標(biāo)跟蹤算法綜述[J]. 中國(guó)圖象圖形學(xué)報(bào), 2019, 24(12): 2057-2080.

LI X, ZHA Y F, ZHANG T Z, et al. Survey of visual object tracking algorithms based on deep learning[J]. Journal of Image and Graphics, 2019, 24(12): 2057-2080 (in Chinese).

[13] 常小凱. 基于交替方向乘子法和算子分裂的優(yōu)化算法[D]. 西安: 西安電子科技大學(xué), 2019.

CHANG X K. Optimization algorithms based on alternating direction multiplier method and operator splitting[D]. Xi’an: Xi’an University of Electronic Science and technology, 2019 (in Chinese).

[14] HAN D R, YUAN X M. A note on the alternating direction method of multipliers[J]. Journal of Optimization Theory and Applications, 2012, 155(1): 227-238.

Correlation filter tracking with spatial regularization and sparse constraints

TIAN Dan, ZANG Shou-yu, TU Bin-bin

(School of Information Engineering, Shenyang University, Shenyang Liaoning 110044, China)

Due to the influence of frequent occlusion, scale variation, boundary effect and other factors, it is often difficult to achieve the desired results in target tracking. At the same time, the traditional feature extraction strategy affects the robustness of target tracking. To address the above problems, we proposed a correlation filter tracking algorithm with spatial regularization and sparse constraints, which utilized the effective fusion of traditional features and deep features to adapt to the changes of the target appearance. Based on the peak side lobe ratio, a judgment was made on whether the target is occluded in the tracking process. If occlusion occurs, sparse constraints are applied to the filter for the improvement of robustness against the occlusion problem. Otherwise, the filter coefficients are adjusted in Gaussian space to suppress the influence of boundary effect. Five sets of standard video sequences in OTB datasets including severe occlusion and scale change, were used to test the tracking performance of the proposed algorithm, and four hot spot algorithms were compared qualitatively and quantitatively. In qualitative analysis, the main challenges of video sequences were compared. In quantitativeanalysis, the performance of tracking algorithm was compared by center point position error and overlap success rate. Experimental results show that the proposed algorithm is more robust to the above-mentioned challenges.

target tracking; correlation filtering; deep feature; sparse constraint; space regularization

TP 391

10.11996/JG.j.2095-302X.2021050755

A

2095-302X(2021)05-0755-07

2020-12-28；

2021-03-01

28 December，2020；

1 March，2021

國(guó)家自然科學(xué)基金項(xiàng)目(61703285)；遼寧省自然科學(xué)基金項(xiàng)目(2019-MS-237)；遼寧省博士科研啟動(dòng)基金計(jì)劃項(xiàng)目(2020-BS-263)

National Natural Science Foundation of China (61703285); Natural Science Foundation of Liaoning Province (2019-MS-237); Ph.D Research Startup Foundation of Liaoning Province (2020-BS-263)

田 丹(1980–)，女，遼寧沈陽(yáng)人，教授，博士，碩士生導(dǎo)師。主要研究方向?yàn)橐曈X(jué)目標(biāo)跟蹤等。E-mail：www.sltd2008@163.com

TIAN Dan (1980-), female, professor, Ph.D. Her main research interests cover visual object tracking, etc.E-mail：www.sltd2008@163.com