基于通道可靠性的時(shí)空正則項(xiàng)目標(biāo)跟蹤算法

孫夢(mèng)宇 王 鵬 安 慶 閆芬婷

(西安工業(yè)大學(xué)電子信息工程學(xué)院 陜西 西安710021)

0 引 言

視覺(jué)目標(biāo)跟蹤是計(jì)算機(jī)視覺(jué)領(lǐng)域中頗具挑戰(zhàn)性的一項(xiàng)課題，其主要目的是估計(jì)目標(biāo)在整個(gè)視頻序列中位置及尺度信息。隨著現(xiàn)代化的發(fā)展，視覺(jué)目標(biāo)跟蹤有著廣泛的應(yīng)用范圍，如人機(jī)交互[1]、視頻監(jiān)控[2]、機(jī)器人技術(shù)[3]、醫(yī)療診斷技術(shù)[4]等。但目標(biāo)在運(yùn)動(dòng)過(guò)程中可能會(huì)存在光照變化、形體變化、遮擋等問(wèn)題，給實(shí)現(xiàn)精確的目標(biāo)跟蹤帶來(lái)了較大的挑戰(zhàn)。

近年來(lái)，相關(guān)濾波算法由于其精度高與運(yùn)算速率快的特點(diǎn)成為了目標(biāo)跟蹤領(lǐng)域的熱門(mén)研究方向。2010年，Bolme等[5]提出了最小化平方誤差濾波器(Minimum Output Sum of Squared Error filter, MOSSE)，首次將相關(guān)運(yùn)算引入至視覺(jué)目標(biāo)跟蹤領(lǐng)域，并展現(xiàn)了其強(qiáng)大的速度優(yōu)勢(shì)；2014年，Li等[6]提出了多特征尺度自適應(yīng)濾波器(Scale Adaptive Multiple Feature, SAMF)，首次將梯度直方圖(Histogram of Oriented Gradient, HOG)和顏色屬性(Color Name, CN)兩種特征融合，并根據(jù)尺度池提取多尺度樣本，同時(shí)求解了目標(biāo)位置與尺度估計(jì)；2015年，Danelljan等[7]提出了空間正則項(xiàng)相關(guān)濾波器(Spatially regularized Discriminative Correlation Filter,SRDCF)，在模型訓(xùn)練時(shí)加入空間正則項(xiàng)以解決邊界效應(yīng)問(wèn)題，提高了算法的跟蹤精度；2017年，Galoogahi等[8]提出了背景感知的相關(guān)濾波算法(Background-Aware Correlation Filter, BACF)，在較大的圖像塊中學(xué)習(xí)濾波器，并使用二值矩陣將濾波器裁減至目標(biāo)大小，解決了邊界效應(yīng)，提升了算法的跟蹤準(zhǔn)確率；2018年，Li等[9]提出了時(shí)空正則項(xiàng)的相關(guān)濾波算法(Spatial-Temporal Regularized Correlation Filer, STRCF)，在SRDCF的基礎(chǔ)上加入了時(shí)間正則項(xiàng)，保持了模型在時(shí)間上的連續(xù)性，進(jìn)一步提升了算法的跟蹤成功率。

由于STRCF僅利用了本幀樣本對(duì)模型進(jìn)行訓(xùn)練，如目標(biāo)被大面積遮擋時(shí)樣本會(huì)被污染，使得模型漂移，無(wú)法準(zhǔn)確跟蹤目標(biāo)，并且STRCF采用多尺度樣本對(duì)目標(biāo)的位置及尺度同時(shí)進(jìn)行估計(jì)，不能保證位置與尺度求解同時(shí)達(dá)到最優(yōu)。為解決上述問(wèn)題，本文采用通道可靠性對(duì)不同特征通道的響應(yīng)圖進(jìn)行評(píng)估，提高模型對(duì)目標(biāo)的表達(dá)能力，從而進(jìn)一步利用時(shí)間正則項(xiàng)提高目標(biāo)完全遮擋后重新跟蹤的成功率；單獨(dú)訓(xùn)練離散尺度濾波器，在目標(biāo)估計(jì)位置處提取多尺度樣本對(duì)尺度濾波器進(jìn)行訓(xùn)練，提高跟蹤精度。

1 基于時(shí)空正則項(xiàng)的相關(guān)濾波算法

假設(shè)在當(dāng)前幀圖像的目標(biāo)處提取的樣本為ft，y為理想的目標(biāo)響應(yīng)函數(shù)，即標(biāo)簽函數(shù)，則濾波器h的求解模型為：

(1)

由于式(1)沒(méi)有閉合解，因此采用交替方向乘子法進(jìn)行求解，令h=g，并引入拉格朗日算子s將式(1)改寫(xiě)為：

(2)

式中:γ為懲罰系數(shù)。將其分解為三個(gè)子問(wèn)題進(jìn)行迭代求解：

(3)

式中:*i表示第i次迭代。將式(3)進(jìn)行快速傅里葉變換(FFT)轉(zhuǎn)換至頻域，由于三個(gè)子問(wèn)題均具有閉合解，因此可以直接進(jìn)行有效的求解。

(4)

將全部特征通道的響應(yīng)圖進(jìn)行累加：

(5)

通過(guò)尋找響應(yīng)圖L中的最大值位置將其作為目標(biāo)估計(jì)位置。

2 算法設(shè)計(jì)

2.1 算法流程

本文基于STRCF提出基于通道可靠性的時(shí)空正則項(xiàng)相關(guān)濾波算法(CRSTRCF)。通過(guò)考慮干擾目標(biāo)的影響，加入通道可靠性權(quán)重，降低干擾目標(biāo)特征所在特征通道的權(quán)重，使得目標(biāo)特征更為突出，提高跟蹤精度，并訓(xùn)練尺度濾波器進(jìn)行目標(biāo)精確的尺度估計(jì)。

算法流程如下：

(1)提取HOG與CN兩種特征，通過(guò)式(3)求解濾波器；

(2)利用式(4)計(jì)算各通道響應(yīng)圖，并計(jì)算次主峰與主峰比(The Ratio between the Second and First Main Peak, RSFMP)[10]；

(3)將RSFMP與各通道的響應(yīng)圖相乘并進(jìn)行累加，以此求解目標(biāo)估計(jì)位置；

(4)通過(guò)訓(xùn)練尺度濾波器實(shí)現(xiàn)目標(biāo)的尺度估計(jì)。

2.2 加入通道可靠性系數(shù)的位置濾波

STRCF中采用了HOG與CN兩種特征，共42維特征通道，但并不是所有通道中的特征均能夠準(zhǔn)確反映目標(biāo)。以CN為例，10維的顏色屬性可視化結(jié)果如圖1所示。

圖1 原始圖像與顏色屬性可視化結(jié)果

可以看出，顏色屬性中很多顏色并沒(méi)有真實(shí)地反映目標(biāo)，包含了過(guò)多的背景信息或其余目標(biāo)，在計(jì)算響應(yīng)圖時(shí)若將全部特征通道等權(quán)重相加則會(huì)對(duì)目標(biāo)定位精度帶來(lái)影響。因此本文通過(guò)對(duì)不同通道的響應(yīng)圖進(jìn)行可靠性測(cè)試，計(jì)算通道可靠性系數(shù)，并作為各個(gè)特征通道響應(yīng)圖的權(quán)重與其對(duì)應(yīng)的響應(yīng)圖相乘，以此降低干擾目標(biāo)特征所在的特征通道的響應(yīng)值，提高跟蹤精度。

由于不同可靠性評(píng)價(jià)指標(biāo)對(duì)不同模型評(píng)價(jià)效果有差異，因此本文選取3個(gè)可靠性評(píng)價(jià)指數(shù)對(duì)STRCF進(jìn)行評(píng)價(jià)，分別是響應(yīng)最大值、峰值旁瓣值和次主峰與主峰比，通過(guò)在OTB50中選取了20個(gè)視頻序列進(jìn)行測(cè)試，測(cè)試結(jié)果如圖2所示。

(a)精度曲線

圖2中：CRSTRCF1為三種指標(biāo)相乘作為可靠性系數(shù)；CRSTRCF2為峰值旁瓣值作為可靠性系數(shù)；CRSTRCF3為次主峰與主峰比作為可靠性系數(shù)；CRSTRCF4為響應(yīng)最大值作為可靠性系數(shù)?？梢钥闯?，次主峰與主峰比更能準(zhǔn)確評(píng)估STRCF的模型，并且將不同指標(biāo)相乘的方式并未能提高算法跟蹤性能。因此本文將次主峰與主峰比作為可靠性系數(shù)，其計(jì)算公式如下：

(6)

式中:Lpeak1表示主峰峰值；Lpeak2表示次峰峰值。RSFMP反映了主目標(biāo)在響應(yīng)圖中的突出性。

在計(jì)算各通道的RSFMP后進(jìn)行歸一化處理：

(7)

將wd作為各個(gè)特征通道的權(quán)重，分別與其對(duì)應(yīng)特征通道的響應(yīng)圖相乘，得到可靠性響應(yīng)圖：

Sd=wd·Ld

(8)

式中：Sd為d通道的可靠性響應(yīng)圖。將全部通道的可靠性響應(yīng)圖累加得到最終的響應(yīng)圖：

(9)

尋找響應(yīng)最大值位置，將其作為目標(biāo)估計(jì)位置。

以Girl2序列為例，本文對(duì)比加入可靠性系數(shù)的響應(yīng)圖與未加入可靠性系數(shù)的響應(yīng)圖可視化結(jié)果圖，如圖3-圖5所示。

(a)未加入可靠性系數(shù)

(a)未加入可靠性系數(shù)

(a)STRCF

圖3中，第2幀目標(biāo)未受遮擋、背景干擾等影響，可以看出兩者相差不大，但未加入可靠性系數(shù)的響應(yīng)圖最大值為0.174 4，而加入了可靠性系數(shù)的響應(yīng)圖最大值為0.175 5，響應(yīng)圖最大值增大，可見(jiàn)加入可靠性使得跟蹤目標(biāo)在響應(yīng)圖中更加突出。

在跟蹤目標(biāo)發(fā)生遮擋后，本文算法可以重新跟蹤目標(biāo)。可以看出加入可靠性系數(shù)后，跟蹤目標(biāo)在響應(yīng)圖中更加突出，通過(guò)時(shí)間正則項(xiàng)的作用，保持模型在時(shí)間上的連續(xù)性，使得本文算法能夠在目標(biāo)短時(shí)完全遮擋后重新跟蹤目標(biāo)，而STRCF無(wú)法重新跟蹤。

2.3 尺度濾波器設(shè)計(jì)

本文采用單獨(dú)訓(xùn)練尺度濾波器對(duì)跟蹤目標(biāo)進(jìn)行尺度估計(jì)。設(shè)H為尺度濾波器，在目標(biāo)估計(jì)位置處提取不同尺度的圖像塊，并提取HOG特征作為樣本fscale，濾波器求解如下：

(10)

式中:Y為尺度濾波樣本標(biāo)簽函數(shù)。

尺度估計(jì)方式與位置濾波相同，計(jì)算不同尺度對(duì)應(yīng)的尺度響應(yīng)值，響應(yīng)值中最大值對(duì)應(yīng)的尺度即為目標(biāo)估計(jì)尺度，響應(yīng)圖計(jì)算如下：

(11)

(12)

式中:ρ為尺度濾波學(xué)習(xí)參數(shù)；D表示尺度數(shù)目，本文設(shè)置D=33。參數(shù)更新方式同樣采用考慮歷史幀參數(shù)的方式，以此增強(qiáng)尺度濾波器的魯棒性。

3 實(shí)驗(yàn)與分析

本文算法在Window 10 操作系統(tǒng)、Intel(R)Core(TM)CPU i7-8700 CPU @ 3.2 GHz電腦上采用MATLAB 2018a軟件進(jìn)行仿真實(shí)驗(yàn)。為了更好地展示本文算法的性能，選擇了SAMF、SRDCF、STRCF 3個(gè)算法進(jìn)行對(duì)比實(shí)驗(yàn)，本文在OTB100的數(shù)據(jù)集進(jìn)行測(cè)試，為進(jìn)一步分析算法在遮擋及旋轉(zhuǎn)時(shí)的性能在數(shù)據(jù)集中選擇了5個(gè)帶有遮擋及旋轉(zhuǎn)屬性的視頻序列進(jìn)行定性、定量分析，所選視頻序列如表1所示。

表1 視頻序列屬性表

3.1 定性分析

4種算法在5個(gè)視頻序列下的運(yùn)行結(jié)果如圖6所示。

(a)Basketball序列

在Basketball序列中，所有算法均可跟蹤目標(biāo)，但在17幀時(shí)，目標(biāo)出現(xiàn)了大面積的遮擋，僅有CRSTRCF與SRDCF能夠準(zhǔn)確估計(jì)目標(biāo)位置；在27幀遮擋物離去后SAMF并沒(méi)有能夠?qū)崿F(xiàn)目標(biāo)的準(zhǔn)確定位；在94幀，目標(biāo)轉(zhuǎn)身時(shí)STRCF算法跟蹤尺度估計(jì)錯(cuò)誤，且在后續(xù)視頻中未能夠恢復(fù)；在677幀，SRDCF位置及尺度估計(jì)偏差。

在DragonBaby序列中，在48幀時(shí)目標(biāo)出現(xiàn)了遮擋且伴隨著旋轉(zhuǎn)，僅有CRSTRCF以及SRDCF能夠成功跟蹤目標(biāo)，但CRSTRCF尺度估計(jì)更為準(zhǔn)確；61幀目標(biāo)位移較大且有旋轉(zhuǎn)時(shí)，依然僅有CRSTRCF以及SRDCF能夠成功跟蹤目標(biāo)；在87幀目標(biāo)快速移動(dòng)且位移較大，SRDCF跟蹤失敗，且未在后續(xù)視頻序列中重新跟蹤目標(biāo)。

在Football序列中，目標(biāo)發(fā)生較小的旋轉(zhuǎn)時(shí)所有算法均能跟蹤目標(biāo)，在340幀時(shí)目標(biāo)周?chē)霈F(xiàn)相似物體，SAMF跟蹤失?。辉?62幀時(shí)目標(biāo)被相似物體遮擋后重新出現(xiàn)，但僅有CRSTRCF與SRDCF跟蹤成功。

在Kitesurf序列中，在34幀時(shí)由于目標(biāo)出現(xiàn)了旋轉(zhuǎn)與小幅度遮擋，SRDCF跟蹤出現(xiàn)了偏差；在40幀目標(biāo)頭部在被大幅度遮擋后，僅有CRSTRCF能夠重新跟蹤目標(biāo)，且其余算法在后續(xù)視頻序列中未能夠重新跟蹤目標(biāo)。

在Panda序列中，在174幀時(shí)目標(biāo)發(fā)生形變與小幅度旋轉(zhuǎn)，SRDCF跟蹤失敗；在434幀目標(biāo)旋轉(zhuǎn)幅度較大，SAMF跟蹤出現(xiàn)偏差，且在后續(xù)視頻中跟蹤失敗，未能重新跟蹤目標(biāo)；在642幀時(shí)目標(biāo)旋轉(zhuǎn)較多次數(shù)后STRCF僅能夠跟蹤目標(biāo)前半部分身體，在后續(xù)序列中目標(biāo)再次旋轉(zhuǎn)時(shí)跟蹤失敗，而CRSTRCF能夠在整個(gè)視頻序列中跟蹤目標(biāo)。

CRSTRCF由于加入了通道可靠性系數(shù)，使得跟蹤的目標(biāo)在響應(yīng)圖中更為突出，提高了跟蹤結(jié)果的準(zhǔn)確性；通過(guò)時(shí)間正則項(xiàng)保持了模型在時(shí)間上的連續(xù)性，使得模型在目標(biāo)出現(xiàn)大面積遮擋后能夠重新跟蹤目標(biāo)；通過(guò)單獨(dú)訓(xùn)練尺度濾波器，解決了目標(biāo)估計(jì)位置與估計(jì)尺度無(wú)法同時(shí)最優(yōu)的問(wèn)題，在目標(biāo)發(fā)生旋轉(zhuǎn)時(shí)能夠估計(jì)目標(biāo)尺度且準(zhǔn)確跟蹤目標(biāo)。

3.2 定量分析

本文在OTB100數(shù)據(jù)集上進(jìn)行測(cè)試，結(jié)果如圖7所示。

(a)精度曲線

曲線值越高表示算法性能越好，可以看到本文算法在成功率曲線與精度曲線中均是最好的。

為對(duì)比算法在遮擋及旋轉(zhuǎn)時(shí)的表現(xiàn)，本文選取了中心位置誤差以及重疊率兩個(gè)指標(biāo)評(píng)價(jià)4種算法在所選取的5個(gè)視頻序列中的跟蹤結(jié)果。

(1)中心位置誤差[11]。其計(jì)算公式如下：

(13)

式中:O表示由算法計(jì)算的目標(biāo)中心位置；Ot為數(shù)據(jù)集人工標(biāo)定的目標(biāo)實(shí)際中心位置。中心位置誤差單位為像素，表示兩個(gè)中心點(diǎn)之間像素點(diǎn)的個(gè)數(shù),中心位置誤差越小表示算法越好。計(jì)算結(jié)果如圖8所示。

(a)Basketball序列

可以看出，CRSTRCF的中心位置誤差變化較為平穩(wěn)，且誤差最低，在目標(biāo)發(fā)生遮擋或旋轉(zhuǎn)時(shí)誤差變化較小。為作進(jìn)一步對(duì)比，本文計(jì)算不同序列下的4種算法的平均中心位置誤差，如表2所示。

表2 平均中心位置誤差對(duì)比表

可以看出，CRSTRCF在5個(gè)測(cè)試視頻序列下的平均中心位置誤差均是最小的，較STRCF平均提升了21.74個(gè)像素。由于CRSTRCF加入了通道可靠性作為各通道響應(yīng)圖的權(quán)重，更加突出了跟蹤目標(biāo)，降低了遮擋物等影響，且通過(guò)時(shí)間正則項(xiàng)，使得本幀模型與上一幀模型盡可能一致，能夠在被遮擋物大面積遮擋或短時(shí)完全遮擋后及時(shí)重新跟蹤目標(biāo)。

(2)重疊率[11]。其計(jì)算公式如下：

(14)

(a)Basketball序列

可以看出，CRSTRCF的重疊率曲線在大部分時(shí)刻均高于其余算法，為作進(jìn)一步對(duì)比，本文計(jì)算不同序列下的4種算法的平均重疊率，如表3所示。

表3 平均重疊率對(duì)比表

可以看出，CRSTRCF的平均重疊率在5個(gè)測(cè)試視頻序列下均為最高的，僅在Football序列與STRCF平均重疊率相近，提高了1%，這是因?yàn)镕ootball序列目標(biāo)均是小幅度旋轉(zhuǎn)，遮擋時(shí)間較短且為部分遮擋，僅在最后幾幀目標(biāo)被相似物體遮擋后STRCF模型漂移跟蹤錯(cuò)誤，因此提升較小。在5個(gè)測(cè)試視頻序列下平均重疊率提高22.8%。CRSTRCF通過(guò)單獨(dú)訓(xùn)練尺度濾波器進(jìn)行尺度估計(jì)，避免了同時(shí)做位置求解與尺度估計(jì)無(wú)法同時(shí)滿(mǎn)足最優(yōu)的問(wèn)題，且在通道可靠性與時(shí)間正則項(xiàng)的作用下提高目標(biāo)定位精度，提供更為準(zhǔn)確的多尺度目標(biāo)模板，進(jìn)一步提高尺度估計(jì)精度。

4 結(jié) 語(yǔ)

為提高STRCF的跟蹤精度及成功率，本文提出基于通道可靠性的時(shí)空正則項(xiàng)相關(guān)濾波目標(biāo)跟蹤算法(CRSTRCF)。通過(guò)時(shí)空正則項(xiàng)保持本幀模型與上一幀模型盡可能相似，在一定程度上解決目標(biāo)遮擋問(wèn)題；在計(jì)算各特征通道響應(yīng)圖時(shí)，RSFMP作為通道可靠性，與各通道響應(yīng)圖相乘，在最終響應(yīng)圖中更加突出跟蹤目標(biāo)，提升目標(biāo)跟蹤精度，進(jìn)一步解決目標(biāo)遮擋問(wèn)題；訓(xùn)練尺度濾波進(jìn)行尺度估計(jì)，提高跟蹤成功率。實(shí)驗(yàn)結(jié)果表明，本文算法在目標(biāo)發(fā)生部分遮擋、多次大幅度旋轉(zhuǎn)時(shí)定位精度較高，在目標(biāo)短時(shí)完全遮擋重新出現(xiàn)后能夠重新跟蹤目標(biāo)。