基于代價(jià)敏感結(jié)構(gòu)化SVM的目標(biāo)跟蹤

袁廣林 孫子文 秦曉燕 夏 良 朱 虹

(中國人民解放軍陸軍炮兵防空兵學(xué)院信息工程系 合肥 230031)

1 引言

目標(biāo)跟蹤是計(jì)算機(jī)視覺領(lǐng)域中的基礎(chǔ)研究課題，它是視頻分析中的一項(xiàng)重要技術(shù)，其目標(biāo)是利用視頻數(shù)據(jù)估計(jì)目標(biāo)的狀態(tài)。目標(biāo)跟蹤在視頻監(jiān)控、車輛導(dǎo)航、人機(jī)交互、智能交通、運(yùn)動(dòng)分析和姿態(tài)估計(jì)等民用領(lǐng)域，以及視覺制導(dǎo)、目標(biāo)定位和火力控制等軍事領(lǐng)域均有重要的應(yīng)用價(jià)值。近年來，雖然目標(biāo)跟蹤有了較大發(fā)展，但是其仍然面臨復(fù)雜背景、目標(biāo)變化和快速運(yùn)動(dòng)等諸多難題，目前仍然是計(jì)算機(jī)視覺領(lǐng)域中研究的熱點(diǎn)問題。

受到結(jié)構(gòu)化SVM在目標(biāo)檢測(cè)中應(yīng)用的啟發(fā)，Hare等人[1]于2011年在ICCV上首次提出基于結(jié)構(gòu)化SVM的目標(biāo)跟蹤方法Struck，2015年該文的擴(kuò)展[2]發(fā)表在頂級(jí)國際期刊IEEE Transactions on Pattern Analysis and Machine Intelligence上。Struck把目標(biāo)跟蹤看作結(jié)構(gòu)化學(xué)習(xí)問題，避免了傳統(tǒng)判別式跟蹤的中間分類環(huán)節(jié)，顯著提高了目標(biāo)跟蹤的性能。為了適應(yīng)目標(biāo)的變化同時(shí)又不丟失目標(biāo)的時(shí)間上下文信息，Yao等人[3]于2012年提出一種加權(quán)在線結(jié)構(gòu)化SVM跟蹤方法，進(jìn)一步提升了結(jié)構(gòu)化SVM跟蹤的性能。為了提高遮擋與形變目標(biāo)的跟蹤性能，2013年，Yao等人[4]又以在線算法Pegasos為基礎(chǔ)，提出一種在線結(jié)構(gòu)化SVM用于目標(biāo)跟蹤。為了解決目標(biāo)跟蹤中存在的模型漂移問題，2012年Bai等人[5]提出一種在線拉普拉斯排序SVM跟蹤。同樣是為了應(yīng)對(duì)模型漂移問題，Zhang等人[6]于2014年提出了MEEM跟蹤，該方法以在線SVM作為基礎(chǔ)跟蹤建立專家組跟蹤目標(biāo)，取得了較好的效果。2015年Hong等人[7]利用在線SVM指導(dǎo)反向傳播特定目標(biāo)的CNN特征到輸入層，進(jìn)而建立特定目標(biāo)的顯著圖跟蹤目標(biāo)，該方法建立的顯著圖保持了目標(biāo)的空間結(jié)構(gòu)，增強(qiáng)了目標(biāo)跟蹤的魯棒性。2016年Ning等人[8]基于對(duì)偶坐標(biāo)下降原理提出一種對(duì)偶線性結(jié)構(gòu)化SVM目標(biāo)跟蹤方法，該方法保證了目標(biāo)跟蹤的魯棒性，同時(shí)又提高了目標(biāo)跟蹤的速度。2017年Wang等人[9]提出LMCF跟蹤，該方法利用相關(guān)濾波對(duì)基于結(jié)構(gòu)化SVM的目標(biāo)跟蹤進(jìn)行了加速。2018年Ji等人[10]采用了與LMCF跟蹤類似的思想來加速基于目標(biāo)部件的結(jié)構(gòu)化SVM跟蹤。2019年Zuo等人[11]提出一種基于離散傅里葉變換的交替優(yōu)化方法求解相關(guān)濾波器，并設(shè)計(jì)了多通道支撐相關(guān)濾波器跟蹤目標(biāo)，進(jìn)一步提升了基于SVM的目標(biāo)跟蹤的性能。

綜上所述，基于結(jié)構(gòu)化SVM的目標(biāo)跟蹤方法具有較優(yōu)的跟蹤性能，受到了廣泛的關(guān)注，但是現(xiàn)有方法存在正樣本和負(fù)樣本不平衡的問題。針對(duì)基于結(jié)構(gòu)化SVM的目標(biāo)跟蹤中存在的負(fù)樣本和正樣本不平衡的問題，本文提出一種代價(jià)敏感結(jié)構(gòu)化SVM模型，基于對(duì)偶坐標(biāo)優(yōu)化原理設(shè)計(jì)了該模型的求解算法，并利用該算法實(shí)現(xiàn)了單尺度目標(biāo)跟蹤算法(Dual Liner Cost Sensitive Structured Support Machine, DLCS-SSVM)和多尺度目標(biāo)跟蹤方法(Scale Dual Liner Cost Sensitive Structured Support Machine, Scale-DLCS-SSVM)。利用OTB100數(shù)據(jù)集[12]和VOT2019數(shù)據(jù)集[13]對(duì)提出的目標(biāo)跟蹤方法進(jìn)行了實(shí)驗(yàn)驗(yàn)證，并與現(xiàn)有的先進(jìn)目標(biāo)跟蹤方法進(jìn)行了比較。實(shí)驗(yàn)結(jié)果表明，本文提出的目標(biāo)跟蹤方法達(dá)到了預(yù)期的跟蹤效果，與現(xiàn)有目標(biāo)跟蹤方法相比具有較好的性能。

2 代價(jià)敏感和結(jié)構(gòu)化支持向量機(jī)

2.1 代價(jià)敏感支持向量機(jī)

w和b分別是SVM分類器的法向量和偏置，ξi是松弛變量，C, C1, C-1和κ是正則化參數(shù)。

2.2 結(jié)構(gòu)化支持向量機(jī)

3 代價(jià)敏感結(jié)構(gòu)化SVM

3.1 代價(jià)敏感結(jié)構(gòu)化SVM模型

現(xiàn)有基于結(jié)構(gòu)化SVM的目標(biāo)跟蹤方法存在正樣本和負(fù)樣本不平衡的問題。如圖1所示，與目標(biāo)重疊區(qū)域較大的訓(xùn)練樣本稱為正樣本，與目標(biāo)重疊區(qū)域較小的訓(xùn)練樣本稱為負(fù)樣本。目標(biāo)跟蹤需要在當(dāng)前目標(biāo)周圍區(qū)域中進(jìn)行采樣更新表觀模型。從圖1可以看出，在采樣得到的樣本中，負(fù)樣本的數(shù)量遠(yuǎn)大于正樣本的數(shù)量，即負(fù)樣本與正樣本嚴(yán)重不平衡。其中，黑色實(shí)線是非代價(jià)敏感結(jié)構(gòu)化SVM的超平面，紅色虛線是代價(jià)敏感結(jié)構(gòu)化SVM的超平面。當(dāng)訓(xùn)練數(shù)據(jù)集不平衡時(shí)，SVM分類器對(duì)少數(shù)類的識(shí)別率較低，因此該問題制約了目標(biāo)跟蹤的性能。為了解決正樣本和負(fù)樣本不平衡對(duì)基于結(jié)構(gòu)化SVM目標(biāo)跟蹤方法性能的影響，本文將文獻(xiàn)[14]的思想引入到文獻(xiàn)[1]提出的結(jié)構(gòu)化SVM中，設(shè)計(jì)一種基于代價(jià)敏感的結(jié)構(gòu)化SVM模型，描述為

圖1 結(jié)構(gòu)化SVM目標(biāo)跟蹤中存在的正樣本和負(fù)樣本不平衡問題

3.2 代價(jià)敏感結(jié)構(gòu)化SVM算法

在基于結(jié)構(gòu)化SVM的目標(biāo)跟蹤中，隨著時(shí)間的推移，結(jié)構(gòu)化SVM中的支持向量的數(shù)量不斷增加。為了保證目標(biāo)跟蹤的效率，需要固定支持向量的數(shù)目。為此，當(dāng)結(jié)構(gòu)化SVM中模式數(shù)超出預(yù)算時(shí)，根據(jù)式(23)選擇一個(gè)支持向量刪除，本文提出的代價(jià)敏感結(jié)構(gòu)化SVM采用這一策略。

說明：算法1中n1和n2是外部循環(huán)和內(nèi)循環(huán)的迭代次數(shù)，本文分別取5和10。

4 目標(biāo)跟蹤方法

本文使用網(wǎng)格搜索生成候選樣本，搜索區(qū)域的大小由跟蹤目標(biāo)的大小自適應(yīng)確定。樣本的大小設(shè)定為20×20。在得到代價(jià)敏感結(jié)構(gòu)化SVM的超平面w后，利用內(nèi)積運(yùn)算計(jì)算候選樣本的得分，根據(jù)最大得分準(zhǔn)則式(24)估計(jì)目標(biāo)的狀態(tài)。

對(duì)于目標(biāo)特征，本文選擇目標(biāo)的Lab顏色和局部秩變換(Local Rank Transformation, LRT)特征，LRT特征的計(jì)算方法同文獻(xiàn)[16]，這里不再詳述。基于上面的分析，本文提出的代價(jià)敏感結(jié)構(gòu)化SVM目標(biāo)跟蹤方法描述如下。

方法1中It,k=Scale(It, Sp[k])的功能是利用尺度參數(shù)Sp[k]對(duì)圖像It進(jìn)行縮放，結(jié)果賦予It,k。對(duì)于單尺度目標(biāo)跟蹤，尺度參數(shù)Sp設(shè)定為{1}，即可完成單尺度目標(biāo)跟蹤，稱為單尺度代價(jià)敏感結(jié)構(gòu)化SVM目標(biāo)跟蹤方法(簡(jiǎn)稱DLCS_SSVM)。對(duì)于多尺度目標(biāo)跟蹤，尺度參數(shù)Sp={Sp[1], Sp[2], ···,Sp[n]}，本文Sp={1, 0.995, 1.005}，即在3種不同尺度圖像上分別跟蹤目標(biāo)，以最大得分作為跟蹤結(jié)果，即可完成多尺度目標(biāo)跟蹤，稱為多尺度代價(jià)敏感結(jié)構(gòu)化SVM目標(biāo)跟蹤(Scale-DLCS_SSVM)。

5 實(shí)驗(yàn)

5.1 實(shí)驗(yàn)環(huán)境、數(shù)據(jù)集和參數(shù)設(shè)置

在SYS-7048GR-TR臺(tái)式機(jī)(CPU型號(hào)為Intel Xeon(R) ES-2630v4@2.20 GHz×20，內(nèi)存為64 GB，GPU為RTX2080Ti 11 GB)上使用Matlab和OpenCV實(shí)現(xiàn)了本文提出的跟蹤方法，其中Matlab版本為R2017a, OpenCV版本為2.4.8。一方面利用OTB100數(shù)據(jù)集[12]對(duì)提出的目標(biāo)跟蹤方法進(jìn)行實(shí)驗(yàn)驗(yàn)證。評(píng)價(jià)指標(biāo)為OPE, TRE和SRE[12]。另一方面利用VOT2019數(shù)據(jù)集[13]對(duì)提出的目標(biāo)跟蹤方法進(jìn)行實(shí)驗(yàn)驗(yàn)證。評(píng)價(jià)指標(biāo)為EAO, Accuracy,Robustness[13]。本文提出的目標(biāo)跟蹤方法中有一些需要設(shè)置參數(shù)，實(shí)驗(yàn)中這些參數(shù)固定不變。懲罰系數(shù)C的值為100，支持向量的預(yù)算設(shè)為100，C+的值設(shè)為2，κ的值設(shè)為0.67，正樣本與負(fù)樣本的閾值m設(shè)為0.5。多尺度估計(jì)參數(shù)設(shè)置為Scale={1,0.995, 1.005}。

5.2 實(shí)驗(yàn)結(jié)果及分析

5.2.1 與其它基于結(jié)構(gòu)化SVM跟蹤器在OTB100數(shù)據(jù)集上的比較

表1給出了本文方法DLCS_SSVM, Scale-DLCS_SSVM, DLSSVM[8], Scale-DLSSVM[8],Struck[1]和LMCF[9]等6種基于結(jié)構(gòu)化SVM跟蹤器在OTB100數(shù)據(jù)集上的OPE性能指標(biāo)比較結(jié)果。從表1可以看出，在精度和成功率兩項(xiàng)指標(biāo)上，本文提出的方法Scale-DLCS_SSVM均明顯優(yōu)于其它跟蹤器。在跟蹤速度上，本文選擇一個(gè)長(zhǎng)視頻liquor(1741幀)[12]進(jìn)行評(píng)估。由表1中的比較結(jié)果可以看出：本文方法與DLSSVM[8]方法相比不僅在性能上有明顯提升，而且對(duì)目標(biāo)跟蹤速度幾乎沒有影響。

表1 6種基于結(jié)構(gòu)化SVM的跟蹤器在OTB100數(shù)據(jù)集上的OPE性能與速度指標(biāo)

5.2.2 與其它高性能跟蹤器跟蹤速度比較

由表2與其他高性能跟蹤器跟蹤速度比較可知，相較于深度學(xué)習(xí)目標(biāo)跟蹤方法，如DeepLMCF[9]和DeepSRDCF[17]，本文方法速度明顯更快。相較于相關(guān)濾波目標(biāo)跟蹤方法，如TADT[18]，本文單尺度方法速度與其速度相當(dāng)，能夠達(dá)到實(shí)時(shí)的跟蹤效果。

表2 5種跟蹤方法在OTB100數(shù)據(jù)集上的速度指標(biāo)(fps)

5.2.3 與其它高性能跟蹤器在OTB100數(shù)據(jù)集上的比較

在OTB100數(shù)據(jù)集上，將本文提出的目標(biāo)跟蹤方法與4種優(yōu)秀的目標(biāo)跟蹤方法進(jìn)行比較。4種方法分別是基于深度學(xué)習(xí)的DeepSRDCF[17]、基于相關(guān)濾波的Staple[19]、基于結(jié)構(gòu)化SVM的多尺度跟蹤Scale-DLSSVM[8]及基于結(jié)構(gòu)化SVM與相關(guān)濾波的LMCF[9]。圖2為6種跟蹤器在OTB100數(shù)據(jù)集上取效果前5名的OPE, TRE和SRE性能指標(biāo)曲線。從圖2中的結(jié)果可以看出，本文提出的Scale-DLCS_SSVM與DLCS_SSVM跟蹤器在準(zhǔn)確度和成功率兩個(gè)指標(biāo)上相比Scale-DLSSVM跟蹤方法都有明顯的提高。且在OPE評(píng)價(jià)指標(biāo)上Scale-DLCS_SSVM相比DeepSRDCF[17]在成功率上高1.3%，在TRE評(píng)價(jià)指標(biāo)上Scale-DLCS_SSVM相比DeepSRDCF[17]在成功率上高1.5%，在SRE評(píng)價(jià)指標(biāo)上Scale-DLCS_SSVM相比DeepSRDCF[17]在成功率上高1.0%。

圖2 6種高性能跟蹤器在OTB100數(shù)據(jù)集上取效果前5名的OPE, TRE和SRE性能指標(biāo)曲線

5.2.4 與其它高性能跟蹤器在VOT2019數(shù)據(jù)集上的比較

如表3所示，本文選取近兩年高性能的深度學(xué)習(xí)與相關(guān)濾波跟蹤方法在VOT2019數(shù)據(jù)集上進(jìn)行比較。由表3可知，本文多尺度方法在單個(gè)指標(biāo)上略低于SiamMask，但是相較于其他高性能方法來說在各個(gè)性能上有著優(yōu)勢(shì)。

表3 本文多尺度方法與近年來4種高性能跟蹤方法在VOT2019數(shù)據(jù)集上實(shí)驗(yàn)結(jié)果

從上述所有實(shí)驗(yàn)結(jié)果可以看出：本文提出的目標(biāo)跟蹤方法達(dá)到了預(yù)期的跟蹤效果，其跟蹤性能優(yōu)于現(xiàn)有基于結(jié)構(gòu)化SVM的目標(biāo)跟蹤方法；與相關(guān)濾波目標(biāo)跟蹤方法相比，本文方法跟蹤精度較高；與深度學(xué)習(xí)目標(biāo)跟蹤方法相比，本文方法具有速度優(yōu)勢(shì)。

6 結(jié)束語

本文分析了基于結(jié)構(gòu)化SVM的目標(biāo)跟蹤在進(jìn)行訓(xùn)練時(shí)存在正樣本和負(fù)樣本不平衡的問題。針對(duì)該問題，基于代價(jià)敏感SVM和結(jié)構(gòu)化SVM提出一種代價(jià)敏感結(jié)構(gòu)化SVM模型，并利用對(duì)偶坐標(biāo)下降優(yōu)化設(shè)計(jì)了代價(jià)敏感結(jié)構(gòu)化SVM算法。最后，利用提出的代價(jià)敏感結(jié)構(gòu)化SVM實(shí)現(xiàn)了一種多尺度目標(biāo)跟蹤方法。利用OTB100數(shù)據(jù)集和VOT2019數(shù)據(jù)集分別對(duì)提出的目標(biāo)跟蹤方法進(jìn)行了實(shí)驗(yàn)驗(yàn)證和分析。實(shí)驗(yàn)結(jié)果表明，與相關(guān)濾波目標(biāo)跟蹤中的一些優(yōu)秀方法相比，本文方法跟蹤精度較高，與深度目標(biāo)跟蹤中的一些優(yōu)秀方法相比，本文方法具有速度優(yōu)勢(shì)。在目標(biāo)跟蹤中，由于跟蹤誤差會(huì)引起模型漂移，進(jìn)而導(dǎo)致跟蹤失敗，如何利用結(jié)構(gòu)化SVM解決這一問題是進(jìn)一步研究的方向。