徐 亮,張 江,張 晶,2,3,楊亞琦
(1.昆明理工大學(xué)信息工程與自動(dòng)化學(xué)院,云南 昆明 650500;2.云南梟潤(rùn)科技服務(wù)有限公司,云南 昆明 650500;3.昆明理工大學(xué)云南省人工智能重點(diǎn)實(shí)驗(yàn)室,云南 昆明 650500;4.中國(guó)船舶集團(tuán)有限公司第七〇五研究所昆明分部,云南 昆明 650102;5.云南省市場(chǎng)監(jiān)督管理局,云南 昆明 650228)
目標(biāo)實(shí)時(shí)跟蹤是計(jì)算機(jī)視覺(jué)領(lǐng)域重要研究方向之一[1 - 3],存在于人們生活的方方面面,但目標(biāo)在跟蹤過(guò)程中存在多種因素的干擾,例如目標(biāo)被遮擋和受光照強(qiáng)度變化影響等,而卷積神經(jīng)網(wǎng)絡(luò)在計(jì)算機(jī)視覺(jué)中展現(xiàn)出了突出的性能,例如目標(biāo)檢測(cè)[4]和語(yǔ)義分割[5]等,卷積神經(jīng)網(wǎng)絡(luò)依靠其優(yōu)秀的特征提取能力,可以很好地解決目標(biāo)跟蹤過(guò)程中存在的問(wèn)題。
經(jīng)典的目標(biāo)跟蹤算法主要分為基于判別式模型算法和基于生成式模型算法2大類,近年來(lái)學(xué)者們提出了很多優(yōu)秀的相關(guān)濾波目標(biāo)跟蹤算法,其中基于判別式模型算法有跟蹤學(xué)習(xí)檢測(cè)TLD(Tracking-Learning-Detection)[6]算法、高速核相關(guān)濾波跟蹤KCF(high-speed tracking with Kernelized Correlation Filters)[7]算法和強(qiáng)判別性尺度空間跟蹤DSST(Discriminative Scale Space Tracker)[8]算法等?;谏墒侥P退惴ㄓ性隽繉W(xué)習(xí)目標(biāo)跟蹤IVT(Incremental learning for Visual Tracking)[9]算法、核循環(huán)結(jié)構(gòu)跟蹤C(jī)SK(exploiting the Circulant Structure of tracking-by-detection with Kernels)算法[10]和目標(biāo)跟蹤分解VTD(Visual Tracking Decomposition)[11]算法等。同時(shí)還有很多優(yōu)秀的相關(guān)濾波跟蹤算法,例如在線加速跟蹤OAB(On-line Ada-Boosting tracker)算法、輔助學(xué)習(xí)實(shí)時(shí)跟蹤Staple(complementary learners for real-time tracking)算法、空間約束強(qiáng)判別性相關(guān)濾波目標(biāo)跟蹤SRDCF(Spatially Regularized Discriminative Correlation Filters for visual tracking)[12]算法和尺度自適應(yīng)與多特征融合的核相關(guān)濾波目標(biāo)跟蹤SAMF(Scale Adaptive kernel correlation filter with Multi Feature integration tracker)[13]算法等。以上相關(guān)濾波目標(biāo)跟蹤算法幾乎都是單獨(dú)使用灰度特征、HOG(Histogram of Oriented Gradient)特征和CN(Color Name)特征或以上特征相結(jié)合來(lái)建立相關(guān)濾波器模板,大量實(shí)驗(yàn)表明以上特征具有局限性,不適合用于所有的跟蹤目標(biāo)。深度學(xué)習(xí)跟蹤算法[14]提出了“離線預(yù)訓(xùn)練+在線微調(diào)”的想法,卷積神經(jīng)網(wǎng)絡(luò)[15]在離線模式下對(duì)大量數(shù)據(jù)集進(jìn)行訓(xùn)練,訓(xùn)練好的模型對(duì)輸入圖像提取的深度特征具有很強(qiáng)的特征表達(dá)能力,跟蹤過(guò)程中再通過(guò)微調(diào)方式繼續(xù)優(yōu)化訓(xùn)練好的模型,使其對(duì)輸入圖像提取的深度特征表達(dá)能力更強(qiáng)。
當(dāng)目標(biāo)被遮擋和受光照強(qiáng)度變化等多種因素干擾時(shí),經(jīng)典目標(biāo)跟蹤算法往往采用單一特征來(lái)更新相關(guān)濾波器模板,導(dǎo)致相關(guān)濾波器模板更新不準(zhǔn)確,最終導(dǎo)致目標(biāo)跟蹤失敗。為此,本文提出了一種基于VGG(Visual Geometry Group)網(wǎng)絡(luò)的魯棒目標(biāo)跟蹤算法,對(duì)局部上下文區(qū)域圖像提取深度特征,與核相關(guān)濾波跟蹤算法相結(jié)合;同時(shí)將局部上下文區(qū)域圖像的仿射變換平均特征圖用于最終平均特征圖和最終相關(guān)濾波器模板的更新中。這種對(duì)局部上下文區(qū)域圖像提取深度特征和自適應(yīng)更新最終平均特征圖和最終相關(guān)濾波器模板的策略,使得本文算法在目標(biāo)跟蹤過(guò)程中更加魯棒和跟蹤精度更高。
本文所使用的VGG網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示,其中Input表示輸入圖像,C1~C5表示卷積塊,P1~P5表示池化層,F(xiàn)C1~FC3表示全連接層,Output表示輸出分類結(jié)果。符號(hào)@前的數(shù)字表示經(jīng)過(guò)該卷積塊的卷積操作或池化層的池化操作或全連接層的全連接操作后得到的特征圖的層數(shù),符號(hào)@后的數(shù)字表示經(jīng)過(guò)該卷積塊的卷積操作或池化層的池化操作或全連接層的全連接操作后得到的特征圖的大小。
Figure 1 Structure of VGG network圖1 VGG網(wǎng)絡(luò)結(jié)構(gòu)
VGG16網(wǎng)絡(luò)共16層,包含13個(gè)卷積層和3個(gè)全連接層,其中13個(gè)卷積層又被分成5個(gè)卷積塊,第1個(gè)卷積塊C1包含2個(gè)3×3×64的卷積層,第2個(gè)卷積C2塊包含2個(gè)3×3×128的卷積層,第3個(gè)卷積塊C3包含3個(gè)3×3×256的卷積層,第4個(gè)卷積塊C4包含3個(gè)3×3×256的卷積層,第5個(gè)卷積塊C5包含3個(gè)3×3×256的卷積層,每個(gè)卷積塊后接一個(gè)最大池化層,最后一個(gè)最大池化層接3個(gè)全連接層,最后一個(gè)全連接層接Softmax層,每一部分的輸出都作為下一部分的輸入。
輸入層向VGG網(wǎng)絡(luò)輸入224×224×3大小的局部上下文區(qū)域圖像。
輸入圖像與卷積塊進(jìn)行卷積操作,得到每一個(gè)卷積塊后對(duì)應(yīng)的多個(gè)特征圖。
激活函數(shù)對(duì)每一個(gè)卷積塊后對(duì)應(yīng)的多個(gè)特征圖進(jìn)行非線性處理,使得特征圖的特征表達(dá)能力更強(qiáng),本文中激活函數(shù)選用ReLU函數(shù),其公式為ReLU(x)=max(0,x)。
最常用的池化操作有平均池化和最大池化,本文池化層采用最大池化操作,使得特征圖變小的同時(shí)保留主要特征。
輸入圖像與卷積塊C1進(jìn)行卷積操作,經(jīng)過(guò)激活函數(shù)處理后得到64個(gè)224×224大小的特征圖,然后特征圖再與池化層P1進(jìn)行池化操作,得到64個(gè)112×112大小的特征圖。特征圖再與卷積塊C2進(jìn)行卷積操作,經(jīng)過(guò)激活函數(shù)處理后得到128個(gè)112×112大小的特征圖,然后特征圖再與池化層P2進(jìn)行池化操作,得到128個(gè)56×56大小的特征圖。特征圖再與卷積塊C3進(jìn)行卷積操作,經(jīng)過(guò)激活函數(shù)處理后得到256個(gè)56×56大小的特征圖,然后特征圖再與池化層P3進(jìn)行池化操作,得到256個(gè)28×28大小的特征圖。特征圖再與卷積塊C4進(jìn)行卷積操作,經(jīng)過(guò)激活函數(shù)處理后得到512個(gè)28×28大小的特征圖,然后特征圖再與池化層P4進(jìn)行池化操作,得到512個(gè)14×14大小的特征圖。特征圖再與卷積塊C5進(jìn)行卷積操作,經(jīng)過(guò)激活函數(shù)處理后得到512個(gè)14×14大小的特征圖,然后特征圖再與池化層P5進(jìn)行池化操作,最終得到512個(gè)7×7大小的特征圖。
經(jīng)過(guò)最后一個(gè)最大池化層得到的特征圖與全連接層FC1進(jìn)行全連接操作,得到4 096個(gè)1×1大小的特征圖。特征圖再與全連接層FC2進(jìn)行全連接操作,得到4 096個(gè)1×1大小的特征圖。特征圖再與全連接層FC3進(jìn)行全連接操作,最終得到1 000個(gè)1×1大小的特征圖。
經(jīng)過(guò)最后一個(gè)全連接層得到的特征圖再經(jīng)過(guò)Softmax層操作后得到1 000個(gè)分類結(jié)果,通過(guò)輸出層輸出。
將輸入圖像X傳遞給VGG網(wǎng)絡(luò),相關(guān)特征圖定義如下:
hi=f(Hi?Wi+bi)
(1)
Hi=ReLU(.hi)
(2)
其中,hi表示經(jīng)過(guò)第i(i∈{1,…,5})個(gè)卷積塊的卷積操作后得到的特征圖,.hi表示hi中的某一個(gè)元素,Hi表示hi中每一個(gè)元素經(jīng)過(guò)激活函數(shù)處理后得到的特征圖,其中H0=h0=X,Wi表示第i個(gè)卷積塊對(duì)應(yīng)權(quán)值向量,bi表示第i個(gè)卷積塊對(duì)應(yīng)偏置向量,運(yùn)算符號(hào)?表示卷積操作。
VGG網(wǎng)絡(luò)中不同卷積塊對(duì)應(yīng)的特征圖如圖2所示,每一行表示該卷積塊對(duì)應(yīng)的特征圖,每一行最后一列表示該卷積塊對(duì)應(yīng)的平均特征圖。從圖2中可以看出,低層特征對(duì)目標(biāo)的語(yǔ)義表達(dá)能力較強(qiáng),能夠很好地表示目標(biāo)的外觀;隨著網(wǎng)絡(luò)深度增加,每一個(gè)卷積塊對(duì)應(yīng)的特征圖大小呈倍數(shù)級(jí)減小,但其特征具有更強(qiáng)的魯棒性,能夠很好地表示目標(biāo)的類別。
Figure 2 Feature maps of different convolution blocks in VGG network圖2 VGG網(wǎng)絡(luò)中不同卷積塊的特征圖
給定第一幀輸入圖像和目標(biāo)位置,首先確定第一幀輸入圖像局部上下文區(qū)域,目標(biāo)位置為給定目標(biāo)位置,大小為W×H,W和H分別定義為目標(biāo)矩形框?qū)捄透叩?.5倍;然后根據(jù)VGG網(wǎng)絡(luò)對(duì)輸入圖像大小的要求,采用線性插值方式將局部上下文區(qū)域圖像大小調(diào)整為224×224;最后將局部上下文區(qū)域圖像傳遞給VGG網(wǎng)絡(luò)后再提取經(jīng)過(guò)conv3-1、conv3-2、conv3-3、conv3-4和conv3-5卷積塊卷積操作后得到的特征圖,將每一個(gè)卷積塊對(duì)應(yīng)的特征圖進(jìn)行加權(quán)平均獲得每一個(gè)卷積塊對(duì)應(yīng)的平均特征圖,并將平均特征圖乘以對(duì)應(yīng)大小的余弦窗,以消除圖像的邊緣效應(yīng)。由于VGG網(wǎng)絡(luò)中池化操作會(huì)減小特征圖的尺寸,因此每一個(gè)卷積塊對(duì)應(yīng)的平均特征圖大小不同,本文將每一個(gè)卷積塊對(duì)應(yīng)的平均特征圖大小采用線性插值方式調(diào)整為W/4×H/4,使得每一個(gè)卷積塊對(duì)應(yīng)的平均特征圖大小一樣。
VGG網(wǎng)絡(luò)中每一個(gè)卷積塊對(duì)應(yīng)的平均特征圖能夠從不同方面刻畫(huà)目標(biāo)本質(zhì),為此本文使用每一個(gè)卷積塊對(duì)應(yīng)的平均特征圖來(lái)建立5個(gè)相關(guān)濾波器模板:
(3)
(4)
目標(biāo)跟蹤過(guò)程中會(huì)發(fā)生尺度變化和旋轉(zhuǎn)變形,本文引入仿射變換以解決目標(biāo)在跟蹤過(guò)程中發(fā)生尺度變化和旋轉(zhuǎn)變形時(shí)相關(guān)濾波器模板更新不準(zhǔn)確問(wèn)題。常用的仿射變換如圖3所示,圖像經(jīng)過(guò)旋轉(zhuǎn)、縮放、拉伸和傾斜仿射變換后得到的圖像具有不變性,即直線依然是直線,平行線依然是平行線,直線相交的角度依然保持不變。利用其不變性,本文算法對(duì)局部上下文區(qū)域圖像提取仿射變換平均特征圖,自適應(yīng)更新最終平均特征圖和最終相關(guān)濾波器模板。
Figure 3 Affine transformation example圖3 仿射變換示例圖
首先將局部上下文區(qū)域圖像進(jìn)行左右旋轉(zhuǎn)8°、放大1.1倍、縮小0.9倍的仿射變換,在仿真實(shí)驗(yàn)中發(fā)現(xiàn)進(jìn)行上述仿射變換能很好地解決目標(biāo)尺度變化和目標(biāo)旋轉(zhuǎn)變形問(wèn)題;然后將仿射變換后的圖像采用線性插值方式調(diào)整大小為224×224后傳遞給VGG網(wǎng)絡(luò);其次提取經(jīng)過(guò)conv3-1、conv3-2、conv3-3、conv3-4和conv3-5卷積塊卷積操作后得到的特征圖,對(duì)每一個(gè)卷積塊對(duì)應(yīng)的特征圖進(jìn)行加權(quán)平均獲得每一個(gè)卷積塊對(duì)應(yīng)和平均特征圖,并將平均特征圖乘,以對(duì)應(yīng)大小的余弦窗以消除圖像的邊緣效應(yīng);最后將每一個(gè)卷積塊對(duì)應(yīng)的平均特征圖大小采用線性插值方式調(diào)整為W/4×H/4,得到每一個(gè)卷積塊對(duì)應(yīng)的仿射變換平均特征圖。
(5)
(6)
本文算法整體流程如圖4所示。
Figure 4 Flow chart of robust target tracking algorithm based on VGG network圖4 基于VGG網(wǎng)絡(luò)的魯棒目標(biāo)跟蹤算法流程圖
(1)使用數(shù)萬(wàn)幅目標(biāo)跟蹤圖像離線預(yù)訓(xùn)練VGG網(wǎng)絡(luò),并使用訓(xùn)練好的VGG網(wǎng)絡(luò)模型對(duì)輸入圖像提取特征。
(2)給定第一幀輸入圖像和目標(biāo)位置,然后確定局部上下文區(qū)域,采用線性插值方式將局部上下文區(qū)域圖像大小調(diào)整為224×224后傳遞給VGG網(wǎng)絡(luò),獲得每一個(gè)卷積塊對(duì)應(yīng)的平均特征圖,并使用每一個(gè)卷積塊對(duì)應(yīng)的平均特征圖建立5個(gè)相關(guān)濾波器模板,在第一幀輸入圖像中平均特征圖即為最終平均特征圖,相關(guān)濾波器模板即為最終相關(guān)濾波器模板。
(3)確定后續(xù)幀輸入圖像局部上下文區(qū)域,目標(biāo)位置為上一幀輸入圖像目標(biāo)位置,大小為W×H不變,采用線性插值方式將局部上下文區(qū)域圖像大小調(diào)整為224×224后傳遞給VGG網(wǎng)絡(luò),獲得每一個(gè)卷積塊對(duì)應(yīng)的平均特征圖和仿射變換特征圖。
(4)當(dāng)前幀輸入圖像每一個(gè)卷積塊對(duì)應(yīng)的平均特征圖和仿射變換特征圖分別與上一幀輸入圖像每一個(gè)卷積塊對(duì)應(yīng)的最終平均特征圖進(jìn)行核相關(guān)計(jì)算,得到當(dāng)前幀輸入圖像每一個(gè)卷積塊對(duì)應(yīng)的2個(gè)核相關(guān)特征圖,當(dāng)前幀輸入圖像每一個(gè)卷積塊對(duì)應(yīng)的2個(gè)核相關(guān)特征圖分別與上一幀輸入圖像每一個(gè)卷積塊對(duì)應(yīng)的最終相關(guān)濾波器模板進(jìn)行點(diǎn)乘運(yùn)算,得到當(dāng)前幀輸入圖像每一個(gè)卷積塊對(duì)應(yīng)的2個(gè)置信圖。
(5)對(duì)當(dāng)前幀輸入圖像每一個(gè)卷積塊對(duì)應(yīng)2個(gè)置信圖分別求最大響應(yīng),較大者作為當(dāng)前幀輸入圖像每一個(gè)卷積塊對(duì)應(yīng)目標(biāo)位置,若較大者小于閾值TH=0.2,被跟蹤目標(biāo)很大可能被遮擋,通過(guò)置信圖求最大響應(yīng)得到目標(biāo)位置不可信,則當(dāng)前幀輸入圖像目標(biāo)位置等于上一幀輸入圖像目標(biāo)位置,在仿真實(shí)驗(yàn)中發(fā)現(xiàn)閾值TH設(shè)置為0.2能夠很好地解決目標(biāo)被遮擋問(wèn)題;對(duì)當(dāng)前幀輸入圖像5個(gè)目標(biāo)位置求平均值,作為當(dāng)前幀輸入圖像最終目標(biāo)位置。
(6)若當(dāng)前幀輸入圖像每一個(gè)卷積塊對(duì)應(yīng)的目標(biāo)位置由每一個(gè)卷積塊對(duì)應(yīng)的平均特征圖計(jì)算獲得,則當(dāng)前幀輸入圖像每一個(gè)卷積塊對(duì)應(yīng)的最終平均特征圖和最終相關(guān)濾波器模板由每一個(gè)卷積塊對(duì)應(yīng)的平均特征圖進(jìn)行更新;若當(dāng)前幀輸入圖像每一個(gè)卷積塊對(duì)應(yīng)的目標(biāo)位置由每一個(gè)卷積塊對(duì)應(yīng)的仿射變換平均特征圖計(jì)算獲得,則當(dāng)前幀輸入圖像每一個(gè)卷積塊對(duì)應(yīng)的最終平均特征圖和最終相關(guān)濾波器模板由每一個(gè)卷積塊對(duì)應(yīng)的仿射變換平均特征圖進(jìn)行更新;若當(dāng)前幀輸入圖像每一個(gè)卷積塊對(duì)應(yīng)的目標(biāo)位置由上一幀輸入圖像每一個(gè)卷積塊對(duì)應(yīng)的目標(biāo)位置給定,則當(dāng)前幀輸入圖像每一個(gè)卷積塊對(duì)應(yīng)的最終平均特征圖和最終相關(guān)濾波器模板不更新。
(7)重復(fù)步驟(3)~步驟(6),直到最后一幀圖像。
為驗(yàn)證本文算法在目標(biāo)被遮擋和受光照強(qiáng)度變化等多種因素干擾時(shí)跟蹤的準(zhǔn)確性,將本文算法與當(dāng)前主流相關(guān)濾波跟蹤算法DSST算法、OAB算法、CSK算法、TLD算法、KCF算法、Staple算法、SRDCF算法和SAMF算法進(jìn)行對(duì)比分析。測(cè)試視頻序列為OTB50[16],實(shí)驗(yàn)平臺(tái)為Matlab2016a,顯卡為英偉達(dá)1060,顯存為6 GB,內(nèi)存為16 GB,CPU為6核12線程2.2 GHz Intel i7-8750H。
為了全面評(píng)估本文算法的性能,對(duì)跟蹤結(jié)果使用2種指標(biāo)進(jìn)行評(píng)估:
(1)距離誤差成功率:某一幀輸入圖像中跟蹤算法輸出目標(biāo)位置與人工標(biāo)定目標(biāo)位置的距離誤差小于某個(gè)閾值,則該幀輸入圖像被認(rèn)為跟蹤成功;
(2)重疊度成功率:某一幀輸入圖像中跟蹤算法輸出目標(biāo)矩形框與人工標(biāo)定目標(biāo)矩形框的重疊面積在跟蹤算法輸出目標(biāo)矩形框與人工標(biāo)定目標(biāo)矩形框的總面積中所占的比重大于某個(gè)閾值,則該幀輸入圖像被認(rèn)為跟蹤成功。
圖5是在OTB50測(cè)試視頻序列上的總體成功率曲線圖,其中距離誤差成功率曲線圖橫軸表示距離誤差閾值,縱軸表示跟蹤成功圖像幀數(shù)與圖像總幀數(shù)的比值,算法后面的數(shù)字表示對(duì)應(yīng)算法距離誤差成功率曲線與坐標(biāo)軸圍成的面積;重疊度成功率曲線圖橫軸表示重疊度閾值,縱軸表示跟蹤成功圖像幀數(shù)與圖像總幀數(shù)的比值,算法后面的數(shù)字表示對(duì)應(yīng)算法重疊度成功率曲線與坐標(biāo)軸圍成的面積。本文算法基于VGG網(wǎng)絡(luò)對(duì)局部上下文區(qū)域圖像提取特征圖并建立相關(guān)濾波器模板,與核相關(guān)濾波跟蹤算法相結(jié)合自適應(yīng)確定目標(biāo)位置和最終目標(biāo)位置。從圖5中可以看出,本文算法在OTB50測(cè)試視頻序列上的總體跟蹤精度超過(guò)當(dāng)前主流相關(guān)濾波跟蹤算法的,從而說(shuō)明本文算法在目標(biāo)被遮擋和目標(biāo)受光照強(qiáng)度變化等多種因素干擾時(shí)都具有較好的跟蹤效果。
Figure 5 OTB50 video sequence overall success rate graph圖5 OTB50視頻序列總體成功率曲線圖
(1)目標(biāo)被遮擋:選用圖6a視頻序列,該視頻序列中被跟蹤的目標(biāo)是一位女性行人,女性行人在行走過(guò)程中分別被5輛不同顏色的車遮擋,CSK、OAB和TLD算法都發(fā)生了跟蹤漂移現(xiàn)象。本文算法對(duì)局部上下文區(qū)域圖像提取平均特征圖和仿射變換特征圖,自適應(yīng)確定目標(biāo)位置和最終目標(biāo)位置,自適應(yīng)更新相關(guān)濾波器模板,當(dāng)目標(biāo)被遮擋時(shí)跟蹤效果也具有較好的魯棒性。
(2)目標(biāo)尺度變化:選用圖6b視頻序列,該視頻序列中被跟蹤的目標(biāo)是一只玩具狗,玩具狗在人的作用下遠(yuǎn)離和靠近鏡頭時(shí)尺度發(fā)生變化。本文算法對(duì)局部上下文區(qū)域圖像提取仿射變換平均特征圖進(jìn)行目標(biāo)跟蹤,能夠很好地適應(yīng)目標(biāo)尺度變化。
(3)目標(biāo)旋轉(zhuǎn)變形:選用圖6c視頻序列,該視頻序列中被跟蹤的目標(biāo)是一只玩具熊,玩具熊在吊繩作用下發(fā)生左右旋轉(zhuǎn)。Staple、SRDCF和CSK算法都發(fā)生了跟蹤漂移現(xiàn)象;本文算法對(duì)局部上下文區(qū)域圖像提取仿射變換平均特征圖進(jìn)行目標(biāo)跟蹤,能夠很好地適應(yīng)目標(biāo)旋轉(zhuǎn)變形。
(4)目標(biāo)快速運(yùn)動(dòng):選用圖6d視頻序列,該視頻序列中被跟蹤的目標(biāo)是一個(gè)男孩,男孩快速地上下左右跳動(dòng)。CSK算法發(fā)生跟蹤漂移現(xiàn)象,本文算法始終能夠準(zhǔn)確跟蹤目標(biāo)。
Figure 6 Partial video sequence tracking result圖6 部分視頻序列跟蹤結(jié)果
(5)目標(biāo)運(yùn)動(dòng)模糊:選用圖6e視頻序列,該視頻序列中被跟蹤的目標(biāo)是一個(gè)男孩,男孩正在跳繩,由于男孩跳繩動(dòng)作較快和圖像分辨率較低,使得整個(gè)圖像比較模糊。DSST、CSK和KCF算法都發(fā)生了跟蹤漂移現(xiàn)象,本文算法能夠準(zhǔn)確地跟蹤目標(biāo),較其他算法具有更好的魯棒性。
(6)目標(biāo)受光照強(qiáng)度變化影響:選用圖6f視頻序列,該視頻序列中被跟蹤的目標(biāo)是一位歌手,歌手在歌唱過(guò)程中背景光照變化強(qiáng)烈。SAMF、Staple、SDRCF、OAB和KCF算法都發(fā)生了跟蹤漂移現(xiàn)象;本文算法根據(jù)光照變化前后圖像自適應(yīng)更新相關(guān)濾波器模板,防止產(chǎn)生跟蹤誤差,能夠穩(wěn)定地跟蹤目標(biāo)。
針對(duì)復(fù)雜場(chǎng)景中目標(biāo)被遮擋和受光照強(qiáng)度變化等多種因素干擾時(shí),傳統(tǒng)相關(guān)濾波目標(biāo)跟蹤算法不能很好地跟蹤目標(biāo),本文提出了一種基于VGG網(wǎng)絡(luò)的魯棒目標(biāo)跟蹤算法,首先對(duì)局部上下文區(qū)域圖像提取平均特征圖和仿射變換平均特征圖;然后將當(dāng)前幀輸入圖像置信圖的最大響應(yīng)值和閾值進(jìn)行對(duì)比,確定當(dāng)前幀輸入圖像新的最終平均特征圖和最終相關(guān)濾波器模板,當(dāng)目標(biāo)外觀發(fā)生變化時(shí)能夠使用更加準(zhǔn)確的目標(biāo)特征,大大提高了目標(biāo)跟蹤的魯棒性和精準(zhǔn)度;最后與核相關(guān)濾波跟蹤算法相結(jié)合進(jìn)行目標(biāo)位置的計(jì)算。實(shí)驗(yàn)結(jié)果表明,在目標(biāo)被遮擋和受光照強(qiáng)度變化等多種因素干擾時(shí),該目標(biāo)跟蹤算法能夠有效地對(duì)目標(biāo)進(jìn)行跟蹤。