基于相關(guān)濾波融合多特征的運(yùn)動(dòng)目標(biāo)跟蹤方法

謝 柳 尚振宏 劉 輝

（昆明理工大學(xué)信息工程與自動(dòng)化學(xué)院，昆明，650500）

引 言

在計(jì)算機(jī)視覺領(lǐng)域中，目標(biāo)跟蹤一直是一個(gè)重要課題[1]，在軍事和民用方面都有廣闊的應(yīng)用前景，主要包括人機(jī)交互、軍事制導(dǎo)、視頻監(jiān)控和智能交通等。雖然近年來目標(biāo)跟蹤問題已經(jīng)取得了很大的突破，但由于跟蹤環(huán)境的復(fù)雜多樣性，如尺度變化、光照變化、目標(biāo)旋轉(zhuǎn)、遮擋與背景干擾等[2]，實(shí)現(xiàn)魯棒的目標(biāo)跟蹤仍是一個(gè)極具挑戰(zhàn)的難題。

目標(biāo)跟蹤方法按照目標(biāo)外觀模型建立的方式不同可分為生成式模型和判別式模型。生成式方法是對(duì)目標(biāo)建立目標(biāo)外觀模型，然后在后續(xù)幀中搜索目標(biāo)候選區(qū)域并與目標(biāo)外觀模型進(jìn)行對(duì)比，得到與之相似度最高的跟蹤結(jié)果。由于生成式方法僅僅對(duì)目標(biāo)本身進(jìn)行描述，沒有考慮背景信息，因此跟蹤效果并不理想。判別式方法是對(duì)目標(biāo)區(qū)域和背景區(qū)域分別提取樣本來訓(xùn)練目標(biāo)分類器，然后在后續(xù)幀利用訓(xùn)練好的分類器來預(yù)測(cè)目標(biāo)的位置，進(jìn)而完成目標(biāo)跟蹤。

近幾年，基于相關(guān)濾波的判別式目標(biāo)跟蹤算法由于具有較好的實(shí)時(shí)性和魯棒性，引起了相關(guān)學(xué)者的廣泛關(guān)注。Bolme等[3]首次將相關(guān)濾波思想應(yīng)用到目標(biāo)跟蹤領(lǐng)域，提出了最小化輸出平方誤差和(Minimum output sum of square error，MOSSE)的目標(biāo)跟蹤算法。Henriques等[4]在相關(guān)濾波基礎(chǔ)上引入核函數(shù)，提出核相關(guān)濾波器(Kernel correlation filter，KCF)的目標(biāo)跟蹤算法，并結(jié)合循環(huán)矩陣?yán)碚摵涂焖俑道锶~變換，解決了訓(xùn)練樣本不足和計(jì)算量大的問題。隨后很多研究工作在其基礎(chǔ)上進(jìn)行改進(jìn)，提出了多種改進(jìn)的相關(guān)濾波跟蹤算法。

目標(biāo)跟蹤中目標(biāo)的特征提取和表示是實(shí)現(xiàn)目標(biāo)魯棒跟蹤的關(guān)鍵因素之一。早期MOSSE和KCF算法分別提取目標(biāo)的灰度特征和方向梯度直方圖(Histogram of oriented gradient，HOG)特征進(jìn)行目標(biāo)跟蹤，取得了實(shí)時(shí)跟蹤效果，但跟蹤精度有待提高。隨后，Danelljan等分別使用融合HOG特征和灰度特征表征目標(biāo)的方法[5]，以及顏色屬性[6](Color name，CN)表征目標(biāo)的方法進(jìn)行目標(biāo)跟蹤，其算法跟蹤精度都有所提升。Li等[7]提出融合HOG和CN特征的目標(biāo)跟蹤算法，很大程度上提高了跟蹤精度。Berti?netto等[8]提取目標(biāo)的HOG特征和顏色直方圖特征對(duì)目標(biāo)進(jìn)行描述，實(shí)現(xiàn)了目標(biāo)的魯棒跟蹤。隨著深度學(xué)習(xí)的快速發(fā)展，卷積神經(jīng)網(wǎng)絡(luò)(Convolutional neural network，CNN)在目標(biāo)檢測(cè)和識(shí)別等領(lǐng)域取得了巨大成功，受此啟發(fā)，眾多研究者開始將深度學(xué)習(xí)網(wǎng)絡(luò)框架應(yīng)用到目標(biāo)跟蹤領(lǐng)域。Wang等[9]首次利用深度學(xué)習(xí)框架，通過堆棧降噪自編碼器(Stacked denoising auto-encoder，SDAE)訓(xùn)練獲得通用目標(biāo)特征提取框架的方式進(jìn)行目標(biāo)跟蹤，取得了比傳統(tǒng)跟蹤算法更好的效果。Ma等[10]提出基于分層卷積特征的跟蹤算法(Hierarchical convolutional features for visual tracking，HCF/CF2)，利用預(yù)訓(xùn)練好的CNN模型提取不同深度的卷積特征作為目標(biāo)特征表示，跟蹤精度得到了很大的提升。Qi等[11]提出多層卷積相關(guān)濾波跟蹤算法(Hedged deep tracking，HDT)，通過自適應(yīng)學(xué)習(xí)權(quán)重策略融合多層卷積特征進(jìn)行目標(biāo)跟蹤，使跟蹤精度提高，但跟蹤速度很慢。Wang等[12]提出全卷積目標(biāo)跟蹤算法(Fully convolutional net?works tracking，F(xiàn)CNT)，通過將高層卷積特征和底層卷積特征分別送入一般性網(wǎng)絡(luò)(General network，GNet)和特殊性網(wǎng)絡(luò)(Specific network，SNet)用來判斷類間和類內(nèi)目標(biāo)類別，并生成各自的熱度圖譜，最后結(jié)合熱度圖譜確定目標(biāo)位置，其跟蹤精度高，但由于模型復(fù)雜，跟蹤速度比較慢。Bertinetto等[13]提出一種全卷積孿生網(wǎng)絡(luò)結(jié)構(gòu)(Fully-convolutional siamese networks，SiamFC)，通過將該結(jié)構(gòu)提取的目標(biāo)模板與候選區(qū)域特征進(jìn)行卷積操作，得到目標(biāo)響應(yīng)圖，響應(yīng)最大候選區(qū)域位置即為目標(biāo)位置，算法跟蹤精度和速度都有所提升。

除了各種特征的組合使用和卷積特征的改進(jìn)外，也有不少算法通過對(duì)尺度估計(jì)、濾波器本身以及模型更新等其他輔助方法進(jìn)行改進(jìn)，從而提升跟蹤算法的魯棒性。針對(duì)目標(biāo)尺度發(fā)生變化的問題，Danelljan等[5]提出一種判別式尺度空間跟蹤算法(Discriminative scale space tracker，DSST)，訓(xùn)練尺度相關(guān)濾波器來估計(jì)目標(biāo)尺度，算法簡(jiǎn)單高效。Li等[7]采用尺度自適應(yīng)的多特征融合跟蹤算法(Scale adap?tive with multiple features tracker，SAMF)，采用構(gòu)造目標(biāo)圖像尺度池的方法搜索目標(biāo)最佳尺度。為了解決相關(guān)濾波器本身存在的問題，Danelljan等[14]提出空間正則化的相關(guān)濾波方法(Spatially regularized dis?criminative correlation filter，SRDCF)，在損失函數(shù)中引入空間正則化懲罰項(xiàng)，從而減小循環(huán)平移引起的邊緣效應(yīng)。Danelljan等[15]提出連續(xù)空間域的卷積跟蹤算法(Continuous convolution operators for visual tracking，CCOT)，目標(biāo)定位時(shí)可達(dá)到亞像素精度的位置，跟蹤精度高，但跟蹤速度極慢。針對(duì)跟蹤速度慢，模型在遮擋情況易受污染等問題，Zhao等[16]引入峰值旁瓣比(Peak-to-sidelobe ratio，PSR)作為相關(guān)濾波響應(yīng)檢測(cè)指標(biāo)，提出一種稀疏更新模型策略，從而解決遮擋情況下的模板更新問題，進(jìn)一步提高了目標(biāo)跟蹤的速度和精度。Wang等[17]通過平均峰值相關(guān)能量(Average peak-to-correlation energy，APCE)判斷是否出現(xiàn)目標(biāo)遮擋或丟失，根據(jù)其值自適應(yīng)對(duì)目標(biāo)模型進(jìn)行更新，改善了算法的魯棒性和實(shí)時(shí)性。

上述基于目標(biāo)特征選取改進(jìn)的跟蹤算法僅使用單一的融合策略對(duì)傳統(tǒng)特征進(jìn)行融合，由于在復(fù)雜環(huán)境下使用單一的特征融合策略魯棒性不強(qiáng)，跟蹤算法易受跟蹤環(huán)境變化的干擾，無法準(zhǔn)確跟蹤目標(biāo)。另外,手工設(shè)計(jì)的傳統(tǒng)特征具有一定的局限性，不能有效捕捉目標(biāo)物體的語義信息，難以處理復(fù)雜的目標(biāo)表觀變化。為進(jìn)一步提高目標(biāo)跟蹤的魯棒性，本文提出了一種分層融合HOG特征、顏色直方圖特征和卷積特征的相關(guān)濾波目標(biāo)跟蹤算法。另外，受上述其他改進(jìn)算法的啟發(fā)，為解決目標(biāo)尺度變化問題以及多種特征的組合使用導(dǎo)致速度緩慢的問題，本文同樣采用尺度估計(jì)方法和稀疏更新模型策略來提高算法的穩(wěn)定性和實(shí)時(shí)性。

1 相關(guān)濾波跟蹤算法

本文在相關(guān)濾波基礎(chǔ)上融合了HOG特征、顏色直方圖特征及卷積特征，為體現(xiàn)論文完整性，將對(duì)相關(guān)濾波跟蹤算法簡(jiǎn)述如下，其詳細(xì)論述見參考文獻(xiàn)[5]。

記d通道目標(biāo)外觀模板為x，其第d個(gè)通道特征表示為xd，d∈{1,2,…,D}。記相關(guān)濾波器為w，由D個(gè)單通道濾波器wd組成。相關(guān)濾波器可通過最小化目標(biāo)函數(shù)ε求解，即

式中：*代表循環(huán)相關(guān)操作，y表示相關(guān)濾波期望輸出，λ為正則化參數(shù)。利用傅里葉變換快速求解可得到相關(guān)濾波器[18]為

式中：F-1表示傅里葉逆變換。輸出響應(yīng)f取得的最大值處即為新的目標(biāo)位置。

在目標(biāo)跟蹤過程中，目標(biāo)的外觀會(huì)發(fā)生變化，為了能持續(xù)跟蹤目標(biāo)，濾波器需要在線更新，具體更新方式為將式（2）拆分成分子和分母Bt分別進(jìn)行，即

式中：t為當(dāng)前幀的序列號(hào)，ηcorr為學(xué)習(xí)率。

2 本文算法

本文算法在相關(guān)濾波框架下，采用HOG特征、顏色直方圖特征和卷積特征進(jìn)行目標(biāo)跟蹤。首先采用固定系數(shù)融合策略進(jìn)行HOG和顏色直方圖的特征響應(yīng)圖融合，將該層融合結(jié)果與基于卷積特征獲得的特征響應(yīng)圖進(jìn)行自適應(yīng)加權(quán)融合，然后利用融合后的響應(yīng)圖進(jìn)行目標(biāo)位置估計(jì)，并基于估計(jì)的目標(biāo)位置采用尺度估計(jì)方法進(jìn)行目標(biāo)尺度估計(jì)，最后采用稀疏更新策略進(jìn)行模型更新。

2.1 多特征訓(xùn)練濾波器

2.1.1 HOG特征和顏色直方圖特征

HOG特征是圖像的局部特征，通過計(jì)算圖像局部區(qū)域的方向梯度直方圖來構(gòu)成特征，對(duì)目標(biāo)細(xì)小形變、光照變化等有較好的適應(yīng)能力，但是當(dāng)目標(biāo)發(fā)生較大形變或遮擋時(shí)，HOG特征不能適應(yīng)目標(biāo)的變化從而丟失目標(biāo)。與HOG特征不同的是，顏色特征是一種基于像素點(diǎn)的全局特征，描述圖像的全局表觀特征，能夠有效處理目標(biāo)形變和尺度變化問題，但是顏色特征無法適應(yīng)光照變化。為此，本文將這兩種特征融合起來描述目標(biāo)模型，可以很好地彌補(bǔ)各自的缺點(diǎn)，提高目標(biāo)跟蹤算法的準(zhǔn)確性和魯棒性。對(duì)于采用顏色直方圖特征作為目標(biāo)特征表示的方法，Staple算法[8]首次將其引入到了相關(guān)濾波跟蹤算法中，具體方法簡(jiǎn)述如下。

對(duì)于給定視頻幀，先獲取圖像塊的目標(biāo)區(qū)域O和背景區(qū)域B，在目標(biāo)和背景區(qū)域的每個(gè)像素上，通過嶺回歸模型進(jìn)行訓(xùn)練，其訓(xùn)練目標(biāo)函數(shù)Lcolor為

式中：顏色直方圖濾波器為β，|O|和|B|分別表示目標(biāo)區(qū)域內(nèi)和背景區(qū)域內(nèi)的像素?cái)?shù)目；φ[u]=ek[u]，表示目標(biāo)特征，其中ek[u]是長(zhǎng)度為V的向量，其元素只在下標(biāo)為k[u]的位置為1，其他位置為0；k[u]表示位置u處像素對(duì)應(yīng)的直方圖區(qū)間值；V是顏色直方圖的區(qū)間數(shù)目。

利用βTφ[u]=βTek[u]=βk[u]，通過對(duì)β的每一特征維度進(jìn)行求解，得到β為

式中：c=1,…,V；ρ(O)和ρ(B)分別為目標(biāo)和背景的顏色直方圖，且A中屬于顏色直方圖區(qū)間c的統(tǒng)計(jì)數(shù)目。利用式（6）求解β，通過積分圖技術(shù)[19]計(jì)算得到顏色直方圖特征響應(yīng)圖fcolor。

和相關(guān)濾波器一樣，為了適應(yīng)目標(biāo)外觀變化而能持續(xù)跟蹤目標(biāo)，采用滑動(dòng)平均方法分別對(duì)ρ(O)和ρ(B)進(jìn)行在線更新，具體更新方式為

式中：t為當(dāng)前幀的序列號(hào)，ηcolor為學(xué)習(xí)率。

2.1.2 卷積特征

傳統(tǒng)相關(guān)濾波跟蹤算法[3-8]都是利用人工設(shè)計(jì)特征訓(xùn)練相關(guān)濾波器，跟蹤精度有待進(jìn)一步提高。由于卷積特征表征能力強(qiáng)，本文利用卷積特征作為輸入特征，采用相關(guān)濾波的方法對(duì)目標(biāo)外觀模型進(jìn)行訓(xùn)練獲得相關(guān)濾波器。

根據(jù)文獻(xiàn)[10]所述，在VGG-19網(wǎng)絡(luò)中，低層的卷積特征能夠更好地保留目標(biāo)自身的位置和空間信息，深層的卷積特征卻包含更多的語義信息。圖1分別給出了輸入圖像在conv3-4,conv4-4和conv5-4中的卷積特征。如圖1所示，conv3-4輸出的卷積特征保留更多的空間位置信息，conv4-4輸出的卷積特征包含部分的空間信息和語義信息，而conv5-4輸出的卷積特征包含更多的語義信息，因此分別對(duì)conv3-4,conv4-4和conv5-4輸出的卷積特征訓(xùn)練相關(guān)濾波器。具體過程描述如下。

圖1 目標(biāo)在不同卷積層中的特征表示Fig.1 Feature representations of object at different convolutional layers

記目標(biāo)樣本為x，提取第l層的第d個(gè)通道的卷積特征xdl，l∈{1,2,3}，其中1表示conv3-4層，2表示conv4-4層，3表示conv5-4層，d∈{1,2,…,D}。記第l層相關(guān)濾波器為wl，由D個(gè)單通道濾波器wdl組成。相關(guān)濾波器可通過最小化式（1）求解，利用傅里葉變換快速求解可得到相關(guān)濾波器Wdl，如式（2）所示。對(duì)下一幀新的圖像塊，提取圖像塊的卷積特征zdl，通過式（3）計(jì)算傅里葉變換后的特征Zdl與濾波器Wdl的相關(guān)輸出響應(yīng)fl。

高層卷積特征語義信息豐富，對(duì)目標(biāo)外觀特征表示較好，應(yīng)該給予較高的融合權(quán)重；低層卷積特征分辨率較高，能夠精確定位目標(biāo)，但是對(duì)遮擋、形變比較敏感，應(yīng)該給予較低的融合權(quán)重。按照上述原則，對(duì)每層的響應(yīng)圖加權(quán)相加得到最終卷積特征響應(yīng)圖fconv，即

式中αl表示每層對(duì)應(yīng)的融合權(quán)重。

2.2 多特征自適應(yīng)融合

根據(jù)上述不同類型特征描述目標(biāo)的能力不同，應(yīng)對(duì)不同特征采取分層融合策略。首先，采用固定權(quán)重融合策略進(jìn)行HOG特征和顏色直方圖特征的響應(yīng)圖融合，融合公式為

式中：r為固定權(quán)重，其值設(shè)置參考文獻(xiàn)[8]。其次，由于HOG特征和顏色直方圖特征都屬于傳統(tǒng)人工設(shè)計(jì)特征，相比卷積特征，對(duì)不同場(chǎng)景下目標(biāo)的表征不夠豐富。為了充分利用傳統(tǒng)特征和卷積特征，文中將兩種傳統(tǒng)特征融合得到的響應(yīng)圖ftrad和卷積特征響應(yīng)圖fconv進(jìn)行自適應(yīng)加權(quán)融合得到最終目標(biāo)響應(yīng)圖。

為計(jì)算傳統(tǒng)特征和卷積特征在跟蹤過程中的判別能力，本文采用相鄰圖像幀的特征響應(yīng)圖PSR差值來計(jì)算特征融合權(quán)重。差異越小說明該特征下學(xué)習(xí)到的濾波器性能越好，則在特征響應(yīng)圖融合中應(yīng)對(duì)該特征響應(yīng)圖賦予更高的權(quán)重。因此，兩個(gè)特征各自的自適應(yīng)權(quán)重分別為

式中：t為當(dāng)前幀的序列號(hào)，Ctradt和Cconvt分別表示相鄰幀的傳統(tǒng)特征和卷積特征響應(yīng)圖峰值旁瓣比差值，其計(jì)算公式為

式中：μ和σ分別為響應(yīng)圖f的均值和方差。各自權(quán)重的更新策略為

式中ηk為權(quán)重更新系數(shù)。通過計(jì)算分別得到傳統(tǒng)特征和卷積特征的融合權(quán)重，然后對(duì)兩特征響應(yīng)圖進(jìn)行加權(quán)融合，得到最終的融合響應(yīng)圖ffinal。

圖2為本文多特征自適應(yīng)融合方法在Bolt視頻序列上運(yùn)行的特征權(quán)重變化圖。從圖中可以看出，卷積特征權(quán)重在視頻序列的大部分幀中都很大，尤其是背景雜亂環(huán)境對(duì)目標(biāo)產(chǎn)生嚴(yán)重干擾時(shí)，譬如Bolt視頻序列的第137幀，其他運(yùn)動(dòng)員衣服和廣告牌的顏色干擾使得傳統(tǒng)特征權(quán)重下降。但是，當(dāng)目標(biāo)快速運(yùn)動(dòng)致邊界輪廓模糊或遇到相似目標(biāo)時(shí)，卷積特征權(quán)重稍微有點(diǎn)下降，譬如Bolt視頻序列的第65幀和第107幀。

圖2 Bolt視頻序列不同特征的融合權(quán)重變化曲線Fig.2 Variation curve of fusion weights of different features on Bolt

2.3 尺度估計(jì)

針對(duì)目標(biāo)尺度變化問題，本文采用文獻(xiàn)[5]中尺度估計(jì)算法估計(jì)目標(biāo)尺度，即：基于預(yù)測(cè)得到的目標(biāo)位置建立目標(biāo)尺度變化的“金字塔”。用M×N表示目標(biāo)的尺度大小，S表示尺度樣本個(gè)數(shù)，a表示尺度因子，以anM×anN為尺度來提取目標(biāo)樣本，其中然后將得到的不同尺度的目標(biāo)樣本統(tǒng)一縮放為M×N的大小，并與一維尺度相關(guān)濾波器進(jìn)行相關(guān)操作獲得尺度響應(yīng)圖，其最大值位置所表示的尺度就是目標(biāo)的最佳尺度。

2.4 模型更新

由于多種特征組合的使用使得跟蹤的速度很慢，很難達(dá)到實(shí)時(shí)跟蹤效果。考慮到在一段視頻序列中，相鄰兩幀圖片之間目標(biāo)的變化很小，如果每一幀都對(duì)模型進(jìn)行更新，容易造成時(shí)間浪費(fèi)，并且當(dāng)目標(biāo)發(fā)生遮擋時(shí)，容易將錯(cuò)誤的目標(biāo)特征信息加到目標(biāo)模型中而導(dǎo)致跟蹤失敗，因此本文引入APCE值[17]來判斷目標(biāo)是否發(fā)生丟失或飄移，從而實(shí)現(xiàn)稀疏更新模型。圖3為Jogging1視頻序列的APCE值響應(yīng)曲線圖。由圖可知，目標(biāo)在第7，240幀時(shí)正常運(yùn)動(dòng)，APCE值比較大；在第79幀時(shí)，目標(biāo)被完全遮擋，APCE值較小。

APCE值用來表征目標(biāo)響應(yīng)圖的波動(dòng)程度和目標(biāo)的置信程度，其計(jì)算公式為

圖3 Jogging1視頻序列的APCE值變化曲線Fig.3 Variation curve of APCE value on Jogging1

式中：fmax和fmin分別表示響應(yīng)圖中的最大值和最小值，fi，j表示響應(yīng)圖中第i行第j列的值。當(dāng)響應(yīng)圖的APCE值大于更新閾值時(shí)，則該跟蹤結(jié)果被認(rèn)為是高置信度，那么跟蹤模型分別通過式（4）和式（7）進(jìn)行在線更新。

2.5 算法具體實(shí)施過程

本文算法的基本流程示意圖如圖4所示，主要分為4個(gè)過程：濾波器訓(xùn)練、位置估計(jì)、尺度估計(jì)和模型更新。具體步驟如下。

圖4 算法的整體流程圖Fig.4 Flow chart of the proposed algorithm

（1）輸入：第一幀圖像I1；

（2）在I1的中心位置確定搜索區(qū)域圖像，然后分別提取HOG特征、卷積特征以及ρ(O)和ρ(B)特征；

（3）利用式（1）分別訓(xùn)練濾波器Whog,Wconv和Wscale。

步驟2 位置估計(jì)

（1）輸入：第 t幀圖像 It，上一幀圖像目標(biāo)位置 Pt-1和尺度 St-1，濾波器 Whogt-1和 Wconvt-1，ρt-1(O)和ρt-1(B)以及融合權(quán)重 kt-1；

（2）在It位置Pt-1和尺度St-1上提取候選樣本的HOG特征和卷積特征。利用相關(guān)濾波器Whogt-1通過式（3）計(jì)算得到HOG特征響應(yīng)圖fhog。利用相關(guān)濾波器Wconvt-1通過式（3，8）計(jì)算得到卷積特征響應(yīng)圖fconv；

管道試壓合格后的大面積回填（500 mm厚），管頂300 mm以上部分回填原土并填實(shí)，采用機(jī)械回填時(shí)，要從管的兩側(cè)同時(shí)回填，機(jī)械不得在管上行駛。管頂以上300 mm回填后，再進(jìn)行管道試壓，以防試壓時(shí)管道系統(tǒng)產(chǎn)生推移。管四周200 mm以內(nèi)的回填土不得含粒徑大于10 mm的堅(jiān)硬石塊。

（3）利用ρt-1(O)和ρt-1(B)，通過式（6）和積分圖技術(shù)計(jì)算得到顏色直方圖特征響應(yīng)圖fcolor；

（4）利用特征響應(yīng)圖fhog和fcolor，通過式（9）計(jì)算得到傳統(tǒng)特征響應(yīng)圖ftrad；

（5）通過式（10,11）計(jì)算得到權(quán)重kt，然后利用權(quán)重對(duì)fconv和ftrad進(jìn)行自適應(yīng)加權(quán)融合，得到最終響應(yīng)圖ffinal，其最大值位置就是第t幀目標(biāo)最終位置即為Pt。

步驟3 尺度估計(jì)

（1）輸入：第t幀圖像It及目標(biāo)位置Pt，尺度相關(guān)濾波器Wscalet-1；

（2）在It位置Pt處提取HOG特征；

（3）利用尺度相關(guān)濾波器Wscalet-1和式（3）計(jì)算尺度響應(yīng)圖，其最大值位置就是第t幀目標(biāo)估計(jì)尺度St。

步驟4 模型更新

（1）在It位置Pt和尺度St上提取 HOG特征、卷積特征以及ρt(O)和 ρt(B)特征，利用式（2）分別計(jì)算濾波器Whogt，Wconvt和Wscalet；

（2）通過式（13）計(jì)算最終響應(yīng)圖ffinal的APCE值，當(dāng)APCE值大于更新閾值時(shí)，分別通過式（4），式（7）和式（12）對(duì)濾波器Whogt，Wconvt和Wscalet，ρt(O)和ρt(B)以及權(quán)重kt進(jìn)行在線更新；

（3）將濾波器Whogt，Wconvt和Wscalet，ρt(O)和ρt(B)以及權(quán)重kt傳遞至下一幀。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)驗(yàn)環(huán)境及參數(shù)設(shè)置

本文所有的實(shí)驗(yàn)均在配置為Intel Corei7-7800X 3.50 GHz CPU，GTX Titan X GPU，內(nèi)存為16 GB的臺(tái)式電腦上完成，實(shí)驗(yàn)算法開發(fā)平臺(tái)為Matlab R2017b，卷積特征計(jì)算框架為MatConvNet[20]。實(shí)驗(yàn)中對(duì)所有的測(cè)試視頻采用一樣的參數(shù)，具體設(shè)置為：相關(guān)濾波器學(xué)習(xí)率ηcorr為0.01，顏色直方圖濾波器學(xué)習(xí)率 ηcolor為0.04，權(quán)重學(xué)習(xí)率 ηk為0.1，正則化系數(shù) λ為 10-4，融合權(quán)重 ktrad和 kconv初始值為0.5，模型更新閾值為30，固定權(quán)重r為0.3，其值與Staple算法設(shè)置相同，網(wǎng)絡(luò)卷積層的選取及每層的權(quán)重系數(shù)設(shè)置與CF2算法相同，尺度估計(jì)方法采用的參數(shù)與DSST算法設(shè)置一致。

3.2 數(shù)據(jù)集及評(píng)價(jià)指標(biāo)

實(shí)驗(yàn)中選取OTB-2013[21]標(biāo)準(zhǔn)數(shù)據(jù)集對(duì)算法進(jìn)行評(píng)估，該數(shù)據(jù)集總共包含51個(gè)不同類型的視頻序列。在實(shí)驗(yàn)結(jié)果的評(píng)估方面[22]，本文采用距離精度(Distance precision，DP)、重疊精度(Overlap pre?cision，OP)以及一次性通過的精度曲線圖(Precision plot)和成功率曲線圖(Success plot)對(duì)算法進(jìn)行評(píng)估。DP定義為預(yù)測(cè)目標(biāo)框中心與真實(shí)目標(biāo)框中心之間的歐氏距離誤差小于某一閾值的幀數(shù)占所有幀數(shù)的百分比；OP定義為重疊率大于某一閾值的幀數(shù)占所有幀數(shù)的百分比，其中重疊率的計(jì)算公式為(Rt∩Ra)/(Rt∪Ra)，Rt表示預(yù)測(cè)目標(biāo)框區(qū)域，Ra表示真實(shí)目標(biāo)框區(qū)域。距離精度曲線圖是距離精度值與閾值之間關(guān)系的曲線圖，選取閾值為20像素時(shí)的距離精度值作為評(píng)估值；成功率曲線圖是重疊精度值與閾值之間關(guān)系的曲線圖，將成功率曲線下方的面積(Area under the curve，AUC)作為評(píng)估值。

為驗(yàn)證本文算法的有效性，總共設(shè)計(jì)了3組實(shí)驗(yàn)，具體如下。

實(shí)驗(yàn)1 多特征融合對(duì)比實(shí)驗(yàn)

選擇本文算法所用特征進(jìn)行拆分，得到兩種算法Ours_cnn和Ours_staple，其中Ours_cnn只利用卷積特征進(jìn)行目標(biāo)跟蹤，Ours_staple算法利用HOG和顏色直方圖特征進(jìn)行目標(biāo)跟蹤。為了充分證明本文多特征融合的有效性，分別選取Ours_cnn,Ours_staple以及其他融合不同特征的跟蹤算法分別在OTB-2013測(cè)試集上與本文算法作對(duì)比分析試驗(yàn)。圖5顯示了各種跟蹤算法的精度曲線圖和成功率曲線圖。

圖5 7種算法的精度曲線圖和成功率曲線圖Fig.5 Precision plots and success rate plots of seven algorithms

從圖5可以看出，相比于使用HOG特征的KCF、使用顏色屬性特征的CN、融合HOG和顏色屬性特征的SAMF、融合HOG特征和灰度特征的DSST以及Ours_cnn和Ours_staple，本文算法的距離精度值和成功率在OTB-2013測(cè)試集上都位居第一。

實(shí)驗(yàn)2 定量對(duì)比實(shí)驗(yàn)

利用OTB-2013測(cè)試集對(duì)本文算法和主流的9種跟蹤算法（CF2,HDT,CNN-SVM[23],FCNT,ACFN[24],SiamFC,SRDCF,DSST和SAMF）作一次性通過評(píng)估（One-pass evaluation,OPE）。為了充分說明本文算法的有效性，實(shí)驗(yàn)選取的跟蹤算法非常具有針對(duì)性，其中，DSST和SAMF算法是利用傳統(tǒng)特征并引入尺度估計(jì)進(jìn)行目標(biāo)跟蹤的算法，算法簡(jiǎn)單高效；SRDCF算法是針對(duì)相關(guān)濾波器引入空間正則化的改進(jìn)算法，算法復(fù)雜度高；CF2,HDT，CNN-SVM，F(xiàn)CNT，ACFN和SiamFC算法都是近年來基于深度學(xué)習(xí)，利用卷積特征學(xué)習(xí)的跟蹤算法，算法運(yùn)行速度較慢。圖6為10種算法的精度曲線圖和成功率曲線圖。

從圖6可以看出，本文算法在OTB-2013測(cè)試集上平均DP為89.3%，平均OP為63.6%。雖然本文算法的平均DP與其次優(yōu)的CF2算法相比只提高了0.2%，但是平均OP卻比CF2算法提高了3.1%。同樣，雖然本文算法的平均OP與其次優(yōu)的SRDCF算法相比只提高了1.0%，但是平均DP卻比SRDCF算法提高了5.5%。

圖6 10種算法的精度曲線圖和成功率曲線圖Fig.6 Precision plots and success rate plots of ten algorithms

表1分別為不同算法在不同挑戰(zhàn)因素下的距離精度值，其中包含的挑戰(zhàn)因素有遮擋(Occlusion，OCC)、光照變化(Illumination variation，IV)、尺度變化(Scale variation，SV)、快速移動(dòng)(Fast motion，F(xiàn)M)、背景干擾(Background clutters，BC)、運(yùn)動(dòng)模糊(Motion blur，MB)、非剛性形變(Deformation，DEF)、平面內(nèi)旋轉(zhuǎn)(In-plane rotation，IPR)和平面外旋轉(zhuǎn)(Out-of-plane rotation，OPR)。從表中數(shù)據(jù)可以看出，本文算法在尺度變化、遮擋、背景雜亂、運(yùn)動(dòng)模糊、平面內(nèi)旋轉(zhuǎn)和平面外旋轉(zhuǎn)6種挑戰(zhàn)因素中位居第一。對(duì)于目標(biāo)發(fā)生非剛性形變的情況，本文算法、CF2和HDT算法都表現(xiàn)較好，但是FCNT算法著重分析了不同特征對(duì)目標(biāo)定位的不同作用，對(duì)目標(biāo)形變有很強(qiáng)的魯棒性。此外，本文算法因顏色特征容易受光照變化的影響，故對(duì)光照變化的情況表現(xiàn)略顯劣勢(shì)。

表1 不同算法在不同挑戰(zhàn)因素下的距離精度值Tab.1 Distance pr ecisions of differ ent algorithms on different attr ibutes

實(shí)驗(yàn)3 定性對(duì)比實(shí)驗(yàn)

選取5種算法在6組具有各種挑戰(zhàn)因素的視頻序列的跟蹤結(jié)果進(jìn)行顯示，定性對(duì)比分析本文算法在復(fù)雜環(huán)境下的跟蹤性能。從實(shí)驗(yàn)2中可以看出本文算法性能遠(yuǎn)高于DSST,SAMF,SRDCF,CNNSVM和SiamFC 5種算法，因此本實(shí)驗(yàn)中僅與剩余的4種算法進(jìn)行比較。視頻序列分別為Dog1，Motor?Rolling，Skating1，Soccer，F(xiàn)leetface和SUV，其相關(guān)屬性如表2所示。

表2 測(cè)試視頻的屬性Tab.2 Video sequences attr ibutes

本文算法與4種算法在典型視頻部分幀的跟蹤結(jié)果如圖7所示。圖7(a)Dog1視頻中，目標(biāo)發(fā)生了巨大尺度變化，雖然各種算法都能跟蹤到目標(biāo)，但是只有本文算法對(duì)目標(biāo)的尺度預(yù)測(cè)較為準(zhǔn)確；圖7(b)MotorRolling視頻中，背景雜亂且目標(biāo)發(fā)生了旋轉(zhuǎn)，本文算法更能準(zhǔn)確地跟蹤到目標(biāo)；圖7(c)Skating1視頻中，當(dāng)目標(biāo)遇到部分遮擋時(shí)，本文算法比其他算法更能準(zhǔn)確跟蹤目標(biāo)，隨后目標(biāo)受到光照變化和尺度變化的影響，只有本文算法能夠穩(wěn)定地跟蹤到目標(biāo)；圖7(d)Soccer視頻中，目標(biāo)遇到部分遮擋、運(yùn)動(dòng)模糊和背景雜亂等一系列干擾，只有本文算法能夠準(zhǔn)確追蹤到目標(biāo)。圖7(e)Fleetface視頻中，目標(biāo)發(fā)生了尺度變化且在場(chǎng)景內(nèi)發(fā)生了旋轉(zhuǎn)，本文算法更準(zhǔn)確地跟蹤到目標(biāo)。圖7(f)SUV視頻中，目標(biāo)分辨率很低且超出了視野范圍內(nèi)或目標(biāo)遇到完全遮擋，本文算法也能夠魯棒地跟蹤目標(biāo)。綜上所述，本文算法在跟蹤過程中遇到遮擋、尺度變化、形狀變化和旋轉(zhuǎn)等各種挑戰(zhàn)時(shí)，具有較好的魯棒性。

圖7 5種算法在6個(gè)視頻序列的跟蹤結(jié)果比較Fig.7 Visualization of tracking results of five algorithms on six sequences(Ours HDT ACFN CF2 FCNT)

4 結(jié)束語

本文在相關(guān)濾波的基礎(chǔ)上，提出了一種自適應(yīng)融合傳統(tǒng)特征（HOG特征與顏色直方圖特征）和卷積特征的運(yùn)動(dòng)目標(biāo)跟蹤算法。該算法首先利用固定系數(shù)方法融合HOG和顏色直方圖的特征響應(yīng)圖，然后將融合結(jié)果與卷積特征響應(yīng)圖通過自適應(yīng)權(quán)重融合策略進(jìn)行融合，最后基于融合后的響應(yīng)圖估計(jì)目標(biāo)位置；采用OTB-2013公開測(cè)試集驗(yàn)證本文算法的性能，并與幾種主流目標(biāo)跟蹤算法進(jìn)行了對(duì)比分析。定量和定性實(shí)驗(yàn)結(jié)果表明，本文算法的準(zhǔn)確性和魯棒性都優(yōu)于其他算法，由于多特征融合使用以及卷積特征的提取比較耗時(shí)，盡管稀疏更新策略使得算法跟蹤速度有所提升，但本文所提出的算法速度仍然很慢。對(duì)此問題，將來進(jìn)一步的研究工作可以考慮在卷積特征通道上進(jìn)行分析，實(shí)現(xiàn)自適應(yīng)多通道特征的選擇，減少冗余特征的影響，從而提升特征提取的時(shí)效性，有利于改善跟蹤算法的實(shí)時(shí)性和準(zhǔn)確性。