多特征融合和尺度估計(jì)的戰(zhàn)斗機(jī)跟蹤算法研究

王倩楠， 李東興， 杜文漢， 鐘 欣， 常君杰

(山東理工大學(xué)機(jī)械工程學(xué)院，山東 淄博 255000)

0 引言

目標(biāo)跟蹤技術(shù)可以理解為對(duì)視頻中的目標(biāo)進(jìn)行定位和跟蹤，并在后續(xù)視頻幀中提供完整的目標(biāo)區(qū)域。近些年來(lái)，目標(biāo)跟蹤算法的發(fā)展十分迅速，然而在對(duì)背景復(fù)雜的目標(biāo)，尤其是對(duì)執(zhí)行空戰(zhàn)、對(duì)地打擊作戰(zhàn)等復(fù)雜任務(wù)的戰(zhàn)斗機(jī)進(jìn)行跟蹤時(shí)，由于戰(zhàn)斗機(jī)尺度變化、背景遮擋以及圖像模糊等干擾的影響，對(duì)戰(zhàn)斗機(jī)進(jìn)行實(shí)時(shí)且準(zhǔn)確的定位與跟蹤仍是十分嚴(yán)峻的挑戰(zhàn)。

BOLME等[1]在目標(biāo)跟蹤領(lǐng)域內(nèi)最早應(yīng)用了相關(guān)濾波算法，提出了最小均方誤差和濾波器(Minimum Output Sum of Squared Error，MOSSE)算法，提取目標(biāo)的灰度特征來(lái)進(jìn)行目標(biāo)跟蹤，此算法的跟蹤速率高，但準(zhǔn)確性不夠?；贛OSSE算法，HENRIQUES 等[2]引入了采用循環(huán)矩陣進(jìn)行稠密采樣和核技巧的核循環(huán)結(jié)構(gòu)(Circulant Structure of tracking-by-detection with Kernel,CSK)算法;不久,高魯棒性、高速度的核相關(guān)濾波(Kernel Correlation Filters，KCF)算法[3]也被提出，它通過(guò)提取方向梯度直方圖特征(Histogram of Oriented Gradient,HOG)進(jìn)行跟蹤，該特征為多通道特征。DANELLJAN等[4]在以往算法的基礎(chǔ)上增加了尺度濾波提出了跟蹤器(Discriminative Scale Space Tracking，DSST)算法，首先，提出了分別建立平移檢測(cè)模型和尺度檢測(cè)模型，使其各自進(jìn)行訓(xùn)練和優(yōu)化的方法;之后，又提出顏色名(Color Name，CN)跟蹤算法[5]，該算法對(duì)顏色特征的鑒別能力較強(qiáng)，然而,若是目標(biāo)被遮擋，也會(huì)發(fā)生跟蹤漂移的情況。

為了避免上述傳統(tǒng)算法存在的問(wèn)題，提高對(duì)目標(biāo)戰(zhàn)斗機(jī)跟蹤的魯棒性，本文基于核相關(guān)濾波算法提出了一種將多個(gè)特征進(jìn)行融合[6-8]的改進(jìn)算法，特征為傳統(tǒng)特征與卷積深度特征，傳統(tǒng)特征包含CN顏色名特征以及LBP紋理特征[9],同時(shí),在對(duì)戰(zhàn)斗機(jī)的尺度變化情況進(jìn)行估計(jì)時(shí)，提出采用尺度濾波器。模板更新時(shí)，引入旁瓣比的概念對(duì)是否發(fā)生遮擋進(jìn)行判斷，保證模板更新的準(zhǔn)確度。

1 相關(guān)算法改進(jìn)

1.1 特征融合

CN顏色名特征經(jīng)過(guò)概率映射的方法使圖像從最開(kāi)始的3維RGB空間轉(zhuǎn)換為11維的顏色特征空間，任一像素點(diǎn)處的RGB值映射成11維的概率分布矢量，并作為特征展示。在戰(zhàn)斗機(jī)飛行過(guò)程中的光照變化、背景復(fù)雜等情況下，CN特征性能卓越。然而在旋轉(zhuǎn)、遮擋等因素的干擾下，CN特征達(dá)不到準(zhǔn)確跟蹤目標(biāo)的要求?；趶浹a(bǔ)缺陷的考量，改進(jìn)算法將CN特征、LBP特征和深度卷積特征進(jìn)行融合。

LBP是用于描述圖像局部紋理信息的算子。中心點(diǎn)周圍3×3鄰域內(nèi)的8個(gè)點(diǎn)與其進(jìn)行比較可生成一個(gè)8位二進(jìn)制數(shù)，即可得到中心點(diǎn)處的LBP值，用來(lái)表達(dá)唯一表征局部紋理特征，表示以(xc,yc)為中心的局部區(qū)域紋理特征，即

(1)

式中：p為像素個(gè)數(shù)；r為鄰域半徑;gi為鄰域像素；gc為中心像素；

(2)

卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Nural Network,CNN)歸類于人工網(wǎng)絡(luò)的一種，可以直接將圖像輸入網(wǎng)絡(luò)，自動(dòng)進(jìn)行特征的提取，該網(wǎng)絡(luò)對(duì)特征平移、特征縮放和扭曲具有高度不變性的優(yōu)勢(shì)。VGGNet模型[10]在諸多遷移學(xué)習(xí)任務(wù)中表現(xiàn)優(yōu)越，其廣泛應(yīng)用于圖像分類[11-12]，從視頻圖像中提取深度卷積特征，VGG網(wǎng)絡(luò)為首選，因而本文選用VGGNet模型提取深度特征。

CNN提取特征時(shí)，淺層卷積包含較多的空間信息，可對(duì)目標(biāo)進(jìn)行精確定位，但不能應(yīng)對(duì)較大的目標(biāo)外觀變化；深層特征中含較多的語(yǔ)義信息，對(duì)目標(biāo)形狀的變化較為敏感,但其因空間分辨率低而使得定位精度低，深度特征的優(yōu)勢(shì)不能得到發(fā)揮。所以本文采用conv1和conv5進(jìn)行目標(biāo)特征的提取，優(yōu)勢(shì)互補(bǔ)。因特征參數(shù)不同，采用雙線性插值算法對(duì)特征圖進(jìn)行運(yùn)算處理。

為避免背景雜波等無(wú)謂信息的影響，對(duì)特征進(jìn)行方差篩選[13]，即

(3)

式中:Fm,n為當(dāng)前通道的特征值;Fave為當(dāng)前通道特征的平均值。

本文的特征融合方式為先串行后并行[14]，先將LBP紋理特征和CN顏色特征進(jìn)行融合得到響應(yīng)特征圖，再將得到的特征圖同卷積深度特征圖融合，得出最終的融合特征作為核相關(guān)濾波算法的輸入。

1.2 尺度濾波器

(4)

經(jīng)過(guò)計(jì)算得最優(yōu)濾波器模型后，進(jìn)行戰(zhàn)斗機(jī)位置檢測(cè)時(shí)，提取其不同維度特征z，求對(duì)應(yīng)的頻域Zl,通過(guò)Parseval公式在傅里葉域內(nèi)求解得計(jì)算特征與濾波器的相關(guān)值為

(5)

式中，y所得最大值對(duì)應(yīng)的尺度為最終戰(zhàn)斗機(jī)的尺度結(jié)果。

1.3 模板更新

目標(biāo)所處環(huán)境等的復(fù)雜變化會(huì)影響目標(biāo)模板的準(zhǔn)確度，判斷目標(biāo)的模板是否需要更新時(shí)，采用峰值旁瓣比(Peak Sidelobe Ratio，PSR)[1]作為標(biāo)準(zhǔn)，即

(6)

式中：ymax,ymin分別為圖像響應(yīng)的最大、最小峰值;mean(·)為求括號(hào)內(nèi)的均值;ym,n為(m,n)處的響應(yīng)值。計(jì)算值大于閾值，表明目標(biāo)處于正常環(huán)境運(yùn)行，目標(biāo)信息受影響較小，更新模板；計(jì)算值小于閾值，說(shuō)明當(dāng)前目標(biāo)受遮擋，跟蹤框含較多錯(cuò)誤信息，不更新目標(biāo)模板。

2 結(jié)果分析

為綜合、直觀地評(píng)價(jià)算法性能，本文以2個(gè)指標(biāo)為標(biāo)準(zhǔn)判斷：1) 4種算法在測(cè)試集的不同場(chǎng)景下的跟蹤精度；2) 判斷指標(biāo)為各算法在測(cè)試集不同場(chǎng)景下跟蹤的成功率情況[15]。測(cè)試集的各挑戰(zhàn)類別[16]如下：光照變化(Illumination Variation，IV)，即目標(biāo)區(qū)域的光照變化顯著；尺度變化(Scale Variation，SV)，即鏡頭相對(duì)目標(biāo)距離變化導(dǎo)致目標(biāo)尺度變化；目標(biāo)遮擋(Occlusion，OCC)，即目標(biāo)的部分或者整體被遮擋；形變(Deformation，DEF)，即目標(biāo)表觀形態(tài)變化與第一幀差距過(guò)大；運(yùn)動(dòng)模糊(Motion Blur，MB)，即獲取的視頻幀像素退化；快速運(yùn)動(dòng)(Fast Motion，F(xiàn)M)，目標(biāo)變化位移量大于20個(gè)像素點(diǎn)；平面內(nèi)翻轉(zhuǎn)(In-Plane Rotation，IPR)；平面外翻轉(zhuǎn)(Out-of-Plane Rotation，OPR)；超出視野(Out of View，OV)，即目標(biāo)的部分區(qū)域消失；背景雜亂(Background Clutters，BC)，背景包含同目標(biāo)相差不大的顏色和紋理特征；低分辨率(Low Resolution，LR)，即邊界框內(nèi)像素點(diǎn)個(gè)數(shù)少于400。算法的參數(shù)設(shè)置：正則化參數(shù)τ=0.01，模型更新率η=0.025。

為了更清晰地驗(yàn)證本文算法是否有效，選取KCF算法、DSST算法以及MOSSE算法等3種算法進(jìn)行對(duì)比情況分析，從準(zhǔn)確性和效率性2個(gè)指標(biāo)進(jìn)行定量和定性分析。

2.1 定量分析

將本文算法與3種對(duì)比算法在測(cè)試序列上進(jìn)行實(shí)驗(yàn)，得到圖1所示的算法跟蹤精確度及成功率圖。

圖1 在測(cè)試集上測(cè)試的跟蹤精確度和跟蹤成功率Fig.1 Tracking accuracy and success rate on the test set

圖1顯示位置誤差閾值的范圍為0～50，當(dāng)閾值為20時(shí)，本文改進(jìn)算法的精確度為77.6%，與排在第二位的KCF算法進(jìn)行比較，其精確度提高了5.5%。圖2所示跟蹤成功率曲線圖，重疊閾值的范圍為0～1，當(dāng)閾值為0.5時(shí)，本文改進(jìn)算法的成功率為73.3%，比KCF算法提高了3.5%。綜上可知，與其他傳統(tǒng)主流算法對(duì)比，本文算法不論是在跟蹤的精確度還是在跟蹤的成功率方面，都表現(xiàn)十分優(yōu)越。

表1列出了4種算法在不同場(chǎng)景屬性下的跟蹤精確度與成功率對(duì)比情況。

由表1可知:本文算法在IV,DEF,FM,IPR,OPR,OV,BC,LR屬性下跟蹤精確度排名均為第一，優(yōu)于其他的相關(guān)濾波算法；在SV,OCC,MB這3個(gè)屬性下排名第二；本文算法在不同場(chǎng)景下的跟蹤成功率情況，除了在BC屬性表現(xiàn)一般，其他屬性均為最優(yōu)。

表 1 4種算法在測(cè)試集不同場(chǎng)景下的跟蹤精確度和成功率匯總表Table 1 Summary of tracking accuracy and success rate of the four algorithms in different scenarios of the test set

2.2 定性分析

選取了6組直觀且具有代表性的視頻測(cè)試序列用于分析改進(jìn)算法與對(duì)比算法的跟蹤效果情況，測(cè)試結(jié)果如圖2所示。

圖2(a)所示為戰(zhàn)斗機(jī)在滑行過(guò)程中被背景物體遮擋，算法不能獲得有效的信息。本文算法引入峰值旁瓣比來(lái)判斷更新目標(biāo)模板，能夠穩(wěn)定地跟蹤目標(biāo)，KCF算法出現(xiàn)偏移，其余兩種算法丟失目標(biāo)。

圖2(b)所示為戰(zhàn)斗機(jī)即將降落的視頻序列，機(jī)輪著陸時(shí),戰(zhàn)斗機(jī)的形態(tài)發(fā)生較大變化。從圖中可直觀得出,本文算法的跟蹤效果在這幾種算法中性能最優(yōu)。

圖2(c)選取的測(cè)試序列為2架相同型號(hào)的戰(zhàn)斗機(jī)飛行場(chǎng)景。因2架戰(zhàn)斗機(jī)的外觀以及飛行姿態(tài)較為相似，準(zhǔn)確跟蹤的難度大大提高。結(jié)果顯示，只有改進(jìn)算法在飛行過(guò)程中能準(zhǔn)確地對(duì)目標(biāo)戰(zhàn)斗機(jī)進(jìn)行跟蹤。

圖2(d)所示為戰(zhàn)斗機(jī)所處環(huán)境與戰(zhàn)斗機(jī)含相似的紋理信息。對(duì)比算法在跟蹤過(guò)程中均發(fā)生不同程度的漂移，僅改進(jìn)算法能夠較完整地跟蹤目標(biāo)。

圖2(e)所示為在相同的目標(biāo)背景下，戰(zhàn)斗機(jī)和相機(jī)之間距離變化使戰(zhàn)斗機(jī)尺度發(fā)生變化，KCF,DSST,MOSSE算法的目標(biāo)框出現(xiàn)不同程度的偏移，改進(jìn)算法能夠較穩(wěn)定地跟蹤目標(biāo)。

圖2(f)所示為戰(zhàn)斗機(jī)飛行過(guò)程中出現(xiàn)翻轉(zhuǎn)的情況，與3種對(duì)比算法相比，本文改進(jìn)算法能夠提取較少的雜質(zhì)信息，持續(xù)穩(wěn)定地跟蹤目標(biāo)。

圖2 不同算法跟蹤結(jié)果展示圖Fig.2 Tracking results of different algorithms

3 結(jié)論

由于執(zhí)行任務(wù)的特殊性和復(fù)雜性，戰(zhàn)斗機(jī)的運(yùn)動(dòng)情況也會(huì)存在諸如尺度變化、形變、遮擋、背景雜亂等特點(diǎn)。本文提出的多特征融合和尺度估計(jì)的核相關(guān)濾波算法將目標(biāo)戰(zhàn)斗機(jī)的傳統(tǒng)特征和深度特征進(jìn)行融合,同時(shí)添加尺度濾波器以適應(yīng)戰(zhàn)斗機(jī)的尺度變化，極大程度地提高了實(shí)時(shí)性和準(zhǔn)確性。定性和定量?jī)煞矫娴膶?shí)驗(yàn)結(jié)果表明，改進(jìn)算法在對(duì)戰(zhàn)斗機(jī)進(jìn)行跟蹤時(shí)呈現(xiàn)較好的適應(yīng)性和準(zhǔn)確性。