基于邊緣檢測(cè)的抗遮擋相關(guān)濾波跟蹤算法

唐藝

摘??要：無(wú)人機(jī)跟蹤目標(biāo)因其便利性得到越來(lái)越多的關(guān)注?；谙嚓P(guān)濾波算法利用邊緣檢測(cè)優(yōu)化樣本質(zhì)量，并在邊緣檢測(cè)打分環(huán)節(jié)加入平滑約束項(xiàng)，增加了候選框包含目標(biāo)的準(zhǔn)確度，達(dá)到降低計(jì)算復(fù)雜度提高跟蹤魯棒性的效果。利用自適應(yīng)多特征融合增強(qiáng)特征表達(dá)能力，提高目標(biāo)跟蹤精準(zhǔn)度。引入遮擋判斷機(jī)制和自適應(yīng)更新學(xué)習(xí)率減少遮擋對(duì)濾波模板的影響，提高目標(biāo)跟蹤成功率。通過(guò)在OTB-2015和UAV123數(shù)據(jù)集上的實(shí)驗(yàn)進(jìn)行定性定量的評(píng)估，論證了所研究算法相較于其他跟蹤算法具有一定的優(yōu)越性。

關(guān)鍵詞：無(wú)人機(jī)??目標(biāo)追蹤??相關(guān)濾波??多特征融合??邊緣檢測(cè)

中圖分類(lèi)號(hào)：TN713;TP391.41;TG441.7

The?Anti-Occlusion?Correlation?Filtering?Tracking?Algorithm?Based?on?Edge?Detection

TANG?Yi

（North?China?University?of?Technology，?Beijing，?100144?China）

Abstract：?For?its?convenience，?tracking?targets?with?unmanned?aerial?vehicles?is?getting?more?and?more?attention.?Based?on?the?correlation?filtering?algorithm，?the?quality?of?samples?is?optimized?by?edge?detection，?and?smoothing?constraints?are?added?to?the?edge?detection?scoring?link，?which?increases?the?accuracy?of?targets?included?in?candidate?boxes，?and?achieves?the?effects?of?reducing?computational?complexity?and?improving?tracking?robustness.?Adaptive?multi-feature?fusion?is?used?to?enhance?the?feature?expression?capability，?which?improves?the?accuracy?of?target?tracking.?The?occlusion?detection?mechanism?and?the?adaptive?updating?learning?rate?are?introduced?to?reduce?the?impact?of?occlusion?on?filtering?templates，?which?improves?the?success?rate?of?target?tracking.?Qualitative?evaluation?and?quantitative?evaluation?are?conducted?through?experiments?on?OTB-2015?and?UAV123?datasets，?which?demonstrates?the?superiority?of?the?studied?algorithm?over?other?tracking?algorithms.

Key?Words：?Unmanned?aerial?vehicle;?Target?tracking;?Correlation?filtering;?Multi-feature?fusion;?Edge?detection

近年來(lái)，無(wú)人機(jī)成為熱點(diǎn)話(huà)題，具有不同用途的無(wú)人機(jī)頻繁出現(xiàn)在大眾視野。作為無(wú)人機(jī)視覺(jué)系統(tǒng)中的重要組成部分，視覺(jué)跟蹤也受到越來(lái)越多的關(guān)注。

深度學(xué)習(xí)憑借著其優(yōu)異的特征能力讓基于深度學(xué)習(xí)的目標(biāo)跟蹤算法[1-2]取得了廣泛關(guān)注。SiamMask[3]將?Siam?孿生網(wǎng)絡(luò)互相關(guān)后的特征圖添加了mask分支，互相關(guān)后的特征圖包含了目標(biāo)模板與搜索區(qū)域的匹配信息，能夠從中提取重合區(qū)域的信息。雖然基于深度學(xué)習(xí)的跟蹤算法有了較好的性能，但是基于深度學(xué)習(xí)的跟蹤算法大多計(jì)算量大。而無(wú)人機(jī)的計(jì)算資源有限，所以具有較高的計(jì)算能力的相關(guān)濾波跟蹤算法更符合無(wú)人機(jī)實(shí)時(shí)跟蹤目標(biāo)的需求。

Cheng?Li[4]等人提出了一種TLD-KS將SAMF算法與KCF算法相結(jié)合的算法。計(jì)算出SAMF算法與KCF算法跟蹤結(jié)果的相似度，通過(guò)相似度判斷是否繼續(xù)跟蹤，結(jié)合兩種算法結(jié)果對(duì)目標(biāo)跟蹤進(jìn)行調(diào)整。Shaoming?Li[5]等人在相關(guān)濾波算法的基礎(chǔ)上引入了損失函數(shù)來(lái)降低對(duì)目標(biāo)部分遮擋的敏感度，并且提出了一種基于特征融合的自適應(yīng)的在線(xiàn)模型更新策略。Huanxia?Wei[6]提出了將相關(guān)濾波和卡爾曼濾波相結(jié)合，利用相關(guān)濾波來(lái)判斷視覺(jué)系統(tǒng)的信息是否可靠，是否需要切換算法進(jìn)行后期的目標(biāo)跟蹤。Changhong?Fu[7]提出了一種具有動(dòng)態(tài)一致性的相關(guān)濾波器即CPCF跟蹤器。其通過(guò)相鄰響應(yīng)映射之間的相關(guān)操作，生成一個(gè)實(shí)際的一致性映射來(lái)表示幀間的一致性級(jí)別。利用最小化實(shí)際與理想的一致性圖之間的差異，約束一致性水平以保持時(shí)間的平滑。

本文在前人研究的基礎(chǔ)上，對(duì)相關(guān)濾波算法進(jìn)行優(yōu)化。利用邊緣檢測(cè)對(duì)樣本進(jìn)行優(yōu)化，并且引入了一個(gè)約束項(xiàng)對(duì)樣本進(jìn)行重打分排序，提升樣本質(zhì)量。采用自適應(yīng)多特征融合提升特征表達(dá)能力，利用遮擋判斷實(shí)現(xiàn)自適應(yīng)更新模板，降低目標(biāo)遮擋對(duì)跟蹤準(zhǔn)確率的影響，提高目標(biāo)跟蹤的魯棒性。

1??SAMF目標(biāo)跟蹤

SAMF基于KCF算法改進(jìn)，在KCF的基礎(chǔ)上加入了灰度特征與CN特征，實(shí)現(xiàn)多特征融合。引入了目標(biāo)尺度自適應(yīng)的概念，通過(guò)與尺度池中的尺度因子進(jìn)行響應(yīng)比較，最大響應(yīng)值為當(dāng)前目標(biāo)的最佳尺度。

1.1??特征提取

SAMF算法在HOG特征的基礎(chǔ)上添加了CN特征和灰度特征，通過(guò)將三種特征進(jìn)行簡(jiǎn)單的矢量疊加得到多特征融合。具體公式如下：

（1）

1.2??訓(xùn)練濾波器

通過(guò)循環(huán)矩陣提取大量樣本，將這些樣本作為訓(xùn)練樣本集。濾波訓(xùn)練的目的就是通過(guò)樣本找到最佳的濾波模板系數(shù)，使得函數(shù)與訓(xùn)練樣本與回歸標(biāo)簽之間的平均誤差最小。最小化的二乘函數(shù)為：

（2）

式（2）中：為正則化參數(shù)，可以防止過(guò)擬合。

通過(guò)高斯函數(shù)可以得到由訓(xùn)練樣本構(gòu)成的核矩陣。我們可以將求解轉(zhuǎn)化為求解。

（3）

式（3）中：為的傅里葉變換，為的傅里葉變換。

1.3??快速檢測(cè)與模板更新

對(duì)于新輸入的樣本，通過(guò)特征提取、循環(huán)位移可得到樣本集合與訓(xùn)練樣本構(gòu)造核矩陣且滿(mǎn)足循環(huán)條件。由此可以得到測(cè)試樣本的響應(yīng)，響應(yīng)值最大的點(diǎn)坐標(biāo)表示目標(biāo)的最新位置，有。由于SAMF算法引入了尺度自適應(yīng)概念，不僅需要找到目標(biāo)位置還需要找到目標(biāo)的最佳尺度，所以求得最大響應(yīng)公式具體如下：

（4）

式（4）中：為?根據(jù)尺度因子大小調(diào)整的樣本的修訂值。由于響應(yīng)函數(shù)得到的是一個(gè)向量，所以利用max計(jì)算得到最大響應(yīng)值，從而得到最佳尺度。

模塊的更新只需要更新兩個(gè)參數(shù)，一個(gè)是模板參數(shù)，另一個(gè)是樣本參數(shù)，具體公式如下：

（5）

式（5）中：為學(xué)習(xí)率。

2??本文算法

本文算法以SAMF為基礎(chǔ)算法，對(duì)其存在計(jì)算量大、抗遮擋能力差等問(wèn)題進(jìn)行改進(jìn)。算法流程如圖1所示。

2.1??樣本提取

本文采用了Edge?boxes邊緣檢測(cè)算法對(duì)樣本進(jìn)行優(yōu)化，在提高樣本質(zhì)量的同時(shí)減少樣本量，減少計(jì)算時(shí)間，滿(mǎn)足目標(biāo)追蹤的實(shí)時(shí)性。

輸入圖像后，利用結(jié)構(gòu)邊緣檢測(cè)算法來(lái)計(jì)算每個(gè)像素的邊緣響應(yīng)，通過(guò)不斷尋找八連通的邊緣點(diǎn)，將這些邊緣點(diǎn)定義為一組邊緣組。計(jì)算邊緣組兩兩之間的相似度，相似度計(jì)算公式如下所示：

（6）

式（6）中：為和之間的角度；為調(diào)整相似度的敏感程度系數(shù)，此時(shí)。

任意一組邊緣組和一個(gè)滑動(dòng)窗口，?Edge?boxes算法使用權(quán)重值描述邊緣組被滑動(dòng)窗口包圍的程度。具體的計(jì)算公式如下：

（7）

最后對(duì)滑動(dòng)窗口進(jìn)行打分，得分高排名靠前的候選框可作為高質(zhì)量的樣本，用于之后的訓(xùn)練。具體的計(jì)算公式如下所示：

（8）

式（8）中：為候選框的寬度；為候選框的高度；為用來(lái)消除候選框的面積過(guò)大而帶來(lái)的邊緣誤差。

上述計(jì)分方式會(huì)存在一些物體比目標(biāo)區(qū)域得分高，導(dǎo)致錯(cuò)過(guò)目標(biāo)，所以我們?cè)诖擞?jì)分的基礎(chǔ)上加入平滑約束項(xiàng)。若存在多個(gè)高分候選框，則更靠近上一幀的候選框得分更高。具體的平滑約束公式如下所示：

（9）

式（9）中，為候選框的中心，為上一幀候選框的對(duì)角線(xiàn)長(zhǎng)度，為約束系數(shù)，防止過(guò)度平滑約束。

最終候選框的得分計(jì)算公式如下所示：

（10）

通過(guò)邊緣檢測(cè)，提取排名靠前的樣本，減少了樣本數(shù)目，并且用于訓(xùn)練模型的樣本都是高質(zhì)量的樣本，這讓后期跟蹤目標(biāo)時(shí)，精準(zhǔn)度和實(shí)時(shí)性得到了一定程度的提升。

2.2??特征融合

為提取有效的目標(biāo)特征信息，利用HOG特征、CN特征和LBP特征的優(yōu)缺點(diǎn)互補(bǔ)的關(guān)系實(shí)現(xiàn)自適應(yīng)的多特征融合，構(gòu)建具有高魯棒性的目標(biāo)模型。

提取圖像的3種特征，對(duì)于每一種特征分別訓(xùn)練出其表觀模型。在跟蹤過(guò)程中，分別計(jì)算出3種

特征表觀模型與當(dāng)前幀圖像的相關(guān)濾波響應(yīng)。

式（11）（12）（13）中：為特征表觀模型，為當(dāng)前圖像的特征向量的傅里葉變換，為得到的響應(yīng)圖。

計(jì)算各相關(guān)響應(yīng)的最大值，并將其作為特征融合的權(quán)重依據(jù)。

式（14）中：和分別是HOG特征、CN特征和LBP特征的權(quán)重。最后根據(jù)所得到的特征權(quán)重得到最終多特征融合響應(yīng)。

（17）

2.3??遮擋判斷機(jī)制

SAMF算法抗遮擋能力差，目標(biāo)被遮擋時(shí)，目標(biāo)跟蹤的準(zhǔn)確度下降，誤差增大，造成目標(biāo)丟失。為了解決上述問(wèn)題，加入了遮擋判斷機(jī)制，減少因目標(biāo)被遮擋而造成的跟蹤失敗，提高跟蹤的魯棒性。

本文采用平均峰值能量APCE作為判斷目標(biāo)是否被遮擋的依據(jù)。APCE反映的是目標(biāo)響應(yīng)圖的震蕩情況，當(dāng)目標(biāo)未發(fā)生遮擋，最大響應(yīng)峰值較為突出，APCE值相對(duì)而言比較大；當(dāng)目標(biāo)發(fā)生遮擋，最大響應(yīng)周?chē)鷷?huì)出現(xiàn)次峰值，并且最大響應(yīng)峰值也會(huì)被削弱，APCE值相對(duì)而言會(huì)下降。具體計(jì)算公式如下：

式（18）中：和分別為相關(guān)響應(yīng)圖中最大響應(yīng)值、最小響應(yīng)值以及坐標(biāo)為位置上的響應(yīng)。當(dāng)APCE大于閾值，判定目標(biāo)未被遮擋，保持原有的學(xué)習(xí)率進(jìn)行更新；當(dāng)APCE小于閾值，我們判定目標(biāo)被遮擋，進(jìn)行下一步的遮擋程度判斷。

本文利用次峰值與主峰值之比作為判斷目標(biāo)被遮擋程度的依據(jù)。因?yàn)槟繕?biāo)遮擋會(huì)讓主峰值變小，次峰值變大，所以目標(biāo)被遮擋程度越嚴(yán)重，次峰值與主峰值的比值越大。具體的計(jì)算公式如下：

（19）

式（19）中：分別表示相關(guān)響應(yīng)圖的第一主峰與第二主峰。當(dāng)R小于閾值時(shí)，判定目標(biāo)被部分遮擋，大于閾值時(shí)，判定目標(biāo)被完全遮擋。

2.4??模板更新機(jī)制

SAMF算法是采用固定學(xué)習(xí)率更新模板，這樣會(huì)造成當(dāng)目標(biāo)被遮擋時(shí)，模板更新依舊按照原來(lái)的機(jī)制更新，算法學(xué)習(xí)到錯(cuò)誤的特征信息導(dǎo)致目標(biāo)漂移。為了解決上述問(wèn)題，對(duì)模板更新策略進(jìn)行改進(jìn)，實(shí)現(xiàn)學(xué)習(xí)率自適應(yīng)性，提高濾波模板的準(zhǔn)確度。

（20）

當(dāng)APCE大于閾值，判定目標(biāo)未被遮擋，保持原有的學(xué)習(xí)率進(jìn)行更新；當(dāng)APCE小于閾值且R小于閾值，判斷目標(biāo)被部分遮擋，降低學(xué)習(xí)率，降低遮擋對(duì)模型更新的影響；當(dāng)APCE小于閾值且R大于閾值，判斷目標(biāo)被完全遮擋，停止更新。

3??實(shí)驗(yàn)結(jié)果與分析

本文算法實(shí)驗(yàn)平臺(tái)為MATLAB-2018。將本文算法與3種先進(jìn)的跟蹤算法在OTB-2015和UAV123數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，并進(jìn)行定性和定量分析，驗(yàn)證方法的有效性。本次實(shí)驗(yàn)其他算法結(jié)果均來(lái)自作者發(fā)布的官方跟蹤結(jié)果，為保證評(píng)估標(biāo)準(zhǔn)的一致性，本次實(shí)驗(yàn)均采用算法評(píng)估中的一次性通過(guò)方式來(lái)計(jì)算出算法對(duì)應(yīng)的?Precision?plot?和?Success?plot?進(jìn)行結(jié)果分析。

在圖中測(cè)試的couple_1序列中可發(fā)現(xiàn)在第48幀時(shí)，KCF、SAMF已經(jīng)丟失目標(biāo)；隨著目標(biāo)尺度發(fā)生變化，在第107幀時(shí)，Struck算法也丟失目標(biāo)，由于課題提出的算法有更好的尺度適應(yīng)性，所以仍然能準(zhǔn)確跟蹤目標(biāo)。在boat9_1序列中由于目標(biāo)快速移動(dòng)，在第1?289幀時(shí)，Struck、SAMF、KCF算法已經(jīng)丟失目標(biāo)，從第1399幀可以看出相較于其他算法，本文算法更能適應(yīng)尺度快速變化。

由表1、表2可知，本文算法與SAMF算法相比較在OTB-2015數(shù)據(jù)集實(shí)驗(yàn)中準(zhǔn)確率和成功率都有一定程度的提升；在UAV123數(shù)據(jù)集實(shí)驗(yàn)中準(zhǔn)確率提升了10%，成功率提升了12%，與其余兩種目標(biāo)追蹤算法相比，不管是準(zhǔn)確率還是成功率都有了不同程度的提升。

4??結(jié)語(yǔ)

在本文中，利用邊緣檢測(cè)提取相似度高的樣本，并且加入約束項(xiàng)提升了樣本打分排序的準(zhǔn)確度。樣本數(shù)量的減少和質(zhì)量的提高為后續(xù)跟蹤目標(biāo)減少計(jì)算時(shí)間、提升精準(zhǔn)度。采用自適應(yīng)多特征融合增強(qiáng)特征表達(dá)能力，利用遮擋判斷機(jī)制和自適應(yīng)更新學(xué)習(xí)率降低目標(biāo)丟失風(fēng)險(xiǎn)，提高濾波模板準(zhǔn)確度。本文算法在OTB-2015和UAV123數(shù)據(jù)集的跟蹤效果優(yōu)于其他3種經(jīng)典算法，實(shí)驗(yàn)數(shù)據(jù)表明了本課題算法的可行性。本文算法在滿(mǎn)足無(wú)人機(jī)追蹤目標(biāo)實(shí)時(shí)性的同時(shí)又提升了應(yīng)對(duì)遮擋情況的適應(yīng)性，比其他算法更能適應(yīng)無(wú)人機(jī)平臺(tái)下的目標(biāo)跟蹤。

參考文獻(xiàn)

[1]?王旭辰，韓煜祺，唐林波，等.基于深度學(xué)習(xí)的無(wú)人機(jī)載平臺(tái)多目標(biāo)檢測(cè)和跟蹤算法研究[J].信號(hào)處理，2022，38（1）：157-163.

[2]徐耀建.基于深度學(xué)習(xí)的視頻多目標(biāo)行人檢測(cè)與追蹤[J].現(xiàn)代信息科技，2020，4（12）：6-9.

[3]?HU?W?M，WANG?Q，ZHANG?L.et?al.?SiamMask：?A?Framework?for?Fast?Online?Object?Tracking?and?Segmentation[J].IEEE?transactions?on?pattern?analysis?and?machine?intelligence，2023，45（3）：3072-3089.

[4]?CHENG?L，ZHU?A.Target?Tracking?Algorithm?of?Similarity?Detection?Based?on?Correlation?Filtering[C]//2021?International?Conference?on?Intelligent?Computing.Automation?and?Applications?（ICAA），2021：122-129.

[5]?LI?S?M，CHU?J，ZHONG?G?C，et?al.Robust?Visual?Tracking?With?Occlusion?Judgment?and?Re-Detection[J].IEEE?Access，2020，8：122772-122781.

[6]?WEI?HU?X.A?UAV?Target?Prediction?and?Tracking?Method?Based?on?KCF?and?Kalman?Filter?Hybrid?Algorithm[C]//2022?2nd?International?Conference?on?Consumer?Electronics?and?Computer?Engineering?（ICCECE）.2022：711-718.

[7]?FU?C?H，YANG?X?X，F(xiàn)AN?L，，?et?al.?Learning?Consistency?Pursued?Correlation?Filters?for?Real-Time?UAV?Tracking[C]//2020?IEEE/RSJ?International?Conference?on?Intelligent?Robots?and?Systems?（IROS）.2020：8293-8300.