孫夢宇,王鵬,徐均琪,李曉艷,郜輝,邸若海
(1 西安工業(yè)大學 光電工程學院,西安 710021)
(2 西安工業(yè)大學 電子信息工程學院,西安 710021)
視覺目標跟蹤任務作為機器視覺領(lǐng)域中的重要環(huán)節(jié)近年來受到了廣泛的關(guān)注[1-4]。紅外目標跟蹤是基于熱紅外圖像對目標進行跟蹤的視覺任務,根據(jù)熱紅外圖像的成像原理,在目標受到部分掩體遮擋時,依然能夠獲取目標信息,且在黑夜條件下,紅外相機能夠?qū)δ繕诉M行觀測,而可見光無法獲取目標圖像。但紅外圖像相較于可見光圖像而言缺少紋理信息,并且紅外圖像中目標邊界模糊且存在噪聲,使得目標與背景區(qū)分難度更高[5-8]。
依據(jù)在線訓練的優(yōu)勢,相關(guān)濾波算法具備良好的魯棒性[9-12],同時基于手工特征的相關(guān)濾波算法無需圖形處理器(Graphics Processing Unit,GPU)或神經(jīng)網(wǎng)絡處理單元(Neural-Network Processing Unit,NPU),適用于部署在計算能力弱的嵌入式硬件平臺上。由于相關(guān)濾波算法訓練無關(guān)圖像模態(tài),因此較多學者以基于可見光圖像的濾波算法[13-16]作為基礎(chǔ)開展研究,但直接將其應用難以獲取較好的表現(xiàn)。GUNDOGDU E等[17]訓練了紅外卷積網(wǎng)絡用于特征提取。YU Tianwen 等[18]提出了基于連續(xù)卷積和自適應特征融合的魯棒性紅外跟蹤器(Robust TIR tracker based on the Continuous Correlation Filters and adaptive feature fusion,RCCF-TIR),采用相關(guān)峰值作為權(quán)重實現(xiàn)響應圖的融合。ZHANG He 等[19]提出了基于水平集的ECO 算法(Efficient Convolution Operators based on the Level Set method,ECO_LS),額外加入圖像分割器,將分割結(jié)果與跟蹤結(jié)果融合。YUAN Di 等[20]提出了自適應多特征融合模型(Adaptively Multi-Feature fusion Tracker,AMFT),根據(jù)Kullback-Leibler 散度衡量各個特征對應的響應圖。上述濾波算法更多關(guān)注于融合深度特征與手工特征,運算負擔較大,而ECO_LS 僅采用手工特征,獲得了較好的表現(xiàn),但其采用的并行結(jié).構(gòu)同樣使其無法完成實時運算。
近年來深度學習的目標跟蹤算法收到了廣泛的關(guān)注[21-22]。目標感知的深度跟蹤算法(Target-Aware Deep Tracking,TADT)[23]利用回歸損失和排序損失提高網(wǎng)絡對前景的分辨能力;結(jié)合分割的孿生網(wǎng)絡跟蹤算法(SiamMask)[24]將分割結(jié)合作為頭部加入跟蹤網(wǎng)絡中,獲得更為精確的目標狀態(tài)信息;交叉模態(tài)蒸餾的判別預測模型(Discriminative Model Prediction with Cross-Modal Distillation,CMD-DiMP)[25]利用知識蒸餾將可見光信息轉(zhuǎn)化為紅外信息,獲取更高的跟蹤精度;HUANG Yueping 等[7]提出利用無監(jiān)督方法優(yōu)化特征提取網(wǎng)絡,采用多通道濾波融合深度與淺層特征,獲得更好的目標表達能力;LI Yingchao 等[26]將紅外圖像轉(zhuǎn)換至希爾伯特空間,并級聯(lián)多個通道注意力機制獲取更好的跟蹤精度。但基于深度學習的網(wǎng)絡需要大量的計算資源以及存儲資源的支持,須具備較好的硬件平臺才能達到實時表現(xiàn)。
針對上述問題,本文提出了自適應信息選擇的變尺度相關(guān)濾波紅外目標跟蹤算法,為增強紅外目標特征表達能力,在原有提取的手工特征上,重新提取尺度為2 的梯度信息,豐富目標信息,并在響應圖融合階段加入權(quán)值,獲取更高的跟蹤精度;在訓練過程中,將各個通道信息獨立看待,對每個通道做空間選擇,從而獲取更為準確的表達能力;為適應目標邊界框比例的變換,在傳統(tǒng)的尺度估計后,構(gòu)建變尺度濾波器,調(diào)整邊界框比例,獲取更為準確的邊界框。
提出的紅外目標跟蹤算法的整體結(jié)構(gòu)如圖1 所示,紅色連接線表示樣本幀特征流向,綠色連接線表示當前幀特征流向,黃色箭頭表示跟蹤過程。wt表示本幀的濾波器系數(shù),wt-1表示上一幀求解的濾波器系數(shù),f表示樣本特征,y表示理想響應函數(shù)。
圖1 算法整體框架Fig.1 Overall algorithm architecture
算法共分為三個部分,分別是特征提取器、定位濾波器以及尺度濾波器。首先,在樣本幀和當前幀中選取提取區(qū)域,將其送入特征提取器中提取特征信息,在特征提取器中,采用梯度直方圖以及灰度特征作為基礎(chǔ)特征,提取灰度特征后,在其基礎(chǔ)上額外提取新的梯度直方圖[27],用于補充目標特征;然后,樣本幀特征信息將會輸入至定位濾波器中,在學習定位濾波器的階段,加入時間正則項以及空間信息選擇,以通道作為單位學習每個通道的空間權(quán)重,減少濾波器系數(shù);其次,學習到的定位濾波器系數(shù)將會與當前幀的特征信息進行卷積運算,將多種特征對應的響應圖加權(quán)融合,獲取目標位置;最后,從獲取的目標位置提取變尺度樣本,根據(jù)所求的尺度濾波系數(shù)進行卷積,獲取對應的尺度因子,從而確定邊界框比例,獲取最終目標的邊界框。
由于紅外圖像分辨率低,可能會出現(xiàn)圖像模糊、背景區(qū)分度不高等情況,如圖2 所示,這會導致原始提取到的手工特征難以表示目標信息,并且模糊部分過多,原始的手工特征感受野過小,所提取到的特征與原有特征難以匹配。為此,在提取的灰度特征圖中重新提取梯度直方圖,其具備更大的感受野,并且與原始的梯度直方圖不同,能夠提取到不同表示的梯度信息,增強對目標的表達能力。
圖2 數(shù)據(jù)集圖像Fig.2 The images in datasets
圖3 展示了部分特征可視化結(jié)果,為了方便展示,將特征均重新縮放至樣本大小,其中梯度直方圖部分與基于灰度特征的梯度直方圖部分均是選用了同一梯度方向通道的可視化結(jié)果,可以看到雖然兩種特征對應的梯度方向一致,但其所獲得信息不同。由此完成了特征提取,所提取的特征將用于構(gòu)建定位濾波器。
圖3 特征可視化Fig.3 The visualization of features
由于目標跟蹤為時序任務,目標在整個跟蹤過程中是運動的,其背景同樣會出現(xiàn)變化,為了有效提高濾波器時序表達能力,在構(gòu)建定位濾波器過程中加入時間正則項,有效應對目標運動、部分遮擋等情況帶來的特征變化明顯的問題。同時在圖3 中可以看到,并不是所有特征均能對目標有較好的表達能力,部分特征對目標表達能力較弱,因此在定位濾波器中加入了通道獨立的空間信息選擇,由此保留對目標定位有效的信息,從而獲的更高的定位精度。
假設目標樣本特征為f∈RH×W×N,其中H和W分別表示特征空間大小,N表示通道數(shù)量,濾波器系數(shù)為w∈RH×W×N,理想響應函數(shù)為y∈RH×W×N,則定位濾波器公式為
式中,上角標i表示第i個特征通道,‖ ? ‖F(xiàn)表示F 范數(shù),?表示循環(huán)卷積運算,wt-1表示前一幀保存的濾波器系數(shù),λ1和λ2分別表示空間信息選擇項和時間正則項的正則化系數(shù)。‖w‖F(xiàn)用于稀疏化濾波器系數(shù),時間正則項則是在訓練過程中,讓本幀訓練出的濾波器系數(shù)接近上一幀的濾波器系數(shù),搭建時序的聯(lián)系。
用增廣拉格朗日對式(1)求解,定義松弛變量w′=w,式(1)重寫為
式中,Γ為拉格朗日乘子,μ為懲罰系數(shù)。
將式(2)拆分,分別求解w、w′,則
由于式(3)中含有卷積運算,為了加快對w的求解速率,將其轉(zhuǎn)換至頻域,由此式(3)中的上式改寫為
式中,符號^為變量的頻域表示。
式(4)具備解析解,根據(jù)Sherman-Morrison 公式,頻域下濾波器系數(shù)可表示為
根據(jù)式(5)求解出濾波器系數(shù)w后,將其帶入w′的求解式(3)中,對w′繼續(xù)求解。式(3)存在解析解,因此,w′可表示為
隨后更新拉格朗日乘子以及懲罰因子,更新公式為
式中,α為尺度因子,用于平滑更新過程。
由此整個定位濾波器求解完成,將其迭代兩次,獲取濾波器系數(shù)w的近似解。在求解過程中,獲得第一次迭代結(jié)果后,對求解的變量取均值,將小于均值的變量置0,將其帶入下一次迭代過程。
隨后,在提取下一幀的圖像特征后,利用求解的濾波器系數(shù)與特征進行卷積,獲取位置濾波響應圖為
提取了3 種特征,共計算獲取3 個位置濾波響應圖,將其縮放至同一尺度,進行加權(quán)求和,獲取最終響應圖Sf為
式中,Sgray、Shog、Sgray_hog分別表示灰度特征、梯度直方圖以及基于灰度特征的梯度直方圖的響應圖,β為權(quán)重,設為0.01?;诨叶忍卣鞯奶荻戎狈綀D用于補充目標特征信息,增強目標表達能力,但由于數(shù)據(jù)集中存在較多小目標,如圖2(b),此特征具有較大的感受野,包含了較多的背景信息,使得目標信息淹沒,無法發(fā)揮作用,因此將其權(quán)重設置較低。
目標在運動過程中,其尺度不斷變化,邊界框比例同樣可能產(chǎn)生變化,但原有的目標尺度估計方式無法應對邊界框比例變化問題,僅通過在定位階段選擇多個固定比例尺度采集尺度樣本,對每個尺度樣本均進行定位,選擇響應值最高的結(jié)果作為估計尺度。
在原有尺度估計后,重新構(gòu)建了用于變尺度估計的尺度濾波器,以原有的尺度估計結(jié)果作為基礎(chǔ),在其基礎(chǔ)上重新采集變尺度樣本,并將其展平為1 維特征進行拼接。
假設,s=1,2,…,M表示邊界框變化比例,在采集變尺度樣本時,以本幀估計的目標位置作為中心點,設c×c為目標基礎(chǔ)空間尺寸,變尺度采集的空間尺度為aKc×aKc,a表示尺度因子,其中,表示向下取整,在此將M設置為5,但由于采集的是變尺度樣本,實際樣本數(shù)量為M2,即25 個變尺度樣本,長和寬分別對應5 個尺度變化,并對其進行排列組合,將s設置為1.01。
由于灰度特征無法用于準確判別樣本的尺度變換,因此在尺度樣本提取的過程中,僅利用窗口大小為4的梯度直方圖作為尺度特征。在獲取到樣本后,構(gòu)建尺度濾波器,公式為
下角標s 表示尺度濾波,將式(10)轉(zhuǎn)換至頻移,其具有解析解,解析解形式為
求解后對所獲得的變尺度樣本特征進行卷積,即
由此,獲得多個變尺度下的尺度響應圖,選擇其中響應值最大的對應的尺度,即為所估計的尺度。
在原有的尺度估計基礎(chǔ)上進行二次變尺度估計,構(gòu)建的變尺度估計濾波器雖具備在邊界比例變換的情況下的尺度,但單獨使用并不能夠有效提高算法精度,主要原因有:
1)尺度濾波器若單獨工作,在定位階段將提取單尺度樣本,缺乏尺度信息,從而使得定位濾波器精度下降,此現(xiàn)象與尺度自適應多特征跟蹤器(Scale Adaptive with Multiple Features tracker,SAMF)[28]和判別式尺度空間跟蹤器(Discriminatiive Scale Space Tracker,DSST)[29]兩種算法相同,兩種算法采用相同的基礎(chǔ)定位濾波器,但SAMF 在定位階段采集多尺度樣本,在獲取目標邊界框估計能力的同時,也提升了算法定位精度,DSST 則設計了額外的固定邊界框比例的尺度濾波器,其定位精度低于SAMF。
2)目標在整個運動過程中前后兩幀的邊界框比例變化不大,采用定尺度估計的方法可以判別目標框整體變化情況,本文所設計的變尺度濾波器則進行進一步微調(diào),在整體估計后的基礎(chǔ)上,重新采集變尺度樣本,能夠有效減小變尺度濾波器中樣本采集的數(shù)量,降低變尺度濾波器的計算負擔。
所提算法的偽代碼如表1 所示。
為了驗證算法的有效性,選擇LSOTB-TIR 數(shù)據(jù)集[30]與PTB-TIR 數(shù)據(jù)集[31]作為測試集。LSOTB-TIR數(shù)據(jù)集共包含了120 個測試序列,序列最大長度為2 110 幀,最小長度為105 幀,平均長度為684 幀,共計82 000 幀圖像,包含了22 種目標類別,12 種類別屬性,對序列采集場景進行了標注,類別與標注信息如表2和表3 所示。
表2 場景定義Table 2 The definition of scenarios
表3 序列屬性Table 3 The attributes of sequences
PTB-TIR 數(shù)據(jù)集是紅外行人跟蹤數(shù)據(jù)集,目標尺寸變化較小,包含60 個測試序列,9 種類別屬性,共30 029 幀圖像,最小序列長度為50 幀,最大序列長度為1 792 幀。共選取了8 個算法作為對比算法,用于展現(xiàn)本文所提算法的優(yōu)越性,其中有效卷積算子跟蹤器(Efficient Convolution Operators for tracking,ECO)、自適應學習判別式相關(guān)濾波(Learning Adaptive Discriminative Correlation Filters,LADCF)、自適應通道選擇跟蹤器(Adaptive Channel Selection Mechanism for Discriminative Correlation Filters,ACSDCF)、基于空間正則項的判別式相關(guān)濾波器(Spatially Regularized Discriminative Correlation Filters,SRDCF)[32]為相關(guān)濾波算法,僅使用了手工特征,即梯度直方圖以及灰度特征,TADT、SiamMask、多域卷積神經(jīng)網(wǎng)絡跟蹤算法(Multi-Domain convolutional neural Networks for visual tracking,MDNet)[33]和SiamFC 為深度學習算法。LADCF 與ACSDCF 的結(jié)果均采用作者公布的原始代碼在數(shù)據(jù)集中測試獲得,其余對比算法的結(jié)果均來自于數(shù)據(jù)集官方公布的測試結(jié)果。實驗均在MATLAB2018a 上進行,實驗平臺處理器為Intel(R) Core(TM)i7-7700HQ CPU @ 2.80 GHz 2.81 GHz,內(nèi)存為8 G。
2.1.1 LSOTB-TIR 數(shù)據(jù)集測試結(jié)果
依據(jù)LSOTB-TIR 數(shù)據(jù)集官方的測評指標,共采用3 種指標對算法進行對比,分別為精確度、歸一化精確度以及成功率。其中精確度與歸一化精確度均以中心位置誤差進行衡量,中心位置誤差計算公式為
式中,x和y分別表示中心點x坐標和y坐標,下角標g 和p 分別表示真值和預測值。精確度和歸一化精確度則是根據(jù)不同的中心位置誤差作為閾值,統(tǒng)計全部序列結(jié)果計算獲得。
成功率根據(jù)重疊率(Intersection of Union,IoU)計算獲取,計算公式為
式中,B表示邊界框。與精確度和歸一化精確度類似,成功率同樣依據(jù)不同IOU 閾值計算獲取。
3 種指標的曲線如圖4 所示。可以看到本文所提算法在3 個指標中均取得了最優(yōu)的表現(xiàn)。與相關(guān)濾波算法對比,本文算法在精確度上超過第二名的ECO 算法2.7%,相較于LADCF 和ACSDCF 分別提高了3.1%和3.4%;在歸一化精確度中,本文算法相較于第二名的LADCF 算法提高了1.6%;在成功率曲線中,本文算法相較于LADCF 和ACSDCF 分別提高了2.5%和2.9%。證明了進行通道獨立的空間信息選擇策略的有效性,同時額外提取的基于灰度特征的梯度直方圖信息能夠進一步提供目標信息,變尺度濾波器使得邊界框估計效果得到了提升。
圖4 LSOTB-TIR 數(shù)據(jù)集測試結(jié)果Fig.4 The evaluation results of LSOTB-TIR dataset
與深度學習算法對比,本文算法相較于TADT 在3 種指標下分別提高了0.7%、1% 和0.7%,比SiamMask 分別高出了1.2%、0.8%和1.5%,該算法在僅利用手工特征的基礎(chǔ)上,可以超過部分深度學習算法,同時,算法無需訓練,在線推理過程中也僅利用CPU 即可,所需計算資源較少。
2.1.2 PTB-TIR 數(shù)據(jù)集測試結(jié)果
PTB-TIR 數(shù)據(jù)集采用了精確度和成功率作為評價指標,測試結(jié)果曲線如圖5 所示。
圖5 PTB-TIR 數(shù)據(jù)集測試結(jié)果Fig.5 The evaluation results of PTB-TIR dataset
可以看到,本文所提算法在成功率指標中取得了優(yōu)異的表現(xiàn)。與相關(guān)濾波算法相比,本文算法與SRDCF 在精確度指標中取得了同樣的表現(xiàn),而成功率提高了1.8%。相較于LADCF 和ACSDCF,本文算法的精確度指標分別提高了2.3%和3.0%,成功率分別提高了2.3%和3.1%。由于PTB-TIR 數(shù)據(jù)集中目標的邊界框比例變化較小,且比例變換屬性下的序列數(shù)量少,因此變尺度濾波器對算法提高較小,數(shù)據(jù)集中更注重前景與背景的區(qū)分,因此所提的特征提取與信息選擇策略發(fā)揮了更為重要的作用。
相較于深度學習算法而言,MDNet 的精確度高于本文算法1.3%,MDNet 依據(jù)于所獲取的初始樣本,在線對網(wǎng)路中的頭部進行更新,速率較慢,但能夠取得更高的分類精度,而本文算法的成功率相較于MDNet提高了0.7%,說明MDNet 雖對前景與背景區(qū)分效果更好,但邊界框回歸效果較差。本文算法在僅利用手工特征的基礎(chǔ)上,可以獲取更為準確的邊界框。
為了驗證各個模塊的有效性,在LSOTB-TIR 數(shù)據(jù)集中進行實驗,以LADCF 和ACSDCF 作為基礎(chǔ)算法,本文所提算法和這兩種算法所采用的優(yōu)化過程相似,LADCF 僅考慮空間信息,對每個通道采用同樣的空間采樣模板,而ACSDCF 則認為通道應該獨立看到,僅對通道做了選擇,本文算法則是將在各個通道中對空間信息做不同的選擇方式。消融實驗結(jié)果如表4 所示。
表4 消融實驗結(jié)果Table 4 The results of ablation experiments
從表4 中可以看到,采用通道獨立的空間信息選擇的方法,可以達到0.707 的精確度和0.589 的成功率,相較于LADCF 和ACSDCF 分別高出了0.21、0.24 的精確度以及0.2、0.24 的成功率,同時每秒幀數(shù) (Frames Per Second,F(xiàn)PS)均高于兩者,證明了本文采用的信息選擇方式更為有效,所學習到的濾波器更為稀疏,加快整體優(yōu)化過程;而在加入變尺度估計后,精確度提高了0.06,成功率提高了0.02,F(xiàn)PS 僅下降了1.49,說明變尺度濾波器可以在原有尺度濾波的基礎(chǔ)上進一步優(yōu)化邊界框估計效果;加入基于灰度特征的梯度直方圖后,精確度提高至0.717,成功率提高至0.594,F(xiàn)PS 下降了3.49,說明加入的新特征可以豐富目標表達的能力,有效提高跟蹤精度,并且本文所提算法最終可達34.85 的FPS,達到實時處理效果。
為了驗證超參數(shù)對本文算法的影響,以LSOTB-TIR 數(shù)據(jù)集作為測試集,對定位融合權(quán)重β、尺度樣本數(shù)量M兩個超參數(shù)進行實驗分析。
2.3.1 定位融合權(quán)重
對定位融合權(quán)重進行消融實驗時,將尺度樣本數(shù)量固定為5,其余參數(shù)不變,結(jié)果如圖6 所示??梢钥吹疆敹ㄎ蝗诤蠙?quán)重β為0.001 時效果最好。當權(quán)重增大時,曲線下面積 (Area Under the Curve,AUC)降低,分析認為是所提取的基于灰度特征的梯度直方圖雖能補充目標信息,但由于其感受野較大,使得其所提取特征中包含了部分背景信息,致使響應圖主峰周圍存在較多的次峰,過多融合相應的響應圖,使得主峰不再突出,降低了目標定位的精度。而當權(quán)重進一步降低時,基于灰度特征的梯度直方圖所能提供的信息過少,無法達到較好的補充效果,因此與未加入基于灰度特征的梯度直方圖的表現(xiàn)無明顯區(qū)別。
圖6 定位融合權(quán)重消融實驗結(jié)果Fig.6 The ablation result of location fusion weight
2.3.2 尺度樣本數(shù)目
對尺度樣本數(shù)量進行消融實驗時,將定位融合權(quán)重固定為0.001,其余參數(shù)不變,結(jié)果如圖7 所示??梢钥吹?,當尺度樣本數(shù)量M選擇為5 時,效果最好。當尺度樣本數(shù)目設置過多時,尺度池中存在長寬比例變化較為嚴重的尺度,在目標定位位置存在一定偏差或僅定位到目標部分信息時,易對目標的部分區(qū)域進行邊界框估計,從而獲取錯誤的估計結(jié)果,因此導致AUC 下降。而當尺度樣本數(shù)目較少時,無法適應全部的變化情況,邊界框估計結(jié)果不準確。
圖7 尺度樣本數(shù)目消融實驗結(jié)果Fig.7 The ablation result of the number of scales
在LSOTB-TIR 數(shù)據(jù)集中選擇了4 個序列,將跟蹤結(jié)果進行了展示。圖8 中,藍色框為本文算法跟蹤結(jié)果,紅色框為ACSDCF 跟蹤結(jié)果,綠色框為LADCF 跟蹤結(jié)果,黑色框為ECO 跟蹤結(jié)果。
在bus_V_003 序列中,目標車輛處于運動狀態(tài),其視角在整個運動過程中發(fā)生了變化,從而導致目標車輛在圖像中的邊界框比例發(fā)生了變化,可以看到本文算法可以適應目標車輛的比例變化情況。在第2、3、4 列的圖像中,其余算法雖然依然可以跟蹤到目標車輛,但其邊界框估計結(jié)果保留了原始長寬比例,本文算法則可根據(jù)目標車輛的比例變化改變所估計的邊界框長寬比例,其跟蹤效果更好。
在person_D_023 序列中,目標周圍存在同類型目標,且在運動過程中兩者在圖像中出現(xiàn)了重疊。在第2 列的圖像中,相似物距離目標較近,ACSDCF 跟蹤產(chǎn)生漂移,跟蹤錯誤目標;在第3 列相似物與目標在圖像中重疊后分開,LADCF 跟蹤錯誤,而在后續(xù)中,LADCF 重新跟蹤目標,可以看到本文算法和ECO 可一直準確跟蹤目標;但在第4 列的結(jié)果中,本文算法的尺度估計更為準確。
在boat_D_001 序列中,目標快速移動,并在運動過程中背景存在干擾物。在第2 列和第3 列圖像中可以看到,目標快速移動,同時鏡頭發(fā)生位移,導致目標運動距離較大,ACSDCF 和LADCF 兩種算法均跟蹤失敗,而本文算法和ECO 算法跟蹤成功。
在airplane_H_001 序列中,目標在起飛階段與背景區(qū)分度較低,而在飛行過程中其尺度發(fā)生變化??梢钥吹皆诘? 列的圖像中,ACSDCF 未能準確區(qū)分背景與前景,導致跟蹤漂移,在后續(xù)序列中重新跟蹤到目標;在第3 列中,目標尺度發(fā)生快速變化,所有算法雖能成功跟蹤目標,但尺度估計效果一般,本文算法和ECO 算法估計效果更好,ACSDCF 由于尺度估計錯誤未能跟蹤目標主體;在第4 列中,可以看到ACSDCF由于尺度估計偏差嚴重,在后續(xù)序列中未能跟蹤目標,其余算法均可以跟蹤目標,但可以看到本文算法的尺度估計效果更好。
本文算法通過在灰度特征圖中額外提取梯度信息,增強目標表達能力,并且在定位濾波器訓練過程中,設計通道獨立的空間信息選擇,使得所設計出的定位濾波器更具判別能力,能夠在目標快速運動、背景存在同類別物體或相似目標時準確區(qū)分目標,如序列person_D_023 和boat_D_001;設計的變尺度濾波器能夠有效應對目標由于勢角變換等情況導致的邊界框比例變換的問題,能夠自適應調(diào)整比例變換,如序列bus_V_003 和airplane_H_001,證明了本文算法改進的有效性。
本文提出了自適應信息選擇的變尺度相關(guān)濾波紅外目標跟蹤算法,能夠在紅外跟蹤序列下準確跟蹤到目標。在提取紅外圖像特征的過程中,為了彌補目標信息少以及圖像模糊、分辨率較低等帶來目標特征不明顯的問題,在原有的灰度特征基礎(chǔ)上重新提取了梯度直方圖信息,豐富目標表現(xiàn)能力;在濾波器訓練中則是加入時間正則項與通道獨立的空間信息選擇,將每個通道信息獨立看待,同時對空間信息進行獨立選擇,有效保留判別信息,增強濾波器判別能力;在原有尺度濾波的基礎(chǔ)上,將目標的長寬信息分別看待,設計獨立的變尺度濾波器,采集多尺度樣本信息,從而適應目標在運動過程中比例變化的問題。
本文算法在LSOTB-TIR 數(shù)據(jù)集中跟蹤效果顯著,精確度和成功率分別達到了71.7%和59.4%,相較于同樣進行信息選取的濾波器算法LADCF 和ACSDCF,精確度分別提高了3.1%和3.4%,成功率分別提高了2.5%和2.9%,同時超過了部分深度學習跟蹤算法的表現(xiàn),僅在CPU 上運行,達到了34.85 幀/s 的運行速率,具備良好的實時性以及跟蹤精度。
本文算法依然存在一定的局限性。算法雖能夠應對尺度比例變化問題,但當結(jié)合尺度的定位置信度較高時,變尺度濾波器并不能完全發(fā)揮其作用,僅能保持原有目標比例;在背景干擾物較多的情況下,傳統(tǒng)手工特征難以準確區(qū)分目標,與基于紅外的深度網(wǎng)絡所提取的特征相比存在一定差異;算法中存在較多的超參,雖大部分參數(shù)在不同數(shù)據(jù)集下敏感度低,無需變化,但需要人為設定,依賴經(jīng)驗值和實驗數(shù)據(jù)。