基于孿生網(wǎng)絡(luò)的目標(biāo)跟蹤算法

苗宗成 ， 高世嚴(yán) ， 賀澤民 ， 歐 淵

（1.西京學(xué)院 西安市先進(jìn)光電子材料與能源轉(zhuǎn)換器件重點(diǎn)實(shí)驗(yàn)室， 陜西 西安 710123；2.西北工業(yè)大學(xué) 光電與智能研究院， 陜西 西安 710072；3.軍事科學(xué)院 系統(tǒng)工程研究院， 北京 100039）

1 引 言

目標(biāo)跟蹤是計(jì)算機(jī)視覺領(lǐng)域中被廣泛研究的問題之一，由于其會受到跟蹤背景多變、復(fù)雜環(huán)境以及物體形變等因素的干擾，目前仍然具有很大的挑戰(zhàn)性［1］。目標(biāo)跟蹤可分為特征提取及匹配判斷、確定幀間位置關(guān)系和模板更新3個(gè)部分［2］，其是指在僅給出目標(biāo)在初始幀中位置的情況下，能在后續(xù)過程中估計(jì)出目標(biāo)所在視頻序列中的任意位置［3］。目標(biāo)跟蹤常應(yīng)用于多種領(lǐng)域，如無人駕駛［4］、機(jī)器人［5］、人機(jī)交互［6］、視頻編輯［7］、視頻監(jiān)控［8］、增強(qiáng)現(xiàn)實(shí)［9］等。隨著最近相關(guān)濾波器和深度學(xué)習(xí)的加入，目標(biāo)跟蹤器的性能得到大幅提高，使得目標(biāo)跟蹤在實(shí)踐中的應(yīng)用越來越廣泛［10］。但目標(biāo)追蹤仍需克服姿勢變化、運(yùn)動(dòng)、變形、遮擋、尺度變化和背景雜波等諸多因素帶來的挑戰(zhàn)［11］。

近年來，由于卷積神經(jīng)網(wǎng)絡(luò)（CNN）在各種視覺問題中顯現(xiàn)出強(qiáng)大的性能，出現(xiàn)了大量基于CNN的目標(biāo)跟蹤器［12］。大多數(shù)目標(biāo)跟蹤提取目標(biāo)特征使用的方法都是在離線的條件下進(jìn)行的，導(dǎo)致事先不知道所要跟蹤的目標(biāo)對象，從而網(wǎng)絡(luò)就需要在線訓(xùn)練這些任務(wù)，這極大地影響了跟蹤的速度和精度［13］?；趯\生網(wǎng)絡(luò)的跟蹤算法由于在平衡精度和速度方面展現(xiàn)出的優(yōu)勢而受到了極大的關(guān)注，其在最近幾年的VOT比賽中也獲得了不俗的成績。本文梳理了近幾年的孿生網(wǎng)絡(luò)實(shí)例搜索算法（SINT），首次將孿生網(wǎng)絡(luò)［14］嵌入到目標(biāo)跟蹤算法中，開創(chuàng)性地提出了孿生網(wǎng)絡(luò)實(shí)例搜索跟蹤器來解決目標(biāo)跟蹤問題。其跟蹤目標(biāo)的方法是：首先將跟蹤模型分成兩個(gè)相同的分支，并分別輸入到初始框和候選框中。然后將第一幀中的初始目標(biāo)與新幀中的候選目標(biāo)相匹配，利用學(xué)習(xí)匹配函數(shù)返回相差最小的目標(biāo)。最后通過神經(jīng)網(wǎng)絡(luò)完成跟蹤［15］。但是由于SINT取樣邊界框過多和采用回歸等改善結(jié)果的方式使得該跟蹤器實(shí)時(shí)性很差［16］。為此，Bertinetto等人提出了一個(gè)完全卷積孿生神經(jīng)網(wǎng)絡(luò)目標(biāo)跟蹤算法（SiamFC），基本思想是利用相同的深度卷積神經(jīng)網(wǎng)絡(luò)從目標(biāo)圖像塊和搜索區(qū)域中提取特征，然后將兩個(gè)特征圖互相關(guān)聯(lián)之后生成響應(yīng)圖，其中響應(yīng)最強(qiáng)烈的位置就是所跟蹤的目標(biāo)對象在搜索區(qū)域中的位置。深度卷積經(jīng)過預(yù)先訓(xùn)練后在神經(jīng)網(wǎng)絡(luò)跟蹤過程中保持穩(wěn)定，使SiamFC實(shí)現(xiàn)了在目標(biāo)跟蹤時(shí)的實(shí)時(shí)跟蹤功能［16］。

雖然基于孿生網(wǎng)絡(luò)的跟蹤算法相比于傳統(tǒng)的目標(biāo)跟蹤算法在速度和精度上都有所提升，但是其受到遮擋、形變等干擾因素影響較大。為此，國內(nèi)外學(xué)者基于孿生網(wǎng)絡(luò)提出了許多方法進(jìn)行改進(jìn)以解決此類問題。本文從3個(gè)方面對基于孿生網(wǎng)絡(luò)的目標(biāo)跟蹤進(jìn)行總結(jié)，分別是基于全卷積孿生神經(jīng)網(wǎng)絡(luò)的目標(biāo)跟蹤、基于引入回歸孿生網(wǎng)絡(luò)的目標(biāo)跟蹤、基于在線更新孿生網(wǎng)絡(luò)的目標(biāo)跟蹤，最后討論了孿生網(wǎng)絡(luò)現(xiàn)有不足并且對未來發(fā)展趨勢進(jìn)行了展望。

2 基于全卷積孿生神經(jīng)網(wǎng)絡(luò)的目標(biāo)跟蹤

SiamFC只將開頭標(biāo)記的第一幀用做模板，由此產(chǎn)生的目標(biāo)變形、目標(biāo)遮擋和光線變化等諸多問題會給跟蹤帶來困難［17］，對性能也產(chǎn)生了極大影響，如圖1所示。為此，將相關(guān)濾波器與孿生神經(jīng)網(wǎng)絡(luò)結(jié)合的不對稱跟蹤算法（CFNet）被研究出來，其在完全發(fā)揮相關(guān)濾波器自身優(yōu)點(diǎn)的同時(shí)將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于目標(biāo)跟蹤，使其在淺層網(wǎng)絡(luò)的運(yùn)行速度更快［18］。為了獲得更強(qiáng)大的目標(biāo)特征，SiamFC融合了深度網(wǎng)絡(luò)，但其沒有仔細(xì)考慮輸入樣本之間的關(guān)系，對此，通過將三重丟失（Triplet loss）方法加入到孿生網(wǎng)絡(luò)框架中來代替訓(xùn)練中的兩兩丟失，從而提取更加具有表現(xiàn)力的深度特征。該方法使性能提高而且不會降低跟蹤器速度［19］。

圖1 視覺目標(biāo)跟蹤在復(fù)雜外觀變化下的效果呈現(xiàn)。（a）環(huán)境光照變化；（b）相機(jī)快速運(yùn)動(dòng)；（c）完全遮擋；（d）噪聲干擾；（e）非剛性形狀變形；（f）平面外對象旋轉(zhuǎn)和姿勢。這些因素引起的對象外觀變化可能會導(dǎo)致跟蹤性能下降甚至失?。?］。Fig.1 Effects of visual object tracking under complex appearance changes.（a） Ambient lighting changes；（b） Fast camera motion； （c） Complete occlusion； （d） Noise interference； （e） Non-rigid shape deformation；（f） Plane outer object rotation and pose.Changes in the appearance of objects caused by these factors can cause tracking performance to degrade or even fail［5］.

SiamFC能夠充分利用離線訓(xùn)練數(shù)據(jù)，使其自身具有很高的判別力，圖2為SiamFC網(wǎng)絡(luò)結(jié)構(gòu)。當(dāng)追蹤對象受到遮擋或者產(chǎn)生形變的情況下，SiamFC泛化能力會下降從而影響性能。為此，由語義分支和外觀分支組成的雙重孿生網(wǎng)絡(luò)跟蹤器（SA-Siam）通過設(shè)計(jì)兩個(gè)不同分支在不同的網(wǎng)絡(luò)層次使用特征，二者經(jīng)過聯(lián)合訓(xùn)練從而避免同質(zhì)化。受益于兩者的異質(zhì)性，該跟蹤器采取的雙重設(shè)計(jì)為跟蹤性能帶來了顯著提升［17］。具有多分支、可以在線選擇的孿生網(wǎng)絡(luò)跟蹤器（MBST）可以根據(jù)其自身的辨別能力動(dòng)態(tài)選擇分支。當(dāng)追蹤對象發(fā)生形變等情況時(shí)，選擇效果最好和適合度最高的分支，通過對多個(gè)孿生網(wǎng)絡(luò)集成以使目標(biāo)特征表示多樣化［20］。SA-Siam和MBST在SiamFC的基礎(chǔ)上將泛化能力進(jìn)一步提升，獲得了突出的性能。同時(shí)，SiamBM跟蹤器能夠解決SiamFC不能正確處理大物體的旋轉(zhuǎn)與背景包含目標(biāo)時(shí)跟蹤乏力等問題，在SA-Siam的基礎(chǔ)上做了改進(jìn)，加入不同機(jī)制實(shí)現(xiàn)對追蹤對象的位置、尺度與角度進(jìn)行預(yù)測，跟蹤性能提升明顯［21］。

圖2 SiamFC的網(wǎng)絡(luò)結(jié)構(gòu)［16］Fig.2 Network structure of SiamFC［16］

目標(biāo)跟蹤可以利用離線訓(xùn)練平衡目標(biāo)跟蹤的精度和速度，但是離線訓(xùn)練模型和跟蹤時(shí)的特定目標(biāo)有時(shí)候無法充分適應(yīng)［22］。在SiamFC的基礎(chǔ)上提出的新深度架構(gòu)殘差注意力孿生網(wǎng)絡(luò)（RASNet）能夠使離線訓(xùn)練模型與在線目標(biāo)跟蹤相適應(yīng)，RASNet從回歸的角度重新制定了孿生網(wǎng)絡(luò)跟蹤，而且探索了一般注意力機(jī)制、殘差注意力機(jī)制和通道注意力機(jī)制3種注意力機(jī)制［22］。自適應(yīng)的深度特征級聯(lián)跟蹤方法（EAST）采用類似方法解決了離線訓(xùn)練的深度模型不能適應(yīng)在線跟蹤目標(biāo)的問題［23］。現(xiàn)有基于卷積神經(jīng)網(wǎng)絡(luò)的方法大多從全局視角描述目標(biāo)外觀，忽略了所跟蹤物體的局部結(jié)構(gòu)對于跟蹤魯棒性的影響。為此，DensSiam跟蹤器加入了注意力模塊，其在目標(biāo)對象出現(xiàn)遮擋和外觀變化時(shí)通過減少共享網(wǎng)絡(luò)中的參數(shù)數(shù)量解決問題使目標(biāo)跟蹤的精度和魯棒性得到提高［24］?；诰植拷Y(jié)構(gòu)的孿生網(wǎng)絡(luò)（StructSiam）同時(shí)執(zhí)行判別模式檢測、局部結(jié)構(gòu)學(xué)習(xí)和集成［25］，克服了在跟蹤對象時(shí)出現(xiàn)的外觀變化、旋轉(zhuǎn)、部分遮擋等挑戰(zhàn)。

基于全卷積孿生神經(jīng)網(wǎng)絡(luò)的目標(biāo)跟蹤算法相比于SiamFC在性能上均有很大的改進(jìn)。表1是各算法在數(shù)據(jù)集VOT2017上的具體表現(xiàn)。VOT2017數(shù)據(jù)集是公正的評價(jià)工具。從表1可見，在基于SiamFC所做的孿生網(wǎng)絡(luò)算改進(jìn)中，除了CFNet以精度的損失換取了速度的提升，使預(yù)期平均重疊率（EVO）有所下降，其他的改進(jìn)算法在EVO方面的表現(xiàn)均優(yōu)于SiamFC。

表1 基于全卷積孿生網(wǎng)絡(luò)算法對比Tab.1 Comparison based on full-convolutional Siamese network algorithms

3 基于引入回歸孿生神經(jīng)網(wǎng)絡(luò)的目標(biāo)跟蹤

SiamFC已經(jīng)使用了多種尺度與目標(biāo)變化相適應(yīng)的方法進(jìn)行目標(biāo)跟蹤。最近有學(xué)者開始將目標(biāo)檢測領(lǐng)域尺度變化的解決方法與孿生網(wǎng)絡(luò)相結(jié)合，從而彌補(bǔ)SiamFC在性能方面的欠缺［26］，其中GOTURN方法的特征提取器采用了孿生網(wǎng)絡(luò)，使用全連接層作為融合張量，通過使用最后一幀的預(yù)測邊界框作為建議來提高性能［27］。最具代表性的是將孿生網(wǎng)絡(luò)與區(qū)域建議網(wǎng)絡(luò)（RPN）相結(jié)合來預(yù)測目標(biāo)位置的跟蹤算法SiamRPN［28］，其網(wǎng)絡(luò)結(jié)構(gòu)見圖3。整個(gè)SiamRPN結(jié)構(gòu)由孿生網(wǎng)絡(luò)和具有分類分支和回歸分支的RPN組成。在跟蹤階段，模型被進(jìn)行端到端的訓(xùn)練并且包含該對象的邊界框信息被直接回歸［29］。由于Siam-RPN在模型識別方面仍有相對較低的泛化能力，難以處理與目標(biāo)對象外觀相似的干擾物，串并聯(lián)匹配框架（SPM-Tracker）通過將專注于增強(qiáng)魯棒性的粗匹配階段和專注于提高辨別能力的精細(xì)匹配階段進(jìn)行串并聯(lián)結(jié)構(gòu)融合來提升性能［30］。而后DaSiamRPN方法進(jìn)一步引入了分心器感知模塊，利用更多的負(fù)樣本來改進(jìn)Siam-RPN跟蹤器，增強(qiáng)了模型辨別力，獲得了魯棒性更高的跟蹤結(jié)果［31］。為了應(yīng)對SiamRPN在物體大尺度形變和干擾物會引起性能下降的問題，在SiamRPN的基礎(chǔ)上引入的一種新的孿生級聯(lián)網(wǎng)絡(luò)跟蹤架構(gòu)（C-RPN）［32］采用多個(gè)回歸步驟使定位更加精準(zhǔn)。Ocean則通過以強(qiáng)大的ResNet-50代替AlexNet作為主干增強(qiáng)了特征表示能力，有效地改善了物體形變和遮擋因素造成的性能下降問題，并且獲得了更佳的跟蹤精度［33-35］。

圖3 SiamRPN的網(wǎng)絡(luò)結(jié)構(gòu)［29］Fig.3 Network structure of SiamRPN［29］

雖然SiamRPN通過將孿生網(wǎng)絡(luò)與區(qū)域建議網(wǎng)絡(luò)（RPN）相結(jié)合來執(zhí)行準(zhǔn)確有效的目標(biāo)狀態(tài)估計(jì)，然而預(yù)定義的錨設(shè)置不僅引入了模糊的相似性評分，還嚴(yán)重降低了魯棒性［33］。基于全卷積連體跟蹤器的SiamFC++方法利用基于錨或無錨的機(jī)制進(jìn)行邊界框估計(jì)，在定位精度方面有極大的提升［36］。由于在區(qū)域提議引入了錨點(diǎn)，超參數(shù)調(diào)整的專業(yè)性對于能否跟蹤成功就變得至關(guān)重要。孿生分類和回歸框架SiamCAR通過端到端方式訓(xùn)練深度 Siamese 網(wǎng)絡(luò)，使用完全卷積框架以逐像素的方式解決跟蹤問題，避免了復(fù)雜的錨定超參數(shù)調(diào)整，從而減少了人為干預(yù)，提高了泛化能力［37］。通過直接在全卷積網(wǎng)絡(luò) FCN［38］中分類目標(biāo)并對邊界框進(jìn)行回歸的SiamBAN避免了相關(guān)超參數(shù)的調(diào)整，其因?yàn)闊o先驗(yàn)框的設(shè)計(jì)避免了與候選框相關(guān)的超參數(shù)交互，從而使SiamBAN更加靈活和通用。無先驗(yàn)框設(shè)計(jì)將復(fù)雜的超參數(shù)問題轉(zhuǎn)化為分類回歸問題，從而提高了性能［39］。

為了揭示孿生網(wǎng)絡(luò)可以利用深層神經(jīng)網(wǎng)絡(luò)提取目標(biāo)對象的深度特征，SiamDW將深層神經(jīng)網(wǎng)絡(luò)引入孿生框架［40］，而后利用端到端訓(xùn)練深層孿生網(wǎng)絡(luò)的目標(biāo)跟蹤算法SiamRPN++提出了互相關(guān)操作，通過逐層特征加重結(jié)構(gòu)和設(shè)計(jì)深度可分離結(jié)構(gòu)減少了目標(biāo)模板分支中存在的參數(shù)數(shù)量，獲得了顯著的性能提升，網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示［41］。SiamMask能實(shí)時(shí)執(zhí)行視覺對象跟蹤和半監(jiān)督視頻對象分割，并且將實(shí)例分割整合到跟蹤中，展現(xiàn)出了比其他先進(jìn)跟蹤器準(zhǔn)確性更高的特點(diǎn)［42］。SiamRPN++、SiamMask和 Siam-DW以不同的方式消除了填充等影響因素，并將深層神經(jīng)網(wǎng)絡(luò)如ResNeXt［43］、ResNet［34］和MobileNet［44］等引入到基于孿生網(wǎng)絡(luò)的視覺跟蹤器中，進(jìn)一步提高了目標(biāo)跟蹤精度，表現(xiàn)出了突出的跟蹤性能。

圖4 SiamRPN++的網(wǎng)絡(luò)結(jié)構(gòu)［41］Fig.4 Network structure of SiamRPN++［41］

表2是基于引入回歸孿生神經(jīng)網(wǎng)絡(luò)的目標(biāo)跟蹤算法在VOT2017數(shù)據(jù)集上的表現(xiàn)對比。SiamRPN的速度與精度比之前的算法有了很大的提升，速度為160 fps。DaSiamRPN速度為160 fps，與SiamRPN保持一致，但是EAO明顯高于SiamRPN。SPM-Tracker在GPU上的速度為120 fps。SiamCAR在追蹤精度和速度上都有明顯提高，速度達(dá)到了170 fps。SiamRPN作為首個(gè)將區(qū)域建議網(wǎng)絡(luò)引入的孿生網(wǎng)絡(luò)跟蹤算法，雖然展現(xiàn)出了不錯(cuò)的跟蹤性能，但在其之后提出的基于回歸的跟蹤算法展現(xiàn)出了更加強(qiáng)大的性能，具體表現(xiàn)在準(zhǔn)確性、魯棒性和預(yù)期平均重疊率均有提升。

表2 基于引入回歸孿生網(wǎng)絡(luò)的算法對比Tab.2 Comparison of algorithms based on the introduction of regression Siamese networks

4 基于在線更新孿生神經(jīng)網(wǎng)絡(luò)的目標(biāo)跟蹤

許多最新方法都是通過大量離線學(xué)習(xí)整合先前知識的形式進(jìn)行目標(biāo)跟蹤。SiamRPN及在其基礎(chǔ)上改進(jìn)的算法經(jīng)過廣泛的離線訓(xùn)練已能夠進(jìn)行邊界框回歸，但是在目標(biāo)分類問題上目標(biāo)跟蹤還存在一些挑戰(zhàn)。為此，基于在多域?qū)W習(xí)框架中訓(xùn)練CNN的新型跟蹤算法（MDNet）將目標(biāo)跟蹤看作是一種分類問題，通過學(xué)習(xí)一個(gè)離線深度特征提取器，然后添加一些可被學(xué)習(xí)的全連接層對分類器在線更新［45］，在新序列的背景下在線更新預(yù)先訓(xùn)練好的CNN，目的是使特定領(lǐng)域的信息可以實(shí)現(xiàn)自適應(yīng)學(xué)習(xí)［46］。在此之后，新型實(shí)時(shí)目標(biāo)跟蹤算法（RT-MDNet）被提出，通過改進(jìn)的ROIALLIGN技術(shù)加速特征提取過程，從而解決目標(biāo)形變、背景遮擋等因素帶來的性能下降問題［47］。

大多數(shù)基于孿生網(wǎng)絡(luò)的跟蹤算法沒有進(jìn)行在線學(xué)習(xí)，所以一部分學(xué)者開始使用模板更新技術(shù)來彌補(bǔ)類似干擾因素帶來的影響［47］。DSiam是具有快速轉(zhuǎn)換學(xué)習(xí)模型的動(dòng)態(tài)孿生網(wǎng)絡(luò)，實(shí)現(xiàn)了有效的模板更新和雜亂背景抑制［48］。CFNet通過在模板分支結(jié)構(gòu)中嵌入可以調(diào)節(jié)的相關(guān)過濾層架構(gòu)對過濾器和模板進(jìn)行在線更新［18］。SiamAttn通過新的孿生注意機(jī)制計(jì)算可變形注意力，提供一種隱式方式來自適應(yīng)地更新目標(biāo)模板，網(wǎng)絡(luò)結(jié)構(gòu)如圖5所示［48］。通過將卷積神經(jīng)網(wǎng)絡(luò)集成到現(xiàn)有的孿生跟蹤器中的Update-Net顯著提高了跟蹤器在標(biāo)準(zhǔn)線性更新方面的性能［49］。

圖5 SiamAttn的網(wǎng)絡(luò)結(jié)構(gòu)［48］Fig.5 Network structure of SiamAttn［48］

雖然模板更新技術(shù)解決了部分在線學(xué)習(xí)問題，但它還未擁有強(qiáng)大的在線學(xué)習(xí)模型的能力。為此，有學(xué)者開始利用廣泛的離線訓(xùn)練對目標(biāo)進(jìn)行在線跟蹤。ATOM通過在線學(xué)習(xí)判別分類器的方式來準(zhǔn)確區(qū)分跟蹤對象與其所處背景，有效地利用背景信息增強(qiáng)了魯棒性，網(wǎng)絡(luò)結(jié)構(gòu)見圖6［50］。跟蹤模型ROAM由可調(diào)整大小的響應(yīng)生成器和邊界框回歸器組成，基于元學(xué)習(xí)設(shè)計(jì)了遞歸神經(jīng)優(yōu)化器以訓(xùn)練跟蹤和更新模型［51］。此外，DIMP［52］和 PrDIMP［53］將在線更新與連體結(jié)構(gòu)相結(jié)合，通過對目標(biāo)特征和背景外觀信息的充分利用來進(jìn)行目標(biāo)模型預(yù)測，解決了之前 泛化能力和魯棒性較差的限制，展現(xiàn)出強(qiáng)大的性能。

圖6 ATOM的網(wǎng)絡(luò)結(jié)構(gòu)［50］Fig.6 Network structure of ATOM ［50］

基于在線更新孿生神經(jīng)網(wǎng)絡(luò)的目標(biāo)跟蹤算法在一定程度上改變了孿生網(wǎng)絡(luò)目標(biāo)跟蹤的格局，使其可以在進(jìn)行目標(biāo)跟蹤的同時(shí)進(jìn)行更新。表3為目標(biāo)在線更新跟蹤算法在VOT2017數(shù)據(jù)集測試下的性能對比。

表3 基于在線更新孿生網(wǎng)絡(luò)算法對比Tab.3 Comparison of Siamese network algorithms based on online updates

5 實(shí)驗(yàn)結(jié)果對比與分析

將基于全卷積孿生神經(jīng)網(wǎng)絡(luò)的目標(biāo)跟蹤、基于引入回歸孿生網(wǎng)絡(luò)的目標(biāo)跟蹤和基于在線更新孿生網(wǎng)絡(luò)的目標(biāo)跟蹤3種方法中排名靠前的幾種算法與其他表現(xiàn)較好的目標(biāo)跟蹤算法進(jìn)行測試，算法包括SiamFC、StructSiam、DSiam、DaSiamRPN、MDNet、UpdatNet、VITAL、SINT、STRCF和ECO。測試工具使用的是最近反響很好的LaSOT數(shù)據(jù)集，其測試子集由280個(gè)序列構(gòu)成，包含69萬幀。LaSOT數(shù)據(jù)集使用成功圖和歸一化精度圖來評估跟蹤器。

對11種不同的基于孿生網(wǎng)絡(luò)目標(biāo)跟蹤算法的性能進(jìn)行對比分析，實(shí)驗(yàn)和用作分析的數(shù)據(jù)均來自官網(wǎng)或者文獻(xiàn)提供的結(jié)果。圖7給出了各個(gè)目標(biāo)跟蹤算法的性能評估。從圖7可以看出，通過UpdateNet增強(qiáng)的DaSiamRPN 的更新能力在所有指標(biāo)上的性能均有顯著提升，引入回歸方法中的DaSiamRPN對比全卷積神經(jīng)網(wǎng)絡(luò)方法中的Structsiam以0.121的差距領(lǐng)先，雖然二者也表現(xiàn)出不俗的性能，但是在線更新方法在性能提升上的表現(xiàn)更加優(yōu)秀，進(jìn)一步證明了基于孿生網(wǎng)絡(luò)的在線更新方法在目標(biāo)跟蹤方面的優(yōu)勢。未來孿生網(wǎng)絡(luò)目標(biāo)跟蹤的趨勢也勢必是將其與在線更新機(jī)制相結(jié)合。表4分別對3種基于孿生網(wǎng)絡(luò)的目標(biāo)跟蹤算法中的代表算法進(jìn)行了總結(jié)歸納?？梢钥闯?，基于孿生網(wǎng)絡(luò)的目標(biāo)跟蹤算法在與時(shí)俱進(jìn)，性能也隨之提高。

表4 3種孿生網(wǎng)絡(luò)方法代表算法對比Tab.4 Three Siamese network methods represent algorithmic comparisons

圖7 3種方法中代表算法在LaSOT數(shù)據(jù)集上的比較。較大的值表示更好的性能。Fig.7 Comparison of the represent algorithms of the three methods on the LaSOT dataset.The larger values indicate better performance.

6 結(jié)論與展望

目標(biāo)跟蹤領(lǐng)域隨著深度學(xué)習(xí)的加入使跟蹤目標(biāo)時(shí)的速度和精度有了大幅提高，卷積神經(jīng)網(wǎng)絡(luò)在其中的應(yīng)用也使目標(biāo)跟蹤的性能有了顯著提升。基于孿生網(wǎng)絡(luò)的目標(biāo)跟蹤由于其對速度與精度出色的平衡性而被越來越多的學(xué)者關(guān)注并應(yīng)用。本文介紹了基于孿生網(wǎng)絡(luò)的目標(biāo)跟蹤在國內(nèi)外的研究進(jìn)展，根據(jù)孿生網(wǎng)絡(luò)在目標(biāo)跟蹤中應(yīng)用的特點(diǎn)，將其分為3個(gè)方面，即基于全卷積孿生神經(jīng)網(wǎng)絡(luò)的單目標(biāo)跟蹤、基于引入回歸孿生網(wǎng)絡(luò)的單目標(biāo)跟蹤、基于在線更新孿生網(wǎng)絡(luò)的單目標(biāo)跟蹤?；趯\生網(wǎng)絡(luò)的目標(biāo)跟蹤平衡了速度與精度，展現(xiàn)了優(yōu)異的性能。

在總結(jié)目標(biāo)跟蹤文獻(xiàn)后提出3種未來研究方向：（1）孿生網(wǎng)絡(luò)只是預(yù)測了目標(biāo)特征模板，而在實(shí)際目標(biāo)跟蹤過程中忽略了背景外觀信息。因?yàn)閷\生網(wǎng)絡(luò)在預(yù)測模型時(shí)對目標(biāo)背景識別的能力有限，所以在目標(biāo)模型預(yù)測時(shí)充分利用目標(biāo)和背景外觀信息是未來需側(cè)重的研究方向之一。（2）孿生網(wǎng)絡(luò)對于物體和成像在時(shí)間變化方面的完成效果依舊不太理想，如何有效地進(jìn)行有目標(biāo)外觀變化的在線學(xué)習(xí)和背景抑制是一個(gè)重要的待解決問題。（3）孿生網(wǎng)絡(luò)雖然最近發(fā)展十分迅速，但是卷積計(jì)算量也隨之大量增加，導(dǎo)致其在跟蹤方面的實(shí)時(shí)性和速度受到了一些影響。如何在保證實(shí)時(shí)性和速度的前提下減少計(jì)算量也是未來需要研究的方向之一。