基于無監(jiān)督學(xué)習(xí)的無人機(jī)目標(biāo)跟蹤*

方夢(mèng)華，姜 添

(1.中國礦業(yè)大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，江蘇 徐州 221116;2.礦山數(shù)字化教育部工程研究中心，江蘇 徐州 221116)

1 引言

在計(jì)算機(jī)視覺領(lǐng)域，目標(biāo)跟蹤是一項(xiàng)熱門的研究技術(shù)[1]，在眾多領(lǐng)域中都發(fā)揮著十分重要的作用。視覺目標(biāo)跟蹤的主要任務(wù)是從給定視頻序列的第1幀圖像中確定后續(xù)要跟蹤的目標(biāo)，采用特定的跟蹤算法，對(duì)后續(xù)視頻序列中跟蹤目標(biāo)的位置信息進(jìn)行準(zhǔn)確的預(yù)測(cè)。目標(biāo)跟蹤技術(shù)在日常生活中已經(jīng)得到了普及和應(yīng)用，例如視頻監(jiān)控等。隨著計(jì)算機(jī)視覺與人工智能等技術(shù)的不斷發(fā)展，復(fù)雜場(chǎng)景下利用無人機(jī)進(jìn)行目標(biāo)跟蹤逐漸成為研究熱點(diǎn)[2]。要實(shí)現(xiàn)無人機(jī)對(duì)目標(biāo)的持續(xù)跟蹤，航拍焦點(diǎn)就必須始終對(duì)準(zhǔn)要跟蹤的目標(biāo)，因此，選擇一個(gè)合適的目標(biāo)跟蹤技術(shù)在視覺處理系統(tǒng)中是非常關(guān)鍵的。進(jìn)行目標(biāo)跟蹤任務(wù)時(shí)，經(jīng)常會(huì)遇到跟蹤的目標(biāo)尺度發(fā)生變化、背景場(chǎng)景對(duì)目標(biāo)的跟蹤造成干擾、跟蹤的目標(biāo)發(fā)生一定的形變等諸多挑戰(zhàn)。利用無人機(jī)進(jìn)行目標(biāo)跟蹤時(shí)，跟蹤的目標(biāo)與無人機(jī)均在運(yùn)動(dòng)變換中，目標(biāo)跟蹤過程中容易出現(xiàn)目標(biāo)被其他事物嚴(yán)重遮擋或者目標(biāo)在畫面中占比過小等問題，跟蹤難度會(huì)加大，從而影響目標(biāo)跟蹤效果。為了解決上述問題，本文針對(duì)無人機(jī)場(chǎng)景下的目標(biāo)跟蹤進(jìn)行研究。

隨著計(jì)算機(jī)應(yīng)用技術(shù)的發(fā)展，越來越多的學(xué)者開始利用深度學(xué)習(xí)方法進(jìn)行目標(biāo)跟蹤[3]。Tao等人[4]提出了孿生實(shí)例搜索的目標(biāo)跟蹤SINT(Siamese Instance Search for Tracking)模型，首次將目標(biāo)跟蹤任務(wù)轉(zhuǎn)換為利用孿生網(wǎng)絡(luò)來進(jìn)行匹配的問題。文獻(xiàn)[5]提出了全卷積孿生網(wǎng)絡(luò)SiamFc(Siamese Fully Convolutional)模型。為了實(shí)現(xiàn)在更大的候選圖像中對(duì)跟蹤目標(biāo)的精準(zhǔn)定位，該模型采用全卷積神經(jīng)網(wǎng)絡(luò)作為其主干網(wǎng)絡(luò)，取得了不錯(cuò)的跟蹤效果。此后有不少學(xué)者基于孿生網(wǎng)絡(luò)設(shè)計(jì)模型對(duì)目標(biāo)進(jìn)行跟蹤。雖然跟蹤速度有一定優(yōu)勢(shì)，但對(duì)于跟蹤的精確度，效果不是十分樂觀。隨后還涌現(xiàn)了一些跟蹤性能優(yōu)越的模型。針對(duì)無人機(jī)目標(biāo)跟蹤過程中出現(xiàn)的目標(biāo)被遮擋、目標(biāo)尺度發(fā)生變化的問題，文獻(xiàn)[6]提出了一種基于殘差網(wǎng)絡(luò)的無人機(jī)自適應(yīng)目標(biāo)跟蹤模型。文獻(xiàn)[7]基于孿生網(wǎng)絡(luò)，提出了一種自適應(yīng)無人機(jī)目標(biāo)跟蹤網(wǎng)絡(luò)模型，跟蹤性能較好。為了解決目標(biāo)遮擋以及相似背景目標(biāo)對(duì)于Camshift算法的影響,Qin等人[8]對(duì)Camshift算法進(jìn)行改進(jìn)，結(jié)合卡爾曼濾波和多特征融合，設(shè)計(jì)了一種新的目標(biāo)跟蹤模型，很好地解決了之前的跟蹤算法在遇到目標(biāo)遮擋等干擾時(shí)，魯棒性較差的問題。上述模型在普通的目標(biāo)跟蹤場(chǎng)景下，有較好的跟蹤效果，但是針對(duì)無人機(jī)的復(fù)雜場(chǎng)景，跟蹤效果并不十分理想。此外，很多目標(biāo)跟蹤模型比較依賴訓(xùn)練數(shù)據(jù)。當(dāng)前出現(xiàn)的一些性能優(yōu)越的深度目標(biāo)跟蹤模型，通常是有監(jiān)督的學(xué)習(xí)，提取特征時(shí)采用的是預(yù)先訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)。現(xiàn)實(shí)情況是，當(dāng)前的一些無人機(jī)航拍數(shù)據(jù)集并不完善，數(shù)據(jù)集中的部分?jǐn)?shù)據(jù)缺乏統(tǒng)一標(biāo)注?；谏鲜銮闆r，參考基于無監(jiān)督學(xué)習(xí)的視覺目標(biāo)跟蹤模型[9]，本文將其在無人機(jī)場(chǎng)景下進(jìn)行應(yīng)用，設(shè)計(jì)了一種主干網(wǎng)絡(luò)為輕量級(jí)網(wǎng)絡(luò)的無監(jiān)督網(wǎng)絡(luò)模型，在訓(xùn)練網(wǎng)絡(luò)模型之前不需要預(yù)先對(duì)視頻數(shù)據(jù)進(jìn)行標(biāo)注,采用前向目標(biāo)跟蹤和多幀反向驗(yàn)證，完成無人機(jī)目標(biāo)跟蹤任務(wù)。

2 相關(guān)網(wǎng)絡(luò)結(jié)構(gòu)

2.1 目標(biāo)跟蹤網(wǎng)絡(luò)模型SiamFc

SiamFc[5]是一種基于孿生網(wǎng)絡(luò)結(jié)構(gòu)、以全卷積神經(jīng)網(wǎng)絡(luò)作為主干網(wǎng)絡(luò)的目標(biāo)跟蹤模型，如圖1所示。該模型對(duì)孿生網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行離線訓(xùn)練，實(shí)現(xiàn)了在一個(gè)較大的搜索區(qū)域搜索樣本圖像。孿生網(wǎng)絡(luò)有2個(gè)分支卷積網(wǎng)絡(luò)，在網(wǎng)絡(luò)的訓(xùn)練階段對(duì)其進(jìn)行相似性學(xué)習(xí)。為了實(shí)現(xiàn)模型的實(shí)時(shí)跟蹤，在目標(biāo)跟蹤階段，對(duì)這種相似性關(guān)系進(jìn)行在線調(diào)試，完成跟蹤任務(wù)。

Figure 1 SiamFc network structure

采用全卷積神經(jīng)網(wǎng)絡(luò)作為跟蹤模型的主干網(wǎng)絡(luò)，樣本圖像的大小與樣本搜索的圖像區(qū)域大小可以不統(tǒng)一，基于這一優(yōu)勢(shì)，網(wǎng)絡(luò)可以接收較大的搜索輸入圖像，從而更好地進(jìn)行目標(biāo)跟蹤。SiamFc的相似度函數(shù)的計(jì)算如式(1)所示：

f(z,x)=φ(x)*φ(x)+b

(1)

其中，z為圖像首幀的目標(biāo)框，也就是輸入的范本。x為輸入的搜索圖像。φ(z)和φ(x)表示對(duì)z和x進(jìn)行特征提取。*是卷積運(yùn)算，通過卷積運(yùn)算提取z和x中最為相近的部分。b表示各個(gè)位置在得分圖中的取值。在目標(biāo)跟蹤階段，以上一幀目標(biāo)位置為中心，計(jì)算等待搜索圖像的響應(yīng)得分圖。當(dāng)前目標(biāo)的位置由步長乘以得分最大的位置得到。

SiamFc網(wǎng)絡(luò)模型通過判別方法訓(xùn)練正、負(fù)樣本，該模型的邏輯損失表示如式(2)所示：

I(y,v)=log(1+exp(-yv))

(2)

其中，v表示樣本搜索圖像中單個(gè)位置的得分值，y是取值為{-1,1}的標(biāo)簽，判定正負(fù)樣本的方法如式(3)所示：

(3)

其中，u代表在得分圖中的某一個(gè)位置，當(dāng)?shù)梅謭D中u在以c為中心、R為半徑的區(qū)域內(nèi)時(shí)，將其視為正樣本，不在該區(qū)域內(nèi)則視為負(fù)樣本。k是得分圖經(jīng)過網(wǎng)絡(luò)后縮小的倍數(shù)。

正樣本的概率值可表示為式(4)所示：

(4)

負(fù)樣本的概率值可表示為式(5)所示：

(5)

網(wǎng)絡(luò)訓(xùn)練階段，對(duì)候選位置計(jì)算平均損失函數(shù)，如式(6)所示：

(6)

其中，D表示最后的得分圖|D|表示得分圖的大小，v(u)代表樣本搜索圖像在位置u處的得分值。

SiamFc訓(xùn)練網(wǎng)絡(luò)的卷積參數(shù)θ采用隨機(jī)梯度下降方法得到，如式(7)所示:

(7)

其中，(z,x)表示從帶有標(biāo)注的數(shù)據(jù)集中選取的訓(xùn)練樣本,x表示搜索區(qū)域，z表示目標(biāo)區(qū)域中心。在對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練的過程中，為了保持跟蹤的目標(biāo)寬高比不變，將超出圖像的部分采用像素平均值填充。整個(gè)訓(xùn)練過程不考慮目標(biāo)類別，但是需要保證輸入網(wǎng)絡(luò)模型的圖像尺寸是統(tǒng)一的。

2.2 無監(jiān)督網(wǎng)絡(luò)模型UDT

無監(jiān)督目標(biāo)跟蹤UDT(Unsupervised Deep Tracking)[10]是一種無監(jiān)督的目標(biāo)跟蹤模型。該網(wǎng)絡(luò)模型的無監(jiān)督流程如圖2所示。模型中的卷積神經(jīng)網(wǎng)絡(luò)采用無監(jiān)督學(xué)習(xí)方式，對(duì)一定數(shù)量未標(biāo)注的視頻數(shù)據(jù)進(jìn)行訓(xùn)練。UDT是以判別相關(guān)濾波器網(wǎng)絡(luò)DCF Net(Discrimitive Correlation Filters Network)為主干網(wǎng)絡(luò)結(jié)構(gòu)的跟蹤模型。DCF Net結(jié)合了孿生網(wǎng)絡(luò)和判別相關(guān)濾波，融合了二者進(jìn)行目標(biāo)跟蹤任務(wù)的優(yōu)勢(shì)，構(gòu)建了一種輕量級(jí)的端到端的目標(biāo)跟蹤網(wǎng)絡(luò)模型。UDT網(wǎng)絡(luò)模型在訓(xùn)練階段包括2個(gè)過程，即前向跟蹤和反向驗(yàn)證。前向跟蹤是指由第i幀對(duì)第i+1幀的目標(biāo)位置區(qū)域進(jìn)行預(yù)測(cè)。反向驗(yàn)證是指由第i+1幀對(duì)第i幀的目標(biāo)區(qū)域的結(jié)果進(jìn)行反向預(yù)測(cè)。利用這2個(gè)過程計(jì)算損失函數(shù)，從而優(yōu)化跟蹤性能。

Figure 2 Process of unsupervised object tracking

3 無監(jiān)督無人機(jī)目標(biāo)跟蹤模型

基于網(wǎng)絡(luò)模型SiamFc和UDT無監(jiān)督的目標(biāo)跟蹤思想，本文對(duì)前向跟蹤、后向驗(yàn)證的跟蹤方法進(jìn)行改進(jìn)，設(shè)計(jì)了一種新的基于無監(jiān)督學(xué)習(xí)的無人機(jī)目標(biāo)跟蹤網(wǎng)絡(luò)模型。原有的UDT無監(jiān)督網(wǎng)絡(luò)的主干網(wǎng)絡(luò)是DCF Net，雖然DCF Net是一種端到端的目標(biāo)跟蹤網(wǎng)絡(luò)模型，但是其實(shí)時(shí)性不如SiamFc網(wǎng)絡(luò)。因此，本文所設(shè)計(jì)的目標(biāo)跟蹤網(wǎng)絡(luò)結(jié)構(gòu)，對(duì)UDT網(wǎng)絡(luò)中的基于相關(guān)濾波的孿生網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行改進(jìn)，將原來的DCF Net網(wǎng)絡(luò)替換成SiamFc網(wǎng)絡(luò)。考慮到利用無人機(jī)進(jìn)行目標(biāo)跟蹤，無人機(jī)自身的計(jì)算系統(tǒng)較小，對(duì)于大量神經(jīng)網(wǎng)絡(luò)參數(shù)的計(jì)算有一定的限制，在利用較深層數(shù)的深度網(wǎng)絡(luò)對(duì)跟蹤目標(biāo)特征進(jìn)行提取時(shí)，可能會(huì)出現(xiàn)模型跟蹤性能受限、跟蹤速度下降等問題。因此，本文在設(shè)計(jì)的網(wǎng)絡(luò)模型結(jié)構(gòu)中，選擇SiamFc較淺的神經(jīng)網(wǎng)絡(luò)模型AlexNet替換DCF Net網(wǎng)絡(luò)。模型主干孿生網(wǎng)絡(luò)參數(shù)如表1所示。

Table 1 Siamese network parameters

當(dāng)前的無人機(jī)目標(biāo)跟蹤相關(guān)視頻數(shù)據(jù)集還不夠完善，這給無人機(jī)目標(biāo)跟蹤的研究帶來了一定的困難。同時(shí)，利用無人機(jī)進(jìn)行目標(biāo)跟蹤時(shí)，無人機(jī)所處的外部環(huán)境可能比一般環(huán)境更為復(fù)雜。基于此，本文設(shè)計(jì)了一種以SiamFc為主干網(wǎng)絡(luò)、采用多幀驗(yàn)證的無監(jiān)督無人機(jī)目標(biāo)跟蹤模型。該模型不僅在主干網(wǎng)絡(luò)上進(jìn)行了改進(jìn)，使用了全卷積的孿生網(wǎng)絡(luò)結(jié)構(gòu)SiamFc,同時(shí)對(duì)前向跟蹤、后向驗(yàn)證的無監(jiān)督跟蹤方法進(jìn)行了改進(jìn)，在無監(jiān)督的網(wǎng)絡(luò)訓(xùn)練階段，通過前向跟蹤、多幀驗(yàn)證的方式，利用無人機(jī)在復(fù)雜場(chǎng)景進(jìn)行目標(biāo)跟蹤。本文設(shè)計(jì)的無監(jiān)督無人機(jī)目標(biāo)跟蹤模型結(jié)構(gòu)如圖3所示。

Figure 3 Unsupervised UAV target tracking model

基于SiamFc網(wǎng)絡(luò)的目標(biāo)跟蹤機(jī)制以及無監(jiān)督學(xué)習(xí)的前向跟蹤、后向驗(yàn)證的目標(biāo)跟蹤方法，本文提出以SiamFc為主干網(wǎng)絡(luò)、以多幀驗(yàn)證的方式進(jìn)行無人機(jī)目標(biāo)跟蹤的網(wǎng)絡(luò)模型。多幀驗(yàn)證的方式與后向驗(yàn)證不同，后向驗(yàn)證是以第2幀的目標(biāo)跟蹤結(jié)果對(duì)首幀進(jìn)行預(yù)測(cè)，然后計(jì)算損失函數(shù)。多幀驗(yàn)證是指在前向跟蹤過程中，不僅要驗(yàn)證第2幀圖像的目標(biāo)位置，還要多驗(yàn)證1幀圖像的目標(biāo)位置，才得到第3幀圖像中的目標(biāo)響應(yīng)圖。然后利用第3幀的目標(biāo)跟蹤結(jié)果，對(duì)首幀目標(biāo)進(jìn)行再次預(yù)測(cè)。采用這種方式的原因在于，無人機(jī)在航拍視頻過程中，自身也在高速運(yùn)動(dòng)，這樣會(huì)造成目標(biāo)跟蹤時(shí)，前向跟蹤階段目標(biāo)位置的跟蹤結(jié)果有所偏離。另外，無人機(jī)在高空拍攝視頻，跟蹤的目標(biāo)較小，受到的背景干擾較多。無人機(jī)相關(guān)的視頻數(shù)據(jù)集中可能包含了較多的背景信息，在一定程度上會(huì)對(duì)目標(biāo)跟蹤的性能產(chǎn)生影響。更嚴(yán)重的情況是，跟蹤的目標(biāo)可能被障礙物遮擋，出現(xiàn)目標(biāo)堵塞的情況，也會(huì)對(duì)整個(gè)目標(biāo)跟蹤任務(wù)產(chǎn)生影響。因此，本文設(shè)計(jì)的網(wǎng)絡(luò)模型在后向驗(yàn)證時(shí)，采取多幀驗(yàn)證的方式，提高利用無人機(jī)進(jìn)行目標(biāo)跟蹤的性能。

(8)

其中，YT表示第1幀圖像。

4 實(shí)驗(yàn)結(jié)果與分析

本文設(shè)計(jì)的無監(jiān)督無人機(jī)目標(biāo)跟蹤模型在目標(biāo)特征提取階段采用AlexNet網(wǎng)絡(luò)，通過Image- Net VID數(shù)據(jù)集訓(xùn)練無監(jiān)督的網(wǎng)絡(luò)結(jié)構(gòu)。設(shè)計(jì)的模型采用孿生網(wǎng)絡(luò)結(jié)構(gòu)，目標(biāo)區(qū)域分支與搜索區(qū)域分支共享參數(shù)。本文通過100個(gè)周期訓(xùn)練網(wǎng)絡(luò)結(jié)構(gòu)，設(shè)置學(xué)習(xí)率的初始值為0.01。

Figure 4 Comparison of tracking results between the proposed model and the classic models

為了驗(yàn)證設(shè)計(jì)的目標(biāo)跟蹤模型的跟蹤性能，選取了目標(biāo)跟蹤模型SiamFc[5]和高效卷積算子ECO(Efficient Convolution Operators)[11]進(jìn)行對(duì)比實(shí)驗(yàn)。同時(shí)，為了證明所設(shè)計(jì)的模型優(yōu)于原UDT模型的跟蹤性能，將其與原UDT模型進(jìn)行對(duì)比實(shí)驗(yàn)。為了方便對(duì)比多幀驗(yàn)證方式和后向驗(yàn)證方式，首先將UDT模型的主干網(wǎng)絡(luò)修改為SiamFc(簡稱為UDT-S)，與本文設(shè)計(jì)的跟蹤模型進(jìn)行對(duì)比實(shí)驗(yàn)。綜上，一共選取了4種模型作為基準(zhǔn)模型，與本文設(shè)計(jì)的目標(biāo)跟蹤模型進(jìn)行對(duì)比實(shí)驗(yàn)。采用VisDrone2019數(shù)據(jù)集中的視頻序列作為實(shí)驗(yàn)的數(shù)據(jù)集，通過對(duì)比部分視頻序列的目標(biāo)跟蹤結(jié)果評(píng)估不同的目標(biāo)跟蹤模型。

(1)定性分析。

采用無人機(jī)的一些航拍視頻數(shù)據(jù)，將本文提出的模型與其他2種跟蹤模型進(jìn)行對(duì)比實(shí)驗(yàn)。目標(biāo)在當(dāng)前幀的跟蹤結(jié)果通過圖4中不同顏色的矩形框表示。圖4中，每1行圖像代表1個(gè)視頻序列。黑色矩形框表示的是本文模型的跟蹤結(jié)果。ECO和SiamFc的分別用白色框和灰色框表示。

對(duì)比圖4中目標(biāo)跟蹤結(jié)果可知，在第1個(gè)無人機(jī)視頻序列中，由于跟蹤的目標(biāo)自身較小，并且其在不斷的運(yùn)動(dòng)中尺度發(fā)生了變化，ECO模型在跟蹤過程中出現(xiàn)了目標(biāo)丟失情況，而本文設(shè)計(jì)的無監(jiān)督無人機(jī)跟蹤模型和SiamFc模型只是產(chǎn)生了一定程度的跟蹤漂移。在第2個(gè)視頻序列中，因?yàn)槟繕?biāo)所處環(huán)境相對(duì)空曠，沒有過多的背景等環(huán)境影響，無監(jiān)督無人機(jī)目標(biāo)跟蹤模型與另外2種對(duì)比模型均較好地跟蹤了目標(biāo)。對(duì)于第3個(gè)視頻序列，由于跟蹤的目標(biāo)在不斷移動(dòng)，ECO模型對(duì)目標(biāo)的跟蹤出現(xiàn)了錯(cuò)誤，SiamFc模型對(duì)于目標(biāo)的跟蹤也發(fā)生了一定的跟蹤漂移，但是本文設(shè)計(jì)的模型卻較好地跟蹤了目標(biāo)。對(duì)于第4個(gè)視頻序列，無人機(jī)飛行高度較高、跟蹤的目標(biāo)相對(duì)較小，同時(shí)目標(biāo)處于快速運(yùn)動(dòng)中，發(fā)生了一定程度的目標(biāo)形變，影響了跟蹤任務(wù)的進(jìn)行，因此幾種模型的跟蹤表現(xiàn)均不是很好，但是對(duì)比可以發(fā)現(xiàn)，本文模型仍比其他2種模型跟蹤的效果要好一些?？偟膩碚f，面對(duì)實(shí)際應(yīng)用中無人機(jī)目標(biāo)跟蹤出現(xiàn)的各種問題，本文提出的模型在整體性能上優(yōu)于其他2種典型的跟蹤模型。

圖5顯示了本文設(shè)計(jì)的算法和原UDT模型、UDT-S模型對(duì)4個(gè)視頻序列的目標(biāo)跟蹤效果對(duì)比。其中，黑色框表示本文設(shè)計(jì)的模型的跟蹤效果，白色框表示原UDT模型的效果，UDT-S模型跟蹤效果由灰色框表示。

Figure 5 Comparison of the tracking results of the proposed model and the before improvement

對(duì)比圖5中的目標(biāo)跟蹤結(jié)果可以發(fā)現(xiàn)，對(duì)于第1個(gè)無人機(jī)視頻序列，目標(biāo)所處背景較為復(fù)雜，UDT模型和UDT-S均出現(xiàn)了一定的跟蹤漂移情況，相比之下，本文設(shè)計(jì)的模型則較好地跟蹤到了目標(biāo)。與第1個(gè)視頻序列相比，第2個(gè)視頻序列中的目標(biāo)較為明顯，從跟蹤結(jié)果可以看出，3種模型均較好地跟蹤了目標(biāo)。在第3個(gè)視頻序列中，本文設(shè)計(jì)的目標(biāo)跟蹤模型和UDT-S都較好地跟蹤了目標(biāo)，UDT模型出現(xiàn)了一定程度的跟蹤漂移。在最后一個(gè)視頻序列中，UDT和UDT-S的跟蹤表現(xiàn)均不是很好，本文設(shè)計(jì)的模型雖然出現(xiàn)了一定程度的跟蹤漂移，但也實(shí)現(xiàn)了對(duì)目標(biāo)的跟蹤，整體效果比其他2種模型要好。綜合4個(gè)視頻序列的跟蹤結(jié)果可以得出，改進(jìn)后的模型比改進(jìn)之前的UDT模型以及后向驗(yàn)證模型跟蹤性能更加優(yōu)越。

(2)定量分析。

目標(biāo)跟蹤模型通常利用中心位置誤差和區(qū)域重疊面積比率[12]2個(gè)指標(biāo)進(jìn)行評(píng)價(jià)。

中心位置誤差計(jì)算方法如式(9)所示。假設(shè)目標(biāo)的中心位置為(x0,y0)，跟蹤到的目標(biāo)位置為(x,y)，中心位置誤差是通過計(jì)算人工標(biāo)注的目標(biāo)框與跟蹤模型跟蹤到的目標(biāo)框中心位置之間的歐氏距離得到的。

(9)

error值越小，表明跟蹤性能越好，越能精確地跟蹤到目標(biāo)。本文對(duì)不同模型跟蹤的中心位置誤差進(jìn)行了計(jì)算，得到它們分別針對(duì)4個(gè)視頻序列的平均中心位置誤差，如表2所示。

Table 2 Average center location error

區(qū)域重疊面積比計(jì)算方法如式(10)所示：

(10)

其中，Rg表示人工標(biāo)注區(qū)域，Rr表示跟蹤模型預(yù)測(cè)的邊界區(qū)域，∩是交集,∪是并集。不同模型計(jì)算的面積重疊比如表3所示。

Table 3 Average overlap

由表2和表3可以看出，在視頻序列1中，對(duì)于平均中心位置誤差而言，ECO模型跟蹤結(jié)果的平均誤差最大，本文設(shè)計(jì)的模型平均誤差最小，其他3種模型平均誤差之間的差別相對(duì)較小。關(guān)于另一個(gè)平均區(qū)域重疊面積比率指標(biāo)，ECO模型的區(qū)域重疊面積比率較低，其他4種模型的區(qū)域重疊面積比率遠(yuǎn)高于它，這是因?yàn)镋CO在后面的視頻跟蹤圖中出現(xiàn)了跟蹤目標(biāo)丟失的情況。對(duì)比SiamFc、UDT、UDT-S和本文設(shè)計(jì)的模型的區(qū)域重疊面積比率，本文設(shè)計(jì)的模型區(qū)域重疊面積比率最大。在視頻序列2中，對(duì)比5種模型的平均中心位置誤差值，本文設(shè)計(jì)的模型誤差值最小。對(duì)比5種模型的平均區(qū)域重疊面積比率，SiamFc、UDT、UDT-S和本文設(shè)計(jì)的模型均達(dá)到了60%以上，但是本文模型仍然以微小的優(yōu)勢(shì)勝出。對(duì)于視頻序列3，5種模型的平均中心位置誤差均高于它們對(duì)視頻序列2的誤差值，這是因?yàn)橐曨l序列2的目標(biāo)移動(dòng)幅度小，所以跟蹤效果比視頻序列3中的目標(biāo)要好一些。對(duì)比5種模型的平均中心位置誤差值，本文設(shè)計(jì)的模型占有很大的優(yōu)勢(shì)。在平均區(qū)域重疊面積比率方面，也是本文設(shè)計(jì)的模型好于其他4種跟蹤模型。在視頻序列4中，目標(biāo)快速運(yùn)動(dòng)，發(fā)生了形變，整個(gè)視頻圖像中的跟蹤目標(biāo)過小，直接影響了所有跟蹤模型的性能，所以5種模型的平均區(qū)域重疊面積比率均較小，但是相比而言，本文模型在2個(gè)評(píng)價(jià)指標(biāo)上均優(yōu)于其他4種模型。對(duì)于4個(gè)視頻序列，本文設(shè)計(jì)的無人機(jī)目標(biāo)跟蹤模型平均區(qū)域重疊面積比率大，平均中心位置誤差相對(duì)均較小，相對(duì)于改進(jìn)前的UDT模型在2個(gè)評(píng)價(jià)指標(biāo)上的表現(xiàn)均較好。對(duì)比UDT-S模型，本文設(shè)計(jì)的多幀驗(yàn)證無人機(jī)跟蹤模型在2個(gè)評(píng)價(jià)指標(biāo)上的表現(xiàn)均比較優(yōu)越，可見對(duì)于復(fù)雜場(chǎng)景下的目標(biāo)跟蹤而言，使用多幀驗(yàn)證的無監(jiān)督目標(biāo)跟蹤模型較后向驗(yàn)證效果更好?？偟膩碚f，本文設(shè)計(jì)的無監(jiān)督的無人機(jī)目標(biāo)跟蹤模型比ECO、SiamFc、UDT、UDT-S這4種跟蹤模型跟蹤性能更加優(yōu)越。

5 結(jié)束語

針對(duì)無人機(jī)相關(guān)航拍數(shù)據(jù)集中數(shù)據(jù)不完善、部分?jǐn)?shù)據(jù)缺乏標(biāo)注等問題，本文提出了一種無監(jiān)督無人機(jī)目標(biāo)跟蹤網(wǎng)絡(luò)模型，采用前向跟蹤、多幀驗(yàn)證的方式來對(duì)無監(jiān)督的網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練。另外，考慮到無人機(jī)系統(tǒng)計(jì)算能力有限這一情況，采用了輕量級(jí)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行特征提取，從而更好地完成無人機(jī)的目標(biāo)跟蹤任務(wù)。為了驗(yàn)證本文設(shè)計(jì)的模型對(duì)于目標(biāo)跟蹤的性能，選取無人機(jī)航拍視頻序列進(jìn)行實(shí)驗(yàn)，將其與其他典型模型的目標(biāo)跟蹤效果進(jìn)行對(duì)比，同時(shí)對(duì)比改進(jìn)前的模型跟蹤效果。定性分析和定量分析的結(jié)果表明，本文設(shè)計(jì)的無監(jiān)督無人機(jī)目標(biāo)跟蹤模型跟蹤性能優(yōu)于其他跟蹤模型和改進(jìn)之前的模型，能夠較好地實(shí)現(xiàn)無人機(jī)場(chǎng)景下的目標(biāo)跟蹤。當(dāng)然，這個(gè)模型也存在一定的不足之處。如果視頻數(shù)據(jù)集中的正負(fù)樣本不平衡，模型的跟蹤性能會(huì)受到一定的影響。此外，因?yàn)榭紤]到無人機(jī)系統(tǒng)自身計(jì)算性能限制，本文設(shè)計(jì)的模型采用的是較淺層的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，對(duì)于目標(biāo)深層特征的提取也是有限制的，未來在網(wǎng)絡(luò)結(jié)構(gòu)上也需要進(jìn)一步改進(jìn)。