基于核相關(guān)濾波的改進目標跟蹤算法

王偉東 羅瑩 王坤 呂俊峰

(新疆第二醫(yī)學(xué)院,新疆克拉瑪依 834000)

1 核相關(guān)濾波算法

當前基于判別式模型的跟蹤方法已經(jīng)成為研究者研究的主流算法,該方法的最大優(yōu)勢在于將圖像中的目標和背景區(qū)分開。在判別式的跟蹤方法中,基于相關(guān)濾波的跟蹤方法無論從速度上還是魯棒性上都有很出色的表現(xiàn)。2010年的CVPR會議上,Bolme[1]等人創(chuàng)造性地提出了MOSSE目標跟蹤算法。MOSSE算法首先將相關(guān)濾波器的概念引入到目標跟蹤當中,該算法的主要思想就是將空間域的計算轉(zhuǎn)換到頻域來進行簡化,論文的實驗結(jié)果可達到669FPS的速度。2014年,Henriques[2]等人提出了KCF算法,也就是本文所采用的核心算法。KCF算法的最大優(yōu)勢就是將傅里葉變換引入進來,通過循環(huán)矩陣來對算法進行加速。KCF算法相比MOSSE算法的優(yōu)勢在于將原始的灰度特征擴展到HOG特征,使算法整體的跟蹤性能大幅度提升。核相關(guān)濾波的工作流程如圖1所示:

圖1 核相關(guān)濾波框架圖Fig.1 Framework of kernel correlation filtering

2 卷積神經(jīng)網(wǎng)絡(luò)基礎(chǔ)

卷積神經(jīng)網(wǎng)絡(luò)的本質(zhì)類似于生物系統(tǒng),在深度學(xué)習(xí)算法中具有不可替代的重要地位。1987年,Alexander[3]等提出的時間延遲網(wǎng)絡(luò),這是世界上第一個卷積神經(jīng)網(wǎng)絡(luò)。為了解決計算機視覺相關(guān)問題,LeCun等人提出了具有跨時代意義的卷積神經(jīng)網(wǎng)絡(luò)LeNet[4]。后面幾十年,卷積神經(jīng)網(wǎng)絡(luò)受到了硬件發(fā)展的限制,并沒有得到廣泛的關(guān)注。卷積神經(jīng)網(wǎng)絡(luò)重新回到研究者的視野是在2012年舉辦的Image Net競賽,AlextNet[5]一舉奪得了該大賽的冠軍。如今計算機硬件的快速發(fā)展,研究者無私地開源數(shù)據(jù)集,未來卷積神經(jīng)網(wǎng)絡(luò)在計算機視覺領(lǐng)域必將越來越受歡迎。

常見的卷積神經(jīng)網(wǎng)絡(luò)大致是由卷積層、池化層和全連接層三大模塊組成,每一層之間都是互相連接的,通過向前反饋來求解結(jié)構(gòu)中的參數(shù)。卷積層的作用就是負責提取圖像的特征信息,這是最基本的操作。其中池化層的主要作用是減小特征維度,從而減少過擬合。全連接層是把前面已經(jīng)提取的特征全部綜合起來,常用于分類。多個卷積單元組成卷積層,每個卷積單元都有相對應(yīng)的參數(shù),這些參數(shù)是通過反向傳播計算得到的。卷積層的作用就是提取圖像特征,一般卷積層的淺層只能提取一些邊緣特征,卷積層的深層才可以提取更加復(fù)雜的特征。池化層即下采樣層,目的是為了減小數(shù)據(jù)的空間大小。減小數(shù)據(jù)空間就是減少參數(shù)的數(shù)量,從而降低了網(wǎng)絡(luò)的計算量。卷積神經(jīng)網(wǎng)絡(luò)通常會在每個卷積層之后插入池化層,這樣每個卷積后的特征也相應(yīng)減小了。卷積層是獨立的,不會增加網(wǎng)絡(luò)的深度。池化層的運算一般有兩種,一種是最大池化操作,另一種是平均池化操作,其中最大池化操作最為常用。池化層的存在是非常必要的,幾乎每個卷積層后都會有池化層。從嚴格意義上講,池化層并不是真正的網(wǎng)絡(luò)層。在卷積神經(jīng)網(wǎng)絡(luò)中,前面會存在眾多的卷積層和池化層。在卷積層和池化層后往往需要連接一個或多個全連接層,全連接層的前一層和全連接層的每一個神經(jīng)元都需要互相連接。全連接層的作用就是對卷積層和池化層的信息進行整合,只有通過全連接層的信息才是完整的信息。全連接層中一般都使用ReLU這個函數(shù)作為激活函數(shù)來提高卷積神經(jīng)網(wǎng)絡(luò)性能。全連接層并不是真正意義上的最后一層,最后一層通常是softmax層。softmax層用于完成多分類,這層的每一個神經(jīng)元都有一個實數(shù)映射,這些映射值之和必須等于1。

由于卷積神經(jīng)網(wǎng)絡(luò)自身的特性以及計算機計算性能的提升,優(yōu)秀的卷積網(wǎng)絡(luò)結(jié)構(gòu)層出不窮。VGGNet和ResNet憑借其優(yōu)越的性能,在很多場景中大放異彩。VGGNet[6]網(wǎng)絡(luò)結(jié)構(gòu)是由Karen和Andrew在2014年提出。VGGNet包含很多級別的網(wǎng)絡(luò),深度從11層到19層不等,本文算法使用VGGNet-19網(wǎng)絡(luò)結(jié)構(gòu)。VGGNet結(jié)構(gòu)大致可以分為5段,每一段都有卷積層和最大池化層互相搭配,最后連接一個softmax層。VGGNet的結(jié)構(gòu)非常清晰,在訓(xùn)練過程中也很容易完成結(jié)構(gòu)搭建,所以在很多領(lǐng)域都得到了廣泛的應(yīng)用。

3 二次跟蹤算法

為了提高KCF算法的跟蹤精度,在改進過程中采用了二次跟蹤的方法。第一次的目標跟蹤過程對顏色和卷積兩大特征進行融合,實現(xiàn)了目標的粗略跟蹤。第二次的目標跟蹤主要為了解決遮擋問題,利用粒子濾波的重采樣過程和HOG特征對目標使用核相關(guān)濾波算法,實現(xiàn)了目標的精準跟蹤。

第一次跟蹤實現(xiàn)目標的粗定位,算法核心基于核相關(guān)濾波,使用顏色特征和深度特征的多特征融合策略。本文使用經(jīng)典的VGG-19網(wǎng)絡(luò)結(jié)構(gòu)用于卷積特征的提取[3],做到了特征的深度提取。VGG-19網(wǎng)絡(luò)結(jié)構(gòu)具有16個卷積層和3個全連接層,此外還有5個池化層。無人機在跟蹤目標的過程中,通常拍攝的目標小,所以信息量就很少,這種情況下采用多特征融合策略會容易跟蹤目標。

第二次跟蹤實現(xiàn)目標的精定位,算法核心也是基于核相關(guān)濾波,使用粒子濾波和FHOG特征。本文使用到了粒子濾波中的重要性采樣[4],這是粒子濾波中的核心方法。重要性采樣就是通過估計粒子的重要性程度來分配不同的權(quán)重,對于信任度高的粒子分配的權(quán)重就大一些,反之分配的權(quán)重就小一些。保留下權(quán)重大的粒子,以這些粒子為中心形成小塊區(qū)域。然后把每一塊區(qū)域都進行FHOG特征的提取,經(jīng)過多個核相關(guān)操作后會有很多響應(yīng)值,最大的響應(yīng)值就是要跟蹤目標的精準位置。粒子濾波在本文算法中的應(yīng)用流程如下圖2所示:

圖2 粒子濾波應(yīng)用流程圖Fig.2 Flow chart of particle filter application

4 實驗結(jié)果與分析

在OTB-50數(shù)據(jù)集上,本文的算法精確度達到了0.897,比STAPLE[5]、SAMF[6]、KCF[7]以及CSK[8]分別提升了0.112、0.132、0.173以及0.352;本文算法的成功率為0.669,比其他四種算法分別提高了0.09、0.087、0.166以及0.271。本文算法性能的提升主要得益于卷積特征的引入和粒子濾波算法的預(yù)測功能。表1所示,客觀地展示了各算法在數(shù)據(jù)集上的精確度和成功率:

表1 各算法實驗結(jié)果對比Tab.1 Comparison of experimental results of various algorithms

5 結(jié)語

本文的算法以核相關(guān)濾波跟蹤算法為核心,實現(xiàn)了二次目標跟蹤。跟蹤過程通過引入卷積特征和粒子濾波解決了目標小、運動遮擋以及運動形變等問題,提高了算法的精確度和準確率。但是針對各種影響因素的挑戰(zhàn),該目標跟蹤算法仍具有很大的提升空間。經(jīng)過研究分析,本文算法還可以采取一定的改進措施,未來希望能從提高算法跟蹤速度、適應(yīng)多目標跟蹤以及與真實無人機結(jié)合三個方面來改進算法的缺陷:

(1)提高算法跟蹤速度。由于深度特征的引入,造成算法性能的下降。在后續(xù)的實驗中可以考慮使用其他的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),比如AlexNet網(wǎng)絡(luò)結(jié)構(gòu)。本文使用的深度特征都是卷積結(jié)構(gòu)輸出的最原始的特征,沒有采取任何的降維處理措施,后面可以針對如何降低深度特征的維數(shù)來展開。(2)適應(yīng)多目標跟蹤。本文的目標跟蹤算法為單目標跟蹤,后面要實現(xiàn)多目標的跟蹤需要進一步對算法進行改進。為了不降低多目標跟蹤的效率,主要可以從修改深度特征結(jié)構(gòu)和減少粒子濾波粒子的角度出發(fā)。(3)與真實無人機結(jié)合。本文的研究主要是使用無人機拍攝的圖像來研究怎樣提高跟蹤算法的魯棒性,不過并沒有實現(xiàn)嵌入式平臺的開發(fā)。同時如何將無人機的控制算法、機載相機與目標跟蹤算法相結(jié)合起來也是將來一個很重要的研究方向。