王海軍,張圣燕,杜玉杰
(濱州學(xué)院 山東省高校航空信息與控制重點實驗室,山東 濱州 256603)
無人機目標(biāo)跟蹤是計算機視覺領(lǐng)域一項重要的研究課題,在智能安防、森林防火、航空攝影等領(lǐng)域得到了廣泛的應(yīng)用。盡管國內(nèi)外學(xué)者對無人機目標(biāo)跟蹤進(jìn)行了大量研究[1-3],取得了一系列研究成果,但是由于基于無人機高空平臺對地面小目標(biāo)跟蹤存在角度變化、外觀變化、遮擋、尺度變化等嚴(yán)重影響跟蹤性能的因素,使得設(shè)計一種魯棒的無人機目標(biāo)跟蹤算法仍然是一項充滿挑戰(zhàn)的課題。
近年來,相關(guān)濾波在目標(biāo)跟蹤領(lǐng)域得到了廣泛的應(yīng)用[4-5],取得了較高的跟蹤速度和較好的跟蹤性能。文獻(xiàn)[6]首先把相關(guān)濾波應(yīng)用到目標(biāo)跟蹤領(lǐng)域,將時域的卷積運算變換為頻域的點積運算,大大提升了跟蹤速度;但是由于該算法采用循環(huán)移位產(chǎn)生的非真實樣本代替實際抽取的樣本,使得算法存在邊界效應(yīng),導(dǎo)致跟蹤性能不高。為了緩解邊界效應(yīng)的不良影響,文獻(xiàn)[7]提出基于背景感知的相關(guān)濾波跟蹤算法,在擴(kuò)大的搜索區(qū)域中采用真實的候選樣本來訓(xùn)練濾波器;但是該方法同時引入了背景噪聲,在場景雜亂時,容易引起跟蹤漂移。為了解決跟蹤過程目標(biāo)外觀變化等問題,文獻(xiàn)[8]利用歷史幀濾波器作用于當(dāng)前幀訓(xùn)練樣本;但是該方法沒有考慮前后幀之間的響應(yīng)差異,當(dāng)跟蹤目標(biāo)形變較大時,容易跟丟目標(biāo)。為了解決上述問題,筆者提出了一種基于響應(yīng)差異約束的相關(guān)濾波無人機目標(biāo)跟蹤算法,根據(jù)濾波器在幀間變化的一致性,構(gòu)造基于前后幀濾波器作用同一訓(xùn)練樣本的響應(yīng)差異約束機制,學(xué)習(xí)跟蹤目標(biāo)的外觀變化,有效提升了濾波器的魯棒性。同時引入輔助因子,采用交替求解算法進(jìn)行濾波器和輔助因子最優(yōu)解的快速計算。在多個無人機跟蹤視頻庫上仿真實驗表明,新算法能夠有效提升傳統(tǒng)相關(guān)濾波算法在目標(biāo)外觀變化、角度變化等方面的無人機跟蹤性能。
傳統(tǒng)相關(guān)濾波跟蹤算法中,通過建模相關(guān)響應(yīng)與樣本標(biāo)簽y的均方差,并轉(zhuǎn)換到頻域進(jìn)行快速計算,可以學(xué)習(xí)得到濾波器,從而能夠?qū)⒏櫮繕?biāo)從背景中分離出來。目標(biāo)函數(shù)為
(1)
當(dāng)?shù)趖+1幀視頻到來時,跟蹤目標(biāo)位置可以通過尋找響應(yīng)最大值確定:
(2)
其中,Xt+1表示第t+1幀訓(xùn)練樣本,是以第t幀跟蹤結(jié)果在第t+1幀視頻圖像上選取。
雖然傳統(tǒng)相關(guān)濾波跟蹤算法在跟蹤速度上具有較大的優(yōu)勢,但是由于無人機跟蹤場景中存在高空視角的遮擋、背景雜亂等嚴(yán)重影響跟蹤性能因素,使得傳統(tǒng)相關(guān)濾波算法跟蹤性能一般。為了有效提升無人機跟蹤算法的性能,文中提出考慮響應(yīng)差異約束的相關(guān)濾波跟蹤算法。圖1給出文中算法的流程圖。基于大多數(shù)視頻跟蹤場景前后連續(xù)幀目標(biāo)的外觀以及位置變化不大,導(dǎo)致前后幀濾波器具有較大的相似性,因此,可以用前后幀濾波器作用于同一訓(xùn)練樣本產(chǎn)生的響應(yīng)差異對跟蹤目標(biāo)的外觀變化進(jìn)行學(xué)習(xí)。文中算法在傳統(tǒng)相關(guān)濾波跟蹤算法的基礎(chǔ)上引入響應(yīng)差約束項,目標(biāo)函數(shù)為
圖1 文中算法的流程圖
(3)
(4)
其中,S=diag(s),為對角矩陣。為了提高計算效率,根據(jù)帕塞瓦爾定理,式(4)可以變換到頻域進(jìn)行計算:
(5)
其中,⊙表示兩矩陣對應(yīng)元素相乘,F(xiàn)為傅里葉變換矩陣。通過增廣拉格朗日乘子法,式(5)可進(jìn)一步改寫為
(6)
(7)
(8)
(9)
其中,上標(biāo)i和i+1分別表示第i次和第i+1次循環(huán)。
采用Matlab軟件進(jìn)行編程仿真,實驗平臺配置為Window 10操作系統(tǒng)、Intel(R)Xeon(R)CPU E5-2680@2.4 GHz、128 GB內(nèi)存。為了驗證所提算法的優(yōu)越性,在3個無人機視頻庫:DTB70[9]、UAV123@10 fps[10]和UAVDT[11]上與當(dāng)前比較流行的11種算法進(jìn)行對比。11種算法分別為AMCF[12]、BACF[7]、ECO-HC[13]、CSR-DCF[14]、MCCT_H[15]、fDSST[16]、Staple[17]、SRDCF[18]、SAMF[19]、KCF[20]、SAMF_CA[21]。
DTB70數(shù)據(jù)集上含有從無人機平臺上獲取的15 777張圖片組成的70個短視頻。UAV123@10 fps數(shù)據(jù)集中包含123個速度為10 fps的無人機視頻。由于進(jìn)行了人為降速,跟蹤目標(biāo)具有相對較大的形變,實現(xiàn)準(zhǔn)確跟蹤更加困難。UAVDT數(shù)據(jù)集含有50個高空無人機視角的短視頻,特別是夜晚和大霧場景下視頻較多,嚴(yán)重影響算法的跟蹤性能。無人機視頻通常具有以下幾種不同挑戰(zhàn)性因素:寬高比變化(Aspect Ratio Variation,ARV)、背景雜亂(Background Clutter,BC)、形變(DEFormation,DEF)、相機快速運動(Fast Camera Motion,F(xiàn)CM)、平面內(nèi)旋轉(zhuǎn)(In Plane Rotation,IPR)、運動模糊(Motion Blur,MB)、遮擋(OCClusion,OCC)、平面外旋轉(zhuǎn)(Out of Plane Rotation,OPR)、視野外(Out of View,OV)、尺度變化(Scale Variation,SV)、相似物體干擾(Similar Objects Around,SOA)、完全遮擋(Full OCclusion,F(xiàn)OC)、部分遮擋(Partial OCclusion,POC)、快速運動(Fast Motion,F(xiàn)M)、光照變化(Illumination Variation,IV)、視角變化(Viewpoint Change,VC)、長程跟蹤(Long Term Tracking,LTT)等。實驗采用準(zhǔn)確度和跟蹤成功率兩個指標(biāo)對跟蹤結(jié)果進(jìn)行評價。準(zhǔn)確度表示所有視頻中采用算法估計的跟蹤目標(biāo)位置與人工標(biāo)注的位置之間的差值小于20個像素的比值。跟蹤成功率表示所有視頻中計算得到的覆蓋率大于0.5的比率,其中覆蓋率為G0∩G1/G0∪G1,G0為人工標(biāo)注的跟蹤目標(biāo)覆蓋框的范圍,G1為采用算法估計的跟蹤目標(biāo)覆蓋框的范圍。
圖2給出文中算法與11種當(dāng)前比較流行的算法分別在DTB70、UAV123@10 fps、UAVDT等無人機數(shù)據(jù)庫上的跟蹤性能對比。
圖2 不同算法分別DTB70、UAV123@10 fps、UAVDT無人機數(shù)據(jù)庫上跟蹤準(zhǔn)確度和成功率對比
從圖中可以看出,在跟蹤準(zhǔn)確度和跟蹤成功率兩個指標(biāo)上,文中所提算法在所有3個無人機視頻庫上都取得了第一名的成績。在DTB70數(shù)據(jù)庫上,相比基礎(chǔ)相關(guān)濾波算法KCF,文中算法在跟蹤準(zhǔn)確度和跟蹤覆蓋率上分別改善了19.4%和18.3%。在UAV123@10 fps數(shù)據(jù)庫上,由于降采樣導(dǎo)致部分中間圖像缺失,前后幀目標(biāo)外觀變化相對較大,給無人機對地目標(biāo)跟蹤帶來了極大的挑戰(zhàn)。但是文中算法由于采用前后幀濾波器作用于同一樣本產(chǎn)生的響應(yīng)差異對模型進(jìn)行約束,能夠較好地學(xué)習(xí)到目標(biāo)形變,因此在UAV123@10 fps數(shù)據(jù)庫上的跟蹤性能在對比算法中仍然是最優(yōu)的。在UAVDT數(shù)據(jù)庫中,由于包含較多的能見度不高的視頻,給算法進(jìn)行準(zhǔn)確跟蹤帶來了較大的困難。文中算法分別以0.734和0.467在跟蹤準(zhǔn)確度和跟蹤成功率兩個指標(biāo)上取得了最佳的跟蹤效果。CSR-DCF雖然在DTB70和UAV123@10 fps兩個數(shù)據(jù)庫跟蹤準(zhǔn)確度指標(biāo)上取得了第二名的成績,但是在UAVDT數(shù)據(jù)庫上只取得了第五名。相比文中算法在所有3個數(shù)據(jù)庫兩個不同指標(biāo)上的成績,表明文中算法具有較好的泛化性。
圖3為跟蹤性能較好的5種算法分別在DTB70、UAV123@10 fps、UAVDT無人機數(shù)據(jù)庫上不同屬性上跟蹤成功率對比。從中可以看出,幾乎在所有的挑戰(zhàn)性屬性上,文中算法都取得了相對較好的成績。
圖3 不同算法分別在DTB70、UAV123@10 fps、UAVDT無人機數(shù)據(jù)庫上不同屬性上跟蹤成功率對比
圖4為不同算法分別在DTB70、UAV123@10 fps、UAVDT等無人機數(shù)據(jù)庫上代表性視頻跟蹤結(jié)果對比。
圖4(a)和4(b)分別為DTB70數(shù)據(jù)庫中g(shù)ull和soccer1視頻的跟蹤結(jié)果。gull視頻中,海鷗在深藍(lán)色大海上空飛行,目標(biāo)海鷗顏色與藍(lán)天和海水顏色非常接近,同時海鷗不斷改變飛行姿態(tài),具有較大的形變。從第235幀圖像中可以看出,對比的其他4種跟蹤算法都偏離目標(biāo),只有文中算法能夠較好學(xué)習(xí)目標(biāo)變化,從而實現(xiàn)準(zhǔn)確的跟蹤。soccer1視頻中,遠(yuǎn)處目標(biāo)人物旁邊存在一位外觀非常接近的人物干擾,從跟蹤結(jié)果上看,除CSR-DCF偏移到干擾人物上,其他算法都能排除干擾,實現(xiàn)魯棒跟蹤。
圖4(c)和4(d)分別為UAV123@10 fps數(shù)據(jù)庫中wakeboard 7和group2_2視頻的跟蹤結(jié)果。wakeboard 7視頻中,沖浪運動員在游艇的牽引下快速移動,同時由于視角變化,存在較大的形變。從第67幀視頻可以看出,SRDCF、MCCT_H、CSR-DCF和ECO-HC 4種算法都偏離目標(biāo),文中算法能夠通過學(xué)習(xí)響應(yīng)變化,從而實現(xiàn)準(zhǔn)確定位目標(biāo)人物。group2_2視頻中,目標(biāo)人物與沙灘顏色比較接近,同時在第472幀視頻中存在嚴(yán)重的遮擋,從第582幀視頻中可以看出,SRDCF和MCCT_H都跟丟了目標(biāo)。
圖4(e)和4(f)分別為UAVDT數(shù)據(jù)庫中S1001和S1301跟蹤結(jié)果對比。S1001視頻中不但有背景樹木雜亂干擾,也有其他相似車輛的干擾。從結(jié)果上來看,只有筆者提出的算法能夠同時不受背景雜亂、相似物體的干擾,準(zhǔn)確地獲得目標(biāo)特征,從而實現(xiàn)穩(wěn)定的目標(biāo)位置定位。S1301視頻中,目標(biāo)車輛是黑色的,同時由于是在晚上,比較難獲得目標(biāo)車輛的外觀特征,所以CSR-DCF算法跟丟了目標(biāo)車輛,其他4種算法都實現(xiàn)了穩(wěn)定的跟蹤。
(a)gull
筆者提出了一種基于響應(yīng)差異約束的相關(guān)濾波無人機平臺對地目標(biāo)跟蹤算法。根據(jù)大多數(shù)場景中,前后幀間目標(biāo)位置變化較小,導(dǎo)致濾波器在幀間變化存在一致性,從而使前后幀濾波器作用同一訓(xùn)練樣本的響應(yīng)差異不大,因此能夠建立約束機制學(xué)習(xí)跟蹤目標(biāo)的外觀變化,大大提升了算法的魯棒性。同時通過引入輔助變量,對濾波器和輔助變量采用交替求解算法進(jìn)行最優(yōu)解的快速計算。在3個無人機視頻庫(DTB70、UAV123@10 fps和UAVDT)仿真實驗表明,與其他主流算法相比,新算法在無人機視頻存在的目標(biāo)外觀變化、背景雜亂等干擾屬性方面具有較好的跟蹤性能。