一種紅外多目標(biāo)跟蹤算法

鄭 佳，李江勇，陳 剛

(華北光電技術(shù)研究所，北京100015)

1 引言

多目標(biāo)跟蹤是近些年新興起的科學(xué)技術(shù)，它涉及到隨機(jī)統(tǒng)計(jì)、數(shù)學(xué)優(yōu)化、圖像處理、模式識(shí)別、人工智能、自動(dòng)控制等多種學(xué)科［1］。

目前在解決多目標(biāo)跟蹤算法中主要有基于粒子濾波的方法［2］，基于神經(jīng)網(wǎng)絡(luò)的方法［3］，基于特征匹配的方法［4］，但是由于算法復(fù)雜程度以及硬件的實(shí)現(xiàn)難，粒子濾波和神經(jīng)網(wǎng)絡(luò)的方法在處理目標(biāo)跟蹤的實(shí)際工程應(yīng)用中并不多，基于特征匹配的方法，由于算法原理實(shí)現(xiàn)簡單，在實(shí)際工程中，該算法應(yīng)用較為常見。

傳統(tǒng)的基于特征匹配的目標(biāo)跟蹤算法中，常用“最近鄰”法，然而它采用的特征函數(shù)僅利用每個(gè)目標(biāo)質(zhì)心的位置信息，即考慮待跟蹤目標(biāo)與下一幀每個(gè)目標(biāo)統(tǒng)計(jì)質(zhì)心的歐式距離，距離最小的目標(biāo)則認(rèn)為是同一個(gè)目標(biāo)，理論上講，離波門中心最近的點(diǎn)跡不一定是目標(biāo)，因?yàn)樗撕雎阅繕?biāo)的速度信息以外，還忽略了關(guān)聯(lián)波門之外的觀測值，較少考慮目標(biāo)自身的特征屬性和每個(gè)目標(biāo)運(yùn)動(dòng)狀況，抗干擾能力差，存在錯(cuò)誤關(guān)聯(lián)概率，算法跟蹤準(zhǔn)確性較差。后來的研究人員在原有的基礎(chǔ)上提出了多特征融合的目標(biāo)匹配算法，根據(jù)具體的目標(biāo)的特征提出一種特征函數(shù)，通常結(jié)合目標(biāo)的質(zhì)心位置、灰度、目標(biāo)面積、運(yùn)動(dòng)速度、高寬比、運(yùn)動(dòng)方向等特征，該方法大大提高了目標(biāo)的跟蹤準(zhǔn)確性，但是該特征融合算法需要在整幅圖像中搜尋與特征函數(shù)得出的量測值最接近的目標(biāo)，該方法適合目標(biāo)不密集、信噪比高和弱雜波的情況，但是在多目標(biāo)，目標(biāo)信噪比較弱以及強(qiáng)雜波情況下，由于搜尋整幅圖像，需要計(jì)算整幅圖像中出現(xiàn)的目標(biāo)以及虛假點(diǎn)的量測值，增加了算法的運(yùn)算時(shí)間，這在實(shí)時(shí)性要求非常高的系統(tǒng)中，算法是很難保證系統(tǒng)要求。

本文提出多特征融合和Kalman濾波相結(jié)合的紅外多目標(biāo)的跟蹤算法，能夠?qū)崟r(shí)準(zhǔn)確的跟蹤紅外圖像中的多個(gè)目標(biāo)，并能對(duì)目標(biāo)的運(yùn)動(dòng)軌跡進(jìn)行一定的預(yù)測。

2 特征融合算法

基于特征值的目標(biāo)跟蹤算法一直是多目標(biāo)跟蹤算法中研究的一項(xiàng)重要內(nèi)容，特征值跟蹤就是在一幀圖像中選擇一組在運(yùn)動(dòng)中具有不變性質(zhì)的特征與下一幀圖像中的同類特征進(jìn)行匹配，從而對(duì)運(yùn)動(dòng)目標(biāo)進(jìn)行跟蹤。這種算法的關(guān)鍵是在于對(duì)運(yùn)動(dòng)目標(biāo)的特征選擇以及采取有效地匹配策略，特征的選取十分重要，它應(yīng)具有對(duì)目標(biāo)的大小、位置、灰度變化不明顯外，還應(yīng)具有如下一些特性:

(1)目標(biāo)的特征不會(huì)隨著時(shí)間的變換而變化;

(2)目標(biāo)的特征是目標(biāo)較大灰度變化區(qū)域的中心;

傳統(tǒng)的基于特征跟蹤的目標(biāo)算法常常是利用目標(biāo)的幅度特征(灰度值、頻譜值)、統(tǒng)計(jì)特征(直方圖、均值、方差)、區(qū)域特征(面積、周長、矩形度)、邊界特征(鏈碼、曲線的斜率)等，通常根據(jù)不同的應(yīng)用場合，選擇不同的目標(biāo)特征［5］。

由于遠(yuǎn)距離紅外目標(biāo)沒有紋理特征，且只表現(xiàn)出灰度圖像，因此遠(yuǎn)距離紅外目標(biāo)特征只有如下具體表現(xiàn):位置、面積、速度、運(yùn)動(dòng)方向等，算法提出一種特征融合函數(shù):將目標(biāo)的最小外接矩形中心、面積、目標(biāo)灰度特征融合起來，通過計(jì)算得出特征融合函數(shù)值，在進(jìn)行目標(biāo)匹配過程中，在區(qū)域內(nèi)搜尋與特征融合數(shù)值最接近的目標(biāo)。

(1)目標(biāo)的最小外接矩形中心

目標(biāo)最小外接矩形中心指目標(biāo)最外邊緣組成的矩形中心位置，當(dāng)運(yùn)動(dòng)目標(biāo)姿態(tài)發(fā)生變化時(shí)，目標(biāo)形心位置變動(dòng)較小，用形心跟蹤目標(biāo)比較平穩(wěn)，但是目標(biāo)形心的準(zhǔn)確提取依賴于目標(biāo)檢測和分割結(jié)果的穩(wěn)定性和準(zhǔn)確性。對(duì)于紅外圖像而言，當(dāng)前景目標(biāo)的部分灰度與背景灰度相似時(shí)，難以實(shí)現(xiàn)對(duì)目標(biāo)的準(zhǔn)確提取，導(dǎo)致形心計(jì)算不準(zhǔn)確。而目標(biāo)最小外接矩形中心則更適合描述分割后的目標(biāo)幾何中心。

(2)目標(biāo)面積

經(jīng)過圖像處理后，所得目標(biāo)圖像的像素個(gè)數(shù)，即可得到目標(biāo)面積。

(3)目標(biāo)灰度

目標(biāo)具有一定溫度，在紅外圖像中，表現(xiàn)出目標(biāo)的亮度高于周圍的背景，取目標(biāo)的灰度值較為合理，這里灰度為目標(biāo)所有像素的灰度值之和。

根據(jù)以上特征值得到目標(biāo)的特征融合函數(shù):

其中，α為目標(biāo)最小外接矩形中心權(quán)值;β為目標(biāo)面積權(quán)值;γ為目標(biāo)灰度權(quán)值。

在目標(biāo)匹配時(shí)只需計(jì)算函數(shù)f(i，j)=Φ(i)－Φ(j)，找出在搜索區(qū)域內(nèi)f(i，j)最小的值即為待跟蹤目標(biāo)。

其中:

通過比較連續(xù)兩幀的特征融合函數(shù)值，即f(i，j)越小，兩個(gè)目標(biāo)有對(duì)應(yīng)關(guān)系的可能性就越大。在目標(biāo)關(guān)聯(lián)時(shí)，正是通過特征融合函數(shù)的值來判斷下一幀中待跟蹤目標(biāo)。

3 卡爾曼濾波算法在本文中的應(yīng)用

Kalman濾波器是一種線性遞歸濾波器，適用于對(duì)多維的動(dòng)態(tài)系統(tǒng)進(jìn)行線性最小方差估計(jì)和預(yù)測，預(yù)測時(shí)具有無偏、穩(wěn)定和最優(yōu)的特點(diǎn)［6］。

本論文中主要是紅外圖像中的多目標(biāo)的位置和速度進(jìn)行估計(jì)和預(yù)測。在估計(jì)和預(yù)測過程中，由于相鄰兩幀圖像的間隔較小，此期間內(nèi)，目標(biāo)運(yùn)動(dòng)狀態(tài)變化較小，可以假設(shè)目標(biāo)在此時(shí)間間隔內(nèi)為勻速運(yùn)動(dòng)。

目標(biāo)的運(yùn)動(dòng)參數(shù)為某一時(shí)刻的位置和速度，定義目標(biāo)運(yùn)動(dòng)狀態(tài)方程為:

量測方程:

式中，xk，yk，vxk，vyk為目標(biāo)的位置和速度，估計(jì)誤差Wk和量測誤差Vk為均值為零的正態(tài)高斯噪聲。

卡爾曼濾波的計(jì)算過程可用如圖1所示。

圖1 卡爾曼濾波算法計(jì)算過程

卡爾曼濾波算法具有以下特點(diǎn):(1)它使用狀態(tài)空間模型，因而可以進(jìn)行多維濾波;(2)算法是遞推的，可以直接在計(jì)算機(jī)上實(shí)現(xiàn)實(shí)時(shí)跟蹤估計(jì);(3)既適用于平穩(wěn)過程也適用于非平穩(wěn)過程;(4)通過改變卡爾曼濾波方程的一些重要參數(shù)，可以適用于不同機(jī)動(dòng)目標(biāo)的跟蹤，也為以后濾波方法的改動(dòng)做準(zhǔn)備;(5)卡爾曼濾波與預(yù)測的協(xié)方差矩陣可以定量估計(jì)精度，對(duì)跟蹤門的形成具有重要理論意義。正是由于卡爾曼濾波具有其他跟蹤和預(yù)測算法所不具有的優(yōu)點(diǎn)，因此本文選用卡爾曼算法作為對(duì)目標(biāo)的運(yùn)動(dòng)狀態(tài)進(jìn)行預(yù)測［7］。

4 特征融合和卡爾曼濾波的組合算法

4．1 算法流程

提出特征融合和卡爾曼濾波的多目標(biāo)跟蹤算法如圖2所示。

圖2 算法流程圖

圖2 所示的處理流程可以概括為:紅外視頻序列在經(jīng)過多目標(biāo)全局檢測后，檢測出目標(biāo)提取出目標(biāo)的特征值包括目標(biāo)的矩形中心、目標(biāo)面積以及目標(biāo)灰度總和，提取的初始值啟動(dòng)Kalman濾波預(yù)測搜索匹配范圍，計(jì)算出下一幀的對(duì)應(yīng)的跟蹤窗口，然后計(jì)算搜索窗口內(nèi)所有目標(biāo)的特征融合函數(shù)值，最接近的為上一幀中對(duì)應(yīng)目標(biāo)的連續(xù)。若區(qū)域內(nèi)計(jì)算后數(shù)據(jù)關(guān)聯(lián)沒有成功，則重新進(jìn)行多目標(biāo)全局檢測;若搜索區(qū)域內(nèi)目標(biāo)關(guān)聯(lián)成功，則更新目標(biāo)的特征值作為下次Kalamn濾波的輸入值。

由于檢測目標(biāo)時(shí)，并沒有對(duì)整幅圖像內(nèi)的所有目標(biāo)進(jìn)行檢測，而是對(duì)搜索窗口進(jìn)行目標(biāo)檢測，搜索窗口的大小是整幅圖像的幾十分之一，程序的運(yùn)行時(shí)間減少，增加了算法的實(shí)時(shí)性。

4．2 實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)環(huán)境:筆記本，Intel Core(2)2．0GHz，2G內(nèi)存，在matlab2009b開發(fā)環(huán)境下編寫全部程序。

視頻圖像采用480×320，50Hz視頻圖像，視頻中共有目標(biāo)1和2兩架飛機(jī)，兩目標(biāo)飛行速度近似勻速運(yùn)動(dòng)，對(duì)以上視頻圖像采用本論文多目標(biāo)跟蹤算法，所得結(jié)果如圖3所示。

圖3 目標(biāo)跟蹤圖

圖3 中，(a)圖為原始視頻圖像，圖像中有目標(biāo)1和2;(b)圖經(jīng)過圖像檢測后，得到兩個(gè)目標(biāo)，經(jīng)過計(jì)算找到目標(biāo)的最小外接矩形，進(jìn)而推算出目標(biāo)外接矩形中心，算出目標(biāo)面積，以及兩個(gè)目標(biāo)在原始視頻中的像素灰度總值。計(jì)算出兩個(gè)目標(biāo)的特征匹配值帶入卡爾曼濾波方程，對(duì)下一幀目標(biāo)位置進(jìn)行估計(jì)，如(c)圖白色框所示，為預(yù)測目標(biāo)位置區(qū)域，然后在區(qū)域內(nèi)檢測目標(biāo)。

圖4所示為兩個(gè)目標(biāo)矩形中心運(yùn)動(dòng)軌跡圖。

圖4 目標(biāo)運(yùn)動(dòng)軌跡

實(shí)驗(yàn)過程中，取多組不同的α，β，γ值驗(yàn)證算法，取兩組比較有代表性的值的數(shù)據(jù)進(jìn)行分析。

當(dāng)取α=0．4，β=0．3，γ=0．3時(shí)，目標(biāo)特征值如表1所示。

表1 目標(biāo)特征匹配值

當(dāng)取α=0．5，β=0．3，γ=0．2時(shí)，目標(biāo)特征值如表2所示。

表2 目標(biāo)特征匹配值

表1和表2為第5、6、7、8、9幀經(jīng)過計(jì)算后得到的目標(biāo)1和目標(biāo)2的特征匹配值，經(jīng)過多次實(shí)驗(yàn)之后，確定針對(duì)本紅外圖像適合的特征系數(shù)值取α=0．4，β=0．3，γ=0．3，可以得到較好的跟蹤效果。

可以看到目標(biāo)特征值基本穩(wěn)定，在分析目標(biāo)特征值時(shí)發(fā)現(xiàn)，由于目標(biāo)檢測算法的不同，會(huì)導(dǎo)致目標(biāo)的外接矩形中心、面積，發(fā)生變化，導(dǎo)致目標(biāo)特征值發(fā)生變化，找到一個(gè)精確地目標(biāo)檢測算法也是本論文后續(xù)研究內(nèi)容的重點(diǎn)。

5 結(jié)語

本文提出了一種基于特征融合和卡爾曼濾波的紅外多目標(biāo)跟蹤算法，并將其應(yīng)用于多目標(biāo)跟蹤，較好地實(shí)現(xiàn)了其功能。實(shí)驗(yàn)結(jié)果顯示，這種跟蹤方法可以有效地跟蹤多個(gè)目標(biāo)，算法的實(shí)時(shí)性好，穩(wěn)定度高，但是也由于卡爾曼濾波自身的局限性，如何有效地利用紅外目標(biāo)的特點(diǎn)，保證跟蹤的準(zhǔn)確性仍需要進(jìn)一步研究。

［1］ LIU Gang，LIU Ming，KUANG Hai－ peng，et al．Survey on multi－tagget tracking method［J］．Electronics Optics＆Control，2004，11(3):26－30．(in Chinese)劉剛，劉明，匡海鵬，等．多目標(biāo)跟蹤方法綜述［J］．電光與控制，2004，11(3):26－30．

［2］ HU Shiqiang，JING Zhong－liang．OverView of particle filter algorithm［J］．Control and Decision，2005，20(4):361－371．(in Chinese)胡士強(qiáng)，敬忠良．粒子濾波算法綜述［J］．控制與決策，2005，20(4):361－371．

［3］ XU Feng，LU Jian－gang，SUN You－xian．Application of neural network in image processing［J］．Infromation and Control，2003，32(4):344－351．(in Chinese)許鋒，盧建剛，孫優(yōu)賢．神經(jīng)網(wǎng)絡(luò)在圖像處理中的應(yīng)用［J］．信息與控制，2005，35(12):974－977．

［4］ JIAO Bo，LI Ran．An object tracking method based on character matching in video sequence［J］．Science Technology and Engineering，2009，9(19):5811－5814．(in Chinese)焦波，李燃．視頻序列中基于特征匹配的目標(biāo)跟蹤方法［J］．科學(xué)技術(shù)與工程，2009，9(19):5811－5814．

［5］ TIAN Tian．Study and implementation of multi－target tracking algorithm［D］．Xi'an:Xidian University，2006．(in Chinese)田闐．一種多目標(biāo)跟蹤算法的研究與實(shí)現(xiàn)［D］．西安:西安電子科技大學(xué)，2006．

［6］ LUO Huan，YU Lei，LIAO Jun，et al．Application of trajectory prediction on infrared multi－targets tracking［J］．Infrared and Laser Engineering，2009，38(3):397－401．(in Chinese)羅寰，于雷，廖俊，等．軌跡預(yù)測在紅外多目標(biāo)跟蹤中的應(yīng)用［J］．紅外與激光工程，2009，38(3):397－401．

［7］ JIA Rui－ming，ZHANGHong，LI Jing－h(huán)ua．Study on algorithm of curve fitting based on kalman filter in tracking of IR weaken small objects［J］．Laser＆Infrared，2005，35(12):974－977．(in Chinese)賈瑞明，張弘，李靖華．?dāng)M合修正Kalman濾波在弱小目標(biāo)跟蹤中的應(yīng)用［J］．激光與紅外，2005，35(12):974－977．