復(fù)雜地物背景下紅外弱小目標(biāo)跟蹤算法

張學(xué)峰

?

復(fù)雜地物背景下紅外弱小目標(biāo)跟蹤算法

張學(xué)峰

（中國空空導(dǎo)彈研究院，河南 洛陽 471009）

復(fù)雜地物背景下紅外弱小目標(biāo)的跟蹤在紅外監(jiān)視系統(tǒng)中有重要的應(yīng)用價值。提出了一種基于人眼視覺系統(tǒng)原理和多目標(biāo)跟蹤技術(shù)的弱小目標(biāo)跟蹤算法，實(shí)現(xiàn)了對復(fù)雜地物背景下紅外弱小目標(biāo)的跟蹤。算法首先在圖像中提取候選目標(biāo)和各目標(biāo)對應(yīng)的目標(biāo)區(qū)域，估計(jì)相鄰幀圖像之間的運(yùn)動參數(shù)，對所有跟蹤目標(biāo)進(jìn)行軌跡預(yù)測；然后融合多信息對當(dāng)前幀目標(biāo)與目標(biāo)鏈中目標(biāo)進(jìn)行關(guān)聯(lián)，根據(jù)關(guān)聯(lián)結(jié)果對目標(biāo)鏈進(jìn)行更新；最后輸出跟蹤目標(biāo)的位置坐標(biāo)，實(shí)現(xiàn)對紅外弱小目標(biāo)的跟蹤。用實(shí)測的圖像序列對算法進(jìn)行了測試，試驗(yàn)結(jié)果表明本文算法對樹林、農(nóng)田、建筑等復(fù)雜地物背景中弱小目標(biāo)有較好的跟蹤效果，可以用于紅外監(jiān)視系統(tǒng)中對復(fù)雜地物背景下低對比度弱小目標(biāo)自動跟蹤。

紅外目標(biāo)跟蹤；人眼視覺系統(tǒng)；Kalman濾波；目標(biāo)提?。贿\(yùn)動參數(shù)估計(jì)

0 引言

復(fù)雜地物背景下紅外弱小目標(biāo)的跟蹤是紅外告警、紅外監(jiān)視系統(tǒng)的關(guān)鍵技術(shù)之一，是紅外目標(biāo)識別領(lǐng)域的研究熱點(diǎn)，研究的難點(diǎn)在于如何處理紅外目標(biāo)對比度低、無形狀信息、特征不穩(wěn)定、容易受背景干擾等問題。

紅外弱小目標(biāo)的跟蹤一般都是與目標(biāo)檢測相互依存的，主要技術(shù)可以分為兩種[1]：一種是先檢測后跟蹤（DBT）；一種是檢測前跟蹤（TBD）。后者主要用于目標(biāo)信噪比較低，需要使用多幀累積信息來檢測目標(biāo)的情況。本文主要關(guān)注已經(jīng)識別出目標(biāo)，在大部分幀中目標(biāo)都可以單幀完成檢測的情況下，如何實(shí)現(xiàn)目標(biāo)的穩(wěn)定跟蹤，原理上屬于先檢測后跟蹤算法。

近年來，國內(nèi)外學(xué)者提出了許多基于DBT思想的目標(biāo)跟蹤算法[2]，但在紅外目標(biāo)跟蹤領(lǐng)域，最常用的是基于圖像分割和基于核函數(shù)的目標(biāo)跟蹤算法?；趫D像分割的算法基本處理流程為：背景抑制，圖像分割，目標(biāo)特征提取，目標(biāo)匹配跟蹤，該方法在跟蹤目標(biāo)與地面背景發(fā)生粘連，一段時間后又分開時，容易產(chǎn)生目標(biāo)匹配錯誤，導(dǎo)致跟蹤失敗[3]。

基于核函數(shù)的算法常用的核函數(shù)有Epanechnikov核、單位均勻核函數(shù)、高斯核函數(shù)3種，由于目標(biāo)小，像素點(diǎn)少，灰度直方圖特征空間樣本稀疏，無法呈現(xiàn)明顯的統(tǒng)計(jì)規(guī)律，因此獲得的密度估計(jì)很不準(zhǔn)確[4-5]。在復(fù)雜環(huán)境下，目標(biāo)模型和實(shí)際目標(biāo)會有比較大的差別，也會導(dǎo)致跟蹤失敗[6]。這類方法在原理上都是使用目標(biāo)的核函數(shù)直方圖特征進(jìn)行跟蹤，所以要求目標(biāo)具有一定的尺寸[7]。文獻(xiàn)[8]提出了首先對目標(biāo)及其附近區(qū)域采用雙線性插值，增大目標(biāo)面積，然后用核密度估計(jì)和梯度特征進(jìn)行目標(biāo)跟蹤的方法。這些方法研究的對象雖然也為小目標(biāo)，但適用于像素大小至少5×5左右的小目標(biāo)，對于更小的目標(biāo)處理起來有困難。在紅外監(jiān)視系統(tǒng)中，為提高系統(tǒng)的作用距離，一般要求在目標(biāo)很?。ㄏ袼?×2左右）時即能對目標(biāo)進(jìn)行識別跟蹤，此時基于核函數(shù)的跟蹤方法幾乎不能使用。

現(xiàn)在的紅外成像系統(tǒng)幀頻一般較高，地面目標(biāo)的運(yùn)動較慢，且有一定的連續(xù)性，本文提出了一種復(fù)雜地物背景下紅外弱小目標(biāo)跟蹤算法，該方法基于人眼視覺系統(tǒng)（HVS：Human Visual System）原理從單幀中檢測目標(biāo)，利用多目標(biāo)跟蹤技術(shù)實(shí)現(xiàn)抗復(fù)雜地物背景干擾。

1 目標(biāo)跟蹤算法

目標(biāo)跟蹤算法原理如圖1所示，在接收到一幀視頻圖像后，首先在圖像中提取候選目標(biāo)和各目標(biāo)對應(yīng)的目標(biāo)區(qū)域，并估計(jì)當(dāng)前幀圖像和相鄰的上一幀圖像之間場景的運(yùn)動參數(shù)，同時算法對所有跟蹤目標(biāo)用Kalman濾波算法估計(jì)目標(biāo)在當(dāng)前幀中的位置；目標(biāo)關(guān)聯(lián)模塊融合場景運(yùn)動參數(shù)、目標(biāo)區(qū)域提取結(jié)果和目標(biāo)位置預(yù)測結(jié)果對當(dāng)前幀目標(biāo)與目標(biāo)鏈中目標(biāo)進(jìn)行關(guān)聯(lián)，實(shí)現(xiàn)對目標(biāo)鏈中所有目標(biāo)的跟蹤；最后輸出跟蹤目標(biāo)的位置坐標(biāo)，實(shí)現(xiàn)對紅外弱小目標(biāo)的跟蹤。在判斷出跟蹤目標(biāo)與背景發(fā)生粘連或遮擋時，使用Kalman濾波估計(jì)目標(biāo)的位置，在目標(biāo)與背景干擾分離或重新出現(xiàn)在視場中時，繼續(xù)對目標(biāo)進(jìn)行跟蹤。

1.1 弱小目標(biāo)特征分析

紅外圖像中的弱小目標(biāo)表現(xiàn)為圖像中與背景有一定灰度差的小斑塊，目標(biāo)的灰度可近似認(rèn)為服從高斯分布，但在小目標(biāo)時，目標(biāo)的灰度分布還與目標(biāo)投影到像平面上的位置有關(guān)，圖2所示為同一目標(biāo)在第22幀和第45幀時的灰度分布情況，第22幀時目標(biāo)的最大灰度為9148，目標(biāo)面積為3像素，第45幀時目標(biāo)的最大灰度變?yōu)?762，目標(biāo)面積變?yōu)?像素。定義目標(biāo)能量：

＝目標(biāo)像素灰度和－局部背景平均灰度×目標(biāo)面積，

計(jì)算得到第22幀目標(biāo)能量為982，第45幀目標(biāo)能量為1098，可以看出目標(biāo)能量相對穩(wěn)定。

圖1 目標(biāo)跟蹤算法框圖

Fig.1 Block diagram of target tracking algorithm

圖2 弱小目標(biāo)灰度分布圖

Fig.2 The target gray level distribution of dim target

1.2 基于人眼視覺系統(tǒng)原理的候選目標(biāo)檢測

人眼視覺系統(tǒng)在執(zhí)行目標(biāo)檢測任務(wù)時有很高的效率和魯棒性，HVS的主要原理有對比度機(jī)制、多分辨率描述、尺度自適應(yīng)和彈出機(jī)制。文獻(xiàn)[9]提出了一種模擬HVS的小目標(biāo)檢測算法，該算法能提取紅外圖像中的斑塊目標(biāo)，同時有效抑制背景中的邊緣，且算法可以估計(jì)出目標(biāo)的尺寸大小，為后續(xù)進(jìn)行目標(biāo)識別提供信息。該算法包含3個步驟：

①用不同尺度的高斯-拉普拉斯（LoG）濾波模板與圖像卷積，獲取不同尺度下的拉普拉斯圖像(,,)；

對婦產(chǎn)科患者給藥的過程當(dāng)中,護(hù)理人員應(yīng)當(dāng)態(tài)度和謁,主動溝通,以便更好地分散患者的注意力。注射時應(yīng)當(dāng)選擇適宜的位置,以熟練的手法進(jìn)行穿刺,穿刺過程中應(yīng)當(dāng)注意對患者進(jìn)行詢問,如患者出現(xiàn)不適,則應(yīng)當(dāng)立即停止注射并進(jìn)行檢查[3]。

1.3 目標(biāo)區(qū)域提取

準(zhǔn)確地提取跟蹤目標(biāo)區(qū)域，可以獲取目標(biāo)的更多特征信息，輔助進(jìn)行目標(biāo)識別。本文在提取的候選目標(biāo)點(diǎn)附近采用區(qū)域增長法提取目標(biāo)區(qū)域，區(qū)域增長算法的兩個要素為種子點(diǎn)選擇和停止條件設(shè)計(jì)。上一節(jié)中提取的候選目標(biāo)點(diǎn)都是局部區(qū)域內(nèi)LoG濾波結(jié)果最大的點(diǎn)，可以直接作為區(qū)域增長的種子點(diǎn)。

上一節(jié)中提取候選目標(biāo)的同時也獲取了尺度信息，可以估計(jì)出目標(biāo)的面積。將候選目標(biāo)點(diǎn)的局部區(qū)域內(nèi)的像素灰度進(jìn)行排序，根據(jù)估計(jì)目標(biāo)面積獲取目標(biāo)灰度的下限，區(qū)域增長時就將與目標(biāo)區(qū)域連通的所有大于等于閾值的像素作為目標(biāo)像素，直到與目標(biāo)區(qū)域連通的像素均不滿足條件時區(qū)域增長停止。

1.4 場景運(yùn)動參數(shù)估計(jì)

在圖像平面上，目標(biāo)的運(yùn)動由兩部分組成：目標(biāo)自身的運(yùn)動和場景整體的運(yùn)動。在紅外成像系統(tǒng)中，圖像幀頻一般較高，相鄰幀圖像之間有大量的重合部分，場景整體運(yùn)動量可以通過對圖像重合部分進(jìn)行匹配獲取。在高幀頻系統(tǒng)中（≥50Hz），相鄰幀圖像間尺度和旋轉(zhuǎn)變化較小，可以忽略，本文只對場景之間的平移運(yùn)動量進(jìn)行估計(jì)。文中使用中值流和特征點(diǎn)光流法相結(jié)合的方法估計(jì)背景運(yùn)動參數(shù)[10]，算法處理步驟如下：

①在上一幀圖像中提取均勻分布的個點(diǎn)作為特征點(diǎn)，提取每個點(diǎn)的局部區(qū)域作為特征區(qū)域，計(jì)算每個特征區(qū)域的方差，刪除方差小于方差中值的特征點(diǎn)，得到特征點(diǎn)集1；

②用光流法搜索上一幀每個特征點(diǎn)1i在當(dāng)前幀中的對應(yīng)位置2i，用光流法反向搜索當(dāng)前幀每個特征點(diǎn)2i在上一幀中的對應(yīng)位置2i￠，形成特征點(diǎn)對(1i,2i)；

③計(jì)算每個特征點(diǎn)對的后向跟蹤誤差E＝norm(1i￠－1i)，計(jì)算每對特征點(diǎn)對應(yīng)特征區(qū)域之間的相關(guān)系數(shù)作為其相似性S；

⑤獲取每對特征點(diǎn)之間的位移d＝1i－2i；

⑥返回背景運(yùn)動參數(shù)＝median(d)。

1.5 Kalman濾波目標(biāo)位置預(yù)測

在完成場景運(yùn)動參數(shù)估計(jì)后，為了提高算法對短時遮擋和地面復(fù)雜干擾的適應(yīng)能力，需要對目標(biāo)自身的運(yùn)動進(jìn)行預(yù)測。Kalman濾波器可以對動態(tài)系統(tǒng)的狀態(tài)序列進(jìn)行線性最小方差估計(jì)，具有計(jì)算量小，可實(shí)時實(shí)現(xiàn)的特點(diǎn)，在目標(biāo)跟蹤中有廣泛的應(yīng)用。本文使用Kalman濾波器來估計(jì)跟蹤目標(biāo)自身的運(yùn)動。

為了消除場景整體運(yùn)動對目標(biāo)自身運(yùn)動預(yù)測的影響，本文以消除場景運(yùn)動引起的目標(biāo)位置變化后，目標(biāo)幀間的運(yùn)動量作為觀測量。在預(yù)測中，認(rèn)為目標(biāo)近似做勻速直線運(yùn)動，Kalman濾波器的狀態(tài)方程為[11]：

測量方程：

假設(shè)第幀圖像中跟蹤算法輸出目標(biāo)位置為(p(), p())，第＋1幀相對第幀場景運(yùn)動量為(d(＋1), d(＋1))，則第＋1幀時的觀測量為：

1.6 紅外弱小目標(biāo)跟蹤算法

紅外弱小目標(biāo)特征不明顯，容易受到地面背景的干擾，采用基于特征匹配的跟蹤方法，在目標(biāo)運(yùn)動到干擾附近時，容易產(chǎn)生誤匹配，導(dǎo)致目標(biāo)丟失。本文采用多目標(biāo)監(jiān)視單目標(biāo)跟蹤的策略來提高算法對復(fù)雜背景的適應(yīng)能力，算法對背景中的干擾和目標(biāo)分別建立目標(biāo)鏈。目標(biāo)跟蹤算法處理流程如下：

①基于HVS原理從圖像中提取候選目標(biāo)點(diǎn)，使用區(qū)域增長方法提取候選目標(biāo)區(qū)域；

②使用中值流和特征點(diǎn)光流法相結(jié)合的方法估計(jì)背景運(yùn)動參數(shù)；

③如果為第一幀視頻，則對各候選目標(biāo)建立目標(biāo)鏈，初始化各目標(biāo)鏈的Kalman濾波器參數(shù)；否則對各目標(biāo)鏈?zhǔn)褂肒alman濾波器估計(jì)目標(biāo)在當(dāng)前幀中的位置，并在該位置附近搜索對應(yīng)的候選目標(biāo)作為其關(guān)聯(lián)目標(biāo)；如果判斷出跟蹤目標(biāo)與背景發(fā)生粘連或遮擋，使用Kalman濾波估計(jì)目標(biāo)的位置，繼續(xù)維持該目標(biāo)鏈，直到目標(biāo)與背景分離或者重新出現(xiàn)在視場中；

④對當(dāng)前幀關(guān)聯(lián)上的各目標(biāo)鏈的信息和Kalman濾波器參數(shù)進(jìn)行更新；

⑤如果當(dāng)前幀跟蹤目標(biāo)鏈有關(guān)聯(lián)目標(biāo)，則輸出關(guān)聯(lián)目標(biāo)的位置作為跟蹤結(jié)果，否則輸出預(yù)測的跟蹤目標(biāo)位置。

2 試驗(yàn)結(jié)果與分析

在Visual Studio 2010環(huán)境中編程實(shí)現(xiàn)了本文算法，用紅外熱像儀采集的下視山地背景中飛行的無人機(jī)序列圖像對算法進(jìn)行了測試，試驗(yàn)的硬件平臺為3.4GHz CPU，3G內(nèi)存配置的聯(lián)想T7600電腦一臺。測試視頻總幀數(shù)1460幀，跟蹤算法均能正確跟蹤目標(biāo)，未出現(xiàn)誤跟蹤和漏跟蹤情況，也未出現(xiàn)跟蹤點(diǎn)偏離。

跟蹤算法獲取的各幀中目標(biāo)的局部信噪比如圖3所示，信噪比小于1的共165幀，占11.3%，信噪比小于5的共751幀，占51.4%，場景的背景復(fù)雜性導(dǎo)致信噪比整體波動較大。各幀中目標(biāo)的能量如圖4所示，在700幀之前，目標(biāo)能量較為穩(wěn)定，可以看出1.1節(jié)給出的目標(biāo)能量定義公式適用于計(jì)算小目標(biāo)能量，700幀之后目標(biāo)能量呈上升趨勢是因?yàn)槟繕?biāo)與熱像儀之間的距離變小，大氣傳輸衰減變小的緣故。

圖3 目標(biāo)局部信噪比圖

圖4 目標(biāo)能量圖

試驗(yàn)中目標(biāo)跟蹤的結(jié)果如圖5所示，圖5(a)中白色圓形框內(nèi)為指定的跟蹤目標(biāo)，白色矩形框內(nèi)所示為背景中部分與目標(biāo)相似的干擾。圖5(b)為第100幀時的跟蹤結(jié)果，目標(biāo)周圍的背景相對均勻，局部信噪比3.16。圖5(c)為第200幀時的跟蹤結(jié)果，目標(biāo)位于較亮的背景上，局部信噪比1.5。圖5(d)為第500幀跟蹤結(jié)果，目標(biāo)信噪比3.08。圖5(e)為第700幀跟蹤結(jié)果，目標(biāo)與背景發(fā)生粘連，信噪比0.5，幾乎被背景淹沒，當(dāng)目標(biāo)與背景分離時，算法根據(jù)預(yù)測的目標(biāo)狀態(tài)快速準(zhǔn)確的跟蹤上目標(biāo)。圖5(f)為第1000幀跟蹤結(jié)果，目標(biāo)距離較近，周圍背景相對均勻，信噪比5.3。圖5(g)為第1200幀跟蹤結(jié)果，目標(biāo)位于地面兩個亮暗交替區(qū)域的邊界上，信噪比2.74。圖5(h)為第1300幀跟蹤結(jié)果，目標(biāo)位于地面一個亮帶區(qū)域上，信噪比2.8。從圖5可以看出，該序列包含了地面弱小目標(biāo)跟蹤中常見的樹林、農(nóng)田、建筑等背景類型，本文算法較好地處理了這些干擾類型，在目標(biāo)與背景發(fā)生粘連、遮擋時，算法能根據(jù)預(yù)測的目標(biāo)狀態(tài)，在目標(biāo)與背景分離或目標(biāo)重新出現(xiàn)時，快速跟蹤上目標(biāo)。

3 結(jié)論

本文在對紅外弱小目標(biāo)特征進(jìn)行分析的基礎(chǔ)上，提出了一種地面復(fù)雜場景中弱小目標(biāo)跟蹤算法，該算法由候選目標(biāo)檢測、目標(biāo)區(qū)域提取、場景運(yùn)動參數(shù)估計(jì)、目標(biāo)位置預(yù)測等模塊組成。采用實(shí)測的紅外圖像對算法進(jìn)行了測試，試驗(yàn)結(jié)果表面本文算法對樹林、農(nóng)田、建筑等復(fù)雜地物背景中弱小目標(biāo)的跟蹤有較好的效果，可以用于遠(yuǎn)距離觀測系統(tǒng)中對復(fù)雜地物背景中低對比度弱小目標(biāo)自動跟蹤。本文算法實(shí)際上對視場內(nèi)的所有疑似目標(biāo)都進(jìn)行了監(jiān)視和跟蹤，所以本文算法稍加改動即可用于多目標(biāo)跟蹤系統(tǒng)。雖然本文算法在目標(biāo)跟蹤試驗(yàn)中取得了較好的效果，但也暴露了部分問題，在目標(biāo)與背景出現(xiàn)粘連時，會導(dǎo)致目標(biāo)的位置坐標(biāo)計(jì)算出現(xiàn)一定的偏差，由于地面目標(biāo)運(yùn)動較慢，如果不能準(zhǔn)確判斷該狀態(tài)，在多幀累積誤差的影響下，會導(dǎo)致Kalman濾波器預(yù)測的目標(biāo)狀態(tài)與實(shí)際的狀態(tài)發(fā)生偏離，導(dǎo)致目標(biāo)位置預(yù)測不準(zhǔn)確，目標(biāo)與背景干擾分離時目標(biāo)識別發(fā)生錯誤，后續(xù)改進(jìn)中將對地面慢速運(yùn)動目標(biāo)的狀態(tài)預(yù)測方法進(jìn)行研究。

[1] 侯旺, 孫曉亮, 尚洋, 等. 紅外弱小目標(biāo)檢測技術(shù)研究現(xiàn)狀與發(fā)展趨勢[J]. 紅外技術(shù), 2015, 37(1): 1-10.

[2] Arnold W M Smeulders, Dung M Chu, Rita Cucchiara, et al. Visual tracking: an experimental survey[J]., 2014, 36(7): 1442-1468.

[3] 金曉會, 楊衛(wèi), 白曉方. 一種用紅外熱像儀檢測與跟蹤遮擋目標(biāo)的方法[J]. 紅外技術(shù), 2014, 36(8): 639-643.

[4] 韓振, 劉永鴻. 紅外探測系統(tǒng)線性小目標(biāo)檢測算法研究[J]. 激光與紅外, 2009, 41(3): 328-333.

[5] 侯晴宇, 卞春江, 逯力紅, 等. 紅外圖像中快速小目標(biāo)的均值移位跟蹤[J]. 哈爾濱工業(yè)大學(xué)學(xué)報, 2013, 45(4): 79-83.

[6] 陳東, 林建粦, 馬德寶. 粒子濾波在空間光電小目標(biāo)跟蹤中的應(yīng)用[J]. 光電工程, 2011, 38(3): 1-8.

[7] 章學(xué)靜, 陳禾, 楊靜. 結(jié)合卡爾曼濾波和Mean Shift的抗遮擋跟蹤算法[J]. 北京理工大學(xué)學(xué)報, 2012, 33(10): 1056-1061.

[8] Kang Yimei, Wang Guan, Hu Jiang. A bilinear interpolation mean shift small target tracking algorithm[C]//, 2011(5): 1-6.

[9] Sungho Kim, Yukyung Yang, Joohyoung Lee, et al. Small target detection utilizing robust methods of the human visual system for IRST[J]., 2009, 30(5): 994-1011.

[10] Zdenek Kalal, Krystian Mikolajczyk, Jiri Matas. Forward backward error automatic detection-of-tracking failures[C]//, 2010(20): 2756 -2759.

[11] 任章, 李露, 蔣宏. 基于紅外圖像序列的運(yùn)動目標(biāo)檢測算法研究[J]. 紅外與激光工程, 2007, 36(增刊): 136-140.

Tracking of Dim Infrared Target in Complex Background

ZHANG Xue-feng

(China Airborne Missile Academy, Luoyang 471009, China)

Tracking of small infrared target in complex background is useful in infrared monitoring system. A small target tracking algorithm based on human visual system and multi-target tracking technology is proposed, which can be used in tracking of small infrared target in complex background. Firstly, candidate targets and their features are extracted, and scene motion parameters of consecutive frame are estimated, and trajectories of tracking targets are predicted. Secondly, candidate targets of current frame are associated with the target chain, and the target chain is updated. Thirdly, the location of tracking target is got by its index from the target chain, and tracking result is outputted. The algorithm was tested using real infrared image sequences, and experiment result indicated that the algorithm has good tracking performance of dim target in complex background. This algorithm can be used in infrared monitoring systems to track small and low contrast targets.

infrared target tracking，human visual system，Kalman filter，target extraction，motion parameters estimate

TP391

A

1001-8891(2015)08-0659-05

2015-01-07；

2015-05-30.

張學(xué)峰（1984-），男，湖北松滋人，工程師，研究方向是紅外目標(biāo)自動識別、跟蹤算法。E-mail：xuefeng_26@163.com。

裝備預(yù)先研究項(xiàng)目。