面向無人機(jī)影像的目標(biāo)特征跟蹤方法研究

張 辰，趙紅穎，錢 旭

?

面向無人機(jī)影像的目標(biāo)特征跟蹤方法研究

張 辰1，趙紅穎2，錢 旭3

（1.北京航空航天大學(xué)圖像中心，北京 100191；2.北京大學(xué)遙感與地理信息系統(tǒng)研究所，北京 100871；3.中國礦業(yè)大學(xué)機(jī)電與信息工程學(xué)院，北京 100083）

提出了一種面向無人機(jī)視頻影像的目標(biāo)特征跟蹤模型，首先根據(jù)目標(biāo)檢測結(jié)果在目標(biāo)感興趣區(qū)域中采用Shi-Tomasi算法進(jìn)行角點檢測，提取目標(biāo)特征角點并在跟蹤過程中對特征角點進(jìn)行實時更新以保證角點數(shù)量滿足跟蹤條件，最后通過金字塔Lucas-Kanade算法對目標(biāo)特征進(jìn)行跟蹤。實驗結(jié)果表明，該模型魯棒性強(qiáng)且易于實現(xiàn)，在獲得良好跟蹤效果的同時可滿足實時處理要求。

目標(biāo)跟蹤；特征提??；Shi-Tomasi角點檢測；Lucas-Kanade算法

0 引言

無人駕駛飛機(jī)（unmanned aerial vehicle，UAV）是利用無線電遙控設(shè)備和自備的程序控制裝置操縱的不載人飛機(jī)，簡稱無人機(jī)。無人機(jī)視頻影像是無人機(jī)在高速飛行中獲取的航拍視頻圖像序列。作為視頻圖像處理中的關(guān)鍵技術(shù)，針對無人機(jī)視頻影像的視覺跟蹤技術(shù)在諸如航空攝影與攝像技術(shù)、航空測繪、氣象學(xué)、環(huán)境監(jiān)測、農(nóng)業(yè)和林業(yè)、自然災(zāi)害與危機(jī)管理、土木工程、交通監(jiān)視、執(zhí)法與安保應(yīng)用等軍事、民用及科研領(lǐng)域中都具有重要的研究意義和應(yīng)用價值。2014年8月3日云南魯?shù)榘l(fā)生6.5級地震后，武警部隊首次將四旋翼無人機(jī)應(yīng)用于震后救災(zāi)，無人機(jī)在極其惡劣的環(huán)境下完成航拍任務(wù)，由為合理分配救援力量、確定救災(zāi)重點、選擇救援路線、暢通指揮系統(tǒng)、搜救轉(zhuǎn)移受災(zāi)群眾提供高效準(zhǔn)確的信息參考，大幅提高了黃金72h期間的搜救效率。

目前，視覺跟蹤方法可分為基于區(qū)域的跟蹤、基于特征的跟蹤、基于變形模板的跟蹤和基于模型的跟蹤這幾大類，其中比較常用數(shù)學(xué)方法有卡爾曼濾波器、Mean Shift、粒子濾波器、動態(tài)貝葉斯網(wǎng)絡(luò)等[1-2]。由于無人機(jī)平臺的特殊性，在對由無人機(jī)所獲取的視頻影像進(jìn)行處理和分析的過程中，面臨的主要問題包括背景信息復(fù)雜、目標(biāo)特征不明確、圖像質(zhì)量低、畫面嚴(yán)重抖動等，因此直接將傳統(tǒng)的跟蹤模型直接應(yīng)用于無人機(jī)視頻數(shù)據(jù)通常無法獲得理想的跟蹤效果。

在針對無人機(jī)影像的跟蹤系統(tǒng)中，視覺跟蹤的工作流程可根據(jù)無人機(jī)視頻影像的特點分為視頻穩(wěn)像預(yù)處理[3]、目標(biāo)檢測[4-6]、特征提取和目標(biāo)跟蹤這幾個步驟。本文重點針對無人機(jī)影像的目標(biāo)特征提取及跟蹤方法開展研究，建立了一套面向無人機(jī)視頻影像的目標(biāo)特征跟蹤模型，采用Shi-Tomasi算法在目標(biāo)感興趣區(qū)域內(nèi)提取角點并確定地面目標(biāo)特征，再利用金字塔Lucas-Kanade算法實現(xiàn)對目標(biāo)特征的跟蹤。模型根據(jù)目標(biāo)姿態(tài)的變化對目標(biāo)特征角點進(jìn)行實時更新，并結(jié)合經(jīng)典的特征跟蹤算法，在滿足實時處理要求的同時，有效提高了無人機(jī)視頻影像目標(biāo)跟蹤過程中目標(biāo)特征變化以及局部遮擋時的魯棒性及穩(wěn)定性。

1 目標(biāo)特征提取

1.1 角點的檢測

角點是數(shù)字圖像中的一種重要局部特征，通過在無人機(jī)視頻圖像中檢測角點，可在保留圖像中重要特征信息的同時大幅減少信息數(shù)據(jù)量，有效提高計算速度。角點并沒有唯一的表述方式，目前，人們普遍將角點認(rèn)定為圖像邊緣曲線上曲率極大值的點或圖像中亮度變化劇烈的點。其中，Harris角點檢測算法[7-8]是目前最為常用的角點檢測算法之一。其工作原理是尋找圖像邊緣曲線中曲率極大值的點，對于一個灰度圖像，將窗口在中移動，計算出圖像中的灰度變化，用公式表示為：

式中：(,)表示窗口在圖像中的坐標(biāo)為(,)；(,)是圖像中(,)的灰度值；(＋,＋)是窗口在在(,)時這一坐標(biāo)的灰度值。由于角點是灰度值變化最大的點，因此需要求得(,)的最大值，對其進(jìn)行泰勒展開：

將公式(2)展開可得：

設(shè)一個2×2的矩陣，使得：

因此，(,)可以表達(dá)為矩陣形式：

設(shè)1、2為矩陣兩個特征值，將定義為角點響應(yīng)函數(shù)，且：

＝12－(1＋2)2(6)

設(shè)定某一閾值與進(jìn)行比較，當(dāng)大于該閾值時，則判定該點為角點。

本文采用的角點檢測算法是Shi-Tomasi角點檢測算法[9]。Shi-Tomasi算法在Harris算法的基礎(chǔ)上，將定義為兩個特征值中的較小值：

＝min(12) (7)

若大于某一預(yù)先設(shè)定的閾值min，則判定該點為強(qiáng)角點。在很多情況下，使用Shi-Tomasi算法檢測角點會獲得更好的效果。

1.2 目標(biāo)特征的選取

目標(biāo)特征選取是影響目標(biāo)跟蹤效果的關(guān)鍵因素，本文中的目標(biāo)特征選取的基本流程如圖1所示。根據(jù)已檢測出的地面目標(biāo)位置，首先選定目標(biāo)的最小矩形邊界為感興趣區(qū)域，并在原始圖像所對應(yīng)的感興趣區(qū)域中檢測角點；若在該區(qū)域中所檢測到的角點數(shù)量無法滿足跟蹤條件，則采取迭代選點的策略，即在對已檢測出的角點進(jìn)行跟蹤的同時，在下一幀目標(biāo)檢測結(jié)果圖像的感興趣區(qū)域中繼續(xù)檢測新的角點，直到感興趣區(qū)域中的角點數(shù)量滿足跟蹤條件；最后確定出最能體現(xiàn)出目標(biāo)運動狀態(tài)的一組角點并對這組角點進(jìn)行跟蹤，即實現(xiàn)目標(biāo)跟蹤。

圖1 目標(biāo)特征選取流程圖

其中，本文在特征選取中采用的角點選取策略如圖2所示。其中矩形區(qū)域為目標(biāo)檢測后確定的感興趣區(qū)域，橢圓形區(qū)域為目標(biāo)的實際位置，黑色點為一些最靠近感興趣區(qū)域邊緣的角點，由于感興趣區(qū)域中不僅包括目標(biāo)，而且還有一部分背景噪聲（陰影部分），這些角點的所在位置很可能是在這部分區(qū)域，因此，這些點不能作為之后跟蹤過程中的特征角點。最終選取的最能體現(xiàn)出目標(biāo)運動狀態(tài)的一組角點為圖中的空心點，由這些角點所確定的最小矩形邊界（虛線矩形框）為由這組點所確定出的目標(biāo)位置。

圖2 目標(biāo)特征角點選取示意圖

而該策略的另外一個規(guī)則可描述為跟蹤過程中特征角點的替換更新。在相鄰幀無人機(jī)視頻圖像的目標(biāo)感興趣區(qū)域中，角點的相對位置并不是完全靜止的，特別是在目標(biāo)遇到遮擋、形變、亮度變化的情況時，位置關(guān)系很可能發(fā)生改變。為了保證目標(biāo)位置的準(zhǔn)確性，應(yīng)對特征角點進(jìn)行實時更新。圖2(a)和圖2(b)為視頻圖像序列中兩幅相鄰圖像示意圖，角點1和角點3的位置在新一幀圖像中運動到了感興趣區(qū)域邊緣，此時確定目標(biāo)最小矩形邊界的特征角點由角點2和角點4取而代之。在此基礎(chǔ)上，可以根據(jù)角點檢測結(jié)果進(jìn)一步計算，得到目標(biāo)的質(zhì)心坐標(biāo)，實現(xiàn)對目標(biāo)位置的精確檢測。設(shè)質(zhì)心的坐標(biāo)為(,)，計算公式如下：

式中：(,)為角點的坐標(biāo)；為角點數(shù)目。

2 Lucas-Kanade跟蹤算法

2.1 Lucas-Kanade算法原理

在對所選取特征角點進(jìn)行跟蹤的過程中，本文以Lucas-Kanade跟蹤算法為理論基礎(chǔ)實現(xiàn)目標(biāo)跟蹤。Lucas-Kanade算法是計算機(jī)視覺領(lǐng)域中一種廣泛使用的光流估算差分方法，目的是通過計算稀疏光流實現(xiàn)對目標(biāo)特征的跟蹤，計算復(fù)雜度低，且具備良好的跟蹤精度。一般情況下，采用Lucas-Kanade算法實現(xiàn)目標(biāo)跟蹤需同時滿足亮度恒定、時間連續(xù)、空間一致這3個條件[10]。

亮度恒定指圖像中目標(biāo)區(qū)域的像素在幀間運動時不隨時間發(fā)生明顯變化，對于灰度圖像，即被跟蹤目標(biāo)的灰度值在相鄰幀間不變。亮度恒定的公式可被表示為：

(,)≡(((),)＝((＋d),＋d) (9)

即被跟蹤目標(biāo)的像素灰度值不隨時間變化而變化：

時間連續(xù)指兩個相鄰幀圖像中的內(nèi)容位移很小，圖像內(nèi)容隨時間緩慢變化。在實際應(yīng)用中表現(xiàn)為時間變化相對于圖像運動的比例足夠小，即目標(biāo)在相鄰幀間的運動比較小。

空間一致是指在同一場景中，同一表面上鄰近的點具有相似的運動，在圖像平面中的投影也在鄰近區(qū)域。Lucas-Kanade算法基于圖像內(nèi)容在相鄰兩幀圖像間點的鄰域內(nèi)大致不變的這一假設(shè)，假定光流方程適用于在以點為中心窗口內(nèi)的所有像素，局部圖像光流矢量(V,V)需滿足以下等式：

式中：q是窗口中的像素；I(q)、I(q)、I(q)是圖像相對于點(,)和時間的偏微分。令：

(AA)可逆時，方程的解可進(jìn)一步表示為：

跟蹤窗口中心在圖像的角點區(qū)域時，(AA)具有兩個線性無關(guān)的特征向量，即(AA)滿秩，使得(AA)可逆，因此這些角點是可用于Lucas-Kanade跟蹤算法的良好特征點。

2.2 金字塔Lucas-Kanade特征點跟蹤算法

對于大多數(shù)30Hz以下的視頻圖像序列，特別是無人機(jī)視頻數(shù)據(jù)，漂移、晃動等大而不連貫的運動是普遍存在的，因此無人機(jī)視頻數(shù)據(jù)往往無法滿足上述條件。將圖像金字塔與Lucas-Kanade算法結(jié)合可以解決這一問題[11]。

金字塔Lucas-Kanade算法的計算原理如圖3所示，對于兩幅連續(xù)圖像當(dāng)圖像和，設(shè)I是金字塔第層圖像，其中0是金字塔第0層原始圖像，0中的特征點(,)在第層圖像中表示為p(/2,/2)。使用Lucas-Kanade算法計算此點在J中所對應(yīng)的位置p(,)＋d(,)，其中d為角點在第層中的平移量。設(shè)g為第層中的光流猜測值，得到金字塔層間的光流傳遞結(jié)果，以這一光流值作為其下一層的光流計算的初值，對圖像金字塔上采樣，重復(fù)這一過程，直至第0層估計出最終的光流計算結(jié)果。由于圖像金字塔按照由粗至精方式計算，誤差會隨著層數(shù)的降低而增加，因此不宜設(shè)置過大，一般取2≤≤4。

3 實驗結(jié)果與分析

3.1 仿真平臺及實驗數(shù)據(jù)

本論文中實仿真實驗硬件平臺為PC臺式計算機(jī)，配置如下：

CPU：Intel Pentium CPU G860 DualCore 3.00GHz

內(nèi)存：8.00GB RAM

顯卡：NVIDIA GeForce GT640 (2048 MB)

操作系統(tǒng)：Microsoft Windows 7 Ultimate 64-bit

本文中設(shè)計的跟蹤模型基于Visual Studio 2010平臺實現(xiàn)，其中的部分函數(shù)調(diào)用于OpenCV計算機(jī)視覺庫。實驗數(shù)據(jù)為一段MP4格式無人機(jī)仿真視頻，具體參數(shù)如下：

格式：MPEG-4

幀率（fps）：29.93

畫面尺寸（像素）：1280×720

碼率（kbps）：8373

時間長度（ms）：12430

圖3 金字塔Lucas-Kanade算法計算原理

Fig.3 Principle of pyramid Lucas-Kanade algorithm

3.2 實驗方法及仿真效果

仿真實驗的算法流程可以分為特征檢測和目標(biāo)跟蹤兩個階段，首先利用文獻(xiàn)[6]中的目標(biāo)檢測方法確定目標(biāo)感興趣區(qū)域，在此區(qū)域內(nèi)檢測角點并進(jìn)行特征選取，檢測結(jié)果如圖4所示。可以看出，檢測到的角點數(shù)目隨視頻圖像序列的播放而增加，當(dāng)達(dá)到一定數(shù)目后，利用本文提出的選點規(guī)則確定出目標(biāo)的最小矩形邊界和目標(biāo)質(zhì)心。

確定目標(biāo)區(qū)域后，使用金字塔Lucas-Kanade算法對特征角點進(jìn)行跟蹤，目標(biāo)位置由目標(biāo)感興趣區(qū)域中的特征角點所確定，跟蹤效果如圖5所示。其中圖5(a)中所采用的跟蹤模型僅對初始特征角點進(jìn)行跟蹤，并且在跟蹤過程中并未進(jìn)行特征角點實時更新，圖5(b)中為采用本文跟蹤模型后的跟蹤效果。

在目標(biāo)特征確定后，利用本章算法進(jìn)行目標(biāo)跟蹤所耗費的時長約15ms/幀，可以滿足30fps以下視頻圖像序列的實時處理要求。

4 結(jié)論

本文提出一種面向無人機(jī)視頻影像的目標(biāo)特征跟蹤方法，采用Shi-Tomasi算法在目標(biāo)感興趣區(qū)域中檢測角點，根據(jù)檢測結(jié)果提取目標(biāo)特征，同時在跟蹤過程中對特征角點進(jìn)行實時更新，最終通過金字塔Lucas-Kanade算法實現(xiàn)對目標(biāo)特征的跟蹤。實驗結(jié)果表明，利用該模型對目標(biāo)特征進(jìn)行跟蹤可在獲得良好跟蹤效果的同時滿足實時處理要求。

圖4 目標(biāo)特征選取效果圖

Fig.4 Results of object features selecting

圖5 目標(biāo)跟蹤效果對比

Fig.5 Results of object tracking

[1] Hu Weiming, TAN Tieniu, WANG Liang, et al. A survey on visual surveillance of object motion and behaviors[J].,,, 2004, 32(3): 334-352.

[2] 楊戈, 劉宏. 視覺跟蹤算法綜述[J]. 智能系統(tǒng)學(xué)報, 2010, 5(2): 95-105.

[3] 趙紅穎, 金宏, 熊經(jīng)武, 等. 電子穩(wěn)像技術(shù)概述[J]. 光學(xué)精密工程, 2001, 9(4): 353-359.

[4] 江友誼, 余瑞星, 宋軍艷, 等. 基于ICM的局部不變特征提取方法[J]. 紅外技術(shù), 2012, 34(3): 177-180.

[5] Ferrari V, Jurie F, Schmid C. From images to shape models for object detection[J]., 2010, 87(3): 284-303.

[6] 張辰, 趙紅穎, 錢旭. 直方圖反向投影多目標(biāo)檢測優(yōu)化算法[J]. 計算機(jī)系統(tǒng)應(yīng)用, 2014(2): 178-182, 218.

[7] Harris C, Stephens M. A combined corner and edge detector[C]//, 1988: 147-151.

[8] 羅剛, 張云峰. 應(yīng)用角點匹配實現(xiàn)目標(biāo)跟蹤[J].中國光學(xué), 2009, 2(6): 477-481.

[9] Shi J, Tomasi C. Good Features to Track[C]//, 1994: 593-600.

[10] Bradski G R, Kaehler A.:[M]. O'Reilly Media, Incorporated, 2008.

[11] 江志軍, 易華蓉. 一種基于圖像金字塔光流的特征跟蹤方法[J]. 武漢大學(xué)學(xué)報:信息科學(xué)版, 2007(8): 680-683.

Research on Object Feature Tracking Method Oriented to UAV Images

ZHANG Chen1，ZHAO Hong-ying2，QIAN Xu3

（1.，，100191，；2.，，100871，；3.，，100083，）

An object feature tracking model oriented to UAV images is proposed. Firstly, corners in the region of interest which determined based on the object detection result are detected by Shi-Tomasi corner detection method. Feature corners are extracted and updated in real-time to assure the quantity of the detected features meet the tracking requirement. Finally, the pyramid Lucas-Kanade algorithm is used to track object features. The simulation results show that the proposed model is easily implemented and has good robustness. Besides, it performs well in object tracking and the real-time requirement can be fulfilled.

object tracking，feature extraction，Shi-Tomasi corner detection，Lucas-Kanade algorithm

TP751

A

1001-8891(2015)03-0224-05

2014-08-16；

2014-09-18.

張辰（1988-），男，博士研究生，主要研究方向為數(shù)字圖像處理，計算機(jī)視覺。