多目標(biāo)艦船自動跟蹤方法研究*

張樹懷，董 超，李 彬，田聯(lián)房，陳澤創(chuàng)

(1.華南理工大學(xué)自動化科學(xué)與工程學(xué)院,廣東 廣州510640; 2.國家海洋局南海調(diào)查技術(shù)中心,廣東 廣州 510640)

多目標(biāo)艦船自動跟蹤方法研究*

張樹懷1，董 超2**，李 彬1，田聯(lián)房1，陳澤創(chuàng)1

(1.華南理工大學(xué)自動化科學(xué)與工程學(xué)院,廣東 廣州510640; 2.國家海洋局南海調(diào)查技術(shù)中心,廣東 廣州 510640)

目前針對背景復(fù)雜的海上艦船作為跟蹤對象的跟蹤算法研究較少。另外，多目標(biāo)跟蹤算法在變化頻繁的背景條件下的精確性和實(shí)時性不足。為了提高多目標(biāo)艦船跟蹤的視覺跟蹤算法的實(shí)時性和魯棒性，本文提出了一種改進(jìn)的基于TLD(Tracking-Learning-Detection)多目標(biāo)艦船自動跟蹤算法。該算法實(shí)現(xiàn)了海上多個目標(biāo)艦船準(zhǔn)確實(shí)時跟蹤。首先，算法應(yīng)用海天線檢測與提取方法，利用最大類間方差閾值分割和Hough變換提取海天線；其次，算法利用Kalman濾波原理對海天線上的目標(biāo)艦船進(jìn)行定位與檢測，分離出目標(biāo)艦船；最后通過提取出來的目標(biāo)用其最小外接矩形生成目標(biāo)初始跟蹤框，跟蹤器利用初始跟蹤框的位置坐標(biāo)信息對目標(biāo)進(jìn)行實(shí)時自動跟蹤。算法運(yùn)行過程中都在海天線附近進(jìn)行掃描檢測，縮小了圖像遍歷范圍，提高了算法的實(shí)時性。實(shí)驗(yàn)表明，通過對比典型的Mean-shift算法以及原始TLD目標(biāo)跟蹤算法，本文算法跟蹤結(jié)果的精度較高，實(shí)時性較好。

海天線提??； 多目標(biāo)跟蹤； Tracking-Learning-Detection

基于攝像頭海上目標(biāo)艦船的自動跟蹤是艦船識別的關(guān)鍵步驟，同時為船員判斷可疑艦船提供位置、航向等相關(guān)信息。

目前，國內(nèi)外大多數(shù)目標(biāo)跟蹤算法都是以人或者車輛作為跟蹤目標(biāo)，其算法選擇背景相對簡單，噪聲干擾較少，跟蹤目標(biāo)通常比較單一。相比之下，海上艦船跟蹤算法應(yīng)用場景十分復(fù)雜。傳統(tǒng)的跟蹤算法無法滿足實(shí)時跟蹤目標(biāo)的需求。并且，在海上跟蹤領(lǐng)域，國內(nèi)外大都以雷達(dá)設(shè)備作為研究對象來跟蹤相應(yīng)艦船，很少有專門針對海上多目標(biāo)艦船的視頻跟蹤算法，因此，基于視頻的海上多目標(biāo)艦船跟蹤是機(jī)器視覺領(lǐng)域研究的難點(diǎn)。

目標(biāo)跟蹤算法當(dāng)前主要有基于特征的跟蹤算法[1]，如Mean-shift[2]和Cam-shift[3],基于區(qū)域的跟蹤算法[4]，基于輪廓的跟蹤算法[5]，基于模型的跟蹤算法[6]，基于檢測器的跟蹤算法[7]?；谔卣鞲櫡椒ā⒒趨^(qū)域的跟蹤算法、基于輪廓的跟蹤算法、基于模型的跟蹤算法皆因其抗干擾性差、運(yùn)動目標(biāo)形態(tài)發(fā)生變化跟蹤失敗、只適用單目標(biāo)跟蹤、建模困難等問題而不被廣泛應(yīng)用[8]。而基于檢測器的跟蹤算法是一種自適應(yīng)的、可靠的跟蹤技術(shù)，其解決了目標(biāo)運(yùn)動形態(tài)變化或者特征發(fā)生變化時跟蹤失敗的問題，同時可以對多個目標(biāo)進(jìn)行跟蹤[9]。當(dāng)前比較流行的基于檢測器的目標(biāo)跟蹤算法，其中最具代表性的是TLD目標(biāo)跟蹤算法[10]，該算法是在2010年由英國薩里大學(xué)博士生Zdenek Kalal提出的一種算法，該算法使用第一幀中人工標(biāo)記的樣本作為訓(xùn)練檢測器的訓(xùn)練樣本，將目標(biāo)區(qū)域信息作為正樣本，將其周圍信息作為負(fù)樣本，利用在線學(xué)習(xí)對檢測器進(jìn)行更新。但其算法跟蹤的一個前提是必須在第一幀的時候進(jìn)行人工手動標(biāo)記，無法實(shí)現(xiàn)目標(biāo)的自動檢測與初始跟蹤框的自動生成，無法滿足現(xiàn)實(shí)自動跟蹤目標(biāo)的要求；同時存在原始的TLD算法處理過程復(fù)雜，運(yùn)算量巨大，算法的實(shí)時性差，準(zhǔn)確率較低，無法適應(yīng)在海上復(fù)雜環(huán)境下的跟蹤等問題。

針對國內(nèi)外對海上多目標(biāo)艦船跟蹤算法的空缺以及原始TLD算法運(yùn)算復(fù)雜，準(zhǔn)確率較低和快速性差無法實(shí)時進(jìn)行海上目標(biāo)跟蹤以及初始跟蹤框無法自動生成等問題，本文在TLD算法的基礎(chǔ)上提出海天線檢測與提取，縮小了算法中對視頻圖像遍歷的范圍，提高了快速性與實(shí)時性，同時也對原始算法中手工選取跟蹤目標(biāo)進(jìn)行改進(jìn)，利用Kalman濾波思想對閾值進(jìn)行設(shè)定及海天線位置，提取目標(biāo)艦船位置，從而自動生成初始跟蹤框?qū)δ繕?biāo)進(jìn)行自動跟蹤，具有較好的適應(yīng)性，實(shí)時性和準(zhǔn)確性，適合在復(fù)雜海上背景下對多個目標(biāo)艦船進(jìn)行實(shí)時自動跟蹤。

1 算法概述

基于TLD的多目標(biāo)艦船自動跟蹤算法框架分為三個主要部分：(1)使用最大類間方差閾值分割法以及相應(yīng)的Hough變換[11]檢測與提取海天線；(2)在海天線位置附近利用Kalman濾波器進(jìn)行目標(biāo)檢測，再根據(jù)提取出來的目標(biāo)利用其最小外接矩形生成初始跟蹤框；(3)在之后的跟蹤過程中，通過對每一幀圖像用跟蹤器模塊和檢測器模塊共同進(jìn)行分析處理。跟蹤器模塊根據(jù)上一幀中目標(biāo)的位置和大小情況來預(yù)測當(dāng)前幀中目標(biāo)所在的位置。檢測器模塊對當(dāng)前幀窗口系統(tǒng)的掃描，檢測出一個或者多個可能的目標(biāo)區(qū)域。檢測結(jié)果和跟蹤結(jié)果輸入到融合處理模塊，該模塊可以判斷出當(dāng)前視頻幀是否存在需要跟蹤的目標(biāo)、目標(biāo)位置以及當(dāng)前幀的跟蹤軌跡是否有效等信息。這些融合處理結(jié)果跟蹤結(jié)果都一同送到學(xué)習(xí)模塊，學(xué)習(xí)模塊根據(jù)輸入的結(jié)果校正和更新跟蹤器和檢測器。算法框圖如圖1所示。

2 基于OTSU法和Hough變換提取海天線

在海上復(fù)雜背景環(huán)境下，要想對多個目標(biāo)艦船進(jìn)行跟蹤，往往會受到各種海面波浪等噪聲影響，在遠(yuǎn)海航行中，出現(xiàn)在視野中的大多數(shù)的海上艦船目標(biāo)都位于海天線附近。針對海上環(huán)境的特點(diǎn)，利用最大類間方差法(OTSU法)[12]和相應(yīng)的Hough變換提取出海天線，根據(jù)海天線的位置可以縮小本文算法對圖像的遍歷范圍，提高算法的快速性。

最大類間方差法算法的數(shù)學(xué)描述如式(1)-(7)。

ω0=N0/(M×N),

(1)

式中:ω0為前景的像素點(diǎn)數(shù)占整幅圖像的比例;N0為圖像中像素的灰度值小于閾值的像素個數(shù);M為圖像像素的長;N為圖像像素的寬。

ω1=N1/(M×N),

(2)

式中:ω1為背景像素點(diǎn)數(shù)占整幅圖像的比例;N1為圖像中像素的灰度值小于閾值的像素個數(shù)。

圖1 算法整體框圖Fig 1 The flowchart of the algorithm

(3)

ω0+ω1=1,

(4)

μ=ω0×μ0+ω1×μ1,

(5)

式中:μ為圖像的總平均灰度;μ0為前景的像素平均灰度;μ1為背景的像素平均灰度。

g=ω0×(μ0-μ)2+ω1×(μ1-μ)2,

(6)

式中g(shù)為圖像的類間方差。

將式(5)代入式(6)，得到等價(jià)公式如式(7)所示。

g=ω0×ω1×(μ1-μ)2,

(7)

采用遍歷的方法得到使類間方差最大的閾值T，即為所求。在得到圖像的最大的閾值后，通過Hough變換得到海天線。

Hough變換魯棒性高，而且算法執(zhí)行消耗時間少，能滿足實(shí)時性的要求。其計(jì)算公式如式(8)所示，其中式(8)為直線的極坐標(biāo)方程。

ρ=xcosθ+ysinθ,

(8)

式中：ρ為直線上與過原點(diǎn)的垂線交點(diǎn)(x,y)到原點(diǎn)的距離；θ為過原點(diǎn)的垂線與x軸正方向的夾角；x為交點(diǎn)橫坐標(biāo)；y為交點(diǎn)縱坐標(biāo)。

如圖2所示，圖像空間中一條直線，參數(shù)空間就變?yōu)?ρ-θ)空間，(x-y)空間中的任意一條直線對應(yīng)了空間(ρ-θ)內(nèi)的一個點(diǎn)，由式(8)可知，(x-y)空間內(nèi)的一點(diǎn)對應(yīng)了(ρ-θ)空間中的一條正弦曲線。如果有一組位于由參數(shù)ρ和θ決定的直線上的點(diǎn)，則每個點(diǎn)對應(yīng)了參數(shù)空間中的一條正弦曲線，所有這些曲線必交于點(diǎn)(ρ,θ)。

圖2 對偶示意圖

同樣，在計(jì)算的過程中需要對參數(shù)空間進(jìn)行離散化，其數(shù)學(xué)描述如式(9)所示。

(9)

式中：θn為每個單元的中心點(diǎn)坐標(biāo)的角坐標(biāo)值，ρn為每個單元的中心點(diǎn)坐標(biāo)的極半徑值，n為分割段數(shù)，Δθ為將π平均分割Nθ所占的角度值，Δρ為將π平均分割Nρ所占的半徑值。

(10)

式中L是為圖像中的點(diǎn)(x,y)距原點(diǎn)的距離最大值。

經(jīng)過最大類間方差法求出閾值為0.070 6，通過閾值設(shè)定，再經(jīng)過Hough變換后，提取出了對應(yīng)的海天線，如圖3b中綠色標(biāo)記。

3 基于Kalman濾波器的檢測模塊設(shè)計(jì)

Kalman濾波器[13]具有無偏、穩(wěn)定、等特點(diǎn)，在即使并不知道模型的確切性質(zhì)，也可以根據(jù)信號的過去修正信號的當(dāng)前狀態(tài)，甚至可以對將來狀態(tài)進(jìn)行估計(jì)。在目標(biāo)檢測過程中，常常由于目標(biāo)運(yùn)動狀態(tài)改變而影響檢測效果，所以需要對目標(biāo)進(jìn)行預(yù)測以便實(shí)現(xiàn)準(zhǔn)確的跟蹤。本文提出基于Kalman濾波器的檢測模塊是與目標(biāo)檢測算法[14]緊密結(jié)合的。TLD檢測模塊是基于掃描窗口策略，在第一幀圖像上，根據(jù)初始目標(biāo)的區(qū)域和大小信息，以子窗口的形式給出所有可能的具有不同位置及大小的目標(biāo)邊界框(子窗口)，在接下來的每一幀圖像中，以窗口掃描的形式通過一個級聯(lián)分類器對每個子窗口內(nèi)的圖像內(nèi)容進(jìn)行判斷，決定是否為目標(biāo)。

圖3 海天線提取圖Fig.3 The diagram ofsea antenna

本文在檢測模塊做了一些改進(jìn)，使得TLD算法能夠在一開始就能檢測出目標(biāo)，并對其進(jìn)行有效的自動跟蹤。算法思路是通過上面得到的海天線位置以及利用Kalman濾波器將目標(biāo)初始狀態(tài)賦予濾波器預(yù)測目標(biāo)運(yùn)動狀態(tài)，然后將得到的狀態(tài)信息賦予檢測器進(jìn)行檢測，尋找最佳匹配，獲得目標(biāo)具體信息，提取出艦船目標(biāo)。其數(shù)學(xué)描述如式(11)、(12)所示，其中式(11)為狀態(tài)方程，式(12)為觀測方程。

xk=Axk-1+wk-1，

(11)

式中：xk為k時刻的系統(tǒng)狀態(tài)矢量；A為系統(tǒng)狀態(tài)轉(zhuǎn)移矩陣；xk-1為k-1時刻的系統(tǒng)狀態(tài)矢量；wk-1為相互獨(dú)立的均值為零高斯白噪聲，表示狀態(tài)轉(zhuǎn)移噪聲，概率分布可以表示成p(w)～N(0,Q)。

zk=Hxk+vk，

(12)

式中：zk為k時刻的系統(tǒng)觀測矢量；H為觀測矩陣；vk為相互獨(dú)立的均值為零高斯白噪聲，表示觀測噪聲，概率分布可以表示成p(v)～N(0,R)。矩陣Q和R分別為狀態(tài)轉(zhuǎn)移噪聲和觀測噪聲的協(xié)方差矩陣，實(shí)踐中我們將其分別設(shè)為：Q=10-5I4，R=10-1I2，其中I4為4×4的單位矩陣，I2為2×2的單位矩陣。

選取每幀圖像中目標(biāo)中心的位置信息來構(gòu)建Kalman濾波器中k時刻的狀態(tài)變量和觀測值，其數(shù)學(xué)描述如如式(13)、(14)所示，其中式(13)為系統(tǒng)狀態(tài)向量，式(14)為系統(tǒng)觀測向量。

xk=[pxpyvxvy]T，

(13)

式中：px和py分別表示為中心在水平方向和豎直方向上的坐標(biāo)分量信息；vx和vy分別代表的是目標(biāo)在水平方向和豎直方向上的速度信息。

zk=[zxzy]T，

(14)

式中，zx和zy分別代表的是在當(dāng)前幀中觀測到的目標(biāo)中心在水平方向和豎直方向上的坐標(biāo)信息。

在實(shí)際圖像序列中，相鄰兩幀間的時間間隔非常短，則認(rèn)為目標(biāo)在相鄰兩幀間做勻速運(yùn)動，系統(tǒng)為線性模型。其數(shù)學(xué)描述如式(15)、(16)所示，其中式(15)為狀態(tài)轉(zhuǎn)移陣，式(16)為系統(tǒng)觀測矩陣。

(15)

(16)

其中t代表的是相鄰兩個視頻幀之間的時間間隔。

通過Kalman濾波器在海天線附近進(jìn)行艦船目標(biāo)檢測，可以準(zhǔn)確獲得定位目標(biāo)的位置和大小信息，如圖4b所示。

圖4 初始目標(biāo)的確定Fig.4 The initial target

在提取目標(biāo)艦船后，利用目標(biāo)的最小外接矩形框生成初始的目標(biāo)跟蹤框，如圖5所示。

圖5 目標(biāo)初始跟蹤框

4 跟蹤模塊和融合處理模塊的改進(jìn)

本文針對了原始TLD算法存在的算法復(fù)雜，運(yùn)算時間較長，對其進(jìn)行了改進(jìn)，將跟蹤器和信息融合處理器的遍歷范圍從原來的整一幅圖像到在海天線附近的遍歷，縮小了范圍，提高了算法的快速性。其運(yùn)行流程如下：

(1)光流跟蹤器[15]根據(jù)目標(biāo)在上一幀中的位置和大小信息，由自適應(yīng)跟蹤器計(jì)算出目標(biāo)在當(dāng)前幀中所在的區(qū)域以及大小，以及設(shè)定遍歷范圍。

(2)用隨機(jī)森林分類器[16]和檢測器對當(dāng)前幀中海天線位置附近進(jìn)行掃描，找出當(dāng)前幀中存在目標(biāo)的一個或多個可能的區(qū)域。

(3)在線模板對當(dāng)前幀進(jìn)行判斷，如果有效，則進(jìn)入學(xué)習(xí)模塊，通過在線學(xué)習(xí)[17-18]完成檢測器的在線更新，然后回到步驟(1)，開始對下一幀進(jìn)行處理。

5 實(shí)驗(yàn)結(jié)果及分析

為了驗(yàn)證本文提出的TLD多目標(biāo)艦船自動跟蹤方法，這里采用了兩組視頻序列進(jìn)行實(shí)驗(yàn)，并比較了三種不同方法的實(shí)驗(yàn)結(jié)果，即傳統(tǒng)的Mean-shift方法，原始TLD方法和改進(jìn)后的自動跟蹤方法并對三種方法的跟蹤結(jié)果進(jìn)行比較。所用算法實(shí)驗(yàn)的環(huán)境都是在MATLABR2016b+VS2010+openCV2.4.8，CPUIntelcorei5,內(nèi)存4G，Window7，所用的視頻數(shù)據(jù)均來自南海拍攝的艦船視頻,在預(yù)處理中將視頻調(diào)節(jié)成320×240。

5.1 跟蹤效果評價(jià)指標(biāo)

目前目標(biāo)跟蹤方法的評價(jià)指標(biāo)主要根據(jù)跟蹤結(jié)果與目標(biāo)實(shí)際位置進(jìn)行差異比較。本文采用跟蹤結(jié)果與基準(zhǔn)數(shù)據(jù)的中心偏移量作為評價(jià)跟蹤結(jié)果好壞的指標(biāo)，其主要表現(xiàn)為跟蹤中心與實(shí)際真實(shí)中心的偏移程度，其數(shù)學(xué)描述如式(17)所示。

(17)

對于一個視頻來說，可以通過其平均值來評價(jià)整個跟蹤性能的好壞，其數(shù)學(xué)描述如式(18)所示。

(18)

式中：Mean表示的是平均中心偏移量；N視頻總幀數(shù)。

本文還利用了TLD跟蹤到的幀數(shù)與總幀數(shù)的比值來計(jì)算TLD跟蹤的成功率，其數(shù)學(xué)描述如式(19)所示。

s=R/N。

(19)

式中：R表示TLD跟蹤到的幀數(shù)；N表示的是總幀數(shù)；s表示成功率。

同時通過對跟蹤進(jìn)行統(tǒng)計(jì)，對跟蹤幀率進(jìn)行了比較，檢驗(yàn)算法的快速性。

5.2 試驗(yàn)結(jié)果及分析

實(shí)驗(yàn)選取了具有復(fù)雜背景環(huán)境的海上視頻序列作為測試序列，序列中包含了攝像頭搖搖晃晃導(dǎo)致艦船脫離視野后重新回到視野的跟蹤情況，從單目標(biāo)到多目標(biāo)進(jìn)行測試，本文算法中實(shí)現(xiàn)的是全自動跟蹤，而Mean-shift方法和原始TLD算法均采用手動框選跟蹤框，而本文算法是自動生成跟蹤框，為了保持對比的正確性，使三種方法的初始跟蹤框保持盡可能相同。

(1)單目標(biāo)場景實(shí)驗(yàn)。實(shí)驗(yàn)內(nèi)容：本實(shí)驗(yàn)采用單目標(biāo)海上視頻，跟蹤目標(biāo)為艦船，選取視頻幀數(shù)為300幀，視頻中，由于海上波浪影響，導(dǎo)致攝像頭拍攝的視頻中艦船脫離視野后重新回到視野，在圖6、7、8中，圖a為初始狀態(tài)，圖b為正常姿態(tài)的艦船，圖c為艦船消失視野中，圖d為艦船重新回到視野中。

圖6為Mean-shift跟蹤結(jié)果；圖7為原始TLD跟蹤結(jié)果；圖8為本文方法跟蹤結(jié)果。

圖6 Mean-shift跟蹤

通過對圖6、7、8所示方法的跟蹤結(jié)果進(jìn)行進(jìn)一步分析。由圖6可知，Mean-shift對艦船目標(biāo)跟蹤有一定的偏離，當(dāng)目標(biāo)偏離開視場時，視頻中還是出現(xiàn)跟蹤框，這是明顯錯誤的，同時當(dāng)目標(biāo)重新回到視場中的時候，跟蹤偏離更加明顯。

圖7 原始TLD跟蹤

圖8 本文方法跟蹤

對圖7分析可以知道，當(dāng)艦船偏離視野又重新回到視野的過程中，跟蹤框稍微發(fā)生偏移，但總體能跟蹤目標(biāo)，比Mean-shift跟蹤效果理想。

對圖8進(jìn)行分析，與Mean-shift算法和原始TLD算法相比，本文方法根據(jù)在海天線附近進(jìn)行掃描，根據(jù)Kalman濾波原理進(jìn)行預(yù)測估計(jì)艦船目標(biāo)位置，能準(zhǔn)確跟蹤艦船，所以該方法的跟蹤效果較前面兩種方法更為理想。

(2)多目標(biāo)場景實(shí)驗(yàn)。實(shí)驗(yàn)內(nèi)容：本實(shí)驗(yàn)采用多目標(biāo)海上視頻，跟蹤目標(biāo)為兩艘艦船，選取視頻幀數(shù)為300幀，視頻中，由于攝像頭轉(zhuǎn)向影響，導(dǎo)致拍攝的視頻中艦船1脫離視野后重新回到視野，在圖9～11中，圖a為初始狀態(tài)，圖b為艦船1即將偏離出視場，圖c為艦船1消失于視野中，圖d為艦船1重新回到視野中。

圖9為Mean-shift多目標(biāo)跟蹤結(jié)果；圖10為原始TLD多目標(biāo)跟蹤結(jié)果；圖11為本文方法多目標(biāo)跟蹤結(jié)果。

圖9 Mean-shift多目標(biāo)跟蹤

圖10 原始TLD跟蹤

圖11 本文多目標(biāo)跟蹤

對圖9～11所示不同方法跟蹤結(jié)果進(jìn)行進(jìn)一步分析。如圖9所示Mean-shift算法是根據(jù)目標(biāo)的直方圖信息對圖像進(jìn)行遍歷查找相應(yīng)目標(biāo)，由于艦船0的直方圖信息跟桅桿的直方圖信息接近，所以導(dǎo)致艦船0跟蹤失敗，艦船1跟蹤框偏離。

如圖10所示，原始TLD能夠大體上跟蹤艦船目標(biāo)，但是跟蹤框稍微發(fā)生了偏移，跟蹤效果比Mean-shift算法理想。

如圖11所示，本文方法采用海天線進(jìn)行目標(biāo)掃描，再結(jié)合Kalman濾波原理對目標(biāo)位置進(jìn)行預(yù)測，通過在線學(xué)習(xí)，對兩艘艦船目標(biāo)進(jìn)行準(zhǔn)確的跟蹤，跟蹤效果較Mean-shift和原始TLD更為理想。

圖12 單目標(biāo)場景中心偏移量

圖13 多目標(biāo)場景中心偏移量

經(jīng)過兩次試驗(yàn)，在不同場景下對不同算法進(jìn)行比較后，跟蹤準(zhǔn)確率、跟蹤平均中心偏移量以及跟蹤效率的結(jié)果對比如表1～3所示，跟蹤的中心偏移量如圖12～13所示，其中平均中心偏移量是通過對300幀視頻的中心偏移量取平均得到的結(jié)果。

表1 不同場景下跟蹤準(zhǔn)確率對比

表2 不同場景下平均中心偏移量對比

在算法的準(zhǔn)確率精度方面，通過表1可以看出，本文算法準(zhǔn)確率比起Mean-shift算法和原始TLD算法來說得到了很大的提高，精度也相應(yīng)得到提升。如在單目標(biāo)場景中，Mean-shift算法的準(zhǔn)確率最低，只有48%，而原始算法的準(zhǔn)確率只有86%，本文經(jīng)過改進(jìn)算法后提升為90%。通過表2，對不同算法的平均中心偏移量進(jìn)行統(tǒng)計(jì)比較得到，Mean-shift算法的平均中心偏移量最大，為35.245，說明跟蹤效果不是很理想，原始TLD平均中心偏移量為10.179，本文經(jīng)過算法改進(jìn)，平均中心偏移量降到5.468，說明跟蹤效果理想，算法精度得到提升；在多目標(biāo)海上場景的情況下，Mean-shift算法準(zhǔn)確率最低，為32%，原始TLD算法次之，為75%，本文經(jīng)過改進(jìn)算法，使得算法準(zhǔn)確率為86%，準(zhǔn)確率得到提高，跟蹤較為理想。從表2可以看出，Mean-shift算法的平均中心偏移量最大，為73.682，原始TLD算法次之，為21.659，算法跟蹤精度比Mean-shift算法高，而本文通過改進(jìn)原始TLD算法，算法的跟蹤精確度大大提升，平均中心偏移量降為3.235，跟蹤魯棒性較高。

表3 不同場景下跟蹤速度對比Table 3 The comparison of trackingspeedin different scenes

在算法的快速性方面，通過表3可以看出，在單目標(biāo)場景中，Mean-shift算法速度最快，為20.6ms,而原始TLD速度最慢，本文通過改進(jìn)原始TLD算法，使得算法由原來的每一幀耗時48.5ms降到33.4ms；在多目標(biāo)場景中，本文算法最快，為36.2ms，Mean-shift算法次之，原始TLD最慢，與原始TLD算法相比，由原來的每一幀耗時92.3ms降到36.2ms，算法的處理時間明顯縮短，快速性大幅提高。原因是引入Kalman進(jìn)行位置預(yù)測，相鄰兩幀之間目標(biāo)運(yùn)動幅度不是很大，因此能夠做到快速處理及對其進(jìn)行跟蹤，避免了全局空間搜索。

本文在做到自動跟蹤的同時保證了算法跟蹤的準(zhǔn)確性，做到了在復(fù)雜海上環(huán)境下，能準(zhǔn)確檢測出目標(biāo)以及對相應(yīng)目標(biāo)進(jìn)行準(zhǔn)確的跟蹤，體現(xiàn)了本文算法的高效性和可靠性。

6 結(jié)論

針對目標(biāo)從視野中消失后再次出現(xiàn)于視野中以及復(fù)雜可變海上環(huán)境下的實(shí)時目標(biāo)跟蹤問題，本文提出了一種基于TLD多目標(biāo)艦船自動跟蹤算法。該算法利用最大類間方差法以及Hough變換提取出相應(yīng)的海天線再利用相應(yīng)的Kalman濾波思想以及相應(yīng)的閾值設(shè)定確定初始目標(biāo)跟蹤框，通過改進(jìn)后TLD算法對實(shí)驗(yàn)中的海上艦船視頻進(jìn)行測試，利用其幀間信息對模板進(jìn)行實(shí)時更新，快速準(zhǔn)確的跟蹤對應(yīng)的海上艦船目標(biāo)。實(shí)驗(yàn)結(jié)果表明，基于TLD多目標(biāo)艦船自動跟蹤算法可以有效處理目標(biāo)從視野中消失后再次出現(xiàn)于視野中的目標(biāo)跟蹤問題以及應(yīng)對復(fù)雜可變的海上環(huán)境下鏡頭上下?lián)u晃造成的目標(biāo)跟蹤困難的問題，體現(xiàn)了算法具有較強(qiáng)的魯棒性，獲得比原始算法更理想的跟蹤效果，具有較好的適應(yīng)性，快速性和準(zhǔn)確性，適合在復(fù)雜海上背景下對多個目標(biāo)艦船進(jìn)行實(shí)時自動跟蹤。

[1]GZhu,QZeng,CWang.Efficientedge-basedobjecttracking.PatternRecognition[J].PatternRecognition,2006,39(11):2223-2226.

[2]DComaniciu,VRamesh,PMeer.Kernel-basedobjecttracking[J].IEEETransactionsonPatternAnalysisandMachineIntelligence,2003,25(5):564-577.

[3]XueF,JiangZ.Animprovedmeanshiftalgorithmforobjecttracking[C]Hefei:InternationalConferenceonMultimediaTechnology.2011:4833-4836.

[4] 夏瑜,吳小俊,馮振華.基于特征貢獻(xiàn)度的meanshift視頻跟蹤算法[J].控制與決策,2012,27(7):1021-1026.XIAYu,WUXiao-jun,FENGZhen-hua.Meanshiftalgorithmforvisualtrackingbasedonfeaturecontribution[J].ControlandDecision,2012,27(7):1021-1026.

[5]N.Paragios,R.Deriche.Geodesicactivecontoursandlevelsetsforthedetectionandtrackingofmovingobjects[J].IEEETransactionsonPatternAnalysisandMachineIntelligence,2000,22(3):266-280.

[6]WangShu,LuHuchuan,YangFan,etal.Superpixeltracking[C].Dalian:IEEEInternationalConferenceonComputerVision,2011:1323-1330.

[7]BabenkoB,YangMH,BelongieS.Visualtrackingwithonlinemultipleinstancelearning[C].SanDiego:InProceedingsofComputerVisonandPatternRecognition,2009:983-990.

[8] 邵文坤,黃愛民,韋慶.目標(biāo)跟蹤方法綜述[J].影像技術(shù),2006(1):17-20.SHAOWen-kun,HUANGAi-min,WEIQing.ResearchonObjectTracking[J].ImageTechnology,2006(1):17-20.

[9]LuoX,LiS,GuanX.Flockingalgorithmwithmulti-targettrackingformulti-agentsystems[J].PatternRecognitionLetters,2010,31(9):800-805.

[10]ZKalal,KMikolajczyk,JMatas.Tracking-Learning-Detection[J].IEEETransactionsonPatternAnalysis&MachineIntelligence,2012,34(7):1409-1422.

[11] 左磊,李明,張曉偉,羅小云.基于改進(jìn)Hough變換的海面微弱目標(biāo)檢測[J].電子與信息學(xué)報(bào),2012(4):923-928.ZuoLei,LiMing,ZhangXiao-wei,LuoXiao-yun.Small-targetdetectioninseaclutterbasedonimprovedhoughtransform[J].JournalofElectronics&InformationTechnology,2012(4):923-928.

[12]HuangD,WangC.Optimalmulti-levelthresholdingusingatwo-stageostuoptimizationapproach[J].PatternRecognitionLetters,2009,30(3):275-284.

[13]HsiehCS.Ontheoptimalityoftwo-stageKalmanfilteringforsystemwithunknowninputs[J].AsianJournalofControl,2010,12(4):510-523.

[14] 熊瑋佳.視頻序列中運(yùn)動目標(biāo)檢測與跟蹤算法研究[D].武漢:武漢理工大學(xué),2012.XiongWei-jia.TheResearchonDetectionandTrackingAlgorithmsofMovingTargetinVideoSequences[D].Wuhan:WuhanUniversityofTechnology,2012.

[15]SBaker,IMatthews.Lucas-Kanade20YearsOn:AUnifyingFarmework[J].InternationalJournalofComputerVision,2004,56(3):221-255.

[16]LidiaAuret,ChrisAldrich.Changepointdetectionintimeseriesdatawithrandomforests[J].ControlEngineeringPractice,2010,18(8):990-1002.

[17]BabenkoB,YangMH,BelongieS.Robustobjecttrackingwithonlinemultipleinstancelearning[J].IEEETransactionsonPatternAnalysisandMachineIntelligence,2011,33(8):1619-1632.

[18]KalalZ,MatasJ,MikolajczykK.Onlinelearningofrobustobjectdetectorsduringunstabletracking[C].Guildford:On-lineLearningforComputerVisionWorkshop,2009:1417-1724.

責(zé)任編輯 陳呈超

The Automatic Tracking Method for Multi-Shipstracking Based on TLD

ZHANG Shu-Huai1,DONG Chao2,LI Bin1,TIAN Lian-Fang1,CHEN Ze-Chuang1

(1.School of Automation Science & Engineering,South China University of Technology,Guangzhou 510640,China; 2.South China Sea Marine Survey and Technology Center,SOA,Guangzhou 510640,China)

At thepresent stage,ships in the complex sea conditionsare taken by scholar on as the tracking object in few research.In addition,the accuracy and real-time of the multi-target tracking algorithm under the background of frequent changes are insufficient.To improve the real-time and robustness of the multi-target visual tracking algorithm in tracking ship.An improved automatic tracking algorithm for multi-target ships based on TLD(Tracking-Learning-Detection) is proposed in this paper.The goal of automatically real-time tracking ships at sea have been achieved in the algorithm.Firstly,the detection and extraction method is proposed to split sea-sky-line.By using Otsu threshold segmentation and Hough transform,the sea-sky-line is easily extracted; Secondly,through using the principle of Kalman filter,the target ships near the sea-sky-line has been positioned and detected in the algorithm,and segregate the target ships.Finally,the initial target tracking frame has been generated with its minimum bounding rectangle by the extracted target,the tracker uses the position coordinate information of the initial tracking frame to automatically track the target in real time.During the running of the algorithm,scanning detection is carried out near the sea-sky-line,which reduces the traversing range and improves the real-time performance of the algorithm.Experimental analysis shows,bycomparing with the traditional Mean-shift algorithm andthe previous target tracking algorithm called TLD,the proposed algorithm is more accurate and more efficient in ship tracking.

sea-sky-line extracting; multi-target tracking; Tracking-Learning-Detection

海洋公益性行業(yè)科研專項(xiàng)經(jīng)費(fèi)(201505002)；中央高校基本科研業(yè)務(wù)費(fèi)重點(diǎn)項(xiàng)目(2015ZZ028)；自主系統(tǒng)與網(wǎng)絡(luò)控制教育部重點(diǎn)實(shí)驗(yàn)室資助

Supported by the Public Science and Technology Research Funds Projects of Ocean (201505002),the Fundamental Research Funds for the Central Universities,SCUT (2015ZZ028),Key Laboratory of Autonomous Systems and Network Control of Ministry of Education (SCUT of China).

2016-09-11；

2016-12-05

張樹懷(1992-)，男，碩士生，主要從事圖像處理與模式識別方面的研究。E-mail：976877995@qq.com

** 通訊作者：E-mail：dongchaoxj888@126.com

TN958.93

A

1672-5174(2017)02-128-09

10.16441/j.cnki.hdxb.20160207

張樹懷，董超，李彬，等.多目標(biāo)艦船自動跟蹤方法研究[J].中國海洋大學(xué)學(xué)報(bào)(自然科學(xué)版),2017,47(2):128-136.

ZHANG Shu-Huai，DONG Chao，LI Bin，et al.The Automatic Tracking Method for multi-shipstracking based on TLD[J].Periodical of Ocean University of China,2017,47(2):128-136.