王悅行,陳曉冬,趙克軍,黃 慶,汪 毅,郁道銀(1 天津大學(xué)精密儀器與光電子工程學(xué)院,天津 00072;2 天津大學(xué)光電信息技術(shù)教育部重點(diǎn)實(shí)驗(yàn)室,天津 00072; 洛陽電光設(shè)備研究所,河南洛陽 471000)
海天背景下紅外艦船目標(biāo)實(shí)時(shí)跟蹤算法研究*
王悅行1,2,陳曉冬1,2,趙克軍3,黃慶3,汪毅1,2,郁道銀1,2
(1天津大學(xué)精密儀器與光電子工程學(xué)院,天津300072;2天津大學(xué)光電信息技術(shù)教育部重點(diǎn)實(shí)驗(yàn)室,天津300072;3洛陽電光設(shè)備研究所,河南洛陽471000)
針對(duì)海天背景下的紅外艦船圖像對(duì)比度低、船載攝像機(jī)上下抖動(dòng)劇烈的特點(diǎn),文中提出了均值移位(mean-shift)和海天線檢測(cè)相結(jié)合的紅外目標(biāo)實(shí)時(shí)跟蹤算法。首先通過水平投影方法提取每幀圖像的海天線,然后由相鄰幀海天線的高度差設(shè)定每幀圖像跟蹤起始點(diǎn),將目標(biāo)的灰度和梯度信息進(jìn)行加權(quán)來描述目標(biāo)特征,利用mean-shift算法進(jìn)行目標(biāo)跟蹤。實(shí)驗(yàn)結(jié)果表明,文中算法能夠準(zhǔn)確跟蹤上下運(yùn)動(dòng)劇烈的紅外艦船目標(biāo),跟蹤速度達(dá)到12 fps。
均值移位;紅外艦船目標(biāo);實(shí)時(shí)跟蹤;海天線;水平投影;加權(quán)直方圖
海天背景下紅外目標(biāo)的檢測(cè)與跟蹤系統(tǒng)具有被動(dòng)探測(cè)、抗干擾能力強(qiáng)和全天候工作等特點(diǎn),是當(dāng)前偵察、檢測(cè)等領(lǐng)域研究的重點(diǎn)。由于紅外檢測(cè)系統(tǒng)固有的成像特點(diǎn),紅外圖像通常存在著噪聲大、目標(biāo)和背景之間對(duì)比度小、邊緣模糊等特點(diǎn)[1]。而且由于安裝在海面運(yùn)動(dòng)載體上的攝像機(jī)隨波浪上下起伏,導(dǎo)致拍攝到的畫面很不穩(wěn)定,畫面中的目標(biāo)運(yùn)動(dòng)隨機(jī)性較大,在很大程度上增加了目標(biāo)跟蹤的難度[2]。
在海面遠(yuǎn)距離平視狀態(tài)下,艦船紅外圖像一般分為3個(gè)區(qū)域:天空區(qū)域、海面區(qū)域和海天線區(qū)域。由于艦船目標(biāo)遠(yuǎn)離成像平臺(tái),且處于平視成像狀態(tài),故目標(biāo)在運(yùn)動(dòng)中是不會(huì)脫離海天線的[3]。因此,通過確定海天線的位置,可以縮小目標(biāo)的搜索區(qū)域[4-5],提高目標(biāo)跟蹤速度和準(zhǔn)確性。關(guān)于海天背景下目標(biāo)實(shí)時(shí)跟蹤算法研究起步較晚,而且相關(guān)文獻(xiàn)都是在提取目標(biāo)的基礎(chǔ)上采用傳統(tǒng)跟蹤算法進(jìn)行跟蹤[6-7],并未改進(jìn)算法本身。針對(duì)低對(duì)比度、高噪聲條件下遠(yuǎn)距離海面上下起伏劇烈的紅外艦船目標(biāo),文中提出了一種利用海天線信息的加權(quán)mean-shift算法。
1.1mean-shift算法概述
mean-shift算法是一種基于密度梯度的無參數(shù)估計(jì)方法[8]。在跟蹤圖像起始幀中,通過手動(dòng)確定搜索窗口來選擇運(yùn)動(dòng)目標(biāo);利用式(1)計(jì)算初始幀搜索窗口經(jīng)過核函數(shù)加權(quán)的直方圖分布qu,并用同樣的方法得到第N幀對(duì)應(yīng)窗口的直方圖分布pu;
式中:xo、xi分別是初始幀搜索窗口(包含n個(gè)像素)的中心像素坐標(biāo)和第i個(gè)像素的坐標(biāo);k(‖x‖2)是Epanechnikov型核函數(shù),h為核半徑。u為描述目標(biāo)的特征值,取值為1-m;函數(shù)δ的作用是判斷xi處的特征值b(xi)是否屬于u;C是一個(gè)標(biāo)準(zhǔn)化的常量系數(shù),使得所有特征值的概率和為1。
設(shè)y為第N幀目標(biāo)的最優(yōu)位置,計(jì)算初始幀目標(biāo)模型和第N幀模型的相似性度量ρ(y),定義為:
其中,ρ(y)稱為巴氏系數(shù)。
為使ρ(y)最大,在當(dāng)前幀中,以前一幀搜索窗口的位置作為當(dāng)前幀搜索窗口的位置,設(shè)窗口中心為y0,在y0鄰域內(nèi)尋找局部最優(yōu)目標(biāo)位置y1。對(duì)式(2)在ρ(y0)處進(jìn)行泰勒展開,然后通過對(duì)相似性函數(shù)求最大值,可以推導(dǎo)出mean-shift向量:
其中ωi稱為權(quán)值,其計(jì)算公式為:
mean-shift沿Mh,G(y)反復(fù)迭代,最后得到當(dāng)前幀圖像目標(biāo)的最優(yōu)位置y。
1.2由海天線高度估計(jì)起始點(diǎn)
在mean-shift跟蹤過程中,如果目標(biāo)的運(yùn)動(dòng)速度過快,當(dāng)前幀目標(biāo)點(diǎn)與跟蹤起始點(diǎn)的距離較大,meanshift算法的跟蹤效果變差[9-10]。由于艦船目標(biāo)在海天線附近運(yùn)動(dòng),海天線的高度變化能夠很好地反映目標(biāo)的上下運(yùn)動(dòng)情況,因此可以利用海天線的高度變化獲得每幀圖像mean-shift的跟蹤起始點(diǎn)。第一幀圖像的跟蹤起始點(diǎn)通過手動(dòng)確定,在以后每幀圖像跟蹤前,先得到當(dāng)前幀圖像的海天線高度,然后通過下列公式確定當(dāng)前幀起始點(diǎn)坐標(biāo):
hk-1、hk分別為上一幀和當(dāng)前幀的海天線高度,(xk-1,yk-1)是第k-1幀目標(biāo)中心的坐標(biāo),(xk0,yk0)表示第k幀搜索窗口的起始點(diǎn)坐標(biāo),N為圖像總幀數(shù)。確定當(dāng)前幀起始點(diǎn)的坐標(biāo)后,mean-shift會(huì)在起始點(diǎn)的鄰域找到目標(biāo)最優(yōu)的位置。
由于海天線通常位于海天背景圖像的中間區(qū)域,而且圖像邊緣區(qū)域的噪聲較大,易對(duì)海天線的檢測(cè)造成影響。因此,在檢測(cè)海天線前,對(duì)海天背景圖像進(jìn)行區(qū)域化處理,去除圖像的上下邊緣。然后,對(duì)保留的區(qū)域用水平邊緣提取算子進(jìn)行水平邊緣處理,得到二值化邊緣圖像,如圖1(b)所示。通過實(shí)驗(yàn)發(fā)現(xiàn),邊緣化圖像的亮點(diǎn)集中分布在海天線區(qū)域,而海天線所在行一般是亮點(diǎn)出現(xiàn)最多的行。因此,利用水平投影法,對(duì)圖像中每行進(jìn)行求和處理,求和數(shù)值最大的行即認(rèn)為是海天線位置,得到的結(jié)果如圖1(c)所示。
由于紅外探測(cè)系統(tǒng)安裝在穩(wěn)定跟蹤平臺(tái)上,能夠隔離艦船載體的角運(yùn)動(dòng),海天線的傾角不會(huì)超過5°[11],因此,用水平投影法提取海天線的誤差很小。水平投影法的算法簡(jiǎn)單,計(jì)算速度較Hough變換方法提高約2.6倍,且提取海天線的準(zhǔn)確性在92%以上。
對(duì)于誤取海天線的情況,由于真實(shí)的海天線在不同幀之間連續(xù)變化,而誤取的海天線與上一幀真實(shí)的海天線相比,位置一般會(huì)發(fā)生較大的改變,所以對(duì)于誤取海天線的情況,采取近似處理:把上一幀正確識(shí)別的海天線近似作為當(dāng)前幀的海天線。判斷海天線是否誤取的方法是:根據(jù)不同天氣條件下的艦船起伏情況設(shè)定閾值T,如果連續(xù)兩幀圖像中海天線的高度差絕對(duì)值大于T,則確定為海天線誤取。提取海天線的過程如圖1所示(區(qū)域化處理前后圖像寬度不同)。
3.1灰度和梯度概率密度直方圖計(jì)算
在紅外圖像序列中,只有灰度信息可以作為紅外目標(biāo)的特征空間。與顏色空間相比,單一的灰度空間信息量少,而且由于海天背景的噪聲大,目標(biāo)特征易受噪聲影響。張旭光等[12]利用梯度方向信息描述目標(biāo)特征,F(xiàn)ouad Bousetouane等[13]將顏色特征和空間結(jié)構(gòu)性質(zhì)相結(jié)合描述目標(biāo)特征。文中采用圖像灰度和梯度方向信息加權(quán)的方法構(gòu)造特征空間,形成概率密度的多特征描述。
首先,將灰度值0~255等分為16份,分別標(biāo)記為{1,2,…,16},記作特征值u,將搜索窗口像素的灰度值按照上述規(guī)則進(jìn)行統(tǒng)計(jì),得到對(duì)應(yīng)元素的灰度特征值b(xi),根據(jù)式(1)對(duì)搜索窗口中像素的灰度值進(jìn)行核函數(shù)加權(quán)處理,得到灰度特征概率密度分布直方圖pu1。
圖1 海天線提取過程
然后,定義搜索窗口中像素的梯度方向角為:
式中:?f/?x和?f/?y分別是該像素處沿X和Y方向的梯度,可以通過sobel算子得到,計(jì)算得到θ的取值為(-π,π]。
得到像素的梯度方向角后,為了獲得方向編碼,需要對(duì)方向角進(jìn)行量化處理,具體計(jì)算公式如下:
式中:方向編碼的間距取π/8對(duì)θ進(jìn)行量化,為避免灰度和梯度加權(quán)后相互干擾,在式(9)中將梯度量化值加上25,從而使灰度和梯度的取值不同,因此c的取值范圍為{17,18,…,33}。為避免式(8)中由于X方向的局部小梯度引起梯度噪聲,根據(jù)目標(biāo)邊緣的梯度大小設(shè)定Th=10。由式(1)得到梯度特征概率密度分布直方圖pu2。
3.2加權(quán)特征描述
將灰度和梯度特征直方圖按照式(10)進(jìn)行加權(quán),得到加權(quán)特征概率密度分布直方圖pu。pu的取值范圍為{1,2,…,33},其中,目標(biāo)的灰度直方圖pu1取值為{1,2,…,16},目標(biāo)的梯度直方圖pu2取值為{17,18,…,33}。
式中:τ為灰度權(quán)重因子,τ的取值由跟蹤框中目標(biāo)和背景的灰度對(duì)比度決定,灰度對(duì)比度大時(shí)τ相應(yīng)增大。由于目標(biāo)的灰度值較大且相對(duì)穩(wěn)定,而背景的灰度值較小且變化劇烈,因此,灰度值對(duì)比度主要由背景的灰度值大小決定。選擇最大類間方差法(OTSU)計(jì)算每一幀圖像搜索框中目標(biāo)和背景的灰度閾值M(取值為0~1),M越大說明背景灰度值大,背景與目標(biāo)的對(duì)比度小,因此應(yīng)設(shè)置較小的灰度權(quán)重因子。通過實(shí)驗(yàn)發(fā)現(xiàn),取τ=1-0.6 M,梯度直方圖的權(quán)重因子為1-τ,得到的加權(quán)直方圖pu對(duì)目標(biāo)描述準(zhǔn)確,跟蹤效果最好,因此,選擇灰度權(quán)重因子τ=1-0.6 M。
4.1算法具體步驟
1)在初始幀建立目標(biāo)模型,初始位置為u0,搜索框大小為L(zhǎng)×W,讀取第一幀的海天線高度h1。
2)分別計(jì)算目標(biāo)模型的梯度和灰度直方圖,根據(jù)式(10)求出目標(biāo)模型的加權(quán)概率密度函數(shù)qu。
3)讀取當(dāng)前第k幀的海天線高度hk,利用式(5)~式(7)求出當(dāng)前幀跟蹤起始點(diǎn)位置(xk0,yk0),然后在當(dāng)前幀該位置按照步驟2)方法求出候選目標(biāo)區(qū)域的加權(quán)概率密度函數(shù)pu;根據(jù)式(1)計(jì)算目標(biāo)模型和當(dāng)前候選目標(biāo)的相似度ρ1。
4)將qu和pu代入式(3)、式(4)計(jì)算加權(quán)偏移量Y,然后將起始點(diǎn)位置偏移Y后計(jì)算新候選位置的加權(quán)概率密度函數(shù)p'u,然后計(jì)算其與目標(biāo)模型的相似度ρ2;如果ρ2<ρ1,則Y=Y/2。
5)判斷‖Y‖2<ε或者大于預(yù)定的最大迭代次數(shù)N,如果滿足條件則停止本步驟,否則以起始點(diǎn)位置(xk0,yk0)加上偏移量Y為新的起始點(diǎn),在當(dāng)前幀繼續(xù)按照步驟3)、4)搜索。算法設(shè)定ε=0.5,N=20。
6)轉(zhuǎn)到下一幀,重復(fù)3)~5)步驟,直至跟蹤結(jié)束。
4.2實(shí)驗(yàn)結(jié)果與分析
為了驗(yàn)證文中紅外圖像目標(biāo)跟蹤算法,文中分別選取紅外小艦船和紅外大艦船目標(biāo)序列進(jìn)行目標(biāo)跟蹤實(shí)驗(yàn),兩段視頻的具體指標(biāo)參見表1。在Intel Core i3 3.3 GHz的PC機(jī)上應(yīng)用MATLAB R2014a軟件平臺(tái),分別對(duì)圖像序列采用基于灰度的mean-shift方法、基于梯度的mean-shift方法和文中算法進(jìn)行實(shí)驗(yàn)。在圖像序列的第一幀,采用手動(dòng)方式確定待跟蹤紅外目標(biāo)的位置和大小。
表1 實(shí)驗(yàn)視頻指標(biāo)統(tǒng)計(jì)
圖2 三種算法對(duì)小目標(biāo)圖像跟蹤效果
圖2是三種算法對(duì)小目標(biāo)圖像的跟蹤效果,圖2 (a1)~圖2(c1)、圖2(a2)~圖2(c2)、圖2(a3)~圖2(c3)分別為灰度mean-shift算法、梯度mean-shift算法和文中算法在第183、210和234幀的跟蹤效果??梢钥吹剑诘?83幀3個(gè)算法都有較好的跟蹤效果,但是在第210幀,由于目標(biāo)下降過快,目標(biāo)周圍背景灰度變亮,背景與目標(biāo)的灰度對(duì)比度減小,此時(shí),灰度mean-shift不能準(zhǔn)確的跟蹤到目標(biāo),但因?yàn)閙eanshift方法具有在跟蹤失敗后恢復(fù)的能力,在第234幀又重新跟蹤到目標(biāo)。由于目標(biāo)和背景的梯度對(duì)比度較大而且保持相對(duì)穩(wěn)定,因此,梯度mean-shift能準(zhǔn)確的跟蹤到目標(biāo)。圖3是三種算法對(duì)大目標(biāo)圖像的跟蹤效果,圖3(a1)~圖3(c1)、圖3(a2)~圖3(c2)、圖3(a3)~圖3(c3)分別為灰度mean-shift算法、梯度mean-shift算法和文中算法在第6、133和327幀的跟蹤效果。由于目標(biāo)與背景的梯度對(duì)比度較小,因此,梯度mean-shift較快的偏離目標(biāo)中心。而由于大目標(biāo)圖像的灰度對(duì)比度較大,灰度mean-shift能準(zhǔn)確的跟蹤到目標(biāo)。通過實(shí)驗(yàn)表明,灰度mean-shift和梯度mean-shift方法在不同目標(biāo)條件下跟蹤效果不穩(wěn)定,而文中算法由于對(duì)灰度和梯度特征進(jìn)行了加權(quán)處理,對(duì)小目標(biāo)和大目標(biāo)圖像都實(shí)現(xiàn)了準(zhǔn)確的跟蹤。
圖3 三種算法對(duì)大目標(biāo)圖像跟蹤效果
為驗(yàn)證文中算法對(duì)圖像中上下起伏劇烈艦船目標(biāo)的跟蹤效果,將紅外大艦船目標(biāo)序列每間隔10幀取一幀圖像,使得相鄰幀圖像的目標(biāo)上下起伏更加劇烈,經(jīng)過處理后的圖像序列共40幀。圖4是艦船目標(biāo)在X、Y方向的真實(shí)運(yùn)動(dòng)軌跡,目標(biāo)的真實(shí)位置由手動(dòng)標(biāo)定。選取原圖像左上角為坐標(biāo)原點(diǎn),x增加表示目標(biāo)右移,y增加表示目標(biāo)下移。由圖4可以看出,目標(biāo)在Y軸比X軸運(yùn)動(dòng)明顯劇烈,這是由船載攝像機(jī)隨波浪上下起伏造成的。分別用文中算法與灰度和梯度加權(quán)mean-shift方法(加權(quán)方法)對(duì)該圖像序列進(jìn)行跟蹤實(shí)驗(yàn),圖5是兩種算法的目標(biāo)跟蹤誤差曲線??梢钥吹?,由于目標(biāo)上下起伏過快,加權(quán)方法在跟蹤開始后就丟失了目標(biāo),之后一直存在較大的跟蹤誤差。文中算法由于能夠通過相鄰幀圖像海天線的高度變化有效預(yù)測(cè)目標(biāo)的上下起伏情況,因此在目標(biāo)上下起伏劇烈的情況下仍能對(duì)圖像中的目標(biāo)實(shí)現(xiàn)準(zhǔn)確的跟蹤。
圖4 艦船目標(biāo)在X、Y方向運(yùn)動(dòng)軌跡
表2是灰度mean-shift、加權(quán)mean-shift和文中算法分別對(duì)大目標(biāo)圖像序列進(jìn)行實(shí)驗(yàn)得到的平均迭代次數(shù)和跟蹤速度的比較。文中算法由于加入了海天線信息,使得海天背景下的目標(biāo)跟蹤起始點(diǎn)更接近真實(shí)目標(biāo)點(diǎn),因此,每幀圖像的算法平均迭代次數(shù)不到2次,較加權(quán)mean-shift和灰度mean-shift方法分別減少約18%和75%。文中算法由于加入了海天線提取算法,算法復(fù)雜度稍有增加,但跟蹤速度仍達(dá)到12.5 fps,對(duì)于工作幀頻小于12 fps的紅外攝像機(jī)而言滿足實(shí)時(shí)跟蹤的要求。
圖5 兩種算法跟蹤誤差比較
表2 不同算法平均迭代次數(shù)和跟蹤速度比較
針對(duì)復(fù)雜海天背景下紅外艦船目標(biāo)的信噪比低、船載攝像機(jī)上下抖動(dòng)劇烈的特點(diǎn),文中提出了一種基于加權(quán)mean-shift和海天線檢測(cè)相結(jié)合的紅外目標(biāo)實(shí)時(shí)跟蹤算法。文中算法由于對(duì)灰度和梯度特征進(jìn)行了加權(quán)處理,因此在不同目標(biāo)條件下對(duì)目標(biāo)的跟蹤都具有較好的魯棒性。在跟蹤過程中,文中算法能夠通過相鄰幀圖像海天線的高度變化有效預(yù)測(cè)目標(biāo)的上下起伏情況,因此仍能準(zhǔn)確的跟蹤圖像中上下起伏劇烈的目標(biāo)。文中算法跟蹤速度可達(dá)12 fps,滿足實(shí)時(shí)跟蹤的要求。下一步研究重點(diǎn)是在跟蹤前對(duì)初始幀目標(biāo)的大小和位置實(shí)現(xiàn)快速檢測(cè),以及在目標(biāo)存在明顯尺寸變化時(shí),實(shí)現(xiàn)模板尺寸的自適應(yīng)。
[1] 楊威,李俊山,史德琴.時(shí)空聯(lián)合的紅外運(yùn)動(dòng)目標(biāo)提取算法[J].光電工程,2008,35(5):50-54.
[2]曾文靜,萬磊,張鐵棟,等.復(fù)雜??毡尘跋氯跣∧繕?biāo)的快速自動(dòng)檢測(cè)[J].光學(xué)精密工程,2012,20(2):403-412.
[3]黃英東,范寧軍,李杰.一種基于海天線檢測(cè)的艦船定位方法[J].彈箭與制導(dǎo)學(xué)報(bào),2008,28(5):286 -288.
[4]黃文韻,馬惠敏,王生進(jìn).海面背景紅外目標(biāo)的識(shí)別算法[J].清華大學(xué)學(xué)報(bào)(自然科學(xué)版),2009,49(10):1609-1613.
[5]KANG W J,DING X M,CUI J W,et al.Research on extraction of ship target in complex sea-sky background[C]∥The International Symposium on Instrumentation Science and Technology,Journal of Physics:Conference Series,2006,48(1):354-358.
[6]FEFILATYEV S,GOLDGOF D,SHREVE M,et al.Detection and tracking of ships in open sea with rapidly moving buoy-mounted camera system[J].Ocean Engineering,2012,54:1-12.
[7]WU Jiawei,MAO Shiyi,WANG Xiaoping,et al.Ship target detection and tracking in cluttered infrared imagery [J].Optical Engineering,2011,50(5):(057207).
[8]CHENG Yizong.Mean Shift,Mode Seeking,and Clustering[J].IEEE Transactions on Pattern Analysis and Mahine Intelligence,1995,17(8):790-799.
[9]朱勝利,朱善安,李旭超.快速運(yùn)動(dòng)目標(biāo)的Mean shift跟蹤算法[J].光電工程,2006,33(5):66-70.
[10]HUANG S,HONG J.Moving object tracking system based on camshift and kalman filter[C]∥Proceedings of the International Conference on Consumer Electronics,CommunicationsandNet-works.Piscataway:IEEE,2011:1423-1426.
[11]劉士建,吳瀅躍,蔡能斌.低SNR海天線提取算法[J].紅外與激光工程,2013,42(12):3491-3495.
[12]張旭光,趙恩良,王延杰.基于Mean-shift的灰度目標(biāo)跟蹤新算法[J].光學(xué)技術(shù),2007,33(2):226-229.
[13]FOUAD Bousetouane,LYNDA Dib,HICHEM Snoussi. Improved mean shift integrating texture and color features for robust real time object tracking[J].The Visual Computer-Springer,2013,29(3):155-170.
Infrared Ship Target Real-time Tracking Algorithm Under Sea-sky Background
WANG Yuexing1,2,CHEN Xiaodong1,2,ZHAO Kejun3,HUANG Qing3,WANG Yi1,2,YU Daoyin1,2
(1School of Precision Instrument and Opto-electronics Engineering,Tianjin University,Tianjin 300072,China;2Key Laboratory of Opto-electronics Information Technology(Tianjin University),Ministry of Education,Tianjin 300072,China;3Luoyang Institute of Electro-optical Equipment,Henan Luoyang 471000,China)
A real-time algorithm under various complicated sea-sky background,which corresponded to the feature of low contrast around infrared ship and sharp up-and-down motion of camera on boat,was proposed by combining mean-shift and sea-sky-line detection.Firstly,the height of sea-sky-line was extracted by the horizontal projection method,and then the height difference of sea-sky-line in adjacent frames was used to set starting position at current frame,furthermore,the target’s feature was described by creating weighted histogram which combined gray-level and gradients orientation information,and finally,mean-shift was used to track the position of target.Experimental results show that this algorithm can track infrared up-and-down motion ship target accurately,and the tracking speed can reach 12 fps.
mean-shift;infrared ship target;real-time tracking;sea-sky-line;horizontal projection;weighted histogram
TP391.4
A
10.15892/j.cnki.djzdxb.2016.01.041
2015-04-16
王悅行(1990-),男,山東德州人,碩士研究生,研究方向:目標(biāo)識(shí)別與跟蹤。