多光電跟蹤儀目標(biāo)接力跟蹤方法設(shè)計與實現(xiàn)

河南中光學(xué)集團有限公司 張 銳 賈會梅 全曉鵬

多光電跟蹤儀目標(biāo)接力跟蹤方法設(shè)計與實現(xiàn)

河南中光學(xué)集團有限公司 張 銳 賈會梅 全曉鵬

目標(biāo)接力跟蹤是計算機視覺領(lǐng)域的一個重要課題，在邊海防監(jiān)控、要地防御、城市安防等領(lǐng)域具有很強的應(yīng)用價值。設(shè)計并實現(xiàn)了多光電跟蹤儀的目標(biāo)接力跟蹤方法。首先，利用幀差法和背景減除法，對單臺光電跟蹤儀進行運動目標(biāo)檢測并標(biāo)定有效跟蹤目標(biāo)；然后，利用SURF特征匹配和Kalman濾波算法，對運動目標(biāo)進行實時跟蹤；最后，通過對各光電跟蹤儀的接力方式和區(qū)域進行定義和調(diào)配，實現(xiàn)了多光電跟蹤儀的接力跟蹤。實驗結(jié)果表明，該方法在保證實時性的條件下，具有較高的準(zhǔn)確性。

光電跟蹤儀；目標(biāo)檢測；SURF特征；Kalman 濾波；接力跟蹤

1.引言

視覺目標(biāo)跟蹤是智能視頻監(jiān)控及其他視頻處理系統(tǒng)最基本的核心技術(shù)。實際應(yīng)用中，單臺光電跟蹤儀視野有限，往往需要多臺光電跟蹤儀聯(lián)合監(jiān)控。多臺光電跟蹤儀聯(lián)動具有監(jiān)控范圍大、全方位、多視角等優(yōu)點，有利于解決目標(biāo)遮擋、混亂環(huán)境、光照突變等情況下的運動目標(biāo)跟蹤問題，近年來已經(jīng)成為計算機視覺領(lǐng)域一個新的研究熱點[1]。

1998年，MeyerM等人[2]提出使用多攝像機進行場景監(jiān)控，這樣不僅可解決單一攝像機視野有限的問題，還有利于解決目標(biāo)的遮擋問題。Khan和 Shah[3]使用FOV來實現(xiàn)多個視野之間的接力跟蹤。Orwell[4]和 Krumm[5]等通過比較目標(biāo)區(qū)域的顏色直方圖來建立多攝像機下多目標(biāo)之間的匹配。Mittal[6]等在目標(biāo)的運動區(qū)域建立高斯顏色模型，通過比較高斯顏色模型的相關(guān)度來進行匹配。同時，對視野無重疊的多攝像機聯(lián)動跟蹤的研究成果也有很多[7]，但在實際場景中的應(yīng)用效果并不太理想，目標(biāo)容易跟丟、跟錯等。

本文以要地防御監(jiān)控系統(tǒng)目標(biāo)接力跟蹤為背景，基于目標(biāo)特征模型匹配算法，設(shè)計和實現(xiàn)了一種多光電跟蹤儀之間目標(biāo)接力跟蹤的方法。該方法在運動目標(biāo)檢測、跟蹤和接力部分，均采用實時性較高的算法，提高了目標(biāo)跟蹤的實時性和準(zhǔn)確度。

2.算法框架

要地防御監(jiān)控場景要求防護等級高，監(jiān)控覆蓋面廣，全天候不間斷運行，隨時要掌握場地中人員、車輛及突發(fā)事件的前端視頻信息。單光電跟蹤儀監(jiān)控范圍有限，容易產(chǎn)生監(jiān)控盲區(qū)，造成信息遺漏，難以滿足重點區(qū)域、重點防護的要求；而多臺光電跟蹤儀聯(lián)動則有利于實現(xiàn)對目標(biāo)進行大范圍、多視角的監(jiān)控及跟蹤。

本文對多光電跟蹤儀的目標(biāo)接力跟蹤關(guān)鍵算法進行研究。接力跟蹤的主要分為兩個步驟：1）單光電跟蹤儀下目標(biāo)跟蹤；2）多光電跟蹤儀間協(xié)同跟蹤。目標(biāo)接力跟蹤是以單光電跟蹤儀的目標(biāo)跟蹤為基礎(chǔ)的，在每個光電跟蹤儀內(nèi)完成目標(biāo)的檢測和跟蹤后才進行多光電跟蹤儀之間的協(xié)同跟蹤。整體算法采用網(wǎng)絡(luò)架構(gòu)模式，前端單光電跟蹤儀負責(zé)運動目標(biāo)檢測與跟蹤，后端由調(diào)度中心服務(wù)器負責(zé)協(xié)調(diào)各光電跟蹤儀間的接力規(guī)則的制定和接力任務(wù)的調(diào)配，實現(xiàn)了多光電跟蹤儀之間的目標(biāo)交接、連續(xù)跟蹤等功能，具體框架如圖1所示。

圖1 目標(biāo)接力跟蹤算法框架圖

3.關(guān)鍵算法

3.1 運動目標(biāo)檢測

運動目標(biāo)的跟蹤主要技術(shù)難點是復(fù)雜環(huán)境中的目標(biāo)檢測與特征提取。目前常用的目標(biāo)檢測算法有光流法[8]、幀差法[9]和背景減除法[10]。光流法計算復(fù)雜，難以滿足實時性要求；幀差法能夠快速有效地從背景中檢測出目標(biāo)，但分割出的目標(biāo)不完整；背景減除法算法簡單且易于實現(xiàn)，但易造成目標(biāo)信息的漏檢而形成空洞。通過實驗綜合比較，本設(shè)計采用背景減除法和幀差法相結(jié)合的方案[11]，提高目標(biāo)檢測的準(zhǔn)確度和實時性。

背景減除法是利用當(dāng)前幀圖像減去不含運動目標(biāo)的背景圖像，然后根據(jù)一定的閾值來檢測出前景目標(biāo)。其計算公式如下 ：

在背景模型建立時，由于實際場景復(fù)雜，干擾多，采用混合高斯模型，具有較好的抗干擾性，同時采用文獻[12]的方法更新時變權(quán)值參數(shù)，使模型能及時反映背景變化。

幀差法可以獲取目標(biāo)的輪廓，但運動目標(biāo)速度較快時，兩幀差分法得到的運動區(qū)域會大于實際目標(biāo)[11]。為提高目標(biāo)運動區(qū)域的準(zhǔn)確度，考慮采用三幀差分法，計算公式為：

其中：T為二值化圖像的閾值，W為中值濾波器的窗口函數(shù)。

綜上，本文采用的運動目標(biāo)檢測方法的主要步驟：1）通過三幀幀差運算得到圖像中的運動區(qū)域；2）在求取的運動區(qū)域內(nèi)運用三幀幀差圖像和背景減除圖像的邏輯或操作，得到高精度、比較完整的前景圖像：

3.2 單光電跟蹤儀目標(biāo)跟蹤

SURF是一種與SIFT類似的尺度不變特征提取方法。與SIFT相比，SURF運算簡單，效率更高。由于單獨使用 SURF 算法無法對快速運動目標(biāo)進行準(zhǔn)確跟蹤，本文采用Kalman 濾波和SURF特征相結(jié)合的方法來進行目標(biāo)跟蹤，主要步驟如下：

1）確定跟蹤目標(biāo)：檢測出區(qū)域內(nèi)的動目標(biāo)后，采用 SURF 算子進行特征提取，選取特征點最多的目標(biāo)作為跟蹤目標(biāo)。

2）目標(biāo)的預(yù)測：在預(yù)測階段，構(gòu)建一個基于目標(biāo)定位的搜索區(qū)域。通過Kalman 濾波算法獲取下一幀目標(biāo)可能出現(xiàn)的大致方位，在這個局部區(qū)域進行目標(biāo)的搜索定位，將大大減少運算時間和提高跟蹤的魯棒性。

3）目標(biāo)的定位：SURF 特征點匹配時，采用最近鄰匹配法（NNDR）和文獻[13]的去除誤匹配點和定位目標(biāo)的算法，通過設(shè)置閾值的方式，判定特征點是否匹配成功。同時，在基于 SURF 的定位后，由于搜索區(qū)域中的相似特征點或目標(biāo)會導(dǎo)致偶然的錯誤匹配情況，采用直方圖匹配方法進一步排除錯誤目標(biāo)。

3.3 多光電跟蹤儀接力跟蹤

根據(jù)要地防御監(jiān)控中對道路人員、車輛進行接力跟蹤的需求，設(shè)計了在道路沿線架設(shè)多臺光電跟蹤儀，且相鄰光電跟蹤儀視場有重疊區(qū)域的實施方案，系統(tǒng)總體設(shè)計如圖2所示，圖中Si表示第i臺光電跟蹤儀（i=1,2,…, n），Ai表示Si和Si+1的視場重疊區(qū)域。

圖2 系統(tǒng)總體設(shè)計圖

光電跟蹤儀負責(zé)目標(biāo)檢測與跟蹤，調(diào)度服務(wù)器負責(zé)協(xié)調(diào)與各光電跟蹤儀通信及傳輸目標(biāo)特征、檢測結(jié)果、跟蹤信息等。接力跟蹤的主要流程如下：

1）目標(biāo)檢測與選定：光電跟蹤S1儀負責(zé)目標(biāo)的檢測和選定，確定跟蹤目標(biāo)并進行跟蹤；

2）接力跟蹤階段：(a)當(dāng)目標(biāo)進入重疊區(qū)域Ai后，光電跟蹤儀Si將重疊區(qū)域信息和目標(biāo)特征集上傳到調(diào)度服務(wù)器；(b)調(diào)度服務(wù)器接收到上傳的信息后，根據(jù)預(yù)先定義的調(diào)度規(guī)則，將重疊區(qū)域信息和特征集下發(fā)給接力的光電跟蹤儀Si+1；(c)光電跟蹤儀Si+1接收到信息后，進行目標(biāo)的檢測，根據(jù)光電跟蹤儀Si傳遞過來的特征集進行目標(biāo)匹配，匹配成功后進行目標(biāo)跟蹤。

待目標(biāo)進入下一個重疊區(qū)域Ai+1后，重復(fù)執(zhí)行步驟(a)、(b)、(c)，直到目標(biāo)跟蹤結(jié)束。接力跟蹤流程圖如圖3所示。

圖3 接力跟蹤流程圖

4.實驗結(jié)果分析

實驗在有行人和車輛通過的道路上進行測試，主要分為運動目標(biāo)檢測、單光電跟蹤儀目標(biāo)跟蹤及多光電跟蹤儀間的目標(biāo)接力跟蹤。

4.1 運動目標(biāo)檢測

圖4(a)為通過公式(2)獲得的三幀幀差法二值圖像，可以明顯看出運動目標(biāo)的輪廓圖；圖4(b)為通過公式(1)得到的背景減除法二值圖像，會發(fā)現(xiàn)有大量噪點存在；通過三幀幀差法運算獲得目標(biāo)的運動區(qū)域，如圖4(c)所示，在運動區(qū)域內(nèi)運用三幀幀差法和背景減除法，如圖4(d)所示，噪點減少，目標(biāo)特征明顯。

圖4 目標(biāo)檢測圖

4.2 單光電跟蹤儀目標(biāo)跟蹤

當(dāng)檢測到場景中的運動目標(biāo)時，選擇特征點最多的運動目標(biāo)進行跟蹤，如圖5(a)所示，目標(biāo)進入視頻畫面時用紅框進行標(biāo)記。分別采集了視頻中的第1、11、31、51幀，可以看到從目標(biāo)進入時開始進行跟蹤。

圖5 目標(biāo)跟蹤效果圖

4.3 多光電跟蹤儀接力跟蹤

考慮相鄰的兩個光電跟蹤儀Si和Si+1?，F(xiàn)對Si中的某一運動目標(biāo)進行跟蹤，如圖6(a)中所示，當(dāng)跟蹤目標(biāo)進入Si和Si+1的重疊區(qū)域Ai后，由調(diào)度服務(wù)器協(xié)調(diào)Si+1進行目標(biāo)搜索及接力跟蹤，如圖6(b)所示。實驗結(jié)果驗證了該方案的可行性。

圖6 接力跟蹤效果圖

5.結(jié)論與展望

本文設(shè)計并實現(xiàn)了一種基于多光電跟蹤儀運動目標(biāo)接力跟蹤的方法。通過幀差法、背景減除法、Kalman 濾波、SURF特征提取、目標(biāo)特征模型匹配及各光電跟蹤儀間的接力調(diào)度等步驟完成接力跟蹤。該方法目前已經(jīng)實際應(yīng)用于邊海防視頻監(jiān)控、要地防御監(jiān)控等多個領(lǐng)域。應(yīng)用結(jié)果表明，該方法保證了多光電跟蹤儀間的目標(biāo)穩(wěn)定交接和持續(xù)跟蹤，可以滿足要地防御監(jiān)控的實時性和準(zhǔn)確性要求，是一種可行的接力跟蹤方法。下一步還需研究把運動目標(biāo)和跟蹤算法集成到光電跟蹤儀硬件設(shè)備中，進一步提高接力跟蹤的實時性。

[1]趙春暉,張洪才,牛恩國．多攝像機目標(biāo)跟蹤系統(tǒng)設(shè)計[J]．計算機測量與控制,2008,16(1):128-131．

[2]M．Meyer,M．Hotter,T．Ohmacht．Newoptionsinvideosurveillancea pplicationsusingmultipleviewsofascene[C]．InternationalCarnahanConferen ceonSecurityTechnology,2002,216-219．

[3]S．Khan,M．Shah．Consistentlabelingoftrackedobjectsinmultiplecam eraswithoverlappingfieldsofview．IEEETransonpatternanalysisandmachinei ntelligence,2003,25(10):1355-1360．

[4]J．Orwell,P．Remagnino,G．A．Jones．Multi-Cameracolortracking．Proc．ofthe2ndIEEEWorkshoponVisibleSurveillance,1999,14-24．

[5]J．Krumm,S．Harris,etal．Multi-CameraMulti-Persontrackingforeasyliving[J]．Proc．ofthe3rdIEEEIntl．WorkshoponVisualSurveillance,2000,3-10．

[6]A．Mittal,L．S．Davis．M2Tracker:AMulti-Viewapproachtosegment ingandtrackingpeopleinaclutteredsceneusingRegion-Basedstereo[J]．Proc．ofthe7thEuropeanConferenceonComputerVision,2002,18-36．

[7]K．W．Chen,C．C．Lai,etal．Adaptivelearningfortargettrackingandtrue linkingdiscoveringacrossmultiplenon-overlappingcameras[J]．IEEETransac tiononMultimedia,2011,13(4):625-638．

[8]B．Horn,B．Schunck．Determiningopticalflow[J]．ArtificialIntelligen ce,1981,17(1):185-203．

[9]R．T．Collins,A．Lipton,etal．Asystemforvideosurveillanceandmonito ring[R]．CarnegieMellonUniversity,2000．

[10]L．Y．Li,W．M．Huang,elal．Statisticalmodelingofcomplexbackgro undsforforegroundobjectdetection[J]．IEEETransactionsonImageProcessi ng,2004,13(11):1459-1472．

[11]周西漢,劉勃,周荷琴．一種基于對稱差分和背景消減的運動檢測方法[J]．計算機仿真,2005,22(4):117-119．

[12]方帥,薛方正,徐心和．基于背景建模的動態(tài)目標(biāo)檢測算法的研究與仿真[J]．系統(tǒng)仿真學(xué)報,2005,17(1):159-165．

[13]H．Yin,C．Peng,Y．Chai．Arobustobjecttrackingalgorithmbas edonSURFandKalmanfilter．IntelligentAutomationandSoftComputi ng,2013,19(4):567-579．

張銳（1979－），男，大學(xué)本科，現(xiàn)供職于河南中光學(xué)集團有限公司，研究領(lǐng)域為計算機視覺、視頻圖像處理、安防監(jiān)控。