多特征融合的圖像目標(biāo)跟蹤方法

王智軍, 王建華

(1.赤峰學(xué)院計(jì)算機(jī)與信息工程學(xué)院，內(nèi)蒙古 赤峰 024000； 2.白求恩醫(yī)務(wù)士官學(xué)校，石家莊 050081)

多特征融合的圖像目標(biāo)跟蹤方法

王智軍1, 王建華2

(1.赤峰學(xué)院計(jì)算機(jī)與信息工程學(xué)院，內(nèi)蒙古 赤峰 024000； 2.白求恩醫(yī)務(wù)士官學(xué)校，石家莊 050081)

圖像目標(biāo)主要的兩個(gè)特征是顏色特征和形狀特征，為提高跟蹤的準(zhǔn)確性和魯棒性，提出融合圖像目標(biāo)顏色和形狀的多特征融合跟蹤新方法。采用基于HSV空間的空間顏色概率直方圖模型，以及灰度變換后的Hu不變矩模型，分別進(jìn)行實(shí)時(shí)目標(biāo)跟蹤，然后采用自適應(yīng)加權(quán)方法，完成圖像目標(biāo)最終跟蹤位置的確定。經(jīng)實(shí)驗(yàn)測(cè)試，該方法對(duì)圖像目標(biāo)受到復(fù)雜背景干擾，以及顏色變化、尺度變換以及亮度變化等情況都具有很強(qiáng)的魯棒性，同時(shí)增強(qiáng)跟蹤效果，提高了跟蹤的有效率。

運(yùn)動(dòng)目標(biāo)跟蹤； 圖像跟蹤； 特征融合； 顏色直方圖模型； Hu不變矩； 相似性度量； 背景干擾

0 引言

在視頻監(jiān)控、國(guó)防、人工智能、目標(biāo)識(shí)別、智能交通系統(tǒng)等應(yīng)用場(chǎng)合中，對(duì)運(yùn)動(dòng)目標(biāo)的跟蹤一直是熱點(diǎn)問(wèn)題，而圖像中包含著豐富的時(shí)空信息，針對(duì)圖像目標(biāo)的跟蹤[1-2]也是學(xué)者們非常關(guān)注的現(xiàn)實(shí)問(wèn)題。運(yùn)動(dòng)目標(biāo)跟蹤通常是在狀態(tài)空間中進(jìn)行[3-4]，目標(biāo)的運(yùn)動(dòng)呈現(xiàn)出某種特定的物理規(guī)律，再結(jié)合一定的預(yù)測(cè)方法，來(lái)實(shí)現(xiàn)對(duì)運(yùn)動(dòng)目標(biāo)的實(shí)時(shí)跟蹤。但是圖像目標(biāo)與一般目標(biāo)也有著很大的不同，比如，運(yùn)動(dòng)規(guī)律性弱，目標(biāo)形態(tài)變化大，拍攝時(shí)受光照、角度、焦距影響大，目標(biāo)機(jī)動(dòng)性強(qiáng)等。這些特點(diǎn)使得圖像目標(biāo)跟蹤成為當(dāng)前研究中很有挑戰(zhàn)性的一個(gè)難點(diǎn)問(wèn)題。目前通常的做法是用目標(biāo)的某一種突出特征，比如顏色或者形狀特征[5-7]，通過(guò)特征匹配完成目標(biāo)跟蹤。顏色模型方面，由于HSV空間比RGB顏色空間更符合人眼視覺(jué)感知，算法計(jì)算簡(jiǎn)單、維數(shù)少，能大大提高模型表達(dá)的計(jì)算效率，因此，現(xiàn)在多在HSV顏色空間上對(duì)目標(biāo)顏色直方圖建模。而對(duì)于形狀特征模型，由于其經(jīng)常出現(xiàn)在圖像區(qū)域特征明顯且背景顏色單一的場(chǎng)景中，多采用基于Hu不變矩[8]的區(qū)域描述符描述圖像形狀特征。這是因?yàn)镠u不變矩具有平移、旋轉(zhuǎn)、尺度不變性，矩幅值反映物體的形狀，所以采用Hu不變矩可以準(zhǔn)確描述圖像的形狀特征。但是，在圖像幀顏色背景復(fù)雜的情況下，如果單純使用顏色或者形狀特征，進(jìn)行運(yùn)動(dòng)圖像目標(biāo)跟蹤均具有一定的片面性和局限性。也有學(xué)者通過(guò)融合顏色和形狀兩種特征對(duì)圖像目標(biāo)進(jìn)行建模，但是主要應(yīng)用于圖像檢索[9]、目標(biāo)檢測(cè)[10]方面，同時(shí)還有學(xué)者融合了紋理特征[11]進(jìn)行多特征的目標(biāo)檢測(cè)等研究。

本文融合了上述兩種特征跟蹤運(yùn)動(dòng)圖像目標(biāo)，對(duì)顏色特征和形狀特征分別賦予相應(yīng)的線性權(quán)重大小，權(quán)值代表了它們與目標(biāo)模板的相似程度。然后設(shè)計(jì)了跟蹤程序，通過(guò)兩個(gè)不同的圖像集實(shí)驗(yàn)，證明了多特征融合后的目標(biāo)跟蹤要比僅使用某一個(gè)特征的跟蹤效果好，并針對(duì)不同的參數(shù)進(jìn)行了跟蹤有效率實(shí)驗(yàn)，結(jié)果證明效果更好。

1 顏色特征的圖像跟蹤

顏色是圖像目標(biāo)的一個(gè)常用的表現(xiàn)特征。在顏色的表示方法上，首先選擇合適的顏色空間，然后在此空間內(nèi)，選擇表達(dá)目標(biāo)顏色特征的具體方法，最后設(shè)計(jì)在不同圖像幀之間的目標(biāo)跟蹤算法。本文采用符合人眼視覺(jué)特性的HSV空間，目標(biāo)表達(dá)模型選擇空間顏色統(tǒng)計(jì)直方圖[10]，這是一種基于統(tǒng)計(jì)的顏色特征描述方法，能夠增加目標(biāo)的空間表達(dá)能力。具體方法是：1) 建立目標(biāo)模板,將圖像目標(biāo)由傳統(tǒng)的RGB顏色空間轉(zhuǎn)換成HSV顏色空間,然后根據(jù)人類視覺(jué)特性進(jìn)行非均勻量化采樣，將目標(biāo)的顏色量化為K個(gè)等級(jí)，按照目標(biāo)各個(gè)像素的顏色分布建立目標(biāo)顏色直方圖模板。建立HSV空間直方圖的基本方法為:設(shè)一幅M×N的圖片I，定義pi={(xi,yi)∈I|i∈Bi,i=1,2,…,K}為Bi中像素集合，其中,Bi為第i維顏色表達(dá)，則顏色直方圖是每一維中的像素占總像素的比率，即Hi=|pi|/(M×N),|pi|表示集合pi中像素的數(shù)量，由此得到K維的目標(biāo)顏色特征；2) 建立候選區(qū)域，跟蹤目標(biāo),根據(jù)前一幀目標(biāo)位置，確定候選區(qū)域，轉(zhuǎn)換成HSV空間，建立候選區(qū)域的顏色直方圖模型，與目標(biāo)模板進(jìn)行巴氏距離計(jì)算，選擇最接近的候選區(qū)域作為目標(biāo)的新位置,迭代進(jìn)行，實(shí)現(xiàn)連續(xù)跟蹤。迭代方法選用Mean Shift跟蹤算法[12]。Mean Shift跟蹤算法最早由FUKUNAGA等人[13]提出，是一種概率密度梯度函數(shù)的估計(jì)，迭代收斂到相似性函數(shù)的局部極大值點(diǎn)。COMANICIU[12]首先將Mean Shift跟蹤算法應(yīng)用于目標(biāo)跟蹤領(lǐng)域，用顏色直方圖分布建立目標(biāo)模型。此算法進(jìn)行局部性質(zhì)的窮盡搜索，具有很強(qiáng)的實(shí)時(shí)性能,具體迭代算法見(jiàn)參考文獻(xiàn)[12]。

2 形狀特征的圖像跟蹤

形狀是圖像中的另外一種常見(jiàn)特征，很多物體都有明顯的外廓形狀特征。目標(biāo)的形狀特征主要表現(xiàn)在它的邊緣上，因此有很多形狀特征是采用邊緣檢測(cè)的方法得到的。常用的邊緣檢測(cè)算法有Canny方法、Sobel方法、Prewitt方法、Laplacian方法和LOG方法。檢測(cè)出邊緣后，還要對(duì)邊緣進(jìn)行特征描述，形成描述算子，常見(jiàn)的有Hu不變矩算子[8]。利用普通幾何矩或者中心矩可以對(duì)目標(biāo)物體進(jìn)行形狀特征表示，但是這樣的表示無(wú)法同時(shí)具備平移、旋轉(zhuǎn)和尺度不變性。如果利用歸一化中心矩構(gòu)造形狀算子，則可以同時(shí)滿足平移、旋轉(zhuǎn)和尺度的不變性。Hu不變矩算子由HU首次提出，是一種用于圖像識(shí)別的矩理論，它利用歸一化的中心矩，計(jì)算得到7個(gè)矩不變量，并且證明了這些矩的不變性質(zhì)。Hu不變矩是用二階矩和三階矩的不同組合構(gòu)造形狀特征算子，忽略了圖像的細(xì)節(jié)，以避免受到過(guò)多細(xì)節(jié)信息的干擾。在7個(gè)Hu不變矩中，M2對(duì)于目標(biāo)物體的形狀描述最好，而且能夠保持對(duì)于目標(biāo)的平移、旋轉(zhuǎn)和尺度不變性。現(xiàn)在多利用M2矩進(jìn)行圖像目標(biāo)的特征提取。

M2不變矩算子利用二階歸一化中心矩μpq構(gòu)造

(1)

利用M2不變矩進(jìn)行圖像目標(biāo)跟蹤的具體方法是：1) 建立目標(biāo)模板，并進(jìn)行灰度化，計(jì)算目標(biāo)模板的M2值;2) 建立候選區(qū)域,根據(jù)前一幀目標(biāo)位置確定候選區(qū)域，轉(zhuǎn)換成灰度圖像，計(jì)算候選區(qū)域的M2值與目標(biāo)模板進(jìn)行歐氏距離計(jì)算，選擇最接近的候選區(qū)域作為目標(biāo)的新位置。

3 多特征融合的跟蹤新算法

顏色和形狀都僅能反映圖像某一個(gè)方面的特征，目標(biāo)在單一特征上的相似并不能完全體現(xiàn)出目標(biāo)候選區(qū)域與目標(biāo)模板整體上的相似，利用多特征融合跟蹤能夠避免單一特征跟蹤的局限性。在融合跟蹤之前需要采用高斯歸一化的方法對(duì)顏色特征和形狀特征各自的相似性度量進(jìn)行特征間的歸一化。

融合跟蹤新算法的具體步驟如下：

1) 在跟蹤之前建立目標(biāo)的HSV顏色模板和M2形狀模板。

(2)

(3)

5) 繼續(xù)跟蹤下一幀圖像k=k+1。直至結(jié)束。

一幀圖像的跟蹤流程見(jiàn)圖1所示。

圖1 一幀圖像的跟蹤流程圖Fig.1 Flow chart of tracking a frame of image

4 實(shí)驗(yàn)結(jié)果及分析

實(shí)驗(yàn)在兩種不同的圖像數(shù)據(jù)集上進(jìn)行，圖像集I是Girl數(shù)據(jù)集，有500幀圖像，圖像像素大小為128×96，目標(biāo)像素大小為32×46；圖像集II是Crossing數(shù)據(jù)集，有45幀，圖像像素大小為360×240，目標(biāo)像素大小為18×51。數(shù)據(jù)集中的圖像目標(biāo)選擇HSV顏色空間特征，分割成72維，特征算子為顏色概率直方圖模型，迭代方法采用Mean Shift收斂方法。形狀特征選擇Hu不變矩算子，迭代方法采用局部區(qū)域最小值尋優(yōu)方法。然后對(duì)兩種數(shù)據(jù)集中的目標(biāo)分別進(jìn)行了單一顏色特征、單一形狀特征、融合特征的跟蹤效果評(píng)估。數(shù)據(jù)集中目標(biāo)的真值是由手工標(biāo)注獲取的。檢驗(yàn)指標(biāo)采用每一幀的跟蹤誤差和整體跟蹤有效率，跟蹤誤差為每一幀圖像中目標(biāo)跟蹤位置X與真值Xtruth之間的歐氏距離，定義為

E(X)=[(X-Xtruth)×(X-Xtruth)T]1/2。

(4)

跟蹤有效率Poverlap是指，跟蹤窗口(A+C)與真值窗口(B+C)的重疊率[14]，一般需要大于0.25,定義為

Poverlap=C/(A+B+C) 。

(5)

式(5)中各符號(hào)含義及其關(guān)系如圖2所示。

圖2 跟蹤有效率示意圖Fig.2 Tracking effectiveness

圖像集I的跟蹤效果如圖3所示。從圖3中可以看出，在目標(biāo)顏色與周圍背景顏色相差很大時(shí)，顏色特征跟蹤算法可以很好地跟蹤到目標(biāo)，但是在第90幀，當(dāng)目標(biāo)顏色分布與周圍背景相差較小時(shí)，此時(shí)目標(biāo)正在轉(zhuǎn)頭，顏色特征跟蹤算法失?。欢诘?3幀，當(dāng)目標(biāo)周圍的背景變得復(fù)雜時(shí)，目標(biāo)的形狀特征不太突出，形狀特征跟蹤算法[8]跟蹤出現(xiàn)較大誤差；本文算法融合了兩種特征，能夠很好地排除背景干擾，所以在這些情況下仍然能夠保持一個(gè)很好的跟蹤效果。

圖3 圖像集I上新算法的跟蹤效果Fig.3 Tracking results for Dataset I

跟蹤誤差比較如圖4所示，橫軸為圖像幀序號(hào)，縱軸為像素?cái)?shù)目。

圖4 數(shù)據(jù)集I上算法的跟蹤誤差比較Fig.4 Comparison of tracking errors in Dataset I

跟蹤有效性見(jiàn)表1，表1中是跟蹤有效的圖像幀數(shù)和占比率。

圖像集II的跟蹤效果如圖5所示。跟蹤誤差比較如圖6所示，橫軸為圖像幀序號(hào)，縱軸為像素?cái)?shù)目。

表1 數(shù)據(jù)集I的跟蹤有效性指標(biāo)比較

圖5 圖像集II上新算法的跟蹤效果Fig.5 Tracking results for Dataset II

圖6 數(shù)據(jù)集II上算法的跟蹤誤差比較Fig.6 Comparison of tracking errors in Dataset II

圖像集II的目標(biāo)特點(diǎn)與圖像集I不同。從圖中可以看出，目標(biāo)顏色和形狀特征與周圍背景都有一定對(duì)比度，因此，兩種算法獨(dú)立跟蹤時(shí)，表現(xiàn)都還不錯(cuò)。但是，從第35幀左右開(kāi)始時(shí)，目標(biāo)受到背景中出現(xiàn)的機(jī)動(dòng)車的干擾，基于單一特征的跟蹤算法效果受到影響。而本文算法融合了兩種特征，在跟蹤過(guò)程中，仍能夠增強(qiáng)跟蹤效果，提高跟蹤的有效性指標(biāo)見(jiàn)表2，表2中是跟蹤有效的圖像幀數(shù)和占比率。

表2 數(shù)據(jù)集II的跟蹤有效性指標(biāo)比較

5 總結(jié)

融合算法在處理前景與背景顏色相似、前景被遮擋等情況時(shí)較單一特征跟蹤算法效果好，但是當(dāng)跟蹤背景較簡(jiǎn)單的情況中，融合算法跟蹤效果略差于單一特征跟蹤效果。因此在實(shí)際應(yīng)用時(shí)，可先使用單一特征跟蹤目標(biāo)，當(dāng)檢測(cè)到目標(biāo)的單一特征發(fā)生變化時(shí)，利用本文融合算法跟蹤目標(biāo)，待跟蹤穩(wěn)定后，可轉(zhuǎn)而使用顏色或形狀特征繼續(xù)跟蹤目標(biāo)，這樣在整個(gè)跟蹤過(guò)程中，既能夠穩(wěn)定跟蹤目標(biāo)，又能夠保持很好的準(zhǔn)確性。

圖像目標(biāo)具有很強(qiáng)的機(jī)動(dòng)性，由于受到拍攝時(shí)光線變化、背景干擾、尺度變化等因素的影響，目標(biāo)的形態(tài)經(jīng)常會(huì)發(fā)生很大改變,這些給圖像目標(biāo)的跟蹤帶來(lái)了很大的難度。圖像的顏色和形狀均是跟蹤過(guò)程中常用的外在特征，人們經(jīng)常使用這兩個(gè)特征跟蹤圖像目標(biāo)。但是，僅用一種特征跟蹤運(yùn)動(dòng)圖像目標(biāo)，存在一定的局限性，融合這兩種特征，自適應(yīng)分配每一種特征的權(quán)值，形成一種新的融合跟蹤算法，能夠克服各自的局限性，成功跟蹤圖像目標(biāo)，兩種不同的圖像集的跟蹤實(shí)驗(yàn)表明，融合跟蹤算法能夠很好地排除背景干擾，增強(qiáng)跟蹤效果，同時(shí)提高跟蹤有效性指標(biāo)。

[1] 施瀅,高建坡,崔杰,等.分塊多特征自適應(yīng)融合的多目標(biāo)視覺(jué)跟蹤[J].傳感器與微系統(tǒng), 2015,34(9):128-131.

[2] 宋敏,張蓉竹,孫年春.紅外與微光融合圖像目標(biāo)偵察系統(tǒng)設(shè)計(jì)[J].光學(xué)與光電技術(shù),2014,12(6):40-44.

[3] 權(quán)義萍,楊道業(yè).基于視頻檢測(cè)的卡爾曼濾波車輛跟蹤算法及行為分析[J].北京工業(yè)大學(xué)學(xué)報(bào),2014,40(7):1110-1113.

[4] 崔誦祺,安建平,王愛(ài)華.機(jī)動(dòng)目標(biāo)模型匹配卡爾曼濾波載波跟蹤算法[J].系統(tǒng)工程與電子技術(shù),2014,36(2):376-381.

[5] 高晶,孫繼銀,吳昆,等.基于形狀特征的紅外目標(biāo)檢測(cè)方法[J].激光與紅外,2013,43(1):49-53.

[6] 王番,梁建,趙海見(jiàn),等.基于形狀特征的線狀地物提取方法研究[J].影像技術(shù),2014,26(1):50-51，46.

[7] 閆利,趙展,謝洪.一種基于形狀特征的高分辨率影像飛機(jī)提取方法[J].遙感信息,2013,28(6):3-6.

[8] HU M K.Visual pattern recognition by moment invariances[J].IRE Transaction on Information Theory,1962,8(2):179-187.

[9] 張金朋,方千山.融合顏色分割與形狀特征的交通標(biāo)志檢測(cè)[J].微型機(jī)與應(yīng)用,2015,34(11):83-85.

[10] 曹磊,范彩霞,辛華,等.基于局部特征的多攝像機(jī)間目標(biāo)識(shí)別方法[J].計(jì)算機(jī)仿真,2014,31(9):252-255,281.

[11] 袁淵，丁勝，徐新.基于顏色與紋理特征的安防視頻遮擋樹(shù)葉檢測(cè)[J].計(jì)算機(jī)工程與設(shè)計(jì),2016,37(6):1549-1554.

[12] COMANICIU D,MEER P.Mean Shift:a robust approach toward feature space analysis[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2002,24(5):603-619.

[13] FUKUNAGA K,HOSTETLER L.The estimation of the gradient of a density function,with applications in pattern recognition[J].IEEE Transactions on Information Theory,1975,21(1):32-40.

[14] KALAL Z,MATAS J,MIKOLAJCZYK K.P-N learning:bootstrapping binary classifiers by structural constraints[C]//Computer Vision and Pattern Recognition,IEEE, 2009:49-56.

AMulti-featureFusionAlgorithmforMovingTargetTrackingofImageSequences

WANG Zhi-jun1, WANG Jian-hua2

(1.The College of Computer and Information Engineering,Chifeng University,Chifeng 024000,China;2.Bethune Medical College,Shijiazhuang 050081,China)

Color and shape are the two main features of an image target.In order to improve tracking accuracy and robustness,a new multi-feature fusion tracking algorithm fusing color and shape features of the image target is put forward.The histogram model of space color probability based on HSV space,and the Hu invariant moment model after the gray-scale transformation are adopted respectively for real-time target tracking.And then an adaptive weighted method is adopted to confirm the final tracking location of the image target.Two experiments demonstrate that the proposed method has very strong robustness under the circumstances of complex background interference and to the change of color,scale and brightness.At the same time,the algorithm improves the tracking results and the effective rate of tracking.

moving target tracking; image tracking; feature fusion; color histogram model; Hu invariant moment; similarity measurement; background interference

王智軍，王建華.多特征融合的圖像目標(biāo)跟蹤方法[J].電光與控制，2017，24( 11) : 49-52，57.WANG Z J，WANG J H.A multi-feature fusion algorithm for moving target tracking of image sequences[J].Electronics Optics & Control，2017，24( 11) : 49-52，57．

2016-12-19

2017-01-16

王智軍(1972 —),男，內(nèi)蒙古赤峰人，碩士，副教授，研究方向?yàn)橛?jì)算機(jī)視覺(jué)。

TP391

A

10.3969/j.issn.1671-637X.2017.11.010