基于ELM與Mean Shift的抗遮擋目標跟蹤算法

毛曉波,郝向東,梁　靜

基于ELM與Mean Shift的抗遮擋目標跟蹤算法

毛曉波,郝向東,梁靜

(鄭州大學 電氣工程學院，河南 鄭州 450001)

摘要：針對目標跟蹤過程中發(fā)生遮擋時跟蹤出現(xiàn)偏差的情況，在傳統(tǒng)Mean Shift跟蹤算法的基礎上引入極限學習機(extreme learning machine,ELM)，提出了基于ELM與Mean Shift的目標跟蹤算法。該算法根據(jù)過去3個時刻的目標位置信息，利用ELM預測出目標當前可能位置，代替目標前一時刻位置作為Mean Shift迭代起始點，并在鄰域范圍內(nèi)進行迭代，得到目標的真實位置.實驗結果表明，與現(xiàn)有的改進算法相比，新算法減少了迭代次數(shù)和運算時間，同時在遮擋情況下能夠準確定位目標位置并進行跟蹤，提高了跟蹤系統(tǒng)的實時性和魯棒性.

關鍵詞：目標跟蹤；遮擋；Mean Shift；ELM

0引言

目標跟蹤技術是機器視覺的熱門課題, 廣泛應用于工業(yè)生產(chǎn)、國防軍事和生活安防等眾多領域.遮擋問題是目前目標跟蹤的難題之一，遮擋尤其是嚴重遮擋會直接影響跟蹤的準確性和持續(xù)性，可能導致目標跟蹤發(fā)生偏差甚至丟失目標.因此，研究抗遮擋的目標跟蹤算法具有重要的理論和實際意義.

Mean Shift算法[1]、光流算法[2]、卡爾曼濾波算法[3]、粒子濾波算法[4]等都能在一定條件下有效地跟蹤目標.其中，Mean Shift算法以其無需參數(shù)、快速模式匹配的特性被廣泛地應用[5].但是,當目標運動速度過快或遮擋較為嚴重時，傳統(tǒng)Mean Shift算法往往會發(fā)生目標的定位偏差甚至跟丟.為解決上述問題，研究人員提出了一些有效方法，如在算法中引入模板分塊匹配[6]或將Mean Shift算法與濾波算法相結合[7-10]等.這些方法能夠提高跟蹤算法的抗遮擋能力，但由于需要進行分塊跟蹤或進行復雜的濾波運算，增加了算法的復雜度，跟蹤實時性受到影響.針對以上問題，筆者提出一種基于ELM與Mean Shift的抗遮擋目標跟蹤算法，利用ELM的快速學習和預測能力預測目標的運動趨勢，以預測出的目標中心作為Mean Shift迭代起始點，通過迭代得到目標當前真實位置.筆者將新算法與基于模板分塊匹配的Mean Shift算法和基于卡爾曼濾波的Mean Shift算法作了比較.實驗證明，新算法能夠在目標高速運動或遮擋情況下快速精確穩(wěn)定地跟蹤目標，具有很好的實時性和魯棒性.

1Mean Shift算法

Mean Shift算法是一種基于核密度估計的非參數(shù)模式匹配算法, 通過建立加權直方圖來描述目標的顏色分布[11].該方法利用像素概率密度函數(shù)梯度最優(yōu)化方法,首先選定跟蹤目標的區(qū)域，計算核函數(shù)加權下的目標區(qū)域的直方圖分布，然后用同樣的方法對當前幀的數(shù)據(jù)密度直方圖進行漂移，且通過Mean Shift迭代尋找與目標區(qū)域相似性最大的區(qū)域，最終實現(xiàn)快速目標定位.

1.1目標模型

Mean Shift跟蹤算法利用目標區(qū)域的直方圖分布來描述目標，根據(jù)目標模型和候選模型的相似度進行中心的均值漂移.在第一幀中手動確定包含跟蹤目標的區(qū)域，設中心坐標為d0;區(qū)域中包含n個像素，位置記為{di}i=1,2,…，n；特征值u=1,2,…,m是直方圖的顏色索引.則目標模型的特征估計概率密度可表示為

(1)

式中：h為核函數(shù)的窗寬，即目標區(qū)域的大小；s(·)為核函數(shù)的輪廓函數(shù)，對靠近中心的區(qū)域像素賦予一個大的權值，對遠離中心的區(qū)域像素賦予越來越小的權值；δ[·]是克羅內(nèi)科函數(shù)，δ[·]用于判斷目標區(qū)域中像素di的顏色值是否屬于第u個單元的顏色索引值，若為1,則是,為0,則不是；Ch為歸一化常數(shù)，其取值滿足

(2)

1.2候選模型

目標運動過程中，每一幀圖像中目標可能存在的區(qū)域稱為候選區(qū)域，其核函數(shù)窗寬中的特征模型稱為目標候選模型.假設第k幀時得到的目標中心為yk，則在第k+1幀中候選模型的特征值為：

1.3相似度判定函數(shù)

在跟蹤過程中，Mean Shift算法將候選模型與目標模型進行相似性判別，尋找式(3)中最優(yōu)的yk，使得pu和qu相似度達到最大.qu和pu的相似度可由如下函數(shù)判定：

(4)

式中：ρ(y)是Bhattacharyya系數(shù)，其值在0～1之間，ρ(y)值越大，表示兩個模型相似度越高.目標發(fā)生遮擋時，ρ(y)變小，給定遮擋閾值T，當ρ(y)

1.4Mean Shift算法

(5)

(6)

由式(6)可知，相似度函數(shù)只隨等式右側第二項中y的變化而變化，與第一項無關.通過Mean Shift算法在鄰域內(nèi)不斷迭代，對相似度函數(shù)求最大值，即可得到跟蹤目標新的位置：

(7)

迭代結束后，得到的yk+1，即為第k+1幀的目標中心.

1.5Mean Shift算法的缺點

在實際應用中，由于Mean Shift算法沒有專門有效的抗遮擋機制，當跟蹤目標經(jīng)過遮擋物時，往往會發(fā)生目標的跟偏甚至跟丟.另外，當目標高速運動時，Mean Shift算法跟蹤效果變差.為此，筆者在Mean Shift算法的基礎上引入了ELM算法[12-13]，利用ELM的預測能力較好地解決了上述問題.

2ELM與Mean Shift相結合的算法

2.1ELM的基本原理

若一個標準的單隱層前饋神經(jīng)網(wǎng)絡含有N個訓練樣本，記為{xi，oi}i=1,2,…,N，其中xi= (xi1,xi2,…,xin)T∈Rn，oi= (oi1,oi2,…,oim)T∈Rm，含有N′個隱層節(jié)點，設其激勵函數(shù)為g(x)，則該神經(jīng)網(wǎng)絡的輸出可以表示為

納稅意識是指公民、法人等納稅人對稅法確定的納稅義務的認同和看法。納稅意識強，則會積極主動配合稅務機關依法納稅；納稅意識弱則會拖延納稅、偷稅逃稅，對稅務機關的征稅行為采取隱瞞、欺騙甚至抵抗行為。

式中：wi= (wi1,wi2,…，win)T為輸入神經(jīng)元與第i個隱層節(jié)點的輸入權值；βi= (βi1,βi2,…，βim)T為第i個隱層節(jié)點與輸出神經(jīng)元的輸出權值；bi為第i個隱層節(jié)點的偏置.

神經(jīng)網(wǎng)絡的理想目標是實際輸出與給定樣本相等，因此存在βi、wi和bi使得

(9)

式(9)即為ELM的模型，其中,οj為第j個輸入樣本的對應的輸出樣本，該模型可用矩陣表示為

Hβ=O.

(10)

H為神經(jīng)網(wǎng)絡的隱層輸出矩陣.在ELM中，輸入權重wi和隱層偏置bi由系統(tǒng)隨機確定，則H被唯一確定.由Moore-Penrose廣義逆定理可求出H+，則

β=H+O .

(11)

2.2基于ELM與Mean Shift的抗遮擋目標跟蹤算法

在目標運動過程中，第t時刻目標的位置與其上一時刻的位置、速度和加速度有關，即可以通過這3個參數(shù)確定目標當前時刻的位置.而這3個參數(shù)包含在第t-1、t-2、t-3時刻的目標位置信息中，因此，由前3時刻目標的位置可以預測出第4時刻目標的位置.

首先,通過對無遮擋目標的精確跟蹤得到一組目標運動軌跡，為了提高樣本精確度，采用手工逐幀確定.取連續(xù)200組中的前160組位置坐標作為ELM的訓練樣本，將連續(xù)3組坐標作為輸入，第4組作為輸出來訓練ELM神經(jīng)網(wǎng)絡.利用后40組作為測試樣本，通過不斷調(diào)節(jié)隱層節(jié)點數(shù)使預測達到最優(yōu).同理，對遮擋目標進行訓練，訓練樣本和測試樣本依然分別取160組和40組.調(diào)節(jié)隱層節(jié)點數(shù)，使兩個訓練集合的預測結果最佳.通過試驗，當隱層節(jié)點設為30時,預測值達到最優(yōu).

(12)

于是，式(7)變?yōu)?/p>

(13)

同時計算ρ(y)并與遮擋閾值T進行比較，若ρ(y)≥T，則繼續(xù)執(zhí)行；若ρ(y)

3仿真結果分析

在2.10 GHz主頻4 GB內(nèi)存的Windows8操作系統(tǒng)電腦上使用Matlab2010，對筆者提出的算法進行了測試實驗，并在相同條件下與基于模板分塊匹配的Mean Shift算法和基于卡爾曼濾波的Mean Shift算法跟蹤效果進行了對比.

為驗證跟蹤結果的實時性，我們對公路上高速行駛的汽車進行了20次跟蹤，統(tǒng)計3種算法對第11幀到110幀共計100幀目標進行20次跟蹤的平均迭代次數(shù)，并對跟蹤效果進行了對比.表1顯示了3種不同算法的平均迭代次數(shù)對比結果.通過對比可以發(fā)現(xiàn)，由于新算法采用了位置預測，迭代起始位置與目標實際位置的距離大大減少，因此比基于模板分塊匹配的Mean Shift算法迭代次數(shù)平均減少1.20次；同時,新算法的位置預測方法較卡爾曼濾波更為簡便，一定程度上簡化了融合算法且計算效率有所提高， 比基于卡爾曼濾波的Mean Shift算法平均減少0.76次.

表1　3種算法迭代次數(shù)

表2為3種算法分別對100幀視頻進行20次跟蹤的平均時間.由表2可知，新算法平均跟蹤時間是4 918 ms，比兩種已有改進算法分別減少17.9%和7.2%.

表2　3種算法跟蹤時間

圖1為3種算法跟蹤效果，分別取第20、40、60、80幀圖片.表3為3種算法的跟蹤誤差，表示跟蹤位置和實際位置中心的距離，實際位置采用手工逐幀確定.由表3可知，新算法與基于模板分塊匹配的 Mean Shift算法跟蹤誤差近似，明顯小于基于卡爾曼濾波的Mean Shift算法.

圖1　高速運動車輛跟蹤結果對比

算法Frame20Frame40Frame60Frame80分塊算法5.38518.60140.79252.631濾波算法6.70824.83961.221107.415 新算法6.00017.80444.68954.918

圖2為3種算法對公路上被遮擋車輛進行跟蹤的結果，分別取第5、17、29、43幀圖片.表4為3種算法的跟蹤誤差.由表4可以看出，當目標發(fā)生遮擋時，3種算法跟蹤誤差變化較為劇烈，此時新算法的跟蹤誤差為66.129，明顯小于另外兩種改進算法.遮擋結束后恢復到正常跟蹤，3種算法跟蹤誤差均變小.

圖2　遮擋車輛跟蹤結果對比

算法Frame5Frame17Frame29Frame43分塊算法3.00031.32181.02549.980濾波算法4.12337.121110.02377.621新算法2.82832.24966.12941.976

表5為3種算法跟蹤60幀車輛遮擋視頻所用時間，新算法跟蹤時間比另外兩種改進算法分別減少18.5%和7.5%.

表5　3種算法跟蹤時間

圖3為3種算法對被遮擋的行人進行跟蹤的結果，取第20、40、50、70幀進行比較.由圖3可以看出，由于跟蹤過程中行人被完全遮擋，基于模板分塊匹配的Mean Shift算法無法進行子塊匹配，造成了錯誤的跟蹤，丟失了目標；而基于卡爾曼濾波的Mean Shift算法和新算法在目標被遮擋時自動以預測的目標位置為起點繼續(xù)跟蹤，遮擋結束后恢復正常跟蹤，因此能夠較好地跟蹤目標.

圖3　行人遮擋跟蹤結果對比

以上實驗表明，當目標高速運動或發(fā)生遮擋時，新算法具有更好的實時性和魯棒性.

4結論

筆者提出一種基于ELM與Mean Shift的抗遮擋目標跟蹤算法，解決了Mean Shift算法在目標發(fā)生遮擋時跟蹤性能變差的問題.該算法利用目標的歷史位置信息，通過神經(jīng)網(wǎng)絡預測出當前位置信息，所需信息少，計算量小，有效地減少了迭代次數(shù)，在目標發(fā)生遮擋時以預測位置信息繼續(xù)跟蹤，能夠準確跟蹤目標.實驗證明，新算法能夠在目標發(fā)生嚴重遮擋時準確跟蹤目標，具有很好的實時性和魯棒性，并且與現(xiàn)有的改進算法相比，具有一定的優(yōu)勢.

神經(jīng)網(wǎng)絡具有強大的自學能力、聯(lián)想能力和計算能力，將神經(jīng)網(wǎng)絡應用到目標跟蹤技術中，突破傳統(tǒng)算法的限制，使跟蹤系統(tǒng)更加智能化，為解決目標跟蹤問題提供了新方法，對于處理目標跟蹤過程中的遮擋問題，提高復雜場景下目標跟蹤的穩(wěn)定性具有重要意義.筆者并沒有考慮多目標跟蹤的問題，因此下一步將考慮對多個目標進行跟蹤時如何利用神經(jīng)網(wǎng)絡實現(xiàn)有效跟蹤.

參考文獻：

[1]何志勇，蔡樂才，許繼家．基于Mean Shift算法跟蹤視頻中運動目標[J]．鄭州大學學報(理學版)，2010，42(1)：38-40，48．

[2]李劍峰，黃增喜，劉怡光．基于光流場估計的自適應Mean-Shift目標跟蹤算法[J]．光電子·激光，2012，23(10)：1996-2002．

[3]WENG S K，KUO C M，TU S K．Video object tracking using adaptive Kalman filter[J]． Journal of visual communication and image representation，2006，17(6)：1190-1208．

[4]屈鑒銘，劉志鏡，賀文驊．結合有向場景運動模式的粒子濾波行人跟蹤方法[J]．西安交通大學學報，2014，48(12)：74-79．

[5]袁霄，王麗萍．基于MeanShift算法的運動人體跟蹤[J]．計算機工程與科學，2008，30(4)：46-49．

[6]顏佳，吳敏淵，陳淑珍，等．應用Mean Shift和分塊的抗遮擋跟蹤[J]．光學 精密工程，2010，18(6)：1413-1418．

[7]章學靜，陳禾，楊靜．結合卡爾曼濾波和Mean Shift的抗遮擋跟蹤算法[J]．北京理工大學學報，2013，33(10)：1056-1061．

[8]張偉麗，江春華，郝宗波．基于改進的均值漂移和卡爾曼濾波的目標跟蹤算法[J]．計算機應用與軟件，2014，31(5)：240-243．

[9]HE J W,YANG Y Y．Signal Processing, communications and computing: ICSPCC2014[C] ∥Multi-interative tracking mathod using meanshift based on kalman filter.Guilin，2014：22-27．

[10]權義萍，金鑫，張蕾，等．基于Mean-Shift的卡爾曼粒子濾波車輛跟蹤算法研究[J]．計算機應用與軟件，2014，31(9)：236-252．

[11]楊杰，張翔．視頻目標檢測和跟蹤及其應用[M]．上海：上海交通大學出版社，2012．

[12]王杰，畢浩洋．一種基于粒子群優(yōu)化的極限學習機[J]．鄭州大學學報(理學版)，2013，45(1) ：100-104．

[13]胡義涵，張小剛，陳華，等．一種基于魯棒估計的極限學習機方法[J]．計算機應用研究，2012，29(8)：2926-2930．

Target Tracking Algorithm Based on Mean Shift with ELM

MAO Xiaobo, HAO Xiangdong, LIANG Jing

(School of Electrical Engineering,Zhengzhou University，Zhengzhou 450001,China)

Abstract:In view of the problem of object deviation when occlusions occur during the target tracking, a new algorithm using Mean Shift with ELM is proposed. According to the formal information of the object’s location, current possible location was predicted by ELM, the iteration was started from the possible location instead of formal location, and the object’s real center is calculated by mean shift algorithm. The simulation results show that proposed algorithm can track precisely target occluded, operation time and number of iteration are reduced so that efficiency and robustness are improved.

Key words:target tracking; occlusion; Mean Shift; ELM

收稿日期:2015-03-10；

修訂日期：2015-05-20

基金項目：國家自然科學基金資助項目(61473266); 河南省教育廳科學技術研究重點項目資助計劃(14A410001)

作者簡介:毛曉波(1965—)，男，河南開封人，鄭州大學教授，博士，主要從事仿生機器視覺研究，E-mail: mail-mxb@zzu.edu.cn.

文章編號:1671-6833(2016)01-0001-05

中圖分類號：U461.6

文獻標志碼：A

doi:10.3969/j.issn.1671-6833.201503043

引用本文:毛曉波,郝向東,梁靜.基于ELM與Mean Shift的抗遮擋目標跟蹤算法[J].鄭州大學學報(工學版)，2016,37(1):1-5.