基于Hu不變矩相似關(guān)聯(lián)度的Mean-shift運動跟蹤算法研究

郝行猛，肖 娜，舒 梅

(浙江大華技術(shù)股份有限公司，浙江 杭州 310051)

0 引言

目標檢測及跟蹤是涉及交通、生產(chǎn)、醫(yī)療等眾多領(lǐng)域的重要應(yīng)用技術(shù)。該技術(shù)利用視覺反饋系統(tǒng)對目標的位置速度軌跡 (position velocity and track,PVT)等時空變化特征信息進行計算分析，使得控制系統(tǒng)輸出最優(yōu)決策信息。Mean-shift跟蹤算法具有體量小、易于融合其他算法優(yōu)化自身跟蹤性能的特性，是早期常用的實時跟蹤算法。傳統(tǒng)Mean-shift跟蹤算法[1-2]采用基于顏色特征的核密度估計，根據(jù)目標模型和候選模型區(qū)域顏色直方圖的最大相似原則尋找局部最優(yōu)，以實現(xiàn)目標跟蹤。當存在背景顏色干擾時，傳統(tǒng)Mean-shift算法由于缺乏對跟蹤目標遇到大比例遮擋狀況的預(yù)測能力，無法準確定位跟蹤目標，會出現(xiàn)跟蹤迭代次數(shù)較多及目標丟失現(xiàn)象。

為優(yōu)化以上傳統(tǒng)Mean-shift跟蹤算法存在的問題，本文提出了一種基于Hu不變矩相似關(guān)聯(lián)度的Mean-shift運動跟蹤方法。該方法采用Hu不變矩特征描述子提取跟蹤目標特征向量矩，由歷史幀位移矢量通過線性回歸擬合目標運動方向，并依據(jù)視頻幀率及目標位移速度預(yù)估Mean-shift初始迭代搜索的位置。

基于位移矢量方向及預(yù)估位置，本文進行8步態(tài)方向迭代搜索，并結(jié)合Pearson相關(guān)系數(shù)[3]度量跟蹤目標特征矩與候選目標特征矩之間的相似關(guān)聯(lián)度，對目標進行定位，以實現(xiàn)目標跟蹤。一方面，該方法采用Hu不變矩特征描述子提取目標特征向量，結(jié)合Pearson相關(guān)系數(shù)法計算跟蹤目標特征矩與候選目標特征矩之間相關(guān)性系數(shù)Pe，并與原始Mean-shift的Bh度量系數(shù)進行加權(quán)求和，以提高運動目標定位準確度。另一方面，該方法基于運動目標位移矢量，通過最小二乘法擬合目標運動方向，并依據(jù)視頻幀率及位移速度預(yù)估下一幀Mean-shift初始迭代的最優(yōu)位置。結(jié)合8步態(tài)迭代搜索，可確定最優(yōu)的迭代方向，從而有效減少目標搜索時的迭代次數(shù)。該方法實現(xiàn)了對運動目標的實時、快速跟蹤，提高了對目標跟蹤性能的穩(wěn)定性。

1 Mean-shift運動跟蹤算法

Mean-shift運動跟蹤算法依據(jù)目標模板與候選模板之間的顏色分布直方圖相似度最大的原則，輸出目標在當前幀的最優(yōu)匹配位置。分析計算跟蹤目標在顏色特征空間中每個特征值的概率密度，并將其作為目標模板。模板中特征值的概率密度估計由式(1)計算得出。

(1)

下幀圖像中候選模板的概率密度可由式(2)得出。

(2)

引入bh系數(shù)表示當前幀候選模型和目標模型之間的相似度，則相似系數(shù)bh(y)通過式(3)獲得。

(3)

2 基于Hu不變矩相關(guān)度的Mean-shift算法

本文研究的基于Hu不變矩[5-6]相似關(guān)聯(lián)度Mean-shift運動跟蹤算法，采用Hu不變矩特征描述子提取跟蹤目標特征向量矩，由歷史幀位移矢量通過最小二乘法擬合目標運動方向，并依據(jù)視頻幀率及目標位移速度預(yù)估Mean-shift初始迭代搜索的位置。基于位移矢量方向及預(yù)估位置，進行8步態(tài)方向迭代搜索。通過跟蹤目標特征矩Tm與候選目標特征矩Cm之間相關(guān)性系數(shù)Pe與Mean-shift的Bh度量系數(shù)進行加權(quán)求和方式，計算候選框b的置信度，優(yōu)選出最佳目標迭代搜索方向，并根據(jù)既得信息對目標位置進行修正。

2.1 Hu不變矩的特征描述

Hu不變矩理論是利用二階和三階中心矩非線性組合，構(gòu)造一組維度1×7，并滿足旋轉(zhuǎn)、平移和尺度不變性特征的矩向量。Hu不變矩向量計算式如下。

設(shè)定一幅大小為M×N的二維離散圖像的密度函數(shù)f(x,y)，以黎曼積分的形式給出(p+q)階二維矩定義：

(4)

(p+q)階中心矩為：

(5)

歸一化的中心矩計算式如下。

(6)

根據(jù)中心矩的值，Hu不變矩向量元素計算如下。

(7)

為約束Hu不變矩元素變化范圍，對矩向量元素進行l(wèi)n對數(shù)取值。

(8)

2.2 Pearson相似關(guān)聯(lián)度目標位置預(yù)估

Pearson相關(guān)性系數(shù)度量2個特征集之間的相關(guān)性程度。當Pe的絕對值趨于1時，表明兩者相關(guān)性較強；當Pe絕對值趨于0時，表明兩個特征集之間的相關(guān)程度較低。采用Pe度量目標模板與候選模板之間的相關(guān)程度，并將Pe和Bh系數(shù)之間加權(quán)求和的結(jié)果作為當前候選框內(nèi)目標的置信度[7]得分C，以提高目標定位結(jié)果的準確度。

Pe計算式如下。

(9)

式中：xk和yk分別為目標模板與候選模板Hu矩向量中的子元素；N為矩向量中元素的個數(shù)。

候選框內(nèi)目標置信度得分C計算式為：

C(g)=α×Pe(y)+β×Bh(y)

(10)

式中：g為當前候選模板；α和β分別為兩模板間Pe和Bh變量的加權(quán)系數(shù)。

由于目標位移進程連續(xù)，在有限幀數(shù)N內(nèi)可通過線性回歸的方式，擬合目標在下幀圖像運動位移方向。設(shè)定目標位移線性回歸目標函數(shù)方程為：

(11)

式中：(xi，yi)為目標位移向量中跟蹤框的中心點坐標；獲取未知參量k、b即可建立f值最小時目標位移參數(shù)方程。

求取目標函數(shù)f最優(yōu)解時變量k與b的值，一階偏導計算式如下。

(12)

將式(12)作化簡拆分處理后，形式如下。

(13)

(14)

將式(14)求取的參數(shù)k、b代入目標函數(shù)，即可得到跟蹤目標位移參數(shù)方程。通過線性回歸法[4]擬合目標運動方向，并依據(jù)視頻幀率及位移速度預(yù)估下一幀初始迭代的最優(yōu)位置?；诋斍俺跏嫉恢?，以當前擬合位移方向為正方向，候選框分別向上、下、左、右、左上、右上、左下、右下8步態(tài)方向滑動，計算候選框內(nèi)的目標置信度得分，并將小于設(shè)定閾值的方向從隊列中移除。本文通過8步態(tài)迭代搜索方式選定最優(yōu)的迭代方向。右主方向的8步態(tài)迭代如圖1所示。

圖1 8步態(tài)迭代示意圖

2.3 基于Hu不變矩相關(guān)度的Mean-shift算法描述

2.3.1 算法關(guān)鍵點

基于Hu不變矩相關(guān)度的Mean-shift算法的關(guān)鍵點總結(jié)如下。

①用Hu不變矩特征描述子[8]提取目標特征向量，結(jié)合Pearson相關(guān)系數(shù)法計算跟蹤目標特征矩和候選目標特征矩之間的Pe，并與Mean-shift的Bh度量系數(shù)之間進行加權(quán)求和，優(yōu)選出置信度最高的候選模板框，以提高運動目標定位準確度。

②基于運動目標位移矢量，通過最小二乘法擬合[8]目標運動方向，并依據(jù)視頻幀率及位移速度預(yù)估下一幀Mean-shift初始迭代搜索的最優(yōu)位置。結(jié)合本文的8步態(tài)迭代搜索方法，確定跟蹤目標的最優(yōu)迭代方向。通過優(yōu)化搜索范圍，可提高跟蹤效率。

2.3.2 算法流程

本文算法流程如下。

①選取跟蹤目標，計算目標灰度空間分布直方圖[9]。通過式(1)建立目標模板，并由式(7)獲取目標模板的Hu不變矩特征向量Vq。

②根據(jù)上幀圖像中目標跟蹤定位結(jié)果，結(jié)合運動目標N幀位移矢量，通過式(14)的參數(shù)解擬合目標運動方向，并依據(jù)視頻幀率及位移速度預(yù)估當前幀迭代的起始位置y0。若當前幀數(shù)小于N，則直接采用上幀的定位結(jié)果作為當前幀的迭代起始位置y0。

③以y0為中心的候選區(qū)域作為初始迭代位置，由式(2)計算迭代區(qū)域內(nèi)的候選模板直方圖，并建立候選模型以候選Hu不變矩特征向量Vq。

④利用本文的8步態(tài)迭代方法，通過候選模型與目標模板之間Bh系數(shù)與Hu不變矩向量Pe相加權(quán)的方式，由式(10)計算當前候選模板的置信度得分C，確定當前最優(yōu)的迭代方向。

⑥將最優(yōu)定位結(jié)果y1鏈入目標位移矢量中，作為目標運動方向線性回歸[10]方程(14)的輸入。 依次重復以上步驟，直到視頻讀取結(jié)束。

3 試驗驗證

本文基于Windows7操作系統(tǒng)，在Matlab R2016a運行環(huán)境下分別對小區(qū)監(jiān)控視頻1和存在背景顏色干擾的真實標注值(ground truth,GT)標注數(shù)據(jù)視頻2進行了測試，驗證本文跟蹤算法性能。

為驗證本文跟蹤算法與Mean-shift算法對目標存在遮擋時的跟蹤效果，輸入視頻1分別對2種算法進行仿真測試。視頻1目標匹配迭代次數(shù)和Bh相關(guān)系數(shù)仿真結(jié)果分別如圖2和圖3所示。分析仿真結(jié)果可知：由于Mean-shift跟蹤算法缺少目標跟蹤框的修正機制，導致目標出現(xiàn)部分遮擋時，目標迭代搜索次數(shù)增加且Bh相關(guān)系數(shù)持續(xù)走低，使跟蹤框與目標貼合度下降。本文基于Hu不變矩相似關(guān)聯(lián)度的Mean-shift跟蹤算法，在目標出現(xiàn)部分遮擋時，會通過8步迭代法獲取當前最優(yōu)迭代方向，并引入Bh相關(guān)系數(shù)與Hu不變矩向量Pe加權(quán)的方式對目標跟蹤框進行修正，在目標跟蹤實時性及跟蹤定位精度上有著更好的性能表現(xiàn)。

圖2 視頻1目標匹配迭代次數(shù)仿真結(jié)果

圖3 Bh相關(guān)系數(shù)仿真結(jié)果

對比本文與Mean-shift算法在跟蹤目標存在背景干擾時的跟蹤性能，輸入帶有GT標注數(shù)據(jù)的視頻2進行仿真驗證。視頻2目標匹配迭代次數(shù)仿真結(jié)果如圖4所示。

圖4 視頻2目標匹配迭代次數(shù)仿真結(jié)果

跟蹤框與GT的交并比(intersection over union,IOU)仿真結(jié)果如圖5所示。

圖5 跟蹤框與GT的IOU仿真結(jié)果

由圖4和圖5可知，當目標運動至90幀左右的背景干擾區(qū)域時，Mean-shift跟蹤算法單幀迭代次數(shù)增加且跟蹤框與GT框之間IOU明顯下降。本文跟蹤算法融合了線性回歸[11-12]的優(yōu)化迭代方向策略，并通過8步態(tài)迭代及時對目標跟蹤框的位置進行修正，從而保證存在背景干擾時目標跟蹤框的定位精度。

算法跟蹤性能參數(shù)如表1所示。由表1可知，本文跟蹤算法的目標跟蹤平均迭代次數(shù)及跟蹤框與GT框間的IOU平均值均優(yōu)于Mean-shift算法。因此，本文融合Hu不變矩相似關(guān)聯(lián)度的跟蹤算法在目標存在部分遮擋及背景干擾時，仍具有更優(yōu)的跟蹤效果和定位精度。

表1 算法跟蹤性能參數(shù)

4 結(jié)論

本文基于運動目標位移矢量，采用8步態(tài)迭代搜索方法，獲取跟蹤目標的最優(yōu)迭代方向，并通過目標特征矩向量與候選特征矩向量之間Pe與Bh相關(guān)系數(shù)加權(quán)的方式優(yōu)選出置信度最高的候選模板框，提高了跟蹤目標定位精度。通過試驗證明，當目標存在遮擋或背景干擾時，該算法依然能夠進行有效跟蹤定位,改善復雜條件下目標跟蹤框的定位精度，減少目標搜索時的迭代次數(shù)，并且具有很好的穩(wěn)定性和抗干擾能力。