基于目標(biāo)運(yùn)動(dòng)信息的Mean Shift 跟蹤算法研究

王 輝，于立君，郭 濤，原 新，陳虹麗

（哈爾濱工程大學(xué) 自動(dòng)化學(xué)院，黑龍江 哈爾濱 150001）

視覺目標(biāo)跟蹤[1]是計(jì)算機(jī)視覺研究中的一個(gè)重要課題，是目標(biāo)行為理解的基礎(chǔ)，是圖像系統(tǒng)連續(xù)準(zhǔn)確工作的重要環(huán)節(jié)。但是如何增強(qiáng)跟蹤算法對(duì)外界干擾因素的魯棒性，仍是視覺目標(biāo)跟蹤亟待解決的問題。

計(jì)算機(jī)視覺實(shí)踐課程中，學(xué)生一般采用經(jīng)典跟蹤算法[2-3]。目前，經(jīng)典的跟蹤算法框架主要包括卡爾曼濾波[4-5]、粒子濾波[6]、Mean Shift[7-8]算法等，其中Mean Shift 算法作為一種核密度估計(jì)算法，是Yizong Cheng 等人在1995 年提出的。該算法具有計(jì)算量小，對(duì)邊緣遮擋、目標(biāo)形變以及背景運(yùn)動(dòng)不敏感等優(yōu)點(diǎn)，但同時(shí)也存在相似背景顏色干擾等問題。針對(duì)這種算法的不足，文獻(xiàn)[9]提出了一種基于顏色紋理聯(lián)合特征直方圖的自適應(yīng)Mean Shift 跟蹤算法，文獻(xiàn)[10]提出了一種基于視覺顯著性特征的自適應(yīng)目標(biāo)跟蹤算法，文獻(xiàn)[11]提出了一種基于改進(jìn)背景加權(quán)的Mean Shift跟蹤算法，目的都是用來克服背景顏色干擾造成跟蹤算法不穩(wěn)定的問題。本文在借鑒上述研究成果的基礎(chǔ)上，提出一種基于目標(biāo)運(yùn)動(dòng)信息的Mean Shift 跟蹤算法。該算法利用改進(jìn)的MOG（混合高斯模型）算法提取分割出運(yùn)動(dòng)目標(biāo)信息，然后將其作為輔助信息實(shí)現(xiàn)對(duì)目標(biāo)模型的加權(quán)描述，從而更好地描述目標(biāo)與背景的顯著性區(qū)別，對(duì)背景進(jìn)行有效抑制，提高了跟蹤的準(zhǔn)確性。

1 Mean Shift 跟蹤算法

Mean Shift 跟蹤算法是一個(gè)迭代尋優(yōu)的過程，通過自適應(yīng)步長迭代，尋找概率密度分布的局部極值點(diǎn)[12]。若 {,n是目標(biāo)模板區(qū)域以y0為中心像素位置的n個(gè)像素點(diǎn)，則以目標(biāo)的顏色直方圖作為搜索特征，利用核函數(shù)構(gòu)建目標(biāo)模型m級(jí)直方圖的顏色概率分布函數(shù)為：

式中，k為核函數(shù)；h為核函數(shù)帶寬；b(xi)表示樣本點(diǎn)xi處像素的特征值；u為直方圖特征值的索引；δ為Delta 函數(shù)；δ[b(xi) -u]用來判別目標(biāo)區(qū)域的像素值xi是否歸屬于第u個(gè)顏色特征值，屬于則為1，不屬于則為0；C為歸一化系數(shù)，目的是使概率和為1，則：

在建立了目標(biāo)和候選目標(biāo)的模型后，目標(biāo)跟蹤可以簡化為尋找最佳位置y，使得qu與pu最相似。兩者之間的相似性可用Bhattacharyya 系數(shù)來度量，即：

對(duì)式（3）進(jìn)行Talor 展開計(jì)算，通過Mean Shift迭代計(jì)算核密度估計(jì)的局部極大值點(diǎn)，則可得到目標(biāo)在當(dāng)前幀的新位置為：

式中：g(x) =-k(x), {n為每個(gè)像素的權(quán)重。

通過迭代計(jì)算式（5），直至Bhattacharyya 系數(shù)最大，將其定位為目標(biāo)最終中心位置，然后停止迭代。

2 運(yùn)動(dòng)信息檢測(cè)MOG 算法的改進(jìn)

2.1 MOG 算法分析

MOG（mixture of gaussian）算法[13]是一種流行的聚類方法，主要用于運(yùn)動(dòng)目標(biāo)檢測(cè)。它主要使用若干個(gè)單高斯分布來表征視頻圖像中每個(gè)像素點(diǎn)的特征，如果當(dāng)前幀的某像素特征與高斯分布相匹配，則被判定為背景像素，否則為前景像素。對(duì)t時(shí)刻每個(gè)像素點(diǎn)x建立混合高斯模型，其概率密度函數(shù)公式為：

其中，η(xt,μ i,t,τi,t)為第i個(gè)高斯分布；μi,t為其均值；τi,t為其協(xié)方差矩陣；ωi,t為t時(shí)刻第i個(gè)高斯分布的權(quán)重；K為高斯分布個(gè)數(shù)。通過選取合適的閾值T可以對(duì)估計(jì)背景B進(jìn)行判斷：

當(dāng)出現(xiàn)新圖像時(shí)，將當(dāng)前像素值xt1+與第k個(gè)高斯模型按式（9）進(jìn)行比較，其中只要有一個(gè)滿足：

中阿公司有一句膾炙人口的廣告語——“豐收三要素：陽光、雨露、撒可富”。然而，對(duì)于肥料產(chǎn)品來說，口碑的積累需要一個(gè)過程。舒蘭市天德鄉(xiāng)天河村村民于小明是個(gè)水稻種植大戶，也是舒蘭地區(qū)最早使用撒可富肥料的農(nóng)戶之一。姜友善介紹說，前些年，由于早稻的收購價(jià)格一路走低，于小明覺得用不起撒可富，便換用了其他品牌的低價(jià)肥料，結(jié)果連續(xù)幾年都遭遇減產(chǎn)和倒伏。去年，于小明又找到姜友善，點(diǎn)名要買撒可富，使用后出苗又齊又壯，且沒有受到旱災(zāi)的影響，當(dāng)年就實(shí)現(xiàn)了增產(chǎn)增收。

則此像素xt1+在t+1 時(shí)刻是屬于背景的，否則，屬于運(yùn)動(dòng)目標(biāo)。其中λ是預(yù)設(shè)的閾值，此閾值就是判斷當(dāng)前時(shí)刻像素值與均值之差的絕對(duì)值較方差的倍數(shù)范圍，根據(jù)經(jīng)驗(yàn)一般取λ=2.5時(shí)提取的運(yùn)動(dòng)信息效果最好。tσ為方差。

MOG 算法作為背景差分法中通過建立數(shù)學(xué)模型進(jìn)行運(yùn)動(dòng)目標(biāo)檢測(cè)的經(jīng)典算法[14]，受背景擾動(dòng)的影響很小，但也存在缺陷，例如由于要對(duì)場(chǎng)景中的每個(gè)像素點(diǎn)都進(jìn)行逐一建模，會(huì)造成檢測(cè)效率低下。

2.2 MOG 算法的改進(jìn)

在保證檢測(cè)效果的前提下，為提高原MOG 算法的檢測(cè)效率，本文通過引入顯著性檢測(cè)MSS 算法[15]，將輸入圖像分為顯著與非顯著區(qū)域，來動(dòng)態(tài)調(diào)整MOG算法的建模過程，減少髙斯模型中的資源浪費(fèi)，并準(zhǔn)確檢測(cè)出運(yùn)動(dòng)目標(biāo)。對(duì)于一幅大小為h×w的圖像I，顯著圖S定義為：

式中，S(x,y)是像素點(diǎn)(x,y)的顯著性值；I f(x,y)是平滑后圖像中像素點(diǎn)的CIELAB 顏色特征值。圖像全部像素點(diǎn)的特征值I μ(x,y)可通過下式計(jì)算：

偏移量0x、y0以及子圖像的面積S 的計(jì)算公式為：

因此，本文首先利用MSS 模型對(duì)輸入的當(dāng)前視頻幀提取其顯著圖，如圖1 所示。圖中的顯著性運(yùn)動(dòng)目標(biāo)均沒有漏檢現(xiàn)象，并且非顯著的背景區(qū)域能夠被很好地過濾掉，符合目標(biāo)檢測(cè)要求。

圖1 顯著圖提取

然后，在此基礎(chǔ)上利用MOG 算法提取場(chǎng)景中的運(yùn)動(dòng)信息，如圖2 所示。道路上的運(yùn)動(dòng)車輛和行走中的人物都獲得了比較完整的檢測(cè)效果。

圖2 運(yùn)動(dòng)信息檢測(cè)

在檢測(cè)結(jié)果得以證明的前提下，改進(jìn)前后MOG算法對(duì)每幀圖像進(jìn)行檢測(cè)的時(shí)間對(duì)比如圖3 所示。改進(jìn)后的MOG 算法的每幀處理時(shí)間明顯小于原MOG算法，有效克服了原MOG 算法需逐點(diǎn)建模，從而導(dǎo)致計(jì)算量大的問題。從以上仿真結(jié)果分析可知，本文結(jié)合MSS 算法改進(jìn)的MOG 運(yùn)動(dòng)信息檢測(cè)算法，可以滿足準(zhǔn)確性和實(shí)時(shí)性要求，實(shí)現(xiàn)快速穩(wěn)定的運(yùn)動(dòng)目標(biāo)檢測(cè)效果。

圖3 運(yùn)動(dòng)目標(biāo)檢測(cè)時(shí)間對(duì)比圖

3 基于目標(biāo)運(yùn)動(dòng)信息的Mean Shift 跟蹤算法

本文利用改進(jìn)后的MOG 算法計(jì)算出各幀圖像中相應(yīng)的運(yùn)動(dòng)目標(biāo)前景二值圖像，其中前景點(diǎn)的像素值由1 表示，背景點(diǎn)由0 表示。目標(biāo)運(yùn)動(dòng)信息的提取按式（13）進(jìn)行：

考慮到Mean Shift 跟蹤算法中目標(biāo)近似位置及該位置處的特征模板是已知的，所以在提取運(yùn)動(dòng)信息后，就可以考慮在基于顏色特征的Mean Shift 跟蹤算法中，根據(jù)式（14）建立目標(biāo)模型?uq：

同理，可計(jì)算候選目標(biāo)模型?up，并在以后計(jì)算目標(biāo)新位置時(shí)，將權(quán)重iω重新定義為：

如前所述，跟蹤過程中將剔除那些與目標(biāo)顏色特征相近的偽特征干擾，即在復(fù)雜背景下跟蹤將更加魯棒。下面給出結(jié)合目標(biāo)運(yùn)動(dòng)信息改進(jìn)的Mean Shift 算法跟蹤流程：

第一步：讀入視頻序列，初始化跟蹤目標(biāo)，確定目標(biāo)中心位置y0及核函數(shù)帶寬h等信息。

第二步：在當(dāng)前幀中，采用改進(jìn)后的MOG 算法進(jìn)行運(yùn)動(dòng)目標(biāo)檢測(cè)，并進(jìn)一步對(duì)檢測(cè)結(jié)果進(jìn)行二值化、形態(tài)學(xué)處理，目的是提取其像素點(diǎn)的運(yùn)動(dòng)信息，并根據(jù)式（14）計(jì)算基于運(yùn)動(dòng)信息加權(quán)的目標(biāo)顏色直方圖模型?uq。

第三步：讀取下一幀視頻圖像，繼續(xù)提取運(yùn)動(dòng)信息，并利用如下Mean Shift 迭代過程搜索目標(biāo)在當(dāng)前的最佳位置y1：①以上一幀目標(biāo)位置y0初始化當(dāng)前幀候選目標(biāo)位置，計(jì)算候選目標(biāo)的顏色直方圖模型p?u；②根據(jù)式（16）計(jì)算權(quán)重ω?i；③通過式（17）計(jì)算目標(biāo)的下一位置y1，如果 ||y1-y0||＞ε（ε為一個(gè)任意小的大于0 的值），則y1趨近于y0，跳轉(zhuǎn)至①，否則停止迭代，顯示跟蹤結(jié)果。

第四步：判斷跟蹤是否結(jié)束，若否，返回第三步，在新一幀中繼續(xù)定位目標(biāo)；若是，則跟蹤結(jié)束。

上述算法的跟蹤框架流程如圖4 所示。

圖4 運(yùn)動(dòng)目標(biāo)跟蹤流程圖

4 實(shí)驗(yàn)仿真

為了驗(yàn)證改進(jìn)算法的實(shí)效性，通過實(shí)驗(yàn)1 和實(shí)驗(yàn)2與傳統(tǒng)Mean Shift 算法進(jìn)行比較。實(shí)驗(yàn)平臺(tái)采用CPU型號(hào)為 i53210MD、內(nèi)存為 4GB 的 PC 機(jī)，使用VS2010+OPENCV2.4.9 軟件進(jìn)行仿真實(shí)現(xiàn)。

實(shí)驗(yàn)1：對(duì)受背景顏色干擾的行人目標(biāo)進(jìn)行跟蹤。本文從第270 幀開始跟蹤，并分別取第280 幀、317幀、372 幀的跟蹤結(jié)果進(jìn)行展示。從圖5 中可以看出，當(dāng)目標(biāo)在第317 幀、第372 幀發(fā)生了背景顏色干擾以后，傳統(tǒng)的Mean Shift 的跟蹤框發(fā)生了偏移，造成跟蹤誤差。而本文算法卻能從始至終較好地完成跟蹤任務(wù)。

圖5 實(shí)驗(yàn)1 跟蹤結(jié)果比較

實(shí)驗(yàn)2：對(duì)一段受背景干擾程度更大的行人目標(biāo)進(jìn)行跟蹤。本文從第10 幀開始跟蹤，并分別取第58幀、99 幀、130 幀的跟蹤結(jié)果進(jìn)行比較。從圖6 可以看出，傳統(tǒng)Mean Shift 在99 幀以后偏離目標(biāo)，直到第130 幀時(shí)搜索框丟失目標(biāo)，至此以后，跟蹤框陷入局部最優(yōu)，無法再跟蹤目標(biāo)。而本文算法同樣能較好地完成跟蹤任務(wù)。

圖6 實(shí)驗(yàn)2 跟蹤結(jié)果比較

圖7 跟蹤曲線誤差對(duì)比圖

為分析兩個(gè)跟蹤算法在不同實(shí)驗(yàn)環(huán)境下的跟蹤性能，本文以中心誤差作為衡量跟蹤誤差的指標(biāo)。在計(jì)算中心位置誤差時(shí)，由于要手動(dòng)標(biāo)記目標(biāo)的真實(shí)位置，為方便計(jì)算，本文選擇每隔5 幀對(duì)其進(jìn)行標(biāo)記，圖7示出了這兩種算法在實(shí)驗(yàn)1、實(shí)驗(yàn)2 的跟蹤誤差曲線，其中心位置誤差定義如下：

式中，(xr,yr)為算法跟蹤得到的目標(biāo)中心坐標(biāo)位置，(x g,yg)為真實(shí)的目標(biāo)中心坐標(biāo)位置。

從圖7 可以看出，不論在實(shí)驗(yàn)1 還是實(shí)驗(yàn)2 中，改進(jìn)后的算法較傳統(tǒng)Mean Shift 算法在各個(gè)時(shí)刻的跟蹤誤差都要小，且在跟蹤過程中沒有太大波動(dòng)，一直都能夠穩(wěn)定在一個(gè)較小的誤差范圍內(nèi)，表明本文算法在各個(gè)時(shí)刻具有較高的精度和較強(qiáng)的穩(wěn)定性。

為驗(yàn)證改進(jìn)算法的實(shí)時(shí)性，表1 和表2 分別為這兩種算法在實(shí)驗(yàn)1 和實(shí)驗(yàn)2 的跟蹤時(shí)間對(duì)比結(jié)果。

表1 兩種算法在實(shí)驗(yàn)1 的實(shí)時(shí)性對(duì)比

表2 兩種算法在實(shí)驗(yàn)2 的實(shí)時(shí)性對(duì)比

從表中可以看出，改進(jìn)后的Mean Shift 算法在提高跟蹤準(zhǔn)確度的基礎(chǔ)上，雖然在時(shí)間花費(fèi)上有所增加，但差異不大，依然在人眼可接受范圍內(nèi)，能夠滿足算法實(shí)時(shí)性要求。綜合上述實(shí)驗(yàn)的跟蹤效果及性能分析可以看出，本文提出的基于目標(biāo)運(yùn)動(dòng)信息改進(jìn)的Mean Shift 跟蹤算法可以在復(fù)雜背景顏色干擾下，實(shí)現(xiàn)準(zhǔn)確且實(shí)時(shí)跟蹤目標(biāo)的目的。

5 結(jié)語

本文對(duì) MOG 算法進(jìn)行改進(jìn)，引入顯著性檢測(cè)MSS 算法來動(dòng)態(tài)調(diào)節(jié)其建模過程，解決了原MOG 算法計(jì)算量大的問題。并利用改進(jìn)后的MOG 算法檢測(cè)場(chǎng)景圖像中的運(yùn)動(dòng)目標(biāo)信息，使其對(duì)Mean Shift 框架下的目標(biāo)模型進(jìn)行加權(quán)描述，以此來提高目標(biāo)和背景的區(qū)分度，減少背景信息對(duì)目標(biāo)定位的干擾。實(shí)驗(yàn)結(jié)果表明，應(yīng)用改進(jìn)后的Mean Shift 算法跟蹤誤差更小、魯棒性更強(qiáng)，對(duì)復(fù)雜環(huán)境下的運(yùn)動(dòng)目標(biāo)可以較準(zhǔn)確地進(jìn)行實(shí)時(shí)跟蹤。改進(jìn)的算法在實(shí)踐教學(xué)過程中，大大提高了學(xué)生的學(xué)習(xí)興趣和編程能力，推動(dòng)了計(jì)算機(jī)視覺實(shí)踐課程向自主創(chuàng)新方向發(fā)展。