基于快速M(fèi)SR和CamShift的光照變化環(huán)境目標(biāo)跟蹤

陳晨

（蚌埠學(xué)院，蚌埠 233030）

基于快速M(fèi)SR和CamShift的光照變化環(huán)境目標(biāo)跟蹤

陳晨

（蚌埠學(xué)院，蚌埠 233030）

提出一種基于快速M(fèi)SR的CamShift運(yùn)動(dòng)目標(biāo)跟蹤算法，以提高CamShift在光照條件變化的情況下跟蹤目標(biāo)的精度。MSR是Retinex顏色恒常性理論的一種經(jīng)典算法，但由于計(jì)算量大，難以應(yīng)用于實(shí)時(shí)系統(tǒng)。通過使用一種改進(jìn)后的MSR算法，提高運(yùn)算效率。MSR使得圖像在被CamShift處理前能去除光照影響，恢復(fù)本質(zhì)色彩，保證在不同的光照環(huán)境下，CamShift處理的圖像都是色彩恒定的，從而提高整個(gè)目標(biāo)跟蹤系統(tǒng)的魯棒性。

顏色恒常性；Retinex；多尺度Retinex；目標(biāo)跟蹤；CamShift

0 引言

單一目標(biāo)跟蹤作為一個(gè)功能子集，目前被廣泛應(yīng)用于許多系統(tǒng)，這些系統(tǒng)包括交通監(jiān)控、人群檢測(cè)、機(jī)器人導(dǎo)航等。單一目標(biāo)跟蹤和多目標(biāo)跟蹤的主要區(qū)別是單一目標(biāo)跟蹤只需要維護(hù)一個(gè)跟蹤路徑，而不必像多目標(biāo)跟蹤那樣需要使用協(xié)同方法處理多條路徑，從而得到最終的跟蹤結(jié)果。跟蹤路徑維護(hù)的性能對(duì)于整個(gè)系統(tǒng)的準(zhǔn)確度和魯棒性有很大的影響。

由Intel公司的Bradski提出的CamShift（Continuously Apative MeanShift）算法[1]被廣泛應(yīng)用于單一目標(biāo)跟蹤，它是MeanShift算法的修改，MeanShift針對(duì)單張圖片尋找最優(yōu)迭代結(jié)果，而CamShift則是對(duì)視頻序列中的每一幀圖片迭代地調(diào)用MeanShift來(lái)尋找最優(yōu)迭代結(jié)果。CamShift的主要思想是首先獲得運(yùn)動(dòng)目標(biāo)的顏色概率分布。顏色概率分布本身是一個(gè)灰度圖，可以通過顏色直方圖來(lái)獲得，然后用這個(gè)顏色概率分布來(lái)跟蹤目標(biāo)。顏色直方圖作為一個(gè)顏色概率查找表存在，CamShift就是在某個(gè)跟蹤范圍內(nèi)不斷尋找顏色分布符合這個(gè)顏色直方圖的區(qū)域，最終通過尋找這個(gè)顏色分布區(qū)域完成對(duì)運(yùn)動(dòng)目標(biāo)的跟蹤。

目標(biāo)跟蹤系統(tǒng)工作的實(shí)際環(huán)境一般都不是非常理想的，存在很多干擾因素，如跟蹤目標(biāo)非剛性會(huì)發(fā)生形變、目標(biāo)運(yùn)動(dòng)速度快、視頻質(zhì)量低、天氣和光照的變化等都對(duì)系統(tǒng)的魯棒性提出很高要求。不斷變化的環(huán)境必然會(huì)增加對(duì)被跟蹤目標(biāo)準(zhǔn)確建模的難度，更復(fù)雜的建模又會(huì)要求更高的處理速度，對(duì)于采用協(xié)同方法跟蹤目標(biāo)的算法而言，最難平衡的就是跟蹤的準(zhǔn)確度、方法的復(fù)雜性和預(yù)期的運(yùn)行速度這三者間的關(guān)系。本文主要討論光照變化時(shí)如霧天等情況下對(duì)單一目標(biāo)的跟蹤，如果將受光照影響看作圖像顏色失真，則問題轉(zhuǎn)換為在進(jìn)行目標(biāo)跟蹤前對(duì)圖像色彩進(jìn)行恢復(fù)，因此本文為保證算法的實(shí)時(shí)性，采用基于色彩恒常性理論的CamShift算法而非協(xié)同方法。

顏色恒常性理論指的是，當(dāng)物體表面的光照變化的情況時(shí)，人們所感受到的物體顏色的穩(wěn)定心理傾向，其中比較著名的有Retinex理論和Gray World理論，Retinex由美國(guó)物理學(xué)家Land發(fā)現(xiàn)，Land經(jīng)過二十多年的研究分析，發(fā)現(xiàn)一些現(xiàn)象無(wú)法用先前的色彩理論解釋，他發(fā)覺人類的視覺系統(tǒng)對(duì)傳入的圖像信息進(jìn)行了某種處理，僅僅保留了其本質(zhì)特征，這些特征在經(jīng)過大腦的繁瑣處理后，在人類的大腦中形成圖像。基于上述認(rèn)識(shí)，Land提出了Retinex色彩理論。目前使用較多的算法是單尺度Retinex算法（SSR）和多尺度Retinex算法（MSR）[2-5]。兩者均使用中心/環(huán)繞核函數(shù)，其中的卷積計(jì)算會(huì)浪費(fèi)大量時(shí)間，不適用于實(shí)時(shí)性要求較高的目標(biāo)跟蹤，本文將使用一種改進(jìn)的快速M(fèi)SR算法。

雖然CamShift算法可以工作在HSV色彩空間，使其具有一定的應(yīng)對(duì)光照變化的能力。但是光照依然會(huì)對(duì)H分量造成影響，后文將說明結(jié)合色彩恒常性理論后，跟蹤算法會(huì)更加精確。

1 相關(guān)理論

顏色恒常性指人的大腦在處理眼睛接收到的圖像時(shí)會(huì)自動(dòng)去除光照等環(huán)境影響，恢復(fù)物體的原本色彩的穩(wěn)定心理傾向。Retinex的具體實(shí)現(xiàn)算法有很多種，但它們的基本思路均是將進(jìn)入人眼或捕獲設(shè)備的圖像分為照射分量和反射分量，Retinex假設(shè)照射分量是空間平滑的，物體的本質(zhì)顏色由反射分量決定，當(dāng)從捕獲到的圖像中去除照射分量后，就可以恢復(fù)物體的原有顏色。在實(shí)際應(yīng)用中，照射分量可能是不同季節(jié)、時(shí)間的陽(yáng)光，大氣中的霧、塵埃等。這些光照影響一般是全局的，可看作是圖像的低頻信息。事實(shí)上，實(shí)驗(yàn)已經(jīng)證明，針對(duì)局部光照變化，Retinex也有很好的復(fù)原能力。

單尺度Retinex（SSR）是Jobson對(duì)中心/環(huán)繞Retinex算法的改進(jìn)，設(shè)圖像公式為所示，它的對(duì)數(shù)域表示為：

上述公式中i表示圖像中的第i個(gè)顏色通道，在RGB空間分別表示R、G、B三個(gè)顏色通道，*代表卷積運(yùn)算，F(xiàn)（x，y）是高斯卷積函數(shù)，稱為低通中心/環(huán)繞函數(shù)，Ri（x，y）表示輸出結(jié)果。

SSR圖像增強(qiáng)算法的卷積核函數(shù)，即高斯卷積函數(shù)，可以表示為如下形式：

其中，σ表示概率分布的尺度參數(shù)。人類視覺敏感于圖像的邊緣細(xì)節(jié)信息，這個(gè)公式的本質(zhì)就是利用高斯低通濾波同原圖像的卷積來(lái)估計(jì)圖像中的低頻信息，用原圖像去除這些低頻信息，就相當(dāng)于去除圖像的照射分量，保留反射分量，最終恢復(fù)圖像的本質(zhì)顏色。

在SSR中σ是一個(gè)重要參數(shù)，不同的σ對(duì)圖像的處理效果也不同。公式（2）中不同的σ由不同的Gauss濾波器形成，σ與濾波器的鄰域半徑存在正比關(guān)系，即鄰域半徑越大σ越大，反之越小。兩者的關(guān)系會(huì)影響Retinex算法的增強(qiáng)效果。形象地說，鄰域半徑越小，σ越小，動(dòng)態(tài)壓縮能力越好，能較好的增強(qiáng)圖像內(nèi)陰影部分的細(xì)節(jié)，但處理結(jié)果存在嚴(yán)重的色彩失真；相反，鄰域半徑越大，σ值較大，圖像的色彩保真結(jié)果越好，但處理結(jié)果銳化現(xiàn)象明顯，動(dòng)態(tài)壓縮能力減弱。因此選擇合適的尺度參數(shù)是，才能得到理想的SSR處理結(jié)果。

眾多實(shí)驗(yàn)表明合并單尺度Retinex算法的高中低尺度能夠取得較好的圖像增強(qiáng)效果，將SSR方法的三個(gè)尺度進(jìn)行加權(quán)平均得到多尺度Retinex算法，其公式為：

（x，y）表示圖像中像素點(diǎn)坐標(biāo)，*是卷積運(yùn)算，N是尺度個(gè)數(shù)。N=1，表示圖像是灰度圖像；N=3，表示圖像是彩色圖像，i∈r，g，b。Wn是高斯函數(shù)標(biāo)準(zhǔn)差的權(quán)重因子，通常假設(shè)各權(quán)重因子是相等的，因此N=3，而Wn取值為1/3。上式中的卷積核函數(shù)同SSR中的相同。圖像經(jīng)過MSR處理后，R、G、B分量與原圖像中三色分量形成了必然的差異，從而導(dǎo)致處理后的圖像色彩失真，為了得到較好的處理效果，在MSR算法的基礎(chǔ)上提出了MSRCR（多尺度彩色復(fù)原算法）。

CamShift的基本思路則是首先得到初始化跟蹤窗口的顏色直方圖，將待跟蹤目標(biāo)的顏色信息作為特征；然后在一個(gè)比當(dāng)前搜索窗口稍大的區(qū)域查詢先前得到的顏色直方圖，以確定區(qū)域中像素是否屬于運(yùn)動(dòng)目標(biāo)，從而將區(qū)域圖像轉(zhuǎn)換為運(yùn)動(dòng)目標(biāo)的顏色概率分布，利用此顏色概率分布的零階矩和一階矩獲取運(yùn)動(dòng)目標(biāo)的質(zhì)心；接著設(shè)定新的搜索窗口，將搜索窗口的中心移動(dòng)到顏色分布概率最大的質(zhì)心，調(diào)整窗口大小和位置，直至窗口移動(dòng)距離收斂。重復(fù)此過程就可以實(shí)現(xiàn)對(duì)運(yùn)動(dòng)目標(biāo)的連續(xù)跟蹤，換句話說，CamShift就是迭代地根據(jù)上一幀得到的搜索窗口的中心位置和窗口大小自適應(yīng)地設(shè)置搜尋窗口的初始值，從而將顏色信息處理后投影到下一幀圖像，在此運(yùn)動(dòng)目標(biāo)圖像的基礎(chǔ)上分析計(jì)算出當(dāng)前圖像中目標(biāo)的質(zhì)心位置，定位出運(yùn)動(dòng)目標(biāo)。

2 算法

MSR算法中最耗費(fèi)時(shí)間的就是卷積操作，中心/環(huán)繞函數(shù)或者說高斯函數(shù)的本質(zhì)就是某個(gè)點(diǎn)距中心越近，則它對(duì)中心施加的影響越大?？臻g域的卷積操作可以轉(zhuǎn)換為頻域的乘法。這種轉(zhuǎn)換有兩個(gè)前提，一是圖像和模板必須在同一大小，二是圖像的大小必須是2的冪，這樣的要求會(huì)帶來(lái)邊緣延伸和擴(kuò)展的計(jì)算，增加計(jì)算了，影響算法效率。因此本文不將其轉(zhuǎn)換到頻域，而是在空間域?qū)SR算法進(jìn)行優(yōu)化。

前文提到，中心環(huán)繞函數(shù)可看作空間域的低通濾波模板。實(shí)驗(yàn)表明，當(dāng)中心環(huán)繞函數(shù)的參數(shù)和模板取某些特定值時(shí)，高斯模板中的數(shù)值都近似相等。如當(dāng)選定模板的大小是129×129，σ=200，則高斯模板如（4）。

為了得到需要的卷積結(jié)果，這個(gè)模板中的每個(gè)像素點(diǎn)都需要進(jìn)行16641次浮點(diǎn)乘法運(yùn)算和16641次加法運(yùn)算。在常規(guī)的VGA分辨率上，這意味著每一幀都要進(jìn)行109的數(shù)量級(jí)的浮點(diǎn)乘法運(yùn)算。高分辨率的圖像需要耗費(fèi)更多的計(jì)算資源。這樣數(shù)量級(jí)的運(yùn)算是很難將其運(yùn)用于實(shí)時(shí)系統(tǒng)中的，這也正是傳統(tǒng)Retinex算法的缺陷。然而，觀察后發(fā)現(xiàn)，高斯模板中的值之間的差異很小，均接近0.6072×10-4，更進(jìn)一步，接近1/217。所以可用均值模板代替高斯模板，并將乘法運(yùn)算簡(jiǎn)化為移位運(yùn)算。Wen Wang等在[6]中提出了基于這一思想的快速M(fèi)SR算法。

實(shí)驗(yàn)證明，當(dāng)模板的尺寸和高斯函數(shù)的σ參數(shù)具有某些特定值的時(shí)候，高斯模板的處理結(jié)果非常接近于均值模板，于是，我們可以用高斯模板轉(zhuǎn)換來(lái)得到均值模板。經(jīng)過比較和實(shí)驗(yàn)，我們使用下面3種尺度的模板和σ參數(shù)的高斯函數(shù)：

小尺度模板，高斯模板大小是33×33，σ=30，高斯模板轉(zhuǎn)換為9.1×10-4的均值模板；

中尺度模板，高斯模板大小是65×65，σ=90，高斯模板轉(zhuǎn)換為0.2373×10-4的均值模板，右移12位；

大尺度模板，高斯模板大小是129×129，σ=200，高斯模板轉(zhuǎn)換為0.6072×10-4次方的均值模板，右移14位。

經(jīng)過如上的轉(zhuǎn)換后，很多計(jì)算過程的中間結(jié)果都可以被重復(fù)使用，如圖2，模板每次移動(dòng)一行或一列時(shí)，由于模板中像素點(diǎn)值相同，則兩次模板移動(dòng)所覆蓋相同區(qū)域的中間結(jié)果可以建立查找表來(lái)保存，避免重復(fù)計(jì)算。

由此，原始MSR算法每個(gè)像素的要進(jìn)行的16641次浮點(diǎn)運(yùn)算和16641次加法運(yùn)算被簡(jiǎn)化為16641次加法運(yùn)算和1次移位操作，計(jì)算量大大減少，計(jì)算效率提高。

當(dāng)圖像中的每一幀經(jīng)過上述快速M(fèi)SR算法處理后，物體恢復(fù)了本質(zhì)色彩。將圖像由RGB空間轉(zhuǎn)換到HSV空間后，對(duì)其應(yīng)用CamShift算法。這就是整個(gè)基于快速M(fèi)SR的CamShift算法中的基本思想。

具體算法流程圖如圖1。

圖1 算法流程圖

3 實(shí)驗(yàn)

實(shí)驗(yàn)前，我們首先需要確定的一個(gè)問題是如何評(píng)價(jià)跟蹤物體算法的優(yōu)劣。這里，我們引入由Katuri提出的MOTP評(píng)分[7]，一種用于判斷多目標(biāo)跟蹤精度的評(píng)分。

CamShift算法在跟蹤目標(biāo)時(shí)候，目標(biāo)的外圍有一個(gè)跟蹤窗口，評(píng)分系統(tǒng)對(duì)一段時(shí)間內(nèi)的數(shù)幀圖像進(jìn)行處理，通過分析跟蹤目標(biāo)的跟蹤窗口或者邊界框的大小來(lái)獲得得分。令NG是真實(shí)目標(biāo)的數(shù)量，NM是跟蹤到目標(biāo)的數(shù)量，NF是這段時(shí)間內(nèi)幀的總數(shù)量。D是邊界框，G是真實(shí)目標(biāo)，則MOTP可表示為：

得分的取值范圍是[0，1]，1表示最好的得分，0則表示跟蹤窗口和真實(shí)的目標(biāo)間完全沒有重疊區(qū)域，說明此時(shí)跟蹤系統(tǒng)已經(jīng)丟失目標(biāo)。

實(shí)驗(yàn)使用三段視頻，三段視頻均跟蹤一個(gè)黃色物體，區(qū)別是跟蹤過程中光照的變化。視頻1全程光照條件不變。視頻2在過程中關(guān)閉室內(nèi)燈光，模擬全局的光照變化。視頻3將小球從明處移動(dòng)到暗處。分別使用原始CamShift算法和基于快速M(fèi)SR的CamShift算法進(jìn)行跟蹤。三次實(shí)驗(yàn)視頻截圖如圖2，第一行為原始算法，第二行為改進(jìn)后算法。

圖2 跟蹤視頻截圖

可以觀察到在第一種光照無(wú)變化的情況下，跟蹤窗口在兩種算法中幾乎沒有區(qū)別。在第二種跟蹤過程中關(guān)閉室內(nèi)燈光的情況下，改進(jìn)后算法的跟蹤窗口能更好的覆蓋整個(gè)物體。在第三種跟蹤物體從明處進(jìn)入暗處的時(shí)候，原始算法的跟蹤窗口發(fā)生了形變，縮小到物體的明亮處，而改進(jìn)后算法的跟蹤窗口依然更好地覆蓋了整個(gè)物體。三次跟蹤的MOTP得分如表1。

?

對(duì)于視頻1，原始CamShift算法MOTP得分0.1832，改進(jìn)后算法得分0.1894。對(duì)于視頻2，原始CamShift算法MOTP得分0.1768，改進(jìn)后算法得分0.2023。對(duì)于視頻3，原始CamShift算法得分0.1983，改進(jìn)后算法得分0.2133?？梢?，若光照無(wú)明顯變化，改進(jìn)后算法沒有表現(xiàn)出較好性能。但無(wú)論在全局光照變化還是局部光照變化的情況下，相對(duì)于原始CamShift，基于快速M(fèi)SR的改進(jìn)后CamShift算法均表現(xiàn)出了在跟蹤精度上的提高。

4 結(jié)語(yǔ)

本文針對(duì)光照變化條件下的目標(biāo)跟蹤，提出了一種基于快速M(fèi)SR的CamShift運(yùn)動(dòng)目標(biāo)跟蹤算法，以提高CamShift在此情況下跟蹤目標(biāo)的精度。雖然在算法設(shè)計(jì)階段，本文只考慮了全局光照變化條件下，實(shí)驗(yàn)卻表明這種算法對(duì)于局部光照變化也有一定的提高。所以可以得出結(jié)論，無(wú)論在全局光照變化還是局部光照變化的情況下，相對(duì)于原始CamShift，基于快速M(fèi)SR的改進(jìn)后CamShift算法均表現(xiàn)出了在跟蹤精度上的提高。

需要注意的是，在光照無(wú)變化的情況下，快速M(fèi)SR處理后的圖像出現(xiàn)了一定程度的顏色失真問題。雖然初始化窗口是在失真圖像上設(shè)定，所以對(duì)跟蹤精度并無(wú)影響，但這會(huì)嚴(yán)重影響人的觀感。如何避免顏色失真問題并使其能應(yīng)用于實(shí)時(shí)系統(tǒng)，是后續(xù)研究需要考慮的問題。

[1]G，R，Bradski.Computer Vision Face Tracking for Use in a Perceptual User Interface[J].Intel Technology Journal，1998（2）：705-720.

[2]趙艷飛，高清維，盧一相.基于多尺度Retinex算法的遙感圖像增強(qiáng)[J].計(jì)算機(jī)技術(shù)與發(fā)展，2008（02）:70-73.

[3]Kasson JM，PlouffeW.An Analysis of Selected Computer Interchange Color Space[J].Association for Computing Machinery Transactions on Graphics，1992，11（2）:33-34.

[4]Land，E.H.An Alternative Technique for the Computation for the Designator in the Retinex Theory of Color Vision[J].National Academy of Science，1986（83）：3078-3080.

[5]D.J.Jobson，Z.Rahman，G.A.Woodell.Properties and Performance of a Center/Surround Retinex[J].IEEE Transaction on Image Processing，Mar.1997，6（3）：451-462，.

[6]WangW，Li B，Zheng J，etal.A FastMulti-Scale Retinex Algorithm for Color Image Enhancement[C].Wavelet Analysis and Pattern Recognition，2008.ICWAPR'08.International Conference on.IEEE，2008，1:80-85.

[7]R，Kasturi，D.Goldgof，P，Soundararaj an，V.Manohar，and M.B.V.Korzhova.Performance Evaluation Protocol for Face，Person and Vehicle Detection&Tracking in Video Analysis and Content Extraction（Vace-ii），tech.rep[C].Computer Science and Engineering，University of South Florida，January 2006.

FastMSR and Cam Shift Based Target Tracking in Lum inance Changed Conditions

CHEN Chen

（Bengbu University，Bengbu 233030）

Presets a fast MSR based CamShiftmoving target tracking algorithm,which is to improve the precision of track target in luminance changed conditions.MSR is a classic algorithm of the Retinex theory of color constancy,but because of the heavy calculation,it is difficult to apply to real-time systems.Uses a developed MSR to improve computation efficiency.MSRmakes image which is processed before CamShift can be removed luminance influence,restoring nature color.This ensures that CamShift processing image which is color constant in different lum inance environments,thereby enhances the robustness of whole target tracking system.

陳晨（1988-），女，安徽蚌埠人，助教，研究方向?yàn)閿?shù)字圖像處理、模式識(shí)別

2017-03-21

2017-05-04

蚌埠學(xué)院院級(jí)科研項(xiàng)目（No.2015ZR07）、蚌埠學(xué)院工程中心研究項(xiàng)目（No.BBXYGC2014B04）

1007-1423（2017）14-0069-05

10.3969/j.issn.1007-1423.2017.14.014

Color Constancy;Retinex;MSR;Target Tracking;CamShift