頻繁抖動(dòng)相機(jī)下的運(yùn)動(dòng)目標(biāo)快速檢測(cè)算法

徐西平，周寶燦

(凱邁(洛陽(yáng))測(cè)控有限公司，河南 洛陽(yáng) 471009)

頻繁抖動(dòng)相機(jī)下的運(yùn)動(dòng)目標(biāo)快速檢測(cè)算法

徐西平，周寶燦

(凱邁(洛陽(yáng))測(cè)控有限公司，河南 洛陽(yáng) 471009)

摘要:為了區(qū)分相機(jī)抖動(dòng)導(dǎo)致的圖像運(yùn)動(dòng)與真實(shí)目標(biāo)導(dǎo)致的圖像運(yùn)動(dòng)，提出一種新的算法，其分析了兩類運(yùn)動(dòng)分布，而不是亮度/彩色分布。一類運(yùn)動(dòng)分布是長(zhǎng)時(shí)間范圍建立起來(lái)的，其僅包含背景運(yùn)動(dòng)。另一類運(yùn)動(dòng)分布是短時(shí)間范圍建立起來(lái)的，既包含背景運(yùn)動(dòng)也包含目標(biāo)運(yùn)動(dòng)。最終通過對(duì)這兩類運(yùn)動(dòng)分布的差分進(jìn)行閾值分割實(shí)現(xiàn)運(yùn)動(dòng)目標(biāo)檢測(cè)。該算法運(yùn)行速度快，且內(nèi)存開銷低，實(shí)驗(yàn)表明其在有著頻繁相機(jī)抖動(dòng)的室內(nèi)及室外場(chǎng)景中表現(xiàn)出優(yōu)異的性能。

關(guān)鍵詞:圖像處理；背景相減；目標(biāo)檢測(cè)；運(yùn)動(dòng)分布；相機(jī)抖動(dòng)

1運(yùn)動(dòng)目標(biāo)檢測(cè)

作為計(jì)算機(jī)視覺的基礎(chǔ)課題，運(yùn)動(dòng)目標(biāo)檢測(cè)在視頻監(jiān)控中有著廣泛的應(yīng)用。由于視頻監(jiān)控通常采用靜止的相機(jī)，因此一條直觀的運(yùn)動(dòng)目標(biāo)檢測(cè)思路[1-2]就是將輸入圖像與不含運(yùn)動(dòng)目標(biāo)的參考圖像(即背景圖像)求差分，然后利用差分將圖像中的像素分為目標(biāo)或者背景。為了更為準(zhǔn)確地處理圖像噪聲，文獻(xiàn)[3]使用單個(gè)高斯分量建模每個(gè)背景像素的亮度分布?；谠肼暸c時(shí)間無(wú)關(guān)的假設(shè)，高斯分量的參數(shù)通過一序列靜態(tài)背景圖像訓(xùn)練得到。而后認(rèn)為概率值低于預(yù)設(shè)閾值的像素即為運(yùn)動(dòng)檢測(cè)結(jié)果?？墒?，在許多戶外場(chǎng)景中，背景并非完全靜態(tài)的，比如風(fēng)吹動(dòng)的樹枝、水面的波紋、雪花等自然現(xiàn)象。在這些場(chǎng)合，每個(gè)像素的亮度分布通常是多模態(tài)的，難以用單個(gè)高斯分量描述。因此，研究人員相繼提出了混合高斯模型[4-6]及非參數(shù)背景模型[7-8]。文獻(xiàn)[4]利用混合高斯模型對(duì)每個(gè)像素進(jìn)行建模，并使用一種逼近的在線算法對(duì)模型進(jìn)行更新，該方法對(duì)漸變的背景具有很好的適應(yīng)性。在文獻(xiàn)[7]中，核密度估計(jì)方法被用來(lái)對(duì)每個(gè)像素進(jìn)行建模，其中每個(gè)像素均涉及到兩種模型，即選擇性更新的短時(shí)模型與隨時(shí)更新的長(zhǎng)時(shí)模型，而后應(yīng)用一個(gè)概率閾值分割出相應(yīng)的前景目標(biāo)。此外，還有研究人員利用Winer濾波[10-11]或者Kalman濾波[10-11]預(yù)測(cè)動(dòng)態(tài)背景的亮度值。這些預(yù)測(cè)的優(yōu)勢(shì)在于能夠?qū)W習(xí)重復(fù)的紋理模式，因而即使運(yùn)動(dòng)目標(biāo)的亮度分布背景相似，它們?nèi)阅鼙粰z測(cè)出。文獻(xiàn)[12]雖然能夠快速檢測(cè)出運(yùn)動(dòng)目標(biāo)，但其只能在相機(jī)靜止情形下適用。

雖然上述方法可以很好地適應(yīng)背景的漸變變化，但是，當(dāng)場(chǎng)景中存在頻繁的相機(jī)抖動(dòng)時(shí)，這些方法的性能會(huì)大打折扣。如圖1所示，在強(qiáng)邊緣附近存在大量的虛假檢測(cè)，這是因?yàn)橄鄼C(jī)的頻繁抖動(dòng)會(huì)引起這些區(qū)域像素的亮度發(fā)生快速變化，而傳統(tǒng)的統(tǒng)計(jì)建模方法難以將這類變化與運(yùn)動(dòng)目標(biāo)導(dǎo)致的圖像變化區(qū)分開來(lái)。盡管通過相機(jī)運(yùn)動(dòng)補(bǔ)償來(lái)配準(zhǔn)圖像可以克服該缺陷，但是，相機(jī)運(yùn)動(dòng)估計(jì)及補(bǔ)償會(huì)極大地增加算法的復(fù)雜度。因此，本文提出一種新的運(yùn)動(dòng)檢測(cè)方法，其無(wú)需相機(jī)運(yùn)動(dòng)補(bǔ)償配準(zhǔn)圖像的過程，且仍能在相機(jī)頻繁抖動(dòng)的情形下表現(xiàn)出不錯(cuò)的性能。傳統(tǒng)的統(tǒng)計(jì)建模方法主要是對(duì)亮度/彩色分布進(jìn)行建模，而本文提出的方法是對(duì)運(yùn)動(dòng)的分布進(jìn)行建模。此外，本文的方法僅需少量的存儲(chǔ)開銷且擁有較快的運(yùn)行速度。

2算法

2.1概念

將背景圖像與第t幀輸入圖像分別記為b={b(x)|x∈S}與I={I(x,t)|x∈S}，S為圖像中像素坐標(biāo)集合。對(duì)灰度圖像序列而言，b(x)與I(x,t)表示0～255之間的標(biāo)量，而對(duì)于彩色圖像而言，b(x)與I(x,t)為(0,0,0)至(255,255,255)之間的向量。

2.2具體思路

如前所述，相機(jī)的抖動(dòng)可通過相機(jī)運(yùn)動(dòng)補(bǔ)償來(lái)移除，然而這樣會(huì)極大地增加算法的運(yùn)算復(fù)雜度。因此本文算法的目的是在無(wú)需相機(jī)運(yùn)動(dòng)補(bǔ)償?shù)那疤嵯聦?shí)現(xiàn)頻繁抖動(dòng)相機(jī)下的運(yùn)動(dòng)目標(biāo)檢測(cè)。

傳統(tǒng)的運(yùn)動(dòng)檢測(cè)算法往往使用像素的亮度/彩色特征，本文提出通過分析像素的運(yùn)動(dòng)特征來(lái)進(jìn)行運(yùn)動(dòng)檢測(cè)。盡管對(duì)于圖像序列而言存在多種多樣的運(yùn)動(dòng)特征可供使用，但是最簡(jiǎn)單而意義最直觀的運(yùn)動(dòng)特征為背景相減獲得的二值結(jié)果，也就是Lt。

圖2　本文算法流程

(1)

其中，M是訓(xùn)練圖像的數(shù)量。如圖2所示，A圖像包含了背景的平均運(yùn)動(dòng)特征，其在強(qiáng)邊緣附近的值較大，而均勻區(qū)域的值較小。同時(shí)，假如M足夠大，即使訓(xùn)練序列中含有運(yùn)動(dòng)目標(biāo)，但其對(duì)于A圖像的值幾乎不會(huì)產(chǎn)生影響。

類似地，第t幀觀測(cè)到的前w幀的運(yùn)動(dòng)特征平均值可定義為

(2)

由圖2所示，O圖像在強(qiáng)邊緣附近的值較大，這是因相機(jī)抖動(dòng)導(dǎo)致的，同時(shí)在含有真實(shí)目標(biāo)運(yùn)動(dòng)的區(qū)域，其值也較大。因此，一種新的運(yùn)動(dòng)檢測(cè)結(jié)果可以通過對(duì)O圖像與A圖像的差分進(jìn)行閾值分割來(lái)得到，其在很大程度上移除了因相機(jī)頻繁抖動(dòng)導(dǎo)致的虛假檢測(cè)，公式如下

L′(x,t)=(O(x,t)-A(x))>τ

(3)

其中，τ為閾值。為了適應(yīng)場(chǎng)景的變化，A圖像還需進(jìn)行更新，更新過程如下

A=αA+(1-α)O

(4)

其中，α為更新參數(shù)，其值處于0至1之間。此外，用于計(jì)算L的背景圖像b也需進(jìn)行類似的更新。

算法的具體步驟(偽代碼)如下：

輸入：視頻圖像I

輸出：運(yùn)動(dòng)檢測(cè)結(jié)果L′

初始化：

1.b←對(duì)序列圖像(I0,I30,I60,…,IN)進(jìn)行

時(shí)域上的中值濾波

2.A←0

3.For每一幀t=1,2,…,M

A←A+Lt/M

End

運(yùn)動(dòng)檢測(cè)：

1.k←0

2.For每一幀t

L′←(O-A)>τ

A=αA+(1-α)O

k←mod(k+1,w)

End

3實(shí)驗(yàn)結(jié)果

為了驗(yàn)證所提出的方法，接下來(lái)將采用室內(nèi)及室外包含頻繁相機(jī)抖動(dòng)的圖像序列進(jìn)行測(cè)試。實(shí)驗(yàn)參數(shù)設(shè)置為τ1=35，τ=0.5，M=300以及w=30。在此，將提出的算法與混合高斯模型[5]及核密度估計(jì)技術(shù)[7]進(jìn)行比較。為了便于比較，對(duì)二值檢測(cè)結(jié)果均不進(jìn)行形態(tài)學(xué)濾波等后處理工作。

兩個(gè)序列分別為人行道場(chǎng)景及羽毛球館場(chǎng)景，兩個(gè)場(chǎng)景均存在頻繁的相機(jī)抖動(dòng)。如圖3所示人行道場(chǎng)景，3b為混合高斯檢測(cè)結(jié)果，3c為核密度估計(jì)檢測(cè)結(jié)果，可以看出，以上兩種技術(shù)無(wú)法處理相機(jī)的頻繁抖動(dòng)，因而強(qiáng)邊緣附近均存在大量的虛假檢測(cè)，而這些在本文算法的檢測(cè)結(jié)果3d中都得到了極大的移除。與此類似，對(duì)于圖4所示的羽毛球館場(chǎng)景，本文算法對(duì)相機(jī)頻繁抖動(dòng)的處理效果明顯優(yōu)于混合高斯模型及核密度估計(jì)技術(shù)。

圖4　羽毛球館場(chǎng)景

此外，本文算法僅需很低的存儲(chǔ)開銷，但具有較快的運(yùn)行速度。對(duì)每一個(gè)像素，O與A分別需要一個(gè)浮點(diǎn)數(shù)，存儲(chǔ)L[·]需要w/8byte，這遠(yuǎn)低于高斯混合模型及核密度估計(jì)技術(shù)所需的存儲(chǔ)開銷。同時(shí)，在雙核2GCPU/ 1GbyteRAM的PC上，對(duì)于320×240的圖像序列而言，本文算法在MATLAB上運(yùn)行速度約為20f/s(幀/秒)。

4結(jié)論

為了處理相機(jī)頻繁抖動(dòng)下的運(yùn)動(dòng)目標(biāo)檢測(cè)問題，本文提出了一種新的方法，其利用場(chǎng)景的運(yùn)動(dòng)分布，而不是亮度/彩色分布，并且無(wú)需相機(jī)運(yùn)動(dòng)補(bǔ)償過程。該方法累積兩種運(yùn)動(dòng)分布：一種是較長(zhǎng)時(shí)間范圍內(nèi)的運(yùn)動(dòng)分布，其對(duì)應(yīng)著背景的運(yùn)動(dòng)；另一種是較短時(shí)間范圍內(nèi)的運(yùn)動(dòng)分布，其既有目標(biāo)的運(yùn)動(dòng)又有背景的運(yùn)動(dòng)。通過對(duì)這兩種運(yùn)動(dòng)分布求差分并進(jìn)行閾值分割，即可得到最終的運(yùn)動(dòng)目標(biāo)檢測(cè)結(jié)果。實(shí)驗(yàn)證實(shí)該方法可有效處理相機(jī)的頻繁抖動(dòng)，且運(yùn)算速度快，存儲(chǔ)開銷低。

參考文獻(xiàn)：

[1]代科學(xué)，李國(guó)輝，涂丹，等. 監(jiān)控視頻運(yùn)動(dòng)目標(biāo)檢測(cè)減背景技術(shù)的研究現(xiàn)狀和展望[J].中國(guó)圖象圖形學(xué)報(bào)，2006，11(7)：919-927.

[2]ELHABIANSY，EL-SAYEDKM，AHMEDSH.Movingobjectdetectioninspatialdomainusingbackgroundremovaltechniques-state-of-art[J].Recentpatentsoncomputerscience，2008(1)：32-54.

[3]BARNICHO，DROOGENBROECKMV.ViBe：Auniversalbackgroundsubtractionalgorithmforvideosequences[J].IEEEtransactionsonimageprocessing，2011，20(6)：1709-1724.

[4]WRENCR，AZARBAYEJANIA，DARRELLT，etal.Pfinder：Real-timetrackingofthehumanbody[J].IEEEtransactionsonpatternanalysisandmachineintelligence，1997，19(7)：780-785.

[5]STAUFFERC，GRIMSONWEL.Learningpatternsofactivityusingreal-timetracking[J].IEEEtransactionsonpatternanalysisandmachineintelligence，2000(22)：747-757.

[6]ZIVKOVICZ，VANDERHEIJDENF.Efficientadaptivedensityestimationperimagepixelforthetaskofbackgroundsubtraction[J].Patternrecognitionletters，2006，27：773-780.

[7]MIGDALJ，GRIMSONWEL.Backgroundsubtractionusingmarkovthresholds[C]//Proc.IEEEWorkshoponMotionandVideoComputing.WashingtonDC：[s.n.]，2005：58-65.

[8]ELGAMMALA，DURAISWAMIR，HARWOODD，etal.Backgroundandforegroundmodelingusingnon-parametrickerneldensityestimationforvisualsurveillance[C]//ProcIEEE. [S.l.]：IEEEPress，2002，90：1151-1163.

[9]MITTALA，PARAGIOSN.Motion-basedbackgroundsubtractionusingadaptivekerneldensityestimation[C]//ProceedingsofIEEEConferenceonComputerVisionandPatternRecognition. [S.l.]：IEEEPress，2004：302-309.

[10]TOYAMAK，KRUMMJ，BRUMITTB，etal.Wallflower：Principlesandpracticeofbackgroundmaintenance[C]//ProceedingsofInternationalConferenceonComputerVision. [S.l.]：IEEEPress，1999：255-261.

[11]ZHONGJ，SCLAROFFS.SegmentingforegroundobjectsfromadynamictexturedbackgroundviaarobustKalmanfilter[C]//ProceedingsofInternationalConferenceonComputerVision. [S.l.]：IEEEPress，2003： 44-50.

[12]許亞軍，許慧芳，張艷春. 智能視頻監(jiān)控系統(tǒng)中運(yùn)動(dòng)目標(biāo)檢測(cè)的研究[J]. 電視技術(shù)，2014，38(9)：228-231.

責(zé)任編輯：閆雯雯

Fastmovingobjectdetectionwithheavycamerajitter

XUXiping，ZHOUBaocan

(CAMA(Luoyang) Measurements&Controls Co.，Ltd.，Henan Luoyang 471009，China)

Abstract:In order to deal with the disambiguation of image motion induced by the camera jitter and image motion influenced by the truly moving objects， a new method is proposed by analyzing two types of motion distributions instead of intensity and color distributions. One type of motion distribution is accumulated during a long period of time， and contains only the background motion. The other is accumulated during a short period of time， and includes both the background motion and the object motion. Finally moving objects can be detected by thresholding the difference between the two distributions. The proposed method is fast and requires little memory. Experimental results validate the method performs well on both indoor and outdoor video sequences with heavy camera jitter.

Key words:image processing； background subtraction； object detection； motion distribution； camera jitter

中圖分類號(hào):TP391

文獻(xiàn)標(biāo)志碼：A

DOI：10.16280/j.videoe.2016.03.027

收稿日期：2015-06-24

文獻(xiàn)引用格式：徐西平，周寶燦. 頻繁抖動(dòng)相機(jī)下的運(yùn)動(dòng)目標(biāo)快速檢測(cè)算法[J]. 電視技術(shù)，2016，40(3)：126-129.XUXP，ZHOUBC.Fastmovingobjectdetectionwithheavycamerajitter[J].Videoengineering，2016，40(3)：126-129.