一種創(chuàng)建關鍵幀的核密度估計運動目標檢測

梁志剛，楊 朋

(哈爾濱工程大學 信息與通信工程學院，哈爾濱 150001)

運動目標檢測是計算機視覺領域、圖像理解、精確制導、安全監(jiān)控等研究的重要課題之一，同時也是后續(xù)運動目標跟蹤和識別等高級應用的基礎［1］.現(xiàn)在主要有三類運動目標檢測方法:光流法［2－3］、相鄰幀差法［4－5］和背景減法［6－8］.光流法能夠檢測獨立運動的對象，不需要預先知道場景的任何信息，并且可用于攝像機運動的情況.但是因為其計算量大，算法較復雜，所以一般不被直接應用于實時視頻監(jiān)控場合.相鄰幀差法的實時性較好，它非常適合于動態(tài)變化的環(huán)境，但是因為它對物體的運動速度有一定的要求，不能完整地分割運動目標，所以不利于進一步地識別和分析目標.相對于上述兩種方法而言，背景減法易于實現(xiàn)，且能夠較精確地提取出運動目標，是目前比較受歡迎的運動目標檢測方法.但是，在復雜的戶外環(huán)境中，運動目標的背景往往會發(fā)生改變.一般來講，會存在以下幾個問題:背景圖像一般不是完全靜止的，如因風而引起的花草樹木等的搖動，這種周期性的運動會對運動目標的檢測造成很大的影響;運動目標部分區(qū)域的灰度有時和背景的灰度十分接近，這使得由幀差法得到的目標區(qū)域出現(xiàn)空洞現(xiàn)象等等.背景減法的難點主要在于背景動態(tài)模型的建立，也就是怎樣從包含運動目標的視頻序列中提取出背景.

參數(shù)估計方法是解決背景動態(tài)模型建立的有效方法之一.但是該方法依賴于模型和密度分布函數(shù)的形式的固定，這意味著該方法需要有一定的有關待估計過程的先驗知識.但是，在很多實際情況下，人們無法得到這些先驗知識.最近發(fā)展起來的非參數(shù)估計方法可以直接從數(shù)據(jù)中估計出模型的密度分布函數(shù).它的優(yōu)點是它無需假定模型的密度分布函數(shù)的形式是固定的，可以避免模型假設以及參數(shù)優(yōu)化等問題.顯然相對參數(shù)估計方法而言，非參數(shù)估計方法更適合解決背景動態(tài)模型的建立.當前，比較典型的能夠建立合適的背景動態(tài)模型的算法是Elgammal 等人提出的一種非參數(shù)核密度估計算法［9］.該算法非常適用于密度分布未知的計算機視覺分析問題.它的優(yōu)點有許多，如不需要事先假定背景特征密度分布函數(shù)的形式，可以避免高斯模型參數(shù)的設置和優(yōu)化問題，可以直接用已知的視頻數(shù)據(jù)進行背景估計.但是它的缺點也很明顯，如它需要較大的計算量，資源占用率也比較高.

為了降低計算量和資源占用率，本文對核密度估計方法進行了改進并提出一種基于關鍵幀的背景建模方法.該方法根據(jù)背景像素灰度的相似性原理來提取關鍵幀，在保留圖像的特征信息的同時減少了密度估計的訓練樣本.另外，為了保證目標檢測的精度，該算法將剩余的灰度值按距離最近原則歸并到了關鍵幀中［10］.實驗表明改進后的方法的執(zhí)行效率比改進前的方法執(zhí)行效率有較大的提高.

1 背景建模

在對復雜場景中的運動目標進行檢測時，必須建立一個合適的背景模型來反映環(huán)境的動態(tài)變化.視頻序列中每一像素的特征取值可視為一個隨機過程，因為戶外場景比較復雜，背景通常不是靜止不變的，所以不能簡單地用一個單模態(tài)模型來完全描述背景的密度分布，而且背景分布的形式也無法提前假設.因此，本文將采用一種改進的非參數(shù)核密度估計方法來建立背景的動態(tài)模型.

1.1 核密度估計

核密度估計通過加權平均中心點位于采樣值的局部函數(shù)來估計未知的密度分布.從理論上講，只要有充足的樣本點數(shù)，概率密度估計就可漸進收斂于任何形式的密度函數(shù).

如果假設某像素特征空間的一個樣本集合中的某個像素x 的概率密度函數(shù)是f(X)，{X1，X2，…，Xn}是與X 鄰近的n 幀圖像上的對應灰度像素集，那么f(X)的核密度估計可用式(1)來表示［11－13］，

其中:h為窗寬，n為樣本容量，αi為歸一化權值系數(shù)，存在，通常令αi=1/n，K(·)為以樣本點為中心對稱的單峰核函數(shù)，一般情況下，它滿足以下幾個條件:

當考慮顏色特征時，如果一個像素有j個顏色通道，那么核函數(shù)K 應選取高斯函數(shù)，其中:σj表示各顏色通道的核函數(shù)的帶寬，此時式(1)可寫成式(2).

1.2 核函數(shù)與窗寬的選取

核函數(shù)估計不需要引入數(shù)據(jù)分布的先驗知識，只要訓練樣本足夠就可以獲取數(shù)據(jù)的分布特征.它除了與樣本有關，還與核函數(shù)及窗寬的選取密切相關.在給定樣本后，一個核估計的好壞，取決于核函數(shù)及窗寬的選取是否得當，即核函數(shù)和窗寬的選擇直接影響密度函數(shù)的估計的準確度.

核函數(shù)的形式可以有很多種，比如高斯函數(shù)，三角函數(shù)，均值函數(shù)等.其中，由于高斯函數(shù)比較符合圖像各像素點的分布特征，且具有連續(xù)可微及優(yōu)良的概率特性.因此，我們選用高斯函數(shù)作為背景模型的核函數(shù).

核函數(shù)的窗寬σ 的選取通常比核函數(shù)本身的選擇更加重要.它表征隨機噪聲引起的圖像灰度的局部變化，σ 的選擇太小會使估計的密度分布出現(xiàn)欠光滑的現(xiàn)象，太大則會過于平滑而掩蓋了某些重要的特征.在實際應用中，窗寬的選擇十分的關鍵.如果假設像素點xi服從正態(tài)分布N(μ，σ2)，那么(xi－xi+1)服從正態(tài)分布N(μ，2σ2)，median(|xi－xi+1|)是全體相鄰兩幀對應像素點的顏色差值的絕對值的中值，滿足式(3)，

由正態(tài)分布性質(zhì)可以查表求得:

1.3 關鍵幀

運用核密度估計進行運動目標檢測需要一個待估計的背景訓練樣本，傳統(tǒng)的核密度把視頻序列的每一幀像素作為背景訓練樣本，而且每一幀對模型的貢獻度一樣大，顯然這樣會大大降低檢測的速度，從而無法保證檢測的實時性.本文提出了一種求取關鍵幀以替代全部幀的背景建模算法.該算法不僅增強了檢測的實時性而且提高了檢測的精度.該算法分為3個步驟來完成:

1)假設總樣本為n 的序列中某一像素的灰度值為(x1，x2，…，xn)，為了防止遺漏某些重要信息我們把這n個像素值按時間的先后順序歸為(y1，y2，…，ym)類，其中m值可以通過多次試驗和實際情況而定，這樣每一類中就有i=n/m個樣本點.

2)接下來我們對每類樣本yi(i=1，2，…，m)進行進一步的處理，并創(chuàng)建出需要的關鍵幀.

①第yi類中含有n/m個樣本點，首先從這n/m個樣本點提取出出現(xiàn)次數(shù)最多的樣本值記作Pi，還有n/m個樣本點中灰度值最大的Pmax和灰度最小值Pmin.

②然后分別求出n/m個樣本點到Pi的距離，其中最大的記作dmax，最小的記作dmin，也就是所有點到Pi的最大和最小距離.

③接下來以dmax和dmin為基準把所有點到Pi的距離平均分為3 段.即到Pi距離小于(dmax－dmin)/3 的分為一組;距離在(dmax－dmin)/3 到2(dmax－dmin)/3 之間的分為第二組;距離大于2(dmax－dmin)/3 的分為第三組，求出每組的平均值.

3)通過上述方法求取出每組的平均值作為新樣本(即，關鍵幀)的灰度對密度分布估計的作用顯然不同，所以各個關鍵幀的灰度的權重也不相同，因此，我們要重新計算新樣本權值.設每類含有t個新樣本值Yi的權值βi，

其中:ti是求取第i個關鍵幀時所用到的原始樣本數(shù)的個數(shù).

1.4 目標提取與背景更新

非參數(shù)核密度估計方法主要是通過閾值化來實現(xiàn)運動目標的提取，對于當前幀圖像每一個觀測像素點xi，我們運用式(2)來估計出該點的概率f(xi)，如果f(xi)小于我們事先選定的閾值th，那么認定該像素為運動目標，否則認定為背景點，判決公式是公式

其中:th 可通過多次試驗和實際情況而定，對于不同的圖像，閾值一般也不相同.如果閾值選擇大了，虛警率會提高，反之，如果選擇小了則會使誤檢率提高.因此，我們要根據(jù)具體情況和實驗目的來適當選擇閾值th.依公式(7)的判決，可以得到檢測后的運動目標.

因為場景是不斷變化的，所以也需要不斷的更新背景模型來適應這些變化，否則將嚴重影響檢測的結果.為此，需要重新考慮背景模型的更新.本文在更新背景時同樣采取提取關鍵幀的策略，采用“先進先出”的原則提取新圖像的特征幀來代替最早的部分特征幀圖像.這樣做既保證了檢測的實時性又不會降低更新時目標檢測的速度.

2 實驗結果

本文設計了兩組對比實驗以驗證KDEKFD 在運動目標檢測方面的有效性和優(yōu)越性.文章尚未對運動目標進行陰影檢測消除和后處理.

硬件環(huán)境:普通PC 機(Intel(R)Core(TM)2 Duo CPU 2.40GHz，內(nèi)存2.00G).軟件環(huán)境:Windows 2003 Server和Matlab.

2.1 實驗數(shù)據(jù)及參數(shù)設置

本文將KDEKFD和KDE 在兩組視頻序列上進行了對比實驗.視頻序列分別源于標準視頻庫http://media.xiph.org/video/derf/和 http://i21www.ira.uka.de/image_sequences/.圖1 顯示了分別取自視頻序列1和視頻序列2 中的兩幀圖像，圖像的大小均為640×480，格式均為bmp.其中，序列1 的幀長n=50，m=5，t=3，KDE 的閾值th=0.04，KDEKFD 的閾值th=0.000 000 001;序列2 的n=50，m=5，t=3，KDE 的閾值th=0.004，KDEKFD 的閾值th=0.000 000 1.

圖1 兩幀圖像

2.2 實驗結果及分析

為了驗證KDEKFD 的有效性和高效性，將之與KDE 在上述兩組視頻序列中上取得的目標檢測結果進行了對比分析.圖2 顯示了上述兩幀圖像的檢測結果.在圖2 中，從左到右的四列分別是KDE的檢測結果、KDEKFD 的檢測結果、KDE 的檢測結果的二值化處理結果、KDEKFD 的檢測結果的二值化處理結果.為了使兩種實驗算法的檢測結果更加的清晰，本文對這些結果直接進行二值化處理.表1 給出了兩種實驗算法檢測當前幀的運行時間.

圖2 KDE和KDEKFD 的檢測結果及檢測結果的二值化結果

從圖2 中可以得出以下幾組比較結果:1)在序列1 的第42 幀圖像上，KDE 的檢測結果的背景噪聲十分明顯，而KDEKFD 的檢測結果的背景噪聲較少，噪聲的分布區(qū)域也較小.這說明KDEKFD對噪聲的抑制能力明顯優(yōu)于KDE 的噪聲抑制能力.2)在序列2 的第35 幀圖像上，KDE 表現(xiàn)了明顯的誤檢測，它誤將路面當成了目標.不僅如此，KDE 對真實目標的檢測效果也不太理想，它不能給出目標的較為完整的輪廓，而KDEKFD 沒有出現(xiàn)誤檢測，且檢測出了目標的較完整的輪廓.上述兩點綜合表明KDEKFD 的檢測效果要優(yōu)于KDE，KDEKFD 對KDE 的改進是有效.

表1 兩種算法的運行時間(單位:s)

從表1 中可以看出，KDEKFD 在序列1和序列2 上的執(zhí)行時間分別在1.1 s和0.6 s 以內(nèi)，而KDE 在兩序列上的執(zhí)行時間則分別在27.5 s和5.5 s 以上，KDEKFD 的執(zhí)行速度要快KDE 至少(5.521 9/0.572 7)=9.641 9 倍.這是因為KDEKFD的訓練樣本是由提取的關鍵幀組成的，而KDE 的訓練樣本是由全部幀組成，所以KDEKFD 的運算量明顯小于KDE 的運算量.

綜上所述，KDEKFD 是有效的且在運動目標的實時性檢測方面較KDE 具有明顯的優(yōu)勢，KDEKFD 的提出是有意義的.

3 結語

基于非參數(shù)核密度估計算法的運動目標檢測方法和其他方法相比具有很多優(yōu)勢:比如可以克服背景中的周期性環(huán)境突變及運動干擾，保留背景的多模態(tài)分布，不必對模型參數(shù)進行設置和優(yōu)化.它的缺點是計算量太大.為了克服這一缺點，本文提出了一種通過提取關鍵幀來進行高斯核密度背景模型估計的算法，該算法大大降低了計算量，提高了運算效率.實驗證明該算法在對視頻進行運動目標檢測時具有很好的準確性和實時性.但僅做了運動目標的初步檢測，并未對檢測結果進行進一步的處理，今后的工作主要是對算法進行優(yōu)化，找到更有效的關鍵幀提取方法，同時對檢測結果進行陰影去除等后處理，使檢測更加完善.

［1］FAN J P，WANG R，ZHANG L M，et al.Image sequence segmentation based on 2D temporal entropic thresholding［J］.Pattern Recognition Letters，1996，17(10):1101－1107.

［2］JI X P，WEI Z Q，F(xiàn)ENG Y W.Effective vehicle detection technique for traffic surveillance systems［J］.Journal of Visual Communication and Image Representation，2006，17(3):647－658.

［3］IKETANI A，KUNO Y，SHIMADA N，et al.Real time surveillance system detecting persons in complex scenes［C］//Proceedings.International Conference on Image Analysis and Processing，1999，1112－1115.

［4］甘明剛，陳 杰，劉 勁，等.一種基于三幀差分和邊緣信息的運動目標檢測算法［J］.電子與信息學報，2010，32(4):893－897.

［5］王靜靜，林明秀，魏 穎.基于灰度相關的幀間差分和背景差分相融合的實時目標檢測［J］.中南大學學報，2009，40(Supl.):142－148.

［6］KIMA K，CHALIDABHONGSEB T，HARWOODA D，et al.Real－time foreground background segmentation using codebookmodel［J］.Real Time Imaging，2005，11(3):172－185.

［7］SHOUSHTARIAN B，BEZ H E.A practical adaptive approach for dynamic background subtraction using an invariant colour model and object tracking ［J］.Pattern Recognition Letters，2005，26(1):5－26.

［8］WU Q Z，JENG B S.Background subtraction based on logarithmic intensities［J］.Pattern Recognition Letters，2002，23(13):1529－1536

［9］ELGAMMAL A，HARWOOD D，DAVIS L.Nonparametric model for background subtraction［C］//Proceeding of 6th European Conference on Computer Vision，Ireland:Dublin，2000，751－767.

［10］孫劍芬，陳 瑩，紀志成.基于關鍵幀的核密度估計背景建模方法［J］.光學技術，2008，34(5):699－701.

［11］毛燕芬，施鵬飛.一種用于運動目標檢測的多模態(tài)非參數(shù)背景模型［J］.上海交通大學學報，2005，39 SUP:134－137.

［12］王勁松，顏益安，魏法杰.利用背景高斯核密度估計的運動目標檢測算法［J］.紅外與激光工程，2009，38(2):373－376.

［13］盧志茂，殷夢妮.一種去抖動的運動目標檢測方法［J］.哈爾濱商業(yè)大學學報:自然科學版，2012，28(3):295－299.