基于色彩相似度的前景有效提取算法研究

張國家，左敦穩(wěn)，黎向鋒，史晨紅

(南京航空航天大學 機電學院，江蘇 南京 210016)

0 引言

手勢識別技術作為一種新型人機交互技術，已在軍事、智能交通等多個領域取得應用。前景提取技術是手勢識別技術的基礎，前景分割的品質直接影響手勢特征的提取和識別精度。目前，前景提取技術多采用背景建模的方法，其中以平均背景模型、高斯背景模型、CodeBook背景模型以及非參數(shù)化估計背景模型研究較多，并取得了一系列成果。王傳旭等[1]采用基于鄰域相關性和幀間連續(xù)性的運動目標分割算法。Ariel Amato等[2]提出一種以色彩和亮度為依據(jù)的分割算法。這兩種算法受噪聲的影響大，為此，Elgammal等人提出一種非參數(shù)核密度估計背景建模方法，前景提取效果好，但其單幀處理時間長，實時性較差[3]。為了提高實時性，Darrnn E Butler和Michael V提出一種在時域上對像素進行聚類的方法[4]。Kedar A.Patwardhan等[5]使用最大概似法進行背景或者前景判斷。相對于非參數(shù)密度函數(shù)估計，混合高斯背景模型(GMM)是一種典型的參數(shù)化模型，其對多類別和復雜背景下的前景提取具有比較好的效果。并已有眾多學者對其進行了改進，AGMM[6]，TLGMM[7]，STGMM[8]，SKMGM[9]，SEMGMM[10]， ADGMM[11]，旨在改善高斯混合模型的檢測效果，提高算法實時性，降低算法空間復雜程度。但其實時性和空間復雜度等仍然難以滿足廣泛的應用要求?？梢?，高斯混合模型、核密度估計等基于數(shù)據(jù)聚類分析的算法具有優(yōu)越的檢測效果，但時間和內存消耗大等問題極大地限制了其應用。而基于簡單的單幀和幀間信息的背景模型，因為背景適應能力和魯棒性差等問題同樣沒能得到廣泛應用。本文針對復雜單模背景提出了一種運用背景差分構建輔助背景濾除噪聲，以色彩相似度為評價標準的前景有效提取算法。在保證檢測效果的同時，減小空間復雜度，提高算法的實時性。

1 算法的總體流程

該算法主要包括五個流程：1) 均值背景建模；2) 提取輔助背景；3) 用輔助背景對背景差分圖進行空域濾波；4) 構建像素色彩相似度評價標準并進行前景區(qū)域檢測；5) 更新背景和輔助背景。算法流程如圖1所示。本文解決的關鍵技術包括基于輔助背景的圖像濾波技術和基于色彩相似度的前景檢測技術。

圖1 算法總體流程

2 算法的設計與實現(xiàn)

2.1 基于輔助背景的圖像濾波

背景建模完成后，首先用背景差法進行背景減除，獲得背景差分圖像：

outt(x,y)=ft(x,y)-ubft(x,y)

(1)

背景差圖像outt(x,y)中包含前景目標和大量的噪聲點，如果直接對差分圖像進行前景目標提取，將使前景區(qū)域出現(xiàn)大量的空洞和殘缺，所以，在前景區(qū)域檢測前必須對背景差分圖像進行濾波，以減小環(huán)境噪聲的影響。ubf0(x,y)是在沒有前景目標時訓練的輔助背景，其描述了背景圖像中噪聲的分布。用ubf0(x,y)對outt(x,y)進行空域濾波，去除大部分的環(huán)境噪聲，獲得不含環(huán)境噪聲的背景差分圖像out_st(x,y)，再對out_st(x,y)進行前景目標提取可以抑制前景區(qū)域中的空洞和殘缺現(xiàn)象的產生。

2.2 基于相似度理論的前景提取技術

在RGB色彩模型中，將每個像素值理解為一個三維向量，本文以像素向量之間的相似程度作為判斷像素隸屬前景或背景區(qū)域的標準。在向量相似度中，常用兩個向量夾角的余弦值來衡量兩者的相似程度，但對于像素色彩相似度，該方法常出現(xiàn)誤檢測。誤檢測包含兩種，1) 將前景區(qū)域誤判為背景，這常是由于噪聲引起的；2) 將背景區(qū)域誤判為前景，這不僅是由于噪聲的影響還有陰影的影響。如圖2所示，向量A和B的夾角θ值比較小，可以將二者歸為一類，但由于光照的影響，將使A出現(xiàn)偏離，θ角變大而出現(xiàn)誤檢測。有學者采用亮度歸一化的方法進行光照抑制，但光照對R,G,B值的影響并不是成比例變化的，亮度不僅改變了向量的模值，也改變了向量之間的夾角。因為亮度變化時，雖然色彩的色調沒有變化，但飽和度出現(xiàn)了變化，視覺上會出現(xiàn)色彩偏差，也即R,G,B值的比例發(fā)生了改變。經(jīng)過對像素色彩信息的研究，本文提出如下的色彩相似度理論。設F(x,y)和B(x,y)分別表示像素位置(x,y)處的當前像素值和背景像素值，則：

(2)

圖2 像素向量空間關系

表示(x,y)位置處背景和前景的色彩相似度，其中d為數(shù)據(jù)維數(shù)，在RGB色彩模型中d=3。fi，bi為像素的各維度值，ni=|fi+bi|/2用于抑制數(shù)據(jù)基數(shù)對相似度的影響，即亮度變化對相似度的影響。由式(2)可知，只有在像素向量的各維度值都很接近時，其相似度值才會很大，有一者出現(xiàn)偏差都將導致相似度大幅度偏離。其從本質上描述了兩種色彩的色調關系，對光照和陰影的影響具有很強的魯棒性。

利用式(2)對空域濾波后的背景差分圖像out_st(x,y)進行前景檢測，按下式進行

(3)

式中TH為分割閾值，當相似度小于TH時，判斷該像素與背景不相似，把該像素判為前景，標記為1，否則判為背景。試驗表明，TH取值在0.5～0.7范圍比較合適。前景提取后獲得t時刻的前景區(qū)域，因為前景檢測前已使用輔助背景對環(huán)境噪聲進行濾除，且本文的像素相似度評價標準對陰影和光照變化具有較強的抑制能力，因此，所獲得的前景區(qū)域內部空洞比較少，無陰影現(xiàn)象。對前景檢測后的圖像進行適當?shù)男螒B(tài)學開閉操作，輸出完整的前景目標區(qū)域output_st(x,y)。

2.3 背景與輔助背景更新

前景檢測完后需要對背景模型和輔助背景進行更新，以適應背景變化。對所有像素，令ubft(x,y)更新后為ubft+1(x,y)，并按下式進行更新：

ubft+1(x,y)=(1-α)ubft(x,y)+αft(x,y)

(4)

其中α為背景學習率(0～1)，α的選取要根據(jù)背景狀態(tài)的變化情況進行，背景變化快時，α取值較大，背景變化慢時，α取值較小。一般取α=0.002 ，較大的α將使前景目標融入背景。另外，為了避免將先運動后禁止的前景目標誤檢為背景，對前景目標區(qū)域不進行更新，只對判斷為背景的區(qū)域進行更新。試驗表明，該更新方法能有效改善靜止目標被融入背景的現(xiàn)象。

輔助背景的更新需要不包含前景目標區(qū)域的背景差分圖，在輔助背景更新前先用output_st(x,y)濾除背景差分圖像outt(x,y)中的前景區(qū)域，獲得只包含環(huán)境噪聲的背景差分圖像Poutt(x,y)。

poutt(x,y)=outt(x,y)-outputt(x,y)

(5)

輔助背景更新的方式與背景模型更新方式相似，按下式進行：

abft+1(x,y)=(1-β)abft(x,y)+βpoutt(x,y)

(6)

其中abft+1(x,y)為更新后的輔助背景，β與α的意義相同，也為背景學習率(0～1)，但β的取值應比α大，一般取β=0.1。

3 實驗結果與分析

為了測試本文算法的有效性，對大量的標準視頻和實際視頻進行了測試，并與高斯混合模型和CodBook算法進行了比較。測試環(huán)境是一臺2.3GHz，2G內存的PC，在VC6.0下實現(xiàn)。圖3為對IBM人類視覺研究中心監(jiān)視系統(tǒng)性能評價提供的視頻PetsD1TeC1的測試結果，分別是第530幀和940幀時的效果。由圖3可以看出，與混合高斯模型算法相比，本文算法對前景目標具有比較完整的檢測效果，而且當前景目標靜止時，不會因為背景更新而被誤認為是背景。在第940幀原圖中紅圈標出的是第530幀中運動的汽車靜止在停車場的情形；GMM算法把靜止的前景目標誤認為是背景，產生誤檢測；而本文算法則有效地解決了這個問題。與CodeBook算法相比，本文算法具有較強的抗干擾能力。針對視頻PetsD1TeC1，其單幀大小為384×288，經(jīng)測試本文算法的平均單幀處理時間為42ms，內存消耗為21.6MB，可見本文算法具有良好的實時性和優(yōu)越的空間復雜度。圖4為對IBM人類視覺研究中心監(jiān)視系統(tǒng)性能評價提供的視頻IndoorGTTest1的測試結果，由第515幀和第778幀均可以看出本文算法對前景目標具有比較完整的檢測結果。第778幀中紅圈標出的是前景目標的陰影區(qū)域；可以看出，本文算法和GMM算法對陰影均具有比較好的抑制作用，而CodeBook算法則出現(xiàn)了明顯的陰影。

圖3 室外場景測試對比圖

圖4 室內場景測試對比圖

4 結論

本文提出了一種基于RGB色彩相似度的前景有效提取算法。該算法主要解決了兩個問題：1) 提出了一種基于輔助背景的圖像濾波技術，解決了復雜單模背景下的圖像濾波問題；2) 構建像素色彩相似度作為前景區(qū)域檢測標準，該相似度理論對光照變化和陰影具有較強的抑制作用，為前景分割技術提供了新的思路。由于該算法中的背景模型簡單，且只對疑似前景區(qū)域進行多次操作，從而降低了算法的內存消耗和計算時間，檢測效率有較大提高。多場景試驗表明，該算法對復雜單模背景保持了較好的前景檢測效果和檢測效率，在手勢識別和視頻監(jiān)控等領域中具有廣闊的應用前景。

[1] 王傳旭，張祥光，原春鋒,等.基于鄰域相關性和幀間連續(xù)性的前景目標分割[J].數(shù)據(jù)采集與處理，2007，22(3)：288-291.

[2] Ariel Amato，Mikhail Mozerov， Iván Huerta.et al.Background subtraction technique based on chromaticity and intensity patterns[C].Tampa, Florida, USA：IEEE Conference Publications,2008.

[3] Elgammal A，Dura swami R，Harwood D，et a1.Background and foreground modeling using nonparametric kernel density estimation for visual surveillance[J].Proceedings of IEEE，2002.90(7)：1151-1163.

[4] Darrnn E Butler，Michael V.Real-time adaptive foreground background segmentation[J].Real-Time Imaging，2005，6(11)：172-185.

[5] Kedar A.Patwardhan，Guillermo Sapiro，Vassilios Morellas.Robust Foreground Detection In Video Layers[C].IEEE Computer Society：Los Alamitos USA，2008.

[6] Zivkovic Z.Vail der Heijden F.Efficient adaptive density estimation per image pixel for the task of background subtraction[J].Pattern Recognition Letters，2006，27(7)：773-780.

[7] Yang H, Tan Y, Tian J, Liu J.Accurate dynamic scene model for moving object detection[A], In Proc.Int Conf on Image Processing (ICIP)[C], San Antonio, TX, 2007, 6: 157 -160.

[8] Zhang W, Fang X, Yang X, Wu Q.Spatiotemporal Gaussian mixture model to detect moving objects in dynamic scenes[J], Electronic.Imaging, 2007; 16(2):023013.

[9] Tang P, Gao L, Liu Z.Salient moving object detection using stochastic approach filtering[A].Fourth Int Conf on Image and Graphics (ICIG)[C], Sichuan, China, 2007; 530-535.

[10] B.A.S.Hasan, and Q.J.Gan, Sequential EM for unsupervised adaptive Gaussian mixture model based classifier[A], In Proc.6th Int.Conf.Machine Learning and Data Mining in Pattern Recognition[C], Leipzig, Germany, 2009: 96-106.

[11] 齊玉娟，王延江，索鵬.一種基于混合高斯的雙空間自適應背景建模方法[J].中國石油大學學報(自然科學版)，2012, 36(05)：175-183.