一種基于混合高斯的雙空間自適應(yīng)背景建模方法

齊玉娟，王延江，索鵬

（中國石油大學(xué)信息與控制工程學(xué)院，山東青島 266580）

一種基于混合高斯的雙空間自適應(yīng)背景建模方法

齊玉娟，王延江，索鵬

（中國石油大學(xué)信息與控制工程學(xué)院，山東青島 266580）

為解決運動目標緩慢運動或暫時停止以及場景突變問題，受人類獲取知識過程啟發(fā)，提出一種基于混合高斯的雙空間自適應(yīng)背景建模方法，即采用當(dāng)前混合高斯模型空間和記憶空間（用于存儲曾經(jīng)的背景模型）對場景進行自適應(yīng)建模。兩個空間模型更新采用不同的學(xué)習(xí)率:在當(dāng)前混合高斯模型空間，學(xué)習(xí)率根據(jù)高斯分布對場景的貢獻程度進行自適應(yīng)更新，以解決運動目標緩慢運動或暫時停止問題;記憶空間存儲曾經(jīng)的背景模型，以提高算法對背景突變的適應(yīng)性，故采用固定學(xué)習(xí)率進行更新。試驗結(jié)果表明了所提方法的優(yōu)越性。

背景建模;混合高斯模型;運動目標分割;背景減除;背景突變

運動目標檢測是實現(xiàn)目標分類、目標跟蹤和行為理解等中高層次處理的基礎(chǔ)。常用的方法主要有相鄰幀差法、光流法、背景減除法等［1］。背景減除法操作簡單，檢測準確且速度快，背景建模是其關(guān)鍵。目前常用的背景模型主要有單高斯模型、混合高斯模型、基于區(qū)域的模型以及HMM（hidden markovmodels）等［2］，其中混合高斯模型［3-4］被認為是最能準確反映像素值分布和動態(tài)變化的數(shù)學(xué)模型之一［5］。然而混合高斯方法在實際應(yīng)用時由于實際場景的復(fù)雜性以及模型本身的更新速率問題而導(dǎo)致大量的誤檢測;研究者針對具體問題對其進行了改進［6-12］，但不能解決目標運動減緩或暫時停止或房間的門突然被打開等問題。而在人類學(xué)習(xí)過程中，已學(xué)得的知識會以某種方式存儲到人腦中。當(dāng)人們學(xué)習(xí)新的知識時已學(xué)得的知識會促進新知識的學(xué)習(xí)，加快對新知識的掌握。受這一過程的啟發(fā)，筆者將模型空間進行拓展，引入記憶空間用以存儲曾經(jīng)的背景模型，提出一種基于混合高斯的雙空間自適應(yīng)背景建模方法。

1 混合高斯模型

混合高斯模型（Gaussian mixturemodel，GMM）將每個像素點的時變?nèi)≈到橐粋€獨立的混合高斯分布，并對高斯分布的均值和方差進行在線更新。若Xi表示某個像素點在i時刻的觀測值，一般為（R，G，B）顏色矢量，{X1，…，Xt}表示該點從開始觀測到t時刻的時變?nèi)≈?，則t時刻觀測值為Xt的概率可以用具有K個高斯分布的混合高斯模型建模:

將每一采樣值依次與每一個高斯分布的均值進行比較，若滿足式（4），則判定該采樣值與該高斯分布相匹配，更新該分布的各參數(shù)，而其他分布只更新權(quán)重;其中αc是學(xué)習(xí)率。

如果不存在匹配的高斯分布，就用一個新的均值為Xt+1、高方差和低權(quán)重的高斯分布取代尾端的高斯分布，即第K個高斯分布。

如果匹配的高斯分布不屬于背景模型或不存在匹配的高斯分布，將采樣值標記為前景像素;當(dāng)前幀中的所有前景像素的集合視為運動目標。

從GMM基本方法來看，學(xué)習(xí)率固定不變，即無論是背景像素還是目標像素都以相同的學(xué)習(xí)率參與背景模型的更新，因而算法的收斂速度受到一定影響。針對這一問題，本著很少數(shù)的采樣需要有效學(xué)習(xí)這一宗旨，Lee［12］提出一種學(xué)習(xí)率自適應(yīng)更新方法。該方法通過統(tǒng)計高斯分布的有效次數(shù)ck來獲得合適的學(xué)習(xí)率α對匹配高斯分布的均值和方差進行更新。即

Lee對學(xué)習(xí)率的改進有效提高了GMM算法的收斂率，并且在室內(nèi)光照突變的場景下取得了較好的分割結(jié)果。

2 雙空間自適應(yīng)背景的建模方法

2.1 雙空間

將原先的模型空間拓展成兩部分:當(dāng)前混合高斯空間和記憶空間。

混合高斯空間由原混合高斯模型中的K個高斯分布構(gòu)成，實現(xiàn)類似傳統(tǒng)混合高斯模型的模型排序和在線更新。存儲在混合高斯空間中的模型有:空間中原有的經(jīng)過更新的分布、當(dāng)前像素值作為均值構(gòu)成的新的分布、從記憶空間中調(diào)入的曾經(jīng)的背景分布。

記憶空間用于存儲曾經(jīng)作為背景模型的分布。記憶空間初始為空;在模型更新過程中，當(dāng)曾被視為背景模型的高斯分布被新的高斯分布替換時，將其存入記憶空間。因此當(dāng)遇到類似的場景時，背景模型可快速從記憶空間中調(diào)出，加速模型匹配，快速適應(yīng)場景的變化，從而減少誤檢測。

2.2 自適應(yīng)學(xué)習(xí)率

（1）混合高斯空間學(xué)習(xí)率。由混合高斯背景模型的知識可知，在混合高斯背景建模過程中，一個分布連續(xù)匹配的次數(shù)越高，權(quán)重越高。在混合高斯模型空間中排在前面的背景分布具有較高的權(quán)重，而代表運動目標的分布則權(quán)重較小。因而對于混合高斯空間中高斯分布采用如下的學(xué)習(xí)率［13］:

其中ω是高斯分布的權(quán)重。αU是固定學(xué)習(xí)率，是一個常量。α0是取值非常小的常量（例如0.00001）。引入α0的目的是令α的值不至于過小而致使長時間停止運動的目標無法被更新至背景模型。

根據(jù)式（11），具有不同權(quán)重的高斯分布被賦予了不同的學(xué)習(xí)率，即權(quán)重越高，學(xué)習(xí)率越高。短暫停留的運動目標由于所對應(yīng)的高斯分布具有較小的權(quán)重而在更新時采用了較低的學(xué)習(xí)率，很難被吸收為背景，而目標停留的時間越長，其所對應(yīng)的高斯分布權(quán)重越高，目標越容易被更新到背景模型中。而當(dāng)運動目標靜止時間達到一定值后，很快被吸收為背景，這正是所希望的。從而，緩慢運動目標和暫時停止運動的目標被過快吸收為背景模型的問題能夠得到有效的解決。

（2）記憶空間學(xué)習(xí)率。記憶空間存儲的是曾經(jīng)的背景模型。對應(yīng)人類已經(jīng)獲得的經(jīng)驗知識。因而賦予記憶空間中的分布一個固定的學(xué)習(xí)率，即

其中，αc表示固定學(xué)習(xí)率，試驗中取αc＜αU.

2.3 雙空間自適應(yīng)背景建模

（1）初始化。第一幀（假設(shè)第一幀沒有運動目標）時初始化模型空間:對每一個像素，混合高斯空間由描述該像素的K個高斯分布構(gòu)成，而記憶空間初始為空，如圖1所示。

圖1 模型空間初始化（K=5）Fig.1 Initialization of two modeling spaces（K=5）

（2）將混合高斯空間中的K個高斯分布按照ωk，t/σk，t從大到小的順序排列，從首端選取前Bt個高斯分布作為該點處的背景模型（式（3）），并將屬于背景模型的分布進行標記，如圖2所示。

圖2 GMM空間高斯分布排序與標記Fig.2 Sorting and marking of Gaussian distributions in GMM space

（3）將新的采樣值Xt+1依次與混合高斯空間中的K個高斯分布進行匹配檢查。如果存在匹配的高斯分布，采用式（11）定義的學(xué)習(xí)率按照公式（5）～（8）進行更新;若匹配分布未曾被標記，則像素點標記為前景，否則像素點標記為背景。

（4）若當(dāng)前混合高斯模型空間不存在匹配的高斯分布，將采樣值Xt+1依次與記憶空間中的高斯分布進行匹配檢查。如果存在匹配的高斯分布，將像素點標記為背景，并對匹配分布采用式（12）定義的學(xué)習(xí)率進行更新，然后執(zhí)行步驟（4－1）和步驟4－2;否則轉(zhuǎn)向步驟（5）。

（4－1）若當(dāng)前混合高斯模型空間的最后一個高斯分布曾被標記，將其放入記憶空間（圖3），同時將匹配分布從記憶空間中移出并作為混合高斯模型空間的最后一個分布。（4－2）若當(dāng)前混合高斯模型空間的最后一個高斯分布未曾被標記，則直接將匹配高斯分布從背景空間中移出并取代之。

圖3 記憶過程示意圖Fig.3 Illustration of rem embering marked background model intomemory space

（5）若在兩空間中均未找到匹配分布，則像素點標記為前景，并用一個新的均值為Xt+1、高方差、低權(quán)重的分布取代混合高斯空間尾端的高斯分布。

算法流程如圖4所示。

圖4 算法流程圖Fig.4 Flow chart of proposed algorithm

3 試驗結(jié)果

為驗證本文所提算法的有效性，在P4 3.0的PC機上，VC編程環(huán)境下，用實拍序列進行了測試，并與傳統(tǒng)GMM方法以及Lee方法［12］進行了對比。試驗中αU=0.07，αc=0.05。在目標提取過程中，為了去除噪聲，采用了3×3高斯濾波器以及連通域分析算法，但未采用任何陰影去除算法。

序列“Briefcase”是以所在實驗室場景為背景的320×240的視頻序列。在該序列中，一個人帶著外衣和公文包進入場景，將外衣與公文包放好后停留一段時間，然后帶著外衣離開，而將公文包留在場景中。圖5（b）、（c）、（d）分別是采用傳統(tǒng)混合高斯背景模型、Lee方法以及本文提出方法獲得的運動目標分割結(jié)果（序列第490、755、800、1 000、1 150、1 220、1 310幀）。

圖5 “Briefcase”序列分割結(jié)果Fig.5 Segmentation results of“Briefcase”video sequence

試驗結(jié)果顯示，人暫停運動后，采用傳統(tǒng)的混合高斯背景模型和Lee方法進行檢測時，會很快被吸收為背景，導(dǎo)致前景目標無法被準確分割;而采用本文所提方法則較為準確的將運動目標分割出來。在此過程中由于受到椅子遮擋，腿部部分信息丟失，出現(xiàn)了“空洞”，當(dāng)不受椅子遮擋時（如第1 310幀），“空洞”消失;由于公文包和衣服停放時間比較短，本文方法將其作為前景目標檢測出來。然而，本文所提方法并不是將停止運動的目標永遠都被判斷為前景。圖6是本文所提方法對視頻序列第1560，1570，1580，1590幀的分割結(jié)果。由圖6可以看出，當(dāng)公文包停放較長一段的時間后，會逐漸被吸收為背景。

圖6 本文方法對長時間靜止目標分割結(jié)果Fig.6 Segmentation results when the object stops for a long time

在“Door”序列中，場景中的門起初是關(guān)閉的，打開一段時間后再次關(guān)閉（場景變化如圖7（a）所示）。圖7（b）為一個人打開門并走出實驗室原始序列。

圖7（c）、（d）、（e）是當(dāng)人打開門時采用傳統(tǒng)的混合高斯背景模型、Lee方法以及本文所提方法運動目標分割結(jié)果（序列第966，979，990，1021，1041和1 044幀）。

圖7 門被打開時的分割結(jié)果Fig.7 Segmentation resultswhen the door is being opened

人打開門時，產(chǎn)生背景突變。試驗結(jié)果顯示:采用傳統(tǒng)的混合高斯背景模型以及Lee方法都無法準確將所關(guān)注的運動目標——“人”分割出來，而采用本文方法可以得到較好的分割效果。

4 結(jié)束語

受人類學(xué)習(xí)過程啟發(fā)，本文對傳統(tǒng)的混合高斯背景模型進行改進，通過引入記憶空間以存儲出現(xiàn)過的背景模型，提出一種基于混合高斯的雙空間自適應(yīng)背景建模方法。兩個空間模型更新采用不同的學(xué)習(xí)率:在當(dāng)前混合高斯模型空間，學(xué)習(xí)率根據(jù)高斯分布對場景的貢獻程度進行自適應(yīng)更新，以解決運動目標緩慢運動或暫時停止問題;而記憶空間采用固定學(xué)習(xí)率進行更新，可以提高算法對背景突變的適應(yīng)性，因此當(dāng)相似的場景再次出現(xiàn)時，能較快適應(yīng)場景變化。最后采用室內(nèi)實拍序列與傳統(tǒng)基于GMM的方法進行了試驗對比。試驗結(jié)果表明，本文提出的方法能夠有效解決運動目標提取過程中出現(xiàn)的運動目標暫停和場景突變等問題。

［1］萬纓，韓毅，盧漢清.運動目標檢測算法的探討［J］，計算機仿真，2006，23（10）:919-925.

WAN Ying，HAN Yi，LU Han-qing.Prospects and current studies on background subtraction techniques for moving objects detection from surveillance video［J］.Computer Simulation，2006，23（10）:919-925.

［2］YILMAZ A，JAVED O.Object tracking:a survey［J］.ACM Computing Surveys，2006，38（4）:1-45.

［3］STAUFFER C，GRIMSONW E L.Adaptive background mixture models for real-time tracking:Proceedings of IEEE Computer Society Conference on Computer Vision and Pattern Recognition，F(xiàn)ort Collins，CO，USA［C］.Los Alam itos，Calif:IEEE，c2009:246-252.

［4］STAUFFER C，GRIMSONW E L.Learning patterns of activity using real-time tracking［J］.IEEE Trans on PAMI，2000，22（8）:747-757.

［5］KAEW TraKulPong P，BOWDEN R.An improved adaptive background mixturemodel for real-time tracking with shadow detection:proceedings of the 2nd European Workshop on Advanced Video-Based Surveillance Systems，Kingston，UK［C］.London:Kluwer Academic Publishers，c2001:149-158.

［6］JAVED O，SHAFIQUE K，SHAH M.A hierarchical approach to robust background subtraction using color and gradient information:Workshop on Motion and Video Computing［C］.Washington，DC:IEEE，c2002:22-27.

［7］SUN Yun Da，YUAN Bao Zong.Hierarchical GMM to handle sharp changes in moving object detection［J］.E-lectronics Letters，2004，40（13）:801-802.

［8］SUN Yun Da，YUAN Bao Zong，MIAO Zhen Jiang，et al.From GMM to HGMM:an approach inmoving object detection［J］.Computing and Informatics，2004，23（3）: 215-237.

［9］ZHANG Wei，F(xiàn)ANG Xiang Zhong，YANG Xiao Kang.Moving vehicles segmentation based on Bayesian framework for Gaussian motion model［J］.Pattern Recognition Letters，2006，27（9）:956-967.

［10］El BAF F，BOUWMANS T，VACHON B.Type-2 fuzzy mixture of Gaussians model:application to background modeling:proceedings of the 4 th International Symposium on Visual Computing［C］.Berlin:Springer-Verlag，c2008:772-781.

［11］楊濤，李靜，潘泉，等.一種基于多層背景模型的前景檢測算法［J］.中國圖象圖形學(xué)報，2008，13（7）:1303-1308.

YANG Tao，LIJing，PAN Quan，et al.A multiple layer background model for foreground detection［J］.Journal of Image and Graphics，2008，13（7）:1303-1308.

［12］LEED S.Effective Gaussianmixture learning for video background subtraction［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2005，27（5）: 827-832.

［13］索鵬.基于仿生智能的多目標跟蹤算法研究［D］.青島:中國石油大學(xué)信息與控制工程學(xué)院，2009.

SUO Peng.Study onmulti-object trackingmethod based on bionic intelligence［D］.Qingdao:College of Information and Control Engineering in China University of Petroleum，2009.

A double-subspace adaptive background m odeling m ethod based on Gaussian m ixturem odel

QIYu-juan，WANG Yan-jiang，SUO Peng
（College of Information and Control Engineering in China University of Petroleum，Qingdao 266580，China）

In order to tackle problems that themoving object slows down or stops for a while，and the background changes suddenly when segregating the foreground from background，inspired by the human learning process，a double-subspace adaptive background modelingmethod based on Gaussianmixturemodel（GMM）was proposed.Amemory space is introduced into the traditional GMM-based background modeling for storing the pastbackgroundmodels.The learning rates for updating the distributions in the two spaces are different.In GMM space，the learning rate is updated with the contribution of the distribution to the scene，which aims to handle problems that the objectmoves slowly or stops temporarily.While in thememory space，a fixed learning rate is used in order to improve the adaptability to sudden background changes.The experimental results demonstrate the superiority of the proposed method.

backgroundmodeling;Gaussianmixturemodel（GMM）;moving object segmentation;background subtraction;sudden background changes

TP 391

A

10.3969/j.issn.1673-5005.2012.05.033

1673-5005（2012）05-0175-04

2012－02－15

國家自然科學(xué)基金項目（60873163，61271407）;中央高校基本科研業(yè)務(wù)費專項資金資助項目（27R1105019A）

齊玉娟（1977－），女（漢族），山東諸城人，講師，博士研究生，主要研究方向為計算機視覺、模式識別。

（編輯 修榮榮）