基于長時(shí)間視頻序列的背景建模方法研究

丁潔 肖江劍 況立群 宋康康 彭成斌

背景建模是計(jì)算機(jī)視覺的一個(gè)重要研究方法,在智能視頻監(jiān)控、智能交通、人機(jī)交互等領(lǐng)域有廣泛應(yīng)用.現(xiàn)有背景模型主要分為基于時(shí)域信息的模型和基于時(shí)空域信息融合的模型[1].基于時(shí)域信息的模型通常利用過去一小段時(shí)間內(nèi)像素的統(tǒng)計(jì)特性來預(yù)測該像素短期未來的狀態(tài),而基于時(shí)空域信息融合的模型在利用時(shí)域信息的同時(shí)也關(guān)注像素在空間域上的分布特性.這些模型又可以分為參數(shù)化模型和非參數(shù)化模型.參數(shù)化模型是利用含參模型對每個(gè)像素點(diǎn)建模,非參數(shù)化模型是使用已觀察的像素值對該像素點(diǎn)建模[2].

Wren等[3]提出的單高斯背景模型是利用時(shí)域信息建立的參數(shù)化模型,該方法對光照緩變適應(yīng)性較強(qiáng),但在發(fā)生背景擾動(dòng)時(shí),處理情況較差,這主要是因?yàn)閱胃咚贡尘澳Ｐ蜔o法處理多模態(tài)變化.此后,Stauffer等[4]提出混合高斯背景模型(Mixture of Gaussian,MOG)來處理多模態(tài)變化,它也是一個(gè)只利用時(shí)域信息的參數(shù)化模型.與單高斯模型不同的是,它對圖像每個(gè)像素點(diǎn)建立多個(gè)不同權(quán)重的高斯模型.它可以有效地處理多模態(tài)場景,但是如果背景中同時(shí)呈現(xiàn)高低頻變換,它的靈敏度調(diào)節(jié)困難,會(huì)導(dǎo)致前景像素融入背景模型、丟失高頻目標(biāo).另外,條件隨機(jī)場[5]、碼書[6]等方法也被用于基于時(shí)間域信息的背景建模,然而發(fā)生變化(如風(fēng)吹樹枝)時(shí),受模型更新速度的影響,算法會(huì)產(chǎn)生大量的虛警數(shù).此后,Barnich等[7]通過利用像素的空間關(guān)系提高模型更新速度,提出融合時(shí)空特性的非參數(shù)化模型—ViBe(Visual background extractor)模型,該模型利用像素點(diǎn)的鄰居像素來對模型更新,使其對變化場景可以較快適應(yīng).然而在非平穩(wěn)變化(如光照突變)下,使用該模型仍然會(huì)產(chǎn)生大量的虛警數(shù).2014年,St-Charles等提出SuBSENSE(Self-balanced sensitivity segmenter)算法[8],該算法對ViBe算法顏色空間以及距離公式進(jìn)行改進(jìn),可以有效填補(bǔ)ViBe算法目標(biāo)內(nèi)部空洞并提高更新速率,然而該算法運(yùn)算效率較低且容易出現(xiàn)大范圍閃爍現(xiàn)象.

分析以上背景建模方法,無論是只使用時(shí)間域信息的模型還是使用時(shí)空域信息融合的模型都只考量狹小時(shí)間段內(nèi)的統(tǒng)計(jì)特性.然而,在整個(gè)背景建模的過程中,場景背景的變化有周期性重現(xiàn)的特點(diǎn)(如光線的變化情況等),如果僅在小時(shí)段時(shí)空域上研究,必定會(huì)丟失周期性信息,使更新受限.如果將周期性信息合理記錄,構(gòu)成帶記憶的模型.在發(fā)生非平穩(wěn)變化時(shí),直接在記憶字典中找到對應(yīng)變化特點(diǎn)的背景作為此時(shí)背景,并使用它更新模型,必定能大幅度降低虛警數(shù).為了充分利用背景長時(shí)間周期性重現(xiàn)特點(diǎn),搭建一個(gè)合理融合大時(shí)空域信息的基于長時(shí)間視頻序列的背景建?？蚣?并在其上研究背景建模方法.設(shè)計(jì)該框架時(shí)有以下幾個(gè)難點(diǎn):1)如何將大量長時(shí)間背景信息合理描述;2)如何訓(xùn)練生成簡單并兼顧實(shí)時(shí)性的背景字典;3)如何在背景詞典中查找所需背景;4)如何使背景字典長久的適用于場景;5)如何將長時(shí)間的時(shí)空域信息與短時(shí)間的時(shí)空域信息結(jié)合,即如何將長時(shí)間記憶模型與短時(shí)間記憶模型融合.

針對1),本文通過對長時(shí)間視頻剪輯、求平均背景生成背景圖片,并對圖像降采樣、降維[9],產(chǎn)生有意義的背景描述子;針對2),本文采用譜聚類[10]對背景粗分類,并使用K-means[11]對背景進(jìn)一步細(xì)分類,使用類別中典型圖建立樹形字典,從而訓(xùn)練出簡單可兼顧實(shí)時(shí)性的背景字典;針對3),計(jì)算原圖向量與背景詞典向量之間的歐氏距離,距離小的即為所需背景;針對4),本文增加背景字典更新模塊;針對5),本文設(shè)計(jì)突發(fā)變化判斷機(jī)制,如果是平穩(wěn)變化則使用現(xiàn)有短時(shí)空域信息模型,如果是突發(fā)變化則利用帶記憶的長時(shí)空域信息模型.

本文首先介紹該框架的建立方法,然后介紹該框架與短時(shí)空域信息背景模型[12]的融合方法,重點(diǎn)測試突發(fā)變化發(fā)生時(shí)的運(yùn)動(dòng)目標(biāo)檢測結(jié)果.實(shí)驗(yàn)結(jié)果表明:該框架可顯著提高背景模型(如ViBe或MOG算法)對突發(fā)變化(主要測試光照突變)的適應(yīng)性和魯棒性,有效實(shí)現(xiàn)對前景目標(biāo)的較準(zhǔn)確檢測.

1 長時(shí)間背景建模框架

本文以長時(shí)間定視角視頻序列為研究對象,給出同時(shí)滿足運(yùn)動(dòng)目標(biāo)檢測實(shí)時(shí)性、準(zhǔn)確性以及突發(fā)變化適應(yīng)性(如光照突變)要求的長時(shí)間背景建?？蚣?

長時(shí)間背景建?？蚣苋鐖D1所示,其內(nèi)容可以分為三塊:背景字典訓(xùn)練模塊、圖像檢索模塊以及背景字典更新模塊.背景字典訓(xùn)練模塊包括視頻背景信息描述(預(yù)處理與PCA(Principal components analysis)降維)和生成背景字典(譜聚類、K-means再聚類以及字典生成);圖像檢索模塊包括非平穩(wěn)變化判斷、原圖像合理描述與檢索判斷方法;背景字典更新模塊包括模型效果判斷機(jī)制與更新方法.下文將圍繞以上三個(gè)模塊展開.

2 訓(xùn)練背景字典

訓(xùn)練背景字典部分包括背景合理描述與生成背景字典兩部分.這部分將完成背景模型的記憶功能.

2.1 長時(shí)間視頻合理描述

這部分本質(zhì)為特征提取,通過對長時(shí)間視頻預(yù)處理以及降維,生成背景描述子,并以向量的組合描述長時(shí)間視頻圖像序列.

2.1.1 長時(shí)間視頻預(yù)處理

根據(jù)長時(shí)間視頻數(shù)據(jù)量大,而每一分鐘背景變化差異不大的特點(diǎn),對采集的定視角視頻做預(yù)處理.

輸入:所采集的定視角視頻(本文采集24小時(shí)定視角視頻).

輸出:預(yù)處理結(jié)果向量集{i}.

步驟1.將視頻剪輯為一分鐘短視頻(24×60=1440個(gè));

步驟2.依次對每一分鐘的視頻使用已有背景建模方法建立背景模型并求得背景(本文使用高斯背景建模算法來建立背景模型);

圖1 長視頻背景建?？蚣蹻ig.1 Long time background modeling framework

步驟3.求每分鐘的平均背景圖(共1440張,即背景記憶庫);

步驟4.背景圖像降采樣,主要目的是減小訓(xùn)練算法運(yùn)算量.(將原圖像(Data1分辨率352×288)變?yōu)榉直媛?60×120的圖像);

步驟5.將圖像轉(zhuǎn)換為向量形式,此后運(yùn)算都以該向量集為基礎(chǔ).(1×160×120維的向量集

2.1.2 降維

通過預(yù)處理所得高維向量數(shù)據(jù)集為{i},在其之上直接處理,會(huì)造成維數(shù)災(zāi)難[13],因此使用降維算法對其降維.本文采用被廣泛使用的主成分分析法(PCA)對數(shù)據(jù)集降維,主成分分析法的優(yōu)點(diǎn)是概念簡單、計(jì)算方便、重構(gòu)誤差小.

使用PCA算法,計(jì)算合適的投影矩陣Ud,將圖像數(shù)據(jù)集合{i}降到低維空間變?yōu)橛?jì)算公式:

其中,i是i降維后對應(yīng)的向量,是{i}的均值向量.在降維后的空間,背景數(shù)據(jù)集變?yōu)閧i},它就是背景描述子.降維的維數(shù)是通過保留信息量以及聚類結(jié)果確定的,其確定方法在第6節(jié)闡述.

2.2 生成背景字典

這部分主要闡述背景記憶庫中的向量分類方法、背景字典生成方法以及組織方式.因?yàn)楸疚奶幚淼亩ㄒ暯且曨l序列有如下特點(diǎn):1)數(shù)據(jù)量較大;2)場景典型類別少.本文利用聚類算法探索背景向量之間的關(guān)系并分類.譜聚類算法對背景向量粗聚類,K-means算法對背景向量細(xì)聚類.與此同時(shí),使用類中典型圖生成背景字典,并根據(jù)粗細(xì)分類合理組織背景字典.

2.2.1 譜聚類

由于譜聚類算法有對不規(guī)則誤差數(shù)據(jù)不敏感,計(jì)算復(fù)雜度較小,收斂于全局的優(yōu)點(diǎn),本文使用該算法對數(shù)據(jù)聚類[14].2014年,Zhu等[15]提出一種通過有效計(jì)算高維復(fù)雜數(shù)據(jù)之間相似度以改進(jìn)相似度矩陣的方法,大幅度提高高維譜聚類性能.本文使用該方法計(jì)算相似度矩陣.

本文譜聚類流程:

輸入:背景描述向量集{i}.

輸出:聚類結(jié)果向量(指明每個(gè)向量的類別).

步驟1.計(jì)算這n個(gè)描述向量的相似度矩陣an×n,其元素aij為數(shù)據(jù)i與j的相似度;

步驟2.計(jì)算矩陣D,D為對角矩陣,除對角元素外都為0,D的對角元素為

其中,D的對角元素為an×n對應(yīng)列的所有元素之和;

步驟3.計(jì)算規(guī)范拉普拉斯矩陣L,其中I是單位矩陣;

步驟4.求L的特征值并按從小到大排列:γ1≤γ2≤···≤γn(對稱矩陣有n個(gè)實(shí)值的特征值);

步驟5.對于k類聚類(k的選擇由第6節(jié)闡述),原算法選取前k個(gè)特征值所對應(yīng)的特征向量,按列組成新的矩陣R,它是n×k維矩陣,本文算法根據(jù)經(jīng)驗(yàn)選取前k+3個(gè)特征值對應(yīng)的特征向量,按列組成新的矩陣R,它為n×(k+3)維矩陣;

步驟6.把矩陣R的每行元素作為新數(shù)據(jù)(共n個(gè),每個(gè)數(shù)據(jù)k+3維),使用K-means聚類.如果R的第i行元素被聚類到子類Kj,那么原n個(gè)數(shù)據(jù)中的第i個(gè)數(shù)據(jù)屬于子類j.

本文計(jì)算相似度矩陣an×n的方法 (由 Zhu等[15]提出)如下:

如圖2所示,γ為根節(jié)點(diǎn).假如一對樣本從根節(jié)點(diǎn)開始直到到達(dá)它們各自的葉子節(jié)點(diǎn)li與lj.最后由根節(jié)點(diǎn)、中間節(jié)點(diǎn)、葉子節(jié)點(diǎn)組成的一條路徑(如圖粗體部分所示)會(huì)被生成.

圖2 隨機(jī)決策樹Fig.2 Random decision tree

分別表示遍歷的中間節(jié)點(diǎn).如果pi和pj經(jīng)過相同的λ個(gè)節(jié)點(diǎn),則

(i,j)的相似度表示為

其中,b=argmax|pb|且b∈{i,j},b表示到達(dá)葉子節(jié)點(diǎn)lb的數(shù)據(jù)樣本集,分子表示i,j共同經(jīng)過的權(quán)重和,分母為整體權(quán)重.這種表達(dá)方式可以有效表達(dá)數(shù)據(jù)點(diǎn)之間的相似性.由aij構(gòu)成的矩陣即為相似度矩陣an×n.

2.2.2 K-means再聚類

根據(jù)上一部分的譜聚類算法,背景圖片可以分為k類,類中的圖片相似度較高.由于背景圖片量大,假如直接使用新的視頻圖像向量與k類中每個(gè)背景向量比較則計(jì)算量太大.而如果只與該類典型圖片向量比較,則比較向量太少,會(huì)導(dǎo)致檢索出的背景不夠準(zhǔn)確.因而,本文通過對每類向量(由第2.2.1節(jié)可知,該向量為k+3維)K-means再聚類,聚為10個(gè)小類.這樣背景描述向量就又被分為10類.

2.2.3 背景字典的建立

建立的背景字典需滿足兩個(gè)要求:第一,能有效代表所有背景;第二,檢索速度快.針對這兩個(gè)要求,設(shè)計(jì)如圖3所示的字典生成方法,由第2.2.1節(jié)可知,譜聚類將背景圖聚為k類,我們找到這k類的典型圖,之后再按第2.2.2節(jié)中K-means再聚類,分別找到每部分10個(gè)類的典型圖.典型圖是每類的載體,背景字典由圖3中淺色箭頭虛線所連典型圖構(gòu)成.由圖3可知,此背景字典為樹形結(jié)構(gòu),因而可加快檢索速度.

圖3 背景字典生成圖Fig.3 Map of background dictionary

3 圖像檢索

圖像檢索部分主要討論檢索時(shí)機(jī),檢索背景字典的方法.本文使用非平穩(wěn)變化判斷機(jī)制確定檢索時(shí)機(jī),通過計(jì)算歐氏距離檢索背景字典.

3.1 非平穩(wěn)變化判斷機(jī)制

本文實(shí)驗(yàn)的非平穩(wěn)變化是光線突變,因而設(shè)計(jì)關(guān)于光線的非平穩(wěn)變化判斷機(jī)制.

根據(jù)光線突變時(shí)絕大多數(shù)像素點(diǎn)變?yōu)榍熬暗奶攸c(diǎn),本文通過關(guān)注前景像素點(diǎn)占總像素點(diǎn)的比例來統(tǒng)籌設(shè)計(jì)判斷機(jī)制.

光線突變時(shí),前景像素比例迅速增大,當(dāng)大于臨界值T時(shí),則認(rèn)為發(fā)生了光線突變.如式(7)其中Ro為前景像素比例,flag1=1說明非平穩(wěn)變化發(fā)生,反之,則不是.

3.2 原圖像描述

當(dāng)判斷結(jié)果為flag1=1時(shí),將此時(shí)原圖經(jīng)過第2.1.1節(jié)中步驟4、步驟5兩步變?yōu)榕ci維數(shù)一致的高維向量,將映射到與i同一個(gè)空間中,變?yōu)橄蛄?計(jì)算公式:

其中,是第2.1.2節(jié)中的投影矩陣,向量nnn就是原圖像的合理描述.

3.3 檢索判斷方法

該處步驟與特征臉?biāo)惴╗16]類似,通過計(jì)算向量與背景字典中i的歐氏距離,距離最小的即為對應(yīng)的背景向量.將該向量的索引返回,該索引背景就是此時(shí)背景,并采用該背景初始化背景模型.

4 背景字典更新

這部分討論模型效果判斷機(jī)制以及更新方法.

4.1 更新判斷機(jī)制

檢索替換生成新模型之后,前景像素比例Ro應(yīng)該迅速下降.如果下降較小,說明場景與記憶場景差距較大,此時(shí)需要更新背景字典.根據(jù)這個(gè)特點(diǎn)設(shè)計(jì)判斷機(jī)制如式(9):

Mp表示原來模型,Ma為新模型.Tu為閾值,flag2=0代表不需要更新背景字典,flag2=1代表需要更新背景字典.

4.2 更新方法

結(jié)合本文第2.1.1節(jié)中背景的生成方法,再考慮快速的背景字典更新,最終從判斷結(jié)果為flag2=1的當(dāng)前幀開始累計(jì)100幀背景計(jì)算其平均背景,將平均背景作為新的背景,添加到背景庫中.同時(shí),與譜聚類典型圖對應(yīng)向量比較,找到在背景字典合適的位置,將該向量加入.如果檢索位置已滿,則根據(jù)被檢索頻率的高低來替換背景向量,如果一個(gè)向量長時(shí)間沒有被檢索,則被替換的概率高.

5 長短時(shí)空域背景建模融合

以上三部分就是本文框架的建立方法,由于本文框架主要處理非平穩(wěn)變化,而非平穩(wěn)變化并非常態(tài),因而設(shè)計(jì)將現(xiàn)有短時(shí)空域的背景建模與本文長時(shí)空域背景建模融合.這樣可以提高背景建模速度.

在第3.1節(jié)中,我們談到非平穩(wěn)變化判斷機(jī)制,如果判斷為flag1=0,則使用現(xiàn)有短時(shí)空域背景建模算法實(shí)現(xiàn)運(yùn)動(dòng)目標(biāo)檢測.如果判斷為flag1=1,則使用長時(shí)空域背景建模來建立背景模型.使用該模型后,當(dāng)它轉(zhuǎn)換為平穩(wěn)變化后,則繼續(xù)使用短時(shí)空域背景建模算法,這樣既可以保證準(zhǔn)確性又可以保障實(shí)時(shí)性.

當(dāng)長時(shí)空域背景建立的背景模型要轉(zhuǎn)換為短時(shí)空域背景模型時(shí),需要注意:初始轉(zhuǎn)換時(shí),增加更新速度可以達(dá)到更好的效果.這主要是因?yàn)楸尘白值渲袌D片與新的視頻背景會(huì)有些許小差異,這會(huì)引入一定的ghost區(qū)域.

6 長時(shí)間背景建?？蚣苤袇?shù)值的確定

6.1 降維維數(shù)的預(yù)估

首先通過保留信息量的多少來選擇一個(gè)預(yù)定維數(shù),再根據(jù)聚類結(jié)果對其做小范圍調(diào)整.降維中,低維空間表達(dá)高維空間信息的程度是一個(gè)重要的衡量標(biāo)準(zhǔn),本文稱為貢獻(xiàn)率.

如圖4所示(以Data1為例),背景圖片降至2維就可表達(dá)90%的信息量,本文選取維數(shù)可以達(dá)到99%以上的信息量.由圖可知,在降至30維時(shí)其貢獻(xiàn)率第一次大于99%,因此,預(yù)估降為30維.

圖4中,橫坐標(biāo)是降到的維數(shù),縱坐標(biāo)是貢獻(xiàn)率.

圖4 貢獻(xiàn)率圖Fig.4 Contribution rate

6.2 聚類個(gè)數(shù)的預(yù)估

首先通過譜聚類特點(diǎn)預(yù)估聚類個(gè)數(shù),再通過最終聚類結(jié)果對其調(diào)整.Ng等提出的NJW譜聚類算法[17],譜聚類的個(gè)數(shù)通過拉普拉斯特征值的特點(diǎn)來選取.該算法認(rèn)為:對于存在k個(gè)理想的彼此分離簇的有限數(shù)據(jù)集,可以證明拉普拉斯矩陣的前k個(gè)最大特征值為1,第k+1個(gè)特征值則嚴(yán)格小于1,二者之間的差距取決于這k個(gè)聚類的分布情況.當(dāng)聚類內(nèi)部分布得越密,各聚類間分布得越開時(shí),第k+1個(gè)特征值就越小.

然而,本文中的聚類數(shù)據(jù)是圖像的特征,由圖5可知,如果直接按照上述方法來判斷,在第二個(gè)特征值時(shí)就嚴(yán)格小于1,那么圖像只為一類,這與聚類的目的相悖.這也表明圖像特征的區(qū)分特點(diǎn)沒有普通數(shù)據(jù)明顯,此時(shí)結(jié)合聚類的目標(biāo)對NJW 譜聚類算法中聚類個(gè)數(shù)的判斷進(jìn)行拓展.首先,此處聚類的目標(biāo)是得到內(nèi)部數(shù)據(jù)緊湊的幾類,而上述方法提到當(dāng)聚類內(nèi)部分布的越密,各聚類間分布的越開,特征值差異就越大,就可以通過觀察特征值拐點(diǎn)的方法來取合適的個(gè)數(shù).在圖5中(以Data1為例),可以看到前3個(gè)特征值差距較大,因而取3個(gè)較為合適.

圖5 譜聚類中拉普拉斯矩陣特征值圖Fig.5 Laplacian eigenvalues graph of spectral clustering

6.3 降維維數(shù)與聚類個(gè)數(shù)的確定

通過聚類結(jié)果圖,根據(jù)聚類的目標(biāo)來調(diào)整降維維數(shù)與聚類個(gè)數(shù).本文中主要是判斷開關(guān)燈影響,經(jīng)驗(yàn)理想值應(yīng)該為夜晚、白天、開燈的三種情況(經(jīng)訓(xùn)練的背景圖片信息按照時(shí)間順序排列(該數(shù)據(jù)集為晚上0點(diǎn)開始至第二天0點(diǎn)結(jié)束,圖6的橫坐標(biāo)即為按時(shí)間排列的圖像)).圖6(以Data1為例)為不同維數(shù)的聚類結(jié)果圖,觀察該對比圖:發(fā)現(xiàn)在原來第6.1節(jié)所得維數(shù)的基礎(chǔ)上再加兩維可以達(dá)到聚類內(nèi)部緊湊、類間分離的目標(biāo),而在維數(shù)太大的情況下,由于所展現(xiàn)的特征的不同,出現(xiàn)過擬合,反而達(dá)不到目標(biāo)的效果.圖7是降維至32維時(shí),取不同的聚類個(gè)數(shù)的效果,可以看到在聚為三類時(shí),它將上午、下午聚為一類,中午以及晚上開燈情況分為一類,其余一類是夜晚、晚上未開燈情況,根據(jù)數(shù)據(jù)集本身特點(diǎn)顯示,該種情況符合研究特點(diǎn).而在聚為二類、四類時(shí),夜晚關(guān)燈后的背景的圖像不符合研究特點(diǎn).因而,最終取32維、聚為三類.

圖6 不同維數(shù)的聚類效果Fig.6 Cluster results of different dimension

圖7 不同聚類個(gè)數(shù)效果圖(32維)Fig.7 Cluster results of different cluster number(32)

6.4 判斷機(jī)制中參數(shù)的確定

通過統(tǒng)計(jì)短時(shí)空域背景建模算法(以ViBe算法為例)光線突變前、后前景像素點(diǎn)比例(針對本文的四個(gè)數(shù)據(jù)集),如圖8～10所示,對光線突變閾值T更新背景字典閾值Tu取值.本文中T取0.42,取Tu為0.35.

圖8 光線突變閾值T的確定Fig.8 Determination of sudden illumination change threshold T

圖8是分別對關(guān)燈、開燈四個(gè)數(shù)據(jù)集光線突變前后30幀的前景像素統(tǒng)計(jì)圖,前26幀表示未發(fā)生光線突變,后4幀表示已經(jīng)發(fā)生光線突變.在圖8(a)中,未發(fā)生光線突變時(shí),除Data2數(shù)據(jù)集,前景比例均很小接近0,Data2有波動(dòng)是由于視頻幀中有大目標(biāo)出現(xiàn),而突變后,前景比例最低的Data4接近0.45;在圖8(b)中,除Data4數(shù)據(jù)集,其余前景比例均很小接近0,Data4中波動(dòng)主要是由于開燈時(shí)日光燈的閃爍造成的,而突變之后,前景比例最低的Data3接近0.6.綜上所述,結(jié)合開關(guān)燈突變像素比例變化,開燈日光燈閃爍,大目標(biāo)出現(xiàn)三方面影響,取T為0.4左右.

圖9 閾值T的邏輯回歸分析Fig.9 Logistic regression analysis of threshold T

圖10 更新背景字典閾值Tu的確定Fig.10 Determination of threshold Tufor updating background dictionary

在實(shí)踐中,我們采用邏輯回歸的方法最終確定閾值T.將生成圖8的訓(xùn)練集(像素點(diǎn)比例集)作為樣本,是對應(yīng)的二值隨機(jī)變量的集合,每個(gè)元素值為0或1(0表示突變前狀態(tài),1表示突變后的狀態(tài));如下式(10)、(11)所示:

式(11)中,是輸入訓(xùn)練樣本向量,其中每個(gè)樣本都可以得到一個(gè)hi,β是參數(shù)向量,p表示hi為1的可能性,是Sigmod函數(shù).通過回歸模型獲得的hi為1的概率與的對應(yīng)關(guān)系如圖9所示.若p=0.5,hi是0或1(當(dāng)前狀態(tài)是突變前或突變后)的可能性是相同的.因此,我們?nèi)=0.5對應(yīng)的f的值作為臨界點(diǎn)T的取值,即0.42.

圖10是使用本文方法后,前景像素比例的變化圖.圖中展示不同數(shù)據(jù)集在第四幀處,使用本文方法像素的變化情況,也是背景適應(yīng)程度的展現(xiàn).由圖8可知,正常情況下使用本文方法后,前景像素比例降幅明顯.本文的衡量方法就是觀察突變后,不同算法的前景像素比例變化情況(如圖12、14).由圖10(a)、圖10(b)展現(xiàn)的均為背景字典中背景能代表場景的情況(實(shí)際場景變化如圖11、圖13),其比例變化最小值接近0.5.而根據(jù)實(shí)驗(yàn)結(jié)果圖觀察,被認(rèn)為替換效果不佳的比例變化最大接近0.3,因此,根據(jù)經(jīng)驗(yàn)將Tu定為0.35,也可采用邏輯回歸對其驗(yàn)證.

7 實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證該框架的性能,將該框架用于ViBe算法以及MOG算法,在多個(gè)測試數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn),比較這兩種算法與本文融合框架后算法在光線突變發(fā)生時(shí)的運(yùn)動(dòng)目標(biāo)檢測情況.

實(shí)驗(yàn)在Intel(R)C@2.40GHz 8.0GB的計(jì)算機(jī)上,VS2013、OpenCV2.4.9和MATLABR2013a環(huán)境下實(shí)現(xiàn),在實(shí)驗(yàn)中ViBe維持原論文中參數(shù),MOG采用Opencv實(shí)現(xiàn)版.本文算法未對視頻做形態(tài)學(xué)等預(yù)處理以及后處理.

7.1 實(shí)驗(yàn)結(jié)果

本文討論長時(shí)間視頻背景建模方法,數(shù)據(jù)集分為訓(xùn)練數(shù)據(jù)集、測試數(shù)據(jù)集.訓(xùn)練數(shù)據(jù)集用于構(gòu)建記憶背景字典,測試數(shù)據(jù)集用于檢索并實(shí)現(xiàn)運(yùn)動(dòng)目標(biāo)檢測.

本文訓(xùn)練數(shù)據(jù)集有四個(gè),第一個(gè)是由監(jiān)控?cái)z像頭拍攝的實(shí)驗(yàn)室2015年11月27日整天視頻數(shù)據(jù)(后續(xù)稱為Data1,分辨率為352×288);第二個(gè)是通用數(shù)據(jù)集WallFlower dataset[18]中LightSwitch數(shù)據(jù)集(稱為Data2,分辨率為160×120);第三個(gè)是WallFlower dataset中TimeOfDay數(shù)據(jù)集(稱為Data3,分辨率為160×120);第四個(gè)是由焦距2.6mm攝像頭拍攝的室內(nèi)2016年4月20日整天定視角視頻(稱為Data4,分辨率為640×320).

Data1測試數(shù)據(jù)集為2015年11月25日的視頻序列(共778幀)、2015年11月26日視頻序列(共2474幀);Data2測試數(shù)據(jù)集是LightSwitch數(shù)據(jù)集中未訓(xùn)練的開關(guān)燈圖片序列(開燈測試序列共378幀,關(guān)燈測試序列共1625幀);Data3測試數(shù)據(jù)集是TimeOfDay數(shù)據(jù)集模擬的開關(guān)燈數(shù)據(jù)集(開燈測試序列共576幀,關(guān)燈測試序列共132幀);Data4的測試數(shù)據(jù)集是2016年4月20日(共1473幀)、2016年4月19日視頻序列(共1113幀).

圖11 運(yùn)動(dòng)目標(biāo)檢測效果對比圖(ViBe關(guān)燈)Fig.11 Moving object detection comparison charts(ViBe turns offthe lights)

圖12 運(yùn)動(dòng)目標(biāo)檢測效果對比圖(ViBe開燈)Fig.12 Moving object detection comparison charts(ViBe turns on the lights)

圖13 前景像素比例變化對比圖(對應(yīng)圖11(a)～(b))Fig.13 Comparison chart of foreground pixel ratio(Corresponding to Fig.11(a)～(b))

圖11、圖12、圖15、圖16是四個(gè)不同數(shù)據(jù)集的實(shí)驗(yàn)結(jié)果對比圖.圖11、圖15是關(guān)燈情況,圖12、圖16是開燈情況;圖11、圖12、圖15、圖16中a、b、c、d 子圖分別對應(yīng)Data1、Data2、Data3、Data4實(shí)驗(yàn)結(jié)果,a、b、c、d四個(gè)子圖中每個(gè)子圖第一排是原視頻圖像,圖11、圖12的第二排是ViBe運(yùn)動(dòng)目標(biāo)檢測前景,圖15圖16的第二排是MOG運(yùn)動(dòng)目標(biāo)檢測前景,第三排是本文提出算法的運(yùn)動(dòng)目標(biāo)檢測前景,F表示視頻序列的第幾幀(忽略日光燈閃爍幀、攝像頭適應(yīng)幀).從圖中可以看到:在發(fā)生光線突變時(shí),大量的背景點(diǎn)被誤判為前景點(diǎn),原ViBe、MOG算法恢復(fù)模型較慢,使虛警數(shù)(False positive,FP)[19]在長時(shí)間內(nèi)較高;結(jié)合本文框架可以使它迅速適應(yīng)光照突變,大大降低虛警數(shù),從而更為準(zhǔn)確地偵測運(yùn)動(dòng)目標(biāo).

圖13、 圖14分別是圖 11(a)～(b)、 圖13(c)～(d)相應(yīng)的前景點(diǎn)比例變化比較圖,圖15、圖16的相應(yīng)的前景變化比例可類似得到.這兩幅圖通過前景像素點(diǎn)比例形象的表示光線突變后背景模型的適應(yīng)情況.

圖17為室外場景的測試效果,首先使用8月16日的視頻背景數(shù)據(jù)來建立背景字典,測試數(shù)據(jù)集為8月15日傍晚室外開燈序列視頻(共273幀).圖17(a)為ViBe算法與結(jié)合本文框架后算法的對比圖,其中第一排表示原圖,第二排表示ViBe算法目標(biāo)檢測效果圖,第三排為結(jié)合本文框架的目標(biāo)檢測效果圖.圖17(b)為混合高斯背景建模算法與結(jié)合本文框架后的算法的對比圖,其中第一排表示原圖,第二排表示混合高斯背景建模算法目標(biāo)檢測效果圖,第三排為結(jié)合本文框架的目標(biāo)檢測效果圖.由圖可知,對室外光線突變場景,結(jié)合本文記憶字典模型可以顯著提高模型適應(yīng)能力,有效降低虛警數(shù).

總結(jié)圖11～17知,本文算法有效提高短時(shí)空域算法光照突變適應(yīng)能力,降低原有算法誤檢率,可以更好地偵測運(yùn)動(dòng)目標(biāo).

圖14 前景像素比例變化對比圖(對應(yīng)圖12(c)～(d))Fig.14 Comparison chart of foreground pixel ratio(Corresponding to Fig.12(c)～(d))

7.2 性能分析

本文使用虛警數(shù)FP以及漏檢數(shù)FN來定量評估.虛警數(shù)FP是本身為背景像素卻被誤判為前景的像素個(gè)數(shù),漏檢數(shù)FN是本身為前景像素卻被誤判為背景的像素.本文框架相當(dāng)于是在原算法發(fā)生光照突變之后做的處理,那么在未發(fā)生光照突變時(shí),本文算法與原算法的虛警數(shù)與漏檢數(shù)一致;而在發(fā)生光照突變后,由圖13、圖14知,本文算法大大地降低了虛警數(shù),而漏檢數(shù)與原算法未發(fā)生光照突變時(shí)一致,也就是比此時(shí)原算法的漏檢數(shù)少.

7.3 實(shí)時(shí)性分析

圖15 運(yùn)動(dòng)目標(biāo)檢測效果對比圖(MOG關(guān)燈)Fig.15 Moving object detection comparison charts(MOG turns offthe lights)

圖16 運(yùn)動(dòng)目標(biāo)檢測效果對比圖(MOG開燈)Fig.16 Moving object detection comparison charts(MOG turns on the lights)

本文采取了訓(xùn)練、測試模式,存在訓(xùn)練時(shí)間以及測試時(shí)間.在運(yùn)動(dòng)目標(biāo)檢測時(shí)相當(dāng)于處于測試階段,本文與之密切相關(guān)的為檢索時(shí)間,因而與原算法比較,本文算法主要增加了額外的檢索時(shí)間,本文在檢索部分的耗時(shí)運(yùn)算為13次歐氏距離的計(jì)算(參考圖3結(jié)構(gòu),其中3次為圖像描述子與三類典型圖描述子之間的歐氏距離,求得最近的典型圖之后,計(jì)算原圖描述子與該典型類中再聚類10個(gè)典型圖描述子之間的歐氏距離).在未采取優(yōu)化機(jī)制的情況下,Data1、Data2、Data3、Data4檢索一次背景字典的時(shí)間分別為 0.137s、0.051s、0.105s、0.123s.由此可以推想到,視頻中檢索背景字典的頻數(shù)對實(shí)時(shí)性有影響,即突變越頻繁,檢索背景字典次數(shù)越多,對實(shí)時(shí)性影響越大.然而在一般場景中,開關(guān)燈情況并不頻繁.本文以每300幀(大約10s)發(fā)生一次檢索來計(jì)算實(shí)時(shí)性,與原算法的對比效果圖如表1所示.在更新背景字典時(shí),使用另外一個(gè)線程來生成新的背景圖,不影響主線程的實(shí)時(shí)性.

圖17 室外情況運(yùn)動(dòng)目標(biāo)檢測情況Fig.17 Moving object detection of outdoor

由表1可知,本文通過前期對視頻集做背景訓(xùn)練,在之后的目標(biāo)檢測中對實(shí)時(shí)性的影響很小,而由圖11～17可知,該方法可以有效降低誤檢率,明顯改善運(yùn)動(dòng)目標(biāo)檢測結(jié)果.

表1 算法處理速度(fps)Table 1 Processing times of algorithm(fps)

8 結(jié)語

利用固定攝像頭定視角視頻背景周期性重現(xiàn)(比如白天、夜晚周期性變換)特點(diǎn),搭建基于長時(shí)間視頻序列的背景建?？蚣懿⒀芯糠椒?首先通過對長時(shí)間背景序列預(yù)處理、降維,得到背景描述子;然后,通過聚類(包括譜聚類、K-means聚類)來訓(xùn)練背景字典;再設(shè)計(jì)非平穩(wěn)變化下的檢索替換機(jī)制,并在效果差時(shí)對背景字典更新;設(shè)計(jì)長短時(shí)空域模型的融合機(jī)制增強(qiáng)實(shí)時(shí)性,可以有效改善運(yùn)動(dòng)目標(biāo)檢測.通過搭建這樣一個(gè)可以嵌入現(xiàn)有背景建模算法中的框架,可以解決室內(nèi)場景難題.將ViBe或MOG算法與該框架融合,測試非平穩(wěn)變化(本文主要測試光照突變),實(shí)驗(yàn)結(jié)果表明,該框架可以使ViBe、MOG算法迅速適應(yīng)光線突變,明顯提高運(yùn)動(dòng)目標(biāo)檢測的準(zhǔn)確性,有效降低ViBe、MOG算法的誤檢率.

由于本文主要針對定視角室內(nèi)場景,僅對室內(nèi)非平穩(wěn)變換(光照突變)以及簡單室外光照突變的情形進(jìn)行測試.如果是復(fù)雜室外場景,則要考慮相機(jī)抖動(dòng)、動(dòng)態(tài)場景等情形,未來將通過對相機(jī)抖動(dòng),動(dòng)態(tài)場景等訓(xùn)練學(xué)習(xí),探索更為通用的長時(shí)間域背景建模方法.

References

1 Chu Jun,Yang Fan,Zhang Gui-Mei,Wang Ling-Feng.A stepwise background subtraction by fusion spatio-temporal information.Acta Automatica Sinica,2014,40(4):731?743(儲(chǔ)珺,楊樊,張桂梅,汪凌峰.一種分步的融合時(shí)空信息的背景建模.自動(dòng)化學(xué)報(bào),2014,40(4):731?743)

2 Niu Hua-Kang,He Xiao-Hai,Wang Xiao-Fei,Zhang Feng,Wu Xiao-Qiang.An improved ViBe object detection algorithm.Journal of Sichuan University(Engineering Science Edition),2014,46(S2):104?108(?；?何小海,汪曉飛,張峰,吳小強(qiáng).一種改進(jìn)的ViBe目標(biāo)檢測算法.四川大學(xué)學(xué)報(bào)(工程科學(xué)版),2014,46(S2):104?108)

3 Wren C R,Azarbayejani A,Darrell T,Pentland A P.P finder:real-time tracking of the human body.IEEE Transactions on Pattern Analysis and Machine Intelligence,1997,19(7):780?785

4 Stauffer C,Grimson W E L.Adaptive background mixture models for real-time tracking.In:Proceedings of the 1999 IEEE Computer Society Conference on Computer Vision and Pattern Recognition.Fort Collins,Co,USA:IEEE,1999,2:252

5 Wang Y,Loe K F,Wu J K.A dynamic conditional random field model for foreground and shadow segmentation.IEEE Transactions on Pattern Analysis and Machine Intelligence,2006,28(2):279?289

6 Kim K,Chalidabhongse T H,Harwood D,Davis L.Background modeling and subtraction by codebook construction.In:Proceedings of the 2004 International Conference on Image Processing.Singapore:IEEE,2004,5:3061?3064

7 Barnich O,Van Droogenbroeck M.ViBe:a universal background subtraction algorithm for video sequences.IEEE Transactions on Image Processing,2011,20(6):1709?1724

8 St-Charles P L,Bilodeau G A,Bergevin R.Subsense:a universal change detection method with local adaptive sensitivity.IEEE Transactions on Image Processing,2015,24(1):359?373

9 van der Maaten L J P,Postma E O,van den Herik H J.Dimensionality reduction:a comparative review.Journal of Machine Learning Research,2007,10(1):66?71

10 Huang H C,Chuang Y Y,Chen C S.Affinity aggregation for spectral clustering.In:Proceedings of the 2012 IEEE Conference on Computer Vision and Pattern Recognition.Providence,RI,USA:IEEE,2012.773?780

11 Arthur D,Vassilvitskii S.k-means++:the advantages of careful seeding.In:Proceedings of the 18th annual ACMSIAM Symposium on Discrete Algorithms.Philadelphia,PA,USA:ACM,2007.1027?1035

12 Goyette N,Jodoin P M,Porikli F,Konrad J,Ishwar P.Changedetection.net:a new change detection benchmark dataset.In:Proceedings of the 2012 IEEE Computer Society Conference on Workshop on Computer Vision and Pattern Recognition Workshops.Providence,RI,USA:IEEE,2012.1?8

13 Su Ya-Ru.Research on Dimensionality Reduction of High-Dimensional Data[Ph.D.dissertation],University of Science and Technology of China,China,2012(蘇雅茹.高維數(shù)據(jù)的維數(shù)約簡算法研究[博士學(xué)位論文],中國科學(xué)技術(shù)大學(xué),中國,2012)

14 Cai Xiao-Yan,Dai Guan-Zhong,Yang Li-Bin.Survey on spectral clustering algorithms.Computer Science,2008,35(7):14?18(蔡曉妍,戴冠中,楊黎斌.譜聚類算法綜述.計(jì)算機(jī)科學(xué),2008,35(7):14?18)

15 Zhu X T,Loy C C,Gong S G.Constructing robust affinity graphs for spectral clustering.In:Proceedings of the 2014 IEEE Conference on Computer Vision and Pattern Recognition.Columbus,OH,USA:IEEE,2014.1450?1457

16 Smiatacz M.Eigenfaces, Fisherfaces, Laplacianfaces,Marginfaces—how to face the face veri fication task.In:Proceedings of the 8th International Conference on Computer Recognition Systems CORES.Switzerland:Springer,2013.187?196

17 Ng A Y,Jordan M I,Weiss Y.On spectral clustering:analysis and an algorithm.In:Proceedings of Advances in Neural Information Processing Systems 14:Proceedings of the 2001 Conference.Vancouver,British Columbia,Canada:MIT Press,2001,14:849?856

18 Toyama K,Krumm J,Brumitt B,Meyers B.Wall flower:principles and practice of background maintenance.In:Proceedings of the 7th IEEE International Conference on Computer Vision.Kerkyra,Greece:IEEE,1991,1:255?261

19 Chen Y T,Chen C S,Huang C R,Huang Y P.Efficient hierarchical method for background subtraction.Pattern Recognition,2007,40(10):2706?2715