基于改進(jìn)幀間差分法與背景差分法車輛檢測(cè)

韓帥

（201620 上海市 上海工程技術(shù)大學(xué) 機(jī)械與汽車工程學(xué)院）

0 引言

近些年來(lái)，運(yùn)動(dòng)目標(biāo)的檢測(cè)，尤其是運(yùn)動(dòng)車輛的檢測(cè)的發(fā)展和應(yīng)用非常廣泛。運(yùn)動(dòng)目標(biāo)檢測(cè)就是從圖像序列中檢測(cè)出運(yùn)動(dòng)目標(biāo)。目前，運(yùn)動(dòng)目標(biāo)的檢測(cè)主要方法有背景差分法、幀間差分法、光流法3 種[1]。本文對(duì)視頻中動(dòng)態(tài)場(chǎng)景的運(yùn)動(dòng)車輛進(jìn)行實(shí)時(shí)檢測(cè)，解決目標(biāo)輪廓缺失、背景無(wú)法實(shí)時(shí)更新的問(wèn)題[2]。本文提出了改進(jìn)的三幀間差分法與背景差分法相融合的算法。

1 幀間差分法

1.1 二幀間差分法

幀間差分法是基于運(yùn)動(dòng)圖像序列中相鄰兩幀圖像間具有強(qiáng)相關(guān)性而提出的檢測(cè)方法[3]，這種檢測(cè)方法對(duì)光照變化不敏感，非常適合動(dòng)態(tài)變化的環(huán)境，而且運(yùn)算簡(jiǎn)單，檢測(cè)速度快，車輛定位準(zhǔn)確，適用于實(shí)時(shí)性要求較高的場(chǎng)景。

傳統(tǒng)的幀間差分法，即二幀間差分法的基本原理如下：

式中：Gk（x，y）——結(jié)果圖像；Pk（x，y）——第k 幀圖像；Pk-1（x，y）——第k-1 幀圖像。

由于攝像機(jī)采集的視頻圖像具有連續(xù)性的特點(diǎn)，如果場(chǎng)景內(nèi)不存在運(yùn)動(dòng)的物體，則連續(xù)幀之間的變化很微弱，如果存在運(yùn)動(dòng)目標(biāo)，則變化較明顯[4]。二幀間差分法算法簡(jiǎn)單，受光線影響小，但它仍然存在以下幾個(gè)缺點(diǎn)：首先，它不能檢測(cè)出靜止或運(yùn)動(dòng)速度過(guò)慢的物體，對(duì)于高速運(yùn)動(dòng)的物體又會(huì)使得分割區(qū)域遠(yuǎn)遠(yuǎn)大于真實(shí)目標(biāo)，其分割區(qū)域與目標(biāo)運(yùn)動(dòng)速度相關(guān)[5]；其次，如果物體內(nèi)部的灰度比較均勻，相鄰幀差可能在目標(biāo)重疊部分形成空洞，嚴(yán)重時(shí)造成分割結(jié)果不連通，不利于進(jìn)一步的物體分析與識(shí)別[6]。

因此，本文提出了改進(jìn)的三幀間差分法來(lái)解決傳統(tǒng)幀間差分法中存在的問(wèn)題。

1.2 三幀間差分法

當(dāng)目標(biāo)物體運(yùn)動(dòng)速度過(guò)快時(shí)，二幀間差分法所得圖像便會(huì)出現(xiàn)重影、目標(biāo)區(qū)域過(guò)大等問(wèn)題[7]，因此，提出了三幀間差分法來(lái)改善圖像的處理效果。其基本原理是把原來(lái)利用兩幀獲取結(jié)果圖像的方法，改進(jìn)為利用相鄰三幀來(lái)實(shí)現(xiàn)目標(biāo)的檢測(cè)。其流程圖如圖1 所示。

圖1 三幀間差分法流程圖Fig.1 Flow chart of three-frame difference method

首先，分別得到第k 幀與k-1 幀的差分圖和第k+1 幀與k 幀的差分圖，然后將灰度圖像轉(zhuǎn)化為二值圖像，最后將所得的二值差值圖進(jìn)行“與”運(yùn)算得到最終的結(jié)果。

其公式原理如下：

式中：Gk（x，y）——結(jié)果圖像；Pk（x，y）——第k 幀圖像；Pk-1（x，y）——第k-1 幀圖像；Pk+1（x，y）——第k+1 幀圖像。

在幀間差分法中，閾值 T 的選擇非常重要。如果閾值T 選取的值太小，則無(wú)法抑制差分圖像中的噪聲；如果閾值T 選取的值太大，又有可能掩蓋差分圖像中目標(biāo)的部分信息；而且，固定的閾值T 無(wú)法適應(yīng)場(chǎng)景中光線變化等情況[8]。

為了使運(yùn)動(dòng)目標(biāo)與背景之間的差異更加明顯，使用最大類間方差法（也叫Otsu 算法）來(lái)實(shí)現(xiàn)這一目標(biāo)[9]。該算法是在灰度直方圖的基礎(chǔ)上采用最小二乘法原理推導(dǎo)出來(lái)的，具有統(tǒng)計(jì)意義上的最佳分割[10]。它的基本原理是以最佳閾值將圖像的灰度值分割成兩部分，使兩部分之間的方差最大，即具有最大的分離性。

1.3 改進(jìn)三幀間差分法

由于三幀間差分法得到的效果圖，往往會(huì)出現(xiàn)圖像內(nèi)部含有空洞、圖像輪廓部分缺失等問(wèn)題。本文提出了改進(jìn)的三幀間差分法，對(duì)第k 幀圖像采用邊界定位精度高、抗干擾能力強(qiáng)、連續(xù)性好的拉普拉斯算子來(lái)檢測(cè)其邊緣[11]，然后將三幀間差分法效果圖與第k 幀邊緣圖進(jìn)行“與”運(yùn)算，得到改進(jìn)的三幀間差分法效果圖。此即為本文提出的改進(jìn)的三幀間差分法，其具體流程圖如圖2所示。

圖2 改進(jìn)三幀間差分法流程圖Fig.2 Flow chart of improved three-frame difference method

改進(jìn)的三幀間差分法算法如下：

首先，運(yùn)用上述傳統(tǒng)的三幀間差分法，分別得到第k 幀與k-1 幀的差分圖和第k+1 幀與k 幀的差分圖，并將灰度圖像轉(zhuǎn)化為二值圖像，將所得兩幅幀差圖進(jìn)行“與”運(yùn)算得到傳統(tǒng)三幀間差分法的二值圖。其次，對(duì)第k 幀圖像利用拉普拉斯算子進(jìn)行邊緣檢測(cè)，其實(shí)質(zhì)就是使圖像的邊緣突出。

由于拉普拉斯是一種微分算子，具有旋轉(zhuǎn)不變性，它的應(yīng)用可增強(qiáng)圖像中灰度突變的區(qū)域，減弱灰度的緩慢變化區(qū)域[12]，因此,銳化處理可選擇拉普拉斯算子對(duì)原圖像進(jìn)行處理，產(chǎn)生描述灰度突變的圖像，再將拉普拉斯圖像與原始圖像疊加而產(chǎn)生銳化圖像。拉普拉斯銳化的基本方法可以由式（3）表示：

其近似表達(dá)式為

最后，將所得到的三幀間差分法的效果圖與第k 幀拉普拉斯邊緣圖進(jìn)行“與”運(yùn)算，便得到本文提出的改進(jìn)的三幀間差分法二值圖。

2 背景差分法

背景差分法首先選取背景中的一幅或幾幅圖像的平均作為背景圖像，然后把以后的序列圖像當(dāng)前幀和背景圖像相減，進(jìn)行背景消去。若所得到的像素?cái)?shù)大于某一閾值，則為運(yùn)動(dòng)目標(biāo)區(qū)域，反之則為背景區(qū)域[13]。其對(duì)復(fù)雜背景下的運(yùn)動(dòng)物體檢測(cè)效果較好，計(jì)算量小。缺點(diǎn)是受光線、天氣等外界條件的影響較大[14]。

2.1 混合高斯背景建模

混合高斯背景建模是基于像素樣本統(tǒng)計(jì)信息的背景表示方法，利用像素在較長(zhǎng)時(shí)間內(nèi)大量樣本值的概率密度等統(tǒng)計(jì)信息(如模式數(shù)量、每個(gè)模式的均值和標(biāo)準(zhǔn)差)表示背景[15]，然后使用統(tǒng)計(jì)差分(如3σ原則)進(jìn)行目標(biāo)像素判斷，可以對(duì)復(fù)雜動(dòng)態(tài)背景進(jìn)行建模，計(jì)算量較大。

在混合高斯背景模型中，認(rèn)為像素之間的顏色信息互不相關(guān)，對(duì)各像素點(diǎn)的處理都是相互獨(dú)立的。對(duì)于視頻圖像中的每一個(gè)像素點(diǎn)，其值在序列圖像中的變化可看作是不斷產(chǎn)生像素值的隨機(jī)過(guò)程，即用高斯分布來(lái)描述每個(gè)像素點(diǎn)的顏色呈現(xiàn)規(guī)律（單模態(tài)（單峰），多模態(tài)（多峰））。

對(duì)于多峰高斯分布模型，圖像的每一個(gè)像素點(diǎn)按不同權(quán)值的多個(gè)高斯分布的疊加來(lái)建模，每種高斯分布對(duì)應(yīng)一個(gè)可能產(chǎn)生像素點(diǎn)所呈現(xiàn)顏色的狀態(tài)，各個(gè)高斯分布的權(quán)值和分布參數(shù)隨時(shí)間更新。當(dāng)處理彩色圖像時(shí)，假定圖像像素點(diǎn)R，G，B 三色通道相互獨(dú)立并具有相同的方差。對(duì)于隨機(jī)變量X 的觀測(cè)數(shù)據(jù)集{x1，x2，…，xN}，xt=（rt，gt，bt）為t 時(shí)刻像素的樣本，則單個(gè)采樣點(diǎn)xt其服從的混合高斯分布概率密度函數(shù)：

式中：k——分布模式總數(shù)；η（xt，μi，t，τi，t）——t時(shí)刻第i 個(gè)高斯分布；μi,t——其均值；τi，t——其協(xié)方差矩陣；δi，t——方差；I——三維單位矩陣；wi，t——t 時(shí)刻第i 個(gè)高斯分布的權(quán)重。

2.2 參數(shù)設(shè)定

每個(gè)新像素值xt同當(dāng)前k 個(gè)模型按式（8）進(jìn)行比較，直到找到匹配新像素值的分布模型，即同該模型的均值偏差在2.5σ內(nèi)：

若所匹配的模式符合背景要求，則該像素屬于背景，否則屬于前景。各模式權(quán)值按式（9）更新，其中α是學(xué)習(xí)速率，對(duì)于匹配的模式Mk，t=1，否則Mk，t=0,然后各模式使得權(quán)重進(jìn)行歸一化：

若未匹配成功，其均值μ和標(biāo)準(zhǔn)差σ均不變，匹配模式按式（10）—式（12）更新：

3 算法實(shí)現(xiàn)及實(shí)驗(yàn)結(jié)果

本文基于MATLAB 來(lái)實(shí)現(xiàn)運(yùn)動(dòng)車輛的實(shí)時(shí)監(jiān)測(cè)。其具體流程圖如圖3 所示。

圖3 實(shí)驗(yàn)流程圖Fig.3 Flow chart of the experiment

3.1 預(yù)處理

三通道數(shù)據(jù)形式較復(fù)雜、占用存儲(chǔ)空間大、計(jì)算速度慢，因此通常將三通道數(shù)據(jù)轉(zhuǎn)化為單通道數(shù)據(jù)，即灰度化。

灰度化就是將每個(gè)像素點(diǎn)的RGB 值統(tǒng)一成同一個(gè)值，本文采用加權(quán)平均法，根據(jù)RGB 三通道的數(shù)值進(jìn)行加權(quán)計(jì)算得到[16]。坐標(biāo)為（x，y）的像素點(diǎn)進(jìn)行灰度化操作的具體計(jì)算公式如下：

灰度化處理后的圖像中還是含有大量的噪聲。中值濾波采用非線性的方法，它在平滑脈沖噪聲方面非常有效，同時(shí)它可以保護(hù)圖像尖銳的邊緣[17]。

利用中值濾波去除運(yùn)動(dòng)車輛二值圖當(dāng)中細(xì)微的噪聲[18]，在坐標(biāo)點(diǎn)（x，y），大小為m×n 的窗口表示為Sxy，中值濾波是選取窗口Sxy中被干擾圖像g（x，y）的中值，作為坐標(biāo)點(diǎn)（x，y）的輸出，公式為

式中：g（x，y）∈ Sxy

圖4 是經(jīng)過(guò)灰度化與濾波處理后的效果圖。

圖4 第k 幀濾波圖Fig.4 Filter image of k frame

3.2 各算法效果圖

圖5 是傳統(tǒng)的三幀間差分法的效果圖；圖6（a）是利用拉普拉斯算子檢測(cè)的運(yùn)動(dòng)目標(biāo)邊緣圖，圖6（b）為本文所提出的改進(jìn)的三幀間差分法；圖7（a）是混合高斯背景差分法的二值圖，圖7（b）是本文所提出算法的效果圖。

圖5 三幀間差分法Fig.5 Image of three-frame difference method

圖6 改進(jìn)三幀間差分法效果圖Fig.6 Effect image of improved three-frame difference method

圖7 背景差分法與本文算法對(duì)比圖Fig.7 Comparison of background difference method and this algorithm

（a）k 幀與k-1 幀差值 （b）k+1 幀與 k 幀差值（c）三幀間差分法二值圖

（a）第k 幀拉普拉斯邊緣檢測(cè)圖（b）改進(jìn)三幀間差分法二值圖

（a）背景差分法二值圖（b）本文算法二值圖

3.3 后處理

為了使運(yùn)動(dòng)目標(biāo)二值圖的輪廓更加清晰并去除內(nèi)部空洞，需要對(duì)本文算法所得二值圖進(jìn)行后處理。

對(duì)所得二值圖進(jìn)行數(shù)學(xué)形態(tài)濾波，這里采用膨脹算法來(lái)解決這一問(wèn)題。膨脹是將與物體接觸的所有背景點(diǎn)合并到該物體中，使邊界向外部擴(kuò)張的過(guò)程。通過(guò)膨脹，可以填充圖像中的小孔以及在圖像邊緣處的小凹陷部分。結(jié)構(gòu)元素B 對(duì)圖像A 的膨脹，記作A⊕B，定義為

圖8 是本文算法的膨脹圖與傳統(tǒng)三幀間差分法膨脹圖的對(duì)比。

圖8 兩種膨脹圖對(duì)比Fig.8 Comparison of two inflated images

（a）三幀間差分法膨脹圖（b）本文算法膨脹圖

4 結(jié)論

本文將改進(jìn)的三幀間差分法與高斯混合建模的背景差分法相融合，實(shí)現(xiàn)兩者的優(yōu)勢(shì)互補(bǔ)，解決了傳統(tǒng)幀間差分法中物體輪廓缺失、目標(biāo)內(nèi)部有空洞以及速度過(guò)慢時(shí)目標(biāo)缺失的問(wèn)題，也彌補(bǔ)了傳統(tǒng)背景差分法無(wú)法實(shí)時(shí)更新背景的缺點(diǎn)。本文的算法，能夠較好地通過(guò)預(yù)處理抑制視頻圖像中的噪聲，并利用算法的融合消除目標(biāo)的空洞、補(bǔ)全目標(biāo)輪廓、實(shí)現(xiàn)背景實(shí)時(shí)更新，在車輛運(yùn)動(dòng)過(guò)程中實(shí)現(xiàn)較好的目標(biāo)檢測(cè)效果。