交通場(chǎng)景中多目標(biāo)車輛快速檢測(cè)與分割算法

馬秀博，孫熊偉

(1.安徽三聯(lián)學(xué)院計(jì)算機(jī)工程學(xué)院,安徽 合肥 230601； 2. 中國(guó)科學(xué)院合肥物質(zhì)科學(xué)研究院,安徽 合肥 230031)

0 引言

在智能交通系統(tǒng)中，由于交通場(chǎng)景的復(fù)雜性、攝像頭架設(shè)的位置等因素，交通視頻中的車輛目標(biāo)在運(yùn)動(dòng)過(guò)程中時(shí)常出現(xiàn)相互遮擋的問題.多目標(biāo)車輛的粘連檢測(cè)和分割是智能交通系統(tǒng)后續(xù)分析和處理中必須解決的一個(gè)關(guān)鍵問題.

近年來(lái)，國(guó)內(nèi)外研究人員針對(duì)交通監(jiān)控中的車輛目標(biāo)粘連問題進(jìn)行了大量的研究，提出了許多有意義的方法.基于特征模型的方法[1-3]主要用到紋理、直方圖、邊緣等特征完成每個(gè)前景區(qū)域的特征標(biāo)記、檢測(cè)和分割.然而，在實(shí)際環(huán)境中很多目標(biāo)車輛之間不存在明顯的特征差異，或者受車窗玻璃和光線等因素的影響，基于特征的方法效果容易受到限制.基于三維模型的分割方法[4]也是計(jì)算機(jī)視覺領(lǐng)域中比較常用的技術(shù)手段.一般模型的參數(shù)較多，并且檢測(cè)之前需要精確標(biāo)定攝像機(jī)與監(jiān)控場(chǎng)景的參數(shù)，每個(gè)運(yùn)動(dòng)車輛都需要分別建立三維模型，計(jì)算負(fù)擔(dān)較大，難以實(shí)現(xiàn)實(shí)時(shí)處理.基于推理模型的分割方法[5]根據(jù)視頻場(chǎng)景中車輛的位置及運(yùn)動(dòng)軌跡等先驗(yàn)知識(shí)和推理模型實(shí)現(xiàn)遮擋問題的解決.不過(guò)當(dāng)交通場(chǎng)景比較復(fù)雜時(shí)，粘連車輛之間的遮擋檢測(cè)問題仍然不能完全解決.基于輪廓形狀的分析方法[6-8]利用前景團(tuán)塊的輪廓形狀解決車輛遮擋問題，例如文獻(xiàn)[8]就是通過(guò)尋找符合條件的輪廓拐點(diǎn)分割不同車輛.這類算法對(duì)先驗(yàn)知識(shí)要求少、適應(yīng)性強(qiáng)、處理時(shí)間相對(duì)較少，實(shí)際使用較多.

本研究將車輛外形天然的對(duì)稱特征同目標(biāo)輪廓的凹性形狀分析方法結(jié)合起來(lái)，提出了一個(gè)基于對(duì)稱特征分析的車輛粘連檢測(cè)與分割算法.算法利用對(duì)稱軸位置和數(shù)目信息直接從結(jié)構(gòu)上排除大量由噪聲引起的候選分割點(diǎn)，更有效地支持粘連檢測(cè)判斷和分割方案.

1 車輛目標(biāo)對(duì)稱軸檢測(cè)模型

車輛目標(biāo)對(duì)稱性分析是本文中算法進(jìn)行粘連檢測(cè)和分割處理的前提.為了快速準(zhǔn)確地提取出車輛目標(biāo)的對(duì)稱軸，設(shè)計(jì)了一個(gè)新的車體對(duì)稱軸檢測(cè)模型.在實(shí)際的交通監(jiān)控視頻中不難發(fā)現(xiàn)，由于光照、車體廣告、拍攝角度等因素的影響，車輛的局部對(duì)稱特征并不嚴(yán)格.相比之下，車輛整體形態(tài)同自身結(jié)構(gòu)相關(guān)，不易受到外部環(huán)境的干擾，特征表現(xiàn)相對(duì)穩(wěn)定.因此，對(duì)自然場(chǎng)景下車輛對(duì)稱信息的分析需要剔除細(xì)節(jié)信息，突出更宏觀的結(jié)構(gòu)特征.

本研究使用高斯差分降采樣濾波[9]操作對(duì)原目標(biāo)圖進(jìn)行去噪和削減細(xì)節(jié)處理，利用高斯模型自身的平滑特性弱化局部細(xì)節(jié)信息在室外場(chǎng)景中的不穩(wěn)定性，利用高斯差分產(chǎn)生的類二階濾波效果在有效抑制噪聲的同時(shí)，銳化效果又沒有太大損失.令I(lǐng)(x,y)為圖像中像素點(diǎn)，?為卷積操作符，G(x,y,δ)為高斯函數(shù)，S(k)是用來(lái)調(diào)節(jié)相鄰兩個(gè)高斯濾波圖的降采樣函數(shù)，降采樣因子為k.令σ=1.5為相鄰高斯差濾波圖中差分因子，則第k層濾波結(jié)果D(x,y,δ)為：

D(x,y,δ)=S(k)*(G(x,y,σδ)-G(x,y,δ))?I(x,y)

(1)

利用上述變換，前景目標(biāo)圖片灰度化之后會(huì)被逐步降采樣并濾波之后形成高斯差分降采樣金字塔，

圖1 構(gòu)建車輛目標(biāo)高斯差分降采樣金字塔

具體如圖1所示.

基于大量前期研究，在受到光照、目標(biāo)觀測(cè)距離引起的縮放影響的條件下，圖像中方向特征相對(duì)更穩(wěn)定[9-10].為此構(gòu)建方向及方向強(qiáng)度響應(yīng)計(jì)算公式，用于構(gòu)建方向特征和方向強(qiáng)度特征場(chǎng).

(2)

其中，Ix和Iy分別為圖像上任意像素沿著x和y方向上的一階導(dǎo)數(shù)；I為導(dǎo)數(shù)的響應(yīng)強(qiáng)度，用于表征此處方向響應(yīng)的強(qiáng)度；α表示梯度的角度，角度的計(jì)算變化區(qū)間為(-π，π).因此，分別對(duì)車輛目標(biāo)高斯差分降采樣金字塔中特定的圖像層進(jìn)行方向和方向響應(yīng)強(qiáng)度計(jì)算，得到如圖2中的差分降采樣圖在方向響應(yīng)和方向強(qiáng)度上的響應(yīng)圖.

圖2 高斯差分降采樣金字塔的三層方向響應(yīng)和方向強(qiáng)度響應(yīng)圖(a)、(b)、(c)分別為lev1～lev3的方向響應(yīng)；(d)、(e)、(f)分別為lev1～lev3層方向強(qiáng)度響應(yīng)

(3)

在實(shí)際計(jì)算過(guò)程中，通過(guò)給定經(jīng)驗(yàn)比例因子η=0.3提取閾值，結(jié)合判定條件I>Ts得到有效的可靠方向響應(yīng)區(qū)域，如圖3所示.

圖3 高斯差分降采樣金字塔的三層方向響應(yīng)和利用強(qiáng)度篩選的有效區(qū)域(a)、(b)、(c)分別為lev1～lev3的方向響應(yīng)；(d)、(e)、(f)分別為lev1～lev3層方向篩選結(jié)果

基于方向分布特征進(jìn)行快速目標(biāo)對(duì)稱軸的篩選，具體步驟如下：

1)首先設(shè)定車輛行駛的方向作為對(duì)稱軸的主軸方向V，將對(duì)稱軸的搜索問題由二維降到一維；

2)設(shè)參與對(duì)稱性計(jì)算的方向特征像素為支持像素，構(gòu)建目標(biāo)車輛連通體的方向外接矩形(長(zhǎng)度Hconn、寬度Wconn)為主軸V實(shí)際產(chǎn)生的目標(biāo)范圍.

3)搜索范圍內(nèi)對(duì)稱軸Vx，計(jì)算在設(shè)定長(zhǎng)度Hconn范圍內(nèi)和其相對(duì)于Vx對(duì)稱的垂直方向上左右距離為Wconn/2范圍內(nèi)的像素，得到所有空間上對(duì)稱的支持像素對(duì)的相似度統(tǒng)計(jì)得分.

圖4 車牌區(qū)域的高斯差分層響應(yīng)圖中穩(wěn)定區(qū)域方向特征

為了讓對(duì)稱性得分在統(tǒng)計(jì)上具有一定的魯棒性，此處設(shè)定了相對(duì)寬松的方向一致性得分規(guī)則.

(4)

在候選對(duì)稱軸Vx兩端的對(duì)稱位置上，兩個(gè)有效的像素點(diǎn)在方向相上的角度差值為Δα，則相似得分sim計(jì)為1，否則為0.累積搜索區(qū)域內(nèi)的對(duì)稱位置上的支持像素得分，得對(duì)稱軸Vx的最終對(duì)稱性得分.最后，統(tǒng)計(jì)對(duì)稱軸搜索區(qū)域內(nèi)的所有對(duì)稱性得分，歸一化后得到分層的對(duì)稱性響應(yīng)分布，如圖5所示.由于受到觀測(cè)角度和環(huán)境的干擾，實(shí)際的對(duì)稱軸的對(duì)稱性得分分布并不平滑，為了使峰值對(duì)應(yīng)的對(duì)稱軸位置更加明顯，此處采用寬度為5和σ=3的高斯濾波器進(jìn)行濾波平滑，如圖5中綠色虛線所示.

圖5 高斯差分層響應(yīng)圖構(gòu)建的方向場(chǎng)中目標(biāo)的對(duì)稱響應(yīng)

為了加速整個(gè)搜索過(guò)程，對(duì)稱軸Vx的搜索可以通過(guò)逐層范圍式檢索的方式.首先在降采樣程度最高的高斯差分響應(yīng)層的方向圖中進(jìn)行對(duì)稱軸檢索.由于降采樣的原因，在更高層上搜索的速度更快，不過(guò)得到的對(duì)稱中心位置會(huì)損失精度.為此，利用上一層搜索的關(guān)鍵位置通過(guò)比例縮放導(dǎo)入到下一層的對(duì)稱軸位置搜索過(guò)程中，以此極大的縮小了搜索范圍，提升了整個(gè)對(duì)稱中心的搜索范圍，保證了對(duì)稱軸判定在精度和速度上的要求.

圖5中的波峰位置對(duì)應(yīng)對(duì)稱性響應(yīng)最強(qiáng)的軸位置，如圖6中，通過(guò)映射標(biāo)注到車輛目標(biāo)方向矩形上，并利用等比關(guān)系最終標(biāo)注在原始前景圖中，實(shí)現(xiàn)快速對(duì)稱軸位置的提取.

圖6 圖像對(duì)稱軸標(biāo)注結(jié)果

2 車輛目標(biāo)粘連檢測(cè)與分割

2.1 基于對(duì)稱關(guān)系的粘連車輛檢測(cè)快速準(zhǔn)確的車輛目標(biāo)粘連判斷是保證正確分割目標(biāo)連通體的基礎(chǔ).本研究在單個(gè)連通體中將對(duì)稱結(jié)構(gòu)信息同連通體輪廓幾何特征結(jié)合，構(gòu)建出一套迭代粘連分割判斷算法.常見的車輛目標(biāo)連通體團(tuán)塊類型分為無(wú)遮擋、前后遮擋、斜向遮擋、左右遮擋等4種基本粘連類型，剩余的粘連類型皆由此4種類型組合而成，具體如圖7所示.

圖7 車輛目標(biāo)常見粘連類型

假設(shè)目標(biāo)連通體實(shí)際檢測(cè)的對(duì)稱軸數(shù)為N，RA為車輛所占區(qū)域，RB為整個(gè)外接矩形區(qū)域，RH和RW分別為外接矩形高和寬，則連通體占空比RAB和長(zhǎng)寬比RHW表示為：

(5)

J(Is)為對(duì)稱軸計(jì)算函數(shù)，整個(gè)連通體粘連類型判定規(guī)則可以總結(jié)如下：

5)組合類型：組合類型由以上4種基本類型組合而成，通過(guò)逐步分割可以轉(zhuǎn)化為以上4種類型.

2.2 基于對(duì)稱關(guān)系的粘連車輛分割實(shí)現(xiàn)遮擋車輛的分割，關(guān)鍵在于對(duì)連通體粘連類型的判定和具體分割位置的判定.在完成了粘連類型判定和對(duì)稱軸位置的求解前提下，針對(duì)4種不同的粘連結(jié)構(gòu)類型，設(shè)計(jì)出如下分割策略：

判斷當(dāng)前連通體是否發(fā)生粘連，如果沒有粘連則無(wú)需分割，直接提取外接框?yàn)槟繕?biāo)車輛，退出計(jì)算.

提取凹點(diǎn)：對(duì)目標(biāo)連通體輪廓使用固定步長(zhǎng)采樣，利用Graham算法提取凸包點(diǎn)，篩選出連續(xù)的凹點(diǎn)區(qū)域.

圖8 粘連車輛分割

完成了最外側(cè)的連通體切分之后，剩下的部分再次進(jìn)入新的連通體類型判斷循環(huán)，重復(fù)以上過(guò)程，最終完成所有粘連類型的車輛分割判斷.

如圖8所示，其中凸輪廓采樣點(diǎn)由藍(lán)色圓點(diǎn)表示，凹點(diǎn)由紅色圓點(diǎn)表示，ddep為凹點(diǎn)深度，lc為對(duì)稱軸.

3 實(shí)驗(yàn)結(jié)果與分析

為保證算法性能對(duì)比的公平性，本研究實(shí)驗(yàn)統(tǒng)一使用加利福尼亞大學(xué)圣迭戈分校的CVRR實(shí)驗(yàn)室視頻數(shù)據(jù)[12]highwayI.AVI設(shè)計(jì)實(shí)驗(yàn).實(shí)驗(yàn)案例由視頻數(shù)據(jù)中隨機(jī)抽取的50個(gè)典型車輛遮擋和非遮擋混合案例樣本組成，連通體由highwayI_pro.AVI中前景部分經(jīng)過(guò)簡(jiǎn)單形態(tài)學(xué)濾波獲取.

圖9 目標(biāo)連通體提取結(jié)果

實(shí)驗(yàn)分別從粘連檢測(cè)和粘連分割兩個(gè)方面對(duì)算法的性能進(jìn)行驗(yàn)證.

3.1 連通體粘連檢測(cè)實(shí)驗(yàn)判斷車輛是否發(fā)生遮擋是正確解決分割問題的前提.文獻(xiàn)[13]中利用非遮擋車輛連通體一般呈凸形，若存在遮擋則輪廓上會(huì)形成較大的凹點(diǎn)間隙結(jié)構(gòu)，并以此作為遮擋車輛的判定依據(jù).文獻(xiàn)[14-15] 直接使用前景車輛連通體的寬高比、占空比進(jìn)行判斷.為檢測(cè)算法的實(shí)際性能，實(shí)驗(yàn)分別使用查全率Rc、查準(zhǔn)率Pr和F值[16]等3個(gè)指標(biāo)對(duì)算法粘連檢測(cè)能力進(jìn)行評(píng)價(jià).指標(biāo)的計(jì)算公式定義如下：

(6)

設(shè)t為正確檢測(cè)遮擋案例總數(shù)，f表示錯(cuò)誤判定為遮擋車輛總數(shù)，g表示實(shí)際的遮擋車輛被漏檢總數(shù)，表1給出實(shí)驗(yàn)中算法的參數(shù)信息.

表1 輪廓幾何特征參數(shù)閾值

通過(guò)程序自動(dòng)化提取案例連通體的寬高比、占空比、凹性分析參數(shù)值(包括主凹點(diǎn)深度、凹點(diǎn)角度)，參數(shù)分布如圖10所示.

圖10 實(shí)驗(yàn)案例輪廓特征參數(shù)分布圖

實(shí)驗(yàn)給出查準(zhǔn)率Pr、查全率Rc、F值指標(biāo)分別在寬高比、占空比、凹性分析、對(duì)稱分析及對(duì)稱分析和這些輪廓特征指標(biāo)的組合下的對(duì)比結(jié)果，具體統(tǒng)計(jì)結(jié)果如圖11所示.

統(tǒng)計(jì)結(jié)果中可以看出，利用對(duì)稱結(jié)構(gòu)特征及組合結(jié)構(gòu)特征和輪廓幾何特征的方法在車輛粘連檢測(cè)判斷中，不論查全率、查準(zhǔn)率和F值均明顯優(yōu)于單一的經(jīng)典形態(tài)學(xué)思路的判斷.本算法即使在目標(biāo)連通體受到大量外界因素干擾，導(dǎo)致輪廓線不平滑的情況下仍能通過(guò)對(duì)稱結(jié)構(gòu)準(zhǔn)確的判斷出目標(biāo)是否發(fā)生了粘連.

3.2 連通體粘連分割實(shí)驗(yàn)本研究提出的車輛對(duì)稱結(jié)構(gòu)分析算法通過(guò)結(jié)合凹點(diǎn)分析思路完成對(duì)多車粘連樣本的分割實(shí)驗(yàn)，圖12中給出了若干典型的多車粘連案例的分割結(jié)果，自左向右分別為：原始目標(biāo)連通體圖，人工標(biāo)注車輛目標(biāo)位置和程序檢測(cè)對(duì)稱軸位置標(biāo)注圖，傳統(tǒng)基于凹性分析分割[14]結(jié)果，基于對(duì)稱特征和凹性分析組合的分割結(jié)果.從圖中可以看出，經(jīng)過(guò)對(duì)稱結(jié)構(gòu)分析之后，真正有效的分割位置被限定在相鄰對(duì)稱軸之間，大量無(wú)效凹點(diǎn)被剔除之后，分割更準(zhǔn)確.算法利用對(duì)稱軸信息進(jìn)行粘連分割具有以下優(yōu)勢(shì)：

1) 利用對(duì)稱軸位置可以快速有效地篩選出真正符合分割條件的凹點(diǎn)，極大地降低了候選凹點(diǎn)的篩選、判斷的計(jì)算消耗，同時(shí)提高了分割的準(zhǔn)確率；

2) 分割連通體時(shí)，通常對(duì)稱軸的個(gè)數(shù)同分割線的個(gè)數(shù)相同，對(duì)稱軸的數(shù)量往往決定了有效的凹點(diǎn)分割線的個(gè)數(shù)；

3) 利用對(duì)稱軸位置和連通體邊界距離可以有效的約束車輛外接輪廓.對(duì)稱軸相對(duì)連通體兩側(cè)外輪廓邊距相同，利用此約束可以有效地減少由于陰影造成的邊界輪廓不平滑和大量凹點(diǎn)干擾的問題，讓形狀分析和分割結(jié)果更加準(zhǔn)確.

圖11 車輛粘連檢測(cè)性能對(duì)比

圖12 基于對(duì)稱結(jié)構(gòu)的車輛分割

一般基于凹性分析的車輛粘連分割算法從輪廓上凹點(diǎn)信息本身入手判斷具體分割方案，但是實(shí)際戶外車輛前景往往由于車玻璃、室外光線等原因造成提取的前景輪廓噪聲嚴(yán)重，時(shí)常難以準(zhǔn)確地提取正確的分割點(diǎn)進(jìn)行分割.此外，有些情況下凹點(diǎn)由于拍攝角度的問題并不產(chǎn)生，這些都導(dǎo)致了傳統(tǒng)的單一凹性分析分割算法的不足.基于對(duì)稱性分析和凹性分析結(jié)合的算法能有效縮小真正有效的分割點(diǎn)出現(xiàn)的區(qū)域，能一定程度提高強(qiáng)噪聲模式下的前景車輛分割準(zhǔn)確率.

4 結(jié)論

本研究提出一種基于對(duì)稱性分析的車輛目標(biāo)粘連檢測(cè)和分割算法模型.該算法在DOG金字塔上利用對(duì)稱性LBP編碼完成車輛目標(biāo)快速對(duì)稱性分析和對(duì)稱軸位置的檢測(cè)，結(jié)合對(duì)稱信息完成車輛目標(biāo)是否發(fā)生遮擋的判斷，并完成對(duì)相互粘連的多車輛目標(biāo)快速的分割計(jì)算.實(shí)驗(yàn)表明，本算法相比傳統(tǒng)的基于輪廓形狀分析的算法具有更強(qiáng)的魯棒性和適應(yīng)性，尤其對(duì)基于輪廓的形狀分析算法容易受到輪廓噪聲干擾等問題上有著明顯的性能優(yōu)越性.在下一階段的研究工作中，擬在現(xiàn)有算法思想框架下引入車體結(jié)構(gòu)分塊對(duì)稱分析思想，結(jié)合凹性分析，實(shí)現(xiàn)在現(xiàn)有處理速度前提下車輛更完整、準(zhǔn)確的分割.