基于超像素和支持向量機(jī)的車輛陰影檢測算法

朱 周 路小波 衛(wèi) 朋 曾維理

(1東南大學(xué)交通學(xué)院, 南京 210096)(2東南大學(xué)自動(dòng)化學(xué)院, 南京 210096)(3東南大學(xué)復(fù)雜工程系統(tǒng)測量與控制教育部重點(diǎn)實(shí)驗(yàn)室， 南京 210096)

?

基于超像素和支持向量機(jī)的車輛陰影檢測算法

朱 周1，3路小波2,3衛(wèi) 朋2,3曾維理2,3

(1東南大學(xué)交通學(xué)院, 南京 210096)(2東南大學(xué)自動(dòng)化學(xué)院, 南京 210096)(3東南大學(xué)復(fù)雜工程系統(tǒng)測量與控制教育部重點(diǎn)實(shí)驗(yàn)室， 南京 210096)

為解決車輛陰影檢測中易將車輛陰影相似的車輛區(qū)域誤檢測為車輛陰影的問題,提出了一種基于超像素和支持向量機(jī)的車輛陰影檢測算法．首先,利用簡單線性迭代聚類法將圖像分割為若干超像素;然后,以超像素為基本檢測單位,根據(jù)HSV空間中的一組判別條件對車輛陰影進(jìn)行初步檢測;在此基礎(chǔ)上,利用支持向量機(jī)識(shí)別并去除被誤檢測為車輛陰影的車輛區(qū)域,進(jìn)而得到最終的車輛陰影．實(shí)驗(yàn)結(jié)果表明,所提算法能夠較好地區(qū)分車輛陰影及與車輛陰影相似的車輛區(qū)域,提高車輛陰影的檢測率和分類率．

陰影檢測;超像素;支持向量機(jī);車輛檢測

視頻車輛檢測能夠提供車輛的形狀、位置信息,是智能運(yùn)輸系統(tǒng)(ITS)中一項(xiàng)重要的交通信息采集技術(shù)．在實(shí)際交通場景中,光線被遮擋時(shí)會(huì)在圖像中產(chǎn)生陰影．車輛陰影可能被檢測為車輛的一部分,也可能將相近的車輛連接在一起,使其被檢測為一輛車．為了準(zhǔn)確地檢測車輛,必須對車輛陰影進(jìn)行檢測和去除[1]．學(xué)者們已經(jīng)在陰影檢測方面進(jìn)行了大量研究．Sanin等[2]將已有的陰影檢測方法按照選取特征的不同分為5類:基于灰度的陰影檢測方法、基于顏色的陰影檢測方法、基于物理的陰影檢測方法、基于幾何的陰影檢測方法和基于紋理的陰影檢測方法．其中,基于灰度的陰影檢測方法往往與其他方法結(jié)合使用．在HSV[3]、c1c2c3[4]、YUV[5]、規(guī)則化RGB[6]、HMMD[7]等空間中,基于顏色的陰影檢測方法通過設(shè)定相應(yīng)的條件對陰影進(jìn)行檢測,簡單易行,對噪聲較敏感．基于物理的陰影檢測方法通過建立物理模型來區(qū)分陰影和前景,但當(dāng)陰影和前景的光譜特征相近時(shí)方法失效[8-9]．基于幾何的陰影檢測方法對陰影與前景之間的幾何關(guān)系進(jìn)行了特定的假設(shè),適用于檢測單一目標(biāo)的陰影[10]．基于紋理的陰影檢測方法通過選取候補(bǔ)陰影區(qū)域,并將其與背景區(qū)域的紋理進(jìn)行比較,以確定最終的陰影區(qū)域[11]．

當(dāng)前景區(qū)域的特征比較一致,且前景區(qū)域與陰影區(qū)域的特征差別較大時(shí),上述方法通常能夠取得較好的效果．然而,在實(shí)際應(yīng)用中,前景區(qū)域的組成較豐富,一部分區(qū)域的特征與陰影區(qū)域的特征差別較大,另一部分區(qū)域(如吸收了大量光線的車窗區(qū)域)的特征與陰影區(qū)域的特征則較接近,導(dǎo)致其容易被檢測為陰影區(qū)域．超像素分割[12]是近年來興起的一種圖像分割方法,它利用圖像特征分布的局部相似性,將圖像分為若干個(gè)同質(zhì)的超像素．以超像素為單位能夠提高特征分析的靈活性．本文提出了一種基于超像素和支持向量機(jī)的車輛陰影檢測算法．首先,對圖像進(jìn)行超像素分割;然后,以超像素為基本單位,利用HSV空間的色度法對陰影區(qū)域進(jìn)行初步檢測,去除與陰影區(qū)域區(qū)別較明顯的超像素;最后,利用支持向量機(jī)識(shí)別并去除與陰影區(qū)域相似的超像素,得到最終的車輛陰影．

1 超像素分割

5D空間內(nèi)像素點(diǎn)之間的距離可以通過顏色距離和空間距離加權(quán)得到,即

(1)

式中,m為控制超像素大小一致性的參數(shù),且m∈[1,20],m越大則超像素的大小越一致．

SLIC超像素分割算法步驟如下[12]:

① 將圖像轉(zhuǎn)化至CIELAB顏色空間．

② 按間距S以均勻的方式對第k個(gè)超像素的中心點(diǎn)位置Ck={lk,ak,bk,xk,yk}進(jìn)行初始化．

③ 對超像素中心點(diǎn)Ck而言,計(jì)算其3×3鄰域內(nèi)像素點(diǎn)的梯度,用梯度最小的像素點(diǎn)對中心點(diǎn)位置進(jìn)行更新．

④ 對每一個(gè)像素點(diǎn)而言,按照式(1)計(jì)算其與2S×2S范圍之內(nèi)所有超像素中心點(diǎn)之間的距離,選擇具有最小距離的超像素中心點(diǎn)與之對應(yīng)．

⑦ 將面積較小的孤立區(qū)域的標(biāo)號(hào)用其周圍面積最大的超像素的標(biāo)號(hào)來代替,以增加超像素之間的連通性．

當(dāng)S=10,m=1時(shí),超像素分割的結(jié)果見圖1．由圖可知,陰影超像素和背景超像素之間的分割線基本上與陰影區(qū)域和背景區(qū)域之間的分割線吻合．當(dāng)陰影區(qū)域與車輛區(qū)域邊緣較模糊時(shí)會(huì)出現(xiàn)一定的誤差(如圖1中最上面的車),但由于單一超像素的尺寸較小,該誤差也較小,相對于由車輛內(nèi)部與陰影相似區(qū)域引起的誤差而言可以忽略不計(jì)．

圖1 超像素分割結(jié)果

2 初步陰影檢測

下面利用混合高斯背景模型[13]來檢測前景區(qū)域,該區(qū)域由車輛區(qū)域和陰影區(qū)域組成．在此前景區(qū)域內(nèi),以超像素為單位對陰影進(jìn)行初步檢測．

一般而言,陰影像素點(diǎn)比背景像素點(diǎn)暗,但色度較為接近．根據(jù)這一規(guī)律,設(shè)定超像素p屬于陰影區(qū)域的條件為[11]

圖2(a)顯示了初步陰影檢測的結(jié)果,其中白色區(qū)域?yàn)闄z測到的陰影．從圖中可以看出,陰影區(qū)域被準(zhǔn)確檢測出來,但同時(shí)部分車輛區(qū)域也被誤檢測為陰影．圖2(b)對這2種陰影進(jìn)行了區(qū)分,其中綠色區(qū)域?yàn)楸徽`檢測為陰影的車輛區(qū)域,藍(lán)色區(qū)域?yàn)檎鎸?shí)陰影．為了消除誤檢測到的陰影,需要對陰影做進(jìn)一步精確檢測．

(a) 檢測結(jié)果

(b) 圖(a)的直觀顯示

3 基于支持向量機(jī)的陰影檢測

文獻(xiàn)[14]以像素點(diǎn)為基本單位,利用支持向量機(jī)對前景和陰影進(jìn)行訓(xùn)練和分類．相比大多數(shù)基于顏色的方法,這種方法能夠更加準(zhǔn)確地檢測陰影[2]．然而,該方法將與陰影區(qū)別較大的區(qū)域和與陰影相似的區(qū)域一起作為樣本進(jìn)行訓(xùn)練,可能會(huì)把與陰影相似的車輛區(qū)域誤判為陰影區(qū)域．本文則以超像素為單位,利用支持向量機(jī)對陰影區(qū)域(見圖2(b)中的藍(lán)色區(qū)域)和與陰影接近的車輛區(qū)域(見圖2(b)中的綠色區(qū)域)進(jìn)行訓(xùn)練和分類,以將兩者區(qū)分開來．

圖3 用于提取特征的RGB顏色模型

其次,定義超像素的特征向量為其所包含的所有像素點(diǎn)的二十維特征向量平均值．為避免受超像素外其他像素點(diǎn)的干擾,先在超像素內(nèi)部進(jìn)行腐蝕運(yùn)算,去除其中的邊緣像素點(diǎn),再計(jì)算腐蝕后留下來的像素點(diǎn)的特征向量．腐蝕運(yùn)算的結(jié)構(gòu)元素為

(2)

超像素p的特征向量為

(3)

然后,在初始陰影檢測的基礎(chǔ)上以人工方式選擇訓(xùn)練樣本．如圖2所示,藍(lán)色區(qū)域的超像素組成了陰影樣本集,綠色區(qū)域的超像素組成了與陰影區(qū)域類似的前景樣本集．在20幀圖像中采集這2類樣本,其中前景樣本數(shù)為543,陰影樣本數(shù)為630．按照式(3)提取樣本集中超像素的特征向量,并采用基于高斯核函數(shù)的支持向量機(jī)對這2類樣本進(jìn)行訓(xùn)練,即求解下式:

0≤αp≤Wp=1,2,…,n

(4)

式中,n為樣本的總數(shù)量;up∈{-1,1}，uq∈{-1，1}分別為超像素p,q的樣本標(biāo)號(hào);σ為高斯核函數(shù)的參數(shù);W為懲罰因子;αp，αq分別為超像素p,q的拉格朗日算子．

式中，b*為截距.

在識(shí)別并去除與陰影接近的前景超像素后,剩下的超像素組成了最終的陰影區(qū)域．

4 實(shí)驗(yàn)

為驗(yàn)證本文算法的有效性,在Matlab R2011b編程環(huán)境下,分別利用本文算法和文獻(xiàn)[14]中的算法對Highway 1數(shù)據(jù)庫[15]中的車輛陰影進(jìn)行了檢測．在實(shí)驗(yàn)中,2種算法都采用了20幀圖像用于訓(xùn)練,并采用另外10幀圖像用于檢測．2組實(shí)驗(yàn)的部分結(jié)果見圖4～圖6．為了更好地對2種算法進(jìn)行比較,沒有對檢測結(jié)果進(jìn)行后續(xù)的形態(tài)學(xué)處理．從圖可知,車輛區(qū)域中大量較暗的區(qū)域被文獻(xiàn)[14]中的算法誤檢測為陰影,這是因?yàn)椴捎迷撍惴〞r(shí),車輛區(qū)域訓(xùn)練樣本中同時(shí)包含了與陰影區(qū)域區(qū)別較大的車輛區(qū)域和與陰影區(qū)域相近似的車輛區(qū)域,導(dǎo)致訓(xùn)練得到的支持向量難以將陰影區(qū)域及與陰影區(qū)域相似的車輛區(qū)域區(qū)分開來．采用本文算法時(shí),車輛區(qū)域訓(xùn)練樣本中只包含與陰影區(qū)域相近似的車輛區(qū)域,故能更有效地區(qū)分陰影區(qū)域及與陰影區(qū)域相似的車輛區(qū)域．為了定量比較2種算法的性能,采用文獻(xiàn)[15]中的評價(jià)指標(biāo)對2組實(shí)驗(yàn)結(jié)果進(jìn)行評價(jià),結(jié)果見表1．

(a) 原始圖像

(b) 文獻(xiàn)[14]算法結(jié)果

(c) 本文算法結(jié)果

圖4 第121幀圖像實(shí)驗(yàn)結(jié)果

(a) 原始圖像

(b) 文獻(xiàn)[14]算法結(jié)果

(c) 本文算法結(jié)果

(a) 原始圖像

(b) 文獻(xiàn)[14]算法結(jié)果

(c) 本文算法結(jié)果

陰影檢測率η和陰影分類率ξ的計(jì)算公式分別為

式中,T1為10幀測試圖像中被檢測為陰影的總陰影區(qū)域面積;F1是被誤檢測為車輛或背景的總陰影區(qū)域面積;T2為被檢測為車輛的總車輛區(qū)域面積;F2為被檢測為陰影或背景的總車輛區(qū)域面積;Z1為真實(shí)的總車輛區(qū)域面積;Z2為被檢測為陰影的總車輛區(qū)域面積．

表1 實(shí)驗(yàn)結(jié)果的定量比較

陰影檢測率η越大,表示被檢測出的陰影越多;陰影分類率ξ越大,表示被誤檢測為陰影的車輛區(qū)域面積越小．由表1可知,相比文獻(xiàn)[14]算法,本文算法提高了陰影檢測率和陰影分類率．此外,本文算法還具有更高的計(jì)算效率,這是因?yàn)楸M管增加了超像素分割以及初步陰影檢測的環(huán)節(jié),但是該算法無需對每一個(gè)像素進(jìn)行識(shí)別,而只需對每個(gè)超像素進(jìn)行識(shí)別,從而大大減少了計(jì)算量．

5 結(jié)語

在進(jìn)行車輛陰影檢測時(shí),一部分與陰影區(qū)域相近似的車輛區(qū)域容易被誤檢測為陰影區(qū)域．為了解決這一問題,本文提出了一種結(jié)合超像素和支持向量機(jī)的車輛陰影檢測算法．在超像素分割的基礎(chǔ)上,以超像素為單位在HSV空間內(nèi)對車輛陰影進(jìn)行初步檢測,然后在RGB顏色空間內(nèi)定義超像素的特征向量,利用支持向量機(jī)對陰影區(qū)域的超像素及與陰影相似區(qū)域的超像素進(jìn)行訓(xùn)練和分類,以對車輛陰影進(jìn)行進(jìn)一步的檢測．實(shí)驗(yàn)結(jié)果表明,本文算法能夠較好地區(qū)分車輛陰影及與車輛陰影相似的車輛區(qū)域,從而提高車輛陰影檢測的準(zhǔn)確性．在HSV空間中進(jìn)行初步陰影檢測時(shí),本文根據(jù)經(jīng)驗(yàn)選取了固定閾值，在不同光線環(huán)境下如何自動(dòng)選取合適的閾值仍需進(jìn)行深入研究．

References)

[1]Xiao M, Han C Z, Zhang L. Moving shadow detection and removal for traffic sequences[J].InternationalJournalofAutomationandComputing, 2007, 4(1): 38-46.

[2]Sanin A, Sanderson C, Lovell B. Shadow detection: a survey and comparative evaluation of recent methods[J].PatternRecognition, 2012, 45(4):1684-1695.

[3]Cucchiara R, Grana C, Piccardi M, et al. Detecting moving objects, ghosts and shadows in video streams[J].IEEETransactionsonPatternAnalysisandMachineIntelligence, 2003, 25(10): 1337-1342.

[4]Salvador E, Cavallaro A, Ebrahimi T. Cast shadow segmentation using invariant color features[J].ComputerVisionandImageUnderstanding, 2004, 95(2): 238-259.

[5]Chen C T, Su C Y, Kao W C. An enhanced segmentation on vision-based shadow removal for vehicle detection[C]//2010InternationalConferenceonGreenCircuitsandSystems. Shanghai, China, 2010: 679-682.

[6]Cavallaro A, Salvador E, Ebrahimi T. Shadow-aware object-based video processing[J].IEEProceedings—Vision,ImageandSignalProcessing, 2005, 152(4): 398-406.

[7]Mao Y F, Shi P F. Multimodal background model with noise and shadow suppression for moving object detection[J].JournalofSoutheastUniversity:EnglishEdition, 2004, 20(4):423-426.

[8]Huang J B, Chen C S. Moving cast shadow detection using physics-based features[C]//2009IEEEConferenceonComputerVisionandPatternRecognition. Miami, FL, USA, 2009: 2310-2317.

[9]Martel-Brisson N, Zaccarin A. Kernel-based learning of cast shadows from a physical model of light sources and surfaces for low-level segmentation[C]//2008IEEEConferenceonComputerVisionandPatternRecognition. Anchorage, AK, USA, 2008: 1-8.

[10]Fang L Z, Qiong W Y, Sheng Y Z. A method to segment moving vehicle cast shadow based on wavelet transform[J].PatternRecognitionLetters, 2008, 29(16):2182-2188.

[11]Cucchiara R, Grana C, Piccardi M, et al. Detecting objects, shadows and ghosts in video streams by exploiting color and motion information[C]//Proceedingsof11thInternationalConferenceonImageAnalysisandProcessing. Palermo, Italy, 2001: 360-365.

[12]Achanta R, Shaji A, Smith K, et al. SLIC superpixels compared to state-of-the-art superpixel methods[J].IEEETransactionsonPatternAnalysisandMachineIntelligence, 2012, 34(11):2274-2282.

[13]Stauffer C, Grimson W E L. Adaptive background mixture models for real-time tracking[C]//1999IEEEComputerSocietyConferenceonComputerVisionandPatternRecognition. Fort Collins, CO, USA, 1999,2:246-252.

[14]Joshi A J, Papanikolopoulos N P. Learning to detect moving shadows in dynamic environments[J].IEEETransactionsonPatternAnalysisandMachineIntelligence, 2008, 30(11):2055-2063.

[15]Prati A, Mikic I, Trivedi M M, et al. Detecting moving shadows: algorithms and evaluation[J].IEEETransactionsonPatternAnalysisandMachineIntelligence, 2003, 25(7):918-923.

Vehicle shadow detection algorithm based on superpixel and SVM

Zhu Zhou1，3Lu Xiaobo2，3Wei Peng2，3Zeng Weili2，3

(1School of Transportation, Southeast University, Nanjing 210096, China) (2School of Automation, Southeast University, Nanjing 210096, China) (3Key Laboratory of Measurement and Control of Complex Systems of Engineering of Ministry of Education, Southeast University, Nanjing 210096, China)

To solve the problem that the vehicle region similar to the shadow is apt to be wrongly detected as the shadow during vehicle shadow detection, a vehicle shadow detection algorithm based on superpixel and SVM(support vector machine) is proposed. First, the current image is segmented to several superpixels by the simple linear iterative clustering method. Then, according to a group of criterion conditions in HSV(hue, saturation, value) space, the vehicle shadow is detected preliminary by taking superpixels as basic testing units. Finally, the vehicle region which is detected wrongly as the vehicle shadow is recognized by SVM and removed from the preliminary detection results, thus the final vehicle shadow is obtained. The experimental results show that the proposed method can well distinguish the shadow from the vehicle region similar to the shadow, and can improve the detection rate and the discrimination rate of the vehicle shadow.

shadow detection; superpixel; support vector machine; vehicle detection

10.3969/j.issn.1001-0505.2015.03.006

2014-11-10. 作者簡介: 朱周(1984—)，男，博士生；路小波(聯(lián)系人)，男，博士，教授，博士生導(dǎo)師，xblu2013@163.com.

國家自然科學(xué)基金資助項(xiàng)目(61374194,61403081).

朱周,路小波,衛(wèi)朋,等.基于超像素和支持向量機(jī)的車輛陰影檢測算法[J].東南大學(xué)學(xué)報(bào):自然科學(xué)版,2015,45(3):443-447.

10.3969/j.issn.1001-0505.2015.03.006

U491.1

A

1001-0505(2015)03-0443-05