基于視頻和位置信息的交通燈識(shí)別

王 輝 張冠麗

（同濟(jì)大學(xué)電子與信息工程學(xué)院，上海 201804）

基于視頻和位置信息的交通燈識(shí)別

王 輝 張冠麗

（同濟(jì)大學(xué)電子與信息工程學(xué)院，上海 201804）

交通燈識(shí)別是智能車(chē)技術(shù)的關(guān)鍵，文章提出一種識(shí)別交通燈的新方法。首先基于多源信息，在攝像機(jī)像面上建立隨機(jī)過(guò)程模型，確定車(chē)輛位置和像面概率分布的關(guān)系。然后選取輸入圖像中概率大于設(shè)定閾值的區(qū)域，在YCbCr顏色空間中基于顏色和亮度信息分割該區(qū)域得到候選區(qū)，對(duì)候選區(qū)域分別提取其顏色直方圖和邊緣方向直方圖信息。最后采用支持向量機(jī)（SVM）對(duì)交通燈識(shí)別分類(lèi)。實(shí)驗(yàn)結(jié)果表明，該方法能夠?qū)崟r(shí)準(zhǔn)確地檢測(cè)出交通燈。

交通燈識(shí)別；隨機(jī)過(guò)程模型；顏色直方圖；邊緣方向直方圖；支持向量機(jī)

1 概述

當(dāng)前汽車(chē)數(shù)量逐年增加，給城市交通帶來(lái)不少負(fù)面效應(yīng)，使得智能交通成為人們逐漸重視的方向。智能駕駛是智能交通的重要組成部分，而交通燈識(shí)別又是智能駕駛必不可少的環(huán)節(jié)，是涉及到無(wú)人駕駛汽車(chē)能否安全通過(guò)路口的關(guān)鍵技術(shù)。

對(duì)于交通燈的識(shí)別，國(guó)內(nèi)外都進(jìn)行了很多的研究，取得了不少的成果。文獻(xiàn)[1]提出了將顏色空間轉(zhuǎn)換到歸一化RGB空間，消除亮度帶來(lái)的影響，并采用霍夫變換檢測(cè)交通燈。然而該方法在環(huán)境復(fù)雜的情況下不能有效濾除車(chē)燈和路燈的干擾。文獻(xiàn)[2]提取交通燈外圍黑色邊框，并采用Gabor小波特征提取和2DICA降低維度檢測(cè)交通燈。但是該方法無(wú)法提取出隱藏在樹(shù)陰中的黑色邊框，采用Gabor小波和2DICA方法比較耗時(shí)，不能滿(mǎn)足檢測(cè)的實(shí)時(shí)性。文獻(xiàn)[3]首先生成背景圖像并獲得亮度參數(shù)，然后利用模糊算法和形態(tài)學(xué)技術(shù)得到交通燈候選區(qū)域，進(jìn)而得到交通燈的尺度、位置和時(shí)間序列。但該方法只適用與固定相機(jī)，如果背景發(fā)生變化，就會(huì)出現(xiàn)檢測(cè)失效。文獻(xiàn)[4]是采用幾何信息結(jié)合交通燈矩形邊框和圓形燈區(qū)域，并根據(jù)圓形燈區(qū)域在矩形邊框的位置來(lái)確定交通燈的狀態(tài)。但是該方法在復(fù)雜背景以及低亮度的情況下，很難檢測(cè)出黑色矩形邊框，會(huì)導(dǎo)致算法的失效。傳統(tǒng)的交通燈識(shí)別多采用視覺(jué)特征提取及機(jī)器學(xué)習(xí)分類(lèi)算法，缺少對(duì) GPS位置信息的利用，在復(fù)雜環(huán)境下難以濾除外界干擾，不僅增加了處理時(shí)間，還降低了檢測(cè)準(zhǔn)確性。

針對(duì)以上問(wèn)題，本文提出一種基于視頻和位置信息的交通燈識(shí)別方法。不同于傳統(tǒng)識(shí)別方法，提出利用智能車(chē) GPS位置信息，建立車(chē)輛位置和攝像機(jī)像面概率分布的關(guān)系，濾除每幀圖像概率小于閾值的區(qū)域，并結(jié)合機(jī)器視覺(jué)算法，提取候選區(qū)域顏色直方圖和邊緣方向直方圖的特征信息用以訓(xùn)練分類(lèi)器。實(shí)驗(yàn)結(jié)果表明，本文提出的識(shí)別方法能描述交通燈信息，并濾除車(chē)燈、樹(shù)陰等的影響，與經(jīng)典方法相比，由于引入了位置信息，一方面提高識(shí)別的準(zhǔn)確率，另一方面減少了計(jì)算時(shí)間，有利于實(shí)時(shí)檢測(cè)。

2 隨機(jī)過(guò)程模型建立

智能車(chē)包含攝像機(jī)、駕駛地圖以及GPS等設(shè)備。其中攝像機(jī)用于獲取視頻圖像和確定鏡頭地平線(xiàn)位置，駕駛地圖用于提供信號(hào)燈道口地圖數(shù)據(jù)庫(kù)，GPS設(shè)備確定車(chē)輛實(shí)時(shí)位置信息。利用以上信息估計(jì)交通燈檢測(cè)區(qū)域的高度范圍，進(jìn)而對(duì)車(chē)載攝像頭進(jìn)行動(dòng)態(tài)劃分，建立隨機(jī)過(guò)程模型，為交通燈識(shí)別提供先驗(yàn)概率。

2.1交通燈檢測(cè)區(qū)域高度估計(jì)

建立一個(gè)單目視覺(jué)的幾何模型估計(jì)交通燈檢測(cè)區(qū)域高度，如圖1 所示。交通燈安放高度H已知，根據(jù)國(guó)家標(biāo)準(zhǔn)，直立柱式＞3米，懸臂式5.5～7米。f為鏡頭焦距參數(shù)，L為車(chē)輛距路口距離，由GPS位置信息及地圖數(shù)據(jù)庫(kù)獲得。由此，交通燈在像面上的高度h與車(chē)輛到路口的距離L的幾何關(guān)系為：。

交通燈檢測(cè)采用自適應(yīng)工作模式，即根據(jù)地圖數(shù)據(jù)庫(kù)和GPS位置信息，設(shè)置交通燈 檢測(cè)起止點(diǎn)。當(dāng)智能車(chē)與路口距離小于等于50米，大于5米時(shí)，開(kāi)啟交通燈檢測(cè)模式，其他距離關(guān)閉檢測(cè)。

圖1　基于單目視覺(jué)的信號(hào)燈高度與距離的關(guān)系示意圖

2.2隨機(jī)過(guò)程模型

隨機(jī)過(guò)程是隨時(shí)間變化的隨機(jī)變量。為了提高交通燈檢測(cè)效果，建立一個(gè)隨機(jī)過(guò)程模型，為每幀圖像的檢測(cè)提供先驗(yàn)概率。模型的空間和時(shí)間范圍設(shè)置如圖 2所示，依據(jù)攝像機(jī)參數(shù)，確定鏡頭水平線(xiàn)，當(dāng)智能車(chē)開(kāi)啟檢測(cè)模式時(shí)，以鏡頭水平線(xiàn)為基準(zhǔn)，以交通燈在像面上最大高度為上限，設(shè)置鏡頭動(dòng)態(tài)劃分范圍。隨機(jī)過(guò)程時(shí)間范圍是智能車(chē)檢測(cè)模式的開(kāi)啟階段，以一幀為一個(gè)時(shí)間單位。

圖2　某幀圖像鏡頭動(dòng)態(tài)劃分范圍

該模型定義t時(shí)刻時(shí)，圖2所示劃分范圍內(nèi)的隨機(jī)變量滿(mǎn)足二維高斯分布，峰值區(qū)域在圖中幾何高度接近于該時(shí)刻交通燈到鏡頭地平線(xiàn)的像面高度，且隨著時(shí)間t的變化，交通燈像面高度與峰值幾何高度也隨之發(fā)生變化。

在時(shí)刻t，二維高斯分布定義如下，若二維隨機(jī)向量(X,Y)具有概率密度，且滿(mǎn)足

該模型在峰值區(qū)域數(shù)值較大，且隨車(chē)輛距路口距離變化而改變，保證交通燈候選區(qū)域處在峰值區(qū)域附近，為該區(qū)域提供較大的權(quán)值，作為檢測(cè)的先驗(yàn)概率。

3 交通信號(hào)燈識(shí)別

城市環(huán)境通常比較復(fù)雜，交通燈發(fā)光部分受天氣條件、光照等因素的影響較大，汽車(chē)尾燈、路燈等也對(duì)交通燈檢測(cè)造成干擾。因此，交通燈檢測(cè)是智能車(chē)視覺(jué)技術(shù)方面的一個(gè)難題。

對(duì)于交通燈識(shí)別，主要包括先驗(yàn)概率模型建立、交通燈位置檢測(cè)、視覺(jué)特征提取以及分類(lèi)器的分類(lèi)識(shí)別。

3.1交通燈位置檢測(cè)

交通燈位置檢測(cè)主要從顏色和亮度兩個(gè)方面分析。顏色是交通燈的一個(gè)重要特征，本文主要檢測(cè)紅綠顏色信息。由于 RGB顏色空間不利于圖像顏色的分割處理，把原圖像從RGB空間轉(zhuǎn)換到Y(jié)CbCr空間，其中Y表示亮度，紅綠色分別通過(guò)Cr通道進(jìn)行閾值分割。紅色和綠色的閾值分割計(jì)算如下：

如圖3，根據(jù)紅燈和綠燈在Cr空間的顏色分布，保留一定余量，選取TL1=150，TH1=240，TL2=25，TH2=100。

圖3　Cr空間顏色分布直方圖（左圖對(duì)應(yīng)紅燈，右圖對(duì)應(yīng)綠燈）

交通燈屬于發(fā)光區(qū)域，在圖像預(yù)處理階段可以增強(qiáng)圖像對(duì)比度，突出交通燈的亮度特征，濾除那些與交通燈顏色相近但較暗的區(qū)域。Tophat算法就具有這種作用。

設(shè)(,)f x y是灰度圖像，b是結(jié)構(gòu)算子，則 Tophat變換[5]定義為：

其中，⊕和Θ分別為膨脹和腐蝕算子。本文選取11 11×的矩形作為 Tophat算法的結(jié)構(gòu)算子，對(duì) Y空間圖像做 Tophat濾波處理。

基于亮度分割的公式如下：

為避免亮度分割造成漏檢，圖 4為所選視頻中較暗的交通燈亮度范圍，根據(jù)分布范圍選取T=100。

圖4　交通燈亮度范圍分布圖

結(jié)合顏色和亮度信息，紅色區(qū)域分割方法為

綠色區(qū)域分割方法為：

3.2視覺(jué)特征提取

特征提取是圖像識(shí)別的關(guān)鍵一步，特征一般分為顏色、紋理、邊緣以及特征點(diǎn)等。本文采用HSV顏色直方圖和邊緣直方圖信息作為特征。

交通燈具有比較明顯的顏色特征，鑒于HSV是面向視覺(jué)感知的顏色空間，因此采用HSV顏色直方圖特征提取。其中H表示色調(diào)，其大小范圍為0360H≤≤o；S表示飽和度，其范圍為01S≤≤；V表示亮度，其范圍為01V≤≤。根據(jù)人的顏色感知特性對(duì)H、S、V三個(gè)分量進(jìn)行非等間隔的量化，得到三維特征向量，設(shè)置不同的權(quán)值組成一維特征矢量。

根據(jù)H、S、V的量化級(jí)數(shù)和其頻帶寬度得到一維矢量L[6]：

其中sQ和vQ分別是S和V的量化級(jí)數(shù)，取，上式可表示為：

L的取值為[0,1,…,255]，可以計(jì)算出256bin的一維直方圖，得到1×256的特征向量。

僅僅依靠顏色直方圖，無(wú)法區(qū)分與交通燈顏色相近的區(qū)域，依據(jù)交通燈形狀特征，再結(jié)合邊緣方向直方圖（EOH）信息。圖像的邊緣是灰度發(fā)生階躍變化的地方，邊緣方向直方圖[7]是圖像邊緣和紋理信息在各方向幅值的統(tǒng)計(jì)直方圖。本文采用Sobel算子[8]提取邊緣圖像的邊緣，該算子通過(guò)3 3×模板作為核與圖像的每個(gè)像素點(diǎn)做卷積，然后選取合適的閾值提取邊緣信息。xS和yS分別代表橫向及縱向邊緣檢測(cè)的模板，其公式如下：

3.3結(jié)合位置信息和SVM的交通燈識(shí)別

支持向量機(jī)（SVM）是基于統(tǒng)計(jì)學(xué)習(xí)理論以尋找最優(yōu)超平面為目標(biāo)的機(jī)器學(xué)習(xí)方法。最優(yōu)超平面是一個(gè)決策曲面，且保證兩類(lèi)目標(biāo)的分類(lèi)間隔最大化，距離這種超平面最近的向量稱(chēng)為支持向量。對(duì)于非線(xiàn)性不可分問(wèn)題，SVM的主要思想[9]是通過(guò)選取核函數(shù)，將樣本空間映射到一個(gè)高維乃至無(wú)窮維的特征空間，使得原先線(xiàn)性不可分的數(shù)據(jù)在這個(gè)空間中滿(mǎn)足線(xiàn)性可分，然后在這個(gè)高維空間中求得最優(yōu)的線(xiàn)性分類(lèi)面。使用核函數(shù)不增加計(jì)算復(fù)雜度，而且避免了維數(shù)災(zāi)難問(wèn)題。常用的核函數(shù)包括sigmoid核函數(shù)、多項(xiàng)式核函數(shù)、徑向基核函數(shù)等。本文選取多項(xiàng)式核函數(shù)。

第2節(jié)依據(jù)GPS和駕駛地圖信息建立隨機(jī)過(guò)程模型，該模型在交通燈檢測(cè)階段提供了車(chē)輛距路口位置信息和像面概率分布的關(guān)系，得到每幀圖像交通燈候選區(qū)在像面上的概率信息。設(shè)檢測(cè)區(qū)域出現(xiàn)交通燈的概率為 p，若pτ＞（τ為給定閾值），則判斷該區(qū)域?yàn)榻煌舸郎y(cè)區(qū)域，小于該閾值的區(qū)域不做處理。

建立兩組分類(lèi)器用于處理紅燈和綠燈，每組分類(lèi)器包括兩個(gè)SVM分類(lèi)器，即HSV特征分類(lèi)器和EOH特征分類(lèi)器。對(duì)交通燈待測(cè)區(qū)域中候選塊進(jìn)行測(cè)試，得到預(yù)測(cè)結(jié)果為，兩個(gè)分類(lèi)器的權(quán)重設(shè)為且滿(mǎn)足，則預(yù)測(cè)分類(lèi)結(jié)果為

采集視頻的分辨率大小為1024*768，為直觀(guān)的顯示分類(lèi)結(jié)果，根據(jù)圖像分辨率大小，提高隨機(jī)過(guò)程模型中的二維高斯分布函數(shù)的幅值，將幅值乘以 2000，則分類(lèi)閾值選擇。設(shè)置HSV特征分類(lèi)器權(quán)重為0.5，EOH特征分類(lèi)器權(quán)重為0.5。圖5為選擇的某段視頻的第70幀畫(huà)面，若不結(jié)合位置信息，則檢測(cè)得到四個(gè)交通燈候選區(qū)域，從左到右依次為區(qū)域塊1、2、3、4，經(jīng)位置信息建立的隨機(jī)過(guò)程模型得到該幀圖像四個(gè)交通燈候選區(qū)域的中心位置概率依次為[5.36e-07,0.4825,0.4807,1.02 e-10]，選取概率大于閾值τ的區(qū)域塊，則將區(qū)域塊1和區(qū)域塊4濾除，對(duì)區(qū)域塊2和區(qū)域塊3進(jìn)行特征提取并送入SVM分類(lèi)器，得到分類(lèi)結(jié)果為[1,1]，即判定為交通燈。

圖5　某幀圖像交通燈候選區(qū)域先驗(yàn)概率

4 實(shí)驗(yàn)分析

本文測(cè)試環(huán)境為 3.2GHz Core i5 CPU、4GB內(nèi)存，在MATLAB平臺(tái)上實(shí)現(xiàn)上述算法，并用車(chē)載攝像頭采集交通燈路口視頻，從視頻中采集交通燈樣本作為訓(xùn)練集訓(xùn)練分類(lèi)器。該樣本圖片的交通燈大小不一，且根據(jù)不同時(shí)段采集，具有較好的代表性。樣本分為正負(fù)樣本，正樣本為紅燈和綠燈，負(fù)樣本選擇車(chē)燈、路燈等圖片。

本文選取紅燈正樣本220個(gè)，負(fù)樣本270個(gè)；綠燈正樣本210個(gè)，負(fù)樣本250個(gè)進(jìn)行測(cè)試分類(lèi)器。

4.1基于合成SVM的視頻測(cè)試

選擇 4段新的視頻用于測(cè)試交通燈結(jié)果，測(cè)試準(zhǔn)確率采用如下定義：

準(zhǔn)確率=(總幀數(shù)-漏檢幀數(shù)-誤檢幀數(shù))/總幀數(shù)

視頻1和2測(cè)試紅燈，視頻3和4測(cè)試綠燈，設(shè)置HSV特征分類(lèi)器權(quán)重為0.5，EOH特征分類(lèi)器權(quán)重為0.5，得到合成的分類(lèi)器，檢測(cè)每幀圖像中交通燈候選區(qū)域并輸入合成的SVM分類(lèi)器得到分類(lèi)結(jié)果，結(jié)果見(jiàn)表1：

表1　基于SVM的交通燈測(cè)試結(jié)果

僅僅基于合成的SVM對(duì)視頻中的交通燈進(jìn)行檢測(cè)，存在漏檢和誤檢的情況。漏檢主要原因是由于交通燈顏色信息出現(xiàn)失真，不滿(mǎn)足檢測(cè)階段的條件，無(wú)法提取出交通燈顏色區(qū)域。誤檢主要是由于某些交通燈顏色和形狀的不清晰，將其分為非交通燈，以及將車(chē)輛尾燈、建筑物顏色、樹(shù)木等區(qū)域誤檢為交通燈。

4.2結(jié)合位置信息和合成SVM的視頻測(cè)試

結(jié)合車(chē)輛位置信息，根據(jù)隨機(jī)過(guò)程模型建立的像面概率分布，檢測(cè)概率大于閾值τ的區(qū)域，得到交通燈候選區(qū)域并輸入合成的SVM分類(lèi)器，由3.3節(jié)可知閾值選擇0.3τ=。結(jié)果見(jiàn)表2：

表2　結(jié)合位置信息和SVM的交通燈測(cè)試結(jié)果

表2和表3對(duì)比顯示，結(jié)合位置信息和SVM的識(shí)別算法與純SVM算法相比，漏檢數(shù)沒(méi)有變化，但降低了誤檢數(shù)，是因?yàn)槁z的因素與交通燈位置檢測(cè)階段有關(guān)，誤檢是由于將交通燈識(shí)別為非交通燈，將車(chē)燈等相似物識(shí)別為交通燈，而結(jié)合了位置信息的識(shí)別算法，可以將先驗(yàn)概率較低的車(chē)燈等誤檢物濾除，提高了交通燈識(shí)別的準(zhǔn)確率。結(jié)合位置信息的交通燈識(shí)別算法處理每幀圖片時(shí)間是173ms左右，能夠滿(mǎn)足實(shí)時(shí)性的要求。

視頻中檢測(cè)結(jié)果為紅燈用紅色方框標(biāo)記，綠燈用綠色方框標(biāo)記，圖 6為選取的幾幀檢測(cè)結(jié)果，其中左上圖和右上圖表示檢測(cè)紅燈效果，左下圖和右下圖表示檢測(cè)綠燈效果。

圖6　視頻檢測(cè)結(jié)果顯示

5 結(jié)論

為了有效地解決交通燈識(shí)別存在的問(wèn)題，本文提出一種結(jié)合GPS位置信息和機(jī)器學(xué)習(xí)的交通燈識(shí)別算法。機(jī)器學(xué)習(xí)算法是從顏色和邊緣信息提取交通燈特征，該特征采用的是顏色直方圖和邊緣方向直方圖，比較全面地描述了交通燈信息，并訓(xùn)練SVM分類(lèi)器識(shí)別交通燈。引入GPS位置信息并建立隨機(jī)過(guò)程模型，該模型在檢測(cè)階段提供了每幀交通燈候選區(qū)域先驗(yàn)概率，濾除概率小于設(shè)定閾值的區(qū)域，縮小交通燈檢測(cè)范圍，通過(guò)第4節(jié)實(shí)驗(yàn)分析對(duì)比，結(jié)合位置信息相比純機(jī)器學(xué)習(xí)方法提高了檢測(cè)的準(zhǔn)確性。下一步的研究重點(diǎn)是如何進(jìn)一步優(yōu)化本文算法，提高檢測(cè)的準(zhǔn)確性和實(shí)效性，同時(shí)研究如何有效地分類(lèi)出圓形燈和箭頭燈，以及對(duì)黃色燈的識(shí)別。

[1] Omachi M,Omachi S. Traffic light detection with color and edge information[C]//Computer Science and Information Technology,2009.ICCSIT 2009.2nd IEEE International Conference on. IEEE,2009:284-287.

[2] Cai Z,Li Y,Gu M.Real-time recognition system of traffic light in urban environment[C]//Computational Intelligence for Security and Defence Applications (CISDA),2012 IEEE Symposium on. IEEE,2012:1-6.

[3] Chung Y C,Wang J M,Chen S W.A vision-based traffic light detection system at intersections[J]. Journal of Taiwan Normal University: Mathematics, Science and Technology, 2002, 47(1): 67-86.

[4] Jie Y, Xiaomin C, Pengfei G, et al. A new traffic light detection and recognition algorithm for electronic travel aid[C]//Intelligent Control and Information Processing (ICICIP),2013 Fourth International Conference on. IEEE, 2013: 644-648.

[5] ZHANG Yu-jin. Image engineering (II) image analysis [M]. 2nd ed. Beijing: Tsinghua University Press,2005.

[6] 嚴(yán)春來(lái).綜合顏色和紋理特征的圖像檢索算法[J].信息安全與技術(shù),2012,3(8):20-22.

[7] 申海洋,李月娥,張?zhí)?基于邊緣方向直方圖相關(guān)性匹配的圖像檢索[J].計(jì)算機(jī)應(yīng)用,2013,(7):1980-1983.

[8] Patel J, Patwardhan J,Sankhe K,et al. Fuzzy inference based edge detection system using Sobel and Laplacian of Gaussian operators[C]//Proceedings of the International Conference & Workshop on Emerging Trends in Technology. ACM,2011: 694-697.

[9] 王金巖,芮挺,丁健,等.基于 Zernike矩和SVM的不變性目標(biāo)識(shí)別[J].電光與控制,2008,15(11):1-4.

Traffic light recognition based on video and location information

Traffic lights recognition is a key part of the intelligent vehicle technology. This paper proposed a new method to identify traffic lights. There are three steps. Firstly, based on multi-source information, this method builds a stochastic process model and determines the connection between vehicle position and probability distribution of image surface. Secondly, select the area whose probability is greater than the threshold, and segment the area as candidates based on color and luminance. Then extract the candidates’features by color histogram and edge orientation histogram. Finally, support vector machine (SVM) was used to classify traffic lights. The experimental results show that this method can detect traffic lights timely and accurately.

Traffic light recognition;stochastic process model;color histogram;edge orientation histogram;support vector machine

Q813.11

A

1008-1151(2015)10-0004-04

2015-09-12

國(guó)家自然科學(xué)基金（61373106）。

王輝（1991－），男，河南信陽(yáng)人，同濟(jì)大學(xué)電子與信息工程學(xué)院在讀碩士，研究方向?yàn)閳D像處理、機(jī)器學(xué)習(xí)、模式識(shí)別；張冠麗（1988－），女，浙江金華人，同濟(jì)大學(xué)電子與信息工程學(xué)院在讀碩士，研究方向圖像處理，模式識(shí)別。