基于HSV色彩空間與形狀特征的交通燈自動(dòng)識(shí)別

朱永珍，孟慶虎，2，普杰信

(1.河南科技大學(xué) 信息工程學(xué)院，河南 洛陽(yáng) 471003；2.香港中文大學(xué) 工程學(xué)院，香港 99907)

基于HSV色彩空間與形狀特征的交通燈自動(dòng)識(shí)別

朱永珍1，孟慶虎1，2，普杰信1

(1.河南科技大學(xué) 信息工程學(xué)院，河南 洛陽(yáng) 471003；2.香港中文大學(xué) 工程學(xué)院，香港 99907)

為了在復(fù)雜的環(huán)境中準(zhǔn)確識(shí)別出交通燈信息，提出一種基于HSV色彩空間和形狀特征的交通燈識(shí)別方法。該方法首先將圖像的RGB色彩空間轉(zhuǎn)換成HSV色彩空間，并根據(jù)HSV色彩空間中的H與V無(wú)關(guān)性，利用不同顏色的H閾值對(duì)圖像進(jìn)行分割提取候選區(qū)域；然后對(duì)原圖像經(jīng)預(yù)處理及灰度形態(tài)學(xué)操作后，利用Hough變換檢測(cè)目標(biāo)可能位置；最后把目標(biāo)疑似位置與候選區(qū)域進(jìn)行邏輯濾波融合，并對(duì)融合后圖像依據(jù)顏色H值判定交通燈信息。該方法對(duì)480幅各種場(chǎng)景下的交通燈圖片進(jìn)行實(shí)驗(yàn)，結(jié)果表明該方法具有很強(qiáng)的魯棒性、穩(wěn)定性和高效性，能夠較好地識(shí)別出交通燈。

交通燈識(shí)別；HSV色彩空間；H分割；Hough；圖像融合；

隨著智能交通系統(tǒng)的發(fā)展，交通燈的檢測(cè)和識(shí)別成為了智能交通系統(tǒng)的一個(gè)熱門研究方向，同時(shí)也是無(wú)人智能車研究的關(guān)鍵技術(shù)和難點(diǎn)之一。如何能自動(dòng)精確對(duì)交通燈檢測(cè)和識(shí)別，有助于駕駛員對(duì)可能出現(xiàn)的危險(xiǎn)做出預(yù)警并輔助駕駛，并有助于無(wú)人駕駛的智能車的安全行駛。因此，交通信號(hào)燈的檢測(cè)和識(shí)別技術(shù)無(wú)論理論還是應(yīng)用都具有非常重要的研究?jī)r(jià)值。

目前，交通燈的識(shí)別主要的方法分為以下幾類：

1)基于某個(gè)色彩空間的交通燈識(shí)別算法，核心在于選擇某個(gè)色彩空間對(duì)交通燈顏色進(jìn)行分割。文獻(xiàn)[1-3]提出了利用RGB色彩空間對(duì)圖像進(jìn)行分割的提取候選區(qū)域，優(yōu)點(diǎn)是不需要對(duì)色彩空間變換，節(jié)省時(shí)間，滿足實(shí)時(shí)性要求，缺點(diǎn)是RGB對(duì)亮度敏感，亮度一旦改變就會(huì)降低對(duì)交通燈的正確識(shí)別率。文獻(xiàn)[4]通過(guò)HSV色彩空間對(duì)三色交通燈取樣，依據(jù)3種色彩交通燈的H值和S值分別為每種色彩建立二維高斯模型，文中給出的實(shí)驗(yàn)數(shù)據(jù)表明，該算法雖具有較高的識(shí)別準(zhǔn)確率，但每個(gè)像素都需要計(jì)算高斯分布的概率，計(jì)算量大，達(dá)不到實(shí)時(shí)處理的要求。

2)基于形狀的檢測(cè)方法是利用了交通燈的形狀信息，主要有模板匹配法[5]、Hough變換法、邊緣檢測(cè)法[3]等。模板匹配法比較簡(jiǎn)單直接，但是不具有旋轉(zhuǎn)不變性和尺度不變性，匹配的效果較差；Hough變換抗噪效果好，對(duì)簡(jiǎn)單圖形有很好的檢測(cè)效果，但計(jì)算速度較慢；當(dāng)背景復(fù)雜時(shí)邊緣檢測(cè)法會(huì)產(chǎn)生大量的無(wú)效邊緣，處理效果顯得比較差，尤其是存在噪聲效果就會(huì)更差。

針對(duì)目前交通燈識(shí)別方法存在的問(wèn)題，本文提出利用HSV色彩空間和形狀特征的交通燈識(shí)別方法。該方法首先將圖像的RGB色彩空間轉(zhuǎn)換成HSV色彩空間，依據(jù)HSV色彩空間中的H信息進(jìn)行分割提取顏色候選區(qū)域；然后將原彩色圖像轉(zhuǎn)化成歸一化的灰度圖像，并對(duì)歸一化圖像進(jìn)行預(yù)處理及灰度形態(tài)學(xué)操作之后用Hough變換檢測(cè)目標(biāo)疑似位置；最后，把目標(biāo)疑似位置與將候選區(qū)域進(jìn)行融合并依據(jù)顏色H值判斷，完成對(duì)交通信號(hào)燈的識(shí)別。本文選擇HSV色彩空間有效避免了RGB色彩空間易受外部光照變化的影響；經(jīng)過(guò)圖像預(yù)處理及灰度形態(tài)學(xué)操作大大縮短了圖像未處理之前Hough變換檢測(cè)形狀所需要的時(shí)間；通過(guò)對(duì)圖像進(jìn)行邏輯濾波融合，進(jìn)一步濾除掉干擾信息，從而更加準(zhǔn)確地識(shí)別出交通燈顏色信息。

1 算法描述

1.1 總體算法描述

對(duì)交通燈識(shí)別的算法基本流程如圖1所示。

圖1 算法流程圖

1.2 提取候選區(qū)域

1.2.1 色彩空間的轉(zhuǎn)化

RGB色彩空間是一種最基本、最常用的面向硬件的顏色空間，它建立在一個(gè)單位長(zhǎng)度的立方體笛卡爾坐標(biāo)系中，通過(guò)R，G，B三通道顏色的相互疊加得到各式各樣的顏色，但它對(duì)亮度比較敏感，易受自然光照、遮擋、陰影等情況的影響。若亮度改變，R，G，B三個(gè)分量都會(huì)隨之改變，而且RBG空間內(nèi)的任意一色彩都是通過(guò)R，G，B三個(gè)分量的共同作用，三個(gè)分量相關(guān)性很高，無(wú)法用單一的參數(shù)進(jìn)行數(shù)字化調(diào)整。因此，為了能夠在復(fù)雜環(huán)境下快速提取顏色分量，同時(shí)符合人的經(jīng)驗(yàn)和人眼感知特點(diǎn)，本文引入HSV色彩空間。HSV色彩空間的模型是一個(gè)圓錐模型，是由色調(diào)(Hue)、飽和度(Saturation)和亮度(Value)三個(gè)分量組成，且H與V相互獨(dú)立，顏色按逆時(shí)針從左到右均勻變化。

從RGB到HSV的轉(zhuǎn)換是一個(gè)簡(jiǎn)單的非線性變換[6]。RGB到HSV空間的量化及過(guò)程：

1)對(duì)RGB進(jìn)行歸一化處理，即

(1)

2)從RGB色彩空間到HSV色彩空間進(jìn)行轉(zhuǎn)換，即

(2)

(3)

(4)

V=Cmax

(5)

1.2.2 候選區(qū)域的提取

圖像分割把圖像分成若干個(gè)特定的、具有特定性質(zhì)的感興趣的區(qū)域，目的是使得圖像更容易理解和分析。大多數(shù)的圖像分割是針對(duì)灰度圖像的，由于彩色圖像提供了比灰度圖像更加豐富的信息，而且每一種色彩都對(duì)應(yīng)唯一的H值，這就為圖像的精確分割提取候選區(qū)域提供了依據(jù)。本文中紅、黃、綠區(qū)域是感興趣區(qū)域，因此利用基于閾值的分割方法提取候選區(qū)域。為了獲取交通燈三色H值信息，本文采集早上和中午兩個(gè)時(shí)間段的8張圖片，通過(guò)三色取樣在歸一化HSV色彩空間中作直方圖得到交通燈H值分割閾值區(qū)間t，如圖2所示。

圖2 三色直方圖

從圖2中看到紅色閾值范圍：H>0.96或H<0.023；綠色閾值范圍：0.32

圖3 分割前后圖像

1.3 交通燈疑似位置提取

目前交通燈的一般特征是背景板面為正方形或長(zhǎng)方形，內(nèi)接一個(gè)或若干個(gè)圓，背景板面灰度值比較低。本文利用交通燈的這一特征對(duì)原圖像進(jìn)行提取紅綠燈疑似位置。具體提取流程如下：

1)將彩色圖像歸一化、灰度化；

2)根據(jù)交通燈的特征對(duì)歸一化圖像進(jìn)行線性變換，使得低于板面灰度的全0顯示，高于板面灰度的為全1顯示；

3)將變換后的圖像采用灰度形態(tài)學(xué)方法進(jìn)行操作；

4)將1)操作之后的圖像取反與3)操作后的圖像進(jìn)行矩陣的點(diǎn)乘運(yùn)算；

5)利用Hough變換檢測(cè)。

線性變換[8]可以將圖像灰度區(qū)間分成若干段，每段對(duì)應(yīng)一個(gè)局部的線性變換。為了只顯示與交通燈背景板面相近的灰度，屏蔽掉與交通燈無(wú)關(guān)的一些信息，因此要獲取交通燈板面的灰度范圍。本文通過(guò)大量交通燈的板面進(jìn)行實(shí)驗(yàn)得到的交通燈背景板面的灰度范圍為[0.12,0.22]，如圖4a所示。圖4b表示利用坐標(biāo)表示線性變換后的圖像，設(shè)圖像f(x,y)灰度范圍為[0,Mf]，圖像g(x,y)灰度范圍為[0,Mg]，變換后若灰度值小于a′輸出為0，若灰度值大于b′輸出為全1，線性變換公式如式(6)，其中[a′,b′]取橫軸坐標(biāo)為[0.12,0.22]。

圖4 背景板面直方圖及線性變換(截圖)

(6)

圖像經(jīng)線性變換以后，圖像仍然存在其他的干擾信息，因此有必要經(jīng)過(guò)灰度形態(tài)學(xué)腐蝕操作對(duì)圖像內(nèi)部做濾波處理去掉這些干擾信息。灰度形態(tài)學(xué)腐蝕運(yùn)算為

(7)

式中：x-i,y-j∈Df，i,j∈Dg；f代表圖像灰度值；g代表結(jié)構(gòu)元素的灰度值；Df是f的定義域；Dg是g的定義域。經(jīng)形態(tài)學(xué)腐蝕操作后，提高了Hough變換的檢測(cè)準(zhǔn)確性，大大縮短了Hough變換檢測(cè)的時(shí)間。

Hough變換是從圖像中識(shí)別出幾何形狀的基本方法之一，它具有很好的抗噪性、容錯(cuò)性和魯棒性。文獻(xiàn)[9-11]中給出了快速檢測(cè)圓的Hough變換的方法。本文根據(jù)停車線之外的4～5m距離所拍攝的交通燈圖片估計(jì)交通燈的半徑范圍，以高梯度像素作為圓心，通過(guò)投票累加的方式，計(jì)算累加器陣列的最值即為圓心的位置。如果圖像中沒有檢測(cè)到交通燈信息，在檢測(cè)階段直接給提示安全信息。

Hough變換檢測(cè)結(jié)果及交通燈位置如圖5所示。

圖5 Hough檢測(cè)及圓位置確定

1.4 圖像融合

圖像融合是對(duì)同一圖像經(jīng)過(guò)去噪，時(shí)間、空間配準(zhǔn)和重采樣后，運(yùn)用某種融合技術(shù)將兩幅或多幅圖像合成一幅更適合計(jì)算機(jī)檢測(cè)、分類、識(shí)別以及原始圖像無(wú)法表現(xiàn)某些特征的新圖像過(guò)程。根據(jù)信息表征層次的不同，圖像融合可分為像素級(jí)融合、特征級(jí)融合和決策級(jí)融合[12]。像素級(jí)圖像融合指的是直接對(duì)各幅圖像的像素點(diǎn)進(jìn)行信息綜合的過(guò)程，像素級(jí)融合算法有空間域和變換域算法兩種，空間域算法包括邏輯濾波法、對(duì)比度調(diào)制法、灰度加權(quán)平均法等，變換域算法包括小波變化法、金字塔分解法等。特征級(jí)圖像融合是在像素級(jí)融合的基礎(chǔ)上，對(duì)圖像進(jìn)行特征抽取后，將邊沿、形狀、輪廓等信息進(jìn)行融合處理的過(guò)程，方法包括模式相關(guān)法、參數(shù)模板法、統(tǒng)計(jì)分析法等。決策級(jí)圖像融合是在信息表示的最高層次上進(jìn)行的融合處理，主要在于主觀的要求，同樣也有一些規(guī)則，方法主要有貝葉斯法、表決法、D-S證據(jù)法等。根據(jù)本文提取交通燈背景板的要求，選擇像素級(jí)中的邏輯濾波過(guò)濾法。

邏輯濾波法是將圖像中的兩個(gè)或多個(gè)像素通過(guò)邏輯運(yùn)算合成一個(gè)像素的直觀方法。邏輯運(yùn)算包括“與”，“或”，“非”3種，運(yùn)算的結(jié)果為“0”(假)或“1”(真)，邏輯假在灰度圖像上表示為0，邏輯真在灰度圖像上表示為255。由于本文是清除掉交通燈面板的其他干擾信息，因此利用“與”濾波器，即

(8)

1.5 交通燈識(shí)別

對(duì)融合后圖像依據(jù)H閾值統(tǒng)計(jì)交通燈顏色信息，通過(guò)統(tǒng)計(jì)顏色信息判定交通燈的狀態(tài)，從而完成識(shí)別。在拍攝黃燈時(shí)，由于黃光透過(guò)玻璃罩周圍會(huì)反射出紅光，影響了判定結(jié)果。因此本文通過(guò)設(shè)定一個(gè)閾值，降低不利因素的影響，得出正確的判斷，假設(shè)在黃燈亮?xí)r的面積為100個(gè)像素，允許反射出紅燈，像素面積最大為45個(gè)像素，若超過(guò)45個(gè)像素，即紅色與黃色面積比超過(guò)0.45，提示報(bào)錯(cuò)處理。假設(shè)R, Y ,G分別為紅，黃，綠三色的總和，region是要統(tǒng)計(jì)的顏色區(qū)域，有

(9)

(10)

本文對(duì)融合后的圖像顏色進(jìn)行判定，流程圖如圖6所示。

圖6 顏色判定流程圖

2 實(shí)驗(yàn)結(jié)果與分析

2.1 實(shí)驗(yàn)環(huán)境與平臺(tái)

為了驗(yàn)證提出交通燈識(shí)別方法的有效性，本文利用索尼DSC-HX50相機(jī)采集早上和中午兩個(gè)時(shí)間段在河南省洛陽(yáng)市開元大道至西苑路所有交通路口的480張圖片作為實(shí)驗(yàn)測(cè)試數(shù)據(jù)，圖片的分辨率為5 184×3 888。實(shí)驗(yàn)測(cè)試所用計(jì)算機(jī)環(huán)境是：CPU為3.40 GHz，內(nèi)存為3.48 Gbyte，操作系統(tǒng)為Windows XP。

2.2 實(shí)驗(yàn)結(jié)果

圖7～圖9是交通燈的識(shí)別過(guò)程及結(jié)果。

2.3 識(shí)別結(jié)果及分析

為了驗(yàn)證該實(shí)驗(yàn)識(shí)別效果，對(duì)本文算法和文獻(xiàn)[2,4]算法進(jìn)行實(shí)驗(yàn)仿真并對(duì)結(jié)果進(jìn)行比較分析。正確識(shí)別率R為

圖7 紅燈檢測(cè)

圖8 黃燈檢測(cè)

(11)

式中：numright為正確識(shí)別的總數(shù)；numwrong為錯(cuò)誤識(shí)別總數(shù)。

3種算法的實(shí)驗(yàn)仿真結(jié)果對(duì)比如表1所示。

表1 實(shí)驗(yàn)結(jié)果對(duì)比

從表1中可以看出，在不同的時(shí)間段，本文算法的正確識(shí)別率基本保持穩(wěn)定狀態(tài)，在正確識(shí)別率上，本文算法比算法[2]平均提高了10.7%，和算法[2]大致相當(dāng)，但在時(shí)間上，要比算法[10]快很多。實(shí)驗(yàn)表明，本文算法具有更好的魯棒性、穩(wěn)定性、可行性。

3 結(jié)束語(yǔ)

本文提出了一種基于HSV色彩空間和形狀特征的交通燈識(shí)別方法，實(shí)現(xiàn)了交通燈的準(zhǔn)確定位與識(shí)別。本文首先使用H分割提取候選區(qū)域，然后通過(guò)預(yù)處理并結(jié)合Hough變換檢測(cè)目標(biāo)位置，最后通過(guò)候選區(qū)域與目標(biāo)位置進(jìn)行融合來(lái)識(shí)別交通燈。通過(guò)理論分析與仿真實(shí)驗(yàn)表明，該方法能夠完成復(fù)雜背景下的交通燈快速準(zhǔn)確的定位與識(shí)別，并且在噪聲及光照不均勻的情況下，都具有很好的魯棒性、可行性、穩(wěn)定性和高效性。

[1]KIMY K，KIMK W，YANGX L.Real time traffic light recognition system for color vision deficiencies[C]//Proc.IEEE International Conference on Mechatronics and Automation.[S.l.]：IEEE Press，2007: 76-81.

[2]YING Jie, CHEN Xiaomin, GAO Pengfei, et al.A new traffic light detection and recognition algorithm for electronic travel aid[C]//Proc.2013 Fourth International Conference on Intelligent Control and Information Processing.[S.l.]：IEEE Press, 2013: 644-648.

[3]OMACHI M, OMACHI S.Traffic light detection with color and edge information[C]//Proc.IEEE International Conference on Computer Science and Information Technology.[S.l.]：IEEE Press，2009：284-287.

[4]SHEN Y, OZGUNER U, REDMILL K, et al.A robust video based traffic light detection algorithm for intelligent vehicles[C]//Proc.Intelligent Vehicles Symposium.[S.l.]：IEEE Press, 2009: 521-526.

[5]童剛, 朱鴻博.圖像處理在交通燈判別中的應(yīng)用[J].微型機(jī)與應(yīng)用, 2013, 32(4): 88-90.

[6]RGB to HSV color conversion[EB/OL].[2014-05-10].http://www.rapidtables.com/convert/color/rgb-to-hsv.htm.

[7]MOHD ALI N, RASHID M, ALANG N K, et al.Performance comparison between RGB and HSV Color segmentations for road signs detection[J].Applied Mechanics and Materials, 2013(393): 550-555.

[8]GONZALEZ R C,WOODS R E,EDDINS S L.數(shù)字圖像處理：Matlab版[M].阮秋琦，譯.北京：電子工業(yè)出版社，2007：278-282.

[9]DAVIES E R.Machine vision: theory, algorithms, practicalities[M].3rd ed.[S.l.]：Morgan Kauffman Publishers，2005.

[10]ATHERTON T J，KERBYSON D J.Size invariant circle detection[J].Image and Vision Computing，1999，17(11)：795-803.

[11]YUEN HK，PRINCEN J，ILLINGWORTH J，et al.Comparative study of Hough transform methods for circle finding[J].Image and Vision Computing，1990，8(1)：71-77.

[12]毛士藝，趙巍.多傳感器融合技術(shù)綜述[J].北京航空航天大學(xué)學(xué)報(bào)，2002，28(5):512-518.

朱永珍(1985— )，女，碩士生，主研圖像處理、模式識(shí)別；

孟慶虎(1962— )，博士，博士生導(dǎo)師，IEEE/ASME Transactions on Mechatronics編輯，IEEE Transactions on Fuzzy Systems副編輯，International Journal of Information Acquisition副主編, Journal of Advanced Computational Intelligence and Intelligent Informatics, Journal of Control and Intelligent Systems, 和 Advanced Robotics 的編委以及多個(gè)國(guó)際學(xué)術(shù)會(huì)議的大會(huì)總主席，程序委員會(huì)主席和組委會(huì)成員等；

普杰信(1959— )，博士，博士生導(dǎo)師，IEEE ICMA國(guó)際會(huì)議理事會(huì)理事，河南省計(jì)算機(jī)學(xué)會(huì)副理事長(zhǎng)，河南省高校計(jì)算機(jī)教育研究會(huì)副理事長(zhǎng)等，主要研究方向?yàn)樾畔⑻幚砼c智能系統(tǒng)、神經(jīng)網(wǎng)絡(luò)與神經(jīng)計(jì)算、計(jì)算機(jī)網(wǎng)絡(luò)與信息安全。

責(zé)任編輯：薛 京

Traffic Light Auto-recognition Based on HSV Color Space and Shape Feature

ZHU Yongzhen1, MENG Qinghu1,2, PU Jiexin1

(1.DepartmentofInformationEngineering，HenanUniversityofScienceandTechnology，HenanLuoyang471003，China； 2.DepartmentofEngineering，ChineseUniversityofHongKong，Hongkong999077，China)

Traffic light is an important signal that ensures vehicle running smoothly and orderly. It also can improve safety of drivers who are color-blind.In order to recognize the traffic light correctly in complex environment, the traffic light recognition automatically is described.Firstly, by converting the color space form RGB to HSV, the candidate regions of traffic light are extracted using the H,which bases on the independence between H and V in HSV color space.At the same time, RGB image is turned into gray and after preprocessing and gray-scale morphological operation for the gray image, by using a method on the basis of the Hough transform is applied to detect the region that approximate location of the circle shape.Finally,the suspected location of the target regions and candidate regions are fused by using logical filtering, color distribution combined with the position of circle shape to recognize the traffic light.In this process, contrast enhancement and morphological operations and so on are also used.This experiments show that this method is robustness, stability and efficiency.

traffic light recognition; HSV color space; H segmentation; Hough; image fusion

國(guó)家自然科學(xué)基金項(xiàng)目(61301230)，河南省重點(diǎn)科技攻關(guān)計(jì)劃項(xiàng)目(092102210293)

TP317.4

B

10.16280/j.videoe.2015.05.036

2014-07-01

【本文獻(xiàn)信息】朱永珍，孟慶虎，普杰信.基于HSV色彩空間與形狀特征的交通燈自動(dòng)識(shí)別[J].電視技術(shù),2015，39(5).