肖志濤,樊佩茹,耿 磊,張 芳
(天津工業(yè)大學(xué) 電子與信息工程學(xué)院,天津300387)
近年來,國內(nèi)外已有很多的關(guān)于交通標(biāo)志檢測的研究。S.Bascon等結(jié)合交通標(biāo)志的顏色和形狀信息,利用基于高斯核的支持向量機(jī)對各種交通標(biāo)志進(jìn)行分類[1];P.Siegmann等根據(jù)圖像中交通標(biāo)志的亮度信息和反射性測量的基本原理進(jìn)行標(biāo)志的定位[2];Gary Overett等設(shè)計了一種駕駛員輔助系統(tǒng),該系統(tǒng)在檢測技術(shù)上主要采取形狀識別的方法,在晴天時可準(zhǔn)確識別各種交通標(biāo)志,并按照交通標(biāo)志對駕駛員進(jìn)行警告和提醒,但在陰雨天氣時識別效果卻不夠理想[3];文獻(xiàn) [4]利用最穩(wěn)定極值域的方法找出可能含有交通標(biāo)志的ROI區(qū)域,然后用HOG特征訓(xùn)練級聯(lián)的SVM分類器對其進(jìn)行識別。
王永飛等通過分析中國道路限速標(biāo)志的顏色和幾何形狀2種先驗特征,結(jié)合Adaboost算法提出了一種基于圓覆蓋的顏色濾波方法,采用基于梯度信息的Hough變換檢測出圖像中的圓和橢圓區(qū)域,從而進(jìn)行限速標(biāo)志的檢測[5]。鄧曉等提出了一種使用稀疏模式的字典學(xué)習(xí)方法收集交通標(biāo)志信息,對交通標(biāo)志進(jìn)行定位[6]。楊恒等提出了一種基于SURF特征描述符的車載交通標(biāo)志識別系統(tǒng),采用RBFilter濾波器找出圖像中的ROI區(qū)域,提取其SURF特征描述符并與基準(zhǔn)數(shù)據(jù)庫中的交通標(biāo)志描述符進(jìn)行搜索匹配,完成交通標(biāo)志的檢測[7]。陳娜等在HSI顏色空間中對圖像進(jìn)行顏色分割,采用改進(jìn)的基于梯度方向角的方法進(jìn)行圓檢測,實現(xiàn)交通標(biāo)志的粗定位,然后采用ASM模型進(jìn)行限速標(biāo)志的識別[8]。
運(yùn)用現(xiàn)有方法檢測速度標(biāo)識牌時,在良好天氣條件下其準(zhǔn)確率和實時性能滿足要求,但在陰雨天、夜間等天氣、光照較差條件時,檢測效果并不理想。為解決這一問題,本文提出了一種基于徑向?qū)ΨQ變換的速度標(biāo)識牌檢測方法。該方法利用徑向?qū)ΨQ變換的特性定位圖像中的圓對稱區(qū)域,然后根據(jù)速度標(biāo)識牌內(nèi)部的數(shù)字特征排除偽目標(biāo),實現(xiàn)標(biāo)識牌的正確檢測。
為增加環(huán)境適應(yīng)性,本文采用灰度圖像進(jìn)行處理。
速度標(biāo)識牌的檢測主要包括2部分:①標(biāo)識牌的粗定位:利用徑向?qū)ΨQ變換的特性定位出圖像中的圓對稱區(qū)域;②偽目標(biāo)的排除:根據(jù)速度標(biāo)識牌的內(nèi)部特征排除誤檢。
徑向?qū)ΨQ變換[9]是在廣義對稱變換的基礎(chǔ)上發(fā)展出來的一種簡單、快速的基于梯度的目標(biāo)檢測算法,能在一個或多個半徑中檢測出具有對稱性的目標(biāo)。道路圖像中,相比于天空、地面、樹木、護(hù)欄、汽車等非圓目標(biāo),速度標(biāo)識牌具有良好的圓對稱性。因此,根據(jù)這一特征,可以通過檢測圖像中的圓對稱區(qū)域?qū)崿F(xiàn)速度標(biāo)識牌的粗定位。
進(jìn)行徑向?qū)ΨQ變換時,本文利用梯度的方向信息求出投影圖,突出圖像中的圓對稱區(qū)域,找出圓心。然后根據(jù)平面幾何的性質(zhì)確定圓。由于梯度的方向信息對圖像亮度和對比度的魯棒性高,使得本方法能適應(yīng)不同天氣、不同時段下道路視頻的檢測。
圓對稱區(qū)域檢測流程如圖1所示。
具體計算步驟如下:
(1)將圖像分別與Sobel水平算子和垂直算子進(jìn)行卷積,求出邊緣梯度圖像g(p);
(2)初始化迭代參數(shù),設(shè)置起始搜索半徑為Rmin,終止搜索半徑為Rmax,對在半徑集合R內(nèi)變化的每個ri定義為
(3)計算灰度圖像上每個像素點p處的梯度方向及距離為r的正反方向映射點的位置p+ve(p)和p-ve(p),為
映射點位置如圖2所示。
(4)對每個映射點對做如下操作,求出梯度方向映射圖On
(5)累加半徑集合R中每個半徑值對應(yīng)的梯度方向圖Or得出徑向?qū)ΨQ強(qiáng)度圖FR,為
(6)為降低噪聲的干擾,選用一個3×3的窗AR,以圓心候選點為窗口中心,對FR濾波,得出SR
(7)對SR進(jìn)行歸一化操作,得到結(jié)果圖S,設(shè)置徑向?qū)ΨQ強(qiáng)度閾值Tgray濾出滿足條件的點作為圓心候選點
(8)根據(jù)圓心候選點的坐標(biāo)從圖像中分割出圓對稱區(qū)域并保存。
圓對稱區(qū)域的檢測結(jié)果如圖2所示。
圖2 圓對稱區(qū)域的檢測結(jié)果
汽車行駛過程中,隨著距離、角度的變化,視頻中的標(biāo)識牌可能會形變?yōu)闄E圓。本文方法遍歷一個給定的半徑范圍,計算自適應(yīng)閾值,可以檢測到輕度、中度形變的圓形目標(biāo)。如圖3所示。因此,該方法對標(biāo)識牌形變具有較好的魯棒性。
利用徑向?qū)ΨQ變換的圓檢測算法能有效定位圖像中的圓對稱區(qū)域,但檢測出的區(qū)域中不僅含有速度標(biāo)識牌,還含有其他圓形目標(biāo),要進(jìn)行排除。
圖3 形變的標(biāo)識牌檢測結(jié)果
偽目標(biāo)可分為2類。第1類是圓形偽目標(biāo),如汽車備胎、路燈光暈等,如圖4所示。第2類是非速度標(biāo)識牌的圓形交通標(biāo)志,如各種禁止標(biāo)志和指示標(biāo)志等,如圖5所示。
圖4 圓形偽目標(biāo)
圖5 非速度標(biāo)識牌的圓形交通標(biāo)志
對第1類偽目標(biāo),通過分析候選區(qū)域內(nèi)部灰度的分布來排除。速度標(biāo)識牌內(nèi)部由白色底和黑色數(shù)字組成,前景和背景的灰度差異較大,邊緣處灰度值跳變明顯;而如汽車備胎、路燈光暈等圓形目標(biāo)內(nèi)部的灰度分布較均勻。據(jù)此可以排除該類非標(biāo)識牌的誤檢。
對第2類偽目標(biāo),根據(jù)速度標(biāo)識牌內(nèi)部的數(shù)字特征排除。將候選圖像自適應(yīng)二值化后,提取交通標(biāo)志內(nèi)部的黑色連通區(qū)域,如果連通區(qū)域滿足以下任意一個條件,則認(rèn)為是誤檢:
(1)Nconnected<2或Nconnected>3,Nconnected是交通標(biāo)志內(nèi)部連通區(qū)域的個數(shù)。
(2)hmax/hmin>0.2,hmax是連通區(qū)域外接矩形的最大高度,hmin是最小高度。
(3)hi<0.25*H,hi是任意一個連通區(qū)域外接矩形的高度,H是交通標(biāo)志外接矩形的高度。
偽目標(biāo)排除的流程如圖6所示。
濾除結(jié)果如圖7所示。
圖7 不同交通標(biāo)志內(nèi)部圖案的連通域
為驗證上述算法的有效性,本文實地拍攝多種環(huán)境的道路視頻對算法進(jìn)行實驗,分析了算法檢測率、誤檢率、漏檢率、檢測速度等技術(shù)指標(biāo),取得了較為理想的實驗結(jié)果。視頻樣本主要采集路段為天津市內(nèi)快速路及周邊的高速路,采集到的文件涵蓋晴天、陰天、雨天和霧天4種天氣條件下6:00~22:00的道路圖像。統(tǒng)計數(shù)據(jù)見表1和表2,表中可以看出,白天速度標(biāo)識牌的正確檢測率為98.54%,早晨和晚上速度標(biāo)識牌的正確檢測率為95.5%。
實驗統(tǒng)計過程中發(fā)現(xiàn),誤檢錯誤主要出現(xiàn)在檢測視頻圖像中限重標(biāo)志時,由于采集到的圖像質(zhì)量良莠不一,部分限重標(biāo)志圖像內(nèi)部字母信息丟失而將其誤判為速度標(biāo)識牌。漏檢錯誤主要出現(xiàn)在速度標(biāo)識牌遮擋較多、嚴(yán)重變形、光線特別昏暗或圖像極其模糊時,提取到的標(biāo)識牌圖像輪廓信息不夠完整而使得目標(biāo)檢測失敗。
圖8 、圖9和圖10為不同場景下速度標(biāo)識牌檢測的實驗結(jié)果。
表1 速度標(biāo)識牌檢測結(jié)果統(tǒng)計一
表2 速度標(biāo)識牌檢測結(jié)果統(tǒng)計二
圖8 不同天氣條件下的實驗結(jié)果
圖9 不同時段時的實驗結(jié)果
圖10 不同路段上的實驗結(jié)果
本方法在主頻2.93GHz、內(nèi)存2G字節(jié)的PC機(jī)上處理時間為35~45ms/frame。與幾種同類檢測速度標(biāo)識牌的算法在處理時間、圖像分辨率和所用硬件平臺的比較結(jié)果見表3。由于文獻(xiàn) [10-12]處理的圖像都是在白天采集得到的,所以本文也選擇白天的實驗結(jié)果進(jìn)行比較。從表中可知,本文方法提高了檢測率,滿足實時性的要求。
表3 本文方法與其他幾種方法的比較
本文對實際道路視頻中速度標(biāo)識牌的檢測方法進(jìn)行了研究。利用徑向?qū)ΨQ變換的圓檢測方法粗定位標(biāo)識牌,通過分析標(biāo)識牌內(nèi)部的數(shù)字特征排除偽目標(biāo),提高了速度標(biāo)識牌檢測的準(zhǔn)確率,此外,應(yīng)用本文方法初步實現(xiàn)了夜間條件下的目標(biāo)檢測。實驗結(jié)果表明,該方法在不同天氣條件、不同時段和不同道路環(huán)境下均能準(zhǔn)確檢測出速度標(biāo)識牌,白天的平均檢測率為98.54%,早晨和晚上的平均檢測率為95.50%,系統(tǒng)處理時間為35~45ms/frame,準(zhǔn)確率高,魯棒性強(qiáng)。
[1]Saturnino Maldonado-Bascon,Sergio Lafuente-Arroyo.Roadsign detection and recognition based on support vector machines[J].IEEE Transactions on Intelligent Transportation Systems,2007,8 (2):264-278.
[2]Philip Siegmann,Roberto Javier Lopez-Sastre.Fundaments in luminance and retroreflectivity measurements of vertical traffic signs using a color digital camera [J].IEEE Transactions on Instrumentation and Measurement,2008,57 (3):607-615.
[3]Gary Overett,Lars Petersson.Boosting a heterogeneous pool of fast hog features for pedestrian and sign detection [C]//Intelligent Vehicles Symposium,2009:1-7.
[4]Jack Greenhalgh, Majid Mirmehdi.Real-time detection and recognition of road traffic signs [J].IEEE Transactions on Intelligent Transportation Systems,2012,13 (4):1498-1506.
[5]WANG Yongping.Research on speed limit sign recognition system based on DSP [D].Changsha:National University of Defense Technology,2009 (in Chinese).[王永平.基于DSP的限速標(biāo)志識別系統(tǒng)研究 [D].長沙:國防科學(xué)技術(shù)大學(xué),2009.]
[6]Deng Xiao,Wang Donghui.Traffic sign recognition using dictionary learning method [C]//WRI Global Congress on Intelligent Systems,2010:372-375.
[7]YANG Heng,LIU Xiaolin.Real-time on vehicle traffic sign recognition system based on SURF [J].Microcomputer Information,2011,27 (6):101-102 (in Chinese).[楊恒,劉肖琳.基于SURF的車載實時交通標(biāo)志識別系統(tǒng) [J].微計算機(jī)信息,2011,27 (6):101-102.]
[8]CHEN Na.Research on recognition method of speed limit signs based on ASM model[D].Shenyang:Liaoning University,2011(in Chinese).[陳娜.基于ASM模型的限速標(biāo)志識別方法的研究 [D].沈陽:遼寧大學(xué),2011.]
[9]Hauagge DC,Snavel N.Image matching using local symmetry features[C]//Proceedings of IEEE Conference on Computer Vision and Patern Recognition,2012:206-213.
[10]Liu Wei,Liu Yujie.Real-time speed limit sign detection and recognition from image sequences [C]//International Conference on Artificial Intelligence and Computational Intelligence,2010:262-267.
[11]Liu Wei,Lv Jin.An efficient real-time speed limit signs recognition based on rotation invariant feature [C]//Proceedings of IEEE Intelligent Vehicles Symposium,2011:1000-1005.
[12]Huang Yea-Shuan,Le Yun-Shin, Cheng Fang-Hsuan.A method of detecting and recognizing speed-limit signs [C]//International Conference on Intelligent Information Hiding and Multimedia Signal Processing,2012:371-374.