基于特征匹配算法的交通標志牌檢測與識別

秦松　陳小玉　韓鵬　賈小林

摘要：隨著社會經(jīng)濟發(fā)展，機動車數(shù)量增加，智能交通系統(tǒng)將成為時代發(fā)展的必然要求。而交通標志識別是智能交通系統(tǒng)的重要環(huán)節(jié)，更是車輛自動導航的前提，具有重要的研究意義和應用價值。針對4類交通標志，即禁止掉頭、禁止前行、禁止左轉(zhuǎn)、禁止右轉(zhuǎn)，從以下幾個方面進行研究：（1）基于RGB顏色空間進行闕值分割；（2）通過標志連通域比例進行提取；（3）基于現(xiàn)實情況，構造多場景下的訓練集，進行訓練識別。實驗結(jié)果顯示，該算法可有效的識別出不同光照條件下發(fā)生變形、縮放及旋轉(zhuǎn)后的交通標志牌，交通標志牌識別準確率達到了92%。

關鍵詞：交通標識； 標識提?。?標識分割； SVM

中圖分類號：TP302 文獻標識碼：A 文章編號：1009-3044（2018）11-0192-04

Traffic Signboard Detection and Recognition Based on Feature Matching Algorithm

QIN Song， CHEN Xiao-yu ，HAN Peng ，JIA Xia-Lin*

（College of Computer Science and Technology，SouthWest University of Science and Technology，Mianyang 621000，China）

Abstract：With the development of society and economy， the increase in the number of motor vehicles， the intelligent transportation system will become an inevitable requirement for the development of the times. Traffic sign recognition is an important part of ITS， and it is also a precondition in vehicle automatic navigation. So it has important research significance and application value. This article aims at four types of traffic signs，namely， prohibiting U-turn， prohibiting forward turn， no left turn， no right turn， and the following aspects are studied： （1） Threshold segmentation based on RGB color space （2）Extraction based on the proportion of connectivity domain（3）Based on the actual situation， the training set under multi-scene is constructed and trained.The experimental results show that the algorithm can effectively identify the traffic signs with deformation， scaling and rotation under different light conditions，and t the traffic sign recognition accuracy reaches 92%.

Key words： traffic identification； dentification extraction； identification segmentation； SVM

1引言

智能交通系統(tǒng)（Intelligent Traffic System，簡稱ITS），是將先進的科學技術有效地集成運用于整個交通運輸管理體系，而建立起來的一種在大范圍內(nèi)發(fā)揮作用的，高效的綜合運輸管理系統(tǒng)。在智能交通系統(tǒng)中，如何識別交通標識是非常重要的。交通標識的識別要求分類正確，速度快，對圖像的平移、旋轉(zhuǎn)變換，光照強度，天氣因素不敏感。

近幾年來，基于視頻交通標志牌的研究有了很大進展，各種算法被相繼提出。文獻[1]提出了一種通過特征互補方式來提高標志圖像的識別方法，但是在干擾情況下，準確率會降低。文獻[2]采用模塊匹配的方法可以識別出不同類型的交通標志，但是由于模板數(shù)量之多，在識別時不具有實時性。文獻[3]基于不變矩和SVM方法對原形標志圖像進行識別，具有良好的分類能力，具有較好的識別率，但僅對圓形交通交通標志有效，不具有實用性。

本文首先對圖像分析進行RIO（region of interest）提取，接著對提取出來的圖像進行訓練集構造[4]，最后對圖像進行訓練和交通標識符識別。實驗表明，當拍攝點距離交通標識牌2.5米-3.5米，交通標識牌呈像長寬比在0.9-1.1、且光照正常時，該方法的識別正確率可達92%，能夠在車輛導航中對交通標識進行實時的識別。

2 RIO提取

2.1顏色特征分析

本文中要識別的交通標志形狀主色為紅色，但在自然場景中由于光照情況的不同，比如在不同天氣，位置下拍攝的交通標志顏色上會出現(xiàn)明顯的色差和色散。特別在夜間行駛時，汽車燈光的照射是從下到上，使得拍攝的交通標志下半部分顏色比較鮮艷明亮，而上半部分的顏色卻比較暗。在白天行駛時，太陽光從上方、側(cè)方照射下來或者路邊樹木枝葉的遮擋，可能會導致拍攝照片出現(xiàn)部分區(qū)域顏色較暗，部分區(qū)域亮度過高甚至反光等問題。在雨天、陰天等光線不良的天氣下行駛時，拍攝的圖片整體會偏暗。為了避免以上自然條件下對目標區(qū)域顏色的影響導致ROI區(qū)域識別錯誤，實驗在識別的時候是通過計算圖片上該像素點的rgb顏色的r值的比例來提取的，若顏色值r的比例超過設置的閾值就將其顏色設置為255，否則設為0，此方法避免了光照影響結(jié)果。

2.2 形狀特征分析

本文中要識別的交通標志形狀為標準圓形，那么如果是從正前方拍攝，將得到一個圓形的交通標志，但如果道路上的交通標志沒有受到很好的維護，就可能已經(jīng)發(fā)生了傾倒，歪斜，或者我們拍攝交通標志時與交通標志的角度變化，導致拍攝到的交通標志并不是標準的，而是有一定的形變，在自然場景中，我們拍攝的交通標志往往是有一定形變的橢圓形。比如在本文中識別的交通標志的外邊線是紅色的標準圓，但在拍攝圖片中往往是以橢圓形呈現(xiàn)，如圖1所示，那么根據(jù)顏色特征變換后的圖像中目標區(qū)域就是橢圓形。所以在實驗中，識別目標區(qū)域時也采用了設置閾值的方法，從而識別出正確的ROI區(qū)域。

2.3 提取方案

本次實驗中根據(jù)交通標志的顏色特征[5]將圖片中與標志無關的背景和雜質(zhì)去除，將圖片變換成只含紅色和黑色的區(qū)域（如圖2中a所示）。然后將圖片二值化（如圖二中b所示），求出圖片中的連通域，保存連通域的Bounding Box 。標準的交通標志區(qū)域的Bounding Box將會是個正方形，但考慮到自然場景下拍攝圖片的角度等問題使圓產(chǎn)生的形變而導致連通域也有一定程度的形變，所以本實驗中根據(jù)形變程度設置Bounding Box長寬比例閾值，過濾出閾值范圍內(nèi)的Bounding Box（如圖2中c所示），選擇面積最大的那個聯(lián)通域即為交通標志目標區(qū)域（如圖2中d所示）。

3 訓練集構造

3.1特定光線角度分析

在自然場景中由于天氣原因?qū)е铝斯庹諒姸?，光源位置，反射強度的不同，其中白天太陽照射導致的反光、夜間車輛的車燈導致的反光以及下雨情況下導致的光照反射強度減弱是典型代表。

在白天，反光的光源來自于太陽，處于交通標志牌的上方，當從交通標識符的下方，也就是車里面進行觀察時就會看到標識符的上半部分亮度更高，而下半部分亮度角度較低。效果如圖3所示：

在夜間，反光的光源來自于車燈，處于交通標志牌的下方，當從交通標識符的下方，也就是車里面進行觀察時就會看到標識符的下半部分亮度更高，而上半部分亮度角度較低。效果如圖4所示：

在雨天，交通標識符上會有雨水，雨水的存在會導致折射的光線減弱。但是由于雨水會受到重力的作用，所以雨水的分布只會在豎直方向上呈現(xiàn)遞增分布；在水平方向上則會表現(xiàn)為均勻分布，這樣就使得反射光線在豎直方向上有變化，在水平方向上不會受到太大的影響。

綜上三點所述，在制作訓練集的時候就只需要考慮在豎直方向上引起的亮度變化，而且這個變化應該是非線性的梯度變化。

3.2視覺角度分析

當用戶看交通標識牌時會有不同的視角，而在不同的視角下看到的交通標識牌會有不一樣的情況，這些都會對交通標識牌的識別產(chǎn)生影響，因此要訓練在同一光照條件下多個角度下的交通標識牌，來消除視覺角度對識別的影響。如圖5中的a，b，c，d就分別是在同一光照條件下，訓練出來的幾個不同視角的交通標識牌。

3.3訓練集生成

根據(jù)前面對于光照和圖像扭曲的分析，可以得到與之對應的訓練集。主要包括兩個方面：一是按照其亮度變化的規(guī)律，改變標準交通標識符的亮度；二是根據(jù)視覺角度分析進行標準圖片的扭曲和傾斜，模擬現(xiàn)實中因為角度不同造成的圖像變化情況。具體做法如下：

采用豎直區(qū)域上的分段方法，對于交通標識符的進行亮度調(diào)整。這里需要根據(jù)具體的圖片進行參數(shù)調(diào)整。

采用數(shù)學中的透視變換[6]來對圖像進行圖像形變，變化的函數(shù)原理如下：

透視變換（Perspective Transformation）是將圖片投影到一個新的視平面（Viewing Plane），也稱作投影映射（Projective Mapping）。通用的變換公式為：

[x'，y'，w'=u，v，wa11a12a13a21a22a23a31a32a33] （1）

對于原始圖片的左邊u，v，經(jīng)過矩陣變換之后得到對應的圖片坐標x，y其中[x=x'/w'，y=y'/w']。

變換矩陣[a11a12a13a21a22a23a31a32a33]是由4個部分組成：第一部分是表示線性變換的[a11a12a21a22]；第二部分是表示平移的[a31，a32]；第三部分是表示透視變換的[a13，a23T]。

重寫公式（1）可以得到：

[x=x'w'=a11u+a21v+a31a13u+a23v+a33y=y'w'=a12u+a22v+a32a13u+a23v+a33] （2）

根據(jù)上面的公式，就可以通過矩陣的參數(shù)來得到仿真的變形效果。

有了這兩步之后，就可以把圖像的亮度變化和形變進行排列組合，得到訓練集。本次實驗訓練是四種交通標識符，訓練集包括139968張圖片，每種交通標識符34992張圖片，里面包括9種光照梯度，3888種角度變化。

4 訓練和交通標識匹配

采用opencv中的SVM[7]進行訓練，其中負訓練集是其他標識符圖片，每種交通標識符在訓練后生成一個XML文件。在運行時讀入這些XML文件，然后將前面在現(xiàn)實圖片中提取的ROI區(qū)域進行模式匹配，得到答案。識別結(jié)果如圖6所示：

5 實驗結(jié)果分析

實驗采用控制變量法，對每個因素的影響采用100個樣例進行識別并統(tǒng)計識別的正確率，對比分析每個自然因素對結(jié)果的影響。

5.1距離對識別正確率的影響

本實驗測試了2到10米范圍內(nèi)，每個距離下對100個該距離上拍攝的樣例進行識別，實驗結(jié)果如圖7所示：

5.2光照對識別正確率的影響

本實驗測試了10種光照強度，光照由弱到強過渡，每個光照強度下對100張樣例進行識別并統(tǒng)計出其識別正確率，實驗結(jié)果如圖8所示：

5.3拍攝角度（圖像扭曲程度）對識別正確率的影響

由于自然場景下不同拍攝角度會導致的拍攝圖像形成不同扭曲程度，導致在提取時目標區(qū)域長寬比例不同，本實驗即根據(jù)對不同的長寬比例的目標區(qū)域進行識別，每一比例下對100張樣例進行識別并統(tǒng)計其識別正確率，實驗結(jié)果如圖9所示：

6 結(jié)論

本文針對交通標志牌特點，利用顏色來對交通標識牌進行特征提取，通過判斷連通域來對交通標志牌區(qū)域提取，然后利用分類器[8]，實現(xiàn)交通標志牌識別。實驗結(jié)果表明，該算法可以有效的識別出不同光照條件下發(fā)生變形、縮放或者旋轉(zhuǎn)后的交通標志牌，準確率達92%。但本文的研究還是存在著不足之處，當環(huán)境中同時出現(xiàn)2個以上交通標識中，無法對2個都進行識別，只能識別其中面積最大的一個交通標識。只能對帶有紅色的禁止標識進行識別。后續(xù)將對其進一步改善。

參考文獻：

[1] 戈俠. 基于分塊自適應融合特征的交通標志識別[J]. 計算機工程與應用，2017，53（3）：188-192.

[2] 郝博聞. 基于顏色空間和模板匹配的交通標志檢測方法[J]. 智能計算機與應用，2016，6（4）：20-22.

[3] 張震等. 基于不變矩和SVM的圓形交通標志識別方法研究[J]. 電子測量與儀器學報，2017，31（5）：773-779.

[4] 江春宇. 交通標志的自動檢測和識別[D]. 蘇州大學， 2015.

[5] 金旭暉. 基于區(qū)域顏色分割的交通標志檢測和識別[J].電氣自動化， 2016， 38（3）：14-16.

[6] 郭曉冉， 崔少輝. 透視變換模型的Harris圖像配準[J].微電子學與計算機，2014（4）：18-22.

[7] 唐銀鳳. 基于多特征提取和SVM分類器的紋理圖像分類[J].計算機應用與軟件，2011，28（6）：22-25.

[8] 葉陽陽. 交通標志檢測和識別算法研究[D]. 北京交通大學，2015.