基于區(qū)域顏色分割的交通標(biāo)志檢測和識別

金旭暉

(上海交通大學(xué) 電信學(xué)院自動化系,上海 200030)

?

基于區(qū)域顏色分割的交通標(biāo)志檢測和識別

金旭暉

(上海交通大學(xué) 電信學(xué)院自動化系,上海 200030)

現(xiàn)在的高端汽車市場上汽車駕駛輔助攝像系統(tǒng)是一大亮點，研究工作致力于提供一個軟件算法來實現(xiàn)駕駛輔助系統(tǒng)中實時交通標(biāo)志檢測和識別的功能。算法的每一步設(shè)計都盡量不影響其實時性，基于HSI顏色空間，使用了新型的基于區(qū)域的快速顏色分割，結(jié)合分層技術(shù)和簡單閾值處理，可以快速地按顏色分層得到采樣圖像中可能含有標(biāo)志的感興趣區(qū)域；再在此區(qū)域結(jié)合數(shù)學(xué)形態(tài)學(xué)的膨脹運算以便識別區(qū)域形狀。最終基于最后輸出的感興趣區(qū)域掩模原圖像的亮度分量，用邊緣方法提取邊緣方向的統(tǒng)計特征，進(jìn)行基于內(nèi)容的圖像檢索(CBIR)。初步實驗結(jié)果，對感興趣區(qū)域的檢測準(zhǔn)確率在90%以上。并且算法可以擴(kuò)展到大部分目前標(biāo)志數(shù)據(jù)圖庫中涉及的絕大部分標(biāo)志使用形狀。

交通標(biāo)志檢測和識別；基于區(qū)域的圖像分割；顏色直方圖；HSI顏色空間；數(shù)學(xué)形態(tài)學(xué)；形狀識別；基于內(nèi)容的圖像檢索(CBIR)

0 引 言

(1) 課題背景和研究意義

在城市交通壓力日益增加的今天，駕駛輔助系統(tǒng)已然成為消費者們新的關(guān)注點。作為當(dāng)今汽車制造商們都將其列為汽車駕駛輔助系統(tǒng)中的一大功能，實現(xiàn)道路交通標(biāo)志的檢測和識別，以輔助駕駛員在行駛過程中隨時意識到當(dāng)前的路況和法規(guī)。

作為全球各大智能汽車駕駛輔助系統(tǒng)開發(fā)商的不約而同的開發(fā)重點，交通標(biāo)志識別是其中一大功能，這關(guān)乎新一代智能汽車的行車舒適性和安全性。本課題研究的問題的提出本身具有實現(xiàn)的價值，同時也是基于已有的可用的硬件系統(tǒng)，具有可產(chǎn)品化的潛質(zhì)。據(jù)2012年的一份關(guān)于智能駕駛輔助系統(tǒng)中基于視覺的交通標(biāo)志檢測和分析的調(diào)查研究[1]，MobilEye公司專注于協(xié)助駕駛員在駕駛過程中保障乘客安全和減少交通事故的視覺系統(tǒng)。作為公認(rèn)的開發(fā)高級駕駛輔助系統(tǒng)的先行者，MobilEye提供芯片搭載系統(tǒng)和計算機視覺算法，也提供EyeQ 和EyeQ2視覺處理器，允許其他的Tier1合作汽車零部件供應(yīng)商可以在一個視覺處理器平臺上集成多個基于計算機視覺的應(yīng)用，還可包括車道偏離警告、前方碰撞預(yù)警和前方交通標(biāo)志提示功能等。從而使集成產(chǎn)品更具商業(yè)優(yōu)勢。

交通標(biāo)志檢測和識別利用車載攝像機實時攝取道路前景圖像，通過數(shù)字圖像預(yù)處理和圖像分割，提取出有用交通標(biāo)志區(qū)域；再在感興趣區(qū)域內(nèi)進(jìn)行特征提取，然后在已知的圖像庫中搜索來實現(xiàn)“識別”具體標(biāo)志。

(2) 本文的研究方向和主要工作

本論文的目標(biāo)為尋找一個圖像處理算法，實現(xiàn)實時的中國大陸地區(qū)的交通道路標(biāo)志識別。方案應(yīng)具有一定的靈活性以適應(yīng)后期產(chǎn)品化過程中硬件的選擇和不同客戶需求的實現(xiàn)。算法主要關(guān)注快速圖像分割和形狀特征提取的方法、以及簡而有效的基于內(nèi)容的交通標(biāo)志庫圖像檢索的實現(xiàn)，以此來驗證前述方法的有效性。最終以提供一個快速有效的綜合方案。為今后以此為方向的駕駛輔助系統(tǒng)的研究開發(fā)工作探索繼續(xù)前進(jìn)的方向。

1 圖像分割和形狀識別

彩色圖像分割是按照彩色圖像的色彩規(guī)則將一幅圖像分成若干個部分，將圖像中有意義的特征區(qū)域提取出來。道路兩旁復(fù)雜的環(huán)境(如樹木、霓虹燈、特殊建筑墻體有近似顏色的、樓頂上的立體廣告文字等)等眾多因素使交通標(biāo)志影像的背景表現(xiàn)及其復(fù)雜,使交通標(biāo)志區(qū)域與周圍環(huán)境極易混淆,從而從復(fù)雜路況背景下高效分離出有效交通標(biāo)志信息是本文后續(xù)研究的基礎(chǔ)和關(guān)鍵。

1.1 基于底層視覺特征的圖像分割方法研究

圖像分割的方法有很多，參見文獻(xiàn)[2-7]。但又要快速又要準(zhǔn)確地應(yīng)用到交通標(biāo)志檢測中，仍很不理想。譬如使用邊緣檢測的方法，由于實際環(huán)境背景的復(fù)雜性，即使是經(jīng)過了平滑處理，也不能直觀地觀察到太多完整的線條。因而本文針對色度和飽和度的處理提出了基于顏色直方圖統(tǒng)計特征的快速區(qū)域分割。HSI顏色模型將圖像的彩色信息和亮度信息分離開，它由三個分量組成，Hue色度(H)、Saturation飽和度(S)和Intensity亮度(I)。在HSI顏色模型中，彩色特征閾值分割針對H一個分量來處理，就能達(dá)到不錯的效果。色度(H)空間是一個以紅色軸為0°軸的圓盤平面，其他彩色表示為以此軸按逆時針方向旋轉(zhuǎn)一定的角度到達(dá)該彩色點的位置，這個角度定義為色度值，范圍為0°～360°。

1.2 新型的基于顏色直方圖的區(qū)域快速分割法

根據(jù)顏色特征和處理速度問題，將原圖像960×1 280按簡單規(guī)橫縱切割，分成N×N=10×10或20×20的小塊圖像，在每個小塊區(qū)域內(nèi)，通過顏色的區(qū)域統(tǒng)計特征來決定該區(qū)域是否含有有用信息。小塊的具體尺寸應(yīng)視實際攝像機聚焦的遠(yuǎn)近距離和希望檢測的最小交通標(biāo)志的大小(遠(yuǎn)近景)和原始圖像的精度來確定。N不宜取太大，否則也會產(chǎn)生過度分割使感興趣區(qū)域形狀不規(guī)則；而N太小的話，起不到去除足夠多的背景的作用。

1) 區(qū)域色度特征直方圖統(tǒng)計特征

將色度平面(0°～360°)均為劃分為12個區(qū)間，并依次標(biāo)號為第1～12個色度級(例：色度范圍0°～30°屬于色度級1)。根據(jù)實驗數(shù)據(jù)庫圖標(biāo)的全統(tǒng)計，可以發(fā)現(xiàn)各類標(biāo)志的主要色度值范圍和統(tǒng)計頻數(shù)特征統(tǒng)計如表1所示。表中最后一行標(biāo)記為圖庫統(tǒng)計的色度級，基于H分量的直方圖色度級頻數(shù)特征。12個色度分級足以較好地區(qū)分各不同色調(diào)，且分級相對較寬的優(yōu)點還在于對因風(fēng)吹雨淋導(dǎo)致標(biāo)志牌的褪色程度的容忍性。

表1 直方圖分布中的交通標(biāo)志顏色特征相應(yīng)的Hue分量值

按照方法，本研究中將原始圖像按橫縱方向切割成20×20小塊，計算對應(yīng)每個塊區(qū)域的H直方圖進(jìn)行統(tǒng)計。統(tǒng)計顏色特征為上表中綠色和藍(lán)色作為標(biāo)志牌上的主要背景色，其色度直方圖中相應(yīng)色度級(6,8)也脫穎而出；而禁令標(biāo)志中只有邊緣紅圈部分，紅色面積較小。根據(jù)以下條件可較高快速地找到標(biāo)志所在的塊區(qū)域，如圖1所示。

根據(jù)以上統(tǒng)計，可以設(shè)定以下滿足任一條件以判斷該小塊區(qū)域中是否可能含有交通標(biāo)志：

(1) 統(tǒng)計該塊區(qū)域中黃色、綠色和藍(lán)色對應(yīng)的色度級像素點(1.a)頻數(shù)為最大或(1.b)頻數(shù)≥各級頻數(shù)平均值+2倍標(biāo)準(zhǔn)差；(概率統(tǒng)計分布參數(shù)評估)

(2) 統(tǒng)計該塊區(qū)域中紅色對應(yīng)的色度級(色度級11與12的頻數(shù)和)(2.a)頻數(shù)為最大或(2.b)頻數(shù)≥各級頻數(shù)平均值。

圖1 H分量的塊直方圖統(tǒng)計分割效果，塊區(qū)域20×20

以上圖例中幾乎所有標(biāo)志牌區(qū)域都在第四列的初步分割后效果圖中完整地被保留下來，除了白色標(biāo)志區(qū)域被漏檢，還部分包含了下方前車輪廓和周圍樹木背景，及高速路遠(yuǎn)景中景物和標(biāo)志牌周圍的部分樹木等，但只有局部小塊區(qū)域。

2) 區(qū)域飽和度特征直方圖統(tǒng)計

根據(jù)交通標(biāo)志飽和度高的特點，特別可以用于區(qū)別實際環(huán)境中背景中低飽和度的景物排除。根據(jù)實際采樣圖像統(tǒng)計，區(qū)域中如果沒有交通標(biāo)志，各像素點的飽和度總和平均較低。根據(jù)統(tǒng)計，可以設(shè)定滿足以下條件1)以判斷該小塊區(qū)域中是否可能含有交通標(biāo)志，否則為背景：

統(tǒng)計該塊區(qū)域中飽和度級為1，2，3(同Hue分量一樣，將飽和度分量的度量分為12個等級，而不是256以節(jié)省計算開銷)的頻數(shù)和≥Tb；Tb=0.9～0.98 。

所有N×N區(qū)域被標(biāo)記為0為背景，1表示可能有交通標(biāo)志。Tb的值越大直接濾出的背景越少；但Tb越小可以使背景更大程度地被剔除。但同上節(jié)1色度直方圖特征，標(biāo)志內(nèi)部白色的部分仍易被錯誤檢測為背景而產(chǎn)生空洞。如圖2所示。

圖2 基于S區(qū)域直方圖統(tǒng)計分割背景效果，Tb=0.97

3) 區(qū)域綜合評價分割

綜合以上兩個Hue分量和Saturation分量的塊區(qū)域直方圖統(tǒng)計特征可以分別被記錄下來，分別為顏色特征矩陣A_Feat_Hue_block, A_Feat_Sat_block,尺寸為N×N=20×20。

綜合兩個區(qū)域特征矩陣可以改善以下幾種誤檢測：

(1) 針對禁令標(biāo)志的紅圈在飽和度S分量中不突出的問題(有可能被誤判為背景)，通過判斷相應(yīng)色度特征值≥30，則同時設(shè)置飽和度特征為1 。

(2) 針對背景中樹木或廣告牌或立體廣告文字等飽和度較高、但使用不同于本課題中關(guān)注的四種色調(diào)的物體，通過判斷該塊區(qū)域色度特征值等于零，則同時飽和度特征清零 。

(3) 針對背景中樹葉顏色近似交通標(biāo)志所用綠色、但因生長于道路邊常有積灰等原因而飽和度值較低(<0.25)的背景物體，通過判斷該塊飽和度特征等于零，則同時清塊色度特征值為零。

1.3 使用分層技術(shù)的感興趣區(qū)域的細(xì)分割和使用形態(tài)學(xué)的形狀識別

由于基于感興趣區(qū)域的圖像檢索考慮得較多的是感興趣目標(biāo)的整體特征，而不僅僅是輪廓。因此采用的是區(qū)域技術(shù)而非邊界技術(shù)。而在上節(jié)基于Hue和Saturation分量區(qū)域統(tǒng)計分割后，實行以下算法步驟：(1) 進(jìn)一步對Hue采用顏色分層技術(shù)。對標(biāo)志顏色分別歸納到一個色度值；(2) 這樣在對重新標(biāo)色后的H分量圖上用閾值方法再次分割，得到更接近交通標(biāo)志本身形狀的感興趣區(qū)域，而不是前步中生硬的方塊；(3) 結(jié)合數(shù)學(xué)形態(tài)學(xué)的膨脹運算可以針對4個顏色層圖像充盈成具有平滑邊界的感興趣區(qū)域，此方法可保證最終得到的感興趣區(qū)域包含標(biāo)志邊界，輸出如圖3所示；(4) 基于此區(qū)域邊界可一一地計算區(qū)域分散度(又稱緊湊度即周長平方比面積P2/A，具體定義參見文獻(xiàn) [8])特征來識別區(qū)域形狀或直接丟棄過小的背景不規(guī)則形狀區(qū)域。此分散度屬性除了可以用來識別形狀還可以排除部分前階段中檢測到的非交通標(biāo)志的物體，如前車尾部上方的燈條等帶狀物等。

以上算法完成對當(dāng)前圖像的交通標(biāo)志檢測問題：(1) 有無交通標(biāo)志；(2) 幾個交通標(biāo)志；(3) 相應(yīng)的標(biāo)志形狀。

圖3 在H分量按4個色度層閾值分割的結(jié)果以及膨脹處理后的感興趣區(qū)域

本文使用的形態(tài)學(xué)的方法進(jìn)行形狀識別，可識別的目標(biāo)形狀對象如圖4所示。

圖4 各顏色層識別目標(biāo)對象

對應(yīng)形狀邊界標(biāo)記后輸出給下一步檢索用。輸出的邊界描述為{Bk,Lk,Ck,Sk},其中k=1,2,3,… 用來標(biāo)記檢測到的交通標(biāo)志區(qū)域數(shù)；Bk是對應(yīng)的標(biāo)志邊界鏈碼描述；Lk為經(jīng)過填充后的標(biāo)志區(qū)域，尺寸同原始圖像960×1 280；Ck為對應(yīng)標(biāo)志區(qū)域的主要色調(diào)特征；Sk為形狀描述。

以上結(jié)合應(yīng)用數(shù)學(xué)形態(tài)學(xué)的方法，采用自下而上(bottom-up)的方法，去除了位置和大小的不確定性，消除噪聲造成的標(biāo)志邊界斷裂，也使最終區(qū)域包含邊界，可去除無用的形狀物體，大大地節(jié)省了計算開銷。結(jié)合實現(xiàn)邊數(shù)的提取，可以成功解決檢測矩形長寬比值及長條箭頭形的五邊形，將指路標(biāo)志中這一類相關(guān)標(biāo)志再細(xì)分出來。

2 圖像交通標(biāo)志庫檢索

基于內(nèi)容的圖像檢索(Content-Based Image Retrieval)的基本思路[9]是:先通過對圖像內(nèi)容的分析,自動或半自動的從中抽取形狀、顏色、紋理等特征,并利用基于這些特征定義的相似性度量函數(shù)計算或評價特征之間的相似性,將最相似的一些圖像作為檢索結(jié)果返回給用戶。由于本文的研究對象很明確，為標(biāo)準(zhǔn)定義的中國大陸交通標(biāo)志，而數(shù)據(jù)圖庫也為標(biāo)準(zhǔn)標(biāo)志圖，檢索本身的工作并不復(fù)雜。這里對相似性量度的精度要求不是很高。

2.1 基于顏色與形狀先分類

根據(jù)輸出的邊界描述特征對{Ck,Sk}，可將檢測到的交通標(biāo)志先分類到紅色禁令、紅色指示(矩形標(biāo)志)，黃色警告、黃色警示(需補充數(shù)據(jù)圖庫)，藍(lán)色限速、藍(lán)色指示(矩形標(biāo)志)，還是綠色指路標(biāo)志類中。本文中所用交通標(biāo)志圖庫目前有251個標(biāo)志，按顏色分四類，每一類中按形狀可再分子類。這樣可以按線性倍數(shù)比例減少檢索的計算開銷。

2.2 基于邊緣方向特征的標(biāo)志庫檢索

使用{Bk,Lk}位置信息，將內(nèi)部填充后的Lk生成區(qū)域掩碼，用以在平滑濾波后的Intensity分量圖像中定位交通標(biāo)志,對Lk對應(yīng)的標(biāo)志圖像提取邊緣方向特征Hdir。輪廓的方向性計算參見文獻(xiàn)[10]。

根據(jù)交通標(biāo)志輪廓特征分析，可以將θ平面角度范圍[-90°,90°]離散化為9個均勻的方向區(qū)間。將各像素處方向梯度對應(yīng)到這9個區(qū)間構(gòu)造方向直方圖Hdir并且歸一化，此特征具有尺度不變性和一定的旋轉(zhuǎn)不變性。下一步基于內(nèi)容的圖像檢索是要根據(jù)邊緣方向特征作為圖像索引計算特征相似度歐氏距離來檢索所需的圖像。對前章中輸出的交通標(biāo)志區(qū)域按分類結(jié)果與標(biāo)志庫中同類標(biāo)志圖(若此類圖庫個數(shù)為M?251)計算M個邊緣方向特征的歐氏距離。將此M個歐氏距離值按升序排列。將前三個最小歐式距離值對應(yīng)的庫中標(biāo)志圖按順序顯示給用戶。

3 結(jié)束語

初步實驗結(jié)果，以上基于顏色區(qū)域分割的方法對感興趣區(qū)域的檢測準(zhǔn)確率在90%以上，形狀的邊界通過形態(tài)學(xué)處理后也易于通過形狀屬性識別。此可以擴(kuò)展到大部分目前標(biāo)志數(shù)據(jù)圖庫中涉及的絕大部分標(biāo)志使用形狀。

本文的算法的缺陷還在于，對白色標(biāo)志檢測的缺失，這將是未來工作的首要解決問題。

本文算法可期對于具有交通標(biāo)志檢測和識別功能的駕駛輔助系統(tǒng)的產(chǎn)品化提供一個理論基礎(chǔ)，基于目前已做的工作，還需根據(jù)市場完善使用的標(biāo)志庫，并將其按顏色、形狀進(jìn)行細(xì)分類，對提高檢測率也是至關(guān)重要的。

[ 1 ] A M?ELMOSE M M, TRIVEDI. Vision based traffic sign detection and analysis for intelligent driver assistance systems: perspectives and survey [J]. IEEE Trans. on Intelligent Transportation Systems, 2012, 13(4):1484-1497.

[ 2 ] 徐迪紅. 復(fù)雜背景下的交通標(biāo)志檢測和分類算法研究 [D]. 武漢:武漢大學(xué), 2011.

[ 3 ] 李紅林. 基于HSV顏色空間的山區(qū)道路中的車牌定位 [J]. 計算機時代, 2012,30(3):22-24.

[ 4 ] FU KEREN. Automatic traffic sign recognition based on saliency-enhanced features and SVMs from incrementally built dataset [C]. Vienna: IEEE ICCVE2014, 2015.

[ 5 ] 楊杰,黃朝兵.數(shù)字圖像處理及MATLAB實現(xiàn) [M]. 北京:電子工業(yè)出版社, 2011.

[ 6 ] NICOLAE DUTA. Learning-based detection, segmentation and matching of objects [D]. USA: Michigan State University, 2000.

[ 7 ] LIU H, LIU D, XIN J. Real-time recognition of road traffic sign in motion image based on genetic algorithm [C]. Beijing: Proceedings of the First International Conference on Machine Learning and Cybernetics, 2002, 11: 83-86.

[ 8 ] JESMIN F KHAN, SHARIF M A, BHUIYAN REZA R. Adhami. image segmentation and shape analysis for road-sign detection [J]. IEEE Trans. on Intelligent Transportation Systems, 2011, 12(1):1-14.

[ 9 ] 張華偉,孫勁光. 基于顏色與形狀圖像檢索的研究 [J]. 計算機仿真, 2009,26(11):207-210.

[10] RAFAEL C GONZALEZ, RICHARD E WOODS. Digital image processing using MATLAB [M]. Beijing: Publishing House of Electronics Industry, 2005.

Traffic Sign Detection and Recognition by Block-based Color Segmentation

Jin Xuhui

(School of Electronic Information and Electrical Engineering, Shanghai Jiao Tong University, Shanghai 200030, China)

In the high-end car market driving assistance camera system is a major attraction now; the research work is dedicated to providing a software algorithm to achieve real-time detection and recognition of traffic signs in driving assistant systems. Every step of the algorithm is designed to minimize the impact to its real-time nature. Based on HSI color space when it uses a new type method of fast block-based color segmentation and combines it with layering technology and simple threshold processing, it is possible to locate quickly as per to colored layers the interested regions in a sampling image which might contain the traffic signs. When dilation operation of mathematical morphology is used in this ROI the region shape may be identified. Based on the intensity vector of the original masked image finally output from the ROI, the statistical features at the edge directions are extracted for content-based image retrieval (CBIR). According to preliminary experimental results, the detection accuracy of the ROI is more than 90%. This algorithm can be extended to most of sign shapes involved in the traffic sign database.

traffic sign detection & recognition； block-based image segmentation； color histogram; HSI color space; mathematical morphology; shape recognition; content-based image retrieval(CBIR)

10.3969/j.issn.1000-3886.2016.03.005

TP391

A

1000-3886(2016)03-0014-03

金旭暉(1983-)，女，上海人，工程碩士生，專業(yè)方向：工業(yè)自動化。

定稿日期: 2016-01-13