基于多特征融合的交通標(biāo)識實時分類與識別

揭偉 李為相 李為

摘 ?要： 針對交通標(biāo)識分類識別過程中因樣本類別之間的不平衡常使分類器性能減弱且實時性較差的問題，提出一種基于多特征融合的交通標(biāo)識實時分類識別方法。首先，選取具有較強魯棒性的HSV顏色空間對標(biāo)識圖像進(jìn)行閾值分割處理，分割出交通標(biāo)識所在的感興趣區(qū)域;其次，提出一種HOG?MBLBP特征融合算法，通過支持向量機分類算法，實現(xiàn)交通標(biāo)識的精確分類識別;最后，針對視頻圖像中交通標(biāo)識識別實時性問題，采用自適應(yīng)卡爾曼濾波算法進(jìn)行交通標(biāo)識的跟蹤識別。實驗結(jié)果表明該方法具有97.88%的分類準(zhǔn)確率且具有較好的實時性。

關(guān)鍵詞： 交通標(biāo)識; HSV顏色分割; 特征融合; 支持向量機; 卡爾曼濾波; 跟蹤識別

中圖分類號： TN911.73?34 ? ? ? ? ? ? ? ? ? ? ? 文獻(xiàn)標(biāo)識碼： A ? ? ? ? ? ? ? ? ? ? ? ? 文章編號： 1004?373X（2019）11?0050?04

Abstract： In the classification and recognition process of traffic signs， the imbalance among the sample categories makes the classifier performance weak and real?time performance poor. Therefore， a traffic signs real?time classification and identification method based on multi?feature fusion is presented. The HSV color space with strong robustness is selected to segment the threshold of the sign image， and the region of interest of traffic signs is divided. A HOG?MBLBP feature fusion algorithm is proposed to realize the accurate classification and identification of traffic signs by combining it with support vector machine classification algorithm. The adaptive Kalman filtering algorithm is used to perform the traffic signs tracking and identification to solve the real?time performance problem of traffic signs in video image. The experimental results show that the method has the classification accuracy of 97.88%， and perfect real?time performance.

Keywords： traffic sign; HSV color segmentation; feature fusion; support vector machine; Kalman filtering; tracking recognition

0 ?引 ?言

交通標(biāo)識的檢測與分類識別是無人駕駛系統(tǒng)和駕駛員輔助系統(tǒng)的重要組成部分。常用的交通標(biāo)識檢測方法有基于形狀[1]和顏色[2?3]的檢測方法、基于形狀與顏色相結(jié)合的檢測方法[4]，以及基于特征和分類器的機器學(xué)習(xí)方法[5?7]。文獻(xiàn)[8]提出基于深度屬性學(xué)習(xí)的交通標(biāo)識檢測方法，該方法通過引入交通標(biāo)識的形狀、顏色、圖案內(nèi)容三種視覺屬性，在卷積神經(jīng)網(wǎng)絡(luò)中加入屬性學(xué)習(xí)約束，同時進(jìn)行交通標(biāo)識屬性學(xué)習(xí)和分類學(xué)習(xí)，提高了交通標(biāo)識識別的準(zhǔn)確率和召回率，但在分類時準(zhǔn)確率仍不高。文獻(xiàn)[9]在分塊核函數(shù)的基礎(chǔ)上提出基于多個圖像特征進(jìn)行組合決策的識別方法，該方法相比單特征識別具有更精確的識別率，但在視頻圖像中達(dá)不到實時識別。

針對以上不足，本文提出一種基于多特征融合的交通標(biāo)識實時分類識別方法。利用穩(wěn)定的HSV顏色空間分割出目標(biāo)區(qū)域;然后利用局部紋理特征LBP和局部梯度特征HOG的各自優(yōu)勢，提出HOG?MBLBP多特征融合算法;利用SVM多分類器在建立的交通標(biāo)識樣本庫上進(jìn)行精確分類識別;最后通過自適應(yīng)卡爾曼濾波算法對交通標(biāo)識進(jìn)行跟蹤識別。實驗表明本文方法可以很好地滿足實時性、準(zhǔn)確性等要求，具有較優(yōu)的性能。

1 ?基于HSV顏色空間的交通標(biāo)識分割

本文采用魯棒性較好的HSV顏色空間算法對交通標(biāo)識牌進(jìn)行分割，經(jīng)HSV顏色空間分割得到的紅色標(biāo)識和藍(lán)色標(biāo)識區(qū)域如圖1所示。

圖1 ?HSV顏色空間分割交通標(biāo)識

由圖1a）和圖1b）可見，HSV顏色空間分割能檢測出所有標(biāo)識牌，但也會檢測出非標(biāo)識牌，需要進(jìn)一步剔除誤檢的非標(biāo)識牌。

2 ?基于HOG?MBLBP和SVM的交通標(biāo)識精確分類識別

對于上述誤檢區(qū)域，本文采用HOG與MBLBP相融合的算法，并通過SVM分類器進(jìn)行精準(zhǔn)的定位和識別，剔除誤檢的非標(biāo)識牌。

2.1 ?特征提取及HOG?MBLBP融合算法

方向梯度直方圖（Histogram of Oriented Gradients，HOG）是一種圖像局部區(qū)域的梯度方向直方圖構(gòu)成的計算和統(tǒng)計的描述子。本文所用交通標(biāo)識物體劃分為6×6=36的無重疊block區(qū)域，得到HOG特征為36×4×9=1 296維。

HOG特征提取過程如圖2所示。

局部二值模式（Local Binary Pattern，LBP）是描述圖像局部紋理特征的算子。為了充分提取交通標(biāo)識圖像的LBP特征，本文采用LBP的等價模式——多半徑塊（block）的LBP特征（Multi?radius Block LBP，MBLBP），其提取過程如圖3所示。

由于HOG特征在梯度方面很好地描述了交通標(biāo)識，而MBLBP特征在紋理方面能很好地描述交通標(biāo)識。因此，本文采用增廣特征向量進(jìn)行HOG和MBLBP特征融合。設(shè)[A]與[B]是樣本空間[Ζ]上的兩個特征空間，對任意樣本[λ∈Z]，其對應(yīng)兩個特征向量[u∈A]，[v∈B]。融合后的特征向量公式為：

HOG?MBLBP特征融合過程如圖4所示。

2.2 ?基于SVM的交通標(biāo)識分類識別

支持向量機（SVM）在分類效果、學(xué)習(xí)能力方面都有較優(yōu)的性能[10]。分類器精確分類識別結(jié)果如圖5所示，由圖5可見，對分割后的交通標(biāo)識（序號為1，2，3）和誤檢的紅色轎車（序號為1）分別提取它們的HOG?MBLBP特征，送入訓(xùn)練后的SVM分類器，檢測和輸出的結(jié)果能將誤檢的紅色轎車正確分類為第四類負(fù)樣本，從而進(jìn)一步精確交通標(biāo)識的識別與定位。

圖5 ?分類器精確分類識別結(jié)果

3 ?基于自適應(yīng)Kalman濾波的交通標(biāo)識跟蹤

由于交通標(biāo)識進(jìn)行處理需要一定的時間，若在視頻圖像上進(jìn)行處理，實時性會不理想。故對交通標(biāo)識進(jìn)行追蹤時，加入自適應(yīng)Kalman濾波器[11]。實驗結(jié)果表明預(yù)測精度和更新速度較傳統(tǒng)Kalman濾波都有顯著提高。

3.1 目標(biāo)區(qū)域檢測

本文通過在傳統(tǒng)Kalman濾波先驗基礎(chǔ)上加入衰減因子[Dk]，其能減小前段視頻幀的信息干擾，以減小目標(biāo)物體實時的變化對濾波精度的影響，確保預(yù)測區(qū)域的準(zhǔn)確性。自適應(yīng)Kalman算法描述為：

式中：[μk]為系統(tǒng)噪聲;[xk]，[yk]表示[k]時刻狀態(tài)預(yù)測區(qū)域中心狀態(tài)估計;[Mk]，[Nk]，[Hk]，[Γk]，[Bk]，[Ck]為高階常值矩陣。根據(jù)[k]時刻的測量[vk]可以得到[k]時刻的運動目標(biāo)狀態(tài)（[xk]，[yk]）。

自適應(yīng)Kalman算法能在搜索目標(biāo)的同時，根據(jù)目標(biāo)的實時參數(shù)變化對預(yù)測區(qū)域進(jìn)行自適應(yīng)調(diào)整更新。

3.2 ?區(qū)域大小預(yù)測

本文使用改進(jìn)的卡爾曼濾波算法對交通標(biāo)識的運動狀態(tài)進(jìn)行估計，通過構(gòu)造對應(yīng)矩陣[TM]，假設(shè)[Ot-1i]表示[t-1]幀中第[i]個交通標(biāo)識，[i=1，2，…，M]，[M]為跟蹤交通標(biāo)識的個數(shù)。[Btj]表示[t]幀中第[j]個檢測候選標(biāo)識物區(qū)域，[j=1，2，…，N]，[N]為當(dāng)前幀檢測到的候選區(qū)域個數(shù)。候選區(qū)域[Btj]和目標(biāo)[Ot-1i]質(zhì)心間的距離定義為：

圖6 ?視頻追蹤結(jié)果

在跟蹤過程中，卡爾曼濾波器根據(jù)前一幀中檢測到的最終目標(biāo)區(qū)域參數(shù)糾正[Ot-1i]目標(biāo)區(qū)域中心的偏差，然后根據(jù)[Ot-1i]預(yù)測當(dāng)前幀中交通標(biāo)識所在區(qū)域中心，再對該區(qū)域進(jìn)行檢測，不需要對整個圖像進(jìn)行檢索。

4 ?實驗結(jié)果及分析

本文實驗對象是德國交通標(biāo)識檢測基準(zhǔn)庫（The German Traffic Sign Recognition Benchmark，GTSRB），其中包括12 630個測試樣本和39 209個訓(xùn)練樣本[12]。從GTSRB中選取不同天氣、不同自然背景下的交通標(biāo)識2 500幅，主要針對交通標(biāo)識物中的紅色、藍(lán)色、黃色標(biāo)識進(jìn)行實驗分析。實驗所用PC配置為CPU Intel[?] CoreTM i7?4770 CPU 3.40 GHz，內(nèi)存8 GB，64位操作系統(tǒng)，實驗平臺為Matlab R2012a。各分類交通標(biāo)志的樣本組成如表1所示。

表1 ?交通標(biāo)識樣本庫組成

表2為采用不同特征進(jìn)行SVM分類識別的結(jié)果，表中顯示的時間為圖像顏色分割到目標(biāo)分類識別的耗時。本文采用基于HOG?MBLBP融合特征的SVM分類準(zhǔn)確率最高為97.88%，特征融合的維數(shù)要低于傳統(tǒng)HOG+LBP特征融合，更易于實現(xiàn)，用時更短。

表2 ?不同特征進(jìn)行標(biāo)識識別結(jié)果

最后通過獲取不同路況下的交通標(biāo)識圖像進(jìn)行識別，采用不同環(huán)境下的2 000幅219×222交通標(biāo)識圖片作為分類器學(xué)習(xí)訓(xùn)練的數(shù)據(jù)庫。表3為交通標(biāo)識識別的耗時。

表3 ?交通標(biāo)識識別耗時

由表3可知，在識別4個及以上交通標(biāo)識所用的時間僅為125 ms，因此滿足實時性要求。

5 ?結(jié) ?語

本文提出一種基于多特征融合的交通標(biāo)識實時分類識別方法。通過對交通標(biāo)識牌進(jìn)行感興趣區(qū)域分割，再利用HOG?MBLBP多特征融合算法和SVM分類器移除誤檢區(qū)域，做到精確分類和識別;最后采用自適應(yīng)Kalman濾波算法對視頻圖像中的交通標(biāo)識進(jìn)行跟蹤，實現(xiàn)交通標(biāo)識的實時檢測與識別。實驗結(jié)果表明，本文方法在達(dá)到較高分類準(zhǔn)確度的同時還滿足實時性要求。

注：本文通訊作者為李為相。

參考文獻(xiàn)

[1] HOFERLIN B， ZIMMERMANN K. Towards reliable traffic sign recognition [C]// Proceedings of 2009 IEEE Intelligent Vehicles Symposium. Xian： IEEE， 2009： 324?329.

[2] LI H， SUN F， LIU L， et al. A novel traffic sign detection method via color segmentation and robust shape matching [J]. Neurocomputing， 2015， 169： 77?88.

[3] 常發(fā)亮，黃翠，劉成云，等.基于高斯顏色模型和SVM的交通標(biāo)志檢測[J].儀器儀表學(xué)報，2014，35（1）：43?49.

CHANG Faliang， HUANG Cui， LIU Chengyun， et al. Traffic sign detection based on Gaussian color model and SVM [J]. Chinese journal of scientific instrument， 2014， 35（1）： 43?49.

[4] CHEN T， LU S. Accurate and efficient traffic sign detection using discriminative Adaboost and support vector regression [J]. IEEE transactions on vehicular technology， 2015， 65（6）： 4006?4015.

[5] ZAKLOUTA F， STANCIULESCU B. Real?time traffic sign re?cognition in three stages [J]. Robotics and autonomous system， 2014， 62（1）： 16?24.

[6] LIU C， CHANG F， CHEN Z. Rapid multiclass traffic sign detection in high?resolution images [J]. IEEE transactions on intelligent transportation systems， 2014， 15（6）： 2394?2403.

[7] 駿揚，金立左，費樹岷，等.基于多尺度特征表示的城市道路檢測[J].電子與信息學(xué)報，2014，36（11）：2578?2585.

JUN Yang， JIN Lizuo， FEI Shumin， et al. Urban road detection based on multi?scale feature representation [J]. Journal of electronics and information technology， 2014， 36（11）： 2578?2585.

[8] 王方石，王堅，李兵，等.基于深度屬性學(xué)習(xí)的交通標(biāo)志檢測[J].吉林大學(xué)學(xué)報，2017，41（1）：2?7.

WANG Fangshi， WANG Jian， LI Bing， et al. Deep attribute learning based traffic sign detection [J]. Journal of Jilin University， 2017， 41（1）： 2?7.

[9] 齊朗曄，張重陽，何成東.基于多特征組合的交通標(biāo)識識別 ? ?[J].計算機工程與科學(xué)，2015，37（4）：776?782.

QI Langye， ZHANG Chongyang， HE Chengdong. Traffic sign recognition based on multi?feature combination [J]. Computer engineering and science， 2015， 37（4）： 776?782.

[10] 劉高輝，楊星.一種混合核函數(shù)的支持向量機[J].微型機與應(yīng)用，2017，36（11）：20?22.

LIU Gaohui， YANG Xing. A kind of support vector machine based on hybrid kernel function [J]. Microcomputer and its applications， 2017， 36（11）： 20?22.

[11] 郭秋滟.基于改進(jìn)LTD算法的視頻目標(biāo)跟蹤[J].計算機工程與設(shè)計，2017，38（9）：2552?2553.

GUO Qiuyan. Video target tracking based on improved LTD algorithm [J]. Computer engineering and design， 2017， 38（9）： 2552?2553.

[12] 劉成云.行車環(huán)境下多特征融合的交通標(biāo)識檢測與識別研究[D].濟南：山東大學(xué)，2016.

LIU Chengyun. Traffic signs detection and recognition research of multi?feature fusion in driving environment [D]. Jinan： Shandong University， 2016.