基于深度學(xué)習(xí)的交通標(biāo)志識(shí)別研究綜述

楊力川

（四川大學(xué)計(jì)算機(jī)學(xué)院，成都610065）

0 引言

隨著私人汽車(chē)保有量不斷上升，交通標(biāo)志的識(shí)別這一領(lǐng)域開(kāi)始凸顯越來(lái)越大的影響力。交通標(biāo)志識(shí)別是智能交通系統(tǒng)的重要內(nèi)容,在無(wú)人駕駛和駕駛員輔助系統(tǒng)中具有重要的應(yīng)用以及發(fā)展前景，并且為自動(dòng)或半自動(dòng)駕駛車(chē)輛提供有用的道路信息。

交通標(biāo)志識(shí)別的內(nèi)容主要有交通標(biāo)志圖像檢測(cè)、特征的提取以及最后的分類(lèi)。而在較為復(fù)雜的自然場(chǎng)景中，各種外部因素使得準(zhǔn)確又較快地完成交通標(biāo)志識(shí)變得有不小難度。

因此，在當(dāng)下智能交通發(fā)展的趨勢(shì)下，需要借助更為科學(xué)和先進(jìn)的工具來(lái)進(jìn)行交通標(biāo)志識(shí)別。交通標(biāo)志識(shí)別的傳統(tǒng)方法在精確度和速率已經(jīng)不足以達(dá)到當(dāng)前無(wú)人駕駛系統(tǒng)的需求。而依靠圖像的顏色和形狀特征來(lái)匹配的方法固然簡(jiǎn)單方便而且速度快，但識(shí)別率和精確度難以達(dá)到實(shí)際的要求。而基于深度學(xué)習(xí)的交通標(biāo)志識(shí)別方法則不同，在識(shí)別目標(biāo)的同時(shí)進(jìn)行訓(xùn)練，雙管齊下有效地提高了識(shí)別精度并且減少了耗費(fèi)時(shí)間，能夠在復(fù)雜自然情況下較為有效地提高交通標(biāo)志的識(shí)別正確率，成為交通標(biāo)志識(shí)別的新興熱門(mén)領(lǐng)域。

1 基于深度學(xué)習(xí)的交通標(biāo)志識(shí)別簡(jiǎn)介

交通標(biāo)志識(shí)別是實(shí)現(xiàn)智能駕駛的重要一環(huán)。所謂的標(biāo)志識(shí)別就是通過(guò)車(chē)內(nèi)的攝像設(shè)備捕獲到的圖像信息，來(lái)對(duì)這些標(biāo)志進(jìn)行設(shè)別，然后再把這些信息反饋給駕駛員，做到及時(shí)提醒，進(jìn)而保證行駛安全。例如，當(dāng)駕駛員勞累、注意力分散、情緒波動(dòng)、走神、或受到霧霾等外在自然因素，此時(shí)駕駛員依靠自己的肉眼不能快速并且準(zhǔn)確獲得相關(guān)的交通標(biāo)志信息，高效準(zhǔn)確的交通標(biāo)志識(shí)別技術(shù)就變得相當(dāng)有必要。

隨著神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)的發(fā)展，交通標(biāo)志識(shí)別也開(kāi)始運(yùn)用相關(guān)的技術(shù)。卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）是深度學(xué)習(xí)的核心部分。CNN在檢測(cè)性能和準(zhǔn)確率方面都比傳統(tǒng)檢測(cè)識(shí)別有優(yōu)勢(shì)，尤其是遇到復(fù)雜情況下的交通標(biāo)志檢測(cè)，包括物體遮擋、拍攝角度、形狀改變、天氣因素之類(lèi)的，在這些情況下進(jìn)行交通標(biāo)志識(shí)別仍然是目前研究的難點(diǎn)部分，還需要進(jìn)一步的發(fā)展。

2 研究現(xiàn)狀

早期的交通標(biāo)志識(shí)別方法基本大概由兩部分組成。一類(lèi)是基于顏色、形狀視覺(jué)信息等進(jìn)行識(shí)別，另外一類(lèi)是基于特征提取與機(jī)器學(xué)習(xí)進(jìn)行識(shí)別。

2.1 基于圖像顏色形狀等信息的識(shí)別方法

這類(lèi)方法主要通過(guò)對(duì)目標(biāo)圖像相關(guān)特征進(jìn)行提取，進(jìn)而把圖像中的交通標(biāo)志志進(jìn)行圖像分離并且檢測(cè)出來(lái)，接著進(jìn)行分類(lèi)，雖然這種方法的檢測(cè)速度比較快，但是正確率就相應(yīng)的偏低。這種算法的核心是對(duì)圖像的顏色空間進(jìn)行選擇，大部分顏色空間特征是RGB，當(dāng)亮度發(fā)生變化時(shí)，就不能單一的選擇RGB，解決的方法也有很多。包括調(diào)整通道的比值或者是對(duì)RGB值進(jìn)行處理，再或者將其轉(zhuǎn)至另外的顏色空間（HIS、HS等）中進(jìn)行處理。

朱雙東等人[1]把圖像從RGB模型轉(zhuǎn)化成HSI模型，然后再?gòu)腍通道值中提取出紅色，隨后用模板LOG提取邊緣，最后用BP網(wǎng)絡(luò)來(lái)對(duì)圖像進(jìn)行處理。初秀平等人[2]將圖像從RGB顏色模型轉(zhuǎn)換到色度-飽和度-亮度的HSV顏色模型，并對(duì)圖像進(jìn)行分割，最后在進(jìn)行二值化處理。再例如Paclik等人[3]將目標(biāo)從RGB模型轉(zhuǎn)為HSI模型，通過(guò)選擇合適的閾值來(lái)獲得所需的顏色，進(jìn)而進(jìn)行識(shí)別檢測(cè)。C.Y.Fanga等人[4]提出了一種依據(jù)人類(lèi)的眼球結(jié)構(gòu)的識(shí)別系統(tǒng)，通過(guò)對(duì)圖像的紅黃藍(lán)信息的提取來(lái)檢測(cè)，黑色和白色信息來(lái)識(shí)別。朱國(guó)康等人[5]針對(duì)圖像中的標(biāo)志大小不一和位置不一定的情況，對(duì)目標(biāo)的多種特征進(jìn)行融合，他們先對(duì)樣本進(jìn)行相應(yīng)的預(yù)處理，再對(duì)圖像進(jìn)行裁剪，提取相應(yīng)區(qū)域的顏色，最后對(duì)顏色形狀等特征進(jìn)行分類(lèi)檢測(cè)，完成標(biāo)志識(shí)別。這些根據(jù)顏色以及形狀特征的交通標(biāo)志識(shí)別方法盡管在準(zhǔn)確性方面進(jìn)行了不少的優(yōu)化，但是面對(duì)某些特殊情況，如標(biāo)志受到破壞時(shí)，再使用這類(lèi)方法的效果就不是很好，識(shí)別所需時(shí)間較長(zhǎng)，效率偏低。

2.2 基于特征提取與機(jī)器學(xué)習(xí)的識(shí)別方法

此類(lèi)算法核心內(nèi)容是抽取被訓(xùn)練圖像中目標(biāo)區(qū)域的特征，再對(duì)其進(jìn)行訓(xùn)練，將分類(lèi)器進(jìn)行特征匹配，來(lái)完成交通標(biāo)志的識(shí)別工作。這種方法的難點(diǎn)在于找出那些最重要的特征，當(dāng)無(wú)法準(zhǔn)確判斷所需的特征是否滿足要求時(shí)，人們會(huì)偏向多取特征，甚至不做分析，將無(wú)用的測(cè)量值用作分類(lèi)特征，造成的結(jié)果不僅是耗時(shí)，而且對(duì)結(jié)果造成巨大影響。這類(lèi)方法需要先對(duì)測(cè)量值分析，獲得有效的特征識(shí)別，并且再保證一定分類(lèi)精度下，減少特征的維數(shù)，讓分類(lèi)器的分類(lèi)變得快速準(zhǔn)確且高效。

支持向量機(jī)（Support Vector Machine，SVM）是其中重要的一環(huán)，它在速度和準(zhǔn)確率上都表現(xiàn)出令人滿意的一面，SVM分類(lèi)器參與的檢測(cè)能夠滿足大部分基本的需求。張興敢等人[6]通過(guò)卷積變換獲得圖像的特征，其中輸入層采用滑動(dòng)窗口計(jì)算卷積，接著把激活函數(shù)作為輸出，得到數(shù)個(gè)特征圖，單個(gè)特征圖也是由多個(gè)圖卷積得到的，這樣得到的實(shí)驗(yàn)結(jié)果的準(zhǔn)確率明顯提高。Creusen等人[7]通過(guò)有向梯度直方圖（HOG）算法針對(duì)大規(guī)模全景數(shù)據(jù)集上的交通標(biāo)志檢測(cè)，該算法在特征向量中加入顏色信息進(jìn)行擴(kuò)展。而這一舉措顯著提高了檢測(cè)性能，HOG算法性能很高，此外，他們也提出了一種新的迭代向量機(jī)訓(xùn)練模式處理圖片，優(yōu)點(diǎn)是能夠降低內(nèi)存消耗并且提高背景信息效率。

Huang等人[8]提出了一種由方向梯度變量直方圖（HOGv）和極值學(xué)習(xí)機(jī)（ELM）算法訓(xùn)練分類(lèi)器的檢測(cè)方法。提取的HOGV的特征在冗余和特定細(xì)節(jié)間有良好的平衡關(guān)系，而基于ELM的分類(lèi)器又在輸入層和隱藏層之間實(shí)現(xiàn)隨機(jī)特征映射，帶來(lái)的好處就是不需要逐層調(diào)整，所以可以滿足大部分特征提取的精度要求。這幾種方法要進(jìn)行分類(lèi)識(shí)別需要分類(lèi)器，效率并不是很高。

2.3 基于卷積神經(jīng)網(wǎng)絡(luò)的交通標(biāo)志識(shí)別方法

卷積神經(jīng)網(wǎng)絡(luò)（CNN）作為深度學(xué)習(xí)的重要組成部分，在檢測(cè)識(shí)別領(lǐng)域獲得了許多成果，學(xué)者將其用于交通標(biāo)志識(shí)別領(lǐng)域，讓這個(gè)領(lǐng)域進(jìn)入一個(gè)新的里程碑。與上面兩種交通標(biāo)志識(shí)別方法不同的是，CNN可以在訓(xùn)練的同時(shí)提取特征，即一邊提取一邊訓(xùn)練，雙管齊下，有效提高檢測(cè)和訓(xùn)練效率，并且檢測(cè)性能上也不落后甚至更優(yōu)于傳統(tǒng)交通標(biāo)志識(shí)別。Schmidhuber等人[9]運(yùn)用CNN識(shí)別交通標(biāo)志，得到了非常高的正確率。其正確率達(dá)到99.46%。他們使用了一個(gè)快速的，完全參數(shù)化的GPU實(shí)現(xiàn)的深度神經(jīng)網(wǎng)絡(luò)。在監(jiān)督學(xué)習(xí)下，訓(xùn)練了不同組合而成的單個(gè)多列,再一次地提高了識(shí)別正確率，并且也降低了對(duì)光照以及對(duì)比對(duì)變化的敏感度。Jin等人[10]則通過(guò)一種鉸鏈損失隨機(jī)梯度下降（HLSGD）方法訓(xùn)卷積神經(jīng)網(wǎng)絡(luò)（CNN）。HLSGD經(jīng)過(guò)評(píng)估，具有更快和更穩(wěn)定的收斂性，最好的結(jié)果是有99.65%的識(shí)別率，具體是通過(guò)編寫(xiě)一個(gè)圖形處理單元包來(lái)訓(xùn)練多個(gè)CNN并集成最終分類(lèi)器。Ren等人[11]提出依賴候選區(qū)域算法（RPN）的檢測(cè)網(wǎng)絡(luò)，共享完整的圖像卷積特征，從而實(shí)現(xiàn)了近乎無(wú)成本候選區(qū),并且把相關(guān)過(guò)程放在GPU上運(yùn)行，在目標(biāo)檢測(cè)領(lǐng)域達(dá)到了很高的檢測(cè)正確率和較快的速度。伍曉暉[12]則從小目標(biāo)交通標(biāo)志識(shí)別入手，在精度方面在已有的Tiny-YOLOv3交通標(biāo)志檢測(cè)算法上進(jìn)行了改進(jìn)，加深特征金字塔圖層，具有比較好的魯棒性。并且增加網(wǎng)絡(luò)的寬度和深度，用批量歸一化處理樣本，再一次提高原網(wǎng)絡(luò)的精度。

雖然基于深度學(xué)習(xí)的目標(biāo)檢測(cè)方法在國(guó)內(nèi)外已經(jīng)取得不少的成果，但是將這類(lèi)方法還沒(méi)有大規(guī)模使用，還有很大發(fā)展空間。

3 結(jié)語(yǔ)

本文介紹了基于深度學(xué)習(xí)的交通標(biāo)志識(shí)別相關(guān)的研究和技術(shù)，解釋了其技術(shù)的核心內(nèi)容，并舉出傳統(tǒng)交通識(shí)別的相關(guān)研究，對(duì)比分析，剖析其優(yōu)缺點(diǎn)。在深度學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)出現(xiàn)后，在目標(biāo)檢測(cè)和識(shí)別方面有巨大優(yōu)勢(shì)，交通標(biāo)志識(shí)別也因此向前邁進(jìn)了一大步。隨著越來(lái)越多的目光投向這個(gè)領(lǐng)域，基于深度學(xué)習(xí)的交通識(shí)別適用面也越來(lái)越廣，研究人員對(duì)其中神經(jīng)網(wǎng)絡(luò)的優(yōu)化工作也越來(lái)越重視，識(shí)別的準(zhǔn)確率也就越來(lái)越高。相信在不久之后，基于深度學(xué)習(xí)的交通標(biāo)志識(shí)別會(huì)廣泛應(yīng)用，無(wú)人駕駛和自動(dòng)駕駛也就更進(jìn)一步了。