基于深度學(xué)習(xí)的交通標(biāo)志物識別研究

沈陽理工大學(xué)信息科學(xué)與工程學(xué)院 中國科學(xué)院沈陽自動化研究所機(jī)器人學(xué)國家重點實驗室 秦麗娟

沈陽理工大學(xué)信息科學(xué)與工程學(xué)院 閆昊男

隨著城市交通流量日益增大，交通管制難度也不斷增大。擁堵、路況復(fù)雜等因素，不僅對交通管制形成嚴(yán)峻挑戰(zhàn)，作為駕駛員來說，也是壓力倍增。針對這種形式，相關(guān)人員陸續(xù)著手研發(fā)智能交通系統(tǒng)（TSI），TSI自誕生以來，在緩解交通擁堵和強(qiáng)化交通管制方面發(fā)揮著越來越重要的作用，TSI的應(yīng)用越來越廣泛。不管是無人駕駛技術(shù)，還是智能輔助駕駛系統(tǒng)，都對TSI有著不同的程度的依賴和需求；同時，日新月異的信息技術(shù)和大數(shù)據(jù)處理，也讓TSI面臨著新的挑戰(zhàn)。交通標(biāo)識物的識別研究，是TSI當(dāng)中最重要的一個研究方向，且變得越來越重要。本文基于SVM網(wǎng)絡(luò)的變形，優(yōu)化出一種基于卷積神經(jīng)網(wǎng)絡(luò)一對多SVM交通標(biāo)志物識別算法，其次，在交通標(biāo)志物檢測方面，在的卷積神經(jīng)網(wǎng)絡(luò)基礎(chǔ)上，結(jié)合深度學(xué)習(xí)對檢測算法做出優(yōu)化和改進(jìn)。測試結(jié)果表明，這兩種優(yōu)化方式在識別的準(zhǔn)確率上都有良好的表現(xiàn)。

交通標(biāo)志物是指一類包含著豐富交通信息的的指示標(biāo)志，作為道路交通的重要組成部分，為駕駛員提供大量指示信息，避免交通事故發(fā)生，從而保護(hù)人身財產(chǎn)安全，發(fā)揮著巨大的作用。在交通管理過程中，交通標(biāo)志物起到引導(dǎo)、限制、警告等作用，是保障道路交通安全、順暢的重要措施。然而，受到交通環(huán)境的日趨復(fù)雜、光照條件的變化、植被障礙物遮擋等因素的影響，對交通標(biāo)識的清晰辨別形成挑戰(zhàn)，加上認(rèn)為因素如疲勞駕駛、粗心大意等影響，更加劇了交通標(biāo)識的識別難度。故基于深度學(xué)習(xí)的交通標(biāo)志識別，在輔助駕駛及無人駕駛技術(shù)的研究方面，起著越來越大的作用。

目前，交通標(biāo)志檢測與識別技術(shù)的理論基礎(chǔ)已經(jīng)很成熟，但是目前的研究成果還無法在實際生活中廣泛應(yīng)用。當(dāng)前的系統(tǒng)存在識別率和時間無法同時兼顧的問題，并且一個系統(tǒng)只能應(yīng)用于一個國家。如果識別率高，則檢測時間將較長；如果檢測時間短，則識別率將較低。

因此，可以相信，在學(xué)者們的不斷努力下，將在這兩者直接取好平衡點，交通標(biāo)志檢測與識別系統(tǒng)將很快投入實際應(yīng)用。

1 深度學(xué)習(xí)概念

隨著人工神經(jīng)網(wǎng)絡(luò)研究的不斷深入，科學(xué)家提出了一種全新的無監(jiān)督學(xué)習(xí)方式，即深度學(xué)習(xí)，其目的是為模擬人腦進(jìn)行學(xué)習(xí)分析的神經(jīng)網(wǎng)絡(luò)。其特征是該網(wǎng)絡(luò)能通過組合低層特征形成抽象的高層特性，以表示其事物的屬性特征，從而發(fā)現(xiàn)數(shù)據(jù)分布規(guī)律的函數(shù)模型。

交通標(biāo)志識別及檢測的關(guān)鍵在于交通標(biāo)志圖像的特征分析，其內(nèi)涵為利用圖像的不變特征，達(dá)到實現(xiàn)面向同一場景而變形較大的圖像識別，此識別的圖像獲取途徑主要又兩種：即人工提取和機(jī)器自動學(xué)習(xí)。人工設(shè)計提取的方法，在交通標(biāo)志識別方面的應(yīng)用已經(jīng)得到推廣；但是，人工設(shè)計提取的方法，往往需要非常復(fù)雜的設(shè)計和計算，且非常耗時。

深度學(xué)習(xí)是機(jī)器學(xué)習(xí)的一個新方向，從本質(zhì)角度看，深度學(xué)習(xí)首先需要完成多層次機(jī)器學(xué)習(xí)模型的構(gòu)建過程，通過大量的數(shù)據(jù)統(tǒng)計和運算，從訓(xùn)練數(shù)據(jù)中學(xué)習(xí)更能刻畫數(shù)據(jù)內(nèi)在信息的特征，經(jīng)過分類和判斷，并對目標(biāo)進(jìn)行預(yù)測。

2 基于不變特征深度學(xué)習(xí)的交通標(biāo)志檢測

交通標(biāo)志的顏色、尺寸、形狀均是特定的，并且滿足有關(guān)設(shè)計規(guī)定的要求；不同的組合代表著不同的含義。道路環(huán)境圖像的采集由車載圖像信息采集裝置實現(xiàn)，先后經(jīng)形態(tài)分解和圖像分割兩個處理過程，達(dá)到實現(xiàn)交通標(biāo)志檢測的目的，而交通標(biāo)志的檢測是交通標(biāo)志識別的第一步。

檢測的任務(wù)是從采集的圖像中將候選區(qū)域分割出來，判斷已分割區(qū)域內(nèi)是否包含交通標(biāo)志，若是，則挑選出來。經(jīng)過檢測階段獲得的位置區(qū)域和分類階段賦予的標(biāo)簽是對應(yīng)的，若檢測過程出現(xiàn)錯誤，則無法得到正確的分類結(jié)果。綜上，影響交通標(biāo)志識別系統(tǒng)有效性與準(zhǔn)確率的直接因素是檢測結(jié)果是否準(zhǔn)確，影響交通標(biāo)志識別系統(tǒng)實時性的關(guān)鍵因素是檢測速率。

檢測任務(wù)過程主要包括交通標(biāo)志的特征和SVM分類，分類框架如圖1所示：

圖1 SVM分類框架圖

2.1 深度卷積神經(jīng)網(wǎng)絡(luò)

本文的交通標(biāo)志檢測是在傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)（CNN）模型上，結(jié)合深度學(xué)習(xí)而采用的一種深度神經(jīng)網(wǎng)絡(luò)（DNN），因深度神經(jīng)網(wǎng)絡(luò)架構(gòu)包含多個階段，下一階段輸入量通常選擇上一階段獲得的輸出結(jié)果，依此類推進(jìn)行堆疊。現(xiàn)階段，通常采用圖2所示的分階段DNN架構(gòu)進(jìn)行無監(jiān)督訓(xùn)練。

第一階段的輸入是網(wǎng)絡(luò)參數(shù)矩陣A1，該矩陣由訓(xùn)練小尺寸圖像獲得，第二階段的輸入是A1經(jīng)卷積和映射得到的結(jié)果，對其進(jìn)行訓(xùn)練后得到A2，根據(jù)圖2發(fā)現(xiàn)，每一個階段訓(xùn)練過程包含的環(huán)節(jié)數(shù)均為兩個，一是采用歸一化方式處理數(shù)據(jù)，先將輸入的每一行數(shù)據(jù)進(jìn)行正交歸一，避免輸入數(shù)據(jù)中存在的具有較大相關(guān)性的集中數(shù)據(jù)對訓(xùn)練結(jié)果造成影響，對改善后續(xù)以梯度為基礎(chǔ)的學(xué)習(xí)階段是有利的，二是求解網(wǎng)絡(luò)參數(shù)矩陣，采用的方法是循環(huán)迭代法。通過堆疊各個階段抽取特征的過程是逐層進(jìn)行的，可有效擴(kuò)展本次設(shè)計所選擇的DNN架構(gòu)，使其突破兩段式的局限。同時，每一個階段采用獨立的方式訓(xùn)練各個模塊，網(wǎng)絡(luò)訓(xùn)練過程更簡單。

圖2 分階段DNN架構(gòu)

2.2 交通標(biāo)志的特征提取

深度學(xué)習(xí)通過無監(jiān)督分階段訓(xùn)練后，分別導(dǎo)出第一階段和第二階段的特征映射矩陣，以32×32的灰度圖像為例，特征的提取過程具體步驟為第一階段特征提取→第二階段特征提取→特征向量分析；

假設(shè)第一階段特征映射窗口大小為16×16，池化策略分別為3×3、6×6、12×12的塊聚集，窗口滑動步長為兩個像素，總共包括81個16×16的塊，記為Bi，其中，i=1，2，3，4···，81，采用歸一化的方式對各個Bi進(jìn)行處理，采用一維向量的方式表示各個二維矩陣，下面以第一階段進(jìn)行分析，若用Ci表示塊向量，則經(jīng)過映射獲取的矩陣大小是256×256，并將Ci映射為特征向量函數(shù)?ⅰ，維數(shù)是256維，其中i表示塊號，分別是1至81之間的整數(shù)。

其次，由于上述得到的塊特征向量?ⅰ共81個，分別采取3×3的塊聚集池化，得到9個聚集塊的特征向量g?1（?1=1，2，····，9）；采取同樣方法，對81個塊特征向量?ⅰ采取6×6和12×12的塊聚集池化，分別得到4個聚集塊的特征向量g?2和1個聚集塊的特征向量g。

在第一階段提取的結(jié)果上，將9×9個大小為16×16的塊組成一個大塊，池化策略為2×2的塊聚集，令第二j階段包含n2個大塊，第к個大塊與高維特征向量uк相對應(yīng)，是組合81個特征向量?ⅰ得到的，維數(shù)均為256維，接著將uк輸入到第二階段，并進(jìn)行對應(yīng)的特征提取過程，大塊序列號к=1，2，··，n2。對uк進(jìn)行PCA降維后，得到300維特征向量，Vк，再通過特征映射矩陣將Vк映射為第二階段特征向量?к，其中，第二階段的特征映射矩陣為300×300的二維矩陣，?к為300維向量。

一個32×32尺寸的交通標(biāo)志圖像特征向量?便是由第一和第二階段的特征向量聯(lián)合得來得。其中，?1描述的是全局信息，g描繪的是局部區(qū)域信息。圖像的特征?為3884維向量。

2.3 SVM的分類

針對SVM多分類問題，有兩種形式可供選擇，一種是一對多，構(gòu)造超平面的對象是某一樣本與剩余樣本，輸出結(jié)果是，即最優(yōu)分類超平面參數(shù)，數(shù)量共k個。另一種是一對一形式。對于待分類樣本xtest，使用判別函數(shù)直接斷定其屬于k類中的某一類，相比較一對一SVM多分類法，一對多的SVM多分類法構(gòu)造超平面耗時，但由于決策平面數(shù)少，分類速度反而更快，

3 實驗分析及結(jié)果

我國的交通標(biāo)志主要分為禁止、警告、指示、施工、限速等標(biāo)志。本文交通標(biāo)志實驗數(shù)據(jù)包括了如圖3所示城市道路環(huán)境中50種常見交通標(biāo)志，每類交通標(biāo)志有多達(dá)280個訓(xùn)練樣本，其測試樣本則多達(dá)1100多個。

圖3 城市交中常見的50類交通標(biāo)志樣本

圖3中的交通標(biāo)志樣本采集自同一個城市，不同光照條件、天氣狀況下的視頻。交通標(biāo)志檢測算法提取了感興趣區(qū)域（交通標(biāo)志）圖像。分辨率皆維持在30×30～150×150之間。按照前文所說的提取方法，給每一個標(biāo)志圖像提取了7768維特征向量。

采用SVM分類法，對圖中標(biāo)志通過j距離閾值決策法來判定歸類，實驗所設(shè)置的閾值為t=1.1，兩者的相似率高達(dá)99.5%。為進(jìn)一步測試本文交通標(biāo)志特征提取方法的有效性，進(jìn)行1類對49類的SVM多分類，構(gòu)造超平面的對象是某一小類樣本與剩余小類樣本（共49個），輸出結(jié)果是最優(yōu)分類超平面參數(shù)。將尚未分類的樣本使用辨別函數(shù)之間進(jìn)行判斷，總共50類的總平均正確率為99.6%。

結(jié)論：本文基于深度學(xué)習(xí)框架自動學(xué)習(xí)對不同階段進(jìn)行處理，并輸出特征映射矩陣，接著以此為基礎(chǔ)將交通標(biāo)志圖像的第一階段特征和第二階段特征提取出來，并將其聯(lián)合輸出作為交通標(biāo)志的特征；最后使用支持向量機(jī)進(jìn)行交通標(biāo)志分類，實驗結(jié)果表明，此分類和檢測方法對交通標(biāo)志的識別具有非常有效的泛化性，且能準(zhǔn)確識別交通標(biāo)志。