基于卷積神經(jīng)網(wǎng)絡(luò)的智能車牌識(shí)別研究

史敏紅，李樹文，楊 志

（山西工程職業(yè)學(xué)院，山西 太原 030032）

卷積神經(jīng)網(wǎng)絡(luò)的起源是生物學(xué)原理。20世紀(jì)60年代，生物學(xué)家HUBEL和WIESEL[1]發(fā)現(xiàn)了貓的神經(jīng)系統(tǒng)組織原理。貓的視覺皮層細(xì)胞從視網(wǎng)膜獲取視覺信息，完成信息轉(zhuǎn)換。日本學(xué)者基于此提出了卷積神經(jīng)網(wǎng)絡(luò)基礎(chǔ)模型，由此開啟了卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）的研究[2]。后來(lái)，各國(guó)計(jì)算機(jī)研究人員開始對(duì)CNN模型進(jìn)行研究，經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò)模型有GoogLeNet、AlexNet及VGGNet。李英等[3]將GoogLeNet模型應(yīng)用于遙感圖像的識(shí)別分類中，解決了在復(fù)雜的圖像背景干擾下，傳統(tǒng)圖像處理的分類算法識(shí)別效率低下的問(wèn)題。張素智等[4]將AlexNet網(wǎng)絡(luò)進(jìn)行改進(jìn)，在算法的損失函數(shù)中加入了正則項(xiàng)，降低了特征信息的擬合曲線抖動(dòng)的幅度，最終提高了破損輪胎圖像的訓(xùn)練準(zhǔn)確率，同時(shí)提高了破損輪胎的識(shí)別效率。

0 引 言

在城市化進(jìn)程的發(fā)展過(guò)程中，人們出行時(shí)越來(lái)越傾向于選擇私家車，智能化交通管理成為未來(lái)發(fā)展的大方向。作為智能化交通管理體系的重要核心，智能車牌識(shí)別被廣泛地應(yīng)用于居民小區(qū)、大型商場(chǎng)及大部分公共場(chǎng)所。隨著人工智能的發(fā)展，圖像識(shí)別已經(jīng)覆蓋了人類社會(huì)的多個(gè)領(lǐng)域，包括醫(yī)學(xué)、智能制造、農(nóng)業(yè)等。傳統(tǒng)的圖像識(shí)別主要是基于像素級(jí)的，需要對(duì)圖像進(jìn)行預(yù)處理，這會(huì)影響圖像識(shí)別的整體速率。鑒于卷積神經(jīng)網(wǎng)絡(luò)在圖像識(shí)別方面的優(yōu)良性能，近年來(lái)，將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于圖像處理領(lǐng)域變得越來(lái)越廣泛。卷積神經(jīng)網(wǎng)絡(luò)在進(jìn)行圖像融合時(shí)，不需要對(duì)圖像進(jìn)行前期的預(yù)處理，可以加快圖像識(shí)別的進(jìn)程。崔子越等[5]將VGGNet模型進(jìn)行改進(jìn)，和Focal Loss相結(jié)合，提高了圖像識(shí)別的準(zhǔn)確率，提升了特征提取能力，避免了過(guò)擬合的問(wèn)題，并且通過(guò)實(shí)驗(yàn)證實(shí)了算法的有效性。

1 CNN的相關(guān)理論

CNN是由可學(xué)習(xí)權(quán)重和偏置常量的神經(jīng)元組成的前饋控制神經(jīng)網(wǎng)絡(luò)，具有卷積計(jì)算的特征。CNN整體結(jié)構(gòu)包括卷積層、池化層、線性整流層及全連接層。卷積層利用卷積操作對(duì)輸入的圖像進(jìn)行處理，提取圖片的有效特征；池化層對(duì)圖像進(jìn)行縮小，降低特征圖的數(shù)量；線性整流層使用線性整流激活函數(shù)，對(duì)于輸入圖像中的每個(gè)正值，返回相同的值；全連接層在輸出層使用softmax激活函數(shù)，對(duì)處理好的圖像進(jìn)行分類處理，最后將分類結(jié)果輸出[6]。CNN模型結(jié)構(gòu)如圖1所示。

圖1 CNN模型結(jié)構(gòu)圖

（1）輸入層即INPUT層，圖1顯示，輸入圖像為字母A圖像，圖像大小為36×28。

（2）C1為卷積層，得到4個(gè)32×24的特征圖（feature maps），每個(gè)卷積核大小為5×5，共用了4個(gè)卷積核。

（3）S2為采樣層（subsampling）。每個(gè)C1層的特征圖經(jīng)過(guò)下采樣變成大小為16×12的特征圖，每個(gè)采樣窗口大小為2×2。

（4）C3為卷積層，得到12個(gè)大小為12×8的特征圖，每個(gè)特征圖都是S2層4個(gè)特征圖卷積的累加，每個(gè)卷積核大小為5×5，共12×8個(gè)卷積核。

（5）S4采樣層對(duì)C3層的每個(gè)特征圖進(jìn)行下采樣，得到12個(gè)大小為6×4的特征圖，每個(gè)采樣窗口大小為2×2。

（6）接下來(lái)的F5層將上一層的12個(gè)特征圖降維，轉(zhuǎn)換連接成一個(gè)向量。向量一共包含12×6×4即288個(gè)神經(jīng)元，反向傳播計(jì)算時(shí)進(jìn)行逆運(yùn)算，將向量逆變換成12個(gè)特征圖。

（7）輸出層（OUTPUT）是由34個(gè)神經(jīng)元構(gòu)成的向量，對(duì)應(yīng)34個(gè)字符的輸出。最后的Softmax分類器由F5層和輸出層構(gòu)成。

2 人工智能車牌識(shí)別研究現(xiàn)狀

2.1 國(guó)內(nèi)外研究現(xiàn)狀

國(guó)內(nèi)外研究人員對(duì)車牌識(shí)別的研究始于20世紀(jì)80年代。車牌識(shí)別的算法很多，包括傳統(tǒng)的基于像素級(jí)別的圖像識(shí)別方法、基于數(shù)學(xué)形態(tài)學(xué)的方法（如對(duì)圖像進(jìn)行平滑、二值化、模糊處理、邊緣檢測(cè)和圖像分割等，為圖像的識(shí)別做好前期的預(yù)處理工作），近年來(lái)出現(xiàn)新的人工智能算法，如機(jī)器學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)算法，在圖像融合的過(guò)程中表現(xiàn)出良好的性能優(yōu)勢(shì)。

在車牌圖像識(shí)別的過(guò)程中，外界環(huán)境因素如光線變化、霧霾天氣及公路上的障礙物遮擋等，對(duì)車牌識(shí)別造成的影響較大。前期車牌識(shí)別技術(shù)進(jìn)展較慢，圖像識(shí)別中很多數(shù)據(jù)需要計(jì)算，識(shí)別的實(shí)時(shí)性差，因此沒有得到良好的應(yīng)用。為了解決以上問(wèn)題，目前車牌識(shí)別主要采取紅外照明攝像或者采用專用的傳感器來(lái)提高圖像拍攝的質(zhì)量。盡管在一定程度上提高了識(shí)別率，但是專用傳感器造成系統(tǒng)投入的成本過(guò)大，設(shè)備應(yīng)用領(lǐng)域比較窄。因此開發(fā)一款經(jīng)濟(jì)、高效的智能車牌識(shí)別系統(tǒng)，成為研究人員亟待解決的難題。

2.2 智能車牌識(shí)別的難點(diǎn)

車牌識(shí)別一般發(fā)生在戶外。戶外的天氣狀況多變，會(huì)對(duì)車牌的識(shí)別造成一定的干擾。霧霾天氣和強(qiáng)光照射的天氣對(duì)車牌圖像的識(shí)別影響較大。圖2所示為強(qiáng)霧霾天氣和夜間遠(yuǎn)光燈照射下拍攝的車牌圖片。如圖2所示，車牌的數(shù)字比較模糊，影響識(shí)別的效率和準(zhǔn)確率。

圖2 不同環(huán)境下拍攝的車牌圖

3 實(shí)驗(yàn)過(guò)程

車牌識(shí)別的整個(gè)過(guò)程包括車牌定位、車牌預(yù)處理、字符分割、字符識(shí)別以及獲取車牌號(hào)相關(guān)信息（車牌、車型及車速等）。國(guó)內(nèi)的車牌一般由漢字、大寫的英文字符（不含O和I）以及數(shù)字共7位構(gòu)成，包括漢字字符。除去省份縮寫和城市代碼，車牌主體部分包含數(shù)字和字母共34個(gè)字符（其中包含10個(gè)數(shù)字字符和24個(gè)字母字符，不含字母O與I）。進(jìn)行車牌識(shí)別時(shí)，需要對(duì)車牌字符進(jìn)行預(yù)處理，車牌字符訓(xùn)練的原始數(shù)據(jù)來(lái)源于網(wǎng)絡(luò)[7]。實(shí)驗(yàn)環(huán)境為Windows 10操作系統(tǒng)，Anaconda+TensorFlow+PyCharm環(huán)境。

車牌的字符結(jié)構(gòu)比較簡(jiǎn)單，針對(duì)圖像本身的特點(diǎn)，可以采用LeNet-5結(jié)構(gòu)，既能滿足正確識(shí)別率的要求，又能減少識(shí)別的時(shí)間。陶星珍等人[8]將深度學(xué)習(xí)模型LeNet-5應(yīng)用于車牌識(shí)別中，解決了漢字識(shí)別效率低和識(shí)別速率慢的問(wèn)題。在該方法中，LeNet-5結(jié)構(gòu)可以降低圖像特征的提取難度，提高識(shí)別的效率和識(shí)別的速度，提高圖像識(shí)別的正確率。趙彩敏等人[9]將改進(jìn)的LeNet-5卷積神經(jīng)網(wǎng)絡(luò)用于人臉表情識(shí)別中，加上Z-score標(biāo)準(zhǔn)化處理，激活函數(shù)使用了性能更優(yōu)良的Relu函數(shù)，減少了梯度彌散的問(wèn)題，使得算法識(shí)別率達(dá)到79.81%。LeNet-5卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)如圖3所示。

圖3 LeNet-5卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖

為了驗(yàn)證卷積神經(jīng)網(wǎng)絡(luò)在智能交通車牌識(shí)別中的有效性，本文運(yùn)用此方法，對(duì)車牌識(shí)別進(jìn)行 訓(xùn)練。

利用卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)智能車牌識(shí)別的過(guò)程分為以下幾個(gè)步驟：

（1）完成環(huán)境的搭建，對(duì)省份、城市代碼及車牌編號(hào)的卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練代碼進(jìn)行調(diào)試；

（2）對(duì)省份進(jìn)行訓(xùn)練與識(shí)別（實(shí)驗(yàn)選取3個(gè)省份：京、蘇、滬）；

（3）對(duì)每個(gè)省份對(duì)應(yīng)的城市代碼（包含英文大寫字母，不含O和I，共24個(gè)）進(jìn)行訓(xùn)練與識(shí)別；

（4）對(duì)車牌編號(hào)進(jìn)行識(shí)別（包含英文大寫字母和數(shù)字0～9，共34個(gè)）。

圖4展示了部分車牌字符識(shí)別訓(xùn)練的圖像集合，圖像來(lái)源于文獻(xiàn)[7]。

圖4 車牌字符識(shí)別訓(xùn)練圖像部分集合

圖像采用網(wǎng)絡(luò)車牌號(hào)碼，車牌圖像如圖5所示。將圖像拍攝出來(lái)，用訓(xùn)練模型進(jìn)行訓(xùn)練，最后通過(guò)模型得到識(shí)別后的車牌號(hào)碼。

圖5 車牌圖片

用卷積神經(jīng)網(wǎng)絡(luò)對(duì)省份進(jìn)行訓(xùn)練識(shí)別，結(jié)果如圖6所示。

圖6 省份識(shí)別結(jié)果圖

識(shí)別城市代號(hào)結(jié)果如圖7所示。

圖7 城市代碼識(shí)別結(jié)果圖

最終識(shí)別出的車牌編號(hào)結(jié)果如圖8所示。

圖8 車牌編號(hào)識(shí)別結(jié)果圖

4 結(jié) 語(yǔ)

隨著計(jì)算機(jī)技術(shù)的不斷發(fā)展與成熟，人工智能技術(shù)在生活中發(fā)揮的作用越來(lái)越大，其中，以深度學(xué)習(xí)為代表的各種算法應(yīng)用如自動(dòng)駕駛、智慧城市、智能醫(yī)療、圖像處理及人臉識(shí)別等，表現(xiàn)出優(yōu)良的性能，大大提高了使用單位的工作效率，極大地方便了人們的生活。在深度學(xué)習(xí)領(lǐng)域，卷積神經(jīng)網(wǎng)絡(luò)算法使用最為廣泛，其將二維圖像作為向量進(jìn)行輸入，通過(guò)卷積計(jì)算，提取圖像的各類特征信息，最后通過(guò)分類器實(shí)現(xiàn)圖像特征識(shí)別。算法提高了圖像特征提取能力和識(shí)別的準(zhǔn)確率，實(shí)驗(yàn)結(jié)果證明算法在車牌識(shí)別中性能良好，具有應(yīng)用和推廣價(jià)值。