基于深度學習的車牌字符識別的設(shè)計與實現(xiàn)

肖秀春 吳偉鵬

摘要

由于應(yīng)用場景的復(fù)雜性，從車牌圖像中通過定位和分割技術(shù)得到的車牌字符通常存在傾斜、扭曲、光照條件差、像素分辮率低等情況，導致在實際應(yīng)用中，傳統(tǒng)車牌字符識別方法存在諸多不足與困難。將深度學習運用到車牌字符識別技術(shù)中，通過大量樣本訓練，讓深度卷積神經(jīng)網(wǎng)絡(luò)（CNN）學習車牌字符的圖像特征，進而自動識別出其中的車牌字符。由于深度學習模型具有很強的學習能力，可克服實際應(yīng)用中諸多困難，從而提高車牌字符的識別率。

【關(guān)鍵詞】車牌號碼識別 字符識別 深度學習卷積神經(jīng)網(wǎng)絡(luò)

1 引言

隨著我國現(xiàn)代化和城市化水平的不斷進步，人們的生活水平日益提高。近年來，我國機動車的保有量得到快速增長。這些車輛給我們的日常生活提供相當?shù)谋憷?，同時，也給我們的交通管理、城市管理帶來了一些問題，例如車輛的亂停亂放、違犯交通標識和信號燈規(guī)則等交通違章現(xiàn)象日益突出。另一方面，由于計算機處理速度的提升和圖像處理技術(shù)、模式識別技術(shù)的飛速發(fā)展，車牌號碼的自動識別成為可能。近年來，車牌號碼自動識別技術(shù)在智能交通監(jiān)控和智能停車場管理系統(tǒng)中得到廣泛應(yīng)用，使得傳統(tǒng)的車牌登記、監(jiān)控和管理發(fā)生了重大變化。

車牌號碼自動識別技術(shù)是為了提高車輛監(jiān)控和管理效率而產(chǎn)生的一種圖像處理或模式識別技術(shù)。通常，車牌號碼識別包括車牌圖像預(yù)處理、車牌號碼定位、車牌字符分割、字符識別等四個部分。本文主要討論車牌字符自動識別問題。由于應(yīng)用場景的復(fù)雜性，外部的光照條件各不相同（環(huán)境、季節(jié)、氣候、白晝等不同情況下的光照條件差異非常大），車牌的反射程度差異也較大，這些會對所采集得到的車牌字符質(zhì)量造成很大的影響，從而在某種程序上降低車牌字符識別的準確率。另一方面，從車牌圖像中通過定位和分割技術(shù)得到的車牌字符一般存在傾斜、扭曲、像素分辨率低等情況，導致在實際應(yīng)用中，傳統(tǒng)車牌字符識別方法存在諸多不足與困難。最后，我國車牌號碼本身就具有復(fù)雜的特征：

（1）車牌字符中不僅僅有漢字，還有英文字母和阿拉伯數(shù)字。由于漢字的復(fù)雜性，其識別難度遠遠大于字母和數(shù)字;

（2）具有多種顏色分類，主要分為四種：黑字黃底、白字藍底、黑字白底和白字黑底;

（3）車牌格式較多，我國的車牌格式包括：軍車車牌、武警車牌、民用車牌、外交車牌、特種車牌、公安警察車牌、消防車牌等;

（4）車牌的懸掛方式不唯一，由于不同汽車公司出產(chǎn)的汽車型號和外形各不相同，導致了車牌的懸掛位置不唯一。以上種種原因，導致利用傳統(tǒng)的圖像處理或模式識別技術(shù)，很難同時克服全部困難。

由于深度神經(jīng)網(wǎng)絡(luò)具有很強的學習能力，本文將在圖像處理領(lǐng)域應(yīng)用最廣泛的深度卷積神經(jīng)網(wǎng)絡(luò)運用到車牌字符識別技術(shù)中，根據(jù)車牌字符識別的特點，構(gòu)造合適的深度卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，通過大量樣本訓練，讓深度卷積神經(jīng)網(wǎng)絡(luò)（CNN）學習車牌字符的圖像特征，進而自動識別出其中的車牌字符。實驗結(jié)果表明，深度卷積神經(jīng)網(wǎng)絡(luò)可克服實際應(yīng)用中諸多困難，從而獲得較高的車牌字符的識別率。2網(wǎng)絡(luò)結(jié)構(gòu)

選擇合適的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)對于車牌字符識別準確率的提高和降低時間消耗至關(guān)重要。由于車牌字符識別問題的復(fù)雜性相對較低、且對實時性要求較高，因此，本文在仿真實驗的基礎(chǔ)上，對結(jié)構(gòu)相對簡單的經(jīng)典LeNet卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)進行改進得到適合車牌字符識別的7層結(jié)構(gòu)的卷積神經(jīng)網(wǎng)絡(luò)。

2.1 LeNet卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)（Convolutional NeuralNetwork，CNN），也稱深度卷積神經(jīng)網(wǎng)絡(luò)，是受人類視覺神經(jīng)感受野的啟發(fā)而提出的。目前，卷積神經(jīng)網(wǎng)絡(luò)己成為圖像、視頻處理領(lǐng)域應(yīng)用最廣泛的深度神經(jīng)網(wǎng)絡(luò)模型。一般地，一個典型的卷積神經(jīng)網(wǎng)絡(luò)由卷積層、池化層和全連接層等構(gòu)成，具有局部感知、權(quán)值共享、多層卷積等特點。相比傳統(tǒng)BP等全連接神經(jīng)網(wǎng)絡(luò)，卷積神經(jīng)網(wǎng)絡(luò)具有如下優(yōu)越之處：

（1）卷積核具有局部感知特性，與生物視覺神經(jīng)網(wǎng)絡(luò)更加近似;

（2）卷積核具有權(quán)值共享特性，可以極大地減少神經(jīng)網(wǎng)絡(luò)參數(shù)數(shù)量，使得對網(wǎng)絡(luò)參數(shù)的訓練更為容易;

（3）多層卷積本質(zhì)上是從低層次到高層次提取圖像特征的過程，而全連接神經(jīng)網(wǎng)絡(luò)基本沒有特征提取的能力。卷積神經(jīng)網(wǎng)絡(luò)提到到的高層次圖像特征可以很容易地應(yīng)用于物體識別或分類等

LeNet卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)是1998年由LeCun等提出的一種經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò)。LeNet網(wǎng)絡(luò)模型的提出標志著卷積神經(jīng)的正式成型。圖所示給出了經(jīng)典的LeNet卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。該模型結(jié)構(gòu)中共包含有2個卷積層、2個平均池化層和3個全連接層。如果將LeNet卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于MNIST手寫數(shù)字識別，準確率可達99%以上，可見LeNet卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)雖然僅有兩個卷積層，但其功能已經(jīng)較為強大。

2.2 車牌字符識別卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

本文所研究的車牌字符識別技術(shù)，也采取經(jīng)典LeNet類似的結(jié)構(gòu)，圖2為所提出的車牌字符識別卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。在圖2中，第一個卷積層利用16個8x8x1的卷積核進行卷積實現(xiàn)特征提取，提取到原始車牌圖像的16個低層次特征，然后經(jīng)過一個2x2的池化層對提取到的低層次特征進行下采樣;第二個卷積層通過32個5x5x16的卷積核進行卷積實現(xiàn)特征提取，提取到原始車牌圖像的32個高層次特征，再經(jīng)過一個1x1的池化層;最后通過全連接層實現(xiàn)第二個卷積層到輸出層的映射。另外，網(wǎng)絡(luò)還有一個輸入層和一個輸出層，其中，輸入層為已經(jīng)分割好的車牌字符圖像，且圖像大小已經(jīng)調(diào)整為32X40圖像塊;輸出層表達了72個不同類別的字符輸出，即：{1、2、3、4、5、6、7、8、9、0、A、B、C、D、E、F、G、H、J、K、L、M、N、P、Q、R、S、T、U、V、W、X、Y、Z、京、津、冀、遼、吉、黑、滬、蘇、浙、皖、閩、贛、魯、豫、鄂、湘、粵、桂、瓊、渝、川、貴、云、藏、陜、甘、青、寧、新、澳、港、臺、蒙、晉、軍、海、學、警}。需要注意的是，按我國交通法規(guī)規(guī)定，車牌編號中不能夠包含字母I和O。

3 實驗及結(jié)果

3.1 車牌字符圖像集的獲取

一般來說，深度學習模型需要大量的樣本對其進行訓練才能提高其識別準確率和泛化能力。當前對于車牌號碼識別研究來說，尚無公開的車牌字符圖像集。如果在全國范圍內(nèi)大量采集車牌圖像數(shù)據(jù)工作量非常大，也比較難以實現(xiàn)，本文的實驗數(shù)據(jù)中車牌字符圖像只是從國內(nèi)各省份選取部分車牌作為訓練和測試數(shù)據(jù)。為了獲取足夠規(guī)模的車牌字符圖像集，我們對已經(jīng)采集到的部分車牌號碼圖像通過拉伸、扭曲、平移、縮放、旋轉(zhuǎn)等圖像變換技術(shù)成倍地增加樣本圖像。圖3所示為通過對真實車牌字符圖像進行多種圖像變換技術(shù)獲取的車牌字符圖像樣本，其中，第1、2行為車牌漢字字符圖像，第3、4行為車牌英文字母圖像，第5、6行車牌數(shù)字字符圖像。

3.2 實驗結(jié)果

為了驗證本文提出的深度卷積神經(jīng)網(wǎng)絡(luò)及其結(jié)構(gòu)的有效性，我們將車牌圖像預(yù)處理、車牌定位和車牌字符分割作為前期處理，結(jié)合到車牌字符識別過程中。先把車牌圖像集及其標簽保存到訓練樣本所在目錄，然后，執(zhí)行車牌號碼自動識別全部操作命令。程序執(zhí)行時的經(jīng)過最多500次迭代訓練，其識別準確率可達99.0%，訓練耗時約為11小時。

圖4所示為車牌圖像示例及其識別結(jié)果，本文算法準確地識別出該圖像中的車牌號碼。同時，我們進一步測試了500個實際車牌圖像，其車牌號碼中所有字符完全正確地識別的準確率為97.6%。

4 結(jié)束語

字符識別是車牌號碼自動識別中的關(guān)鍵技術(shù)之一，由于應(yīng)用場景的復(fù)雜性，導致在實際應(yīng)用中，傳統(tǒng)車牌字符識別方法存在諸多不足與困難。將深度卷積神經(jīng)網(wǎng)絡(luò)運用到車牌字符識別技術(shù)中，構(gòu)造合適的深度卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，通過圖像變換技術(shù)獲取大量樣本訓練，訓練深度卷積神經(jīng)網(wǎng)絡(luò)參數(shù)以學習車牌字符的圖像特征，進而識別出其中的車牌字符。由于深度學習模型具有很強的學習能力，可克服實際應(yīng)用中諸多困難，從而提高車牌字符的識別率

參考文獻

[1]彭博，臧笛.基于深度學習的車標識別方法研究[J].計算機科學，2015，42（04）：268-272.

[2]趙振興.基于深度學習的車牌識別技術(shù)研究[D].青島科技大學（碩士學位論文），2017.

[3]王恒.基于深度學習的車牌識別算法研究[D].青島科技大學（碩士學位論文），2017.

[4]楊玨吉.基于深度學習的車牌識別系統(tǒng)[D].浙江大學（碩士學位論文），2017.

[5]殷浩.基于深度學習及視覺注意的車牌識別研究[D].湖北工業(yè)大學（碩士學位論文），2017.

[6]劉崢強.深度學習算法在車牌識別系統(tǒng)中的應(yīng)用[D]，電子科技大學（碩士學位論文），2016.

[7]王晶.基于深度學習神經(jīng)網(wǎng)絡(luò)的車牌字符識別技術(shù)的研究[J].工業(yè)控制計算機，2017（03）.

[8]趙志宏，楊紹普，馬增強.基于卷積神經(jīng)網(wǎng)絡(luò)LeNet-5的車牌字符識別研究[J].系統(tǒng)仿真學報，2010（03）.