車輛管理中的車牌識(shí)別問題

盧鴻 溫燕軍 錢蓓

[摘 要]通過對(duì)圖像進(jìn)行灰度化、二值化、濾波操作和膨脹腐蝕，完成車牌定位前的預(yù)處理，然后根據(jù)車牌區(qū)域的邊緣信息、顏色特征、紋理特征等進(jìn)行車牌定位，最后根據(jù)字符特征分割車牌圖像，完成車牌分割;運(yùn)用卷積神經(jīng)網(wǎng)絡(luò)的方法對(duì)分割后的車牌進(jìn)行字符串識(shí)別。

[關(guān)鍵詞]車牌識(shí)別;車牌定位;字符分割;字符識(shí)別;卷積神經(jīng)網(wǎng)絡(luò)（CNN）

一、問題重述

隨著智能技術(shù)的發(fā)展和成熟，很多場(chǎng)合開始使用智能識(shí)別技術(shù)代替人工操作，車牌自動(dòng)識(shí)別系統(tǒng)就是一種智能識(shí)別技術(shù)，該技術(shù)是一種基于計(jì)算機(jī)圖像處理的技術(shù)，在各種車輛管理系統(tǒng)中有著廣泛的應(yīng)用。試建立數(shù)學(xué)模型解決以下兩個(gè)問題。

問題1：識(shí)別下圖中的車牌或其他汽車車牌。

問題2：試識(shí)別附件圖片包中的汽車車牌，討論所建模型的合理性、效率。

二、模型的建立與求解

車輛拍照識(shí)別（License Plate Recognition，LPR）系統(tǒng)主要應(yīng)用于智能交通系統(tǒng)，是智能交通領(lǐng)域的重要研究課題之一，它主要包括四個(gè)方面：對(duì)汽車車牌圖像進(jìn)行預(yù)處理、系統(tǒng)進(jìn)行車牌定位、汽車車牌字符分割、汽車車牌字符識(shí)別依次進(jìn)行各項(xiàng)處理，最后識(shí)別給定圖片中的車牌。我國(guó)普通小型車車牌由七個(gè)字符構(gòu)成，第一個(gè)字符為各省、直轄市、自治區(qū)的簡(jiǎn)稱（黑、吉、遼、京、津、滬等），第二個(gè)字符為英文大寫字母A～Z，其中I和O一般不用，以避免與數(shù)字1和0混淆，第三至第七位字符為英文大寫字母A～Z或數(shù)字0～9。

（一）問題1模型的建立與求解

針對(duì)問題1，因?yàn)閱栴}1需要識(shí)別的車牌圖片只有車牌，所以對(duì)圖片進(jìn)行的預(yù)處理中不需要車牌定位，直接采用直方圖均衡化的方法對(duì)圖像進(jìn)行增強(qiáng)，然后對(duì)圖像進(jìn)行去噪。由于圖片中的車牌已經(jīng)是正中的，所以字符分割中的傾斜矯正也可以省略。字符分割之前，首先要進(jìn)行圖像的二值化，然后再進(jìn)行圖像的字符分割，從而分割出一個(gè)個(gè)具體的二值圖表示的字符圖像點(diǎn)陣，作為單字識(shí)別的輸入數(shù)據(jù)。分割之后需要統(tǒng)一字符大小，因此對(duì)其進(jìn)行歸一化和去邊框處理，最后進(jìn)行字符識(shí)別。

1.圖像預(yù)處理

第一步：為了增加圖像的全局對(duì)比度，對(duì)原圖進(jìn)行直方圖均衡化處理。

第二步：用HSV算法對(duì)均衡化處理后的圖像進(jìn)行處理，處理后對(duì)比圖如圖2所示。

第三步：對(duì)經(jīng)過HSV算法處理過后的圖像進(jìn)行顏色濾波處理，處理后如圖3。

第四步：對(duì)顏色濾波處理后的圖進(jìn)行形態(tài)學(xué)濾波處理，去除面積小于30的小對(duì)象，從而達(dá)到去噪效果，如圖4所示。

如圖5所示，可以看出方法一中采用的灰度+形態(tài)學(xué)濾波處理方法得到的圖像在“B”到“9”字樣中還殘留大部分白色背景，而方法二采用的顏色過濾+形態(tài)學(xué)濾波處理方法得到的圖像在背景處理方面效果更佳。

2.字符分割

用投影分割字符的方法對(duì)車牌中的字符進(jìn)行切分和提取。

投影分割方法的原理是首先將車牌圖像轉(zhuǎn)換為二值圖像（設(shè)白色為1，黑色為0），然后將車牌像素灰度值按垂直方向累加，即所謂的垂直投影。由于車牌中字符之間的灰度值通常為0，因此，投影圖將會(huì)在字符之間形成谷底，或者說在字符處形成波峰（一種特殊的波峰）。通過尋找兩個(gè)波峰之間的谷底， 再結(jié)合車牌字符的高度、間距的固定比例關(guān)系等先驗(yàn)知識(shí)，來分割車牌圖像中的字符。將其作為字符分割的位置，完成字符的分割。

3.字符識(shí)別

車牌分割，分割之后需要統(tǒng)一字符大小，因此對(duì)其進(jìn)行歸一化和去邊框處理。然后采用卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network，CNN）進(jìn)行字符識(shí)別。

卷積神經(jīng)網(wǎng)絡(luò)的工作原理可以分為網(wǎng)絡(luò)模型定義、網(wǎng)絡(luò)訓(xùn)練以及網(wǎng)絡(luò)的預(yù)測(cè)三個(gè)部分。本文所用卷積神經(jīng)網(wǎng)絡(luò)中，參數(shù)如下表1所示。

接下來構(gòu)建訓(xùn)練集，運(yùn)用構(gòu)建的訓(xùn)練集對(duì)大小為七萬的樣本集進(jìn)行了訓(xùn)練，可得到如圖7的訓(xùn)練誤差曲線圖。

針對(duì)訓(xùn)練集，從樣本集中取1%的樣本構(gòu)成測(cè)試集，對(duì)所構(gòu)成的訓(xùn)練集進(jìn)行驗(yàn)證，驗(yàn)證結(jié)果如圖8所示，由圖可知，構(gòu)建的訓(xùn)練集識(shí)別率較高，經(jīng)計(jì)算得到誤差率為3.276%，即正確率為96.724%。

對(duì)問題1中車牌號(hào)為“贛B·04195”的車牌進(jìn)行圖像預(yù)處理及字符分割后，用卷積神經(jīng)網(wǎng)絡(luò)對(duì)其進(jìn)行識(shí)別，識(shí)別結(jié)果如圖9。

由圖9可知，上述方法對(duì)問題1中給定圖像有較好的去噪及識(shí)別效果，問題1構(gòu)建的模型具有較高的可行性。

（二）問題2模型的建立與求解

1.問題2模型的建立

（1）圖像預(yù)處理

對(duì)于車牌圖片的識(shí)別，先采用直方圖均衡化的方法對(duì)圖像進(jìn)行增強(qiáng)，通過灰度化、二值化、濾波操作和膨脹腐蝕完成圖像定位前的預(yù)處理。

灰度化

本文主要采用加權(quán)平均值法：根據(jù)重要性或其他指標(biāo)給R、G、B賦予不同的權(quán)值，并使R、G、B等于它們的值的加權(quán)和平均，即

其中Wr、Wc、Wa，分別為R、G、B的權(quán)值，由于人眼對(duì)綠色的敏感度最高，對(duì)紅色的敏感度次之，對(duì)藍(lán)色的敏感度最低，當(dāng)Wr=0.30，Wc=0.59，Wa=0.11時(shí)，能得到最合理的灰度圖像。

（2）車牌定位

①基于邊緣分割法

圖像分割的一種重要途徑是通過邊緣檢測(cè)，即檢測(cè)灰度級(jí)或者結(jié)構(gòu)具有突變的地方，表明一個(gè)區(qū)域的終結(jié)，也是另一個(gè)區(qū)域開始的地方。這種不連續(xù)性稱為邊緣。不同的圖像灰度不同，邊界處一般有明顯的邊緣，利用此特征可以分割圖像。圖像中邊緣處像素的灰度值不連續(xù)，這種不連續(xù)性可通過求導(dǎo)來檢測(cè)到。

但基于邊緣并不適用于所有圖像，對(duì)于邊緣不清晰的圖片處理效果差，如圖10所示。

②基于顏色檢測(cè)法

這種方法采用HSV模型，這個(gè)模型中顏色的參數(shù)分別是：色調(diào)（H），飽和度（S），明度（V）。色調(diào)H用角度度量，取值范圍為0°～360°，從紅色開始按逆時(shí)針方向計(jì)算，紅色為0°，綠色為120°，藍(lán)色為240°。它們的補(bǔ)色是：黃色為60°，青色為180°，品紅為300°;飽和度S表示顏色接近光譜色的程度。一種顏色，可以看成是某種光譜色與白色混合的結(jié)果，其中光譜色所占的比例愈大，顏色接近光譜色的程度就愈高，顏色的飽和度也就愈高。飽和度高，顏色則深而艷。光譜色的白光成分為0，飽和度達(dá)到最高。通常取值范圍為0%～100%，值越大，顏色越飽和;明度V表示顏色明亮的程度，對(duì)于光源色，明度值與發(fā)光體的光亮度有關(guān);對(duì)于物體色，此值和物體的透射比或反射比有關(guān)。通常取值范圍為0%（黑）到100%（白）。采用基于顏色處理后圖像如圖11。

但基于顏色檢測(cè)法并不適用于所有圖像，對(duì)于具有大范圍藍(lán)色的圖片識(shí)別效果差，如圖12所示。

③基于邊緣和基于顏色

由于基于邊緣對(duì)于車牌邊緣不夠明顯或有其他邊緣干擾的圖片處理效果不佳，而基于顏色檢測(cè)法對(duì)于有大面積藍(lán)色背景的圖片處理效果不佳，所以本文采用將上述兩種方法結(jié)合起來的處理方法對(duì)圖片進(jìn)行處理，基于邊緣和基于顏色檢測(cè)法可以更加清晰準(zhǔn)確地對(duì)所給圖片中的車牌進(jìn)行定位，此方法適用范圍更廣，可用性強(qiáng)，如圖13。

根據(jù)圖13可知，基于邊緣檢測(cè)法或基于顏色檢測(cè)法處理效果不佳的圖片，在采用基于邊緣和基于顏色檢測(cè)法后能得到較好的處理效果。

（3）字符分割

在了解車牌字符的規(guī)律之后，可以根據(jù)車牌的特點(diǎn)對(duì)字符進(jìn)行分割。一般最容易想到的方法就是根據(jù)車牌投影、像素統(tǒng)計(jì)特征對(duì)車牌圖像進(jìn)行字符分割的方法。它的精髓是對(duì)車牌圖像進(jìn)行逐列掃描，統(tǒng)計(jì)車牌字符的每列像素點(diǎn)個(gè)數(shù)，并得到投影圖，根據(jù)車牌字符像素統(tǒng)計(jì)特點(diǎn)（投影圖中的波峰或者波谷），把車牌分割成單個(gè)獨(dú)立的字符。

圖像的邊緣信息一般都是高頻信息，所以在水平、垂直方向上對(duì)車牌圖像進(jìn)行小波變換，對(duì)其高頻信息進(jìn)行重構(gòu)，獲得相應(yīng)的高頻信息方面的子圖，在車牌垂直投影圖像中找到每個(gè)車牌字符的邊界所在位置，并記下邊界位置的橫坐標(biāo);同理在水平投影圖像中找到相應(yīng)的邊界的縱坐標(biāo)，再根據(jù)相應(yīng)的字符坐標(biāo)值將字符分割出來。

2.問題2模型的求解

（1）附件中圖片的識(shí)別結(jié)果

用問題2中所構(gòu)建模型對(duì)問題2附件中所給圖片進(jìn)行車牌識(shí)別，部分結(jié)果如圖14。

（2）模型的合理性分析

由模型的建立過程可知，將基于邊緣和基于顏色兩種方法結(jié)合起來，可以更加清晰準(zhǔn)確地對(duì)所給圖片中的車牌進(jìn)行定位，此方法適用范圍更廣，可用性強(qiáng)。但由于樣本集的缺失最后的識(shí)別結(jié)果不太理想，正確率為83.629%。

（3）模型的效率分析

通過MATLAB軟件編寫程序建立CNN神經(jīng)網(wǎng)絡(luò)聯(lián)合模板匹配的車牌識(shí)別系統(tǒng)對(duì)問題中的圖片進(jìn)行識(shí)別，無論輸入怎樣的原圖，識(shí)別時(shí)間都為0.3秒左右，可見模型有較高的效率。

三、 模型的優(yōu)缺點(diǎn)

1. 模型的優(yōu)點(diǎn)

（1）車牌定位充分利用圖像中的顏色信息、邊緣信息。解決了因車牌位置在車輛圖像中的不確定、抓拍圖像易受環(huán)境因素干擾、較復(fù)雜背景的干擾及照片質(zhì)量低下等問題。

（2）模型能實(shí)現(xiàn)邊緣的準(zhǔn)確定位、高速并行計(jì)算，且處理速度與圖像大小無關(guān)， 采用CNN神經(jīng)網(wǎng)絡(luò)對(duì)不同的分割字符進(jìn)行準(zhǔn)確識(shí)別，具有較高的普遍性。

2. 模型的缺點(diǎn)

本模型CNN網(wǎng)絡(luò)由于訓(xùn)練樣本集不夠完善對(duì)圖片質(zhì)量不高的字符識(shí)別率較低，對(duì)8和B易混淆。車牌定位在復(fù)雜的環(huán)境下沒有那么理想，如在周圍有許多車，邊緣，顏色比較復(fù)雜時(shí)難以定位。

參考文獻(xiàn)：

[1]凌翔，賴錕，王昔鵬.基于模板匹配方法的不均勻照度車牌圖像識(shí)別[J].重慶交通大學(xué)學(xué)報(bào)（自然科學(xué)版），2017（8）.

[2]彥冬，郝宗波，雷航.卷積神經(jīng)網(wǎng)絡(luò)研究綜述[J].計(jì)算機(jī)應(yīng)用，2016（9）.

[3]彭清，季桂樹，謝江林，等.卷積神經(jīng)網(wǎng)絡(luò)在車輛識(shí)別中的應(yīng)用[J].計(jì)算機(jī)科學(xué)與探索，2018（2）.

[作者單位]

1.贛南師范大學(xué)數(shù)學(xué)與計(jì)算機(jī)科學(xué)學(xué)院;2.贛南師范大學(xué)計(jì)財(cái)處

（編輯：鄭曉燕）