基于機(jī)器學(xué)習(xí)的多車牌識別算法應(yīng)用研究

鄭顧平，閆勃勃，李 剛

(華北電力大學(xué) 控制與計(jì)算機(jī)工程學(xué)院，河北 保定 071000)

0 引 言

智能交通已經(jīng)成為生活中必不可少的部分，同時(shí)智能小區(qū)也成為必然趨勢。隨著生活質(zhì)量的提高，汽車已經(jīng)成為每家每戶的必備品。在這個(gè)時(shí)代，車牌識別系統(tǒng)扮演著越來越重要的角色[1]。公路上超速車輛檢測、小區(qū)車輛出入管理、停車場管理等都需要車牌識別系統(tǒng)的輔助，也是智能化必不可少的部分。車牌識別發(fā)展到現(xiàn)在已經(jīng)出現(xiàn)了各種各樣的算法，并且很多車牌識別系統(tǒng)都號稱達(dá)到了99%的識別率，事實(shí)上這些系統(tǒng)與高清的攝像頭做了整合，只是依靠高清的攝像頭拍下的圖片才達(dá)到了很高的識別率。而真正的業(yè)內(nèi)并沒有一套成熟的完全適用的方案。如果圖片只是生活中隨機(jī)拍下的，或者在現(xiàn)實(shí)中復(fù)雜的環(huán)境下獲取的，那么很多系統(tǒng)的識別率就沒那么高了，更比不了人眼。一般的車牌識別系統(tǒng)都由圖片預(yù)處理、車牌定位、字符分割、字符識別四部分組成，每個(gè)部分都是下一個(gè)部分的基石。每一部分選擇的算法及優(yōu)化都會影響甚至決定整個(gè)系統(tǒng)的識別率。文中利用機(jī)器學(xué)習(xí)對車牌識別進(jìn)行研究，使用機(jī)器學(xué)習(xí)的思想讓系統(tǒng)自動訓(xùn)練，得到適合特定情境下的車牌識別，從而隨著不斷學(xué)習(xí)而得到更高的識別率。

1 圖像去霧預(yù)處理

霧霾天氣已經(jīng)是現(xiàn)在生活中不可抗拒的因素了，采集到的圖片在一定程度上都會受其影響。這就要求對圖片進(jìn)行去霧處理，解決因?yàn)殪F霾天氣而使系統(tǒng)識別率下降的問題。文中先用霧霾檢測算法對圖片進(jìn)行檢測，接著對霧霾環(huán)境下拍攝的圖片進(jìn)行處理。采集圖像頻域信息，采用基于主成分分析(principal component analysis，PCA)和Fisher線性判別分析(linear discriminant analysis,LDA)的分類器，快速檢測出圖片中是否存在霧霾，然后針對霧霆天氣拍攝的圖像利用暗原色先驗(yàn)方法進(jìn)行去霧處理[2]。

采用文獻(xiàn)[3]基于PCA和LDA的霧霆檢測，PCA和LDA方法常被用于人臉圖像識別，而文中用于圖像的霧霾檢測。霧霾會使圖像變得模糊，采用文獻(xiàn)[1]提出的方法對圖像進(jìn)行濾波處理，分析圖像的功率譜，存在霧霾的圖片的頻譜在原點(diǎn)附近集中，也就是低頻分量較多，正常天氣的圖片較為發(fā)散。對于存在霧霾的圖片采用基于暗原色先驗(yàn)[4]去霧處理，采用引導(dǎo)濾波器[5]對透射率進(jìn)行修正。引導(dǎo)濾波器能夠在濾波的同時(shí)清晰地保留原圖的邊緣信息，是一種平滑算子。

實(shí)驗(yàn)結(jié)果表明，去霧檢測耗時(shí)只是去霧處理算法的1/7左右，也就說明去霧處理可以一定程度上提高霧霾天氣下的車牌識別的準(zhǔn)確性，同時(shí)還基本不影響車牌識別在正常圖片上的識別速度。

2 車牌定位與檢測

車牌定位的目的就是找到圖像中車牌的所在，是車牌識別系統(tǒng)中的關(guān)鍵。主要思路是尋找車牌中的垂直邊緣，這些垂直邊緣往往是由車牌字符造成的，加上基于顏色進(jìn)行定位，就會有很高的定位率。

2.1 灰度化

為了進(jìn)行垂直邊緣檢測，先用合適的高斯模糊半徑對圖像去噪。接下來，需要對圖片進(jìn)行灰度化。OpenCV庫中存在現(xiàn)有的灰度化函數(shù)，利用灰度化函數(shù)對圖像進(jìn)行灰度化，圖像像素用0～255表示。

2.2 垂直邊緣檢測

系統(tǒng)中車牌垂直邊緣檢測采用Sobel算子，就是對圖片求橫向與縱向的方向?qū)?shù)，然后根據(jù)導(dǎo)數(shù)值大于某一閾值來判定為邊緣，對車牌塊進(jìn)行一個(gè)定位。在上一步的基礎(chǔ)上應(yīng)用Sobel算子，找出垂直邊緣，初步對車牌進(jìn)行定位。

2.3 二值化

圖像的像素只用0和1表示，只需要設(shè)置一個(gè)閾值就可以進(jìn)行二值化，這樣圖像像素點(diǎn)只有兩個(gè)值，對于后面的操作更加方便。二值化后可以看到很多空洞沒有連成整體的連通圖，接下來要進(jìn)行形態(tài)學(xué)處理。

2.4 形態(tài)學(xué)處理

形態(tài)學(xué)處理就是對圖像中的形態(tài)進(jìn)行一定的改變，操作對象是二值化后的圖像。文中就要用到形態(tài)學(xué)操作中的閉操作，所謂閉運(yùn)算就是對圖像先膨脹，再腐蝕，從而獲得一個(gè)無突起的連通域[6]。

使用閉運(yùn)算可以使二值化后的圖片中的小白塊連接到一起，這樣車牌上字符形成的小白塊就會形成一個(gè)車牌的大致輪廓。因此，首先對二值化圖片進(jìn)行膨脹使白色塊擴(kuò)大，然后通過腐蝕操作將連通域的邊緣和突起進(jìn)行削平，最后得到一個(gè)無突起的連通圖。對二值化后圖像進(jìn)行閉運(yùn)算后，可以看出完整車牌區(qū)域。

2.5 顏色定位

前面已經(jīng)介紹了Sobel查找垂直邊緣來進(jìn)行車牌定位，雖然效果不錯(cuò)，但在面對一些車型前面有交叉的垂直邊緣的時(shí)候，使用Sobel就無法準(zhǔn)確地定位出車牌。為了解決這些車型的車牌定位問題，考慮使用顏色進(jìn)行定位。車牌的顏色可以說是單一的，再和Sobel定位相結(jié)合，定位率直接由75%提高到95%。顏色定位將會使用HSV模型[7]并設(shè)定閾值進(jìn)行判斷，顏色定位的過程如下：

(1)拍攝的圖像的顏色空間為RGB，需要將圖片轉(zhuǎn)變成HSV模型，考慮到光照，用直方圖均衡對圖片進(jìn)行預(yù)處理。

(2)對圖像所有像素進(jìn)行0、1標(biāo)識，即進(jìn)行二值化。遍歷圖像上所有像素，當(dāng)像素S值與V值在0.4～1.0之間，且H值在200～280之間，標(biāo)記0，否則為1。

(3)對于第二步得到的二值化圖像按照車牌定位的步驟和方法，先進(jìn)行閉操作，然后取輪廓將車牌的外接矩形截取出來做進(jìn)一步處理。

2.6 SVM車牌檢測

候選車牌將會出現(xiàn)很多，而下一步就是將這些圖片依次放到SVM模型中，由訓(xùn)練好的SVM模型檢測是否為車牌[8]。如此過程，就會篩選出圖片中的車牌，然后放入一個(gè)列表等待下一步處理，過程如圖1所示。

圖1 SVM模型檢測結(jié)果

簡單來說，通過一批候選車牌進(jìn)行SVM訓(xùn)練，人工標(biāo)識候選車牌的真假，然后生成一個(gè)XML文件的模型。SVM訓(xùn)練過程如圖2所示。

圖2 SVM模型訓(xùn)練過程

模型的好壞都需要一個(gè)評定標(biāo)準(zhǔn)，下面闡述文中的評定過程。首先將大量的候選車牌分為訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù)，測試數(shù)據(jù)是做過標(biāo)簽的，也就意味著已經(jīng)知道每張圖片是否為真正的車牌。然后用訓(xùn)練后的SVM模型來判斷這些數(shù)據(jù)，就會生成新的標(biāo)簽，稱之為“預(yù)測標(biāo)簽”。這樣“預(yù)測標(biāo)簽”與“標(biāo)簽”就可以進(jìn)行一個(gè)對比[9-10]。此時(shí)就會出現(xiàn)兩種誤差：標(biāo)簽是真的車牌而預(yù)測標(biāo)簽判斷不是車牌；標(biāo)簽不是真的車牌，而預(yù)測標(biāo)簽判斷是車牌。

文中設(shè)計(jì)兩個(gè)指標(biāo)來評測兩種情況發(fā)生的概率，分別是“準(zhǔn)確率”(precision)和“查全率”(recall)。準(zhǔn)確率是在預(yù)測標(biāo)簽中真正車牌所占的比例，查全率是真的車牌并且預(yù)測也是車牌的比例。公式如下：

(1)

(2)

其中，ptrue-rtrue表示真正車牌并預(yù)測也是車牌的數(shù)量；pfalse-rtrue表示真正車牌而預(yù)測錯(cuò)誤的數(shù)量;ptrue-rfalse表示預(yù)測為車牌而實(shí)際不是車牌的數(shù)量。

3 字符分割

在第二節(jié)中已經(jīng)得到了車牌，接下來就是字符分割。在車牌的定位中為了判斷車牌是否為真正車牌已經(jīng)進(jìn)行了歸一化，所以字符分割的車牌大小是統(tǒng)一尺寸。字符分割就是要分割出車牌中的所有文字，分割出來的字符塊將進(jìn)行字符識別。具體而言，字符分割過程如圖3所示。

圖3 字符分割過程

3.1 灰度化

車牌定位部分，文中輸出的是彩色圖片，這是為了下面要用顏色處理一些問題。而在分割算法里要使用灰度化圖片，所以要將輸出的車牌進(jìn)行灰度化處理。

3.2 顏色判斷

得到車牌的灰度化圖片后，接下來要分割字符，這就需要對車牌字符進(jìn)行取輪廓。常見字符分割有很多方法，例如投影法、滑動窗口判斷法等，文中使用取字符輪廓法。取字符輪廓法需要轉(zhuǎn)化為二值化圖片，不過，由于藍(lán)色車牌和黃色車牌使用的二值化參數(shù)不同，可以判斷車牌的顏色。

3.3 取輪廓及外接矩形

取輪廓方法在提取英文字符時(shí)效果很好，處理中文字符就會出現(xiàn)問題。中文漢字結(jié)構(gòu)和英文不同，結(jié)構(gòu)筆畫會出現(xiàn)斷裂，比如圖4中的“蘇”，英文字符可以完全取出，而“蘇”字分成了兩個(gè)部分。

圖4 取輪廓操作

雖然很多中文不會出現(xiàn)上述情形，比如車牌中的“津”字，能夠完美地取出輪廓，但直接用取輪廓操作已經(jīng)不合適了。這種取輪廓的方法可以用于車牌后面的英文字符，例如“蘇A88M88”，其中“A88M88”可以得到輪廓。對于中文需要另外的方法進(jìn)行單獨(dú)處理。

發(fā)現(xiàn)“蘇”字后面的“E”字符代表城市代碼，這個(gè)字符有一個(gè)特征，就是與后面的字符中間存在一個(gè)符號，這就導(dǎo)致了一定間隔。只要找到這個(gè)字符，向左偏移就能找到漢字的外接矩陣。圖4就是“城市代碼”與被反推得到的“省份簡稱”的矩形。

對于獲取這個(gè)“特殊字符”，如圖4所示，根據(jù)整個(gè)車牌發(fā)現(xiàn)車牌的1/7到2/7之間就是這個(gè)“特殊字符”所在。這樣就定位出這個(gè)特殊字符的外接矩陣，這種方法簡單，并且有很不錯(cuò)的效果。

文中使用提出的中文字符處理方法成功獲取了中文字符，這樣車牌的所有字符矩陣都已獲取出來。

3.4 截取圖塊

取輪廓之后，把圖中的外接矩形分別截取出來，進(jìn)行歸一化處理得到統(tǒng)一尺寸。輸出的字符進(jìn)行字符識別模塊處理。歸一化后的字符圖塊如圖5所示。

圖5 截取并歸一化的圖塊

4 字符識別

車牌字符識別方法有很多，目前比較常見的是模板匹配法[11-12]、特征匹配法[13]和人工神經(jīng)網(wǎng)絡(luò)[14]。文中采用人工神經(jīng)網(wǎng)絡(luò)進(jìn)行字符識別,需要對字符進(jìn)行特征提取，確定神經(jīng)網(wǎng)絡(luò)的輸入層維數(shù)。首先把截取下來的字符歸一化為10×10的尺寸，計(jì)算10維橫向直方圖值和10維縱向直方圖值，得到20維特征向量。對于10×10的尺寸的字符塊得到100個(gè)像素塊，取每塊的值作為特征向量。這樣得到一共120維特征向量作為輸入層。

圖6 字符識別網(wǎng)絡(luò)

輸出層要預(yù)測的文字類別為10個(gè)數(shù)字(0-9)、24個(gè)英文字母(除去O和I)、31個(gè)省份簡稱共65類，對于隱藏層的節(jié)點(diǎn)數(shù)的設(shè)計(jì)就需要測試選擇合適的數(shù)目，根據(jù)實(shí)驗(yàn)，發(fā)現(xiàn)數(shù)目為40時(shí)能夠使整個(gè)網(wǎng)絡(luò)的識別效果較好。在設(shè)計(jì)一個(gè)神經(jīng)網(wǎng)絡(luò)時(shí)，輸入層的節(jié)點(diǎn)數(shù)需要與特征的維度匹配，輸出層的節(jié)點(diǎn)數(shù)要與目標(biāo)的維度匹配，因此確定神經(jīng)網(wǎng)絡(luò)的最終結(jié)構(gòu)為輸入層數(shù)目120，隱藏層數(shù)目40，輸出層數(shù)目65。字符識別網(wǎng)絡(luò)如圖6所示。

5 結(jié)束語

對車牌識別的整個(gè)過程進(jìn)行了闡述，提出了基于SVM的車牌定位方法并進(jìn)行參數(shù)優(yōu)化，對字符的識別采用基于MLP神經(jīng)網(wǎng)絡(luò)模型。對車牌識別中定位方法采用顏色識別和垂直邊緣檢測， 對于中文字符檢測

提出新的方法。對于整個(gè)車牌識別系統(tǒng)采用Open CV3.1.0和Visual Studio 2015開發(fā)平臺實(shí)現(xiàn)。選用近萬張不同環(huán)境的車牌圖片進(jìn)行SVM模型訓(xùn)練，使用大量車牌中所有字符進(jìn)行ANN字符識別模型訓(xùn)練。測試結(jié)果表明，該算法的車牌定位率在復(fù)雜環(huán)境下的拍攝圖像能達(dá)到98.25%，而車牌中字符ANN模型的識別率達(dá)到99.57%。該方案能夠快速準(zhǔn)確地識別車牌，對于霧霾天氣也能很好的適用，具有很強(qiáng)的實(shí)用性。

參考文獻(xiàn)：

[1] 朱 菌,唐禎敏,朱 鈞.基于機(jī)器視覺技術(shù)的城市交通預(yù)警系統(tǒng)的研究[EB/OL].2003.www.image2003.com.

[2] OLIVA A, TORRALBA A. Modeling the shape of the scene:a holistic representation of the spatial envelope[J].International Journal of Computer Vision,2001,42(3):145-175.

[3] 張 濤,王劍魁,張國山,等.多霧霾天氣車牌識別系統(tǒng)圖像預(yù)處理算法[J].山東理工大學(xué)學(xué)報(bào):自然科學(xué)版,2015,29(1):15-19.

[4] HE Kaiming,SUN Jian,TANG Xiaoou.Single image haze removal using dark channel prior[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2011,33(12):2341-2353.

[5] HE Kaiming,SUN Jian,TANG Xiaoou.Guided image filtering[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2013,36(6):1397-1409.

[6] HUANG Y P,CHEN C H,CHANG Y T,et al.An intelligent strategy for checking the annual inspection status of motorcycles based on license plate recognition[J].Expert Systems with Applications,2009,36(5):9260-9267.

[7] 曾 泉,譚北海.基于SVM和BP神經(jīng)網(wǎng)絡(luò)的車牌識別系統(tǒng)[J].電子科技,2016,29(1):98-101.

[8] 常巧紅,高滿屯.基于HSV色彩空間與數(shù)學(xué)形態(tài)學(xué)的車牌定位研究[J].圖學(xué)學(xué)報(bào),2013,34(4):159-162.

[9] 黃社陽,劉智勇,阮太元.基于HSV顏色空間和SVM的車牌提取算法[J].計(jì)算機(jī)系統(tǒng)應(yīng)用,2014,23(8):150-153.

[10] 郭榮艷,胡雪惠.BP神經(jīng)網(wǎng)絡(luò)在車牌字符識別中的應(yīng)用研究[J].計(jì)算機(jī)仿真,2010,27(9):299-301.

[11] 關(guān)學(xué)忠,張 璐.基于改進(jìn)的BP神經(jīng)網(wǎng)絡(luò)車牌識別的研究[J].自動化技術(shù)與應(yīng)用,2015,34(7):66-68.

[12] 藍(lán)章禮，李益才，李艾星.數(shù)字圖像處理與圖像通信[M].北京:清華大學(xué)出版社，2009:179-193.

[13] 張旭蘭.基于BP人工神經(jīng)網(wǎng)絡(luò)的車牌字符識別優(yōu)化算法[J].計(jì)算機(jī)工程與應(yīng)用,2012,48(35):182-185.

[14] 咼潤華,蘇婷婷,馬曉偉.BP神經(jīng)網(wǎng)絡(luò)聯(lián)合模板匹配的車牌識別系統(tǒng)[J].清華大學(xué)學(xué)報(bào):自然科學(xué)版,2013,53(9):1221-1226.