基于手持設(shè)備圖像的車牌定位與車牌識別系統(tǒng)設(shè)計

孫鵬 李賽 寇鵬 朱佳俊 韓喜瑞 張?zhí)燹?/p>

摘? 要：自動車牌識別技術(shù)在智能交通系統(tǒng)中發(fā)揮著重要作用，針對智能手持設(shè)備拍照分辨率低、角度不定等問題，設(shè)計和優(yōu)化了車牌識別中的步驟，包括：（1）基于形態(tài)學(xué)的車牌定位;（2）基于邊緣檢測的車牌傾斜校正;（3）基于人工神經(jīng)網(wǎng)絡(luò)的車牌字符分割與識別等步驟。對手機拍攝的車牌照片進行實驗，所提出的算法利用神經(jīng)網(wǎng)絡(luò)匹配識別精度達到95.2%，平均運行時間為2.015 s，無論識別精度還是時間都能夠達到應(yīng)用需求。

關(guān)鍵詞：智能手持設(shè)備;車牌定位;邊緣檢測;人工神經(jīng)網(wǎng)絡(luò);車牌識別

中圖分類號：TP311.5? ? ?文獻標(biāo)識碼：A

文章編號：2096-1472（2022）-01-29-04

Abstract： Automatic license plate recognition technology plays an important role in intelligent transportation systems. Aiming at the problems of low resolution and variable angles of smart handheld devices， this paper proposes to design and optimize the steps in license plate recognition. The optimized steps include （1） Morphology-based license plates location; （2） License plate tilt correction based on edge detection; （3） License plate character segmentation and recognition based on artificial neural network. Experiments on license plate photos taken by mobile phones show that the proposed algorithm achieves a recognition accuracy of 95.2%， and an average running time of 2.015 s， which can meet the application requirements of both the recognition accuracy and time.

Keywords： smart handheld device; license plate positioning; edge detection; artificial neural network; license plate?location

1 引言（Introduction）

隨著我國汽車數(shù)量不斷增加，現(xiàn)代城市需要建立高效的智能交通系統(tǒng)，自動車牌識別技術(shù)在其中起著重要作用，已經(jīng)應(yīng)用于交通執(zhí)法管理、小區(qū)停車管理等領(lǐng)域[1-4]。

移動攝像機相對于靜態(tài)攝像機識別方法更復(fù)雜，因為背景是不斷變化的，而且車牌在照片中的位置沒有固定的位置。王唯一等[5]提出了基于K-means算法的手持設(shè)備車牌識別技術(shù)，利用顏色的聚類確定車牌的位置信息。姚東卉[6]設(shè)計了一套基于神經(jīng)網(wǎng)絡(luò)的手持設(shè)備車牌識別系統(tǒng)，實現(xiàn)了違停車輛的信息管理。張軍平等[7]提出了一種基于OpenCV的智能手機車牌識別方法，識別率達到了90%以上。然而，因為不同應(yīng)用場景車牌識別系統(tǒng)的參數(shù)和閾值不同，所以本文提出了一種基于智能手持設(shè)備的車牌識別系統(tǒng)，在實際應(yīng)用中具有較高的識別率與實時性，包括基于形態(tài)學(xué)的車牌定位、基于邊緣檢測的車牌傾斜校正、基于人工神經(jīng)網(wǎng)絡(luò)的車牌字符分割與識別等步驟。

2? 基于智能手持設(shè)備的車牌識別系統(tǒng)（License plate recognition （LPR） system based on smart handheld device）

車牌識別是一種通過圖像處理提取車牌號的技術(shù)，包括圖像預(yù)處理、目標(biāo)檢測、字符分割和字符識別等步驟。在現(xiàn)實應(yīng)用中，車牌識別系統(tǒng)必須應(yīng)對各種挑戰(zhàn)，如車牌類型不同、車牌字體不同和車牌顏色不同等，增加了車牌檢測和識別的難度。傳統(tǒng)的車牌識別系統(tǒng)通常安裝在固定點攝像機上，這種攝像機不便攜，價格昂貴，需要高分辨率的攝像機和復(fù)雜的圖像處理算法來處理圖像。利用高質(zhì)量圖像進行車牌檢測與識別的準(zhǔn)確率往往高于低質(zhì)量圖像，現(xiàn)在的智能手機配備了高性能的處理器和高質(zhì)量的攝像頭硬件，可以拍攝出高質(zhì)量的圖像，從而使得實現(xiàn)基于智能手持設(shè)備車牌識別成為可能。

從拍攝的圖像中提取車牌號碼的車牌識別系統(tǒng)可分為五個步驟[8]。第一步是利用智能手持設(shè)備拍攝車牌圖像;第二步是基于形態(tài)學(xué)的車牌定位;第三步是基于邊緣檢測的車牌傾斜校正;第四步是分割車牌字符;最后通過神經(jīng)網(wǎng)絡(luò)算法對提取的字符進行識別。總體車牌識別系統(tǒng)如圖1所示。

2.1? ?基于形態(tài)學(xué)的車牌定位

在車牌定位階段，我們的目的是使用基于邊緣的圖像處理技術(shù)根據(jù)原始圖像確定車牌區(qū)域。通過識別原始圖像中亮度急劇變化的點而獲得二值邊緣圖像。車牌區(qū)域的亮度變化比原始圖像中的其他區(qū)域更為明顯和頻繁。矩形車牌區(qū)域比其他區(qū)域包含更豐富的邊緣和紋理特征。因此，該信息可以用于確定車牌區(qū)域，我們使用了形態(tài)學(xué)方法。

首先對真彩色的車牌進行灰度化處理，然后進行高斯模糊處理，再進行基于Sobel算子的邊緣檢測，再運用形態(tài)學(xué)開、閉、膨脹等操作找出候選的區(qū)域，最后進行車牌定位切割操作。車牌定位流程如圖2所示。

為了提高運行速度和便于計算，通常需要將真彩色車牌圖像灰度化，灰度化之后要進行邊緣檢測，但是Sobel算子對噪聲比較敏感，所以我們先進行高斯模糊處理，消除掉噪聲同時模糊一下非車牌的邊緣。Sobel算子結(jié)合了微分求導(dǎo)和高斯平滑算法，通過這種算法來計算圖像中灰度的近似梯度。邊緣也是圖像的顯著特征之一。Sobel算子包含兩個3×3的矩陣，分別為水平與垂直模板，因為車牌中垂直邊緣比較多，所以我們用垂直邊緣檢測模板與車牌圖像進行卷積操作;然后將邊緣檢測的結(jié)果進行閉運算，填充孔洞;再進行開運算，去除小的噪聲，平滑邊界;之后進行移除小對象與膨脹操作，得到車牌的位置;最后根據(jù)獲得的車牌區(qū)域進行車牌定位裁剪。車牌定位實驗部分中間結(jié)果如圖3所示。

可以看到，經(jīng)過灰度化和高斯模糊操作后，車牌圖像變得模糊，這一步操作能夠消除噪聲對后續(xù)處理的影響。邊緣檢測結(jié)果通過閉運算后只有幾個包括車牌區(qū)域的面積分割出來，經(jīng)過開運算和去除噪聲之后，只有車牌區(qū)域被提取出來，然后通過膨脹操作定位裁剪后，可以得到包含車牌的區(qū)域圖像，易于后面的車牌傾斜校正和字符識別處理。

2.2? ?基于Hough變換的車牌傾斜校正

首先對車牌定位裁剪后的結(jié)果進行灰度化操作，然后利用Sobel算子進行邊緣檢測。邊緣檢測后進行膨脹操作利于Hough變換檢測車牌上下兩條平行的邊框，檢測到兩條平行的邊框后就可以知道車牌傾斜的角度，通過旋轉(zhuǎn)角度便可以完成車牌的傾斜校正。Hough變換是數(shù)字圖像處理中的一種特征提取技術(shù)。Hough變換最初由Paul Hough在1962 年提出。Hough變換用于通過查找圖像上的特定形狀對象來提取該對象，Hough變換方法也適用于校正。車牌傾斜校正的流程如圖4所示。

車牌傾斜校正算法的前三步與車牌定位相同，不過運行的是車牌定位裁剪后的圖像，然后利用Hough變換進行圖像的旋轉(zhuǎn)調(diào)整，檢測車牌上下邊框兩條平行直線，便可以知道車牌傾斜的角度，之后進行車牌的傾斜校正。圖像校正的公式如式（1）所示。

基于Hough變換的車牌傾斜校正部分實驗中間結(jié)果如圖5所示。

通過圖5可以發(fā)現(xiàn)，經(jīng)過邊緣檢測處理后，包括上下邊框的區(qū)域被提取出來，通過膨脹操作和計算車牌上下邊框兩條平行直線的角度，再經(jīng)過圖像旋轉(zhuǎn)操作，就可以得到車牌傾斜校正的結(jié)果。

2.3? ?基于人工神經(jīng)網(wǎng)絡(luò)的車牌字符分割與識別

一般來說，人工神經(jīng)網(wǎng)絡(luò)由處理單元形成，人工神經(jīng)細(xì)胞彼此關(guān)聯(lián)，每個神經(jīng)細(xì)胞之間的連接結(jié)構(gòu)決定了神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)。如何改變連接以實現(xiàn)預(yù)期目標(biāo)，取決于人工神經(jīng)網(wǎng)絡(luò)中的學(xué)習(xí)算法。直到系統(tǒng)結(jié)果和期望結(jié)果之間的錯誤率降低到足夠接近于零為止，根據(jù)學(xué)習(xí)規(guī)則改變網(wǎng)絡(luò)權(quán)重。因為沒有經(jīng)驗法則來確定需要多少隱藏層，我們在本實驗中使用反向傳播學(xué)習(xí)算法構(gòu)建了一層前饋人工神經(jīng)網(wǎng)絡(luò)，并且在字符中使用此人工神經(jīng)網(wǎng)絡(luò)確定字符的識別階段。在前饋神經(jīng)網(wǎng)絡(luò)中，神經(jīng)細(xì)胞（神經(jīng)元）被組織成層，層中細(xì)胞的輸出通過權(quán)重作為下一層的輸入。輸入層接收來自外部環(huán)境的信息，并將其傳輸?shù)诫[藏層中的節(jié)點，而不進行任何更改。網(wǎng)絡(luò)輸出通過處理隱藏層和輸出層中的信息來確定。在神經(jīng)網(wǎng)絡(luò)的訓(xùn)練階段利用反向傳播學(xué)習(xí)算法。

車牌字符分割與識別流程如圖6所示。

首先對傾斜校正后的車牌圖像進行灰度化操作;然后進行Sobel邊緣檢測，再進行圖像腐蝕、平滑與移除小對象操作，裁剪得到只包含車牌字符的圖像;然后進行直方圖均衡化、中值濾波等操作得到車牌字符切割結(jié)果;最后訓(xùn)練神經(jīng)網(wǎng)絡(luò)，基于BP神經(jīng)網(wǎng)絡(luò)的模板匹配得到最終識別結(jié)果。實驗的部分中間結(jié)果如圖7所示。

將人工神經(jīng)網(wǎng)絡(luò)應(yīng)用于車牌字符識別中，可以大大簡化識別過程，提高識別質(zhì)量，同時獲得良好的識別效果。在車牌識別中使用神經(jīng)網(wǎng)絡(luò)的另一個好處是系統(tǒng)的可擴展性，即能夠識別比最初定義的更多的特征集。在基于神經(jīng)網(wǎng)絡(luò)的字符識別算法中，利用反向傳播算法對神經(jīng)網(wǎng)絡(luò)進行訓(xùn)練，調(diào)整神經(jīng)網(wǎng)絡(luò)的權(quán)值，每個字符的大小是28×18 像素。為了訓(xùn)練神經(jīng)網(wǎng)絡(luò)，我們采集了804 幅車牌字符分割后的圖像作為訓(xùn)練集，包含從0到9的數(shù)字與包括山東簡稱魯在內(nèi)的10 個省份的簡稱。反向傳播算法是一種應(yīng)用廣泛的算法，是一種訓(xùn)練多層人工神經(jīng)網(wǎng)絡(luò)的系統(tǒng)方法，它可以映射非線性過程。反向傳播網(wǎng)絡(luò)是一種有一個或多個隱藏層的前饋網(wǎng)絡(luò)，它的基本結(jié)構(gòu)有三層。使用神經(jīng)網(wǎng)絡(luò)具有現(xiàn)有相關(guān)性和統(tǒng)計模板技術(shù)的優(yōu)勢，可以使字符對噪聲具有穩(wěn)定性。

3? ?實驗與分析（Experiment and analysis）

我們使用MATLAB 2020b版本進行算法的實現(xiàn)，軟件界面如圖8所示，并且能夠人機交互更改算法閾值與參數(shù)。個人計算機配置包括Windows 7、GTX960獨立顯卡、16 GB運行內(nèi)存。軟件中包含獲取圖像、圖像預(yù)處理、字符分割與識別等功能按鍵。在邊緣檢測算法中，可以人機交互修改邊緣檢測的閾值;在圖像腐蝕操作中，可以修改圖像腐蝕的結(jié)構(gòu)元素大小;在平滑處理操作中，可以修改平滑處理結(jié)構(gòu)元素大小;在移除小對象操作中，可以人機交互修改聯(lián)通像素的臨界值，使得車牌識別算法的識別效果更好，更有魯棒性。

對手機拍攝的6 幅車牌照片進行對比實驗。如表1所示為不同車牌的識別率與識別時間對比，可以看到相對于模板匹配，本文方法識別率更高，時間上也能滿足應(yīng)用需求。

從本文方法和模板匹配法對比實驗結(jié)果可以看到，本文方法識別平均精度達到95.2%，相對于模板匹配方法識別平均精度有大幅度的提高，運行時間2 s左右，可以達到實際應(yīng)用的要求。

4? ?結(jié)論（Conclusion）

本文旨在建立一個高效率的智能手持設(shè)備的車牌定位與車牌識別系統(tǒng)，設(shè)計和優(yōu)化了車牌識別中的步驟，包括基于形態(tài)學(xué)的車牌定位、基于邊緣檢測的車牌傾斜校正、車牌字符分割、基于人工神經(jīng)網(wǎng)絡(luò)的車牌字符識別等。通過與模板匹配算法對比實驗，本文方法對6 幅車牌識別平均精度有大幅度的提高，達到95.2%，運行時間2 s左右，達到了實際應(yīng)用的要求。不足之處是車牌實驗樣本比較少，后續(xù)會多采集車牌圖像與訓(xùn)練圖像，提高識別精度與算法運行時間。

參考文獻（References）

[1] 張俊峰，尚振宏，劉輝.基于顏色特征與模板匹配的車牌識別系統(tǒng)設(shè)計與實現(xiàn)[J].軟件導(dǎo)刊，2018，17（1）：212-215.

[2] 楚天鴻，唐瑞尹.基于MATLAB平臺下的車牌識別系統(tǒng)設(shè)計[J].科技與創(chuàng)新，2020（14）：20-22.

[3] 林哲聰，張江鑫.一種基于GMP-LeNet網(wǎng)絡(luò)的車牌識別方法[J].計算機科學(xué)，2018，45（6A）：183-186.

[4] 楊洪臣，黨京，蔡能斌，等.BP神經(jīng)網(wǎng)絡(luò)車牌識別技術(shù)優(yōu)化研究[J].中國刑警學(xué)院學(xué)報，2019（3）：120-124.

[5] 王唯一，祝振中.基于智能手持設(shè)備的車牌識別系統(tǒng)研究[J].計算機測量與控制，2016，24（07）：200-204.

[6] 姚東卉.基于手持車牌識別設(shè)備的違停車輛信息管理系統(tǒng)[D].濟南：山東大學(xué)，2018.

[7] 張軍平，徐衍勝.Android平臺下基于OpenCV的車牌號識別技術(shù)[J].蘭州交通大學(xué)學(xué)報，2021，40（03）：57-62.

[8] HENRY C， AHN S Y， LEE S W. Multinational license plate recognition using generalized character sequence detection[J]. IEEE Access， 2020， 8：35185-35199.

作者簡介：

孫? ?鵬（2000-），男，本科生.研究領(lǐng)域：智能制造.

李? ?賽（1991-），男，博士，講師.研究領(lǐng)域：計算機視覺.

寇? ?鵬（1990-），男，本科，工程師.研究領(lǐng)域：地理信息系統(tǒng).

朱佳?。?001-），男，本科生.研究領(lǐng)域：智能制造.

韓喜瑞（2000-），男，本科生.研究領(lǐng)域：智能制造.

張?zhí)燹龋?001-），女，本科生.研究領(lǐng)域：地理信息系統(tǒng).