基于機器視覺的車牌識別系統(tǒng)設計*

莫 玲，麥康機

（廣東技術師范學院機電學院，廣東廣州 510665）

0 引言

車輛車牌號碼識別（LPR）技術由美國道路交通管理協(xié)會在20世紀80年代初期率先向外界發(fā)布，LPR技術在90年代初被廣泛使用并推上市場。隨著計算機技術和模式識別技術不斷發(fā)展，LPR技術日趨成熟，大量運用于城市道路智能交通管理系統(tǒng)中[1-2]。

車輛車牌號碼識別的關鍵技術在于機器識別和數(shù)字圖像處理技術，這也是機器視覺在車牌字符識別領域的重要應用之一。本文作者針對我國中小型汽車牌照進行車牌字符識別研究，研究內(nèi)容主要包括6個主體，分別為：車輛牌照圖像的采集、圖像預處理、車牌及外框區(qū)域粗定位及提取、車牌和字符歪斜角度計算及糾正、車牌號碼、字符分割和車牌號碼字符識別。

1 系統(tǒng)總體框架設計

該車牌識別系統(tǒng)用到的軟件為MATLAB，系統(tǒng)的基本組成包括以下幾個部分：

（1）采集車牌圖像；

（2）車牌圖像的預處理；

（3）車牌區(qū)域粗定位；

（4）車牌精確定位；

（5）字符分割；

（6）字符識別。

車牌字符識別系統(tǒng)的主要流程圖如圖1所示。

2 GUI人機交互界面設計

圖1 車牌字符識別系統(tǒng)流程圖

GUI（Graphical User Interfaces）人機界面是MATLAB軟件中用于構(gòu)建面向用戶的人機交互界面，由軟件內(nèi)部攜帶的圖形用戶界面設置編程實現(xiàn)[3-4]。用戶通過設置GUI界面，利用GUI界面操作與其相連的程序（即.m文件），具有操作便捷、觀察方便的特點，可直觀查看程序各步驟的演示效果，為用戶帶來極大便利。

系統(tǒng)所建立的GUI人機交互界面如圖2所示。窗口的右邊為圖像處理模塊按鈕；左邊為圖像顯示模塊。右邊按鈕包含5個基本的圖像處理操作，分別為：讀入車牌原始圖片、數(shù)字圖像處理、車牌區(qū)域分割與提取、車牌號碼、字符串提取和字符串識別結(jié)果輸出。為更好地顯示各部分處理細節(jié)，各部分都設置了對應按鈕用于執(zhí)行圖像處理相應算法。

圖2 GUI人機界面操作界面

車牌圖像的處理結(jié)果最終以圖片形式顯示在GUI左邊子窗口中。左邊子窗口共計12個，從上至下分1層，第1層分別顯示輸入的車牌原圖像、預處理階段各處理結(jié)果和車牌定位處理結(jié)果；第2層從左到右依次顯示：字符分割、字符歸一化的車牌字符圖片；第3層用于顯示LPR程序識別車牌號碼結(jié)果。在GUI人機界面點擊輸入圖像按鈕后，將圖像導入程序，逐次點擊各處理步驟按鈕，程序執(zhí)行相應功能命令。

3 車牌圖像預處理

車牌圖像的預處理階段，將直接獲取的彩色圖像根據(jù)圖像灰度轉(zhuǎn)化公式，將彩色圖像變換為灰度圖及二值圖?；叶然侵笇⒂蓄伾娜S圖像中像素點按轉(zhuǎn)換公式，轉(zhuǎn)化為像素值介于0～255的灰色圖像[3]。這里選取了幾種情況的車牌圖像，對彩色車牌原始圖像灰度化處理后，處理結(jié)果如圖3所示。

圖3 灰度化處理后車牌圖像

由于車牌圖像會受到不均勻光照和物體表面光線反射、天氣因素、成像設備、圖像傳輸過程中像素變化等影響，會對圖像處理產(chǎn)生噪聲影響，這些噪聲主要表現(xiàn)為一些亮度較大的細小孤立像素點和像素塊，在圖像中通常為像素極值[5]。噪聲的存在會在圖像中形成亮、暗跳變點，影響圖像原始信息，極大地影響圖像分割提取、特征提取、內(nèi)容識別等處理，因此，需要將噪聲濾除。首先，采用巴特沃斯低通濾波器過濾噪聲。而不均勻光照產(chǎn)生的局部灰度值改變也易影響后續(xù)基于閾值變換的圖像二值化結(jié)果，導致車牌區(qū)域可能丟失，二值化效果不理想，因此需要消除不均勻光照影響。然后，論文選用頂帽變換方法處理圖片，即：將濾波后圖像與提取到的背景圖矩陣作減法得到新圖像。經(jīng)處理后，車牌亮度相對低一些的背景圖像被去除，圖像中代表車牌區(qū)域的前景部分基本清晰提取，圖像二值化后車牌區(qū)域的信息不易丟失。最后，采用Ostu法進行車牌圖像二值化處理，根據(jù)車牌圖像中目標車牌區(qū)域和背景灰度差別最大的特點，圖像根據(jù)各個灰度值依次分為兩部分，當求得兩部分的灰度值差別最大，這兩部分對應目標車牌區(qū)域和背景部分，此方法能隨不同圖片灰度值變化自適應選取最佳閾值，且計算簡單。應用Ostu自適應閾值法對圖像進行二值化處理后效果如圖4所示。

4 車牌定位與字符識別

圖4 Ostu閾值法二值化圖

從實際采集到的車牌圖像分析，選取基于水平、垂直投影和車牌區(qū)域灰度紋理特征方法進行車牌粗定位，再結(jié)合粗定位后車牌字符區(qū)域的灰度紋理特征，檢測比較跳躍點數(shù)的方法去除鉚釘和邊框，實現(xiàn)車牌精確定位[6]。對預處理后的二值圖進行水平、垂直投影掃描，繪制其水平、垂直投影直方圖。通過統(tǒng)計水平直方圖上灰度點數(shù)變化曲線最高點對應的行數(shù)，在依次向兩邊逐行追溯，統(tǒng)計各行的灰度點數(shù)，設定合理閾值，當計算的灰度點數(shù)小于或等于設置閾值時，停止計算并記錄下此時的行數(shù)PY1或者PY2作為車牌的上、下邊界。由于車牌上、下邊框存在，車牌上、下邊界的灰度點數(shù)一般較大，但考慮到車牌可能會發(fā)生一定傾斜，經(jīng)過多次測試得出將閾值設定為50較為合理，即使車牌發(fā)生傾斜使得上、下邊角被忽略也不會丟失字符信息，不影響后續(xù)車牌精定位，車牌定位結(jié)果如圖5所示。

圖5 車牌定位

由于車牌一般用鉚釘固定，此固定方式牢固性較差，在長期使用過程中受震動影響易產(chǎn)生脫落，產(chǎn)生傾斜；另外不同的拍攝角度會使圖像中車牌發(fā)生不同程度傾斜，對后續(xù)車牌字符分割和字符識別都帶來困難，該系統(tǒng)采用的車牌分割方法是基于字符水平、垂直投影直方圖，尋找車牌中字符區(qū)域和非字符區(qū)域間無像素點的區(qū)域作為分割線，傾斜較大的字符在水平上的投影為連續(xù)的，使得這些無像素點區(qū)域消失；另外，切斜的字符會使得基于端正字符的識別方法錯誤率提高。因此有必要對車牌進行傾斜糾正。本文作者采用Hough變換法對傾斜車牌進行旋轉(zhuǎn)矯正，處理結(jié)果如圖6所示。

圖6 車牌傾斜矯正結(jié)果

最后，車牌區(qū)域定位后，進行車牌字符分割，對車牌各字符進行分離，用于字符識別。經(jīng)過多次試驗，在比較水平方向車牌區(qū)域灰度跳變點數(shù)法的基礎上，采用改進的結(jié)合形態(tài)學處理和水平垂直投影的方法，同時去除水平和垂直邊框，達到提取字符串的目的，具體步驟如下：

（1）根據(jù)車牌外邊框長寬比為3，計算各車牌區(qū)域長寬比t，設定合理閾值b=2.5，當t＜b時，車牌區(qū)域上下邊框向內(nèi)縮減10行，減少車牌邊框外的部分。

（2）對圖像形態(tài)學處理，去除細小點和小區(qū)域干擾，接著圖像水平、垂直投影，分別提取圖像水平方向1/7～6/7區(qū)域的投影和圖像垂直方向1/15～14/15區(qū)域的投影，這兩個區(qū)域包含絕大部分字符和鉚釘且不包含邊框，繪制出其投影直方圖，文中給出第一張車牌圖的水平投影直方圖，如圖7（a）所示，垂直投影直方圖如圖7(b)所示。

圖7 水平、垂直投影直方圖

（3）計算提取到的水平、垂直投影各自的平均值mean和最小值min，這兩個值之間區(qū)域為帶邊字符區(qū)域。設定判斷條件，分別從左、右和上、下逐行統(tǒng)計水平、垂直方向的投影值，當投影值在此區(qū)域外，繼續(xù)追溯；否者，停止追溯并記下此時行、列坐標，以此坐標切割出車牌字符區(qū)域，獲得初步去除外邊框和部分鉚釘?shù)能嚺茍D像，此圖以符號A表示。

（4）對去除外框后的車牌進行形態(tài)學處理，盡可能去除不必要部分，同時保留字符串部分，運用基于比較水平方向車牌區(qū)域灰度跳變點數(shù)的方法，改進閾值為10，可以較為精確提取字符串上、下坐標，以此坐標從圖像A中提取精確上、下邊界車牌字符串圖，此圖標記為B，精確提取出上、下邊界的車牌圖像。

（5）提取字符左邊界，運用矩形算子對圖像進行形態(tài)學閉運算處理，將每個字符筆畫形成連通域，消去連通域面積小于400的殘余邊框和較小干擾的區(qū)域。左邊框的干擾信息完全去除后，可以通過列掃描來精確定位出車牌字符左邊界坐標，以此坐標在B中切割出字符串。

采用基于垂直投影直方圖的字符分割方法，將每個車牌字符分割后得到7個字符，分割算法流程圖如圖8所示。

圖8 車牌圖像分割算法流程圖

由于實際分割出的字符長、寬和標準字符的大小不一，所以，需要將車牌圖像分割出的字符大小和占比歸一化處理。最近鄰插值法的計算方法是將像素點P附近最近的像素點灰度值作為像素點P灰度值。

最后，采用基于比較歐幾里得度量（Euclidean distance）的模板匹配算法，以字符間的歐幾里得度量作為判斷依據(jù)，歐幾里得度量距離值最小的兩個字符圖片被判斷是同一個字符[7-9]。模板匹配法字符識別具體步驟如下：

（1）字符識別前，通過訓練已知樣本字符，創(chuàng)建字符圖像模板，每張模板字符圖片采用圖片中對應字符命名，例如：含有字符“粵”的圖片，用“粵”字命名該字符圖片，含有字母“A”圖片，采用“A”字母命名該字符圖片，構(gòu)建標準模板需要包含10個數(shù)字（0～9），26個英文字母(A～Z)、23個省份、4個直轄市和5個自治區(qū)簡稱合計32個中文字符。車牌字符圖像模板如圖9所示。

圖9 字符圖像模板

（2）設置模板庫和待識別字符所在文件的搜索路徑，按順序?qū)⒛０鍘熘械膱D片和待識別字符圖片全部讀入MATLAB軟件，逐個識別每張待識別字符圖片。首先，求它與每個字符模板圖片的歐幾里得度量，得到一個含有像素1的結(jié)果圖像，統(tǒng)計結(jié)果圖像中像素為1的個數(shù)，求出每個模板字符圖像與待識別字符圖像歐幾里得度量；然后，對比每個計算結(jié)果，取最小歐幾里得度量對應的模板字符圖片，該圖片名字即字符識別結(jié)果，將其存入字符數(shù)組str中，當所有字符識別完成，將字符數(shù)組str中的文符串輸出，得到識別的車牌號碼，識別結(jié)果如圖10所示。

圖10 車牌字符識別結(jié)果

文中用于車牌識別系統(tǒng)的計算機CPU為I5-4200U，主頻率1.6 GHz，運行內(nèi)存4 GB，車牌字符識別程序單張圖片字符識別運行時間平均為43 s。目前，車牌字符識別正確率為45.7%，有待進一步改進和優(yōu)化識別程序。

5 結(jié)論

主要研究基于MATLAB的車牌圖像預處理、車牌定位、車牌分割和車牌字符識別。實驗結(jié)果表明，所用方法能夠較為準確地自動識別車牌圖像中的漢字、英文字母和阿拉伯數(shù)字。