傾斜圖像的車牌識別方法研究

張建國，齊家坤，李 穎，邵珞雯

（1.上海應(yīng)用技術(shù)大學(xué)機(jī)械工程學(xué)院，上海 201418；2.上海應(yīng)用技術(shù)大學(xué)計算機(jī)科學(xué)與信息工程學(xué)院，上海 201418）

1 引言

車牌識別系統(tǒng)是智能交通系統(tǒng)[1]中的重要技術(shù)之一，目前主要應(yīng)用于公路上的車輛監(jiān)控、停車場進(jìn)出付費以及電子警察、高速公路收費站等[2]，關(guān)于汽車牌照識別的技術(shù)主要由以下幾個方面組成：圖像采集、車牌定位[3]、字符分割[4]與圖像識別[5]。目前比較常用的圖像預(yù)處理方法是使用加權(quán)平均法對獲取的汽車牌照圖像進(jìn)行灰度化處理，然后對經(jīng)過處理后的車牌圖像進(jìn)行線性變換和分段線性變換處理[6－8]。但是這種傳統(tǒng)方法在應(yīng)對傾斜的圖像時，識別效率并不高。因此研究對于傾斜的汽車牌照圖像進(jìn)行校正處理[9]以后，再對校正后的圖像識別的技術(shù)[10]非常重要。此外，由于傳統(tǒng)的圖像校正方法Radon法校正的速度較慢，從而使車牌識別系統(tǒng)的整體識別效率降低。對此，本研究基于HALCON平臺，采用orientation_region（）算子對車牌的傾斜角度進(jìn)行測量，使用外接矩形旋轉(zhuǎn)法對車牌進(jìn)行旋轉(zhuǎn)校正。并且以orientation_region（）算子為核心構(gòu)建了一個車牌圖像識別系統(tǒng)。經(jīng)實驗，此車牌識別系統(tǒng)比傳統(tǒng)Radon變換法的識別速率更快。

傳統(tǒng)的校正方法Radon變換法的原理比較簡單，并且準(zhǔn)確率也比較高。但是Radon變換法的校正速度比較慢，而且特征量分析復(fù)雜。對此，使用了新orientation_region（）算子對系統(tǒng)進(jìn)行重新設(shè)計，首先通過HSV三通道處理后再進(jìn)行二值化處理，獲得了汽車牌照預(yù)處理圖像，再用拆分連通域法對汽車牌照進(jìn)行定位處理。定位完成后使用orientation_region（）算子對車牌傾斜角度進(jìn)行計算，并使用外接矩形旋轉(zhuǎn)法對車牌圖像進(jìn)行旋轉(zhuǎn)校正，校正后再進(jìn)行字符識別。本研究采用的車牌識別方法是基于模板匹配的算法，此算法比人工神經(jīng)網(wǎng)絡(luò)算法更加簡潔，執(zhí)行效率更高。

2 系統(tǒng)框架

創(chuàng)建的車牌識別系統(tǒng)主要針對于含有車牌的圖像進(jìn)行定位和識別處理。由于拍攝的汽車牌照圖像會受到各種復(fù)雜環(huán)境因素的影響，所以首先要對采集到的圖像進(jìn)行預(yù)處理，然后執(zhí)行邊緣檢測、二值化處理及膨脹處理等一系列處理。根據(jù)二值化圖像對原圖進(jìn)行分割，提取車牌在原圖中的有效區(qū)域，從而完成車牌定位的步驟。接著對車牌定位后所獲取的車牌圖像進(jìn)行校正。再將校正后的圖像進(jìn)行字符分割和識別。本車牌圖像識別系統(tǒng)的車牌識別流程，如圖1所示。

圖1 車牌識別流程Fig．1 License Plate Recognition Process

3 基于HALCON的傾斜圖像校正方法

3.1 傳統(tǒng)的Radon變化法

傳統(tǒng)的傾斜圖像校正法是使用數(shù)學(xué)形態(tài)學(xué)對二值化后的圖片進(jìn)行邊緣檢測，使用Radon算子對傾斜圖片在水平和垂直方向的傾斜角進(jìn)行測量，再通過旋轉(zhuǎn)來對圖像進(jìn)行水平校正，用雙線性插值來進(jìn)行垂直邊框校正。Radon變換方法就是研究得到的圖像在各個方向上的投影，在數(shù)學(xué)上表示為線性積分，即為在不同方向上的累積求和，如圖2所示。

圖2 Radon變化不同角度時幾何關(guān)系圖Fig．2 The Geometric Diagram of Radon Changing Different Angles

沿角度θ的二維圖像函數(shù)f（x，y）的Radon變換為：

式（2）告訴我們，Radon變換具備周期性，且是奇函數(shù)，我們可以根據(jù)此性質(zhì)來實現(xiàn)直線的構(gòu)造，達(dá)到實現(xiàn)車牌定位傾斜度的校正。當(dāng)存在傾斜度θ時我們可以通過調(diào)整變化角在0°≤θ≤180°范圍內(nèi)構(gòu)造直線，在此范圍內(nèi)尋找最優(yōu)值，根據(jù)最優(yōu)值反推得到θ和x，最終實現(xiàn)校正。

3.2 基于HALCON的傾斜圖像校正法

傳統(tǒng)的圖像校正方法Radon法校正速度不夠快，影響了圖像的識別效率，對此創(chuàng)建了基于HALCON的車牌校正識別系統(tǒng)。HALCON軟件包含的函數(shù)種類全面，被公認(rèn)為識別效能最佳的圖像處理軟件之一?；贖ALCON來創(chuàng)建識別效率高、識別時間短、魯棒性好的車牌識別系統(tǒng)。

本研究先對獲取的車牌圖像進(jìn)行預(yù)處理，將獲取的車牌圖像灰度化處理并轉(zhuǎn)化為HSV圖像和去噪。然后經(jīng)過對比選擇車牌圖像更清晰的通道。選擇了S通道。在S通道的車牌圖像下，對其進(jìn)行二值化處理并選擇出汽車牌照的候選區(qū)域，再將其校正定位，得到精準(zhǔn)的汽車牌照區(qū)域。

3.2.1 車牌圖像處理

車牌定位是車牌識別系統(tǒng)中的關(guān)鍵步驟，根據(jù)圖像的色彩信息對汽車牌照區(qū)域進(jìn)行定位，利用顏色模型通過顏色信息在原彩色圖像上找到車牌所在位置。在電視機(jī)、掃描儀、顯示器等電器中，圖像顏色多以RGB顏色模型表示，但是在電視視頻中一般使用HSV顏色空間標(biāo)示法來進(jìn)行車牌圖像的定位。這種方法在表達(dá)人對顏色信息的鑒別方面，有著更好的表現(xiàn)。本研究將其他形式的圖像轉(zhuǎn)換到HSV空間進(jìn)行分析。本研究以RGB顏色空間到HSV 顏色空間的轉(zhuǎn)換為例進(jìn)行說明。設(shè) Imax=max｛r，g，b｝，Imin=min｛r，g，b｝，HSV 模型各分量 h，s，v 與 RGB 模型各分量 r，g，b 的轉(zhuǎn)換關(guān)系為：

式中：Imax、Imin—HSV 模型分量｛r，g，b｝中的最大值和最小值；Hmax—色調(diào)個數(shù)。

在 HSV 顏色模型下，色彩 C1=（h1，s1，v1）與色彩 C2=（h2，s2，v2）之間的距離為：

式中：C1，C2—HSV顏色模型下的分量

中國的汽車根據(jù)底色和字符顏色的不同，主要分為四種類型，如表1所示。本研究基于HSV顏色空間表示法，結(jié)合汽車牌照底色，可以得到色彩空間距離以及相似度，再用投影法得到車牌的區(qū)域?；贖ALCON平臺，使用read_image（）算子提取采集的車牌圖像，如圖3（a）所示。一般來說，生活中采集到的圖像都是彩色的圖像，我們需要對其進(jìn)行灰度化處理。原圖像和灰度圖像，如圖3（b）所示?？梢院苊黠@地發(fā)現(xiàn)汽車牌照區(qū)域與其他區(qū)域的對比度較低，不容易提取。對此，本研究使用HSV顏色模式，如圖3所示。HSV模式的優(yōu)勢在于此模式和人眼的觀察效果更加相似，可以更好的區(qū)分車牌和其他區(qū)域?？梢钥闯鲈赟通道圖像中，車牌圖像的灰度值遠(yuǎn)高于其他區(qū)域。在將原圖像轉(zhuǎn)化HSV圖像之前，還需將車牌圖像轉(zhuǎn)化為R、G、B三個單通道圖像，然后再將這三個單通道的圖像轉(zhuǎn)化為HSV圖像。再通過算子threshold（），對轉(zhuǎn)化后的HSV圖像進(jìn)行二值化處理，得到比較有效的車牌區(qū)域，如圖 3（f）所示。

流行性乙型腦炎(epidemic encephalitis type B)是由日本乙型腦炎病毒(Japanese Encephalitis Virus, JEV)引起的一種蟲媒性人獸共患傳染病[1]。人和多種動物均可感染本病，以豬群感染最為普遍[1]。病豬多引起非化膿性腦炎，病人最主要特征是中樞神經(jīng)系統(tǒng)受害而出現(xiàn)意識障礙、驚厥等神經(jīng)癥狀[2]。本病被世界衛(wèi)生組織列為需要重點控制的傳染病。

表1 車牌顏色組合Tab.1 License Plate Color Combinations

圖3 原圖與HSV三通道處理后以及S通道二值化圖像Fig．3 Original Image and HSV Three-Channel Processing and S-Channel Binarized Image

3.2.2 車牌定位

經(jīng)過圖像預(yù)處理步驟之后，我們獲得了較完整的汽車牌照候選區(qū)域，以便于接下來進(jìn)行車牌定位的步驟，方法如下：

（1）將二值化后的圖像進(jìn)行拆分。利用HALCON中的connection（）算子，將二值化的圖像根據(jù)連通域進(jìn)行拆分，可以方便我們更加精確地確定車牌的位置。

（2）使用區(qū)域面積特征法并調(diào)用HALCON中的select_shape_std（）算子篩選并獲取我們需要的汽車牌照候選區(qū)域，如圖4（a）所示。

（3）由于鉚釘區(qū)域可能會對車牌識別的識別率有一定影響，字符之間可能會發(fā)生字符相連的現(xiàn)象，這時我們需要對候選區(qū)域進(jìn)行膨脹處理，從而使不同的連通域連接成同一個連通域，再對其進(jìn)行填充處理。膨脹處理在HALCON中是將和車牌圖像接觸的所有背景點同時合并到車牌之中，能夠使邊界擴(kuò)張，膨脹處理可以用來橋接縫隙。這里使用膨脹算子dilation_circle（），定義膨脹半徑為3．3。膨脹的定義為：

式中：A⊕B—B對A的膨脹。

（4）經(jīng)過膨脹處理之后，車牌的候選區(qū)域更加圓滑，并且減少了縫隙。之后我們再使用HALCON中的fill_up（）算子，將候選區(qū)域里的孔洞進(jìn)行填充，得到比較完整的區(qū)域，此區(qū)域就是我們定位出的車牌區(qū)域。

圖4 車牌定位流程Fig．4 License Plate Location Process

3.2.3 車牌校正

（1）使用orientation_region（）算子對初步定位后得到的車牌圖像求偏離角度；使用求連通域外接橢圓角度的方法，得到傾斜弧度θ。其示意圖，如圖5所示。

（2）利用area_center（）算子求出矩形中心點O，作為旋轉(zhuǎn)中心；

（3）利用 vector_angle_to_rigid（）計算出旋轉(zhuǎn)角度 rad（θ）；

（4）利用affine_trans_image（）算子進(jìn)行旋轉(zhuǎn)。以O(shè)為中心點，以rad（θ）為旋轉(zhuǎn)角度，進(jìn)行圖像轉(zhuǎn)正。

圖5 外接橢圓角度示意圖Fig．5 Schematic Diagram of the External Ellipse

4 仿真結(jié)果

4.1 車牌傾斜校正算法仿真

在測試中，本研究采用傳統(tǒng)的Radon算法和基于orientation_region（）算子的圖像校正法對傾斜角度接近35°的包含車牌的圖像進(jìn)行校正，如圖6（a）所示。首先，將該圖進(jìn)行灰度處理，以增加后面車牌定位的效率，二值化后再對原圖進(jìn)行區(qū)域分割，選擇出車牌區(qū)域，如圖6（d）所示。再對得到的車牌區(qū)域進(jìn)行填充，如圖6（e）所示。最后，本研究采用基于orientation_region（）算子的車牌圖像傾斜校正算法對傾斜的車牌圖像進(jìn)行校正，校正的車牌圖像，如圖6（f）所示。

圖6 車牌傾斜校正仿真結(jié)果Fig．6 License Plate Tilt Correction Simulation Results

4.2 數(shù)據(jù)分析

本研究使用傳統(tǒng)的Radon法和文獻(xiàn)[9]的方法以及基于orientation_region（）算子的方法對多個傾斜角度的車牌圖像進(jìn)行了多次校正實驗，測試的結(jié)果，如表2所示。由表2可得知，當(dāng)處理的傾斜圖像相同時，基于orientation_region（）算子的傾斜校正算法在仿真時間上比傳統(tǒng)的Radon法降低近一半，校正成功率也提高了7%。和文獻(xiàn)[9]的方法相比，在校正時間相差不多的情況下，校正成功率提高了12．5%。仿真中本研究創(chuàng)建的車牌識別系統(tǒng)用更短的時間和更高的準(zhǔn)確率完成了校正，從而提高了整個車牌識別系統(tǒng)的識別效率。

表2 算法時間對比Tab.2 Algorithm Time Comparison

5 結(jié)語

車牌識別（LPR）是智能交通系統(tǒng)（ITS）的重要技術(shù)之一，目前主要應(yīng)用于車輛監(jiān)控系統(tǒng)，道路安全監(jiān)控系統(tǒng)等領(lǐng)域。而車牌傾斜校正技術(shù)是LPR的重要組成部分，車牌傾斜校正技術(shù)具有廣闊的應(yīng)用前景。本研究對車牌圖像傾斜校正技術(shù)進(jìn)行了相關(guān)研究，實現(xiàn)了基于orientation_region（）算子的車牌圖像傾斜校正算法的創(chuàng)建，與傳統(tǒng)的傾斜校正方法相比較，本研究使用的方法校正速度更快，提高了汽車牌照的識別效率。下一步的研究將考慮硬件（DSP、FP-GA）算法的移植，以達(dá)到工程應(yīng)用，使本系統(tǒng)發(fā)揮其應(yīng)有的實用價值。