一種基于OpenCV的車牌識(shí)別方法

呂昆　金晅宏

摘 要：研究了一種基于OpenCV的車牌識(shí)別方法。在車牌定位階段，提出一種綜合邊緣信息和顏色信息，并結(jié)合車牌幾何特征定位方法，通過SVM機(jī)器學(xué)習(xí)實(shí)現(xiàn)車牌精確定位。在車牌字符分割階段，通過設(shè)定像素跳變閾值去除邊框，提出一種結(jié)合垂直投影法和字符特征的字符分割算法。在字符識(shí)別階段，提出結(jié)合投影和網(wǎng)格的字符特征提取方法，并利用4個(gè)BP神經(jīng)網(wǎng)絡(luò)進(jìn)行字符識(shí)別。實(shí)驗(yàn)表明，該方法定位率高，字符識(shí)別快速準(zhǔn)確，具有較強(qiáng)的魯棒性和實(shí)用性。

關(guān)鍵詞：車牌定位；字符分割；字符識(shí)別；BP神經(jīng)網(wǎng)絡(luò)

DOIDOI：10.11907/rjdk.161821

中圖分類號(hào)：TP317.4

文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)文章編號(hào)：16727800（2016）011019303

0 引言

隨著汽車工業(yè)的迅猛發(fā)展，人們?cè)谙硎苘囕v帶來便利的同時(shí)，也面臨著日益嚴(yán)重的交通問題，智能交通系統(tǒng)由此產(chǎn)生。車牌識(shí)別系統(tǒng)不僅是智能交通系統(tǒng)的重要組成部分，也是數(shù)字圖像處理、模式識(shí)別、計(jì)算機(jī)視覺等學(xué)科重要的研究內(nèi)容，其實(shí)現(xiàn)方式是對(duì)攝像機(jī)所拍攝的車輛圖像或視頻序列進(jìn)行分析，通過車牌定位、字符分割、特征提取、字符分割等技術(shù)，得到汽車唯一的車牌號(hào)碼，在智能小區(qū)停車管理、高速公路收費(fèi)系統(tǒng)及公共安全等方面有著廣泛應(yīng)用。本文提出了一種結(jié)合邊緣信息和顏色信息的車牌定位方法和基于BP神經(jīng)網(wǎng)絡(luò)的車牌字符識(shí)別方法，可以獲得較高的識(shí)別準(zhǔn)確率。

1 車牌定位

車牌定位就是采用一定算法將車牌區(qū)域從整張車輛圖片中準(zhǔn)確定位出來。車牌定位準(zhǔn)確率直接關(guān)系到字符識(shí)別的成敗。目前車牌定位方法較多，常見的有基于數(shù)學(xué)形態(tài)學(xué)方法、基于邊緣檢測(cè)方法、基于顏色空間方法等[13]。本文提出一種綜合邊緣信息和色彩信息，同時(shí)結(jié)合車牌紋理特征的方法實(shí)現(xiàn)車牌粗定位，再結(jié)合SVM方法實(shí)現(xiàn)車牌精確定位方法，定位流程如圖1所示。

1.1 邊緣檢測(cè)

首先讀取車牌的原始圖像，結(jié)果如圖2（a）所示，然后利用OpenCV庫中的cvtColor函數(shù)將彩色圖像轉(zhuǎn)換為灰度圖像，接著利用medianBlur函數(shù)對(duì)灰度圖像作中值濾波處理，去除圖像存在的噪聲點(diǎn)干擾，模板大小為3×3。車身紋理主要是水平邊緣，而車牌字符紋理主要為垂直邊緣，針對(duì)這個(gè)特點(diǎn)使用Sobel函數(shù)對(duì)圖像作垂直邊緣檢測(cè)，提取字符的邊緣信息[4]。利用threshold函數(shù)對(duì)邊緣檢測(cè)后的圖像作閾值化處理，得到邊緣二值圖像，結(jié)果如圖2（b）所示。

1.2 基于HSV顏色空間的二值化

由于攝像機(jī)采集的車輛圖像均是RGB模型，而該模型下R、G、B這3個(gè)分量對(duì)光線的強(qiáng)弱較敏感，因此需要將RGB模型轉(zhuǎn)換為對(duì)光照等外部因素不敏感的HSV模型。HSV是根據(jù)顏色的直觀性創(chuàng)建六角錐體模型， 其中H表示色調(diào)，S表示飽和度，V表示明度。RGB到HSV轉(zhuǎn)換如式（1）所示。

1.3 形態(tài)學(xué)處理

得到二值圖像后，需要對(duì)圖像進(jìn)行開運(yùn)算和閉運(yùn)算處理。其中開運(yùn)算可去除圖像中較小的區(qū)域，閉運(yùn)算能夠填充圖像內(nèi)小型黑洞，連接鄰近物體，并可平滑圖像的輪廓。本文選用的腐蝕膨脹核大小為10×5。首先采用閉運(yùn)算，使車牌區(qū)域連通為一個(gè)整體，結(jié)果如圖4（a）所示，接著采用開運(yùn)算去除較小區(qū)域，結(jié)果如圖4（b）所示。

1.4 粗定位

提取形態(tài)學(xué)處理后的圖像輪廓，對(duì)輪廓求外接旋轉(zhuǎn)矩形，并利用車牌的幾何特征對(duì)外接旋轉(zhuǎn)矩形進(jìn)行濾除， 即計(jì)算：①外接旋轉(zhuǎn)矩形寬高比Ratio；②外接旋轉(zhuǎn)矩形面積 Area。假設(shè)有40%誤差范圍，設(shè)定車牌的寬高比為22/7，再設(shè)定車牌面積的最大值和最小值，然后逐個(gè)判斷外接旋轉(zhuǎn)矩形的 Ratio 和 Area 是否同時(shí)滿足設(shè)定條件。粗定位結(jié)果如圖5所示，其中圖5（a）為提取的輪廓圖，圖5（b）為提取出的車牌候選區(qū)域。

1.5 SVM精確定位

在開始分類前，需要訓(xùn)練分類器。本文使用200車牌圖像和200張非車牌但大小為144×48像素的圖像訓(xùn)練車牌識(shí)別模型。分類器特征向量選用HOG特征向量，使用CvSVMParams結(jié)構(gòu)設(shè)置參數(shù)，利用CvSVM類訓(xùn)練分類器。分類器訓(xùn)練好后，提取候選車牌區(qū)域的HOG特征向量，將提取的特征向量輸入訓(xùn)練好的車牌判別模型，從而預(yù)測(cè)候選區(qū)域是否為車牌，實(shí)現(xiàn)車牌精確定位。

2 字符分割

2.1 傾斜校正

由于拍攝的角度問題，車牌圖像可能會(huì)出現(xiàn)傾斜情況，這樣會(huì)對(duì)字符分割結(jié)果造成較大影響，因此，需要對(duì)圖像進(jìn)行傾斜校正。本文利用Hough 變換將直線提取出來，并計(jì)算直線與水平和垂直方向的角度，然后將原有圖像旋轉(zhuǎn)完成傾斜校正[5]。傾斜校正完成后，再采用Otsu方法對(duì)圖像進(jìn)行閾值化處理，將字符作為前景提取出來，結(jié)果如圖6（a）所示。

2.2 邊框去除

車牌邊框和鉚釘會(huì)對(duì)字符分割產(chǎn)生較大影響，所以在字符分割前，需要消除邊框和鉚釘?shù)母蓴_。本文采用基于像素跳變次數(shù)的統(tǒng)計(jì)方法來去除邊框和柳釘?shù)母蓴_[6]，具體步驟如下：

（1）設(shè)定水平像素跳變閾值為14。從車牌二值圖像的中間向上進(jìn)行行掃描，統(tǒng)計(jì)每一行的像素跳變次數(shù)，當(dāng)某一行的像素跳變次數(shù)小于14時(shí)，該行即為字符區(qū)域的上邊界；同理，可以得到字符區(qū)域下邊界。

（2）字符區(qū)域的垂直像素跳變次數(shù)一般大于或等于2，設(shè)定一個(gè)閾值Q，從車牌二值圖像的左邊界向中間進(jìn)行列掃描，統(tǒng)計(jì)每一列的像素跳變次數(shù)，當(dāng)存在連續(xù)的Q列像素跳變次數(shù)都大于或等于2時(shí)，就判斷為字符左邊界。同理，可以找到字符右邊界。結(jié)果如圖6（b）所示。

2.3 車牌字符分割

中國標(biāo)準(zhǔn)車輛牌照有7個(gè)字符， 其中首字符為漢字， 第2個(gè)字符是英文大寫字母，后面5個(gè)為大寫字母與數(shù)字的混合。單個(gè)字符寬45mm，高90mm，字符間距一般為10mm，其中第二、三個(gè)字符間距為34mm。本文結(jié)合車牌的字符特征和垂直投影法，提出了一種字符分割方法[7]。

由于字符區(qū)域白色像素較多，而非字符區(qū)域黑色像素較多，因此通過檢測(cè)字符與字符間白色像素?cái)?shù)目的波谷，確定每個(gè)字符的左右邊界。因?yàn)檐嚺频诙?、三個(gè)字符之間距離比其它字符間距離大很多，所以先根據(jù)字符大概的像素大小，找到第二字符的右邊界。接著從第二個(gè)字符的右邊界向左搜索，先分割前面兩個(gè)字符，接著從第二個(gè)字符的右邊界向右搜索，分割后面5個(gè)字符。最后，對(duì)分割得到的字符進(jìn)行歸一化處理，結(jié)果如圖6（c） 所示。

3 字符識(shí)別

字符識(shí)別方法有模板匹配法、統(tǒng)計(jì)特征匹配法和神經(jīng)網(wǎng)絡(luò)法等[810]，本文采用BP神經(jīng)網(wǎng)絡(luò)對(duì)字符進(jìn)行識(shí)別。在字符識(shí)別前，需要提取字符特征，本文根據(jù)車牌字符特點(diǎn)，使用基于像素點(diǎn)網(wǎng)格和像素投影的方法進(jìn)行特征提取。首先將分割得到的字符大小歸一化為12×24的圖像，然后對(duì)圖像分別進(jìn)行行投影和列投影，并統(tǒng)計(jì)每行和每列目標(biāo)像素點(diǎn)數(shù)目，得到36維特征向量。然后將字符圖像均勻劃分為4×8的網(wǎng)格，再從左向右、從上到下，依次提取每個(gè)子網(wǎng)格的占空比、梯度特征，最后連接成一個(gè)組合特征，形成一個(gè)96維的特征向量。

本文采用4個(gè)BP網(wǎng)絡(luò)來完成字符識(shí)別，4個(gè)BP網(wǎng)絡(luò)分別是區(qū)分漢字、英文和數(shù)字字符的分類BP網(wǎng)絡(luò)、識(shí)別數(shù)字的BP網(wǎng)絡(luò)、識(shí)別英文的BP網(wǎng)絡(luò)、識(shí)別漢字的BP網(wǎng)絡(luò)，所有的BP網(wǎng)絡(luò)都是三層結(jié)構(gòu)。由于提取的字符特征向量維數(shù)為96，因此可以確定輸入層的節(jié)點(diǎn)數(shù)為96。由于訓(xùn)練樣本限制，車牌漢字只選取了25個(gè)省份的車牌數(shù)據(jù)，加上10個(gè)數(shù)字字符，24個(gè)字母字符（除去字符I和O），這樣確定4個(gè)BP網(wǎng)絡(luò)輸出層節(jié)點(diǎn)數(shù)分別為3、10、24、25，網(wǎng)絡(luò)輸出采用對(duì)應(yīng)類別取1的方式來表達(dá)。隱含層的節(jié)點(diǎn)數(shù)按公式n=sqrt（n1+n2）+a進(jìn)行設(shè)計(jì)，其中n1為輸入層節(jié)點(diǎn)數(shù)，n2為輸出層節(jié)點(diǎn)數(shù)，a為l～10的整數(shù)。

本文選取sigmoid 函數(shù)作為BP網(wǎng)絡(luò)激活函數(shù)，使用CvANN_MLP_TrainParams類來設(shè)置訓(xùn)練參數(shù)，最終利用CvANN_MLP類訓(xùn)練分類器。分類器訓(xùn)練好后，提取待識(shí)別字符的特征向量，輸入訓(xùn)練好的分類器完成字符識(shí)別。數(shù)字、字母和漢字各選用200張測(cè)試樣本進(jìn)行實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果表明，數(shù)字的識(shí)別率達(dá)97.0%，英文字母的識(shí)別率達(dá)96.6%，漢字的識(shí)別率達(dá)86.2%。

4 結(jié)語

本文提出了一種綜合邊緣信息和色彩信息，結(jié)合車牌紋理特征的定位方法，對(duì)車牌進(jìn)行粗定位。通過SVM機(jī)器學(xué)習(xí)篩選符合車牌特征的候選區(qū)域?qū)崿F(xiàn)車牌精確定位，提出一種結(jié)合像素投影和網(wǎng)格的字符特征提取方法，并利用4個(gè)BP神經(jīng)網(wǎng)絡(luò)對(duì)字符進(jìn)行識(shí)別。本文軟件開發(fā)平臺(tái)為Microsoft Visual Studio 2013，選用300張不同環(huán)境下的車牌圖片進(jìn)行實(shí)驗(yàn)，車牌定位率達(dá)97.5%，車牌字符識(shí)別率達(dá)92.5%。實(shí)驗(yàn)結(jié)果表明，本文提出的方法定位率高、字符識(shí)別快速準(zhǔn)確，具有較強(qiáng)的魯棒性和實(shí)用性。

參考文獻(xiàn)：

[1] 盧雅琴，鄔凌超.基于數(shù)學(xué)形態(tài)學(xué)的車牌定位方法[J].計(jì)算機(jī)工程，2005，31（3）：224226.

[2] 沈勇武，章專.基于特征顏色邊緣檢測(cè)的車牌定位方法[J].儀器儀表學(xué)報(bào)，2008，29（12）：26732677.

[3] 郭捷，施鵬飛.基于顏色和紋理分析的車牌定位方法[J].中國圖像圖形學(xué)報(bào)，2002，7（5）：432476.

[4] 毛星云，冷雪飛.OpenCV3編程入門[M].北京：電子工業(yè)出版社，2015：154312.

[5] 楊思源.基于OpenCV的車輛牌照識(shí)別系統(tǒng)研究[D].西安：西安電子科技大學(xué)，2013.

[6] 黃驥.汽車牌照識(shí)別系統(tǒng)中車牌定位與校正及字符分割的研究[D].南京：南京航空航天大學(xué)，2007.

[7] 王璐.基于 MATLAB 的車牌識(shí)別系統(tǒng)研究[D].上海：上海交通大學(xué)，2009.

[8] 谷秋頔，白艷萍.基于模板匹配的車牌數(shù)字與字母識(shí)別[J].數(shù)學(xué)的實(shí)踐與認(rèn)識(shí)，2011，42（20）：6671.

[9] DANIEL LELIS BAGGIO.深入理解OpenCV：實(shí)用計(jì)算機(jī)視覺項(xiàng)目解析[M].劉波，譯.北京：機(jī)械工業(yè)出版社，2014：116136.

[10] 郭榮艷，胡雪惠.BP神經(jīng)網(wǎng)絡(luò)在車牌字符識(shí)別中的應(yīng)用研究[J].計(jì)算機(jī)仿真，2010，27（9）：299301.

（責(zé)任編輯：杜能鋼）