基于Hough變換與SVM的高速公路車牌識(shí)別系統(tǒng)

摘要：針對(duì)ETC車道車牌識(shí)別難的問(wèn)題，文章介紹了一套適用于人工車道與ETC車道的車牌自動(dòng)識(shí)別系統(tǒng)。該系統(tǒng)采用HSV色彩分割與連通域分析相結(jié)合的方式來(lái)檢測(cè)車牌區(qū)域，通過(guò)一種基于Hough變換與像素點(diǎn)投影的方法來(lái)實(shí)現(xiàn)車牌字符的傾斜校正與分割，并采用SVM分類器對(duì)車牌字符進(jìn)行識(shí)別。測(cè)試結(jié)果表明，該車牌識(shí)別系統(tǒng)正確識(shí)別率高、識(shí)別速度快，且能夠有效地校正車牌的傾斜，具有在實(shí)際場(chǎng)景中應(yīng)用的可行性。

關(guān)鍵詞：HSV;Hough變換;SVM;車牌識(shí)別

中圖分類號(hào)：U491.5+12

0 引言

電子收費(fèi)系統(tǒng)（Electronic Toll Collection，ETC）是一種快速且高度自動(dòng)化的道路收費(fèi)系統(tǒng)，其能夠自動(dòng)化地識(shí)別車輛信息，并計(jì)算往來(lái)車輛所需支付的道路使用費(fèi)用。而隨著ETC在全國(guó)的推廣，如何提高通行車輛的識(shí)別效率成了有待進(jìn)一步研究的問(wèn)題。車牌識(shí)別技術(shù)是ETC的核心技術(shù)，也是智能交通系統(tǒng)中的關(guān)鍵技術(shù)[1]。車牌識(shí)別技術(shù)主要使用機(jī)器視覺(jué)技術(shù)來(lái)識(shí)別車牌和提取車牌上的信息，因其具有提高交通管理效率和行車速度以及降低成本等優(yōu)勢(shì)，被廣泛運(yùn)用于交通道路疏通、停車場(chǎng)收費(fèi)管理、機(jī)場(chǎng)出入口車輛管理及高速公路違章車輛信息采集等領(lǐng)域。

車牌識(shí)別技術(shù)主要由三個(gè)內(nèi)容組成：畫面中車牌的定位、車牌字符的傾斜校正及字符識(shí)別[2]。其中車牌定位有基于邊緣檢測(cè)[3]、基于顏色分割[4]等方法?；谶吘墮z測(cè)的定位方法具有較好的降噪效果與實(shí)時(shí)性，但該方法易受光照的影響，誤檢率較高;基于顏色分割的車牌定位方法主要是利用車牌的底色與背景顏色進(jìn)行區(qū)分進(jìn)而在畫面中定位車牌區(qū)域。因?yàn)檐嚺频念伾哂袠?biāo)準(zhǔn)規(guī)定，在通常情況下該方法具有快速且準(zhǔn)確的定位效果，但當(dāng)車輛與車牌底色顏色相似時(shí)則識(shí)別率較低。在車牌字符的傾斜校正方面，常用的方法有基于Radon變換與Hough變換的方法[5]，兩者原理基本相同，車牌的校正效果都較佳。而對(duì)于車牌識(shí)別方面，常用的有模板匹配、神經(jīng)網(wǎng)絡(luò)[6]及基于機(jī)器學(xué)習(xí)[7]等方法?；谀０迤ヅ涞淖R(shí)別方法具有快速且方便的優(yōu)勢(shì)，但對(duì)于噪聲敏感及相似字符識(shí)別效果則不太令人滿意，需要與其他方法搭配使用以達(dá)到一個(gè)較好的識(shí)別效果;基于神經(jīng)網(wǎng)絡(luò)的識(shí)別方法具有較好的魯棒性與識(shí)別準(zhǔn)確度，但前提是需要建立大量的訓(xùn)練樣本;而基于SVM分類機(jī)的識(shí)別方法則不需要制作大量的訓(xùn)練樣本集同樣也可以實(shí)現(xiàn)快速、準(zhǔn)確的字符識(shí)別。

車牌識(shí)別技術(shù)使用圖像作為獲取[JP+1]信息的手段，而因?yàn)橄鄼C(jī)的安裝位置、工作環(huán)境等因素會(huì)對(duì)圖像造成影響，車牌識(shí)別技術(shù)依舊面臨著各種挑戰(zhàn)。本文結(jié)合已有的研究成果及車牌自身特點(diǎn)，針對(duì)車牌識(shí)別系統(tǒng)中的重點(diǎn)問(wèn)題提出解決方案。首先通過(guò)HSV色彩空間與連通區(qū)域分析的方法來(lái)定位車牌區(qū)域，然后利用Hough變換與像素點(diǎn)投影的方法來(lái)完成車牌的傾斜校正與分割，最后采用SVM分類機(jī)來(lái)分類漢字字符與數(shù)字字母字符。

1 車牌識(shí)別系統(tǒng)流程

車牌識(shí)別系統(tǒng)為從圖像中檢測(cè)車牌目標(biāo)，并提取字符信息的一系列圖像算法，其主要流程如圖1所示：（1）車牌的定位，這是指從攝像機(jī)拍攝的畫面中尋找車牌區(qū)域;（2）車牌校正與分割，由于車牌與攝像機(jī)常呈一定角度，圖像中的車牌畫面在絕大多數(shù)情況下都存在一定的透視變形，因此在識(shí)別字符之前需要先對(duì)車牌部分進(jìn)行傾斜校正，并裁剪出標(biāo)準(zhǔn)化的單個(gè)字符圖像，以方便最后的識(shí)別;（3）車牌字符的識(shí)別，其作用為根據(jù)形態(tài)學(xué)特征，準(zhǔn)確識(shí)別圖像中存在的特定字符。

2 定位車牌

2.1 基于MSR與HSV的圖像預(yù)處理

因車牌采集環(huán)境較為復(fù)雜，得到的圖像質(zhì)量不佳，應(yīng)通過(guò)增強(qiáng)圖像的色彩信息來(lái)改善圖像質(zhì)量。為此，先通過(guò)MSR（Multi Scale Retinex）[8]圖像增強(qiáng)算法來(lái)增強(qiáng)圖像中的暗部信息。MSR常用于提升拍攝于低光照水平畫面的亮度，可以很好地解決光線昏暗導(dǎo)致的圖像細(xì)節(jié)信息缺失的問(wèn)題。

然后將RGB色域圖像轉(zhuǎn)換為HSV色域。HSV色域?qū)GB空間的三原色信息轉(zhuǎn)化為色調(diào)（H）、飽和度（S）、亮度（V）三種信息，由于這一顏色空間將顏色信息與亮度信息獨(dú)立，有利于排除光照影響，在圖像中保留目標(biāo)本身的顏色信息。

根據(jù)《中華人民共和國(guó)機(jī)動(dòng)車號(hào)牌》（GA36-2007）的規(guī)定，我國(guó)機(jī)動(dòng)車輛的牌照共有藍(lán)底白字、黃底黑字、黑底白字和白底黑字4種樣式。為確定各個(gè)顏色在H、S、V通道的值域，拍攝同一背景色的車牌處在不同光照環(huán)境及背景下的照片，統(tǒng)計(jì)圖片中車牌部分在HSV空間中的三個(gè)分量值信息，再對(duì)算法中三個(gè)分量的取值進(jìn)行區(qū)間估算。當(dāng)車牌為黃底或藍(lán)底時(shí)，由于兩者間明度差別不大，不用考慮V分量;若為車牌白色或黑色，由于兩者間明度差別較大，則只考慮V分量。具體公式如下：

通過(guò)如上方法統(tǒng)計(jì)的車牌圖像信息，確定了車牌顏色在HSV顏色空間的閾值范圍（如表1所示）。在此基礎(chǔ)上可利用H、S通道分量閾值范圍與二值化方法相結(jié)合，在圖片中提取出車牌區(qū)域。

2.2 形態(tài)學(xué)處理

在前文中得到的車牌區(qū)域圖像為二值化圖像，其中包含了大量的干擾信息，形態(tài)學(xué)處理的目的就是去除這些干擾信息。車牌的尺寸一般規(guī)定為（440×140）mm，根據(jù)這一信息，采用長(zhǎng)寬比為3：1的矩形結(jié)構(gòu)元素對(duì)HSV二值化后的圖像進(jìn)行閉運(yùn)算來(lái)獲得連通區(qū)域，再使用開(kāi)運(yùn)算去除圖像噪聲，并對(duì)連通區(qū)域進(jìn)行彩色標(biāo)記，以便更準(zhǔn)確地檢測(cè)車牌區(qū)域的位置。

2.3 投影定位

經(jīng)由上述形態(tài)學(xué)處理后的圖像并不完全為車牌區(qū)域，其為包含車牌區(qū)域及車牌周圍一定范圍的偽車牌區(qū)域。為此，本文根據(jù)連通區(qū)域的寬度、高度、寬高比、面積及像素密度等參數(shù)去除偽車牌區(qū)域，保留感興趣的車牌區(qū)域，從而實(shí)現(xiàn)車牌的定位。具體車牌定位過(guò)程如圖2所示。

3 車牌校正與分割

3.1 基于Hough變換車牌校正

由于二維成像原理的限制，當(dāng)相機(jī)的拍攝角度不正對(duì)著車牌時(shí)，拍攝出的車牌圖像相對(duì)于車牌原本的外觀會(huì)有一定的透視變形。為校正這一傾斜，采用基于Hough變換方法對(duì)車牌進(jìn)行傾斜校正。對(duì)于圖像上的點(diǎn)（a，b），通過(guò)ρ=a cosβ+b sinβ轉(zhuǎn)換到參數(shù)空間的點(diǎn)（ρ，β），在ρ-β上的一條正弦曲線對(duì)應(yīng)著原始圖像中的任意一點(diǎn)。然后，對(duì)車牌圖像中的每個(gè)像素點(diǎn)進(jìn)行Hough變換，計(jì)算出β值，也就是車牌傾斜角度，進(jìn)而實(shí)現(xiàn)校正。具體效果如圖3所示。

3.2 車牌字符分割

在分割單個(gè)字符之前，需采用水平投影法對(duì)校正后的車牌圖像進(jìn)行邊框裁剪，得到最終的車牌字符數(shù)據(jù)。在分割字符時(shí)，本文根據(jù)以下三種情況，采用不同的分割策略。

3.2.1字符粘連

當(dāng)W

3.2.2 字符斷裂

若char widthj<0.5×width，且0.5×width>char widthj+1（char widthj為當(dāng)前字符寬度，char widthj+1為下一個(gè)字符寬度），則判斷為字符斷裂，可將當(dāng)前字符與下一個(gè)字符合并。

3.2.3 字符為數(shù)字“1”

當(dāng)char width<0.5×wid且th0.8×Height的個(gè)數(shù)N，在N>nThresh時(shí)（nThresh為閾值），則是“1”。其分割示意圖如圖4所示。

4 基于SVM的車牌字符識(shí)別

4.1 支持向量機(jī)SVM

支持向量機(jī)（Support Vector Machine，SVM）用于兩類目標(biāo)和多類目標(biāo)之間的區(qū)分計(jì)算。SVM基于統(tǒng)計(jì)學(xué)習(xí)理論，主要針對(duì)小樣本問(wèn)題，能夠在較少的樣本信息中求出最優(yōu)解，可以有效地解決非線性問(wèn)題和高維數(shù)據(jù)分類等問(wèn)題。基于以上原因，本文使用SVM來(lái)進(jìn)行單個(gè)字符的識(shí)別工作。

SVM識(shí)別車牌的流程如下頁(yè)圖5所示，首先，對(duì)素材進(jìn)行歸一化處理，以制作適合分類的樣本素材。由于原始特征的數(shù)據(jù)量龐大，為了提高識(shí)別效率，通過(guò)選擇提取字符的特征來(lái)壓縮特征信息量，構(gòu)建出多維特征信息。最后，使用訓(xùn)練好的多類別SVM分類機(jī)來(lái)識(shí)別對(duì)應(yīng)的字符。

4.2 字符圖像歸一化

根據(jù)《中華人民共和國(guó)機(jī)動(dòng)車號(hào)牌》（GA36-2007）的規(guī)定，我國(guó)機(jī)動(dòng)車牌照由一位代表牌照所在地區(qū)的漢字和多位數(shù)字、英文字母組成的編碼構(gòu)成。考慮到三者之間的區(qū)別，本文將識(shí)別對(duì)象分為漢字字符對(duì)象與數(shù)字字母字符對(duì)象兩類。

由于原始圖像之間的拍攝距離和拍攝角度不盡相同，提取后的字符圖像之間也不一致。在這樣的情況下，直接進(jìn)行字符特征提取并分類的效果往往不佳。為了消除因字符素材的形狀、尺寸等參數(shù)不同而造成的特征提取效果不佳的問(wèn)題，應(yīng)對(duì)分割后的字符使用雙線性插值法歸一化為42×84像素的圖像。

4.3 基于網(wǎng)格的數(shù)字字母字符特征提取

為了更好地提煉數(shù)字與字母字符特征，應(yīng)將數(shù)字字母字符圖像分割為2×4個(gè)像素塊，并計(jì)算特征點(diǎn)、閉合環(huán)數(shù)、環(huán)面積及Hu幾何不變矩四種特征量，如圖6所示。

4.3.1 特征點(diǎn)計(jì)算

特征點(diǎn)包括端點(diǎn)、二叉點(diǎn)和三叉點(diǎn)。假設(shè)某像素點(diǎn)的像素值為P1，該像素點(diǎn)的8鄰域像素值為P2～P9（如圖7所示，按螺旋法則劃分），則可通過(guò)式（2）計(jì)算出判斷值T，當(dāng)T=1時(shí)P1為端點(diǎn)，T=2時(shí)為二叉點(diǎn)，T=3時(shí)為三叉點(diǎn)。

4.3.2 閉合環(huán)數(shù)計(jì)算

為計(jì)算像素塊的閉合環(huán)數(shù)特征，需要先根據(jù)像素塊i中的端點(diǎn)ni1、二叉點(diǎn)ni2和三叉點(diǎn)ni3計(jì)算像素塊的邊數(shù)E：

4.3.3 閉合環(huán)面積計(jì)算

已知像素塊i中的頂點(diǎn)數(shù)量N，假設(shè)（xj，yj）是頂點(diǎn)j的坐標(biāo)，則閉合環(huán)的面積Si可通過(guò)以下公式計(jì)算：

4.3.4 Hu幾何不變矩計(jì)算

Hu幾何不變矩不會(huì)受到圖像經(jīng)平移、選擇和放大等操作的干擾，擁有很好的描述圖片曲線特征的能力。離散像素點(diǎn)f（x，y）的（p+q）階中心矩的計(jì)算方法為：

式中：wid與hei——像素塊的寬度與高度; （x0，y0）——矩心坐標(biāo)。

在此基礎(chǔ)上需要將中心距歸一化，以獲得旋轉(zhuǎn)不變性，計(jì)算如下：

Hu幾何不變矩為利用圖像的二階和三階中心距組合而成的7個(gè)不變矩，其計(jì)算方式如下：

4.4 基于筆畫的漢字字符特征提取

漢字字符同樣使用2×4網(wǎng)格劃分為8格像素塊，但由于漢字的復(fù)雜性，將使用與字母數(shù)字不同的特征提取方法。本文共設(shè)計(jì)了質(zhì)心、散度、筆畫復(fù)雜度、13點(diǎn)特征及圖像對(duì)稱系數(shù)來(lái)描述漢字字符對(duì)象。

4.4.1 質(zhì)心的計(jì)算

二值圖像的質(zhì)心可體現(xiàn)圖案輪廓的集中位置。設(shè)像素塊i在x軸方向上的質(zhì)心與在y軸方向上的質(zhì)心分別為Centerx與Centery，其計(jì)算方法如式（8）～（9）所示，其中（x1，y1）為圖像的左上角坐標(biāo)，（x2，y2）為圖像的右下角坐標(biāo)。

4.4.2 散度的計(jì)算

與質(zhì)心相反，散度體現(xiàn)的是區(qū)域內(nèi)筆畫相對(duì)于圖案輪廓中心的發(fā)散程度。散度同樣分水平方向的散度Divx和垂直方向上的散度Divy，其計(jì)算公式如式（10）～（11）所示，其中（cx，cy）為像素塊的中心坐標(biāo)。

4.4.3 筆畫復(fù)雜度的計(jì)算

筆畫的復(fù)雜程度設(shè)計(jì)為代表著字符的筆畫在x方向和y方向上的復(fù)雜度px、py，計(jì)算方式如式（12）～（13）所示，其中σx和σy是像素塊內(nèi)的像素值在水平方向和垂直方向的標(biāo)準(zhǔn)差。

4.4.4 13點(diǎn)特征的計(jì)算

13點(diǎn)特征法體現(xiàn)的是二值圖像的像素值在各個(gè)區(qū)域、方向上的分布情況。其中前8點(diǎn)特征為各像素塊內(nèi)的白色像素（像素值為1）的數(shù)量Nm，其計(jì)算方式如下：

式中：m——像素塊編號(hào); wid和hei——像素塊的寬和高; aij——像素塊內(nèi)坐標(biāo)第i行j列的像素點(diǎn)的像素值（在二值圖像中為0或255，所以在計(jì)算前需要先將像素值除以255）。

第9點(diǎn)特征為圖像中所有白色像素點(diǎn)的總數(shù)，計(jì)算方式如下：

第10點(diǎn)、11點(diǎn)特征為對(duì)角線上白色像素點(diǎn)的總個(gè)數(shù)。設(shè)像素塊左上角點(diǎn)編號(hào)為1，對(duì)剩下三個(gè)角點(diǎn)以逆時(shí)針順序進(jìn)行編號(hào)。考慮到像素塊長(zhǎng)寬比為4：1，第10點(diǎn)、11點(diǎn)特征的計(jì)算方式如下：

第12點(diǎn)、13點(diǎn)特征為字符圖像的縱軸中線與橫軸中線上白色像素點(diǎn)的總數(shù)，計(jì)算方式如下：

4.4.5 圖像對(duì)稱系數(shù)的計(jì)算

圖像對(duì)稱系數(shù)包含了字符的結(jié)構(gòu)信息，應(yīng)選用基于水平中心軸和垂直中心軸的對(duì)稱系數(shù)來(lái)提取字符圖像的對(duì)稱結(jié)構(gòu)信息，計(jì)算方式如下：

4.5 基于SVM的車牌字符識(shí)別

由于所需識(shí)別的對(duì)象較多，可根據(jù)糾錯(cuò)編碼輸出法來(lái)構(gòu)造多分類SVM分類器，如圖8所示。根據(jù)規(guī)定，國(guó)內(nèi)機(jī)動(dòng)車牌共使用31個(gè)漢字字符、34個(gè)數(shù)字與英文字符。本文構(gòu)造五位編碼的分類器來(lái)識(shí)別漢字，使用六位編碼的分類器來(lái)識(shí)別數(shù)字與字母。

多編碼SVM分類器結(jié)構(gòu)的分類流程如圖8所示，其中每一個(gè)分類器會(huì)輸出為0或1兩種結(jié)果，將這些結(jié)果組合成多位編碼即可用于識(shí)別對(duì)應(yīng)的字符。

4.6 測(cè)試試驗(yàn)

本文基于C++ MFC平臺(tái)實(shí)現(xiàn)了算法構(gòu)成，并搭建了試驗(yàn)系統(tǒng)。接下來(lái)使用了大量的字符樣本訓(xùn)練了分類器，并使用500張包含不同車牌的圖片進(jìn)行測(cè)試。

試驗(yàn)的測(cè)試結(jié)果為：數(shù)字字母字符的識(shí)別率為97.2%，平均識(shí)別時(shí)間為31 ms;漢字字符的識(shí)別率為96.6%，平均識(shí)別時(shí)間59 ms;合計(jì)識(shí)別率為96.6%，合計(jì)平均識(shí)別時(shí)間為45 ms。

5 結(jié)語(yǔ)

本文基于SVM分類器技術(shù)開(kāi)發(fā)了一套可適用于人工車道與ETC車道的自動(dòng)化車牌識(shí)別系統(tǒng)。試驗(yàn)表明，該系統(tǒng)車牌字符的識(shí)別率達(dá)到96.6%，平均識(shí)別時(shí)間為45 ms。由此可見(jiàn)，該系統(tǒng)的識(shí)別率足以應(yīng)用于較為復(fù)雜的檢測(cè)場(chǎng)景，且識(shí)別速度符合ETC系統(tǒng)對(duì)檢測(cè)即時(shí)性的要求。

參考文獻(xiàn)

[1]張明軍，俞文靜，李偉濱，等.一種基于機(jī)器學(xué)習(xí)的車牌識(shí)別系統(tǒng)的設(shè)計(jì)[J].計(jì)算機(jī)技術(shù)與發(fā)展，2020，30（5）：216-220.

[2]馬志遠(yuǎn)，余 粟.基于改進(jìn)K近鄰算法的小型汽車號(hào)牌識(shí)別系統(tǒng)[J].軟件導(dǎo)刊，2020，19（6）：231-234.

[3]李學(xué)順， 魏宗壽. 基于彩色邊緣檢測(cè)和Edge Boxes的車牌定位方法[J]. 電腦知識(shí)與技術(shù)， 2019， 15（7）： 187-188.

[4]YANG Y，GAO X，YANG G.Study the method of vehicle license locating based on color segmentation[J].Procedia Engi neering，2011（15）： 1 324-1 329.

[5]芮 挺，沈春林，張金林.車牌識(shí)別中傾斜牌照的快速矯正算法[J].計(jì)算機(jī)工程，2004，30（13）：122-124.

[6]盛兆亮， 高軍偉. 基于區(qū)域統(tǒng)計(jì)和BP神經(jīng)網(wǎng)絡(luò)的車牌識(shí)別[J]. 信息技術(shù)及圖像處理， 2019， 42（8）： 78-82.

[7]陳 政，李良榮，李 震，等.基于機(jī)器學(xué)習(xí)的車牌識(shí)別技術(shù)研究[J].計(jì)算機(jī)技術(shù)與發(fā)展，2020，30（6）：13-18.

[8]Zhuang Peixian，Li Chongyi，Wu Jiamin. Bayesian retinex underwater image enhancement[J].Engineering Applications of Artificial Intelligence，2021，101（1）：104 171.

作者簡(jiǎn)介：

曾夏明（1990—），工程師，主要從事高速公路智能交通機(jī)電工作。