基于OpenCV 智能車牌及顏色識(shí)別

盧 嫚，謝磊鑫

（西安工程大學(xué) 電子信息學(xué)院，西安 710048）

近年來，隨著國家經(jīng)濟(jì)和科技的飛速發(fā)展，人們的生活也隨之發(fā)生了巨大變化。據(jù)有關(guān)部門統(tǒng)計(jì)，截至2022 年3 月底，國內(nèi)汽車保有量4.02 億輛，如此龐大的數(shù)字給交通管理部門的運(yùn)行管理帶來了很大的壓力。車牌作為車輛身份信息的主要標(biāo)志，自動(dòng)車牌識(shí)別是一種利用檢測和識(shí)別方法來自動(dòng)獲得車牌信息的技術(shù)，能夠有效地提高交通管理效率和道路安全[1]，利用人工智能領(lǐng)域的數(shù)字圖像處理技術(shù)和圖像處理算法對(duì)汽車車牌進(jìn)行自動(dòng)識(shí)別，不斷提升智能交通系統(tǒng)運(yùn)行效率，具有非常重要的意義。車牌識(shí)別系統(tǒng)在人們的周圍有著廣泛的應(yīng)用場景，例如：公共設(shè)施停車場管理、校區(qū)門禁系統(tǒng)、公司學(xué)校單位門禁等[2]。

本文基于樹莓派為主控平臺(tái)，采用高清攝像頭模塊采集圖像，設(shè)計(jì)出一種智能車牌識(shí)別系統(tǒng)，能夠精準(zhǔn)提取車牌信息，并將車牌信息存入數(shù)據(jù)庫中，最后將識(shí)別到的車牌號(hào)顯示在屏幕的GUI 界面上。本系統(tǒng)選用Linux 操作系統(tǒng)，采用sqlite3 來設(shè)計(jì)數(shù)據(jù)庫，車牌識(shí)別使用OpenCV 庫函數(shù)，使用PyQt5 庫和Qt Designer 來設(shè)計(jì)GUI 界面。

1 系統(tǒng)總體設(shè)計(jì)

系統(tǒng)使用樹莓派3B+作為主控平臺(tái)，連接SD 卡、攝像頭、顯示屏等外設(shè)，利用PC 端作上位機(jī)，進(jìn)行數(shù)據(jù)的傳輸，系統(tǒng)總體結(jié)構(gòu)如圖1 所示。主控制器樹莓派為核心部分，采用攝像頭采集車牌信息，樹莓派通過圖像識(shí)別精準(zhǔn)采集到車牌號(hào)，并將檢測到的車牌號(hào)存入數(shù)據(jù)庫中，數(shù)據(jù)庫信息可以在用PyQt5設(shè)計(jì)的GUI 界面顯示，可以隨時(shí)查看車輛信息。

圖1 系統(tǒng)總體結(jié)構(gòu)圖Fig.1 Structure diagram of overall system

2 車牌識(shí)別

車牌識(shí)別利用了數(shù)字圖像處理、模式識(shí)別、電腦視覺等現(xiàn)代信息技術(shù)，對(duì)攝像頭捕獲的汽車圖像進(jìn)行信息處理，獲取每輛車的車牌信息[3]。車牌識(shí)別系統(tǒng)的工作機(jī)理：當(dāng)車輛行駛在攝像頭所監(jiān)測區(qū)域內(nèi)，攝像頭監(jiān)測到車牌號(hào)時(shí)將車輛拍攝下來并傳輸?shù)綐漭?，樹莓派?duì)汽車照片進(jìn)行圖像預(yù)處理、定位車牌位置、提取車牌、車牌字符分割、傾斜校正、字符模板識(shí)別等一系列操作，最后識(shí)別出車牌號(hào)。

2.1 車牌預(yù)處理

車牌預(yù)處理進(jìn)行彩色圖像灰度化、高斯濾波、Sobel 邊緣檢測、顏色定位、圖像二值化、形態(tài)學(xué)處理，最后得到車牌預(yù)處理后的圖片。

2.1.1 彩色圖像灰度化

視頻輸入設(shè)備用于獲取包含車輛信息的號(hào)牌圖像，該圖片通常是RGB 彩色圖像，將被轉(zhuǎn)化為單通道圖片。彩色畫面中的各個(gè)圖像色彩都由R、G、B 三種分量來選擇，而各個(gè)分量的取值范圍都在0～255 之間[4]，這樣對(duì)計(jì)算機(jī)來說，彩色圖像的一個(gè)像素點(diǎn)就會(huì)有256×256×256 種顏色的變化范圍[5]。而灰度圖像是R、G、B 分量相同的一種特殊彩色圖像，對(duì)計(jì)算機(jī)來說，一個(gè)像素點(diǎn)的變化范圍只有0～255 共256 種。所以將圖片從RGB 彩色圖片轉(zhuǎn)換成灰度圖，其中灰度值在0～255 范圍，0 表示黑色，255 表示白色[6]，其它值根據(jù)灰度的不同來選取。形成灰度化圖像如圖2 所示。RGB 轉(zhuǎn)換為灰度圖公式為

圖2 車輛灰度化圖像Fig.2 Grayscale image of vehicle

2.1.2 高斯濾波

因?yàn)楣に嚭铜h(huán)境方面的問題，圖像上的文字顯示時(shí)往往受噪聲的干擾[7]。常用的去除噪聲的方法[8]有空域?yàn)V波法和頻域?yàn)V波法。在本文中，應(yīng)用了空域?yàn)V波中的線性濾波，并包含了高斯濾波、均值濾波、維納濾波[9]以及一些典型濾波。

高斯濾波是一種線性抗混疊濾波，可以用來減少高斯噪聲，一般用于圖像處理中的降噪。更簡單地說，高斯濾波就是平衡稱量特征和均衡整個(gè)像素的過程，每個(gè)像素點(diǎn)的數(shù)值都是經(jīng)過權(quán)衡和平衡特征值和其他像素的差值來得到的。而高斯濾波系統(tǒng)則包括用圖案掃描圖像中的所有圖像，以及利用對(duì)在圖像中定義的周圍所有其他元素的灰度值的加權(quán)平均值，來替換在畫面中的所有像素點(diǎn)值。高斯抗鋸齒濾波器對(duì)控制具有正常范圍的噪聲領(lǐng)域也十分有用。該系統(tǒng)可以通過OpenCV 的函數(shù)cv2.GaussianBlur（）對(duì)圖像范圍實(shí)施高斯平滑，從而使得所要求的車牌區(qū)域范圍更加明顯。執(zhí)行高斯濾波的示意圖如圖3 所示，方格中數(shù)字代表像素值。

圖3 高斯濾波示意圖Fig.3 Schematic diagram of Gaussian filtering

2.1.3 Sobel 邊緣檢測

本設(shè)計(jì)采用Sobel 算子的邊緣檢測方法，采用Sobel算子進(jìn)行x 和y 方向上邊緣化處理，使用OpenCV上cv2.Sobel（）函數(shù)進(jìn)行邊緣檢測。使用Sobel 算子后，干擾信息減少，車牌字符邊緣信息明顯，為車牌定位后續(xù)工作提供高質(zhì)量的前期圖像[10]。Sobel 邊緣檢測效果圖如圖4 所示。

圖4 Sobel 邊緣檢測效果圖Fig.4 Effect picture of Sobel edge detection

2.1.4 顏色定位

目前車牌識(shí)別系統(tǒng)圖像采集設(shè)備獲取圖片通常情況下具有較高的分辨率，為了降低算法計(jì)算模塊，加快處理速度，算法在顏色定位之前對(duì)圖片進(jìn)行抽稀運(yùn)算，以降低圖像分辨率，對(duì)圖像進(jìn)行預(yù)處理。本文采用邊緣信息與顏色特征結(jié)合的車牌定位方法，流程如圖5 所示。將圖像進(jìn)行由RGB 顏色空間到HSV 顏色空間轉(zhuǎn)換?；陬伾畔⒌亩ㄎ环椒ㄊ窍葯z測出藍(lán)色像素，再進(jìn)行后續(xù)操作。

圖5 邊緣信息與顏色信息結(jié)合的車牌定位流程Fig.5 License plate location process combining edge information and color information

2.1.5 圖像二值化

灰度圖像通常含有256 個(gè)灰度值，能良好地表現(xiàn)圖像的明暗程度，以便于更好地顯示車牌處理中所要求的目標(biāo)信號(hào)，因此一般把圖像分成2 個(gè)部分：目標(biāo)與背景，把目標(biāo)和背景分離，盡量避免背景圖像的影響，并保存好目標(biāo)信號(hào)。該圖像被轉(zhuǎn)換為只包含兩級(jí)灰色的黑白圖像，即0 和255，即二值圖像。

二值化也是最重要的圖像處理技術(shù)之一，常常被用作預(yù)處理。在車牌識(shí)別系統(tǒng)中，二值化后的像素集通常僅指像素值為0～255 之間的區(qū)域，而不需考慮多個(gè)像素值，從而簡化了處理，但同時(shí)二值化圖像還具有計(jì)算機(jī)內(nèi)存容量小、處理速度快的優(yōu)勢，因此能夠明顯提升處理效果。

二值化核心是選取合適的閾值T 來拆分目標(biāo)和背景，選擇合適的閾值T，將灰度圖像與之做比較，然后劃為兩部分[11]。二值化公式為

本設(shè)計(jì)應(yīng)用OpenCV 中cv2.threshold（）函數(shù)對(duì)車牌灰度圖像進(jìn)行二值化處理。二值化效果圖如圖6 所示。

圖6 二值化效果圖Fig.6 Rendering of binarization

2.1.6 形態(tài)學(xué)處理

腐蝕和膨脹是形態(tài)學(xué)處理中最基本的過程。對(duì)于腐蝕操作，假定每個(gè)站點(diǎn)的矩形鄰域的最小值是該位置的灰色輸出值。鄰近區(qū)域可以是矩形結(jié)構(gòu)、橢圓結(jié)構(gòu)、十字形結(jié)構(gòu)等。這個(gè)結(jié)構(gòu)被定義為一個(gè)元素的結(jié)構(gòu)，它實(shí)際上是一個(gè)01 二進(jìn)制矩陣，“與”和“或”的邏輯操作結(jié)果。使用腐蝕操作后，邊緣界限會(huì)變小，像素帶也會(huì)變窄，從而將極小的像素塊抹除，全部腐蝕掉。使用膨脹操作后，圖片當(dāng)中物體的界限會(huì)向外擴(kuò)張，即使該物體的邊緣界限存在缺損，這些缺損的邊界部分也會(huì)被像素補(bǔ)充。本文用OpenCV 中cv2.getStructuringElement（）函數(shù)獲取結(jié)構(gòu)化元素、cv2.morphologyEx（）函數(shù)進(jìn)行各類形態(tài)學(xué)的變化、cv2.dilate（）函數(shù)對(duì)圖像進(jìn)行膨脹、cv2.erode（）函數(shù)對(duì)圖像進(jìn)行腐蝕，最后獲得車牌區(qū)域。經(jīng)過形態(tài)學(xué)處理效果圖如圖7 所示。

圖7 形態(tài)學(xué)處理效果圖Fig.7 Effect picture of morphology processing

2.2 車牌定位

圖片在經(jīng)車牌圖像預(yù)處理后已達(dá)到了矩形檢查的條件，即可通過OpenCV 庫中cv2.findContours（）函數(shù)對(duì)圖像進(jìn)行矩形檢測[12]。在圖片中還可以包含幾個(gè)矩形區(qū)域，為提升車牌號(hào)檢測效果，在本文中首先設(shè)定好適合于車牌號(hào)尺寸的候選區(qū)域，根據(jù)國家規(guī)定的車牌尺寸將候選區(qū)域的寬高比設(shè)置在3.0～3.5 之間，能夠保證框選區(qū)域有車牌信息，還能去除無效區(qū)域。識(shí)別到車牌區(qū)域時(shí)將其提取出來，如圖8 所示。

圖8 車牌定位圖Fig.8 Location map of license plate

2.3 傾斜校正

把車牌定位出來后，然后對(duì)車牌水平矯正。在OpenCV 中，可以使用函數(shù)HoughLines 來調(diào)用標(biāo)準(zhǔn)的HougLine 轉(zhuǎn)換和多尺度的HoughLine 轉(zhuǎn)換。HoughL-inesP 函數(shù)用于調(diào)用累積概率HoughLine 轉(zhuǎn)換[13]。二維坐標(biāo)軸上表示一條直線的方程公式為

因此想求出一條直線就需求出a 和b 的參數(shù)值。

極坐標(biāo)公式為

這2 個(gè)參數(shù)同時(shí)也是表示一個(gè)直線的關(guān)鍵參數(shù)，確定了這2 個(gè)參數(shù)就能夠判斷一條直線。OpenCV中調(diào)用霍夫線性變換，就可獲得這2 個(gè)參數(shù)值。

通過Hough 變換提取邊框，可以確定所拍到的車牌傾斜角，接著再利用空間轉(zhuǎn)換技術(shù)，對(duì)圖片進(jìn)行翻轉(zhuǎn)，算出號(hào)牌上所有字符在連通區(qū)域的中心點(diǎn)，然后通過將之?dāng)M合，從而得出號(hào)牌的最大傾斜角，然后通過計(jì)算車牌字符的局部極小和極大特征點(diǎn)，之后投影確認(rèn)號(hào)牌傾斜角，然后通過旋轉(zhuǎn)得到經(jīng)過校正后圖形[14]。

2.4 車牌字符分割

對(duì)提取到的車牌號(hào)圖像再進(jìn)行灰度值處理、閾值化處理獲得二值圖，如圖9 所示。然后查找二值化車牌號(hào)的輪廓，將所有輪廓逐一使用cv2.boundingRect（）函數(shù)獲得圖像的最小矩形邊框里的信息，把車牌號(hào)信息進(jìn)行排序，最后顯示出車牌字符分割圖，如圖10 所示。

圖9 車牌二值圖Fig.9 Binary diagram of license plate

圖10 車牌字符分割圖像Fig.10 Character segmentation image of license plate

2.5 車牌字符識(shí)別

由于車牌的第一字符是以中文顯示省份，第二字符是英文字符，而其他字符是以英文和數(shù)字混合匹配的，于是第一字符選擇獲得車牌字符模板中的中文模板列表進(jìn)行匹配，第二字符選擇獲得車牌字符模板中的英文模板進(jìn)行匹配，而其余字符選擇獲得車牌字符模板中的英文和數(shù)字模板列表進(jìn)行匹配[15]，讀取模板的地址與圖片進(jìn)行匹配，將模板進(jìn)行格式化轉(zhuǎn)換、模板圖像閾值化處理、獲得待檢測圖片的尺寸、將模板調(diào)整為與圖像一樣大小最后進(jìn)行模板匹配，讀取車牌號(hào)。

3 車牌識(shí)別結(jié)果

3.1 選圖識(shí)別

樹莓派運(yùn)行程序后，出現(xiàn)GUI 界面，按下選圖識(shí)別按鈕，可以在樹莓派文件夾里選擇車輛圖片進(jìn)行識(shí)別車牌號(hào)，該程序能夠識(shí)別jpg，gif，png 類型的圖片，識(shí)別到車牌號(hào)時(shí)按鈕文字變成“再來一張唄”，并在車牌號(hào)信息欄顯示，識(shí)別到的車牌號(hào)如圖11 所示。

圖11 選圖識(shí)別結(jié)果Fig.11 Recognition results of map selection

3.2 攝像頭識(shí)別

樹莓派運(yùn)行程序后，出現(xiàn)GUI 界面，按下攝像頭識(shí)別按鈕后，會(huì)檢查樹莓派是否連接到攝像頭，如果沒有連接到攝像頭，就會(huì)顯示請(qǐng)檢查是否連接到攝像頭，打開攝像頭后定時(shí)器啟動(dòng)，然后定時(shí)器開始計(jì)時(shí)30 ms，結(jié)果是每過30 ms 從攝像頭讀取一幀顯示，當(dāng)攝像頭捕捉到車輛時(shí)會(huì)對(duì)車牌進(jìn)行識(shí)別，并顯示車牌信息，如圖12 所示。最后并將識(shí)別到的車牌號(hào)存入數(shù)據(jù)庫。

圖12 攝像頭識(shí)別結(jié)果Fig.12 Results of camera identification

本設(shè)計(jì)對(duì)90 張車牌圖片進(jìn)行測試，測試效果比較精準(zhǔn)，出現(xiàn)2 張車牌號(hào)無法識(shí)別，準(zhǔn)確率可達(dá)98%，原因是該車牌號(hào)不是很清晰，由于攝像頭像素不高導(dǎo)致，今后可以通過更換高清攝像頭來解決該問題。

4 結(jié)語

現(xiàn)如今，車牌識(shí)別在生活中的應(yīng)用已經(jīng)十分廣泛，隨著城市汽車數(shù)量的增長，高速路收費(fèi)口、小區(qū)停車場對(duì)車牌識(shí)別需求越來越高。本文成功開發(fā)了一套基于樹莓派的智能車牌識(shí)別系統(tǒng)，樹莓派對(duì)汽車照片進(jìn)行圖像預(yù)處理、定位車牌位置、提取車牌、車牌字符分割、傾斜校正、字符模板識(shí)別等一系列操作，最后將識(shí)別到的車牌號(hào)顯示在屏幕的GUI 界面上。通過運(yùn)行測試，車牌識(shí)別準(zhǔn)確率高達(dá)98%，識(shí)別時(shí)間較短，成本低，具有很好的發(fā)展前景。