基于卷積神經(jīng)網(wǎng)絡(luò)的復(fù)雜環(huán)境車牌快速識(shí)別方法

張曉瑞

（安徽三聯(lián)學(xué)院 電子電氣工程學(xué)院，安徽 合肥 230601）

如今，汽車已走進(jìn)千家萬戶，極大地方便了人們的出行。但隨著道路上車輛的急劇增加，對交通秩序的影響也越來越嚴(yán)重[1]。近年來，交通智能化的興起有望成為緩解城市交通擁堵、降低交通事故發(fā)生率的重要手段。車牌識(shí)別技術(shù)是智能交通領(lǐng)域的關(guān)鍵技術(shù)，一般通過圖像、視頻等識(shí)別手段對車牌進(jìn)行識(shí)別，將獲取的信息反饋到其他系統(tǒng)，由其他系統(tǒng)進(jìn)行處理[2]。該技術(shù)已廣泛應(yīng)用在停車場自動(dòng)收費(fèi)系統(tǒng)、道路監(jiān)控系統(tǒng)、電子警察系統(tǒng)中。

由于車牌識(shí)別技術(shù)廣闊的應(yīng)用前景，因而受到研究者的關(guān)注[3]。王晗等人[4]利用模板概率密度函數(shù)設(shè)計(jì)了一種車牌定位方法，能利用特征點(diǎn)的空間分布及色彩信息，迅速地判斷出牌照的候選區(qū)域；根據(jù)中國標(biāo)準(zhǔn)汽車牌照的結(jié)構(gòu)特點(diǎn)和幾何特征，構(gòu)造出一套標(biāo)準(zhǔn)牌照的相似性概率密度函數(shù)，并對候選牌照進(jìn)行比較，從而達(dá)到準(zhǔn)確定位的目的。雖然該方法可以滿足車牌定位的需求，但是在雨天、夜間等環(huán)境下的檢測性能還有待提升。張世豪等人[5]在多尺度注意力融合的基礎(chǔ)上，提出了一個(gè)車牌檢測網(wǎng)絡(luò)模型，將三角網(wǎng)格的特征圖與CBAM注意結(jié)構(gòu)相結(jié)合，能在復(fù)雜背景下對車牌的邊緣進(jìn)行檢測與定位，為提高車牌識(shí)別的精度提供了依據(jù)；在試驗(yàn)中，他們利用數(shù)據(jù)增強(qiáng)技術(shù)對數(shù)據(jù)集進(jìn)行了擴(kuò)展，很好地解決了復(fù)雜背景下的車牌識(shí)別率低的問題。但是，該方法檢測小目標(biāo)車牌的精度也僅為92.17%，檢測精度較低。本文利用卷積神經(jīng)網(wǎng)絡(luò)，設(shè)計(jì)了一種復(fù)雜環(huán)境中車牌快速識(shí)別的方法，可以較好地解決現(xiàn)有車牌識(shí)別方法不足的問題，提高復(fù)雜環(huán)境下車牌識(shí)別的準(zhǔn)確率。

1 復(fù)雜環(huán)境車牌快速識(shí)別方法設(shè)計(jì)

1.1 復(fù)雜環(huán)境車牌的定位

在復(fù)雜環(huán)境中識(shí)別車牌圖像時(shí)，先對車牌圖像進(jìn)行定位，提取車牌圖像的邊緣特征[6]。假設(shè)待定位的車牌圖像為J，其像素為i×j，那么可利用公式（1）提取車牌圖像的邊緣特征，即：

其中，A*表示初始輸入圖像J的邊緣映射圖像，q(J)表示圖像映射函數(shù)，θ表示車牌圖像的傾斜角度。

車輛行駛過程中，攝像頭拍攝到的車牌圖像會(huì)存在一定的傾斜[7]。為了保證車牌識(shí)別的精度，需將攝像頭抓拍到的車牌圖像進(jìn)行像素塊分割，利用多個(gè)圖像區(qū)域校正傾斜的車牌圖像，從而提高車牌識(shí)別的準(zhǔn)確性。校正公式為：

其中，Y(∞)表示車牌圖像邊緣特征的提取結(jié)果。

由于原始車牌圖像采用高清攝像機(jī)拍攝，隨機(jī)噪聲較小[8]，因此可針對待定位的車牌圖像，利用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行卷積操作，即給每一塊像素分配一個(gè)權(quán)重，進(jìn)行線性運(yùn)算[9]。運(yùn)算過程為：

其中，H(J)表示經(jīng)過灰度化處理的車牌圖像，?表示卷積神經(jīng)網(wǎng)絡(luò)的卷積層，c表示卷積神經(jīng)網(wǎng)絡(luò)的池化層，K(J)表示原始車牌圖像，N表示車牌圖像的像素點(diǎn)數(shù)量，E(J)表示含有噪聲的車牌圖像。

在此基礎(chǔ)上，選取特定數(shù)目的車牌圖像，加入后續(xù)的卷積神經(jīng)網(wǎng)絡(luò)，再運(yùn)用損失函數(shù)，對車牌圖像進(jìn)行尺度變異系數(shù)的預(yù)估，運(yùn)算過程為：

其中，loss為損失函數(shù)表達(dá)式，ti*為車牌圖像的線性表示，φ表示尺寸變化因子，W*表示卷積神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)參數(shù)。

對于提取出的車牌圖像特征，在水平方向進(jìn)行一階差分變換[10]，處理過程為：

其中，a表示車牌圖像的高度，b表示車牌圖像的寬度。將一階差分后的車牌圖像g(a,b)在灰度大小上，沿水平方向累加后得到平滑車牌圖像T(a)為：

根據(jù)車牌圖像的一階差分變換，得到復(fù)雜環(huán)境中車牌的位置信息，表示為：

其中，ui,j表示輸入初始圖像J中第(a,b)像素的值。

根據(jù)車牌圖像的邊緣特征，使用卷積神經(jīng)網(wǎng)絡(luò)對圖像進(jìn)行灰度化處理；再利用損失函數(shù)，預(yù)測車牌圖像的尺度變化因子，從而得到復(fù)雜環(huán)境下車牌圖像的位置信息。

1.2 復(fù)雜環(huán)境車牌圖像的預(yù)處理

由于交通道路抓拍系統(tǒng)采集到的車牌圖像往往存在一些噪聲，因此需要進(jìn)行相應(yīng)的預(yù)處理。為了增強(qiáng)復(fù)雜環(huán)境中車牌圖像的清晰度，采用非線性指數(shù)的方法對復(fù)雜環(huán)境中的車牌圖像進(jìn)行變換操作[11]，從而使車牌圖像變得更加清晰。在此基礎(chǔ)上，對復(fù)雜環(huán)境中的車牌圖像進(jìn)行非線性灰度變換，所運(yùn)用的公式為：

其中，ξc[f(a,b)]表示非線性灰度變換，h(a,b)表示車牌圖像在變換中的映射函數(shù)，f(a,b)表示車牌圖像變換的灰度函數(shù)，ξ表示灰度變換字符，a表示指數(shù)變換系數(shù)，b表示對數(shù)變換系數(shù)。非線性變換是采用非線性的方式對復(fù)雜環(huán)境中的車牌圖像進(jìn)行指數(shù)變換，在一定程度上拉長了車牌圖像的灰度區(qū)域，使車牌圖像的灰度反差更加明顯[12]。通過改變車牌原圖像的灰度，提高了復(fù)雜環(huán)境中車牌圖像的清晰度。

為了防止噪音對車牌圖像產(chǎn)生干擾，在車牌圖像的時(shí)域中計(jì)算RGB像素顏色的平均值[13]，將其作為每一個(gè)車牌圖像塊的平均像素值，具體表達(dá)式為：

式中，m表示車牌圖像的像素色彩因子，n表示車牌圖像的像素灰度因子，M表示車牌圖像時(shí)域內(nèi)的無限顏色像素值，r(m,n)表示車牌圖像m和車牌圖像n之間顏色像素值的平均值，g(m,n)表示像素值計(jì)算的二維連續(xù)函數(shù)。

為了保證車牌識(shí)別過程中的識(shí)別效率，將RGB彩色車牌圖像轉(zhuǎn)換為單通道的灰度圖像，進(jìn)行灰度化處理。灰度化的過程就是將每個(gè)像素點(diǎn)的RGB值統(tǒng)一成同一個(gè)值。灰度化后的圖像將由三通道變?yōu)閱瓮ǖ?，以便在進(jìn)行單通道的數(shù)據(jù)處理時(shí)降低處理難度。通過車牌圖像的灰度轉(zhuǎn)換，將彩色的車牌圖像按照一定比例分割，對其進(jìn)行求和計(jì)算得出灰度值，計(jì)算過程見式（10）：

其中，V(i,j)為車牌圖像的灰度值，R(i,j)、G(i,j)、G(i,j)分別為彩色圖像對應(yīng)像素位置上紅、綠、藍(lán)三個(gè)通道的分量值，(i,j)為圖像上第i行第j列的位置。

根據(jù)公式（10）的計(jì)算，采用圖像增強(qiáng)算法對復(fù)雜環(huán)境中的車牌圖像進(jìn)行增強(qiáng)處理，具體步驟為：

Step1：移動(dòng)車牌圖像識(shí)別模板，使待處理的車牌圖像像素與模板中心重合；

Step2：求出模板系數(shù)與各像素點(diǎn)的相乘總和；

Step3：將上述乘積總和作為當(dāng)前處理像素的最終像素值。

通過車牌圖像的非線性灰度變換，計(jì)算出車牌圖像的灰度值；結(jié)合增強(qiáng)處理，完成了復(fù)雜環(huán)境車牌圖像的預(yù)處理。

1.3 復(fù)雜環(huán)境車牌識(shí)別算法的設(shè)計(jì)

在設(shè)計(jì)復(fù)雜環(huán)境車牌識(shí)別算法時(shí)，以復(fù)雜環(huán)境中車牌的位置為依據(jù)[14]，利用公式（11）建立車牌圖像的HIS模型，表示為：

其中，H表示車牌圖像的色調(diào)因子，S表示車牌圖像的飽和度，I表示車牌圖像的強(qiáng)度。

在車牌圖像的HIS模型基礎(chǔ)上，定義了復(fù)雜環(huán)境車牌圖像的隸屬度函數(shù)[15]，獲取了車牌圖像邊緣的紋理特征，見式（12）：

其中，fj表示復(fù)雜環(huán)境車牌圖像區(qū)域j的紋理特征向量，fn表示復(fù)雜環(huán)境車牌圖像區(qū)域n的紋理特征向量，e表示fj與fn之間的歐式距離，σ表示所有車牌圖像紋理特征之間的距離。

根據(jù)車牌圖像的紋理特征，計(jì)算出不同區(qū)域車牌圖像的形狀特征，計(jì)算公式為：

其中，fjk、fjv表示車牌圖像區(qū)域內(nèi)形狀特征的橫縱坐標(biāo)值?表示形狀特征的橫縱坐標(biāo)值。

根據(jù)不同區(qū)域車牌圖像的形狀特征，對比復(fù)雜環(huán)境中車牌圖像的邊緣特征相似度，即：

式中，Pr(rk)表示車牌圖像形狀特征的評價(jià)集合，L表示車牌圖像邊緣的特征數(shù)量。

綜上所述，以復(fù)雜環(huán)境中車牌的位置為依據(jù)，建立了車牌圖像的HIS模型；通過定義復(fù)雜環(huán)境車牌圖像的隸屬度函數(shù)，獲取了車牌圖像邊緣的紋理特征；根據(jù)不同區(qū)域車牌圖像的形狀特征，對比了復(fù)雜環(huán)境中車牌圖像的邊緣特征相似度，完成了復(fù)雜環(huán)境車牌識(shí)別算法的設(shè)計(jì)，實(shí)現(xiàn)了復(fù)雜 環(huán)境車牌的快速識(shí)別。

2 實(shí)驗(yàn)分析

2.1 實(shí)驗(yàn)數(shù)據(jù)集

實(shí)驗(yàn)過程中，選擇合肥市道路交通部門發(fā)布的MIDD數(shù)據(jù)集。MIDD數(shù)據(jù)集一共包含30萬份車牌樣本數(shù)據(jù)，其中包括很多霧霾、雨天、強(qiáng)光、夜晚等復(fù)雜環(huán)境下的車牌樣本。在MIDD數(shù)據(jù)集中，很多車牌樣本數(shù)據(jù)會(huì)受到噪聲影響，導(dǎo)致車牌圖像更加模糊。MIDD數(shù)據(jù)集的樣本分布情況如表1所示。

表1 MIDD數(shù)據(jù)集

2.2 實(shí)驗(yàn)環(huán)境

為了驗(yàn)證基于卷積神經(jīng)網(wǎng)絡(luò)的復(fù)雜環(huán)境車牌快速識(shí)別方法在實(shí)際應(yīng)用中的效果和性能，實(shí)驗(yàn)所使用的計(jì)算機(jī)環(huán)境配置為Windows7操作系統(tǒng)；在CPU的選型上，選擇GTX 1080Ti的顯卡；內(nèi)存選擇32 GB的超大內(nèi)存；車牌圖像識(shí)別的編程語言為MATLAB。其中，卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練參數(shù)為：初始學(xué)習(xí)率0.01，動(dòng)量0.85。

實(shí)驗(yàn)圖像數(shù)據(jù)由安徽省合肥市20個(gè)小區(qū)停車場進(jìn)出口攝像頭抓拍的圖像組成，圖像數(shù)量為2 100張，分辨率為1 920×1 080。由于本文主要針對復(fù)雜環(huán)境條件下的車牌檢測，因此圖像數(shù)據(jù)采集的環(huán)境主要為雨天環(huán)境、夜間環(huán)境與強(qiáng)光環(huán)境，每種環(huán)境下圖像為700張。對卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行500次循環(huán)訓(xùn)練，其識(shí)別誤差收斂于0.068 5。卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程的部分偽代碼如圖1所示。

圖1 卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練代碼

2.3 效果測試

采用本文提出的基于卷積神經(jīng)網(wǎng)絡(luò)的復(fù)雜環(huán)境車牌快速識(shí)別方法，對上述圖像數(shù)據(jù)進(jìn)行車牌識(shí)別檢測，識(shí)別效果如圖2所示。

圖2 識(shí)別效果

通過觀察圖2中不同環(huán)境下的車牌識(shí)別效果可以看出，在不同的行車環(huán)境下，基于卷積神經(jīng)網(wǎng)絡(luò)的復(fù)雜環(huán)境車牌快速識(shí)別方法能夠清晰地檢測到車牌字符，可以成功識(shí)別到車牌上的號(hào)碼。

2.4 對比測試

為了驗(yàn)證本文提出方法的優(yōu)越性能，選擇文獻(xiàn)[4]提出的基于模板概率密度函數(shù)的車牌定位方法與文獻(xiàn)[5]提出的輕量型多尺度注意力融合的車牌檢測算法作為對比方法，共同對復(fù)雜環(huán)境下的2 100張圖像進(jìn)行識(shí)別檢測；根據(jù)識(shí)別正確率的高低來判斷方法的實(shí)際應(yīng)用性能，識(shí)別正確率越高，說明該方法的識(shí)別精度越高，識(shí)別效果越好。測試結(jié)果如表2所示。從表2可以看出，本文方法的正確識(shí)別數(shù)量高于另外兩種方法，誤檢數(shù)量最低，識(shí)別準(zhǔn)確率最高。根據(jù)表2繪制三種方法的識(shí)別正確率對比圖，如圖3所示。

表2 不同算法復(fù)雜環(huán)境車牌識(shí)別正確率對比測試結(jié)果

圖3 三種方法識(shí)別正確率對比圖

通過圖3可以看出，在復(fù)雜環(huán)境下，三種方法均能保持95%以上的識(shí)別正確率?；谀０甯怕拭芏群瘮?shù)的車牌定位方法在雨天環(huán)境、夜間環(huán)境、強(qiáng)光環(huán)境條件下的識(shí)別正確率分別為96.43%、96.29%和95.57%；輕量型多尺度注意力融合的車牌檢測算法在雨天環(huán)境、夜間環(huán)境、強(qiáng)光環(huán)境條件下的識(shí)別正確率分別為97.71%、98.43%和96.29%；本文提出的基于卷積神經(jīng)網(wǎng)絡(luò)的復(fù)雜環(huán)境車牌快速識(shí)別方法在雨天環(huán)境、夜間環(huán)境、強(qiáng)光環(huán)境條件下的識(shí)別正確率分別為99.71%、100%和99.71%，明顯高于另外兩種方法，充分說明本文方法具有較高的車牌識(shí)別精度，更適合應(yīng)用于復(fù)雜環(huán)境下的車牌識(shí)別。

3 結(jié)語

本文通過卷積神經(jīng)網(wǎng)絡(luò)校正車牌圖像，對圖像進(jìn)行處理，獲取車牌圖像紋理特征，實(shí)現(xiàn)雨天環(huán)境、夜間環(huán)境和強(qiáng)光環(huán)境下的車牌識(shí)別，能夠解決傳統(tǒng)車牌識(shí)別方法在復(fù)雜環(huán)境下識(shí)別效果不佳的問題。通過測試證明，應(yīng)用本文設(shè)計(jì)方法在復(fù)雜環(huán)境下對車牌的識(shí)別正確率始終保持在99%以上，識(shí)別精度較高。因受時(shí)間限制，本文未能對有污損的車牌展開識(shí)別研究。后續(xù)可結(jié)合字符模板匹配方法，對字母數(shù)字有污損的車牌進(jìn)行有效識(shí)別，進(jìn)一步提高多種環(huán)境下車牌的識(shí)別效果。