惡劣天氣下的車牌信息識(shí)別

袁意映，劉進(jìn)鋒

（寧夏大學(xué)信息工程學(xué)院，銀川750021）

0 引言

隨著社會(huì)的發(fā)展，汽車數(shù)量激增，出現(xiàn)大量場(chǎng)合需要利用智能、高效的技術(shù)識(shí)別車輛牌照信息。對(duì)車輛牌照信息進(jìn)行自動(dòng)追蹤檢測(cè)是交通管理系統(tǒng)的關(guān)鍵一環(huán)。然而，天氣狀況對(duì)車牌信息識(shí)別系統(tǒng)影響較大，特別在霧霾等惡劣天氣下，大氣中存有懸浮顆粒和細(xì)小水滴等雜質(zhì)，使得大氣光散射，能見度降低，嚴(yán)重影響了監(jiān)控?cái)z像機(jī)拍攝的車輛圖像質(zhì)量。如圖1所示，車牌信息難以被有效地檢測(cè)或識(shí)別，因此識(shí)別前對(duì)圖像的預(yù)處理非常重要。本文使用Se Eun Kim提出的飽和度和白平衡的方法對(duì)有霧、粉塵圖像進(jìn)行預(yù)處理，并將處理后的清晰圖像進(jìn)行車牌定位、字符分割、字符識(shí)別等步驟。

圖1 采集到的車輛信息

1 去霧模塊

1.1 早期去霧方法

早期的去霧方法是基于多幅圖像或附加的信息。如基于極化的算法［1－3］可以提高模糊圖像的可見性，應(yīng)用于多個(gè)相似場(chǎng)景不同極化程度圖像的去霧處理。但在快速的場(chǎng)景變化中，很難找到同一場(chǎng)景下的最大和最小偏振度，因此，這些方法不適合進(jìn)行實(shí)時(shí)圖像恢復(fù)?；趫D像增強(qiáng)的去霧方法使用各種圖像處理技術(shù)來改善圖像的對(duì)比度和細(xì)節(jié)，例如基于直方圖的算法［4－5］和基于Retinex的算法［6－7］。然而利用圖像增強(qiáng)的去霧方法沒有考慮圖像退化情況，故這類算法不能達(dá)到令人滿意的結(jié)果。

1.2 基于大氣散射模型的去霧方法

目前，暗通道先驗(yàn)方法［8］在圖像去霧領(lǐng)域取得了一定成果，但該算法在圖像的亮度和飽和度方面處理效果不理想。針對(duì)暗通道先驗(yàn)方法的不足，L.Y.He等人［10］提出了一種利用飽和度和亮度進(jìn)行圖像去霧的透射估計(jì)方法。在該方法中，作者假設(shè)所有的大氣光都是相同的，并且局部圖像塊共享相同的傳輸圖，根據(jù)這些假設(shè)來計(jì)算初始傳輸圖。該算法需要進(jìn)一步細(xì)化處理才能更精確地估計(jì)傳輸圖像。本文采用Se Eun Kim提出的基于圖像飽和度的去霧估計(jì)方法［9］，介質(zhì)傳輸是在沒有任何先驗(yàn)的情況下逐像素得出的。在已知大氣光的假設(shè)下，本方法的傳輸僅通過飽和度函數(shù)計(jì)算得到，此外運(yùn)用一種基于白平衡的有效方法來去除由黃色或細(xì)塵埃產(chǎn)生的圖像中的彩色面紗。該方法速度快，不需要訓(xùn)練、先驗(yàn)和細(xì)化過程就能在圖像上產(chǎn)生明顯的去霧效果。

1.2.1 大氣散射模型

McCarney的大氣散射模型［12］如下：

等價(jià)變形為：

通過有霧圖H（x）得到目標(biāo)的無霧圖J（x），其中J（x），t（x）和A均未知。根據(jù)估算的透射圖和大氣光強(qiáng)，可以通過以下方式恢復(fù)場(chǎng)景輻射：D（·）為去霧函數(shù)。假設(shè)大氣光強(qiáng)和透射圖均已知，即可通過該函數(shù)得到J（x）。

1.2.2 暗通道算法

假設(shè)大氣光強(qiáng)A已知，用A歸一化式（2）得：

假設(shè)本地斑塊透射率不變，變形公式（4）得：

根據(jù)暗通道先驗(yàn)，J的暗通道近似于0，即：

假設(shè)每個(gè)像素的透射率不同，對(duì)公式（4）取最小值可得到：

1.3 本文方法

1.3.1 傳輸圖估計(jì)

本文使用一種新的去霧框架，用于估計(jì)沒有暗通道先驗(yàn)的逐像素傳輸圖，即基于飽和度的傳輸圖估計(jì)方法。令Sk（x）是給定圖像K（x）在位置x處的飽和度分量，其定義為：透射圖可通過歸一化場(chǎng)景輻射的強(qiáng)度和飽和度來確定。兩個(gè)未知數(shù)IJn（x）和SJn（x）用于估計(jì)t（x）。

1.3.2 估計(jì)場(chǎng)景輻射的飽和度

目的：估計(jì)SJn（x）

采用的方法：

步驟一：需要得到約束條件，即SJn（x）≥SHn（x）

步驟二：使用對(duì)比度拉伸的方法估計(jì)SJn（x）。有霧圖的飽和度小于清晰圖像的飽和度，本文通過將有霧圖的飽和度進(jìn)行拉伸得到清晰圖像的飽和度。其中涉及滿足約束條件的簡(jiǎn)單拉伸函數(shù)如下：

1.3.3 去除色彩偏差

有霧圖像是無霧圖像受到大氣光影響形成的。通常，假設(shè)三個(gè)通道大氣光照值近似相等，所以霧基本沒有色彩成分。但是，黃色的粉塵或某些光照條件下可能會(huì)讓圖像原本的顏色出現(xiàn)偏差。本文通過使用白平衡方法消除惡劣天氣條件中圖像彩色偏差的問題。采集大量霧霾揚(yáng)沙等天氣下的車輛圖像，使用灰度世界算法（Gray World Algorithm）得到白平衡處理的模糊圖像，并估計(jì)白平衡圖像的大氣光照值，然后比較這兩種圖像大氣光照值的差值。最后，可以采取對(duì)比度受限的自適應(yīng)直方圖均衡化來增強(qiáng)亮度分量。去黃效果如圖2所示。

圖2 去黃對(duì)比

1.4 去霧效果比較

暗通道先驗(yàn)方法通過假設(shè)透射率t（x）為常數(shù)，借助暗通道先驗(yàn)從有霧圖像中獲取大氣光照A的值，利用公式（1）進(jìn)行傳輸圖的估計(jì)。本文通過歸一化場(chǎng)景輻射的強(qiáng)度和飽和度來確定傳輸圖。與暗通道先驗(yàn)算法相比，本文的方法運(yùn)行速度快，對(duì)圖像去霧去黃處理后能夠得到清晰圖像，較好地還原車輛的顏色特征。如對(duì)比圖3、圖4所示，在去霧方面，本文基于圖像飽和度的傳輸圖估計(jì)法相比較于暗通道先驗(yàn)法去霧效果顯著，得到的圖像更清晰，圖像亮度和飽和度都有明顯的提升。在去黃方面，本文基于白平衡的方法在去黃效果上遠(yuǎn)好于暗通道先驗(yàn)方法。綜合車牌識(shí)別在惡劣天氣下的實(shí)際情況，本文運(yùn)用的方法在去霧去黃結(jié)果上都明顯優(yōu)于暗通道先驗(yàn)方法。

圖3 兩種方法去霧效果對(duì)比

圖4 兩種方法去黃效果對(duì)比

2 車牌定位

目前車牌定位的方法有很多，常見的車牌定位技術(shù)主要有基于邊緣檢測(cè)的方法、基于顏色分割的方法、基于小波變換的方法、基于遺傳算法的方法等。由于本文是在惡劣天氣條件下進(jìn)行的車牌定位的，因此對(duì)于車牌定位的方法與常見方法不同，本文引入根據(jù)車牌長(zhǎng)寬比的幾何特征和車牌顏色等先驗(yàn)知識(shí)輔助定位。

現(xiàn)今國(guó)內(nèi)車牌的長(zhǎng)寬大小具有統(tǒng)一性和標(biāo)準(zhǔn)化的特點(diǎn)，且車牌顏色普遍都是有黃、藍(lán)、綠三種顏色。故本文根據(jù)車牌底色及其長(zhǎng)寬比等先驗(yàn)知識(shí)這一幾何特征來提取車牌區(qū)域。

2.1 基于圖像幾何特征法

圖像邊緣整體形成的矩形區(qū)域，盡管可能有很多候選范圍，但車牌會(huì)在其中一個(gè)矩形區(qū)域中，故需要逐一排除不是車牌的矩形區(qū)域。由于長(zhǎng)寬比是統(tǒng)一的，具體要求矩形區(qū)域長(zhǎng)寬比在2到5.5之間，其余不在這一范圍內(nèi)的矩形即可排除。在實(shí)際查找圖像矩陣區(qū)域時(shí)，車輛照片中車牌位置的傾斜會(huì)影響矩陣區(qū)域的截取，同時(shí)截取后的車牌圖片存在傾斜為后續(xù)字符分割造成困難。本文用Radon算法［14］對(duì)截取的傾斜車牌進(jìn)行矯正。結(jié)果如圖5所示。

圖5 矯正前后對(duì)比

2.2 基于顏色信息法

使用顏色定位，對(duì)候選區(qū)域進(jìn)一步進(jìn)行排除，排除不是車牌的矩形。目前本系統(tǒng)只識(shí)別藍(lán)、綠、黃三種顏色的車牌。具體把目標(biāo)圖片先轉(zhuǎn)換到HSV顏色通道，黃綠藍(lán)三種顏色在HSV通道中所在的范圍都不同，黃色圖像H的范圍在（11，34）并且S＞34，綠色的圖像H的范圍在（35，99），S＞34，藍(lán)色圖像H的范圍在（99，124），S＞34。使用顏色再定位，縮小車牌非邊緣的邊界。為了進(jìn)一步減小噪聲對(duì)車牌檢測(cè)的影響，去除跟車牌不一致的背景區(qū)域同時(shí)輸出識(shí)別車牌的顏色，結(jié)果如圖6所示。

圖6 車牌顏色識(shí)別結(jié)果

3 字符分割及識(shí)別

3.1 車牌圖像預(yù)處理

邊緣指灰度逐步變化的一組像素。邊緣的兩側(cè)分別屬于兩個(gè)區(qū)域，每個(gè)區(qū)域的灰度是均勻的，但存在一定的差異。邊緣檢測(cè)的任務(wù)是準(zhǔn)確定位邊緣，抑制噪聲。檢測(cè)方法很多，如Roberts邊緣算子、Prewitt算子、Sobel算子等。這些方法都是利用目標(biāo)邊緣灰度變化較大的特點(diǎn)來檢測(cè)圖像的邊緣區(qū)域。Canny算子在圖像處理中，盡量保存圖像的實(shí)際邊緣。同時(shí)，Canny算子只對(duì)圖像的邊緣進(jìn)行一次標(biāo)記，大大降低了噪聲被標(biāo)記的幾率，使標(biāo)記的邊緣更接近對(duì)應(yīng)的邊緣，故本文采用Canny邊緣對(duì)截取的車牌區(qū)域進(jìn)行前期的預(yù)處理。處理后的車牌圖像能夠準(zhǔn)確、快速地識(shí)別車牌所含的有效信息。圖像預(yù)處理結(jié)果如圖7、圖8所示。

圖7 轉(zhuǎn)化為灰度圖像

圖8 Canny邊緣法處理結(jié)果

3.2 字符分割

車牌字符分割是對(duì)車牌定位的區(qū)域進(jìn)行分割，標(biāo)記篩選后得到的單個(gè)漢字、字母和數(shù)字等字符，分割結(jié)果如圖9。在字符分割階段，首先要查找目標(biāo)圖像的水平直方圖波峰，用來確定當(dāng)前圖片中車牌的主區(qū)域，主區(qū)域位于兩個(gè)波峰之間。然后查找垂直直方圖波峰，分割字符，每個(gè)字符都有對(duì)應(yīng)的波峰。根據(jù)查找的波峰，分割圖片，從而提取到單個(gè)字符的圖像，結(jié)果如圖10所示。

圖9 標(biāo)記篩選結(jié)果

圖10 提取得到單個(gè)字符

3.3 字符識(shí)別

目前，常用三種方法來提高字符識(shí)別的準(zhǔn)確率［15］：第一種是追求更好的分類識(shí)別算法；第二種是綜合多種分類方法，相互補(bǔ)充，并根據(jù)不同方面的特點(diǎn)進(jìn)行分類［16－17］；第三種是提取更具代表性的特征，并結(jié)合附加的輔助特征［18－19］。

本文采用支持向量機(jī)（SVM）模型來解決車牌字符識(shí)別的困難，屬于第一種方法。SVM能夠自行找到識(shí)別能力較強(qiáng)的支持向量，由SVM組成的分類器能夠最大化類間的空間，達(dá)到模式識(shí)別中正確識(shí)別類的目的，不僅發(fā)揮了其獨(dú)特的優(yōu)越性能，同時(shí)也體現(xiàn)了效率高、適應(yīng)性強(qiáng)的特點(diǎn)。

支持向量機(jī)屬于二分類的分類方法，但車牌的字符識(shí)別是針對(duì)多類別的分類問題，本文用逐一區(qū)分的方法［20］來解決這個(gè)問題。具體步驟是本文需要構(gòu)造三個(gè)SVM子分類器，對(duì)漢字集、字母集、數(shù)字集分別進(jìn)行訓(xùn)練和識(shí)別。數(shù)據(jù)集為開源數(shù)據(jù)集。識(shí)別結(jié)果如圖11所示。

圖11 字符識(shí)別

4 結(jié)語

本文對(duì)惡劣天氣下車牌信息的識(shí)別進(jìn)行了深入研究，特別針對(duì)霧霾、揚(yáng)沙天氣下車牌信息因圖像模糊、飽和度低而難以識(shí)別這一問題。本文利用圖像飽和度的估計(jì)介質(zhì)傳輸?shù)姆椒▽?shí)現(xiàn)有效的去霧，同時(shí)采用白平衡的方法消除黃色或細(xì)粉塵對(duì)圖像色彩造成的偏差來改進(jìn)圖像去霧去黃處理的效果，清晰還原了圖像，并進(jìn)行了后續(xù)車牌定位、字符識(shí)別和字符分割的過程。實(shí)驗(yàn)證明，本文采用的算法得到的圖像清晰，飽和度高，提高了在惡劣天氣下車牌識(shí)別的效率和準(zhǔn)確率。