多霧霾天氣車牌識(shí)別系統(tǒng)圖像預(yù)處理算法

張　濤， 王劍魁， 張國(guó)山， 邴志剛， 劉　麗

(1.天津大學(xué) 電氣與自動(dòng)化工程學(xué)院， 天津 300072；

2.天津信息感知與智能控制重點(diǎn)實(shí)驗(yàn)室， 天津 300222)

多霧霾天氣車牌識(shí)別系統(tǒng)圖像預(yù)處理算法

張濤1， 王劍魁1， 張國(guó)山1， 邴志剛2， 劉麗1

(1.天津大學(xué) 電氣與自動(dòng)化工程學(xué)院， 天津 300072；

2.天津信息感知與智能控制重點(diǎn)實(shí)驗(yàn)室， 天津 300222)

摘要：為提高車牌識(shí)別系統(tǒng)在霧霾環(huán)境下識(shí)別車牌的準(zhǔn)確性，提出了一種新的圖像預(yù)處理算法.首先，用主成分分析(PCA)和Fisher線性判別分析(LDA)方法對(duì)車牌圖像進(jìn)行霧霾檢測(cè)；然后，用基于暗原色先驗(yàn)的方法對(duì)有霧圖像進(jìn)行去霧處理.仿真結(jié)果表明：該預(yù)處理算法不僅可以滿足車牌識(shí)別系統(tǒng)實(shí)時(shí)性要求，而且可以提高系統(tǒng)在霧霾環(huán)境下識(shí)別車牌的準(zhǔn)確性.

關(guān)鍵詞：霧霾檢測(cè)； 暗原色先驗(yàn)； 車牌識(shí)別； PCA； LDA

國(guó)家環(huán)保部發(fā)布的《2013中國(guó)環(huán)境狀況公報(bào)》[1]顯示2013年全國(guó)平均霧霾天數(shù)為35.9天，比上年增加了18.3天.霧霾天氣已經(jīng)嚴(yán)重影響了智能交通系統(tǒng)的許多環(huán)節(jié)，例如車牌識(shí)別，自動(dòng)駕駛，交通檢測(cè)等.現(xiàn)有的車牌識(shí)別系統(tǒng)在晴天識(shí)別車牌的性能已經(jīng)非常好[2-3]，但是在霧霾環(huán)境下的識(shí)別率往往較低，主要原因是霧霾天氣下拍攝的車牌圖像清晰度下降.針對(duì)這一情況，很多學(xué)者進(jìn)行了研究并提出來(lái)一些解決方法，例如：于明等[4]提出了一種自適應(yīng)的車牌定位算法，可以根據(jù)車牌圖像顏色和清晰度自動(dòng)調(diào)節(jié)圖像對(duì)比度.李新煜等[5]提出用直方圖均衡方法對(duì)圖像進(jìn)行復(fù)原修正，以消除天氣因素對(duì)車牌識(shí)別系統(tǒng)帶來(lái)的干擾.但是在實(shí)際生活中，霧霾天氣發(fā)生的概率只有10%左右，上述兩種方法對(duì)所有圖像進(jìn)行復(fù)雜的圖像增強(qiáng)處理，會(huì)增加車牌識(shí)別系統(tǒng)的識(shí)別時(shí)間，造成系統(tǒng)在晴天時(shí)效率下降.

圖像霧霾檢測(cè)可分為遙感圖像霧霾檢測(cè)和交通圖像霧霾檢測(cè).國(guó)內(nèi)研究遙感圖像霧霾檢測(cè)的學(xué)者比較多，但是還沒(méi)有學(xué)者提出交通圖像霧霾檢測(cè)算法.如果用遙感圖像霧霾檢測(cè)的方法來(lái)檢測(cè)地面拍攝的圖像，其效果往往較差.在國(guó)外有學(xué)者提出了一些關(guān)于交通圖像霧霾檢測(cè)的方法，例如：Roser等[6]提出了一種基于顏色和紋理特征的分類器，可以區(qū)分晴天拍攝的圖像和雨天拍攝的圖像；Bronte,Bergasa等[7]設(shè)計(jì)了一種基于計(jì)算機(jī)視覺的圖像處理系統(tǒng)，該系統(tǒng)可以區(qū)分有霧霾圖像和無(wú)霧霾圖像；Oliva等[8]提出了一種基于光譜特征的計(jì)算機(jī)模型，該模型可用于區(qū)分自然環(huán)境圖像和人工環(huán)境圖像、室內(nèi)圖像和室外圖像等.

為解決車牌識(shí)別系統(tǒng)在霧霾環(huán)境下準(zhǔn)確度低的問(wèn)題，本文提出一種新的預(yù)處理算法，即：先在很短時(shí)間內(nèi)對(duì)車牌圖像進(jìn)行霧霾檢測(cè)，然后只對(duì)有霧霾圖像進(jìn)行去霧處理.本文提取了車牌圖像的頻域信息作為特征點(diǎn)，并設(shè)計(jì)了一個(gè)基于主成分分析(PrincipalComponentAnalysis,PCA)和Fisher線型判別分析(LinearDiscriminantAnalysis,LDA)方法的分類器，該分類器可以快速準(zhǔn)確地檢測(cè)出車牌圖像是否是在霧霾天氣下拍攝，然后利用暗原色先驗(yàn)的方法對(duì)霧霾天氣下拍攝的車牌圖像進(jìn)行去霧處理.仿真結(jié)果顯示，本文霧霾檢測(cè)算法耗時(shí)只占去霧算法耗時(shí)的1/6左右，本文預(yù)處理算法在提高霧霾環(huán)境下車牌識(shí)別系統(tǒng)的準(zhǔn)確度的同時(shí)，基本不影響車牌識(shí)別系統(tǒng)在晴天的識(shí)別速度.

1算法設(shè)計(jì)

本文預(yù)處理算法分為霧霾檢測(cè)和圖像去霧兩部分，霧霾檢測(cè)是基于PCA和LDA的方法，圖像去霧采用基于暗原色先驗(yàn)的方法.

1.1PCA和LDA算法介紹

PCA算法可以把高維特征向量g投影到低維空間，而且保證投影后的特征向量可以最大程度保留原特征向量的個(gè)性信息[9].公式如式(1)所示.

(1)

(2)

LDA算法是一種樣本分類方法，該算法可以把樣本特征向量ω投影到一維方向上，對(duì)于每個(gè)特征向量ω可以得到一個(gè)標(biāo)量u，u定義如(3)所示.

(3)

式中d為投影方向，d的選取應(yīng)滿足投影后樣本類間聚合度與類內(nèi)聚合度之比最大，d的求解結(jié)果如式(4)所示[10].

(4)

1.2基于PCA和LDA的霧霾檢測(cè)

PCA和LDA方法常被用來(lái)做人臉圖像識(shí)別[11-12]，本文將該方法用于交通圖像霧霾檢測(cè).空氣中的霧霾會(huì)使物體邊界變得模糊，所以霧霾天氣下拍攝的圖像在頻域中低頻成分較多，而非霧霾天氣下拍攝的圖像含有更多的高頻成分，本文提取圖像的頻率特征，并設(shè)計(jì)分類器來(lái)區(qū)分有霧霾圖像和無(wú)霧霾圖像.具體步驟如下：

首先將圖像轉(zhuǎn)換為灰度圖像，并統(tǒng)一縮放為N0*N0像素大小，本算法取N0等于201.并用文獻(xiàn)[8]提出的方法對(duì)圖像進(jìn)行濾波處理，濾波公式見式(5).

(5)

式中： i(x,y)為縮放后圖像， g(x,y)為截止頻率為0.015*N的低通濾波器，h(x,y)=1-g(x,y).式(5)中分子為一高通濾波器，表示濾除平均強(qiáng)度后剩余的圖像部分；分母為高頻濾波器局部估計(jì)量.為消除圖像均質(zhì)區(qū)域中的噪聲，分母中引入常數(shù)ε，本算法取ε為10.該濾波器基本不改變圖像的光譜特性.

對(duì)i′(x,y)進(jìn)行二維傅里葉變換，結(jié)果用I表示.為減少頻譜能量漏能，在傅里葉變換前先用二維漢寧窗對(duì)原圖像進(jìn)行截?cái)?然后計(jì)算圖像的功率譜，功率譜的計(jì)算如式(6)所示.有霧圖像和無(wú)霧圖像的功率譜如圖1所示，由功率譜圖像可知，有霧霾圖像的頻譜集中在原點(diǎn)附近，即低頻分量較多，無(wú)霧霾圖像功率譜圖像較為分散.

(6)

圖1　有霧圖像和無(wú)霧圖像的功率譜

用Gabor濾波器組對(duì)Γ(fx,fy)進(jìn)行特征提取，Gabor濾波器的表達(dá)式如式(7)所示.

(7)

(8)

本算法訓(xùn)練樣本容量為200，其中有霧霾圖像和無(wú)霧霾圖像各占一半.根據(jù)PCA方法對(duì)樣本的特征向量g進(jìn)行降維，得到N維樣本特征向量ω，本算法仿真得到的N為11.然后根據(jù)LDA方法對(duì)ω投影得到一個(gè)標(biāo)量u.求得樣本的判別值u如圖2所示.取合適的閾值u0，使?jié)M足樣本識(shí)別準(zhǔn)確率最高，本算法仿真得到的u0為1.3446.

圖2　樣本訓(xùn)練結(jié)果

樣本訓(xùn)練完之后，對(duì)于一幅待識(shí)別圖像進(jìn)行霧霾檢測(cè)步驟如下：(1)把待識(shí)別圖像轉(zhuǎn)換為灰度圖像，并縮放為N0＊N0像素大??；(2)求步驟(1)處理后圖像的功率譜；(3)用Gabor濾波器組計(jì)算待識(shí)別圖像的特征向量g;(4)由式(1)計(jì)算其降維后的特征向量ω;(5)由式(3)計(jì)算其判別值u，如果u≥u0則認(rèn)為其為有霧霾圖像，否則認(rèn)為其為無(wú)霧霾圖像.

1.3基于暗原色先驗(yàn)去霧

接下來(lái)采用文獻(xiàn)[13]提出的暗原色先驗(yàn)的方法對(duì)有霧霾圖像進(jìn)行去霧處理.

由McCartney在1975年提出的大氣散射模型[14]可得霧天拍攝到的圖像可表示為：

I(x)=J(x)t(x)+A(1-t(x))

(9)

式中：I為拍攝到的圖像，J為景物原始圖像，即待恢復(fù)的無(wú)霧霾圖像，A表示大氣光成分，t(x)表示圖像中x點(diǎn)的透射率.式中J(x)t(x)為景物經(jīng)過(guò)衰減后到達(dá)攝像機(jī)的部分，A(1-t(x))為大氣光經(jīng)過(guò)反射后到達(dá)攝像機(jī)的部分.

對(duì)于一幅圖像J，定義其暗通道圖像Jdark為：

(10)

(11)

由式(9)和(11)可得待恢復(fù)無(wú)霧霾圖像J為：

(12)

式中大氣光A可由霧霾圖像I的暗通道圖像估算得到.計(jì)算暗通道圖像中亮度最高的前0.2%的像素點(diǎn)所在的位置，分別取圖像I在這些位置上R、G、B通道的最大值，即可得到大氣光A的估計(jì)值.為防止透射率等于0，取透射率為max(t(x),t0),t0常取0.1.

上述方法求得的透射率t(x)有明顯的塊效應(yīng)，會(huì)導(dǎo)致去霧結(jié)果中物體邊沿模糊，文獻(xiàn)[13]中采用軟摳圖方法對(duì)透射率進(jìn)行修正，本文用引導(dǎo)濾波器[15]提出的引導(dǎo)濾波器對(duì)透射率進(jìn)行修正.引導(dǎo)濾波器是一種邊緣保留的平滑算子，在濾波的同時(shí)可清晰保留原圖像的邊緣信息，濾波公式見式(13).

(13)

式中p為輸入圖像；I為引導(dǎo)圖像，本文以原輸入圖像I作為引導(dǎo)圖像；q為濾波器的輸出圖像；Wij(I)為該濾波器的核函數(shù)，如式(14)所示.

(14)

2仿真結(jié)果

國(guó)內(nèi)外研究交通圖像霧霾檢測(cè)的學(xué)者較少，也沒(méi)有公開的圖像庫(kù)進(jìn)行對(duì)比，因此，本文在百度圖片庫(kù)中隨機(jī)下載了300張有霧霾圖像和300張無(wú)霧霾圖像，并按本文方法對(duì)其進(jìn)行霧霾檢測(cè)，檢測(cè)結(jié)果如圖3所示.其中有霧霾圖像檢測(cè)準(zhǔn)確率為96%.無(wú)霧霾圖像檢測(cè)準(zhǔn)確率為93.3%，平均準(zhǔn)確率為94.7%.與文獻(xiàn)[7]的方法準(zhǔn)確率對(duì)比見表1.

圖3　霧霾檢測(cè)結(jié)果

項(xiàng)目本文方法文獻(xiàn)[7]中方法有霧霾圖像0.960.813無(wú)霧霾圖像0.9330.881霧霾檢測(cè)平均值0.9470.847

本文去霧算法處理結(jié)果如圖4、圖5、圖6和圖7所示.其中圖4、圖6為輸入的有霧霾圖像，圖5、圖7為對(duì)應(yīng)的去霧后結(jié)果.

圖4　有霧車牌圖像Ⅰ

圖5　有霧車牌圖像Ⅰ去霧結(jié)果

圖6　有霧車牌圖像Ⅱ

圖7　有霧車牌圖像Ⅱ去霧結(jié)果

車牌識(shí)別系統(tǒng)分為車牌定位、字符分割和字符識(shí)別3部分，車牌定位是字符分割和識(shí)別的基礎(chǔ)，提高車牌定位準(zhǔn)確度是提高車牌識(shí)別系統(tǒng)效率的基礎(chǔ).接下來(lái)以待識(shí)別圖像中車牌定位結(jié)果為依據(jù)來(lái)對(duì)本預(yù)處理算法的可行性進(jìn)行說(shuō)明.本文采用邊沿檢測(cè)和數(shù)學(xué)形態(tài)學(xué)方法[16]進(jìn)行車牌定位，直接對(duì)圖4和圖6進(jìn)行車牌定位，均不能定位到車牌圖像；對(duì)去霧處理后的圖5和圖7進(jìn)行車牌定位，可以定位到車牌圖像，去霧后圖像車牌定位結(jié)果如圖8所示.

圖8 去除霧霾后圖像車牌定位結(jié)果

本文預(yù)處理算法在霧霾天氣和晴天的整體性能見表2和表3.其中，圖像Ⅰ、Ⅱ?yàn)樯衔奶嵋坏膬煞徐F霾圖像，圖像Ⅲ、Ⅳ為晴天環(huán)境下拍攝的無(wú)霧霾車牌圖像(本文略).目前車牌識(shí)別系統(tǒng)在Matlab平臺(tái)下識(shí)別一幅車牌圖像需要1~2s的時(shí)間[17-18]，所以本預(yù)處理算法在晴天對(duì)系統(tǒng)識(shí)別速度的影響基本可以忽略；而且本預(yù)處理算法可以提高系統(tǒng)在霧霾環(huán)境下定位車牌的準(zhǔn)確度.

表2　本預(yù)處理算法在霧霾天的整體性能

表3　本預(yù)處理算法在晴天的整體性能

3結(jié)束語(yǔ)

本文設(shè)計(jì)了一種新的車牌識(shí)別系統(tǒng)圖像預(yù)處理算法，首先根據(jù)PCA和LDA方法來(lái)區(qū)分有霧霾圖像和無(wú)霧霾圖像，然后根據(jù)暗原色先驗(yàn)的方法對(duì)有霧霾的車牌圖像進(jìn)行去霧處理.仿真結(jié)果表明，本預(yù)處理算法在晴天對(duì)車牌識(shí)別系統(tǒng)速度的影響基本可以忽略；而對(duì)于霧霾環(huán)境下的車牌圖像識(shí)別，本文預(yù)處理算法不僅能滿足實(shí)時(shí)性要求，而且可以顯著提高車牌定位的準(zhǔn)確性.

參考文獻(xiàn):

[1]國(guó)家環(huán)境保護(hù)部. 2013中國(guó)環(huán)境狀況公報(bào)[EB/OL].(2014-06-05).http://jcs.mep.gov.cn/hjzl/zkgb/2013zkgb/.

[2]尚趙偉,國(guó)慶,馬尚君,等.基于二進(jìn)小波變換的多車牌定位算法[J].計(jì)算機(jī)工程, 2011,37(3):16-18.

[3]王磊,王瀚漓,何良華. 基于雙邊緣檢測(cè)的車牌識(shí)別算法[J]. 計(jì)算機(jī)工程與應(yīng)用, 2013,49(8):169-173.

[4]于明,路倩倩,劉玉菲,等. 自適應(yīng)復(fù)雜天氣的車牌定位方法[J]. 計(jì)算機(jī)工程與科學(xué), 2014,36(2):292-297.

[5]李新煜,楊艷靜,舒暢. 復(fù)雜天氣條件下的車牌信息識(shí)別[J]. 電子科技, 2012,25(11):91-94.

[6]RoserM,MoosmannF.Classificationofweathersituationsonsinglecolorimages[C]//IEEEIntelligentTransportationSystemsSociety. 2008IEEEIntelligentVehiclesSymposium.PiscatawayAmerica:InstituteofElectricalandElectronicsEngineersInc, 2008:798-803.

[7]BronteS,BergasaLM,AlcantarillaPF.Fogdetectionsystembasedoncomputervisiontechniques[C]//IEEEIntelligentTransportationSystemsSociety. 2009 12thInternationalIEEEConferenceonIntelligentTransportationSystems.PiscatawayAmerica:InstituteofElectricalandElectronicsEngineersInc.， 2009:1-6.

[8]OlivaA,TorralbaA.Modelingtheshapeofthescene:Aholisticrepresentationofthespatialenvelope[J].Internationaljournalofcomputervision, 2001,42(3):145-175.

[9]蔣加伏,袁承偉. 融合PCA與LDA變換的仿生人臉識(shí)別研究[J]. 計(jì)算機(jī)工程與應(yīng)用, 2010,46(19):160-163.

[10]謝永林.LDA算法及其在人臉識(shí)別中的應(yīng)用[J]. 計(jì)算機(jī)工程與應(yīng)用, 2010,46(19):189-192.

[11]伊力哈木·亞爾買買提. 基于改進(jìn)型PCA和LDA融合算法的人臉圖像識(shí)別[J]. 計(jì)算機(jī)仿真, 2013,30(1):415-418，426.

[12]粟秀尹,曾慶寧,王曉燕. 基于PCA和LDA結(jié)合的人臉識(shí)別方法的比較研究[J]. 計(jì)算機(jī)工程與設(shè)計(jì), 2012,33(9):3574-3578.

[13]HeKM,SunJ,TangXO.Singleimagehazeremovalusingdarkchannelprior[J].IEEETransactionsonPatternAnalysisandMachineIntelligence, 2011,33(12):2341-2353.

[14]McCartneyEJ.Opticsoftheatmosphere:Scatteringbymoleculesandparticles[M].NewYork:JohnWileyandSons, 1976: 23-32.

[15]HeKM,SunJ,TangXO.Guidedimagefiltering[J].IEEETransactionsonPatternAnalysisandMachineIntelligence, 2013,35(6):1397-1409.

[16]焦蓬蓬,郭依正. 一種基于數(shù)學(xué)形態(tài)學(xué)的車牌定位與分割方法[J]. 自動(dòng)化技術(shù)與應(yīng)用,2013,32(6):57-59.

[17]向榮,周慧娟. 一種基于數(shù)字圖像處理的精確車牌識(shí)別系統(tǒng)[J]. 武漢理工大學(xué)學(xué)報(bào)：交通科學(xué)與工程版, 2013,37(1):213-215.

[18]王璐. 基于MATLAB的車牌識(shí)別系統(tǒng)研究[D]. 上海：上海交通大學(xué), 2009.

(編輯：姚佳良)

收稿日期：2014-07-16

基金項(xiàng)目：國(guó)家自然科學(xué)基金資助項(xiàng)目(61074088)

作者簡(jiǎn)介：張濤，男，zt19901990@163.com

文章編號(hào)：1672-6197(2015)01-0015-05

中圖分類號(hào)：TP391.41

文獻(xiàn)標(biāo)志碼：A

ImagepreprocessingalgorithmforLicensePlate
Recognitionsystemunderhighfrequentfoggyweather

ZHANGTao1,WANGJian-kui1,ZHANGGuo-shan1,BINGZhi-gang2,LIULi1

(1.SchoolofElectricalEngineeringandAutomation,TianjinUniversity,Tianjin300072，China;

2.TianjinKeyLaboratoryofInformationSensingandIntelligentControl,Tianjin300222，China)

Abstract:In order to improve the License Plate Recognition(LPR) system's accuracyin foggy conditions, a new preprocessing algorithm was proposed. Firstly, Principal Component Analysis (PCA)and Linear Discriminant Analysis (LDA) were used to detect the plate images whether they are foggy or not, then the Dark Channel Prior was used to remove the influence of fog and hazein the images which were distinguished to be foggy. The Simulation results showedthispreprocessing algorithmcan satisfy the real-time requirementof the LPR system and improve the accuracyof the LPR system.

Key words:fog detection; Dark Channel Prior; License Plate Recognition; PCA; LDA