基于深度學(xué)習(xí)的霧天車標(biāo)識別

曾珍，周欣，魏彪，楊映波

（四川大學(xué)計(jì)算機(jī)學(xué)院，成都 610065）

0 引言

隨著科學(xué)技術(shù)的飛速發(fā)展以及人們生活方式的不斷改變，汽車已經(jīng)成為了一種更為普遍的交通出行工具。然而，汽車的普及直接導(dǎo)致了交通事故發(fā)生率的提高。對于交通事故的處理通常離不開智能交通系統(tǒng)，而車標(biāo)識別作為智能交通系統(tǒng)中的一個(gè)重要部分，其準(zhǔn)確率至關(guān)重要。近些年來，由于環(huán)境污染的影響，室外攝像機(jī)采集到的圖像質(zhì)量嚴(yán)重下降，這極大地限制了車標(biāo)等關(guān)鍵信息的檢測識別。因此，霧霾天氣下車標(biāo)識別的研究成為了智能交通系統(tǒng)中的一個(gè)重要研究方向。

對于車標(biāo)識別而言，目前的研究較為成熟[1]，但還有所欠缺。傳統(tǒng)的研究方法主要分為車標(biāo)定位和車標(biāo)識別兩個(gè)部分，其中車標(biāo)定位主要是依據(jù)車標(biāo)與車牌之間的位置關(guān)系及先驗(yàn)知識來確定車標(biāo)的位置，而車標(biāo)識別則主要根據(jù)正負(fù)樣本提取的特征來進(jìn)行分類器的學(xué)習(xí)，從而根據(jù)分類器對測試圖片進(jìn)行分類識別。如王玫等提出的基于PCA和邊緣不變距的車標(biāo)識別[6]、楊飚等提出的基于HOG和ASIFT特征的車標(biāo)二次識別[7]、余燁等提出的前背景骨架區(qū)域隨機(jī)點(diǎn)對策略驅(qū)動(dòng)下的車標(biāo)識別[8]以及彭博等提出的基于深度學(xué)習(xí)的車標(biāo)識別[9]等，這些方法分別從不同的角度對車標(biāo)識別進(jìn)行了研究，但是均未考慮霧霾天氣情況。

由于使用非霧天圖片作為訓(xùn)練集訓(xùn)練得到的網(wǎng)絡(luò)模型，在檢測非霧天攝像機(jī)采集到的圖片時(shí)，其準(zhǔn)確率較高，而在檢測霧天攝像機(jī)采集到的圖片時(shí)，其準(zhǔn)確率嚴(yán)重下降。于是，本文提出了一種基于深度學(xué)習(xí)與圖像去霧相結(jié)合的方法。該方法在神經(jīng)網(wǎng)絡(luò)的卷積層之前加入圖像去霧功能，通過對圖片的清晰化處理提高圖片中的細(xì)節(jié)信息，從而提高車標(biāo)識別的準(zhǔn)確率以及智能交通系統(tǒng)的智能性，使其能夠在不同的天氣情況下均達(dá)到較好的識別效果。

1 改進(jìn)的Faster R-CNN

為了提高霧霾天車標(biāo)識別的準(zhǔn)確率，在傳統(tǒng)的Faster R-CNN[10]卷積層之前加入了圖像去霧算法，如圖1所示，通過對測試圖片的去霧處理實(shí)現(xiàn)圖像增強(qiáng)，突出圖片中的細(xì)節(jié)信息，從而提高車標(biāo)識別的準(zhǔn)確率。

1.1 圖像去霧

傳統(tǒng)的圖像去霧方法主要有以下幾種：直方圖均衡化算法、多尺度Retinex算法以及暗通道優(yōu)先算法。其中直方圖均衡化算法及多尺度Retinex算法是基于圖像處理的增強(qiáng)方法，而暗通道優(yōu)先算法則是基于物理模型的復(fù)原方法，其主要是從物理復(fù)原的角度對圖像進(jìn)行清晰化處理，關(guān)鍵在于建立準(zhǔn)確的物理模型，通過物理模型來實(shí)現(xiàn)圖像的復(fù)原。

在計(jì)算機(jī)視覺和計(jì)算機(jī)圖形中，霧圖形成模型通常表示如下：

（其中I(x)為待去霧圖像，J(x)為去霧后圖像，A為全球大氣光成分，t(x)為透射率）

所謂暗通道先驗(yàn)，即在絕大多數(shù)非天空的局部區(qū)域里，某一些像素總會有至少一個(gè)顏色通道具有很低的值[11]。因此，根據(jù)暗通道先驗(yàn)及暗通道的數(shù)學(xué)定義：

（其中Jc表示彩色圖像的每個(gè)通道，Ω(x)表示以像素x為中心的一個(gè)窗口）

可知，Jdark-＞0。

對上式（1）進(jìn)行變形可得：

（其中C表示R、G、B三個(gè)通道）

因此，根據(jù)Jdark-＞0及式（4）可推導(dǎo)出：

此即透射率的預(yù)估值。

然而，在現(xiàn)實(shí)生活中，霧的存在能夠讓人感受到景深的存在，因此在去霧的過程中有必要保留一定程度的霧。于是，對上式進(jìn)行修改可得：

另外，當(dāng)透射圖t的值很小時(shí)，會導(dǎo)致J的值偏大，從而使圖像整體向白場過度。因此可以設(shè)置一個(gè)閾值t0，當(dāng)t值小于t0時(shí)，令t=t0。于是，最終的圖像恢復(fù)公式如下：

因此，根據(jù)霧圖形成模型、暗通道先驗(yàn)理論及霧圖來還原無霧圖片的過程即圖像去霧的過程。

1.2 提取特征圖

在模式識別研究領(lǐng)域中，卷積神經(jīng)網(wǎng)絡(luò)[12]通常是一個(gè)包含多個(gè)隱層的神經(jīng)網(wǎng)絡(luò)，它通過對底層特征的逐層組合來形成更加抽象的高層特征，從而根據(jù)高層特征來區(qū)分不同的物體類別。其基本結(jié)構(gòu)如圖2所示，主要包括以下幾層：輸入層、特征提取層、特征映射層、全連接層以及輸出層。其中Cx為特征提取層，Sx為特征映射層，fx和wx為乘性偏置，bx為加性偏置，σ為sig?moid函數(shù)。

圖2 卷積神經(jīng)網(wǎng)絡(luò)基本結(jié)構(gòu)

其中特征提取層也叫卷積層，通過不同的卷積模板可以提取到不同的局部特征，如邊緣特征、角點(diǎn)特征等。特征映射層也叫下采樣層，通過對來自卷積層的特征圖進(jìn)行下采樣，保留特征圖中的有用信息而減少無用信息，從而達(dá)到壓縮數(shù)據(jù)集、減少參數(shù)數(shù)量的目的[13]。

因此，對圖像去霧處理得到的圖片進(jìn)行逐層特征提取，即可得到一張?jiān)搱D片的特征圖。

1.3 生成候選區(qū)域

RPN（Region Proposal Network）是一個(gè)全連接的卷積神經(jīng)網(wǎng)絡(luò)。它的核心思想是使用卷積神經(jīng)網(wǎng)絡(luò)直接產(chǎn)生候選區(qū)域，即根據(jù)輸入的特征圖，輸出300個(gè)矩形候選區(qū)域，此300個(gè)矩形候選區(qū)域基本覆蓋了所有目標(biāo)可能區(qū)域。

RPN生成候選區(qū)域的過程中主要運(yùn)用到了滑動(dòng)窗口技術(shù)及anchor機(jī)制。通過滑動(dòng)窗口技術(shù)可以保證滑動(dòng)窗口在特征圖上只需滑動(dòng)一次即可，而anchor機(jī)制則可以在每一個(gè)錨點(diǎn)處生成多尺度多長寬比的候選區(qū)域，從而使得RPN網(wǎng)絡(luò)具有平移不變性。

其具體實(shí)現(xiàn)方式如下：在卷積得到的特征圖上，用一個(gè)3×3的滑窗，生成一個(gè)長度為512維（對于VGG網(wǎng)絡(luò)）長度的全連接特征。在這個(gè)512維的特征后產(chǎn)生兩個(gè)分支的全連接層：reg-layer，主要用于預(yù)測pro?posal的中心錨點(diǎn)對應(yīng)的proposal的坐標(biāo)及寬高；clslayer，主要用于判定該proposal是前景或是背景。

1.4 檢測候選區(qū)域

對于RPN生成的尺寸不定的候選區(qū)域，通過ROI pooling層輸出尺寸固定的候選區(qū)域特征圖。其具體實(shí)現(xiàn)方式如下：首先，根據(jù)輸入圖片image，將ROI映射到特征圖對應(yīng)位置；其次，將映射后的區(qū)域劃分為相同大小的sections；最后，對每個(gè)sections進(jìn)行最大值池化，即可根據(jù)輸入的尺寸不定的候選區(qū)域生成尺寸固定的候選區(qū)域特征圖。通過全連接操作及Softmax的分類即可判別該候選區(qū)域是否屬于某一個(gè)特定類，對于屬于某一特定類的候選框，用回歸器進(jìn)一步調(diào)整其位置[14]。

2 處理流程

2.1 圖像去霧

（1）根據(jù)原圖計(jì)算暗通道圖

①讀入原圖；

②獲取原圖每個(gè)像素點(diǎn)RGB分量的最小值，存入一幅與原始圖片大小相同的灰度圖中；

③對灰度圖進(jìn)行最小值濾波，即可得到暗通道圖。

（2）借助暗通道圖從有霧圖片中獲取全球大氣光A的值

①從暗通道圖像中按照亮度的大小提取最亮的前0.1%個(gè)像素點(diǎn)，將這些像素點(diǎn)的坐標(biāo)存放于一個(gè)數(shù)組中，并將坐標(biāo)對應(yīng)位置的像素值置為0；

②根據(jù)坐標(biāo)在原圖片的三個(gè)通道內(nèi)找到這些像素點(diǎn)并加和得到 sum_r，sum_g，sum_b，取平均得到 Ar，Ag，Ab，并以此作為 A的值。

（3）根據(jù)A的值及暗通道先驗(yàn)理論求出透射率

設(shè)置參數(shù)ω=0.98，利用輸入圖片、求解的A值及參數(shù)ω根據(jù)公式（6）計(jì)算透射率。

（4）導(dǎo)向?yàn)V波細(xì)化透射率

用所求的透射率圖作為導(dǎo)向圖對原圖進(jìn)行導(dǎo)向?yàn)V波[15]。

（5）求解去霧后圖像

設(shè)置閾值t0=0.1，利用輸入圖片、求解的A值，求解的透射率及閾值t0根據(jù)公式（7）求解去霧后圖像。

2.2 提取特征圖

將圖像去霧處理后得到的圖片傳入卷積神經(jīng)網(wǎng)絡(luò)中，通過一共13層卷積層和5層池化層的卷積神經(jīng)網(wǎng)絡(luò)逐層組合底層特征，從而得到一張更加抽象的高層特征圖。

2.3 生成候選區(qū)域

在生成的特征圖上使用3×3的滑動(dòng)窗口及anchor機(jī)制（比例為 1：1 1：2 2：1），生成 300 個(gè)矩形候選區(qū)域。

2.4 檢測候選區(qū)域

將生成的300個(gè)候選區(qū)域通過ROI pooling生成尺寸固定的候選區(qū)域特征圖，然后通過全連接層及Softmax進(jìn)行分類。最后對分類得到的矩形框進(jìn)行bbox回歸，調(diào)整矩形框的位置，使其更加精確。

3 實(shí)驗(yàn)與分析

3.1 實(shí)驗(yàn)環(huán)境

本文的車標(biāo)圖片來源于高架橋交通違章拍照攝像機(jī)所拍攝到的車輛圖片，共有10種車標(biāo)合計(jì)966張，其中訓(xùn)練集800張，測試集166張。本實(shí)驗(yàn)在NVID?IA GeForce GTX 1070 GPU、Intel Core i7-6700K CPU、4G內(nèi)存的Ubuntu平臺下運(yùn)行。

訓(xùn)練樣本及測試樣本圖片大小均為2448×2144的攝像機(jī)拍攝圖片，圖3為經(jīng)過處理后的10種車標(biāo)圖片實(shí)例，其中車標(biāo)種類分別為奧迪、奔馳、現(xiàn)代、大眾、別克、雪佛蘭、本田、豐田、標(biāo)致及雷克薩斯。

圖3 10種車標(biāo)圖片實(shí)例

3.2 數(shù)據(jù)測試與比較

為測試霧天車標(biāo)識別的效果，進(jìn)行了如下實(shí)驗(yàn)：實(shí)驗(yàn)一對引言中提到的四種車標(biāo)識別方法與本文實(shí)現(xiàn)的方法進(jìn)行了對比；實(shí)驗(yàn)二對文中提到的三種常見的圖像去霧算法的效果及運(yùn)行時(shí)間進(jìn)行了測試；實(shí)驗(yàn)三對圖像去霧算法中參數(shù)調(diào)整對識別準(zhǔn)確率的影響進(jìn)行了測試；實(shí)驗(yàn)四對經(jīng)過圖像去霧處理和未經(jīng)圖像去霧處理的霧圖車標(biāo)識別準(zhǔn)確率進(jìn)行了測試。

表1為四種車標(biāo)識別方法與本文提出的方法在霧天車標(biāo)識別上的比較。通過比較可以發(fā)現(xiàn)，其他方法均未考慮霧天車標(biāo)的識別，而本文提出的方法能很好地處理霧天車標(biāo)識別的問題。

表1 車標(biāo)識別方法比較

圖4為三種圖像去霧算法測試得到的效果圖，其中（a）為測試原圖，（b）為經(jīng)過直方圖均衡化算法處理后的效果圖，（c）為經(jīng)過多尺度Retinex算法處理后的效果圖，（d）為經(jīng)過暗通道優(yōu)先算法處理后的效果圖。根據(jù)測試效果圖的對比可以發(fā)現(xiàn)，三種算法均實(shí)現(xiàn)了圖像去霧功能，其中暗通道優(yōu)先算法要較其他兩種算法更好，圖像復(fù)原的結(jié)果更加接近真實(shí)情況。

圖4 三種圖像去霧算法效果比較

表2則為三種圖像去霧算法運(yùn)行時(shí)間結(jié)果。通過數(shù)據(jù)比較發(fā)現(xiàn)，暗通道優(yōu)先算法運(yùn)行時(shí)間不是三者中最短。但是，針對車標(biāo)識別研究而言，選擇去霧效果更好且運(yùn)行時(shí)間適中的暗通道優(yōu)先算法是一種更優(yōu)的選擇。

表2 三種圖像去霧算法運(yùn)行時(shí)間比較/單位ms

圖5為圖像去霧算法中參數(shù)ω及閾值t0的調(diào)整對車標(biāo)識別準(zhǔn)確率的影響。通過數(shù)據(jù)對比發(fā)現(xiàn)，ω取0.98，t0取0.1時(shí)，車標(biāo)識別的準(zhǔn)確率達(dá)到最高。

圖5 參數(shù)調(diào)整對比圖

表3為測試圖片是霧圖且識別過程中未經(jīng)去霧處理得到的測試結(jié)果。根據(jù)表中數(shù)據(jù)分析可知，使用非霧圖作為訓(xùn)練集訓(xùn)練得到的網(wǎng)絡(luò)模型，用于測試霧圖得到的測試結(jié)果正確率較低。其主要原因是霧霾天氣下攝像機(jī)采集到的圖片質(zhì)量不高，圖片較為模糊，導(dǎo)致很多重要的細(xì)節(jié)信息損失，從而導(dǎo)致車標(biāo)識別的準(zhǔn)確率受到了很大的限制。

表3 霧圖且未經(jīng)去霧處理測試結(jié)果

表4為測試圖片是霧圖且識別過程中經(jīng)過去霧處理得到的測試結(jié)果。根據(jù)表中數(shù)據(jù)可以發(fā)現(xiàn)，經(jīng)過圖像去霧處理后各種車標(biāo)識別的準(zhǔn)確率均有了很大提升。由于表3與表4中測試圖片均為同一批測試圖片，因此對比兩個(gè)表中的數(shù)據(jù)可以說明，經(jīng)過圖像去霧處理后的車標(biāo)識別準(zhǔn)確率要比未經(jīng)圖像去霧處理的車標(biāo)識別準(zhǔn)確率有了明顯的提高。但是，由于測試樣本集數(shù)量較少且一些車標(biāo)類似的原因，導(dǎo)致一些車標(biāo)類別，如雷克薩斯、本田、豐田等識別的準(zhǔn)確率不是很理想，但是這些準(zhǔn)確率均在未經(jīng)圖像去霧處理的準(zhǔn)確率上有了很大的提高。

表4 霧圖且經(jīng)過去霧處理測試結(jié)果

另外，針對測試圖片為非霧圖的情況也進(jìn)行了測試比較。測試結(jié)果表明，經(jīng)過去霧處理的車標(biāo)識別準(zhǔn)確率較未經(jīng)去霧處理的識別準(zhǔn)確率有稍微的提升。

因此，不論測試圖片為霧圖或非霧圖，圖像去霧與深度學(xué)習(xí)相結(jié)合的方法均能保證車標(biāo)識別較高的準(zhǔn)確率，有效地解決了實(shí)際應(yīng)用中霧天車標(biāo)識別的問題。

4 結(jié)語

本文以霧天車標(biāo)識別為目的，研究并提出了一種基于深度學(xué)習(xí)與圖像去霧相結(jié)合的方法，從實(shí)驗(yàn)結(jié)果上看，本文提出的方法對霧天車標(biāo)識別的準(zhǔn)確率有了明顯的提升。與以往的算法相比，本文算法不僅能對正常天氣下圖片進(jìn)行較高準(zhǔn)確率的識別，對霧天圖片的識別也能達(dá)到較高的準(zhǔn)確率。另外，本文算法思想不僅對霧天適用，同樣也可以推廣到其他惡劣環(huán)境下車標(biāo)識別的研究。并且，車標(biāo)識別作為車輛識別的一個(gè)重要輔助，還可以與車牌識別、車型識別等相結(jié)合，進(jìn)行二次識別處理，從而達(dá)到更高的車輛識別準(zhǔn)確率。