基于紅外與可見光圖像融合的交通標(biāo)志檢測

李舒涵 許宏科 武治宇

摘? 要： 針對大多數(shù)交通標(biāo)志檢測方法易受光照和天氣影響的問題，提出一種基于紅外與可見光融合的交通標(biāo)志檢測方法。首先，分別在紅外與可見光圖像中提取交通標(biāo)志的形狀和顏色特征，對目標(biāo)進(jìn)行粗定位，并將結(jié)果放入候選組內(nèi)進(jìn)行分類與整理;然后，將候選組放入卷積神經(jīng)網(wǎng)絡(luò)，對粗定位結(jié)果賦予相應(yīng)的置信度;最后，根據(jù)置信度對紅外與可見光的粗定位結(jié)果進(jìn)行決策融合，并將融合結(jié)果展示在可見光圖像中。實驗結(jié)果表明，該算法對檢測環(huán)境的變化更加魯棒，在白天、夜晚和不良天氣等多種環(huán)境下有效地提高了檢測效率，具有良好的適用范圍。

關(guān)鍵詞： 交通標(biāo)志檢測; 圖像融合; 目標(biāo)粗定位; 卷積神經(jīng)網(wǎng)絡(luò); 定位結(jié)果分類; 紅外圖像; 可見光圖像

中圖分類號： TN911.73?34? ? ? ? ? ? ? ? ? ? ? ? 文獻(xiàn)標(biāo)識碼： A? ? ? ? ? ? ? ? ? ? ? ? 文章編號： 1004?373X（2020）03?0045?05

Traffic sign detection based on infrared and visible image fusion

LI Shuhan1， XU Hongke1， WU Zhiyu2

（1. School of Electronic & Control Engineering， Changan University， Xian 710064， China;

2. School of Mechanical?Electrical Engineering， Xidian University， Xian 710071， China）

Abstract： A traffic sign detection method based on infrared and visible image fusion is proposed to deal with the fact that the traffic sign detection is susceptible to light and weather. In the method， the shape and color features of traffic signs are extracted from infrared and visible images respectively to roughly locate the targets， and the results are put into the candidate groups for classification and sorting. Then the candidate groups are placed in the convolutional neural network to give corresponding confidence to the rough positioning results. Finally， the rough positioning results from infrared and visible light images are fused according to the confidence， and the fused results are displayed in visible images. The experimental results show that the proposed method is more robust to the change of detection environment， effectively improves the detection efficiency in various environments such as daytime， night and adverse weather conditions. Therefore， the application scope of the proposed method is wide.

Keywords： traffic sign detection; image fusion; target rough positioning; convolutional neural network; positioning result classification; infrared image; visible image

0? 引? 言

交通標(biāo)志識別系統(tǒng)（Traffic Sign Recognition，TSR）作為先進(jìn)輔助駕駛系統(tǒng)（Advanced Driver Assistance Systems，ADAS）的重要組成部分[1]，能夠為駕駛員提供實時的道路信息，為司乘人員提供行車安全保障。交通標(biāo)志識別系統(tǒng)通常分為檢測和識別兩個部分，精準(zhǔn)的檢測能為后續(xù)的識別、輔助定位與導(dǎo)航提供有效保障[2]，因而標(biāo)志檢測一直是交通標(biāo)志識別系統(tǒng)的重點。

由于大部分的交通標(biāo)志都被設(shè)立在戶外環(huán)境中，標(biāo)志檢測容易受到天氣、光照、能見度等因素的影響?，F(xiàn)有的檢測方法，如基于顏色與形狀特征的檢測算法[3?6]和基于深度學(xué)習(xí)的特征提取檢測算法[7?8]，在光照變化劇烈或能見度低的條件下，魯棒性較差，檢測準(zhǔn)確率較低。為了解決上述問題，本文利用紅外圖像不易受環(huán)境影響的特性，提出一種紅外與可見光圖像融合檢測的方法。

僅利用可見光圖像在戶外進(jìn)行目標(biāo)檢測不能有效應(yīng)對天氣和光照的變化[9]，因此，紅外與可見光圖像的融合檢測被廣泛應(yīng)用于目標(biāo)檢測領(lǐng)域。文獻(xiàn)[10]通過分析圖像滑窗稀疏系數(shù)的特點，提出一種基于稀疏向量的融合算法;文獻(xiàn)[11]提出了一種通過主成分分析和小波變換的融合算法;文獻(xiàn)[12]提出了一種基于頻域分割及輪廓濾波的融合算法，較好地保留了源圖像中的邊緣和細(xì)節(jié)信息;文獻(xiàn)[13]提出了多線索的目標(biāo)跟蹤算法，通過融合提取更加魯棒的目標(biāo)特征;文獻(xiàn)[14]根據(jù)稀疏系數(shù)得到源圖像的全局和局部顯著圖，提出一種顯著圖的融合算法;文獻(xiàn)[15]提出一種基于顯著性檢測和雙尺度圖像分解的融合算法，提高了檢測的實時性。

本文提出了一種基于深度學(xué)習(xí)的決策融合算法，先在紅外與可見光圖像中進(jìn)行交通標(biāo)志的粗定位，然后利用卷積神經(jīng)網(wǎng)絡(luò)對粗定位結(jié)果賦予置信度，并對賦予置信度的結(jié)果進(jìn)行決策融合，最終將目標(biāo)融合檢測的結(jié)果展示在可見光圖像序列中。

1? 交通標(biāo)志粗定位

交通標(biāo)志通常用不同的顏色和形狀來代表不同的指示功能，為了使交通標(biāo)志與背景環(huán)境明顯區(qū)分，大多數(shù)標(biāo)志都采用強(qiáng)烈的色彩，如紅、黃、藍(lán)，以及容易辨別的形狀，如矩形、圓形、三角形。同時，紅外圖像能在光照變化或能見度低等不利自然條件下穩(wěn)定成像，如雨霧天氣、傍晚光線昏暗或逆光等場景，但缺乏可見光圖像所具有的色彩和質(zhì)地等細(xì)節(jié)信息。因此，根據(jù)交通標(biāo)志、紅外與可見光圖像的特點，本文在紅外與可見光圖像中進(jìn)行目標(biāo)粗定位，為后續(xù)的卷積神經(jīng)網(wǎng)絡(luò)識別及決策融合做準(zhǔn)備。算法流程如圖1所示。

1.1? 紅外圖像下的粗定位

紅外圖像屬于單通道圖像，在紅外圖像中呈現(xiàn)的物體會丟失顏色信息，但紅外圖像具有局部穩(wěn)定特性，能為特征描述算子搭建良好的應(yīng)用平臺。同時，特征描述算子能夠充分地反映特征點附近的形狀和紋理結(jié)構(gòu)。因此，紅外圖像下的特征描述算子具有良好的適用性和魯棒性。

Sobel算子在進(jìn)行邊緣檢測時的效率較高，但只能夠較好地處理沿[x]軸和[y]軸排列的輪廓，在處理其他角度的輪廓時效果不佳，因此采用對其改進(jìn)的Scharr濾波器進(jìn)行邊緣檢測。Scharr濾波器能夠增加多個角度的邊緣特征。

Scharr濾波器通過計算灰度函數(shù)的近似梯度來求出目標(biāo)的邊緣輪廓。首先，對輸入圖像[I=（x，y）]分別在[x]和[y]方向上做卷積運算，計算公式為：

式中：[Gx]為橫向梯度分量;[Gy]為縱向梯度分量。

然后計算像素點的近似梯度：

如果近似梯度大于某一閾值，則認(rèn)為該點為邊緣點。

在Sobel算子檢測效果圖中，部分輪廓特征不完整容易導(dǎo)致漏檢，而Scharr濾波器對邊緣特征的檢測效果足以滿足后續(xù)的形狀特征提取，效果對比如圖2所示。

將Scharr濾波器處理后的邊緣特征圖像針對圓形、三角形、矩形進(jìn)行形狀檢測，并使用矩形框?qū)π螤顧z測結(jié)果進(jìn)行標(biāo)注。同時，通過設(shè)定檢測框周長的閾值過濾較小的干擾物，從而完成紅外圖像下的交通標(biāo)志粗定位。

1.2? 可見光圖像下的粗定位

在可見光圖像下，交通標(biāo)志的顏色特征較為明顯，因此本文通過提取交通標(biāo)志牌的顏色特征進(jìn)行目標(biāo)檢測。

RGB空間的[R]，[G]，[B]分量間存在復(fù)雜的聯(lián)系且易受光照變化的影響。而交通標(biāo)志大多數(shù)設(shè)立于戶外，同一顏色的標(biāo)志在不同光照下有較大差別，如圖3所示。由于HSI顏色空間中的色調(diào)（Hue）和飽和度（Saturation）分量獨立于亮度（Intensity）分量，能夠較好地排除光照和天氣對顏色分割的干擾，因此本文將圖像由RGB顏色空間轉(zhuǎn)換到HSI顏色空間進(jìn)行顏色特征的提取。

為了使顏色特征模型能夠適應(yīng)更加復(fù)雜的背景環(huán)境，采集并建立了不同環(huán)境中紅、黃、藍(lán)三種顏色的交通標(biāo)志庫，分別對三種顏色的色調(diào)H和飽和度S標(biāo)準(zhǔn)化至[[0，1]]進(jìn)行統(tǒng)計，如圖4所示。

根據(jù)統(tǒng)計結(jié)果確定色調(diào)與飽和度的閾值區(qū)間，并進(jìn)行感興趣區(qū)域的提取，具體步驟如下：

其中，[I （i，j）]為坐標(biāo)[ （i，j）]處的像素點;[H（i，j）]和[ S（i，j）]分別為[I （i，j）]處的色調(diào)與飽和度;[Hi（i=1，2，…，6）]為各顏色的色度閾值;[Si（i=1，2，3）]為各顏色的飽和度閾值;[ D]為目標(biāo)框的面積;[ d]為目標(biāo)框閾值;[red（i，j）]為紅色感興趣點;[yellow（i，j）]為黃色感興趣點;[blue（i，j）]為藍(lán)色感興趣點。

通過將感興趣點[red（i，j）]，[yellow（i，j）]，[blue（i，j）]的值置為255，其余像素點置為0的方式對圖像進(jìn)行二值化，并利用形態(tài)學(xué)濾波清除噪聲及干擾物，從而完成顏色特征的提取。

基于顏色特征的目標(biāo)檢測容易受到背景環(huán)境的影響，在存在與目標(biāo)顏色相同的物體時容易導(dǎo)致誤判。因此在可見光圖像下采取顏色與形狀特征提取相結(jié)合的方式進(jìn)行目標(biāo)粗定位，形狀特征的提取方式與紅外圖像相同。

最后使用矩形框?qū)z測結(jié)果進(jìn)行標(biāo)注。與紅外圖像下的粗定位相同，通過設(shè)定檢測框周長的下閾值過濾較小的干擾物，完成可見光圖像中的交通標(biāo)志粗定位。

1.3? 候選信息分類

紅外與可見光粗定位輸出的檢測結(jié)果用矩形框在圖像中標(biāo)出，矩形框擁有[Point（x，y），width，height]三項參數(shù)。其中，[Point（x，y）]為矩形框的中心坐標(biāo)，[width]為矩形框的寬度，[height]為矩形框的高度。

將在紅外圖像中得到的矩形框參數(shù)放入候選組，可見光圖像中得到的參數(shù)放入候選組。由于粗定位是分別在紅外與可見光圖像中進(jìn)行的，難以區(qū)分候選組[RI]與候選組[RV]內(nèi)的信息是否為同一目標(biāo)，因此需要對候選信息進(jìn)行分類。

對[RI]的信息逐一進(jìn)行提?。ǚ謩e提取每一個檢測框的參數(shù)），并分別與[RV]中的信息進(jìn)行計算與比較，從而判別兩個矩形框是否檢測的是同一目標(biāo)物。若檢測的是相同目標(biāo)，則分別將兩個檢測框標(biāo)記為1，反之，則標(biāo)記為0。對[RI]的信息再次進(jìn)行提取時，僅與[RV]中標(biāo)記為0或未被標(biāo)記的信息進(jìn)行判別。最后，為保證全部粗定位結(jié)果都會經(jīng)過卷積神經(jīng)網(wǎng)絡(luò)，需要在[RI]中補(bǔ)充[RV=0]的信息，在[RV]中補(bǔ)充[RI=0]的信息。最后，根據(jù)檢測框的坐標(biāo)對[RI]和[RV]的信息進(jìn)行排序，得到新的候選組

設(shè)[RiI]為[RI]的第[i]個信息，[RjV]為[RV]的第[j]個信息。本文采用歐氏距離和矩形框的面積比對候選組的信息進(jìn)行分類，具體步驟如下。

首先，根據(jù)檢測框的中心坐標(biāo)，計算[RiI]和[RjV]的歐氏距離[ρIVij]：

式中：[（XIi，YIi）]為[RiI]的中心坐標(biāo)參數(shù);[（XVj，YVj）]為[RjV]的中心坐標(biāo)參數(shù)。

計算[RiI]和[RjV]的面積比[Sij]：

通過設(shè)定[ρIVij]和[Sij]的閾值，對[RiI]和[RjV]進(jìn)行標(biāo)記：

式中：[A=Min{RIi?width，RIi?height，RVj?width，RVj?height}]為[ρIVij]的閾值;經(jīng)過多次實驗，[Sij]的下閾值[B1]設(shè)定為0.75，上閾值[B2]設(shè)定為1.25。

2? 紅外與可見光融合檢測方法

2.1? 基于CNN的粗定位置信度計算

整理完的候選區(qū)內(nèi)仍潛在誤判的區(qū)域，因此采用CNN對候選區(qū)內(nèi)的圖像進(jìn)行識別，盡可能剔除不存在交通標(biāo)志的區(qū)域以提高檢測的準(zhǔn)確率。

在選擇CNN網(wǎng)絡(luò)模型框架之前，需要對交通標(biāo)志的特征進(jìn)行建模分析。由于交通標(biāo)志的特征較為單一，形狀顏色有一定規(guī)則，因此選用EdLeNet網(wǎng)絡(luò)架構(gòu)，這種淺層的網(wǎng)絡(luò)結(jié)構(gòu)能夠很好地處理簡單圖像特征。此外，淺層的CNN網(wǎng)絡(luò)能夠提高分類的實時性，降低卷積運算量。本文分別對紅外樣本和可見光樣本進(jìn)行預(yù)訓(xùn)練，得到兩個卷積神經(jīng)網(wǎng)絡(luò)CNN1和CNN2。

以可見光模型為例，訓(xùn)練好的CNN結(jié)構(gòu)如圖5所示。將EdLeNet網(wǎng)絡(luò)輸入灰度圖像的尺寸統(tǒng)一縮放為[32×32]，通過三層卷積層、三層池化層以及兩層全連接層，用SoftMax作為輸出層給出最終的結(jié)果。在第一層卷積層采用[3×3]的卷積核，深度為32，步長為1，選用ReLU函數(shù)作為激活函數(shù)，然后使用尺寸為[2×2]的下采樣濾波器對特征進(jìn)行下采樣，步長為1。之后的兩層卷積層除了將卷積核的深度依次乘2倍加深以外，其余的參數(shù)并未做出改變。除此之外，用兩層全連接層對所有的特征重新進(jìn)行擬合，由最后的SoftMax函數(shù)輸出層給出分類置信度。

2.2? 紅外與可見光決策融合

單純在紅外與可見光圖像中進(jìn)行目標(biāo)檢測，并不能保證檢測結(jié)果具有很高的準(zhǔn)確性?？紤]到紅外與可見光圖像的互補(bǔ)性，運用決策融合算法對紅外與可見光兩個候選區(qū)內(nèi)的檢測結(jié)果進(jìn)行選擇。

3? 實驗結(jié)果與分析

3.1? 實驗數(shù)據(jù)集

本文分別利用紅外相機(jī)與可見光相機(jī)采集用于訓(xùn)練CNN的交通標(biāo)志樣本，其中，紅外圖像2 141個，可見光圖像2 317個，部分?jǐn)?shù)據(jù)集樣本如圖6所示。

同時，用于預(yù)訓(xùn)練CNN的輸入圖像需要進(jìn)行預(yù)處理，具體步驟如下：

1） 圖像尺寸的調(diào)整，將輸入的ROI區(qū)域統(tǒng)一縮放為[32×32]。

2） 對圖像進(jìn)行歸一化處理，確定圖像數(shù)據(jù)集分布的中心，從而提高CNN網(wǎng)絡(luò)模型在處理圖像時的一致性。

3） 針對可見光圖像樣本需要進(jìn)行灰度化處理為單通道圖像，能夠極大減少數(shù)據(jù)運算量，提高系統(tǒng)的實時性。

其余測試樣本分別用紅外與可見光相機(jī)同時進(jìn)行拍攝，在白天和夜間分別采集了紅外和可見光圖像（圖像已配準(zhǔn)）共500張，采集數(shù)據(jù)時間分為兩個時段，分別為11：00—13：00和19：00—21：00。

3.2? 實驗過程與結(jié)果

1） 分別在紅外與可見光圖像中對交通標(biāo)志進(jìn)行粗定位，并將粗定位結(jié)果放入候選組[RI]和候選組[RV]。

2） 根據(jù)粗定位的坐標(biāo)與面積參數(shù)對[RI]和[RV]的信息進(jìn)行分類。

3） 將分類后的[RI]和[RV]分別放入訓(xùn)練好的CNN1和CNN2模型中，對粗定位的結(jié)果賦予置信度。

4） 對賦予置信度后的紅外與可見光粗定位結(jié)果進(jìn)行決策融合，在可見光圖像中給出檢測結(jié)果。

該算法在復(fù)雜背景、黃昏、夜晚和霧天場景的處理結(jié)果如圖7所示。

自然場景中的交通標(biāo)志極易受到環(huán)境影響，例如，在雨霧天氣時可見光相機(jī)拍攝的圖像對比度會降低，但保留了場景的顏色和細(xì)節(jié)信息，而紅外相機(jī)能較穩(wěn)定地對場景進(jìn)行采集，但不能完整反映真實的場景。因此，利用紅外與可見光圖像融合檢測能夠較好地適應(yīng)戶外環(huán)境的改變，提高檢測準(zhǔn)確率。為比較融合算法的檢測效果，分別對單獨的紅外、可見光圖像下檢測結(jié)果與融合算法的結(jié)果進(jìn)行對比，如表1所示。其中，測試樣本包括白天、夜晚和雨霧天氣等多個場景。

4? 結(jié)? 論

本文將紅外與可見光圖像下的交通標(biāo)志檢測結(jié)果相結(jié)合，提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)的決策融合算法。實驗結(jié)果表明，紅外與可見光融合檢測能夠很好地適應(yīng)環(huán)境的變化，能夠在交通標(biāo)志牌的檢測中充分利用多種圖像特征的互補(bǔ)性，因此可以應(yīng)用于多種有針對性場景的交通標(biāo)志牌檢測。

本文主要通過交通標(biāo)志的顏色和形狀信息進(jìn)行粗定位，并沒有對粗定位結(jié)果進(jìn)一步進(jìn)行篩選，有較多的誤判信息被采集到候選區(qū)內(nèi)，由于卷積神經(jīng)網(wǎng)絡(luò)需要對每一個候選信息進(jìn)行識別，因此粗定位結(jié)果在一定程度上會影響算法的效率。對候選區(qū)信息進(jìn)行篩選，以提高算法效率是值得進(jìn)一步研究的方向。另外，本文未對檢測到的交通標(biāo)志進(jìn)行識別，這也是今后的研究內(nèi)容。

參考文獻(xiàn)

[1] ZAKLOUTA F， STANCIULESCU B. Real?time traffic sign recognition in three stages [J]. Robotics & autonomous systems， 2014， 62（1）： 16?24.

[2] 葛園園，許有疆，趙帥，等.自動駕駛場景下小且密集的交通標(biāo)志檢測[J].智能系統(tǒng)學(xué)報，2018，13（3）：366?372.

[3] ZHANG M， LIANG H， WANG Z， et al. Real?time traffic sign detection and recognition for intelligent vehicle [C]// 2014 IEEE International Conference on Mechatronics and Automation. Tianjin， China： IEEE， 2014： 1125?1131.

[4] 賈永紅，胡志雄，周明婷，等.自然場景下三角形交通標(biāo)志的檢測與識別[J].應(yīng)用科學(xué)學(xué)報，2014，32（4）：423?426.

[5] 常發(fā)亮，黃翠，劉成云，等.基于高斯顏色模型和SVM的交通標(biāo)志檢測[J].儀器儀表學(xué)報，2014，35（1）：43?49.

[6] SALTI S， PETRELLI A， TOMBARI F， et al. Traffic sign detection via interest region extraction [J]. Pattern recognition， 2015， 48（4）： 1039?1049.

[7] YANG Y， LUO H， XU H， et al. Towards real?time traffic sign detection and classification [J]. IEEE transactions on intelligent transportation systems， 2016， 17（7）： 2022?2031.

[8] 劉占文，趙祥模，李強(qiáng)，等.基于圖模型與卷積神經(jīng)網(wǎng)絡(luò)的交通標(biāo)志識別方法[J].交通運輸工程學(xué)報，2016，16（5）：122?131.

[9] FENDRI E， BOUKHRISS R R， HAMMAMI M. Fusion of thermal infrared and visible spectra for robust moving object detection [J]. Pattern analysis & applications， 2017， 20（10）： 1?20.

[10] 張生偉，李偉，趙雪景.一種基于稀疏表示的可見光與紅外圖像融合方法[J].電光與控制，2017，24（6）：47?52.

[11] NAIDU V P S， RAOL J R. Pixel?level image fusion using wavelets and principal component analysis [J]. Defence science journal， 2008， 58（3）： 338?352.

[12] 蔡懷宇，卓勵然，朱攀，等.基于非下采樣輪廓波變換和直覺模糊集的紅外與可見光圖像融合[J].光子學(xué)報，2018，47（6）：225?234.

[13] LAN X， MA A J， YUEN P C， et al. Joint sparse representation and robust feature?level fusion for multi?cue visual tracking [J]. IEEE transactions on image processing， 2015， 24（12）： 5826?5841.

[14] LIU C H， QI Y， DING W R. Infrared and visible image fusion method based on saliency detection in sparse domain [J]. Infrared physics & technology， 2017， 83： 94?102.

[15] BAVIRISETTI D P， DHULI R. Two?scale image fusion of visible and infrared images using saliency detection [J]. Infrared physics & technology， 2016， 76： 52?64.