弱光照條件下交通標(biāo)志檢測(cè)與識(shí)別

趙 坤，劉 立，孟 宇，孫若燦

北京科技大學(xué)機(jī)械工程學(xué)院，北京 100083

近年來，人工智能的快速發(fā)展極大的加快了無人車技術(shù)的研究進(jìn)程，特別是深度學(xué)習(xí)[1]在環(huán)境感知、路徑規(guī)劃、決策控制等關(guān)鍵技術(shù)上的研究與應(yīng)用，使得自動(dòng)駕駛時(shí)代在不久的將來真正成為可能. 交通標(biāo)志檢測(cè)與識(shí)別是智能交通領(lǐng)域環(huán)境感知[2]系統(tǒng)的一個(gè)重要分支，對(duì)于保證交通安全具有十分重要的研究意義，逐漸成為國(guó)內(nèi)外學(xué)者的研究重點(diǎn). 近幾年雖然對(duì)交通標(biāo)志檢測(cè)與識(shí)別的研究取得了較為滿意的結(jié)果，但是在實(shí)際應(yīng)用中仍然存在較多問題，針對(duì)應(yīng)用場(chǎng)景下的交通標(biāo)志檢測(cè)與識(shí)別方法仍需進(jìn)一步深入研究.

目前交通標(biāo)志檢測(cè)與識(shí)別方法主要分為兩大類：基于傳統(tǒng)手工特征和機(jī)器學(xué)習(xí)分類的方法以及基于深度學(xué)習(xí)的方法.

（1）基于傳統(tǒng)手工特征和機(jī)器學(xué)習(xí)的方法.

基于傳統(tǒng)手工特征和機(jī)器學(xué)習(xí)的方法大致可以分為以下三個(gè)子類：1）應(yīng)用顏色和邊緣信息；2）應(yīng)用形狀信息；3）應(yīng)用機(jī)器學(xué)習(xí)機(jī)制. 在第一類方法中通常先用顏色分割圖像，然后進(jìn)行邊緣檢測(cè)，最后使用隨機(jī)一致性采樣（RANSAC）或Hough變換等方法處理，從邊緣圖中識(shí)別特定的形狀[3?4].第二類方法只依靠邊緣信息，在文獻(xiàn)[5]和[6]中實(shí)現(xiàn)了一種基于徑向?qū)ΨQ性的快速算法，該算法可以適應(yīng)各種規(guī)則形狀，包括三角形、正方形、菱形、八邊形和圓形. 第三類方法應(yīng)用機(jī)器學(xué)習(xí)技術(shù)，其中神經(jīng)網(wǎng)絡(luò)、支持向量機(jī)（SVM）和AdaBoost是最常用的方法. 例如文獻(xiàn)[7]對(duì)輸入圖像進(jìn)行顏色分割后提取出塊，然后使用線性SVM將其分類為不同的形狀. 文獻(xiàn)[8]應(yīng)用AdaBoost方法使用一組考慮顏色和位置的Haar小波特征檢測(cè)交通標(biāo)志.

基于傳統(tǒng)手工特征和機(jī)器學(xué)習(xí)的方法需要針對(duì)不同的標(biāo)志設(shè)計(jì)不同的手工特征，且無法同時(shí)識(shí)別所有類別的交通標(biāo)志，算法的實(shí)時(shí)性無法得到保證.

（2）基于深度學(xué)習(xí)的方法.

近年來，深度卷積神經(jīng)網(wǎng)絡(luò)在目標(biāo)檢測(cè)任務(wù)中取得了巨大的成功. Girshick等[9]提出了用于精確目標(biāo)檢測(cè)和語(yǔ)義分割的豐富特征層次結(jié)構(gòu)區(qū)域卷積神經(jīng)網(wǎng)絡(luò)（Regions with CNN，R-CNN），利用選擇性搜索（Selective search，SS）[10]代替?zhèn)鹘y(tǒng)滑窗法在圖像上提取2000個(gè)目標(biāo)候選區(qū)，然后采用深層卷積網(wǎng)絡(luò)對(duì)目標(biāo)候選區(qū)進(jìn)行分類. 但由于其對(duì)每個(gè)候選區(qū)都執(zhí)行卷積運(yùn)算而不是共享計(jì)算，因此檢測(cè)速度較慢. 文獻(xiàn)[11]提出了空間金字塔網(wǎng)絡(luò)（Spatial pyramid pooling network，SPPnets），通過共享卷積特征圖來提高速度. 快速區(qū)域卷積神經(jīng)網(wǎng)絡(luò)（Fast R-CNN）[12]能夠?qū)蚕砭矸e特征進(jìn)行端到端訓(xùn)練，提高了檢測(cè)精度與速度. 但是SPPnets和Fast R-CNN仍然使用SS方法生成目標(biāo)候選區(qū)，此階段成為提高實(shí)時(shí)性的瓶頸. 更快區(qū)域卷積神經(jīng)網(wǎng)絡(luò)（Faster R-CNN）[13]引入了區(qū)域提案網(wǎng)絡(luò)（Region proposals network, RPN）生成目標(biāo)候選區(qū)，極大的提高了目標(biāo)檢測(cè)的速度. YOLO （You only look once）[14]將目標(biāo)檢測(cè)任務(wù)重構(gòu)為一個(gè)從圖像像素直接到邊界框坐標(biāo)和類概率的回歸問題. 單階段多盒檢測(cè)器（Single shot multibox detector，SSD）[15]利用特征圖上的小型卷積濾波器來預(yù)測(cè)邊界框位置中的目標(biāo)類別和偏移，以提高目標(biāo)檢測(cè)的性能.

隨著以上目標(biāo)檢測(cè)框架逐漸成熟以及大型國(guó)外交通標(biāo)志數(shù)據(jù)集的出現(xiàn)，已出現(xiàn)許多基于深度學(xué)習(xí)的交通標(biāo)志檢測(cè)與識(shí)別實(shí)證研究[16?19]，研究結(jié)果顯示出了深度學(xué)習(xí)在交通標(biāo)志檢測(cè)與識(shí)別領(lǐng)域的優(yōu)越性，基于深度學(xué)習(xí)的交通標(biāo)志進(jìn)行檢測(cè)與識(shí)別方法成為當(dāng)前的研究主流.

當(dāng)采用上述較為成熟的深度學(xué)習(xí)框架檢測(cè)交通標(biāo)志時(shí)，發(fā)現(xiàn)檢測(cè)失敗的樣本通常為陰天、傍晚或背光等弱光照條件樣本，具有亮度或?qū)Ρ榷鹊偷奶攸c(diǎn)；檢測(cè)失敗的表現(xiàn)形式為漏檢和定位不準(zhǔn)、置信度較低. 在無人駕駛應(yīng)用中，不可避免的出現(xiàn)很多復(fù)雜的弱光照情況，因此需要對(duì)弱光照條件下交通標(biāo)志檢測(cè)與識(shí)別方法進(jìn)行深入研究，以提高其在實(shí)際應(yīng)用中的效果.

針對(duì)以上的問題，本文提出了用于提高弱光照條件下交通標(biāo)志檢測(cè)與識(shí)別性能的增強(qiáng)YOLOv3檢測(cè)算法. 首先提出了實(shí)時(shí)自適應(yīng)圖像增強(qiáng)算法，調(diào)整圖像亮度和對(duì)比度，便于降低后續(xù)檢測(cè)漏檢率；然后采用YOLOv3框架檢測(cè)增強(qiáng)后的圖像并優(yōu)化了損失函數(shù)和先驗(yàn)錨點(diǎn)框聚類算法，提高交通標(biāo)志邊框回歸精度和置信度；此外，開發(fā)了復(fù)雜光照中國(guó)交通標(biāo)志數(shù)據(jù)集用于對(duì)中國(guó)交通標(biāo)志檢測(cè)與識(shí)別方法的研究.

1 弱光照中國(guó)交通標(biāo)志數(shù)據(jù)集

目前對(duì)交通標(biāo)志檢測(cè)與識(shí)別的研究，研究者多采用比較知名的公共交通標(biāo)志數(shù)據(jù)集對(duì)算法性能進(jìn)行測(cè)試，如美國(guó)交通標(biāo)志數(shù)據(jù)集（LISA）[20]、德國(guó)交通標(biāo)志數(shù)據(jù)集（包括檢測(cè)基準(zhǔn)數(shù)據(jù)集GTSDB和識(shí)別數(shù)據(jù)集GTSRB)[21]和比利時(shí)交通標(biāo)志數(shù)據(jù)集（BTSRB）[22]. 但以上數(shù)據(jù)集僅限于歐洲交通標(biāo)志且樣本大多是在光照條件良好的情況下采集的，國(guó)內(nèi)相關(guān)機(jī)構(gòu)還沒有開發(fā)和公布大型完備的復(fù)雜光照中國(guó)交通標(biāo)志數(shù)據(jù)集以用于檢測(cè)中國(guó)的交通標(biāo)志. 因此研究中國(guó)交通標(biāo)志識(shí)別與檢測(cè)方法以及后續(xù)算法的應(yīng)用必須具備大型復(fù)雜光照中國(guó)交通標(biāo)志數(shù)據(jù)集.

本文采集并標(biāo)注了北京市道路交通主要類別的交通標(biāo)志組成數(shù)據(jù)集，包括警告類、禁令類、指示類等7種交通標(biāo)志. 數(shù)據(jù)集中包含雨雪天氣，陰天及傍晚等光照條件復(fù)雜的交通標(biāo)志圖像，部分圖像如圖1所示. 數(shù)據(jù)集共包括6258張圖像（內(nèi)含8675個(gè)交通標(biāo)志，無負(fù)樣本，數(shù)據(jù)分布如圖2所示），涵蓋了目前常出現(xiàn)的城市道路交通標(biāo)志，與現(xiàn)有大型歐洲交通標(biāo)志數(shù)據(jù)集相比圖像數(shù)量略少但基本可保證數(shù)據(jù)量充足.

圖1 不同天氣及光照條件的圖像樣本. （a）陰天; （b）雨雪天; （c）光照充足; （d）光照不足Fig.1 Image samples under different weather and illumination conditions:(a) overcast; (b) rain and snow; (c) sufficient illumination; (d) insufficient illumination

圖2 交通標(biāo)志數(shù)據(jù)分布示意圖Fig.2 Data distribution diagram for traffic signs

數(shù)據(jù)集構(gòu)建過程具體如下：

1）數(shù)據(jù)采集. 樣本主要通過兩種方式獲得，一部分通過百度地圖剪裁，主要為光照充足的樣本；另一部分在陰天傍晚等情況下通過拍照實(shí)地（北京市北三環(huán)與北四環(huán)之間的交通主干道）采集，主要為弱光照樣本. 為了提高數(shù)據(jù)集的普適性，從不同的角度和距離對(duì)同一個(gè)交通標(biāo)志進(jìn)行多次采集.

2）數(shù)據(jù)處理. 參照2.1中的分類原則，按照強(qiáng)度均值將圖像分類為偏暗類（2621張）和明亮類（3637張）. 為了保證數(shù)據(jù)大致均衡，對(duì)其中500張明亮類圖像進(jìn)行了隨機(jī)調(diào)暗處理，最終偏暗類圖像和明亮類圖像分別為3121張3137張.

3）標(biāo)注方法及內(nèi)容. 采用LableMe軟件標(biāo)注每幅圖像，標(biāo)注信息包括交通標(biāo)志的類別屬性，圖像的光照情況，標(biāo)志邊框的左上坐標(biāo)和右下坐標(biāo)（像素單位），信息保存在xml格式下的文件中.

4）數(shù)據(jù)劃分. 分別將偏暗類圖像和明亮類圖像按照約1∶1的比例劃分組成訓(xùn)練集和測(cè)試集.為了增加數(shù)據(jù)量，訓(xùn)練時(shí)采用數(shù)據(jù)增廣對(duì)初始圖像隨機(jī)平移.

2 增強(qiáng) YOLOv3 算法

2.1 自適應(yīng)圖像增強(qiáng)

弱光照交通標(biāo)志圖像數(shù)據(jù)集中主要存在以下四種情況的圖像：整體亮度較低、半明半暗且交通標(biāo)志在偏暗區(qū)、半明半暗且交通標(biāo)志在偏亮區(qū)以及整體亮度良好的圖像，光照條件較為復(fù)雜. 而圖像增強(qiáng)的目的就是針對(duì)不同光照條件的圖像合理的均衡化像素分布范圍，調(diào)整圖像亮度和對(duì)比度，提高交通標(biāo)志與背景間的區(qū)分度.

現(xiàn)有的方法一般采用直方圖均衡化全局圖像[23]，但采用全局加強(qiáng)的方法可能會(huì)導(dǎo)致圖像部分過加強(qiáng)或欠加強(qiáng)；也有局部加強(qiáng)方法，Celik和Tjahjadi[24]提出局部加強(qiáng)技術(shù)對(duì)圖片部分進(jìn)行不同程度的強(qiáng)化，但其未考慮全局亮度信息.

Gamma校正常用于調(diào)整圖像的整體亮度，傳統(tǒng)的Gamma校正對(duì)所有的圖像都采用同樣的處理方式，使得圖像質(zhì)量好的圖像被過度地處理. 對(duì)此，本文提出自適應(yīng)Gamma校正（Adaptive Gamma correction，AGC），可對(duì)不同光照程度的圖像進(jìn)行自適應(yīng)處理. 首先將圖像轉(zhuǎn)換到HSV顏色空間，然后對(duì)V通道進(jìn)行自適應(yīng)Gamma處理以調(diào)整圖像亮度，最后再將圖像轉(zhuǎn)換到RGB顏色空間進(jìn)行后續(xù)檢測(cè)，主要流程如圖3所示. 其中，對(duì)圖像進(jìn)行自適應(yīng)Gamma校正處理時(shí)，圖像強(qiáng)度變換函數(shù)設(shè)置為：

式中，s為輸出圖像的強(qiáng)度，R為輸入圖像的強(qiáng)度，γ為控制輸入輸出曲線的參數(shù)，c為修正系數(shù)，兩參數(shù)共同控制曲線形狀. 對(duì)于不同光照下的圖像，參數(shù)c和γ有不同的計(jì)算方式.

圖3 自適應(yīng) Gamma 校正流程圖Fig.3 Flow diagram of adaptive gamma correction

圖像標(biāo)準(zhǔn)差反映了像素值與均值的離散程度，標(biāo)準(zhǔn)差越大圖像質(zhì)量越好，因此，本文先采用圖像強(qiáng)度標(biāo)準(zhǔn)差對(duì)圖像分類，判別公式如下所示：

式（2）中，σ為圖像標(biāo)準(zhǔn)差，p為圖像對(duì)比度衡量系數(shù)，根據(jù)實(shí)驗(yàn)發(fā)現(xiàn)，取p=3能夠作為分類不同對(duì)比度圖像的標(biāo)準(zhǔn)；IL表示低對(duì)比度圖像，IH表示中高對(duì)比度圖像.

同一對(duì)比度類別的圖像也會(huì)有不同的亮度，需要對(duì)圖像進(jìn)一步劃分. 圖像強(qiáng)度均值反映了圖像的亮度，均值越大圖像亮度越大，本文采用λ表示圖像強(qiáng)度均值. 經(jīng)過多組實(shí)驗(yàn)發(fā)現(xiàn)，圖像強(qiáng)度均值小于0.5時(shí)，亮度不佳，大于等于0.5時(shí)，亮度良好. 因此，本文設(shè)置λ=0.5作為區(qū)別圖像亮度高低的界限，最終圖像分類類別如表1所示.

表1 圖像分類Table 1 Image classification

2.1.1IL類圖像處理

IL類圖像σ值小，圖像中的大部分像素有相近的強(qiáng)度值，聚集在小的像素范圍內(nèi)，對(duì)于這樣的圖像，需要使像素分布擴(kuò)展到更大的范圍以提高對(duì)比度. 在Gamma校正中，γ值越大，相應(yīng)的圖像強(qiáng)度越大，對(duì)比度也越大. 在本文的自適應(yīng)Gamma校正中，對(duì)于IL類別圖像采用下面的公式計(jì)算γ值：

對(duì)于系數(shù)c值，傳統(tǒng)的Gamma校正方法通常取1，本文針對(duì)不同對(duì)比度圖像采用不同的c值：

式中，α有以下定義：

ε(0.5?λ)為階躍函數(shù)：

這樣處理γ和c值使得算法能夠?qū)L類別中亮度不同的圖像分別采取合適的變換.

IL類別中亮度高的圖像（λ≥0.5），算法主要是要增加其對(duì)比度，突出圖像更多的細(xì)節(jié)，因此根據(jù)式（4），此時(shí)c=1，式（1）轉(zhuǎn)化為：

為了增加這類圖像的對(duì)比度，變換曲線需要擴(kuò)展圖像的像素范圍，分布一定的亮灰度值到暗灰度范圍，在自適應(yīng)Gamma算法中，根據(jù)式（2）和（3）證明得，γ大于 1.

IL類別中亮度低的圖像（λ<0.5），通常其大部分像素值分布在暗灰度水平，且聚集在較小的范圍內(nèi)，對(duì)于這類圖像，變換曲線需要將一部分暗灰度值擴(kuò)展到更亮的灰度范圍，此時(shí)的變換曲線會(huì)落在s=R曲線之上. 結(jié)合式（4）和（5），式（1）變換函數(shù)轉(zhuǎn)化為：

2.1.2IH類圖像處理

IH類圖像σ值大，圖像像素值在動(dòng)態(tài)范圍內(nèi)明顯呈分散分布，相比加強(qiáng)其對(duì)比度，亮度調(diào)節(jié)顯得更加重要，輸出圖像的強(qiáng)度和c值依然如式（1）和（4）所示，γ值控制輸入輸出曲線的斜率，γ值越大，圖像對(duì)比度越大，因此，對(duì)于IH類別的圖像，γ值的計(jì)算調(diào)整為：

可以看出，對(duì)于此類圖像，γ值的變化不大，對(duì)圖像對(duì)比度的影響相對(duì)較小. 由式（9）分析可知，γ值的取值范圍為[1,1.649].

IH類中亮度高的圖像（λ≥0.5）質(zhì)量較好，亮度和對(duì)比度也合適，對(duì)這類圖像算法主要目標(biāo)是保留圖像原有的質(zhì)量，s、c和γ值的計(jì)算均同式（1）、（4）和（9）.

IH類別中亮度低的圖像（λ<0.5），λ+σ≤1，由于λ和σ的值均小于 0.5，所以γ≥1. 分析可知，這類圖像的輸入輸出曲線必定落在s=R這條線性曲線之上的，算法會(huì)使這類圖像中的偏暗的像素轉(zhuǎn)換到亮度大一些的范圍內(nèi)，圖像的亮度分布更為均勻. 對(duì)于亮度稍微偏低但強(qiáng)度均值較大的圖像來說，變換曲線非常接近s=R曲線.

在實(shí)時(shí)性方面，以處理 416 像素×416 像素的圖像為標(biāo)準(zhǔn)，在本文的實(shí)驗(yàn)平臺(tái)上，自適應(yīng)圖像增強(qiáng)階段的耗時(shí)約為32 ms，較為影響整體檢測(cè)實(shí)時(shí)性，為此本文對(duì)圖像增強(qiáng)過程進(jìn)行了如下改動(dòng)：分離出圖像V通道后，先將V通道的尺寸壓縮到原圖的四分之一，然后進(jìn)行上文自適應(yīng)Gamma校正處理后再將尺寸恢復(fù)到原圖大小. 對(duì)于壓縮的插值方式，本文進(jìn)行了測(cè)試，發(fā)現(xiàn)采用雙線性插值法的時(shí)間和效果較其他插值方法好. 這種處理方式的唯一缺點(diǎn)是造成了圖像輕微模糊，但對(duì)后續(xù)檢測(cè)結(jié)果影響不大，且大大提高了圖像增強(qiáng)的實(shí)時(shí)性，改動(dòng)后圖像增強(qiáng)處理一張圖像只需要9 ms.

2.2 YOLOv3 錨點(diǎn)框聚類算法優(yōu)化

YOLO框架將目標(biāo)檢測(cè)看作回歸問題，YOLOv3[25]替換了YOLOv1直接從圖像像素中得到邊界框的思想，借用RPN的方法生成錨點(diǎn)框. 而先驗(yàn)錨點(diǎn)框的尺度比例和數(shù)目對(duì)計(jì)算速度和最終的邊界框回歸效果有較大影響[13]. 不同于Faster R-CNN，SSD的人為設(shè)定，YOLOv3延用YOLOv2[26]的方法，采用k-means聚類分析法聚類出均值先驗(yàn)錨點(diǎn)框. 但是實(shí)際應(yīng)用時(shí)發(fā)現(xiàn)，聚類結(jié)果與樣本統(tǒng)計(jì)結(jié)果存在一定偏差，影響了后續(xù)檢測(cè)性能，因此本文對(duì)先驗(yàn)錨點(diǎn)框的聚類算法進(jìn)行了優(yōu)化，增加了對(duì)聚類結(jié)果的隨機(jī)修正處理：

對(duì)本文構(gòu)建的交通標(biāo)志數(shù)據(jù)集，首選確定聚類中心數(shù)目Q，根據(jù)聚類統(tǒng)計(jì)平均交并比（Intersection over union, IOU）結(jié)果，結(jié)合 YOLOv3 框架中多尺度預(yù)測(cè)的特點(diǎn)，分別取Q=6，9，12三個(gè)值做訓(xùn)練，權(quán)衡回歸速度和準(zhǔn)確度后，選擇Q=9，如圖4所示.

圖4 聚類中心數(shù)目測(cè)試結(jié)果Fig.4 Test results of number for cluster centers

聚類10次取平均后錨點(diǎn)框的尺寸為（14, 21）、（19, 32）、（25, 38）、（29, 55）、（30, 43）、（37, 56）、（41, 70）、（55, 77）、（73, 108）. 括號(hào)中數(shù)字分別表示錨點(diǎn)框的寬和高，觀察發(fā)現(xiàn)上述聚類結(jié)果的寬高比最小是0.527，最大是0.714. 而對(duì)于本文的數(shù)據(jù)集，統(tǒng)計(jì)訓(xùn)練樣本的寬高比發(fā)現(xiàn)，70%的樣本寬高比在0.72～1之間，20%的樣本寬高比在0.6～0.7之間，10%的樣本寬高比小于0.6，可見聚類結(jié)果與統(tǒng)計(jì)結(jié)果存在一定偏差. 通過如式（10）所示的處理，先驗(yàn)錨點(diǎn)框的聚類結(jié)果得到修正. 如圖5所示，對(duì)比優(yōu)化前后訓(xùn)練損失值發(fā)現(xiàn)，優(yōu)化聚類算法后網(wǎng)絡(luò)的損失值明顯低于優(yōu)化前的損失值，說明優(yōu)化后的錨點(diǎn)框提高了對(duì)交通標(biāo)志的邊框歸回精度和置信度.

2.3 YOLOv3 損失函數(shù)優(yōu)化

在交通場(chǎng)景中，相比于行人或車輛，交通標(biāo)志物理尺寸較小且大部分樣本中最多出現(xiàn)3個(gè)交通標(biāo)志，前景與背景比例嚴(yán)重失衡，應(yīng)用One-stage目標(biāo)檢測(cè)器時(shí)，大部分的邊界框不包含目標(biāo)，這些無目標(biāo)邊界框的置信度誤差比較大，前景的損失淹沒于背景的損失中. 因此本文在原有損失函數(shù)的基礎(chǔ)上進(jìn)行了優(yōu)化，主要思路是自適應(yīng)的均衡前景與背景的損失. 損失函數(shù)包括兩大部分，分別為回歸損失和分類損失，具體計(jì)算公式如下所示：

式中，S為特征圖的寬和高，本文中特征圖的大小有三種：52×52，26×26，13×13，B為每個(gè)錨點(diǎn)位置先驗(yàn)框的數(shù)量；表示該錨點(diǎn)框是否負(fù)責(zé)預(yù)測(cè)目標(biāo)，如果負(fù)責(zé)，那么，否則為0；表示不負(fù)責(zé)預(yù)測(cè)目標(biāo)；xgt、ygt、wgt、hgt為真值，xp、yp、wp、hp為預(yù)測(cè)值，表示目標(biāo)的坐標(biāo)以及寬和高（以像素為單位）；Cgt和Cp分別表示真值置信度和預(yù)測(cè)置信度；Pgt和Pp分別表示分類真值概率和分類預(yù)測(cè)概率；ω分別表示各個(gè)損失部分的權(quán)重系數(shù)，對(duì)于權(quán)重的取值本文的設(shè)定為：ωcoord=5，ωobj=1，ωnoobj=0.5，這樣設(shè)置的目的是減小非目標(biāo)區(qū)域的損失，增大目標(biāo)區(qū)域的損失；為了進(jìn)一步避免背景的損失值對(duì)置信度損失的影響，本文將Cp也作為權(quán)重的一部分自適應(yīng)調(diào)整背景框的損失值.

3 實(shí)驗(yàn)

3.1 網(wǎng)絡(luò)結(jié)構(gòu)、參數(shù)設(shè)置及訓(xùn)練過程

本文采用YOLOv3框架作為檢測(cè)算法的基礎(chǔ)，分別訓(xùn)練了兩個(gè)網(wǎng)絡(luò)，其中一個(gè)是標(biāo)準(zhǔn)YOLOv3網(wǎng)絡(luò)，將其作為本文方法的對(duì)比方法，詳細(xì)的網(wǎng)絡(luò)結(jié)構(gòu)和參數(shù)細(xì)節(jié)見文獻(xiàn)[25]；另外一個(gè)是本文構(gòu)建的網(wǎng)絡(luò)，網(wǎng)絡(luò)結(jié)構(gòu)如圖6所示.

圖5 優(yōu)化前后損失值示意圖Fig.5 Loss value before and after optimization

對(duì)于以上這兩個(gè)網(wǎng)絡(luò)，本文都采用未經(jīng)圖像增強(qiáng)的原始樣本進(jìn)行訓(xùn)練. 為了使模型適應(yīng)多種尺度的測(cè)試圖片，訓(xùn)練過程中采用多尺度訓(xùn)練的方式，每10個(gè)批次（batch）更改一次圖片尺寸，優(yōu)化器采用自適應(yīng)性矩估計(jì)（Adaptive moment estimation，Adam），學(xué)習(xí)率設(shè)置為 10?5，迭代訓(xùn)練 1000 次. 本文實(shí)驗(yàn)平臺(tái)為：NVIDIA 1080Ti GPU 加速運(yùn)算，11 G顯存，16 G 內(nèi)存.

3.2 圖像增強(qiáng)對(duì)比實(shí)驗(yàn)

為了驗(yàn)證本文自適應(yīng)圖像增強(qiáng)算法的有效性，對(duì)三種不同光照條件下含交通標(biāo)志的圖片進(jìn)行測(cè)試，結(jié)果如圖7至圖9所示.

圖7是整體亮度和對(duì)比度都低的圖像處理前后對(duì)比，經(jīng)自適應(yīng)圖像增強(qiáng)后，從像素概率直方圖看出像素值分布在更廣的范圍內(nèi)，圖像的對(duì)比度和亮度明顯提高，圖像的細(xì)節(jié)也能凸顯出來，這對(duì)于交通標(biāo)志的檢測(cè)和識(shí)別是有利的.

圖8是局部光照不均的圖像處理前后對(duì)比，處理前圖像的對(duì)比度相對(duì)較高，但交通標(biāo)志處在陰影位置，不便于檢測(cè)與識(shí)別. 經(jīng)自適應(yīng)圖像增強(qiáng)后，像素概率直方圖中暗區(qū)分布減少，整體直方圖分布更加均勻，圖像中光照不足的部分被加強(qiáng)，標(biāo)志被凸顯出來，且沒有出現(xiàn)過處理的現(xiàn)象.

圖9是亮度和強(qiáng)度均值都相對(duì)適中的圖像樣本處理前后對(duì)比，經(jīng)自適應(yīng)圖像增強(qiáng)后，從像素值概率直方圖和處理后的圖像能看出，僅僅只是藍(lán)色背景區(qū)域稍微加深，其余部分均無較大改變，原圖像質(zhì)量基本得以保留，符合本文自適應(yīng)算法的要求.

通過對(duì)以上三種不同光照情況的增強(qiáng)對(duì)比分析，本文提出的自適應(yīng)增強(qiáng)算法能有效提高多種復(fù)雜光照條件下的圖像質(zhì)量，為后續(xù)檢測(cè)提供質(zhì)量良好的樣本，有利于檢測(cè)性能的提升.

圖6 網(wǎng)絡(luò)參數(shù)圖Fig.6 Network parameter diagram

圖7 整體光照不足的圖像. （a）圖像處理前；（b）圖像處理后；（c）圖像處理前的像素概率直方圖；（d）圖像處理后的像素概率直方圖Fig.7 Images with low overall illumination:(a) image before processing; (b) image after processing; (c) pixel probability histograms of image before processing; (d) pixel probability histograms of image after processing

3.3 實(shí)驗(yàn)檢測(cè)結(jié)果及分析

圖8 局部光照不足圖像. （a）圖像處理前；（b）圖像處理后；（c）圖像處理前像素概率直方圖；（d）圖像處理后像素概率直方圖Fig.8 Images with low local illumination:(a) image before processing; (b) image after processing; (c) pixel probability histograms of image before processing; (d) pixel probability histograms of image after processing

圖9 光照充足圖像. （a）圖像處理前；（b）圖像處理后；（c）圖像處理前像素概率直方圖；（d）圖像處理后像素概率直方圖Fig.9 Images with sufficient illumination:(a) image before processing; (b) image after processing; (c) pixel probability histograms of image before processing; (d) pixel probability histograms of image after processing

由于目前沒有公開的弱光照交通標(biāo)志數(shù)據(jù)集，本文進(jìn)行了兩組測(cè)試實(shí)驗(yàn)，首先在公開的LISA數(shù)據(jù)集上對(duì)改進(jìn)YOLOv3算法（2.2和2.3節(jié)中對(duì)YOLOv3算法的改進(jìn)，不包含自適應(yīng)圖像增強(qiáng)算法）進(jìn)行測(cè)試驗(yàn)證，然后在本文開發(fā)的弱光照中國(guó)交通標(biāo)志數(shù)據(jù)集（測(cè)試集）上對(duì)本文提出的增強(qiáng)YOLOv3算法進(jìn)行對(duì)比驗(yàn)證. 對(duì)于檢測(cè)結(jié)果的評(píng)判，本文設(shè)置置信度閾值為0.8，即置信度超過0.8時(shí)認(rèn)為檢測(cè)到的目標(biāo)是交通標(biāo)志，設(shè)置IOU閾值為0.7，即IOU超過0.7時(shí)認(rèn)定為正樣本，否則為負(fù)樣本.

（1）LISA 數(shù)據(jù)集.

LISA數(shù)據(jù)集是以美國(guó)交通標(biāo)志為基礎(chǔ)構(gòu)建的數(shù)據(jù)集，數(shù)據(jù)集中共包含6610個(gè)樣本，47類7855個(gè)交通標(biāo)志，標(biāo)志尺寸從 6 像素 × 6 像素到 167 像素 × 168 像素不等，圖像尺寸從 640 像素 × 480 像素到 1024 像素 × 522 像素不等. 由于 47 類交通標(biāo)志的數(shù)量不平衡，本文只選取了停止（Stop）和人行道（Pedestrian crossing）兩個(gè)數(shù)量較多的類別進(jìn)行訓(xùn)練和測(cè)試，其中行人標(biāo)志1085個(gè)，停止標(biāo)志1821個(gè)，按照約1∶1的比例劃分組成訓(xùn)練集和測(cè)試集，測(cè)試集中標(biāo)志個(gè)數(shù)為1446個(gè). 改進(jìn)YOLOv3算法和YOLOv3算法的測(cè)試結(jié)果如表2所示.

表2 在 LISA 數(shù)據(jù)集上的測(cè)試結(jié)果（閾值=0.8，IOU=0.7）Table 2 Test results on LISA dataset (threshold = 0.8, IOU = 0.7)

從表2可以看出，在召回率上改進(jìn)YOLOv3算法較YOLOv3高2.56%，但都只有90%左右，說明兩種方法的漏檢標(biāo)志數(shù)量較多；準(zhǔn)確率方面，兩種方法相差不大，說明兩種方法很少出現(xiàn)錯(cuò)檢的交通標(biāo)志. 造成這種現(xiàn)象的原因主要是LISA數(shù)據(jù)集中的樣本通過車載相機(jī)采集，車輛運(yùn)動(dòng)和抖動(dòng)造成圖像較為模糊，從而對(duì)檢測(cè)的召回率造成較大的影響.

在LISA數(shù)據(jù)集上對(duì)YOLOv3和改進(jìn)YOLOv3算法的部分檢測(cè)結(jié)果進(jìn)行了可視化展示，如圖10所示. 通過圖 10（a，b）和圖 10（c，d）對(duì)比發(fā)現(xiàn)，盡管YOLO3成功的檢測(cè)到了圖中的交通標(biāo)志，但其檢測(cè)置信度較改進(jìn)YOLOv3算法的置信度略低，約為0.9～1之間，而改進(jìn)YOLOv3的檢測(cè)置信度基本都接近于1；此外，YOLOv3對(duì)交通標(biāo)志的回歸誤差也較改進(jìn)YOLOv3算法略大. 以上實(shí)驗(yàn)數(shù)據(jù)說明本文的改進(jìn)YOLOv3算法不僅能夠降低檢測(cè)漏檢率，還能提升檢測(cè)正確情況下的檢測(cè)效果.

（2）弱光照中國(guó)交通標(biāo)志數(shù)據(jù)集.

本文構(gòu)建的弱光照中國(guó)交通標(biāo)志數(shù)據(jù)集（測(cè)試集）共包含樣本3130張，內(nèi)含4478個(gè)交通標(biāo)志，在此數(shù)據(jù)集上分別測(cè)試了標(biāo)準(zhǔn)YOLOv3網(wǎng)絡(luò)和增強(qiáng)YOLOv3算法的檢測(cè)性能并進(jìn)行對(duì)比分析，對(duì)比實(shí)驗(yàn)結(jié)果如表3所示.

圖10 不同算法測(cè)試結(jié)果可視化對(duì)比. （a, b）標(biāo)準(zhǔn) YOLOv3；（c, d）改進(jìn) YOLOv3Fig.10 Visual comparison of different algorithm for test results:(a, b) standard YOLOv3; (c, d) improved YOLOv3

表3 在弱光照交通標(biāo)志數(shù)據(jù)集上的測(cè)試結(jié)果（閾值=0.8，IOU=0.7）Table 3 Test results on weak illumination traffic signs dataset (threshold = 0.8, IOU = 0.7)

從表中可看出，標(biāo)準(zhǔn)YOLO3對(duì)偏暗類圖像、明亮類圖像的檢測(cè)召回率分別為96.30%和98.49%，偏暗類圖像的召回率較明亮類圖像的召回率低2.19%，說明標(biāo)準(zhǔn)YOLO3并沒有很好的學(xué)習(xí)到弱光照交通標(biāo)志的特征；而從第4行中可看出，本文提出的增強(qiáng)YOLO3算法對(duì)偏暗類圖像、明亮類圖像的檢測(cè)召回率分別為98.06%和98.70%，偏暗類圖像和明亮類圖像的檢測(cè)召回率相差不大，只有0.64%，說明本文提出自適應(yīng)圖像算法可以有效提高圖像質(zhì)量，凸顯交通標(biāo)志特征，降低后續(xù)檢測(cè)漏檢率.

從上表可看出，增強(qiáng)YOLOv3算法對(duì)偏暗類、明亮類和全部圖像的檢測(cè)召回率較標(biāo)準(zhǔn)YOLOv3方法分別高1.76%、0.21%和0.96%；在準(zhǔn)確率方面，兩種方法對(duì)兩類圖像的交通標(biāo)志誤檢數(shù)量都較少，基本持平，增強(qiáng)YOLOv3較標(biāo)準(zhǔn)YOLOv3高0.48%.

本文對(duì)標(biāo)準(zhǔn)YOLOv3和增強(qiáng)YOLOv3算法的部分檢測(cè)結(jié)果進(jìn)行了可視化展示，如圖11所示.圖 11（a）和（b）顯示標(biāo)準(zhǔn) YOLO3在弱光照情況下對(duì)交通標(biāo)志的檢測(cè)置信度和回歸結(jié)果并不理想，存在置信度低（72.9%和53.83%）和回歸精度差的現(xiàn)象；而圖11（c）和（d）顯示本文提出的增強(qiáng)YOLOv3算法對(duì)交通標(biāo)志檢測(cè)的置信度為99.5%和96.8%，且邊框回歸準(zhǔn)確.

以上數(shù)據(jù)表明本文提出的增強(qiáng)YOLOv3算法可以提高偏暗類圖像的檢測(cè)精度，有效解決弱光照條件下的交通標(biāo)志檢測(cè)與識(shí)別問題.

在實(shí)時(shí)性上，以416像素 × 416像素的圖像為基準(zhǔn)，標(biāo)準(zhǔn)YOLOv3和本文的增強(qiáng)YOLOv3方法檢測(cè)一張圖像分別需要 33 ms和36 ms，基本上保證了每秒 30 幀（30 frames per second，30 fps）的檢測(cè)頻率，達(dá)到了實(shí)時(shí)性的需求.

圖11 不同算法測(cè)試結(jié)果可視化對(duì)比. （a, b）標(biāo)準(zhǔn) YOLOv3；（c, d）增強(qiáng) YOLOv3Fig.11 Visual comparison of different algorithms for test results:(a, b) standard YOLOv3; (c, d) enhanced YOLOv3

4 結(jié)論

本文針對(duì)通用目標(biāo)檢測(cè)框架不能很好解決弱光照條件下的交通標(biāo)志檢測(cè)與識(shí)別問題，提出了采用圖像增強(qiáng)技術(shù)與YOLOv3框架結(jié)合的交通標(biāo)志檢測(cè)與識(shí)別方法. 通過將其與標(biāo)準(zhǔn)YOLOv3算法進(jìn)行性能對(duì)比分析實(shí)驗(yàn)，得出如下結(jié)論：

（1）本文提出的自適應(yīng)圖像增強(qiáng)算法能針對(duì)多種復(fù)雜光照條件下的圖像樣本做出合理的調(diào)整，降低了后續(xù)檢測(cè)算法的漏檢率；

（2）通過改進(jìn)YOLOv3聚類算法與損失函數(shù)，使訓(xùn)練后的檢測(cè)模型更加穩(wěn)定，最終檢測(cè)結(jié)果置信度更高，回歸位置更精確；

（3）通過將本文提出的方法與標(biāo)準(zhǔn)YOLOv3算法進(jìn)行檢測(cè)性能對(duì)比實(shí)驗(yàn)分析，驗(yàn)證了將弱光照條件下的交通標(biāo)志檢測(cè)問題分解為圖像增強(qiáng)和交通標(biāo)志檢測(cè)兩個(gè)任務(wù)具有更好的檢測(cè)效果，為解決此類問題提供了另外一種解決思路.

由于本文提出圖像增強(qiáng)算法較為耗時(shí)，雖然在實(shí)時(shí)性方面做了改進(jìn)，達(dá)到了實(shí)時(shí)增強(qiáng)圖像的效果，但其是在犧牲圖像部分清晰度的前提下實(shí)現(xiàn)的. 因此在未來的工作中，需要進(jìn)行基于深度學(xué)習(xí)的實(shí)時(shí)圖像增強(qiáng)技術(shù)研究，并將圖像增強(qiáng)與目標(biāo)檢測(cè)網(wǎng)絡(luò)整合為端到端的框架，進(jìn)一步提高弱光照條件下交通標(biāo)志檢測(cè)與識(shí)別的性能.