基于多顏色空間級(jí)聯(lián)分類的交通標(biāo)志圖像顏色標(biāo)準(zhǔn)化

劉 洋,黃大榮,劉 洋,鐘 蔚

(1.重慶交通大學(xué) 信息科學(xué)與工程學(xué)院,重慶 400074; 2.陸軍勤務(wù)學(xué)院 后勤指揮系,重慶 401331)

0 概述

交通標(biāo)志檢測(cè)與識(shí)別是智能交通的重要組成部分,對(duì)于交通管理、行車安全以及保證道路暢通等具有重要意義。交通標(biāo)志圖像顏色標(biāo)準(zhǔn)化是對(duì)交通標(biāo)志圖像顏色數(shù)據(jù)的規(guī)范化處理,其能夠降低交通標(biāo)志圖像顏色信息的復(fù)雜性,有利于交通標(biāo)志的檢測(cè)與識(shí)別。

在現(xiàn)實(shí)場(chǎng)景中,交通標(biāo)志圖像顏色易受光照、遮擋、雨霧、顏色退化、拍攝角度、標(biāo)志制作時(shí)顏色標(biāo)準(zhǔn)差異以及圖像收集器材等因素的影響,使得一種顏色存在不同程度的表示和數(shù)據(jù)差異,呈現(xiàn)出一種顏色到一類顏色的一到多映射關(guān)系。交通標(biāo)志顏色標(biāo)準(zhǔn)化處理即利用一定的方法將發(fā)生偏差的同類多種顏色映射到一種顏色,實(shí)現(xiàn)同類多種顏色到一種顏色的多到一映射過(guò)程,該過(guò)程可稱為顏色標(biāo)準(zhǔn)化映射。

在將顏色信息運(yùn)用到交通標(biāo)志檢測(cè)與識(shí)別的研究中,文獻(xiàn)[1]指出了交通標(biāo)志顏色會(huì)受光照、雨霧和風(fēng)化等影響而變化的問(wèn)題。文獻(xiàn)[2]基于交通標(biāo)志顏色穩(wěn)定性存在的問(wèn)題和光照對(duì)圖像顏色的影響,建立一種自適應(yīng)的基于神經(jīng)網(wǎng)絡(luò)的顏色分割模型。文獻(xiàn)[3]基于顏色RGB閾值查表的方法進(jìn)行交通標(biāo)志圖像分割。文獻(xiàn)[4]基于HSI顏色空間閾值化對(duì)彩色交通標(biāo)志圖像實(shí)現(xiàn)分離處理。文獻(xiàn)[5]在HSV顏色空間上采用最大穩(wěn)定極值區(qū)域法對(duì)道路標(biāo)志進(jìn)行檢測(cè)。上述文獻(xiàn)均指出同類交通標(biāo)志顏色因受外界環(huán)境的影響而變得復(fù)雜。在顏色標(biāo)準(zhǔn)化處理方法中,文獻(xiàn)[6-7]在RGB空間內(nèi)利用訓(xùn)練好的基于BP網(wǎng)絡(luò)的顏色分類器對(duì)交通標(biāo)志圖像逐點(diǎn)掃描并進(jìn)行顏色標(biāo)準(zhǔn)化處理,最終實(shí)現(xiàn)圖像的顏色標(biāo)準(zhǔn)化映射。文獻(xiàn)[8-10]選取交通標(biāo)志顏色的標(biāo)定值,對(duì)顏色的RGB三分量進(jìn)行閾值化處理,實(shí)現(xiàn)24位位圖顏色到8種標(biāo)定顏色的標(biāo)準(zhǔn)化映射。文獻(xiàn)[11]提出一種針對(duì)組織圖像的貝葉斯顏色分割算法,實(shí)現(xiàn)了對(duì)圖像顏色的標(biāo)準(zhǔn)化處理,并將其運(yùn)用于骨髓增生異常綜合征(MDS)的醫(yī)學(xué)圖像檢測(cè)中。文獻(xiàn)[12-13]使用9種標(biāo)準(zhǔn)顏色校準(zhǔn)玻片采集顏色信息,利用玻片的固有光譜顏色和采集到的顏色形成顏色校正矩陣,運(yùn)用像素顏色校正矩陣逐像素地將圖像顏色映射到目標(biāo)顏色。文獻(xiàn)[14]實(shí)現(xiàn)了基于期望最大化分割的數(shù)字圖像顏色標(biāo)準(zhǔn)化。文獻(xiàn)[15]基于同一顏色空間內(nèi)單個(gè)像素顏色與標(biāo)準(zhǔn)顏色之間的偏差對(duì)單個(gè)像素顏色進(jìn)行分類。

上述顏色標(biāo)準(zhǔn)化方法主要是基于訓(xùn)練好的分類器逐像素地進(jìn)行顏色分類,關(guān)注對(duì)單個(gè)像素顏色的分類處理,而對(duì)圖像像素之間的空間關(guān)聯(lián)性或像素顏色值在顏色空間中的關(guān)聯(lián)性考慮不足。本文對(duì)交通標(biāo)志圖像顏色標(biāo)準(zhǔn)映射進(jìn)行分析,基于RGB空間、HSV空間和YIQ空間顏色之間的關(guān)聯(lián)性和圖像像素間的空間關(guān)聯(lián)性,提出一種圖像預(yù)處理和級(jí)聯(lián)顏色分類標(biāo)準(zhǔn)化映射方法。

1 交通標(biāo)志顏色標(biāo)準(zhǔn)化映射分析

依據(jù)國(guó)標(biāo)《道路交通標(biāo)志和標(biāo)線第二部分:道路交通標(biāo)志》(GB 5678.2—2009)規(guī)定,交通標(biāo)志可分為7類道路交通主標(biāo)志和1類輔助標(biāo)志,使用的顏色包含白色、黑色、紅色、綠色、藍(lán)色、黃色、棕色、橙色和黃綠色[16],分別用W、Ba、R、G、Bu、Y、Br、O、YG進(jìn)行表示,令集合Aw、Ab、Ad、Ag、At、Aro和Aan分別表示警告、禁令、指示、指路、旅游區(qū)、道路作業(yè)區(qū)和輔助告示類交通標(biāo)志顏色的集合,則交通標(biāo)志顏色集合表述如下:

Aw={W,Ba,R,Y,YG}

Ab={W,Ba,R,G,Bu,Y}

Ad={W,Ba,R,Bu}

Ag={W,Ba,R,G,Bu,Y,Br}

At={W,Br}

Aro={W,Ba,R,Bu,Y,O}

Aan={W,Ba}

令某一矩陣的每行表示一類交通標(biāo)志,從第一行到最后一行依次為警告、禁令、指示、指路、旅游區(qū)、道路作業(yè)區(qū)和輔助告示類交通標(biāo)志,矩陣每一列表示一種顏色,從第一列至最后一列依次為白色、黑色、紅色、綠色、藍(lán)色、黃色、棕色、橙色和黃綠色,可將交通標(biāo)志顏色進(jìn)行矩陣化描述為:

求矩陣MA的秩,可得rank(MA)=7。因此,交通標(biāo)志顏色空間的維度為7,道路交通標(biāo)志顏色可使用7種關(guān)聯(lián)性較小的顏色進(jìn)行線性組合表示,即交通標(biāo)志顏色可劃分為7個(gè)顏色類,每類顏色可映射到其代表色,從而實(shí)現(xiàn)同類多種顏色到一種顏色的標(biāo)準(zhǔn)化映射。簡(jiǎn)化矩陣MA可得:

由上式可得,矩陣MA的線性無(wú)關(guān)列向量為白色、黑色、紅色、綠色、藍(lán)色、黃色和棕色對(duì)應(yīng)的列向量?；诮煌?biāo)志顏色矩陣列向量的線性無(wú)關(guān)性,本文將白色、黑色、紅色、綠色、藍(lán)色、黃色和棕色7種顏色所構(gòu)成的集合作為交通標(biāo)志顏色標(biāo)準(zhǔn)化的目標(biāo)映射集合。

2 顏色標(biāo)準(zhǔn)化方法

2.1 顏色標(biāo)準(zhǔn)化方法總體流程

如圖1所示,交通標(biāo)志圖像顏色標(biāo)準(zhǔn)化處理模型的總體流程為:

1)圖像預(yù)處理。如圖2所示,圖像預(yù)處理包括:圖像HSV和YIQ轉(zhuǎn)換,基于OTSU方法[17]的Y值、S值和V值二值化,基于區(qū)域RGB統(tǒng)計(jì)數(shù)據(jù)的圖像粗分類[18],基于Y值和V值二值化的圖像逆光判斷。

2)判定為不逆光的圖像通過(guò)基于HSV和YIQ空間的級(jí)聯(lián)分類器進(jìn)行分類處理,實(shí)現(xiàn)同類多種顏色到一種顏色的標(biāo)準(zhǔn)化映射。判定為逆光的圖像則按如下步驟進(jìn)行處理:

(1)區(qū)分高亮度和低亮度區(qū)域。

(2)對(duì)高亮度區(qū)域基于HSV和YIQ空間的級(jí)聯(lián)分類器進(jìn)行顏色分類處理。

(3)采用最大類間方差法對(duì)低亮度區(qū)域的Y值和V值重新進(jìn)行二值化。

(4)針對(duì)重新二值化后的低亮度區(qū)域,基于HSV和YIQ空間的級(jí)聯(lián)分類器實(shí)現(xiàn)顏色分類處理,最終進(jìn)行整幅圖像的顏色標(biāo)準(zhǔn)化映射。

圖1 顏色標(biāo)準(zhǔn)化方法總體流程Fig.1 Overall procedure of color standardization method

圖2 圖像預(yù)處理流程Fig.2 Procedure of image preprocessing

2.2 圖像預(yù)處理

2.2.1 基于區(qū)域RGB統(tǒng)計(jì)數(shù)據(jù)的圖像粗分類

基于區(qū)域RGB統(tǒng)計(jì)數(shù)據(jù)的圖像粗分類包括對(duì)圖像三角中心區(qū)域(Triangular Central Area,TCA)和環(huán)狀區(qū)域(Circular Area,CA)的RGB均值統(tǒng)計(jì)、基于統(tǒng)計(jì)數(shù)據(jù)的圖像粗分類、基于圖像粗分類的參數(shù)設(shè)置和亮度增強(qiáng)。

1)圖像區(qū)域RGB數(shù)據(jù)統(tǒng)計(jì)

如圖3所示,陰影區(qū)域?yàn)閿?shù)據(jù)統(tǒng)計(jì)區(qū)域。

圖3 RGB數(shù)據(jù)統(tǒng)計(jì)區(qū)域示意圖Fig.3 Schematic diagram of RGB data statistics area

針對(duì)常見(jiàn)指示標(biāo)志、禁令標(biāo)志和警告標(biāo)志的形狀特征和顏色分布特性,分別對(duì)交通標(biāo)志圖像的三角形中心區(qū)域和環(huán)狀區(qū)域內(nèi)的RGB分量數(shù)據(jù)進(jìn)行統(tǒng)計(jì),統(tǒng)計(jì)數(shù)據(jù)為圖3(a)和圖3(b)所示陰影區(qū)域內(nèi)像素RGB三分量的平均值。由于圖像亮度易受外界影響,對(duì)統(tǒng)計(jì)結(jié)果進(jìn)行歸一化處理,計(jì)算公式如下:

其中,Rm、Gm、Bm為統(tǒng)計(jì)區(qū)域的RGB分量均值,max RGBm為RGB分量均值的最大值,NRm、NGm、NBm為歸一化后的統(tǒng)計(jì)結(jié)果。

2)基于RGB統(tǒng)計(jì)數(shù)據(jù)的圖像粗分類方法

以標(biāo)準(zhǔn)指示類交通標(biāo)志、禁令類交通標(biāo)志和警告類交通標(biāo)志為例,三角中心區(qū)域和環(huán)狀區(qū)域內(nèi)RGB三分量的平均值統(tǒng)計(jì)數(shù)據(jù)如表1所示。

表1 標(biāo)準(zhǔn)交通標(biāo)志區(qū)域統(tǒng)計(jì)數(shù)據(jù)Table 1 Statistical data of standard traffic sign area

以三角中心區(qū)域RGB分量均值統(tǒng)計(jì)為例,對(duì)29種指示類交通標(biāo)志、43種禁令類交通標(biāo)志和45種警告類交通標(biāo)志進(jìn)行統(tǒng)計(jì)并歸一化統(tǒng)計(jì)結(jié)果,如圖4～圖6所示。

圖4 指示類交通標(biāo)志統(tǒng)計(jì)數(shù)據(jù)Fig.4 Statistical data of indicator traffic signs

圖5 禁令類交通標(biāo)志統(tǒng)計(jì)數(shù)據(jù)Fig.5 Statistical data of prohibited traffic signs

圖6 警告類交通標(biāo)志統(tǒng)計(jì)數(shù)據(jù)Fig.6 Statistical data of warning traffic signs

如圖4～圖6所示,利用RGB三分量均值最大分量特征(max RGBm)、RGB三分量均值排序特征(Max,Second和Min)和RGB三分量均值距離特征(Di,i=1,2,3),可對(duì)指示類交通標(biāo)志、禁令類交通標(biāo)志和警告類交通標(biāo)志進(jìn)行粗分類。粗分類方法具體如下:

在由max RGBm、Max、Second、Min、D1、D2和D3構(gòu)成的可對(duì)指示類、禁令類和警告類交通標(biāo)志進(jìn)行粗分類的特征空間Q中,令集合Ams、Aps、Aws分別代表指示類交通標(biāo)志、禁令類交通標(biāo)志和警告類交通標(biāo)志在該空間的特征集合,有Amps=Ams∩Aps,Awps=Aws∩Aps,Amws=Ams∩Aws,q∈Q。如果q∈Ams且q∈(Amps∪Amws),則q對(duì)應(yīng)的標(biāo)志為指示類交通標(biāo)志;如果q∈Aps且q∈(Amps∪Awps),則q對(duì)應(yīng)的標(biāo)志為禁令類交通標(biāo)志;如果q∈Aws且q∈(Amws∪Awps),則q對(duì)應(yīng)的標(biāo)志為警告類交通標(biāo)志。除上述情況外,q對(duì)應(yīng)的標(biāo)志為不確定類交通標(biāo)志。

3)基于圖像粗分類的參數(shù)設(shè)置和亮度增強(qiáng)

基于圖像粗分類的參數(shù)設(shè)置為后續(xù)級(jí)聯(lián)顏色分類器設(shè)置參數(shù),包括顏色區(qū)間參數(shù)和黑色補(bǔ)充分類器參數(shù)。顏色區(qū)間參數(shù)設(shè)置即在確定交通標(biāo)志類型的前提下,針對(duì)不同類型的交通標(biāo)志設(shè)置映射目標(biāo)顏色類的H值區(qū)間范圍。黑色補(bǔ)充分類器參數(shù)設(shè)置即在確定交通標(biāo)志類型的前提下,針對(duì)不同類型的交通標(biāo)志設(shè)置一個(gè)V值的閾值,當(dāng)映射目標(biāo)顏色的V值小于該閾值時(shí),即認(rèn)為該顏色為黑色。

基于圖像粗分類的亮度增強(qiáng)即在確定交通標(biāo)志類型的前提下,采取基于V值的二值化進(jìn)行圖像亮度提升,亮度提升系數(shù)如圖7所示,具體方法如下:

(1)將圖像從RGB空間轉(zhuǎn)到HSV空間。

(2)基于OTSU實(shí)現(xiàn)圖像V值的二值化。

(3)V值二值化為1的像素,其RGB分量提升比例為255/V,V為像素亮度。

(4)V值二值化為0的像素,其RGB分量提升比例為255/thresh_v,thresh_v為圖像亮度二值化閾值。

圖7 基于V值的亮度提升系數(shù)示意圖Fig.7 Schematic diagram of brightness enhancementcoefficient based on V value

2.2.2 圖像逆光判定

逆光采集交通標(biāo)志圖像會(huì)形成交通標(biāo)志處于低亮度區(qū)、背景處于高亮度區(qū)的逆光圖像,如圖8(a)所示。將該圖進(jìn)行HSV和YIQ轉(zhuǎn)換,然后采用最大類間方差法進(jìn)行Y值和V值的二值化,結(jié)果如圖8(b)和圖8(c)所示。由圖8(b)和圖8(c)可以看出,由于逆光的緣故,交通標(biāo)志圖像的Y值和V值二值化效果圖只保留了交通標(biāo)志的輪廓信息,幾乎未保留交通標(biāo)志圖像的內(nèi)部細(xì)節(jié)信息。

圖8 逆光交通標(biāo)志及其Y值和V值二值化結(jié)果Fig.8 Backlight traffic sign and its binary results ofY value and V value

圖9(a)所示為光照暗淡的交通標(biāo)志圖像原圖,圖9(b)為Y值二值化效果圖,圖9(c)為V值二值化效果圖。由此可見(jiàn),在不逆光的情況下,將暗淡圖像采用最大類間方差法對(duì)Y值和V值二值化,仍然能夠很好地保留原始圖像的細(xì)節(jié)信息數(shù)據(jù)。因此,判別圖像是否逆光有利于圖像預(yù)處理后保留圖像數(shù)據(jù)。

圖9 非逆光交通標(biāo)志及其Y值和V值二值化結(jié)果Fig.9 Non-backlight traffic sign and its binary results ofY value and V value

本文采用的逆光判別方法為圖像中心區(qū)域亮度判別法,基本思路為:

1)對(duì)原始圖像的Y值和V值進(jìn)行二值化,得到Y(jié)值二值化PBWY和V值二值化PBWV。

2)統(tǒng)計(jì)PBWY和PBWV中心區(qū)域二值化為1的像素比例,并以此作為圖像中心區(qū)域明亮程度的判別條件。令PBWY和PBWV中心區(qū)域明亮程度分別為Pbcy和Pbcv,則有:

在分析交通標(biāo)志圖像圖形特征、顏色數(shù)據(jù)信息構(gòu)成的基礎(chǔ)上,如圖10所示,將中心陰影區(qū)域作為進(jìn)行統(tǒng)計(jì)的中心區(qū)域,該中心區(qū)域?yàn)榫匦螀^(qū)域,大小為圖像總面積的1/16,即:

n1=Width×3/8,n2=Width×5/8

其中,Width為圖像寬度。

m1=Height×3/8,m2= Height×5/8

其中,Height為圖像高度。

圖10 矩形中心區(qū)域示意圖Fig.10 Schematic diagram of rectangular central area

3)通過(guò)樣本訓(xùn)練獲得圖像逆光與否的判別閾值Tvbl和Tybl。依據(jù)第2步的統(tǒng)計(jì)數(shù)據(jù),當(dāng)Pbcv≤Tvbl且Pbcy≤Tybl時(shí),則認(rèn)為交通標(biāo)志圖像逆光,需要另做處理。

2.3 基于HSV空間和YIQ空間的級(jí)聯(lián)顏色分類器

如圖11所示,基于HSV和YIQ空間的級(jí)聯(lián)顏色分類器由基于Y值和S值二值化的黑白色分類器、基于H值可變區(qū)間劃分的紅綠藍(lán)黃色分類器、基于YIQ空間的紅棕色分類器和基于圖像粗分類的黑白色補(bǔ)償分類器構(gòu)成。

圖11 基于HSV和YIQ空間的級(jí)聯(lián)顏色分類器模型Fig.11 Cascaded color classifier model based on HSV andYIQ space

2.3.1 基于Y值和S值二值化的黑白色分類器

依據(jù)國(guó)標(biāo)《中國(guó)顏色體系GB/T 15608-2006》規(guī)定,白色(White,W)為物體明度大于8.5的中性色,絕對(duì)白色(Absolute White,AW)為物體明度為10的理想白色[19]。本文將物體明度大于8.5的中性色稱為泛白色(Generic White,GW)。在實(shí)際場(chǎng)景中,絕對(duì)白色少見(jiàn),更多的是泛白色,泛白色是一個(gè)相對(duì)概念而非絕對(duì)概念。

對(duì)圖像明亮程度進(jìn)行分析,泛白色相對(duì)于絕對(duì)白色而言,其明度小于或等于10。在圖像整體暗淡的情況下,泛白色的明度甚至小于或等于8.5,但相對(duì)于圖像中其他顏色(Other Colors,OC)而言,其明度又相對(duì)較高。將上述顏色轉(zhuǎn)換到HSV空間,泛白色的V值小于或等于255,在圖像整體暗淡的情況下,其V值小于或等于217,但相對(duì)于圖像中其他顏色而言較高,即:

VGW≤255,VGW≥VOC

同理,在YIQ空間中有:

YGW≤255,YGW≥YOC

因此,泛白色經(jīng)HSV轉(zhuǎn)換、YIQ轉(zhuǎn)換、Y值和V值二值化后,其對(duì)應(yīng)的Y值和V值二值化值(采用OTSU方法)應(yīng)為1,即BZ_YGW=1,BZ_VGW=1,其中,BZ為二值化的縮寫(xiě)。

對(duì)顏色濃度進(jìn)行分析,絕對(duì)白色在HSV空間中的S值等于0,當(dāng)S值趨近于0時(shí),其他顏色趨近于白色。因此,有:

SGW≤SOC,SGW→0 ||SGW=0

因此,泛白色經(jīng)HSV轉(zhuǎn)換和S值二值化后,其對(duì)應(yīng)的S值二值化值(采用OTSU方法)應(yīng)為0,即:

BZ_SGW=0。

因此,白色的判別條件為:

BZ_YGW=1, BZ_SGW=0

本文基于上式構(gòu)建白色分類器。

依據(jù)國(guó)標(biāo)《中國(guó)顏色體系GB/T 15608—2006》規(guī)定,黑色(Black,Ba)為物體明度小于2.5的中性色,絕對(duì)黑色(Absolute Black,ABa)為物體明度為0的理想黑色。同上所述,本文將明度小于2.5的中性色稱為泛黑色(Generic Black,GBa)。同理,由:

VGBa≤64,VGBa≤VOC

YGBa≤64,YGBa≤YOC

得:

BZ_YGBa=0,BZ_VGBa=0

且:

BZ_SGBa=0

因此,黑色的判別條件之一為BZ_YGBa=0,BZ_SGBa=0。本文基于此構(gòu)建黑色初分類器。

2.3.2 基于H值可變區(qū)間劃分的紅綠藍(lán)黃色分類器

交通標(biāo)志顏色包括白色、黑色、紅色、綠色、藍(lán)色、黃色、棕色、橙色和黃綠色共9種顏色,但是顏色標(biāo)準(zhǔn)化映射到白色、黑色、紅色、綠色、藍(lán)色、黃色和棕色共7種顏色。其中,紅色、綠色、藍(lán)色、黃色和棕色采用HSV空間區(qū)分更直接并符合人類視覺(jué)感受。由HSV空間的定義可知,H為色調(diào),S為顏色飽和度,V為顏色明度,H值對(duì)顏色的分類起到了主要決定作用。將H值歸一化到[0,1]區(qū)間內(nèi),可得:

HR=0或HR→1

HG=0.333 3

HBu=0.666 7

HY=0.166 7

HBr=0.083 3

其中,HR、HG、HBu、HY、HBr分別為理想狀態(tài)下紅色、綠色、藍(lán)色、黃色、棕色的色調(diào)值。根據(jù)色調(diào)相似性可知,同類顏色在HSV空間中其H值是相等或相近的。因此,可構(gòu)建基于H值區(qū)間劃分的紅綠藍(lán)黃色分類器,初始H值區(qū)間劃分如表2所示。

表2 初始H值區(qū)間劃分Table 2 Initial division of H value interval

由于存在顏色偏差,同類顏色在不同情況下會(huì)出現(xiàn)H值偏差?；趫D像預(yù)處理環(huán)節(jié)的交通標(biāo)志粗分類,對(duì)于確定的交通標(biāo)志類圖像,可擴(kuò)大其相關(guān)的顏色區(qū)間,壓縮其他顏色區(qū)間,從而構(gòu)建基于圖像粗分類的H值可變區(qū)間劃分的顏色分類器。

由于紅色和棕色的理想標(biāo)準(zhǔn)H值在區(qū)間[0,0.1]內(nèi),2種顏色H值間隔較小,容易引發(fā)顏色誤分,因此,本文在分類器后再串聯(lián)一個(gè)分類器,以對(duì)這2種顏色進(jìn)行再細(xì)分。

2.3.3 基于YIQ空間的紅棕色分類器

將圖12(a)所示的紅色樣本和圖12(b)所示的棕色樣本進(jìn)行HSV轉(zhuǎn)換,在直角坐標(biāo)平面內(nèi)統(tǒng)計(jì)樣本圖片中所有像素顏色的H值和S值分布,結(jié)果如圖13所示(彩色效果見(jiàn)《計(jì)算機(jī)工程》官網(wǎng)電子版,下同)。

圖12 紅色樣本和棕色樣本示意圖Fig.12 Schematic diagram of red sample andbrown sample

圖13 直角坐標(biāo)平面內(nèi)樣本H值、S值分布Fig.13 Distribution of H values and S values ofsamples in rectangular coordinate plane

在圖13中,紅色區(qū)域?yàn)榧t色樣本H值和S值分布區(qū)域,品紅色區(qū)域?yàn)樽厣珮颖綡值和S值分布區(qū)域。在HSV空間中,紅色和棕色的H值間隔小,S值有重復(fù),容易產(chǎn)生顏色類錯(cuò)分,因此,在HSV空間中對(duì)這2種顏色進(jìn)行分類的可行性不高。

如圖14所示,紅色點(diǎn)代表紅色樣本在IQ平面內(nèi)的分布情況,藍(lán)色點(diǎn)代表棕色樣本在IQ平面內(nèi)的分布情況。圖15所示為樣本IQ平面分布熱力圖,其為圖14的直接映射圖像。由圖14、圖15可以看出,紅色樣本和棕色樣本分布重合區(qū)域較小。因此,在統(tǒng)計(jì)YIQ空間IQ平面內(nèi)樣本IQ值分布的基礎(chǔ)上,可基于YIQ空間對(duì)紅色和棕色進(jìn)行線性分類。

圖14 樣本在IQ平面內(nèi)的分布情況Fig.14 Distribution of samples in IQ plane

圖15 樣本IQ平面分布熱力圖Fig.15 Thermal diagram of sample distribution in IQ plane

如圖16所示,可利用樣本訓(xùn)練得到組合的線性分割函數(shù),對(duì)紅色和棕色進(jìn)行較好的分類。

圖16 紅色和棕色線性分割示意圖Fig.16 Linear segmentation diagram of red and brown

線性分割函數(shù)L1和L2的計(jì)算公式為:

L1→A1I+B1Q+C1=0

(1)

L2→A2I+B2Q+C2=0

(2)

其中,Ai、Bi、Ci(i=1,2)為常數(shù)。令I(lǐng)r、Qr分別為基于H值區(qū)間劃分后紅色Cr的RGB值進(jìn)行YIQ轉(zhuǎn)換后對(duì)應(yīng)的I值和Q值。將Ir、Qr代入式(1)和式(2)進(jìn)行計(jì)算,則當(dāng)式(3)和式(4)都成立時(shí),Cr為紅色;否則,Cr為棕色。

A1Ir+B1Qr+C1≥0

(3)

A2Ir+B2Qr+C2≤0

(4)

2.3.4 基于圖像粗分類的黑白色補(bǔ)償分類器

絕對(duì)黑色在實(shí)際圖像中較少存在,更多的是相對(duì)黑色。在HSV空間中,當(dāng)V值足夠小(V值<0.15時(shí)),視覺(jué)感知的顏色基本接近黑色,可以忽略H值的影響,僅需一個(gè)量化值就可以進(jìn)行表示[20]。因此,在上文分類器后再級(jí)聯(lián)一個(gè)分類器對(duì)黑色進(jìn)行補(bǔ)償分類,確保黑色完全分類。在不同類交通標(biāo)志中,相對(duì)黑色的色調(diào)范圍是可統(tǒng)計(jì)的,依據(jù)統(tǒng)計(jì)數(shù)據(jù),對(duì)各類交通標(biāo)志相對(duì)黑色的顏色提高歸一化V值閾值;反之,降低相對(duì)黑色的顏色歸一化V值閾值。同理,絕對(duì)白色在實(shí)際圖像中較少存在,更多的是相對(duì)白色?；趫D像粗分類的白色補(bǔ)償分類器依據(jù)統(tǒng)計(jì)數(shù)據(jù),對(duì)各類交通標(biāo)志相對(duì)白色的顏色設(shè)置歸一化V值閾值。

3 實(shí)驗(yàn)分析

3.1 實(shí)驗(yàn)樣本數(shù)據(jù)和測(cè)試數(shù)據(jù)

3.1.1 樣本數(shù)據(jù)構(gòu)成

本文基于中國(guó)交通標(biāo)志檢測(cè)數(shù)據(jù)集[21-23],通過(guò)互聯(lián)網(wǎng)搜集和人工手動(dòng)采集了不同情景下道路交通標(biāo)志圖片共7類200個(gè)。其中,標(biāo)準(zhǔn)交通標(biāo)志圖片共7類56個(gè),實(shí)際場(chǎng)景共7類144個(gè)。圖17所示為樣本標(biāo)準(zhǔn)交通圖片和非標(biāo)準(zhǔn)交通圖片數(shù)據(jù)樣例。

圖17 交通標(biāo)志樣例Fig.17 Examples of traffic signs

3.1.2 測(cè)試數(shù)據(jù)構(gòu)成

本文基于中國(guó)交通標(biāo)志檢測(cè)數(shù)據(jù)集,選取交通標(biāo)志圖片共3類5 905個(gè),含指示類交通標(biāo)志1 640個(gè)、禁令類交通標(biāo)志3 082個(gè)和警告類交通標(biāo)志1 183個(gè)。

3.2 實(shí)驗(yàn)結(jié)果及分析

3.2.1 圖像粗分類效果

按照交通標(biāo)志類型對(duì)圖像粗分類方法進(jìn)行測(cè)試,令M代表指示類交通標(biāo)志,P代表禁令類交通標(biāo)志,W代表警告類交通標(biāo)志,N代表不確定類交通標(biāo)志,測(cè)試結(jié)果如表3所示。以禁令類交通標(biāo)志為例,表3中絕對(duì)正確率和相對(duì)正確率的計(jì)算公式如下:

絕對(duì)正確率=粗分類為P數(shù)/標(biāo)志總數(shù)

相對(duì)正確率=(粗分類為P數(shù)+粗分類為N數(shù))/標(biāo)志總數(shù)

表3 粗分類結(jié)果統(tǒng)計(jì)Table 3 Coarse classification result statistics

在指示、禁令和警告3類交通標(biāo)志中,絕對(duì)正確率最高的是指示類交通標(biāo)志,最低的是警告類交通標(biāo)志,相對(duì)正確率最高的是警告類交通標(biāo)志,最低的是指示類交通標(biāo)志。造成該現(xiàn)象的原因?yàn)?指示類交通標(biāo)志的顏色較為單一,以藍(lán)色和白色為主,利于圖像粗分類,使得指示類交通標(biāo)志絕對(duì)正確率較高;警告類交通標(biāo)志的主要顏色為黃色和黑色,而黃色為紅色和綠色的調(diào)和色,不利于粗分類,使得警告類交通標(biāo)志絕對(duì)正確率較低。

3.2.2 圖像顏色標(biāo)準(zhǔn)化效果

圖18所示為顏色標(biāo)準(zhǔn)化成功圖例,顏色標(biāo)準(zhǔn)化處理后的圖片保留了原圖的主要紋理信息和顏色信息,并且對(duì)原圖亮度不一致的同類色區(qū)域?qū)崿F(xiàn)了顏色和亮度校正,降低了圖像的復(fù)雜度,提升了交通標(biāo)志的可識(shí)別性。圖19所示為顏色標(biāo)準(zhǔn)化失敗圖例,其雖保留了交通標(biāo)志的輪廓信息,但對(duì)交通標(biāo)志內(nèi)部的結(jié)構(gòu)和顏色信息提取較少,降低了交通標(biāo)志的可識(shí)別性。本文所提顏色標(biāo)準(zhǔn)化模型的測(cè)試結(jié)果如表4所示。

圖18 顏色標(biāo)準(zhǔn)化成功圖例Fig.18 Image example of sccessful color standardization

圖19 顏色標(biāo)準(zhǔn)化失敗圖例Fig.19 Image example of failed color standardization

表4 顏色標(biāo)準(zhǔn)化測(cè)試結(jié)果Table 4 Color standardization test results

從表4可以看出,本文所提顏色標(biāo)準(zhǔn)化模型取得了較好的效果,顏色標(biāo)準(zhǔn)化成功率從高到低依次為指示類交通標(biāo)志、警告類交通標(biāo)志和禁令類交通標(biāo)志。對(duì)比交通標(biāo)志粗分類的絕對(duì)正確率,指示類交通標(biāo)志的粗分類和顏色標(biāo)準(zhǔn)化效果保持一致,成功率最高;對(duì)比交通標(biāo)志粗分類的相對(duì)正確率,警告類交通標(biāo)志和禁令類交通標(biāo)志顏色標(biāo)準(zhǔn)化效果和粗分類相對(duì)正確率保持一致。因此,提高交通標(biāo)志粗分類的絕對(duì)正確率有助于提升顏色標(biāo)準(zhǔn)化效果。另外,經(jīng)過(guò)統(tǒng)計(jì)分析,可知顏色標(biāo)準(zhǔn)化失敗案例主要為低分辨率圖像、中心區(qū)域高亮度干擾圖像和噪聲圖像,今后可在圖像預(yù)處理和頻域處理上進(jìn)行改進(jìn)。

4 結(jié)束語(yǔ)

本文在對(duì)交通標(biāo)志顏色標(biāo)準(zhǔn)化映射進(jìn)行分析的基礎(chǔ)上,提出一種交通標(biāo)志圖像顏色標(biāo)準(zhǔn)化方法,確立交通標(biāo)志顏色標(biāo)準(zhǔn)化映射目標(biāo)集合,通過(guò)圖像粗分類和基于HSV-YIQ-RGB多顏色空間級(jí)聯(lián)分類實(shí)現(xiàn)顏色標(biāo)準(zhǔn)化映射。測(cè)試結(jié)果表明,該方法對(duì)交通標(biāo)志圖像進(jìn)行顏色標(biāo)準(zhǔn)化時(shí)成功率較高。下一步除探究性能更好的交通標(biāo)志顏色標(biāo)準(zhǔn)化方法之外,還可就交通標(biāo)志圖像處理問(wèn)題進(jìn)行深入研究,以推動(dòng)交通標(biāo)志檢測(cè)與識(shí)別的進(jìn)一步發(fā)展。