交通禁令標(biāo)志自動(dòng)圖像識(shí)別方法設(shè)計(jì)與仿真

高宇鵬，梁世軍

(1. 晉中信息學(xué)院信息工程學(xué)院，山西 晉中 030800；2. 南京大學(xué)物理學(xué)院，江蘇 南京 210008)

1 引言

在現(xiàn)實(shí)生活中交通禁令標(biāo)志隨處可見(jiàn)，道路中的交通標(biāo)志保障著人們出行的便捷性和安全性，包括車輛引流、安全警示和減速限行等。目前已有的交通禁令標(biāo)志識(shí)別方法已經(jīng)取得了一些成績(jī)，但受天氣狀況、光照強(qiáng)度等自然因素的影響，在道路中車輛實(shí)際獲取的交通禁令標(biāo)志圖像的清晰度較差，對(duì)交通禁令標(biāo)志的識(shí)別產(chǎn)生了影響，因此需要對(duì)交通禁令標(biāo)志識(shí)別方法進(jìn)行分析和研究。

丁博等人結(jié)合卷積神經(jīng)網(wǎng)絡(luò)和AdaBoost-SVM構(gòu)建混合預(yù)測(cè)模型，通過(guò)卷積神經(jīng)網(wǎng)絡(luò)提取交通禁令標(biāo)志的特征，利用AdaBoost-SVM分類器根據(jù)提取的特征完成交通禁令標(biāo)志的識(shí)別。該方法獲取交通禁令標(biāo)志時(shí)受自然因素的影響，導(dǎo)致圖像的清晰度較低。張文熾等人對(duì)交通禁令標(biāo)志進(jìn)行增廣處理，并通過(guò)超分辨技術(shù)擴(kuò)大交通禁令標(biāo)志圖像的細(xì)節(jié)信息，結(jié)合VGG11和AlexNet獲取圖像特征，將其輸入Softmax分類器中，完成交通禁令標(biāo)志的識(shí)別，該方法存在召回率低的問(wèn)題。于平平等人對(duì)交通禁令標(biāo)志進(jìn)行預(yù)處理，利用視覺(jué)注意模型獲取交通禁令標(biāo)志圖像的初級(jí)特征，包括方向特征、亮度特征和顏色特性，根據(jù)獲取的特征得到交通禁令標(biāo)志的感興趣區(qū)域，在嵌入式平臺(tái)中根據(jù)交通禁令標(biāo)志的幾何特征完成識(shí)別，該方法沒(méi)有對(duì)獲取的交通禁令標(biāo)志圖像進(jìn)行增強(qiáng)處理，無(wú)法獲得細(xì)節(jié)信息，導(dǎo)致方法的識(shí)別精度低。

為了解決上述方法中存在的問(wèn)題，提出基于改進(jìn)YOLOv4的交通禁令標(biāo)志自動(dòng)識(shí)別方法。

2 圖像增強(qiáng)處理

由于自然和人為因素導(dǎo)致獲取的交通禁令標(biāo)志的清晰度較低，為了獲取交通禁令標(biāo)志中存在的細(xì)節(jié)信息，在識(shí)別之前采用混合蛙跳算法對(duì)交通禁令標(biāo)志進(jìn)行增強(qiáng)處理。

2.1 混合蛙跳算法模型

在混合蛙跳算法中通過(guò)下式更新族群的位置

(1)

隨機(jī)處理每一維上存在的分量時(shí)，容易錯(cuò)過(guò)最優(yōu)解，為了解決上述問(wèn)題，通過(guò)閾值選擇策略對(duì)混合蛙跳算法進(jìn)行優(yōu)化。

更新分量時(shí)，需要對(duì)|

D

-1-

D

|和|

D

-2-

D

|的大小進(jìn)行判斷，如果|

D

-1-

D

|的值大于|

D

-2-

D

|的值，此時(shí)容易錯(cuò)過(guò)最優(yōu)解，應(yīng)該通過(guò)較小的更新概率更新第

j

維數(shù)值；如果|

D

-1-

D

|的值小于|

D

-2-

D

|的值，容易出現(xiàn)局部最優(yōu)的問(wèn)題，為了使第

j

維數(shù)據(jù)在較短時(shí)間內(nèi)靠近全局最優(yōu)解，需要利用較大的更新概率更新第

j

維數(shù)值。

通過(guò)上述分析，可將局部更新策略改進(jìn)為

(2)

(3)

式中，

q

代表的是局部更新閾值；

g

代表的是更新一次的循環(huán)次數(shù)；

g

代表的是族內(nèi)存在的最大循環(huán)次數(shù)；

q

代表的是隨機(jī)數(shù)，在區(qū)間[-1，1]內(nèi)取值；更新完參數(shù)

D

后，再對(duì)

X

進(jìn)行更新。設(shè)

p

代表的是與每只蛙目標(biāo)函數(shù)對(duì)應(yīng)的概率分布，其計(jì)算公式如下

(4)

式中，

n

代表的是蛙的數(shù)量。

2.2 圖像增強(qiáng)

通過(guò)歸一化非完全Beta函數(shù)對(duì)交通禁令標(biāo)志圖像進(jìn)行增強(qiáng)處理，非完全Beta函數(shù)F(u)的表達(dá)式如下

(5)

式中，

B

(

α

，

β

)代表的是Beta函數(shù)；t代表的是歸一化系數(shù)。交通禁令標(biāo)志圖像增強(qiáng)變化曲線的擬合可以通過(guò)Beta函數(shù)中與參數(shù)

α

、

β

對(duì)應(yīng)的最佳組合得以實(shí)現(xiàn)，獲取交通禁令標(biāo)志圖像變換函數(shù)的最優(yōu)參數(shù)值，完成交通禁令標(biāo)志圖像的增強(qiáng)處理。設(shè)(

x

，

y

)為交通禁令標(biāo)志圖像的中心，矩形區(qū)域

A

由尺寸為

M

×

N

的區(qū)域構(gòu)成，

G

代表的是像素在各區(qū)域中存在的數(shù)量，

E

代表的是區(qū)域?qū)?yīng)的灰度平均值，如果區(qū)域中存在噪聲點(diǎn)，則該區(qū)域內(nèi)存在一些點(diǎn)與灰度平均值的差值較大。利用點(diǎn)在區(qū)域中對(duì)應(yīng)的灰度值

l

(

x

′，

y

′)對(duì)區(qū)域中存在的噪聲點(diǎn)進(jìn)行判斷|

E

-(

E

-

E

)|<|

E

-

l

|

(6)

式中，

E

、

E

分別代表的是點(diǎn)的最大灰度平均值和最小灰度平均值。設(shè)置混合蛙跳的適應(yīng)值函數(shù)為

fitness

(

i

)，其表達(dá)式如下

(7)

對(duì)上式進(jìn)行分析可知，交通禁令標(biāo)志圖像的灰度隨著適應(yīng)值函數(shù)

fitness

(

i

)的值增大分布得更均勻，交通禁令標(biāo)志圖像的增強(qiáng)質(zhì)量隨著圖像對(duì)比度的增加而提高。青蛙的適應(yīng)度函數(shù)選取各區(qū)域內(nèi)像素的灰度平均值

E

，采用混合青蛙算法對(duì)交通禁令標(biāo)志圖像進(jìn)行增強(qiáng)的具體步驟如下：

1)歸一化處理交通禁令標(biāo)志圖像

(8)

式中，

g

(

x

，

y

)代表的是歸一化處理后的圖像。2)對(duì)青蛙子群進(jìn)行初始化處理，隨機(jī)在劃分區(qū)域內(nèi)獲取一組(

α

，

β

)，對(duì)交通禁令標(biāo)志圖像進(jìn)行增強(qiáng)處理。按照從大到小的順序?qū)?

α

，

β

)進(jìn)行排序，在每個(gè)子群位置中獲取最差的蛙(

α

，

β

)和最佳的蛙(

α

，

β

)，通過(guò)改進(jìn)后的混沌蛙跳算法更新所有子群，當(dāng)滿足終止條件時(shí)，停止迭代，獲得最佳(

α

，

β

)值。3)根據(jù)上述獲取的(

α

，

β

)對(duì)噪聲點(diǎn)進(jìn)行判斷，獲得符合混沌蛙跳的適應(yīng)度函數(shù)。

4)對(duì)交通禁令標(biāo)志圖像進(jìn)行歸一化處理，完成交通禁令標(biāo)志圖像的增強(qiáng)處理。

3 交通禁令標(biāo)志自動(dòng)識(shí)別

交通禁令標(biāo)志自動(dòng)識(shí)別的主要流程為對(duì)增強(qiáng)處理后的交通禁令標(biāo)志圖像進(jìn)行顏色空間轉(zhuǎn)換，根據(jù)顏色特征提取交通禁令標(biāo)志圖像的感興趣區(qū)域。

獲取感興趣區(qū)域：將增強(qiáng)處理后的交通禁令標(biāo)志圖像的顏色空間由RGB轉(zhuǎn)變?yōu)镠SV

(9)

(10)

V

=

C

(11)

式中，

H

、

S

、

V

代表的是

HSV

顏色空間中的分量；

R

、

G

、

B

代表的是

RGB

顏色空間中的分量，參數(shù)

C

=max(

R

′，

G

′，

B

′)。在

HSV

顏色空間中獲取交通禁令標(biāo)志圖像的主要顏色，包括紅色、黃色和藍(lán)色，并對(duì)

H

、

S

、

V

分量進(jìn)行歸一化處理，將其控制在[0，1]范圍內(nèi)

(12)

式中，

red

、

yellow

、

bule

分別為紅色分量、黃色分量和藍(lán)色分量。對(duì)交通禁令標(biāo)志圖像進(jìn)行二值化處理，消除圖像中的較小連通區(qū)域，得到交通禁令標(biāo)志圖像

Image

。用

U

=(

x

，

y

)、

D

=(

x

，

y

)描述標(biāo)志圖像感興趣區(qū)域的左上點(diǎn)坐標(biāo)和右下點(diǎn)坐標(biāo)，其中：

(13)

式中，

x

、

x

分別代表的是像素在交通禁令標(biāo)志圖像

x

方向中存在的最小值和最大值；

y

、

y

分別代表的是像素在交通禁令標(biāo)志圖像

y

方向中存在的最小值和最大值；

h

描述的是交通禁令標(biāo)志圖像在

x

方向上對(duì)應(yīng)的長(zhǎng)度，通過(guò)上述過(guò)程獲得交通禁令標(biāo)志圖像的感興趣區(qū)域。

預(yù)測(cè)類別：

soft

-max在分類過(guò)程中存在類間互斥的現(xiàn)象，會(huì)對(duì)交通禁令標(biāo)志圖像的識(shí)別產(chǎn)生影響，通過(guò)二元交叉熵函數(shù)

loss

在訓(xùn)練階段對(duì)交通禁令標(biāo)志圖像進(jìn)行預(yù)測(cè)

(14)

預(yù)測(cè)跨尺度：基于改進(jìn)YOLOv4的交通禁令標(biāo)志自動(dòng)識(shí)別方法在特征金字塔網(wǎng)絡(luò)思想的基礎(chǔ)上獲取交通禁令標(biāo)志圖像中存在的細(xì)粒度和語(yǔ)義信息，將其作為特征信息。利用YOLOv4算法對(duì)邊界框進(jìn)行預(yù)測(cè)，獲得不同尺度的錨點(diǎn)。在邊界框中利用k-means算法獲取先驗(yàn)信息。

提取特征：YOLOv4算法通過(guò)Darknet-53網(wǎng)絡(luò)提取交通禁令標(biāo)志圖像的特征，將殘差單元添加到Darknet-19網(wǎng)絡(luò)中，將去除dropout操作和批量歸一化操作添加到卷積層中，避免特征提取過(guò)程中存在的擬合現(xiàn)象。損失函數(shù)在訓(xùn)練過(guò)程中的表達(dá)式如下

(15)

通過(guò)YOLOv4算法通過(guò)上述過(guò)程獲取交通禁令標(biāo)志的特征，實(shí)現(xiàn)交通禁令標(biāo)志的識(shí)別。

4 實(shí)驗(yàn)與分析

為了驗(yàn)證基于改進(jìn)YOLOv4的交通禁令標(biāo)志自動(dòng)識(shí)別方法的整體有效性，需要對(duì)其進(jìn)行測(cè)試，采用Matlab軟件對(duì)實(shí)驗(yàn)中的圖像與數(shù)據(jù)進(jìn)行處理。

清晰度是影響交通禁令標(biāo)志識(shí)別結(jié)果的重要因素，分別采用基于改進(jìn)YOLOv4的交通禁令標(biāo)志自動(dòng)識(shí)別方法、文獻(xiàn)[3]方法和文獻(xiàn)[4]方法對(duì)清晰度較低的交通禁令標(biāo)志進(jìn)行處理，處理結(jié)果如圖1所示。

圖1 不同方法的圖像處理結(jié)果

圖1(a)為模糊交通禁令標(biāo)志，分別采用所提方法、文獻(xiàn)[3]方法和文獻(xiàn)[4]方法對(duì)其進(jìn)行處理，根據(jù)圖1可知，采用所提方法對(duì)模糊交通禁令標(biāo)志圖像進(jìn)行處理后，交通禁令標(biāo)志圖像的清晰度有所提高，采用文獻(xiàn)[3]方法和文獻(xiàn)[4]方法對(duì)模糊交通禁令標(biāo)志圖像進(jìn)行處理后，交通禁令標(biāo)志的清晰度較低，對(duì)比上述方法的測(cè)試結(jié)果可知，所提方法可獲取高清晰度的模糊交通禁令標(biāo)志圖像，表明所提方法的圖像增強(qiáng)效果好，因?yàn)樵摲椒ɡ没旌贤芴惴▽?duì)獲取的交通禁令標(biāo)志圖像進(jìn)行了增強(qiáng)處理，提高了圖像的清晰度。

采用所提方法、文獻(xiàn)[3]方法和文獻(xiàn)[4]方法對(duì)交通禁令標(biāo)志進(jìn)行識(shí)別，對(duì)比不同方法的識(shí)別精度，識(shí)別精度P的計(jì)算公式如下

(16)

式中，

Z

代表的是正確識(shí)別的數(shù)量；

Z

代表的是錯(cuò)誤識(shí)別的數(shù)量。不同方法的識(shí)別精度對(duì)比結(jié)果如圖2所示。

圖2 不同方法的識(shí)別精度

分析圖2中的數(shù)據(jù)可知，隨著交通禁令標(biāo)志數(shù)量的增加，所提方法、文獻(xiàn)[3]方法和文獻(xiàn)[4]方法的識(shí)別精度不斷降低，但在相同交通禁令標(biāo)志數(shù)量下，所提方法的識(shí)別精度均高于文獻(xiàn)[3]方法和文獻(xiàn)[4]方法的識(shí)別精度，因?yàn)樗岱椒ㄔ谧R(shí)別交通禁令標(biāo)志之前對(duì)其進(jìn)行了增強(qiáng)處理，獲得了標(biāo)志的細(xì)節(jié)信息，進(jìn)而提高了識(shí)別精度。

為了進(jìn)一步驗(yàn)證所提方法、文獻(xiàn)[3]方法和文獻(xiàn)[4]方法的整體有效性，將召回率作為指標(biāo)進(jìn)行測(cè)試，召回率

R

的計(jì)算公式如下

(17)

式中，

Z

代表的是漏檢的圖像數(shù)量。不同方法的召回率對(duì)比結(jié)果如表1所示。

表1 不同方法的召回率

根據(jù)表1中的數(shù)據(jù)可知，在多次交通禁令標(biāo)志識(shí)別測(cè)試過(guò)程中，所提方法獲得的召回率均在90%以上，遠(yuǎn)遠(yuǎn)高于文獻(xiàn)[3]方法和文獻(xiàn)[4]方法獲得的召回率，驗(yàn)證了所提方法的整體有效性。

5 結(jié)束語(yǔ)

在輔助駕駛和無(wú)人駕駛中交通禁令標(biāo)志識(shí)別是重要部分，同時(shí)也是一個(gè)重要環(huán)節(jié)，通過(guò)識(shí)別交通禁令標(biāo)志可以獲取道路前方的信息，減少事故發(fā)生的概率，提高車輛行駛的安全性。目前交通禁令標(biāo)志識(shí)別方法存在圖像清晰度低、識(shí)別精度低和召回率低的問(wèn)題。提出基于改進(jìn)YOLOv4的交通禁令標(biāo)志自動(dòng)識(shí)別方法，首先對(duì)交通禁令標(biāo)志圖像進(jìn)行增強(qiáng)處理，提取標(biāo)志特征，完成交通禁令標(biāo)志的識(shí)別，解決了目前方法中存在的問(wèn)題，為無(wú)人駕駛和輔助駕駛技術(shù)的發(fā)展奠定了基礎(chǔ)。