基于尾燈燈語(yǔ)的混行交通流車(chē)輛駕駛意圖識(shí)別模型研究

趙樹(shù)恩,趙東宇

(重慶交通大學(xué) 機(jī)電與車(chē)輛工程學(xué)院,重慶 400074)

0 引 言

隨著新一代通信技術(shù)和人工智能的飛速發(fā)展,車(chē)輛的智能化駕駛水平也在逐步提升。相對(duì)于人工駕駛車(chē)輛(human-driven vehicle,HV),自動(dòng)駕駛車(chē)輛(autonomous vehicle,AV)在應(yīng)對(duì)復(fù)雜場(chǎng)景時(shí)的周密感知、周?chē)繕?biāo)“預(yù)行為”的準(zhǔn)確理解、人機(jī)共融的協(xié)同等方面還存在著諸多挑戰(zhàn),HV和AV混行的交通狀況還將長(zhǎng)期存在。AV必須準(zhǔn)確感知周?chē)h(huán)境,并對(duì)HV的駕駛意圖進(jìn)行識(shí)別,才能保證在多車(chē)交互環(huán)境中準(zhǔn)確評(píng)估出HV駕駛行為風(fēng)險(xiǎn)態(tài)勢(shì),做出最優(yōu)的決策規(guī)劃。

車(chē)輛動(dòng)態(tài)信息可作為當(dāng)車(chē)輛啟動(dòng)后檢測(cè)駕駛?cè)嗽缙谝鈭D的有效指標(biāo)[1]。對(duì)于車(chē)路協(xié)同通信技術(shù)而言,呂能超等[2]采用DSRC技術(shù)與路邊通訊設(shè)施及周邊車(chē)輛之間進(jìn)行信號(hào)交互,獲得了周邊道路的基本信息和駕駛?cè)说囊鈭D信息;楊煒等[3]利用車(chē)聯(lián)網(wǎng)技術(shù)將前車(chē)的駕駛意圖和路面信息傳遞給周?chē)?chē)輛,并調(diào)整優(yōu)化了AV的制動(dòng)預(yù)警及執(zhí)行邏輯。長(zhǎng)期存在的復(fù)雜混行交通場(chǎng)景使得車(chē)-車(chē)、車(chē)-路協(xié)同實(shí)施的難度較大,在網(wǎng)聯(lián)交通環(huán)境未形成之前,通過(guò)研究車(chē)-車(chē)之間的鳴笛[4]、燈語(yǔ)等通信手段來(lái)提升車(chē)-路的協(xié)同效果具有很強(qiáng)的現(xiàn)實(shí)性。

在實(shí)際駕駛場(chǎng)景中,車(chē)尾信號(hào)燈是車(chē)輛向外界釋放駕駛意圖的一種標(biāo)準(zhǔn)方式,也是行車(chē)過(guò)程中輔助駕駛決策的一個(gè)關(guān)鍵因素[5]。LIU Cenbi[6]基于發(fā)光二極管開(kāi)關(guān)特性,探究了光技術(shù)在駕駛場(chǎng)景中的應(yīng)用,研究結(jié)果表明：光源信息可用于V2V的通信中。目前對(duì)尾燈分割定位方法多是通過(guò)識(shí)別檢測(cè)尾燈的紋理、邊緣、形狀、顏色等信息來(lái)完成。對(duì)尾燈燈語(yǔ)識(shí)別的研究主要分為：基于機(jī)器的學(xué)習(xí)方法和基于深度的學(xué)習(xí)方法。田強(qiáng)[7]提出了一種基于最小二乘支持向量機(jī)的尾燈燈語(yǔ)識(shí)別方法,通過(guò)尾燈HSV三分量直方圖構(gòu)建了特征向量訓(xùn)練最小的二乘支持向量機(jī)來(lái)區(qū)分不同類(lèi)別的尾燈狀態(tài),但該方法只單獨(dú)提取了圖像中的HSV特征,丟失了大量的原始圖像信息;于莉媛等[8]針對(duì)夜間道路環(huán)境,根據(jù)RGB直方圖對(duì)圖像進(jìn)行分割,從背景中提取尾燈光源與光暈等高亮光斑來(lái)定位尾燈位置,但光暈特征無(wú)法很好地從光照強(qiáng)烈背景下提取,在日間行車(chē)時(shí)并不適用;陳勇[9]提出了一種基于深度學(xué)習(xí)的尾燈燈語(yǔ)識(shí)別算法,通過(guò)VGG模型對(duì)車(chē)輛尾燈進(jìn)行分類(lèi),實(shí)現(xiàn)了對(duì)前車(chē)燈語(yǔ)識(shí)別,但該方法未考慮尾燈閃爍的時(shí)間序列;L.C.CHEN等[10]開(kāi)發(fā)了一種對(duì)稱性尾燈狀態(tài)識(shí)別系統(tǒng),通過(guò)搜索感興趣區(qū)域內(nèi)車(chē)燈響應(yīng)函數(shù)的峰值,能快速找到尾燈位置,并通過(guò)響應(yīng)函數(shù)變化對(duì)車(chē)輛駕駛意圖進(jìn)行判別,該方法檢測(cè)效率高,但精度較差;梁軍等[11]采用光通道增益算法對(duì)自車(chē)后方車(chē)輛前照燈的光輻射通量變化進(jìn)行了計(jì)算,提出了一種識(shí)別后方車(chē)輛示意意圖的模型,該方法僅考慮了后方車(chē)輛的駕駛意圖,對(duì)其余場(chǎng)景要素未做到準(zhǔn)確理解。

基于此,筆者建立了基于Mask R-CNN的車(chē)輛檢測(cè)模型;將其分割結(jié)果作為RoI限制區(qū)域,并轉(zhuǎn)化到HSV空間對(duì)HV尾燈進(jìn)行分割[12],利用尾燈位置相關(guān)性定位左右尾燈;運(yùn)用CSRT算法跟蹤不同幀數(shù)中的同一個(gè)目標(biāo),得到多目標(biāo)時(shí)序信息,以基于時(shí)間序列的燈語(yǔ)識(shí)別算法為基礎(chǔ),構(gòu)建了基于尾燈燈語(yǔ)的駕駛意圖識(shí)別模型;最后利用交通流數(shù)據(jù)對(duì)所提出的駕駛行為識(shí)別模型進(jìn)行驗(yàn)證。

1 混行環(huán)境下的車(chē)輛檢測(cè)

為提高尾燈識(shí)別精度、減少行駛道路中其他因素干擾,準(zhǔn)確識(shí)別前方HV駕駛意圖,筆者提出了一種基于尾燈燈語(yǔ)的駕駛意圖識(shí)別方法,其技術(shù)路線如圖1。

圖1 技術(shù)路線Fig.1 Technology roadmap

HV在行駛中,駕駛?cè)藢?duì)前方車(chē)輛的關(guān)注點(diǎn)主要集中于車(chē)尾及車(chē)尾燈部分,以此來(lái)判斷前方HV的運(yùn)動(dòng)狀態(tài)和周?chē)男熊?chē)環(huán)境。在HV、AV混行的交通場(chǎng)景中,AV對(duì)周?chē)鶫V的檢測(cè)為尾燈狀態(tài)識(shí)別、駕駛意圖識(shí)別提供了位置信息和決策依據(jù),混行交通流場(chǎng)景如圖2。圖2中：扇形區(qū)域?yàn)榍爸密?chē)載攝像頭視覺(jué)范圍。為增加AV行駛場(chǎng)景圖像轉(zhuǎn)換到HSV色域空間的區(qū)域限制,縮小燈語(yǔ)識(shí)別算法的識(shí)別范圍,避免算法識(shí)別到類(lèi)似于尾燈顏色的假性目標(biāo),筆者采用Mask R-CNN算法來(lái)自動(dòng)識(shí)別AV前方HV的位置、輪廓等信息,構(gòu)建基于Mask R-CNN的車(chē)輛檢測(cè)模型,準(zhǔn)確提取圖2中扇形框區(qū)域內(nèi)HV的車(chē)尾圖像。

圖2 混行交通場(chǎng)景Fig.2 Mixed traffic scene

1.1 Mask R-CNN工作原理

基于卷積神經(jīng)網(wǎng)絡(luò)的主流檢測(cè)模型包含兩階段模型和單階段端到端模型[13],Mask R-CNN網(wǎng)絡(luò)框架是兩階段模型中Faster R-CNN算法的擴(kuò)展。在自動(dòng)識(shí)別目標(biāo)車(chē)輛并定位生成檢測(cè)框的基礎(chǔ)上,并行增加了另一個(gè)Mask分支來(lái)預(yù)測(cè)每個(gè)感興趣區(qū)域的RoI分割掩碼,并實(shí)現(xiàn)了對(duì)周?chē)旭傑?chē)輛的實(shí)例分割。Mask R-CNN網(wǎng)絡(luò)結(jié)構(gòu)如圖3。

圖3 Mask R-CNN結(jié)構(gòu)Fig.3 The structure of Mask R-CNN

圖3中：第1部分為卷積主干網(wǎng)絡(luò),屬于整個(gè)網(wǎng)絡(luò)的特征提取階段。運(yùn)用ResNet層的遠(yuǎn)跳連接方式保留和提取駕駛場(chǎng)景中的高層次視覺(jué)特征,同時(shí)結(jié)合FPN層橫向連接金字塔結(jié)構(gòu),將多階段的特征圖進(jìn)行語(yǔ)義融合,可更高效地提取HV特征。

第2部分為目標(biāo)區(qū)域生成網(wǎng)絡(luò)(region proposal network,RPN)。將輸入任意尺寸的圖像進(jìn)行全卷積操作,以滑動(dòng)窗口方式在特征圖上輸出多組錨點(diǎn)框及對(duì)應(yīng)置信度,運(yùn)用全連接層對(duì)每個(gè)錨點(diǎn)框進(jìn)行分類(lèi)和回歸,通過(guò)目標(biāo)建議層對(duì)錨點(diǎn)框置信度進(jìn)行排序,將錨點(diǎn)框再進(jìn)行非極大值抑制(non maximum suppression,NMS)過(guò)濾,將得到的RoI候選框輸入到RoIAlign層中。

第3部分為功能網(wǎng)絡(luò)。由于傳統(tǒng)特征提取方法所提取的層數(shù)過(guò)低,無(wú)法對(duì)目標(biāo)深層特征進(jìn)行有效表達(dá)[14],故增加RoIAlign層用于特征圖映射。在對(duì)RoI進(jìn)行池化操作時(shí),運(yùn)用雙線性插值法精確地匹配前后特征圖中每個(gè)像素點(diǎn)的坐標(biāo),使得該網(wǎng)絡(luò)能更精確地對(duì)HV和其尾燈區(qū)域進(jìn)行定位和檢測(cè),通過(guò)掩膜分支生成HV的分割掩膜,最終對(duì)行駛場(chǎng)景中的HV進(jìn)行實(shí)例分割,縮小后續(xù)算法掃描范圍。

1.2 基于Mask R-CNN的車(chē)輛檢測(cè)模型

為使神經(jīng)網(wǎng)絡(luò)能快速、準(zhǔn)確地識(shí)別目標(biāo),需要大量的訓(xùn)練樣本作為訓(xùn)練輸入。在COCO數(shù)據(jù)集訓(xùn)練權(quán)重基礎(chǔ)上,運(yùn)用遷移學(xué)習(xí)法,以Cityspaces中所采集到的圖像訓(xùn)練Mask R-CNN主干網(wǎng)絡(luò),并使用標(biāo)注軟件VIA-2.0.8對(duì)每張圖像進(jìn)行注釋。

神經(jīng)網(wǎng)絡(luò)采用反向傳播對(duì)網(wǎng)絡(luò)中的參數(shù)進(jìn)行優(yōu)化從而減少損失,通過(guò)引入總損失函數(shù)L來(lái)計(jì)算檢測(cè)模型的損失,從而準(zhǔn)確描述Mask R-CNN網(wǎng)絡(luò)訓(xùn)練過(guò)程中預(yù)測(cè)結(jié)果與實(shí)際結(jié)果的差距。總損失函數(shù)L定義為：

L=Lc+Lr+Lm

(1)

式中：L為Mask R-CNN總損失;Lc為分類(lèi)損失,用于衡量網(wǎng)絡(luò)對(duì)目標(biāo)分類(lèi)的準(zhǔn)確性;Lr為回歸損失,用于衡量網(wǎng)絡(luò)對(duì)目標(biāo)邊框定位的準(zhǔn)確性;Lm為平均二元交叉熵?fù)p失,用于衡量掩膜形狀與位置的準(zhǔn)確性。

通過(guò)取SoftMax損失函數(shù)的對(duì)數(shù)得出Lc：

Lc(u,v)=-log(u)

(2)

式中：u=(u0,u1,…,uk)為SoftMax函數(shù)計(jì)算類(lèi)別的概率;v對(duì)應(yīng)車(chē)輛的類(lèi)別。

定義smooth損失函數(shù)Lr-smooth：

(3)

計(jì)算實(shí)際HV檢測(cè)框的回歸損失Lr：

(4)

2 基于時(shí)間序列的燈語(yǔ)識(shí)別模型

2.1 尾燈顏色分割

在對(duì)AV和HV混行的交通場(chǎng)景進(jìn)行分析過(guò)程中,基于顏色特征的物體分割、檢測(cè)和跟蹤方法得到了快速發(fā)展。尾燈最明顯的特征就是顏色特征,是HV和AV之間交互信息傳遞的重要依據(jù)。采用基于HSV空間的尾燈分割算法掃描Mask R-CNN檢測(cè)出的每一個(gè)獨(dú)立的HV,分割出對(duì)應(yīng)的尾燈區(qū)域,分割結(jié)果如圖4。

圖4 Mask R-CNN檢測(cè)結(jié)果Fig.4 Test results of Mask R-CNN

AV攝像頭采集到的圖像多為RGB圖像,但RGB空間中R、G、B等3個(gè)分量相互聯(lián)系,白天受光照影響,在進(jìn)行尾燈分割時(shí)會(huì)受到諸多限制。尾燈相較于背景車(chē)輛,最大差異在于顏色和亮度,HSV顏色空間可很好地將顏色的明度和亮度區(qū)分開(kāi)。因此,將RGB圖像像素點(diǎn)通過(guò)式(5)縮放至[0,1]內(nèi)：

(5)

由縮放結(jié)果,令Cmax=Max(R′,G′,B′),Cmin=Min(R′,G′,B′),D=Cmax-Cmin;將RGB圖像轉(zhuǎn)換到HSV色域空間,像素轉(zhuǎn)換如下：

V=Cmax

(6)

(7)

(8)

為準(zhǔn)確提取HV尾燈部分,根據(jù)統(tǒng)計(jì)結(jié)果設(shè)置紅色尾燈的HSV分割閾值,如式(9)：

(9)

對(duì)于不規(guī)則形狀的尾燈,若只在HSV閾值條件約束下,無(wú)法獲得完整的尾燈信息二值圖像。為保持尾燈信息提取的完整性,對(duì)二值化尾燈進(jìn)行形態(tài)學(xué)膨脹運(yùn)算。結(jié)合檢測(cè)結(jié)果,對(duì)復(fù)雜混行交通場(chǎng)景中的HV尾燈進(jìn)行分割,如圖5。

圖5 尾燈分割結(jié)果Fig.5 Results of taillight segmentation

Mask R-CNN檢測(cè)模型能有效提供HV尾燈區(qū)域,降低轉(zhuǎn)入HSV色域空間中的像素計(jì)算量。但同時(shí)分割出的高位剎車(chē)燈、霧燈等干擾會(huì)造成對(duì)左右尾燈的定位誤差。

2.2 尾燈配對(duì)與檢測(cè)

為準(zhǔn)確定位HV左右尾燈并理解行駛場(chǎng)景中每個(gè)HV單獨(dú)且特定的駕駛意圖,提出了一種基于位置相關(guān)性的方法。通過(guò)清除車(chē)尾部分紅色區(qū)域,并在縱橫方向上添加約束以達(dá)到對(duì)尾燈進(jìn)行定位的目的,如圖6。

圖6 HV尾燈檢測(cè)區(qū)域Fig.6 HV taillight detection area

圖6中：邊框?yàn)镸ask R-CNN檢測(cè)出的目標(biāo)RoI;上下部分為清除區(qū)域。由于在區(qū)域內(nèi)尾燈呈不規(guī)則圖形,運(yùn)用多邊形三角剖分方法,將不規(guī)則尾燈剖分為i個(gè)頂點(diǎn)坐標(biāo)為{[(x11,y11),(x12,y12),(x13,y13)],[(x21,y21),(x22,y22),(x23,y23],…,[(xi1,yi1),(xi2,yi2),(xi3,yi3)]}的三角形。通過(guò)頂點(diǎn)坐標(biāo)計(jì)算得到每個(gè)三角形的質(zhì)心坐標(biāo),計(jì)算出HV左右尾燈質(zhì)心A、B的圖像坐標(biāo)為(Lx,Ly)、(Rx,Ry)。為了在縱向上增加對(duì)RoI區(qū)域和尾燈相對(duì)位置的限制,清除區(qū)域應(yīng)滿足：

(10)

式中：Z為通過(guò)Mask R-CNN得到的檢測(cè)框RoI高度值。

為消除HV車(chē)尾橫向區(qū)域的錯(cuò)誤匹配,還應(yīng)滿足約束：

1.5× min(Rw,Lw)

(11)

通過(guò)在縱橫向位置對(duì)檢測(cè)出的HV添加約束,進(jìn)一步清除高位剎車(chē)燈、霧燈及可能不是尾燈的紅色區(qū)域,如圖7。

圖7 定位驗(yàn)證Fig.7 Location verification

2.3 燈語(yǔ)識(shí)別算法

HV尾燈的變化不僅僅是靜態(tài)圖像像素的變化,也是與時(shí)間序列響應(yīng)的動(dòng)態(tài)變化。因此考慮到HV燈語(yǔ)變換狀態(tài)所對(duì)應(yīng)的動(dòng)態(tài)交通變化情況,提出了一種基于時(shí)間序列的燈語(yǔ)識(shí)別算法,來(lái)判斷前方HV是否有正常行駛、剎車(chē)、右轉(zhuǎn)(右換道)、左轉(zhuǎn)(左換道)等動(dòng)態(tài)駕駛意圖,算法框架如圖8。

圖8 識(shí)別算法框架Fig.8 Framework of recognition algorithm

為獲得前方HV尾燈狀態(tài)的時(shí)序信息并減少誤檢率,在檢測(cè)出HV后,采用CSRT跟蹤算法跟蹤每個(gè)HV的尾燈區(qū)域,并統(tǒng)計(jì)尾燈的時(shí)序信息和狀態(tài),已檢測(cè)跟蹤的HV為Ui(i=1,2,…,N)。若Ui集合非空,通過(guò)跟蹤檢測(cè)HV尾燈區(qū)域來(lái)判斷Ui是否存在黃色轉(zhuǎn)向燈。如果Ui中某一元素的黃色二值化像素Y≠0,則統(tǒng)計(jì)該元素2 s內(nèi)的Y出現(xiàn)的次數(shù)M[15]。若M∈(1,5],將Ui的車(chē)尾RoI分為L(zhǎng)、R左右兩區(qū)域,設(shè)每一區(qū)域可能的灰度值為zk(k=1,2,…,L-1),并分別計(jì)算出左右區(qū)域能表征二值矩陣的亮度和質(zhì)量的灰度均值及標(biāo)準(zhǔn)差。

以320 × 640的RoI作為輸入,則灰度級(jí)zk出現(xiàn)的概率p(zk)可表示為：

(12)

式中：nk為尾燈灰度像素在RoI中出現(xiàn)的次數(shù)。

由p(zk)可得到二值化圖像矩陣均值與標(biāo)準(zhǔn)差,如式(13)：

(13)

由此可得出區(qū)域矩陣Y的灰度總值,進(jìn)而判斷HV左右轉(zhuǎn)向(換道)的駕駛意圖。若Y=0,判斷不同幀數(shù)之間紅色的H、V值差是否大于設(shè)定閾值,剎車(chē)燈滅和剎車(chē)燈亮?xí)r尾燈HV分量如圖9。圖9中：當(dāng)HV剎車(chē)燈亮?xí)r,尾燈在[120,180]區(qū)間內(nèi)的紅色H分量值所占像素大于未亮?xí)r,紅色V分量值所占像素大于未亮?xí)r。故若前后幀Hmin均值的差值D1滿足D1>16,Vmin均值的差值D2滿足D2>4,則判斷為車(chē)輛剎車(chē);反之,引入判斷幀分析是否處于燈語(yǔ)交叉狀態(tài)區(qū)域,若符合判斷幀條件,則識(shí)別為轉(zhuǎn)向(換道),未處于該區(qū)域,則判定為正常行駛。

圖9 不同狀態(tài)尾燈H &V分量值Fig.9 H &V component values of taillights in different states

為避免當(dāng)轉(zhuǎn)向燈呈周期性閃爍狀態(tài)時(shí),識(shí)別時(shí)刻點(diǎn)可能處于交叉狀態(tài)區(qū)域,對(duì)HV駕駛意圖識(shí)別引起偏差,模型引入判斷幀作為參考,結(jié)合歷史信息進(jìn)一步提升對(duì)HV駕駛意圖的識(shí)別準(zhǔn)確率。尾燈動(dòng)態(tài)變化如圖10。

圖10 尾燈狀態(tài)時(shí)序Fig.10 Taillight status timing sequence

設(shè)T為識(shí)別時(shí)刻點(diǎn),若將燈語(yǔ)識(shí)別視為靜態(tài)像素,當(dāng)HV尾燈處于轉(zhuǎn)向閃爍狀態(tài)時(shí),T時(shí)刻無(wú)論轉(zhuǎn)向尾燈還是正常行駛的尾燈均處于“滅”狀態(tài),識(shí)別算法無(wú)法正確區(qū)分前方車(chē)輛駕駛意圖;但實(shí)際尾燈處于轉(zhuǎn)向和正常行駛狀態(tài)在時(shí)序圖上動(dòng)態(tài)差異較大,因此燈語(yǔ)識(shí)別模型引入判斷幀：

(14)

式中：I為系統(tǒng)每秒處理的幀數(shù);F為當(dāng)前車(chē)燈的閃爍頻率,取F=1.5;P為判斷幀的幀數(shù)范圍。

在當(dāng)前I幀每秒的系統(tǒng)處理速度下,T時(shí)刻檢測(cè)到目標(biāo)車(chē)輛尾燈對(duì),以頻率信息作為參考,判斷過(guò)去P幀中是否存在大于或等于一幀有車(chē)燈黃燈點(diǎn)亮的情況,以此來(lái)降低模型誤識(shí)別率。

2.4 駕駛意圖識(shí)別模型

綜合考慮混行交通環(huán)境及尾燈狀態(tài)變化,結(jié)合車(chē)輛檢測(cè)模型和燈語(yǔ)識(shí)別模型優(yōu)勢(shì),提出了一種基于尾燈燈語(yǔ)的混行交通流車(chē)輛駕駛意圖識(shí)別模型,模型結(jié)構(gòu)如圖11。

圖11 駕駛意圖識(shí)別模型Fig.11 Driving intention recognition model

圖11中：Mask R-CNN層從標(biāo)注樣本中學(xué)習(xí)車(chē)輛目標(biāo)特征,建立基于Mask R-CNN的車(chē)輛檢測(cè)模型,以定位目標(biāo)RoI,縮小算法掃描區(qū)域;燈語(yǔ)判斷層通過(guò)CSRT跟蹤算法捕捉HSV顏色空間中HV尾燈的亮度變化情況,建立基于時(shí)間序列的燈語(yǔ)識(shí)別模型;最終將兩組模型結(jié)合成為基于前車(chē)尾燈燈語(yǔ)的車(chē)輛駕駛意圖識(shí)別模型。該模型能有效減少模型算力要求,降低尾燈誤識(shí)別率,提高駕駛意圖的識(shí)別準(zhǔn)確率。

3 結(jié)果與分析

3.1 尾燈檢測(cè)模型驗(yàn)證

基于Cityspaces數(shù)據(jù)集,筆者選取5 000張車(chē)載圖像,并將訓(xùn)練集和驗(yàn)證集以9：1制作訓(xùn)練樣本。運(yùn)用COCO數(shù)據(jù)集對(duì)模型中的特征提取網(wǎng)絡(luò)Resnet 101進(jìn)行預(yù)訓(xùn)練,在TensorFlow-GPU模式下通過(guò)遷移學(xué)習(xí)方式進(jìn)行訓(xùn)練。為確保損失曲線收斂,訓(xùn)練epoch設(shè)置為60,每個(gè)epoch設(shè)置200步。網(wǎng)絡(luò)在驗(yàn)證集上的L、Lc、Lr、Lm隨迭代次數(shù)增加而變化,迭代變化趨勢(shì)如圖12。

圖12 驗(yàn)證集損失函數(shù)迭代變化Fig.12 Iterative variation of validation set loss function

圖12中：車(chē)輛檢測(cè)網(wǎng)絡(luò)在40個(gè)epoch后,驗(yàn)證集的總損失降至0.25以下,在55個(gè)epoch后損失函數(shù)收斂,且在驗(yàn)證集上并未發(fā)生過(guò)擬合,這說(shuō)明網(wǎng)絡(luò)對(duì)訓(xùn)練樣本有正確輸出。選擇混行交通流下共400組車(chē)輛進(jìn)行模型驗(yàn)證,μ為Mask R-CNN檢測(cè)準(zhǔn)確度的評(píng)價(jià)指標(biāo),由正確檢測(cè)出的HV數(shù)量Sd與所有HV數(shù)量Sc比值計(jì)算,即：

(15)

為評(píng)估尾燈檢測(cè)模型性能,計(jì)算尾燈檢測(cè)結(jié)果的準(zhǔn)確率、召回率、真陽(yáng)性(ture positive,TP)、假陰性(false negative,FN)。準(zhǔn)確率表示正確識(shí)別尾燈與總尾燈數(shù)量之比;召回率表示正確識(shí)別尾燈與RoI中存在的尾燈數(shù)量之比;TP、FN評(píng)估類(lèi)型如表1。

表1 尾燈檢測(cè)類(lèi)型示意Table 1 Schematic diagram of taillight detection types

運(yùn)用位置相關(guān)性檢測(cè)HV尾燈的結(jié)果如表2。

表2 尾燈檢測(cè)結(jié)果Table 2 Results of taillight detection

表2中：基于Mask R-CNN的車(chē)輛檢測(cè)模型漏檢率為2.3%;對(duì)于400組車(chē)輛,模型正確檢測(cè)出尾燈對(duì)數(shù)量為384組,TP值為96.0%;未在車(chē)輛RoI區(qū)域內(nèi)檢測(cè)出的尾燈對(duì)數(shù)量為8組,FN值為2.1%;模型準(zhǔn)確率和召回率分別為96.0%和98.2%。車(chē)距過(guò)遠(yuǎn)或光線較差導(dǎo)致車(chē)輛尾燈區(qū)域不明顯,是發(fā)生漏檢的主要原因?；贖SV的尾燈檢測(cè)模型對(duì)于復(fù)雜交通流環(huán)境下的尾燈識(shí)別具有較高適用性。

3.2 駕駛意圖識(shí)別模型驗(yàn)證

運(yùn)用CSRT跟蹤算法追蹤視頻中被檢測(cè)出的尾燈對(duì),統(tǒng)計(jì)連續(xù)幀中400組HV的燈語(yǔ)狀態(tài),包括156組正常行駛車(chē)輛;102組剎車(chē)車(chē)輛;70組左行駛車(chē)輛;72組右行駛車(chē)輛。駕駛意圖識(shí)別模型在日間混行交通流下對(duì)燈語(yǔ)的識(shí)別情況如圖13。

圖13 燈語(yǔ)識(shí)別結(jié)果Fig.13 Results of taillight status recognition

文中模型與機(jī)器學(xué)習(xí)模型(SVM、LSSVM)、深度學(xué)習(xí)模型(VGG)在混行交通流圖像上對(duì)前方車(chē)輛駕駛意圖識(shí)別的結(jié)果如表3。表3中：文中模型對(duì)于不同尾燈燈語(yǔ)狀態(tài)總識(shí)別率為95.9%,漏警率為4.1%,單幀識(shí)別平均耗時(shí)為20 ms。結(jié)果表明：相較于機(jī)器學(xué)習(xí)和另一種深度學(xué)習(xí)方法,基于燈語(yǔ)的駕駛意圖識(shí)別模型在AV與HV混行交通流中能有效地定位HV尾燈并進(jìn)行尾燈燈語(yǔ)狀態(tài)判斷,從而準(zhǔn)確地識(shí)別周?chē)?chē)輛駕駛意圖。

表3 駕駛意圖識(shí)別結(jié)果對(duì)比Table 3 Comparison of driving intention recognition results

4 結(jié) 論

針對(duì)傳遞駕駛意圖的車(chē)輛尾燈,提出了一種基于尾燈燈語(yǔ)的混行交通流車(chē)輛駕駛意圖識(shí)別方法,得出如下結(jié)論：

1)運(yùn)用多目標(biāo)判別相關(guān)性的濾波CSRT對(duì)車(chē)輛尾燈進(jìn)行跟蹤,統(tǒng)計(jì)不同幀下同一目標(biāo)的時(shí)序信息,提出了基于時(shí)間序列的燈語(yǔ)識(shí)別算法;

2)結(jié)合基于Mask R-CNN的車(chē)輛檢測(cè)模型及基于時(shí)間序列的燈語(yǔ)識(shí)別模型,共同構(gòu)建了基于尾燈燈語(yǔ)的車(chē)輛駕駛意圖識(shí)別模型,并在交通視頻流上進(jìn)行驗(yàn)證和對(duì)比。結(jié)果表明：所建模型能在日間混行交通環(huán)境下有良好表現(xiàn),可準(zhǔn)確識(shí)別周?chē)?chē)輛的駕駛意圖;

3)由于光照和隧道等陰影變化會(huì)影響模型識(shí)別,圖像處理方法的可擴(kuò)展性較為局限,因此該方法還有待于進(jìn)一步探索研究。