基于GIoU的YOLOv3車輛識(shí)別方法

程海博， 熊顯名,2

(1.桂林電子科技大學(xué) 電子工程與自動(dòng)化學(xué)院，廣西 桂林 541004；2.桂林電子科技大學(xué) 廣西高校光電信息處理重點(diǎn)實(shí)驗(yàn)室，廣西 桂林 541004)

近年來，隨著AI技術(shù)的飛速發(fā)展，深度學(xué)習(xí)在車輛檢測、車型識(shí)別[1]、車牌識(shí)別、人臉識(shí)別等領(lǐng)域得到了廣泛的應(yīng)用。傳統(tǒng)的機(jī)器視覺技術(shù)在對(duì)車輛進(jìn)行識(shí)別時(shí)，從圖像中提取可供計(jì)算機(jī)理解的圖像特征信息，而計(jì)算機(jī)對(duì)圖像的理解可分為分類、檢測與分割等3種方向。對(duì)車輛進(jìn)行檢測除了需要對(duì)目標(biāo)進(jìn)行分類判斷外，還需要得到該目標(biāo)的位置，因此檢測難度較大。傳統(tǒng)的目標(biāo)檢測方法多為滑動(dòng)窗口檢測，對(duì)人為設(shè)定的特征進(jìn)行提取與匹配，存在計(jì)算量大、特征單一的問題。1998年Lecun等[2]提出卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)LeNet5并用于手寫數(shù)字識(shí)別，從此神經(jīng)網(wǎng)絡(luò)算法進(jìn)入了許多目標(biāo)檢測研究者的視線。2012年Krizhevsky等[3]提出了網(wǎng)絡(luò)結(jié)構(gòu)AlexNet，并獲得ImageNet2012挑戰(zhàn)賽冠軍，深度學(xué)習(xí)算法迎來了研究的熱潮。隨著計(jì)算機(jī)性能的不斷提升、計(jì)算機(jī)硬件的迭代，深度學(xué)習(xí)逐漸替代了基于手選特征的傳統(tǒng)檢測方法?；跈z測的方法不同，車輛檢測可分為區(qū)域提名的two-stage檢測算法，如R-CNN[4]、SPP-Net[5]、Fast R-CNN[6]、Faster R-CNN[7]等，端到端的one-stage檢測算法，如YOLO[8]、YOLO9000[9]、YOLOv3[10]、SSD[11]等。其中，F(xiàn)aster R-CNN檢測準(zhǔn)確率高，但速度慢，YOLOv3檢測速度快，但準(zhǔn)確率低。為此，提出一種GIoU-YOLOv3車輛檢測方法，在不降低檢測速度的同時(shí)提高了檢測準(zhǔn)確率。

1 基于Darknet-53的YOLOv3模型

車輛識(shí)別系統(tǒng)示意圖如圖1所示，采用GIoU[12]代替了YOLOv3中的IoU評(píng)價(jià)標(biāo)準(zhǔn)。

圖1 車輛識(shí)別系統(tǒng)示意圖

視頻車輛識(shí)別步驟為：先將視頻逐幀放入YOLOv3框架中，并將不同分辨率的圖像縮放至416×416像素然后輸入網(wǎng)絡(luò)，然后根據(jù)已訓(xùn)練的特征權(quán)重經(jīng)卷積計(jì)算出相應(yīng)的分類概率值，并結(jié)合GIoU值進(jìn)行最后的分類判斷。

1.1 車輛特征提取

為了較快地識(shí)別車輛型號(hào)的同時(shí)得到較好的分類結(jié)果，結(jié)合GIoU的YOLOv3車輛識(shí)別模型進(jìn)行車輛的特征提取。車輛特征提取網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。YOLOv3采用Darknet-53作為特征提取的網(wǎng)絡(luò)，該網(wǎng)絡(luò)使用步長為2的卷積操作代替最大池化和平均池化進(jìn)行降采樣，并使用1×1卷積，減少網(wǎng)絡(luò)的通道數(shù)，以加速計(jì)算。

圖2 車輛特征提取網(wǎng)絡(luò)結(jié)構(gòu)

殘差塊結(jié)構(gòu)如圖3所示，殘差塊由一系列卷積層和1個(gè)捷徑通路組成。網(wǎng)絡(luò)中共有5次降采樣，網(wǎng)絡(luò)最終輸出可達(dá)32倍降采樣。為了提高檢測性能，該網(wǎng)絡(luò)分別在32倍降采樣、16倍降采樣、8倍降采樣3個(gè)尺度進(jìn)行目標(biāo)檢測，并且使用步長為2的上采樣將高倍降采樣所獲取的深層特征信息共享給低倍降采樣層，使網(wǎng)絡(luò)能同時(shí)學(xué)習(xí)深層與淺層特征。

圖3 殘差塊結(jié)構(gòu)

1.2 目標(biāo)邊界框評(píng)價(jià)標(biāo)準(zhǔn)

YOLOv3實(shí)現(xiàn)了End-to-End的目標(biāo)檢測模型，如圖4所示，其將輸入的圖像分成S×S的單元格。若目標(biāo)的中心點(diǎn)在某單元格中，則這個(gè)單元格負(fù)責(zé)這個(gè)目標(biāo)的預(yù)測。每個(gè)單元格使用B個(gè)邊界框預(yù)測目標(biāo)的位置與置信度。

圖4 圖像劃分示意圖

YOLOv3采用邊界框所含目標(biāo)的可能性與IoU的乘積作為置信度來評(píng)判檢測算法的優(yōu)劣，

F=PcI,

(1)

其中：Pc為目標(biāo)的中心點(diǎn)，當(dāng)網(wǎng)格中有檢測目標(biāo)的中心點(diǎn)時(shí)，Pc=1，否則Pc=0；I為人工標(biāo)記框與預(yù)測框的比值，用來評(píng)價(jià)模型預(yù)測框的準(zhǔn)確性。

2 基于GIoU的優(yōu)化目標(biāo)函數(shù)

在目標(biāo)檢測算法中，用IoU評(píng)價(jià)方法進(jìn)行評(píng)估，

(2)

其中A、B為圖像的2個(gè)區(qū)域。2個(gè)區(qū)域的不同重疊方式示意圖如圖5所示，圖中(a)、(b)、(c)的3種重疊方式的IoU值都為0.45，但是重疊方式不同，可提取的關(guān)鍵信息也不同。IoU難以正確區(qū)分2個(gè)對(duì)象的不同對(duì)齊方式，也難以反映2個(gè)對(duì)象之間的重疊方式。預(yù)測框與真實(shí)框相交的IoU可以直接用作目標(biāo)函數(shù)進(jìn)行優(yōu)化，但預(yù)測框與真實(shí)框非相交的IoU則難以優(yōu)化。

圖5 不同重疊方式示意圖

采用GIoU評(píng)價(jià)方法對(duì)非相交的IoU進(jìn)行優(yōu)化，其計(jì)算式為

(3)

其中：A為預(yù)測框；B為真實(shí)框；C為包含A與B的最小框；I為IoU值；G為GIoU值。與IoU類似，GIoU評(píng)價(jià)方法也可作為目標(biāo)函數(shù)進(jìn)行優(yōu)化，其損失函數(shù)為

LGIoU=1-G。

(4)

由于GIoU評(píng)價(jià)方法引入了包含A與B的最小交集C，在A、B不重合時(shí)依然可以對(duì)目標(biāo)函數(shù)進(jìn)行優(yōu)化。

GIoU評(píng)價(jià)方法的計(jì)算步驟為：

輸入：預(yù)測框Bp=(x1,p,y1,p,x2,p,y2,p)，真實(shí)框Bg=(x1,g,y1,g,x2,g,y2,g)；輸出：LGIoU。

1)計(jì)算Bp與Bg的面積：

2)計(jì)算Bp與Bg的重疊面積Ix,y：

3)找到Bp∩Bg的最小區(qū)域Bc：

4)計(jì)算Bc面積：Bc=(x2,c-x1,c)×(y2,c-y1,c)；

7)計(jì)算最終損失LGIoU=1-G。

3 實(shí)驗(yàn)與分析

實(shí)驗(yàn)在Windows 10系統(tǒng)完成，其中CPU為I7-7700HQ，GPU為RTX1060 6 GiB，內(nèi)存為24 GiB，開發(fā)環(huán)境為Python3.69、OPPENCV、CUDA10、Tensorflow1.13等。

3.1 訓(xùn)練數(shù)據(jù)與預(yù)測

實(shí)驗(yàn)選取VOC2007數(shù)據(jù)集中899張公交車與小轎車圖片完成網(wǎng)絡(luò)的遷移訓(xùn)練與驗(yàn)證，其中根據(jù)公交車和小轎車的數(shù)量隨機(jī)選取90張圖片作為測試集。部分樣本實(shí)驗(yàn)預(yù)測圖如圖6所示。實(shí)驗(yàn)中，IoU閾值為0.5，GIoU閾值為0.3。

圖6 部分樣本預(yù)測實(shí)驗(yàn)圖

3.2 模型檢測結(jié)果

采用平均精度對(duì)公交車和小轎車預(yù)測性能分別進(jìn)行評(píng)估，并采用多類平均精度對(duì)模型總體性能進(jìn)行評(píng)估。平均精度為查準(zhǔn)率與召回率組成的P-R曲線與x、y軸所圍成的面積占總面積的比率。查準(zhǔn)率rP與召回率rR的計(jì)算式為：

(5)

其中：nTP為正類樣本判斷為正類的數(shù)量；nTN為負(fù)類樣本判斷為負(fù)類的數(shù)量；nFP為負(fù)類樣本判斷為正類的數(shù)量；nFN為正類樣本判斷為負(fù)類的數(shù)量。

分別將基于GIoU與IoU的YOLOv3模型進(jìn)行遷移訓(xùn)練，其中GIoU-YOLOv3訓(xùn)練的批量大小為4，訓(xùn)練50個(gè)迭代后損失下降至5；IoU-YOLOv3訓(xùn)練批量為32，訓(xùn)練400個(gè)迭代后損失下降至20。圖7為IoU-YOLOv3公交車平均精度，圖8為IoU-YOLOv3小轎車平均精度，圖9為GIoU-YOLOv3公交車平均精度，圖10為GIoU-YOLOv3小轎車平均精度。

圖8 IoU-YOLOv3小轎車平均精度

圖9 GIoU-YOLOv3公交車平均精度

圖10 GIoU-YOLOv3小轎車平均精度

3.3 結(jié)果分析

基于GIoU與IoU評(píng)價(jià)方法的YOLOv3模型對(duì)VOC 2007數(shù)據(jù)集的公交車與小轎車樣本測試結(jié)果如表1所示。從表1可以看出，在車輛識(shí)別中，基于IoU的YOLOv3模型對(duì)公交車與小轎車的平均精度分別為83.11%與77.66%，而基于GIoU的本方法的平均精度分別達(dá)到了98.34%與93.61%。由實(shí)驗(yàn)結(jié)果可知，本方法對(duì)公交車與小轎車的識(shí)別相對(duì)于IoU方法提高了15%的mAP。

表1 公交車與小轎車樣本測試結(jié)果

4 結(jié)束語

針對(duì)視頻車輛識(shí)別方法檢測精度不高的問題，提出一種基于GIoU改進(jìn)的YOLOv3視頻車輛識(shí)別方法。對(duì)實(shí)驗(yàn)?zāi)繕?biāo)車型的樣本進(jìn)行遷移學(xué)習(xí)的同時(shí)，使用GIoU代替?zhèn)鹘y(tǒng)IoU評(píng)價(jià)方法進(jìn)行訓(xùn)練，對(duì)公交車、小轎車檢測的平均精度分別達(dá)到了98.34%與93.61%，mAP達(dá)95.97%，提高了視頻車型識(shí)別精度，實(shí)現(xiàn)了車輛的精準(zhǔn)識(shí)別。后期將增加訓(xùn)練集與車型種類，進(jìn)一步優(yōu)化多車型、高精度的車輛檢測方法。