基于深度學(xué)習(xí)的前車視覺測(cè)距研究

毛旭偉

基于深度學(xué)習(xí)的前車視覺測(cè)距研究

毛旭偉

（長(zhǎng)安大學(xué) 汽車學(xué)院，陜西 西安 710064）

針對(duì)測(cè)量前方車輛縱向距離的問題，文章提出一種基于深度學(xué)習(xí)的前方車輛檢測(cè)和視覺測(cè)距方法。該方法首先通過YOLOv3算法實(shí)現(xiàn)車牌位置檢測(cè)并利用OpenCV進(jìn)行剪裁，接著計(jì)算前車車牌字符區(qū)域在相機(jī)成像區(qū)域所占像素長(zhǎng)度，最后利用小孔成像原理對(duì)前方車輛的縱向距離進(jìn)行測(cè)量。試驗(yàn)表明：在50米范圍內(nèi)，該方法最大誤差在8%以內(nèi)，平均誤差約為3.077%，可為前車測(cè)距提供一種新的思路，在智能車輛感知方面有一定的應(yīng)用前景。

車輛測(cè)距；深度學(xué)習(xí)；車牌檢測(cè)；小孔成像

引言

隨著我國(guó)經(jīng)濟(jì)的快速增長(zhǎng)，自動(dòng)駕駛車輛不斷發(fā)展，人們對(duì)汽車的智能化要求越來越高，因此，近年來計(jì)算機(jī)視覺作為一種環(huán)境感知的手段應(yīng)用于車輛輔助駕駛系統(tǒng)上一直是很熱門的研究方向之一，利用計(jì)算機(jī)視覺測(cè)量駕駛場(chǎng)景下前方車輛距離的方法，可以為車輛碰撞預(yù)警或車輛安全狀態(tài)評(píng)估提供基礎(chǔ)。

基于視覺的測(cè)距方法通常有單目視覺測(cè)距和多目視覺測(cè)距兩種方式。近年來，因計(jì)算機(jī)技術(shù)的快速發(fā)展與各種電子設(shè)備和電子技術(shù)的普及，基于單目視覺系統(tǒng)的測(cè)距方法因成本低，實(shí)時(shí)性好，結(jié)構(gòu)簡(jiǎn)單，占用計(jì)算資源較少等優(yōu)點(diǎn)逐漸走進(jìn)人們的視野中。文獻(xiàn)[1]基于前車尾部車牌特征，結(jié)合車輛視覺測(cè)距的幾何模型，根據(jù)車牌尺寸的先驗(yàn)知識(shí)，實(shí)現(xiàn)了前車測(cè)距；文獻(xiàn)[2]利用車輛下邊沿估計(jì)模型和相機(jī)逆透視變換模型，實(shí)現(xiàn)了前車縱向距離和橫向距離的精確測(cè)量。本文通過YOLOv3深度學(xué)習(xí)檢測(cè)算法實(shí)現(xiàn)前車尾部車牌位置檢測(cè)，再經(jīng)過圖像分割并計(jì)算車牌成像像素的長(zhǎng)度信息，利用小孔成像原理模型，實(shí)現(xiàn)對(duì)前方車輛的距離測(cè)算。此方法適應(yīng)性好，成本較低且結(jié)構(gòu)簡(jiǎn)單，所占用的計(jì)算資源較少。

1 車牌檢測(cè)與處理

目前，基于深度學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測(cè)算法主要分為兩類，一類是基于候選區(qū)域的目標(biāo)檢測(cè)算法（即二階段目標(biāo)檢測(cè)器），主要代表有R-CNN、SPP-net[3]、Fast R-CNN、Faster R-CNN[4]等系列方法。而另一類是以本文中所用算法為例的YOLO[5-7]（You Only Look Once）系列和SSD[8]等方法（即單階段目標(biāo)檢測(cè)器），這類算法省略了生成候選區(qū)域的過程，將目標(biāo)檢測(cè)過程簡(jiǎn)化成一種端到端的回歸問題，所以單階段目標(biāo)檢測(cè)算法比二階段目標(biāo)檢測(cè)算法的檢測(cè)速度快，但檢測(cè)精度較為不足；而YOLOv3目標(biāo)檢測(cè)算法，在保證檢測(cè)速度的同時(shí)，檢測(cè)精度也有了較高的提升，這是本文采用YOLOv3算法實(shí)現(xiàn)車牌位置檢測(cè)的原因。

1.1 YOLOv3模型訓(xùn)練

表1 訓(xùn)練環(huán)境

配置環(huán)境版本 Windows10 CUDA10.1 CUDNN7.6.5 Visual Studio2017

圖1 YOLOv3識(shí)別效果圖

本文中數(shù)據(jù)集圖片的采集是在不同天氣、不同場(chǎng)景下實(shí)地拍攝完成的，共采集1 100幅圖片，將其作為數(shù)據(jù)集并按照10：1的比例劃分為訓(xùn)練集和測(cè)試集。訓(xùn)練集圖片標(biāo)注工具為L(zhǎng)abelImg。YOLOv3模型訓(xùn)練環(huán)境如表1所示。由于數(shù)據(jù)集圖片數(shù)據(jù)較少，1 000張訓(xùn)練集圖片在網(wǎng)絡(luò)達(dá)到4 300次迭代次數(shù)時(shí)，損失函數(shù)值便不再下降；網(wǎng)絡(luò)訓(xùn)練情況在測(cè)試集上的識(shí)別結(jié)果如圖1所示，圖中車牌識(shí)別置信度得分為98%。

1.2 車牌圖片剪裁及處理

1.2.1圖片剪裁

車牌圖片剪裁通過OpenCV（Open Source Computer Vision Library）完成；根據(jù)1.1中模型訓(xùn)練后的識(shí)別結(jié)果可以確定車牌在圖片上頂點(diǎn)坐標(biāo)以及長(zhǎng)度和寬度，利用車牌位置信息直接剪裁車牌圖片，效果如圖2所示，圖中在較遠(yuǎn)處車牌圖片拍攝較為模糊。

圖2 OpenCV剪裁效果圖

1.2.2圖片預(yù)處理

車牌長(zhǎng)度雖然固定，但它的邊緣信息提取較為困難，若直接使用YOLOv3檢測(cè)后的車牌圖片像素信息作為后續(xù)測(cè)距模型的輸入，不僅會(huì)增大測(cè)距誤差，同時(shí)誤差變動(dòng)也會(huì)較大；而車牌字符與車牌底色在形態(tài)和顏色上都有較大區(qū)別，較為容易區(qū)分，且第一個(gè)字符的前邊緣到最后一個(gè)字符的后邊緣長(zhǎng)度也是固定的，所以實(shí)際測(cè)距模型的輸入采用車牌字符之間的像素長(zhǎng)度信息。

本節(jié)的目的就是精確得到車牌字符區(qū)域橫向長(zhǎng)度上的像素信息，使車牌信息數(shù)值化，方便后續(xù)測(cè)距模型的輸入。經(jīng)過YOLOv3檢測(cè)后雖能較好地檢測(cè)到車牌的位置，但依然存在多余的邊緣信息干擾，并不能直接作為后續(xù)小孔成像模型測(cè)距的輸入，為減少誤差，精確計(jì)算車牌字符區(qū)域長(zhǎng)度信息，需要對(duì)剪裁后的車牌圖片進(jìn)行處理，以去除車牌檢測(cè)中的冗余部分。首先，將車牌彩色圖片灰度化，利用Canny算子進(jìn)行邊緣檢測(cè)；接著對(duì)邊緣化的圖像進(jìn)行腐蝕操作，去除車牌圖片的邊緣信息干擾；隨后做填充處理和形態(tài)濾波操作，移除填充圖像中面積較小的部分，將腐蝕后圖片中殘余的信息干擾進(jìn)一步清除，達(dá)到二次降噪的作用；最后對(duì)車牌字符區(qū)域進(jìn)行精確剪裁，即剪裁掉字符之外區(qū)域部分。具體處理效果如圖3所示。精確剪裁后的車牌圖片為二值化圖像，計(jì)算二值化圖片的列數(shù)可得到車牌圖片在相機(jī)成像區(qū)所占像素長(zhǎng)度，以此作為后續(xù)測(cè)距模型的輸入像素值。

圖3 車牌圖片處理

2 小孔成像原理測(cè)距模型

在同種均勻介質(zhì)中且不受引力作用干擾的情況下，光線是沿著直線傳播的；在物體與墻體之間插入一個(gè)帶有小孔的遮擋板，則在墻體上便會(huì)呈現(xiàn)一幅倒立的、相似的物體圖片，這便是小孔成像原理。照相機(jī)便是在依據(jù)此原理誕生的，相機(jī)的鏡頭相當(dāng)于小孔，將墻體替換成感光元件，從而實(shí)現(xiàn)光信號(hào)和電信號(hào)的轉(zhuǎn)換，相機(jī)在拍照時(shí)，物體會(huì)在相機(jī)的感光器件上呈現(xiàn)相似且成一定比例的物體圖像，而這個(gè)比例與相機(jī)焦距有關(guān)。

由于本測(cè)距方法是預(yù)想應(yīng)用在車輛行駛過程中，所以假設(shè)前車是在相機(jī)拍攝的正前方。利用車牌字符區(qū)域的固定長(zhǎng)度，通過小孔成像的相似原理對(duì)前車距離進(jìn)行測(cè)量，其小孔成像原理簡(jiǎn)化模型如圖4所示。

圖4 原理圖

在此模型中，點(diǎn)表示前車車牌中心所在位置，為相機(jī)所在位置，現(xiàn)實(shí)世界車牌字符區(qū)域長(zhǎng)度經(jīng)過相機(jī)拍攝在成像界面呈現(xiàn)出車牌字符區(qū)域的成像長(zhǎng)度，設(shè)成像界面的實(shí)際橫向長(zhǎng)度為，相機(jī)成像界面橫向像素為，車牌圖片橫向像素為，則：

因相機(jī)等效焦距已知，且點(diǎn)左右兩三角形具備相似關(guān)系，則有：

式中，是相機(jī)位置與車牌位置的實(shí)際距離，表示相機(jī)距離車牌平面的垂直高度，在相機(jī)取景時(shí)，相機(jī)和車牌的連線會(huì)與垂直線產(chǎn)生夾角，這個(gè)夾角隨著前車與相機(jī)位置距離的變化而變化。

依據(jù)三角函數(shù)關(guān)系，可得車牌與相機(jī)位置的實(shí)際水平距離：

=×tan（4）

綜合式（1）到（4）可得：

3 試驗(yàn)分析

為驗(yàn)證所提出方法在實(shí)際場(chǎng)景下的應(yīng)用的準(zhǔn)確度，本次試驗(yàn)直接和實(shí)際測(cè)量結(jié)果進(jìn)行對(duì)比。由于試驗(yàn)條件限制，本次試驗(yàn)采用手機(jī)拍攝的靜態(tài)圖片進(jìn)行驗(yàn)證。選用的手機(jī)相機(jī)焦距為27 mm，等效焦距為35 mm，成像界面橫向長(zhǎng)度為54 mm，所拍攝圖片像素為3 456×4 608，即為3 456。根據(jù)我國(guó)機(jī)動(dòng)車號(hào)牌標(biāo)準(zhǔn)，現(xiàn)行藍(lán)底白字車牌實(shí)際尺寸為440 mm ×140 mm，去除車牌字符前后間隙，我國(guó)藍(lán)底白字車牌第一個(gè)字符前邊緣與最后一個(gè)字符后邊緣之間的距離為409 mm，即為409 mm；相機(jī)高度為1.5 m，車牌中心離地高度為55 cm，則為95 cm。試驗(yàn)結(jié)果如表2所示。

表2 測(cè)距結(jié)果

實(shí)際距離/m車牌像素測(cè)量距離/m相對(duì)誤差/% 109110.022 80.228 156114.988 90.074 204619.893 90.531 253625.431 21.725 303129.538 31.539 352536.634 14.669 402241.632 84.028 451948.209 67.132 501753.883 47.767

由表2可知，測(cè)量值與實(shí)際值的最大相對(duì)誤差出現(xiàn)在測(cè)量距離最大處，約為7.767%，平均相對(duì)誤差約為3.077%，隨著測(cè)量距離的不斷增大，相對(duì)誤差有增大趨勢(shì)，但在近距離測(cè)量時(shí)具有較高的準(zhǔn)確率。當(dāng)測(cè)量距離逐漸增大后，由于相機(jī)成像像素的限制，測(cè)量的車牌像素差別變小，所以對(duì)于遠(yuǎn)距離車距的測(cè)量對(duì)相機(jī)成像分辨率的依賴性增強(qiáng)，提高相機(jī)成像界面的橫向像素可以提高本方法在遠(yuǎn)距離測(cè)距方面的準(zhǔn)確率；另外，在實(shí)際測(cè)量過程中，成像界面傾斜度也關(guān)系著測(cè)量準(zhǔn)確性，由于本方法設(shè)計(jì)本身的問題，當(dāng)車牌檢測(cè)中出現(xiàn)傾斜時(shí)，會(huì)增大車牌長(zhǎng)度像素計(jì)算值，測(cè)量距離會(huì)小于實(shí)際距離。

4 結(jié)論

本文基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法YOLOv3實(shí)現(xiàn)車牌圖像的檢測(cè)與剪裁，所以對(duì)檢測(cè)算法的精確度有一定要求，算法本身的準(zhǔn)確度、數(shù)據(jù)集的選取與收集和訓(xùn)練的次數(shù)等都關(guān)系到本文測(cè)距方法的后續(xù)實(shí)現(xiàn)。另外，利用小孔成像原理對(duì)車距進(jìn)行測(cè)量，對(duì)相機(jī)的成像像素存在一定要求，成像界面的橫向像素越高，不僅可以減小近距離車距測(cè)量的誤差，同時(shí)可以提高遠(yuǎn)距離車距的測(cè)量準(zhǔn)確度；此外，拍攝照片的清晰度會(huì)影響圖片處理階段的準(zhǔn)確性，所以對(duì)測(cè)距結(jié)果的準(zhǔn)確性也有著較大的影響。實(shí)際應(yīng)用中，物體檢測(cè)和測(cè)距整合為一體，較為符合人眼感知環(huán)境的過程，較為方便。但對(duì)于遠(yuǎn)距離條件下車牌的精確檢測(cè)以及不同類型車牌的辨別和分類測(cè)距問題都需要后續(xù)的深入探究。

[1]趙媛劼,魏朗,田山山,等.一種基于車牌特征的前車視覺測(cè)距方法[J].電子測(cè)量技術(shù),2019,42(13):70-74.

[2] 王永森,劉宏哲.基于單目視覺的車輛下邊沿估計(jì)和逆透視變換的車距測(cè)量[J].計(jì)算機(jī)工程與科學(xué),2020,42(07):1234-1243.

[3] HE K, ZHANG X, REN S, et al. Spatial Pyramid Poolingin Deep Convolutional Networks for Visual Recognition[J].IEEE Tran- sactions on Pattern Analysis & Machine Intelligence,2014,37(9): 1904-16.

[4] RENS,GIRSHICK R,GIRSHICK R,et al.Faster R-CNN: Towards RealTime Object Detection with Region Proposal Networks[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2017,39(6):1137-1149.

[5] Redmon J,Divvala S,Girshick R,et al.You only look once: unified, realtime object detection[C]//Conference on Computer Vision and Pattern Recognition, 2016:779-788.

[6] Redmon J,Farhadi A.YOLO9000: Better, Faster, Stronger[C]. computer vision and pattern recognition,2017:6517-6525.

[7] Redmon J, Farhadi A.YOLOv3: An Incremental Improvement [J].arXiv:Computer Vision and Pattern Recognition, 2018.arXiv: 1804.02767.

[8] LIU W,ANGUELOV D,ERHAN D,et al.SSD:Single Shot Multi- Box Detector[C]//European Conference on Computer Vision. 2016.

Research on Vision Distance Measurement of Front Vehicle Based on Deep Learning

MAO Xuwei

( School of Automobile, Chang'an University, Shaanxi Xi'an 710064 )

Aiming at the problem of measuring the longitudinal distance of vehicles ahead, this paper puts forward a vehicle distance measurement method with the detection of vehicles ahead and visual measurement distance. Firstly, this method realizes license plate position detection through YOLOv3 algorithm and use OpenCV to crop license plate images. Then, the pixel length of the license plate character area on the camera imaging area was calculated. Finally, the longitudinal distance of the car was measured by the pinhole imaging principle. The test shows that the maximum error of this method is less than 8% and the average error is about 3.077% in the range of 50 meters. It can provide a new idea for the distance measurement of the preceding vehicle, and has certain application prospects in intelligent vehicle perception.

Vehicle distance measurement; Deep learning; License plate detection; Pinhole imaging

U471; U495; TP183; TN98

A

1671-7988(2021)24-64-04

U471；U495；TP183；TN98

A

1671-7988(2021)24-64-04

10.16638/j.cnki.1671-7988.2021.024.014

毛旭偉（1997—），碩士研究生，就讀于長(zhǎng)安大學(xué)汽車學(xué)院，主要研究方向：車輛安全。