車輛信息識別下的測距模型建立方法研究

趙栓峰 許倩 丁志兵 黃濤

摘? 要： 為了探測車輛間的相對距離，避免危險車輛由于駕駛不當(dāng)所引發(fā)的交通問題，提出一種深度學(xué)習(xí)目標(biāo)識別下的跟馳車輛相對距離測定方法，避免了雷達測距的短距離局限性以及車輛未知性的缺點。該方法采用車載單目攝像機對側(cè)后方車輛進行拍攝，實際物體和成像點之間的轉(zhuǎn)換通過三坐標(biāo)轉(zhuǎn)換完成，利用深度網(wǎng)絡(luò)識別目標(biāo)車輛，獲得目標(biāo)車輛位置以及類別信息，并建立合適的測距模型，得到檢測車輛與攝像頭之間的相對距離，利用幀差法預(yù)測被檢測車輛的行駛速度。選擇河南省鶴壁市107，342國道進行試驗，該路段驗證了測距模型的有效性，靜態(tài)測距下75 m以內(nèi)相對誤差控制在4%，速度誤差控制在5%，因此，在檢測到危險車輛的情況下，測距模型可以實現(xiàn)相對距離的實時準(zhǔn)確性檢測。

關(guān)鍵詞： 車輛識別; 坐標(biāo)轉(zhuǎn)換; 測距模型; 車輛位置信息; 相對距離探測; 車輛速度預(yù)測

中圖分類號： TN98?34? ? ? ? ? ? ? ? ? ? ? ? ?文獻標(biāo)識碼： A? ? ? ? ? ? ? ? ? ? ? ? ? ? 文章編號： 1004?373X（2020）19?0070?05

Abstract： In order to detect the relative distance between vehicles and avoid traffic accidents caused by dangerous vehicles due to improper driving， a following vehicle relative distance measuring method based on deep learning target recognition is proposed， which avoids the limitation of short distance radar ranging and the shortcoming that a vehicle cannot get the situation around. In the proposed method， the vehicle?mounted monocular camera is used to shoot the rear side vehicles， and the transformation between the actual object and the imaging point is achieved by the transformation of three coordinates. The deep network is used to identify the target vehicle， obtain the position and category information of the target vehicle， and establish a suitable ranging model to obtain the relative distance between the detected vehicle and the camera. The frame difference method is used to predict the driving speed of the detected vehicle. The national highway G107 and G342 within Hebi city in Henan province were selected for the test to verify the effectiveness of the ranging model. The relative error and the speed error of static ranging within 75 m are kept at 4% and 5%， respectively. Therefore， the ranging model can realize real?time accurate detection of relative distance.

Keywords： vehicle recognition; coordinate transformation; ranging model; vehicle position information; relative distance detection; vehicle velocity prediction

0? 引? 言

駕駛員在變道或超車等類似駕駛行為中經(jīng)常會對駕駛可行性做出誤判，導(dǎo)致交通事故頻繁發(fā)生，僅2017年，由于駕駛員出現(xiàn)感知失誤引發(fā)交通事故203 049起，死亡人數(shù)63 772人，財產(chǎn)損失[1]高達121 211.3萬元。因此，越來越多的研究學(xué)者將研究重點集中在車輛安全駕駛輔助系統(tǒng)上[2]，文獻[3]基于數(shù)據(jù)融合的思想，通過識別駕駛員人眼特征以及車道線等參數(shù)來實現(xiàn)駕駛員在危險狀態(tài)下的實時預(yù)警，文獻[4]建立了基于機器立體視覺的車距測量系統(tǒng)，實現(xiàn)了車輛間的距離檢測，但汽車識別誤差較大，距離誤差在50 m內(nèi)高達4.5%。文獻[5]將機器視覺與車距測量相結(jié)合，根據(jù)小孔成像原理建立實際三維圖像空間與攝像機二維圖像的映射關(guān)系，計算出前方車輛的實際距離值，測量距離在70 m內(nèi)時，誤差可達5%。文獻[6]為了降低汽車換道時碰撞事故發(fā)生的概率，提出一種基于OpenCV的AEB系統(tǒng)車輛檢測和預(yù)警研究，實現(xiàn)了單目視覺下的車輛識別。這些研究均為汽車安全駕駛性能的提高做出了突出貢獻，目前已有的HLCA系統(tǒng)[7]融合了雷達和CCD攝像機的信息，實現(xiàn)了40 m左右的中距測量。Mobile eye公司研發(fā)的BSD系統(tǒng)[8]利用單目攝像機及車道線識別系統(tǒng)進行盲區(qū)車輛的檢測，其探測距離可達50 m。由于多目標(biāo)識別使系統(tǒng)識別速度降低，實時預(yù)警效果不佳，本文提出了一種基于深度學(xué)習(xí)網(wǎng)絡(luò)對危險車輛進行識別檢測的方法，實現(xiàn)單目標(biāo)危險物識別，在識別危險車輛的基礎(chǔ)上，通過危險車輛的信息建立測距模型，同時實現(xiàn)了危險目標(biāo)的識別以及距離測定，在75 m以內(nèi)距離相對誤差可控制在4%內(nèi)，為安全駕駛輔助系統(tǒng)提供了技術(shù)實現(xiàn)依據(jù)。

1? 危險車輛識別

車輛類別的識別可以實現(xiàn)危險駕駛的精準(zhǔn)預(yù)警，本文采用車載攝像機對后方車輛進行實時拍攝，攝像機安裝在后視鏡下方一定高度處，對車輛的預(yù)測采用如圖1所示的深度學(xué)習(xí)網(wǎng)絡(luò)，此網(wǎng)絡(luò)是一個全卷積網(wǎng)絡(luò)，網(wǎng)絡(luò)中采用了53個卷積層，借鑒了殘差網(wǎng)絡(luò)（Residual Network）的做法，在一些層之間設(shè)置了快捷鏈路[9]（Shortcut Connections），大量使用殘差的跳層連接，形成更深的網(wǎng)絡(luò)層次以及多尺度檢測。

網(wǎng)絡(luò)對輸入為416×416×3的圖像進行特征提取，得到[S×S]大小的特征圖，然后將輸入圖像分成[S×S]個網(wǎng)格單元，采樣使用步長為2的卷積來進行降采樣。每一個網(wǎng)絡(luò)結(jié)構(gòu)進行3次目標(biāo)檢測，在檢測中使用sigmoid 函數(shù)進行中心坐標(biāo)預(yù)測，如果ground truth中某個檢測目標(biāo)的中心坐標(biāo)落在某個網(wǎng)格單元中[10]，那么就由該網(wǎng)格單元預(yù)測該目標(biāo)，再預(yù)測出[B]個檢測邊界框以及每個框的置信度。置信度表征了檢測邊界框?qū)ζ錂z測物體的置信度[11]，公式如下：

式中：[C]為邊界框的置信度，由當(dāng)前預(yù)測中邊界框含有目標(biāo)的置信物體[Pt]與預(yù)測目標(biāo)的準(zhǔn)確性[Iou]所決定，目標(biāo)檢測準(zhǔn)確性的判別方法如式（2）所示，[Bgt]為訓(xùn)練樣本自制標(biāo)簽的標(biāo)準(zhǔn)框，[Bdt]為檢測到物體的回歸邊界框，因此，目標(biāo)檢測的準(zhǔn)確性取決于標(biāo)準(zhǔn)框與預(yù)測邊界框的重合度，即預(yù)測框中檢測物體的存在概率。檢測結(jié)果可以獲得檢測物體的類別、中心坐標(biāo)值以及預(yù)測邊界框的坐標(biāo)。在訓(xùn)練過程中，采用二元交叉熵?fù)p失進行分類預(yù)測。

2? 三坐標(biāo)轉(zhuǎn)換

為了完成車輛間實際距離的預(yù)測，需要完成攝像機坐標(biāo)、平面坐標(biāo)以及世界坐標(biāo)之間的轉(zhuǎn)換[12]，才能得到圖像中目標(biāo)點的像素點距離。

1） 圖像坐標(biāo)[（x，y）]轉(zhuǎn)換為像素坐標(biāo)[（u，v）]

水平坐標(biāo)軸[u]與垂直于[u]軸坐標(biāo)軸的[v]軸相交于點[O0]，共同構(gòu)成了圖像坐標(biāo)系，以左上角[O0]點作為原點，其度量單位為像素。在[（u，v）]圖像坐標(biāo)系中通過建立坐標(biāo)系[（x，y）]來解決像素不能用實際的物理單位表述的問題，[x，y]軸分別與[u，v]軸保持平行，因此，[xO1y]和[uO0v]坐標(biāo)系中的參數(shù)點能夠相互表示，其坐標(biāo)系如圖2所示。

假定[xO1y]坐標(biāo)系中[x]軸方向上每個像素表示實際的物理尺寸為[dx]，[y]軸方向上為[dy]，則[xO1y]坐標(biāo)系與[uO0v]坐標(biāo)系的轉(zhuǎn)化關(guān)系如下：

將式（3）用矩陣表示并使用齊次坐標(biāo)變換后可得：

2） 攝像機坐標(biāo)[（Xc，Yc，Zc）]到平面坐標(biāo)[（x，y）]的轉(zhuǎn)換

在理想狀態(tài)下，空間任意一點[P]可以采用小孔成像模型[13]來描述，即采用[OP]交于圖像平面的點[p]來代表[P]的投影，該關(guān)系采用比例等式來描述：

把坐標(biāo)點進行齊次化，使用矩陣將式（5）表達出來為：

3） 世界坐標(biāo)轉(zhuǎn)化為攝像機坐標(biāo)

通過平移和旋轉(zhuǎn)世界坐標(biāo)系能夠獲得攝像機坐標(biāo)系[14]，假設(shè)圖像平面中有一點[（Xc，Yc，Zc）]在實際空間中的坐標(biāo)為[（XW，YW，ZW）T]，經(jīng)過齊次化后并實施轉(zhuǎn)換得到兩坐標(biāo)系的轉(zhuǎn)換關(guān)系為：

式中：三階正交矩陣[R]為旋轉(zhuǎn)矩陣;三階矩陣[t]為平移矩陣;[OT]為三階零矩陣。

綜上所述，世界坐標(biāo)轉(zhuǎn)換到像素坐標(biāo)的關(guān)系為：

式中：[ax=fdx]，[ay=fdy]分別表示兩坐標(biāo)軸上的單位尺度參數(shù);[M]是一個3×4的投影矩陣;[ax]，[ay]，[u0]，[v0]，[M1]由攝像機的內(nèi)部參數(shù)決定;[M2]為攝像機的外部參數(shù)矩陣，由旋轉(zhuǎn)矩陣[11]和平移矩陣組成。

3? 相對位置測距模型

危險車輛間速度以及距離測定的基礎(chǔ)在于深度學(xué)習(xí)對于側(cè)后方駕駛車輛的準(zhǔn)確預(yù)測以及回歸，只有在回歸出后方車輛的目標(biāo)矩形，標(biāo)注出矩形邊框中心點的基礎(chǔ)上，才能建立合適的測速測距模型，如圖3所示，[P1]，[P2]點為回歸車輛所需要的中界點參數(shù)。

如圖4所示，相機光心為[O]，相機安裝在距離地面高度為[h]的位置，其中[h]為90 cm，即光心距離地面的距離[OD]為90 cm。標(biāo)注圖3中[P1]，[P2]點的位置，即跟馳車輛的車身高度，利用[P′1]，[P′2]表示[P1]，[P2]點在攝像機成像平面上的成像點，光軸相交成像平面于點[P]，相交于實體平面于點[P]，則[OP]為相機焦距[Fy]。前導(dǎo)車與跟馳車輛相對距離表示為[d]，以[O]為原點作直線垂直地面于點[D]，以[P1]為原點，作直線垂直于以[O]為原點的[DP1]水平線于點[F];作平行于成像平面的直線相交于[OF]延長線于點[G]，延長線段[OP2]，[OP]交線段[P1G]于點[C]，[B]。車載攝像機的安裝俯仰角度為[θ]，其中[θ]為5°，光軸與水平面夾角為[β]。

由距離測量公式可知，只需得到目標(biāo)車輛參數(shù)點的像素坐標(biāo)，就可以得到行駛車輛間的相對距離。

4? 相對位置測速模型

測速是檢測運動目標(biāo)在單位時間內(nèi)的位移[14]。測速算法通過后視鏡下方安裝的攝像機以一定幀速采集側(cè)后方車輛視頻圖像，經(jīng)過深度預(yù)警網(wǎng)絡(luò)預(yù)測輸出目標(biāo)邊界框中心坐標(biāo)[15]，再利用坐標(biāo)轉(zhuǎn)換方法將車輛在二維圖像中的像素坐標(biāo)轉(zhuǎn)換到三維世界坐標(biāo)系中，利用幀差法對圖像不同幀之間的距離作差，計算出[ΔS]，進而求出[v1]，[v2]，取二者均值作為相對速度[RS]。測速算法流程如圖5所示。

具體的行車距離計算、時間間隔計算、側(cè)后方運動車速計算如下：

1） 行車距離計算

采集一段含有[N]幀圖像的本車側(cè)后方車輛運動視頻，假設(shè)行駛車輛在圖像坐標(biāo)系中的位置為[（u1，v1）]，[（u2，v2）]，…，[（uN，vN）]，映射到世界坐標(biāo)中的位置為[（X1，Y1）]，[（X2，Y2）]，…，[（XN，YN）]。使用相鄰幀圖像求解車輛的相對運動距離如下：

式中[ΔS]為兩車的相對距離。

2） 時間間隔計算

攝像機采樣周期由硬件決定，在實際應(yīng)用中可以通過視頻幀[16]計算時間。在測速過程中，假設(shè)攝像機采樣周期為[T]，某一時刻的幀號為[N1]，經(jīng)過一段時間后幀號為[N2]，兩個位置點相對應(yīng)的行車時間為：

3） 側(cè)后方運動車輛相對速度計算

根據(jù)車輛的相對運動距離和車輛的相對運動時間可以計算出本車和側(cè)后車輛之間的相對運動速度RS：

5? 系統(tǒng)實驗結(jié)果及分析

以比亞迪某1.5 L排量的轎車為實驗車輛，將兩個CCD攝像機分別安裝于后視鏡底部高度為90 cm距離處，調(diào)整CCD攝像機的俯仰角，使攝像機能夠有效地監(jiān)測到本車側(cè)后方的車輛信息以迎合駕駛員的駕駛習(xí)慣。姿態(tài)角度傳感器BWT901CL吸附于車頂?shù)闹行奈恢?，用來采集本車加速度、角速度等?shù)據(jù)。采用手機內(nèi)置GPS模塊配合高德地圖導(dǎo)航記錄本車的行駛速度。計算機作為數(shù)據(jù)計算中心，在Windows 7系統(tǒng)下，通過Python程序調(diào)用Tkinter模塊設(shè)計了側(cè)后方車輛速度與距離檢測軟件系統(tǒng)，顯示界面如圖6所示，車輛檢測模塊主要依賴于Keras框架和OpenCV，相對距離估計算法和測速估計算法通過Python程序?qū)崿F(xiàn)。

5.1? 測距實驗及結(jié)果分析

靜態(tài)測距時將測試車輛?？吭诤幽鲜→Q壁市342國道的淇河大橋上，測試車輛與行駛車輛方向保持一致，車身與車道分隔線保持平行，測試車輛在5 m，15 m，25 m，35 m，45 m，55 m，65 m，75 m處做標(biāo)記，對每一個標(biāo)記處分別采集10張圖片。靜態(tài)測距實驗結(jié)果見表1。

在5～75 m距離范圍內(nèi)對測距算法的有效性和準(zhǔn)確性進行驗證，縱向?qū)嶋H距離和測算距離相對誤差保持在4%范圍以內(nèi)。

5.2? 測速實驗及結(jié)果分析

實驗車輛?？吭诼愤?，設(shè)置一輛在本車相鄰車道上的受測試車輛保持40 km/h的速度勻速接近本車，分別進行5組實驗，在不同的標(biāo)記距離區(qū)間檢測受測試車輛的相對速度[RS]。在距離本車15 m范圍內(nèi)，選取視頻中的208～216幀圖像，將第213幀圖像選為中間幀，從而得知[Δt1]=0.172 s，[Δt2]=0.103 s，分別測得相對位移[Δs1=]1.97 m，[Δs2=]1.20 m，進而求出[v1=]41.233 km/h，[v2=]41.942 km/h，將兩者的平均速度記為相對速度[RS=]41.587 km/h，相對誤差為4.068%，測速實驗結(jié)果見表2。

在15 m范圍內(nèi)測算相對誤差為4.086%;在16～35 m范圍內(nèi)測算相對誤差為0.435%;在36～55 m范圍內(nèi)測算相對誤差為0.435%;在36～55 m范圍內(nèi)測算相對誤差為2.970%;在56～75 m范圍內(nèi)測算相對誤差為4.226%;檢測范圍大于75 m時，會因為距離越遠(yuǎn)的像素點之間對應(yīng)實際距離的差值增大，導(dǎo)致測算相對誤差增大到24.361%。

6? 結(jié)? 語

本文利用深度網(wǎng)絡(luò)實現(xiàn)了危險車輛的識別，在基于目標(biāo)參數(shù)點的基礎(chǔ)上建立了測距模型，由實驗數(shù)據(jù)可得，建立的測距測速模型在一定距離內(nèi)能夠符合實際距離測定的要求，模型在75 m內(nèi)距離誤差可控制在4%以內(nèi)，速度誤差控制在5%以內(nèi)，超過此范圍，誤差將急劇增大。因此，后期研究中將會針對相對距離超過75 m的車輛設(shè)置合適的測距模型，來完成車輛在行駛過程的相對距離檢測，實現(xiàn)駕駛過程中危險車輛的識別以及實時預(yù)警。

參考文獻

[1] 邱建東，解小平，湯旻安，等.基于車流量的智能交通信號優(yōu)化控制研究[J].計算機應(yīng)用與軟件，2018，35（1）：92?96.

[2] 徐洋.先進駕駛員輔助駕駛系統(tǒng)關(guān)鍵技術(shù)研究[D].重慶：重慶大學(xué)，2017.

[3] 李娟.基于數(shù)據(jù)融合的危險駕駛行為識別與車輛跟蹤算法研究[D].武漢：武漢工程大學(xué)，2017.

[4] 范賢達.復(fù)雜環(huán)境下運動車輛識別與測距方法研究[D].北京：北京交通大學(xué)，2017.

[5] 唐玲，陳明舉，楊平先.基于機器視覺的車輛距離測量系統(tǒng)設(shè)計[J].實驗室研究與探索，2016，35（3）：56?59.

[6] 楊俊華.基于OpenCV的AEB系統(tǒng)車輛檢測和預(yù)警研究[J].北京汽車，2018（3）：11?14.

[7] CHENG Fuchao， ZHANG Hong， FAN Wenjie， et al. Image recognition technology based on deep learning [J]. Wireless personal communications， 2018， 102（2）： 1917?1933.

[8] ZOU Bowei， CUI Xiaochuan. Research on the measurement method of the detection range of vehicle reversing assisting system [C]// Proceedings of the 2015 International Conference on Information Technology and Intelligent Transportation Systems. Xian： Springer， 2015： 55?66.

[9] WANG Zhouxia， CHEN Tianshui， LI Guanbin， et al. Multi?label image recognition by recurrently discovering attentional regions [C]// 2017 IEEE International Conference on Computer Vision. Venice： IEEE， 2017： 464?472.

[10] 楊青錦.OpenCV下按視頻幀率（FPS）播放視頻[J].中國科技信息，2012（21）：75.

[11] MO Chunmei， LI Yinong， ZHENG Ling. Simulation and analysis on overtaking safety assistance system based on vehicle?to?vehicle communication [J]. Automotive innovation， 2018（2）： 158?166.

[12] 王華瑩.基于機器視覺的車輛檢測和車距測量方法研究[D].大連：大連理工大學(xué)，2011.

[13] 陸德彪，郭子明，蔡伯根，等.基于深度數(shù)據(jù)的車輛目標(biāo)檢測與跟蹤方法[J].交通運輸系統(tǒng)工程與信息，2018，18（3）：55?62.

[14] 羅金玲.基于計算機視覺的前方車輛檢測與測距系統(tǒng)設(shè)計[J].電腦編程技巧與維護，2017（22）：87?88.

[15] 曹，李進，張智欣.機器視覺輔助駕駛系統(tǒng)的車輛檢測和測距[J].電子技術(shù)與軟件工程，2018（17）：238.

[16] 蔣玉亭，那田，汪世財.一種基于機器視覺的前方車輛距離檢測方法[J].合肥工業(yè)大學(xué)學(xué)報（自然科學(xué)版），2018，41（4）：518?522.