基于毫米波雷達(dá)和機(jī)器視覺融合的全息路口感知

摘 ?要：基于邊緣計(jì)算設(shè)備MEC接入部署在路口的毫米波雷達(dá)和攝像頭，通過機(jī)器視覺深度學(xué)習(xí)技術(shù)和多傳感器目標(biāo)融合技術(shù)，實(shí)現(xiàn)對路口本地的車輛、行人、路況的精細(xì)化、實(shí)時(shí)性感知，構(gòu)建路口的泛感知體系，從而實(shí)現(xiàn)道路交通多維度、多來源、全要素的全息感知。通過利用這些全息感知數(shù)據(jù)可以有效提升路口、區(qū)域整體通行能力，提高車輛平均速度，帶來城市交通管理成效的顯著提升。

關(guān)鍵詞：邊緣計(jì)算;機(jī)器視覺;深度學(xué)習(xí);目標(biāo)融合;全息感知

中圖分類號：TP393 ? ?文獻(xiàn)標(biāo)識碼：A文章編號：2096-4706（2022）05-0098-03

Holographic Perception at Intersections Based on Fusion of Millimeter-Wave Radar and Machine Vision

CHEN Xinyun

（Zhejiang Hikalllink Technology Co.， Ltd.， Hangzhou ?311100， China）

Abstract： Based on the edge calculation device MEC with millimeter wave radar and camera device deployed on road intersections， this paper realizes the refined and real-time perception on intersection of local vehicles， pedestrians， road refinement through machine vision deep learning technology and multi-sensor target fusion technology， builds intersection general perception system， so as to realize the road traffic multi-dimensional， multi-source， total elements of holographic perception. By using these holographic perception data， it can effectively improve the overall traffic capacity of intersections and regions， improve the average speed of vehicles， and bring a significant improvement in the effectiveness of urban traffic management

Keywords： edge calculation; machine vision; deep learning; target fusion; holographic perception

0 ?引 ?言

近年來，國家智能汽車創(chuàng)新發(fā)展戰(zhàn)略日趨清晰，為促進(jìn)智能網(wǎng)聯(lián)汽車和地理信息產(chǎn)業(yè)融合發(fā)展、搶占全球智能網(wǎng)聯(lián)汽車發(fā)展先機(jī)，全國各個(gè)省市都力爭通過智能交通基礎(chǔ)設(shè)施建設(shè)和自動(dòng)駕駛測試及應(yīng)用示范區(qū)建設(shè)，構(gòu)建國內(nèi)自動(dòng)駕駛和智慧出行的產(chǎn)業(yè)集聚區(qū)，建成全域城市級自動(dòng)駕駛與智慧出行示范區(qū)。

自動(dòng)駕駛目前有單車智能和車路協(xié)同兩種技術(shù)路線。其中車路協(xié)同是國家統(tǒng)籌管控自動(dòng)駕駛、提高智能交通管理、提升交通出行大數(shù)據(jù)分析的重要手段。在城市級智能網(wǎng)聯(lián)示范區(qū)建設(shè)過程中，城市交叉口是一個(gè)重要的區(qū)域，是交通堵塞和事故的多發(fā)地，是車輛、行人交通匯集、轉(zhuǎn)向和疏散的必經(jīng)之處，其交通環(huán)境相對復(fù)雜。在自動(dòng)駕駛車輛行駛過程中，在交叉口區(qū)域廣泛存在因視野遮擋、車輛遮擋等原因造成的交通參與者感知不全等隱患。針對這一系列問題，引入基于毫米波雷達(dá)和機(jī)器視覺的全息路口融合感知系統(tǒng)、可對交叉口區(qū)域所有交通參與者目標(biāo)類型、實(shí)時(shí)經(jīng)緯度、航向角、速度等屬性進(jìn)行全面感知。

此次研究目標(biāo)是具備實(shí)時(shí)接入四路視頻和四路毫米波雷達(dá)數(shù)據(jù)，實(shí)現(xiàn)對毫米波雷達(dá)的感知信息進(jìn)行兩兩對向融合、視頻感知信息與毫米波雷達(dá)感知信息的對向融合?；诙鄠鞲腥诤系娜⒙房诟兄剿鞑捎煤撩撞ɡ走_(dá)與視頻融合，借助毫米波雷達(dá)輸出的目標(biāo)結(jié)構(gòu)化數(shù)據(jù)與視頻流數(shù)據(jù)的深度融合，實(shí)現(xiàn)路口目標(biāo)的厘米級感知精度。運(yùn)用時(shí)空同步技術(shù)，再運(yùn)用深度學(xué)習(xí)算法，進(jìn)行交通參與者識別，輸出交通參與者速度、方向、航向角、屬性等相關(guān)數(shù)據(jù)。

1 ?基于機(jī)器視覺的深度學(xué)習(xí)

基于機(jī)器視覺的深度學(xué)習(xí)技術(shù)主要是實(shí)現(xiàn)對視頻流中的行人、車輛與騎行目標(biāo)的檢測與跟蹤。關(guān)鍵技術(shù)實(shí)現(xiàn)包含以下兩點(diǎn)：（1）采用深度學(xué)習(xí)目標(biāo)檢測算法，檢測場景中存在的目標(biāo);（2）采用SORT跟蹤算法，對前后兩幀的同一檢測目標(biāo)進(jìn)行關(guān)聯(lián)。

如圖1所示，從實(shí)時(shí)視頻流中獲取單幀圖像，將圖像送入到深度學(xué)習(xí)檢測器，檢測器通過深度卷積神經(jīng)網(wǎng)絡(luò)提取目標(biāo)特征，并對得到的特征進(jìn)行分類與邊框回歸。檢測器最終輸出圖像中存在的目標(biāo)類別與位置信息。

得到目標(biāo)檢測結(jié)果后，再通過目標(biāo)跟蹤算法將前后兩幀的同一目標(biāo)進(jìn)行關(guān)聯(lián)。T1代表某一時(shí)刻的目標(biāo)跟蹤結(jié)果。通過卡爾曼濾波算法來預(yù)測下一幀目標(biāo)的位置，得到跟蹤預(yù)測結(jié)果，如T2所示?？柭鼮V波采用線性等速模型，來近似每個(gè)目標(biāo)的幀間位移。每個(gè)目標(biāo)狀態(tài)建模為：x=[u，v，s，r，u，v，s]′;其中u，v為目標(biāo)的中心位置坐標(biāo)，s，r為目標(biāo)檢測框的面積與縱橫比。計(jì)算跟蹤預(yù)測框與下一幀的目標(biāo)檢測框的IOU，通過匈牙利算法得到IOU最大的最優(yōu)匹配，將檢測結(jié)果與跟蹤預(yù)測結(jié)果進(jìn)行匹配，得到當(dāng)下一幀的跟蹤結(jié)果，如圖2中T3所示。

2 ?基于機(jī)器視覺的GPS標(biāo)定

基于機(jī)器視覺的GPS標(biāo)定主要是建立單應(yīng)性矩陣，通過單應(yīng)性矩陣配合相關(guān)轉(zhuǎn)換算法可獲取視域目標(biāo)的GPS坐標(biāo)信息。單應(yīng)性矩陣表述的是一個(gè)平面到另一個(gè)平面的坐標(biāo)轉(zhuǎn)換關(guān)系，可以用在任意兩個(gè)坐標(biāo)系的轉(zhuǎn)換上，即可用于任意兩個(gè)傳感器之間的標(biāo)定，是一個(gè)3×3的矩陣，表示如下：;對于位于平面一的（x1，y1）和平面二的（x2，y2），H矩陣把二者映射關(guān)系建立起來：;矩陣展開后有3個(gè)等式，將第3個(gè)等式代入前兩個(gè)等式中可得：;H矩陣內(nèi)包含9個(gè)未知數(shù)，由于使用的齊次坐標(biāo)系，即可以進(jìn)行任意尺度的縮放，如將hij乘以任意一個(gè)非零常數(shù)k并不改變等式結(jié)果。即上述公式等價(jià)于：;所以，實(shí)際上H矩陣只有8個(gè)自由度，因此需要4個(gè)標(biāo)定點(diǎn)對進(jìn)行求解（1點(diǎn)包含x、y兩個(gè)參數(shù)）。在真實(shí)的應(yīng)用場景中，由于選取的點(diǎn)對中可能包含噪聲，為了使得計(jì)算更精確，一般都會(huì)使用遠(yuǎn)大于4個(gè)點(diǎn)對來計(jì)算單應(yīng)矩陣。

另外上述方程組采用直接線性解法通常很難得到最優(yōu)解，所以實(shí)際使用中一般會(huì)用其他優(yōu)化方法，如奇異值分解求取最小二乘解，再使用隨機(jī)采樣一致性（RANSC）進(jìn)行精選，或者通過Levenberg-Marquarat（LM）進(jìn)行優(yōu)化。

視頻攝像機(jī)與GPS標(biāo)定基于角點(diǎn)檢測與GPS點(diǎn)的平面擬合方式，采集多對GPS坐標(biāo)與像素坐標(biāo)匹配點(diǎn)，通過單應(yīng)性矩陣標(biāo)定算法，輸出最優(yōu)匹配結(jié)果，獲取坐標(biāo)轉(zhuǎn)換矩陣，即相機(jī)內(nèi)外參矩陣。

3 ?基于多傳感器目標(biāo)的融合技術(shù)

基于多傳感器目標(biāo)的融合技術(shù)主要是將通過毫米波雷達(dá)所獲取的目標(biāo)信息和通過攝像頭獲取的目標(biāo)信息進(jìn)行補(bǔ)償、去重和擬合，從而獲取路口交通目標(biāo)的各類準(zhǔn)確信息。

毫米波雷達(dá)模塊主要可以獲取運(yùn)動(dòng)的目標(biāo)信息，包括目標(biāo)的類型、位置、速度、航向角等，但由于缺乏紋理信息，對目標(biāo)類別可能會(huì)有誤判，在車流密集的復(fù)雜環(huán)境下，這一問題尤為突出。攝像頭在感知系統(tǒng)里使用頻率最高，攝像頭可獲取車輛、非機(jī)動(dòng)車、行人的類型、位置、車輛車牌等信息，從而彌補(bǔ)毫米波雷達(dá)的缺陷。

本算法的主要思路是基于卡爾曼濾波和匈牙利匹配完成互補(bǔ)信息的關(guān)聯(lián)融合，以匈牙利匹配算法匹配卡爾曼濾波的目標(biāo)預(yù)測信息與上一時(shí)刻的目標(biāo)信息（目標(biāo)的匈牙利匹配包括單目標(biāo)和多目標(biāo)兩種情況），若匹配成功，則利用卡爾曼濾波進(jìn)行本時(shí)刻的信息更新;若匹配失敗，則以目標(biāo)的量測信息作為本時(shí)刻的輸出信息。本算法以速度和位置作為狀態(tài)量，以位置作為觀測量，方程如下：

（1）狀態(tài)一步預(yù)測方程：

;

（2）狀態(tài)估計(jì)方程：

;

（3）最優(yōu)濾波增益方程：

;

（4）一步預(yù)測均方差誤差方程：

;

（5）估計(jì)均方誤差方程：

;

初始定義時(shí)，定義Q陣、R陣、P0陣以及X0;Q陣是系統(tǒng)噪聲矩陣，即雷達(dá)的噪聲值常值;R陣是量測噪聲的方差陣，即測量系統(tǒng)所能達(dá)到的位置和速度精度。當(dāng)前模塊的最終輸出主要是目標(biāo)的類別（行人、非機(jī)動(dòng)車、機(jī)動(dòng)車）、實(shí)時(shí)位置（經(jīng)緯度）、速度、航向角等目標(biāo)信息。

4 ?驗(yàn)證分析

4.1 ?驗(yàn)證方案

驗(yàn)證步驟為：（1）真值車在允許速度范圍內(nèi)通過感知區(qū)域;（2）真值車輸出車輛的位置、速度、航向角，根據(jù)時(shí)間戳和系統(tǒng)輸出的三者做比較;（3）分別測試3次并統(tǒng)計(jì)差值的平均值、標(biāo)準(zhǔn)差。

評價(jià)方法為：（1）定位精度可將經(jīng)緯度轉(zhuǎn)化成歐式距離進(jìn)行結(jié)果統(tǒng)計(jì);（2）差值的平均值和標(biāo)準(zhǔn)差滿足要求。

注意事項(xiàng)有：（1）在能夠保證授時(shí)精度的前提下，認(rèn)為真值車與待測系統(tǒng)時(shí)間相差10毫秒內(nèi)的兩幀數(shù)據(jù)為同一時(shí)刻的數(shù)據(jù);（2）車輛輸出位置的選擇可以選在車輛前保險(xiǎn)杠中心點(diǎn)、后保險(xiǎn)杠中心點(diǎn)或者幾何中心點(diǎn)，只需要在上報(bào)數(shù)據(jù)的時(shí)候標(biāo)明該組數(shù)據(jù)的輸出位置即可;（3）航向角以正北方向?yàn)榛鶞?zhǔn)，沿順時(shí)針方向，正北向和目標(biāo)頭部運(yùn)動(dòng)方向之間的夾角即為航向角，方向角的取值范圍是[0°，360°）。

4.2 ?驗(yàn)證結(jié)果

平均偏差是指多次測試后所得到的各個(gè)偏差值的平均值，標(biāo)準(zhǔn)差是各數(shù)據(jù)偏離平均偏差數(shù)的距離（離均差）的平均數(shù)。如表1所示，3次目標(biāo)定位測試偏差均小于1米;如表2所示，3次目標(biāo)速度測試偏差均小于0.5米/秒;如表3所示，3次目標(biāo)航向角測試偏差均小于1°;各項(xiàng)指標(biāo)均符合預(yù)期。

5 ?結(jié) ?論

提出一種基于機(jī)器視覺的目標(biāo)匹配算法對前后兩幀的同一檢測目標(biāo)進(jìn)行關(guān)聯(lián)，通過匈牙利算法得到IOU最優(yōu)匹配，將檢測結(jié)果與預(yù)測結(jié)果進(jìn)行匹配，實(shí)現(xiàn)對目標(biāo)的跟蹤。

針對毫米波雷達(dá)檢測目標(biāo)時(shí)出現(xiàn)定位精度不準(zhǔn)的問題，提出一種基于機(jī)器視覺的GPS標(biāo)定方法，通過建立單應(yīng)性矩陣配合相關(guān)轉(zhuǎn)換算法可獲取視域目標(biāo)的GPS坐標(biāo)信息，用以針對毫米波雷達(dá)定位功能的精度補(bǔ)償。

提出一種基于毫米波雷達(dá)和機(jī)器視覺的多傳感目標(biāo)融合技術(shù)，通過基于卡爾曼濾波和匈牙利匹配完成互補(bǔ)信息的關(guān)聯(lián)融合，實(shí)現(xiàn)對目標(biāo)信息的補(bǔ)償、去重和擬合功能。

參考文獻(xiàn)：

[1] 李原.毫米波雷達(dá)在車路協(xié)同系統(tǒng)中的應(yīng)用研究 [J].工業(yè)控制計(jì)算機(jī)，2020，33（1）：44-46+50.

[2] 王宇寧，龐智恒，袁德明.基于YOLO算法的車輛實(shí)時(shí)檢測 [J].武漢理工大學(xué)學(xué)報(bào)，2016，38（10）：41-46.

[3] WANG C Y， LIAO H Y M. YOLOv4：Optimal Speed and Accuracy of Object Detection [J/OL]. arXiv：2004.10934v1 [cs.CV].（2020-04-23）.https：//arxiv.org/abs/2004.10934v1.

[4] OH J， KIM K S， PARK M， et al. A Comparative Study on Camera-Radar Calibration Methods [C]//15th International Conference on Control，Automation，Robotics and Vision （ICARCV）.Singapore：IEEE，2018：1057-1062.

[5] ZHANG X，ZHOU M，QIU P，et al. Radar and vision fusion for the real?time obstacle detection and identification [J].Industrial Robot An International Journal，2019，46（3）：391-395.

作者簡介：陳信云（1979—），男，漢族，浙江寧波人，工程師（中級），學(xué)士學(xué)位，研究方向：車路協(xié)同、智慧交通。