基于雷視一體機(jī)的交通流數(shù)據(jù)采集系統(tǒng)設(shè)計(jì)

劉元昊,張 昱,劉杲朋,張瀚坤,荊林立,樊兆董

(1.山東高速建設(shè)管理集團(tuán)有限公司， 濟(jì)南 250014;

3.山東省路域安全與應(yīng)急保障 交通運(yùn)輸行業(yè)重點(diǎn)實(shí)驗(yàn)室，濟(jì)南 250031)

0 引言

改革開(kāi)放40多年來(lái)，隨著我國(guó)交通事業(yè)的發(fā)展，構(gòu)建快速、高效、綠色、安全的現(xiàn)代高速公路已得到業(yè)內(nèi)專(zhuān)家的廣泛認(rèn)可，也成為我國(guó)現(xiàn)階段交通事業(yè)發(fā)展的主要任務(wù)。綜合來(lái)看，高速公路面臨的交通流量激增、高速交通擁堵、交通事故等突發(fā)事件方面的壓力，已經(jīng)成為制約交通發(fā)展的重要因素。為此，研究高速公路實(shí)時(shí)交通流數(shù)據(jù)采集技術(shù)可有效獲取動(dòng)態(tài)路網(wǎng)的第一手?jǐn)?shù)據(jù)，為道路管理者進(jìn)行宏觀管控、科學(xué)規(guī)劃奠定數(shù)據(jù)基礎(chǔ)；建設(shè)交通流數(shù)據(jù)采集系統(tǒng)是構(gòu)建智慧交通的關(guān)鍵步驟，也是在未來(lái)實(shí)現(xiàn)自動(dòng)駕駛的重要保障。

在交通流數(shù)據(jù)采集技術(shù)方面，國(guó)內(nèi)外學(xué)者研發(fā)了多種交通流數(shù)據(jù)采集方法，在實(shí)際應(yīng)用中均存在局限性，如文獻(xiàn)[1]使用微波雷達(dá)對(duì)交通流數(shù)據(jù)進(jìn)行采集，此方法有幾個(gè)顯著的不足：其一，雨雪天氣會(huì)對(duì)雷達(dá)信號(hào)進(jìn)行干擾，導(dǎo)致所采集數(shù)據(jù)準(zhǔn)確度下降；其二，雷達(dá)僅能獲取每個(gè)被檢測(cè)目標(biāo)的質(zhì)心位置，無(wú)法獲取其大小和范圍，因而導(dǎo)致該方法無(wú)法對(duì)道路上的車(chē)輛與其他物體進(jìn)行準(zhǔn)確區(qū)分。為克服雨天對(duì)雷達(dá)信號(hào)的干擾，文獻(xiàn)[2]在上海市建立了加入了雷達(dá)信號(hào)處理算法的雷達(dá)采集系統(tǒng)，通過(guò)對(duì)雨滴反射的雷達(dá)信號(hào)進(jìn)行分析，建立當(dāng)前雨量集群模型，從而有效減輕反射雷達(dá)信號(hào)中雨雜波的影響。為獲取道路車(chē)輛車(chē)型信息，文獻(xiàn)[3]使用攝像機(jī)對(duì)紐約市交通流數(shù)據(jù)進(jìn)行采集，然而在雨天時(shí)圖像質(zhì)量嚴(yán)重下降，無(wú)法采集有效信息。為克服雨天影響，文獻(xiàn)[4]在使用攝像機(jī)采集數(shù)據(jù)的基礎(chǔ)上加入了圖像處理算法，抵消了部分雨滴影響，提高了圖像質(zhì)量，然而此方法算法復(fù)雜度較高，且算法準(zhǔn)確度在不同降雨強(qiáng)度下不穩(wěn)定。文獻(xiàn)[5]采用紅外攝像機(jī)對(duì)東京城市道路信息進(jìn)行采集，此方法雖可通過(guò)檢測(cè)溫度較高的車(chē)輛輪胎來(lái)確定車(chē)輛位置信息，但無(wú)法有效獲取車(chē)輛車(chē)型信息與非車(chē)輛目標(biāo)信息。文獻(xiàn)[6]通過(guò)激光雷達(dá)與kalman濾波算法，達(dá)到了對(duì)帕爾馬市道路目標(biāo)精確檢測(cè)與對(duì)其運(yùn)動(dòng)信息的精準(zhǔn)獲取，但是因激光雷達(dá)所發(fā)紅外線(xiàn)波長(zhǎng)較短，傳播距離受不良天氣影響較大，導(dǎo)致該方法在不良天氣下準(zhǔn)確度較低。文獻(xiàn)[7]在長(zhǎng)春市建立的數(shù)據(jù)采集系統(tǒng)使用基于CCD攝像機(jī)內(nèi)部參數(shù)標(biāo)定的方法對(duì)車(chē)輛進(jìn)行了調(diào)焦，但因?qū)嶋H距離與像素坐標(biāo)非線(xiàn)性，導(dǎo)致該系統(tǒng)在測(cè)量較遠(yuǎn)距離目標(biāo)時(shí)誤差較大。文獻(xiàn)[8]使用雷達(dá)與攝像機(jī)共同采集交通流數(shù)據(jù)，先使用雷達(dá)對(duì)路段整體進(jìn)行掃描，將掃描到目標(biāo)的區(qū)域通過(guò)攝像機(jī)對(duì)其視頻圖片進(jìn)行采集與分析。此方法既能獲取車(chē)輛運(yùn)動(dòng)信息，又可對(duì)被檢測(cè)目標(biāo)的車(chē)型進(jìn)行識(shí)別。但因此方法所用攝像機(jī)為單目，攝像機(jī)本身無(wú)法獲取車(chē)輛距離信息，僅靠雷達(dá)采集車(chē)輛數(shù)據(jù)，雨雪天氣準(zhǔn)確度較低。

在交通流數(shù)據(jù)采集系統(tǒng)應(yīng)用方面，國(guó)內(nèi)自主開(kāi)發(fā)的檢測(cè)裝置主要側(cè)重于交通執(zhí)法，而以增加公路系統(tǒng)運(yùn)行效率、維護(hù)運(yùn)行安全為目的的系統(tǒng)應(yīng)用還較少。因此，盡管在道路檢測(cè)體系方面已經(jīng)有了一定的投入，但系統(tǒng)尚未完善。如文獻(xiàn)[9]在延慶至崇禮高速公路設(shè)計(jì)的路況感知系統(tǒng)，雖同時(shí)使用了雷達(dá)與視頻對(duì)道路信息進(jìn)行采集，但沒(méi)有進(jìn)行數(shù)據(jù)融合，所采集雷達(dá)與視頻數(shù)據(jù)未能進(jìn)行目標(biāo)同步，致使單車(chē)運(yùn)行數(shù)據(jù)的采集種類(lèi)較少。文獻(xiàn)[10]通過(guò)激光、毫米波雷達(dá)與全景相機(jī)建立了一種交通數(shù)據(jù)采集系統(tǒng)，證實(shí)了基于多傳感器融合的交通數(shù)據(jù)采集系統(tǒng)，其目標(biāo)識(shí)別精度高于單一傳感器，然而該系統(tǒng)對(duì)融合后數(shù)據(jù)的優(yōu)化處理步驟較少，其精確度仍有提升空間。

本文通過(guò)自主研發(fā)的雷視一體機(jī)對(duì)交通流信息進(jìn)行采集，既能通過(guò)毫米波雷達(dá)獲取車(chē)輛位置、速度等信息，又可利用雙目相機(jī)特性，以三角測(cè)距與幀間測(cè)速等方法獲取目標(biāo)車(chē)輛運(yùn)動(dòng)數(shù)據(jù)，通過(guò)雷視數(shù)據(jù)的雙向最優(yōu)估計(jì)算法進(jìn)行計(jì)算，不僅克服了不良天氣下單一雷達(dá)測(cè)速準(zhǔn)確度下降的問(wèn)題，也增加了單目相機(jī)測(cè)速的準(zhǔn)確率，大幅增加了交通流數(shù)據(jù)采集的可靠性。

1 系統(tǒng)總體方案

本文設(shè)計(jì)開(kāi)發(fā)的系統(tǒng)采用端-邊-云分級(jí)傳輸?shù)奈锫?lián)網(wǎng)架構(gòu)，系統(tǒng)架構(gòu)見(jiàn)圖1。在前端，使用雷視一體機(jī)對(duì)道路車(chē)輛的雷達(dá)數(shù)據(jù)與視頻數(shù)據(jù)進(jìn)行同步采集；在邊緣端，首先對(duì)雷達(dá)與視頻信號(hào)分別進(jìn)行數(shù)據(jù)提取，并對(duì)視頻中車(chē)輛進(jìn)行CNN車(chē)型識(shí)別算法，提取目標(biāo)車(chē)輛車(chē)型信息。然后對(duì)目標(biāo)車(chē)輛的運(yùn)動(dòng)數(shù)據(jù)與位置信息進(jìn)行基于Kalman濾波器的一維數(shù)據(jù)最優(yōu)估計(jì)，提高數(shù)據(jù)精確度。再對(duì)依據(jù)雷達(dá)數(shù)據(jù)所在的極坐標(biāo)系與相機(jī)數(shù)據(jù)所在的相機(jī)坐標(biāo)系間的空間關(guān)系，以及因二者傳感器采樣時(shí)間不同所導(dǎo)致的采用時(shí)間關(guān)系，對(duì)雷視目標(biāo)進(jìn)行匹配驗(yàn)證，從而提高傳感器可靠性。最后，以視頻圖像作為傳感器的主體，將雷達(dá)發(fā)送到云端中的整體圖像信息進(jìn)行視頻圖像特征層的轉(zhuǎn)化，然后與其他視頻圖像進(jìn)行融合之后再發(fā)送到云端。

圖1 系統(tǒng)整體結(jié)構(gòu)示意圖

2 系統(tǒng)硬件設(shè)計(jì)

2.1 前端設(shè)備選型

系統(tǒng)前端主要由雷視一體機(jī)組成，布置于被觀測(cè)路段的主要交通節(jié)點(diǎn)處，用于采集道路車(chē)輛的雷達(dá)、視頻數(shù)據(jù)。

雷視一體機(jī)主要包括毫米波雷達(dá)與監(jiān)控相機(jī)，毫米波雷達(dá)具有較高精度的多維搜索測(cè)量功能，可對(duì)正常運(yùn)行中車(chē)輛的距離、方位、橫/縱向速度與加速度、空間位置等信息進(jìn)行準(zhǔn)確高精度的檢測(cè)與定位；雙目相機(jī)主要用于實(shí)時(shí)記錄汽車(chē)的流量和行駛情況，并通過(guò)視頻信號(hào)處理軟件逐幀地分析視頻圖片以便于提取出車(chē)輛在道路上的行駛軌跡，進(jìn)而通過(guò)推算獲得車(chē)輛位置、橫/縱向速度與加速度等信息。

本交通流數(shù)據(jù)采集融合系統(tǒng)主要采用BY-VD300型毫米波輻射雷達(dá)，與普通大型超聲波雷達(dá)監(jiān)測(cè)設(shè)備相比，本系統(tǒng)在大幅節(jié)省設(shè)備體積的同時(shí)，保證了自身高分辨率，與紅外、激光等多種新型光學(xué)雷達(dá)傳感器檢測(cè)技術(shù)設(shè)備相比，毫米波遙控雷達(dá)在其對(duì)霧、煙、灰塵等多方面的抗穿透檢測(cè)能力更強(qiáng)，并且同時(shí)具備了全天候、全時(shí)段監(jiān)測(cè)的重要功能。另外，毫米波輻射雷達(dá)也具備高抗干擾能力，是因?yàn)楹撩撞ㄔ趥鞑r(shí)比其他光波衰減更小，在自然光和其他熱輻射影響下?lián)p耗更低；和其他微波雷達(dá)相比，毫米波雷達(dá)元器件的體積更小，更易與其他設(shè)備進(jìn)行結(jié)合，且信號(hào)抗干擾性更強(qiáng)，穩(wěn)定性更好。

本系統(tǒng)使用的監(jiān)控相機(jī)為SmarterEye S1CG雙目相機(jī)，利用左相機(jī)與右相機(jī)對(duì)于同一點(diǎn)觀察的視差不同，通過(guò)三角形測(cè)距原理，再結(jié)合內(nèi)部參數(shù)，對(duì)相機(jī)到該點(diǎn)的距離進(jìn)行計(jì)算。與單目相機(jī)需要基于巨大的場(chǎng)景樣本庫(kù)對(duì)目標(biāo)物的距離進(jìn)行估計(jì)相比，測(cè)距精度會(huì)明顯提高。

2.2 邊緣端設(shè)備選型

系統(tǒng)邊緣端主要由邊緣計(jì)算機(jī)及配電柜組成,布置于被觀測(cè)路段道路的中心地帶,用于收集前端雷達(dá)視頻數(shù)據(jù),并進(jìn)行初步數(shù)據(jù)處理。

邊緣計(jì)算機(jī)型號(hào)選用ECX-1400型工控機(jī),因其包含3個(gè)SIM插槽、6個(gè)3.1USB端口、4個(gè)RS-232/422/485串口、32路獨(dú)立數(shù)字輸入/輸出通道,可適配接口豐富,符合科研需求。

3 系統(tǒng)軟件設(shè)計(jì)

3.1 軟件界面設(shè)計(jì)

監(jiān)測(cè)軟件界面如圖2所示,其中‘設(shè)置’、‘start’、‘stop’3個(gè)按鈕分別用于用戶(hù)對(duì)本系統(tǒng)進(jìn)行初始標(biāo)定、下達(dá)開(kāi)始運(yùn)行與停止命令。左上角模塊為雷達(dá)與視頻信息特征級(jí)融合后的圖像,目標(biāo)上方文字為目標(biāo)車(chē)型及可信度,右上角模塊為車(chē)道級(jí)精度雷達(dá)檢測(cè)圖像,左下角為每個(gè)目標(biāo)的種類(lèi)及運(yùn)動(dòng)信息,右下角模塊為每個(gè)車(chē)道的平均車(chē)速、車(chē)頭車(chē)尾間距、時(shí)間占有率、空間占有率等數(shù)據(jù)。

圖2 軟件界面

3.2 軟件功能設(shè)計(jì)

3.2.1 毫米波雷達(dá)數(shù)據(jù)提取功能

雷達(dá)傳感器的工作原理是向周?chē)矬w發(fā)射高頻電磁波并接收回波，通過(guò)計(jì)算電磁波反射的時(shí)間即可獲取被測(cè)目標(biāo)的距離。當(dāng)雷達(dá)與目標(biāo)間存在相對(duì)運(yùn)動(dòng)時(shí),雷達(dá)回波將產(chǎn)生多普勒頻移效應(yīng)，故對(duì)比電磁波反射前后頻移量,即可獲取被測(cè)目標(biāo)速度。

本系統(tǒng)所采用毫米波雷達(dá)為調(diào)頻連續(xù)式(FMCW),此類(lèi)雷達(dá)通過(guò)采集并比較所發(fā)射高頻連續(xù)波與回波間的時(shí)差序列,再經(jīng)過(guò)雷達(dá)混頻器進(jìn)行計(jì)算,即可獲取目標(biāo)位置、速度等信息。

1)目標(biāo)距離提?。?/p>

對(duì)FMCW雷達(dá)所發(fā)射的毫米波電信號(hào)進(jìn)行三角變換，發(fā)射信號(hào)為接收信號(hào)在時(shí)域中時(shí)移△t后所產(chǎn)生的鏡像，滯后時(shí)間△t與目標(biāo)距雷達(dá)相對(duì)距離R的關(guān)系為：

(1)

其中:c為光速，△f(見(jiàn)圖4)為混頻輸出頻率差，T為雷達(dá)掃描的時(shí)間周期，ΔF為信號(hào)帶寬，由圖4對(duì)被測(cè)目標(biāo)與毫米波雷達(dá)間距R進(jìn)行計(jì)算：

圖4 雙目相機(jī)模型立體視圖

(2)

2)目標(biāo)速度提?。?/p>

雷達(dá)檢測(cè)移動(dòng)目標(biāo)時(shí)將引起多譜勒頻移，頻移量為fd，發(fā)出和回波中的中頻頻率可分別表示為：

Fb+=△f-fd

(3)

Fb-=△f+fd

(4)

式中，△f代表中頻頻率；fd表示多譜勒頻移，式(3)和式(4)可推導(dǎo)出雷達(dá)與目標(biāo)間相對(duì)運(yùn)動(dòng)速度，其表達(dá)式為：

v=λ(Fb--Fb+)

(5)

3.2.2 雙目相機(jī)數(shù)據(jù)提取功能

1)目標(biāo)距離提?。?/p>

由于本系統(tǒng)使用的前端視頻采集設(shè)備為雙目相機(jī),可對(duì)被檢測(cè)目標(biāo)進(jìn)行精準(zhǔn)測(cè)距。雙目測(cè)距是利用左相機(jī)與右相機(jī)對(duì)于同一目標(biāo)點(diǎn)的視差,通過(guò)三角形測(cè)距原理,對(duì)相機(jī)到該點(diǎn)的距離進(jìn)行計(jì)算。而傳統(tǒng)單目相機(jī)需事先采集巨大的場(chǎng)景樣本庫(kù),才可對(duì)目標(biāo)距離進(jìn)行對(duì)比估算,且測(cè)距精度不足。雙目測(cè)距的原理如圖3所示。

圖3 雙目相機(jī)成像模型俯視圖

雙目相機(jī)左右目光心分別為Ol和Or，表示光心間距為B。兩光心X軸坐標(biāo)分別為XOl與XOr。使用前需通過(guò)標(biāo)定確保左右目相機(jī)焦距均為f。設(shè)P(X，Y，Z)為空間中任一點(diǎn)，其y軸坐標(biāo)在左右目相機(jī)成像平面內(nèi)相同，其x軸坐標(biāo)分別為Xl和Xr。由相似三角形原理可知，距離對(duì)應(yīng)關(guān)系為：

(6)

對(duì)式(6)進(jìn)行變換后可求得P點(diǎn)Z坐標(biāo)為：

(7)

(8)

(9)

在式(3)與式(4)中代入式(2)，即可求得P點(diǎn)X、Y、Z三維坐標(biāo)：

其中:f為攝像機(jī)焦距，Xl-Xr為左右相機(jī)視差。

2)目標(biāo)速度提取:

式中,V為車(chē)輛在兩幀間隔的速度，△S為車(chē)輛在兩幀間運(yùn)動(dòng)的距離，△T為兩幀間隔時(shí)間，S1，S0為車(chē)輛在對(duì)應(yīng)幀的位置，t1，t0為兩幀的采集時(shí)間。

根據(jù)視覺(jué)相機(jī)的采集頻率等參數(shù)，既可獲取兩幀圖像的間隔時(shí)間和間隔幀數(shù)，計(jì)算兩幀間隔時(shí)間△T后，結(jié)合兩幀車(chē)輛前后位置，即可獲取車(chē)輛行進(jìn)距離△S，代入式(11)既可求得車(chē)輛速度V。

3.2.3 基于深度卷積神經(jīng)網(wǎng)絡(luò)的車(chē)型識(shí)別功能

考慮到霧端運(yùn)算特點(diǎn)，本系統(tǒng)所采用車(chē)輛類(lèi)型特征提取算法選用深度卷積神經(jīng)網(wǎng)絡(luò)(CNN)技術(shù)，以雙目相機(jī)所采集的原始圖像作為輸入，通過(guò)訓(xùn)練自主學(xué)習(xí)特征描述，簡(jiǎn)化特征模型，縮短運(yùn)算時(shí)間，提高系統(tǒng)效率。

鑒于算法應(yīng)用場(chǎng)景為高速公路，在此場(chǎng)景中車(chē)輛外觀表現(xiàn)形式復(fù)雜，且由于相機(jī)實(shí)際布設(shè)角度與環(huán)境光照變化等因素會(huì)引起圖像中車(chē)輛參數(shù)的變化，加大識(shí)別難度。通過(guò)卷積神經(jīng)網(wǎng)絡(luò)可對(duì)識(shí)別并抵消物體移動(dòng)、縮放等參數(shù)變化，能較好克服實(shí)際運(yùn)用中可能出現(xiàn)的各種問(wèn)題。算法流程圖如圖5所示。

CNN特征學(xué)習(xí)模型參考文獻(xiàn)[16]基于深度卷積神經(jīng)網(wǎng)絡(luò)的車(chē)型識(shí)別算法，該算法通過(guò)五層CNN網(wǎng)絡(luò)通過(guò)圖像對(duì)目標(biāo)車(chē)輛車(chē)型進(jìn)行識(shí)別，見(jiàn)圖6，算法輸入層為圖中第一層I，將灰度圖像作為輸入。卷積層C1包含Ni個(gè)5×5濾波器，偏置為bi。進(jìn)行卷積運(yùn)算后，即可得到Ni個(gè)特征圖像。第三層S2為下采樣層，對(duì)與目標(biāo)圖像相鄰的進(jìn)行加權(quán)運(yùn)算，權(quán)值為Wi+1。然后將運(yùn)算結(jié)果與偏置bi+1的和作為Sigmoid激活函數(shù)的輸入，即可得到6個(gè)21×21大小的特征圖，再通過(guò)下采樣，可獲取尺寸為58 ×46的特征圖；網(wǎng)絡(luò)卷積層C3包含與第二層相同的濾波器12個(gè)，每個(gè)濾波器均可生成一個(gè)54×42像素的特征圖片，最終通過(guò)下采樣層S4對(duì)所生成圖片進(jìn)行下采樣，生成一列由12張27×21特征圖片組成的特征向量。

圖6 CNN網(wǎng)絡(luò)構(gòu)建過(guò)程

對(duì)該神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過(guò)程分為正向傳播與反向傳播，其中正向傳播指將訓(xùn)練集直接輸入至CNN網(wǎng)絡(luò)，分析輸出；反向傳播指篩選分析輸出錯(cuò)誤的案例，通過(guò)反向傳播算法逐層傳播誤差，并更新各層權(quán)值。

網(wǎng)絡(luò)的分類(lèi)識(shí)別功能采用了在圖像識(shí)別領(lǐng)域穩(wěn)定性與通用性較強(qiáng)的SVM分類(lèi)器，以此對(duì)本系統(tǒng)算法特征提取有效性進(jìn)行驗(yàn)證。

3.2.4 基于Kalman濾波器的一維濾波估計(jì)

由于設(shè)備精度有限，所采集信息將出現(xiàn)一定測(cè)量誤差，且由于不良天氣與設(shè)備老化問(wèn)題，會(huì)導(dǎo)致測(cè)量數(shù)據(jù)中出現(xiàn)異常與缺失值。因此，為使傳感器所測(cè)量的車(chē)輛運(yùn)行數(shù)據(jù)更加精確，可利用基于Kalman濾波器的最優(yōu)估計(jì)算法，將雷達(dá)與視覺(jué)相機(jī)測(cè)量到的車(chē)輛橫縱向速度、加速度、車(chē)頭車(chē)尾間距等數(shù)據(jù)進(jìn)行最優(yōu)估計(jì)，以提高測(cè)量精度。算法結(jié)構(gòu)如圖7所示(其中藍(lán)色箭頭為反饋)。

圖7 最優(yōu)估計(jì)算法結(jié)構(gòu)

在初始時(shí)刻t0時(shí)，輸入傳感器初始測(cè)量值視為初始預(yù)測(cè)值；將初始預(yù)測(cè)誤差設(shè)為習(xí)慣值，通過(guò)比較測(cè)量誤差與預(yù)測(cè)誤差可以量化測(cè)量值與預(yù)測(cè)值的可靠程度權(quán)重，即為卡爾曼增益K，以此增益對(duì)測(cè)量值與預(yù)測(cè)值進(jìn)行加權(quán)，即可獲取系統(tǒng)當(dāng)前時(shí)刻最優(yōu)估計(jì)值。

在下一時(shí)刻t1時(shí)，可通過(guò)前一時(shí)刻t0輸出的最優(yōu)估計(jì)值來(lái)生成下一時(shí)刻的預(yù)測(cè)值，并根據(jù)t0時(shí)預(yù)測(cè)誤差與K來(lái)得到當(dāng)前時(shí)刻t1的預(yù)測(cè)誤差，然后用與上一時(shí)刻相同的方法生成當(dāng)前時(shí)刻的最優(yōu)估計(jì)值。

算法將隨著時(shí)間而不斷優(yōu)化，從而在一段適應(yīng)時(shí)間過(guò)后穩(wěn)定輸出準(zhǔn)確度高的最優(yōu)估計(jì)值。

3.2.5 雷視目標(biāo)時(shí)空匹配

1)空間匹配算法：

空間匹配算法可將毫米波雷達(dá)檢測(cè)到的空間中任一點(diǎn),準(zhǔn)確地投影至照片在相機(jī)所采集的圖像平面上。該算法首先借助張正友的相機(jī)標(biāo)定方法,結(jié)合相機(jī)內(nèi)部和外部的參數(shù)值進(jìn)行畸變矯正,將真實(shí)世界坐標(biāo)系中的點(diǎn)、線(xiàn)、面、體在圖片坐標(biāo)系中進(jìn)行一一對(duì)應(yīng)，再結(jié)合相機(jī)外部參數(shù)將目標(biāo)點(diǎn)位在像素坐標(biāo)系中進(jìn)行還原。最后通過(guò)毫米波雷達(dá)和相機(jī)安裝位置的相對(duì)關(guān)系計(jì)算雷達(dá)坐標(biāo)系與真實(shí)世界坐標(biāo)系之間各點(diǎn)、線(xiàn)、面的轉(zhuǎn)化關(guān)系。毫米波雷達(dá)、世界與相機(jī)坐標(biāo)系間轉(zhuǎn)換如圖8所示。

圖8 毫米波雷達(dá)、相機(jī)和世界坐標(biāo)系位置關(guān)系

圖8中，毫米波雷達(dá)坐標(biāo)系為Or-XrYrZr，世界坐標(biāo)系為Ow-XwYwZw，相機(jī)坐標(biāo)系為Oc-XcYcZc。Z0、Z1為三坐標(biāo)系的Z坐標(biāo)，H為三者的Y坐標(biāo)。其中雷達(dá)極坐標(biāo)系P(R，α)與相機(jī)三維坐標(biāo)系P(Xc，Yc，Zc)轉(zhuǎn)換關(guān)系為：

(15)

改寫(xiě)為矩陣形式為：

(16)

P點(diǎn)畸變矯正前的坐標(biāo)P(x，y)為：

(17)

結(jié)合相機(jī)內(nèi)外參數(shù)對(duì)圖片進(jìn)行去畸變后的圖像坐標(biāo)P(x′，y′)為：

(18)

P點(diǎn)實(shí)際像素位置坐標(biāo)P(u′，v′)為：

(19)

依據(jù)張正友標(biāo)定法，可得到該雷達(dá)極坐標(biāo)下目標(biāo)在二維圖像坐標(biāo)系下的投影坐標(biāo)，實(shí)現(xiàn)雷達(dá)坐標(biāo)系P(R，α)向像素坐標(biāo)系P(u′，v′)的轉(zhuǎn)換。

2)時(shí)間匹配算法：

在完成雷視信息空間融合后，因各傳感器采樣時(shí)間不同，還需對(duì)其進(jìn)行時(shí)間融合，如毫米波雷達(dá)采樣幀速率為20幀/秒，而視覺(jué)相機(jī)為25幀/秒。為保證時(shí)間同步，故取視覺(jué)相機(jī)幀率為模板，將視覺(jué)相機(jī)所采集的每幀圖像，與毫米波雷達(dá)的緩存數(shù)據(jù)融合。

3.2.6 雷視數(shù)據(jù)聯(lián)合估計(jì)

為進(jìn)一步提高數(shù)據(jù)采集準(zhǔn)確度，本系統(tǒng)采用雷視數(shù)據(jù)聯(lián)合估計(jì)算法，對(duì)不同傳感器針對(duì)相同目標(biāo)的測(cè)量值進(jìn)行基于集中式無(wú)偏估計(jì)的聯(lián)合估計(jì)算法。

設(shè)定雙目相機(jī)與雷達(dá)的車(chē)輛運(yùn)動(dòng)數(shù)據(jù)測(cè)量模型為：

yi(k)=Hix(k)+wi(k)，i=1，2

(20)

(21)

其中:Ai為最優(yōu)加權(quán)矩陣，計(jì)算方法為：

(22)

其中:Pi為單傳感器誤差方差陣。雙傳感器最優(yōu)融合誤差方差陣P0為：

(23)

代入式(21)可得集中式無(wú)偏估計(jì)結(jié)果：

(24)

其中：

(25)

(26)

(27)

4 實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證本系統(tǒng)中的車(chē)輛識(shí)別算法與數(shù)據(jù)提取算法，分別在早午兩個(gè)時(shí)段在港西路路側(cè)進(jìn)行了30分鐘的測(cè)試，以驗(yàn)證該系統(tǒng)的準(zhǔn)確性。測(cè)試步驟如下。

1)設(shè)備安裝：將雷視一體機(jī)安裝于道路一側(cè)，調(diào)整安裝角度，連接邊緣計(jì)算機(jī)。

2)設(shè)備標(biāo)定：測(cè)量被測(cè)路段車(chē)道寬度與相對(duì)雷達(dá)位置后，通過(guò)上位機(jī)對(duì)雷達(dá)坐標(biāo)系中的車(chē)道位置進(jìn)行標(biāo)定，對(duì)雙目相機(jī)中的車(chē)道起止像素進(jìn)行標(biāo)定，使系統(tǒng)得以區(qū)分不同車(chē)道交通流數(shù)據(jù)。

3)數(shù)據(jù)采集：在邊緣計(jì)算機(jī)中運(yùn)行系統(tǒng)，對(duì)被測(cè)路段交通流數(shù)據(jù)進(jìn)行采集，試驗(yàn)視頻單獨(dú)保存，用于后續(xù)統(tǒng)計(jì)分析和校正。

4)數(shù)據(jù)分析：在不同車(chē)速情況下重復(fù)上述步驟，記錄并統(tǒng)計(jì)實(shí)驗(yàn)數(shù)據(jù)(表1)。

表1 交通流數(shù)據(jù)采集融合系統(tǒng)路測(cè)結(jié)果

由上表可知，在不同交通量狀態(tài)下，本系統(tǒng)均可保證 95% 以上的正確統(tǒng)計(jì)率、 97% 以上的測(cè)速精度以及90%以上的車(chē)型識(shí)別準(zhǔn)確率。

車(chē)輛車(chē)型實(shí)測(cè)數(shù)據(jù)通過(guò)人工計(jì)數(shù)獲得，為了保證計(jì)數(shù)的正確性和試驗(yàn)的嚴(yán)謹(jǐn)性，本研究制定了統(tǒng)一的車(chē)型分類(lèi)原則，由5名團(tuán)隊(duì)成員分別觀看試驗(yàn)視頻并進(jìn)行人工車(chē)型統(tǒng)計(jì)。

為驗(yàn)證本系統(tǒng)車(chē)型識(shí)別算法的準(zhǔn)確度與優(yōu)越性，引入另外兩種基于人工特征提取的圖像識(shí)別算法對(duì)試驗(yàn)數(shù)據(jù)進(jìn)行了處理，分別為方向梯度直方圖(HOG)與Gabor特征訓(xùn)練的SVM支持向量機(jī)，實(shí)驗(yàn)結(jié)果如表2所示，可以看出，本文所用CNN算法對(duì)各車(chē)型識(shí)別的精確度均遠(yuǎn)高于傳統(tǒng)人工特征提取算法。

表2 車(chē)型識(shí)別算法測(cè)試結(jié)果

對(duì)本文所用CNN方法的部分錯(cuò)誤樣本如圖9所示，分析后發(fā)現(xiàn)問(wèn)題如下：

圖9 錯(cuò)誤分類(lèi)部分樣本圖片

1) 由于部分電動(dòng)車(chē)設(shè)有擋風(fēng)被，致使算法無(wú)法對(duì)電瓶車(chē)整體進(jìn)行識(shí)別，僅將前輪部分識(shí)別為自行車(chē)，導(dǎo)致了誤判。

2) 由于部分貨車(chē)體型較大，易被其他車(chē)輛遮擋，導(dǎo)致算法未對(duì)車(chē)輛整體圖像進(jìn)行識(shí)別，從而導(dǎo)致誤判。

3) 由于訓(xùn)練集中吉普/越野車(chē)較少，導(dǎo)致系統(tǒng)對(duì)該車(chē)型識(shí)別精度不高，導(dǎo)致了誤判。

5 結(jié)束語(yǔ)

本文基于雷視一體機(jī)與邊緣計(jì)算技術(shù)，通過(guò)雷視數(shù)據(jù)融合、神經(jīng)網(wǎng)絡(luò)車(chē)型識(shí)別、數(shù)據(jù)最優(yōu)估計(jì)等算法實(shí)現(xiàn)了高速公路交通流數(shù)據(jù)采集融合系統(tǒng)。本系統(tǒng)主要針對(duì)雷達(dá)與監(jiān)控相機(jī)的數(shù)據(jù)采集原理，結(jié)合交通工程中對(duì)交通流數(shù)據(jù)的分析需求，提出針對(duì)各類(lèi)數(shù)據(jù)的采集與最優(yōu)估計(jì)方式。針對(duì)車(chē)輛速度、位置、加速度等數(shù)據(jù)，系統(tǒng)先分別利用雷達(dá)與雙目相機(jī)進(jìn)行采集后，使用Kalman濾波器進(jìn)行一維最優(yōu)估計(jì)，再對(duì)二者估算值進(jìn)行聯(lián)合估計(jì)以提高數(shù)據(jù)準(zhǔn)確度；針對(duì)目標(biāo)車(chē)輛車(chē)型數(shù)據(jù)，系統(tǒng)使用CNN對(duì)目標(biāo)圖像進(jìn)行特征提取后，采用SVM向量機(jī)獲取目標(biāo)車(chē)型。最后，將各種數(shù)據(jù)在軟件界面中進(jìn)行集中顯示。本文也存在一定局限性，如圖像識(shí)別算法對(duì)被遮擋車(chē)輛和各別車(chē)型識(shí)別的精度不高。計(jì)劃在未來(lái)的研究中，針對(duì)目標(biāo)未被遮擋的部分，采用多尺度特征融合或數(shù)據(jù)增強(qiáng)算法，通過(guò)對(duì)遮擋物的種類(lèi)進(jìn)行預(yù)判斷，以訓(xùn)練庫(kù)中標(biāo)準(zhǔn)車(chē)型為基準(zhǔn)，重構(gòu)車(chē)輛被遮擋部分，增加被遮擋車(chē)輛的識(shí)別精度和效率；針對(duì)識(shí)別精度不高的車(chē)型，擴(kuò)充對(duì)應(yīng)車(chē)型訓(xùn)練集，提高CNN目標(biāo)特征提取準(zhǔn)確性，增加系統(tǒng)可靠性。