基于融合感知的場景數(shù)據(jù)提取技術(shù)研究

李英勃，于波

（中國汽車技術(shù)研究中心數(shù)據(jù)中心，天津 300393）

0 引言

駕駛場景數(shù)據(jù)是描述車輛在行駛時(shí)所遇到的周圍環(huán)境、道路、物體等靜態(tài)因素以及行人、車輛、障礙物等動(dòng)態(tài)交通目標(biāo)的數(shù)據(jù)，是智能網(wǎng)聯(lián)汽車自動(dòng)駕駛技術(shù)研發(fā)的重要基礎(chǔ)，是自動(dòng)駕駛算法開發(fā)以及自動(dòng)駕駛和輔助駕駛產(chǎn)品測試的核心資源?？梢哉f，自動(dòng)駕駛算法好不好，技術(shù)可靠不可靠，有很大一部分和訓(xùn)練時(shí)所用的場景數(shù)據(jù)的質(zhì)量和數(shù)量相關(guān)。目前，包括中國汽車技術(shù)研究中心、中國汽車工程研究院、上海汽車城在內(nèi)的很多企業(yè)和機(jī)構(gòu)，都在積極推進(jìn)中國駕駛場景數(shù)據(jù)采集工作。

駕駛場景數(shù)據(jù)采集主要通過數(shù)據(jù)采集平臺(tái)，即場景數(shù)據(jù)采集車進(jìn)行。如伊必汽車（Elektrobit）、恒潤科技等企業(yè)紛紛推出了自己的場景采集平臺(tái)。這種采集平臺(tái)可以收集采集車本車CAN線信號(hào)，獲取油門、方向盤轉(zhuǎn)角，本車速度、方向、GPS信息，以及車載傳感器信號(hào)，如激光雷達(dá)信號(hào)、毫米波雷達(dá)信號(hào)、單目攝像頭圖像、雙目攝像頭圖像以及360o環(huán)視攝像頭圖像等信息。駕駛場景提取工作的目的，是將這些在道路上通過攝像頭、激光雷達(dá)等傳感器采集到的信號(hào)，還原成真實(shí)的道路場景的描述，供智能網(wǎng)聯(lián)汽車開發(fā)企業(yè)測試其產(chǎn)品使用。換句話講，場景數(shù)據(jù)抽取就是從這些數(shù)據(jù)中提取出本車的速度、方向以及控制信息，道路信息以及交通目標(biāo)、障礙物的類別、大小、速度、方向、運(yùn)動(dòng)軌跡等信息，再轉(zhuǎn)換為對(duì)于駕駛場景的描述，以O(shè)pen-Scenario的格式進(jìn)行存儲(chǔ)。

以前這些信息的提取多采用人工方式提取，通過比對(duì)不同傳感器返回的信號(hào)值，同時(shí)對(duì)比視頻數(shù)據(jù)，手動(dòng)標(biāo)出目標(biāo)，找出目標(biāo)的速度，然后總結(jié)成場景數(shù)據(jù)，編寫OpenScenario文件。這種方法工作量大，速度慢且準(zhǔn)確率低，容易出現(xiàn)人為錯(cuò)誤。

本文提出一種方法，通過機(jī)器視覺技術(shù)和深度學(xué)習(xí)技術(shù)，從視頻圖像出識(shí)別出行人、車輛等交通目標(biāo)，并估計(jì)目標(biāo)的距離和速度。然后比對(duì)從視頻圖像中提取出來的目標(biāo)信息和其他傳感器（如激光雷達(dá)和高精度地圖）信息，得到動(dòng)態(tài)和靜態(tài)元素的位置，速度和運(yùn)動(dòng)軌跡等信息，在通過實(shí)現(xiàn)設(shè)定好的判斷規(guī)則，將駕駛場景數(shù)據(jù)轉(zhuǎn)化為一連串的駕駛場景描述，并最終自動(dòng)轉(zhuǎn)化成OpenScenario格式進(jìn)行存儲(chǔ)。本文提出的基于卡爾曼濾波的目標(biāo)追蹤，采用了對(duì)每一幀均進(jìn)行識(shí)別，再通過追蹤算法找到幀與幀之間不同目標(biāo)的聯(lián)系的辦法，比起deep-sort等追蹤算法，雖然在實(shí)時(shí)性上有損失，但是精確度有提高。由于場景提取并不是在采集駕駛場景時(shí)實(shí)時(shí)完成的，所以可以容忍以實(shí)時(shí)性上的損失換取提高追蹤的精確度。

1 相關(guān)研究工作

在視覺感知方面，基于深度學(xué)習(xí)的圖像技術(shù)取得了令人矚目的成果。Karen Simonyan和Andrew Zisserman在2015年提出了VGG16模型[1]，使對(duì)VOC數(shù)據(jù)集進(jìn)行目標(biāo)識(shí)別的精度達(dá)到98%。Ross Girshick基于VGG16模型提出了一種利用識(shí)別作為圖像檢測方法的技術(shù)R-CNN[2]，在圖像中提出候選框，然后對(duì)框中的物體進(jìn)行識(shí)別，最后通過精修框的位置識(shí)別物體的方位。這個(gè)思路也成為后來R-CNN系檢測算法的思想基礎(chǔ)。后來，Ross Girshick等人又通過共享特征提取和RPN候選框提取網(wǎng)絡(luò)，兩次改進(jìn)R-CNN算法，分別提出了 Fast R-CNN[3]和 Faster R-CNN[4]算法。Faster RCNN也成為性能最好的“提框-識(shí)別”兩步圖像檢測算法。Faster R-CNN雖然檢測準(zhǔn)確性高，但檢測速度還是較慢。為了進(jìn)一步提升識(shí)別速度，Ross Girshick等人又提出了將提框和識(shí)別一步完成的方法，開發(fā)了YOLO 算法[5]，同時(shí)，Wei Liu、Alexander C.Berg等人提出了SSD算法[6]。相比于Faster R-CNN模型，這兩個(gè)算法大幅提升了圖像檢測的速度，但是同時(shí)也不可避免地犧牲了一部分識(shí)別精度。

對(duì)于目標(biāo)位置的檢測，基于圖像的方法，成本較低的可以采取單目定位的方法[7]。雙目攝像機(jī)可以利用人眼成像的原理，更精準(zhǔn)地獲取目標(biāo)位置和距離。隨著不同傳感器之間相互匹配和融合技術(shù)[8]的不斷發(fā)展，使用RGB-D技術(shù)或深度圖像技術(shù)的目標(biāo)感知定位技術(shù)逐漸普遍了起來。其中，利用圖像融合激光雷達(dá)，組成RGB-D傳感器對(duì)目標(biāo)進(jìn)行識(shí)別和定位的技術(shù)就是其中一種常用的技術(shù)[9]。本項(xiàng)研究就是采用的攝像頭加激光雷達(dá)的融合感知平臺(tái)。

卡爾曼濾波[10]是一種常用的對(duì)目標(biāo)速度狀態(tài)進(jìn)行估計(jì)的算法，擴(kuò)展卡爾曼濾波[11]是卡爾曼濾波的改進(jìn)形式，能夠?qū)Ψ蔷€性系統(tǒng)狀態(tài)進(jìn)行預(yù)測。本項(xiàng)目采用擴(kuò)展卡爾曼濾波作為目標(biāo)追蹤的主要依據(jù)和算法基礎(chǔ)。

2 場景采集平臺(tái)配置

場景平臺(tái)采集車采用長城VV7SUV為運(yùn)載車輛，感知系統(tǒng)由激光雷達(dá)和攝像頭組成。其中激光雷達(dá)的型號(hào)為禾賽-40P，線數(shù)為40線，可以掃描周圍約200米范圍，安裝在車頂部。視覺采集系統(tǒng)安裝在車前擋風(fēng)玻璃內(nèi)側(cè)，采用羅技，觀察角度為前方60度。

場景采集的數(shù)據(jù)為高速道路數(shù)據(jù)，采集的圖像如圖1所示，采集的激光雷達(dá)用pcl點(diǎn)云庫的pcd格式存儲(chǔ)，存儲(chǔ)格式為二進(jìn)制格式，點(diǎn)云圖像如圖2所示。

圖1

圖2

3 場景數(shù)據(jù)提取

3. 1 駕駛場景數(shù)據(jù)構(gòu)成

駕駛場景數(shù)據(jù)分為靜態(tài)元素?cái)?shù)據(jù)和動(dòng)態(tài)元素?cái)?shù)據(jù)。靜態(tài)元素?cái)?shù)據(jù)是指場景的道路、環(huán)境、路上及周邊設(shè)施等靜態(tài)物體的信息；動(dòng)態(tài)元素?cái)?shù)據(jù)是指交通參與者，包括行人、車輛的方向、速度等信息。以此來分，場景數(shù)據(jù)的提取也分為靜態(tài)元素提取和動(dòng)態(tài)元素提取兩個(gè)部分。

我們首先對(duì)場景的靜態(tài)信息進(jìn)行分析。在本項(xiàng)目中，靜態(tài)元素?cái)?shù)據(jù)主要依靠高精度地圖信息提供。通過使用高精度地圖，可以極大地簡化場景采集平臺(tái)對(duì)感知系統(tǒng)的依賴，將采集平臺(tái)對(duì)周圍環(huán)境的感知轉(zhuǎn)換成了一個(gè)定位問題，包括車道信息、車道線、交通燈、交通指示牌的內(nèi)容和位置等信息，通過輸入本車位置信息即可以知道周圍所有靜態(tài)元素的位置以及部分靜態(tài)信號(hào)的內(nèi)容。但動(dòng)態(tài)的交通信號(hào)信息，如交通信號(hào)燈狀態(tài)，或者變化的交通指示牌（如學(xué)校的警示牌等），依然需要依靠視覺系統(tǒng)獲取。

圖3 高精度地圖

對(duì)于動(dòng)態(tài)元素的分析則更依賴于平臺(tái)的融合感知結(jié)果。在動(dòng)態(tài)元素感知當(dāng)中，我們要識(shí)別周圍的行人，車輛以及其他交通參與者，并對(duì)這些元素進(jìn)行跟蹤，計(jì)算他們的運(yùn)動(dòng)方向和速度，以此預(yù)測元素未來的位置。其中，感知的部分，我們采用深度學(xué)習(xí)技術(shù)，對(duì)圖像中的人、車，連同上文提到的交通信號(hào)燈信息進(jìn)行識(shí)別；動(dòng)態(tài)元素的位置則通過配合圖像和激光雷達(dá)獲得。

3. 2 深度學(xué)習(xí)提取圖像信息

無論是靜態(tài)元素中的交通信號(hào)燈還是動(dòng)態(tài)元素中的行人，車輛，都主要依靠視覺進(jìn)行。項(xiàng)目中我們使用了深度學(xué)習(xí)技術(shù)從圖像中提取場景元素。由第2節(jié)的研究可以知道，SSD和YOLO雖然速度快，但損失精度。我們采用了Faster R-CNN網(wǎng)絡(luò)，利用RPN提取潛在目標(biāo)框，通過精修，對(duì)目標(biāo)框的位置的大小進(jìn)行調(diào)整，以獲得較高目標(biāo)位置精度，為下一步圖像與點(diǎn)云匹配創(chuàng)造良好的條件。

3. 3 坐標(biāo)系轉(zhuǎn)換實(shí)現(xiàn)激光點(diǎn)云信息與圖像信息匹配

（1）激光雷達(dá)信息和圖像信息匹配

圖像信息和激光雷達(dá)信息匹配，主要通過時(shí)間匹配和空間匹配來完成。在時(shí)間維度上，場景采集車采用的激光雷達(dá)的頻率為10赫茲，約為每秒10幀點(diǎn)云圖片，圖像信息為30幀/秒。因?yàn)槭窃紨?shù)據(jù)融合，所以沒有識(shí)別物體，不能使用插值等方法估計(jì)精確時(shí)刻目標(biāo)物體在圖像或點(diǎn)云數(shù)據(jù)中的位置。為了保障激光點(diǎn)云與圖像能夠匹配上，我們采用以快配慢的方法，以激光雷達(dá)點(diǎn)云圖像的時(shí)間點(diǎn)為基準(zhǔn)，尋找時(shí)間上最接近的圖像匹配雷達(dá)點(diǎn)云數(shù)據(jù)。即：

其中t為雷達(dá)點(diǎn)云圖像時(shí)刻，i為圖像幀數(shù)，ti為第i幀圖像的時(shí)間。

圖4 車輛坐標(biāo)系

在空間匹配技術(shù)方面，本項(xiàng)目以車輛坐標(biāo)系為圖像信息和點(diǎn)云信息匹配的坐標(biāo)系。以車輛行進(jìn)方向?yàn)閤軸正方向，車輛右側(cè)方向?yàn)閥軸正方向，以車輛上方方向?yàn)閦軸正方向。（如圖4所示）項(xiàng)目通過匹配圖像和激光點(diǎn)云信息，將目標(biāo)物體的位置以這個(gè)坐標(biāo)系的坐標(biāo)進(jìn)行輸出。

空間匹配技術(shù)的關(guān)鍵在于將激光雷達(dá)中點(diǎn)的坐標(biāo)與圖像投射到同一個(gè)坐標(biāo)系的二維空間當(dāng)中。我們將攝像頭的成像平面作為這個(gè)投射的二維空間，以圖像左上角坐標(biāo)為原點(diǎn)，橫軸向右為x軸方向，縱向向下為y軸方向。然后建立一個(gè)3D坐標(biāo)點(diǎn)轉(zhuǎn)換為2D點(diǎn)的坐標(biāo)轉(zhuǎn)換矩陣，將空間中的點(diǎn)投影在成像平面上。投影的原理如圖5所示，其中f為焦距。

圖5 相機(jī)投影

相機(jī)焦距 f、像素長度（dx，dy）是相機(jī)的內(nèi)參。為了獲取相機(jī)的內(nèi)參數(shù)據(jù)，我們首先對(duì)相機(jī)進(jìn)行了標(biāo)定。標(biāo)定采用了棋盤標(biāo)定法，使用OpenCV函數(shù)Calibratecamera（）函數(shù)進(jìn)行標(biāo)定，得到相機(jī)內(nèi)參。

表1 攝像頭內(nèi)參標(biāo)定

根據(jù)相機(jī)投影原理，通過幾何算術(shù)推導(dǎo)，我們可以得出：

其中，（X，Y，Z）為點(diǎn)在空間中的坐標(biāo)，（u，v）為在圖像中的成像坐標(biāo)。這樣，我們就可以將空間中任意一點(diǎn)投影到成像平面上?，F(xiàn)在，我們可以嘗試把雷達(dá)點(diǎn)云數(shù)據(jù)通過矩陣計(jì)算投影到圖像上。投影效果如圖6所示。

圖6 點(diǎn)云與圖像匹配

如果我們用激光雷達(dá)的距離信息近似表示它周圍所有像素點(diǎn)的實(shí)際坐標(biāo)系中的距離信息，我們就將激光雷達(dá)和攝像頭組成了一個(gè)RGBD深度攝像頭。通過對(duì)圖像中物體的位置進(jìn)行判斷，就可以通過物體像素點(diǎn)所對(duì)應(yīng)的激光雷達(dá)點(diǎn)在實(shí)際坐標(biāo)系中的坐標(biāo)獲得物體的實(shí)際位置。

（2）圖像識(shí)別

我們使用神經(jīng)網(wǎng)絡(luò)模型對(duì)圖像進(jìn)行識(shí)別，使用的網(wǎng)絡(luò)為Faster R-CNN，通過模型返回目標(biāo)框的四個(gè)角點(diǎn)的圖像坐標(biāo)，以及識(shí)別到的物體種類。效果如圖7所示。

圖7 圖像檢測效果

圖7中目標(biāo)框基本框出了物體的位置，但并非框中所有的點(diǎn)均是物體。我們必須選擇框中的部分像素為基準(zhǔn)，取它的坐標(biāo)為物體的位置。一般來說，目標(biāo)物的圖像能夠覆蓋框中心點(diǎn)，所以我們選擇框中心點(diǎn)的坐標(biāo)位置為感知目標(biāo)的坐標(biāo)。

我們對(duì)所有目標(biāo)框中的物體進(jìn)行了識(shí)別，并用此方法獲得了所有目標(biāo)的坐標(biāo)方位，如圖8所示。

圖8 融合感知效果

3. 4 基于圖像和點(diǎn)云信息的目標(biāo)追蹤

為了追蹤目標(biāo)的運(yùn)動(dòng)軌跡，我們使用擴(kuò)展卡爾曼濾波算法過濾探測誤差并對(duì)物體的運(yùn)動(dòng)軌跡進(jìn)行跟蹤。假設(shè)xt={pt,vt}為物體在t時(shí)刻的系統(tǒng)狀態(tài)。那么物體在t時(shí)刻的位置與它在t-1時(shí)刻的位置，t時(shí)刻的系統(tǒng)對(duì)他的改變相關(guān)。那么t時(shí)刻對(duì)物體狀態(tài)的估計(jì)應(yīng)該為：

由于是對(duì)實(shí)際運(yùn)動(dòng)軌跡的估計(jì)，我們需要對(duì)狀態(tài)轉(zhuǎn)移矩陣At加入噪聲模型：

由于x’是估計(jì)的目標(biāo)位置，并不是目標(biāo)真正的位置，而是我們用來估計(jì)真正目標(biāo)位置x的工具。我們用x^t表示t時(shí)刻時(shí)觀測到的目標(biāo)位置，我們用矩陣H表示真正位置到觀測位置的轉(zhuǎn)換矩陣，則真實(shí)的觀測值用估計(jì)值和真實(shí)觀測值的加權(quán)值進(jìn)行表示：

其中卡爾曼系數(shù)K由濾波增益陣算出：

其中：

我們將觀察到的目標(biāo)坐標(biāo)和速度代入卡爾曼濾波系統(tǒng)，對(duì)目標(biāo)位置進(jìn)行預(yù)測和修正，卡爾曼濾波可以修正小的系統(tǒng)誤差，使目標(biāo)運(yùn)動(dòng)軌跡更加平滑。

4 場景采集效果對(duì)比與結(jié)論

我們?cè)谠囼?yàn)場采集了場景，對(duì)障礙物進(jìn)行了精確的標(biāo)定，并對(duì)車輛的行進(jìn)路線進(jìn)行了詳細(xì)的規(guī)劃和記錄。由此，我們可以計(jì)算出障礙物對(duì)于車輛的相對(duì)位置信息。同時(shí)，我們還用CalmCar的基于視覺的駕駛場景采集系統(tǒng)同時(shí)進(jìn)行了測量。

圖9（1）是探測到的目標(biāo)移動(dòng)軌跡，圖9（2）是單目視覺感知系統(tǒng)CalmCar獲得的結(jié)果，圖9（3）是探測到的目標(biāo)軌跡加入卡爾曼濾波后的目標(biāo)移動(dòng)軌跡，可以觀察到的融合感知加入卡爾曼濾波后的目標(biāo)運(yùn)動(dòng)軌跡更平滑，更貼近目標(biāo)真實(shí)的運(yùn)動(dòng)軌跡。通過比較，從結(jié)果總體看，融合感知提出駕駛場景的精度要高于僅依靠視覺感知的CalmCar的結(jié)果。

圖9 從左到右為探測到的路徑、CalmCar探測到路徑、融合感知路徑