基于雷達(dá)和相機(jī)融合的目標(biāo)檢測方法

高 潔，朱元，陸科

（1.同濟(jì)大學(xué)中德學(xué)院，上海 200092；2.同濟(jì)大學(xué)汽車學(xué)院，上海 201804）

0 引言

對(duì)于自動(dòng)駕駛汽車的感知系統(tǒng)，目標(biāo)檢測是最非常關(guān)鍵的任務(wù)。近年來的目標(biāo)檢測算法大多使用了深度學(xué)習(xí)的方法，且這類方法皆顯示出了良好的檢測性能，其中最常用的是卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）模型。

這些目標(biāo)檢測方法中可分為兩類：one-stage 算法和twostage 算法。one-stage 算法使用端到端網(wǎng)絡(luò)來訓(xùn)練網(wǎng)絡(luò)，這類方法將目標(biāo)檢測視為分類回歸問題，直接從輸入圖像中提取特征并學(xué)習(xí)出類別置信度和邊界框［1］。在one-stage 算法中，YOLO（You Only Look Once）［2］和SSD（Single Shot multibox Detector）［3］是最常用的兩種網(wǎng)絡(luò)。YOLOv2［4］和YOLOv3［5］相繼被提出，其檢測性能也相繼提高。與one-stage 算法不同，two-stage 算法由兩部分組成：一部分是候選區(qū)域生成網(wǎng)絡(luò)，用于生成包含目標(biāo)的候選區(qū)域；另一部分是分類和回歸網(wǎng)絡(luò)，它使用候選區(qū)域生成網(wǎng)絡(luò)生成的候選區(qū)域框來完成邊界框的分類和回歸。Girshick 等［6］提出了R-CNN（Region-CNN）模型，它是two-stage 檢測算法的基礎(chǔ)模型。隨著R-CNN 的發(fā)展，相繼提出了Fast R-CNN［7］和Faster R-CNN［8］。后續(xù)提出的Mask RCNN［9］在Faster R-CNN 邊界框回歸的現(xiàn)有分支基礎(chǔ)上并行添加了一個(gè)用于預(yù)測分割mask 的分支。這兩類方法各有優(yōu)點(diǎn)，適用于不同的情況。由于端到端網(wǎng)絡(luò)的計(jì)算較快，one-stage算法相較于two-stage 算法具有更好的實(shí)時(shí)性能。相反，由于候選區(qū)域生成網(wǎng)絡(luò)需要在第一階段預(yù)測含有目標(biāo)的候選區(qū)域，因此two-stage 算法檢測速度較慢，但是，相應(yīng)的檢測結(jié)果也會(huì)更準(zhǔn)確。另一方面，two-stage 算法會(huì)非常依賴于候選區(qū)域生成網(wǎng)絡(luò)的預(yù)測準(zhǔn)確性。

相機(jī)、雷達(dá)和激光雷達(dá)最常用于自動(dòng)駕駛汽車和先進(jìn)駕駛輔助系統(tǒng)（Advanced Driving Assistance System，ADAS）的傳感器。相機(jī)可以像人眼一樣感知周圍的環(huán)境，毫米波雷達(dá)可以提供準(zhǔn)確的距離信息。對(duì)于某些駕駛環(huán)境，如惡劣天氣、障礙物遮擋等情景，僅使用一種傳感器的感知系統(tǒng)精度是沒有多傳感器融和感知好的。傳感器融合可以充分利用各傳感器的優(yōu)勢，對(duì)不同傳感器的數(shù)據(jù)共同加工處理的融合感知也有助于使感知系統(tǒng)具有魯棒性，可以做出精確的控制決策。因此，傳感器融合也是自動(dòng)駕駛汽車和ADAS 研發(fā)中的重要方法。

本文針對(duì)自動(dòng)駕駛汽車和ADAS 中的融合感知系統(tǒng)提出了一種基于雷達(dá)和相機(jī)融合的目標(biāo)檢測方法——PRRPN（Priori and Radar Region Proposal Network）。PRRPN 結(jié)合了雷達(dá)測量信息和上一幀檢測結(jié)果來生成先驗(yàn)候選區(qū)域和雷達(dá)候選區(qū)域，可以使檢測網(wǎng)絡(luò)更加關(guān)注圖片上極大可能存在目標(biāo)的像素，候選區(qū)域也能盡可能地接近目標(biāo)真實(shí)位置，并使前后檢測更具連貫性，因?yàn)樵摲椒ú簧婕胺彪s的深度計(jì)算，一定程度上可以提高目標(biāo)檢測的速度。因?yàn)閚uScenes數(shù)據(jù)集［10］不僅提供了相機(jī)傳感器的數(shù)據(jù)還提供了雷達(dá)傳感器的測量信息，因此選擇在該數(shù)據(jù)集上對(duì)本文方法進(jìn)行測試驗(yàn)證。本文采用了Faster-RCNN 的特征提取層和分類回歸層作為基本架構(gòu)，再加入PRRPN 形成完整檢測網(wǎng)絡(luò)，通過實(shí)驗(yàn)驗(yàn)證了該檢測方法的可行性，同時(shí)還驗(yàn)證了通過Faster-RCNN 的區(qū)域生成網(wǎng)絡(luò)（Region Proposal Network，RPN）生成的候選區(qū)域與PRRPN檢測結(jié)果的融合可以提高Faster-RCNN的平均檢測精度。

1 相關(guān)工作

基于雷達(dá)和攝像機(jī)信息的融合有多種方法，包括目標(biāo)級(jí)融合、ROI（Region Of Interest）融合和特征級(jí)融合。目標(biāo)級(jí)融合通常應(yīng)用于目標(biāo)跟蹤［11-14］，它直接使用相機(jī)檢測結(jié)果和雷達(dá)測量值來獲取目標(biāo)的軌跡。從這些研究中，可以看到目標(biāo)跟蹤任務(wù)主要是從時(shí)間的尺度根據(jù)目標(biāo)運(yùn)動(dòng)模型，如勻速運(yùn)動(dòng)、勻加速運(yùn)動(dòng)模型等對(duì)目標(biāo)在不同時(shí)刻的運(yùn)動(dòng)狀態(tài)進(jìn)行估計(jì)，根據(jù)傳感器的測量結(jié)果對(duì)目標(biāo)運(yùn)動(dòng)軌跡進(jìn)行預(yù)測和更新。本文在雷達(dá)數(shù)據(jù)處理方面，采用了類似的方法。

此外，也存在一些采用目標(biāo)級(jí)融合方法的目標(biāo)檢測的研究。文獻(xiàn)［15］提出了一種加權(quán)方法，將相機(jī)視覺網(wǎng)絡(luò)識(shí)別結(jié)果與雷達(dá)目標(biāo)估計(jì)結(jié)果相加權(quán)，獲得最終的目標(biāo)檢測結(jié)果。文獻(xiàn)［16］使用相機(jī)標(biāo)定信息將雷達(dá)速度信息匹配給基于YOLOv3 的相機(jī)檢測結(jié)果。文獻(xiàn)［17］將YOLOv3 模型的輸出與雷達(dá)數(shù)據(jù)進(jìn)行匹配，以得到用于車輛控制和導(dǎo)航任務(wù)的目標(biāo)距離和角度信息。綜上所述，目標(biāo)級(jí)融合首先要匹配雷達(dá)點(diǎn)和圖像檢測結(jié)果，然后選擇更準(zhǔn)確的參數(shù)作為最終檢測結(jié)果，例如雷達(dá)的距離、速度、方位角信息和圖像檢測的分類信息。

特征融合是指在特征空間中融合來自不同傳感器的數(shù)據(jù)的過程，例如組合兩個(gè)傳感器法的特征向量為單個(gè)特征向量［18］。文獻(xiàn)［19］提出了一種相機(jī)雷達(dá)融合網(wǎng)絡(luò)CRF-Net（Camera Radar Fusion Net），雷達(dá)網(wǎng)絡(luò)作為附加分支對(duì)雷達(dá)數(shù)據(jù)進(jìn)行處理，并將雷達(dá)特征提取到圖像中。文獻(xiàn)［20］中也使用了類似的方法。在文獻(xiàn)［21］中，每幀的雷達(dá)點(diǎn)云用于生成具有六個(gè)高度特征和一個(gè)密度特征的鳥瞰圖圖像，然后使用3D 候選區(qū)域生成網(wǎng)絡(luò)基于相機(jī)圖像和鳥瞰圖圖像生成候選區(qū)域。除了有基于監(jiān)督學(xué)習(xí)的融合網(wǎng)絡(luò)研究外，還有關(guān)于無監(jiān)督學(xué)習(xí)的融合網(wǎng)絡(luò)的研究。例如，Lekic等［18］提出了一種基于目標(biāo)檢測的無監(jiān)督學(xué)習(xí)融合網(wǎng)絡(luò)條件生成對(duì)抗網(wǎng)絡(luò)（Conditional Multi-Generator Generative Adversarial Network，CMGGAN），使用該網(wǎng)絡(luò)利用雷達(dá)測量生成視覺圖像，再提出特征進(jìn)行目標(biāo)檢測。由于雷達(dá)點(diǎn)云太過稀疏，在深度學(xué)習(xí)方面比較受限，因此基于深度學(xué)習(xí)的雷達(dá)和相機(jī)的特征級(jí)融合的相關(guān)研究相對(duì)來說要少得多。

ROI 融合則是指使用雷達(dá)檢測在攝像機(jī)圖像中創(chuàng)建感興趣區(qū)域，然后將感興趣區(qū)域輸入到圖像分類網(wǎng)絡(luò)中。文獻(xiàn)［22］將雷達(dá)點(diǎn)投影到圖片中，并根據(jù)車輛的尺寸大小畫出ROI，再將ROI 輸入至神經(jīng)網(wǎng)絡(luò)對(duì)圖像中的目標(biāo)進(jìn)行分類。在文獻(xiàn)［23-25］中，也采用了ROI 融合方法來進(jìn)行圖像目標(biāo)檢測任務(wù)。通常在劃分ROI 時(shí)，是通過目標(biāo)經(jīng)驗(yàn)尺寸或者固定ROI 大小確定其位置的，所以容易出現(xiàn)ROI 過大或者過小的情況。

2 PRRPN結(jié)構(gòu)

將雷達(dá)點(diǎn)云投影到圖像上后，可以將注意力更多地放在一張圖像的重要部分，即雷達(dá)點(diǎn)云所投影的圖像位置，因?yàn)檫@些位置大概率存在待檢測目標(biāo)。一般車輛行駛時(shí)，前一時(shí)刻出現(xiàn)的大多數(shù)目標(biāo)仍會(huì)在下一時(shí)刻出現(xiàn)。因此，前一時(shí)刻的檢測結(jié)果可用于為下一時(shí)刻的檢測提供先驗(yàn)信息，包括檢測框的大小和類別。而雷達(dá)測量的距離、雷達(dá)散射截面積（Radar Cross Section，RCS）提供了目標(biāo)的物理屬性。通過融合這兩類信息，可以為檢測網(wǎng)絡(luò)提供具有準(zhǔn)確中心點(diǎn)、大小和比例的候選區(qū)域。

本文所提出的方法PRRPN 的檢測網(wǎng)絡(luò)結(jié)構(gòu)如圖1 所示，主要分為三個(gè)部分：特征提取層，候選區(qū)域生成層，以及分類回歸層。特征提取層和回歸分類層選取Fast R-CNN 的架構(gòu)，其中特征提取層的骨干網(wǎng)絡(luò)為ResNet50（Residual Network 50）+FPN（Feature Pyramid Network）。候選區(qū)域生成層又分為兩部分：一部分是根據(jù)上一時(shí)刻的檢測結(jié)果生成先驗(yàn)候選區(qū)域。首先選擇類別置信度高于閾值的檢測框作為先驗(yàn)框，將這些框與當(dāng)前時(shí)刻的雷達(dá)點(diǎn)進(jìn)行關(guān)聯(lián)；然后在下一幀的檢測開始時(shí)，將當(dāng)前幀的雷達(dá)點(diǎn)與上一幀的雷達(dá)點(diǎn)進(jìn)行關(guān)聯(lián)，通過關(guān)聯(lián)關(guān)系，每個(gè)雷達(dá)點(diǎn)可以得到與其匹配的先驗(yàn)框信息；接下來，將雷達(dá)點(diǎn)投影到圖像上，并根據(jù)關(guān)聯(lián)結(jié)果，將選定的先驗(yàn)框作為錨框分配給相應(yīng)的雷達(dá)點(diǎn)，以生成先驗(yàn)候選區(qū)域。另一部分是根據(jù)雷達(dá)測量距離和RCS生成不同尺寸和不同高寬比的雷達(dá)候選區(qū)域。最后將雷達(dá)候選區(qū)域和先驗(yàn)候選區(qū)域進(jìn)行融合，輸入到分類回歸層，進(jìn)行最后的分類和回歸。

圖1 PRRPN的檢測網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Detection network structure of PRRPN

3 特征提取層及分類回歸層

特征提取層采用卷積網(wǎng)絡(luò)提取圖像特征，由若干卷積、修正線性單元（Rectified Linear Unit，ReLU）和池化層組成。本文采用了ResNet50+FPN 的骨干網(wǎng)絡(luò)對(duì)輸入的圖像進(jìn)行特征提取，其網(wǎng)絡(luò)結(jié)構(gòu)如圖2 所示。其中，左半部分自底而上的網(wǎng)絡(luò)為ResNet50，右半部分自上而下的網(wǎng)絡(luò)為FPN。P2～P5 為網(wǎng)絡(luò)最終提取的特征，之后將根據(jù)候選區(qū)域所對(duì)應(yīng)的各層特征進(jìn)行目標(biāo)框的回歸和分類。圖2中ResNet50的結(jié)構(gòu)參數(shù)如表1所示。

圖2 特征提取層網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 Network structure of feature extraction layer

表1 ResNet50結(jié)構(gòu)參數(shù)Tab.1 Structural parameters of ResNet50

卷積網(wǎng)絡(luò)淺層能提取到目標(biāo)的位置、顏色、紋理等特征，深層能提取到更抽象、語義更強(qiáng)的特征。通過自底而上和自上而下的網(wǎng)絡(luò)計(jì)算使得深層特征和淺層特征進(jìn)行了融合，即每一層特征圖都融合了不同語義強(qiáng)度的特征，使得不同分辨率的候選區(qū)域都能獲得豐富的特征以進(jìn)行分類和回歸。

候選區(qū)域生成見第4～5 章。分類回歸層先將候選區(qū)域所對(duì)應(yīng)的P2～P5 層特征通過ROI Align 下采樣為7× 7 大小的特征圖，再通過4 個(gè)全連接層實(shí)現(xiàn)對(duì)目標(biāo)的分類和對(duì)目標(biāo)框的回歸，結(jié)構(gòu)如圖1 中的分類回歸層所示，網(wǎng)絡(luò)參數(shù)見表2。因?yàn)楸疚闹羞M(jìn)行識(shí)別的目標(biāo)種類為人、自行車、小汽車、摩托車、公共汽車和卡車共六種，所以fc3的輸出為每個(gè)類別目標(biāo)框的4個(gè)位置偏移參數(shù)，fc4輸出為“6+1（背景）”種類別的置信度。

表2 全連接層參數(shù)Tab.2 Parameters of fully connected layer

4 先驗(yàn)候選區(qū)域生成

4.1 先驗(yàn)檢測框與雷達(dá)點(diǎn)關(guān)聯(lián)

檢測框與雷達(dá)點(diǎn)之間的關(guān)聯(lián)包括三個(gè)步驟：檢測框篩選，將雷達(dá)點(diǎn)投影到圖像中，以及將雷達(dá)點(diǎn)與先驗(yàn)檢測框進(jìn)行關(guān)聯(lián)。

首先設(shè)置置信度閾值以篩選上一時(shí)刻檢測到的目標(biāo)。因?yàn)楦鱾€(gè)時(shí)刻檢測到的目標(biāo)數(shù)量和目標(biāo)精度是不確定的，如果將所有目標(biāo)作為先驗(yàn)框輸入，則會(huì)導(dǎo)致無效候選區(qū)域過多，而置信度較低的檢測框則可能會(huì)對(duì)檢測網(wǎng)絡(luò)產(chǎn)生負(fù)激勵(lì)。因此，需要篩選置信度高于閾值的檢測框用作先驗(yàn)框，以生成相關(guān)的先驗(yàn)候選區(qū)域。

雷達(dá)傳感器輸出的是標(biāo)定在車輛坐標(biāo)系中包含位置、速度等信息的稀疏點(diǎn)云。而檢測框是像素坐標(biāo)系中具有相關(guān)預(yù)測類別和類別置信度的二維邊框。要將雷達(dá)點(diǎn)與檢測框關(guān)聯(lián)起來，首先要根據(jù)相機(jī)雷達(dá)的標(biāo)定參數(shù)將雷達(dá)點(diǎn)從車輛坐標(biāo)系映射到像素坐標(biāo)系。如圖3 所示，在攝像機(jī)與雷達(dá)的安裝位置之間是存在一定偏差的，并且由于相機(jī)的成像原理，在成像位置與光學(xué)中心之間存在一定距離長度（即焦點(diǎn)），因此需要建立從車輛坐標(biāo)系到像素坐標(biāo)系的坐標(biāo)變換關(guān)系。首先是將雷達(dá)點(diǎn)從車輛坐標(biāo)系轉(zhuǎn)換到相機(jī)坐標(biāo)系，然后再從相機(jī)坐標(biāo)系轉(zhuǎn)換到像素坐標(biāo)系。

圖3 雷達(dá)坐標(biāo)系和相機(jī)坐標(biāo)系示意圖Fig.3 Schematic diagram of radar coordinate system and camera coordinate system

車輛坐標(biāo)系和相機(jī)坐標(biāo)系之間的轉(zhuǎn)換關(guān)系可以推導(dǎo)為：

其中：R是三階旋轉(zhuǎn)矩陣；T是三維平移向量。相機(jī)坐標(biāo)系和像素坐標(biāo)系之間的轉(zhuǎn)換關(guān)系可以推導(dǎo)為：

其中：f是相機(jī)的焦距；dx、dy分別為x、y方向上的像素寬度；u0、v0是圖像中心；z′是比例因子。這些參數(shù)可以通過傳感器聯(lián)合標(biāo)定獲得。

以檢測框尺寸作為關(guān)聯(lián)條件，將雷達(dá)點(diǎn)投影到圖像中后，若雷達(dá)點(diǎn)落在某一檢測框中，則認(rèn)為雷達(dá)點(diǎn)與該檢測框相關(guān)聯(lián)，若雷達(dá)點(diǎn)沒有落在任一檢測框中，則認(rèn)為該雷達(dá)點(diǎn)沒有相關(guān)聯(lián)的檢測框。

通過上一幀和當(dāng)前幀的雷達(dá)點(diǎn)關(guān)聯(lián)，可以獲得來源于同一目標(biāo)的雷達(dá)點(diǎn)，從而可以通過關(guān)聯(lián)關(guān)系將雷達(dá)點(diǎn)與上一幀的檢測框進(jìn)行匹配以繼承對(duì)應(yīng)的檢測框的屬性。

本文使用目標(biāo)跟蹤架構(gòu)來實(shí)現(xiàn)雷達(dá)點(diǎn)的關(guān)聯(lián)。目標(biāo)跟蹤主要利用雷達(dá)輸出的距離和速度等測量來對(duì)目標(biāo)運(yùn)動(dòng)軌跡進(jìn)行預(yù)測和更新。典型的目標(biāo)跟蹤系統(tǒng)架構(gòu)包括文獻(xiàn)［26-27］中所提到的四個(gè)部分，分別是傳感器時(shí)空同步、運(yùn)動(dòng)狀態(tài)估計(jì)、數(shù)據(jù)關(guān)聯(lián)和航跡管理。傳感器時(shí)空同步，是指進(jìn)行融合的各傳感器的數(shù)據(jù)需要處在同一時(shí)間同一坐標(biāo)系中，通過式（1）、式（2）的坐標(biāo)轉(zhuǎn)換已完成空間同步，即所有數(shù)據(jù)皆處在像素坐標(biāo)系。因?yàn)閭鞲衅鞯牟捎妙l率是不一致的，所以常用的數(shù)據(jù)時(shí)間同步方法包括外推、差值等。因?yàn)楸疚乃捎玫膎uScenes 數(shù)據(jù)集中已包含雷達(dá)和相機(jī)時(shí)間同步的關(guān)鍵幀數(shù)據(jù)，因此可以直接對(duì)關(guān)鍵幀數(shù)據(jù)進(jìn)行處理和計(jì)算。運(yùn)動(dòng)狀態(tài)估計(jì)主要運(yùn)用的是卡爾曼濾波（Kalman Filter，KF）、擴(kuò)展卡爾曼濾波（Extended Kalman Filter，EKF）、粒子濾波（Particle Filter，PF）等估計(jì)理論與算法。通過濾波算法可以根據(jù)目標(biāo)運(yùn)動(dòng)模型對(duì)雷達(dá)在上一幀中檢測到的目標(biāo)運(yùn)動(dòng)狀態(tài)進(jìn)行預(yù)測和更新。數(shù)據(jù)關(guān)聯(lián)則是指將當(dāng)前時(shí)刻測量與上一時(shí)刻目標(biāo)進(jìn)行匹配，找到屬于上一時(shí)刻的目標(biāo)在當(dāng)前時(shí)刻的測量。

因此，實(shí)現(xiàn)關(guān)聯(lián)首先需要完成的是利用目標(biāo)運(yùn)動(dòng)模型根據(jù)目標(biāo)上一時(shí)刻的運(yùn)動(dòng)狀態(tài)預(yù)測下一時(shí)刻的運(yùn)動(dòng)狀態(tài)。本文中，假設(shè)目標(biāo)在縱向和橫向上均做勻速運(yùn)動(dòng)。根據(jù)卡爾曼濾波相關(guān)知識(shí)，雷達(dá)上一幀檢測到的目標(biāo)在下一時(shí)刻運(yùn)動(dòng)狀態(tài)的預(yù)測如式（3）中所示：

其中：Xk-1、Vxk-1是目標(biāo)在第k-1 幀中的縱向位置和速度；Yk-1、Vyk-1是目標(biāo)在第k-1 幀中的橫向位置和速度是預(yù)測的目標(biāo)在第k幀中的縱向位置和速度是預(yù)測的目標(biāo)在第k幀中的橫向位置和速度；t為第k-1 幀到第k幀的時(shí)間間隔。

圖4 關(guān)聯(lián)門Fig.4 Association gate

如果一個(gè)雷達(dá)點(diǎn)落在關(guān)聯(lián)門內(nèi)，則認(rèn)為該雷達(dá)點(diǎn)與關(guān)聯(lián)門對(duì)應(yīng)的前一幀雷達(dá)點(diǎn)相關(guān)聯(lián)，關(guān)系如式（4）所示：

其中，Xk、Yk是第k幀中雷達(dá)點(diǎn)的位置。

當(dāng)前幀的雷達(dá)點(diǎn)可以通過上述關(guān)聯(lián)關(guān)系繼承相應(yīng)檢測框的屬性。因?yàn)槟繕?biāo)實(shí)際運(yùn)動(dòng)規(guī)律不一定符合勻速直線運(yùn)動(dòng)模型，每個(gè)時(shí)刻也無法避免新目標(biāo)的出現(xiàn)，所以一些雷達(dá)點(diǎn)沒有關(guān)聯(lián)上任一先驗(yàn)檢測框。由于此時(shí)無法確定與雷達(dá)點(diǎn)相對(duì)應(yīng)的目標(biāo)信息，因此將所有先驗(yàn)檢測框?qū)傩岳^承給該雷達(dá)點(diǎn)。

4.2 候選區(qū)域生成

獲得了雷達(dá)點(diǎn)與上一幀圖像檢測結(jié)果之間的關(guān)聯(lián)關(guān)系之后，就大致獲得了當(dāng)前時(shí)刻目標(biāo)的位置和大小信息。投影的雷達(dá)點(diǎn)相當(dāng)于為網(wǎng)絡(luò)引入了注意機(jī)制，因?yàn)橥队暗綀D像上的雷達(dá)點(diǎn)的位置存在目標(biāo)的可能性很高，并且由于時(shí)間的連續(xù)性，上一幀存在的目標(biāo)極大可能仍在當(dāng)前時(shí)刻存在，因此構(gòu)造一個(gè)以投影到圖像上的雷達(dá)點(diǎn)為中心、以雷達(dá)點(diǎn)相關(guān)聯(lián)的先驗(yàn)檢測框的大小為尺寸的先驗(yàn)候選區(qū)域，可以有效檢測上一幀存在且在當(dāng)前幀仍存在的目標(biāo)。

投影在圖片上的雷達(dá)點(diǎn)并不總是在目標(biāo)的中心，因此本文借鑒了文獻(xiàn)［30］中對(duì)候選區(qū)域進(jìn)行平移調(diào)整、使候選區(qū)域更能全面覆蓋目標(biāo)的思想。如圖5 所示，在上、下、左、右方向上移動(dòng)以投影到圖像上的雷達(dá)點(diǎn)為中心，以其匹配的先驗(yàn)框?yàn)殄^框的先驗(yàn)候選區(qū)域，得到能夠覆蓋目標(biāo)的候選框。

圖5 先驗(yàn)候選區(qū)域生成Fig.5 Generation of prior region proposals

平移距離如式（5）所示，以使平移位置盡可能精確。

其中：dshift為平移距離，d為雷達(dá)點(diǎn)的距離；a為比例因子。a通過最大化先驗(yàn)候選區(qū)域和標(biāo)注真值的交并比（Intersectionover-Union，IOU）得到，如式（6）所示：

其中：Nimg為圖像的數(shù)量；為第i張圖像的真值數(shù)量；為第i張圖像的先驗(yàn)候選區(qū)域的數(shù)量；為第i張圖像中第j個(gè)真值和第k個(gè)先驗(yàn)候選區(qū)域的IOU。

對(duì)于關(guān)聯(lián)上同一個(gè)先驗(yàn)檢測框的雷達(dá)點(diǎn)，取其平均位置作為先驗(yàn)候選區(qū)域最終中心點(diǎn)，如式（7）所示，在有效減少候選區(qū)域數(shù)量的同時(shí)，也確保了候選區(qū)域的有效性。

其中：m為與同一個(gè)先驗(yàn)檢測框關(guān)聯(lián)上的雷達(dá)點(diǎn)的個(gè)數(shù)；xi、yi為第i個(gè)關(guān)聯(lián)點(diǎn)的位置。

5 雷達(dá)候選區(qū)域生成

除了先驗(yàn)檢測框的信息，雷達(dá)測量的距離、RCS信息也隱藏了待檢測目標(biāo)的屬性，根據(jù)這些信息，可以生成雷達(dá)點(diǎn)的錨框。根據(jù)相機(jī)成像原理，目標(biāo)在圖像上的高和寬與距離成反比。即：目標(biāo)距離越遠(yuǎn)，則投射到圖像上的面積會(huì)越?。环粗?，目標(biāo)距離越近，投射到圖像上的面積會(huì)越大。此外，不同種類的目標(biāo)，即使是處于同一距離處，也會(huì)呈現(xiàn)出不同的面積大小。因此本文根據(jù)雷達(dá)測量距離選擇了5 個(gè)不同面積數(shù)量級(jí)的錨框來生成雷達(dá)候選區(qū)域，如式（8）～（9）所示：

其中：d為雷達(dá)點(diǎn)的距離；w為基礎(chǔ)尺寸；anchor為最終選取的錨框；α、β、γ、θ、ε為尺寸比例因子。

RCS 是目標(biāo)在雷達(dá)接收方向上反射雷達(dá)信號(hào)能力的度量。一個(gè)具體目標(biāo)的RCS 與目標(biāo)本身的幾何尺寸、形狀、材料、目標(biāo)視角、雷達(dá)工作頻率及雷達(dá)發(fā)射和接收天線的極化有關(guān)。毫米波雷達(dá)探測的目標(biāo)種類不同，對(duì)應(yīng)目標(biāo)的雷達(dá)截面積也自然不同。一般來說，人的RCS要比車輛、金屬物體等低得多。對(duì)于車輛駕駛場景的待檢測目標(biāo)來說，RCS 低的目標(biāo)如“人”的高寬比要比RCS 高的目標(biāo)如“車”的高寬比大。因此，本文采用雷達(dá)點(diǎn)的RCS 信息來決定上述錨框的高寬比參數(shù)ratio，如式（10）所示：

其中：σ、τ、υ為高寬比比例因子。上述尺寸比例因子和高寬比比例因子通過最大化真值和雷達(dá)候選區(qū)域的IOU 得到，如式（11）所示：

其中：Nimg為圖像的數(shù)量；為第i張圖像的真值數(shù)量；為第i張圖像的雷達(dá)候選區(qū)域的數(shù)量；為第i張圖像中第j個(gè)真值和第k個(gè)雷達(dá)候選區(qū)域的IOU。同樣為了使雷達(dá)候選區(qū)域更全面地覆蓋待檢測目標(biāo)，根據(jù)式（5）對(duì)每個(gè)雷達(dá)候選區(qū)域進(jìn)行平移。

6 實(shí)驗(yàn)與結(jié)果分析

6.1 數(shù)據(jù)集

將本文方法應(yīng)用于同時(shí)含有相機(jī)和雷達(dá)數(shù)據(jù)的nuScenes數(shù)據(jù)集。該數(shù)據(jù)集涵蓋了在波士頓和新加坡采集的1000 個(gè)場景的數(shù)據(jù)，是最大的具有三維目標(biāo)標(biāo)注信息的自動(dòng)駕駛汽車多傳感器數(shù)據(jù)集。為了將此數(shù)據(jù)集應(yīng)用于二維目標(biāo)檢測任務(wù)，需要將三維標(biāo)注轉(zhuǎn)換為COCO（Common Objects in COntext）格式的二維標(biāo)注。本文選擇了在新加坡采集的數(shù)據(jù)來進(jìn)行訓(xùn)練和測試。由于nuScenes 數(shù)據(jù)集的標(biāo)注種類多達(dá)25 種，且很多種類非常相似，比如“adult”“child”“police_officer”“construction_worker”等，因此本文對(duì)nuScenes 數(shù)據(jù)集相似的標(biāo)注種類進(jìn)行了合并，共合并成6 個(gè)種類，分別為人、自行車、小汽車、摩托車、公共汽車和卡車。nuScenes 數(shù)據(jù)集以2 Hz 的頻率對(duì)各傳感器采集的數(shù)據(jù)進(jìn)行了同步，并打包成了數(shù)據(jù)集中的關(guān)鍵幀數(shù)據(jù)。不同傳感器之間的時(shí)間同步是實(shí)現(xiàn)關(guān)聯(lián)的重要前提，利用時(shí)間同步頻率，可以有效地計(jì)算關(guān)鍵幀數(shù)據(jù)中前后幀雷達(dá)點(diǎn)的關(guān)聯(lián)關(guān)系。因此本文選擇了關(guān)鍵幀數(shù)據(jù)進(jìn)行訓(xùn)練和測試。nuScenes 具有完整的傳感器套件，包括1 個(gè)激光雷達(dá)、5 個(gè)毫米波雷達(dá)、6 個(gè)相機(jī)、1 個(gè)慣性測量單元（Inertial Measurement Unit，IMU）和1 個(gè)全球定位系統(tǒng)（Global Positioning System，GPS）。其中，6 個(gè)相機(jī)分別安裝在自車的前、后和兩側(cè)，5 個(gè)毫米波雷達(dá)分別安裝在車的前方和4 個(gè)角。在這些傳感器中，本文選擇了前置攝像頭和前置雷達(dá)的數(shù)據(jù)來進(jìn)行訓(xùn)練和測試。最終，訓(xùn)練集一共包含了53910 張圖片，其中，“人”的標(biāo)注包含105320 個(gè)，“自行車”包含5286 個(gè)，“小汽車”包含262953 個(gè)，“摩托車”包含了5742個(gè)，“公共汽車”包含了10131個(gè)，“卡車”包含了46860個(gè)。

6.2 實(shí)驗(yàn)設(shè)置

本文采用網(wǎng)絡(luò)骨干為ResNet50+FPN 的Faster-RCNN 來進(jìn)行訓(xùn)練。訓(xùn)練時(shí)采用detectron2［31］提供的基于COCO 數(shù)據(jù)集的預(yù)訓(xùn)練模型進(jìn)行訓(xùn)練。訓(xùn)練階段一共迭代了12 個(gè)epoch，初始學(xué)習(xí)率為0.01，同時(shí)采用學(xué)習(xí)衰減策略，學(xué)習(xí)率衰減倍數(shù)為0.05，每經(jīng)過10000 次迭代學(xué)習(xí)率衰減1 次。圖像輸入到網(wǎng)絡(luò)前進(jìn)行隨機(jī)裁剪，短邊尺寸在900～1600，長邊最大尺寸不超過1600。訓(xùn)練收斂曲線如圖6所示。

因?yàn)樘卣魈崛雍头诸惢貧w層的網(wǎng)絡(luò)是一致的，所以測試過程中采用Faster-RCNN 的訓(xùn)練權(quán)重來對(duì)本文的方法進(jìn)行測試。挑選了十字路口的駕駛場景樣本作為PRRPN 的測試示意圖，如圖7所示。

圖7 中：圖（a）為上一幀檢測結(jié)果；圖（b）為當(dāng)前幀的標(biāo)注真值；圖（c）中的點(diǎn)為投影到圖片上的雷達(dá)點(diǎn)，加粗的點(diǎn)為當(dāng)前幀與上一幀關(guān)聯(lián)上的雷達(dá)點(diǎn)在圖片上的投影，其他的點(diǎn)則為未關(guān)聯(lián)上的雷達(dá)點(diǎn)在圖片上的投影；圖中的候選框?yàn)楦鶕?jù)已關(guān)聯(lián)上的雷達(dá)點(diǎn)生成的候選區(qū)域，圖（d）中候選框?yàn)閷⑾闰?yàn)檢測框信息賦予所有雷達(dá)點(diǎn)后生成的先驗(yàn)候選區(qū)域；圖（e）為根據(jù)投影到圖片上的雷達(dá)點(diǎn)的位置以及雷達(dá)測量到的距離、RCS 信息生成的雷達(dá)候選區(qū)域；圖（f）是將先驗(yàn)候選區(qū)域和雷達(dá)候選區(qū)域輸入到分類回歸網(wǎng)絡(luò)后的檢測結(jié)果。由檢測結(jié)果可以看出，PRRPN方法能有效完成目標(biāo)檢測任務(wù)。

此外本文還設(shè)置了3 個(gè)對(duì)比實(shí)驗(yàn)：實(shí)驗(yàn)一為采用本文提出的候選區(qū)域生成方法PRRPN 進(jìn)行目標(biāo)檢測；實(shí)驗(yàn)二為采用Faster-RCNN 進(jìn)行目標(biāo)檢測；實(shí)驗(yàn)三為采用PRRPN 和RPN 進(jìn)行融合來完成目標(biāo)檢測，即將PRRPN的檢測結(jié)果和RPN生成的候選區(qū)域進(jìn)行非極大值抑制（Non-Maximum Suppression，NMS），NMS 閾值為0.7，再輸入到分類回歸網(wǎng)絡(luò)進(jìn)行分類回歸。三個(gè)實(shí)驗(yàn)中，分類回歸網(wǎng)絡(luò)中回歸框的NMS 閾值皆等于0.5。

6.3 結(jié)果評(píng)估

本文使用COCO 數(shù)據(jù)集中使用的12 個(gè)評(píng)估指標(biāo)［32］來對(duì)結(jié)果進(jìn)行評(píng) 估，即AP（Average Percision）、AP50、AP75、APS、APM、APL、AR（Average Recall）、AR10、AR100、ARS、ARM、ARL，各評(píng)價(jià)指標(biāo)含義見表1。

表1 實(shí)驗(yàn)用評(píng)價(jià)指標(biāo)及其含義Tab.1 Evaluation indexes for experiment and their meanings

不同檢測方法的AP、AR 和檢測到的各種類的AP 分別如表2～4所示。

表2 不同檢測方法的AP 單位：%Tab.2 APs of different detection methods unit：%

表3 不同檢測方法的ARTab.3 ARs of different detection methods

因?yàn)閚uScenes 數(shù)據(jù)集中的一些距離比較遠(yuǎn)，尺寸非常小的目標(biāo)沒有被標(biāo)注，所以由三維標(biāo)注信息轉(zhuǎn)為二維標(biāo)注信息時(shí)也沒有包含這部分目標(biāo)信息；但是檢測網(wǎng)絡(luò)仍檢測到了這部分目標(biāo)，加上遮擋、邊角目標(biāo)較多，所以檢測結(jié)果的AP會(huì)相較其他數(shù)據(jù)集低一些。

由表2～4 可以看出，PRRPN 的AP 略低于RPN，但是對(duì)小目標(biāo)的檢測效果會(huì)更好，PRRPN 的APS相較RPN 提高了2.09個(gè)百分點(diǎn)；而將所提PRRPN 與RPN 進(jìn)行融合的方法，與單獨(dú)使用PRRPN 和RPN 相比，平均檢測精度分別提升了2.54 個(gè)百分點(diǎn)和0.34 個(gè)百分點(diǎn)。另一方面，由于PRRPN 無需進(jìn)行網(wǎng)絡(luò)計(jì)算，因此計(jì)算速度優(yōu)于RPN，每張圖像平均檢測時(shí)間能達(dá)到0.0624 s，而RPN的每張圖像平均檢測時(shí)間為0.0778 s。此外，PRRPN+RPN 的檢測結(jié)果要比單獨(dú)使用RPN 或PRRPN更好，幾乎所有指標(biāo)都得到了提高。

表4 不同檢測方法檢測到的各種類的AP 單位：%Tab.4 APs of different detection methods for different classes unit：%

通過對(duì)比PRRPN 與RPN 的檢測結(jié)果，可以發(fā)現(xiàn)PRRPN對(duì)于雷達(dá)探測范圍內(nèi)目標(biāo)的檢測效果是很好的，如圖8（a）所示，PRRPN 的檢測結(jié)果圖中的點(diǎn)為投影到圖像上的雷達(dá)點(diǎn)，PRRPN 在加快檢測速度的同時(shí)，也能達(dá)到很高的檢測精度。此外，PRRPN 對(duì)于如目標(biāo)鏡像、廣告牌等不會(huì)產(chǎn)生雷達(dá)反射點(diǎn)的虛假目標(biāo)不會(huì)產(chǎn)生誤檢。而基于上一時(shí)刻檢測結(jié)果生成先驗(yàn)候選區(qū)域的思想，會(huì)使得上一時(shí)刻出現(xiàn)的目標(biāo)在下一時(shí)刻不會(huì)漏檢，特別是目標(biāo)駛離自車的場景，此時(shí)目標(biāo)會(huì)出現(xiàn)在圖像上的邊角，一般的檢測方法對(duì)于邊角目標(biāo)的檢測還存在一些問題，但是PRRPN 方法會(huì)改善邊角目標(biāo)的檢測效果。如圖8（b）所示，在市區(qū)玻璃建筑區(qū)域或者鄰車具有大車窗等會(huì)產(chǎn)生目標(biāo)倒影的場景，因?yàn)镻RRPN 是基于雷達(dá)信息來實(shí)現(xiàn)目標(biāo)檢測，而倒影不會(huì)產(chǎn)生雷達(dá)反射信號(hào)，因此不會(huì)產(chǎn)生RPN對(duì)目標(biāo)鏡像的誤檢現(xiàn)象。同樣如圖8（b）所示，當(dāng)鄰車駛離自車時(shí)，RPN 方法沒有檢測出該目標(biāo)，但PRRPN 檢測到了該目標(biāo)。因?yàn)镻RRPN 是根據(jù)雷達(dá)的距離和RCS 信息來生成一定尺寸的雷達(dá)候選區(qū)域，綜合了雷達(dá)的空間信息和圖像的平面信息，對(duì)于雷達(dá)探測的近距離目標(biāo)的誤檢會(huì)相較RPN 少得多，如圖8（c）所示。當(dāng)然，PRRPN 對(duì)于部分遠(yuǎn)距離目標(biāo)，如遠(yuǎn)距離人的檢測效果是有所欠缺的，如圖8（d）所示，因?yàn)橐恍┻h(yuǎn)距離的人已超過雷達(dá)檢測范圍，且雷達(dá)對(duì)于遠(yuǎn)距離的人對(duì)雷達(dá)波的反射信號(hào)也較弱，所以雷達(dá)的檢測短板也是PRRPN的短板。

圖8 PRRPN和RPN檢測結(jié)果對(duì)比Fig.8 Comparison of PRRPN and RPN detection results

綜合而言，PRRPN 運(yùn)用了雷達(dá)傳感器的優(yōu)勢并且將上一幀的信息運(yùn)用到下一幀的檢測，在具有良好檢測效果的同時(shí)，還能提高檢測速度，在一些場景下甚至能達(dá)到更好的檢測效果。PRRPN+RPN 的方法，綜合了PRRPN 和RPN 的檢測優(yōu)勢，對(duì)于雷達(dá)檢測范圍內(nèi)的目標(biāo)，因?yàn)榫C合了雷達(dá)的空間距離信息和圖像的像素特征，檢測結(jié)果更加精確，且因?yàn)橛缮弦粫r(shí)刻檢測結(jié)果而得的先驗(yàn)框的應(yīng)用，也減少了一定的漏檢，同時(shí)兩者的融合也使得雷達(dá)檢測范圍外的目標(biāo)也能很好地被檢測到。

如圖9 所示，PRRPN 的檢測結(jié)果和RPN 的檢測結(jié)果圖中的點(diǎn)為投影到圖片上的雷達(dá)點(diǎn)。從圖9 可以看出，PRRPN 和RPN 的融合可以借助PRRPN 的檢測結(jié)果減少被遮擋目標(biāo)的漏檢，同時(shí)也使得部分目標(biāo)的邊界框的范圍更加精確，邊界框的置信度也會(huì)提高。

圖9 PRRPN+RPN和RPN的檢測結(jié)果對(duì)比Fig.9 Detection result comparison of PRRPN+RPN and RPN

7 結(jié)語

本文提出了一種融合雷達(dá)數(shù)據(jù)和相機(jī)數(shù)據(jù)來生成候選區(qū)域進(jìn)行目標(biāo)檢測的方法——PRRPN。實(shí)驗(yàn)結(jié)果表明PRRPN可以快速且有效地檢測到雷達(dá)探測距離內(nèi)的目標(biāo)，還可以在RPN的基礎(chǔ)上進(jìn)一步提高融合檢測精度。通過將前一幀的檢測結(jié)果與下一幀的雷達(dá)數(shù)據(jù)相關(guān)聯(lián)，可以為當(dāng)前時(shí)刻的檢測提供具有先驗(yàn)信息的候選區(qū)域，根據(jù)雷達(dá)的距離和RCS 信息可以估計(jì)待檢測目標(biāo)的尺寸、大小信息，生成蘊(yùn)含相應(yīng)信息的雷達(dá)候選區(qū)域。PRRPN 可以作為附加候選區(qū)域生成網(wǎng)絡(luò)與任一two-stage 檢測網(wǎng)絡(luò)進(jìn)行融合，提高其檢測精度。PRRPN還將目標(biāo)檢測與目標(biāo)跟蹤兩個(gè)任務(wù)結(jié)合起來，為未來對(duì)目標(biāo)跟蹤和目標(biāo)檢測集成到一個(gè)網(wǎng)絡(luò)以及自動(dòng)駕駛汽車的多任務(wù)融合提供了參考。接下來，可將傳統(tǒng)的后融合方法［33-34］運(yùn)用到前融合的特征融合中，進(jìn)一步提高目標(biāo)檢測任務(wù)的效率。