模擬激光雷達(dá)點(diǎn)云在路側(cè)感知算法中的應(yīng)用①

鄒 凱,郭云鵬,陳升東,袁 峰

(廣州中科院軟件應(yīng)用技術(shù)研究所,廣州 511466)

近年來,自動(dòng)駕駛引起了研究者的廣泛關(guān)注,自動(dòng)駕駛技術(shù)包括感知與理解、定位定向、自主規(guī)劃、決策控制等部分[1],感知與理解是自動(dòng)駕駛中關(guān)鍵技術(shù)之一,算法通過傳感器對(duì)障礙物進(jìn)行檢測(cè),按照傳感器所處環(huán)境不同分為車載感知算法與路側(cè)感知算法,路側(cè)傳感器部署在道路側(cè)邊燈桿等設(shè)施上,通過汽車到基礎(chǔ)設(shè)施(Vehicle-to-Infrastructure,V2I)融合車載感知算法結(jié)果完成超視距感知[2].路側(cè)感知算法使用的傳感器有激光雷達(dá)、攝像頭等,激光雷達(dá)因其不受光照條件影響,直接獲取物體三維信息等特點(diǎn),使得基于激光雷達(dá)的感知算法成為主要的方向之一[3–5].

深度學(xué)習(xí)近年來在計(jì)算機(jī)視覺任務(wù)上獲得了一系列的成果[6–8],基于深度學(xué)習(xí)的感知算法同樣也吸引了廣泛的關(guān)注.基于激光雷達(dá)的深度學(xué)習(xí)感知算法需要對(duì)激光雷達(dá)點(diǎn)云進(jìn)行標(biāo)注,而由于點(diǎn)云數(shù)據(jù)是三維數(shù)據(jù)且具有稀疏性,相對(duì)于二維圖像更難標(biāo)注,標(biāo)注工作需要耗費(fèi)大量的人力物力成本[9],且現(xiàn)行的主流感知算法都是基于車載激光雷達(dá)[10],而路側(cè)激光雷達(dá)由于所處環(huán)境、放置方式不同,使得車載感知算法泛化到路側(cè)感知算法上魯棒性較差,所以如何構(gòu)建性能良好的基于深度學(xué)習(xí)的路側(cè)感知算法,并減少對(duì)點(diǎn)云標(biāo)注的需求,使得算法能在實(shí)際應(yīng)用中快速部署,是目前路側(cè)感知算法的重點(diǎn)與難點(diǎn).

面對(duì)該問題,本文提出了一種基于柵格(grid)聚類的路側(cè)感知算法,并通過LGSVL 仿真平臺(tái)(LGSVL Simulator)模擬路側(cè)激光雷達(dá)獲得點(diǎn)云,研究模擬點(diǎn)云在算法訓(xùn)練中的應(yīng)用.基于柵格聚類的路側(cè)感知算法首先將點(diǎn)云進(jìn)行柵格化,并將柵格內(nèi)點(diǎn)云轉(zhuǎn)化為統(tǒng)計(jì)特征,再構(gòu)建全卷積網(wǎng)絡(luò)對(duì)柵格特征進(jìn)行多任務(wù)學(xué)習(xí),訓(xùn)練后的網(wǎng)絡(luò)獲得柵格的分類、聚類、高度等初級(jí)語義信息,最后采用聚類算法將初級(jí)語義信息進(jìn)行聚類,完成端到端感知輸出.模擬點(diǎn)云是為了能在路側(cè)感知算法訓(xùn)練中替代真實(shí)點(diǎn)云,減少點(diǎn)云標(biāo)注數(shù)量,所以本文設(shè)計(jì)多組應(yīng)用模擬點(diǎn)云的實(shí)驗(yàn),驗(yàn)證在網(wǎng)絡(luò)訓(xùn)練中模擬點(diǎn)云對(duì)算法的幫助.

實(shí)驗(yàn)結(jié)果表明,本文提出的路側(cè)感知算法兼具實(shí)時(shí)性與準(zhǔn)確性,能有效的識(shí)別障礙物,并已部署在路側(cè)邊緣計(jì)算設(shè)備實(shí)地使用,模擬點(diǎn)云的不同方案實(shí)驗(yàn)結(jié)果也證明模擬點(diǎn)云有助于路側(cè)感知算法的訓(xùn)練,減少了真實(shí)數(shù)據(jù)的標(biāo)注依賴,節(jié)約了算法實(shí)際應(yīng)用中的標(biāo)注成本.

本文主要的貢獻(xiàn)體現(xiàn)在以下3 個(gè)方面:

(1)提出一種基于柵格聚類的路側(cè)感知算法,以路側(cè)激光雷達(dá)點(diǎn)云為輸入,對(duì)點(diǎn)云進(jìn)行柵格特征表示,構(gòu)建深度學(xué)習(xí)網(wǎng)絡(luò)進(jìn)行多任務(wù)學(xué)習(xí),通過柵格聚類完成端到端感知.實(shí)驗(yàn)結(jié)果表明該算法具有較好的實(shí)時(shí)性與準(zhǔn)確性,且已實(shí)際應(yīng)用于路側(cè)感知平臺(tái).

(2)利用仿真平臺(tái)模擬路側(cè)激光雷達(dá)環(huán)境并獲取模擬點(diǎn)云,通過不同的實(shí)驗(yàn)研究模擬點(diǎn)云在感知算法上的應(yīng)用.實(shí)驗(yàn)結(jié)果表明,模擬點(diǎn)云通過混合數(shù)據(jù)集、預(yù)訓(xùn)練模型可以增強(qiáng)感知算法的魯棒性,減少對(duì)真實(shí)標(biāo)注點(diǎn)云的依賴.

(3)通過已部署的路側(cè)激光雷達(dá)采集點(diǎn)云數(shù)據(jù),并通過人工標(biāo)注的方式進(jìn)行標(biāo)注,構(gòu)建了路側(cè)激光雷達(dá)點(diǎn)云數(shù)據(jù)集并開源,有效解決了路側(cè)激光雷達(dá)點(diǎn)云數(shù)據(jù)集的缺失.

1 相關(guān)工作

點(diǎn)云數(shù)據(jù)是在歐式空間下的點(diǎn)的一個(gè)子集,點(diǎn)云數(shù)據(jù)具有無序性、點(diǎn)與點(diǎn)的連接性、旋轉(zhuǎn)不變性3 個(gè)特征[3],所以根據(jù)點(diǎn)云特征的表征方式可將感知算法模型分為:基于體素模型(voxel-based models)方法、基于原始點(diǎn)云模型(points clouds based models)方法、基于圖模型(graph-based models)方法、基于投影柵格模型(view grids based models).

基于體素模型的方法是將三維點(diǎn)云劃分到體素(voxel)中,文獻(xiàn)[3]中提出VoxNet 網(wǎng)絡(luò),對(duì)體素進(jìn)行隨機(jī)采樣歸一化,利用三維卷積模型學(xué)習(xí)全局特征張量.基于原始點(diǎn)云模型的方法是將原始點(diǎn)云作為特征,文獻(xiàn)[4]提出PointNet 網(wǎng)絡(luò),模型通過多層感知機(jī)獲取每個(gè)點(diǎn)云的空間特征,再通過空間轉(zhuǎn)化網(wǎng)絡(luò)(spatical transform network)級(jí)聯(lián)為局部特征.基于圖模型的方法是將點(diǎn)云轉(zhuǎn)化為圖結(jié)構(gòu)數(shù)據(jù),以點(diǎn)作為圖中的節(jié)點(diǎn)(node),以點(diǎn)之間的關(guān)系作為圖中的邊(graph),文獻(xiàn)[11]提出EdgeConv模型,利用動(dòng)態(tài)圖卷積學(xué)習(xí)局部特征.基于投影柵格模型是將點(diǎn)云進(jìn)行鳥瞰視角(Bird’s Eye View,BEV)投影或前視圖(Fornd View,FV)投影再柵格化進(jìn)行特征表示,文獻(xiàn)[12]提出了一種PIOXR 網(wǎng)絡(luò),利用一步檢測(cè)器對(duì)BEV 投影的柵格進(jìn)行學(xué)習(xí).

基于體素模型的方法運(yùn)算速度較快,但是會(huì)損失體素內(nèi)點(diǎn)的信息[13];基于原始點(diǎn)云模型的方法保留了點(diǎn)的幾何特征,但是運(yùn)算效率較低;基于圖模型的方法增加了點(diǎn)之間的相互信息,但是運(yùn)算效率較低.本文采用基于體素模型,具有較好的運(yùn)算精度與效率,同時(shí)針對(duì)點(diǎn)云柵格化損失部分信息,本文提出一種柵格統(tǒng)計(jì)特征表示,即兼具了該方法的運(yùn)算效率也保留了柵格幾何信息.

深度學(xué)習(xí)中使用模擬數(shù)據(jù)的應(yīng)用也越來越多,文獻(xiàn)[14]利用域隨機(jī)化模擬真實(shí)圖像,并在真實(shí)圖像上進(jìn)行fine-tune 實(shí)驗(yàn).文獻(xiàn)[15]通過增強(qiáng)現(xiàn)實(shí)技術(shù),將虛擬引擎中的物體放置到真實(shí)環(huán)境圖像中,并利用混合數(shù)據(jù)進(jìn)行對(duì)比實(shí)驗(yàn).文獻(xiàn)[16]通過pointNet 模型將真實(shí)點(diǎn)云的前景與背景分離,再將模擬物體的點(diǎn)云設(shè)置到真實(shí)點(diǎn)云的背景中生成模擬點(diǎn)云,通過感知算法結(jié)果對(duì)比了兩種點(diǎn)云的相似性.本文采用LGSVL 仿真平臺(tái)構(gòu)建路側(cè)激光雷達(dá)并獲取雷達(dá)點(diǎn)云,并通過實(shí)驗(yàn)探索模擬點(diǎn)云在感知算法上的應(yīng)用.

2 基于柵格聚類的路側(cè)感知算法

本文提出的路側(cè)感知算法對(duì)交通參與者進(jìn)行檢測(cè),輸入路側(cè)激光雷達(dá)點(diǎn)云,輸出交通參與者的三維邊界框(bounding boxes),實(shí)現(xiàn)端到端的交通參與者目標(biāo)分類與檢測(cè).算法流程如圖1所示,本節(jié)將介紹如何進(jìn)行點(diǎn)云特征表示,網(wǎng)絡(luò)結(jié)構(gòu),聚類,以及在模型訓(xùn)練與驗(yàn)證中的細(xì)節(jié).

圖1 基于柵格聚類感知算法示意圖

2.1 點(diǎn)云表示

路側(cè)激光雷達(dá)獲取到的點(diǎn)云是三維、非機(jī)構(gòu)化數(shù)據(jù),而標(biāo)準(zhǔn)卷積需要結(jié)構(gòu)化數(shù)據(jù),所以本文采用將三維點(diǎn)云柵格化,再結(jié)合每個(gè)柵格的物理特性,通過統(tǒng)計(jì)來獲得每個(gè)柵格的特征.激光雷達(dá)根據(jù)回波時(shí)間(Time Of Flight,TOF)原理掃描檢測(cè)范圍內(nèi)的所有物體,而路側(cè)感知算法主要關(guān)注道路及交通參與者,所以限定每幀點(diǎn)云以雷達(dá)為原點(diǎn)范圍L×W×H為檢測(cè)區(qū)域,檢測(cè)區(qū)域離散化為柵格,每個(gè)柵格的分辨率為dL×dW×dH,即將點(diǎn)云轉(zhuǎn)化為一個(gè)L/dL×W/dW×H/dH的張量.可視化結(jié)果見圖2.

圖2 Offset 向量在柵格內(nèi)的可視化

點(diǎn)云被離散到柵格中,每個(gè)柵格所含的點(diǎn)云數(shù)目與點(diǎn)云的空間分布相關(guān),根據(jù)感知算法對(duì)點(diǎn)云物理特性需求,本文將每個(gè)柵格轉(zhuǎn)化為一個(gè)8 通道的特征向量.特征向量各通道含義分別為:最高點(diǎn)高度、平均高度、柵格朝向、柵格距離、最大反射強(qiáng)度、平均反射強(qiáng)度、點(diǎn)云數(shù)量、非空柵格標(biāo)志.最高點(diǎn)高度表示柵格內(nèi)最高點(diǎn)云的高度,平均高度表示柵格內(nèi)所有點(diǎn)云的高度平均值,這兩個(gè)特征表征了點(diǎn)云高度信息,由于等交通參與者在高度上具有區(qū)分性,高度特征可以排除樹木、樓棟等干擾也可以區(qū)分交通參與者類別.柵格朝向表示柵格中心在雷達(dá)坐標(biāo)系中的角度,柵格距離表示柵格中心距離雷達(dá)距離,這兩個(gè)特征表征了激光雷達(dá)掃描時(shí)近密遠(yuǎn)疏的特性,柵格與雷達(dá)的幾何關(guān)系.最大反射強(qiáng)度表示指柵格內(nèi)最大反射強(qiáng)度,平均反射強(qiáng)度表示柵格內(nèi)平均反射強(qiáng)度,這兩個(gè)特征表征了點(diǎn)云反射強(qiáng)度信息,不同材質(zhì)的物體反射強(qiáng)度不同,反射強(qiáng)度信息有助于物體的分類.點(diǎn)云數(shù)據(jù)表示柵格內(nèi)點(diǎn)云的總數(shù),非空柵格標(biāo)志表示標(biāo)識(shí)該柵格是否有點(diǎn)云的標(biāo)識(shí),這兩個(gè)特征表示了點(diǎn)云內(nèi)點(diǎn)的分布情況,由于點(diǎn)云具有稀疏性,所以具有沒有點(diǎn)云的空柵格,空柵格與有點(diǎn)柵格的排布表征了點(diǎn)云在空間中的排布情況.經(jīng)以上柵格化與統(tǒng)計(jì)特征表示后,每幀點(diǎn)云可以轉(zhuǎn)化為維度為L(zhǎng)/dL×W/dW×H/dH×8的特征張量.

2.2 深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)

路側(cè)感知算法構(gòu)建基于全卷積的網(wǎng)絡(luò)進(jìn)行多任務(wù)學(xué)習(xí),對(duì)每個(gè)柵格進(jìn)行分割,獲取物體檢測(cè)的初級(jí)語義信息.如圖1所示,輸入柵格特征,深度學(xué)習(xí)網(wǎng)絡(luò)通過下采樣(down sample)對(duì)柵格特征進(jìn)行卷積,4 次下采樣后分辨率分別為原始柵格特征的1/2、1/4、1/8、1/16、1/32,網(wǎng)絡(luò)無需采用待選框(proposal),再通過轉(zhuǎn)置卷積[17]上采樣(up sample)對(duì)特征的分辨率進(jìn)行還原,最終學(xué)習(xí)到一個(gè)8 通道的熱圖(heat map).

如圖3所示為深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)示意圖,其中輸入即為2.1 節(jié)中的點(diǎn)云8 通道特征,圖中{C1,C2,C3,C4,C5}表示下采樣中的各特征層,以特征圖的分辨率可以分為5 層,{D1,D2,D3,D4,D5}表示上采樣部分,中間橫向箭頭表示跳層連接.

圖3 深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)示意圖

下采樣的網(wǎng)絡(luò)參數(shù)如表1所示,表中input size與output size 分別表示輸入與輸出該特征層的張量大小,8×N×M即為8 通道的點(diǎn)云特征,layer 列中大括號(hào)表示了該特征層中還有的卷積層,每層卷積由4 個(gè)數(shù)字表示,分別表示卷積核大小、卷積步長(zhǎng)、填充、卷積核通道數(shù),例如C1 特征層中的第一個(gè)“1×1,1,0,24”分別表示該層卷積的卷積核為1×1 大小,卷積時(shí)的步長(zhǎng)為1,填充(padding)為0,卷積核的通道為24.特征圖經(jīng)過下采樣后,獲得的輸出為192×N/2×M/2 的高語義低分辨率的特征圖.每一層卷積后都采用ReLU 非線性激活函數(shù).

表1 下采樣網(wǎng)絡(luò)各層參數(shù)表

如圖3所示,上采樣的階段,使用轉(zhuǎn)置卷積對(duì)高語義特征進(jìn)行轉(zhuǎn)置,再通過跳層連接將下采樣中同一分辨率的特征圖進(jìn)行拼接,如表2所示上采樣中各層的參數(shù),其中TConv 表示為轉(zhuǎn)置卷積.

表2 上采樣網(wǎng)絡(luò)各層參數(shù)表

網(wǎng)絡(luò)輸出熱圖8通道分別表示為:x軸偏移量(offset)熱圖、y軸偏移量熱圖、背景點(diǎn)熱圖、地面點(diǎn)熱圖、交通參與者點(diǎn)熱圖、高度熱圖、x軸朝向(heading)熱圖、y軸朝向熱圖.x軸熱圖偏移量、y軸偏移量熱圖分別表示柵格在x、y軸上距物體重心的距離,將兩個(gè)熱圖中的值以箭頭的形式表示在原始點(diǎn)云上,在雷達(dá)坐標(biāo)上x、y軸的偏移量表示為一個(gè)向量,其值顯示了朝向物體中心點(diǎn)聚集的趨勢(shì).背景點(diǎn)熱圖表示該柵格是否是背景點(diǎn)云柵格,點(diǎn)云柵格中還有樹木等背景點(diǎn)云,背景點(diǎn)熱圖用于背景柵格過濾.地面點(diǎn)熱圖表示該柵格是否是地面點(diǎn)柵格,地面點(diǎn)熱圖用于過濾地面點(diǎn)柵格對(duì)檢測(cè)的干擾.交通參與者熱圖表示柵格為交通參與者的標(biāo)志,交通參與者為大車、小車、非機(jī)動(dòng)車、行人,交通參與者熱圖用于物體分類.高度熱圖表示柵格的高度,用于異常高度柵格的過濾.x軸朝向熱圖x、y軸朝向熱圖分別表示柵格在x、y軸的朝向,用于聚類中向量的計(jì)算.

感知算法網(wǎng)絡(luò)對(duì)分類、檢測(cè)進(jìn)行多任務(wù)學(xué)習(xí),在網(wǎng)絡(luò)訓(xùn)練時(shí)采用多任務(wù)損失函數(shù)(multi-task loss)[18]對(duì)類別、高度、朝向、偏移量進(jìn)行學(xué)習(xí).本文采用Focal loss[19]對(duì)類別進(jìn)行分類,SmoothL1 loss 對(duì)高度、朝向進(jìn)行回歸,對(duì)數(shù)比率損失函數(shù)對(duì)offset 進(jìn)行回歸.

網(wǎng)絡(luò)總損失函數(shù)由4 個(gè)函數(shù)加權(quán)求和,如式(1)所示,其中N表示多任務(wù)學(xué)習(xí)中損失函數(shù)的個(gè)數(shù),本文中N=4,λ表示加權(quán)系數(shù),加權(quán)系數(shù)與損失函數(shù)個(gè)數(shù)有關(guān)λ=1/N,L0到L4分別為分類損失函數(shù)Lcls、高度損失函數(shù)Lhei、朝向損失函數(shù)Lhead、偏移量損失函數(shù)Loffset:

由于點(diǎn)云柵格中有背景點(diǎn)干擾,且交通參與者中各類別出現(xiàn)的數(shù)目不一致,所以在分類任務(wù)中有類別不平衡問題,所以本文采用如式(2) 所示focal loss作為分類損失函數(shù),其中P表示含有所有點(diǎn)云的柵格總數(shù),α表示各種不同類別點(diǎn)云的權(quán)重,其中背景點(diǎn)柵格權(quán)重為0.1,地面點(diǎn)柵格權(quán)重為0.75,交通參與者柵格權(quán)重為0.9,pi表示網(wǎng)絡(luò)輸出該柵格的分類概率,γ為2.

高度值、朝向值回歸時(shí),由于點(diǎn)云的稀疏性以及背景點(diǎn)的干擾,在回歸任務(wù)時(shí)候容易出現(xiàn)離群點(diǎn),離群點(diǎn)會(huì)使得損失函數(shù)變大,反向傳播過程中梯度增大,從而影響其它任務(wù)的收斂,本文采用Smooth L1 損失函數(shù)如式(3)、式(4)所示,其中式(3)表示高度回歸損失函數(shù),g表示預(yù)測(cè)的高度值,表示真實(shí)的高度值,P表示有點(diǎn)柵格的掩模(mask)矩陣,矩陣由布爾數(shù)值組成,有點(diǎn)云的柵格為1,沒點(diǎn)云的柵格為0.Smooth L1 函數(shù)如式(5)所示,其中 β默認(rèn)設(shè)置為10.式(4)表示朝向回歸損失函數(shù),h表示預(yù)測(cè)朝向,表示真實(shí)朝向.

Offset 的回歸損失函數(shù)如式(6)所示,由式(7)所示x軸的offset 回歸函數(shù)與式(8)所示y軸的offset回歸函數(shù)求和組成.

2.3 聚類

深度學(xué)習(xí)網(wǎng)絡(luò)通過多任務(wù)損失函數(shù)學(xué)習(xí)到每個(gè)柵格學(xué)習(xí)的類別、偏移量等信息,每個(gè)目標(biāo)物體是由空間中的多個(gè)柵格組成,屬于同一物體的柵格具有相似的物理特性,所以本節(jié)通過均值漂移聚類算法將柵格聚類成物體.

如圖4所示為聚類初始點(diǎn)的計(jì)算,通過深度學(xué)習(xí)網(wǎng)絡(luò)學(xué)到了8 通道熱圖,遍歷柵格,先通過背景點(diǎn)熱圖過濾背景點(diǎn)柵格,剩下前景點(diǎn)柵格,深度學(xué)習(xí)網(wǎng)絡(luò)學(xué)習(xí)到的x、y軸偏移量熱圖表示的是該柵格對(duì)目標(biāo)的偏移量,根據(jù)該信息構(gòu)建該柵格的并查集,并將不相交集合進(jìn)行合并,再通過高度熱圖對(duì)并查集過濾,過濾掉不符合高度的柵格,其剩下的即作為聚類的初始點(diǎn).

圖4 聚類初始點(diǎn)選取

均值漂移公式,如式(9)為漂移向量計(jì)算公式,x為初始聚類原點(diǎn),聚類原點(diǎn)的選取是根據(jù)網(wǎng)絡(luò)學(xué)習(xí)到的在該原點(diǎn)半徑為h的范圍內(nèi)共有n個(gè)點(diǎn)云,遍歷每個(gè)點(diǎn)云xi與x的offset 向量距離并求和,其中ck,d/nhd表示單位密度,k為高斯核函數(shù).

迭代式(9),每次使得式(9)獲得最大偏移向量,即將如式(10)其求導(dǎo)

mh,G(x)表示Meanshift 向量,新迭代的原點(diǎn)即為式(12)為零時(shí)候x的值.

通過漂移聚類,將一個(gè)物體的柵格聚類到一個(gè)范圍內(nèi),再對(duì)聚類中同一物體柵格類別進(jìn)行統(tǒng)計(jì),置信高的即為該物體的類別.再通過柵格高度回歸值對(duì)異常高度進(jìn)行過濾,輸出端到端物體.

3 模擬路側(cè)激光雷達(dá)點(diǎn)云

機(jī)械式激光雷達(dá)通過激光束的旋轉(zhuǎn)掃描物體,本文模擬16 線機(jī)械式激光雷達(dá),水平測(cè)角為360°,垂直測(cè)角為–15°～15°,垂直測(cè)角分辨率為2°,垂直范圍內(nèi)共16 線激光光束,激光雷達(dá)掃描結(jié)果以點(diǎn)云的形式儲(chǔ)存,點(diǎn)云反應(yīng)了被掃描物體的距離與反射強(qiáng)度,距離值轉(zhuǎn)化為激光雷達(dá)為原點(diǎn)的x,y,z坐標(biāo),與反射強(qiáng)度共同構(gòu)成點(diǎn)云的4 維信息.

本文采用LGSVL 仿真平臺(tái)[20]模擬路側(cè)激光雷達(dá)環(huán)境,并設(shè)置動(dòng)態(tài)交通參與者生成模擬點(diǎn)云.LGSVL是一款開源的專注于自動(dòng)駕駛的仿真平臺(tái),基于Unity虛擬引擎,提供環(huán)境模擬與各種交通參與者的模型,同時(shí)可以在虛擬環(huán)境中模擬傳感器的收發(fā).LGSVL 仿真平臺(tái)中的激光雷達(dá)可配置參數(shù),LGSVL 仿真平臺(tái)構(gòu)建路側(cè)激光雷達(dá)設(shè)置的部署,在路側(cè)端設(shè)置3.6 米高,雷達(dá)朝向道路來車方向,為了掃描道路中的物體,將雷達(dá)pitch 角度偏轉(zhuǎn)31.25 度,并設(shè)置雷達(dá)模型中測(cè)距參數(shù)為150 米.

如圖5所示模擬點(diǎn)云與真實(shí)點(diǎn)云對(duì)比圖,圖5(a)為經(jīng)過LGSVL 模擬的模擬點(diǎn)云圖,圖5(b)為真實(shí)點(diǎn)云圖,圖中藍(lán)色框?yàn)榇筌?紅色框?yàn)樾≤?從圖中可以看出,經(jīng)過LGSVL 仿真平臺(tái)模擬真實(shí)環(huán)境與路側(cè)雷達(dá)放置方式,在雷達(dá)近端呈現(xiàn)的點(diǎn)云與模擬的相似,只是在道路周邊建筑物,遠(yuǎn)端點(diǎn)云的稀疏后的噪聲有所不同,但是作為路側(cè)激光雷達(dá)還是對(duì)道路上的機(jī)動(dòng)車數(shù)據(jù)進(jìn)行了大量的補(bǔ)充.

圖5 模擬點(diǎn)云與真實(shí)點(diǎn)云

4 實(shí)驗(yàn)結(jié)果與分析

文利用真實(shí)的路側(cè)激光雷達(dá)點(diǎn)云數(shù)據(jù)對(duì)感知算法進(jìn)行訓(xùn)練與驗(yàn)證,通過端到端的交通參與者類別、位置的輸出來驗(yàn)證算法的性能.通過LGSVL 仿真平臺(tái)模擬點(diǎn)云,利用感知算法在模擬點(diǎn)云與真實(shí)點(diǎn)的混合數(shù)據(jù)集上訓(xùn)練,在模擬數(shù)據(jù)集上預(yù)訓(xùn)練模型的結(jié)果來驗(yàn)證模擬點(diǎn)云對(duì)路側(cè)感知算法的幫助.

4.1 實(shí)驗(yàn)數(shù)據(jù)

用于自動(dòng)駕駛上的點(diǎn)云數(shù)據(jù)大多數(shù)是自動(dòng)駕駛汽車?yán)密囕d激光雷達(dá)采集,本文提出的路側(cè)激光雷達(dá)應(yīng)用于路側(cè)激光雷達(dá)點(diǎn)云,所以本文利用部署在路側(cè)的激光雷達(dá)采集了1700 幀點(diǎn)云,其中1300 幀作為訓(xùn)練集,400 幀作為驗(yàn)證集.點(diǎn)云通過人工進(jìn)行標(biāo)注,所使用的雷達(dá)為速騰聚創(chuàng)16 線機(jī)械式激光雷達(dá),雷達(dá)所處環(huán)境如圖6所示園區(qū)內(nèi)主干道,激光雷達(dá)pitch 角傾斜31.25 度.LGSVL 仿真平臺(tái)構(gòu)建如圖7所示的環(huán)境,并按照路側(cè)激光雷達(dá)一樣的參數(shù)設(shè)置仿真雷達(dá),通過設(shè)置交通參與者進(jìn)行點(diǎn)云的采集.本次模擬點(diǎn)云32 045 幀,其中27 304 幀為訓(xùn)練集,4741 幀為驗(yàn)證集.

圖6 路側(cè)激光雷達(dá)部署場(chǎng)景

4.2 實(shí)驗(yàn)結(jié)果

本文的數(shù)據(jù)集分為模擬點(diǎn)云數(shù)據(jù)集與真實(shí)點(diǎn)云數(shù)據(jù)集,感知算法在真實(shí)點(diǎn)云上進(jìn)行感知算法的訓(xùn)練與測(cè)試.路側(cè)感知算法只需要檢測(cè)道路上交通參與者,所以訓(xùn)練選擇點(diǎn)云范圍為,柵格分辨率為0.1875,使用平移、旋轉(zhuǎn)、旋轉(zhuǎn)對(duì)點(diǎn)云進(jìn)行數(shù)據(jù)增強(qiáng),offset 采用指向凸包重心的向量.

如表3所示,訓(xùn)練數(shù)據(jù)集采用真實(shí)點(diǎn)云(Real),模擬點(diǎn)云(Sim),訓(xùn)練后的模型分別在兩者驗(yàn)證集上進(jìn)行驗(yàn)證.感知算法在真實(shí)點(diǎn)云上的實(shí)驗(yàn)反應(yīng)了感知算法的性能,其中感知算法端到端檢測(cè)precision為84.67%,recall為98.27%,結(jié)果證明該算法端到端檢測(cè)性能具有良好的性能,滿足路需求.在兩者數(shù)據(jù)集交叉實(shí)驗(yàn)中,基于模擬點(diǎn)云數(shù)據(jù)訓(xùn)練的算法泛化在真實(shí)點(diǎn)云數(shù)據(jù)上性能較差,證明模擬點(diǎn)云與真實(shí)點(diǎn)云還具有一定差異,不能直接在感知算法中代替真實(shí)點(diǎn)云進(jìn)行訓(xùn)練.

表3 感知算法單一數(shù)據(jù)集算法性能

如表4所示,采用真實(shí)點(diǎn)云與模擬點(diǎn)云混合數(shù)據(jù)集進(jìn)行如表4所示,采用真實(shí)點(diǎn)云與模擬點(diǎn)云混合數(shù)據(jù)集進(jìn)行測(cè)試.實(shí)驗(yàn)結(jié)果證明,利用混合數(shù)據(jù)時(shí)precision高于2.46%,F1 高于1.13%,mAP 高于1.94%,證明了模擬數(shù)據(jù)增強(qiáng)了感知算法的準(zhǔn)確性.

表4 感知算法混合數(shù)據(jù)集訓(xùn)練算法性能

如表5所示,采用模擬點(diǎn)云的預(yù)訓(xùn)練模型,在真實(shí)點(diǎn)云上進(jìn)行訓(xùn)練.實(shí)驗(yàn)結(jié)果證明,當(dāng)利用預(yù)訓(xùn)練模型再利用所有真實(shí)數(shù)據(jù)訓(xùn)練時(shí),其各項(xiàng)評(píng)價(jià)指標(biāo)相差不太,但是若用預(yù)訓(xùn)練模型在20%真實(shí)點(diǎn)云上訓(xùn)練時(shí),precision提高1.49%,recall、F1、mAP 有所下降,但是減少了80%點(diǎn)云數(shù)據(jù)訓(xùn)練,由此可以看出,在犧牲算法一定性能下該方法可以減少許多數(shù)據(jù)標(biāo)注工作.

表5 感知算法在真實(shí)數(shù)據(jù)fine-tune 性能

如表6所示,將本文的算法分布部署在Nvidia GTX 1070與Nvidia Jestson AGX Xavier 顯卡上進(jìn)行端到端模型評(píng)估時(shí)各部分所用時(shí)間,feature 列表示點(diǎn)云特征處理所用時(shí)間,inference 表示深度學(xué)習(xí)模型推理所用時(shí)間,cluster &box 表示聚類及畫物體框輸出所用時(shí)間.實(shí)驗(yàn)中點(diǎn)云特征處理由C++編寫,利用PCL 庫對(duì)點(diǎn)云進(jìn)行過濾.深度學(xué)習(xí)模型轉(zhuǎn)為onnx 格式,并利用TensorRT 進(jìn)行加速.利用ros 畫物體的框并輸出,如圖7第2 行所示,輸出物體的類別信息,概率值,框體與距離雷達(dá)的距離等.本次實(shí)驗(yàn)是通過實(shí)時(shí)測(cè)量雷達(dá)點(diǎn)云數(shù)據(jù)時(shí)所求得的平均值,從表4可知各部分的耗時(shí),所使用16 線機(jī)械式激光雷達(dá)頻率為10 Hz,工程上要求算法處理每幀點(diǎn)云小于50 ms 即可,本文的算法在本地GPU 設(shè)備GTX 1070 上約為8 ms,在邊緣計(jì)算設(shè)備Jetson AGX 上約20 ms,均小于50 ms,符合實(shí)時(shí)性與工程性要求.

圖7 感知算法輸出

表6 感知算法計(jì)算效率

5 結(jié)論與展望

本文提出的一種適用于路側(cè)激光雷達(dá)的路側(cè)感知算法,對(duì)交通參與者進(jìn)行分類與檢測(cè),檢測(cè)性能良好,算法部署在邊緣計(jì)算設(shè)備上并達(dá)到每幀約20 ms 的實(shí)時(shí)性能.此外本文利用仿真平臺(tái)模擬路側(cè)激光雷達(dá)并采集點(diǎn)云,利用模擬點(diǎn)云在感知算法訓(xùn)練上的應(yīng)用,證明了模擬點(diǎn)云通過混合數(shù)據(jù)、預(yù)訓(xùn)練模型上可以幫助感知算法訓(xùn)練增強(qiáng)性能,在一定程度下可以減少算法對(duì)標(biāo)注數(shù)據(jù)的依賴,減少標(biāo)注工作量.

由于本文研究的路側(cè)感知算法應(yīng)用于路側(cè)激光雷達(dá),本文感知算法的泛化性、魯棒性還需要在更大樣本的實(shí)驗(yàn)數(shù)據(jù)中進(jìn)行進(jìn)一步驗(yàn)證和提升,在后續(xù)的研究中,關(guān)注實(shí)驗(yàn)樣本庫的構(gòu)建,進(jìn)一步對(duì)算法性能進(jìn)行改進(jìn).