基于激光點(diǎn)云3D檢測(cè)的車(chē)輛外廓尺寸測(cè)量研究

摘 要：為了維持良好的車(chē)輛生產(chǎn)和交通運(yùn)輸發(fā)展，有必要對(duì)車(chē)輛的非法改裝以及超載超限行為進(jìn)行有力的遏制，車(chē)輛外廓尺寸測(cè)量則是一種重要識(shí)別車(chē)輛非法改裝的方法。通過(guò)提取車(chē)輛的激光點(diǎn)云數(shù)據(jù)，按一定的規(guī)則形成對(duì)應(yīng)的點(diǎn)云鳥(niǎo)瞰圖，運(yùn)用深度學(xué)習(xí)中的卷積神經(jīng)網(wǎng)絡(luò)對(duì)點(diǎn)云鳥(niǎo)瞰圖進(jìn)行模型訓(xùn)練，使模型對(duì)車(chē)輛具有快速、準(zhǔn)確的識(shí)別效果。識(shí)別得到的包圍框通過(guò)坐標(biāo)像素的轉(zhuǎn)換可求得車(chē)輛的長(zhǎng)、寬、高，達(dá)到車(chē)輛外廓尺寸的測(cè)量結(jié)果，并可轉(zhuǎn)換為3D檢測(cè)效果。通過(guò)試驗(yàn)表明，提出的基于激光點(diǎn)云3D檢測(cè)的車(chē)輛外廓尺寸測(cè)量方法測(cè)量精度損失較小，檢測(cè)效率高于傳統(tǒng)測(cè)量方法。

關(guān)鍵詞： 激光點(diǎn)云；車(chē)輛尺寸；卷積神經(jīng)網(wǎng)絡(luò)；3D檢測(cè)

近年來(lái)，車(chē)輛尺寸超限現(xiàn)象嚴(yán)重，由此帶來(lái)的交通問(wèn)題頻發(fā)。車(chē)輛外廓尺寸測(cè)量技術(shù)可以分為人工測(cè)量和自動(dòng)化測(cè)量。傳統(tǒng)的三維測(cè)量大多是人工檢測(cè)，勞動(dòng)強(qiáng)度大、效率低，已經(jīng)無(wú)法符合現(xiàn)代化需求。自動(dòng)化測(cè)量效率高，操作簡(jiǎn)單，大大降低了車(chē)輛測(cè)量工作的復(fù)雜度，目前主要分為三種，分別為三坐標(biāo)測(cè)量機(jī)、基于數(shù)字圖像處理的測(cè)量技術(shù)和基于激光測(cè)量的測(cè)量技術(shù)。深度學(xué)習(xí)在物體檢測(cè)領(lǐng)域已經(jīng)取得了較好的效果，因此本文提出一種基于深度學(xué)習(xí)的激光點(diǎn)云3D檢測(cè)的車(chē)輛外廓尺寸測(cè)量方法，通過(guò)對(duì)車(chē)輛的檢測(cè)得到外廓尺寸，且在此基礎(chǔ)上進(jìn)行相應(yīng)的算法設(shè)計(jì)和優(yōu)化。

1 相關(guān)技術(shù)介紹

1.1 卷積神經(jīng)網(wǎng)絡(luò)介紹

卷積神經(jīng)網(wǎng)絡(luò)是一種前饋神經(jīng)網(wǎng)絡(luò)，它是近年發(fā)展起來(lái)的對(duì)大型圖像處理有出色表現(xiàn)的一種高效識(shí)別方法。卷積神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)包括兩層，其一為特征提取層，用來(lái)提取局部特征，其二是特征映射層，每個(gè)映射層上面的神經(jīng)元權(quán)值相等。由于卷積神經(jīng)網(wǎng)絡(luò)的特征檢測(cè)層通過(guò)訓(xùn)練數(shù)據(jù)進(jìn)行學(xué)習(xí)，所以在使用卷積神經(jīng)網(wǎng)絡(luò)時(shí)，避免了顯式的特征提取，而隱式地從訓(xùn)練數(shù)據(jù)中進(jìn)行學(xué)習(xí)。

1.2激光點(diǎn)云算法現(xiàn)狀介紹

基于Frustum的網(wǎng)絡(luò)在KITTI 數(shù)據(jù)集中表現(xiàn)出高性能，它使用Point.Net直接處理點(diǎn)云，但是，它需要預(yù)處理，因此也必須使用相機(jī)傳感器，僅將這種方法應(yīng)用于激光雷達(dá)數(shù)據(jù)是不可能的；相反，周等人提出了一個(gè)模型，在網(wǎng)格單元上運(yùn)行端到端的學(xué)習(xí)，它是KITTI中僅使用激光雷達(dá)數(shù)據(jù)進(jìn)行3D和鳥(niǎo)瞰檢測(cè)的最佳模型，但是速度很低。Chen等人利用手工制作的特征（如點(diǎn)密度，最大高度和代表點(diǎn)強(qiáng)度）將激光雷達(dá)點(diǎn)云投影到RGB地圖上。但是這種融合的處理時(shí)間很長(zhǎng)，并且需要輔助傳感器輸入。

2 基于改進(jìn)的complex.yolo算法的車(chē)輛外廓尺寸測(cè)量方法

在本文研究中，采用改進(jìn)的complex.yolo算法對(duì)車(chē)輛的激光點(diǎn)云數(shù)據(jù)進(jìn)行處理和訓(xùn)練，在對(duì)數(shù)據(jù)進(jìn)行訓(xùn)練時(shí)，向網(wǎng)絡(luò)中輸入標(biāo)注的激光點(diǎn)云數(shù)據(jù)圖，最終得到識(shí)別準(zhǔn)確度高的模型權(quán)重。將此權(quán)重用于車(chē)輛的激光點(diǎn)云數(shù)據(jù)，從而識(shí)別車(chē)輛的輪廓大小，經(jīng)過(guò)坐標(biāo)像素的比例轉(zhuǎn)換從而求得車(chē)輛的高、寬、長(zhǎng)，再通過(guò)雷達(dá)坐標(biāo)系和圖像坐標(biāo)系的空間位置，畫(huà)出車(chē)輛的3D坐標(biāo)。

2.1 complex.yolo網(wǎng)絡(luò)結(jié)構(gòu)介紹

Complex.yolo使用多視點(diǎn)思想進(jìn)行激光點(diǎn)云數(shù)據(jù)的預(yù)處理以及特征提取，從而生成一個(gè)激光點(diǎn)云鳥(niǎo)瞰圖。此算法提出了一個(gè)特定的歐拉區(qū)域建議網(wǎng)絡(luò)（E.RPN），通過(guò)在回歸網(wǎng)絡(luò)中添加一個(gè)虛數(shù)和一個(gè)真實(shí)的分?jǐn)?shù)來(lái)估計(jì)物體的姿態(tài)，成為YOLOv2的3D版本進(jìn)行點(diǎn)云數(shù)據(jù)的識(shí)別。首先，由64線激光雷達(dá)采集的三維點(diǎn)云數(shù)據(jù)轉(zhuǎn)換為鳥(niǎo)瞰視圖的RGB圖，覆蓋面積為80mx40m，其中，R代表點(diǎn)云密度，G代表物體區(qū)域的最大高度，B代表點(diǎn)云的強(qiáng)度，并且減小了單元尺寸來(lái)縮小量化誤差。然后將此鳥(niǎo)瞰圖作為輸入，利使用簡(jiǎn)化的YOLOv2卷積神經(jīng)網(wǎng)絡(luò)體系結(jié)構(gòu)，通過(guò)復(fù)雜的角度回歸和E.RPN進(jìn)行擴(kuò)展，預(yù)測(cè)每個(gè)網(wǎng)格單元的五個(gè)框，每個(gè)盒子預(yù)測(cè)回歸參數(shù)，實(shí)現(xiàn)物體的3D識(shí)別。

2.2 數(shù)據(jù)預(yù)處理

本文采用KITTI數(shù)據(jù)集中的激光點(diǎn)云數(shù)據(jù)進(jìn)行算法的訓(xùn)練和測(cè)試。KITTI數(shù)據(jù)集使用激光雷達(dá)的坐標(biāo)系為攝像機(jī)視野內(nèi)的運(yùn)動(dòng)物體提供一個(gè)3D邊框標(biāo)注，每一個(gè)物體的標(biāo)注都由所屬類(lèi)別和3D尺寸（height，weight和length）組成。為了適應(yīng)本論文的實(shí)現(xiàn)效果，更好的進(jìn)行角度的回歸，將網(wǎng)絡(luò)的輸入鳥(niǎo)瞰圖改為1024x1024像素的正方形，而不是原網(wǎng)絡(luò)的512x1024，并且將雷達(dá)數(shù)據(jù)覆蓋范圍改為80mx80m，擴(kuò)大檢測(cè)范圍。且KITTI數(shù)據(jù)集有8個(gè)類(lèi)別，而本文只需要識(shí)別車(chē)輛，因此需要篩選出標(biāo)記為車(chē)輛的點(diǎn)云數(shù)據(jù)進(jìn)行訓(xùn)練，經(jīng)自寫(xiě)腳本篩選，一共提取6000張圖片，包含車(chē)輛類(lèi)數(shù)據(jù)標(biāo)簽33261個(gè)，分別以類(lèi)別class、中心坐標(biāo)x、y、物體的ground truth寬度、物體的ground truth長(zhǎng)度、以及物體的旋轉(zhuǎn)角度im、ie順序排列組成。

利用腳本，對(duì)KITTI中保存雷達(dá)坐標(biāo)的bin文件進(jìn)行物體點(diǎn)云信息的提取，根據(jù)論文所述的數(shù)據(jù)處理方法，提取局部像素點(diǎn)所對(duì)應(yīng)的點(diǎn)云數(shù)據(jù)的最高高度值，最大亮度值以及局部密度值，將三個(gè)通道值合并成一個(gè)通道值，形成RGB圖像。以下為激光點(diǎn)云RGB圖像中6幅例圖：

2.3 網(wǎng)絡(luò)訓(xùn)練

由于本文的輸入大小和分類(lèi)數(shù)目與原complex.yolo算法不同，因此輸入網(wǎng)絡(luò)的第一層卷積大小為1024x1024x3，隨后都以相同方式改變，其中E.RPN擴(kuò)展層的大小為32x32x40（5x（6+1+1）=40）。將經(jīng)過(guò)數(shù)據(jù)預(yù)處理的激光點(diǎn)云RGB圖像輸入修改過(guò)的complex.yolo網(wǎng)絡(luò)，并在backup文件夾中保存訓(xùn)練好的模型。

2.4 模型結(jié)果測(cè)試

將2.2節(jié)舉例的6幅圖像輸入模型結(jié)果進(jìn)行測(cè)試：

2.5 誤差分析

將檢測(cè)到的車(chē)輛個(gè)數(shù)以及車(chē)輛的尺寸與原車(chē)輛尺寸進(jìn)行對(duì)比，統(tǒng)計(jì)以上6幅圖中的測(cè)量誤差，如下表所示：

檢測(cè)車(chē)輛個(gè)數(shù)和車(chē)輛尺寸誤差較小，在車(chē)輛尺寸檢測(cè)誤差允許范圍之內(nèi)。

3 結(jié)語(yǔ)

本文主要研究了基于激光點(diǎn)云3D檢測(cè)的車(chē)輛外廓尺寸測(cè)量方法，將這種方法用于對(duì)公路車(chē)輛的識(shí)別和測(cè)量，結(jié)果比較理想。適應(yīng)于本文結(jié)構(gòu)的complex.yolo算法能在同一時(shí)間里識(shí)別一定范圍內(nèi)的所有車(chē)輛并時(shí)時(shí)輸出車(chē)輛所對(duì)應(yīng)的長(zhǎng)、寬、高度，基于激光點(diǎn)云3D識(shí)別的車(chē)輛外廓尺寸測(cè)量方法在合理的誤差范圍內(nèi)比傳統(tǒng)的測(cè)量方法速度更快、可進(jìn)行多車(chē)輛檢測(cè)、效果更好，為檢測(cè)車(chē)輛尺寸開(kāi)拓了一個(gè)新的方法領(lǐng)域，以后的研究可以向著測(cè)量其他物體大小以及改善網(wǎng)絡(luò)結(jié)構(gòu)達(dá)到更好的檢測(cè)效果和更小的誤差兩方面進(jìn)行。

參考文獻(xiàn)：

[1]陳樹(shù)東.基于卷積神經(jīng)網(wǎng)絡(luò)的車(chē)輛檢測(cè)與車(chē)型辨識(shí)算法研究[D].電子科技大學(xué)，2018.06.

[2]郜雨桐，寧慧，王巍，等.基于卷積神經(jīng)網(wǎng)絡(luò)的車(chē)輛型號(hào)識(shí)別研究[J].應(yīng)用科技，DOI：10.11991/yykj.201803011.

[3]梁春疆.基于機(jī)器視覺(jué)原理的車(chē)輛外廓尺寸在線測(cè)量系統(tǒng)[D].天津大學(xué)，2015.12.

[4]Martin Simon，Stefan Milz，Karl Amende，Horst.Michael Gross，Complex.YOLO：Real.time 3D Object Detection on Point Clouds，Computer Vision and Pattern Recognition，arXiv：1803.06199（2018）.

作者簡(jiǎn)介：朱菲婷（1993.），女，漢族，浙江紹興人，攻讀吉林大學(xué)交通學(xué)院載運(yùn)工具運(yùn)用工程專(zhuān)業(yè)碩士學(xué)位，研究方向?yàn)槠?chē)安全與車(chē)輛智能技術(shù)。