基于改進(jìn)YOLOv5s和傳感器融合的目標(biāo)檢測(cè)定位

鄭宇宏 曾慶喜 冀徐芳 王榮琛 宋雨昕

摘 要：針對(duì)無(wú)人車環(huán)境感知過(guò)程中相機(jī)無(wú)法提供道路目標(biāo)的位置信息，激光雷達(dá)點(diǎn)云稀疏以致檢測(cè)方面難以達(dá)到很好效果的問(wèn)題，提出一種通過(guò)融合兩者信息進(jìn)行目標(biāo)檢測(cè)和定位的方法。采用深度學(xué)習(xí)中YOLOv5s算法進(jìn)行目標(biāo)檢測(cè)，通過(guò)聯(lián)合標(biāo)定進(jìn)行相機(jī)與激光雷達(dá)外參的獲取以轉(zhuǎn)換傳感器之間的坐標(biāo)，使雷達(dá)點(diǎn)云數(shù)據(jù)能投影到相機(jī)圖像數(shù)據(jù)中，得到檢測(cè)目標(biāo)的位置信息，最后進(jìn)行實(shí)車驗(yàn)證。結(jié)果表明，所提算法能在搭載TX2嵌入式計(jì)算平臺(tái)的無(wú)人車自動(dòng)駕駛平臺(tái)上擁有27.2 Hz的檢測(cè)速度，并且在一段時(shí)間的檢測(cè)環(huán)境中保持12.50%的漏檢率和35.32 m的最遠(yuǎn)識(shí)別距離以及0.18 m的平均定位精度。將激光雷達(dá)和相機(jī)融合，可實(shí)現(xiàn)嵌入式系統(tǒng)下的道路目標(biāo)檢測(cè)定位，為嵌入式平臺(tái)下環(huán)境感知系統(tǒng)的搭建提供了參考。

關(guān)鍵詞：傳感器技術(shù)；深度學(xué)習(xí)；目標(biāo)檢測(cè)與定位；無(wú)人車環(huán)境感知；相機(jī)與LiDAR融合

中圖分類號(hào)：TP242.6? 文獻(xiàn)標(biāo)識(shí)碼：A? ??文章編號(hào)：1008-1542（2024）02-0122-09

Target detection and localization based on improvedYOLOv5s and sensor fusion

ZHENG Yuhong，ZENG Qingxi，JI Xufang，WANG Rongchen，SONG Yuxin

（College of Automation Engineering， Nanjing University of Aeronautics and Astronautics， Nanjing， Jiangsu 211106， China）

Abstract：As two important sensors in the process of unmanned vehicle environment perception， the camera cannot provide the position information of the road target， and the LiDAR point cloud is sparse， which makes it difficult to achieve good results in detection， so that a method was proposed which fuses the information of the two sensors for target detection and localization. YOLOv5s algorithm in deep learning was adopted for target detection， and the external parameters of camera and LIDAR were acquired through joint calibration to convert the coordinates between the sensors， so that the radar point cloud data can be projected into the camera image data， and finally the position information of the detected target was obtained. The real vehicle experiments were conducted. The results show that the algorithm can achieve a detection speed of 27.2 Hz on the unmanned vehicle autopilot platform equipped with TX2 embedded computing platform， and maintain a leakage rate of 12.50%， a maximum recognition distance of 35.32 m， and an average localization accuracy of 0.18 m over a period of time in the detection environment. The fusion of LiDAR and camera can achieve road target detection and localization in embedded system， providing a reference for the construction of environment perception systems on embedded platforms.

Keywords：sensor technology; deep learning; target detection and localization; unmanned vehicle environment perception; camera and LiDAR fusion

對(duì)無(wú)人車行駛過(guò)程中的障礙物（如行人）進(jìn)行檢測(cè)和定位是保障其行駛安全非常重要的一部分。相機(jī)、毫米波雷達(dá)、激光雷達(dá)等是無(wú)人駕駛領(lǐng)域最常用的感知傳感器[1-2]，其中相機(jī)很容易受到光線、遮擋等環(huán)境因素的影響，而激光雷達(dá)在高線數(shù)下成本昂貴，低線數(shù)下點(diǎn)云稀疏[3]。如何結(jié)合不同傳感器的優(yōu)缺點(diǎn)，進(jìn)行準(zhǔn)確有效的檢測(cè)定位，成為眾多學(xué)者研究的一個(gè)重要方向。

隨著大數(shù)據(jù)、神經(jīng)網(wǎng)絡(luò)等相關(guān)技術(shù)的發(fā)展，深度學(xué)習(xí)的概念首次由加拿大學(xué)者HINTON等提出[4]，由于其檢測(cè)精度和速度都優(yōu)于傳統(tǒng)方法，成為當(dāng)前的主流目標(biāo)檢測(cè)算法。而基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法可以分成2類：基于區(qū)域提取的Two-stage目標(biāo)檢測(cè)算法，以及直接進(jìn)行位置回歸的One-stage目標(biāo)檢測(cè)模型。Two-stage目標(biāo)檢測(cè)算法有R-CNN[5]，SPP-Net[6]，F(xiàn)astRCNN[7]，F(xiàn)asterRCNN[8]，Mask R-CNN[9]等，One-stage目標(biāo)檢測(cè)算法有YOLO[10]，YOLOv2[11]，YOLOv3[12]，SSD等。

基于激光雷達(dá)的方法在近距離情況下提供準(zhǔn)確的深度信息，通過(guò)點(diǎn)云學(xué)習(xí)到幾何空間特征，但是由于遠(yuǎn)距離情況下點(diǎn)云的稀疏特性，探測(cè)遠(yuǎn)距離目標(biāo)、小目標(biāo)和形狀相似目標(biāo)的性能還有待加強(qiáng)。相較于能夠提供豐富外觀特性但缺乏良好的深度估計(jì)信息的相機(jī)，激光雷達(dá)在三維任務(wù)中的表現(xiàn)顯然是優(yōu)越的。這些互補(bǔ)特性促使基于激光雷達(dá)和相機(jī)信息融合的高精度三維目標(biāo)檢測(cè)方法被越來(lái)越多的學(xué)者關(guān)注，旨在克服單一傳感器易受環(huán)境因素影響、抗干擾能力差的問(wèn)題，從而提升整個(gè)感知網(wǎng)絡(luò)的可靠性、準(zhǔn)確性。學(xué)者們開(kāi)發(fā)了多種傳感器融合方案，如F-PointNet[13]，ConvNet[14]，MV3D[15]，AVOD[16]，MVFusion[17]等，但是這些傳感器方案在嵌入式系統(tǒng)中卻因?yàn)橛?jì)算量大面臨實(shí)時(shí)性和檢測(cè)性能不能兼?zhèn)涞膯?wèn)題。

1 神經(jīng)網(wǎng)絡(luò)算法設(shè)計(jì)

采用深度學(xué)習(xí)YOLOv5s模型作為目標(biāo)檢測(cè)模塊。該算法采用CSP-DarkNet53結(jié)構(gòu)作為主干，CSP-DarkNet作為一種CSPNet，通過(guò)將淺層的特征圖一分為二，分別通過(guò)特征提取模塊向后傳播以及跨過(guò)階級(jí)層次直接與特征提取模塊進(jìn)行合并，能一定程度上解決主干網(wǎng)絡(luò)中信息重復(fù)的問(wèn)題和緩解梯度消失的問(wèn)題，有效減少模型FLOPs值和參數(shù)數(shù)量，加快推理速度。其架構(gòu)示意圖如圖1所示。

其中Neck部分采用FPN+PAN的結(jié)構(gòu)思路進(jìn)行多尺度信息融合，并使用SPPF替代SPP來(lái)提高檢測(cè)速度和應(yīng)對(duì)多尺度問(wèn)題。在檢測(cè)頭中，采用CIOU LOSS 作為Bounding box 的損失函數(shù)。

注意力機(jī)制作為一種資源分配機(jī)制，核心思想是根據(jù)原有的數(shù)據(jù)找到其關(guān)聯(lián)性，然后突出重要的特征。YOLOv5s作為輕量化模型具有較少的參數(shù)量。為了更好地滿足在低光照環(huán)境下對(duì)道路目標(biāo)檢測(cè)的要求，本文采用SENet模塊以增強(qiáng)網(wǎng)絡(luò)的表示能力[18]，其分別通過(guò)Squeeze操作和Exciation操作實(shí)現(xiàn)所述功能。

首先是Squeeze，輸入一個(gè)維度為W×H×C的特征圖，其中W是width，H是height，C是channel，通過(guò)全局平均池化操作，獲得一個(gè)1×1×C的向量，見(jiàn)式（1）。

z=Fsq（uC）=1H×W∑Hi=1 ∑Wj=1u（i，j）。（1）

其次是激勵(lì)（Exciation），它由2個(gè)全連接層組成。第1個(gè)全連接層有C×S個(gè)神經(jīng)元，S為一個(gè)縮放參數(shù)，輸入為1×1×C，輸出為1×1×C×S；第2個(gè)全連接層有C個(gè)神經(jīng)元，輸入為1×1×C×S，輸出為1×1×C。最后通過(guò)sigmoid激活限制到[0，1]的范圍得到權(quán)重矩陣，將權(quán)重矩陣和特征圖的C個(gè)通道進(jìn)行相乘計(jì)算以賦予權(quán)重，作為下一級(jí)的輸入。其公式為

S=Fex（Z）=σ（W2δ（W1Z）），（2）

式中：W1和W2作為門控制機(jī)制，W1∈Rcr×c，W2∈Rc×cr；σ表示sigmoid函數(shù)；r為一個(gè)固定參數(shù)。

YOLOv5s主干特征提取網(wǎng)絡(luò)采用C3結(jié)構(gòu)，帶來(lái)較大的參數(shù)量，當(dāng)運(yùn)用在嵌入式系統(tǒng)時(shí)，大量的參數(shù)量帶來(lái)的將是更長(zhǎng)的處理時(shí)間。本文將主干特征提取網(wǎng)絡(luò)替換為更輕量的Ghost網(wǎng)絡(luò)[19]，以實(shí)現(xiàn)網(wǎng)絡(luò)模型的輕量化，平衡速度和精度。Ghost Module主要包括常規(guī)卷積、Ghost生成和特征圖拼接3步。首先用常規(guī)卷積Yw*h*m得到本征特征圖Yw′*h′*m：

Y′=X*f′ ，（3）

然后將Y′每一個(gè)通道的特征圖y′i，用Depthwise卷積實(shí)現(xiàn)的線性操作Φi，j來(lái)產(chǎn)生Ghost特征圖

yij：yij=Φi，j（y′i）， i=1，2，…，m， j=1，2，…，s，（4）

最后將第1步得到的本征特征圖和第2步得到的Ghost特征圖拼接（identity連接）得到最終結(jié)果Output。

由于YOLOv5s主干特征提取網(wǎng)絡(luò)采用C3結(jié)構(gòu)，其參數(shù)量較大，在嵌入式設(shè)備中運(yùn)用較為局限，因此采用Ghost瓶頸結(jié)構(gòu)對(duì)YOLOv5s網(wǎng)絡(luò)中的C3模塊進(jìn)行改進(jìn)，將C3模塊中添加輕量化的Ghost瓶頸網(wǎng)絡(luò)，這樣就能有效減少計(jì)算參數(shù)數(shù)量，使得整個(gè)網(wǎng)絡(luò)的速度和效率大大增加。最后修改得到的網(wǎng)絡(luò)架構(gòu)如圖2所示。

模型訓(xùn)練采用公開(kāi)數(shù)據(jù)集KITTI[20]。從檢測(cè)精度、速度、計(jì)算復(fù)雜度等方面對(duì)最新的檢測(cè)算法和本文提出的檢測(cè)模型進(jìn)行比較。KITTI數(shù)據(jù)集是由德國(guó)卡爾斯魯厄理工學(xué)院和豐田工業(yè)大學(xué)芝加哥分校聯(lián)合贊助的用于自動(dòng)駕駛領(lǐng)域研究的數(shù)據(jù)集，包含市區(qū)、鄉(xiāng)村和高速公路，采集過(guò)程是在德國(guó)的卡爾斯魯厄進(jìn)行的，檢測(cè)目標(biāo)包括Car，Van，Truck，Tram，Pedestrian，Person_sitting，Cyclist和misc 8類，本文將Car，Van，Truck和Tram合為一類Car，將Person和Person_sitting合為一類Pedestrian，忽略Misc類，最后檢測(cè)Car，Pedestrian和Cyclist 3類，一共7 481個(gè)訓(xùn)練圖像和7 518個(gè)測(cè)試圖像。由于標(biāo)簽的格式和YOLOv5s模型的格式不一致，通過(guò)腳本將其轉(zhuǎn)換成YOLOv5s所需要的.txt格式以進(jìn)行模型的訓(xùn)練。

為了驗(yàn)證本實(shí)驗(yàn)所用模型的性能，選取精準(zhǔn)率、召回率、平均精度和幀率作為模型的評(píng)價(jià)指標(biāo)。精準(zhǔn)度評(píng)價(jià)指標(biāo)為

Precision=TPTP+FP，（5）

式中：FP為負(fù)類預(yù)測(cè)為正類；TP為正類預(yù)測(cè)為正類。召回率評(píng)價(jià)指標(biāo)為

Recall=TPTP+FN，（6）

平均精度指標(biāo)為

mAP=∫10P（R）dR，（7）

對(duì)不同的模型設(shè)置相同的訓(xùn)練參數(shù)，將Batchsize設(shè)置成16，初始學(xué)習(xí)率大小為0.01，訓(xùn)練50個(gè)epoch，訓(xùn)練和測(cè)試結(jié)果如表1所示。

2 聯(lián)合標(biāo)定實(shí)驗(yàn)

2.1 聯(lián)合標(biāo)定模型

假設(shè)點(diǎn)云在以激光雷達(dá)為原點(diǎn)的坐標(biāo)系下的具體坐標(biāo)為（Xl，Yl，Zl）T，在相機(jī)坐標(biāo)系下空間坐標(biāo)為

（Xc，Yc，Zc）T；K是相機(jī)內(nèi)參，K∈R3×3；（u，v，1）T是點(diǎn)云在像素平面上的投影點(diǎn)。

將點(diǎn)云由激光雷達(dá)坐標(biāo)系變換到相機(jī)坐標(biāo)系：

XcYcZc=RXlYlZl+t ，（8）

式中R和t分別為激光雷達(dá)和相機(jī)之間的旋轉(zhuǎn)矩陣和平移向量，即激光雷達(dá)和相機(jī)的外參。再由相機(jī)坐標(biāo)系變換到歸一化平面坐標(biāo)系，并投影到像素平面上：

uv1=KXcZcYcZc1。（9）

根據(jù)圖像大小判斷投影點(diǎn)（u，v，1）T是否在圖像上，保留投影在圖像上的投影點(diǎn)并在圖像上標(biāo)出，建立圖像投影點(diǎn)和立體點(diǎn)云的對(duì)應(yīng)關(guān)系[21]。

利用機(jī)器人操作系統(tǒng)（ROS）進(jìn)行數(shù)據(jù)通信，然后進(jìn)行外參R，t的調(diào)整，濾除距離遠(yuǎn)處的點(diǎn)云，就能找到點(diǎn)云投影點(diǎn)和圖像像素的真實(shí)對(duì)應(yīng)關(guān)系，使點(diǎn)云投影點(diǎn)和圖像像素盡可能重合。如圖3所示，OwXwYwZw是標(biāo)定板坐標(biāo)系，OcXcYcZc是相機(jī)坐標(biāo)系，OlXlYlZl為激光雷達(dá)坐標(biāo)系。Pci是相機(jī)坐標(biāo)系下標(biāo)定板的單位法向量，Pli是激光雷達(dá)坐標(biāo)系下標(biāo)定板的單位法向量。

tci是相機(jī)坐標(biāo)系原點(diǎn)Oc到標(biāo)定板坐標(biāo)系原點(diǎn)Ow的平移向量，tli是激光雷達(dá)坐標(biāo)系Ol到標(biāo)定板坐標(biāo)系原點(diǎn)Ow的平移向量[22]。

假設(shè)：

Pc=［Pc1Pc2…Pc（n-1）Pcn］，（10）

Pl=［Pl1Pl2…Pl（n-1）Pln］，（11）

分別為2個(gè)坐標(biāo)系下n個(gè)標(biāo)定位置的n個(gè)法向量組成的矩陣，由夾角余弦之和最大可求得：

R=argmaxR∑niPTciRPli=argmaxRtr（RPlPTc），（12）

解得R′=VUT，其中V和U由矩陣奇異值分解USVT=PlPTc得到。

由坐標(biāo)系關(guān)系可知，激光雷達(dá)坐標(biāo)系和相機(jī)坐標(biāo)系的原點(diǎn)到標(biāo)定平面的距離差為

PciT=‖Pcitci‖-‖Plitli‖。（13）

對(duì)于n個(gè)標(biāo)定位置，取目標(biāo)函數(shù)為

T=minT∑ni=1［PTciT-（‖Pcitci‖-‖Plitli‖）］2，（14）

其等價(jià)為求使‖PTcT-（PTlT1-PTcT2）‖2最小的列向量T，其中T1=tc1tc2…tcn，T2=tl1tl2…tln，通過(guò)最小二乘法求解得到：

T=（PcPTc）-1Pc（PTlT1-PTcT2）。（15）

可知若進(jìn)行聯(lián)合標(biāo)定，需要固定激光雷達(dá)和相機(jī)之間的位置關(guān)系，采集足夠多點(diǎn)的數(shù)據(jù)進(jìn)行計(jì)算。

2.2 相機(jī)內(nèi)參標(biāo)定

相機(jī)的內(nèi)參標(biāo)定首先要準(zhǔn)備一塊9 m×6 m×0.024 m的標(biāo)定板，借助OpenCV的相機(jī)標(biāo)定工具完成內(nèi)參標(biāo)定[23]，圖4為標(biāo)定界面。

通過(guò)改變標(biāo)定板在畫面中的位置、遠(yuǎn)近、角度等，收集到足夠多的數(shù)據(jù)進(jìn)行標(biāo)定，輸出一個(gè).yaml文件，其中就包含相機(jī)的內(nèi)參矩陣R和畸變系數(shù)向量t。相機(jī)的內(nèi)參包含4個(gè)參數(shù)，即fx，fy，u0和v0。其中fx也就是f/dx，fy也就是f/dy，f代表的是焦距，dx和dy代表的像元密度，也就是在像素坐標(biāo)系下每一個(gè)像素分別在x和y方向分別占用了多少個(gè)單位，fx和fy代表了焦距f在x方向和y方向上的投影，u0和v0為感光板在坐標(biāo)系x方向和y方向下的坐標(biāo)。這4個(gè)參數(shù)就構(gòu)成了相機(jī)內(nèi)參，當(dāng)經(jīng)過(guò)標(biāo)定獲得了這些參數(shù)就能夠把模型完整的表達(dá)出來(lái)。

內(nèi)參標(biāo)定結(jié)果如下：

R=502.889 760303.387 440504.454 30249.910 56001，t=0.082 64-0.100 470.000 71-0.000 610?? T。

2.3 相機(jī)和激光雷達(dá)聯(lián)合標(biāo)定

激光雷達(dá)配置成功后進(jìn)行相機(jī)與激光雷達(dá)的聯(lián)合標(biāo)定，激光雷達(dá)和相機(jī)安裝位置如圖5所示。

然后用相機(jī)和激光雷達(dá)進(jìn)行錄包操作，手持標(biāo)定板在不同的位置停留5 s左右，在不同的位置都采集一定數(shù)量的數(shù)據(jù)，包括近點(diǎn)靠左、近點(diǎn)靠中、近點(diǎn)靠右、遠(yuǎn)點(diǎn)靠左等。在不同的位置時(shí)，手持標(biāo)定板的傾斜幅度也需要進(jìn)行調(diào)整，以便獲得更多的數(shù)據(jù)。

包錄制完成后，打開(kāi)Autoware的Camera Calibration Tools，通過(guò)ROS進(jìn)行傳感器數(shù)據(jù)的通信，然后先導(dǎo)入上文中標(biāo)定獲得的內(nèi)參文件，然后對(duì)實(shí)現(xiàn)錄制好的包進(jìn)行播放，先調(diào)整點(diǎn)云顯示區(qū)的角度、亮度等使后續(xù)標(biāo)定板能夠較清晰地呈現(xiàn)，對(duì)包中合適的圖片和點(diǎn)云進(jìn)行Grab收集，然后對(duì)每一張點(diǎn)云圖進(jìn)行手動(dòng)標(biāo)記，最后點(diǎn)擊右上角Calibrate鍵獲得標(biāo)定結(jié)果。由于標(biāo)定板較小，16線雷達(dá)點(diǎn)云密度相對(duì)稀疏，因而需要多次進(jìn)行標(biāo)定以確保標(biāo)定的準(zhǔn)確性，標(biāo)定界面如圖6所示。點(diǎn)擊右上角的Project鍵，外參文件即被輸出到home文件夾下[24]。

計(jì)算得到外參矩陣如下：

R=499.637 440327.010 530500.102 49235.770 21001，t=0.104 19-0.204 82-0.002 25-0.001 510.164 47[JB））]T。

2.4 傳感器時(shí)間同步

不同種類的傳感器運(yùn)行頻率不相同，掃描頻率和信號(hào)的傳遞速度也存在偏差，因此就需要數(shù)據(jù)幀同步的方式對(duì)數(shù)據(jù)進(jìn)行對(duì)齊。常見(jiàn)的數(shù)據(jù)幀同步方法主要包括硬件同步方式以及軟件同步方式[25]，本文采用的相機(jī)和激光雷達(dá)的融合方式并不存在能夠同步觸發(fā)的硬件同步方式，因此采用軟件同步的方式。

本文采用ROS機(jī)器人操作系統(tǒng)來(lái)對(duì)不同傳感器進(jìn)行數(shù)據(jù)幀同步[26]，使用的是message_filters：：Synchronizer時(shí)間同步器，通過(guò)設(shè)置閥門，只有當(dāng)在同一時(shí)間戳同時(shí)接收到2個(gè)傳感器的數(shù)據(jù)時(shí)才控制消息的輸出，以達(dá)到數(shù)據(jù)對(duì)齊的目的。其工作原理大致是：首先相機(jī)和激光雷達(dá)分別發(fā)布話題/image_raw和/point_raw，然后message_filters：：Synchronizer時(shí)間同步器程序訂閱2個(gè)話題，在回調(diào)函數(shù)中對(duì)同步結(jié)果進(jìn)行輸出，當(dāng)時(shí)間同步對(duì)齊時(shí)，繼續(xù)進(jìn)行點(diǎn)云和圖像數(shù)據(jù)的處理，否則就繼續(xù)等待時(shí)間同步的話題數(shù)據(jù)到來(lái)。而判斷2個(gè)傳感器的數(shù)據(jù)是否對(duì)齊則是根據(jù)2個(gè)傳感器的時(shí)間戳的差值是否小于某一閾值。本文所用的激光雷達(dá)發(fā)布話題的頻率是10 Hz，相機(jī)發(fā)布話題的頻率是30 Hz，當(dāng)2個(gè)話題的時(shí)間戳差值在0.1 s以內(nèi)時(shí)就可以將2個(gè)數(shù)據(jù)同步輸出，認(rèn)為其已經(jīng)同步對(duì)齊，當(dāng)時(shí)間戳的差值大于0.1 s或者有1個(gè)傳感器沒(méi)有數(shù)據(jù)傳輸?shù)綍r(shí)間同步器的時(shí)候，都不能正常觸發(fā)回調(diào)函數(shù)將數(shù)據(jù)輸出，如圖7所示。

3 試驗(yàn)驗(yàn)證

無(wú)人車試驗(yàn)平臺(tái)在設(shè)計(jì)上分為底層和上層2個(gè)部分。底層由STM32單片機(jī)作為主控制器，進(jìn)行車體的運(yùn)動(dòng)控制；上層由NVIDA Jetson TX2嵌入式開(kāi)發(fā)板控制，分別接入單目相機(jī)、激光雷達(dá)。

激光雷達(dá)選用鐳神的16線激光雷達(dá)，相機(jī)采用感光元件為200萬(wàn)1/2.8CMOS的60幀1080p馳圖運(yùn)動(dòng)相機(jī)攝像頭，在檢測(cè)的時(shí)候，會(huì)將相機(jī)實(shí)際拍攝獲得的圖像通過(guò)自適應(yīng)圖像縮放的方式變成640×640大小的圖像送入網(wǎng)絡(luò)模型中進(jìn)行處理。

試驗(yàn)平臺(tái)為自主研發(fā)的智能自動(dòng)駕駛無(wú)人車，如圖8所示。

所用軟件平臺(tái)為基于ARM架構(gòu)的ubuntu18.04系統(tǒng)，算法框架主要在ROS melodic系統(tǒng)中開(kāi)發(fā)運(yùn)用，GPU為NVIDIAPascalTM，256 CUDA cores，CPU為dual-core NVIDIA Denver2+quad-core ARM Cortex-A57，TensorRT版本為8.2.1，Cuda版本為10.2，系統(tǒng)內(nèi)核為L(zhǎng)inuxUbuntu 4.9.253-tegra。Jetson TX2運(yùn)行Autoware自動(dòng)駕駛框架、Pytorch深度學(xué)習(xí)框架、ROS機(jī)器人操作系統(tǒng)，分別負(fù)責(zé)傳感器之間的標(biāo)定配準(zhǔn)和融合、深度學(xué)習(xí)模型的部署和訓(xùn)練，不同傳感器和模塊之間的數(shù)據(jù)通信。上層主要負(fù)責(zé)圖像和激光數(shù)據(jù)的采集處理以及算法的實(shí)現(xiàn)，底層則主要負(fù)責(zé)無(wú)人車的運(yùn)動(dòng)控制，如圖9所示。

將激光雷達(dá)和運(yùn)動(dòng)相機(jī)安裝到阿克曼無(wú)人車上，并采用TTL轉(zhuǎn)USB的轉(zhuǎn)接線將無(wú)人車控制器和TX2相連接，在前方出現(xiàn)行人或者障礙物時(shí)無(wú)人車能順利地進(jìn)行避障或者制動(dòng)。無(wú)人車沿著學(xué)校道路進(jìn)行駕駛，運(yùn)行過(guò)程中，激光雷達(dá)不斷采集周圍物體的點(diǎn)云信息并通過(guò)預(yù)處理進(jìn)行特征采集，相機(jī)則是通過(guò)YOLOv5s神經(jīng)網(wǎng)絡(luò)對(duì)前方采集到的圖像進(jìn)行道路目標(biāo)檢測(cè)，對(duì)周圍的目標(biāo)進(jìn)行檢測(cè)以及定位，如圖10—圖12所示。

對(duì)于采集到的數(shù)據(jù)包也分別采用YOLOv5s，CenterPoint和Autoware中的LiDAR+SSD算法進(jìn)行處理，漏檢率以圖像的框選率為基準(zhǔn)。當(dāng)一個(gè)目標(biāo)在15 m內(nèi)還沒(méi)有被正確檢出，則判定其為漏檢，用漏檢的目標(biāo)數(shù)量比總目標(biāo)數(shù)量，得出的結(jié)果就為漏檢率。最遠(yuǎn)檢測(cè)距離為能檢測(cè)到的最遠(yuǎn)的行人的距離，平均定位精度為所有目標(biāo)被檢出后激光雷達(dá)對(duì)其進(jìn)行定位距離和其物體質(zhì)心的定位距離差值的平均值。對(duì)一段時(shí)間內(nèi)學(xué)校校內(nèi)門口處和天橋底下路過(guò)的行人，車輛、自行車進(jìn)行檢測(cè)和定位，定位真值以事先用激光測(cè)距儀的測(cè)量數(shù)據(jù)為準(zhǔn)，具體結(jié)果如表2所示。

其中影響最遠(yuǎn)檢測(cè)距離的主要因素是對(duì)小目標(biāo)的檢測(cè)性能，對(duì)小目標(biāo)檢測(cè)性能好的檢測(cè)器在這個(gè)部分的表現(xiàn)性能較好。由于本文使用的激光雷達(dá)為16線，點(diǎn)云比較稀疏，所以CenterPoint點(diǎn)云檢測(cè)算法表現(xiàn)性能較差。影響平均定位精度的主要是檢測(cè)框?qū)z測(cè)物體的擬合性能，歐氏聚類算法在這個(gè)部分表現(xiàn)性能差。

4 結(jié) 語(yǔ)

本文在Jetson TX2嵌入式系統(tǒng)中，采用激光雷達(dá)和相機(jī)融合技術(shù)和基于深度學(xué)習(xí)YOLOv5s的目標(biāo)檢測(cè)算法，實(shí)現(xiàn)了目標(biāo)檢測(cè)和定位系統(tǒng)的設(shè)計(jì)和開(kāi)發(fā)。通過(guò)實(shí)車試驗(yàn)實(shí)現(xiàn)了道路目標(biāo)的檢測(cè)和定位，結(jié)果顯示在一段時(shí)間的檢測(cè)環(huán)境中實(shí)現(xiàn)了12.50%的漏檢率，最遠(yuǎn)識(shí)別距離達(dá)到了35.32 m。

本文采用的傳感器融合系統(tǒng)考慮到嵌入式系統(tǒng)計(jì)算能力有限，主要是進(jìn)行決策級(jí)的融合，沒(méi)有對(duì)異構(gòu)傳感器的原始數(shù)據(jù)進(jìn)行融合處理，未來(lái)還需對(duì)融合算法進(jìn)行進(jìn)一步的改進(jìn)，使得算法能夠更好地利用不同傳感器的優(yōu)點(diǎn)，提高算法的魯棒性。

參考文獻(xiàn)/References：

［1］ 蔣婷.無(wú)人駕駛傳感器系統(tǒng)的發(fā)展現(xiàn)狀及未來(lái)展望［J］.中國(guó)設(shè)備工程，2018（21）：180-181.JIANG Ting.Development status and future prospects of autonomous driving sensor systems［J］.China Plant Engineering，2018（21）：180-181.

［2］ 余世全.無(wú)人駕駛汽車的發(fā)展現(xiàn)狀和相關(guān)建議［J］.專用汽車，2023（1）：11-14.YU Shiquan.The development status of driverless vehicles and related suggestions［J］.Special Purpose Vehicle，2023（1）：11-14.

［3］ 張保，張安思，梁國(guó)強(qiáng)，等.激光雷達(dá)室內(nèi)定位技術(shù)研究及應(yīng)用綜述［J］.激光雜志，2023，44（3）：1-9.ZHANG Bao，ZHANG Ansi，LIANG Guoqiang，et al.A review of LIDAR indoor positioning technology research and application［J］.Laser Journal，2023，44（3）：1-9.

［4］ HINTON G E，OSINDERO S，TEH Y W.A fast learning algorithm for deep belief Nets［J］.Neural Computation，2006，18（7）：1527-1554.

［5］ GIRSHICK R，DONAHUE J，DARRELL T，et al.Rich feature hierarchies for accurate object detection and semantic segmentation［C］//2014 IEEE Conference on Computer Vision and Pattern Recognition.Columbus：IEEE，2014：580-587.

［6］ MSONDA P，UYMAZ S A，KARAA[AKGˇ]A S S.Spatial pyramid pooling in deep convolutional networks for automatic tuberculosis diagnosis［J］.Traitement du Signal，2020，37（6）：1075-1084.

［7］ GIRSHICK R.Fast R-CNN［C］//2015 IEEE International Conference on Computer Vision （ICCV）.Santiago：IEEE，2015：1440-1448.

［8］ REN Shaoqing，HE Kaiming，GIRSHICK R，et al.Faster R-CNN：Towards real-time object detection with region proposal networks［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2017，39（6）：1137-1149.

［9］ HE Kaiming，GKIOXARI G，DOLLR P，et al.Mask R-CNN［C］//2017 IEEE International Conference on Computer Vision （ICCV）.Venice：IEEE，2017：2980-2988.

［10］REDMON J，DIVVALA S，GIRSHICK R，et al.You only look once：Unified，real-time object detection［C］//2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.Las Vegas：IEEE，2016：779-788.

［11］REDMON J，F(xiàn)ARHADI A.YOLO9000：Better，faster，stronger［C］//2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.Honolulu：IEEE，2017：6517-6525.

［12］REDMON J，F(xiàn)ARHADI A.YOLOv3：An Incremental Improvement［EB/OL］.https：//export.arxiv.org/abs/1804.02767，2018-04-08.

［13］QI C R，LIU Wei，WU Chenxia，et al.Frustum PointNets for 3D object detection from RGB-D data［C］//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition.Salt Lake City：IEEE，2018：918-927.

［14］WANG Zhixin，JIA Kui.Frustum ConvNet：Sliding frustums to aggregate local point-wise features for amodal 3D object detection［C］//2019 IEEE/RSJ International Conference on Intelligent Robots and Systems （IROS）.Macau：IEEE，2019：1742-1749.

［15］CHEN Xiaozhi，MA Huimin，WAN Ji，et al.Multi-view 3D object detection network for autonomous driving［C］//2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.Honolulu：IEEE，2017：6526-6534.

［16］KU J，MOZIFIAN M，LEE J，et al.Joint 3D proposal generation and object detection from view aggregation［C］//2018 IEEE/RSJ International Conference on Intelligent Robots and Systems （IROS）.Madrid：IEEE，2018：1-8.

［17］FADADU S，PANDEY S，HEGDE D，et al.Multi-view fusion of sensor data for improved perception and prediction in autonomous driving［C］//2022 IEEE/CVF Winter Conference on Applications of Computer Vision （WACV）.Waikoloa：IEEE，2022：3292-3300.

［18］王玲敏，段軍，辛立偉.引入注意力機(jī)制的YOLOv5安全帽佩戴檢測(cè)方法［J］.計(jì)算機(jī)工程與應(yīng)用，2022，58（9）：303-312.WANG Lingmin，DUAN Jun，XIN Liwei.YOLOv5 helmet wear detection method with introduction of attention mechanism［J］.Computer Engineering and Applications，2022，58（9）：303-312.

［19］李北明，金榮璐，徐召飛，等.基于特征蒸餾的改進(jìn)Ghost-YOLOv5紅外目標(biāo)檢測(cè)算法［J］.鄭州大學(xué)學(xué)報(bào)（工學(xué)版），2022，43（1）：20-26.LI Beiming，JIN Ronglu，XU Zhaofei，et al.An improved Ghost-YOLOv5 infrared target detection algorithm based on feature distillation［J］.Journal of Zhengzhou University（Engineering Science），2022，43（1）：20-26.

［20］王麒.基于深度學(xué)習(xí)的自動(dòng)駕駛感知算法［D］.杭州：浙江大學(xué)，2022.WANG Qi.Deep Learning-Based Algorithms for Autonomous Driving Perception［D］.Hangzhou：Zhejiang University，2022.

［21］常昕，陳曉冬，張佳琛，等.基于激光雷達(dá)和相機(jī)信息融合的目標(biāo)檢測(cè)及跟蹤［J］.光電工程，2019，46（7）：85-95.

CHANG Xin，CHEN Xiaodong，ZHANG Jiachen，et al.An object detection and tracking algorithm based on LiDAR and camera information fusion［J］.Opto-Electronic Engineering，2019，46（7）：85-95.

［22］王俊.無(wú)人駕駛車輛環(huán)境感知系統(tǒng)關(guān)鍵技術(shù)研究［D］.合肥：中國(guó)科學(xué)技術(shù)大學(xué)，2016.WANG Jun.Research on Key Technologies of Environment Awareness System for Driverless Vehicles［D］.Hefei：University of Science and Technology of China，2016.

［23］李莉.OpenCV耦合改進(jìn)張正友算法的相機(jī)標(biāo)定算法［J］.輕工機(jī)械，2015，33（4）：60-63.LI Li.Camera calibration algorithm based on OpenCV and improved Zhang Zhengyou algorithm［J］.Light Industry Machinery，2015，33（4）：60-63.

［24］歐陽(yáng)毅.基于激光雷達(dá)與視覺(jué)融合的環(huán)境感知與自主定位系統(tǒng)［D］.哈爾濱：哈爾濱工業(yè)大學(xué)，2019.OUYANG Yi.The Environment Awareness and Autonomous Positing System Based on LiDAR and Vision［D］.Harbin：Harbin Institute of Technology，2019.

［25］陳德江，江灝，高永彬，等.基于16線激光雷達(dá)和相機(jī)融合的三維目標(biāo)檢測(cè)［J］.智能計(jì)算機(jī)與應(yīng)用，2023，13（3）：117-122.CHEN Dejiang，JIANG Hao，GAO Yongbin，et al.3D target detection based on fusion of 16-line LiDAR and camera［J］.Intelligent Computer and Applications，2023，13（3）：117-122.

［26］曾彪.基于多傳感器信息融合的機(jī)器人建圖研究與實(shí)現(xiàn)［D］.成都：電子科技大學(xué)，2021.ZENG Biao.Research and Implementation of Robot Mapping Based on Multi-sensor Information Fusion［D］.Chengdu：University of Electronic Science and Technology of China，2021.

責(zé)任編輯：馮民

基金項(xiàng)目：國(guó)家自然科學(xué)基金（51505221）；南京航空航天大學(xué)研究與實(shí)踐創(chuàng)新項(xiàng)目（xcxjh20220337）

第一作者簡(jiǎn)介：鄭宇宏（1997—），男，湖南邵陽(yáng)人，碩士研究生，主要從事機(jī)器人環(huán)境感知方面的研究。

通信作者：曾慶喜，副教授。E-mail：Jslyzqx@163.com鄭宇宏，曾慶喜，冀徐芳，等.基于改進(jìn)YOLOv5s和傳感器融合的目標(biāo)檢測(cè)定位［J］.河北科技大學(xué)學(xué)報(bào)，2024，45（2）：122-130.ZHENG Yuhong，ZENG Qingxi，JI Xufang，et al.Target detection and localization based on improved YOLOv5s and sensor fusion［J］.Journal of Hebei University of Science and Technology，2024，45（2）：122-130.