杜達(dá)寬, 孫劍峰, 丁源雪, 姜 鵬, 張海龍
(1.哈爾濱工業(yè)大學(xué) 光電子技術(shù)研究所可調(diào)諧(氣體)激光技術(shù)重點(diǎn)實(shí)驗(yàn)室,黑龍江 哈爾濱 150001;2.復(fù)雜系統(tǒng)控制與智能協(xié)同技術(shù)重點(diǎn)實(shí)驗(yàn)室,北京 100074)
激光成像雷達(dá)波束窄、方向性好,與二維成像傳感器相比,能夠獲得目標(biāo)豐富的三維結(jié)構(gòu)信息、位置信息及反射率信息。由于激光雷達(dá)可以獲取多維數(shù)據(jù),快速準(zhǔn)確檢測遠(yuǎn)距離弱小目標(biāo),在軍用與民用領(lǐng)域都有著重要的應(yīng)用。但受限于像元數(shù)與空間分辨率,常用的檢測算法對于激光成像雷達(dá)圖像檢測準(zhǔn)確率低,且魯棒性較差。
目前,針對激光雷達(dá)數(shù)據(jù)的弱小目標(biāo)檢測成為研究熱點(diǎn)。傳統(tǒng)目標(biāo)檢測方法通常采用手工特征。文獻(xiàn)[1]使用基于DPM+SVM的多尺度檢測方法,在采集的激光雷達(dá)行人數(shù)據(jù)集上得到了61%的檢測準(zhǔn)確率。文獻(xiàn)[2]使用輪廓相似性度量與尺寸相似性度量對仿真生成的點(diǎn)云場景圖投影降維后進(jìn)行目標(biāo)檢測,準(zhǔn)確率達(dá)到90%。文獻(xiàn)[3]使用激光雷達(dá)對行車周圍的道路標(biāo)記成像,并利用特征標(biāo)記和模板匹配對道路標(biāo)記進(jìn)行分類,分類準(zhǔn)確率達(dá)到90%。但手工特征提取到的特征魯棒性較差,當(dāng)目標(biāo)出現(xiàn)光照平移等變化時(shí),提取到的特征會發(fā)生改變。
在弱小目標(biāo)檢測中,利用深度學(xué)習(xí)的方法相對于傳統(tǒng)的目標(biāo)檢測方法具有明顯的優(yōu)勢[4-7]。相對于兩階段檢測算法,單階段檢測算法速度快但準(zhǔn)確率低,尤其對于分辨率不高的弱小目標(biāo)準(zhǔn)確率更低,所以不適合對遠(yuǎn)距離弱小目標(biāo)進(jìn)行檢測。文獻(xiàn)[8]將ModelNet數(shù)據(jù)集中的點(diǎn)云降維生成灰度圖,使用二維卷積進(jìn)行處理,相對于體素的方法識別準(zhǔn)確率從78.5%提升至85.8%。參考文獻(xiàn)[9]用激光雷達(dá)對附近車輛進(jìn)行成像,并對得到的距離像使用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行分類識別,準(zhǔn)確率達(dá)到了86.3%。
在經(jīng)過圖像重構(gòu)后[10],激光雷達(dá)會生成一一對應(yīng)的強(qiáng)度像和距離像。這兩種數(shù)據(jù)可以融合為帶有強(qiáng)度信息的四維點(diǎn)云,相較于圖像可以更全面地描述物體的特征。PointNet網(wǎng)絡(luò)[11]開創(chuàng)了對原始點(diǎn)云直接處理的先河,但是該網(wǎng)絡(luò)只考慮了點(diǎn)云的全局特征,忽略了局部點(diǎn)之間的關(guān)系。DGCNN網(wǎng)絡(luò)[12-13]利用動態(tài)圖卷積的方式提取點(diǎn)云局部特征,占用內(nèi)存小,魯棒性好。目前,主要采用三維點(diǎn)云檢測[14-15],需要在空間上搜索目標(biāo),計(jì)算復(fù)雜度高,同時(shí)標(biāo)注困難。在二維圖像上初篩出候選框后,再對框內(nèi)目標(biāo)點(diǎn)云使用點(diǎn)云分類網(wǎng)絡(luò)進(jìn)行二次檢測。這樣既避免直接在三維空間層面對目標(biāo)進(jìn)行搜索,降低了算法的復(fù)雜度;同時(shí),在二次檢測時(shí)又利用了目標(biāo)的三維坐標(biāo)信息與強(qiáng)度信息,充分合理地使用多維度信息,從而提高整體網(wǎng)絡(luò)的檢測準(zhǔn)確率。
強(qiáng)度像描述的是目標(biāo)的幾何信息和紋理信息,距離像描述的是目標(biāo)的三維坐標(biāo)信息和結(jié)構(gòu)信息,這些信息可以很好地表達(dá)目標(biāo)特征,具有很強(qiáng)的互補(bǔ)性。本文針對重構(gòu)后生成的強(qiáng)度像和距離像,提出一種融合兩種圖像信息的目標(biāo)檢測網(wǎng)絡(luò)。該網(wǎng)絡(luò)首先通過融合注意力機(jī)制(Con?volutional Block Attention Module, CBAM)[16]與感受野模塊(Receptive Field Block, RFB)[17]的改進(jìn)特征金字塔網(wǎng)絡(luò)(Field Pyramid Network, FPN)在強(qiáng)度像上對目標(biāo)進(jìn)行初篩,然后將基于強(qiáng)度像提議的候選框內(nèi)的目標(biāo)轉(zhuǎn)化為點(diǎn)云,最后利用點(diǎn)云分類網(wǎng)絡(luò)進(jìn)行二次驗(yàn)證。實(shí)驗(yàn)表明,對于復(fù)雜背景下的道路車輛,該算法的準(zhǔn)確率達(dá)到98.8%。
基于激光雷達(dá)的強(qiáng)度像與距離像信息融合目標(biāo)檢測網(wǎng)絡(luò)模型如圖1所示。整個(gè)模型可分為兩個(gè)階段,由FPN,RFB,CBAM和DGCNN 4部分組成。Stage1階段,在FPN網(wǎng)絡(luò)最頂層的輸出(F4)插入CBAM模塊,同時(shí)對不同尺度的輸出插入RFB模塊,使其對小目標(biāo)做初次檢測時(shí)更多地考慮背景與目標(biāo)的關(guān)系,同時(shí)融合通道間的高級語義信息,從而提高目標(biāo)初篩的準(zhǔn)確率。Stage2階段,使用DGCNN網(wǎng)絡(luò)對篩選出的目標(biāo)進(jìn)一步驗(yàn)證。
圖1 目標(biāo)檢測網(wǎng)絡(luò)框架Fig.1 Framework of target detection network
特征提取網(wǎng)絡(luò)使用以ResNet50為骨干的FPN網(wǎng)絡(luò),其結(jié)構(gòu)如圖2所示,其中每一個(gè)Bot?tleneck代表一個(gè)殘差塊。FPN采用先自下而上,后自上而下的連接方式,使得深層信息與淺層信息相融合。整個(gè)網(wǎng)絡(luò)結(jié)構(gòu)在多尺度下進(jìn)行檢測,對于小目標(biāo)優(yōu)勢明顯。
圖2 FPN結(jié)構(gòu)Fig.2 Structure of FPN
一張維度為(3,600,600)的輸入圖像,經(jīng)過Mod_1后變?yōu)椋?56, 300, 300)維度的特征圖,之后每經(jīng)過一個(gè)module,特征圖大小變?yōu)橐话耄ǖ郎疃茸優(yōu)閮杀?,從Mod_4輸出后,特征圖的維度變?yōu)椋? 048,38,38)。從Input到Mod_4完成了特征金字塔自下而上的部分。之后,從金字塔的最頂端開始進(jìn)行上采樣,通過1×1的卷積核使得上采樣后每個(gè)尺度下特征圖的維度都與原始該尺度下維度相同。這兩個(gè)特征圖融合后同時(shí)包含網(wǎng)絡(luò)的淺層信息與深層信息,有利于后續(xù)的目標(biāo)檢測。圖2中M1,M2,M3,M4分別為在4個(gè)尺度下融合后的特征圖,可以基于此在4個(gè)尺度下分別對目標(biāo)進(jìn)行預(yù)測。
CBAM可以使FPN在目標(biāo)檢測任務(wù)下更加關(guān)注有效特征。相比于其他注意力模塊,CBAM采用通道注意力模塊與空間注意力模塊的串聯(lián)結(jié)構(gòu),有效地提高了CNN的特征提取能力,具有參數(shù)量少,可移植性好的優(yōu)勢。該模塊通過聯(lián)系局部特征的通道與空間的關(guān)系,創(chuàng)建具有局部通道與空間響應(yīng)的特征圖,從而使網(wǎng)絡(luò)更加專注于有用的目標(biāo)特征。在本文網(wǎng)絡(luò)結(jié)構(gòu)中,CBAM只插入到FPN的最頂層輸出,以突出特征之間的高級語義信息。CBAM網(wǎng)絡(luò)的具體實(shí)現(xiàn)過程如圖3所示,對于作為輸入的特征F,整個(gè)過程可以描述為:
圖3 CBAM結(jié)構(gòu)Fig.3 Structure of CBAM
其中:?表示矩陣元素按位相乘的運(yùn)算,F(xiàn)為輸入的特征,F(xiàn)′為經(jīng)過通道注意力模塊后的特征,F(xiàn)′′為最終輸出的總特征,MC與MS分別為通道注意力模塊與空間注意力模塊。
RFB模塊受到人眼觀看物體的注意力的啟發(fā),將感受野分為3個(gè)不同的等級,分別使用1×1,3×3,5×5三個(gè)卷積來模擬不同的感受野,同時(shí)通過空洞卷積的方式擴(kuò)大感受野??斩淳矸e是將一個(gè)固定尺寸的卷積核與圖像更大范圍內(nèi)的像素進(jìn)行卷積操作,具有擴(kuò)大感受野的作用。相較于RFB模塊結(jié)構(gòu)[16],RFB-s結(jié)構(gòu)首先使用3×3的卷積核來代替原始5×5的卷積核,以增強(qiáng)小目標(biāo)的檢測能力,其次使用1×3和3×1的卷積相結(jié)合的方式來代替3×3的卷積,以減少計(jì)算量。其結(jié)構(gòu)如圖4所示。
圖4 RFB-s結(jié)構(gòu)Fig.4 Structure of RFB-s
RFB插入到FPN可以擴(kuò)大感受野,有效幫助特征圖聯(lián)系目標(biāo)與背景間的關(guān)系,但插入時(shí)要考慮插入的數(shù)量與位置。越靠近淺層的特征圖經(jīng)歷的降采樣次數(shù)越少,其感受野本身就會越小,RFB模塊的加入可以擴(kuò)大感受野;靠近深層特征圖本身的感受野較大,加入RFB模塊后作用不僅沒有提升,反而會加大計(jì)算量。因此,RFB模塊應(yīng)該插入在網(wǎng)絡(luò)深度較淺的F1層與F2層。
DGCNN點(diǎn)云分類網(wǎng)絡(luò)可以較好地利用點(diǎn)云的局部空間關(guān)系。其核心為EdgeConv模塊,該模塊可以描述特征點(diǎn)與其臨近點(diǎn)的空間關(guān)系。具體實(shí)現(xiàn)方法為:對第i個(gè)頂點(diǎn)使用k近鄰算法找到該頂點(diǎn)周圍的k個(gè)點(diǎn),每個(gè)點(diǎn)命名為xj,j∈{1,2,...k},之后這k個(gè)點(diǎn)之間的邊緣關(guān)系組成點(diǎn)云第i個(gè)頂點(diǎn)的局部特征。此局部特征可以表示為:
其中:x′i是第xi點(diǎn)的點(diǎn)云局部特征,M是對第xi點(diǎn)與周圍的k個(gè)點(diǎn)之間的邊緣特征的總結(jié),h?是xi與xj兩點(diǎn)之間的邊的特征,一般利用非線性激活函數(shù)組來表示。
本文將點(diǎn)云分類網(wǎng)絡(luò)應(yīng)用到目標(biāo)的二次檢測中,對于Stage1階段生成的候選框中的點(diǎn)云,為了使輸入到分類網(wǎng)絡(luò)的點(diǎn)云大小相同,本文采用隨機(jī)采樣法從每個(gè)目標(biāo)點(diǎn)云中選取512個(gè)點(diǎn)作為DGCNN的輸入,輸入網(wǎng)絡(luò)中點(diǎn)云維度為512×4。取四維點(diǎn)云的原因在于相較于三維點(diǎn)云,四維點(diǎn)云可以同時(shí)包含目標(biāo)的三維坐標(biāo)信息與強(qiáng)度信息,不僅包含位置信息更能反映目標(biāo)點(diǎn)云的反射率特征,從而提高分類的準(zhǔn)確率。而且,四維點(diǎn)云與三維點(diǎn)云使用相同的網(wǎng)絡(luò)結(jié)構(gòu),不會增加模型的復(fù)雜度。在特征提取階段,將該點(diǎn)云生成兩個(gè)1 024維度的向量,之后將這兩個(gè)向量拼接成2 048維的向量,并通過此向量完成目標(biāo)的分類。
DGCNN結(jié)構(gòu)如圖5所示,其中特征提取模塊用來負(fù)責(zé)點(diǎn)云的特征提取,分類模塊負(fù)責(zé)對提取到的特征進(jìn)行分類。
在Stage1,使用分類損失函數(shù)和邊框回歸損失函數(shù)進(jìn)行訓(xùn)練,其公式為:
其中:p,t分別為預(yù)測的類別與邊框,p*,t*分別為真實(shí)的類別與邊框;Lcls(p,p*)是分類的損失函數(shù),采用交叉熵?fù)p失函數(shù)增加訓(xùn)練穩(wěn)定性;Lloc(t,t*)是邊框回歸損失函數(shù),采用IoU損失函數(shù)可以使邊框更加準(zhǔn)確。
在Stage2,采用交叉熵?fù)p失函數(shù)作為點(diǎn)云分類的損失函數(shù),其公式為:
其中:p為預(yù)測類別,p*為真實(shí)類別。
實(shí)驗(yàn)使用GM-APD激光雷達(dá)對遠(yuǎn)距離車輛弱小目標(biāo)采集數(shù)據(jù)并重構(gòu)生成圖像,在GMAPD激光雷達(dá)遠(yuǎn)距離小目標(biāo)數(shù)據(jù)集上,驗(yàn)證了本文提出網(wǎng)絡(luò)的檢測效果,并與其他網(wǎng)絡(luò)進(jìn)行比較。
使用64×64面陣GM-APD激光成像雷達(dá)對室外道路上遠(yuǎn)距離車輛目標(biāo)進(jìn)行成像。實(shí)驗(yàn)采集激光雷達(dá)圖像的速度為14 frame/s。采集到的原始數(shù)據(jù)經(jīng)過圖像重構(gòu)后可以同時(shí)生成相同分辨率的強(qiáng)度像和距離像,如圖6所示。根據(jù)SPIE對于小目標(biāo)的定義[18],小目標(biāo)是指所占像素尺寸不超過9×9(即小于80個(gè)像素)的目標(biāo)區(qū)域。數(shù)據(jù)集的統(tǒng)計(jì)細(xì)節(jié)如表1所示。在采集的1 600對強(qiáng)度像和距離像中,隨機(jī)挑選1 200張圖片用于訓(xùn)練,400張用于測試,加入隨機(jī)噪聲,隨機(jī)裁剪,旋轉(zhuǎn)縮放等數(shù)據(jù)增強(qiáng)過程。實(shí)驗(yàn)配置如表2所示。
表1 數(shù)據(jù)集細(xì)節(jié)Tab.1 Details of data set
表2 軟件和硬件環(huán)境Tab.2 Software and hardware environment
圖6 重構(gòu)生成的強(qiáng)度像與距離像Fig.6 Reconstructed intensity image and range image
3.2.1 實(shí)驗(yàn)參數(shù)設(shè)置
本文提出的目標(biāo)檢測網(wǎng)絡(luò)的訓(xùn)練采用兩階段端到端的訓(xùn)練方式,如圖1的Stage1與Stage2所示。首先對改進(jìn)的FPN網(wǎng)絡(luò)采用端到端的訓(xùn)練方式,學(xué)習(xí)率設(shè)置為0.005,batchsize設(shè)置為4,優(yōu)化器采用隨機(jī)梯度下降法(SGD),權(quán)重衰減(weight_decay)設(shè)為0.000 5。
DGCNN點(diǎn)云分類網(wǎng)絡(luò)的輸入為由強(qiáng)度像與距離像轉(zhuǎn)化成的四維點(diǎn)云,學(xué)習(xí)率設(shè)置為0.001,優(yōu)化器采用Adam算法,權(quán)重衰減(weight_decay)設(shè)為0.000 1。
為了驗(yàn)證本文目標(biāo)檢測網(wǎng)絡(luò)的有效性,實(shí)驗(yàn)分別在只使用強(qiáng)度信息與同時(shí)使用強(qiáng)度和距離信息的條件下進(jìn)行。對于只使用強(qiáng)度信息的情況,網(wǎng)絡(luò)為在強(qiáng)度像上進(jìn)行檢測,不包含后續(xù)的點(diǎn)云二次檢測,如圖1的Stage1所示。對于同時(shí)使用強(qiáng)度和距離信息的情況,網(wǎng)絡(luò)結(jié)構(gòu)即為圖1的Stage1和Stage2。
3.2.2 強(qiáng)度像上不同方法的實(shí)驗(yàn)對比
使用激光雷達(dá)數(shù)據(jù)集的強(qiáng)度像,將本文網(wǎng)絡(luò)與Faster RCNN,YOLO系列網(wǎng)絡(luò)和SSD網(wǎng)絡(luò)進(jìn)行對比,實(shí)驗(yàn)結(jié)果如表3所示。其中,Parms代表每個(gè)模型參數(shù)量的大小,AP50∶95代表從0.5開始,每隔0.05作為IoU的閾值計(jì)算一次AP,最終將所有結(jié)果取平均。AP50與AP75分別代表在IoU取得0.5與0.75時(shí)計(jì)算出的AP,F(xiàn)PS為該算法每秒鐘可以檢測的圖像張數(shù)。
分析 設(shè)D(x0,y0),當(dāng)x0=0時(shí),已證明.下面證明x0≠0的情況,設(shè)切點(diǎn)Q(x3,y3),P(x4,y4),此時(shí)y0y3y4≠0.如圖2,直線DQ的斜率一定存在,則直線DQ:y3y=p(x+x3),
由表3可以看出,所有網(wǎng)絡(luò)的檢測速度均大于14 frame/s,可以滿足實(shí)際場景的實(shí)時(shí)性需要,且相比已有網(wǎng)絡(luò),本文網(wǎng)絡(luò)在3個(gè)AP指標(biāo)下均獲得最佳精度。將本文網(wǎng)絡(luò)與目前先進(jìn)的YO?LOv5網(wǎng)絡(luò)和SSD網(wǎng)絡(luò)等可視化后進(jìn)行比較,進(jìn)一步突出這些檢測結(jié)果的具體差異??梢暬Y(jié)果如圖7所示。
表3 不同網(wǎng)絡(luò)在激光雷達(dá)強(qiáng)度像數(shù)據(jù)集上的準(zhǔn)確率Tab.3 Precision of different detection networks on lidar intensity image data set
從圖7可以看到,在場景一(第一行)中,相比于SSD網(wǎng)絡(luò)和YOLOv5網(wǎng)絡(luò)檢測中目標(biāo)輪廓不完整、遠(yuǎn)距離目標(biāo)弱回波的漏檢情況,本文提出的網(wǎng)絡(luò)可以準(zhǔn)確地檢測此類目標(biāo)。在場景二(第二行)中,SSD網(wǎng)絡(luò)檢測將道路誤檢為車輛,而本文提出的網(wǎng)絡(luò)可以準(zhǔn)確地分類目標(biāo)和車道。在場景三(第三行)中,相比較于YOLOv5網(wǎng)絡(luò),本文提出的網(wǎng)絡(luò)對于強(qiáng)反射的光斑有較好的魯棒性,YOLOv5將光斑的一部分錯(cuò)檢為車輛,而本文網(wǎng)絡(luò)并沒有發(fā)生錯(cuò)檢。綜上所述,本文網(wǎng)絡(luò)的初篩階段使用CBAM與RFB,在多尺度特征圖中可以同時(shí)考慮目標(biāo)本身與周圍的背景信息,面對復(fù)雜環(huán)境,相對于SSD與YOLOv5網(wǎng)絡(luò)表現(xiàn)出更好的魯棒性。
圖7 激光雷達(dá)數(shù)據(jù)集上檢測結(jié)果對比Fig.7 Comparison of detection results on lidar data set
3.2.3 結(jié)合強(qiáng)度像與距離像的不同方法實(shí)驗(yàn)對比
為了使其余網(wǎng)絡(luò)也能夠利用目標(biāo)的強(qiáng)度信息與距離信息,比較網(wǎng)絡(luò)也同時(shí)加入目標(biāo)強(qiáng)度信息與距離信息。分別將強(qiáng)度像與距離像輸入到圖像不同通道,在輸入三通道圖像的第一層與第三層輸入強(qiáng)度像,第二層輸入距離像。實(shí)驗(yàn)結(jié)果如表4所示。
表4 結(jié)合強(qiáng)度與距離信息后不同檢測網(wǎng)絡(luò)的準(zhǔn)確性Tab.4 Precision of different detection networks based on intensity and range information
由表4可以看出,所有網(wǎng)絡(luò)的檢測速度均大于14 frame/s,可以滿足實(shí)際場景的實(shí)時(shí)性需要。相較于其他網(wǎng)絡(luò),本文提出的結(jié)合強(qiáng)度像與距離像的網(wǎng)絡(luò)精度最佳。與表3相比,若強(qiáng)度像與距離像的信息只是輸入到圖像的不同通道,檢測準(zhǔn)確率不會有很大提升,目標(biāo)的距離信息并沒有被很好地利用。而本文模型先在強(qiáng)度像上對車輛小目標(biāo)進(jìn)行檢測,再對檢測出的候選框內(nèi)的目標(biāo)通過點(diǎn)云進(jìn)行二次檢測,可以將原本錯(cuò)檢的與目標(biāo)相似的背景從結(jié)果中剔除,從而提高檢測準(zhǔn)確率。一些場景二次檢測前后的可視化結(jié)果如圖8所示。
由圖8可以看出,對于只基于強(qiáng)度像的目標(biāo)檢測網(wǎng)絡(luò)表現(xiàn)不佳的場景,基于點(diǎn)云的二次檢測結(jié)果有較好的提升。其中,對于目標(biāo)在強(qiáng)度像下回波較弱從而基于強(qiáng)度像生成兩個(gè)檢測框的情況(如圖8的左上角所示),可以利用點(diǎn)云將這兩個(gè)檢測框內(nèi)的目標(biāo)進(jìn)行判斷,從而保留準(zhǔn)確率較高的檢測框。對于基于強(qiáng)度像的檢測網(wǎng)絡(luò)中將強(qiáng)反射的光斑局部認(rèn)為是車輛的情況(如圖8左下角所示),通過點(diǎn)云的二次檢測可以剔除,原因在于這些光斑的局部在強(qiáng)度像上與一些目標(biāo)車輛有一定程度的相似性,但是在距離像上具有較為明顯的差別。利用強(qiáng)度像初篩與點(diǎn)云二次檢測組合的網(wǎng)絡(luò)結(jié)構(gòu)形式,對車輛結(jié)構(gòu)不完整,弱回波目標(biāo),強(qiáng)反射光斑干擾等復(fù)雜場景具有更強(qiáng)的魯棒性。
圖8 二次檢測前后的結(jié)果對比Fig.8 Comparison of results with or without secondary detection
總的來說,相比較于YOLO系列網(wǎng)絡(luò)與SSD網(wǎng)絡(luò),本文網(wǎng)絡(luò)的檢測準(zhǔn)確率高,且在復(fù)雜場景下不容易發(fā)生錯(cuò)檢。由于本文使用激光雷達(dá)圖像的采集速度為14 frame/s,對于算法的實(shí)時(shí)性要求不高,所以權(quán)衡精度與速度,本文網(wǎng)絡(luò)在實(shí)際應(yīng)用場景中的檢測性能更優(yōu)。
為了驗(yàn)證FPN中RFB與CBAM的有效性,在激光雷達(dá)目標(biāo)強(qiáng)度像數(shù)據(jù)集上進(jìn)行了消融實(shí)驗(yàn)。共設(shè)計(jì)7組實(shí)驗(yàn),第一組為不加入任何模塊的FPN網(wǎng)絡(luò),作為對照組。Im_FPN 1-6分別為在FPN網(wǎng)絡(luò)的不同Mod輸出特征圖中添加感受野RFB模塊和注意力CBAM模塊。這里認(rèn)為Mod_1與Mod_2輸出的是較為淺層的特征圖,Mod_3與Mod_4輸出的是較為深層的特征圖。在不同模塊的輸出上分別插入RFB模塊與CBAM模塊來比較目標(biāo)檢測結(jié)果。實(shí)驗(yàn)結(jié)果如表5所示,其中√代表該Mod插入了RFB模塊或者使用了CBAM模塊。
由表5可以看出,在淺層的特征圖中加入RFB模型的效果優(yōu)于在深層特征圖中加入RFB。因?yàn)闇\層特征圖尺度較大,每個(gè)特征點(diǎn)的感受野有限,加入RFB模塊后可以有效地?cái)U(kuò)大感受野,而深層的特征圖經(jīng)過多次卷積與下采樣后,每個(gè)特征點(diǎn)的感受野已經(jīng)較大,足以包含目標(biāo)與背景,所以加入RFB模塊后準(zhǔn)確率提升有限。同時(shí),比較了在4個(gè)尺度的特征圖都加入RFB模塊的情況,發(fā)現(xiàn)效果并沒有進(jìn)一步提升。原因在于4個(gè)尺度都加入RFB模塊導(dǎo)致網(wǎng)絡(luò)參數(shù)增多,收斂困難,檢測準(zhǔn)確率下降。在最頂層加入CBAM的檢測準(zhǔn)確率均獲得了一定程度的提升。AP在這3種方案下分別提升了0.4%,0.9%,0.1%,驗(yàn)證了CBAM的有效性。
表5 消融實(shí)驗(yàn)時(shí)不同方法的準(zhǔn)確率Tab.5 Precision of different methods in ablation experiment
3.3.2 三維點(diǎn)云和四維點(diǎn)云對檢測準(zhǔn)確率的影響
為了驗(yàn)證四維點(diǎn)云分類的有效性,對Stage1階段在強(qiáng)度像上生成的候選框分別使用三維點(diǎn)云(x,y,z)與四維點(diǎn)云(x,y,z,i)作為DGCNN網(wǎng)絡(luò)的輸入進(jìn)行二次檢測,實(shí)驗(yàn)結(jié)果如表6所示。其中,Parms代表DGCNN模型的參數(shù)量,Epochs代表該模型開始訓(xùn)練到收斂所需要的迭代次數(shù)。
由表6可知,三維點(diǎn)云和四維點(diǎn)云分別輸入網(wǎng)絡(luò)時(shí),模型的參數(shù)量并沒有較大變化,四維點(diǎn)云輸入模型從開始訓(xùn)練到收斂所需要的迭代次數(shù)約為三維點(diǎn)云的1/3。四維點(diǎn)云同時(shí)包含了目標(biāo)點(diǎn)的三維坐標(biāo)信息與強(qiáng)度信息,豐富了點(diǎn)云特征,能夠更好地區(qū)分目標(biāo)與背景,最終目標(biāo)檢測網(wǎng)絡(luò)的準(zhǔn)確率相較于三維點(diǎn)云提高了2.4%。因此,使用四維點(diǎn)云作為輸入具有更好的檢測性能。
表6 三維點(diǎn)云和四維點(diǎn)云的檢測準(zhǔn)確率對比Tab.6 Comparison of detection accuracy of 3D point clouds and 4D point clouds
本文提出了一種基于GM-APD激光雷達(dá)數(shù)據(jù)融合的小目標(biāo)檢測算法。該算法分為強(qiáng)度像初篩與點(diǎn)云二次檢測兩部分。在對于強(qiáng)度像初篩的FPN結(jié)構(gòu)中,將CBAM,RFB引入目標(biāo)檢測網(wǎng)絡(luò),可以關(guān)注到目標(biāo)與背景間的關(guān)系。在二次檢測的DGCNN上,將候選框內(nèi)的目標(biāo)轉(zhuǎn)化為點(diǎn)云進(jìn)行分類。在所采集到的GM-APD激光成像雷達(dá)遠(yuǎn)距離車輛小目標(biāo)數(shù)據(jù)集上驗(yàn)證了本文網(wǎng)絡(luò)的有效性。實(shí)驗(yàn)結(jié)果表明,該網(wǎng)絡(luò)可以有效解決車輛結(jié)構(gòu)不完整,遠(yuǎn)距離車輛回波弱,背景中出現(xiàn)強(qiáng)反射光斑等復(fù)雜場景中檢測率低下的問題,在激光成像雷達(dá)遠(yuǎn)距離小目標(biāo)數(shù)據(jù)集的檢測準(zhǔn)確率達(dá)到98.8%,與現(xiàn)有網(wǎng)絡(luò)相比精度更高。