融合稀疏注意力和實(shí)例增強(qiáng)的雷達(dá)點(diǎn)云分割

劉盛，曹益烽，黃文豪，李丁達(dá)

浙江工業(yè)大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，杭州 310023

0 引 言

環(huán)境感知是移動(dòng)機(jī)器人和無人駕駛汽車應(yīng)用的首要任務(wù)。主流的環(huán)境感知傳感器包括相機(jī)和激光雷達(dá)，相比于視覺傳感器，3維激光雷達(dá)能夠快速準(zhǔn)確地獲取周圍環(huán)境的距離信息并且不受光照影響。3維點(diǎn)云語義分割算法能夠預(yù)測出場景中物體的類別，如道路、車輛、行人和植物等。3維點(diǎn)云分割在無人駕駛、移動(dòng)機(jī)器人以及VR/AR(virtual reality/augmented reality)等領(lǐng)域都有廣泛應(yīng)用，是計(jì)算機(jī)視覺的重要研究方向。對周圍環(huán)境的準(zhǔn)確分割是可靠無人駕駛的先決條件。

隨著圖像分割技術(shù)的發(fā)展，基于視覺的環(huán)境感知方法(Wang等，2019)取得了優(yōu)異成績。但是與結(jié)構(gòu)化的2維圖像數(shù)據(jù)不同，雷達(dá)點(diǎn)云數(shù)據(jù)是非結(jié)構(gòu)化的、無序性的、密度不一致的。因?yàn)檫@些特性，神經(jīng)網(wǎng)絡(luò)很難從雷達(dá)數(shù)據(jù)中提取有效的語義信息。

深度學(xué)習(xí)的發(fā)展不斷推動(dòng)圖像語義分割方法的進(jìn)步。有研究者(Milioto等，2019)將圖像語義分割方法應(yīng)用于點(diǎn)云語義分割。一些方法(Milioto等，2019；Cortinhal等，2020；Zhang等，2020b)將不規(guī)則、無序分布的3維雷達(dá)點(diǎn)云投影成規(guī)則的2維圖像，常用的投影方法有球狀投影和鳥瞰圖投影，再通過成熟的2維卷積方式對投影圖像進(jìn)行語義分割，最后將完成分割的投影圖像反投影回3維空間。但是這些方法在3維到2維投影過程中會(huì)導(dǎo)致幾何信息丟失，不能得到較高的分割精度。基于點(diǎn)的方法(Charles等，2017a；Hu等，2020)能通過較少的網(wǎng)絡(luò)參數(shù)實(shí)現(xiàn)點(diǎn)云語義分割，但是在處理大場景點(diǎn)云過程中會(huì)消耗過多的計(jì)算資源，也不能得到較高精度的分割結(jié)果。Graham等人(2018)針對傳統(tǒng)稠密體素中存在的稀疏性問題，提出基于子流形稀疏卷積網(wǎng)絡(luò)(submanifold sparse convolutional networks)，通過將非空體素特征值和空間坐標(biāo)建立哈希關(guān)系，僅對非空體素進(jìn)行卷積操作，大幅降低了內(nèi)存和計(jì)算資源的消耗。隨著稀疏卷積(Choy等，2019)的提出和應(yīng)用，極大提高了基于體素的點(diǎn)云語義分割方法的效率。

視覺語義分割精度的提高主要依靠擴(kuò)大感受野和使用注意力機(jī)制。感受野是語義分割任務(wù)中非常重要的一個(gè)因素，然而基于編碼器的網(wǎng)絡(luò)無法提供更大的感受野。SDRNet(spatial depthwise residual network)(Liu等，2021)通過擴(kuò)張?zhí)卣髡夏K(dilate feature aggregation，DFA)擴(kuò)大網(wǎng)絡(luò)感受野以提升全局特征提取能力。同時(shí)，SalsaNext(Cortinhal等，2020)通過引入空洞卷積來擴(kuò)大感受野。目前，注意力機(jī)制已廣泛應(yīng)用于圖像分類、目標(biāo)識(shí)別(Li等，2020)和語義分割(Yu和Wang，2021)等領(lǐng)域，可以有效提取局部和全局特征。在點(diǎn)云上，DGCSA(dynamic graph convolution with spatial attention)(Song等，2021)結(jié)合空間注意力模塊與動(dòng)態(tài)圖卷積模塊，取得更加精確的點(diǎn)云分類分割效果。Du和Cai(2021)提出一種基于多特征融合與殘差優(yōu)化的點(diǎn)云語義分割方法，并且引入注意力機(jī)制來提高點(diǎn)云聚合能力。但這些引入注意力的方法都是在小規(guī)模點(diǎn)云數(shù)據(jù)中應(yīng)用，針對室外大場景雷達(dá)點(diǎn)云工作相對較少。Transformer也是注意力機(jī)制的一種，最先提出用于自然語言處理(Vaswani等，2017)。Transformer在圖像處理上(Liu等，2021)取得巨大成功，但在點(diǎn)云上的應(yīng)用(Guo等，2021)相對較少。Transformer位置排列不變的特點(diǎn)非常適合處理無序的點(diǎn)云數(shù)據(jù)。

此外，現(xiàn)有方法主要集中在對網(wǎng)絡(luò)的改進(jìn)，很少關(guān)注輸入數(shù)據(jù)本身。但真實(shí)場景數(shù)據(jù)集中，存在點(diǎn)云數(shù)據(jù)分布不平衡現(xiàn)象，導(dǎo)致樣本數(shù)量稀少的類別特征被抑制，使點(diǎn)云數(shù)量稀少的類別不能得到較好的預(yù)測結(jié)果。

為解決上述問題，本文提出一種基于稀疏注意力和實(shí)例增強(qiáng)的激光雷達(dá)點(diǎn)云分割的方法。本文主要貢獻(xiàn)如下：1)采用點(diǎn)云實(shí)例注入的方式，提取訓(xùn)練數(shù)據(jù)數(shù)量稀少的類別的實(shí)例點(diǎn)云信息，并將其在訓(xùn)練過程中注入到每一幀點(diǎn)云的合適位置，減少了點(diǎn)云數(shù)量不平衡帶來的精度下降問題。2)在卷積網(wǎng)絡(luò)的瓶頸層(bottleneck layer)加入Transformer模塊，擴(kuò)大網(wǎng)絡(luò)的感受野，通過建立點(diǎn)云遠(yuǎn)、近距離的上下文特征關(guān)聯(lián)，有效提高了提取點(diǎn)云局部和全局信息的能力。3)提出一種基于稀疏卷積的空間注意力機(jī)制，通過提取特征圖中代表性的局部關(guān)鍵信息，增強(qiáng)網(wǎng)絡(luò)對關(guān)鍵特征的關(guān)注。4)為了增加語義分割的精度，提出一種新的TVLoss來增強(qiáng)網(wǎng)絡(luò)對不同類別點(diǎn)云對象邊緣的監(jiān)督。

1 國內(nèi)外研究現(xiàn)狀

基于數(shù)據(jù)驅(qū)動(dòng)的深度學(xué)習(xí)算法成為計(jì)算機(jī)視覺領(lǐng)域的重要研究方向。深度學(xué)習(xí)在2維圖像的分類、檢測和分割等領(lǐng)域取得優(yōu)異成果。但是3維點(diǎn)云標(biāo)注比2維圖像費(fèi)時(shí)費(fèi)力，起步相對較晚。得益于SemanticKITTI數(shù)據(jù)集(Behley等，2019)的出現(xiàn)，雷達(dá)點(diǎn)云語義分割工作相繼涌現(xiàn)，分為基于點(diǎn)的方法、基于投影的方法和基于體素的方法。

基于點(diǎn)的方法不需要對點(diǎn)云進(jìn)行前期處理，而是直接對點(diǎn)云進(jìn)行操作。PointNet(Charles等，2017a)最先提出用MLP(multilayer perceptron)的方法對每個(gè)點(diǎn)進(jìn)行處理，用于點(diǎn)云的分類和分割任務(wù)，但不能有效提取局部信息。PointNet++(Charles 等，2017b)在PointNet(Charles等，2017a)上加入局部特征提取模塊。RandLA-Net(Hu等，2020)針對大規(guī)模點(diǎn)云數(shù)據(jù)，用隨機(jī)采樣代替最遠(yuǎn)點(diǎn)采樣降低計(jì)算量，提高語義分割效率，同時(shí)使用局部特征聚合方法減少隨機(jī)采樣帶來的信息損失。SDRNet(Liu等，2021)提出結(jié)合SDR(spatial depthwise residual)模塊和DFA模塊的點(diǎn)云分割網(wǎng)絡(luò)。SDRNet針對點(diǎn)云旋轉(zhuǎn)不變性設(shè)計(jì)了改進(jìn)的SDR模塊，用于提取局部特征，消除雷達(dá)點(diǎn)云數(shù)據(jù)Z軸旋轉(zhuǎn)對分割結(jié)果的影響；DFA模塊提高了網(wǎng)絡(luò)感受野。基于點(diǎn)的方法能通過較少的網(wǎng)絡(luò)參數(shù)實(shí)現(xiàn)點(diǎn)云語義分割，但在處理大場景點(diǎn)云過程中會(huì)消耗過多的計(jì)算資源，也不能得到較高精度的分割結(jié)果。

基于投影的方法在點(diǎn)云分割中受到廣泛研究，主要投影方式有球狀投影和鳥瞰圖投影。RangeNet++(Milioto等，2019)最先提出通過球狀投影的方法將3維點(diǎn)云投影到2維空間，利用2維卷積對投影圖像進(jìn)行語義分割，并在反投影過程中利用KNN(k-nearest neighbor)進(jìn)行空間鄰域搜索，提高語義分割精度。SalsaNext(Cortinhal等，2020)在SalsaNet(Aksoy等，2020)基礎(chǔ)上引入空洞卷積和新的局部特征提取模塊，獲得更好的分割效果。Zheng等人(2021)根據(jù)人類觀察機(jī)制提出一種場景視點(diǎn)偏移方法，改善了因投影過程中信息丟失帶來的精度下降問題。PolarNet(Zhang等，2020b)提出一種鳥瞰圖投影方法，根據(jù)激光雷達(dá)本身特點(diǎn)建立基于極坐標(biāo)的空間雷達(dá)劃分方法。相比傳統(tǒng)基于歐氏空間的體素劃分方法，基于投影的方法能減少空體素出現(xiàn)的概率，不同類別的點(diǎn)云出現(xiàn)在同一個(gè)體素內(nèi)的概率也相應(yīng)減少，但在3維到2維的投影過程中會(huì)損失場景對象的幾何信息，不能得到較高的分割精度。

基于體素的方法(Zhou和Tuzel，2018；Wang等，2019)將點(diǎn)云劃分到不同體素中，并用傳統(tǒng)卷積進(jìn)行語義分割。但是因?yàn)榧す饫走_(dá)的稀疏性，導(dǎo)致大部分體素冗余，這會(huì)增加內(nèi)存和計(jì)算資源的消耗。Tao等人(2021)提出一種基于稀疏體素金字塔的多尺度點(diǎn)云特征提取方法，提高了點(diǎn)云特征提取的效率。隨著稀疏卷積(Choy等，2019)的提出和應(yīng)用，極大提高了基于體素的點(diǎn)云語義分割方法的效率。Cylinder3d(Zhu等，2022)采用稀疏卷積和柱狀劃分網(wǎng)格的方法在點(diǎn)云語義分割精度上取得了顯著效果，提出的不對稱殘差(asymmetrical residual)卷積模塊能夠更好地提取類似于車輛、行人周圍的語義信息，最終提高此類物體的語義分割精度。但上述方法為提高精度需要不斷增加體素的分辨率，導(dǎo)致內(nèi)存增加和計(jì)算資源消耗。

2 基于稀疏注意力和實(shí)例增強(qiáng)的雷達(dá)點(diǎn)云分割算法流程

本文提出的基于稀疏注意力和實(shí)例增強(qiáng)的雷達(dá)點(diǎn)云分割方法主要由實(shí)例注入模塊、點(diǎn)特征提取模塊和稀疏卷積模塊3部分組成，總體架構(gòu)如圖1所示。

圖1 網(wǎng)絡(luò)結(jié)構(gòu)總覽

2.1 網(wǎng)絡(luò)總體架構(gòu)

1)實(shí)例注入模塊。網(wǎng)絡(luò)輸入數(shù)據(jù)由原始點(diǎn)云數(shù)據(jù)與從數(shù)據(jù)集中篩選的實(shí)例數(shù)據(jù)組合得到，并通過柱狀坐標(biāo)對點(diǎn)云進(jìn)行體素劃分。其中，每個(gè)點(diǎn)的特征包括點(diǎn)云歐氏空間坐標(biāo){x,y,z}、極坐標(biāo){ρ,θ}、每個(gè)點(diǎn)云到體素中心的偏移量{Δρ,Δθ,Δz}和點(diǎn)云的反射率{i}，共9維特征。

2)點(diǎn)特征提取模塊。在本模塊中，通過多個(gè)MLP層從輸入數(shù)據(jù)提取出每個(gè)點(diǎn)的特征。在每個(gè)體素中，只保留特征值最大的數(shù)據(jù)作為當(dāng)前體素的代表特征。由特征信息F={f1,f2,f3,f4,f5,…,fN}和對應(yīng)的柱狀體素坐標(biāo)V={v1,v2,v3,v4,v5,…,vN}構(gòu)建稀疏卷積張量，其中N表示非空體素?cái)?shù)量，fi和vi分別表示第i個(gè)特征點(diǎn)的特征值和柱狀體素坐標(biāo)。

3)稀疏卷積模塊。主干網(wǎng)絡(luò)采用類似UNet的設(shè)計(jì)，通過下采樣不斷降低特征圖尺寸，獲得網(wǎng)絡(luò)更深層特征，同時(shí)通過上采樣將特征圖恢復(fù)到原有尺寸。通過跳躍連接將上采樣的特征圖與相同大小的淺層特征圖相融合。在本文所提網(wǎng)絡(luò)結(jié)構(gòu)中，每一層的特征圖尺寸和通道數(shù)分別為[480×360×32,32]，[240×180×16,64]，[120×90×8,128]，[60×45×8,256]和[30×23×8,512]。最終，利用seghead子模塊預(yù)測每個(gè)體素中每個(gè)類別的概率值，選擇概率值最大的類別作為該體素預(yù)測的結(jié)果，將體素的語義信息轉(zhuǎn)化為點(diǎn)云的語義信息。

2.2 實(shí)例注入

真實(shí)場景采集的數(shù)據(jù)集中存在類別數(shù)量不平衡現(xiàn)象。圖2為SemanticKITTI訓(xùn)練數(shù)據(jù)集中不同類別點(diǎn)云的數(shù)量。

圖2 SemanticKITTI訓(xùn)練數(shù)據(jù)集中不同類別點(diǎn)云的數(shù)量

從圖2可以看出，一些類別如自行車、摩托車、騎自行車的人和騎摩托車的人等的點(diǎn)云樣本數(shù)量占整個(gè)數(shù)據(jù)集的比重非常少。這些類別的特征在網(wǎng)絡(luò)訓(xùn)練過程中會(huì)被其他類別的特征淹沒，通常不能得到較好的分割結(jié)果。但是在無人駕駛場景中，行人和車輛正確的語義分割極其重要，直接影響駕駛安全。本文采用實(shí)例注入的方法來減少這個(gè)問題。SemanticKITTI數(shù)據(jù)集提供了點(diǎn)云的實(shí)例和語義信息。根據(jù)提供的實(shí)例ID(identity)，可以從訓(xùn)練集的點(diǎn)云數(shù)據(jù)中篩選出對應(yīng)的實(shí)例點(diǎn)云，隨后將篩選的實(shí)例數(shù)據(jù)保存到文件，并在文件名中標(biāo)記語義類別。實(shí)例數(shù)據(jù)包括自行車、摩托車、卡車、其他車輛、行人、騎自行車的人和騎摩托車的人，共6類。

實(shí)例注入策略如下：在訓(xùn)練過程中，首先隨機(jī)選擇道路類別(包括馬路、停車場和人行道)中的一個(gè)點(diǎn)作為基準(zhǔn)點(diǎn)，并計(jì)算以基準(zhǔn)點(diǎn)為圓心，半徑為R的基準(zhǔn)范圍內(nèi)所有點(diǎn)云的高度差。若高度差小于閾值threshold，說明道路上不存在其他障礙物，此時(shí)隨機(jī)選擇一個(gè)實(shí)例數(shù)據(jù)插入基準(zhǔn)位置，并且使基準(zhǔn)范圍最高點(diǎn)與實(shí)例數(shù)據(jù)最低點(diǎn)對齊；若高度差大于閾值threshold，則重新選擇基準(zhǔn)點(diǎn)。

本文實(shí)驗(yàn)參數(shù)半徑R設(shè)置為1.5 m，高度閾值threshold設(shè)置為0.3 m，每一幀點(diǎn)云注入7個(gè)實(shí)例數(shù)據(jù)。最終實(shí)例注入效果如圖3所示，圖中黑色的為原始點(diǎn)云，彩色的點(diǎn)云區(qū)域?yàn)樽⑷氲亩鄠€(gè)實(shí)例，顏色與實(shí)例類別對應(yīng)。

圖3 實(shí)例注入

2.3 稀疏卷積模塊和空間注意力機(jī)制

空間注意力機(jī)制能區(qū)別對待特征圖的不同信息，使網(wǎng)絡(luò)增加對關(guān)鍵特征的關(guān)注，提高網(wǎng)絡(luò)性能。在不對稱殘差模塊(asymmetrical residual block)后添加基于稀疏卷積的空間注意力機(jī)制。網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示。不對稱殘差模塊通過交叉進(jìn)行1×3×3和3×1×3的稀疏卷積提高了提取特征的效率。稀疏空間注意力機(jī)制通過sigmoid函數(shù)篩選特征值較大的點(diǎn)作為注意力掩膜，最后將學(xué)習(xí)到的注意力掩膜與原始的特征圖元素相乘，以達(dá)到提取關(guān)鍵特征的目的。解碼器模塊有兩部分輸入，一部分是上一層網(wǎng)絡(luò)上采樣得到的特征圖，另一部分是通過跳躍連接得到的淺層網(wǎng)絡(luò)特征，兩者有相同的特征圖尺寸和通道數(shù)。本文通過元素相加的方式將兩部分特征相融合。

圖4 不對稱殘差卷積模塊和空間注意力機(jī)制

2.4 Transformer模塊

Transformer模塊網(wǎng)絡(luò)結(jié)構(gòu)如圖5所示，該模塊輸入為體素的位置和特征信息，其中N為非空體素的數(shù)量。首先對位置信息進(jìn)行位置編碼(position embedding)，計(jì)算得到點(diǎn)與點(diǎn)之間的位置關(guān)系特征，然后將得到的位置信息與特征信息相融合。融合后的信息作為自注意力機(jī)制的輸入，計(jì)算得到自注意力掩膜。自注意力機(jī)制可以表示為

圖5 Transformer 模塊

(1)

式中，Q,K,V∈RM2×d分別表示query，key和value矩陣，M2為patches的數(shù)量，d表示query或key矩陣的維度，B為偏差矩陣(bias matrix)。將query、key和value矩陣分別經(jīng)過線性網(wǎng)絡(luò)，再用query和key矩陣的轉(zhuǎn)置矩陣相乘得到attention map。最后將attention map經(jīng)過softmax后與value矩陣相乘作為模塊的輸出。

Transformer模塊采用自注意力機(jī)制的方式，通過attention map對點(diǎn)與點(diǎn)之間的連接賦予不同權(quán)重，增強(qiáng)了每個(gè)點(diǎn)之間的聯(lián)系。Transformer模塊可以擴(kuò)大網(wǎng)絡(luò)的感受野，使網(wǎng)絡(luò)有效提取局部和全局特征。

2.5 損失函數(shù)

本文損失函數(shù)將權(quán)重交叉熵Lovasz-softmax和TVloss線性融合得到最終的Ltotal，表示方式為

Ltotal=Lwce+Lls+Ltv

(2)

式中，權(quán)重交叉熵?fù)p失函數(shù)(He等，2016)可以表示為

(3)

Lovasz-softmax損失函數(shù)(Berman等，2018)已廣泛應(yīng)用在語義分割領(lǐng)域(Zhu等，2022；Cortinhal等，2020)，其損失函數(shù)可以表示為

(4)

(5)

式中，|C|表示類別數(shù)量，J是一個(gè)具有全局最小值分段線性函數(shù)。m(c)表示c類別的誤差向量。xi(c)和yi(c)分別表示c類別的第i個(gè)點(diǎn)云的預(yù)測值和真值。Lovasz-softmax loss是一個(gè)有效的附加損失函數(shù)，可用于不同的深度學(xué)習(xí)任務(wù)，例如目標(biāo)檢測和語義分割。因此，在訓(xùn)練模型過程中，Lovasz-softmax loss與其他損失函數(shù)相結(jié)合可以實(shí)現(xiàn)更好的模型訓(xùn)練效果。

受Gerdzhev等人(2021)的啟發(fā)，為增加網(wǎng)絡(luò)對點(diǎn)云邊緣的監(jiān)督，本文添加了TVLoss。原方法中直接對真值邊緣和預(yù)測邊緣取絕對值。這會(huì)由于邊緣類別的不同導(dǎo)致不同的損失值，為避免這種情況，本文采用異或操作。具體函數(shù)表示為

(6)

3 實(shí)驗(yàn)和結(jié)果分析

實(shí)驗(yàn)在SemanticKITTI(Behley等，2019)和 nuScenes(Caesar等，2020)數(shù)據(jù)集上進(jìn)行，將本文算法與近年有代表性的方法比較，進(jìn)行詳細(xì)的精度評估，并對提出的各模塊進(jìn)行消融實(shí)驗(yàn)。

3.1 數(shù)據(jù)集及評價(jià)方式

3.1.1 SemanticKITTI數(shù)據(jù)集

SemanticKITTI數(shù)據(jù)集(Behley等，2019)是一個(gè)無人駕駛場景的雷達(dá)點(diǎn)云數(shù)據(jù)集，面向點(diǎn)云語義分割和實(shí)例分割等多類任務(wù)。數(shù)據(jù)集通過Velodyne-HDL64E激光雷達(dá)在德國進(jìn)行數(shù)據(jù)采集，每一幀點(diǎn)云大約有12萬個(gè)點(diǎn)，共22個(gè)序列。實(shí)驗(yàn)時(shí)，將00—07、09—10序列共19 130幀點(diǎn)云數(shù)據(jù)作為訓(xùn)練集，將08序列共4 071幀點(diǎn)云數(shù)據(jù)作為驗(yàn)證集，將11—21序列共20 351幀點(diǎn)云數(shù)據(jù)作為測試集。點(diǎn)云的語義分割任務(wù)共19個(gè)類別。

3.1.2 nuScenes數(shù)據(jù)集

nuScenes數(shù)據(jù)集(Caesar等，2020)共1 000個(gè)場景，每個(gè)場景持續(xù)20 s。數(shù)據(jù)集使用Velodyne-HDL32E 激光雷達(dá)在美國波士頓和新加坡采集數(shù)據(jù)，采樣周期為20 Hz。每個(gè)場景包含40個(gè)關(guān)鍵幀，共包含40 000個(gè)關(guān)鍵幀的點(diǎn)云數(shù)據(jù)。官方將點(diǎn)云數(shù)據(jù)劃分成測試集、驗(yàn)證集和訓(xùn)練集，其中850個(gè)場景用于訓(xùn)練和驗(yàn)證，150個(gè)場景作為測試。點(diǎn)云的語義分割任務(wù)共16個(gè)類別。

3.1.3 評價(jià)指標(biāo)

實(shí)驗(yàn)采用官方提供的評價(jià)方法(Behley等，2019；Caesar等，2020)，以mIoU(mean intersection over union)作為精度的評價(jià)指標(biāo)。mIoU可表示為

(7)

式中，TP表示真陽性，F(xiàn)P表示假陽性，F(xiàn)N表示假陰性。

3.1.4 實(shí)驗(yàn)參數(shù)設(shè)置

實(shí)驗(yàn)中，兩個(gè)數(shù)據(jù)集柱狀體素的劃分尺寸都是[480 × 360 × 32]，分別表示距離、角度和高度3個(gè)維度。實(shí)驗(yàn)環(huán)境為Ubuntu16.04、Pytorch1.4、Intel i7- 8700K、NVIDIA RTX。使用Adam優(yōu)化器，學(xué)習(xí)率為0.001，batch size為2，共訓(xùn)練40個(gè)epochs。由于nuScenes數(shù)據(jù)集未提供實(shí)例信息，實(shí)驗(yàn)沒有使用實(shí)例注入。

3.2 SemanticKITTI數(shù)據(jù)集實(shí)驗(yàn)結(jié)果

在SemantKITTI數(shù)據(jù)集的測試集上，將本文方法與代表性方法進(jìn)行比較。其中，基于點(diǎn)的方法包括TangentConv(Tatarchenko等，2018)、RandLA-Net(Hu等，2020)、KPConv(Thomas等，2019)和SDRNet(Liu等，2021)，基于投影的方法包括Darknet53(Behley等，2019)、SqueezeSegv3(Xu等，2020)、RangeNet++(Milioto等，2019)、Salsanext(Cortinhal等，2020)、KPRNet(Kochanov等，2020)和 PolarNet(Zhang等，2020b)，基于體素的方法包括FusionNet(Zhang等，2020a)、TORANDONet(Gerdzhev等，2021)和Cylinder3d(Zhu等，2022)。定量實(shí)驗(yàn)結(jié)果如表1所示?？梢钥闯觯疚姆椒ㄔ趍IoU指標(biāo)上取得較好成績，特別是在行人和汽車類別上取得了優(yōu)秀的表現(xiàn)，相比Cylinder3d，卡車(truck)提高了8.6%，其他車輛(other-vehicle)提高了4.4%。原因是本文提出的空間注意力機(jī)制和TVloss能很好地處理邊緣細(xì)節(jié)信息。

表1 SemanticKITTI測試集精度結(jié)果對比

在SemanticKITTI驗(yàn)證集上的點(diǎn)云語義分割結(jié)果的可視化如圖6所示，從上到下分別是真值、預(yù)測圖和細(xì)節(jié)圖。從細(xì)節(jié)圖可以看出，本文方法可以準(zhǔn)確預(yù)測行人和自行車類別(圖中紅框)。

圖6 SemanticKITTI驗(yàn)證集語義分割結(jié)果

3.3 nuScenes數(shù)據(jù)集實(shí)驗(yàn)結(jié)果

表2 nuScenes驗(yàn)證集精度結(jié)果對比

nuScenes驗(yàn)證集語義分割結(jié)果的可視化如圖7所示，可以看出，本文方法可以準(zhǔn)確預(yù)測激光雷達(dá)獲取的點(diǎn)云數(shù)據(jù)。

圖7 nuScenes驗(yàn)證集語義分割結(jié)果

3.4 消融實(shí)驗(yàn)

為評估實(shí)例注入、空間注意力機(jī)制、Transformer和Tvloss等模塊對網(wǎng)絡(luò)的貢獻(xiàn)，在SemanticKITTI的驗(yàn)證集上進(jìn)行消融實(shí)驗(yàn)，其中，體素尺寸大小為[240 × 240 × 32]，結(jié)果如表3所示?？梢钥闯?，實(shí)例注入對mIoU有1.2%的提升，空間注意力機(jī)制和Transformer模塊分別有1.0%和0.7%的提升，兩者組合共提升1.5%，TVloss對網(wǎng)絡(luò)提升了0.2%。所有模塊組合在baseline的基礎(chǔ)上提高了3.1%。實(shí)驗(yàn)結(jié)果表明，本文提出的網(wǎng)絡(luò)能提高激光點(diǎn)云的語義分割任務(wù)的精度，網(wǎng)絡(luò)的各模塊均能有效提高網(wǎng)絡(luò)的性能。

表3 SemanticKITTI驗(yàn)證集上的消融實(shí)驗(yàn)

4 結(jié) 論

本文提出一種端到端的稀疏卷積網(wǎng)絡(luò)用于雷達(dá)點(diǎn)云的語義分割，使用實(shí)例注入的方法減輕數(shù)據(jù)集類別分布不平衡問題，同時(shí)為了增強(qiáng)網(wǎng)絡(luò)提取全局和局部特征的能力，使用稀疏卷積的空間注意力機(jī)制提取特征圖關(guān)鍵信息，添加Transformer模塊提高網(wǎng)絡(luò)提取全局信息的能力，擴(kuò)大網(wǎng)絡(luò)的感受野，提高了網(wǎng)絡(luò)性能，并且提出新的TVloss加強(qiáng)網(wǎng)絡(luò)對點(diǎn)云邊緣進(jìn)行監(jiān)督。實(shí)驗(yàn)證明，本文提出的方法具有良好效果。在SemanticKITTI在線單幀精度評估中,mIoU指標(biāo)為64.6%，在nuScenes數(shù)據(jù)集上的mIoU為75.6%。消融實(shí)驗(yàn)結(jié)果表明，本文方法的mIoU在Baseline的基礎(chǔ)上提高了3.1%。對比近年出現(xiàn)的代表性方法，本文方法能取得較好的表現(xiàn)，特別是行人和車輛的分割結(jié)果取得了顯著提升。

但是，通過觀察實(shí)驗(yàn)結(jié)果可以發(fā)現(xiàn),在遠(yuǎn)離雷達(dá)中心的點(diǎn)云數(shù)據(jù)分割誤差相對較大，主要原因是遠(yuǎn)離雷達(dá)中心的點(diǎn)云數(shù)據(jù)相對稀疏，對于提取語義信息較為困難。

將來的工作主要有以下兩個(gè)方面：1)考慮到雷達(dá)數(shù)據(jù)是一個(gè)時(shí)間序列，并且可以通過幀間匹配的方式獲取兩幀之間的位置信息，在網(wǎng)絡(luò)設(shè)計(jì)上可以利用時(shí)序和空間位置的信息；2)基于體素的方法和基于投影的方法都會(huì)產(chǎn)生不同的信息損失，可以通過融合基于體素的方法和基于投影的方法，減少特征損失，提高分割精度。