基于位置編碼和雙距離注意的點(diǎn)云分割方法

溫智成,王 蕾,馮錦梁,葉森輝

(東華理工大學(xué)信息工程學(xué)院,江西 南昌 330013)

1 引 言

隨著機(jī)器人、自動(dòng)駕駛和AR/VR應(yīng)用的日益普及,對(duì)3D點(diǎn)云數(shù)據(jù)處理的需求正在迅速增長(zhǎng)[1-2]。然而,由于其固有的不規(guī)則性和無(wú)序性等特點(diǎn),處理此類(lèi)數(shù)據(jù)具有挑戰(zhàn)性。正則化的卷積不適用于點(diǎn)云處理。

為了處理三維點(diǎn)云數(shù)據(jù),許多研究人員探索將它轉(zhuǎn)換為其他形式的表示,并應(yīng)用卷積運(yùn)算來(lái)學(xué)習(xí)特征信息。這些方法可以分為三類(lèi):基于投影的方法[3-5]、基于體素化的方法[6-7]和基于點(diǎn)的方法[8-21]。

基于投影的方法。將點(diǎn)云投影到二維平面上,將其作為正則化圖像進(jìn)行處理。Gvcnn[3]設(shè)計(jì)了一個(gè)由視圖、組和形狀組成的框架,可以更有效地聚合來(lái)自各種視圖的信息并識(shí)別3D形狀。RangeNet++[4]將點(diǎn)云轉(zhuǎn)換為距離圖像表示,使用2D卷積進(jìn)行語(yǔ)義分割,并使用k近鄰算法提高分割性能。View-gcn[5]使用圖卷積網(wǎng)絡(luò)聚合多視圖特征。但是,這種方式會(huì)導(dǎo)致部分點(diǎn)云信息的丟失。

基于體素的方法。將點(diǎn)云轉(zhuǎn)換成三維體素,隨后通過(guò)三維卷積運(yùn)算學(xué)習(xí)特征信息。Voxnet[6]網(wǎng)絡(luò)使用基于體素的表示作為對(duì)象識(shí)別和其他任務(wù)的輸入。SPVConv[7]引入了一種低成本、高分辨率的基于點(diǎn)的分支結(jié)構(gòu),可以捕獲更細(xì)粒度的信息。然而,該類(lèi)方法會(huì)造成高額的計(jì)算成本和內(nèi)存消耗。

基于點(diǎn)的方法。直接在原始點(diǎn)云上執(zhí)行卷積操作,無(wú)需將點(diǎn)云轉(zhuǎn)換為中間態(tài)的表示,從而避免了上述方法的缺點(diǎn)。PointNet[11]和PointNet++[12]是第一批直接對(duì)點(diǎn)進(jìn)行操作的研究工作。AGConv[15]通過(guò)將坐標(biāo)與對(duì)于點(diǎn)的其余特征相乘,使卷積對(duì)每個(gè)局部區(qū)域的操作是各向異性的。PCT[19]采用全局自注意力機(jī)制,使各點(diǎn)能夠關(guān)注彼此的特征信息。

然而,上述基于點(diǎn)的方法由于使用對(duì)稱(chēng)聚合操作,導(dǎo)致無(wú)法獲得點(diǎn)云的良好局部表示,從而導(dǎo)致局部信息的嚴(yán)重丟失。

為了應(yīng)對(duì)這些挑戰(zhàn),本文提出了DualRes-Net網(wǎng)絡(luò)。利用位置編碼模塊(Position Encoding Module,PEM)對(duì)點(diǎn)云的坐標(biāo)特征進(jìn)行編碼,從而獲得更有效的局部信息表示。采用雙距離注意池(Dual-distance Attention Pooling,DDAP)將中心點(diǎn)與鄰近點(diǎn)的差異與注意力相結(jié)合,更好地實(shí)現(xiàn)了點(diǎn)云內(nèi)部局部信息的自適應(yīng)聚合。然后利用去分化殘差(De-Differentiation Residual,DDRes)結(jié)構(gòu)挖掘點(diǎn)云的深層語(yǔ)義信息,利用MLP分別學(xué)習(xí)對(duì)應(yīng)點(diǎn)的坐標(biāo)特征等特征,從而穩(wěn)定模型的訓(xùn)練。本文提出的DualRes-Net在S3DIS Area5上的分割性能優(yōu)于許多基準(zhǔn)網(wǎng)絡(luò)。

2 本文方法

本文提出了一種DualRes-Net網(wǎng)絡(luò),如圖1所示(圖中Input Data為輸入點(diǎn)云數(shù)據(jù);Output為預(yù)測(cè)語(yǔ)義;DS為下采樣方法),該網(wǎng)絡(luò)主要由三個(gè)關(guān)鍵模塊組成:位置編碼模塊(PEM)、雙距離注意池(DDAP)模塊和去分化殘差(DDRes)模塊。由于本文所提方法與點(diǎn)云的Transformer類(lèi)方法相似,所以在本節(jié)中,我們首先介紹本文所提三個(gè)模塊的具體結(jié)構(gòu),隨后將本文方法與Transformer類(lèi)方法進(jìn)行比較。

圖1 DualRes-Net網(wǎng)絡(luò)架構(gòu)

2.1 位置編碼模塊(PEM)

點(diǎn)云點(diǎn)屬性包括坐標(biāo)、顏色和其他屬性。在點(diǎn)云語(yǔ)義分割任務(wù)中,網(wǎng)絡(luò)對(duì)位置信息比其他信息更敏感。例如,在分割綠墻和草地時(shí),坐標(biāo)特征可以清楚地顯示兩者的區(qū)別。

因此,提出PEM模塊,如圖2所示(圖中N為點(diǎn)數(shù),k為最近鄰搜索次數(shù),3和C分別為坐標(biāo)特征通道數(shù)和對(duì)應(yīng)點(diǎn)其余特征通道數(shù))。該模塊明確地將編碼的坐標(biāo)特征與相應(yīng)的點(diǎn)特征融合,使點(diǎn)特征知道自己在空間中的位置。這使得PEM能夠清晰地觀(guān)察到局部信息,這對(duì)于學(xué)習(xí)復(fù)雜的場(chǎng)景結(jié)構(gòu)非常有益。該模塊的操作步驟如下:

圖2 位置編碼模塊(PEM)

(1)

(2)

重復(fù)兩次以上的點(diǎn)坐標(biāo)編碼和點(diǎn)特征融合步驟,可以得到更好的局部點(diǎn)云表示,從而提高網(wǎng)絡(luò)的分割性能。

2.2 雙距離注意池模塊(DDAP)

圖3 雙距離注意池(DDAP)

(3)

(4)

為了加快網(wǎng)絡(luò)的推理速度,我們將其設(shè)為負(fù)指數(shù)函數(shù),如式:

(5)

因此,處理后的輸入數(shù)據(jù)如式:

(6)

其中,“‖”為連接符號(hào)。

處理后的數(shù)據(jù)通過(guò)MLP和softmax層傳遞,如式:

score=Softmax(MLP(fconcat))

(7)

獲取局部區(qū)域內(nèi)各點(diǎn)對(duì)應(yīng)的分?jǐn)?shù)。

最后將分?jǐn)?shù)乘以局部區(qū)域內(nèi)對(duì)應(yīng)的點(diǎn),利用對(duì)稱(chēng)函數(shù)Sum對(duì)局部信息進(jìn)行匯總,如式:

(8)

2.3 去分化殘差模塊(DDRes)

傳統(tǒng)的殘差模塊首先使用k近鄰(KNN)算法獲得局部區(qū)域。通過(guò)連接相應(yīng)點(diǎn)的坐標(biāo)和其他特征,數(shù)據(jù)通過(guò)MLP和最大池化層提供。輸出再經(jīng)過(guò)兩層MLP處理學(xué)習(xí)特征信息,最后加入到輸入數(shù)據(jù)中形成殘差模塊的輸出。傳統(tǒng)殘差模塊結(jié)構(gòu)如圖4(a)所示,公式如下:

圖4 去分化殘差(DDRes)

fmax=max(φ(inputknn))

(9)

fout=φ×2(fmax)+inputfeat

(10)

其中,inputknn表示對(duì)輸入數(shù)據(jù)進(jìn)行KNN搜索得到的局部數(shù)據(jù);inputfeat表示對(duì)應(yīng)點(diǎn)的其余特征;fmax表示MLP和max-pooling后的數(shù)據(jù)輸出;fout表示殘差模塊的輸出。

傳統(tǒng)的殘差模塊是將坐標(biāo)特征與對(duì)應(yīng)點(diǎn)的剩余特征進(jìn)行拼接,利用MLP學(xué)習(xí)特征信息。受CN[21]的啟發(fā),由于不同的輸入類(lèi)型(坐標(biāo)特征、顏色特征)具有明顯不同的分布,這可能導(dǎo)致模型訓(xùn)練不穩(wěn)定。為了解決這一問(wèn)題并穩(wěn)定模型訓(xùn)練,本文提出了去分化殘差(DDRes)模塊。MLP分別應(yīng)用于坐標(biāo)特征和對(duì)應(yīng)點(diǎn)的其余特征。使用最大池將兩個(gè)MLP的輸出結(jié)果相加以獲得局部特征,然后將其通過(guò)兩個(gè)MLP層并與輸入數(shù)據(jù)相加。DDRes模塊結(jié)構(gòu)如圖4(b)所示,公式如下:

fmid=φ(inputx)+φ(inputfeat)

(11)

fmax=max(fmid)

(12)

綜上所述,PEM可以獲得更好的點(diǎn)云局部表示,提高分割性能;DDAP模塊將中心點(diǎn)與鄰近點(diǎn)的差異與注意力池相結(jié)合,自適應(yīng)聚合局部信息;DDRes模塊使用去分化結(jié)構(gòu)來(lái)穩(wěn)定模型訓(xùn)練,同時(shí)從點(diǎn)云中挖掘深度信息。

2.4 Transformer類(lèi)方法

本文所提方法DualRes-Net與點(diǎn)云的Transformer類(lèi)方法類(lèi)似,下面將詳細(xì)介紹Point Transformer[20]和Fast Point Transformer[21]方法。

Point Transformer:該網(wǎng)絡(luò)的輸入為點(diǎn)云數(shù)據(jù),其中每個(gè)點(diǎn)由3D坐標(biāo)和顏色特征表示。它首先將點(diǎn)云映射到一個(gè)低維特征空間,并將這些特征作為T(mén)ransformer的輸入。Transformer由多個(gè)編碼器層組成,每個(gè)編碼器層包含自注意力機(jī)制和前饋神經(jīng)網(wǎng)絡(luò)。自注意力機(jī)制通過(guò)計(jì)算點(diǎn)與其他點(diǎn)之間的相似度,學(xué)習(xí)點(diǎn)的上下文信息,以至于每個(gè)點(diǎn)都能夠利用周?chē)c(diǎn)的信息來(lái)更新自身的特征表示。多頭自注意力機(jī)制并行計(jì)算多個(gè)關(guān)注權(quán)重,以捕捉不同層次的特征。通過(guò)多個(gè)編碼器層的堆疊,Point Transformer能夠建模點(diǎn)云中點(diǎn)的全局和局部關(guān)系,并提取豐富的特征。

FastPoint Transformer:該方法在Point Transformer的基礎(chǔ)上引入了稀疏技術(shù),通過(guò)對(duì)點(diǎn)云進(jìn)行子采樣來(lái)減少計(jì)算量。它的關(guān)鍵思想是將點(diǎn)云劃分為一組局部鄰域,并且僅對(duì)每個(gè)局部鄰域應(yīng)用Transformer操作。這樣可以減少自注意力機(jī)制的計(jì)算復(fù)雜度,并仍然能夠捕捉到全局和局部之間的關(guān)系。

上述方法對(duì)點(diǎn)云局部利用自注意力機(jī)制,并在編碼器與解碼器層添加多個(gè)自注意力機(jī)制,從而獲得豐富的特征信息。然而,與本文方法DualRes-Net相比,由于在編碼器層與解碼器層存在多層自注意力,Transformer類(lèi)方法會(huì)導(dǎo)致高額計(jì)算量的問(wèn)題。

3 實(shí) 驗(yàn)

在本節(jié)中,在S3DIS數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn),以評(píng)估提出的DualRes-Net網(wǎng)絡(luò)。

3.1 數(shù)據(jù)集

S3DIS數(shù)據(jù)集是斯坦福大學(xué)提供的一個(gè)公開(kāi)可用的數(shù)據(jù)集。它由271個(gè)房間組成,完全由6個(gè)不同的大型區(qū)域的點(diǎn)組成,有13個(gè)語(yǔ)義類(lèi)別(窗戶(hù),墻壁,椅子等)。每個(gè)點(diǎn)包含歐幾里德坐標(biāo)和顏色信息。

3.2 實(shí)現(xiàn)細(xì)節(jié)

S3DIS數(shù)據(jù)集分為6個(gè)不同的區(qū)域(Area1-Area6)。本文使用Area5作為測(cè)試集,其余5個(gè)區(qū)域作為訓(xùn)練集。使用平均交聯(lián)(Intersection over Union,mIoU)作為語(yǔ)義分割性能的度量。

提出的DualRes-Net網(wǎng)絡(luò)是基于Pytorch框架實(shí)現(xiàn)的。實(shí)驗(yàn)在一臺(tái)配備N(xiāo)VIDIA RTX3080 GPU的服務(wù)器上進(jìn)行。訓(xùn)練時(shí),EPOCH設(shè)置為100,BatchSize設(shè)置為4,初始學(xué)習(xí)率設(shè)置為0.01,使用AdamW優(yōu)化器,使用余弦退火函數(shù)逐漸衰減學(xué)習(xí)率。

3.3 評(píng)估性能

DualRes-Net網(wǎng)絡(luò)和其他方法在S3DIS Area5上的量化語(yǔ)義分割性能如表1所示。

表1 S3DIS Area5的語(yǔ)義分割結(jié)果

表1展示了本文提出的DualRes-Net方法在S3DIS Area5上的定量語(yǔ)義分割性能,mIoU為63.7 %,OA為87.5 %,mAcc為70.8 %。與經(jīng)典的語(yǔ)義分割方法PointWeb、RandLA-Net和GACNet相比,該方法的mIoU分別提高了3.4 %、1.3 %和0.8 %。

為了證明我們提出的方法在語(yǔ)義分割方面的有效性,我們?cè)贏(yíng)rea5中可視化了三種不同類(lèi)型的房間,如圖5所示。

圖5 Area5的部分房間可視化結(jié)果

3.4 消融實(shí)驗(yàn)

為了驗(yàn)證DualRes-Net中三個(gè)關(guān)鍵模塊的有效性,在A(yíng)rea5上進(jìn)行了消融實(shí)驗(yàn)。

從表2可以看出(其中“√”表示采用該方法,“×”表示沒(méi)有采用該方法),如果移除PEM、DDAP和DDRes模塊,性能會(huì)下降8.9 %。加入位置編碼模塊PEM后,分割性能提高至55.6 %,比移除所有模塊提高1.8 %,說(shuō)明對(duì)點(diǎn)云的位置信息進(jìn)行編碼可以獲得有效的局部特征表示。與不添加殘差結(jié)構(gòu)Res相比,添加殘差結(jié)構(gòu)Res的模型性能提高了3.8 %,表明殘差結(jié)構(gòu)Res可以挖掘深度點(diǎn)云信息。與加入殘差結(jié)構(gòu)Res相比,加入去分化殘差模塊DDRes的模型性能提高了0.8 %,說(shuō)明分別對(duì)對(duì)坐標(biāo)和對(duì)應(yīng)點(diǎn)的其余特征應(yīng)用MLP可以穩(wěn)定模型訓(xùn)練,提高分割性能。最后,與不添加雙距離注意池模塊DDAP相比,添加DDAP可以使mIoU指標(biāo)提高3.5 %,表明該模塊可以有效地自適應(yīng)聚合局部信息。

表2 在A(yíng)rea5上的DualRes-Net消融實(shí)驗(yàn)結(jié)果

4 總 結(jié)

本文提出了DualRes-Net網(wǎng)絡(luò),以解決現(xiàn)有的許多點(diǎn)云分割方法對(duì)局部位置信息表示能力有限以及丟失重要特征信息的問(wèn)題。采用位置編碼模塊(PEM)對(duì)點(diǎn)坐標(biāo)進(jìn)行編碼,采用雙距離注意池(DDAP)模塊對(duì)局部特征信息進(jìn)行自適應(yīng)聚合,采用去分化殘差(DDRes)模塊挖掘深層點(diǎn)云特征,采用多層感知器(MLP)分別對(duì)坐標(biāo)和對(duì)應(yīng)點(diǎn)的其余特征進(jìn)行處理。實(shí)驗(yàn)結(jié)果表明,該方法的分割性能為mIoU 63.7 %,優(yōu)于許多現(xiàn)有點(diǎn)云語(yǔ)義分割的網(wǎng)絡(luò)。消融實(shí)驗(yàn)表明了PEM、DDAP和DDRes模塊的有效性。