采用深度級聯(lián)卷積神經(jīng)網(wǎng)絡(luò)的三維點云識別與分割

楊 軍，黨吉圣

(蘭州交通大學(xué) 電子與信息工程學(xué)院，甘肅 蘭州 730070)

1 引 言

隨著三維建模技術(shù)以及深度傳感器的廣泛應(yīng)用，三維模型的數(shù)量呈現(xiàn)出爆炸式增長，三維模型的目標(biāo)識別和語義分割作為三維模型分析處理的前提和基礎(chǔ)，已成為機器視覺領(lǐng)域的一個重要研究課題。三維目標(biāo)識別和模型語義分割是通過比較各模型特征描述符之間的相似性和差異性來完成的，因此其關(guān)鍵問題是如何提取準(zhǔn)確而魯棒的三維特征描述符。傳統(tǒng)方法利用手工設(shè)計形狀描述符來提取三維模型的特征，如幾何形狀描述符[1]和熱核簽名描述符[2]等，但是手工設(shè)計的特征描述符良莠不齊，嚴(yán)重依賴專家經(jīng)驗，而且泛化能力較差。

近年來，深度學(xué)習(xí)[3-6]方法在機器視覺領(lǐng)域取得了一定的階段性成果，越來越多的學(xué)者開始嘗試采用深度學(xué)習(xí)方法來進行三維目標(biāo)識別和模型語義分割，主要方法分為基于多視圖的方法、基于體素的方法和基于點云表示的方法。

基于多視圖的方法。由于三維點云的不規(guī)則性，直接從三維點云數(shù)據(jù)中提取特征有一定的困難。文獻[7]首先對三維模型進行多方位渲染得到二維投影視圖，然后把二維多視圖作為訓(xùn)練數(shù)據(jù)輸入到經(jīng)典的VGG(Visual Geometry Group)[8]中訓(xùn)練并提取特征，最后通過視圖池化層把視圖特征聚合得到一維的全局特征描述符。該方法雖提高了三維模型識別的準(zhǔn)確率，但存在視圖特征冗余和三維模型幾何信息丟失的問題。

基于體素的方法。文獻[9]提出把不規(guī)則的點云數(shù)據(jù)規(guī)則化為3D體素網(wǎng)格的形式，然后使用三維卷積神經(jīng)網(wǎng)絡(luò)直接作用于3D體素數(shù)據(jù)提取特征描述符。文獻[10]將點云數(shù)據(jù)轉(zhuǎn)化為二值3D體素矩陣，通過附加正則化項的隨機梯度下降算法提取體素矩陣的特征，以此對模型類別進行預(yù)測。文獻[11]把不規(guī)則的點云數(shù)據(jù)體素化為規(guī)則的體素數(shù)據(jù)并進行旋轉(zhuǎn)擴充以增強網(wǎng)絡(luò)的泛化能力，并通過堆疊小卷積核構(gòu)建深度卷積神經(jīng)網(wǎng)絡(luò)挖掘模型內(nèi)部隱含信息，提取體素矩陣深層特征。上述算法雖然有效保留了模型的幾何結(jié)構(gòu)信息，但是體素化操作內(nèi)存消耗嚴(yán)重，使捕獲高分辨率信息和細(xì)粒度特征變得困難。由于對于低分辨率的模型識別精度不高，文獻[12]提出了空間劃分方法，但仍然缺乏捕捉局部幾何特征的能力。

基于點云表示的方法。該方法可直接利用矩陣運算對點云模型進行仿射變換，避免了把點云轉(zhuǎn)化為其他規(guī)則數(shù)據(jù)形式的繁雜操作，已廣泛應(yīng)用于計算機圖形學(xué)和機器視覺領(lǐng)域，如室內(nèi)導(dǎo)航[13]、自動駕駛[14]、機器人[15]以及車載激光雷達(dá)[16]等。對于三維目標(biāo)識別和語義分割，文獻[17]提出的PointNet網(wǎng)絡(luò)模型成為把深度學(xué)習(xí)框架直接作用于原始點云數(shù)據(jù)的先驅(qū)，但PointNet僅關(guān)注單個獨立點的特征，沒有考慮局部鄰域信息的重要性。文獻[18]提出了PointNet++網(wǎng)絡(luò)，通過劃分局部點云分層提取細(xì)粒度特征信息，對三維點云模型識別和語義分割展現(xiàn)出良好的性能。該網(wǎng)絡(luò)雖然有效捕獲了點云局部鄰域信息，但是沒有考慮局部鄰域內(nèi)點與點之間的距離度量，缺乏捕捉上下文細(xì)粒度局部幾何信息的能力，導(dǎo)致識別效果不佳。為此，本文提出了基于深度級聯(lián)卷積神經(jīng)網(wǎng)絡(luò)(Deep Cascade Convolutional Neural Network, DCCNN)的三維點云識別與分割方法，能夠有效捕捉點云模型的上下文深層細(xì)粒度局部幾何特征，提高了三維目標(biāo)識別和模型語義分割的精度。主要創(chuàng)新點和貢獻有：(1)通過在DGCNN[19](Dynamic Graph Convolutional Neural Network)中引入殘差學(xué)習(xí)加深網(wǎng)絡(luò)深度，構(gòu)建深度動態(tài)圖卷積神經(jīng)網(wǎng)絡(luò)以充分挖掘點云的深層語義幾何特征。(2)構(gòu)建深度級聯(lián)卷積神經(jīng)網(wǎng)絡(luò)。將深度動態(tài)圖卷積神經(jīng)網(wǎng)絡(luò)作為PointNet++[18]的子網(wǎng)絡(luò)遞歸地應(yīng)用于輸入點集的嵌套分區(qū)以提取點云模型的深層細(xì)粒度幾何特征。(3)針對點云的采樣密度不均勻?qū)е碌木W(wǎng)絡(luò)學(xué)習(xí)性能下降的問題，提出一種多尺度分組循環(huán)神經(jīng)網(wǎng)絡(luò)(Multi Scale Grouping-Recurrent Neural Network, MSG-RNN)編碼策略。通過編碼采樣點的不同尺度的鄰域幾何特征，來提取采樣點的上下文細(xì)粒度幾何特征以增強網(wǎng)絡(luò)的魯棒性。

2 深度級聯(lián)卷積神經(jīng)網(wǎng)絡(luò)

2.1 深度動態(tài)圖卷積神經(jīng)網(wǎng)絡(luò)

為了捕捉三維點云的局部幾何特征，DGCNN[19]通過度量相鄰點之間的距離關(guān)系，提出了邊緣卷積層(Edge Convolution, EdgeConv)操作，一定程度上提高了網(wǎng)絡(luò)識別性能，但網(wǎng)絡(luò)深度較淺，無法捕捉更抽象的深層語義特征信息。受文獻[20]啟發(fā)，本文在DGCNN的基礎(chǔ)上構(gòu)建深度動態(tài)圖卷積神經(jīng)網(wǎng)絡(luò)(Deep Dynamic Graph Convolutional Neural Network, DDGCNN)，以充分挖掘點云的深層語義幾何特征，網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。DDGCNN由6個EdgeConv層、1個MLP層和1個最大池化層構(gòu)成，EdgeConv層結(jié)構(gòu)如圖1下方子圖所示。DDGCNN的輸入為特征維度為F的k+1個點構(gòu)成的局部點云X={x1,x2,...,x(k+1)|x(k+1)∈g}，采用7個卷積層把點云中的每個點的原始特征映射到高維特征空間，卷積層的各層參數(shù)如表1所示。本網(wǎng)絡(luò)把前層動態(tài)圖的低級特征連接到后層動態(tài)圖的高級特征中，避免了梯度消失問題的同時，加深了網(wǎng)絡(luò)深度，有助于提取更具有代表性的深層語義特征信息。DDGCNN與DGCNN[19]的不同之處在于：(1)通過殘差學(xué)習(xí)[21]將來自不同動態(tài)圖的不同層次的特征相互連接，避免了梯度消失問題。(2)增加了卷積層的數(shù)目，以充分挖掘深層語義幾何特征。(3)去除了空間轉(zhuǎn)換網(wǎng)絡(luò)，減少了網(wǎng)絡(luò)參數(shù)，降低了過擬合風(fēng)險。

圖1 深度動態(tài)圖卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Network structure of deep dynamic graph convolutional neural network

表1 卷積層各層參數(shù)Tab.1 Parameters of each convolution layer

2.2 深度級聯(lián)卷積神經(jīng)網(wǎng)絡(luò)

在PointNet++[18]網(wǎng)絡(luò)中，集合抽象層中采用PointNet提取分組層的局部特征，然而，PointNet缺乏捕捉局部幾何結(jié)構(gòu)信息的能力。本文將DDGCNN作為PointNet++的子網(wǎng)絡(luò)以構(gòu)建深度級聯(lián)卷積神經(jīng)網(wǎng)絡(luò)(Deep Cascade Convolutional Neural Network, DCCNN)，該網(wǎng)絡(luò)包含了3個集合抽象層，網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。網(wǎng)絡(luò)的輸入是大小為N×(C+d)的點云矩陣，其中N為點的數(shù)目，d為點的x，y，z3個坐標(biāo)維度，C為點的特征維度。第1個集合抽象層首先對整個輸入點云采用迭代最遠(yuǎn)點采樣算法采樣N1個點，對每個采樣點采用k最近鄰算法搜索距離采樣點最近的k個點構(gòu)建每個采樣點的k鄰域分組，即得到大小為N1×(k+1)×(C+d)的點云矩陣，然后采用DDGCNN提取每個分組的深層語義幾何特征，得到N1個特征維度為C1的點構(gòu)成的新點云，再次輸入第2個集合抽象層經(jīng)過采樣分組得到大小為N2×(k+1)×(C1+d))的點云矩陣，采用DDGCNN提取特征后得到大小為N2×(C2+d)的點云矩陣。對于分類(Classification)任務(wù)，將該點云矩陣輸入第3個集合抽象層，以此遞歸抽象整個點云，得到能表示整個點云的一維特征向量C3。然后采用3個全連接層MLP(512，256，R)對全局特征向量進行降維轉(zhuǎn)換，最后采用Softmax分類器計算分類分?jǐn)?shù)。對于分割(Segmentation)任務(wù)，為了獲取每個點的點級別的特征，在網(wǎng)絡(luò)中引入兩個插值層[18]，通過上采樣將特征從形狀級別傳播到點級別，并采用MLP和Selu促進點特征的提取，最后網(wǎng)絡(luò)輸出每個點的預(yù)測標(biāo)簽。

本文采用三維空間中點與點之間的歐氏距離來實現(xiàn)特征傳播，由點o與其k最近鄰點oi的歐幾里得距離插值而成。計算公式如式(1)所示：

(1)

其中：

u(oi)=1/(o-oi)2.

(2)

2.3 密度自適應(yīng)層

現(xiàn)實生活中，在3D掃描儀生成點云數(shù)據(jù)時，由于透視效應(yīng)、徑向密度變化等因素的干擾，采集到的點云的密度在不同區(qū)域往往是不均勻的，這種不均勻性增加了點集特征學(xué)習(xí)的難度。本文構(gòu)建的DCCNN在采樣分組時是采用單尺度分組(Single Scale Grouping, SSG)，在密度均勻的點云數(shù)據(jù)集上表現(xiàn)良好，而對于密度不均勻的采樣點集的特征學(xué)習(xí)效果并不理想。為此，本文構(gòu)建多尺度分組循環(huán)神經(jīng)網(wǎng)絡(luò) (Multi Scale Grouping-Recurrent Neural Network, MSG-RNN) 編碼策略，在輸入點集密度不均勻時能夠自動結(jié)合每個采樣點的多個不同尺度的上下文鄰域特征以增強網(wǎng)絡(luò)的魯棒性。本文將采用MSG-RNN編碼策略的DCCNN命名為上下文深度級聯(lián)卷積神經(jīng)網(wǎng)絡(luò)(Contextual-Deep Cascade Convolutional Neural Network, C-DCCNN)。

(3)

其中：f為一個非線性激活函數(shù)，實驗中采用LSTM單元。ht-1為編碼上一個鄰域的幾何特征時的隱藏層狀態(tài)。在RNN編碼采樣點的第t個鄰域的特征向量時，編碼器的輸出vt如公式(4)所示：

vt=Waht,

(4)

圖3 MSG-RNN策略Fig.3 MSG-RNN strategy

3 實驗結(jié)果與分析

3.1 實驗數(shù)據(jù)集

對于三維目標(biāo)識別任務(wù)，選擇ModelNet40[22]和ModelNet10[22]兩個標(biāo)準(zhǔn)數(shù)據(jù)集進行實驗。ModelNet40共有40個類別的12 311個CAD模型，其中9 843個模型用于網(wǎng)絡(luò)訓(xùn)練，2 468個模型用于網(wǎng)絡(luò)測試。ModelNet10共有10個類別的4 899個CAD模型，3 991個用于訓(xùn)練，908個用于測試。對于三維模型語義分割任務(wù)，分別采用部件語義分割數(shù)據(jù)集ShapeNet Part[23]、室內(nèi)場景語義分割數(shù)據(jù)集S3DIS[24]和戶外自動駕駛場景語義分割數(shù)據(jù)集vKITTI[27]進行實驗。ShapeNet Part數(shù)據(jù)集包含16個類別的16 881個CAD模型，共有50個部件語義標(biāo)簽。S3DIS是一個室內(nèi)大規(guī)模點云數(shù)據(jù)集，包含6個室內(nèi)區(qū)域，共272個房間，其中所有點標(biāo)注為木板(Board)、書柜(Bookcase)、椅子(Chair)、天花板(Ceiling)和橫梁(Beam)等13個語義類別。vKITTI是一個自動駕駛實際場景的戶外大規(guī)模點云數(shù)據(jù)集，分為6個不同的城市場景，其中所有點標(biāo)注為自動駕駛場景中的汽車(Car)、樹木(Tree)、建筑物(Building)、馬路(Road)、交通燈(Traffic Light)和行人(Pole)等13個語義類別。

3.2 參數(shù)設(shè)置

實驗采用基于動量的隨機梯度下降 (Stochastic Gradient Descent, SGD) 優(yōu)化算法，動量因子為0.9，初始學(xué)習(xí)率為0.001，學(xué)習(xí)率衰減指數(shù)為0.7，衰減速度為200 000。采用Adam算法來更新SGD的步長，網(wǎng)絡(luò)參數(shù)初始化采用Xavier優(yōu)化器，批處理歸一化的衰減率初始值為0.5，最終值為0.99。激活函數(shù)采用Selu以緩解梯度消失，增加網(wǎng)絡(luò)非線性擬合能力。為了防止過擬合，在全連接層采用Dropout_Selu函數(shù)[26]，除最后一層外，所有層都包含批處理規(guī)范化。

3.3 三維目標(biāo)識別實驗結(jié)果分析

為了探究本文構(gòu)建的DDGCNN和C-DCCNN的有效性，分別在ModelNet40數(shù)據(jù)集上對DGCNN(BASELINE)[19]，DDGCNN和C-DCCNN三個網(wǎng)絡(luò)進行訓(xùn)練并測試，實驗結(jié)果如表2所示。DGCNN(BASELINE)為去除空間轉(zhuǎn)換網(wǎng)絡(luò)的DGCNN。可以看出，在DGCNN(BASELINE)中引入殘差學(xué)習(xí)構(gòu)建的DDGCNN的識別準(zhǔn)確率比DGCNN(BASELINE)提高了0.2%，驗證了DDGCNN能夠有效捕獲深層語義幾何特征的能力。在PointNet++網(wǎng)絡(luò)中嵌入DDGCNN構(gòu)建的C-DCCNN的識別準(zhǔn)確率比DDGCNN高出0.5%，因為C-DCCNN采用分層特征學(xué)習(xí)策略能夠捕捉細(xì)粒度局部幾何特征，同時MSG-RNN在編碼多尺度特征向量時可以有效結(jié)合上下文信息。

表2 不同算法的三維模型識別準(zhǔn)確率比較

Tab.2 Comparison of the accuracy of 3D models recognition among different algorithms

(%)

為了驗證本文算法的優(yōu)越性，在ModelNet40和ModelNet10數(shù)據(jù)集上分別與其他先進方法進行了對比實驗，結(jié)果如表3所示?？梢钥闯?，本文算法的識別準(zhǔn)確率明顯優(yōu)于其他主流算法。原因在于本文算法通過構(gòu)建DDGCNN能夠有效提取點云模型的深層語義幾何特征，并采用分層特征學(xué)習(xí)策略充分挖掘了三維模型的上下文細(xì)粒度深層幾何特征。此外，表4比較了本文算法與PointNet算法在ModelNet40數(shù)據(jù)集上各類別模型的識別準(zhǔn)確率。對于測試集中的40類點云模型，其中有27類本文算法的識別準(zhǔn)確率高于PointNet算法，有11類本文算法與PointNet算法的識別準(zhǔn)確率相同，只有2類本文算法的識別準(zhǔn)確率低于PointNet算法，充分證明了本文算法的優(yōu)越性。從表中還可以看出，本文算法以及PointNet算法對花盆(Flower pot)這一類別的模型識別準(zhǔn)確率最低，而且遠(yuǎn)低于其他類模型，原因在于花盆(Flower pot)類部分模型只包含花盆(Flower pot)，而部分模型同時包含了花盆(Flower pot)和植物(Plant)，因此與植物(Plant)類造成了混淆，所以難以識別。圖4給出了在ModelNet40測試集上測試得到的幾種典型的誤分類模型實例。圖中從第1列到第4列分別為真實值、預(yù)測值、真實值與預(yù)測值的共同結(jié)構(gòu)、標(biāo)簽信息?？梢钥闯觯e誤預(yù)測的模型和真實的模型之間均具有相同的局部結(jié)構(gòu)。例如在圖4第1行中，真實的標(biāo)簽是花盆(Flower pot)，而本文算法預(yù)測為花瓶(Vase)，預(yù)測錯誤的原因在于它們的共同局部結(jié)構(gòu)瓶嘴。在圖4第2行中，真實的標(biāo)簽是花盆(Flower pot)，而本文算法預(yù)測為植物(Plant)，造成預(yù)測錯誤的原因在于花盆(Flower pot)類部分模型里有植物(Plant)。所以，本文算法對于如何排除干擾的局部特征，只關(guān)注顯著結(jié)構(gòu)特征，還需要進一步提高。

圖4 錯誤預(yù)測的點云模型實例Fig.4 Examples of mispredicted point cloud models

圖5和圖6分別給出了本文算法在ModelNet40數(shù)據(jù)集上模型識別準(zhǔn)確率、訓(xùn)練誤差與迭代次數(shù)的統(tǒng)計結(jié)果，其中，橫坐標(biāo)均為訓(xùn)練迭代次數(shù)，圖5縱坐標(biāo)為識別準(zhǔn)確率，圖6縱坐標(biāo)為訓(xùn)練誤差(彩圖見期刊電子版)。陰影線表示原始迭代數(shù)據(jù)，橙色曲線表示經(jīng)過平滑后的迭代結(jié)果。由圖可見，在訓(xùn)練初期，隨著迭代次數(shù)的增加，識別準(zhǔn)確率逐漸提高，訓(xùn)練誤差呈下降趨勢，因為網(wǎng)絡(luò)訓(xùn)練過程中不斷優(yōu)化參數(shù)，由卷積層學(xué)習(xí)到的特征對數(shù)據(jù)集中模型的描述準(zhǔn)確度不斷提高。當(dāng)?shù)螖?shù)達(dá)到40 000次時，識別準(zhǔn)確率和訓(xùn)練誤差趨于穩(wěn)定，網(wǎng)絡(luò)趨于收斂，說明網(wǎng)絡(luò)中的參數(shù)已達(dá)到最優(yōu)。圖5和圖6充分驗證了本文網(wǎng)絡(luò)具有在訓(xùn)練過程中能夠不斷提取三維模型的有效特征的能力。

圖5 迭代次數(shù)與模型識別準(zhǔn)確率的統(tǒng)計結(jié)果Fig.5 Statistical results of iteration times and model recognition accuracy

圖6 迭代次數(shù)與訓(xùn)練誤差的統(tǒng)計結(jié)果Fig.6 Statistical results of iteration times and training error

表4 ModelNet40數(shù)據(jù)集上每一類識別準(zhǔn)確率的對比Tab.4 Comparison of per-class accuracy of object recognition on ModelNet40 dataset (%)

與此同時，為了繼續(xù)探究本算法對于稀疏點云的魯棒性，采用不同密度的數(shù)據(jù)集進行實驗。由于ModelNet40數(shù)據(jù)集中的三維模型都是密度均勻的，為了得到密度不均勻的數(shù)據(jù)集，對數(shù)據(jù)集中的三維點云模型做以下預(yù)處理：首先采用隨機輸入丟棄策略以隨機概率對輸入點進行隨機丟棄，即對輸入的點云模型，以p(p≤1)的比例選擇待丟棄點集，對于待丟棄點集中的每個點以概率q進行丟棄，為了避免空集，設(shè)置p=0.90，以此得到具有不同密度的點云模型，如圖7左側(cè)所示。分別將訓(xùn)練好的網(wǎng)絡(luò)模型在密度不同的數(shù)據(jù)集進行測試，實驗結(jié)果如圖7右側(cè)所示。其中，DP表示訓(xùn)練期間的輸入點隨機丟棄策略，SSG為每層集合抽象層中使用單一尺度分組的DCCNN網(wǎng)絡(luò)。可以看出，隨著點數(shù)的減少，SSG的識別準(zhǔn)確率明顯下降，原因在于SSG采用DDGCNN提取點云的局部深層幾何特征，點數(shù)的減少破壞了局部幾何結(jié)構(gòu)。PointNet在點數(shù)減少時網(wǎng)絡(luò)穩(wěn)健性強于SSG，因為它專注于全局特征而不是精細(xì)局部細(xì)節(jié)，然而點數(shù)的減少也使其識別準(zhǔn)確率明顯下降。PointNet+DP(在訓(xùn)練期間采用輸入點隨機丟棄策略的PointNet)網(wǎng)絡(luò)魯棒性明顯優(yōu)于PointNet，因為在訓(xùn)練期間隨機輸入丟棄策略可以增強網(wǎng)絡(luò)學(xué)習(xí)稀疏點云特征的能力。SSG+DP(在訓(xùn)練期間采用輸入點隨機丟棄策略的SSG)在測試期間點數(shù)從1 024減少到256時，識別準(zhǔn)確率下降不到3%，原因在于隨機輸入丟棄策略增強了網(wǎng)絡(luò)的魯棒性，但隨著點數(shù)減少到128時識別準(zhǔn)確率明顯下降。本文提出的密度自適應(yīng)層MSG-RNN+DP(在訓(xùn)練期間采用輸入點隨機丟棄策略和多尺度分組RNN編碼策略)對于點云密度變化非常穩(wěn)健，從1 024個點減少到256個點時，MSG-RNN+DP的識別準(zhǔn)確率下降不到1%。與其他方法相比，MSG-RNN+DP幾乎在所有點云采樣密度上都實現(xiàn)了最佳性能，展現(xiàn)了最好的魯棒性。

3.4 三維模型語義分割實驗結(jié)果分析

與三維目標(biāo)識別相比，三維模型語義分割需要更精細(xì)地識別每個點的語義類別，所以是一項更具挑戰(zhàn)性的任務(wù)。為了進一步分析本文算法處理三維點云細(xì)粒度任務(wù)的能力，在ShapeNet Part數(shù)據(jù)集上進行了語義分割實驗，并與其他主流算法進行了對比，評價指標(biāo)為文獻[17]中采用的交并比(Intersection-over-Union, IoU)，實驗結(jié)果如表5和表6所示。

表5 不同算法在ShapeNet Part數(shù)據(jù)集上平均交并比的比較

Tab.5 Comparison of mIoU of different algorithms on ShapeNet Part dataset (%)

AlgorithmsAccuracyKd-Net[12]82.3PointNet[17]83.7PointNet++[18]85.1DGCNN [19]85.1Ours85.6

表6 不同算法在ShapeNet Part數(shù)據(jù)集上的各類別的交并比的比較Tab.6 Comparison of IoU of each category of different algorithms on ShapeNet Part dataset (%)

圖8 ShapeNet Part數(shù)據(jù)集上語義分割模型可視化Fig.8 Visualization of semantic segmentation models on ShapeNet Part dataset

可以看出，本文算法以85.6%的mIoU獲得了最好的語義分割性能。圖8所示為C-DCCNN和PointNet在ShapeNet Part數(shù)據(jù)集上的語義分割可視化效果圖，在第3列和第5列的錯分結(jié)果可視化中，藍(lán)色表示預(yù)測正確，紅色表示預(yù)測錯誤(彩圖見期刊電子版)。與PointNet相比，本算法的語義分割結(jié)果與標(biāo)準(zhǔn)分割結(jié)果高度一致，尤其細(xì)粒度細(xì)節(jié)處的分割準(zhǔn)確率明顯提升，如臺燈(Lamp)柱身的底端、手槍(Pistol)的握柄處等，進一步驗證了本文算法具有能夠捕獲點云深層細(xì)粒度幾何特征的能力。

為了驗證本文算法同樣適用于大規(guī)模點云場景分析，在三維室內(nèi)場景語義分割數(shù)據(jù)集S3DIS和戶外自動駕駛實際場景的語義分割數(shù)據(jù)集vKITTI上分別對C-DCCNN進行了訓(xùn)練和測試，并與主流算法進行了對比，實驗結(jié)果如表7和表8所示?？梢钥闯?，本文算法的分割準(zhǔn)確率均優(yōu)于其他主流算法。除了定量分析外，圖9和圖10分別展示了定性的語義分割模型可視化效果圖。從圖9中可以看出，C-DCCNN能夠糾正PointNet預(yù)測錯誤的點，獲得更準(zhǔn)確的分割結(jié)果，并且挖掘了PointNet所遺漏的細(xì)粒度細(xì)節(jié)信息。例如，椅子(Chair)的腿在很大程度上得到了保留，門(Door)的預(yù)測也比PointNet更準(zhǔn)確。事實上，門(Door)和墻(Wall)在幾何形狀上極其相似，但是本文算法有效結(jié)合了門的上下文位置信息(門框的特征)，可以更好地預(yù)測門(Door)這一類別，進一步證明了MSG-RNN編碼策略能夠有效結(jié)合上下文幾何信息的能力。從圖10中可以看出，本文算法整體分割錯誤率相比于PointNet有所減少，尤其對于馬路(Road)和地帶(Terrain)這兩類語義的分割準(zhǔn)確性提高最為明顯。原因在于地帶(Terrain)和馬路(Road)在幾何形狀上極其相似，區(qū)別在于地帶(Terrain)中有樹木(Tree)，馬路(Road)中沒有樹木(Tree)，單純提取馬路(Road)和地帶(Terrain)的幾何特征很難區(qū)分這兩類語義，需結(jié)合其上下文信息。由此進一步驗證了本文算法具有提取上下文細(xì)粒度局部幾何特征的能力。然而，本文算法對于同時存在上下文信息車(Car)的地帶(Terrain)和馬路(Road)識別混淆，可見本文算法對鄰域上下文信息缺乏自適應(yīng)篩選能力。

表7 S3DIS數(shù)據(jù)集上不同算法的分割準(zhǔn)確率對比

Tab.7 Comparison of segmentation accuracy of different algorithms on S3DIS dataset (%)

AlgorithmmIoUOAPointNet [17]47.678.5MS+CU [25]47.879.2G+RCU [25]49.781.1PointNet++ [18]54.581.0DGCNN [19]56.184.1Ours58.386.0

表8 vKITTI數(shù)據(jù)集上不同算法的分割準(zhǔn)確率對比

Tab.8 Comparison of segmentation accuracy of different algorithms on vKITTI dataset (%)

AlgorithmsOAmAccmIoUPointNet [17]79.747.034.4G+RCU [25]80.649.736.2Ours82.551.838.6

圖9 S3DIS數(shù)據(jù)集上語義分割模型可視化Fig.9 Visualization of semantic segmentation models on S3DIS dataset

4 結(jié) 論

本文提出了一種基于深度級聯(lián)卷積神經(jīng)網(wǎng)絡(luò)的三維目標(biāo)識別和模型語義分割方法。通過構(gòu)建深度動態(tài)圖卷積神經(jīng)網(wǎng)絡(luò)作為深度級聯(lián)卷積神經(jīng)網(wǎng)絡(luò)的子網(wǎng)絡(luò)，對輸入點集進行分層學(xué)習(xí)以捕捉點云的深層隱含細(xì)粒度幾何特征。為了提高在非均勻采樣點云上的特征學(xué)習(xí)能力，構(gòu)建了MSG-RNN密度自適應(yīng)層編碼策略，可以根據(jù)局部點云密度利用RNN編碼器自適應(yīng)地聚合不同尺度的上下文幾何信息，增強了網(wǎng)絡(luò)的魯棒性。實驗結(jié)果表明，本文算法在三維目標(biāo)識別數(shù)據(jù)集ModelNet40和ModelNet10上的識別準(zhǔn)確率分別為91.9%，94.3%，在模型語義分割數(shù)據(jù)集ShapeNet Part,S3DIS,vKITTI上的mIoU分別為85.6%，58.3%，38.6%。在三維點云目標(biāo)識別準(zhǔn)確率、語義分割準(zhǔn)確率和網(wǎng)絡(luò)魯棒性上都優(yōu)于其他主流算法。實驗中發(fā)現(xiàn)，本文算法對如何忽略次要干擾局部特征，只關(guān)注顯著局部特征還存在改進的空間，這也是今后要繼續(xù)研究的方向。