基于Light-BotNet 的激光點(diǎn)云分類研究*

雷根華 ，王 蕾 ，2，張志勇

（1.東華理工大學(xué) 信息工程學(xué)院，江西 南昌 330013；2.江西省核地學(xué)數(shù)據(jù)科學(xué)與系統(tǒng)工程技術(shù)研究中心，江西 南昌 330013）

0 引言

大多的深度學(xué)習(xí)點(diǎn)云分類方法都是采用卷積層與池化層交替實(shí)現(xiàn)的，卷積層中的神經(jīng)元僅與上一層的部分區(qū)域相連接，學(xué)習(xí)局部特征，在點(diǎn)云數(shù)據(jù)特征提取時(shí)容易丟失部分特征，從而導(dǎo)致分類精度下降等問(wèn)題。而Transform 的提出則帶來(lái)了一種新的思路，主要利用自我注意機(jī)制提取內(nèi)在特征[1-3]。Transform 最初應(yīng)用在自然語(yǔ)言處理（NLP）領(lǐng)域，并且取得了重大的成功，受到NLP中Transformer 功能的啟發(fā)，研究人員開(kāi)始將Transformer應(yīng)用在計(jì)算機(jī)視覺(jué)（CV）任務(wù)。研究發(fā)現(xiàn)CNN 曾是視覺(jué)應(yīng)用的基本組件[4-5]，但Transformer 正在顯示其作為CNN替代品的能力。Chen 等人[6]訓(xùn)練序列變換器，以自回歸預(yù)測(cè)像素，并在圖像分類任務(wù)上與CNN 取得競(jìng)爭(zhēng)性結(jié)果。卷積操作擅長(zhǎng)提取細(xì)節(jié)，但是在大數(shù)據(jù)量的大場(chǎng)景三維點(diǎn)云數(shù)據(jù)分類任務(wù)中，要掌握三維點(diǎn)云的全局信息往往需要堆疊很多個(gè)卷積層，而Transform 中的注意力善于把握整體信息，但又需要大量的數(shù)據(jù)進(jìn)行訓(xùn)練。

BotNet[7]網(wǎng)絡(luò)是伯克利與谷歌的研究人員在Convolution+Transformer 組合方面一個(gè)探索，它采用混合方式同時(shí)利用了CNN 的特征提取能力、Transformer 的內(nèi)容自注意力與位置自注意力機(jī)制，取得了優(yōu)于純CNN 或者自注意力的性能，在ImageNet 中取得了84.7%的精度。將CNN與Transform 結(jié)合起來(lái)，達(dá)到取長(zhǎng)補(bǔ)短的效果。BoTNet 與ResNet[8]網(wǎng)絡(luò)框架的不同之處在于：ResNet[8]框架在最后3 個(gè)bottleneck blocks 中使用的是3×3 的空間卷積，而B(niǎo)otNet 框架則是采用全局自我注意替代空間卷積。帶自注意力模塊的Bottleneck 模塊可以視作Transformer 模塊。

本文通過(guò)改進(jìn)方法[7]，使用一種基于點(diǎn)的特征圖像生成方法，將框架應(yīng)用到三維點(diǎn)云任務(wù)中。對(duì)于特征提取方法中點(diǎn)云中的每個(gè)點(diǎn)，本文利用其相鄰點(diǎn)的局部特征組成點(diǎn)云特征圖像，然后使用點(diǎn)云特征圖像輸入到基于CNN 的Transform 的高效神經(jīng)網(wǎng)絡(luò)Light-BotNet 網(wǎng)絡(luò)模型并使用該模型做最后的激光點(diǎn)云分類任務(wù)。

1 框架

1.1 BotNet 網(wǎng)絡(luò)框架

BotNet 網(wǎng)絡(luò)框架是一種基于Transformer 的架構(gòu)，同時(shí)使用卷積和自我注意的混合模型，利用CNN+Transformer 的方式提出一種Bottleneck Transformer 來(lái)代替ResNet Bottleneck，即僅在ResNet 框架的最后3 個(gè)bottleneck blocks 中使用全局多頭自注意力 （Multi-Head Self-Attention，MHSA）替換3×3 空間卷積。該方法思想簡(jiǎn)單但是功能強(qiáng)大。由于引入Self-Attention 會(huì)導(dǎo)致計(jì)算量大與內(nèi)存占用過(guò)多，BotNet 在ResNet 框架的最后3 個(gè)bottleneck blocks 添加自注意力模塊。每個(gè)bottleneck 包含一個(gè)3×3 卷積，采用MHSA 替換該卷積，第一個(gè)Bottleneck 中的3×3 卷積stride=2，而MHSA 模塊并不支持stride 操作，故而B(niǎo)oTNet 采用2×2 均值池化進(jìn)行下采樣。傳統(tǒng)的Transformer 方法通常使用位置編碼，考慮了不同位置特征之間的相對(duì)距離，從而能夠有效地將對(duì)象之間的信息與位置感知關(guān)聯(lián)起來(lái)，更適合視覺(jué)任務(wù)[9-11]。BotNet 采用了文獻(xiàn)[9]、[12]中的2D 相對(duì)位置自我注意機(jī)制。類似于transformer block[3]或None Local block[13]方法。

1.2 基于Light-BotNet 的大場(chǎng)景點(diǎn)云分類框架

為了有效地從三維點(diǎn)云中挖掘有用的信息，采用了CNN 和Transform 結(jié)合的BotNet 框架，首先，分別從三維點(diǎn)云中提取這些特征，將得到的特征計(jì)算成點(diǎn)云的特征圖像[14]；然后將它們輸入Light-BotNet 網(wǎng)絡(luò)框架，Light-BotNet 網(wǎng)絡(luò)框架從點(diǎn)云特征圖像中選擇有用的信息來(lái)對(duì)三維點(diǎn)云進(jìn)行分類。

整體的大場(chǎng)景點(diǎn)云分類網(wǎng)絡(luò)框架如圖1 所示。首先是在三維和二維兩個(gè)不同的層面上進(jìn)行點(diǎn)云的特征提取，得到大小[N，32，32，1]的點(diǎn)云特征圖像，輸入Light-BotNet 網(wǎng)絡(luò)框架，可以看出總共有4 個(gè)網(wǎng)絡(luò)層塊（block），每一個(gè)block 的大小為[1，3，1，1]，在block_1 中Conv 參數(shù)為3×3 的卷積核和Channel 大小為64 的卷積層，block_2 的Conv 參數(shù)為3×3 和Channel 為64 的卷積層，block_3 中Conv 的參數(shù)為3×3 的卷積核和Channel 為64的卷積層，block_4 的Conv 參數(shù)為3×3 和Channel 為128的卷積層，通過(guò)這些卷積層可以提取點(diǎn)云特征圖像的特征信息，得到一個(gè)[128，K]的一維向量，得出分?jǐn)?shù)進(jìn)而輸出分類結(jié)果。

圖1 基于Light-BotNet 的大場(chǎng)景點(diǎn)云分類框架

本文采用了ResNet50 和BotNet50 網(wǎng)絡(luò)框架來(lái)與Light-BotNet 進(jìn)行對(duì)比，如表1 所示。

表1 幾種不同神經(jīng)網(wǎng)絡(luò)框架設(shè)計(jì)表

2 實(shí)驗(yàn)結(jié)果分析

本文在Oakland 3D 大場(chǎng)景三維點(diǎn)云數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，以驗(yàn)證基于Light-BotNet 大場(chǎng)景點(diǎn)云分類方法的有效性和魯棒性，對(duì)Oakland 3D 數(shù)據(jù)集中的實(shí)驗(yàn)分類結(jié)果進(jìn)行分析。

在Oakland 3D 三維大場(chǎng)景點(diǎn)云數(shù)據(jù)集上測(cè)試所提出的算法框架，該數(shù)據(jù)集來(lái)源于奧克蘭卡耐基梅隆大學(xué)的校園周邊場(chǎng)景，是使用最廣泛的地面移動(dòng)激光掃描（MLS）所獲取的數(shù)據(jù)集。該數(shù)據(jù)集主要是城市大場(chǎng)景環(huán)境。該數(shù)據(jù)集包括電線（Wire）、桿（Pole）、建筑立面（Facade）、地面（Ground）和植物（Vegetation）這5 個(gè)語(yǔ)義類別，其中每個(gè)類別的樣本數(shù)量如表2 所示。

表2 Oakland 數(shù)據(jù)集

實(shí)驗(yàn)運(yùn)行環(huán)境：Intel i7-4790、NVIDIA RTX 2070、8 GB 內(nèi)存，在Windows10 和Python3.7 下搭建CUDA 10.0、CUDNN7.6.4、PyTorch 0.6 的深度學(xué)習(xí)環(huán)境，初始學(xué)習(xí)率為1×10-3。

本文在Oakland 大場(chǎng)景三維點(diǎn)云數(shù)據(jù)集上分類任務(wù)的測(cè)試精度實(shí)驗(yàn)對(duì)比如表3 所示，其中OA 表示總體分類精度，在總體分類精度（OA）明顯要好于其他文獻(xiàn)的方法。實(shí)驗(yàn)結(jié)果表明，所提出的Light-BotNet 方法在Oakland 數(shù)據(jù)集上的總體分類精度達(dá)到了98.1%，與文獻(xiàn)[15]-[19]相比較，如圖2 所示的Oakland 3D 大場(chǎng)景三維點(diǎn)云分類結(jié)果可視化對(duì)比，其中圖2（a）是測(cè)試集的Ground Truth，圖2（b）是算法分類結(jié)果的可視化效果。

表3 Oakland 數(shù)據(jù)集對(duì)比精度 （%）

圖2 可視化效果圖

圖2 中1 表示地面，2 表示電線，3 表示電線桿，4表示墻面，5 表示植物。

可看到Oakland 測(cè)試集上分類后可視化效果與測(cè)試集真實(shí)標(biāo)簽可視化效果對(duì)比。從表3 對(duì)比數(shù)據(jù)以及圖2展示的效果來(lái)看，電線桿類（Pole）和線（Wire）這兩類別的分類精度分別為20.7%和18.0%，與其他的文獻(xiàn)相比較差。因?yàn)檫@些類別的點(diǎn)本來(lái)就是數(shù)據(jù)量少，當(dāng)對(duì)這些類別的點(diǎn)進(jìn)行在x、y、z 方向投影時(shí)，這一投影勢(shì)必會(huì)造成部分不同類別的點(diǎn)的重合覆蓋，從而影響計(jì)算該類點(diǎn)的二維特征精度的計(jì)算。但是對(duì)于類別的點(diǎn)比較有優(yōu)勢(shì)，類別多的覆蓋了類別少的點(diǎn)，所以在最終的結(jié)果呈現(xiàn)出類別多的點(diǎn)準(zhǔn)確率高，類別少的點(diǎn)準(zhǔn)確率低。

由于對(duì)比方法中涉及Oakland 大場(chǎng)景三維點(diǎn)云數(shù)據(jù)相關(guān)文獻(xiàn)[15-19]，為了證明本文所提基于通道注意力機(jī)制的深度卷積神經(jīng)網(wǎng)絡(luò)在時(shí)間和效率上的優(yōu)良性，針對(duì)在大場(chǎng)景三維點(diǎn)云的海量數(shù)據(jù)在訓(xùn)練過(guò)程中如何更好地平衡分類精度和實(shí)現(xiàn)效率問(wèn)題，通過(guò)對(duì)比Light-BotNet與ResNet50 和BotNet50 網(wǎng)絡(luò)框架在大場(chǎng)景三維點(diǎn)云數(shù)據(jù)集Oakland 和測(cè)試分類的性能與時(shí)間復(fù)雜度作為評(píng)價(jià)指標(biāo)來(lái)證明所提算法輕量級(jí)框架的優(yōu)良性，圖3 展示的是Light-BotNet 與ResNet50 和BotNet50 網(wǎng)絡(luò)框架在大場(chǎng)景三維點(diǎn)云Oakland 數(shù)據(jù)集上隨著輪數(shù)（epoch）增加對(duì)點(diǎn)云分類精度（accuary）的變化。

圖3 Light-BotNet 與Method_1 和Method_2 分類精度可視化

通過(guò)圖3 展示的效果可以看出，Backbone 分別為ResNet50 和BotNet50 的網(wǎng)絡(luò)模型，在分類精度上對(duì)比Light-BotNet 比較低，這在很大程度上是因?yàn)楸疚囊呀?jīng)對(duì)激光點(diǎn)云已經(jīng)進(jìn)行了一遍處理，所以在后面使用的網(wǎng)絡(luò)層模型應(yīng)該偏向于輕量級(jí)的網(wǎng)絡(luò)模型。本文也同在SVM 和Random Forest 方法上進(jìn)行驗(yàn)證分類結(jié)果，發(fā)現(xiàn)在分類結(jié)果上能夠達(dá)到90%左右的效果，在Backbone 為輕量級(jí)的網(wǎng)絡(luò)框架的效果[17]中，也能夠取得比較好的效果，雖然ResNet 網(wǎng)絡(luò)層模型可以適用于在一些比較深的網(wǎng)絡(luò)模型提取有效的特征，但是可能并不適用于本方法中。從結(jié)果可以看出，整體的實(shí)驗(yàn)分類結(jié)果具有很大的波動(dòng)性，雖然達(dá)到了一個(gè)比較好的效果，但是可能存在是研究結(jié)果出現(xiàn)過(guò)擬合的可能。BotNet50 Backbone 同理可證，在Light-BotNet 網(wǎng)絡(luò)框架設(shè)計(jì)上如表1 所示，在整體的網(wǎng)絡(luò)框架上，相比于ResNet50 和BotNet50 網(wǎng)絡(luò)框架，在網(wǎng)絡(luò)層上進(jìn)行了50%的刪減，形成一個(gè)相對(duì)輕量級(jí)的基于CNN 的Transform 網(wǎng)絡(luò)框架模型、在實(shí)驗(yàn)結(jié)果上，相比于ResNet50 和BotNet50，整體的分類結(jié)果比較穩(wěn)定，分類精度也高。

對(duì)比在Oakland 3D 數(shù)據(jù)集下Light-BotNet 與Bot-Net50、ResNet50 3 種不同網(wǎng)絡(luò)框架的分類精度，結(jié)果如表4 所示。

表4 網(wǎng)絡(luò)框架實(shí)驗(yàn)結(jié)果對(duì)比

對(duì)比不同網(wǎng)絡(luò)的參數(shù)，表5 展示了使用的不同網(wǎng)絡(luò)框架運(yùn)行點(diǎn)云分類的Flops 和Params 對(duì)比。從中可以看出，Backbone BotNet50 與ResNet50 在Flops 和Params 對(duì)比上差距不是很大，但是結(jié)合表4 來(lái)看，犧牲一部分的內(nèi)存和效率，可以換取到準(zhǔn)確率的提升。對(duì)比Light-BotNet，Light-BotNet 在Flops 和Params 上都降低近50%的消耗，準(zhǔn)確率也是達(dá)到了一個(gè)很好的效果，通過(guò)在同樣硬件環(huán)境配置下在不同的Backbone 的分類網(wǎng)絡(luò)框架中進(jìn)行實(shí)驗(yàn)，Light-BotNet 的Flops 消耗與Params 與其他相比都處于最低的效果。

表5 不同網(wǎng)絡(luò)框架的Flops 和Params 對(duì)比

由于對(duì)比方法中涉及Oakland 大場(chǎng)景三維點(diǎn)云數(shù)據(jù)相關(guān)文獻(xiàn)[15-19]，為了證明本文所提出基于Light-BotNet的激光點(diǎn)云分類方法，針對(duì)在大場(chǎng)景激光點(diǎn)云的海量數(shù)據(jù)在訓(xùn)練過(guò)程中Light-BotNet 對(duì)本框架的影響，本文對(duì)比了在本框架和去除掉MSHA 框架的實(shí)驗(yàn)結(jié)果，如圖4 所示，實(shí)驗(yàn)證明MHSA 有利于點(diǎn)云分類精度的提高。

圖4 無(wú)MSHA 的準(zhǔn)確率變化曲線

3 結(jié)論

針對(duì)大場(chǎng)景三維點(diǎn)云本身數(shù)據(jù)量巨大，存在計(jì)算量大、訓(xùn)練時(shí)間長(zhǎng)的挑戰(zhàn)，設(shè)計(jì)更為適合三維點(diǎn)云數(shù)據(jù)處理的輕量級(jí)卷積神經(jīng)網(wǎng)絡(luò)，在保證分類精度的同時(shí)盡可能減少了參數(shù)的數(shù)量和訓(xùn)練測(cè)試時(shí)間，使得網(wǎng)絡(luò)進(jìn)一步快速收斂以及減少計(jì)算量。本文提出一種基于Light-BotNet 低復(fù)雜度、輕量級(jí)框架，在取到較好的分類精度的基礎(chǔ)上減少了訓(xùn)練和測(cè)試時(shí)間，提升了整個(gè)網(wǎng)絡(luò)框架的性能。但是從每個(gè)類別的分類精度來(lái)看，對(duì)于Oakland 3D 數(shù)據(jù)集，本方法存在著一些不足之處，對(duì)一些數(shù)量占比少類別不友好，而對(duì)于一些數(shù)量多的類別來(lái)說(shuō)，可以達(dá)到一個(gè)非常好的效果，這是本文存在的一個(gè)缺點(diǎn)，需要在以后工作中進(jìn)行改進(jìn)。這種問(wèn)題的出現(xiàn)在很大程度上是因?yàn)楸疚脑谔崛↑c(diǎn)云特征圖像上存在著一些缺點(diǎn)，或許不應(yīng)該在xoy、yoz、xoz 3 個(gè)直平面進(jìn)行投影，或許應(yīng)該從一個(gè)有利于類別數(shù)量少的點(diǎn)的角度進(jìn)行投影，例如旋轉(zhuǎn)到某一個(gè)角度，能夠讓類別數(shù)量少的點(diǎn)受到其他類別少的點(diǎn)的影響盡可能少，這將是未來(lái)將繼續(xù)的工作。在未來(lái)工作內(nèi)容中，也會(huì)繼續(xù)探討在三維大場(chǎng)景點(diǎn)云數(shù)據(jù)同等數(shù)據(jù)容量下，對(duì)數(shù)據(jù)特性分析與提升深度學(xué)習(xí)框架本身的計(jì)算性能。