基于三維激光點(diǎn)云的苗圃場(chǎng)景多目標(biāo)分類(lèi)方法

劉慧，王秀麗，沈躍，徐婕

(江蘇大學(xué) 電氣信息工程學(xué)院，江蘇 鎮(zhèn)江 212013)

我國(guó)是世界上林業(yè)面積最大的國(guó)家之一，病蟲(chóng)害的防治是林業(yè)管理的重要部分，繁重的農(nóng)藥噴灑作業(yè)需求使得噴霧機(jī)器人技術(shù)的應(yīng)用顯得尤為重要[1-4].噴霧機(jī)器人實(shí)現(xiàn)自主作業(yè)的前提是精確感知并檢測(cè)到目標(biāo)，隨后是執(zhí)行精準(zhǔn)對(duì)靶噴霧的作業(yè)[5-6].

農(nóng)業(yè)領(lǐng)域常用算法大多基于二維圖像.早期的研究主要采用傳統(tǒng)圖像處理的方法，Chen 等[7]利用梯度直方圖和支持向量機(jī)訓(xùn)練初始樹(shù)干分類(lèi)器，提取直方圖特征，提高分類(lèi)器識(shí)別精度.白帆等[8]利用最大熵閾值和GrabCut 算法分割花朵圖像.傳統(tǒng)算法雖然應(yīng)用在特定場(chǎng)景效果好，但是泛化能力以及魯棒性較差.基于圖像的深度學(xué)習(xí)目標(biāo)檢測(cè)方法具有強(qiáng)大的特征學(xué)習(xí)能力、自適應(yīng)性和魯棒性，能夠達(dá)到很高的檢測(cè)精度，常用的目標(biāo)檢測(cè)網(wǎng)絡(luò)包括SSD[9]、YOLO 系列[10-12]，已經(jīng)廣泛應(yīng)用于農(nóng)業(yè)領(lǐng)域.劉慧等[13]采用改進(jìn)的SSD 方法實(shí)現(xiàn)果園行人的實(shí)時(shí)檢測(cè).蔡舒平等[14]采用改進(jìn)型的YOLOv4 網(wǎng)絡(luò)實(shí)現(xiàn)了對(duì)果園障礙物的實(shí)時(shí)檢測(cè).

圖像數(shù)據(jù)的采集易受光照、拍攝角度的影響，導(dǎo)致獲取的有效信息有限，不能準(zhǔn)確反映目標(biāo)的特征，影響識(shí)別效果.與二維圖像相比，三維點(diǎn)云不受外部環(huán)境因素的影響，具有豐富的空間信息，因此基于三維點(diǎn)云的方法被引入目標(biāo)分類(lèi)中.基于點(diǎn)云的分類(lèi)方法主要分為傳統(tǒng)的機(jī)器學(xué)習(xí)方法和深度學(xué)習(xí)方法.傳統(tǒng)的機(jī)器學(xué)習(xí)方法主要包括基于隨機(jī)森林(RF)[15]、支持向量機(jī)(SVM)[16]，基于深度學(xué)習(xí)的點(diǎn)云分類(lèi)方法分為間接基于點(diǎn)云的方法和直接基于點(diǎn)云的方法.間接基于點(diǎn)云的方法包括基于多視圖、體素方法[17-20]，這些方法均通過(guò)將不規(guī)則的三維點(diǎn)云數(shù)據(jù)轉(zhuǎn)換為其他規(guī)則化的格式來(lái)實(shí)現(xiàn)分類(lèi)，會(huì)丟失點(diǎn)云的三維空間信息和固有的幾何屬性，還會(huì)增加計(jì)算的復(fù)雜度，因此只能用于小型或特定的場(chǎng)景，難以滿(mǎn)足大范圍復(fù)雜場(chǎng)景下的分類(lèi)要求.直接基于點(diǎn)云的方法能夠充分利用點(diǎn)云數(shù)據(jù)的幾何特性，最大程度上保留了原有的空間特征.PointNet[21]是這類(lèi)方法的先驅(qū)，它通過(guò)直接對(duì)原始點(diǎn)云數(shù)據(jù)進(jìn)行處理，將未處理的無(wú)規(guī)則點(diǎn)云數(shù)據(jù)輸入網(wǎng)絡(luò)，避免了信息的丟失，缺點(diǎn)是只考慮了全局特征，忽略了局部特征.Qi 等[22]提出PointNet++網(wǎng)絡(luò)以最遠(yuǎn)點(diǎn)采樣的方式將輸入點(diǎn)集劃分局部區(qū)域，在局部區(qū)域上使用PointNet 捕獲局部特征，提高了點(diǎn)云分類(lèi)精度.基于深度學(xué)習(xí)的點(diǎn)云分類(lèi)方法效果顯著，在農(nóng)業(yè)領(lǐng)域得到進(jìn)一步應(yīng)用.王浩云等[23]使用KinectV2相機(jī)獲取綠蘿葉片點(diǎn)云數(shù)據(jù)，提出基于多分辨率編碼點(diǎn)云深度學(xué)習(xí)網(wǎng)絡(luò)和自編碼器模型，估測(cè)了綠蘿葉片的外形.Jayakumari 等[24]對(duì)PointNet 框架進(jìn)行改進(jìn)，提出CropPointNet 深度卷積神經(jīng)網(wǎng)絡(luò)，對(duì)蔬菜作物進(jìn)行了分類(lèi).Qian 等[25]增加了PointNet網(wǎng)絡(luò)的跨層次特征連接結(jié)構(gòu)，以便更好地提取水稻種子的表面結(jié)構(gòu)特征，實(shí)現(xiàn)了水稻品種的高效分類(lèi).以上研究表明，直接基于點(diǎn)的深度學(xué)習(xí)方法可以充分利用數(shù)據(jù)特征，對(duì)目標(biāo)進(jìn)行較為準(zhǔn)確的分類(lèi).

由于采用直接基于點(diǎn)的深度學(xué)習(xí)方法對(duì)苗圃場(chǎng)景進(jìn)行多目標(biāo)分類(lèi)的研究較少.為了實(shí)現(xiàn)苗圃場(chǎng)景多目標(biāo)分類(lèi)任務(wù)，本研究提出基于融入卷積塊注意力模塊的PointNet++多目標(biāo)分類(lèi)網(wǎng)絡(luò).以PointNet++網(wǎng)絡(luò)為基礎(chǔ)，通過(guò)在特征提取層中嵌入注意力機(jī)制模塊，從通道、空間2 個(gè)維度篩選特征，加權(quán)輸出特征來(lái)提取關(guān)鍵特征，在降低參數(shù)量的同時(shí)增強(qiáng)網(wǎng)絡(luò)的特征學(xué)習(xí)能力.引入LeakyReLU激活函數(shù)避免負(fù)值時(shí)梯度消失問(wèn)題.采集6 類(lèi)苗圃中的常見(jiàn)目標(biāo)制作數(shù)據(jù)集，來(lái)驗(yàn)證所提方法的多目標(biāo)分類(lèi)準(zhǔn)確性，給農(nóng)業(yè)機(jī)器人的分類(lèi)作業(yè)任務(wù)提供參考.

1 材料與方法

1.1 點(diǎn)云數(shù)據(jù)采集

數(shù)據(jù)集采集地點(diǎn)為江蘇省鎮(zhèn)江市的一處苗圃，采集方式為大疆激光雷達(dá)Livox Horizon 掃描，采集時(shí)間為2021 年11 月至2022 年5 月，采集數(shù)據(jù)包含冬季和春季不同狀態(tài)的樹(shù)木，數(shù)據(jù)采集的場(chǎng)景如圖1 所示，激光雷達(dá)參數(shù)見(jiàn)表1.每次從不同角度、不同位置掃描目標(biāo)樣本，分別采集不同類(lèi)別的樣本點(diǎn)云數(shù)據(jù).考慮到農(nóng)業(yè)機(jī)器人在苗圃中進(jìn)行作業(yè)時(shí)可能會(huì)遇到的各種靶標(biāo)(不同高度、不同形態(tài)的樹(shù)木) 和非靶標(biāo)（如指示牌、行人、其他），將靶標(biāo)根據(jù)樹(shù)木高度與冠層密度劃分為高樹(shù)、灌木、枯樹(shù)，冠層密度不同設(shè)置的噴藥量不同，非靶標(biāo)則避開(kāi)不進(jìn)行作業(yè).苗圃點(diǎn)云數(shù)據(jù)集分為高樹(shù)、灌木、枯樹(shù)、行人、指示牌和其他(不含樹(shù)木的種植盆) 6 種類(lèi)別標(biāo)簽.

表1 Livox Horizon 激光掃描儀的設(shè)備參數(shù)Tab.1 Specifications of Livox Horizon laser scanner

圖1 苗圃點(diǎn)云數(shù)據(jù)采集場(chǎng)景Fig.1 Nursery point cloud data acquisition scene

1.2 預(yù)處理

1.2.1 點(diǎn)云處理 通過(guò)CloudCompare 軟件對(duì)采集的數(shù)據(jù)文件進(jìn)行預(yù)處理.考慮到點(diǎn)云近密遠(yuǎn)疏特性，處理數(shù)據(jù)時(shí)一般取雷達(dá)掃描范圍為[0, 10] m的、密度合適的點(diǎn)云數(shù)據(jù).原始點(diǎn)云的大小不一，通過(guò)點(diǎn)云預(yù)處理可以增強(qiáng)網(wǎng)絡(luò)對(duì)目標(biāo)物體的識(shí)別能力.利用CloudCompare 軟件對(duì)原始點(diǎn)云數(shù)據(jù)進(jìn)行濾除背景、地面點(diǎn)云操作，僅保留感興趣區(qū)域點(diǎn)云，并手動(dòng)標(biāo)注點(diǎn)云標(biāo)簽.PointNet++網(wǎng)絡(luò)輸入的樣本點(diǎn)數(shù)固定，通過(guò)對(duì)點(diǎn)云密度高的下采樣(隨機(jī)下采樣法)至10 000 個(gè)點(diǎn)和對(duì)點(diǎn)云密度稀疏的上采樣(移動(dòng)最小二乘法)至10 000 個(gè)點(diǎn)來(lái)保持輸入一致，再對(duì)獲得的各個(gè)樣本點(diǎn)云進(jìn)行歸一化處理，將點(diǎn)坐標(biāo)歸一化到[-1, 1].數(shù)據(jù)集部分樣本如圖2 所示，對(duì)應(yīng)預(yù)處理后點(diǎn)云如圖3 所示.

圖3 苗圃數(shù)據(jù)集預(yù)處理后的樣本點(diǎn)云Fig.3 Pre-processed sample point cloud of nursery datasets

1.2.2 數(shù)據(jù)增強(qiáng) 一般而言，神經(jīng)網(wǎng)絡(luò)需要大量數(shù)據(jù)進(jìn)行訓(xùn)練，訓(xùn)練的數(shù)據(jù)越多，精度就越高；數(shù)據(jù)量較少可能會(huì)導(dǎo)致訓(xùn)練模型過(guò)擬合，網(wǎng)絡(luò)泛化能力差，從而影響分類(lèi)精度.在實(shí)際工程應(yīng)用中，往往存在樣本數(shù)量不足的問(wèn)題，采集新的數(shù)據(jù)會(huì)耗費(fèi)大量的成本.本研究采用數(shù)據(jù)增強(qiáng)的方法來(lái)獲得更多的數(shù)據(jù).通過(guò)隨機(jī)抖動(dòng)的方式對(duì)已有的點(diǎn)云數(shù)據(jù)進(jìn)行數(shù)據(jù)擴(kuò)增，可以增強(qiáng)網(wǎng)絡(luò)的魯棒性，使得網(wǎng)絡(luò)模型具有更好的泛化效果.將擴(kuò)充后的數(shù)據(jù)按7∶3 隨機(jī)劃分為訓(xùn)練集和測(cè)試集，其中訓(xùn)練集包括2 349 個(gè)樣本點(diǎn)云，測(cè)試集包括1 008 個(gè)樣本點(diǎn)云.數(shù)據(jù)抖動(dòng)后的樣本及點(diǎn)云xyz坐標(biāo)變化示例如圖4 所示，數(shù)據(jù)擴(kuò)增前、后的不同類(lèi)別樣本數(shù)量na、nb如表2 所示.

表2 擴(kuò)增前、后不同類(lèi)別樣本數(shù)量Tab.2 Number of different types of samples before and after amplification

圖4 抖動(dòng)前、后點(diǎn)云變化Fig.4 Point cloud changes before and after jittering

2 林果園場(chǎng)景多目標(biāo)分類(lèi)網(wǎng)絡(luò)模型

2.1 PointNet++分類(lèi)網(wǎng)絡(luò)模型

PointNet 作為直接處理原始點(diǎn)云的先驅(qū)可以直接進(jìn)行3D 點(diǎn)云數(shù)據(jù)分類(lèi)，但無(wú)法獲得局部特征.PointNet++作為PointNet 的后續(xù)改進(jìn)網(wǎng)絡(luò)，通過(guò)對(duì)輸入點(diǎn)集進(jìn)行區(qū)域劃分，以分層的方式提取點(diǎn)的特征.借鑒卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network，CNN）的思想，PointNet++在不同尺度提取局部特征，從小的點(diǎn)云鄰域中捕獲點(diǎn)的特征，并沿著層次結(jié)構(gòu)在越來(lái)越大的鄰域中獲得越來(lái)越高的特征.如圖5 所示，PointNet++利用多個(gè)集合采樣層構(gòu)造多層次結(jié)構(gòu)來(lái)提取點(diǎn)云特征，每組集合采樣層都由3 個(gè)部分組成：采樣層、分組層和特征提取層.采樣層使用最遠(yuǎn)點(diǎn)采樣法從輸入點(diǎn)云中選擇一組點(diǎn)作為局部區(qū)域的質(zhì)心點(diǎn).其中N為點(diǎn)數(shù)，d為維度，C為特征維數(shù)，K為局部區(qū)域最大采樣點(diǎn)數(shù).分組層根據(jù)質(zhì)心點(diǎn)以球查詢(xún)方式進(jìn)行局部區(qū)域的劃分.特征提取層使用小型PointNet模塊作為特征提取器，捕獲局部區(qū)域近鄰點(diǎn)對(duì)質(zhì)心點(diǎn)的特征關(guān)系.提出多尺度分組(multi-scale grouping，MSG)和多分辨率分組(multi-resolution grouping，MRG)方法，當(dāng)輸入點(diǎn)云密度不均時(shí)，該方法能夠?qū)W習(xí)不同尺度區(qū)域的特征，有效解決點(diǎn)云密度近密遠(yuǎn)疏的問(wèn)題，克服PointNet 在復(fù)雜場(chǎng)景的適用性差的缺點(diǎn).

圖5 PointNet++分類(lèi)網(wǎng)絡(luò)模型Fig.5 PointNet++ classification network model

2.2 改進(jìn)的PointNet++多目標(biāo)分類(lèi)網(wǎng)絡(luò)

注意力機(jī)制在機(jī)器視覺(jué)領(lǐng)域具有廣泛應(yīng)用，很多學(xué)者嘗試在目標(biāo)檢測(cè)算法中添加注意力模塊，在增加少量成本的同時(shí)提高目標(biāo)檢測(cè)精度[26-28].注意力模型本質(zhì)上是對(duì)目標(biāo)特征數(shù)據(jù)進(jìn)行加權(quán)變化，生成不同的權(quán)重，有選擇性地對(duì)信息進(jìn)行篩選.Woo 等[29]提出卷積塊注意力模塊 (convolutional block attention module, CBAM)，與SENet[30]不同，注意力機(jī)制使用單獨(dú)的通道注意力模塊，僅在通道維度上提升檢測(cè)性能，CBAM 沿著通道和空間這2 個(gè)維度來(lái)提取特征信息，以較低的算力實(shí)現(xiàn)了較高的性能改進(jìn).作為輕量級(jí)的通用模塊，CBAM可以嵌入任意已有的卷積神經(jīng)網(wǎng)絡(luò)中進(jìn)行訓(xùn)練.

CBAM 包含通道注意力機(jī)制模塊(channel attention module, CAM) 和空間注意力機(jī)制模塊(spatial attention module, SAM).這2 個(gè)模塊以2 種不同的維度壓縮特征圖，并利用平均池化和最大池化提取特征圖中的關(guān)鍵信息，計(jì)算過(guò)程為

式中：MC(F) 為特征F經(jīng)過(guò)通道注意力的輸出權(quán)值，MC(F′)為F′經(jīng)過(guò)空間注意力的輸出權(quán)值， ? 為矩陣的逐點(diǎn)相乘，F(xiàn)′′為最終的優(yōu)化輸出.CAM從通道維度對(duì)點(diǎn)云特征信息進(jìn)行篩選加以不同權(quán)重，有選擇性地增強(qiáng)目標(biāo)區(qū)域的特征權(quán)重.具體方式：通過(guò)執(zhí)行平均池化（AvgPool）和最大池化（MaxPool）對(duì)目標(biāo)點(diǎn)云的特征信息進(jìn)行增強(qiáng)，得到平均池化特征和最大池化特征.2 種池化方式得到的特征信息可以相互補(bǔ)充，再將特征送至由多層感知機(jī)和隱藏層組成的共享網(wǎng)絡(luò)，生成通道注意力MC∈RC×1×1（C為通道數(shù)），計(jì)算式為

式中：σ 為sigmoid 激活函數(shù)；MLP 為多層感知機(jī)；W0∈RC/r×C，W0為MLP 的隱藏層權(quán)重，r為降維系數(shù)；W1∈RC×C/r，W1為MLP 的輸出層權(quán)重.空間注意力作為通道注意力的補(bǔ)充，沿著通道進(jìn)行平均池化和最大池化操作，將獲得的特征進(jìn)行拼接，再通過(guò)7×7 的卷積操作Conv 和sigmoid 歸一化得到空間注意力特征圖MS(F)∈RH×W， 計(jì)算式為

本研究在PointNet++網(wǎng)絡(luò)的每個(gè)集合采樣層(set abstration，SA)的特征提取模塊中添加卷積塊注意力模塊CBAM，經(jīng)過(guò)注意力模塊后，新的特征結(jié)合通道和空間維度上的注意力權(quán)重，提高了各個(gè)特征在通道和空間上的聯(lián)系，增強(qiáng)了網(wǎng)絡(luò)對(duì)目標(biāo)點(diǎn)云關(guān)鍵特征的提取，同時(shí)弱化了無(wú)關(guān)信息，通過(guò)注意力里的卷積操作極大地減少了參數(shù)和計(jì)算量.改進(jìn)后的PointNet++多目標(biāo)分類(lèi)網(wǎng)絡(luò)結(jié)構(gòu)如圖6 所示.其中N、N1為 輸入點(diǎn)的數(shù)量，C、C1為特征維度.輸入點(diǎn)云先通過(guò)集合采樣層（SA）模塊的采樣和分組操作得到多個(gè)局部點(diǎn)集，再通過(guò)PointNet 模塊對(duì)點(diǎn)集進(jìn)行特征提取，通過(guò)特征提取模塊中嵌入的注意力機(jī)制對(duì)輸入特征進(jìn)行加權(quán)強(qiáng)化目標(biāo)點(diǎn)云信息，可以提高網(wǎng)絡(luò)的特征學(xué)習(xí)能力.通道注意力對(duì)不同特征圖按通道權(quán)重進(jìn)行劃分，學(xué)習(xí)不同通道之間的關(guān)系，可以增強(qiáng)提取目標(biāo)點(diǎn)云的輪廓特征的能力，空間注意力可以提高網(wǎng)絡(luò)對(duì)目標(biāo)點(diǎn)云的關(guān)注，減少噪點(diǎn)的干擾.使用最大池化層對(duì)點(diǎn)云特征進(jìn)行壓縮，并輸出到下個(gè)集合采樣層進(jìn)行重復(fù)的操作，再通過(guò)全連接層輸出分類(lèi)結(jié)果.添加注意力機(jī)制的網(wǎng)絡(luò)在訓(xùn)練過(guò)程中能夠根據(jù)通道和空間維度特征的不同重要程度，給點(diǎn)云加以不同注意力權(quán)重來(lái)強(qiáng)化有用特征并降低無(wú)用特征的干擾，最大程度上學(xué)習(xí)目標(biāo)點(diǎn)云的關(guān)鍵特征，從而提升網(wǎng)絡(luò)分類(lèi)精度，實(shí)現(xiàn)苗圃多目標(biāo)分類(lèi).

圖6 改進(jìn)的PointNet++多目標(biāo)分類(lèi)網(wǎng)絡(luò)Fig.6 Improved PointNet++ multi-object classification network

2.3 激活函數(shù)的選取

學(xué)習(xí)苗圃中多種目標(biāo)特征，選擇合適的激活函數(shù)可以提高網(wǎng)絡(luò)的效率.PointNet++網(wǎng)絡(luò)中使用的是ReLu 激活函數(shù)，該函數(shù)只有在輸入為正時(shí)導(dǎo)數(shù)不為0，在當(dāng)輸入為負(fù)值時(shí)，函數(shù)值等于0 處于硬飽和狀態(tài)，神經(jīng)元不會(huì)更新權(quán)重.本研究選擇LeakyReLu 函數(shù)作為具有良好性能的激活函數(shù)，以緩解梯度消失問(wèn)題，方程式為

式中：系數(shù)ɑ的取值范圍為(0,∞).LeakyReLu 函數(shù)當(dāng)輸入小于0 時(shí)梯度也不會(huì)為0，而且推理速度與ReLu 功能基本相同，避免了梯度消失問(wèn)題.選取 LeakyReLu 激活函數(shù)在一定程度上加快了訓(xùn)練速度，提高了網(wǎng)絡(luò)的效率.

3 結(jié)果與分析

3.1 實(shí)驗(yàn)環(huán)境及參數(shù)設(shè)置

實(shí)驗(yàn)的操作系統(tǒng)為Windows10，以Pytorch 為框架，顯卡為NVIDIA Quadro RTX4000 GPU，處理器為Intel(R)Core(TM)i9-10900K CPU @ 3.70 GHz.訓(xùn)練階段使用Adam 優(yōu)化器，batchsize 為18，設(shè)置epoch=150，學(xué)習(xí)速率為0.001.

3.2 實(shí)驗(yàn)評(píng)價(jià)指標(biāo)

主流的點(diǎn)云分類(lèi)精度衡量指標(biāo)包括總體精度OA 和平均分類(lèi)精度mAcc.OA 指場(chǎng)景中正確預(yù)測(cè)類(lèi)別的點(diǎn)數(shù)與場(chǎng)景總點(diǎn)數(shù)的比值，是多類(lèi)別分類(lèi)問(wèn)題中常用的指標(biāo)；mAcc 指評(píng)價(jià)模型所有類(lèi)別分類(lèi)精度取平均.為了評(píng)估分類(lèi)網(wǎng)絡(luò)對(duì)樣本的分類(lèi)性能，使用OA、mAcc 和每個(gè)類(lèi)別的精度Acc 作為評(píng)判標(biāo)準(zhǔn)，計(jì)算式分別為

式中：TP 為正確預(yù)測(cè)結(jié)果的數(shù)量，F(xiàn)P 為錯(cuò)誤預(yù)測(cè)結(jié)果的數(shù)量，W為數(shù)據(jù)集中點(diǎn)云的總數(shù)，n為類(lèi)別數(shù).

3.3 結(jié)果與分析

3.3.1 苗圃數(shù)據(jù)集上的各個(gè)網(wǎng)絡(luò)分類(lèi)結(jié)果對(duì)比 為了探究改進(jìn)算法在苗圃場(chǎng)景中的多目標(biāo)分類(lèi)效果，使用自制的數(shù)據(jù)集進(jìn)行分類(lèi)實(shí)驗(yàn)驗(yàn)證，分別計(jì)算每個(gè)類(lèi)別的分類(lèi)精度作為額外的指標(biāo)來(lái)評(píng)估改進(jìn)后網(wǎng)絡(luò)的性能.如表3 所示為PointNet、PointNet++以及改進(jìn)PointNet++在林果園場(chǎng)景數(shù)據(jù)集中6 個(gè)類(lèi)別的分類(lèi)準(zhǔn)確率.可以看出，與PointNet++網(wǎng)絡(luò)相比，改進(jìn)后網(wǎng)絡(luò)對(duì)大多數(shù)類(lèi)別的預(yù)測(cè)精度都有著不同程度的提高，各個(gè)類(lèi)別的分類(lèi)準(zhǔn)確率均超過(guò)90%.其中高樹(shù)、灌木、枯樹(shù)和其他4 個(gè)類(lèi)別的準(zhǔn)確率在改進(jìn)網(wǎng)絡(luò)中更高，分別比PointNet++網(wǎng)絡(luò)高出1.54、0.74、2.28 和4.13 個(gè)百分點(diǎn)，表明融入注意力機(jī)制在很大程度上提升了網(wǎng)絡(luò)的分類(lèi)精度，特別是對(duì)不同形態(tài)樹(shù)木的分類(lèi)，有利于為農(nóng)業(yè)機(jī)器人的靶標(biāo)精準(zhǔn)識(shí)別提供參考信息.行人、指示牌這2 個(gè)類(lèi)別的準(zhǔn)確率相比原網(wǎng)絡(luò)有所下降.可能是由于在采集點(diǎn)云數(shù)據(jù)時(shí)，采集樹(shù)的類(lèi)別和數(shù)量占據(jù)的比重較大，導(dǎo)致分類(lèi)精度相對(duì)較高，而其他類(lèi)別所占的比重較少，對(duì)分類(lèi)結(jié)果的精度有一定的影響.苗圃中的農(nóng)業(yè)噴霧機(jī)器人主要是對(duì)不同形態(tài)的靶標(biāo)進(jìn)行作業(yè)，改進(jìn)方法對(duì)不同種形態(tài)樹(shù)木的分類(lèi)精度都比改進(jìn)前有一定的提高，能夠更好地分類(lèi)識(shí)別出靶標(biāo)，更有利于為機(jī)器人的對(duì)靶作業(yè)提供參考.

表3 不同網(wǎng)絡(luò)在苗圃數(shù)據(jù)集上的標(biāo)簽分類(lèi)結(jié)果對(duì)比Tab.3 Comparison of classification results of different networks for labels in nursery datasets

在PointNet++中相同的位置插入SENet 注意力進(jìn)行分類(lèi)實(shí)驗(yàn)對(duì)比.如表4 所示，插入SENet 注意力的網(wǎng)絡(luò)的總體精度和平均精度略有提升，分別達(dá)到94.53% 和94.08%，相比于原網(wǎng)絡(luò)提高0.24 和0.44 個(gè)百分點(diǎn).本研究使用的CBAM 注意力機(jī)制改進(jìn)網(wǎng)絡(luò)的總體精度和平均精度相比于原網(wǎng)絡(luò)提高2.09 和2.22 個(gè)百分點(diǎn).說(shuō)明改進(jìn)網(wǎng)絡(luò)對(duì)苗圃場(chǎng)景的目標(biāo)分類(lèi)性能提升更加明顯，更符合本研究的需求.將訓(xùn)練階段的準(zhǔn)確率和損失函數(shù)Loss 的變化進(jìn)行了可視化處理，曲線(xiàn)變化如圖7所示.除分類(lèi)精度外，網(wǎng)絡(luò)運(yùn)行速度v也是衡量網(wǎng)絡(luò)性能的重要指標(biāo).如表4 所示，PointNet 的分類(lèi)速度最快達(dá)到0.01 幀/s，總體精度最低只有88.36%；PointNet++的分類(lèi)速度為0.07 幀/s，精度達(dá)到94.29%；插入SENet 注意力改進(jìn)后的網(wǎng)絡(luò)分類(lèi)速度為0.06 幀/s，總體精度為94.53%；改進(jìn)網(wǎng)絡(luò)的分類(lèi)速為0.04 幀/s，分類(lèi)精度最高達(dá)到96.38%.實(shí)驗(yàn)結(jié)果表明，改進(jìn)網(wǎng)絡(luò)的分類(lèi)精度在參與對(duì)比的模型中表現(xiàn)最好，且分類(lèi)速度也有一定提升.綜合精度和速度考慮，本研究使用的注意力模塊改進(jìn)后的網(wǎng)絡(luò)更適于應(yīng)用在苗圃多目標(biāo)分類(lèi)任務(wù)中.

表4 不同網(wǎng)絡(luò)在苗圃數(shù)據(jù)集上的分類(lèi)結(jié)果對(duì)比Tab.4 Comparison of classification results of different networks in nursery datasets

圖7 各網(wǎng)絡(luò)在苗圃數(shù)據(jù)集上的訓(xùn)練準(zhǔn)確率和損失函數(shù)曲線(xiàn)Fig.7 Training accuracy and loss function curve of each network in nursery datasets

3.3.2 ModelNet40 數(shù)據(jù)集上的分類(lèi)結(jié)果對(duì)比 在點(diǎn)云分類(lèi)領(lǐng)域權(quán)威的公共數(shù)據(jù)集ModelNet40 上對(duì)PointNet、PointNet++以及改進(jìn)網(wǎng)絡(luò)分別進(jìn)行分類(lèi)訓(xùn)練與測(cè)試.ModelNet40 共包含40 個(gè)類(lèi)別對(duì)象的12 311 個(gè)網(wǎng)格CAD 模型，其中9 832 個(gè)模型作為訓(xùn)練數(shù)據(jù)，2 468 個(gè)模型作為測(cè)試數(shù)據(jù).訓(xùn)練階段的準(zhǔn)確率和損失函數(shù)的變化如圖8 所示，隨著迭代次數(shù)的增加，準(zhǔn)確率不斷增加，損失函數(shù)值不斷減小.在訓(xùn)練開(kāi)始階段損失值下降幅度很大，準(zhǔn)確率曲線(xiàn)上升明顯.當(dāng)?shù)螖?shù)達(dá)到50 次時(shí)，損失曲線(xiàn)趨于平穩(wěn)，準(zhǔn)確率曲線(xiàn)變化緩慢，當(dāng)訓(xùn)練迭代次數(shù)達(dá)到150 次時(shí)基本收斂，網(wǎng)絡(luò)逐漸趨于穩(wěn)定，準(zhǔn)確率也達(dá)到最高.在整個(gè)訓(xùn)練過(guò)程中，改進(jìn)網(wǎng)絡(luò)的損失值一直小于原網(wǎng)絡(luò)，精度也是高于原網(wǎng)絡(luò).對(duì)訓(xùn)練好的模型進(jìn)行測(cè)試.PointNet、PointNet++以及改進(jìn)網(wǎng)絡(luò)的分類(lèi)測(cè)試結(jié)果對(duì)比如表5 所示.與PointNet 網(wǎng)絡(luò)相比，改進(jìn)網(wǎng)絡(luò)的總體精度提高了2.90 個(gè)百分點(diǎn)，平均精度提高了3.99 個(gè)百分點(diǎn)；與PointNet++網(wǎng)絡(luò)相比，改進(jìn)后PointNet++網(wǎng)絡(luò)的總體精度提高了0.96 個(gè)百分點(diǎn)，平均精度提高了1.21 個(gè)百分點(diǎn).實(shí)驗(yàn)結(jié)果表明，所提方法的分類(lèi)精度與速度在原網(wǎng)絡(luò)良好的基礎(chǔ)上還有提高，證明改進(jìn)網(wǎng)絡(luò)具有一定的優(yōu)越性.

表5 各網(wǎng)絡(luò)在ModelNet40 數(shù)據(jù)集上的分類(lèi)結(jié)果對(duì)比Tab.5 Comparison of classification results of each network in ModelNet40 datasets

圖8 各網(wǎng)絡(luò)在ModelNet40 數(shù)據(jù)集上的訓(xùn)練準(zhǔn)確率曲線(xiàn)和損失函數(shù)曲線(xiàn)Fig.8 Training accuracy curve and loss function curve of each network in ModelNet40 datasets

3.3.3 綜合性能的消融實(shí)驗(yàn) 為了進(jìn)一步驗(yàn)證同時(shí)采用的CBAM 和選用LeakyReLu 的有效性，將注意力模塊和激活函數(shù)分別單獨(dú)加入網(wǎng)絡(luò)中設(shè)計(jì)4 組消融實(shí)驗(yàn)，在自制苗圃數(shù)據(jù)集和ModelNet40數(shù)據(jù)集上進(jìn)行分類(lèi)訓(xùn)練和測(cè)試，結(jié)果如表6 所示.消融實(shí)驗(yàn)的結(jié)果表明，單獨(dú)使用任一模塊時(shí)，網(wǎng)絡(luò)分類(lèi)精度的提升有限，將CBAM 與LeakyReLu配合使用時(shí)的分類(lèi)性能最好，網(wǎng)絡(luò)的總體精度和平均精度也是最高的.

表6 苗圃數(shù)據(jù)集與ModelNet40 數(shù)據(jù)集上的消融實(shí)驗(yàn)Tab.6 Ablation experiments in nursery datasets and Model-Net40 datasets%

4 結(jié) 語(yǔ)

提出基于融合卷積塊注意力模塊的PointNet++多目標(biāo)分類(lèi)方法.采用基于點(diǎn)云的深度學(xué)習(xí)方法，利用PointNet++和CBAM 構(gòu)建分類(lèi)網(wǎng)絡(luò)模型，將注意力機(jī)制嵌入PointNet++主干網(wǎng)絡(luò)的特征提取層中，對(duì)特征進(jìn)行加權(quán)，增強(qiáng)對(duì)關(guān)鍵特征的提取，降低無(wú)關(guān)特征的干擾，引入LeakyReLu 激活函數(shù)解決梯度消失的問(wèn)題.根據(jù)苗圃中的不同靶標(biāo)與非靶標(biāo)種類(lèi)制作數(shù)據(jù)集，該數(shù)據(jù)集包含不同形態(tài)的樹(shù)木、行人、指示牌等6 個(gè)標(biāo)簽類(lèi)別.在分類(lèi)實(shí)驗(yàn)中，將改進(jìn)網(wǎng)絡(luò)與PointNet 和PointNet++的分類(lèi)結(jié)果進(jìn)行比較.結(jié)果表明，改進(jìn)網(wǎng)絡(luò)在苗圃數(shù)據(jù)集上準(zhǔn)確率達(dá)到96.38%，分類(lèi)速度達(dá)到0.04 幀/s，在ModelNet40 數(shù)據(jù)集上的分類(lèi)準(zhǔn)確率達(dá)到92.87%，均高于PointNet 和PointNet++.實(shí)驗(yàn)結(jié)果表明，所提方法具有更高分類(lèi)精度和更快的分類(lèi)速度，能夠較好實(shí)現(xiàn)多目標(biāo)分類(lèi)，有利于農(nóng)業(yè)機(jī)器人的靶標(biāo)識(shí)別，為機(jī)器人的分類(lèi)作業(yè)提供參考.如何進(jìn)一步提高網(wǎng)絡(luò)性能并將網(wǎng)絡(luò)部署至農(nóng)業(yè)機(jī)器人平臺(tái)上有待更深層次研究.