基于YOLACT的行道樹靶標(biāo)點(diǎn)云分割方法

李秋潔，童岳凱，薛玉璽，徐志強(qiáng)，李相程，劉旭

(南京林業(yè)大學(xué)機(jī)械電子工程學(xué)院，南京 210037)

由于溫室效應(yīng)、人為干擾等因素的影響，行道樹病蟲害日益增多，致使行道樹枯萎或死亡，不僅嚴(yán)重影響行道樹綠化與美化效果，而且直接影響城市生態(tài)環(huán)境與居民生活，成為園林綠化精細(xì)化管理的制約因素[1-2]。我國行道樹防治藥械主要采用手動(dòng)噴霧器、踏板式噴霧器等人力藥械，擔(dān)架式噴霧機(jī)、背負(fù)式噴霧噴粉機(jī)等部分機(jī)動(dòng)植保機(jī)械，部分地區(qū)采用高射程噴霧機(jī)。總體來說，操作人員勞動(dòng)強(qiáng)度大、作業(yè)效率低。由于行道樹間距較大，連續(xù)噴霧施藥方式使得大量藥液流失到地面或揮發(fā)到空氣中，嚴(yán)重污染城市環(huán)境，影響居民生活工作[3]。

對(duì)靶施藥技術(shù)采用紅外[4]、超聲波[5]、激光[6]、激光雷達(dá)(light detection and ranging，LiDAR)[7]、攝像頭[8]實(shí)時(shí)傳感器在線探測(cè)靶標(biāo)信息，控制噴頭進(jìn)行有樹噴藥樹間隙不噴的對(duì)靶噴霧，以及根據(jù)靶標(biāo)大小、形狀、體積調(diào)整施藥劑量的變量施藥[9]。目前，對(duì)靶施藥技術(shù)已在果園病蟲害防治中取得成功應(yīng)用，與連續(xù)噴霧施藥方式相比，可節(jié)省20%～75%的藥液，并有效提高藥液在樹木上的沉積率，降低農(nóng)藥殘留[10-11]。

在眾多傳感器中，激光雷達(dá)能夠快速獲取樹木三維點(diǎn)云數(shù)據(jù)，實(shí)現(xiàn)高精度高效的靶標(biāo)檢測(cè)，廣泛應(yīng)用于果園對(duì)靶施藥[7]。城市街道包含建筑物、路燈、電線桿、標(biāo)志牌等多種地物目標(biāo)，靶標(biāo)識(shí)別難度增加，向?qū)Π惺┧幖夹g(shù)提出了更高的要求。當(dāng)前行道樹點(diǎn)云分割方法主要有兩類：一類方法將點(diǎn)云數(shù)據(jù)劃分為多個(gè)格網(wǎng)或體素，作為基本數(shù)據(jù)處理單元，然后分析地物目標(biāo)的形貌，設(shè)計(jì)用于分割的特征和規(guī)則，逐步過濾非行道樹點(diǎn)云[12-13]；另一類方法直接處理原始點(diǎn)云數(shù)據(jù)，從每個(gè)點(diǎn)的鄰域中提取多個(gè)特征，訓(xùn)練一個(gè)二分類器識(shí)別行道樹點(diǎn)云[14-15]。已有方法由人工設(shè)計(jì)分割/分類特征，采用聚類、區(qū)域增長等手段提取出單株行道樹，存在特征表達(dá)能力弱、難以描述地物復(fù)雜變化以及建模能力弱等問題。

行道樹靶標(biāo)點(diǎn)云分割是一個(gè)點(diǎn)云實(shí)例分割問題，需要從街道點(diǎn)云數(shù)據(jù)中分割出每一棵行道樹靶標(biāo)點(diǎn)云數(shù)據(jù)。目前，有眾多基于深度學(xué)習(xí)的端到端點(diǎn)云實(shí)例分割算法，如SGPN[16]、JSIS3D[17]、3D-BoNet[18]，這類方法無須人工設(shè)計(jì)特征或規(guī)則，以原始點(diǎn)云為輸入，自動(dòng)挖掘多層次點(diǎn)云特征，輸出點(diǎn)云實(shí)例分割模型。然而，受點(diǎn)云離散化程度高和不均勻分布影響，上述方法的時(shí)間/空間復(fù)雜度較高，不滿足對(duì)靶施藥的靶標(biāo)實(shí)時(shí)檢測(cè)需求。另一類方法先將點(diǎn)云無損轉(zhuǎn)換為圖像，再利用時(shí)間/空間復(fù)雜度較低的卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural net，CNN)、融合MobileNet特征提取器的Mask RCNN 等端到端圖像實(shí)例分割算法建立點(diǎn)云實(shí)例分割模型，如PointIT[19]、SqueezeSeg[20]。這類方法在KITTI自動(dòng)駕駛數(shù)據(jù)集[21]上取得了不錯(cuò)的分割結(jié)果，然而，它們處理的是三維LiDAR采集的點(diǎn)云數(shù)據(jù)，而對(duì)靶施藥技術(shù)采用二維LiDAR構(gòu)建移動(dòng)激光掃描(mobile laser scanning，MLS)測(cè)量系統(tǒng)，因此，這類方法不適用于行道樹靶標(biāo)點(diǎn)云分割。

針對(duì)上述問題，本研究基于移動(dòng)激光掃描采集的街道點(diǎn)云數(shù)據(jù)，將其無損轉(zhuǎn)換為三通道圖像，采用實(shí)時(shí)圖像實(shí)例分割算法建立行道樹靶標(biāo)分割模型，實(shí)現(xiàn)行道樹靶標(biāo)點(diǎn)云的快速準(zhǔn)確分割。

1 研究方法

本研究方法包括街道點(diǎn)云采集、街道點(diǎn)云轉(zhuǎn)換和行道樹點(diǎn)云分割3個(gè)步驟。首先，使用基于二維LiDAR的MLS測(cè)量系統(tǒng)采集街道三維點(diǎn)云數(shù)據(jù)；然后，建立由LiDAR掃描線組成的包含深度、回波強(qiáng)度和回波次數(shù)信息的3通道圖像；最后，采用YOLACT圖像實(shí)例分割算法在圖像切片上訓(xùn)練行道樹靶標(biāo)分割模型。

1.1 街道點(diǎn)云采集

采用Hokuyo公司生產(chǎn)的二維LiDAR UTM-30LX-EW，該款LiDAR根據(jù)發(fā)射激光束和目標(biāo)反射回波的時(shí)間，測(cè)量目標(biāo)與LiDAR的距離，最大測(cè)量距離為60 m。如果發(fā)射激光束擊中目標(biāo)邊緣，會(huì)反射一個(gè)以上的回波[22]，UTM-30LX-EW記錄前3次回波的距離r1、r2、r3(4字節(jié)無符號(hào)整數(shù)，mm)和強(qiáng)度I1、I2、I3(2字節(jié)無符號(hào)整數(shù)，無量綱)。若沒有接收到回波，距離和強(qiáng)度值為0。

UTM-30LX-EW掃描角度范圍為270°，每次掃描獲取目標(biāo)的一條輪廓線，又稱為掃描線。相鄰掃描線的時(shí)間間隔Δt為25 ms，同一條掃描線上相鄰激光束的角度增量Δθ為0.25°，每條掃描線包含1 081 個(gè)激光束的測(cè)量數(shù)據(jù)。

實(shí)驗(yàn)采用文獻(xiàn)[14]描述的MLS測(cè)量系統(tǒng)，UTM-30LX-EW搭載在智能小車上，掃描平面與車輛行駛方向垂直，掃描中心線平行于地面，指向被測(cè)目標(biāo)。車輪上安裝有測(cè)速編碼器，采用比例-微分-積分(proportion-integral-differential，PID)算法控制車輪轉(zhuǎn)速，控制小車沿道路直線勻速行駛。

建立坐標(biāo)系如圖1所示，LiDAR起始位置為原點(diǎn)，x軸為小車行駛方向，y軸為深度方向，z軸垂直地面向上。MLS 測(cè)量點(diǎn)可以用掃描線序號(hào)和掃描線內(nèi)測(cè)量點(diǎn)的序號(hào)進(jìn)行索引，第i個(gè)掃描線內(nèi)第j個(gè)測(cè)量點(diǎn)的三維坐標(biāo)為：

圖1 MLS測(cè)量系統(tǒng)的坐標(biāo)系Fig. 1 Coordinate system of the MLS measurement system

(1)

式中：v為車速；r1(i,j)為第i個(gè)掃描線中第j個(gè)測(cè)量點(diǎn)的一次回波距離；θ(j)為掃描線內(nèi)第j個(gè)測(cè)量點(diǎn)的掃描角度，范圍為[-135°,135°]。

智能小車于2021年5月沿(32°04′53.5″N，118°49′02.2″E)一段長300 m的街道“U”形行駛，采集街道兩側(cè)數(shù)據(jù)，如圖2所示。采集場(chǎng)景包含121棵行道樹和建筑、車道、人行道、自行車、行人、路燈、標(biāo)志牌、柵欄、長椅、垃圾桶、灌木、草皮、花壇等地物目標(biāo)。

圖2 數(shù)據(jù)采集地Fig. 2 Location of data collection

由于UTM-30LX-EW存在90°盲區(qū)，只能完整采集街道單側(cè)信息，因此，僅保留y軸正半軸街道點(diǎn)云數(shù)據(jù)，對(duì)應(yīng)掃描角度范圍[-90°，90°]。最終得到60 000條掃描線，每條掃描線包含720個(gè)測(cè)量點(diǎn)，共有43 200 000個(gè)測(cè)量點(diǎn)。街道三維點(diǎn)云數(shù)據(jù)如圖3所示。為方便觀看，采用高度信息(z坐標(biāo)值)對(duì)點(diǎn)云進(jìn)行染色處理。

圖3 街道三維點(diǎn)云Fig. 3 3D point cloud of the street

1.2 街道點(diǎn)云轉(zhuǎn)換

基于二維LiDAR的MLS點(diǎn)云數(shù)據(jù)可以用測(cè)量點(diǎn)的掃描線序號(hào)i和掃描線內(nèi)序號(hào)j進(jìn)行規(guī)則格網(wǎng)索引，因此，可將MLS點(diǎn)云數(shù)據(jù)無損轉(zhuǎn)換為圖像格式，掃描線對(duì)應(yīng)圖像中的一列，掃描線內(nèi)測(cè)量點(diǎn)對(duì)應(yīng)一個(gè)像素。

彩色圖像僅包含R、G、B 3個(gè)通道，而LiDAR測(cè)量點(diǎn)信息包括三維坐標(biāo)(x,y,z)、前3次回波的距離r1、r2、r3和強(qiáng)度I1、I2、I3，需要從中選擇最能區(qū)分行道樹和其他地物的3個(gè)點(diǎn)云數(shù)據(jù)。采用測(cè)量點(diǎn)的深度y、一次回波強(qiáng)度I1和回波次數(shù)n分別構(gòu)建圖像R、G、B通道。

1)深度y：測(cè)量點(diǎn)的x坐標(biāo)刻畫了它在街道長度方向上的位置，而行道樹靶標(biāo)可能位于一條街道的任何位置。此外，x坐標(biāo)與像素列號(hào)(即掃描線序號(hào)i)成正比，其信息已經(jīng)包含在圖像中，因此，不使用x坐標(biāo)。測(cè)量點(diǎn)的z坐標(biāo)刻畫了它的高度，行道樹的高度有一定范圍，因此，z坐標(biāo)有助于行道樹靶標(biāo)檢測(cè)。由于行道樹垂直地面生長，其點(diǎn)云z坐標(biāo)與像素行號(hào)(即掃描線內(nèi)序號(hào)j)有較強(qiáng)的相關(guān)性，為避免冗余，也不使用z坐標(biāo)。測(cè)量點(diǎn)的y坐標(biāo)刻畫了它在街道深度方向上的位置，由于行道樹的種植位置存在特定范圍，y坐標(biāo)有助于行道樹靶標(biāo)檢測(cè)。此外，行道樹點(diǎn)云y坐標(biāo)與像素行號(hào)不相關(guān)，與像素列號(hào)相關(guān)性較弱，因此，使用y坐標(biāo)構(gòu)建圖像的一個(gè)通道。

2)一次回波強(qiáng)度I1：回波強(qiáng)度與目標(biāo)的光譜反射特性有關(guān)，可以作為區(qū)分行道樹和其他地物目標(biāo)的一種手段[23]。前3次回波中，選取最先返回的一次回波的強(qiáng)度I1表征行道樹的光譜反射特性。

3)回波次數(shù)n：激光束擊中樹葉邊緣時(shí)會(huì)反射多次回波，因此，可以利用回波次數(shù)濾除表面無空隙的地物目標(biāo)[24]。原始測(cè)量點(diǎn)數(shù)據(jù)不記錄回波次數(shù)，可根據(jù)前3次回波的距離/強(qiáng)度值是否為0來統(tǒng)計(jì)測(cè)量點(diǎn)的回波次數(shù)n。

采用最大最小歸一化將深度y、一次回波強(qiáng)度I1和回波次數(shù)n的取值范圍變換到0～255。由MLS點(diǎn)云數(shù)據(jù)構(gòu)建的2幅30 000×720彩色圖像及其包含的3個(gè)單通道圖像見圖4。

圖4 街道點(diǎn)云圖像Fig. 4 Images of the street point clouds

1.3 行道樹點(diǎn)云分割

1.3.1 行道樹數(shù)據(jù)集構(gòu)建

原始街道點(diǎn)云圖像太寬，無法直接處理，對(duì)其切片，得到的每幅圖像包含1或2棵行道樹，再采用水平翻轉(zhuǎn)進(jìn)行圖像擴(kuò)充，最終得到1 948張行道樹圖像。

使用在線圖像標(biāo)注工具Labelme標(biāo)注行道樹，沿行道樹輪廓取點(diǎn)構(gòu)成一個(gè)多邊形，如圖5所示。標(biāo)注完成后產(chǎn)生一個(gè)后綴為json的掩膜文件，里面記錄了每個(gè)行道樹的多邊形頂點(diǎn)信息。

圖5 行道樹靶標(biāo)標(biāo)注Fig. 5 Annotation of street tree target

1.3.2 行道樹分割模型建立

采用YOLACT算法訓(xùn)練行道樹靶標(biāo)分割模型。YOLACT將圖像實(shí)例分割劃分為掩膜原型生成和掩膜系數(shù)預(yù)測(cè)兩個(gè)并行子任務(wù)，首次實(shí)現(xiàn)了實(shí)時(shí)圖像實(shí)例分割[25]。

算法框架如圖6所示。

圖6 YOLACT算法框架Fig. 6 Annotation of street tree target

具體步驟如下：

1)特征提取。將輸入圖像調(diào)整至550×550，采用特征金字塔網(wǎng)絡(luò)(feature pyramid networks，F(xiàn)PN)提取圖像特征。

2)掩膜原型生成分支。采用全卷積網(wǎng)絡(luò)(fully convolutional network，F(xiàn)CN)，對(duì)整幅圖像產(chǎn)生k個(gè)掩膜原型。

3)掩膜系數(shù)預(yù)測(cè)分支。生成多個(gè)大小和寬高比不同的錨框(候選行道樹區(qū)域)，對(duì)每個(gè)錨框，采用全連接層(fully connected layer，F(xiàn)C)預(yù)測(cè)它的類別、邊界框系數(shù)和k個(gè)掩膜系數(shù)，然后采用快速非極大值抑制(non-maximum suppression，NMS)從全部錨框中篩選出行道樹實(shí)例。

4)掩膜融合。對(duì)每個(gè)行道樹實(shí)例，采用對(duì)應(yīng)的掩膜系數(shù)線性組合k個(gè)掩膜原型，再經(jīng)過Sigmoid函數(shù)運(yùn)算、裁剪、閾值化等處理，得到每個(gè)行道樹實(shí)例的最終掩膜。

2 試 驗(yàn)

2.1 試驗(yàn)平臺(tái)

試驗(yàn)采用開源深度學(xué)習(xí)目標(biāo)檢測(cè)工具箱MMDetection實(shí)現(xiàn)YOLACT算法，建立行道樹靶標(biāo)點(diǎn)云分割模型，實(shí)驗(yàn)平臺(tái)配置參數(shù)見表1。

表1 試驗(yàn)平臺(tái)配置Table 1 Configuration of experiment platform

2.2 行道樹分割模型訓(xùn)練

將1 948張圖像按照6∶2∶2的比例劃分出訓(xùn)練集(1 176張，共1 764棵行道樹)、驗(yàn)證集(386張，共579棵行道樹)和測(cè)試集(386張，共579棵行道樹)。輸入訓(xùn)練集和驗(yàn)證集的圖像和對(duì)應(yīng)json掩膜文件，訓(xùn)練行道樹分割模型。設(shè)置掩膜原型個(gè)數(shù)k=32。8 091次迭代的損失曲線見圖7，約5 000次迭代后損失趨于收斂。

圖7 損失曲線Fig. 7 Loss curve

2.3 行道樹分割模型測(cè)試

文獻(xiàn)[14]中使用與本研究同樣基于二維LiDAR的MLS測(cè)量系統(tǒng)獲取街道點(diǎn)云數(shù)據(jù)，然后訓(xùn)練2個(gè)二分類器分別檢測(cè)出樹冠和樹干點(diǎn)云，最后在樹干分割的基礎(chǔ)上提取完整的行道樹點(diǎn)云數(shù)據(jù)。

將本研究方法與文獻(xiàn)[14]進(jìn)行對(duì)比，令檢測(cè)框與真值框的交并比(intersection over union，IoU)閾值為0.5～0.9，以0.05為步長增加，若檢測(cè)框與真值框的IoU大于閾值，判定為正確檢測(cè)出行道樹，否則，判定為錯(cuò)誤檢出。統(tǒng)計(jì)386張測(cè)試圖像上各IoU閾值下行道樹分割的精確率(precision)、召回率(recall)和F1分?jǐn)?shù)，以及掃描線平均處理時(shí)間。此外，選用兩階段圖像實(shí)例分割算法Mask R-CNN訓(xùn)練行道樹分割模型，與單階段圖像實(shí)例分割算法YOLACT進(jìn)行對(duì)比。試驗(yàn)結(jié)果如表2所示，可以看到，本研究方法的分割精度和效率顯著優(yōu)于文獻(xiàn)[14]，在全部IoU閾值下的平均精確率為0.973、平均召回率為0.985、平均F1分?jǐn)?shù)為0.979、掃描線平均處理時(shí)間為12.903 ms，小于25 ms的掃描線周期，滿足靶標(biāo)實(shí)時(shí)檢測(cè)需求。Mask R-CNN算法得到的行道樹分割模型在精度上比YOLACT稍好，但處理時(shí)間為YOLACT的3倍，大于掃描線周期，因此，選擇YOLACT算法訓(xùn)練行道樹分割模型更加合適。

表2 行道樹分割模型對(duì)比Table 2 Comparison of street tree segmentation models

本研究方法的部分分割結(jié)果見圖8。左邊是測(cè)試結(jié)果，右邊是真值?？梢钥吹?，樹冠不存在粘連和遮擋時(shí)，樹冠輪廓分割較為完整，如圖8a右樹、圖8c右樹、圖8d左樹、圖8f；樹冠被路燈、行人等遮擋時(shí)，被遮擋部分能被正確分割，如圖8a左樹、圖8b、圖8c左樹、圖8e、圖8g；樹冠之間存在粘連時(shí)，粘連部分的分割不夠準(zhǔn)確，如圖8d右樹、圖8g、圖8h、圖8i。

圖8 行道樹分割結(jié)果Fig. 8 Results of street tree segmentation

3 結(jié) 論

1)針對(duì)復(fù)雜城區(qū)環(huán)境下行道樹靶標(biāo)點(diǎn)云檢測(cè)難度較大的問題，提出一種基于YOLACT的行道樹點(diǎn)云分割方法，將MLS系統(tǒng)采集的街道點(diǎn)云數(shù)據(jù)無損轉(zhuǎn)化為包含深度、回波強(qiáng)度和回波次數(shù)信息的三通道圖像，采用實(shí)時(shí)圖像實(shí)例分割算法YOLACT訓(xùn)練行道樹靶標(biāo)分割模型。

2)檢測(cè)框與真值框的交并比閾值在0.5～0.9以0.05為步長變化時(shí)，得到的測(cè)試集行道樹分割平均精確率為0.973，平均召回率為0.985，平均F1分?jǐn)?shù)為0.979，平均每條LiDAR掃描線的處理時(shí)間是12.903 ms。實(shí)驗(yàn)結(jié)果表明，提出的方法能夠快速準(zhǔn)確地分割出行道樹靶標(biāo)，分割精度和效率明顯優(yōu)于現(xiàn)有方法。