基于移動激光掃描的行道樹靶標(biāo)實(shí)時檢測

薛玉璽，李秋潔

(南京林業(yè)大學(xué)機(jī)械電子工程學(xué)院，南京 210037)

行道樹資源是我國重要的生態(tài)資源，是城市中一道靚麗的風(fēng)景線，也是城市生態(tài)系統(tǒng)重要的一部分。在城市的行道樹養(yǎng)護(hù)工作中，病蟲害防治具有十分重要的意義。常規(guī)的病蟲害防治手段是對行道樹噴灑農(nóng)藥，但是這種方式會造成藥液的大量浪費(fèi),同時會污染空氣，從而對城市生態(tài)環(huán)境造成破壞并影響人群的身體健康。由于常規(guī)施藥存在的各種問題，有學(xué)者提出了對靶施藥的概念，即通過傳感器先探明靶標(biāo)的位置和大小等信息，然后針對該靶標(biāo)進(jìn)行噴霧，這種方法目前已經(jīng)在果園場景成功實(shí)現(xiàn)，有效地解決了藥液流失問題[1-2]。

對靶施藥技術(shù)的關(guān)鍵在于靶標(biāo)的快速準(zhǔn)確檢測。針對城市復(fù)雜環(huán)境下的行道樹檢測，學(xué)者對于不同類型的數(shù)據(jù)提出了各種檢測方法。針對圖像數(shù)據(jù)主要使用深度學(xué)習(xí)方法，針對點(diǎn)云數(shù)據(jù)的檢測方法則更加多樣化，例如高程閾值分類法、投影點(diǎn)密度法、掃描線信息分類、特征空間聚類以及機(jī)器學(xué)習(xí)等[3-4]。這些方法有效地解決了城市背景復(fù)雜情況下行道樹難以檢測的問題[5]。相較于處理復(fù)雜的圖像數(shù)據(jù)，點(diǎn)云數(shù)據(jù)更受學(xué)者的青睞。林木植被的點(diǎn)云獲取于激光雷達(dá)(light detection and ranging，LiDAR)傳感器[6]。LiDAR傳感器性能優(yōu)越，性價比高?；贚iDAR采集得到的點(diǎn)云包含了行道樹檢測所需要的各種信息，因而目前在林木植被的目標(biāo)檢測和對靶噴霧領(lǐng)域，基于點(diǎn)云的各項(xiàng)技術(shù)已經(jīng)廣泛應(yīng)用[7-8]。

目前基于移動激光掃描(mobile laser scanning，MLS)系統(tǒng)的行道樹檢測方法可以劃分為區(qū)域檢測和逐點(diǎn)檢測兩種。區(qū)域檢測方法包括高程閾值分類法、投影點(diǎn)密度法、掃描線信息分類和特征空間聚類，這類方法都是通過一塊區(qū)域內(nèi)點(diǎn)的整體信息對這些點(diǎn)整體分類。例如特征空間聚類就是將整個點(diǎn)云空間劃分為二維格網(wǎng)或三維體素，然后通過聚類或區(qū)域生長等方法逐步篩除非行道樹點(diǎn)云[9-10]。區(qū)域檢測方法的缺陷是這些方法的閾值等參數(shù)都是人為設(shè)置以針對不同目標(biāo)的不同特征，導(dǎo)致其識別精度不高，泛化能力差，且區(qū)域檢測無法實(shí)現(xiàn)點(diǎn)云的在線檢測。逐點(diǎn)檢測如機(jī)器學(xué)習(xí)方法則是以點(diǎn)云的每一個點(diǎn)為處理單元，確定一個以檢測點(diǎn)為中心，大小固定的鄰域，然后提取設(shè)計好的局部特征，用這些特征訓(xùn)練一個二分類器以實(shí)現(xiàn)點(diǎn)云逐點(diǎn)檢測的目標(biāo)[5,11]。這種對于原始點(diǎn)云的檢測方法常采用四叉樹、八叉樹和k-D樹建立點(diǎn)云數(shù)據(jù)索引，但是該方法無法滿足在線檢測的要求[12-14]。后有學(xué)者提出采用格網(wǎng)索引的方式對點(diǎn)云進(jìn)行處理，雖然這種方法能夠?qū)崿F(xiàn)點(diǎn)云在線檢測，但依舊無法實(shí)現(xiàn)實(shí)時檢測[15]。

針對逐點(diǎn)檢測方法無法滿足實(shí)時性要求的問題，本研究基于MLS的逐點(diǎn)檢測算法，使用隨機(jī)森林分類器[16]，通過特征篩選和改進(jìn)鄰域搜索算法從而提高逐點(diǎn)檢測的速度，在保證點(diǎn)云分類器性能平穩(wěn)的情況下達(dá)到行道樹點(diǎn)云實(shí)時檢測的目的。

1 材料與方法

方法包括MLS點(diǎn)云數(shù)據(jù)采集、立方體鄰域搜索、點(diǎn)云局部特征提取、RF分類器檢測4個步驟。首先，對MLS采集到的行道樹點(diǎn)云數(shù)據(jù)進(jìn)行人工標(biāo)注；然后使用立方體鄰域?qū)γ總€點(diǎn)進(jìn)行局部特征提??；接著訓(xùn)練得到RF分類器，隨后將特征按照貢獻(xiàn)度高低進(jìn)行排序，特征按照貢獻(xiàn)度從低到高逐個剔除，直至保留滿足行道樹檢測準(zhǔn)確性和實(shí)時性要求的特征，使用篩選好的特征對分類器進(jìn)行再訓(xùn)練得到最終的RF分類器。

1.1 MLS點(diǎn)云數(shù)據(jù)采集

本研究使用的MLS點(diǎn)云數(shù)據(jù)采集系統(tǒng)如圖1所示，由1臺遙控小車、1個二維LiDAR和1臺筆記本電腦組成。小車沿著人行道做勻速直線運(yùn)動，其上搭載的LiDAR將采集到的數(shù)據(jù)輸送到電腦里，電腦將每一束激光的前3次回波距離r1、r2、r3和回波強(qiáng)度I1、I2、I3保存。

圖1 MLS系統(tǒng)Fig.1 MLS system

以小車上的LiDAR初始位置為坐標(biāo)原點(diǎn)建立一個三維空間坐標(biāo)系，小車的運(yùn)動方向?yàn)閤軸，垂直小車向上的方向?yàn)閦軸，垂直x軸和z軸縱深向樹的方向?yàn)閥軸(圖2)。小車沿著x軸方向運(yùn)動，其上的LiDAR(UTM-30LX)沿著y軸方向自上而下掃描，掃描范圍為270°，角分辨率為0.25°，故而每條掃描線(即每幀)有1 081個激光點(diǎn)，1條掃描線為1幀。掃描從135°開始到-135°結(jié)束，最大掃描距離為60 m。

圖2 三維坐標(biāo)Fig.2 Three-dimensional coordinate schematic

本研究所用的點(diǎn)云數(shù)據(jù)為一段230 m的校園人行道。筆者通過搭載在小車上的LiDAR以U型路徑掃描獲得。兩側(cè)數(shù)據(jù)一側(cè)為23 300幀，另一側(cè)為21 800幀，共計45 100幀。點(diǎn)云中第i幀內(nèi)第j個測量點(diǎn)P(i，j)的三維坐標(biāo)由下式計算：

(1)

式中：i為該點(diǎn)在點(diǎn)云中的幀序號；v為車速;Δt為LiDAR的掃描周期；r1(i，j)為第i幀內(nèi)第j個測量點(diǎn)P(i，j)的第一次回波的距離。

其中θ(j)的計算方法為：

θ(j)=jΔθ+θ0

(2)

式中：Δθ為LiDAR的角度分辨率；θ0為第i條掃描線的起始掃描角度。

1.2 基于格網(wǎng)索引的立方體鄰域搜索

逐點(diǎn)檢測的方法需要用到每個點(diǎn)的局部特征，因而每個點(diǎn)都需要搜索鄰域。鄰域搜索的計算速度和準(zhǔn)確性直接影響檢測結(jié)果的計算速度和準(zhǔn)確性。在點(diǎn)云特征提取的過程中常用的鄰域有k近鄰和球形鄰域兩種[17-18]。在計算每一個點(diǎn)的k近鄰時都需要遍歷點(diǎn)云中所有點(diǎn)，而所使用的點(diǎn)云包含了上千萬個點(diǎn)，這就導(dǎo)致了k鄰域搜索的計算量非常大，進(jìn)而降低了特征提取的速度。點(diǎn)云內(nèi)部的密度有大有小，因而難以選擇合適的k值，k值選擇過大，會導(dǎo)致模型的欠擬合；k值選擇過小，會導(dǎo)致模型的過擬合。綜上所述，k近鄰方法并不適用于行道樹的實(shí)時檢測。球形鄰域的方法雖然適合點(diǎn)云的特征提取，但其無法滿足行道樹的實(shí)時檢測。

本研究提出采用立方體鄰域的方法來提取點(diǎn)云的局部特征。在立方體邊長和球體直徑相同的情況下，立方體鄰域包含的點(diǎn)比球域更多，這意味著同樣的特征，使用立方體鄰域提取與球域相比包含的信息更多(圖3)。點(diǎn)云內(nèi)部點(diǎn)分布不均，使用球域提取的特征在空間各個方向上表現(xiàn)為各向同性；相比之下，使用立方體鄰域提取的特征在空間上表現(xiàn)為各向異性，各向異性的特征對于點(diǎn)云中各個物體的邊緣檢測十分有利，因而立方體鄰域比球域更適用于行道樹檢測。

圖3 立方體鄰域與球域Fig.3 Diagram of cubic neighborhood and spherical neighborhood

為了加快鄰域搜索的速度，本研究采用二維格網(wǎng)的點(diǎn)云索引方式來縮小鄰域搜索范圍。這種方式下，鄰域搜索范圍縮小到以待測點(diǎn)為中心的附近幾幀內(nèi)的部分點(diǎn)云。假設(shè)P(i,j)為待測點(diǎn)，鄰域邊長為R，則鄰域搜索的幀數(shù)范圍為(i-Δi)到(i+Δi)，且單獨(dú)的一幀內(nèi)，搜索的激光束范圍為(j-Δj)到(j+Δj)。Δi和Δj的計算方式為：

(3)

式中，Δα為Δθ對應(yīng)的弧度。鄰域搜索范圍確定以后，采用式(4)搜索立方體鄰域，與式(5)中的球域搜索相比，立方體鄰域的計算更簡單。

(4)

式中：(x,y,z)為立方體鄰域點(diǎn)坐標(biāo)；(x0,y0,z0)為立方體中心點(diǎn)坐標(biāo)。

{(x,y,z)|(x-x0)2+(y-y0)2+(z-z0)2≤R2}

(5)

式中：(x,y,z)為球域點(diǎn)坐標(biāo)；(x0,y0,z0)為球域中心點(diǎn)坐標(biāo)。

1.3 點(diǎn)云特征向量構(gòu)建

本研究從寬度、深度、高度、次數(shù)、強(qiáng)度、維度和密度幾個方面構(gòu)建了一個局部特征向量。在鄰域搜索完成后，計算鄰域內(nèi)點(diǎn)云的局部特征并組成特征向量。所用的局部特征見表1。

表1 點(diǎn)云局部特征Table 1 Point cloud local features

寬度和深度類特征能夠區(qū)分行道樹與建筑物、行人、電線桿等。高度類特征能夠區(qū)分行道樹與較高的建筑物以及低矮的車輛等。由于樹冠特殊的內(nèi)部結(jié)構(gòu)，故而回波次數(shù)和密度類特征能夠區(qū)分行道樹與地面和其他的實(shí)心物體。不同物體對于LiDAR激光的反射率都是不同的，所以強(qiáng)度特征也能夠有效區(qū)分行道樹與其他物體，維度類特征能夠區(qū)分行道樹與人行道上各種規(guī)則的物體。

1.4 基于RF的特征選擇與融合

本研究所采用的算法是機(jī)器學(xué)習(xí)中的有監(jiān)督算法——RF算法。這種算法是由Leo Breiman提出的，其算法結(jié)構(gòu)如圖4所示，由多個決策樹組合得到。在RF模型生成的過程中，每一個決策樹模型的訓(xùn)練都是單獨(dú)的，這樣能夠有效降低決策樹之間的關(guān)聯(lián)性，從而減少模型的過擬合情況。本研究所用決策樹的組合方式為投票法，這種方法主要應(yīng)用于分類問題，在決策樹投票過程中即使有個別決策樹模型預(yù)測出錯，最終也是以票數(shù)最高的類別為最終結(jié)果。

圖4 RF模型結(jié)構(gòu)Fig.4 RF model structure diagram

在建立決策樹的過程中隨機(jī)抽樣生成訓(xùn)練子集時，剩下的預(yù)測集又稱之為袋外數(shù)據(jù)。特征選擇基于特征貢獻(xiàn)度的大小，特征貢獻(xiàn)度的計算步驟如下：

1)對于T棵決策樹中的第i棵，將其預(yù)測袋外數(shù)據(jù)的誤差記為e1i；

2)隨機(jī)對每棵決策樹的袋外數(shù)據(jù)所有樣本的特征F添加隨機(jī)噪聲，然后再次計算預(yù)測誤差記為e2i；

3)則特征F的重要性就可以量化為

(6)

得到特征貢獻(xiàn)度之后按照從小到大的順序依次剔除特征，每次剔除特征之后重新計算RF模型的性能指標(biāo)，直到模型性能滿足要求之后保存模型。

2 行道樹靶標(biāo)檢測試驗(yàn)

2.1 試驗(yàn)平臺和數(shù)據(jù)

2.1.1 試驗(yàn)平臺

試驗(yàn)設(shè)備為搭載Windows 10 64位操作系統(tǒng)的計算機(jī)，運(yùn)行內(nèi)存64 GB，CPU為Intel(R) Core(TM) i9-12900K，單核頻率為3.90 GHz，GPU為NVIDIA GeForce RTX 3090 Ti。使用MATLAB R2020a設(shè)計程序。

2.1.2 試驗(yàn)數(shù)據(jù)

使用CloudCompare為230 m人行道兩側(cè)樹木點(diǎn)云數(shù)據(jù)打上標(biāo)簽，將其分為“樹冠”和“其他”兩類。數(shù)據(jù)集可視化結(jié)果如圖5所示，其中藍(lán)色為其他物體，紅色為行道樹樹冠。綠色方框中為訓(xùn)練集，其他為測試集，其中訓(xùn)練集為道路兩側(cè)各一段包含盡可能多種類物體的點(diǎn)云。訓(xùn)練集和測試集具體信息如表2所示。

圖5 數(shù)據(jù)集可視化Fig.5 Data set visualization

表2 數(shù)據(jù)集劃分Table 2 Data set division

2.2 鄰域搜索算法性能測試

考慮到需要識別的行道樹的樹冠大小問題，本試驗(yàn)所用的立方體鄰域邊長R范圍設(shè)置為0.6～2.0 m，與之對比的球域直徑等于立方體鄰域的邊長。立方體鄰域和球域提取19個特征需要的時間見圖6。從圖6可以看出，本研究所用的立方體鄰域特征提取速度明顯優(yōu)于球域。鄰域邊長從0.6 m到2 m，立方體鄰域特征提取平均時間為3 380.98 s，球域特征提取平均時間為3 835.62 s，本研究方法特征提取時間縮短了11.85%。

圖6 特征提取時間變化Fig.6 Variation of feature extraction time

2.3 特征選擇試驗(yàn)

設(shè)置立方體鄰域邊長R=1 m，表1中的19個特征的貢獻(xiàn)度如圖7所示。按照特征貢獻(xiàn)度從低到高每次剔除1個特征，然后重新訓(xùn)練模型，并在訓(xùn)練集和測試集上預(yù)測。本試驗(yàn)使用精確率(Pr)、召回率(Re)和F1分?jǐn)?shù)(F1)作為評估RF模型的性能指標(biāo)。指標(biāo)計算如式(7)、(8)和(9)所示。Pr表示模型預(yù)測為樹冠點(diǎn)中真正樹冠點(diǎn)的占比；Re表示所有的樹冠點(diǎn)中預(yù)測為樹冠點(diǎn)的占比；F1則是越高越好。

圖7 特征貢獻(xiàn)度直方圖Fig.7 Histogram of feature contribution

(7)

(8)

(9)

式中：TP為預(yù)測為樹冠且真為樹冠的點(diǎn)數(shù)；FP為預(yù)測為樹冠但不是樹冠的點(diǎn)數(shù)；FN為預(yù)測不是樹冠但真為樹冠的點(diǎn)數(shù)。

統(tǒng)計特征篩選過程中RF模型在訓(xùn)練集和測試集上的Pr、Re和F1，數(shù)據(jù)如表3所示?？紤]到RF模型的泛化性能，設(shè)置特征數(shù)量閾值為5，當(dāng)特征篩選到剩下5個之后，停止篩選?？梢钥吹剑S著特征數(shù)量的不斷減少，RF模型的各項(xiàng)性能指標(biāo)雖然略有波動但基本保持平穩(wěn)：測試集Pr最大波動0.33%，Re最大波動0.67%，F(xiàn)1最大波動0.34%；訓(xùn)練集Pr最大波動0.03%，Re最大波動0.01%，F(xiàn)1最大波動0.02%。

表3 點(diǎn)云局部特征對比Table 3 Comparison of local features of point clouds

特征篩選完成后，最終留下σx、Δx、μy、σy和μz5個特征。使用球域提取19個特征和使用立方體鄰域提取5個特征的時間見表4。從表4可知，針對同樣的數(shù)據(jù)本研究方法節(jié)省了2 107.20 s，特征提取加快了65.40%。本研究方法特征提取時間為24.72 ms/幀，而LiDAR每幀數(shù)據(jù)的采集時間為25 ms，所以本研究方法滿足檢測實(shí)時性要求。保留下來的特征表明，行道樹相比其他物體最具鑒別力的地方還是在于其特殊的位置和結(jié)構(gòu)。在復(fù)雜的城市環(huán)境下，行道樹的位置特殊，其周圍沒有其他大型相似物體，故而根據(jù)樹冠的位置以及樹冠的大小即可較為準(zhǔn)確地從大量點(diǎn)云中檢測出行道樹。

表4 特征提取時間對比Table 4 Feature extraction time comparison

2.4 RF算法超參數(shù)調(diào)整試驗(yàn)

相比其他監(jiān)督算法，RF算法的優(yōu)點(diǎn)是訓(xùn)練速度快，生成決策樹的訓(xùn)練樣本之間相互獨(dú)立，模型泛化能力好且容易實(shí)現(xiàn)。影響RF算法速度的一個重要參數(shù)就是決策樹的數(shù)量，理論上，決策樹的數(shù)量越大，RF模型的分類效果越好，相應(yīng)的RF算法的計算量越大，計算時間越長。

決策樹數(shù)量在1～50情況下RF算法袋外誤差的變化見圖8，決策樹數(shù)量在1～50的情況下RF模型訓(xùn)練和預(yù)測時間變化見圖9。從圖8、9可以看出，隨著決策樹數(shù)量的增長，袋外誤差越來越小，當(dāng)數(shù)量達(dá)到13之后誤差曲線趨于0并梯度保持平穩(wěn)。RF模型的訓(xùn)練時間和模型在訓(xùn)練集與測試集上的預(yù)測時間隨著決策樹數(shù)量的增長而增長，故而最終RF模型的決策樹數(shù)量確定為13。

圖8 袋外數(shù)據(jù)均方誤差變化曲線Fig.8 Variation curve of mean square errors of out-of-bag data

圖9 RF模型訓(xùn)練及預(yù)測時間曲線Fig.9 RF model training and prediction time curves

2.5 檢測算法對比試驗(yàn)

設(shè)置立方體鄰域邊長為1 m，對比了本研究算法和文獻(xiàn)[15]中的算法。文獻(xiàn)中的算法采用球形鄰域，直徑為立方體鄰域邊長，所用特征共20個，具體為表1中的19個特征加上x坐標(biāo)的均值μx，文獻(xiàn)所用監(jiān)督學(xué)習(xí)算法為基于決策樹的Boosting算法。兩種檢測算法的結(jié)果見表5。從表5可以看出，兩種算法檢測結(jié)果相差無幾，但是本研究算法檢測時間遠(yuǎn)遠(yuǎn)小于文獻(xiàn)算法，這說明本研究算法在檢測速度上遠(yuǎn)快于文獻(xiàn)中的行道樹檢測算法。

表5 檢測算法性能對比Table 5 Detection algorithm performance comparison

2.6 點(diǎn)云采樣對檢測性能影響試驗(yàn)

LiDAR的點(diǎn)云密度對鄰域搜索和特征提取的速度影響較大，因而為了加快點(diǎn)云的檢測速度有時會對點(diǎn)云進(jìn)行采樣處理。為了驗(yàn)證本研究方法對采樣后點(diǎn)云的識別效果，對測試集采取抽幀處理。RF分類器在不同采樣間隔下生成的測試集上的識別性能見表6，可以看到雖然隨著采樣間隔不斷增加點(diǎn)云密度不斷下降，但是測試集Pr最高下降0.20%，Re最高上升0.11%，F(xiàn)1最高下降0.11%，證明本研究方法對不同密度點(diǎn)云可有效識別。點(diǎn)云密度對本研究方法影響較小是因?yàn)樵撍惴ㄗ罱K是依靠樹冠的位置和結(jié)構(gòu)來檢測行道樹點(diǎn)云，而采樣對點(diǎn)云的上述信息影響很小。

表6 不同采樣間隔識別效果對比Table 6 Different sampling interval recognition effect comparison

3 結(jié) 論

針對復(fù)雜城市環(huán)境下行道樹靶標(biāo)實(shí)時檢測問題，筆者研究一種基于MLS的行道樹靶標(biāo)點(diǎn)云逐點(diǎn)檢測方法，通過改進(jìn)特征提取鄰域以及進(jìn)行特征篩選最終實(shí)現(xiàn)了行道樹靶標(biāo)實(shí)時檢測。在特征提取過程中本研究使用立方體鄰域替代球域，在鄰域邊長取0.6～2.0 m的范圍下，立方體鄰域相比球域特征提取的平均時間縮短了11.85%。本研究針對寬度、深度、高度、維度、密度、次數(shù)和強(qiáng)度7類點(diǎn)云局部特征進(jìn)行了特征貢獻(xiàn)度排序，并按照從低到高的順序依次剔除，最終保留了σx、Δx、μy、σy和μz5個特征，在RF分類器性能保持平穩(wěn)的前提下提取特征的時間縮短了65.40%。點(diǎn)云采樣試驗(yàn)表明，最終得到的分類器具有良好的魯棒性，能夠有效抵抗點(diǎn)云密度對行道樹靶標(biāo)檢測的干擾。