基于Mask R-CNN的復(fù)雜背景下柑橘樹枝干識別與重建

楊長輝 王 卓 熊龍燁 劉艷平 康曦龍 趙萬華

(1.重慶理工大學(xué)機(jī)械工程學(xué)院， 重慶 400054； 2.西安交通大學(xué)機(jī)械工程學(xué)院， 西安 710049)

0 引言

隨著我國農(nóng)業(yè)機(jī)械智能化的發(fā)展，果實(shí)采摘機(jī)器人研究取得了長足的進(jìn)展[1-5]。自然條件下的果樹生長姿態(tài)隨機(jī)、形態(tài)各異，且果實(shí)多生長在果樹枝干前后或緊貼枝干，機(jī)器人在進(jìn)行采摘時(shí)機(jī)械臂可能與果樹主要枝干發(fā)生碰撞，造成機(jī)械臂以及執(zhí)行器等器件的損壞，從而導(dǎo)致采摘失敗。因此，研究獲取果樹主要的枝干信息對于采摘機(jī)器人非常有價(jià)值。

在對枝干進(jìn)行重建時(shí)，首先需要把目標(biāo)枝干從圖像中分割出來。目前，圖像處理領(lǐng)域目標(biāo)提取方法較多[6-11]，張富貴等[12]通過對RGB圖像分量的分析，再通過閾值處理的方式對果樹進(jìn)行分割，其分割準(zhǔn)確率為79.67%。JI等[13]提出一種基于自適應(yīng)均衡直方圖的蘋果樹枝干閾值分割方法，該方法枝干正確分割率為94%，但識別的枝干不連續(xù)，未能獲得枝干完整信息。蔡健榮等[14]通過形態(tài)學(xué)、區(qū)域細(xì)化等步驟提取了柑橘樹部分骨架，再通過Hough直線變換、遮擋樹枝骨架恢復(fù)的方法對果樹骨架進(jìn)行修復(fù)，最終正確識別率為67.3%。賀磊盈等[15]通過雙輪廓同步跟蹤方法對無葉核桃樹進(jìn)行枝干重建，但該方法適用的場景過于簡單。TABB 等[16]通過超像素確定背景低紋理區(qū)域，進(jìn)而對果樹枝干進(jìn)行分割，該分割方法只適應(yīng)于簡單背景。AMATYA等[17]通過聚類以及幾何方法對櫻桃樹枝干進(jìn)行檢測，整體檢測準(zhǔn)確率為93.8%，但該方法只實(shí)現(xiàn)了單條枝干的識別，并未對存在分叉的枝干進(jìn)行檢測。MAJEED等[18]使用卷積神經(jīng)網(wǎng)絡(luò)和Kinect V2相機(jī)實(shí)現(xiàn)了蘋果樹的主干和分支的分割精度分別為92%和93%，該方法只針對無遮擋的蘋果樹枝干，并未考慮遮擋的情況。SHALAL 等[19]利用相機(jī)和激光掃描儀對果樹樹干進(jìn)行檢測，其檢測精度為96.64%，該方法只對較粗的主樹干進(jìn)行檢測，無法實(shí)現(xiàn)較細(xì)分叉枝干的識別。ZHANG 等[20]通過RCNN與擬合的方式對蘋果樹分支進(jìn)行檢測，其平均召回率與準(zhǔn)確率分別為91.5%和85.5%，該方法仍是針對單條枝干和無遮擋的枝干，對于有分叉和遮擋的枝干并未進(jìn)行研究。

針對以上情況，本文以自然場景下的柑橘樹為研究對象，通過對存在多條分支以及被遮擋的枝干進(jìn)行識別與重建研究，得到準(zhǔn)確的枝干信息，為機(jī)器人路徑規(guī)劃及避障提供依據(jù)。

1 材料與方法

1.1 圖像采集

本文設(shè)計(jì)的采摘機(jī)器人平臺如圖1所示，其中L1表示機(jī)械臂末端與攝像機(jī)水平距，L2表示機(jī)械臂末端與樹冠中心水平距，L3表示攝像機(jī)與樹冠中心水平距，W表示機(jī)器人寬度。攝像機(jī)視覺系統(tǒng)由Point Gray 公司生產(chǎn)的BB2-08S2C-60型雙目攝像機(jī)(分辨率為1 024像素×768像素)、1394圖像采集卡和移動(dòng)工作站組成，實(shí)驗(yàn)果園道路寬度在200 cm左右，機(jī)器人處在道路中間，其中機(jī)械臂末端與樹冠中心水平距離約為68 cm，機(jī)械臂末端與攝像機(jī)水平距離為60 cm，可以計(jì)算出機(jī)器人相機(jī)中心與主樹干距離約為90.69 cm。

圖1 采摘機(jī)器人示意圖Fig.1 Diagram of picking robot1.末端執(zhí)行器 2.機(jī)械臂 3.雙目攝像機(jī) 4.履帶底盤 5.外殼

設(shè)計(jì)的圖像采集實(shí)驗(yàn)平臺如圖2所示，拍攝地點(diǎn)位于重慶市北碚區(qū)金果園和重慶理工大學(xué)柑橘果園，拍攝時(shí)間分別為2016年12月和2019年1月，采集距離保持在80～100 cm。

圖2 圖像采集平臺Fig.2 Image acquisition platform1.BB2攝像機(jī) 2.攝像機(jī)支架 3.便攜式計(jì)算機(jī) 4.圖像采集卡

1.2 訓(xùn)練數(shù)據(jù)集

由于果樹生長姿態(tài)隨機(jī)，枝干形態(tài)各異，采用整體標(biāo)記會(huì)弱化卷積神經(jīng)網(wǎng)絡(luò)提取樹干的形狀特征，會(huì)增加模型對樹干的誤識別率，因此本文提出一種網(wǎng)格化標(biāo)記方法，即將整體不規(guī)則的枝干網(wǎng)格簡化為離散的形狀規(guī)則的四邊形網(wǎng)格，通過單個(gè)網(wǎng)格化枝干的識別及多網(wǎng)格的多變量約束，實(shí)現(xiàn)整個(gè)枝干的重建。本文將分叉枝干作為枝干的關(guān)鍵特征，將枝干分為兩類：無分叉枝干(No forking branches,NF)，包括無遮擋枝干、被樹葉遮擋枝干、被果實(shí)遮擋枝干；有分叉枝干(Forking branches,FB)，存在分支的枝干，設(shè)分叉枝干數(shù)量為N(2≤N≤5)。

在對無分叉枝干進(jìn)行網(wǎng)格化標(biāo)記時(shí)，采用類似于矩形的四邊形對枝干進(jìn)行標(biāo)記，四邊形的邊框與枝干邊緣保持一致，標(biāo)記效果如圖3a所示。對于有分叉枝干類采用類似于梯形的四邊形對枝干進(jìn)行標(biāo)記，沿著樹枝生長方向?qū)⒎植嫣幹暗闹髦Ω蓞^(qū)域作為梯形的上底，分叉處之后的分叉枝干區(qū)域作為梯形的下底，梯形的兩腰分別與分叉枝干邊緣保持一致，標(biāo)記效果如圖3b所示。

圖3 各類別標(biāo)記方法Fig.3 Marking method

為了統(tǒng)一數(shù)據(jù)集中目標(biāo)物的尺度，圖像中過小的枝干不進(jìn)行標(biāo)記。如圖4所示，紅色圈中為進(jìn)行標(biāo)記的最小枝干，枝干寬度為7像素。由于拍攝距離和人工標(biāo)記時(shí)存在偶然誤差，因此，本文將6～8像素寬度作為最低標(biāo)記標(biāo)準(zhǔn)，采用LabelMe[21]對果樹枝干進(jìn)行整體標(biāo)記和網(wǎng)格化標(biāo)記，結(jié)果對比如圖5所示。

圖6 識別與重建流程Fig.6 Diagram of branches detection system

圖4 枝干標(biāo)記的尺度范圍Fig.4 Scale range of branch marks

圖5 不同標(biāo)記方法的結(jié)果Fig.5 Results of different marking methods

1.3 識別模型與不同標(biāo)記方法測試

本次實(shí)驗(yàn)總樣本量為750幅圖像，其中100幅圖像作為訓(xùn)練集，50幅圖像作為測試集，其余600幅圖像用于后續(xù)測試。實(shí)驗(yàn)環(huán)境為：Intel i7 7800X的CPU，2塊11 GB GPU，運(yùn)行內(nèi)存為32 GB；軟件環(huán)境為Ubuntu16.04，深度學(xué)習(xí)框架Pythorch1.0。

Mask R-CNN[22]是Faster R-CNN[23]的改進(jìn)模型，兩種模型都用于目標(biāo)識別與定位，F(xiàn)aster R-CNN能夠通過矩形框?qū)⑽矬w識別出來，Mask R-CNN是在Faster R-CNN基礎(chǔ)上引入了一個(gè)mask分支，實(shí)現(xiàn)了對圖像的實(shí)例分割，為了得到枝干的像素級分割結(jié)果，本文采用Mask R-CNN作為識別模型得到初步識別結(jié)果，利用本文提出的多變量約束算法，完成各枝干的整體重建。識別與重建系統(tǒng)流程如圖6所示。

圖7 不同標(biāo)記方式測試效果對比Fig.7 Comparison of different marking methods

對相同的100幅圖像分別進(jìn)行整體標(biāo)記和網(wǎng)格化標(biāo)記，在訓(xùn)練相同次數(shù)后，二者在測試集上測試效果對比如圖7所示，其中網(wǎng)格化標(biāo)記的平均召回率為81.09%，平均精確率為98.15%，整體標(biāo)記的平均召回率為66.59%，平均精確率為69.52%，其原因是采用網(wǎng)格化標(biāo)記使同一類別的訓(xùn)練樣本量增加，強(qiáng)化了卷積神經(jīng)網(wǎng)絡(luò)對枝干形狀特征的提取，因此在小樣本情況下采用網(wǎng)格化標(biāo)記具有較好識別效果。

1.4 枝干離散mask邊框的約束分析

經(jīng)過Mask R-CNN模型檢測后，輸出信息中包含識別目標(biāo)的類別信息、邊框信息以及mask分割區(qū)域。為了恢復(fù)整體枝干的信息，需要把離散的mask區(qū)域進(jìn)行連接、融合，因此需要對各個(gè)mask區(qū)域進(jìn)行相關(guān)性分析，得到重建枝干的約束性條件。

首先，由于Mask R-CNN、YOLO[24]和SSD[25]等方法檢測的目標(biāo)框包含過多的背景信息，因此本文采用mask區(qū)域的最小外接矩形[26-28]代替原始的目標(biāo)檢測框，并將計(jì)算的外接矩作為網(wǎng)格化枝干的位置邊框，以使位置邊框更加符合枝干生長方式，為進(jìn)一步融合重建提供準(zhǔn)確的位置邊框信息，結(jié)果如圖8所示。

圖8 離散mask的位置邊框處理結(jié)果Fig.8 Discrete mask bounding-box processing results

其次，由于mask的生成是隨機(jī)的，為了便于后續(xù)處理，對各位置邊框進(jìn)行隨機(jī)編號，如圖9所示，通過搜索相鄰邊框的方法實(shí)現(xiàn)枝干的融合重建。

圖9 位置邊框隨機(jī)編號結(jié)果Fig.9 Random numbering of bounding-box

1.4.1相鄰位置邊框距離約束條件

本文算法是基于相鄰位置邊框進(jìn)行區(qū)域搜索，因此需要分析相鄰位置邊框的距離范圍。圖10所示為同一枝干位置邊框分布，d1表示相鄰位置邊框中心距，d2表示相隔位置邊框中心距，為了確保在搜索半徑內(nèi)盡可能地只搜索出相鄰位置邊框，需要確定最大搜索半徑d2。

圖10 位置邊框距離關(guān)系示意圖Fig.10 Bounding-box distance relationship

通過對相鄰位置邊框的幾何中心距分布進(jìn)行統(tǒng)計(jì)，距離d1的分布范圍統(tǒng)計(jì)如圖11所示，相鄰位置邊框之間的幾何中心距離主要分布在20～120像素之間，同時(shí)相鄰位置邊框之間存在一個(gè)空隙距離為20像素，即距離|d2-d1|，因此本文將距離約束d2最大閾值設(shè)置為140像素。

圖11 相鄰位置邊框中心距統(tǒng)計(jì)結(jié)果Fig.11 Statistics on center distance of adjacent borders

1.4.2相鄰位置邊框角度約束條件

對于NF類，如圖12所示(截取圖9中部分枝干并對其進(jìn)行簡化)，其中圖12a為最小外接矩處理后的部分枝干截圖，圖12b為NF類中編號為17、29、34位置邊框的簡化示意圖，圖12c為編號29、34邊框的中心線關(guān)系示意圖，圖12c中α1表示相鄰邊框各自長軸方向中心線的夾角，α2、α3分別表示相鄰邊框幾何中心連線與各自長軸中心線的夾角。

圖12 相鄰邊框角度關(guān)系圖Fig.12 Angle relationship between adjacent bounding-box

通過對600幅圖像進(jìn)行上述角度統(tǒng)計(jì)，得到了8239個(gè)α1的分布情況，如圖13所示，可見α1主要分布在0°～50°之間。因此本文將相鄰邊框的α1約束條件設(shè)定在0°～50°之間。

圖14表示位置邊框1和位置邊框2在中心距相同時(shí)3種不同的位置，其中圖14a的位置邊框?qū)儆谕恢Ω?，圖14b、14c的兩位置邊框不屬于同一枝干，設(shè)3種情況的α1均滿足約束，由圖可見，當(dāng)兩位置邊框趨近同一枝干時(shí)α2、α3均趨近于0°。因此需要確定同一枝干相鄰位置邊框α2、α3的取值分布，共統(tǒng)計(jì)了16 478個(gè)角度α2、α3的分布范圍，如圖15所示，可見α2、α3主要分布在0°～40°之間。

圖13 相鄰邊框長軸方向夾角分布Fig.13 Angle distribution of long axis direction of adjacent borders

圖14 角度α2、α3關(guān)系Fig.14 Angle relationship of α2 and α3

圖15 角度α2、α3分布Fig.15 Angle distribution of α2 and α3

1.4.3相鄰位置邊框交點(diǎn)約束條件

圖16a所示為相鄰的NF類與FB類邊框，由于其形狀不同，因此不能用上述的角度約束條件。圖16b為FB類邊框及其相鄰的NF類最小外接矩形邊框示意圖，可見屬于同一枝干的NF類長軸方向的中心線延長線與FB類位置邊框的對角線存在交點(diǎn)。經(jīng)過對2 359組屬于同一枝干的NF類與FB類相鄰邊框進(jìn)行統(tǒng)計(jì)，發(fā)現(xiàn)97%以上的此類相鄰邊框都存在交點(diǎn)。因此，本文將相鄰NF類邊框與FB類邊框存在交點(diǎn)設(shè)為屬于同一枝干的判斷準(zhǔn)則。

圖16 分叉樹枝邊框區(qū)域融合條件分析Fig.16 Analysis of fusion condition of boundary branches

綜上所述，通過對相鄰mask位置邊框的距離、角度和交點(diǎn)進(jìn)行分析，確定了同一枝干相鄰位置邊框角度α1、α2、α3，距離d2和判斷準(zhǔn)則f等約束條件，分別如下：

滿足距離約束

d2≤140像素

滿足角度約束

0°≤α1≤50°
0°≤α2≤40°
0°≤α3≤40°

滿足交點(diǎn)判斷準(zhǔn)則

1.5 枝干重建

1.5.1基于多參數(shù)變量約束的枝干動(dòng)態(tài)重建算法

該算法對每個(gè)離散位置邊框引入?yún)?shù)g、x、y、β、v、u，其中，g表示位置邊框編號；x、y表示位置邊框中心點(diǎn)坐標(biāo)；β表示邊框長軸與x軸的夾角；u表示離散枝干位置邊框連接次數(shù)，當(dāng)離散枝干為FB類時(shí)，u≥0；當(dāng)離散枝干為NF類時(shí)，0≤u≤2，初始值為0。

v表示邊框所屬類別，當(dāng)v=0時(shí)，位置邊框?qū)儆贜F類；當(dāng)v=1時(shí)，位置邊框?qū)儆贔B類。

算法主要過程為以當(dāng)前位置邊框?yàn)槠瘘c(diǎn)，在約束條件(角度約束、距離約束、判斷準(zhǔn)則f)下搜索下一組位置邊框，搜索過程中對各相鄰位置的離散位置邊框是否屬于同一枝干類進(jìn)行從屬性劃分，再對完成劃分的位置邊框進(jìn)行曲線擬合，算法大致步驟如下：

(1)遍歷位置邊框，以被遍歷邊框?yàn)樵c(diǎn)，搜索其它位置邊框。

(2)計(jì)算被遍歷邊框與搜索邊框的距離、角度、判斷準(zhǔn)則f，保存滿足要求的位置邊框。

(3)在滿足要求的搜索邊框中提取最短中心距離的搜索框，并與原點(diǎn)建立連接。

(4)重復(fù)步驟(1)～(3)，直到所有邊框遍歷完成。

(5)以建立連接的端點(diǎn)邊框或分叉類型邊框?yàn)槠鹗键c(diǎn)，以連接線順序提取邊框，直到遇到下一個(gè)端點(diǎn)邊框或分叉類型邊框作為結(jié)束點(diǎn)，保存起始點(diǎn)到結(jié)束點(diǎn)過程中的所有邊框?yàn)橐唤M。

(6)重復(fù)步驟(5)，直到所有邊框提取完成。

(7)對提取的各組邊框進(jìn)行曲線擬合，擬合寬度為該組邊框窄邊的平均值。

對枝干重建的具體步驟如下：

(1)對離散的枝干位置邊框隨機(jī)編號。

(2)將所有經(jīng)過編號處理的位置邊框數(shù)據(jù)信息存入列表Li，其中Li表示第i個(gè)位置邊框，Li=(g,x,y,β,v,u)(i=0,1,2,…)同時(shí)建立空列表Sk，其中Sk=(g1,g2,…,gt)表示第k條枝干包含的位置邊框編號。

(3)Li_v表示列表Li中參數(shù)v的值，若Li_v≠1，則列表Li的當(dāng)前索引號(初始索引號i為0)作為種子點(diǎn)。否則繼續(xù)索引，直至找出種子點(diǎn)。

(4)搜索其他未訪問的位置邊框列表Lj(i≠j)，如果被遍歷邊框Lj_v=1(j初始值為0)，表示第j個(gè)位置邊框?qū)儆贔B類，然后轉(zhuǎn)向步驟(6)。

(5)判斷Lj_u是否小于2，其中Lj_u表示列表Lj中參數(shù)u的值，若否，則轉(zhuǎn)向步驟(12)。若是，則進(jìn)入下一步。

(6)判斷Li_g、Lj_g是否同時(shí)在Sk中，若是，則表示Li_g、Lj_g已在Sk中，轉(zhuǎn)向步驟(12)。若否，則進(jìn)入下一步。

(8)判斷Lj_v是否等于0，若否，則轉(zhuǎn)向步驟(10)。若是，則進(jìn)入下一步。

(10)判斷f是否滿足條件,若是，則轉(zhuǎn)向步驟(11)。若否，則轉(zhuǎn)向步驟(12)。

(11)判斷Li_g、Lj_g是否只有一個(gè)在Sk中，若是，則將Li_g或Lj_g補(bǔ)入到Sk中。若否，則將Li_g、Lj_g存入列表Sk+1中，Li_u=Li_u+1，Lj_u=Lj_u+1。

(12)判斷j是否到達(dá)索引末端，若否，j=j+1，并轉(zhuǎn)向步驟(4)。若是，則進(jìn)入下一步。

(13)判斷i是否到達(dá)索引末端，若否，i=i+1，并轉(zhuǎn)向步驟(3)。若是，則結(jié)束。

1.5.2枝干曲線擬合

復(fù)雜環(huán)境中柑橘樹枝干的形狀千差萬別，且存在大量遮擋現(xiàn)象，上述重建結(jié)果得到的樹枝離散點(diǎn)仍有未識別區(qū)域，因此需要對這些離散點(diǎn)進(jìn)行擬合，以獲得完整的枝干信息。目前常用的離散數(shù)據(jù)點(diǎn)擬合方法有最小二乘法、插值擬合、多項(xiàng)式擬合等。其中多項(xiàng)式擬合適用于離散數(shù)據(jù)點(diǎn)標(biāo)準(zhǔn)差較小的擬合，且具有計(jì)算量小、運(yùn)算速度快等優(yōu)點(diǎn)?？紤]到本文獲取的枝干位置邊框中心點(diǎn)與枝干真實(shí)位置中心點(diǎn)偏差較小，且在同一枝干上分布較均勻，同時(shí)也為了降低計(jì)算量，提高運(yùn)算速度，本文擬采用多項(xiàng)式曲線擬合的方法對重建位置邊框中心點(diǎn)進(jìn)行擬合[29-30]，多項(xiàng)式擬合具體步驟如下：

(1)將獲取的同一枝干中心點(diǎn)橫坐標(biāo)依次存入向量X，縱坐標(biāo)依次存入向量Y。

(4)擬合的寬度取同一枝干矩形框窄邊寬度的平均值。

2 實(shí)驗(yàn)結(jié)果與分析

2.1 枝干曲線擬合實(shí)驗(yàn)

采用多項(xiàng)式擬合對離散位置邊框數(shù)據(jù)點(diǎn)進(jìn)行擬合，以恢復(fù)枝干的形態(tài)信息。為了得到最優(yōu)的擬合效果，完整恢復(fù)枝干的形態(tài)信息，進(jìn)行枝干曲線擬合實(shí)驗(yàn)。分別進(jìn)行二、三、四、五次多項(xiàng)式擬合對比實(shí)驗(yàn)，同時(shí)引入擬合性能評價(jià)指標(biāo)，擬合誤差為

(1)

式中Fi——擬合曲線包含的像素點(diǎn)集

Tu——真實(shí)枝干包含的像素點(diǎn)集

擬合對比實(shí)驗(yàn)結(jié)果如圖17所示，擬合誤差統(tǒng)計(jì)結(jié)果如圖18所示。

圖17 不同階次的曲線擬合效果對比Fig.17 Comparison of curve fitting effects of different orders

圖18 不同擬合階次誤差對比Fig.18 Comparison of different fitting order errors

由圖18可知，二次曲線擬合平均誤差為54%，三次曲線擬合平均誤差為26.95%，四次曲線擬合平均誤差為11.47%，五次曲線擬合平均誤差為9.59%。隨著擬合曲線階次的增加，擬合誤差呈下降趨勢。當(dāng)擬合曲線階次大于四次時(shí)，其平均誤差變化不明顯，且四次多項(xiàng)式曲線擬合效果已實(shí)現(xiàn)了枝干形態(tài)的完整重建。因此，在保證擬合效果最佳的情況下，同時(shí)兼顧枝干曲線擬合重建過程中的運(yùn)算高效性，本文采用四次多項(xiàng)式進(jìn)行曲線擬合。

2.2 枝干重建算法性能分析

為了測試本文算法的有效性，進(jìn)行了枝干重建性能評估實(shí)驗(yàn)。其中單幅圖像采用Mask R-CNN模型識別平均用時(shí)2.2 s，本文算法平均用時(shí)0.7 s，總耗時(shí)為2.9 s。同時(shí)采集50幅圖像作為驗(yàn)證數(shù)據(jù)集，部分驗(yàn)證集圖像如圖19a所示，利用Mask R-CNN識別模型對枝干進(jìn)行識別，然后對識別出的位置邊框進(jìn)行初步劃分，如圖19d所示，最后通過曲線擬合實(shí)現(xiàn)枝干的完整重建，如圖19g所示。為了準(zhǔn)確衡量枝干重建效果，定義枝干重建準(zhǔn)確率為

(2)

式中Ar——重建準(zhǔn)確率

Crb——正確重建枝干數(shù)

Ab——實(shí)際枝干數(shù)

重建準(zhǔn)確率統(tǒng)計(jì)結(jié)果如圖20所示，其中平均重建準(zhǔn)確率為88.64%。

本文方法不適合于處理相鄰且趨于平行的不同枝干，如圖19b所示，主要是因?yàn)楸疚牡慕嵌燃s束條件不能有效地劃分此類枝干，在執(zhí)行最鄰近點(diǎn)優(yōu)先搜索過程中，容易把不同枝干的信息重建在一起，如圖19e、19h所示，兩條枝干沒有正確重建，但是根據(jù)果樹枝干生長姿態(tài)，這種情況出現(xiàn)較少，因此對整體的重建誤差影響不大。

此外，本文是基于平面果樹圖像進(jìn)行識別和重建，對于三維空間上深度距離較遠(yuǎn)，而投影到二維平面上距離較近的枝干，如圖19f所示，最中間的識別區(qū)域?yàn)槠渌麡渲Ω桑谖纯紤]枝干深度信息的情況下，也會(huì)出現(xiàn)重建誤差，如圖19i所示。

圖19 枝干重建結(jié)果Fig.19 Branch reconstruction results

圖20 果樹枝干重建準(zhǔn)確率Fig.20 Accuracy rate of branches reconstruction

為了驗(yàn)證本文方法的性能，將本文算法與相關(guān)文獻(xiàn)進(jìn)行了對比，如表1所示。為了表示所檢測枝干范圍，本文以樹狀圖的形式對檢測枝干進(jìn)行等級劃分[31]，其中文獻(xiàn)中所檢測的最粗枝干為1級枝干，遇到分叉節(jié)點(diǎn)的其后為2級枝干，以此類推，通過表1可以看到，本文方法比文獻(xiàn)[14]和文獻(xiàn)[20]提出的方法準(zhǔn)確率分別提高了21.34、3.14個(gè)百分點(diǎn)，文獻(xiàn)[13，17-19]提出的方法比本文方法準(zhǔn)確率分別高了5.36、5.16、4.36、8個(gè)百分點(diǎn)，但所檢測枝干等級均小于3級，且文獻(xiàn)[13,18-19]檢測場景復(fù)雜度低于本文應(yīng)對場景，總體來看，本文方法提升了枝干檢測范圍，同時(shí)對于背景復(fù)雜、枝葉遮擋等情況也能很好地完成檢測。

表1 不同枝干檢測方法性能比較Tab.1 Performance comparison of different branch detection methods

3 結(jié)論

(1)針對小樣本下果樹枝干的特征信息難以提取的問題，采用網(wǎng)格化的標(biāo)記方式構(gòu)建了無分叉和有分叉枝干兩類訓(xùn)練數(shù)據(jù)集，訓(xùn)練的Mask R-CNN模型實(shí)現(xiàn)了對枝干的準(zhǔn)確識別，平均識別精確率達(dá)98.15%，平均召回率達(dá)81.09%。

(2)用mask的最小外接矩形代替初始位置邊框，實(shí)現(xiàn)了對枝干生長偏角、長度、寬度等姿態(tài)信息的準(zhǔn)確獲取。

(3)設(shè)計(jì)了基于多參數(shù)變量約束的離散枝干邊框劃分算法，對于劃分好的枝干邊框，采用多項(xiàng)式擬合的方法，完成了柑橘果樹枝干重建，其中單條枝干擬合平均誤差為11.47%，整體枝干平均重建準(zhǔn)確率為88.64%。