果樹重建與果實(shí)識(shí)別方法在采摘場(chǎng)景中的應(yīng)用*

熊龍燁, 王 卓, 何 宇, 劉 灑, 楊長(zhǎng)輝,2

(1.重慶理工大學(xué) 機(jī)械工程學(xué)院,重慶 400054；2.西安交通大學(xué) 機(jī)械工程學(xué)院,陜西 西安 710049)

0 引 言

對(duì)于柑橘采摘機(jī)器人來(lái)說(shuō),完整獲取柑橘樹的三維信息以及準(zhǔn)確識(shí)別成熟的柑橘有利于實(shí)現(xiàn)機(jī)器人的精準(zhǔn)采摘[1～4]。近年來(lái),隨著深度相機(jī)的快速發(fā)展獲取物體的三維信息變得更加方便、快捷,因此基于點(diǎn)云的三維重建成為當(dāng)下的研究重點(diǎn)。Kinect v2,作為微軟第二代深度相機(jī),能夠同時(shí)獲取物體的彩色信息和深度信息,由于其采用了飛行時(shí)間主動(dòng)光源技術(shù)進(jìn)行測(cè)距不易受到外界光線變化的影響,具有出色的深度信息獲取能力[5]。該相機(jī)因其具有操作簡(jiǎn)單價(jià)格低廉以及定位精度高的優(yōu)點(diǎn),目前被廣泛應(yīng)用于各種目標(biāo)物體的三維重建[6]。

基于上述情況,本文將柑橘樹作為研究對(duì)象,通過(guò)Kinect v2獲取不同角度下的柑橘樹的點(diǎn)云,對(duì)獲取的點(diǎn)云進(jìn)行濾波、融合等處理,采用泊松表面重建算法對(duì)其進(jìn)行重建。與此同時(shí),根據(jù)成熟柑橘的顏色特征,通過(guò)顏色空間轉(zhuǎn)換和通道分離的方法,首先在HSV顏色空間H通道下進(jìn)行初次分割對(duì)柑橘區(qū)域進(jìn)行初步提取,然后在Lab顏色空間a通道下對(duì)其進(jìn)行二次分割,最后通過(guò)對(duì)分割區(qū)域進(jìn)行橢圓擬合的方法實(shí)現(xiàn)對(duì)柑橘區(qū)域的最終提取。

1 實(shí)驗(yàn)材料與方法

1.1 實(shí)驗(yàn)設(shè)備與圖像采集

實(shí)驗(yàn)所采用的設(shè)備為Kinect v2,硬件結(jié)構(gòu)如圖1(a)所示,實(shí)驗(yàn)地點(diǎn)位于重慶理工大學(xué)柑橘實(shí)驗(yàn)基地,在天氣晴朗光照溫和的條件下,通過(guò)該相機(jī)對(duì)柑橘樹進(jìn)行如圖1(b)所示的A,B,C三個(gè)角度進(jìn)行拍攝,拍攝的距離為1 m左右。

1.2 點(diǎn)云獲取及預(yù)處理

彩色圖像中包含較多除開柑橘樹以外的其它背景,首先通過(guò)深度閾值分割的方法去除彩色圖像中多余的背景,然后利用雙邊濾波算法[7]對(duì)深度圖像進(jìn)行濾波處理,其中輸出像素值與領(lǐng)域像素值之間關(guān)系如下

加權(quán)系數(shù)w(i,j,k,l)取決于定義域核和值域核的乘積

通過(guò)深度圖得到柑橘樹的空間三維坐標(biāo),然后通過(guò)建立深度閾值分割后的彩色圖與雙邊濾波后的深度圖像之間的映射關(guān)系,由此獲得具有顏色信息的三維空間坐標(biāo)(X,Y,Z,r,g,b),即

X=(u-cx)×d(u,v)/fx,Y=(v-cy)×d(u,v)/fy,

Z=d(u,v)

(2)

式中 (u,v)為深度圖上任意像素點(diǎn),d(u,v)為深度圖中像素坐標(biāo)(u,v)為對(duì)應(yīng)的深度值,(cx,cy)為深度鏡頭光心坐標(biāo),(fx,fy)為深度鏡頭橫向和縱向焦距。

考慮到上述點(diǎn)云中仍含有其他背景以及一些邊緣部分的離群噪聲點(diǎn),本文通過(guò)直通濾波器將Z軸方向上(深度)范圍之外的點(diǎn)濾除,并利用統(tǒng)計(jì)濾波器中的Kd-Tree算法查找點(diǎn)云Pi(xi,yi,zi)(i=1,2,…,m)的空間臨近點(diǎn)Pj(xj,yj,zj)(j=1,2,…,n),求解Pi和其臨近點(diǎn)的平均距離di并計(jì)算全局距離平均值μ和標(biāo)準(zhǔn)差σ,通過(guò)將距離di在μ±ασ范圍之外的定義為離群噪聲點(diǎn)去除。其中,di,μ,σ的計(jì)算

其中,參數(shù)和臨近點(diǎn)個(gè)數(shù)n取決于目標(biāo)點(diǎn)云的數(shù)量和密度,本文通過(guò)實(shí)驗(yàn)發(fā)現(xiàn)n取50,α取 1.0 時(shí)濾波效果較好。

通過(guò)ICP算法[8]對(duì)經(jīng)過(guò)上述處理后得到的點(diǎn)云進(jìn)行迭代融合,迭代的數(shù)學(xué)表達(dá)式如下

式中Qii=1,2,3,…—第1個(gè)點(diǎn)集,Pii=1,2,3,…—第2個(gè)點(diǎn)集,R為旋轉(zhuǎn)矩陣,T為平移矩陣。

1.3 基于泊松曲面重建算法的柑橘樹重建

泊松表面重建算法[9,10]融合了全局和局部方法的優(yōu)點(diǎn),利用求解泊松方程來(lái)取得點(diǎn)云模型所描述的表面信息代表的隱性方程,通過(guò)對(duì)該方程進(jìn)行等值面提取,從而得到具有幾何實(shí)體信息的表面模型。泊松曲面重建算法的具體步驟如下:

1)定義八叉樹:使用樣本點(diǎn)的位置來(lái)定義八叉樹O,然后附加一個(gè)節(jié)點(diǎn)函數(shù)F0使得八叉樹的每一個(gè)節(jié)點(diǎn)o∈O

F(x,y,z)=(Q(x)Q(y)Q(z))*n

式中 盒濾波函數(shù)為Q(t),n為濾波器的階數(shù),本文取n=3,由此可以得到Fo(q)的數(shù)學(xué)表達(dá)式如下

式中F0為節(jié)點(diǎn)函數(shù),F為基函數(shù),rc為節(jié)點(diǎn)中心,rw為節(jié)點(diǎn)寬度。

式中ND(s)為 8個(gè)最接近S點(diǎn)深度為8的節(jié)點(diǎn),α0為三次線性插值權(quán)重。

5)提取等值面:為得到重構(gòu)表面,需要選擇閾值獲得等值面；先估計(jì)采樣點(diǎn)的位置,然后用其平均值進(jìn)行等值面提取,然后用移動(dòng)立方體算法[11]得到等值面。

1.4 基于顏色特征的成熟柑橘分割識(shí)別

本文通過(guò)在HSV顏色空間和Lab顏色空間下利用成熟柑橘的顏色特征信息對(duì)其進(jìn)行分割識(shí)別。首先將其從RGB顏色空間轉(zhuǎn)換到HSV顏色空間[12]

通過(guò)設(shè)定H,S,V以及L,a,b三個(gè)通道的閾值進(jìn)行二次分割,當(dāng)T

由于從RGB顏色空間轉(zhuǎn)換到Lab顏色空間時(shí),需要以XYZ顏色空間作為中間轉(zhuǎn)換

由XYZ顏色空間轉(zhuǎn)換到Lab顏色空間[13]

校正函數(shù)f的計(jì)算

2 試驗(yàn)結(jié)果與分析

2.1 試驗(yàn)條件

按照本文所提到A,B,C三個(gè)角度拍攝對(duì)柑橘樹進(jìn)行拍攝,得到對(duì)應(yīng)的彩色圖和深度圖如圖2所示。以上試驗(yàn)過(guò)程均在3.1 Hz處理器、8 G內(nèi)存的Win10系統(tǒng)的PC上完成,具體的試驗(yàn)流程圖如圖3所示。

圖2 Kinect v2采集圖像

圖3 實(shí)驗(yàn)流程

2.2 重建結(jié)果及分析

對(duì)柑橘樹進(jìn)行重建的結(jié)果如圖4所示,其中,圖4(b)為通過(guò)彩色圖和深度圖配準(zhǔn)之后經(jīng)過(guò)預(yù)處理后得到的點(diǎn)云,圖4(c)為重建后得到三維模型,圖4(d)為三維模型經(jīng)過(guò)顏色紋理映射之后的效果。對(duì)比圖4(a),(c)以及(d)可以發(fā)現(xiàn)重建的柑橘樹對(duì)比真實(shí)的柑橘樹具有較高的還原度。

圖4 三維重建效果圖

參考文獻(xiàn)[14]中的方法,利用皮尺實(shí)地測(cè)量了20組柑橘樹的樹冠層直徑和高度,以人為測(cè)量的值作為基準(zhǔn)值,對(duì)比實(shí)測(cè)值與模型值之間的大小并通過(guò)計(jì)算二者之間的均方根誤差來(lái)對(duì)重建精度進(jìn)行量化。實(shí)驗(yàn)對(duì)比結(jié)果如圖5所示,重建模型樹冠層直徑與實(shí)測(cè)直徑的均方根誤差為2.337 cm,樹冠層高度與實(shí)測(cè)高度均方根誤差為2.962 cm,通過(guò)統(tǒng)計(jì)可得,重建模型樹冠層直徑誤差范圍為0 %～5.17 %,重建模型樹冠層高度誤差范圍為0 %～4.21 %。

圖5 重建模型樹精度分析結(jié)果

2.3 識(shí)別結(jié)果與分析

對(duì)成熟柑橘進(jìn)行分割識(shí)別的效果如圖6所示。對(duì)比圖6(a)和圖6(d)可以發(fā)現(xiàn),柑橘果實(shí)和枝葉等背景已經(jīng)被較好的分割開,但仍有少量背景。對(duì)比圖6(d)和圖6(g)可以發(fā)現(xiàn),經(jīng)過(guò)兩次分割之后柑橘果實(shí)和枝葉等背景已經(jīng)被完全分割開來(lái)。圖6(h)為最終的柑橘區(qū)域提取效果,可以看到橢圓擬合的效果較好與柑橘果實(shí)本身的輪廓重合度較高,因此,將該區(qū)域識(shí)別為柑橘果實(shí)區(qū)域具有較高的準(zhǔn)確率。

圖6 成熟柑橘分割識(shí)別效果

統(tǒng)計(jì)了20組柑橘樹成熟柑橘的識(shí)別率(其中包含了前文中所提到A角度7張,B角度7張,C角度6張)的結(jié)果如表1所示,由表1可知 A角度下的識(shí)別準(zhǔn)確率達(dá)94.7 %,B角度下的識(shí)別準(zhǔn)確率達(dá)96.3 %,C角度下的識(shí)別準(zhǔn)確率達(dá)92.9 %,三種不同角度下的平均準(zhǔn)確識(shí)別率達(dá)94.72 %。

3 結(jié) 論

本文研究的柑橘樹三維重建與成熟柑橘識(shí)別方法具有較高的穩(wěn)定性和準(zhǔn)確性,對(duì)柑橘樹的重建精度達(dá)到94.83 %,對(duì)成熟果實(shí)識(shí)別的準(zhǔn)確率達(dá)94.72 %。由此說(shuō)明,該方法能夠保證柑橘樹的重建精度和對(duì)成熟柑橘的識(shí)別率,可以為柑橘采摘機(jī)器人提供采摘指導(dǎo)。