基于Kinect相機(jī)的多視角RGB-D信息融合的甜椒姿態(tài)估計(jì)研究*

牟向偉，孫國奇，陳林濤，于新業(yè)，彭柱菁，伍倩

(1.廣西師范大學(xué)電子工程學(xué)院,廣西桂林,541004;2.廣西師范大學(xué)職業(yè)技術(shù)師范學(xué)院,廣西桂林,541004)

0 引言

果蔬采摘作業(yè),在果蔬生產(chǎn)過程中是一個(gè)至關(guān)重要的環(huán)節(jié),傳統(tǒng)人工采摘方式勞動(dòng)強(qiáng)度大,生產(chǎn)效率低[1]。利用機(jī)器人采摘果蔬,可有效降低成本提高采摘效率。果蔬采摘機(jī)器人實(shí)現(xiàn)自動(dòng)采摘主要由果實(shí)識別、安全抓取和果實(shí)與植株分離3個(gè)步驟組成[2],任何一個(gè)環(huán)節(jié)出現(xiàn)問題都將導(dǎo)致采摘失敗。對果實(shí)識別常用的方法有轉(zhuǎn)化不同顏色空間的方法[3-5]進(jìn)行分割,以及使用神經(jīng)網(wǎng)絡(luò)[6-7]等方法。針對不同的果蔬,采摘方式也有所不同。近年來,機(jī)械臂式采摘機(jī)器人研究日益受到國內(nèi)外學(xué)者的重視[8]。研究發(fā)現(xiàn),以接近果實(shí)生長姿態(tài)的采摘方式進(jìn)行采摘作業(yè)比一般的以水平方式直接抓取的采摘成功率有明顯提升[9]。另外,通過剪斷果實(shí)的果梗也可實(shí)現(xiàn)果實(shí)與植株的分離,利用果實(shí)的生長方向有助于研究人員在果梗存在遮擋情況下預(yù)測果梗的位置[10-11]。由此可見,果實(shí)在空間中三維姿態(tài)的識別對果實(shí)采摘有著重要的意義,能為果實(shí)成功抓取與分離提供有效的信息。果實(shí)生長姿態(tài)確定方法的研究:文獻(xiàn)[12-13]通過對二維圖像處理確定蘋果的姿態(tài),并未給出果實(shí)的三維空間姿態(tài)。在三維點(diǎn)云的處理上,Yin等[14]將分割出葡萄目標(biāo)利用圓柱模型擬合,由于該模型與葡萄形狀相差較大,只能提供一個(gè)大致的預(yù)估姿態(tài)。Lin等[15]在提取番石榴果實(shí)和樹枝后使用一種三維線段檢測方法對分割后的番石榴分支進(jìn)行重構(gòu),將果實(shí)中心位置和最近分支信息估計(jì)果實(shí)的三維位姿;Li等[16]提出一種對稱軸的水果姿態(tài)估計(jì)方法,取得了較好的效果,但此方法只適用于成對稱狀的水果姿態(tài)估計(jì);Bac等[17]開發(fā)的甜椒采摘機(jī)器人,通過雙目相機(jī)確定果實(shí)位置,在甜椒預(yù)采摘點(diǎn)通過單目相機(jī)獲取果柄方位信息,從而確定采摘姿態(tài),但此方法只能用于果柄無遮擋情況。

綜上,早期工作在果實(shí)姿態(tài)提取上取得一定進(jìn)展,但有仍然存在一定局限性。例如,所提出的算法只能適用于某一種果實(shí)或某一類果實(shí),或者精確度太低,難以滿足實(shí)際的生產(chǎn)需求,尤其是在存在遮擋的情況下無法準(zhǔn)確估計(jì)出果實(shí)的姿態(tài)。

為解決現(xiàn)有研究存在的問題,在點(diǎn)云配準(zhǔn)階段提高兩視角下甜椒點(diǎn)云的配準(zhǔn)精度,對點(diǎn)云配準(zhǔn)后的甜椒姿態(tài)進(jìn)行估計(jì),并計(jì)算檢測精度。本研究以成熟甜椒為研究對象,提出一種基于多視角下RGB-D信息的甜椒姿態(tài)估計(jì)方法,通過點(diǎn)云配準(zhǔn)融合獲取的兩視角下的點(diǎn)云信息,彌補(bǔ)因葉子或枝干遮擋導(dǎo)致甜椒點(diǎn)云信息殘缺導(dǎo)致的姿態(tài)估計(jì)偏差大、精度低等關(guān)鍵技術(shù)問題,使用視覺算法來確定甜椒生長姿態(tài),為果蔬采摘機(jī)器人的智能化發(fā)展提供理論依據(jù)和技術(shù)支撐。

1 材料與方法

1.1 圖像采集與相機(jī)標(biāo)定

試驗(yàn)地點(diǎn)在室內(nèi),研究對象為成熟甜椒(含水率為78.8%,室內(nèi)溫度為28 ℃);研究對象距離圖像采集設(shè)備為0.8 m;日光燈照射下,使用Azure Kinect DK作為圖像采集設(shè)備。工作時(shí)如圖1所示,Kinect相機(jī)水平安裝在三腳架上,距離甜椒姿態(tài)固定裝置底部垂直高度15 cm,通過間隔60°的雙視角方式獲取目標(biāo)點(diǎn)云的信息,并以30幀/s成像獲取1 920像素×1 080像素分辨率的彩色圖像與512像素×421像素分辨率的深度圖像;試驗(yàn)平臺所用計(jì)算機(jī)為Windows10操作系統(tǒng)、Intel(R) Core(TM) i5-7200U CPU @ 2.5 GHZ、NVIDA GeForce 940MX顯卡、12 G內(nèi)存,在Visual Studio 2019平臺上配置Microsoft.Azure.Kinect.Sensor1.4.1、OpenCV3.4.1、PCL1.11.1、Open3D編寫算法。

圖1 點(diǎn)云采集視角布局圖

在獲取甜椒彩色圖像與深度圖像后,需將彩色圖與深度圖融合生成彩色點(diǎn)云,建立從圖像坐標(biāo)系到世界坐標(biāo)系之間的數(shù)學(xué)關(guān)系。使用Azure Kinect DK相機(jī)對5 mm×7 mm×30 mm的黑白棋盤格,采集不同角度下標(biāo)定板(共30張),使用MATLAB軟件中的Camera Calibrator(相機(jī)標(biāo)定工具箱)對該相機(jī)進(jìn)行參數(shù)標(biāo)定,得到其內(nèi)部參數(shù),計(jì)算初始點(diǎn)云,如圖2所示。

圖2 初始點(diǎn)云數(shù)據(jù)圖

1.2 圖像預(yù)處理

相機(jī)空間坐標(biāo)系下包含了原始場景的點(diǎn)云集合,點(diǎn)云中包含了多余的背景信息。因此需要對原始點(diǎn)云進(jìn)行預(yù)處理,將所需的甜椒點(diǎn)云數(shù)據(jù)從背景中分割出來?；陬伾畔⒌姆指钍浅Ｓ玫囊环N分割方式,由于甜椒RGB信息與背景RGB信息差別較明顯,因此根據(jù)獲取的點(diǎn)云RGB信息,設(shè)置點(diǎn)云的顏色閾值范圍,將果實(shí)從背景中分割出來。同時(shí)對點(diǎn)云數(shù)據(jù)進(jìn)行下采樣與濾波處理,提高后續(xù)配準(zhǔn)速度與精度。本文經(jīng)過對果實(shí)與背景顏色信息分析,設(shè)定當(dāng)R與G分量的差值大于閾值t時(shí),該點(diǎn)被判定為果實(shí)上一點(diǎn),反之則視為無用點(diǎn)刪掉,這樣可以很好地將有用數(shù)據(jù)從龐大的背景信息中篩選出來。本文經(jīng)過對果實(shí)與背景顏色信息分析,將有用數(shù)據(jù)從龐大的背景信息中篩選出來,使用統(tǒng)計(jì)濾波的方式剔除存在的噪聲。

1.3 點(diǎn)云配準(zhǔn)算法

常見的配準(zhǔn)算法有迭代最近點(diǎn)(ICP)算法[18]、正態(tài)分布法(NDT)以及奇異值分解法(SVD)。ICP算法配準(zhǔn)效果顯著,但存在一些缺點(diǎn),如對配準(zhǔn)點(diǎn)云初始狀態(tài)敏感,計(jì)算速度慢,在求解最優(yōu)目標(biāo)函數(shù)時(shí)易陷入局部最優(yōu)解[19]。由于本文采集的兩視角下甜椒點(diǎn)云距離較遠(yuǎn),重疊度低,直接使用ICP算法會陷入局部最優(yōu)解,因此在精配準(zhǔn)前需對點(diǎn)云進(jìn)行粗配準(zhǔn),提供給ICP配準(zhǔn)較好的初始狀態(tài)。首先利用SIFT算法[20]提取甜椒點(diǎn)云的關(guān)鍵特征點(diǎn),通過FPFH(快速點(diǎn)特征直方圖)[21]建立特征點(diǎn)的特征向量描述,之后經(jīng)過SAC-IA(采樣一致性)算法[22]完成兩視角下的甜椒點(diǎn)云粗配準(zhǔn),經(jīng)過粗配準(zhǔn)后源點(diǎn)云和目標(biāo)點(diǎn)云有了一定的重疊度,最后對點(diǎn)云進(jìn)行精配準(zhǔn)。

1.3.1 法向量閾值約束

ICP精配準(zhǔn)時(shí),對于目標(biāo)點(diǎn)云p與源點(diǎn)云中距離最近的點(diǎn)形成對應(yīng)點(diǎn)對記作q,利用該ICP算法尋找對應(yīng)點(diǎn)對并形成點(diǎn)集,使距離公式趨于最小值,由于相對應(yīng)的兩匹配點(diǎn)具有相似的局部特征,因此兩點(diǎn)的法向量相似。在點(diǎn)云表面處處光滑的情況下,任何點(diǎn)的局部鄰域特征都可由曲面重建的方式或基于與其鄰近的K個(gè)點(diǎn)計(jì)算可得,本文利用鄰域信息的方法計(jì)算點(diǎn)的法向量,對于qi鄰域中的點(diǎn),建立協(xié)方差矩陣

(1)

C·Vj=λj·Vjj∈{1,2,3}

(2)

式中:Pi——所要求的法向量特征的點(diǎn);

λj——矩陣C的特征值;

Vj——對應(yīng)的特征向量。

通過計(jì)算矩陣C的特征值[λ1,λ2,λ3]和其對應(yīng)的特征向量V1、V2、V3,所求的三個(gè)特征向量的最大值即為該點(diǎn)的法向量。計(jì)算出法向量特征后,在實(shí)際情況下,兩向量之間會存在一定夾角,記作θ。通過限制對應(yīng)點(diǎn)對p1與p2的法向量夾角的閾值刪除錯(cuò)誤點(diǎn)對,如圖3所示,若θ小于設(shè)定的閾值ε1,則認(rèn)為是正確點(diǎn)對并保留,兩向量之間會存在的一定夾角θ計(jì)算如式(3)所示。

圖3 對應(yīng)點(diǎn)夾角閾值示意圖

cosθ=(e1·e2)/(|e1||e2|)

(3)

式中:e1、e2——對應(yīng)點(diǎn)對p1、p2處的法向量。

1.3.2 曲率閾值約束

經(jīng)法向量閾值約束后,具有相似法向量特征值的錯(cuò)誤點(diǎn)對仍會被保留。因此,本文加入點(diǎn)云的曲率約束條件進(jìn)一步提純其對應(yīng)關(guān)系。在式(2)中通過計(jì)算點(diǎn)云鄰域的協(xié)方差矩陣的特征值后,得到λ1、λ2、λ3這3個(gè)特征值,若特征值滿足λ1<λ2<λ3,則pi的曲率

(4)

同樣,兩片點(diǎn)云中公共部分對應(yīng)點(diǎn)p1與p2理論上是相同的,實(shí)際上仍會存在一定偏差。故將兩對應(yīng)點(diǎn)曲率的差值記作β,若β小于設(shè)定的閾值ε2則認(rèn)為是錯(cuò)誤點(diǎn)對并刪除,反之則保留。最終得到剔除錯(cuò)誤點(diǎn)后的最近鄰點(diǎn)云對,其中兩對應(yīng)點(diǎn)曲率的差值

β=|gi-gj|

(5)

式中:gi、gj——對應(yīng)點(diǎn)對pi、pj處的曲率。

1.4 雙約束項(xiàng)的ICP算法

經(jīng)過粗配準(zhǔn)后,源點(diǎn)云和目標(biāo)點(diǎn)云有了一定的重疊度,接著使用ICP配準(zhǔn)算法進(jìn)行精配準(zhǔn)。構(gòu)建KD-tree加速搜索速度,并對相對應(yīng)的匹配點(diǎn)的法向量夾角與曲率閾值雙約束條件刪除錯(cuò)誤配準(zhǔn)點(diǎn),提高配準(zhǔn)精度。雙約束項(xiàng)的ICP算法步驟如下。

1) 分別構(gòu)建點(diǎn)云P與Q的KD-tree。

2) 從目標(biāo)點(diǎn)云P中搜索與源點(diǎn)云Q中的點(diǎn)qi,相應(yīng)的距離最近的點(diǎn)pi,并使用雙約束條件確定對應(yīng)點(diǎn)對。

3) 根據(jù)篩選后的對應(yīng)點(diǎn)對,求出點(diǎn)云Q和P之間的變換關(guān)系R和T。

4) 更新源點(diǎn)云Q,求出Q′=Rqi+T。根據(jù)新點(diǎn)云集Q′重復(fù)上述3個(gè)步驟。同時(shí)計(jì)算點(diǎn)云P與點(diǎn)云Q′間的距離平方和f如式(6)所示,若平方和小于所設(shè)置的閾值則停止迭代,并返回最終的[R,T]矩陣。

(6)

1.5 基于PCA的姿態(tài)估計(jì)算法

本文整體流程如圖4所示。

圖4 整體技術(shù)流程圖

對甜椒點(diǎn)云進(jìn)行配準(zhǔn),解決因遮擋導(dǎo)致甜椒點(diǎn)云缺失的問題后,利用配準(zhǔn)后的點(diǎn)云信息對甜椒姿態(tài)進(jìn)行估計(jì)。主成分分析法(PCA)原理是將原有的一組變量組合成一組新的相互無關(guān)的幾個(gè)綜合變量,在代數(shù)上表現(xiàn)為將原隨機(jī)向量的協(xié)方差矩陣轉(zhuǎn)換成對角陣,使數(shù)據(jù)指向樣本點(diǎn)散布最開的n個(gè)方向,對多維數(shù)據(jù)進(jìn)行降維處理。PCA主成分分析應(yīng)用于點(diǎn)云平面檢測,法向量特征、降維等方面[23]。PCA算法處理點(diǎn)云步驟如下。

1) 假設(shè)點(diǎn)云P={p1,p2,…,pi},點(diǎn)云數(shù)目為N,計(jì)算其均值,求得該組點(diǎn)云中心點(diǎn)如式(7)所示。

(7)

2) 計(jì)算點(diǎn)云樣本集的協(xié)方差矩陣M=PPT,并將矩陣進(jìn)行特征分解由于點(diǎn)云是三維數(shù)據(jù),計(jì)算出三個(gè)最大的特征值對應(yīng)的特征向量,求得的特征向量即為點(diǎn)云3個(gè)主方向。

3) 將求解的點(diǎn)云中心點(diǎn)和三個(gè)主方向,建立點(diǎn)云朝向的最小包圍盒。

4) 通過點(diǎn)云最小包圍盒上表面中心點(diǎn)與下表面中心點(diǎn)連線確定點(diǎn)云姿態(tài)軸向,如圖5所示,直線即為估算出甜椒的生長方向。

圖5 基于PCA的姿態(tài)估計(jì)算法求解的姿態(tài)結(jié)果

2 試驗(yàn)設(shè)計(jì)與結(jié)果

2.1 配準(zhǔn)參數(shù)分析

為驗(yàn)證本文所提出的算法的穩(wěn)定性與可行性,在經(jīng)由預(yù)處理后得到目標(biāo)甜椒點(diǎn)云,將兩片不同視角下點(diǎn)云進(jìn)行配準(zhǔn),配準(zhǔn)過程中各參數(shù)的設(shè)置影響著甜椒點(diǎn)云的配準(zhǔn)效果。其中,SIFT算法中參數(shù)的設(shè)置影響著提取特征點(diǎn)的個(gè)數(shù),進(jìn)而影響SAC-IA的效果。同時(shí),SAC-IA算法中誤差閾值與迭代次數(shù)也都影響著最終的配準(zhǔn)效果。對于本文所提出的雙約束項(xiàng)的ICP配準(zhǔn)算法中法向量夾角與曲率的閾值的設(shè)置,若閾值設(shè)置過大,則仍然會存在錯(cuò)誤的匹配點(diǎn)對,若閾值過小,會讓對應(yīng)點(diǎn)不足,則會使配準(zhǔn)誤差更大,甚至無法完成配準(zhǔn)。因此設(shè)置合理的參數(shù)對最終的配準(zhǔn)效果起著至關(guān)重要的作用。

2.2 SIFT特征提取算法參數(shù)整定

為研究SIFT特征提取算法對點(diǎn)云配準(zhǔn)的效果,本文通過改變sift特征提取算法中每層尺度空間的計(jì)算尺數(shù)octaver,變化區(qū)間為3～12,步長為1,研究參數(shù)變化對配準(zhǔn)效果的影響,并將10次數(shù)據(jù)變化記錄,SIFT參數(shù)對甜椒配準(zhǔn)效果的影響如圖6所示。

圖6 Octaver參數(shù)對配準(zhǔn)效果的影響

分析試驗(yàn)結(jié)果可知SIFI算法所提取的關(guān)鍵點(diǎn)個(gè)數(shù)影響后期配準(zhǔn)所消耗的時(shí)間,當(dāng)提取關(guān)鍵點(diǎn)較少時(shí),雖然配準(zhǔn)所消耗的時(shí)間短,但配準(zhǔn)的精度得不到保障。當(dāng)octaver的值逐漸變大時(shí),所提取的甜椒特征點(diǎn)逐漸增多,點(diǎn)云匹配消耗的時(shí)間相應(yīng)越長,配準(zhǔn)精度也在提升,當(dāng)octaver數(shù)值大于一定范圍后點(diǎn)云配準(zhǔn)效果反而在一定范圍內(nèi)波動(dòng),而不是趨于收斂。由圖6可以看出當(dāng)octaver設(shè)置為8時(shí),在點(diǎn)云配準(zhǔn)的時(shí)間較短情況下,仍然有著較好的配準(zhǔn)效果。

2.3 其他算法參數(shù)配置

通過顏色閾值分割算法用來將配準(zhǔn)后的甜椒果實(shí)點(diǎn)云從環(huán)境中分割出來,好的分割效果能將無用點(diǎn)云都濾除,只保留有用的甜椒信息,提供給甜椒姿態(tài)估計(jì)一個(gè)好的環(huán)境。經(jīng)過反復(fù)試驗(yàn)發(fā)現(xiàn),將R-G的值設(shè)置為140,B-G的值設(shè)置為20時(shí)能很好地分割效果。FPFH特征描述算子用來描述特征點(diǎn)鄰域空間的幾何信息,鄰域范圍選擇的合理性,一定程度上決定了特征點(diǎn)空間信息能否準(zhǔn)確描述,試驗(yàn)發(fā)現(xiàn)當(dāng)鄰域數(shù)設(shè)置為20時(shí),能保證配準(zhǔn)具有較好的效果。ICP算法中迭代的次數(shù),點(diǎn)云對法向量夾角的閾值、曲率的閾值都影響著ICP配準(zhǔn)算法的效果。試驗(yàn)發(fā)現(xiàn)當(dāng)ICP迭代次數(shù)設(shè)置為25時(shí),法向量夾角閾值設(shè)置為10°時(shí),曲率閾值設(shè)置為0.005可實(shí)現(xiàn)較高的配準(zhǔn)速度與精度。

3 結(jié)果分析與討論

3.1 基于雙約束項(xiàng)的ICP配準(zhǔn)算法誤差分析

為驗(yàn)證本文所提出的改進(jìn)的配準(zhǔn)算法的可行性,本文使用斯坦福數(shù)據(jù)集中Bunny模型與Dragon模型的點(diǎn)云數(shù)據(jù)。通過比較點(diǎn)云配準(zhǔn)消耗的時(shí)間和均方根誤差RMES。

(8)

本文算法與SAC-IA+ICP算法比較結(jié)果,如表1所示。

表1 本文算法與其他算法效果的對比表

從表1中可以看出,在耗時(shí)上,由于本文的算法在配準(zhǔn)時(shí)引入兩項(xiàng)條件約束,即使在構(gòu)建雙向KD-tree加速搜索點(diǎn)云對,本文算法在時(shí)間上僅僅略快于SAC-IA+ICP算法;在配準(zhǔn)誤差上,本文算法在Bunny和Dragon數(shù)據(jù)集上都得到了明顯的改善。因此本文所提出的點(diǎn)云配準(zhǔn)算法,在點(diǎn)云配準(zhǔn)總體效果更優(yōu)。配準(zhǔn)效果圖如圖7所示。

(a) Bunny配準(zhǔn)前效果圖

3.2 基于PCA算法的對稱軸檢測結(jié)果

3.2.1 甜椒姿態(tài)確定方法與裝置誤差分析

為驗(yàn)證本文甜椒姿態(tài)檢測算法的檢測準(zhǔn)確性,分別在無遮擋情況與遮擋情況下,用本文算法所提出的方法對估計(jì)甜椒點(diǎn)云姿態(tài)。在試驗(yàn)過程中,使用物理裝置將甜椒固定在某一姿態(tài),裝置結(jié)構(gòu)示意圖如圖8所示。

該裝置由一個(gè)基座,2個(gè)U型連接器和一個(gè)尾部調(diào)節(jié)器組成,裝置各部分可繞定位孔旋轉(zhuǎn)實(shí)現(xiàn)繞x-y-z這3個(gè)坐標(biāo)軸旋轉(zhuǎn)形成不同的姿態(tài),裝置尾部調(diào)節(jié)器上有一筆直的圓筒型長桿,用于穿過甜椒尾部中心點(diǎn)并使之固定,使甜椒的生長方向與長桿朝向一致,本文將圓筒長桿點(diǎn)云擬合成的直線的方向向量作為真實(shí)空間甜椒的朝向,并與使用本文算法估計(jì)出來的甜椒點(diǎn)云軸向進(jìn)行對比,驗(yàn)證本文所提出方法用于估計(jì)甜椒姿態(tài)的精確度。

為了驗(yàn)證裝置中細(xì)圓柱形長桿點(diǎn)云擬合出來的直線的方向向量能夠作為甜椒真實(shí)的朝向,對此,本文在試驗(yàn)前先針對長桿點(diǎn)云所擬合出的直線與空間中長桿的真實(shí)姿態(tài)的誤差進(jìn)行試驗(yàn)分析,將裝置尾部調(diào)節(jié)器旋轉(zhuǎn)不同的角度,用長桿點(diǎn)云使用直線擬合算法求出方向向量并求出其繞Z軸旋轉(zhuǎn)的度數(shù),實(shí)際度數(shù)與測量出的度數(shù)特征曲線如圖9所示。由于線性擬合度R2>0.99,因此可以認(rèn)為尾部長桿點(diǎn)云擬合出來的直線的方向向量可以代表甜椒點(diǎn)云的真實(shí)朝向。

圖9 測量度數(shù)與實(shí)際度數(shù)的擬合曲線

在驗(yàn)證姿態(tài)調(diào)整裝置上尾部長桿方向向量可代表甜椒真實(shí)生長姿態(tài)后,通過尾部長桿點(diǎn)云擬合出的方向向量(白線)與本文方法計(jì)算出的甜椒點(diǎn)云姿態(tài)向量(綠線)的夾角如圖10所示,來評價(jià)本文算法的精確度。

圖10 長桿方向向量與計(jì)算的姿態(tài)向量夾角示意圖

為便于觀察,將計(jì)算出的甜椒姿態(tài)向量移動(dòng)到長桿方向向量同一頂點(diǎn)上。

3.2.2 無遮擋情況試驗(yàn)結(jié)果分析

首先分析了無遮情況下本文算法的穩(wěn)定性,在無遮擋情況下,調(diào)整不同姿態(tài)使用本文方法計(jì)算甜椒姿態(tài)向量與甜椒姿態(tài)調(diào)整裝置長桿方向向量的夾角作為相對誤差值,并進(jìn)行20次試驗(yàn)。結(jié)果顯示,在無遮擋情況下,誤差最小值為4.22°,最大誤差為7.11,平均誤差為5.15°,相較于文獻(xiàn)[17]的姿態(tài)誤差?yuàn)A角精度可提高1.85°,具體誤差結(jié)果如圖11所示。

圖11 無遮擋情況下甜椒姿態(tài)誤差值

3.2.3 遮擋情況下試驗(yàn)結(jié)果分析

為具體研究遮擋情況下本文方法估計(jì)甜椒姿態(tài)的誤差,隨機(jī)在甜椒前方不同位置放置葉子若干,并通過Kinect相機(jī)采集甜椒圖像,使獲取的甜椒圖像不同部位造成不同程度的遮擋,本文在試驗(yàn)過程中為界定甜椒受枝葉遮擋程度,并將遮擋成為分為輕微遮擋(遮擋30%以下)、一般遮擋(遮擋30%～50%)和嚴(yán)重遮擋(遮擋50%以上)3種情形,如圖12所示,通過直接觀察獲取的甜椒區(qū)域的點(diǎn)云圖像并綜合多人意見將不同視角采集的點(diǎn)云劃入以上三種遮擋情形之中。

(a) 輕微遮擋

本文將遮擋試驗(yàn)分為2組,第1組試驗(yàn)為單視角不同遮擋情況,第2組為雙視角不同遮擋情況。第1組試驗(yàn)為90次,且兩視角下只有一視角存在不同遮擋情況,另一視角則無遮擋情況,每種情況各試驗(yàn)30次,記錄每組數(shù)據(jù)誤差的平均值δ1與標(biāo)準(zhǔn)差σ1,試驗(yàn)結(jié)果如表2所示。

表2 單視角不同遮擋情況下姿態(tài)估計(jì)誤差值

由第1組試驗(yàn)可以得出,當(dāng)輕微遮擋情況下時(shí),誤差最小值為4.27°,平均誤差為5.31°;一般遮擋情況下時(shí),誤差最小值為4.66°,平均誤差為5.71°;嚴(yán)重遮擋情況下時(shí),誤差最小值為4.72°,平均誤差為5.98°,綜合3種情況下的平均誤差為5.67°。由此可見,由于存在另一視角對甜椒點(diǎn)云補(bǔ)充,即使某一視角存在遮擋問題對甜椒姿態(tài)的估計(jì)也無過大的影響。

第2組試驗(yàn)為30次,一共180次試驗(yàn)。在甜椒前方隨機(jī)放置葉子若干,模擬甜椒真實(shí)環(huán)境下的遮擋情況,使甜椒兩組視角都有上述三種不同程度的遮擋,使用本文方法對甜椒姿態(tài)進(jìn)行計(jì)算得到的平均誤差值δ2與標(biāo)準(zhǔn)差σ2和直接從左或右任意單一視角計(jì)算出的最小平均誤差值δ3與標(biāo)準(zhǔn)差σ3進(jìn)行對比分析,試驗(yàn)結(jié)果如表3所示。

表3 雙視角不同遮擋情況下姿態(tài)估計(jì)誤差值

由第2組試驗(yàn)可以得出當(dāng)視角B存在輕微遮擋時(shí),視角A在三種遮擋情況下(輕微、一般、嚴(yán)重)的平均誤差為5.71°、6.05°、5.71°,與單視角計(jì)算出的姿態(tài)誤差值相比都有著較大的改善效果;當(dāng)視角B存在一般遮擋時(shí),視角A在一般遮擋與嚴(yán)重遮擋時(shí)的誤差值為7.92°與8.61°,相比單視角下的15.72°與15.49°,本文方法識別結(jié)果誤差小,在可行性范圍之內(nèi)。

在兩視角都存在嚴(yán)重遮擋情況下,若兩視角遮擋面積過大,即使融合兩視角下點(diǎn)云也會有較大的識別誤差,因此,在兩視角都嚴(yán)重遮擋時(shí),將嚴(yán)重遮擋面積上限設(shè)置在70%,通過本文方法融合兩視角下的甜椒點(diǎn)云如圖13所示。

可見當(dāng)存在嚴(yán)重遮擋時(shí),A和B視角下獲取的甜椒點(diǎn)云大部分缺失,點(diǎn)云配準(zhǔn)時(shí)A與B視角下公共區(qū)域視角的點(diǎn)較少,本文算法在ICP算法中加入雙約束的條件提純了公共區(qū)域?qū)?yīng)點(diǎn)對關(guān)系,提高了點(diǎn)云配準(zhǔn)時(shí)的精度,在嚴(yán)重遮擋條件下,兩片點(diǎn)云融合度仍然較高,由于配準(zhǔn)的點(diǎn)云信息仍然有限,在使用PCA算法對點(diǎn)云姿態(tài)估計(jì)時(shí)精度上有所降低,最終在雙視角嚴(yán)重遮擋情況下識別結(jié)果平均誤差為13.18°。

3.3 算法效率分析

本文進(jìn)行了算法性能分析,模擬一株甜椒植株(共4個(gè)甜椒)的生長環(huán)境,如圖14所示,并隨機(jī)對植株上的甜椒造成不同情況的遮擋,對兩個(gè)視角下獲取的甜椒點(diǎn)云信息進(jìn)行融合,并分割出單個(gè)甜椒對象,使用基于PCA的姿態(tài)估計(jì)算法對每個(gè)甜椒姿態(tài)進(jìn)行估計(jì),并進(jìn)行5次試驗(yàn)。

圖14 模擬的甜椒植株示意圖

其中對整個(gè)甜椒植株中的甜椒進(jìn)行識別、配準(zhǔn)、分割的平均總運(yùn)行時(shí)間為7.613 s,單個(gè)甜椒的姿態(tài)估計(jì)時(shí)間均低于0.4 s,能夠滿足果實(shí)采摘機(jī)器人的實(shí)時(shí)性能要求,并能移植到采摘機(jī)器人系統(tǒng)上。

4 結(jié)論

1) 針對在復(fù)雜環(huán)境下由于存在遮擋,獲取的甜椒點(diǎn)云不完整,導(dǎo)致甜椒姿態(tài)識別精度低,甚至無法識別的問題,提出一種融合多視角下的甜椒RGB-D信息,利用點(diǎn)云配準(zhǔn)算法將甜椒點(diǎn)云轉(zhuǎn)化到同一角度下,擴(kuò)充甜椒點(diǎn)云信息,并提高配準(zhǔn)精度,運(yùn)用PCA算法對甜椒姿態(tài)進(jìn)行解析,得到計(jì)算出的甜椒姿態(tài)向量。

2) 對原始的ICP配準(zhǔn)算法進(jìn)行改進(jìn),提出基于點(diǎn)云法向量與曲率約束的ICP配準(zhǔn)算法,并在不同數(shù)據(jù)集與拍攝的甜椒點(diǎn)云進(jìn)行驗(yàn)證,與傳統(tǒng)的ICP算法相比,配準(zhǔn)精度均有所提高,在略短的配準(zhǔn)時(shí)間下降低了甜椒點(diǎn)云的配準(zhǔn)誤差,提高了兩視角下甜椒點(diǎn)云的融合度,進(jìn)一步提高甜椒姿態(tài)向量的計(jì)算精度。

3) 為驗(yàn)證本文所提出方法的可行性,本文在不同情況下進(jìn)行試驗(yàn)(無遮擋、單視角遮擋,雙視角遮擋)進(jìn)行試驗(yàn)。結(jié)果表明,在無遮擋情況下,本文算法誤差均值為5.15°,在雙視角中其中某一視角有遮擋情況下三種遮擋情況綜合均值誤差為5.67°,雙視角均有遮擋情況下綜合平均誤差為7.86°,完成兩視角甜椒點(diǎn)云信息配準(zhǔn)后,單個(gè)甜椒的姿態(tài)估計(jì)時(shí)間均小于0.4 s。