視覺引導(dǎo)下機(jī)器人拆垛場(chǎng)景識(shí)別定位抓取方法

朱新龍， 崔國(guó)華， 陳賽旋， 楊琳

(上海工程技術(shù)大學(xué)機(jī)械與汽車工程學(xué)院， 上海 201620)

0 前言

隨著我國(guó)智能制造轉(zhuǎn)型升級(jí)進(jìn)程不斷加快，工業(yè)機(jī)器人應(yīng)用領(lǐng)域也不斷拓展，除了生產(chǎn)環(huán)節(jié)以外，在搬運(yùn)、分揀、碼垛等物流環(huán)節(jié)的應(yīng)用也在逐步廣泛。在倉(cāng)儲(chǔ)物流中，多種類混合拆垛、碼垛一直是物流倉(cāng)儲(chǔ)行業(yè)難點(diǎn)，多種尺寸規(guī)格的物體，傳統(tǒng)的拆垛機(jī)器人無(wú)法完成精準(zhǔn)的檢測(cè)、識(shí)別定位。2018年視比特機(jī)器人有限公司研發(fā)了基于3D視覺引導(dǎo)機(jī)器人多SKU混合無(wú)序箱子拆垛、碼垛機(jī)器人。機(jī)械科學(xué)研究總院席云飛[1]基于3D視覺技術(shù)設(shè)計(jì)了紙箱拆垛方案，解決了垛型未知的自動(dòng)化拆垛問(wèn)題。山東大學(xué)魏卓[2]結(jié)合物流倉(cāng)儲(chǔ)情況，提出了一個(gè)面向物流場(chǎng)景的拆垛機(jī)器人視覺系統(tǒng)框架。其中，物體的識(shí)別定位一直都是機(jī)器人拆垛、碼垛過(guò)程中研究的重點(diǎn)內(nèi)容。

目標(biāo)識(shí)別通常使用2D視覺，翟敬梅等[3]提出了一種基于2D圖像信息的目標(biāo)物體識(shí)別與抓取方法。李志昂等[4]提出一種基于SURF算法和RGB顏色空間相結(jié)合的目標(biāo)對(duì)象特征提取方法。但由于缺乏物體的深度信息，在姿態(tài)估計(jì)方面，基于2D視覺對(duì)物體的姿態(tài)估計(jì)不夠準(zhǔn)確，而3D視覺有著較好的效果。BUCHHOLZ等[5]提出了一種激光掃描點(diǎn)云數(shù)據(jù)與CAD數(shù)據(jù)匹配的高度柔性bin-pick系統(tǒng)。WU等[6]提出了一種基于CAD模型的六自由度姿態(tài)估計(jì)方案。王玉等人[7]提出了一種基于三維圖像與CAD模型匹配的工業(yè)機(jī)器人視覺定位方法。然而因點(diǎn)云數(shù)量較多，CAD模型和場(chǎng)景點(diǎn)云匹配計(jì)算量大，且點(diǎn)云間尺度不一致，從而影響配準(zhǔn)時(shí)的精度與速度[8]；同時(shí)點(diǎn)云的預(yù)處理比較復(fù)雜，使得3D視覺的匹配效率較低。因此，本文作者提出了一種基于改進(jìn)Mask R-CNN與局部點(diǎn)云匹配迭代優(yōu)化相結(jié)合的方法，有效提高工業(yè)機(jī)器人的拆垛、分揀及碼垛效率。

1 系統(tǒng)平臺(tái)設(shè)計(jì)

如圖1所示，文中搭建視覺引導(dǎo)下的協(xié)作機(jī)器人拆垛、分揀及碼垛系統(tǒng)的實(shí)驗(yàn)平臺(tái)，實(shí)驗(yàn)平臺(tái)分為視覺平臺(tái)和抓取平臺(tái)。視覺平臺(tái)由RGBD相機(jī)構(gòu)成，在視覺系統(tǒng)中，根據(jù)機(jī)器人與相機(jī)的相對(duì)位置不同分為eye-in-hand與eye-to-hand 兩種類型，此平臺(tái)為eye-to-hand視覺系統(tǒng)。由于相機(jī)最佳深度范圍800～1 300 mm，RGBD相機(jī)固定在工作平臺(tái)正上方的位置，距離工作平臺(tái)的高度為1 000 mm，保證視野在最佳深度范圍內(nèi)。

圖1 系統(tǒng)平臺(tái)Fig.1 The system platform

抓取平臺(tái)由UR5協(xié)作機(jī)器人、末端執(zhí)行器二手指及固定支架構(gòu)成，UR5的負(fù)載為50 N，安全性高，操作靈活性大且精度較高；由于此實(shí)驗(yàn)平臺(tái)抓取的目標(biāo)物體為方形木塊，因此選取了二手指作為末端執(zhí)行器；實(shí)驗(yàn)為了抓取方便，把UR5安裝在特制的固定支架上，與實(shí)驗(yàn)平臺(tái)呈45°安裝，模仿了工人工作時(shí)的手臂操作形式。

2 基于2D-3D視覺的機(jī)器人識(shí)別定位

文中將改進(jìn)后的Mask R-CNN與點(diǎn)云的匹配迭代優(yōu)化方法結(jié)合起來(lái)，完成對(duì)堆垛物體檢測(cè)識(shí)別和位姿估計(jì)。系統(tǒng)框架分為目標(biāo)檢測(cè)部分和位姿估計(jì)部分：目標(biāo)檢測(cè)部分利用改進(jìn)的Mask R-CNN網(wǎng)絡(luò)，得到目標(biāo)所屬的類別、包絡(luò)框及掩膜，結(jié)合深度信息生成的場(chǎng)景點(diǎn)云；位姿估計(jì)部分通過(guò)改進(jìn)的ICP(Interactive Closest Point)算法將局部點(diǎn)云模型和分割后的場(chǎng)景目標(biāo)點(diǎn)云迭代匹配，完成對(duì)堆垛物體的位姿估計(jì)。系統(tǒng)的整體框架如圖2所示。

圖2 基于實(shí)例分割與迭代優(yōu)化方法的拆垛碼垛方法系統(tǒng)框架

2.1 基于改進(jìn)Mask R-CNN網(wǎng)絡(luò)的目標(biāo)檢測(cè)識(shí)別

2.1.1 基于Mask R-CNN的改進(jìn)

Mask R-CNN[9]是基于2D視覺識(shí)別的卷積神經(jīng)網(wǎng)絡(luò)，基于Faster R-CNN添加了掩膜分支，同時(shí)用ROIAlign替換掉ROIPooling，通過(guò)雙線性插值使Mask R-CNN能夠得到物體的像素級(jí)掩膜。另一方面，為了強(qiáng)化特征提取網(wǎng)絡(luò)，Mask R-CNN采用FPN與ResNeXt-101作為特征提取網(wǎng)絡(luò)，達(dá)到state-of-the-art的效果。在現(xiàn)實(shí)場(chǎng)景的抓取環(huán)境下，由于CNN提取的特征缺乏旋轉(zhuǎn)不變性，所以訓(xùn)練的模型不能夠較好地識(shí)別出旋轉(zhuǎn)角度過(guò)大的物體[10]。

圖3 STN模塊Fig.3 STN module

(1)

2.1.2 Mask R-CNN模型訓(xùn)練

文中以木塊作為檢測(cè)識(shí)別目標(biāo)，對(duì)改進(jìn)前后的Mask R-CNN模型訓(xùn)練，模型訓(xùn)練時(shí)使用的是TensorFlow和Keras深度學(xué)習(xí)框架。在訓(xùn)練前確定合適的迭代周期與迭代次數(shù)，每當(dāng)完成一次迭代周期得到對(duì)應(yīng)的損失函數(shù)值。在模型參數(shù)設(shè)置中，最大的迭代周期設(shè)置為100個(gè)epoch，所有標(biāo)簽在每個(gè)epoch完成一次迭代，初始學(xué)習(xí)率及學(xué)習(xí)率衰減系數(shù)均設(shè)置為0.001，動(dòng)量設(shè)置為0.9。模型訓(xùn)練類別系數(shù)設(shè)置為2，IMAGES_PER_GPU設(shè)置為1，RPN_ANCHOR_SCALES設(shè)置為(8×6，16×6，32×6，64×6，128×6)，比例設(shè)置為(0.5，1，2)。經(jīng)過(guò)100個(gè)epoch的迭代，改進(jìn)前后Loss值變化如圖4所示，Loss值在完成30次迭代后趨于穩(wěn)定。

圖4 損失函數(shù)值Fig.4 Loss function value

2.1.3 Mask R-CNN模型測(cè)試

在堆垛物體的識(shí)別檢測(cè)中，Mask R-CNN不僅可以準(zhǔn)確地識(shí)別出物體的種類，還可以對(duì)它進(jìn)行實(shí)例分割。模型訓(xùn)練完后對(duì)堆垛的物流箱1和物流箱2的木塊進(jìn)行檢測(cè)識(shí)別，如圖5所示。對(duì)100組樣品進(jìn)行檢測(cè)，識(shí)別率超過(guò)85%判定識(shí)別正確。將改進(jìn)前后Mask R-CNN的檢測(cè)識(shí)別結(jié)果對(duì)比，如表1所示，改進(jìn)前后物流箱1和物流箱2的平均識(shí)別準(zhǔn)確率分別為91%和97%，改進(jìn)后的Mask R-CNN框架對(duì)物體的識(shí)別準(zhǔn)確率有著較大提升，誤識(shí)別及未識(shí)別較低，滿足實(shí)驗(yàn)對(duì)識(shí)別精度的要求。

圖5 物流箱1和物流箱2的識(shí)別結(jié)果

表1 改進(jìn)前后Mask R-CNN的檢測(cè)識(shí)別結(jié)果對(duì)比

2.2 基于3D局部點(diǎn)云的位姿估計(jì)

2.2.1 構(gòu)建物體的三維點(diǎn)云模型

在模板點(diǎn)云構(gòu)建中，局部點(diǎn)云模型法相較三維掃描法[12]、逐幀拼接法[13]有著獨(dú)特的優(yōu)勢(shì)。三維掃描法是使用掃描儀器構(gòu)建目標(biāo)對(duì)象的三維點(diǎn)云模型，所得的點(diǎn)云整齊且誤差小，如圖6所示。但三維掃描法與相機(jī)所得的模型在特征和尺度上存在著較大的差異，影響著模型之間的配準(zhǔn)。逐幀拼接法是通過(guò)相鄰幀之間的特征點(diǎn)，計(jì)算其轉(zhuǎn)換矩陣，把轉(zhuǎn)換矩陣運(yùn)用到場(chǎng)景點(diǎn)云中[13]。逐幀拼接法對(duì)場(chǎng)景點(diǎn)云的運(yùn)算量大，由于人工刪除無(wú)效點(diǎn)，點(diǎn)云模型變形較為嚴(yán)重。

圖6 FARO掃描臂(a)和掃描的三維點(diǎn)云(b)

針對(duì)文中的協(xié)作機(jī)器人拆垛、分揀及碼垛系統(tǒng)，利用局部點(diǎn)云模型法來(lái)構(gòu)建模板點(diǎn)云模型，更有利于對(duì)目標(biāo)物體的姿態(tài)估計(jì)。首先利用相機(jī)采集模板物體的圖像，通過(guò)2D視覺檢測(cè)識(shí)別，得到模板物體的ROI區(qū)域。將該區(qū)域的深度圖轉(zhuǎn)變對(duì)應(yīng)的點(diǎn)云，通過(guò)ICP算法拼接成模板物體的局部點(diǎn)云，如圖7所示，獲得模板點(diǎn)云模型。雖獲取的模板點(diǎn)云模型精度不是很高，但其精度與相機(jī)采集到的場(chǎng)景物體點(diǎn)云相同，使得點(diǎn)云配準(zhǔn)與姿態(tài)估計(jì)較為精準(zhǔn)，同時(shí)也降低了由于點(diǎn)云尺度帶來(lái)的影響。

圖7 局部點(diǎn)云法構(gòu)建的模板點(diǎn)云模型

2.2.2 ROI局部點(diǎn)云與模型點(diǎn)云的配準(zhǔn)

將ROI局部點(diǎn)云與模板點(diǎn)云配準(zhǔn)來(lái)進(jìn)行姿態(tài)估計(jì)。首先利用改進(jìn)的Mask R-CNN網(wǎng)絡(luò)得到目標(biāo)所屬的類別、包絡(luò)框及掩膜，結(jié)合點(diǎn)云信息分割目標(biāo)點(diǎn)云，得到物體場(chǎng)景局部點(diǎn)云，如圖8所示。

圖8 物體場(chǎng)景局部點(diǎn)云Fig.8 Local point cloud of object scene

ICP算法在點(diǎn)云配準(zhǔn)中使用較多，在文中的協(xié)作機(jī)器人拆垛、分揀及碼垛系統(tǒng)中，對(duì)ROI場(chǎng)景點(diǎn)云與模板點(diǎn)云的配準(zhǔn)關(guān)系進(jìn)行計(jì)算，從而得到目標(biāo)物體的姿態(tài)信息。由于利用局部點(diǎn)云法，場(chǎng)景點(diǎn)云與模板點(diǎn)云中點(diǎn)的數(shù)量較少，降低了ICP算法搜尋點(diǎn)對(duì)帶來(lái)的影響。此系統(tǒng)中點(diǎn)云噪聲點(diǎn)較少，其帶來(lái)的誤差對(duì)ICP算法影響也相對(duì)較小。因此，文中對(duì)場(chǎng)景點(diǎn)云和模板點(diǎn)云進(jìn)行配準(zhǔn)適合選用ICP算法。

ICP算法[14]的基本原理是在待匹配的目標(biāo)點(diǎn)云P和源點(diǎn)云Q中，根據(jù)約束條件來(lái)尋找最鄰近點(diǎn)(pi，qi)，通過(guò)計(jì)算得到最優(yōu)匹配參數(shù)R和t，從而使誤差函數(shù)取得最小值。其中誤差函數(shù)E(R，t)為

(2)

式中：pi為目標(biāo)點(diǎn)云中的點(diǎn)；qi為源點(diǎn)云Q中與pi對(duì)應(yīng)的最近點(diǎn)；n為最鄰近點(diǎn)對(duì)的個(gè)數(shù)；R為旋轉(zhuǎn)矩陣；t為平移向量。

設(shè)文中的物體模板點(diǎn)云為S，場(chǎng)景點(diǎn)云為T，si和ti為點(diǎn)云S和T中的點(diǎn)。

S={s1,s2,…,sn}∈F1

(3)

T={t1,t2,…,tn}∈F2

(4)

在點(diǎn)云配準(zhǔn)時(shí)，為使R和T有式(5)的關(guān)系：

?i,ti=Rsi+T

(5)

在實(shí)際配準(zhǔn)中，通過(guò)點(diǎn)對(duì)間的誤差值對(duì)其配準(zhǔn)結(jié)果進(jìn)行衡量：

(6)

改進(jìn)的ICP算法對(duì)ROI局部點(diǎn)云和模板點(diǎn)云配準(zhǔn)時(shí)，主要步驟如圖9所示。

圖9 點(diǎn)云配準(zhǔn)流程Fig.9 Flow of point cloud registration

2.2.3 四元數(shù)與目標(biāo)物體姿態(tài)估計(jì)

在物體姿態(tài)估計(jì)中，四元數(shù)、旋轉(zhuǎn)矩陣及歐拉角都能通過(guò)旋轉(zhuǎn)來(lái)表示物體的姿態(tài)信息。其中四元數(shù)與旋轉(zhuǎn)矩陣相比，四元數(shù)僅需4個(gè)數(shù)據(jù)就能替代旋轉(zhuǎn)矩陣16個(gè)數(shù)據(jù)來(lái)表示旋轉(zhuǎn)，降低了運(yùn)算的復(fù)雜性。在表示旋轉(zhuǎn)中四元數(shù)與歐拉角對(duì)比，四元數(shù)不需指定旋轉(zhuǎn)條件，同時(shí)四元數(shù)不會(huì)出現(xiàn)萬(wàn)向節(jié)鎖現(xiàn)象[8],故文中選用四元數(shù)對(duì)目標(biāo)物體進(jìn)行姿態(tài)估計(jì)。

ICP算法最終的點(diǎn)云配準(zhǔn)結(jié)果采用旋轉(zhuǎn)矩陣和平移矩陣來(lái)表示，文中通過(guò)四元數(shù)對(duì)物體和機(jī)器人末端的姿態(tài)進(jìn)行描述，把旋轉(zhuǎn)矩陣轉(zhuǎn)變?yōu)橄鄳?yīng)的四元數(shù)，對(duì)目標(biāo)物體姿態(tài)信息進(jìn)行表示。其中，模板點(diǎn)云提前設(shè)定好其最佳抓取姿態(tài)，保證其抓取的準(zhǔn)確率。

3 實(shí)驗(yàn)及結(jié)果分析

3.1 視覺系統(tǒng)的標(biāo)定實(shí)驗(yàn)

視覺系統(tǒng)的標(biāo)定，通過(guò)坐標(biāo)系轉(zhuǎn)換關(guān)系將RGBD相機(jī)與UR5協(xié)作機(jī)器人聯(lián)系起來(lái)。機(jī)器人相機(jī)標(biāo)定，構(gòu)建出圖像中目標(biāo)物的像素坐標(biāo)位置與世界坐標(biāo)系中位置坐標(biāo)的變換關(guān)系，建立相機(jī)成像的幾何模型。

之后再進(jìn)行eye-to-hand手眼標(biāo)定，通過(guò)求解得到RGBD相機(jī)坐標(biāo)系到機(jī)器人基座坐標(biāo)系的轉(zhuǎn)換矩陣。將物體在相機(jī)視野下的位置坐標(biāo)，轉(zhuǎn)換成機(jī)器人基坐標(biāo)系下的位置坐標(biāo)，從而精準(zhǔn)地控制機(jī)器人抓取物體。

文中標(biāo)定板選取的是7×5的棋盤格，每個(gè)方格大小為24 mm×24 mm。標(biāo)定時(shí)，拍攝采集了機(jī)器人處于10個(gè)不同位置姿態(tài)的標(biāo)定板圖像，通過(guò)標(biāo)定板中黑白格子交叉角點(diǎn)的相對(duì)位置求解相機(jī)標(biāo)定的內(nèi)參矩陣和外參矩陣。

圖10所示為實(shí)驗(yàn)標(biāo)定過(guò)程，表2所示是手眼標(biāo)定結(jié)果。

圖10 系統(tǒng)標(biāo)定過(guò)程

表2 手眼標(biāo)定結(jié)果Tab.2 Hand-eye calibration results

3.2 基于3D局部點(diǎn)云的位姿估計(jì)實(shí)驗(yàn)

ICP配準(zhǔn)算法省去了點(diǎn)集的特征提取與分割過(guò)程，相對(duì)于同類算法有著較好的算法收斂性且配準(zhǔn)結(jié)果較為精確[15]。然而針對(duì)場(chǎng)景點(diǎn)云和模板點(diǎn)云的鄰近點(diǎn)的計(jì)算，每次都需進(jìn)行迭代，對(duì)應(yīng)點(diǎn)對(duì)的搜索計(jì)算量較大。文中對(duì)ICP算法改進(jìn)，引入了K維樹鄰域搜索，較大程度上減少了搜索時(shí)間，提升了配準(zhǔn)算法的速度。

點(diǎn)云的精匹配中ICP配準(zhǔn)算法比較常用，它有著比較高的配準(zhǔn)精度，但由于ICP算法有著較高的點(diǎn)云初始位置要求。為了確保配準(zhǔn)的精度，一般在精配準(zhǔn)前先通過(guò)RANSAC等粗配準(zhǔn)算法來(lái)預(yù)匹配[16]。在文中的識(shí)別抓取環(huán)境中，由于場(chǎng)景ROI局部點(diǎn)云與模板點(diǎn)云都是通過(guò)局部點(diǎn)云法得到的，兩者特征及尺度差距不大，實(shí)驗(yàn)可以省去點(diǎn)云粗匹配過(guò)程。

根據(jù)最近點(diǎn)確立關(guān)系，ICP算法迭代計(jì)算易陷入局部最優(yōu)解。但在實(shí)驗(yàn)中，ROI局部點(diǎn)云與模板點(diǎn)云中點(diǎn)的數(shù)量較少，且在位置姿態(tài)上存在著差異，很大程度上避免了陷入局部最優(yōu)解。實(shí)驗(yàn)結(jié)果表明：加入了K維樹鄰域搜索使得ICP算法在姿態(tài)估計(jì)中有著較好的表現(xiàn)。圖11所示為目標(biāo)物體匹配過(guò)程示意。

圖11 目標(biāo)物體匹配過(guò)程示意

圖12所示為ICP位置誤差與迭代次數(shù)的關(guān)系，可以看出：隨著迭代次數(shù)的增加，ROI局部點(diǎn)云與模板點(diǎn)云配準(zhǔn)時(shí)位置誤差逐漸減小，迭代前期減少較快，后期變化逐漸緩慢。

圖12 ICP位置誤差與迭代次數(shù)的關(guān)系

在ROI局部點(diǎn)云與模板點(diǎn)云的ICP匹配中，由于點(diǎn)云中點(diǎn)的數(shù)量并不多，迭代10次ICP位置誤差就達(dá)到了0.988 mm，小于1 mm。如果進(jìn)一步增加迭代次數(shù)，匹配誤差也得不到較大的改善，此時(shí)的位置誤差滿足了實(shí)驗(yàn)誤差要求，迭代終止。

由ICP匹配算法所得旋轉(zhuǎn)平移矩陣為

(7)

在UR5協(xié)作機(jī)器人系統(tǒng)中，待抓取物體的位置為(x，y，z)，其姿態(tài)信息為(x1，y1，z1，w)。通過(guò)改進(jìn)后ICP算法得到點(diǎn)云配準(zhǔn)結(jié)果，即為式(7)所示的旋轉(zhuǎn)平移矩陣。把旋轉(zhuǎn)矩陣轉(zhuǎn)變?yōu)橄鄳?yīng)的四元數(shù)對(duì)目標(biāo)物體姿態(tài)信息進(jìn)行表示，則待抓取物體的位置為(0.017 834，0.012 421，-0.001 717)時(shí)，姿態(tài)為(-0.001 625 12，0.009 300 71，-0.007 675 58，0.999 925 97)。將最終得到的物體姿態(tài)信息傳輸給機(jī)器人末端，使其根據(jù)目標(biāo)物體的實(shí)際姿態(tài)來(lái)調(diào)整二手指抓取姿態(tài)。模板點(diǎn)云提前設(shè)定好其最佳抓取姿態(tài)，機(jī)器人末端的二手指通過(guò)旋轉(zhuǎn)移動(dòng)來(lái)完成每次最佳姿態(tài)的抓取，保證其抓取的準(zhǔn)確率。

3.3 機(jī)器人拆垛、分揀碼垛實(shí)驗(yàn)

實(shí)驗(yàn)對(duì)不同類型木塊進(jìn)行拆垛，為了降低不同場(chǎng)景下點(diǎn)云分割的復(fù)雜程度，對(duì)目標(biāo)物體點(diǎn)云進(jìn)行了分層處理。深度相機(jī)拍攝時(shí)與實(shí)驗(yàn)臺(tái)的工作區(qū)域垂直，采集數(shù)據(jù)后，首先確定碼垛物體點(diǎn)云最高點(diǎn)。利用2D視覺識(shí)別出最高層的物體，獲得物體表層ROI點(diǎn)云。計(jì)算出物體位姿，把木塊的位姿信息傳輸給機(jī)器人，完成對(duì)位置最高木塊的拆垛抓取。圖13所示為木塊識(shí)別抓取順序流程，圖14所示為UR5協(xié)作機(jī)器人抓取識(shí)別定位過(guò)程。

圖13 木塊識(shí)別抓取順序流程

圖14 機(jī)器人抓取識(shí)別定位過(guò)程

實(shí)驗(yàn)拆垛、分揀及碼垛對(duì)象分為2種類型的木塊，分別標(biāo)記為物流箱1、物流箱2，在相機(jī)的測(cè)量范圍及UR5協(xié)作機(jī)器人的工作空間內(nèi)，把2種類型的木塊隨意碼垛在工作臺(tái)上，結(jié)合2D-3D視覺識(shí)別出目標(biāo)物體的位置和姿態(tài)，引導(dǎo)UR5協(xié)作機(jī)器人和二手指完成對(duì)物流箱1和物流箱2的拆垛、分揀實(shí)驗(yàn)。相機(jī)首先識(shí)別出碼垛堆中木塊的深度信息，完成對(duì)位置最高木塊的識(shí)別定位，然后對(duì)其進(jìn)行抓取。實(shí)驗(yàn)將分揀后的物流箱1和物流箱2分兩列放置，UR5抓取后對(duì)其進(jìn)行分類碼垛。實(shí)驗(yàn)過(guò)程如圖15所示。

圖15 機(jī)器人拆垛(a)、分揀(b)和碼垛(c)實(shí)驗(yàn)

4 結(jié)束語(yǔ)

(1)實(shí)驗(yàn)結(jié)果表明，加入STN模塊的Mask R-CNN網(wǎng)絡(luò)框架對(duì)物體的識(shí)別準(zhǔn)確率達(dá)到97%，相較于改進(jìn)前有著較大的提升，滿足實(shí)驗(yàn)對(duì)識(shí)別精度的要求。

(2)在點(diǎn)云的匹配迭代優(yōu)化位姿估計(jì)中，ROI局部點(diǎn)云與模板點(diǎn)云的匹配迭代10次，位置誤差可達(dá)到1 mm以內(nèi)，減少了模板點(diǎn)云與ROI點(diǎn)云配準(zhǔn)的迭代次數(shù)，有效提升了點(diǎn)云匹配的效率。

(3)拆垛分揀過(guò)程為了降低不同場(chǎng)景下點(diǎn)云分割的復(fù)雜程度，對(duì)目標(biāo)物體點(diǎn)云進(jìn)行了分層處理，有效提高了工業(yè)機(jī)器人的拆垛、分揀及碼垛效率，其性能可以滿足實(shí)際應(yīng)用的要求。針對(duì)復(fù)雜多變的倉(cāng)儲(chǔ)物流環(huán)境，該系統(tǒng)的可移植性較好，可以作為倉(cāng)儲(chǔ)物流行業(yè)的解決方案來(lái)進(jìn)一步擴(kuò)展。