基于感興趣區(qū)域的機(jī)器人抓取系統(tǒng)

馬世超, 孫 磊, 何 宏, 郭延華

(天津理工大學(xué)電氣電子工程學(xué)院，天津 300384)

智能機(jī)器人的基礎(chǔ)研究和產(chǎn)業(yè)化近年來發(fā)展迅速，在工業(yè)分揀、農(nóng)業(yè)采摘等[1-3]方面機(jī)器人抓取技術(shù)具有較高的應(yīng)用價(jià)值，能否抓取成功會(huì)受多方面因素的影響，因此機(jī)器人的抓取是一個(gè)非常具有挑戰(zhàn)性的研究。

傳統(tǒng)的一般采用人工示教的抓取方式實(shí)現(xiàn)對(duì)位置確定的單一物體抓取，由于抓取位姿憑靠的是記憶且機(jī)械臂本身沒有對(duì)外物的感知能力，所以在實(shí)施抓取操作時(shí)易受到來自外界不確定因素的干擾，為了實(shí)現(xiàn)在自然環(huán)境下機(jī)械臂能夠自主抓取物體，計(jì)算機(jī)視覺技術(shù)與機(jī)器人技術(shù)的結(jié)合成為研究的熱點(diǎn)。文獻(xiàn)[4]提出單目立體匹配的機(jī)器人抓取方法，主要建立3D模板庫(kù)，最優(yōu)搜索確定檢測(cè)位姿實(shí)現(xiàn)抓取，但其主要是在單物體下實(shí)現(xiàn)的，不能應(yīng)對(duì)多目標(biāo)環(huán)境。文獻(xiàn)[5]提出了一種基于雅克比矩陣估計(jì)的視覺伺服控制方案。文獻(xiàn)[6]利用雙目視覺對(duì)盤類零件上料物體的位置形狀識(shí)別，實(shí)現(xiàn)對(duì)零件的定位，但光照過強(qiáng)過弱都會(huì)使效果下降，其對(duì)環(huán)境的適應(yīng)性差。文獻(xiàn)[7]利用深度傳感器并結(jié)合顏色信息，通過目標(biāo)三維重建獲得位姿，雖然其在目標(biāo)所占比例大的情況下效果好，但由于三維重建耗時(shí)長(zhǎng)，故實(shí)用性不強(qiáng)。以上研究均是基于視覺的。

受Hubel等的生物研究影響，卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network)被提出，并在目標(biāo)識(shí)別檢測(cè)等方面作出突出貢獻(xiàn)，此后深度學(xué)習(xí)技術(shù)逐漸應(yīng)用到機(jī)器人抓取領(lǐng)域。文獻(xiàn)[8]利用神經(jīng)網(wǎng)絡(luò)，對(duì)目標(biāo)物體位置與機(jī)器人末端的映射關(guān)系進(jìn)行訓(xùn)練完成抓取;文獻(xiàn)[9]提出被抓取目標(biāo)物體在未知姿態(tài)下，利用卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)抓取函數(shù)，雖然此方法適應(yīng)性強(qiáng)，能夠很好地適應(yīng)新物體，但也只針對(duì)單個(gè)物體情況；文獻(xiàn)[10]提出基于深度學(xué)習(xí)的多視圖、自監(jiān)督方法來估計(jì)物體6D位姿，能夠在復(fù)雜環(huán)境下實(shí)現(xiàn)抓取，但其抓取精度依舊不高；文獻(xiàn)[11]提出基于Faster RCNN目標(biāo)檢測(cè)的機(jī)器人抓取方法，雖然其滿足多目標(biāo)的識(shí)別并且精度較高，但是識(shí)別速度要比YOLOV3慢很多，會(huì)影響實(shí)時(shí)檢測(cè)。

針對(duì)多目標(biāo)、目標(biāo)物體大小不一的情況，提出一種基于感興趣區(qū)域的機(jī)器人抓取方法。對(duì)物體識(shí)別定位及機(jī)器人抓取進(jìn)行了研究，利用Kinect V2采集場(chǎng)景信息，通過張正友標(biāo)定法[12]獲得深度傳感器的內(nèi)外參數(shù)，實(shí)現(xiàn)二維圖像與三維空間之間的映射，計(jì)算目標(biāo)物體的坐標(biāo)信息，建立目標(biāo)數(shù)據(jù)庫(kù)進(jìn)行訓(xùn)練，為了滿足目標(biāo)實(shí)時(shí)檢測(cè)的需求，選用改進(jìn)的YOLOV3模型進(jìn)行識(shí)別。最后，通過控制機(jī)器人各個(gè)關(guān)節(jié)，實(shí)現(xiàn)對(duì)目標(biāo)物體的抓取。

1 系統(tǒng)組成

物體抓取系統(tǒng)如圖1所示，共包含目標(biāo)的識(shí)別、定位及抓取3部分。Kinect V2架于實(shí)驗(yàn)臺(tái)0.5 m的位置，aubo_i5機(jī)械臂固定在實(shí)驗(yàn)臺(tái)上，相機(jī)不隨機(jī)械臂運(yùn)動(dòng)，GPU選用NVIDIA GTX 1080Ti,操作系統(tǒng)選用Ubuntu16.04，深度學(xué)習(xí)框架為TensorFlow。物體檢測(cè)系統(tǒng)采用YOLOV3深度學(xué)習(xí)的方法，采集5種目標(biāo)物體，對(duì)其標(biāo)記訓(xùn)練得到適合本系統(tǒng)的權(quán)重。YOLOV3調(diào)用Kinect V2相機(jī)實(shí)時(shí)采集場(chǎng)景中的圖像信息，同時(shí)利用訓(xùn)練好的改進(jìn)YOLOV3模型檢測(cè)出目標(biāo)物體，并且得到其類別、二維包絡(luò)框和置信度等信息。目標(biāo)物體的定位系統(tǒng)能夠得到目標(biāo)的圖像點(diǎn)的像素坐標(biāo)值和深度值，然后利用手眼轉(zhuǎn)換，得到目標(biāo)物在機(jī)械臂基坐標(biāo)系下對(duì)應(yīng)的位置信息；機(jī)械臂抓取系統(tǒng)通過求取逆解，得到aubo_i5機(jī)械臂6個(gè)關(guān)節(jié)轉(zhuǎn)動(dòng)角度值，最終通過對(duì)機(jī)械臂控制完成抓取任務(wù)。

圖1 抓取系統(tǒng)簡(jiǎn)圖Fig.1 Schematic diagram of the grasping system

2 物體檢測(cè)系統(tǒng)

Kinect v2按照物體不同位置、不同種類，采集500張物體圖像信息，對(duì)圖像中目標(biāo)物體類別進(jìn)行標(biāo)注，然后將標(biāo)注信息與原始圖像信息作為訓(xùn)練樣本，在YOLOV3網(wǎng)絡(luò)中進(jìn)行訓(xùn)練，得到權(quán)重信息，完成目標(biāo)物的識(shí)別。

2.1 物體數(shù)據(jù)集擴(kuò)充

實(shí)驗(yàn)中采集了包括水瓶蘋果等共5種待識(shí)別的目標(biāo)。為了識(shí)別準(zhǔn)確，作為訓(xùn)練的物體圖像信息既要包含目標(biāo)物的不同類別，還要包含目標(biāo)物體不同位置和姿態(tài)下的信息；同時(shí)，為了快速得到這些信息，實(shí)驗(yàn)中在相機(jī)采集的500張圖像的基礎(chǔ)上來增大訓(xùn)練的數(shù)據(jù)集，所以對(duì)原圖添加高斯噪聲，并且將原圖與噪聲處理后的圖像分別進(jìn)行順逆時(shí)針各轉(zhuǎn)10°操作，如圖2所示。此時(shí)一幅圖像可擴(kuò)展成6幅，數(shù)據(jù)集共500×6=3 000幅圖像。

圖2 原圖的增強(qiáng)效果Fig.2 Enhanced effect diagram of the original

2.2 改進(jìn)YOLOV3模型和參數(shù)設(shè)置

快速卷積神經(jīng)網(wǎng)絡(luò)模型的平均精度比YOLOV3高一些，但是其對(duì)視頻實(shí)時(shí)檢測(cè)耗費(fèi)的時(shí)間要比YOLOV3長(zhǎng)很多。正因?yàn)閅OLOV3檢測(cè)快，能夠滿足視頻的實(shí)時(shí)處理，因此選用YOLOV3訓(xùn)練模型并在此模型基礎(chǔ)上完成改進(jìn)。YOLOV3網(wǎng)絡(luò)[13-14]是一個(gè)基于回歸的單級(jí)檢測(cè)器，主干網(wǎng)絡(luò)由Darknet-53特征提取器和YOLO交互層構(gòu)成，損失函數(shù)采用交叉熵函數(shù)。Darknet-53是一個(gè)全卷積網(wǎng)絡(luò)，其融合了Darknet網(wǎng)絡(luò)和殘差連接方式，并且采用了53個(gè)3×3、1×1卷積核的卷積層，通過跳躍性的連接方式構(gòu)成res層。其中DBL包括二維卷積操作(conv2D)、BN層和局部響應(yīng)歸一化(Leaky relu)。對(duì)圖像進(jìn)行特征提取，輸出3個(gè)不同尺度的特征圖，將其與YOLO交互層進(jìn)行特征融合構(gòu)建特征金字塔網(wǎng)絡(luò)，提取目標(biāo)深層語(yǔ)義信息，輸出目標(biāo)的位置信息、類別及置信度。YOLOV3網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。

對(duì)其損失函數(shù)進(jìn)行改進(jìn)，使用焦點(diǎn)函數(shù)(FL)代替?zhèn)鹘y(tǒng)的交叉熵函數(shù)，得到改進(jìn)YOLOV3新型回歸單級(jí)檢測(cè)器，通過物體識(shí)別將其與YOLOV3模型進(jìn)行實(shí)驗(yàn)對(duì)比分析，驗(yàn)證模型的有效性及可靠性。傳統(tǒng)的交叉熵函數(shù)整理之后可得：

圖3 YOLOV3網(wǎng)絡(luò)結(jié)構(gòu)Fig.3 YOLOV3 network structure

(1)

式(1)中：n的值是正1或負(fù)1；m是標(biāo)簽(label)等于1時(shí)預(yù)測(cè)的概率，其值范圍為0到1，為方便計(jì)算，用nt代替n，公式為

(2)

對(duì)交叉熵的改進(jìn)，增加了一個(gè)系數(shù)αt，跟nt的定義類似，當(dāng)label=1的時(shí)候，αt=α；當(dāng)label=-1的時(shí)候，αt=1-α,α的范圍是0到1，公式為

L(nt)=-αtln(nt)

(3)

在大量數(shù)據(jù)訓(xùn)練過程中，容易分類的負(fù)樣本占據(jù)損失值的大部分，雖然αt能夠平衡正負(fù)樣本，但是對(duì)于難(易)樣本分類仍具有一定難度，提出在交叉熵函數(shù)中加入調(diào)制函數(shù)(1-nt)γ，γ具有平滑曲線的作用，當(dāng)γ>0時(shí)，則樣本類別失衡，此時(shí)nt值為極小值，調(diào)制系數(shù)趨于1，交叉熵函變化很?。划?dāng)nt趨向于1時(shí)(類別正確)，調(diào)制系數(shù)趨于0，對(duì)總損失值影響較??；當(dāng)γ=0時(shí)，焦點(diǎn)損失函數(shù)就是傳統(tǒng)的交叉熵，當(dāng)γ增加時(shí)，調(diào)制函數(shù)也會(huì)相應(yīng)的增加。一般而言當(dāng)γ增加的時(shí)候，α需要減小一點(diǎn)。

最終損失函數(shù)公式為

FL(nt)=-αt(1-nt)γln(nt)

(4)

焦點(diǎn)損失函數(shù)既能調(diào)整正負(fù)樣本的權(quán)重，又能提高識(shí)別精度及穩(wěn)定性，將改進(jìn)后的損失函數(shù)應(yīng)用到網(wǎng)絡(luò)模型中。

改進(jìn)YOLOV3結(jié)合深度傳感器能夠?qū)崟r(shí)檢測(cè)目標(biāo)物體，基于改進(jìn)YOLOV3模型的物體檢測(cè)技術(shù)屬于監(jiān)督學(xué)習(xí)，因此需要得到目標(biāo)類別及其二維包絡(luò)框像素位置等標(biāo)注信息。對(duì)得到的3 000幅圖像完成標(biāo)注之后，為了測(cè)試模型的精度，這里將80%的圖像與其相對(duì)應(yīng)標(biāo)注后得到的.yaml文件作為訓(xùn)練集，剩余的20%作為驗(yàn)證集。在目標(biāo)識(shí)別中，對(duì)模型參數(shù)進(jìn)行設(shè)置，學(xué)習(xí)率設(shè)置為0.000 1，批量大小設(shè)置為64，subdivisions設(shè)置為16，并將其迭代25 000次，隨著訓(xùn)練次數(shù)增加，損失函數(shù)值無限趨于0。最后，使用驗(yàn)證集測(cè)試訓(xùn)練得到改進(jìn)YOLOV3模型。

3 物體的定位理論

3.1 相機(jī)坐標(biāo)轉(zhuǎn)換到圖像坐標(biāo)

物體的三維坐標(biāo)與圖像坐標(biāo)存在線性關(guān)系，其中世界、圖像、相機(jī)、像素坐標(biāo)系的關(guān)系[15]如圖4所示。一個(gè)現(xiàn)實(shí)世界中的物體點(diǎn)在世界坐標(biāo)系下的坐標(biāo)為P(X,Y,Z)，經(jīng)過相機(jī)拍攝得到圖片，在圖片上的像素坐標(biāo)為m(u,v)。相機(jī)的相對(duì)位置用(XC,YC,ZC)坐標(biāo)表示，C即(Cx,Cy)，圖像坐標(biāo)系的坐標(biāo)值用(x,y)來表示，像素坐標(biāo)系的坐標(biāo)值用(u,v)表示,焦距用f表示。

圖4 坐標(biāo)系的關(guān)系Fig.4 Relation of coordinate

相機(jī)坐標(biāo)系到圖像坐標(biāo)系之間的轉(zhuǎn)換實(shí)際上是將三維空間點(diǎn)轉(zhuǎn)化為二維平面點(diǎn)，如圖4所示，根據(jù)三角形法，得到目標(biāo)物體在圖像坐標(biāo)系的轉(zhuǎn)換關(guān)系為

(5)

3.2 相機(jī)坐標(biāo)轉(zhuǎn)換到像素坐標(biāo)

由圖4知，圖像和像素兩坐標(biāo)系的轉(zhuǎn)換關(guān)系為

(6)

式(6)中：dx和dy分別為在x軸方向和y軸方向上的尺寸變化；(u0,v0)為在像素坐標(biāo)系下的坐標(biāo)值。式(6)齊次變換用公式表示為

(7)

由式(5)、式(7)可得相機(jī)坐標(biāo)系到像素坐標(biāo)系的轉(zhuǎn)換關(guān)系為

(8)

式(8)中：K為相機(jī)內(nèi)參；X為目標(biāo)物在相機(jī)坐標(biāo)系的坐標(biāo)。

3.3 像素坐標(biāo)系到基坐標(biāo)系的轉(zhuǎn)化

在對(duì)Kinect V2標(biāo)定時(shí)，設(shè)世界坐標(biāo)系與{e}保持一致，即要測(cè)得的目標(biāo)在世界坐標(biāo)系下的坐標(biāo)值為Xe=(Xe,Ye,Ze)，同時(shí)設(shè)相機(jī)坐標(biāo)系為{c}，基坐標(biāo)系為{0}，則{e}到{c}的變換關(guān)系表示為

(9)

式(9)中：R為3行3列的正交旋轉(zhuǎn)矩陣；t為平移向量。將式(9)代入式(8)可得：

(10)

(11)

由式(10)、式(11)得，像素坐標(biāo)系到{0}的轉(zhuǎn)換為

(12)

(13)

假設(shè){c}在{0}中的位姿表示為0Pc=(Pcx,Pcy,Pcz,θcx,θcy,θcz)T,可得{c}到{0}的齊次變換矩陣為

(14)

4 機(jī)械臂抓取系統(tǒng)

4.1 機(jī)械臂及夾持器

使用aubo_i5六自由度的機(jī)械臂完成抓取操作，機(jī)械臂各關(guān)節(jié)及其坐標(biāo)系展示在圖5中。機(jī)械臂共6個(gè)轉(zhuǎn)動(dòng)關(guān)節(jié)，其中關(guān)節(jié)1～6分別對(duì)應(yīng)坐標(biāo)系{1}～{6}，通過基座與底座連接，可以通過控制1～6關(guān)節(jié)轉(zhuǎn)動(dòng)，使機(jī)械臂末端工具移動(dòng)到不同的位置。由于aubo_i5的結(jié)構(gòu)特點(diǎn)，2、3、4關(guān)節(jié)軸線符合三軸平行構(gòu)型，因此機(jī)器人擁有逆運(yùn)動(dòng)學(xué)封閉解。

圖5 機(jī)械臂關(guān)節(jié)及各坐標(biāo)系簡(jiǎn)圖Fig.5 Schematic diagram of mechanical arm joints and each coordinate system

EZGripper機(jī)器人夾持器(圖6)通過連接法蘭固定在aubo_i5機(jī)械臂的末端，通過機(jī)器人操作系統(tǒng)(robot operating system,ROS)上的Python來控制夾持器的張合動(dòng)作。

圖6 夾持器Fig.6 Gripper

4.2 機(jī)械臂D-H參數(shù)

根據(jù)aubo_i5機(jī)械臂各個(gè)關(guān)節(jié)坐標(biāo)系的位置及姿態(tài)，定義機(jī)器人的初始零位位姿與圖5一致，得到機(jī)器人的參數(shù)如表1所示。表中，i表示關(guān)節(jié)的序號(hào)，ai-1表示前一個(gè)連桿長(zhǎng)度，αi-1表示連桿i相對(duì)于連桿i-1的轉(zhuǎn)角，di表示第i個(gè)關(guān)節(jié)的偏置距離，θi表示第i個(gè)關(guān)節(jié)的轉(zhuǎn)角范圍，零位θi時(shí)的值分別為[0 -90 0 -90 0 0]。

4.3 機(jī)器人正運(yùn)動(dòng)學(xué)

(15)

(16)

式(6)中：Screwx(αi-1,αi-1)為繞Xi-1軸旋轉(zhuǎn)αi-1，并且再沿Xi-1軸平移了αi-1；Screwz(di,θi)為繞Z軸旋轉(zhuǎn)了θi，并且再沿Z軸平移了di。在D-H參數(shù)中，θi作為關(guān)節(jié)變量，其余值均是已知量，將D-H參數(shù)中的參數(shù)分別代入式(15)和式(16)即得到aubo_i5正向運(yùn)動(dòng)學(xué)解。

4.4 機(jī)器人逆運(yùn)動(dòng)學(xué)

當(dāng)夾持器安裝在機(jī)械臂末端時(shí)，為實(shí)現(xiàn)手抓到達(dá)指定的目標(biāo)位姿，因此需要求得這一位姿所對(duì)應(yīng)的6個(gè)關(guān)節(jié)的轉(zhuǎn)角值，即逆運(yùn)動(dòng)學(xué)解[17-18]。由于aubo_i5機(jī)器人2～4關(guān)節(jié)軸線符合三軸平行結(jié)構(gòu)，所以此機(jī)器人具有封閉解。逆解可能不存在，也可能不唯一。對(duì)6自由度的遨博機(jī)械臂，采用牛頓迭代法來求取逆解，先構(gòu)造非線性方程組，其公式如下：

F(θ)=0

(17)

F(θ)=(f1,f2,…，fn)T

(18)

θ=(θ1,θ2,…，θn)T

(19)

(20)

其展開式為

(21)

(22)

用牛頓迭代求解方程組表示為

θi+1=θi-J-1F(θi)

(23)

(24)

通過式(24)求解六自由度空間機(jī)械臂的逆運(yùn)學(xué)。

5 實(shí)驗(yàn)

5.1 相機(jī)標(biāo)定實(shí)驗(yàn)

采用5 m×7 m×0.03 m的標(biāo)準(zhǔn)棋盤，為保證其穩(wěn)定，將相機(jī)固定。共采集了上、下、左、右、前、后等不同方位的40張用于彩色圖像和深度圖像的校正圖像，提取其棋盤角點(diǎn)，根據(jù)采集后圖像的圖像坐標(biāo)與棋盤角點(diǎn)的世界坐標(biāo)系關(guān)系，求解Kinect V2的內(nèi)外參數(shù)，最終完成相機(jī)標(biāo)定(圖7)。其彩色相機(jī)內(nèi)參(Krgb)、紅外相機(jī)內(nèi)參(Kir)矩陣為

相機(jī)外參旋轉(zhuǎn)矩陣R和平移向量t分別為

t=[-0.04709 0.00004 0.00302]

計(jì)算得到{c}到{0}的齊次變換為

圖7 點(diǎn)云配準(zhǔn)前后對(duì)比Fig.7 Comparison before and after point cloud registration

圖7(a)展示相機(jī)的RGB圖像和Depth圖像是沒有進(jìn)行配準(zhǔn)的圖像，可知道其點(diǎn)云圖在其邊緣位置存在明顯的錯(cuò)位現(xiàn)象。圖7(b)展示配準(zhǔn)后相機(jī)下的點(diǎn)云圖像，可以看出，矯正后，其三維點(diǎn)云圖的邊緣輪廓完好對(duì)齊，很好地去除在模型之間的位置偏差問題，從而使得到的相機(jī)下的同一個(gè)三維物體模型具有一定的完整性和一致性。

5.2 物體檢測(cè)實(shí)驗(yàn)

收集3 000張包含香蕉、蘋果、杯子、書、鼠標(biāo)等圖像制作數(shù)據(jù)集MAC，訓(xùn)練并測(cè)試，隨機(jī)選取2 400張圖像作為訓(xùn)練時(shí)的數(shù)據(jù)集，剩余600張作為驗(yàn)證集。采用Darknet53基礎(chǔ)網(wǎng)絡(luò)在MAC數(shù)據(jù)集上訓(xùn)練，將其迭代25 000次，經(jīng)訓(xùn)練得到的權(quán)重作為測(cè)試的權(quán)重，再利用驗(yàn)證集評(píng)估模型精度。為了驗(yàn)證模型權(quán)重的有效性和可靠性，圖8(a)顯示訓(xùn)練的迭代次數(shù)改進(jìn)前后的平均損失曲線，通過曲線圖可以看出，隨著訓(xùn)練次數(shù)的增多，雖然二者的平均損失值逐漸趨于平穩(wěn)，最終基本保持不變，但是改進(jìn)后模型比改進(jìn)前下降快，說明在訓(xùn)練過程中模型具有很快的收斂性。圖8(b)所示為精確率召回率曲線對(duì)比，從曲線圖中看出，在保持高精度的條件下，改進(jìn)后模型的召回率可以達(dá)到90%，而當(dāng)召回率為90%時(shí)，精確率仍然能夠達(dá)到80%，改進(jìn)前召回率為90%時(shí)，其精確率已經(jīng)下降到60%，說明改進(jìn)YOLOV3模型的性能高。

圖8 平均損失曲線和P-R曲線Fig.8 Average loss curve and P-R urve

分別用YOLOV3和改進(jìn)YOLOV3對(duì)Kinect拍攝的場(chǎng)景物體進(jìn)行實(shí)時(shí)測(cè)試，得到物體的類別、準(zhǔn)確率及邊框位置信息。其識(shí)別結(jié)果如圖9、圖10所示，每種物體識(shí)別的正確率如表2所示。

由圖9可以看出，圖9(a)沒能識(shí)別出蘋果和鼠標(biāo)，而圖9(b)將場(chǎng)景下的5種物體全部正確識(shí)別。所測(cè)場(chǎng)景中的物體具有遮擋的特點(diǎn)(鼠標(biāo)與香蕉特征遮擋)，導(dǎo)致識(shí)別信息重疊，減少可區(qū)分性，增大了識(shí)別難度。經(jīng)實(shí)驗(yàn)結(jié)果得出，改進(jìn)YOLOV3解決了由于遮擋造成的不能有效識(shí)別的問題。

圖9 遮擋環(huán)境下物體識(shí)別對(duì)比試驗(yàn)Fig.9 Comparative test of object recognition under occlusion environment

圖10 改變物體位置的情況下識(shí)別對(duì)比Fig.10 Recognition and contrast under changing object position

改變物體位置的情況下，分別再用YOLOV3和改進(jìn)YOLOV3對(duì)Kinect場(chǎng)景下的物體進(jìn)行檢測(cè)，分別提取第57幀和163幀進(jìn)行測(cè)試，如圖10所示，可以看出，當(dāng)物體位姿發(fā)生變化時(shí)，用YOLOV3和改進(jìn)的模型測(cè)試結(jié)果差別很多，對(duì)于視頻中不同的幀，YOLOV3檢測(cè)出的物體總是在發(fā)生變化，有時(shí)能檢測(cè)出，有時(shí)則需要晃動(dòng)目標(biāo)物體才能檢測(cè)到，而改進(jìn)后的YOLOV3能夠穩(wěn)定地檢測(cè)出物體，對(duì)環(huán)境變化的適應(yīng)性強(qiáng)。在57幀時(shí)，如圖10(a)所示，只識(shí)別出了鼠標(biāo)，在163幀時(shí)，如圖10(c)所示，識(shí)別出鼠標(biāo)和蘋果；而圖10(b)、圖10(d)在57幀和163幀時(shí)，全部正確識(shí)別。從實(shí)驗(yàn)結(jié)果中能夠得出，改進(jìn)的YOLOV3有效提升了物體識(shí)別的穩(wěn)定性。

表2 測(cè)試結(jié)果識(shí)別的正確率Table 2 The accuracy of test result recognition

由表2可知，改進(jìn)前識(shí)別到香蕉的正確率為78.3%，而改進(jìn)后香蕉的識(shí)別正確率達(dá)到79.6%，與模型改進(jìn)前相比提升了1.3%，改進(jìn)前識(shí)別到蘋果的正確率為54.2%，而改進(jìn)后識(shí)別其正確率達(dá)到55.4%，與改進(jìn)前相比正確率提升了1.3%，改進(jìn)前識(shí)別到杯子的正確率為65.1%，改進(jìn)后較改進(jìn)前提升了3%，對(duì)于書、鼠標(biāo)，改進(jìn)前識(shí)別正確率分別為80.2%和57.6%，二者相比于改進(jìn)前分別提升了5.1%和1.2%。根據(jù)表中數(shù)據(jù)得出改進(jìn)YOLOV3模型與YOLOV3模型的平均精度相比，改進(jìn)YOLOV3模型平均精度大約提升了2.36%，其模型性能優(yōu)于改進(jìn)前。

5.3 物體定位實(shí)驗(yàn)

根據(jù)理想相機(jī)成像的原理，通過坐標(biāo)系之間的變換剖析了物體三維坐標(biāo)計(jì)算的全過程，Kinect V2傳感器根據(jù)其發(fā)出紅外光線的飛行時(shí)間來計(jì)算其相應(yīng)的深度信息，計(jì)算某一點(diǎn)處的深度值為Z，其他參數(shù)已經(jīng)由相機(jī)標(biāo)定獲得，代入下式計(jì)算：

實(shí)驗(yàn)中利用改進(jìn)YOLOV3識(shí)別到5種目標(biāo)物體，其可視化采集點(diǎn)如圖11所示，分別計(jì)算1～5的中心位置(圖中紅點(diǎn)標(biāo)記的位置)，并在表3中展示得到的像素坐標(biāo)數(shù)據(jù)。通過表3可以看出，所測(cè)得的坐標(biāo)值在0.5～1.5金字塔視場(chǎng)，其深度誤差較小，深度誤差平均絕對(duì)值為0.010 8，精度較高。

圖11 目標(biāo)物可視化Fig.11 Target visualization

表3 圖像點(diǎn)的像素坐標(biāo)值和深度值Table 3 Pixel coordinate values and depth values of image points

5.4 物體抓取實(shí)驗(yàn)

實(shí)驗(yàn)中抓取系統(tǒng)采用眼在手外模式，在光照充足的條件下進(jìn)行物體抓取實(shí)驗(yàn)，一共選取了5種物體，并且其位置和姿態(tài)不同，對(duì)每種物體分別進(jìn)行抓取15次測(cè)試，總抓取75次。實(shí)驗(yàn)中分別用YOLOV3和改進(jìn)YOLOV3模型對(duì)物體進(jìn)行識(shí)別，程序計(jì)算物體中心點(diǎn)的位置對(duì)其實(shí)施抓取，實(shí)驗(yàn)抓取過程如圖12所示。

圖12 物體抓取過程Fig.12 Object grasping process

抓取實(shí)驗(yàn)結(jié)果如表4所示。改進(jìn)前由于抓取過程中不能有效地識(shí)別出目標(biāo)物體，所以易造成抓取失敗的情況。其中蘋果、杯子和鼠標(biāo)3個(gè)物體的抓取成功率分別為87%、93%、80%，而應(yīng)用改進(jìn)YOLOV3能穩(wěn)定地識(shí)別到物體，抓取成功率均能達(dá)到100%。然而書的抓取成功率比較低，由于其材質(zhì)影響，造成抓取過程容易脫落，改進(jìn)前為73%，改進(jìn)后為80%，而香蕉抓取成功率改進(jìn)前為67%，改進(jìn)后成功率達(dá)到87%，其改進(jìn)后未成功抓取的原因主要是香蕉中間形狀不規(guī)則導(dǎo)致相機(jī)在對(duì)其進(jìn)行測(cè)量時(shí)得到的深度信息不準(zhǔn)確，造成定位時(shí)香蕉的位置出現(xiàn)了偏差。75次抓取實(shí)驗(yàn)中，改進(jìn)前共成功抓取60次，改進(jìn)后則成功抓取70次，改進(jìn)前平均成功抓取率為80%，改進(jìn)后成功率達(dá)到93.4%。實(shí)驗(yàn)結(jié)果可以看出，改進(jìn)YOLOV3應(yīng)用在物體識(shí)別中并根據(jù)坐標(biāo)系轉(zhuǎn)換實(shí)現(xiàn)抓取的方法是有效的，且抓取成功率較改進(jìn)前提升了13.4%。

表4 物體抓取實(shí)驗(yàn)結(jié)果Table 4 Experimental results of object capture

6 結(jié)論

基于感興趣區(qū)域的機(jī)器人抓取系統(tǒng)采用張正友標(biāo)定法完成深度傳感器的標(biāo)定，消除了模型在邊緣處存在的錯(cuò)位問題，然后利用深度學(xué)習(xí)方法實(shí)現(xiàn)目標(biāo)物體的檢測(cè)，依據(jù)相機(jī)成像原理實(shí)現(xiàn)定位，最后根據(jù)坐標(biāo)系轉(zhuǎn)換及機(jī)器人逆運(yùn)動(dòng)學(xué)求解完成抓取任務(wù)，得到以下結(jié)論。

(1)基于感興趣區(qū)域的機(jī)器人抓取系統(tǒng)將深度傳感器、深度學(xué)習(xí)方法與抓取檢測(cè)問題結(jié)合在一起，實(shí)現(xiàn)對(duì)檢測(cè)待抓取目標(biāo)物體端到端實(shí)時(shí)檢測(cè)。

(2)針對(duì)識(shí)別準(zhǔn)確率問題，對(duì)YOLOV3進(jìn)行改進(jìn)，將傳統(tǒng)的交叉熵函數(shù)替換成焦點(diǎn)函數(shù)，并通過圖像增強(qiáng)及圖片正負(fù)旋轉(zhuǎn)10°處理來擴(kuò)充數(shù)據(jù)集。改進(jìn)后較改進(jìn)前模型的平均精度值大約提升了2.36%，在一定程度上提高了識(shí)別的準(zhǔn)確率。

(3)依據(jù)相機(jī)三維定位理論，計(jì)算三維坐標(biāo)，所測(cè)得的坐標(biāo)值在0.5～1.5金字塔視場(chǎng)之間，且深度誤差較小，深度誤差平均絕對(duì)值為0.010 8，能很好地對(duì)改進(jìn)YOLOV3識(shí)別到的物體的中心進(jìn)行定位。

(4)結(jié)合(2)和(3)及參照機(jī)器人D-H參數(shù)，通過坐標(biāo)坐標(biāo)系變化及運(yùn)動(dòng)學(xué)解控制機(jī)器人完成抓取，機(jī)器人抓取實(shí)驗(yàn)驗(yàn)證改進(jìn)后較改進(jìn)前提升了13.4%。實(shí)驗(yàn)結(jié)果證明，改進(jìn)的YOLOV3能夠有效提高抓取成功率，基于感興趣區(qū)域的機(jī)器人抓取系統(tǒng)可以對(duì)多目標(biāo)實(shí)時(shí)可靠的抓取任務(wù)。