基于視覺(jué)定位的機(jī)器人搬運(yùn)技術(shù)及應(yīng)用

田 鑫，施成章，朱學(xué)軍

(寧夏大學(xué) 機(jī)械工程學(xué)院，寧夏 銀川 750021)

?

基于視覺(jué)定位的機(jī)器人搬運(yùn)技術(shù)及應(yīng)用

田 鑫，施成章，朱學(xué)軍

(寧夏大學(xué) 機(jī)械工程學(xué)院，寧夏 銀川 750021)

機(jī)器人通過(guò)視覺(jué)對(duì)工件位置信息進(jìn)行分析處理，完成相應(yīng)搬運(yùn)任務(wù)已成為機(jī)器人應(yīng)用的主要發(fā)展方向。本文主要針對(duì)立體倉(cāng)儲(chǔ)系統(tǒng)中基于視覺(jué)定位的物料搬運(yùn)應(yīng)用進(jìn)行研究。系統(tǒng)中采用智能相機(jī)Vision Hawk對(duì)目標(biāo)進(jìn)行視覺(jué)定位，運(yùn)用攝像機(jī)標(biāo)定技術(shù)實(shí)現(xiàn)相機(jī)—機(jī)器人坐標(biāo)系的標(biāo)定，通過(guò)控制軟件Workvisual來(lái)完成機(jī)器人的運(yùn)動(dòng)控制和軌跡規(guī)劃，進(jìn)而實(shí)現(xiàn)機(jī)器人對(duì)多種類型工件的識(shí)別、定位及搬運(yùn)。

視覺(jué)定位；搬運(yùn)；攝像機(jī)標(biāo)定；運(yùn)動(dòng)控制

0 引言

近年來(lái)，視覺(jué)引導(dǎo)與定位技術(shù)已經(jīng)成為工業(yè)機(jī)器人獲得環(huán)境信息的主要手段，它可以實(shí)現(xiàn)工業(yè)機(jī)器人在實(shí)際應(yīng)用中的自主判斷能力，使機(jī)器人應(yīng)用的靈活性和工作質(zhì)量大大提高。隨著機(jī)器人技術(shù)的飛速發(fā)展，機(jī)器視覺(jué)系統(tǒng)這一新興技術(shù)也進(jìn)入到日常的生產(chǎn)應(yīng)用當(dāng)中。機(jī)器人視覺(jué)廣泛應(yīng)用于工業(yè)領(lǐng)域，主要集中在電子行業(yè)、半導(dǎo)體行業(yè)、航天、測(cè)量等行業(yè)，并取得了很多成就。目前視覺(jué)應(yīng)用已經(jīng)發(fā)展得相當(dāng)成熟，許多工業(yè)生產(chǎn)線上都已經(jīng)投入使用[1]。主要應(yīng)用如破損檢測(cè)、條形碼讀取、位置檢測(cè)等。視覺(jué)還可分為單目視覺(jué)和雙目視覺(jué)，單目視覺(jué)就是對(duì)二維平面進(jìn)行視覺(jué)檢測(cè)，這樣對(duì)于立體空間的檢測(cè)就受到限制；而雙目視覺(jué)則是對(duì)立體三維空間的檢測(cè)，因此應(yīng)用范圍更加廣泛。本文中的應(yīng)用主要是在平面內(nèi)的檢測(cè)，因此單目視覺(jué)就能夠滿足需要[2]。

智能化立體倉(cāng)儲(chǔ)系統(tǒng)的結(jié)構(gòu)組成有立體存取倉(cāng)庫(kù)、AGV小車、基于視覺(jué)搬運(yùn)機(jī)械手等幾部分，這里主要對(duì)基于視覺(jué)的機(jī)械手搬運(yùn)應(yīng)用進(jìn)行研究。采用視覺(jué)定位機(jī)器人對(duì)七巧板(模擬需要搬運(yùn)的工件)進(jìn)行拆分和組合，本文將對(duì)這一部分的應(yīng)用做一些簡(jiǎn)單的說(shuō)明。

1 結(jié)構(gòu)組成

圖1 可視化搬運(yùn)系統(tǒng)組成

如圖1所示，視覺(jué)搬運(yùn)系統(tǒng)是由機(jī)器手臂、控制柜、智能相機(jī)、吸盤、拆分臺(tái)、運(yùn)輸臺(tái)、組合臺(tái)幾部分組成。其中，機(jī)械手為KUKA機(jī)械手，攝像頭采用VisionHawk智能相機(jī)，兩者相互組合形成機(jī)器人可視化系統(tǒng)，用來(lái)完成工件的定位和搬運(yùn)，保證在搬運(yùn)過(guò)程中，機(jī)器人吸盤能夠準(zhǔn)確吸取工件[3-4]。

2 視覺(jué)定位原理

2.1 視覺(jué)工作流程

KUKA機(jī)械手與Vision Hawk智能相機(jī)組成可視化搬運(yùn)系統(tǒng)，其工作基本流程如下[5]：(1)系統(tǒng)開(kāi)始運(yùn)行，通過(guò)相機(jī)進(jìn)行圖像采集；(2)利用應(yīng)用軟件Visionscape對(duì)目標(biāo)圖像進(jìn)行對(duì)比分析和處理；(3)通過(guò)像素網(wǎng)格劃分對(duì)目標(biāo)圖像的具體位置進(jìn)行定位運(yùn)算；(4)將所得圖像坐標(biāo)利用Visionscape軟件進(jìn)行轉(zhuǎn)換運(yùn)算，即圖像坐標(biāo)系到世界坐標(biāo)系的轉(zhuǎn)換，實(shí)現(xiàn)對(duì)七巧板所在實(shí)際位置的坐標(biāo)數(shù)據(jù)的輸出。

2.2 攝像機(jī)標(biāo)定方法

計(jì)算機(jī)視覺(jué)的基本任務(wù)之一是從攝像機(jī)獲取的圖像信息出發(fā)計(jì)算空間物體的幾何信息，并由此重建和識(shí)別物體?？臻g物體表面某點(diǎn)的幾何位置與其在圖像中對(duì)應(yīng)點(diǎn)之間的相互關(guān)系是由攝像機(jī)成像的幾何模型決定的，這些幾何模型參數(shù)就是攝像機(jī)參數(shù)。在大多數(shù)條件下，這些參數(shù)必須通過(guò)實(shí)驗(yàn)與計(jì)算才能得到，這個(gè)過(guò)程被稱為攝像機(jī)標(biāo)定[6]。

通過(guò)攝像機(jī)標(biāo)定，可以實(shí)現(xiàn)空間中各個(gè)坐標(biāo)系之間的相互轉(zhuǎn)換，從而得到所采集目標(biāo)圖像在實(shí)際空間中的坐標(biāo)，實(shí)現(xiàn)視覺(jué)定位。下面將簡(jiǎn)單對(duì)攝像機(jī)標(biāo)定方法進(jìn)行說(shuō)明。

在視覺(jué)系統(tǒng)中，常用到的坐標(biāo)系有相機(jī)坐標(biāo)系Oc—XcYcZc；世界坐標(biāo)系Ow—XwYwZw；圖像坐標(biāo)系，包括圖像物理坐標(biāo)系o—xy和圖像像素坐標(biāo)系o—uv。坐標(biāo)系之間存在相對(duì)應(yīng)的關(guān)系，需要通過(guò)計(jì)算來(lái)實(shí)現(xiàn)坐標(biāo)的轉(zhuǎn)換，從而實(shí)現(xiàn)靈活、準(zhǔn)確地定位，進(jìn)而實(shí)現(xiàn)對(duì)目標(biāo)工件的吸取。

而通過(guò)攝像機(jī)標(biāo)定技術(shù)可實(shí)現(xiàn)圖像、相機(jī)、世界坐標(biāo)系的轉(zhuǎn)換[7-8]。其轉(zhuǎn)換計(jì)算關(guān)系如下：

世界坐標(biāo)系中一點(diǎn)P(Xw，Yw，Zw)，(u,v)是P點(diǎn)的成像點(diǎn)p的實(shí)際圖像像素坐標(biāo)，單位是像素?cái)?shù)(pixel)，f為焦距。P在圖像上的成像位置p的幾何關(guān)系如式(1)所示：

(1)

其中， (Xc，Yc，Zc)是P點(diǎn)在攝像機(jī)坐標(biāo)系中的坐標(biāo)。(xu，yu)是p點(diǎn)的物理圖像坐標(biāo)，單位為mm。

圖像坐標(biāo)中圖像像素坐標(biāo)與圖像物理坐標(biāo)之間的關(guān)系如式(2)所示：

(2)

其中，sx，sy為圖像平面單位距離上的像素?cái)?shù)(pixels/mm)，(u0，v0)為攝像機(jī)與圖像平面的交點(diǎn)，稱為主點(diǎn)坐標(biāo)。由式(1)、(2)可得：

(3)

其中，fu=fsx，fv=fsy，fu稱為圖像u軸的尺度因子，fv稱為圖像v軸的尺度因子。

令p為規(guī)一化的理想圖像坐標(biāo)，即相當(dāng)于假設(shè)攝像機(jī)焦距等于1，其中x=Xc/Zc，y=Yc/Zc，則有：

(4)

則圖像點(diǎn)的像素坐標(biāo)m與規(guī)一化坐標(biāo)p之間的關(guān)系以齊次坐標(biāo)表示為：

(5)

其中，K包含5個(gè)內(nèi)參數(shù)，它反映的是攝像機(jī)內(nèi)部的成像參數(shù)，所以稱為內(nèi)參數(shù)矩陣。

可以得到世界坐標(biāo)系與攝像機(jī)坐標(biāo)系的轉(zhuǎn)換關(guān)系為：

(6)

其中，R和T分別為從世界坐標(biāo)系到攝像機(jī)坐標(biāo)系的旋轉(zhuǎn)和平移變換。由式(5)、(6)可得空間點(diǎn)的實(shí)際坐標(biāo)與像素坐標(biāo)之間的關(guān)系為：

=M1M2X=MX

(7)

其中M為3×4矩陣，稱為透視變換矩陣，M1只與攝像機(jī)內(nèi)部結(jié)構(gòu)有關(guān)，稱為攝像機(jī)內(nèi)部參數(shù)；M2只與攝像機(jī)對(duì)于世界坐標(biāo)系的方位有關(guān)，稱為攝像機(jī)外部參數(shù)。X為空間點(diǎn)在世界坐標(biāo)系下的齊次坐標(biāo)。

以上換算過(guò)程是通過(guò)Visionscape軟件設(shè)置完成的，通過(guò)進(jìn)行相應(yīng)的設(shè)置，實(shí)現(xiàn)采集圖像與目標(biāo)圖像的分析對(duì)比及坐標(biāo)的轉(zhuǎn)換，并將運(yùn)算坐標(biāo)結(jié)果傳送至機(jī)械手，從而實(shí)現(xiàn)對(duì)工件的準(zhǔn)確定位、吸取和搬運(yùn)[9]。

3 搬運(yùn)工作流程

AGV將出庫(kù)的托盤運(yùn)送至拆分臺(tái)后，根據(jù)上位機(jī)發(fā)出的拆分指令，機(jī)械手將托盤上的七巧板拆分并依次放置在輸送臺(tái)的傳送帶上，這里每放置一個(gè)，放置位傳感器接收信號(hào)，步進(jìn)電機(jī)就向前運(yùn)動(dòng)一段固定的距離，直到七巧板全部拆分完成，停止動(dòng)作待命。而后根據(jù)上位機(jī)發(fā)送的組合指令，將傳送帶上的七巧板按照上位機(jī)事先預(yù)設(shè)的圖形在組合臺(tái)上進(jìn)行擺放，這里從輸送臺(tái)上取走工件，每取走一個(gè)，提取位傳感器接收信號(hào)，步進(jìn)電機(jī)就向前運(yùn)動(dòng)一段固定的距離，直到七個(gè)工件全部提取完成，停下等待指令。

圖2 預(yù)設(shè)圖形

在執(zhí)行操作前需要通過(guò)上位機(jī)對(duì)其搬運(yùn)效果圖形進(jìn)行選擇設(shè)定，設(shè)定完成后運(yùn)行，視覺(jué)搬運(yùn)系統(tǒng)將會(huì)按照上位機(jī)發(fā)出的預(yù)設(shè)圖形進(jìn)行拆分組合，其預(yù)設(shè)圖形如圖2所示。

使用KUKA機(jī)械手完成吸取和搬運(yùn)，通過(guò)WorkVisual控制軟件編程實(shí)現(xiàn)搬運(yùn)的運(yùn)動(dòng)控制和軌跡規(guī)劃，其基本流程如下圖3所示。

圖3 運(yùn)動(dòng)控制流程圖

最終實(shí)現(xiàn)的搬運(yùn)效果如圖4所示，這里只是預(yù)設(shè)7種圖案中的一種搬運(yùn)效果。前者為搬運(yùn)操作前的狀態(tài)，后者為搬運(yùn)完成后的狀態(tài)。

圖4 搬運(yùn)效果圖

4 結(jié)論

如今越來(lái)越多基于視覺(jué)應(yīng)用的機(jī)器人進(jìn)入到生產(chǎn)工作中，而其中基于視覺(jué)的搬運(yùn)機(jī)器人是視覺(jué)應(yīng)用的主要研究方向之一。本文研究的是一種基于單目相機(jī)的視覺(jué)搬運(yùn)系統(tǒng)，利用坐標(biāo)系標(biāo)定方法實(shí)現(xiàn)圖像和空間坐標(biāo)系之間的相互轉(zhuǎn)換，快速準(zhǔn)確地得到目標(biāo)的坐標(biāo)數(shù)據(jù)，實(shí)現(xiàn)在空間中對(duì)工件的視覺(jué)識(shí)別定位及搬運(yùn)。系統(tǒng)可以應(yīng)用于高重復(fù)性的生產(chǎn)工作中，降低人工及工裝成本，使得自動(dòng)化生產(chǎn)更具柔性以及智能化。目前這種基于視覺(jué)的搬運(yùn)系統(tǒng)已在實(shí)際工業(yè)現(xiàn)場(chǎng)中得到應(yīng)用。

[1] MALASSIOTIS S, STRINTZIS M G. Stereo vision system for precision dimensional inspection of 3D holes[J].Machine Vision and Applications,2003, 15(2):101-113.

[2] 劉子豪,樊留群. 工件的視覺(jué)定位及機(jī)器人控制的應(yīng)用研究[J]. 機(jī)電產(chǎn)品開(kāi)發(fā)與創(chuàng)新, 2014,27(6)：4-6,9.

[3] 李金義,楊成,王京.基于視覺(jué)定位的機(jī)器人搬運(yùn)系統(tǒng)[J]. 制造業(yè)自動(dòng)化, 2011,33(2):41-42.

[4] 劉振宇,李中生,馮柏潤(rùn),等.機(jī)器視覺(jué)在工業(yè)生產(chǎn)線上的應(yīng)用實(shí)現(xiàn)[J].微型機(jī)與應(yīng)用,2013,32(17):27-30.

[5] 潘武.基于機(jī)器視覺(jué)的工件的識(shí)別和定位[D]. 北京：北京化工大學(xué), 2012.

[6] 夏群峰,彭勇剛.基于視覺(jué)的機(jī)器人抓取系統(tǒng)應(yīng)用研究綜述[J].機(jī)電工程, 2014,31(6):697-701.

[7] 舒娜.攝像機(jī)標(biāo)定方法的研究[D]. 南京：南京理工大學(xué), 2014.

[8] 賈丹.攝像機(jī)現(xiàn)場(chǎng)標(biāo)定算法研究[D]. 哈爾濱：哈爾濱工程大學(xué), 2007.

[9] 朱海波.基于視覺(jué)引導(dǎo)的工業(yè)機(jī)器人工件搬運(yùn)技術(shù)研究[D]. 沈陽(yáng)：沈陽(yáng)工業(yè)大學(xué), 2013.

Technology and application of robots handling based on visual positioning

Tian Xin，Shi Chengzhang，Zhu Xuejun

(School of Mechanical Engineering , Ningxia University ,Yinchuan 750021, China)

Robot analyzes and processes the workpiece position information through the vision to complet the corresponding task. This mothod has become the main development direction of robot applications. This paper mainly focuses on the research of the material handing system based on the visual positioning system. In this system, the smart camera named Vision Hawk is used to carry out the vision positioning, camera calibration technology is used to achieve the camera robot coordinate system calibration. The robot’s motion control and trajectory planning is accomplished throngh the software Workvisual,and then identification,location and handling of the various types of workpieces is realized.

visual orientation；handling；camera calibration；motion control

TP249

A

1674-7720(2016)07- 0051- 03

田鑫，施成章，朱學(xué)軍. 基于視覺(jué)定位的機(jī)器人搬運(yùn)技術(shù)及應(yīng)用[J].微型機(jī)與應(yīng)用，2016,35(7)：51-53.

2015-12-07)

田鑫(1989-)，男，碩士研究生，主要研究方向：機(jī)械制造及其自動(dòng)化。

施成章(1982-)，男，碩士，主要研究方向：工業(yè)4.0柔性生產(chǎn)線和智能機(jī)器人。

朱學(xué)軍(1970-)，通訊作者,男，教授，碩士研究生導(dǎo)師，主要研究方向：機(jī)電系統(tǒng)智能控制。E-mail:zhuxuejunnxu@sina.com。