基于機(jī)器視覺的傳送帶分揀技術(shù)研究

方 雨，李大寨，林 闖

(北京航空航天大學(xué) 機(jī)械工程及自動(dòng)化學(xué)院，北京 100191)

0 引言

工業(yè)機(jī)器人技術(shù)的發(fā)展和成熟，引領(lǐng)了制造業(yè)的新一輪革命,使得產(chǎn)品流水線更加靈活多變，生產(chǎn)效率逐步提高，因此對分揀系統(tǒng)提出了更高要求。傳統(tǒng)技術(shù)下的分揀系統(tǒng)，主要通過預(yù)先設(shè)定分揀動(dòng)作，以繼電器控制或離線編程的方式實(shí)現(xiàn)分揀，過程繁瑣，效率較低[1]，且一旦產(chǎn)品或工作環(huán)境發(fā)生變化，就需要進(jìn)行重新設(shè)計(jì)，故障率偏高，因此傳統(tǒng)分揀系統(tǒng)難以滿足現(xiàn)代制造業(yè)對信息化和自動(dòng)化的要求。將機(jī)器視覺應(yīng)用于分揀系統(tǒng)，利用其適應(yīng)能力強(qiáng)，應(yīng)用范圍廣，效率高，信息化程度高等特性，可以極大地提高分揀系統(tǒng)的工作能力[2]。

本文提出了一種將機(jī)器視覺和機(jī)器人應(yīng)用于分揀系統(tǒng)，針對傳送帶上多類型工件進(jìn)行識別定位和分揀的方法。

1 工件定位分揀系統(tǒng)

本文所用分揀系統(tǒng)主要由上料單元、輸送分揀平臺、攝像機(jī)平臺、機(jī)器人系統(tǒng)四部分組成。

攝像機(jī)平臺采用高分辨黑白攝像機(jī)，安裝于傳送帶上方，與傳送帶平行布置，采用連續(xù)觸發(fā)采集方式進(jìn)行定時(shí)采集。輸送分揀平臺上安裝有增量型旋轉(zhuǎn)編碼器，可以采集傳送帶運(yùn)動(dòng)信息，用于進(jìn)行工件跟蹤定位。機(jī)器人系統(tǒng)通過Ethernet接口與攝像機(jī)平臺通訊，獲取工件的定位識別信息，完成抓取和分揀。工件定位分揀流程如圖1所示。

2 坐標(biāo)系的設(shè)定

在攝像機(jī)的成像過程中現(xiàn)實(shí)空間的點(diǎn)被投影到圖像平面上，并轉(zhuǎn)換成對應(yīng)像素點(diǎn)位置上的顏色信息，找到現(xiàn)實(shí)空間的點(diǎn)與圖像上的點(diǎn)的正確對應(yīng)關(guān)系，是攝像機(jī)標(biāo)定的目的。如圖2所示，設(shè)在攝像機(jī)的圖像平面上有兩個(gè)平面坐標(biāo)系，分別為以像素為單位的像素坐標(biāo)系O0UV和以毫米為單位的圖像坐標(biāo)系O1XY；此外，設(shè)攝像機(jī)坐標(biāo)系Cam為o-xyz，規(guī)定攝像機(jī)光心點(diǎn)O點(diǎn)為原點(diǎn)，x軸和y軸與圖像平面上的X軸和Y軸平行，z軸為攝像機(jī)光軸，與圖像平面垂直；在現(xiàn)實(shí)空間中工件坐標(biāo)系Wobj為Ow-XwYwZw，此坐標(biāo)系位姿由傳送帶的位姿確定。設(shè)機(jī)器人坐標(biāo)系Base為OB-XBYBZB。

圖1 工件定位分揀流程

3 攝像機(jī)的標(biāo)定

3.1 攝像機(jī)坐標(biāo)系

如圖2所示，設(shè)在工件坐標(biāo)系Ow-XwYwZw中有一點(diǎn)P(Xw,Yw,Zw,1)T,點(diǎn)P在o-xyz坐標(biāo)系中的坐標(biāo)為(x,y,z,1)T,投影到圖像平面上為點(diǎn)p，其在O0UV坐標(biāo)系與O1XY坐標(biāo)系中的坐標(biāo)分別為(u,v,1)T和(X,Y,1)T。

首先計(jì)算坐標(biāo)系O0UV與O1XY的轉(zhuǎn)換關(guān)系。若O1在O0UV坐標(biāo)系下的坐標(biāo)為(u1,v1)，圖像中相鄰像素沿X向與Y向的距離分別為dX、dY，則p在O0UV與O1XY下的坐標(biāo)轉(zhuǎn)換關(guān)系為：

(1)

根據(jù)攝像機(jī)針孔成像模型，點(diǎn)P(x,y,z,1)T與其投影點(diǎn)p(X,Y,1)T有如下比例關(guān)系：

(2)

其中：f為oxy平面與圖像平面的距離；s為比例因子。

最后用旋轉(zhuǎn)矩陣R和平移矢量t來描述工件坐標(biāo)系Ow-XwYwZw與攝像機(jī)坐標(biāo)系o-xyz的轉(zhuǎn)換關(guān)系，即：

(3)

將式(1)和式(2)代入式(3)得到工件坐標(biāo)系與像素坐標(biāo)系即Ow-XwYwZw坐標(biāo)系與O0UV坐標(biāo)系的轉(zhuǎn)換關(guān)系：

(4)

其中:ax為U軸上的尺度因子;ay為V軸上的尺度因子;M1為攝像機(jī)的內(nèi)參矩陣；M2由攝像機(jī)相對于工件坐標(biāo)系的方位決定，稱為攝像機(jī)的外參矩陣。

圖2 坐標(biāo)系的設(shè)定

3.2 攝像機(jī)參數(shù)的標(biāo)定

為了計(jì)算攝像機(jī)的參數(shù)矩陣,本文采用棋盤格標(biāo)定法進(jìn)行標(biāo)定，選擇帶有基準(zhǔn)標(biāo)記的國際象棋盤。該標(biāo)定板由14×24個(gè)黑白相間的正方形方格組成，每個(gè)方格的大小為10 mm×10 mm。規(guī)定以標(biāo)定板所在平面為XwYw平面，Xw軸和Yw軸如圖3所示，Zw軸以右手定則確定。

4 機(jī)器人的標(biāo)定

在分揀系統(tǒng)中，機(jī)器人與攝像機(jī)、傳送帶之間的坐標(biāo)系相對關(guān)系如圖4所示。機(jī)器人的標(biāo)定過程分為機(jī)器人與攝像機(jī)的位姿標(biāo)定和機(jī)器人與傳送帶的位姿標(biāo)定兩個(gè)部分。

圖3 標(biāo)定板及對應(yīng)坐標(biāo)系

圖4 各個(gè)坐標(biāo)系相對位置關(guān)系

4.1 機(jī)器人與攝像機(jī)位姿標(biāo)定

由于相機(jī)視野范圍與機(jī)器人工作空間不重疊，因此傳統(tǒng)的機(jī)器人手眼標(biāo)定方法并不適用于本系統(tǒng)，為了得到攝像機(jī)與機(jī)器人的位姿轉(zhuǎn)換關(guān)系，借助傳送帶在攝像機(jī)視野范圍和機(jī)器人工作空間建立兩個(gè)工件坐標(biāo)系Wobj1和Wobj2來得到Cam坐標(biāo)系與Base坐標(biāo)系的轉(zhuǎn)換關(guān)系。Wobj1和Wobj2的關(guān)系在傳送帶標(biāo)定中進(jìn)行說明。

在傳送帶靜止?fàn)顟B(tài)下，將標(biāo)定板安裝在傳送帶上，保持標(biāo)定板在攝像機(jī)的視野范圍內(nèi)。調(diào)整標(biāo)定板，使X方向與工件的運(yùn)輸方向保持一致。規(guī)定此處標(biāo)定的工件坐標(biāo)系為Wobj1。Cam坐標(biāo)系與工件坐標(biāo)系Wobj1的位姿轉(zhuǎn)換矩陣為：

(5)

4.2 機(jī)器人與傳送帶位姿標(biāo)定

機(jī)器人系統(tǒng)讀取的編碼器輸出的脈沖計(jì)數(shù)器的數(shù)值需要轉(zhuǎn)換成對應(yīng)的傳送帶運(yùn)動(dòng)距離信息[4]。設(shè)D為單位脈沖下傳送帶運(yùn)動(dòng)距離，傳送帶上工件在運(yùn)動(dòng)前、后的兩個(gè)位置下計(jì)數(shù)器讀數(shù)分別為p1和p2，傳送帶運(yùn)動(dòng)距離為s1。則有：

D=s1/(p2-p1).

(6)

然后進(jìn)行傳送帶運(yùn)動(dòng)方向與機(jī)器人位姿關(guān)系的標(biāo)定。在攝像機(jī)下標(biāo)定Wobj1后，啟動(dòng)傳送帶，使標(biāo)定板運(yùn)動(dòng)，直至其進(jìn)入機(jī)器人工作空間內(nèi)，規(guī)定此時(shí)標(biāo)定板上坐標(biāo)系為Wobj2。設(shè)運(yùn)動(dòng)前、后計(jì)數(shù)器讀數(shù)分別為p3、p4，則傳送帶運(yùn)動(dòng)距離s2為：

s2=D(p4-p3).

(7)

Wobj1與Wobj2坐標(biāo)系間為平移關(guān)系，轉(zhuǎn)換矩陣為：

(8)

移動(dòng)機(jī)器人在標(biāo)定板上沿Wobj2坐標(biāo)系Xw軸上測得點(diǎn)X1和X2，在Yw軸上測得點(diǎn)Y1。則兩坐標(biāo)系間轉(zhuǎn)化矩陣為：

(9)

且

(10)

因此可以求得機(jī)器人坐標(biāo)系Base與攝像機(jī)坐標(biāo)系Cam的轉(zhuǎn)換矩陣為：

BaseHCam=BaseHWobj2·Wobj2HWobj1·(CamHWobj1)-1.

(11)

5 實(shí)驗(yàn)結(jié)果

采用IRB 360型機(jī)器人搭建分揀平臺進(jìn)行實(shí)驗(yàn)，目標(biāo)工件為正方形、圓形和三角形三種形狀的塑料薄片。

5.1 攝像機(jī)標(biāo)定實(shí)驗(yàn)

在圖3所示標(biāo)定板上，共有277個(gè)特征點(diǎn)。實(shí)驗(yàn)中識別出277個(gè)特征點(diǎn)位置，誤差平均值為0.087像素，達(dá)到了標(biāo)定精度要求。

5.2 工件識別定位實(shí)驗(yàn)

利用三種形狀的目標(biāo)工件對系統(tǒng)的識別定位精度進(jìn)行實(shí)驗(yàn)。將三種工件放置于攝像機(jī)視野內(nèi)并移動(dòng)兩次進(jìn)行識別定位訓(xùn)練，得到3組數(shù)據(jù)，三種零件都被有效識別和定位，如圖5所示。

啟動(dòng)傳送帶將工件輸送到機(jī)器人工作空間內(nèi)，操作機(jī)器人對準(zhǔn)工件，測得機(jī)器人坐標(biāo)系下的工件坐標(biāo)，并將攝像機(jī)識別定位結(jié)果根據(jù)轉(zhuǎn)換矩陣轉(zhuǎn)換到機(jī)器人坐標(biāo)系下，得到的實(shí)驗(yàn)結(jié)果如表1所示。

從表1可以看出：攝像機(jī)對工件識別的準(zhǔn)確率達(dá)到100%，而定位精度的誤差小于1 mm。因此標(biāo)定精度較高，能夠滿足識別分揀的要求。

6 結(jié)論

本文對機(jī)器視覺系統(tǒng)在分揀平臺上的應(yīng)用進(jìn)行了分析，提出了結(jié)合機(jī)器視覺系統(tǒng)、機(jī)器人系統(tǒng)和傳送帶單元的標(biāo)定方法，最終實(shí)現(xiàn)了視覺系統(tǒng)識別定位工件，利用機(jī)器人在傳送帶上進(jìn)行較高精度的定位抓取。實(shí)驗(yàn)證明：本文方法定位精度達(dá)到1 mm，能夠滿足工業(yè)生產(chǎn)要求。說明機(jī)器視覺在傳送帶分揀平臺上得到了有效應(yīng)用，能夠提高分揀系統(tǒng)效率、精度以及適應(yīng)性。

圖5 工件識別結(jié)果

表1 工件識別定位實(shí)驗(yàn)結(jié)果 mm