基于機器視覺的物料自動分揀系統(tǒng)研究*

張衛(wèi)芬，湯文成

(1.東南大學成賢學院 機械與電氣工程學院，南京 210088；2.東南大學 機械工程學院，南京 211189)

0 引言

產(chǎn)品分揀是工業(yè)自動化生產(chǎn)中的一項重要生產(chǎn)環(huán)節(jié)，傳統(tǒng)的人工分揀或示教工業(yè)機器人分揀無法適應現(xiàn)代工業(yè)對勞動生產(chǎn)率和生產(chǎn)過程自動化水平的需求，將機器視覺技術與工業(yè)機器人相結合可使分揀作業(yè)具有更高的柔性和可靠性[1]。盧振利等[2]從煙盒的特征檢測入手，利用Matlab工具識別真?zhèn)蜗銦煟⑼ㄟ^控制機器人手抓對香煙進行分揀。周軍等[3]基于機器視覺技術研究出一種針對核桃仁的顏色和完整度來進行新疆核桃仁分級的方法。Tuong Phuoc Tho等[4]根據(jù)顏色、形狀等特征對番茄進行分級并識別定位，實現(xiàn)番茄的自動分揀。本文基于機器視覺技術對目標物料進行分揀，用相機獲取物料的圖像并進行預處理，采用多閾值模板匹配算法完成物料的匹配，實現(xiàn)了對目標物料的檢測和識別，最后利用工業(yè)機器人抓取物料從而完成分揀。

1 分揀系統(tǒng)硬件組成

圖1為本分揀系統(tǒng)的實物圖，主要由機器人系統(tǒng)、視覺系統(tǒng)、控制系統(tǒng)、傳送帶系統(tǒng)以及分揀物料組成，采用艾派科技有限公司的APE機械手，機械手的末端執(zhí)行器為氣動吸盤來抓取目標物料。采用?？低昅V-CA013-20GM型工業(yè)智能相機，130萬像素，最大幀率90fps。采用視清MFA230-5M12型鏡頭、康視達光源及光源控制器，工業(yè)相機安裝在傳送帶的上方。利用相機拍攝物料并發(fā)送至控制系統(tǒng)，控制系統(tǒng)計算物料坐標，實時控制機械手運動并完成抓取和分揀作業(yè)。本系統(tǒng)采用同步帶傳送待抓取物料，同步帶長度為1m，寬度為120mm，由調速電機進行驅動。傳送帶旁裝有編碼器用來反饋傳送帶的運轉速度、距離和方向。分揀對象為形狀不同的立方體物料。

圖1 基于機器視覺的分揀系統(tǒng)

2 相機標定

相機標定實質上是坐標系的轉換，需要確定圖像像素坐標系、相機坐標系和世界坐標系的對應關系。本文相機標定的模型是基于小孔成像模型，以相機坐標系為橋梁建立世界坐標系與計算機的圖像像素坐標系之間的對應關系，可得[5]：

(1)

表1 相機標定內(nèi)參數(shù)表

表中，fx和fy分別表示圖像像素坐標系下u軸和v軸的尺度因子，cx和cy是相機的主點在圖像中的像素坐標。同時得到徑向畸變系數(shù)k1=0.06235849，k2=-0.3479458，切向畸變系數(shù)p1=-0.007430375，p2=-0.01178197。

3 基于物料位置坐標的圖像去重復算法

圖像采集過程中容易出現(xiàn)重復信息，即同一工件被重復拍攝。為此，本文采用基于物料位置坐標的圖像去重復算法來進行圖像的去重復操作處理，以免在分揀過程中出現(xiàn)物料的誤抓現(xiàn)象[7]。

相機在采集圖像時，相機的拍照頻率直接決定著整個系統(tǒng)運行的流暢性，本系統(tǒng)中CCD拍照頻率為：

f=V×N/D

(2)

式中，V為皮帶速度，N為每個物體拍攝次數(shù)，D為相機視場長度，拍照頻率與物料大小和物料間距無關。

為避免重復拍照，根據(jù)物料位置的圖像坐標來去除重復采集，采用如下去重復算法：

(1)定義集合A為圖2a中所示即第一張照片相機視場中m個物料的坐標集合，即A={(xi,yi,zi)T}>,i=1,2,3······m，定義集合B為圖2b中所示n個物料的坐標集合，即當傳送帶前進ΔT時間后CCD所拍攝的第二張照片中坐標集合。即B={(xj,yj,zj)T}>,j=1,2,3······n。

(2)記圖2b中CCD所拍攝的第一個對象的Y坐標為yb(b

(a) T0時刻物料位置

(b) T0+ΔT時刻物料位置 圖2 相機視場和物料位置

4 目標的圖像處理與精確識別

目標識別是實現(xiàn)自動分揀的基礎，目標識別有基于模板的匹配算法和基于特征的匹配算法[8]。本文在對圖像預處理后利用模板匹配的算法對目標進行精確識別。

4.1 圖像預處理

由于圖像在采集過程中會存在雜質和噪聲，對圖像分析和識別帶來影響，因此需對圖像進行預處理，處理過程如下：首先通過攝像機將采集的圖像，使用中值濾波將圖像進行平滑處理，去除噪聲和干擾點，其次采取局部閾值分割法將圖像進行二值化處理，使用形態(tài)學閉操作方法去除圖像中的雜點，通過連通區(qū)域是將獲得的區(qū)域進行連接封閉。圖像預處理過程如圖3所示。

(a) 原始圖像 (b) 中值濾波后的圖像

(c) 二值化處理 (d) 圖像預處理結果 圖3 圖像處理過程

4.2 模板匹配

模板匹配是一項在一幅圖像中尋找與另一幅模板圖像最相似部分的技術[9]。匹配過程如下：將模板圖像每1°旋轉一次并旋轉360°存于模版庫中。設待匹配圖像寬高為M×N，模板圖像寬高為m×n，將模板圖像的左上角與待匹配圖像左上角重合，取待匹配圖像中一與模板圖像尺寸一致的區(qū)域進行對比，每次平移一個像素后仍執(zhí)行同樣操作，因此在源圖像中搜索的次數(shù)為(M-m+1)×(N-n+1)，根據(jù)匹配原則，得出待匹配圖像中與模板圖像最為一致的匹配子圖。本文采用歸一化相關匹配原則，該算法以圖像的灰度信息為基礎，通過利用匹配子圖和模板圖像灰度值的相關函數(shù)，從而判斷圖像的匹配程度，找出匹配位置[10]。

相關函數(shù)定義如下：

(3)

歸一化相關匹配定義如下：

(4)

式(3)和式(4)中(x,y)表示匹配子圖在源圖像中的坐標，T(i,j)為模板圖像中(i,j)坐標上的像素值，I表示待匹配圖像，R(x,y)為計算結果，R(x,y)越大，說明待匹配圖像與模板圖像越匹配，匹配程度越好。歸一化結果NC(x,y)為 1，表示完全匹配，若為 0 時，表示匹配度最差[11]。根據(jù)此匹配方法，本文提出基于灰度信息的多閾值模板匹配算法，具體過程如下：

(1)將模板圖像和目標圖像分層，每層像素均同比例縮小，第一層為原尺寸的1/16，第二層為原尺寸的1/8，第三層為原尺寸的1/2，最后一層為原圖像；

(2)對第一層逐行逐點進行匹配，得出相應的R(x,y)值，將R(x,y)值與每個模板每層預先設置的閾值T比較，當R(x,y)≥T則認為該區(qū)域為感興趣區(qū)，進行步驟(3)，否則重復該步驟；

(3)當找到感興趣區(qū)域后，即進入第二層繼續(xù)匹配，當所得R(x,y)值與該層閾值T之間存在R(x,y)≥T時，則進入下一層進行匹配。否則重復該步驟直至遍歷所有區(qū)域；

(4)當進入最后一層即原始圖像時，對該上一層確定的坐標為(m,n)的感興趣點相鄰8×8區(qū)域進行模板匹配計算，取R(x,y)的最大值，該點所在的模板區(qū)域即為目標匹配區(qū)域，若Rmax(x,y)≥Tmax，則匹配成功，否則認為匹配失敗或部分匹配。

由于待匹配圖像與模板圖像存在偏轉角度，結合上述匹配算法，本文提出如下位姿匹配算法：

(1)將模板n(模板角度n°)使用平移匹配算法若匹配成功，則進行步驟2，否則對下一模板n+15(模板角度n+15°)進行粗匹配，直至匹配成功；

(2)對模板n+1(模板角度n+1°)繼續(xù)匹配，若得出的模板匹配函數(shù)值R(x,y)增大，則繼續(xù)向后匹配，否則向前匹配，與模板n-1匹配，直至當前模板與上一模板匹配函數(shù)值R(x,y)出現(xiàn)下降則認為上一模板為最佳匹配。

圖像處理完整過程和模板匹配結果如圖4所示。

(a) 原始圖像 (b) 中值濾波后的圖像

(c)二值化處理 (d)圖像預處理結果 (e)匹配結果 圖4 圖像處理完整過程和模板匹配結果

由于模板圖像的質心坐標和目標圖像的質心坐標可能不一致，因此需通過坐標系的轉換來計算目標圖像的質心坐標位置。根據(jù)模板圖像與目標圖像之間的關系，本文采用仿射變換來進行圖像變換[12]，設模板圖像上點為(x,y)，目標圖像上點為(x′,y′)，其變換關系為：

(5)

式中，s為尺度變化參數(shù)，本文取s=1，θ為旋轉度，tx和ty分別為x和y方向的平移量。根據(jù)模板圖像的質心坐標由式(5)可知目標圖像的形心坐標。

5 實驗驗證

5.1 系統(tǒng)的工作流程

光電傳感器觸發(fā)后，CCD拍圖同時通知機械手記錄編碼器值，編碼器安裝在皮帶最右端，編碼器與皮帶同步運動，記錄編碼器脈沖值反饋給機械手實現(xiàn)精準定位。機械手啟動計時器，物料位置通過網(wǎng)絡傳送給機器人控制器，機器人進行計算和路徑規(guī)劃。機器人啟動運動，運動到同步點上方，并同步(期間開真空)，向下運動吸取物料。整個系統(tǒng)的工作流程如圖5所示。

圖5 系統(tǒng)工作流程圖

5.2 實驗結果

為驗證上述算法的可行性和有效性，根據(jù)所搭建的實驗平臺，在傳送帶上放置不同類型的待抓取對象。實驗時，機械手到相應位置吸取目標物料后把物體放到指定位置，在該指定位置上方放置另一個相機，利用該相機拍照來獲取目標物料的中心，將該中心與相機的中心進行比對可求出機械手在抓取物體時的X和Y偏差值。對其進行了51次數(shù)據(jù)的獲取，如圖6所示分別為X和Y方向中心的偏差值的51組數(shù)據(jù)，從數(shù)據(jù)中可以看出，在X方向存在一個較大的變化的值，通過計算51次重復性精度，得出X方向的重復性精度為1.83994mm，Y方向的重復性精度為1.04632mm，此誤差即為總體累計誤差。由于工業(yè)機器人末端執(zhí)行器為氣動吸盤，工業(yè)機器人在5mm的范圍內(nèi)都可以將目標物體吸取到[13]，因此，工業(yè)機器人可以準確抓取目標物體以實現(xiàn)快速分揀。

圖6 X方向和Y方向中心偏差

6 結束語

本文研究了一種基于機器視覺的物料分揀系統(tǒng)，以不同形狀的立方體為分揀對象，介紹了分揀系統(tǒng)的硬件組成，采用基于物料位置坐標的圖像去重復算法減少了目標的重復檢測，根據(jù)歸一化相關算法進行模板匹配，采用基于灰度信息的多閾值模板匹配算法進行加速匹配，從而實現(xiàn)視覺引導下的工業(yè)機器人的識別和定位。實驗結果表明，系統(tǒng)在目標識別和定位時準確可靠，穩(wěn)定性好，有利于實現(xiàn)分揀系統(tǒng)的智能化和自動化水平。