基于3D視覺的機械臂無規(guī)則零件抓取系統(tǒng)

朱勝銀 肖伯俊 黃世奇

摘要：為解決機械臂抓取零件定位不準或抓取精度不高的問題，提出了一種基于3D視覺機械臂無規(guī)則零件抓取方法，該方法主要包括系統(tǒng)空間標定、零件點云定位分割、零件位姿估計算法模塊，提出了基于2D圖像的點云相機外參標定方法及基于圖像語義分割的零件點云分割方法。經試驗驗證，所提出的標定方法達到1 mm的系統(tǒng)精度誤差，而且求解效率高、通用性強；與常用的聚類分割相比，零件點云分割方法精度及效率更高。所設計的二階段零件空間位姿計算方法能準確估計零件在空間中的6自由度位姿，相比單一階段匹配方法精度提高約1.8倍。所提出的基于3D視覺的機械臂無規(guī)則零件抓取系統(tǒng)精度高、可擴展性強、適應情形廣。

關鍵詞：3D視覺 零件抓取 標定 點云分割 位姿估計

中圖分類號：U466? ?文獻標識碼：B? ?DOI： 10.19710/J.cnki.1003-8817.20220285

Abstract： In order to solve the problem of inaccurate positioning or low grasping accuracy of parts grasped by manipulator， this paper proposed a method of grasping irregular parts of manipulator based on 3D vision. This method mainly consisted of 3 algorithm modules： system space calibration， part point cloud location and segmentation， and part pose estimation. The external parameter calibration method of point cloud camera based on 2D image and the part point cloud segmentation method based on image semantic segmentation were proposed. Experiments show that the proposed calibration method achieves a system accuracy error of 1 mm， with high efficiency and strong universality. Compared with the commonly used clustering segmentation， the part point cloud segmentation method has higher accuracy and efficiency. The designed 2-stage part spatial pose calculation method can accurately estimate the 6-DOF pose of the part in space， and the accuracy is improved by about 1.8 times compared with the 1-stage matching method. The proposed manipulator irregular part grasping system based on 3D vision has high precision， strong scalability and wide adaptability.

Key words： 3D vision， Part grabbing， Calibration， Point cloud segmentation， Pose estimation

1 前言

在工業(yè)4.0時代，工業(yè)機器人已成為現代先進制造業(yè)尤其是汽車制造業(yè)中不可替代的重要設備，基于工業(yè)機器人的智能裝備應具備更智能化的特點。傳統(tǒng)工業(yè)機器人普遍采用離線編程的方式，適合固定流水線的工作方式，很難完成復雜場景下的抓取任務。面對亂序堆放工件產品和汽車整裝的物流分揀，人工作業(yè)方式很難滿足新的需求。視覺智能感知技術改變了以往機器人抓取方式[1-3]，帶有視覺引導的工業(yè)機器人對環(huán)境具有較強的感知能力，能夠滿足高柔性、高智能化工業(yè)生產需求[4]。

機械臂抓取是物流分揀、零件裝配等生產流程中至關重要的環(huán)節(jié)[5-6]。然而傳統(tǒng)的抓取操作基本上根據人工經驗選取抓取位姿，然后編寫示教程序控制機械臂運轉[7]。這種人工示教的方法在場景目標發(fā)生變化時不能實時自動檢測目標的位姿，檢測目標單一，場景適應能力差[8]。

機器學習抓取方法通過對目標的特征學習從而實現對抓取位姿做出估計[9-11]。該類方法依賴于被抓取物體的表面紋理信息，對于紋理信息缺乏的物體抓取效果不理想。而基于模板匹配的方法則是將被抓取物體的輪廓信息與模板庫中的目標輪廓進行匹配，從而根據最佳匹配模板的抓取位姿來估計被抓取物體的位姿[12]，該類方法能夠改善紋理缺失物體抓取效果。

傳統(tǒng)的基于機器視覺的機械臂抓取方法[13-14]往往只利用了二維信息，而忽視了三維結構信息，如黃啟彪等[15]提出一種吸取式機械手物體抓取方法及抓取系統(tǒng)。2D的目標檢測方法無法確定目標的三維姿態(tài)，因此對于隨意放置的目標物難以根據其不同位姿規(guī)劃出最佳抓取方式[16]。杜學丹等[17]利用深度學習預測機械臂的最佳抓取位置，該方法設計的抓取位置為（x，y，θ），抓取角度θ僅表示坐標系一個軸，不能準確評估抓取目標的空間位姿。舒心等[18]設計了一種基于自監(jiān)督學習神經網絡的機械臂視覺抓取系統(tǒng)及方法，其利用一個打分函數對18類角度進行評判，得出最佳的抓取角度作為抓取的具體位姿，該方法得到的位姿單一，對形狀復雜的零件適應性不好。

為解決上述技術問題，本文設計了一種3D視覺引導的機械臂無序零件抓取方法，一是針對現有零件點云定位分割方法的不足和存在的問題，發(fā)現和設計了一種基于零件2D語義分割深度學習模型與零件3D點云相融合的零件三維空間定位分割方法。與傳統(tǒng)基于距離點云分割方法相比，點云分割法精度更高、效率更快。二是設計自動標注的方法制作零件語義分割的標簽數據集。該方法可以替代傳統(tǒng)手動標注，極大地提高零件分割模型訓練的效率。三是設計零件點云特征匹配及兩點建立坐標系方法準確估計零件空間6自由度位姿。該點云特征匹配方法可以準確地估計無規(guī)則零件抓取點位及空間三維x軸、y軸、z軸角度。該方法對于任意放置的零件均能準確計算其空間6自由度位姿，遠比二維平面角度的垂直抓取方式適用情形更廣。從立體位姿角度方面考慮，本方法獲得的零件位姿比由平面位姿加景深圖融合而得到的立體位姿更加準確，同時可以標記2點快速確定零件抓取點位及抓取坐標系。四是設計了一種基于2D圖像的激光點云3D相機外參標定方法。傳統(tǒng)3D點云相機通過目標物體的點云數據計算3D相機在機械臂底座的位姿，而本系統(tǒng)通過左相機采集的2D圖像數據計算其位姿。該方式具備機械臂操作方便、數據獲取便捷、2D圖像求解效率高的優(yōu)點。

2 機器人視覺抓取系統(tǒng)搭建

針對機械臂視覺抓取任務中系統(tǒng)空間標定、位姿計算兩大主要問題[19]，進行了機器人視覺抓取系統(tǒng)搭建。整個系統(tǒng)主要分為機械臂與相機系統(tǒng)空間標定模塊、2D深度學習語義分割零件定位模塊、零件空間位姿計算模塊。系統(tǒng)整體技術路線如圖1所示。

在機械臂與相機系統(tǒng)空間標定中，激光點云相機固定在工作空間正上方，工作空間中放置裝有各種類別零件的料框，三手指抓手固定在機械臂末端，系統(tǒng)硬件設備方案如圖2a所示。機械臂結合視覺進行抓取時，通過相機獲取了物體在空間中的位姿信息，但此時的位姿信息為基于相機坐標系，并不能直接使用，需將該位姿轉化為機器人可執(zhí)行的機械臂底座坐標系下的位姿[20]。3D點云相機采集到的零件場景點云經本文提出的點云定位分割算法得到單個零件點云，然后該單個零件點云經本方案位姿計算模塊得到其在相機坐標系下的位姿，最后將該位姿經系統(tǒng)標定模塊確定的位姿轉換關系得到機械臂下的最終目標位姿，執(zhí)行抓取操作。

本系統(tǒng)方案視覺信息由3D激光相機和雙目相機集成于一體視覺設備采集，如圖2b所示。該設備可以實時輸出點云圖像與2D圖像，點云圖像包含了目標零件的景深信息。系統(tǒng)選取埃爾森AT-S1000-01A-S1型號相機，該相機適用于遠距離、大視野、大景深場景，且具備高級別抗沖擊、穩(wěn)定可靠的優(yōu)點。根據實際料框零件場景，本系統(tǒng)確定的相機工作距離為1.5 m。

3 視覺系統(tǒng)標定原理及方法

根據抓取場景需求，本文所設計的抓取系統(tǒng)要求相機固定安裝在機械臂外，并將其安裝在固定支架上，機械臂底座固定于地面上，在標定時將標定板固定在機械臂上并伴隨機械臂移動。

3.1 相機內部參數標定

相機內部參數在求解像素坐標系與相機坐標系的轉換關系中起著重要作用，相機內部參數標定即是求解出相機（Eye）的焦距（fx，fy）、主點（x0，y0）、畸變參數[21]。

3.2 基于最小二乘法優(yōu)化Tasi手眼標定算法

手眼標定是為了求解機械臂底座坐標系與相機坐標系間的空間位姿關系，從而將相機坐標系下的位姿轉化到機械臂底座坐標系下的位姿。

在機械臂運動階段，任意2個時刻都滿足如下關系：

式中，H2D和H3D分別為2D相機位姿矩陣、3D點云相機位姿矩陣。

按照原有相機固定在機械臂外的情形可直接構造方程組AXc2b=Xc2bB，利用Tasi算法直接得出Hc2b，而本文先求解出Hc2g，優(yōu)化計算過程如下：

a. 間接構造AXc2g=Xc2gB；

b. 根據Tasi方法解算AX=XB方程組；

c. 求解20組Hc2b，Hc2b=Hg2b×Hc2g；

d. 通過20組Hc2b做最小二乘擬合出一個真實值。

其中，Xc2b為相機到機械臂底座的轉換矩陣；Hc2g為相機到抓手的轉換矩陣；Hg2b為抓手到機械臂底座的轉換矩陣。具體優(yōu)化求解流程如圖3所示。

這樣通過多組數值進行擬合可以減小一次求解過程中的計算誤差，提高標定精度。

4 基于語義分割的零件點云定位分割

本模塊設計了一種基于零件2D語義分割深度學習模型與零件3D點云相融合的零件三維空間定位分割方法，該方法可實現零部件圖像的快速定位和像素位置分割，最終得到較為準確的零件點云。

4.1 零件語義分割樣本集制作

試驗操作中選取了物流試驗室4種常見的機械部件，將這些零件按照不同位置任意擺放在料框內，用相機采集500組零件2D圖片及對應點云，其中200組作為測試圖片，300組作為訓練圖片。采集的零件圖片如圖4所示。

4.2 零件標簽自動標注

利用深度學習進行自動定位與檢測，通常需要大量的標簽樣本，目前行業(yè)內主流是利用Labelimg或Labelme標簽工具手動對圖片做標簽，傳統(tǒng)人工手動標記需要大量時間和人力。本自動標注技術利用圖像處理算法提取到目標的區(qū)域及輪廓，輸出區(qū)域坐標、類別的標簽信息。自動標注原理如圖5所示。

4.3 零件點云定位分割

零件2D語義分割深度學習模型采用LinkNet網絡結構，通過采用Fine-Tuning訓練方法來減少因新增零件類別而重復訓練時間和資源消耗。

2D圖像與有序點云映射關系如下：

[fx，y→PointCloud（x，y）]? ? ? ? ? ? ? （7）

式中，x、y為原始圖像行列索引；PointCloud為相機采集到的有序點云；f（x， y）為2D圖像在（x， y）處的像素值。

零件點云定位與分割的詳細步驟如下，對應原理流程如圖6所示；

a. 對制作好的2D零件圖片及標簽樣本進行語義分割模型訓練；

b. 采用Fine-Tuning模型調優(yōu)技術對新增零件類別進行模型更新；

c. 對實時采集的零件圖片進行在線模型預測，得到包含Prob信息的Mask分割結果；

d. 將Mask分割結果根據公式（7）進行3D點云映射，刪除非目標點云，確定零件點云圖。

5 零件空間位姿計算

零件點云特征匹配及2點建系的方法可以準確估計零件空間6自由度位姿。該點云特征匹配方法可以準確地估計無規(guī)則零件的抓取點位及空間三維x軸、y軸、z軸角度[23]。

5.1 兩點建立抓取坐標系

根據點云模板上選定的2點自動建立抓取坐標系的具體過程如下：

a. 根據第1點確定坐標系原點及該點處的點云法向量n（與垂直向下向量成銳角），并將其作為抓取坐標系Z軸；

b. 根據該法向量求取切平面，記為XOY；

c. 將第2點所在切平面投影點與原點組成的向量作為X軸；

d. 在XOY面上求取X軸的法向量記為Y軸。

XOY平面方程為：

A（x-x0）+B（y-y0）+C（z–z0）=0? ? ? ? ? ? ? ? （8）

該平面法向量n=（A，B，C），其中A、B、C為平面法向量3個分量。利用法向量與X、Y軸垂直，即：Xn=0，Yn=0，可求解出所建立的坐標系。

5.2 點云特征匹配

目標點云和模板點云具體特征匹配的過程如下：

a. 根據2點建坐標系法在模板點云上建立抓取坐標系；

b. 將模板點云與場景目標點云按照Fpfh（點特征直方圖）、SAC-IA（采樣匹配一致性）特征匹配方法得到匹配位姿；

c. 將步驟b得到的位姿作為初始位姿，利用迭代最近點（Iterative Closest Point，ICP）方法得到較精確的目標位姿R、T。粗匹配結合精匹配計算零件抓取位姿的流程如圖7所示。

6 試驗驗證

6.1 相機內部參數標定試驗

相機內部參數標定試驗步驟如下：

a. 把標定板放在3D相機左眼下方；

b. 旋轉標定板，標定板在相機下方變換不同位姿（每個位姿均在相機視野范圍）；

c. 相機記錄（拍照）下不同位姿的標定板；

d. 重復步驟b和步驟c過程，每個位姿記錄一組圖片，旋轉標定板20個位姿得到20組數據信息。標定采集的圖片如圖8所示（1 Pixel=0.00 586 mm）。相機內參標定的結果如表1所示，其中Fx、Fy為相機焦距，x0、y0為相機主點，K1、K2、K3、P1、P2為相機畸變因數。

6.2 手眼標定試驗

2D相機在機械臂底座的空間關系標定試驗步驟如下：

a. 將標定板固定在機械臂上；

b. 旋轉機械臂把標定板移動到相機左眼下；

c. 旋轉機械臂，使標定板在相機下方變換不同位姿；

d. 相機拍照保存步驟c中標定板多個位置圖片；

e. 機械臂同時記錄下不同位姿對應的機械臂末端在底座下的位姿信息；

f. 重復步驟c～步驟e過程，得到30對數據信息。需要將標定板置于圖像中心到四角各個視場拍照。

將上述30對數據信息隨機分為2組，每組各15對數據信息，分別利用2組數據計算相機在機械臂底座的結果矩陣，結果數值及偏差如表2所示。

標定位置（x，y，z）平均波動值為0.573 mm，3個方向的角度偏差<1°。

基于標定結果進行實際空間點驗證，以衡量標定相機外部參數的準確性。標定結果驗證步驟如下：

a. 確定標定板上一個角點A為驗證對象；

b. 根據標定板拍圖及上一步得到的標定結果矩陣，可以得到角點A的全局坐標；

c. 將步驟b的計算結果和機械臂記錄讀取的實際坐標進行比對，結果如表3所示。

基于標定結果預測的標定板一角空間位置平均誤差為2.06 mm。

6.3 零件空間抓取位姿驗證

6.3.1 零件點云定位分割試驗

表4中基于聚類的點云分割方法除了將零件分割出來外，還保留了料框邊界區(qū)域，并且不同種類零件間不能進行類別區(qū)分，因此無法定位目標。本文所采取的分割方法可精確確定每個零件點云區(qū)域和種類。

6.3.2 零件點云位姿計算試驗

表5展示了1階段、2階段的零件匹配效果，基于Fpfh特征匹配與ICP結合的二階段匹配目標點云與模板點云幾乎完全重合，效果明顯優(yōu)于一階段匹配。圖9中a為制作的模板，c為實際待檢的點云圖，b為匹配檢索的結果。結果顯示，在零件點云場景中本文的二階段匹配算法可準確定位到零件位姿。

試驗中在每個模板零件上選取標志點，采用本文的位姿匹配算法計算場景中目標零件的標志點位置作為預測值，同時記錄目標零件點云上標志點的真實位置，并把預測值與真實值的差統(tǒng)計在表6中。結果數據表明，本文的二階段匹配算法位姿計算平均誤差為2.58 mm，精度提高約1.8倍。從匹配目視效果上，目標點云與模板點云幾乎重合。

零件實際抓取效果如圖10所示。對于所設計系統(tǒng)的抓取位姿計算誤差，需要指出的是抓手坐標系的標定也存在誤差（約0.5 mm），這也會導致實際抓取位姿計算誤差。

7 結束語

本文設計了一種基于3D視覺的機械臂無規(guī)則零件抓取系統(tǒng)。該系統(tǒng)利用深度學習分割模型準確分割定位零件點云，在二階段特征匹配算法下精確估計零件空間6自由度位姿，并且經過機械臂、3D相機空間系統(tǒng)標定得到高精度抓取位姿。本方法在機器人試驗室下對多種任意擺放的無規(guī)則料框零件及標準件進行抓取驗證，系統(tǒng)標定精度約為1 mm。試驗結果表明，所設計的系統(tǒng)抓取精度高、操作便捷、場景適用范圍廣。

參考文獻：

[1] 張文， 丁雨林， 陳詠華， 等. 基于外部視覺與機載IMU組合的爬壁機器人自主定位方法[J]. 清華大學學報（自然科學版）， 2022， 62（9）： 1524-1531.

[2] 倪濤， 張泮虹， 李文航， 等. 基于關鍵點預測的裝配機器人工件視覺定位技術[J]. 農業(yè)機械學報， 2022， 53（6）： 443-450.

[3] 劉紅帝， 呂睿， 田林靂， 等. 用于引導機器人定位的匯聚式雙目視覺算法實現[J]. 機械工程學報， 2022， 58（14）： 161-169.

[4] 張青春， 姚勝， 郭振久， 等. 基于AR技術機械臂物料抓取系統(tǒng)設計[J]. 中國測試， 2021， 47（11）： 41-46.

[5] 王勇， 陳薈西， 馮雨齊. 基于改進CenterNet的機械臂抓取檢測[J]. 中南大學學報（自然科學版）， 2021， 52（9）： 3242-3250.

[6] 洪誠康， 楊力， 江文松， 等. 基于多深度相機融合的機械臂抓取系統(tǒng)[J/OL]. 計算機集成制造系統(tǒng)： 1-18[2023-02-22]. http：//kns.cnki.net/kcms/detail/11.5946.tp.202201

24.1920.004.html.

[7] 余玉琴， 魏國亮， 王永雄. 基于改進YOLOv2的無標定3D機械臂自主抓取方法[J]. 計算機應用研究， 2020， 37（5）： 1450-1455.

[8] 張建民， 許志輝， 龍佳樂， 等. 三維立體視覺機械臂智能抓取分類系統(tǒng)的開發(fā)[J]. 計算機工程與應用， 2019， 55（15）： 235-240.

[9] 王鵬， 曹現剛， 夏晶， 等. 基于機器視覺的多機械臂煤矸石分揀機器人系統(tǒng)研究[J]. 工礦自動化， 2019， 45（9）： 47-53.

[10] TRI WAHYU UTOMO， ADHA IMAM CAHYADI， IGI ARDIYANTO. Suction-based Grasp Point Estimation in Cluttered Environment for Robotic Manipulator Using Deep Learning-based Affordance Map[J]. International Journal of Automation and Computing， 2021， 18（2）： 277-287.

[11] 張云洲， 李奇， 曹赫， 等. 基于多層級特征的機械臂單階段抓取位姿檢測[J]. 控制與決策， 2021， 36（8）： 1815-1824.

[12] 謝宇珅， 吳青聰， 陳柏， 等. 基于單目視覺的移動機械臂抓取作業(yè)方法研究[J]. 機電工程， 2019， 36（1）： 71-76.

[13] 蘇杰， 張云洲， 房立金， 等. 基于多重幾何約束的未知物體抓取位姿估計[J]. 機器人， 2020， 42（2）： 129-138.

[14] 薛騰， 劉文海， 潘震宇， 等. 基于視覺感知和觸覺先驗知識學習的機器人穩(wěn)定抓取[J]. 機器人， 2021， 43（1）： 1-8.

[15] 先驅智能機械（深圳）有限公司. 吸取式機械手的物體抓取方法及物體抓取系統(tǒng)： CN106003119A[P]. 2016-10-12[2022-09-04].

[16] 張波， 王文軍， 成波. 基于人臉3D模型的駕駛人頭部姿態(tài)檢測[J]. 汽車工程， 2016， 38（1）： 53-60+71.

[17] 杜學丹， 蔡瑩皓， 魯濤， 等. 一種基于深度學習的機械臂抓取方法[J]. 機器人， 2017， 39（6）： 820-828+837.

[18] 中國科學院電子學研究所. 基于自監(jiān)督學習神經網絡的機械臂視覺抓取系統(tǒng)及方法： CN109702741A[P]. 2020-12-18[2022-09-04].

[19] 陳友東， 劉嘉蕾， 胡瀾曉. 一種基于高斯過程混合模型的機械臂抓取方法[J]. 機器人， 2019， 41（3）： 343-352.

[20] 陳璐， 關立文， 劉春， 等. 基于結構光三維視覺測量的機器人制孔姿態(tài)修正方法[J]. 清華大學學報（自然科學版）， 2022， 62（1）： 149-155.

[21] 孫典奇， 段慧仙， 裴浩東， 等. 基于TOF相機的空間非合作目標位姿測量方法[J]. 光學學報， 2021， 41（22）： 103-112.

[22] 呂睿， 彭真， 呂遠健， 等. 基于重定位的葉片機器人磨拋系統(tǒng)手眼標定算法[J]. 中國機械工程， 2022， 33（3）： 339-347.

[23] 楊旭升， 王帥煬， 張文安， 等. 基于二次關鍵點匹配的藥盒位姿估計方法[J]. 計算機輔助設計與圖形學學報， 2022， 34（4）： 570-580.