基于二次曲面拓?fù)潢P(guān)系的工件位姿估算方法*

徐進(jìn) 李德平 柳寧

基于二次曲面拓?fù)潢P(guān)系的工件位姿估算方法*

徐進(jìn)1,2李德平1,2柳寧1,2

（1.暨南大學(xué)信息科學(xué)技術(shù)學(xué)院 2.暨南大學(xué)機(jī)器人智能技術(shù)研究院）

針對Bin-Picking系統(tǒng)中工件6自由度位姿估算，基于全局和局部特征的點(diǎn)云匹配算法，對工業(yè)零件存在的一定局限性問題，提出一種基于二次曲面拓?fù)潢P(guān)系的工件位姿估算方法。該方法考慮到工業(yè)零件表面的曲面特征，利用圖結(jié)構(gòu)描述曲面間拓?fù)潢P(guān)系；并通過子圖同構(gòu)匹配完成目標(biāo)對象的識別；最后利用曲面特征參數(shù)進(jìn)行快速的位姿估算。實(shí)驗(yàn)證明，該方法比傳統(tǒng)位姿估算方法更快速、準(zhǔn)確，具有良好的魯棒性和可拓展性，能滿足工業(yè)實(shí)時(shí)性要求。

Bin-Picking；點(diǎn)云匹配；二次曲面；子圖同構(gòu)

0　引言

在現(xiàn)代生產(chǎn)制造過程中，裝配是必不可少的環(huán)節(jié)，而工業(yè)機(jī)器人的分揀功能是自動(dòng)化裝配過程中最基本的功能之一。基于3D視覺的分揀系統(tǒng)又稱為3D-Bin-Picking系統(tǒng)，其核心問題之一，是如何從散亂堆疊的工件中識別出最上層工件并獲取其6自由度位姿信息，該位姿信息是引導(dǎo)機(jī)械臂進(jìn)行工件撿取的關(guān)鍵。

目前，針對物體位姿識別主要有2種方法：1）基于全局特征方法，先對點(diǎn)云場景進(jìn)行分割，再計(jì)算每個(gè)點(diǎn)云聚類的全局特征，并與模型的全局特征庫進(jìn)行匹配，從而得到其對應(yīng)位姿，該方法的代表算法有VFH[1]，CVFH[2]和GFPFH等；2）基于局部特征方法，先分別對場景和模型進(jìn)行關(guān)鍵點(diǎn)提取，然后計(jì)算每個(gè)關(guān)鍵點(diǎn)的局部特征，并對場景和模型的關(guān)鍵點(diǎn)進(jìn)行基于局部特征的匹配，最后根據(jù)匹配對估算變換矩陣，該方法的代表算法有PFH[3]，F(xiàn)PFH[4]，SIFT[5]和SHOT[6]等。

以上方法對于紋理特征明顯的物體有較好的識別效果。但工業(yè)零件的表面多為規(guī)則二次曲面，有大量特征相似的關(guān)鍵點(diǎn)，缺乏紋理信息，使用上述方法對工業(yè)零件進(jìn)行位姿識別會產(chǎn)生大量錯(cuò)誤匹配對，無法計(jì)算出正確的位姿變換矩陣。為此，本文提出一種工業(yè)零件的位姿估算方法，該方法充分利用工業(yè)零件的二次曲面特征，能快速、準(zhǔn)確地完成位姿估算。

1　工業(yè)零件的二次曲面表征

工業(yè)零件表面一般包含一個(gè)或多個(gè)二次曲面，具體包括平面、圓柱面、球面和圓錐面，分別用特征參數(shù)的方式描述，如表1所示。

表1　二次曲面的特征參數(shù)

通過二次曲面提取技術(shù)，可從點(diǎn)云中提取所需的二次曲面。目前常用的二次曲面提取算法主要有最小二乘法、區(qū)域生長法和RANSAC。如圖1所示，1個(gè)三通零件模型點(diǎn)云通過二次曲面提取技術(shù)，可分割成2個(gè)圓柱面點(diǎn)云。

圖1　三通零件的曲面特征表征

如圖2所示，對提取出來的2個(gè)曲面（圓柱面）擬合其特征參數(shù)中的軸線（點(diǎn)和軸向量）特征。這2條軸線可參數(shù)化地表示該三通零件模型，并包含其位姿信息。分別對模型點(diǎn)云和場景點(diǎn)云進(jìn)行二次曲面提取及特征參數(shù)擬合，構(gòu)成模型曲面庫和場景曲面庫。

圖2　模型參數(shù)化轉(zhuǎn)換示意圖

2　基于圖結(jié)構(gòu)的曲面拓?fù)潢P(guān)系描述

提取模型和場景的二次曲面后，利用圖來描述它們的曲面間拓?fù)潢P(guān)系。

2.1　構(gòu)造模型子圖

對工件模型構(gòu)造模型子圖結(jié)構(gòu)，如圖3所示。

1）對提取的曲面按照曲面類型和曲面參數(shù)進(jìn)行編號，如平面①、平面②、柱面①、柱面②……；

2）計(jì)算每個(gè)曲面與其他所有曲面之間的以下關(guān)系：①質(zhì)心距離；②軸向量或法向量之間的夾角（球面忽略），并把這2個(gè)值存儲在1個(gè)二維變量中；

3）以編號為頂點(diǎn)，對應(yīng)編號間的關(guān)系為邊的權(quán)值，構(gòu)造一個(gè)完全圖。

2.2　構(gòu)造場景母圖

對場景點(diǎn)云構(gòu)造場景母圖結(jié)構(gòu)，如圖4所示。

圖4　構(gòu)造場景母圖示意圖（圖中數(shù)字僅表示標(biāo)識序號）

1）對提取的曲面按照曲面類型和曲面參數(shù)進(jìn)行編號，其編號方式與模型子圖構(gòu)造方法一致，且模型與場景中參數(shù)相同的同類曲面編號也應(yīng)一致；

其中，代表該曲面的拓?fù)湫再|(zhì)與模型中標(biāo)準(zhǔn)值的相近程度，越接近1，表示兩曲面拓?fù)潢P(guān)系越正確，并以為權(quán)值為這2個(gè)頂點(diǎn)構(gòu)造邊；若超過閾值，則不為這2個(gè)頂點(diǎn)構(gòu)造邊。該過程構(gòu)造了1個(gè)有權(quán)無向圖。

2.3　子圖同構(gòu)匹配

圖5　子圖同構(gòu)映射

3　基于曲面特征參數(shù)估計(jì)工件位姿

子圖同構(gòu)匹配識別場景中的最佳抓取對象，并建立該對象曲面與模型曲面一一對應(yīng)的關(guān)系，利用對應(yīng)曲面的特征參數(shù)可估算工件位姿。

如表1所示，在4種二次曲面中，除了球面只有1個(gè)空間向量（點(diǎn)）之外，其他曲面均有2個(gè)空間向量（點(diǎn)和方向），這些點(diǎn)和方向向量包含了曲面的位置和方向信息，因此可通過對對應(yīng)曲面的空間向量的配準(zhǔn)來完成模型與目標(biāo)對象的配準(zhǔn)。

圖6　通過子圖同構(gòu)找到場景中的目標(biāo)對象

圖7　根據(jù)特征參數(shù)配準(zhǔn)三通零件對應(yīng)軸線

上例中的三通零件利用了2條軸線參數(shù)（點(diǎn)和向量）進(jìn)行位姿估算。理論上取任意2個(gè)線性無關(guān)的曲面（即軸線不平行，點(diǎn)不在軸線上）都可按照一定規(guī)則完成位姿估算，具體規(guī)則如表2所示。

表2　特征參數(shù)位姿估算規(guī)則表

4　實(shí)驗(yàn)分析

為驗(yàn)證本文提出方法的有效性，選取4種常見的工業(yè)零件作為實(shí)驗(yàn)對象，每種工件取20種散亂擺放的場景模擬實(shí)際拾取情況，分別采用基于局部特征的SHOT算法及本文提出方法對場景中工件的位姿進(jìn)行識別。各工件的CAD模型與采集的散亂堆疊的場景點(diǎn)云如圖8所示。

圖8　工業(yè)零件實(shí)驗(yàn)數(shù)據(jù)集

圖9~圖12展示了本文提出方法對每個(gè)工件在其對應(yīng)的5個(gè)場景中的識別結(jié)果。2種方法的實(shí)驗(yàn)結(jié)果統(tǒng)計(jì)如表3所示。

圖9　工件一位姿識別結(jié)果

圖10　工件二位姿識別結(jié)果

圖11　工件三位姿識別結(jié)果

圖12　工件四位姿識別效果

表3　SHOT算法和本文提出方法的實(shí)驗(yàn)結(jié)果統(tǒng)計(jì)表

由實(shí)驗(yàn)結(jié)果可見，基于局部特征的SHOT算法對工業(yè)零件尤其是表面特征變化較小的零件（工件二和工件四均只含有2個(gè)圓柱面）的位姿識別率較低，遠(yuǎn)達(dá)不到工業(yè)應(yīng)用的準(zhǔn)確性要求；且平均識別時(shí)間均在10 s以上，也達(dá)不到工業(yè)應(yīng)用的實(shí)時(shí)性要求。相比之下，本文提出方法識別率都能保持在80%以上，且識別總時(shí)間均在5 s左右，識別率和識別速度均有了明顯的提高。另一方面，本文提出方法識別時(shí)間主要集中在曲面分割上，而位姿識別時(shí)間均在1 s以內(nèi)。因此，在時(shí)間優(yōu)化問題上，可以更集中于曲面提取的策略和算法優(yōu)化，這也體現(xiàn)了該方法良好的拓展性。

5　結(jié)論

本文分析了一般工業(yè)零件的二次曲面特征，把位姿識別問題從以點(diǎn)為處理單元轉(zhuǎn)化為以特征曲面為處理單元，繼而建立工件和場景的子圖同構(gòu)模型，并利用曲面特征估算對應(yīng)的位姿。實(shí)驗(yàn)證明，與基于局部特征的方法相比，該方法能更快速、準(zhǔn)確地識別出工業(yè)零件的位姿，具有良好的工業(yè)應(yīng)用價(jià)值。

[1] Rusu R B, Bradski G, Thibaux R, et al. Fast 3D recognition and pose using the Viewpoint Feature Histogram[C]. IEEE/RSJ International Conference on Intelligent Robots and Systems, October 18-22, 2010, Taipei, Taiwan. DBLP, 2014:2155-2162.

[2] Aldoma A, Vincze M, Blodow N, et al. CAD-model recognition and 6DOF pose estimation using 3D cues[C]. IEEE International Conference on Computer Vision Workshops, Barcelona, Spain, 2012:585-592.

[3] Rusu R B, Blodow N, Marton Z C, et al. Aligning point cloud views using persistent feature histograms[C]. IEEE/RSJ International Conference on Intelligent Robots and Systems, France, 2008:3384-3391.

[4] Rusu R B, Blodow N, Beetz M. Fast point feature histograms (FPFH) for 3D registration[C]. IEEE International Conference on Robotics and Automation, IEEE, 2009:3212-3217.

[5] Lowe D G. Distinctive Image Features from Scale-Invariant Keypoints[J]. International Journal of Computer Vision, 2004, 60(2):91-110.

[6] Tombari F, Salti S, Stefano L D. Unique Signatures of Histograms for Local Surface Description[J]. Lecture Notes in Computer Science, 2010, 6313:356-369.

[7] Cordella L P, Foggia P, Sansone C, et al. A (sub)graph isomorphism algorithm for matching large graphs[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2005, 26(10):1367-1372.

A Method of Workpiece Pose Estimation Based on Quadric Topological Relation

Xu Jin1,2Li Deping1,2Liu Ning1,2

(1.College of Information Science and Technology, Jinan University 2.Robotics Research Institute of Jinan University)

For Bin-Picking system of workpiece 6-Dof position matching problem, point cloud based on global and local feature matching algorithm for industrial components has certain limitation, then put forward a kind of topological relations based on quadric surface scattered workpiece position estimation techniques, the proposed algorithm considering the surface characteristics of industrial components surface, graph is used to describe topological relations between surface and through the subgraph isomorphism matching complete target recognition, the use of surface characteristic parameters for pose estimation. Experimental results show that the method we proposed is faster and more accurate than traditional pose matching algorithm, and has good robustness and expansibility.

Bin-Picking; Point Cloud Matching; Quadrci Surfaces; Subgraph Isomorphism

徐進(jìn)，男，1994年生，碩士研究生，主要研究方向：信號與信息處理。E-mail: 491886539@qq.com

國家自然科學(xué)基金（61775172）；廣東省自然科學(xué)基金（2018030310482）。