3D視覺和掃描技術(shù)在內(nèi)星輪冷精整生產(chǎn)中抓取和測量應(yīng)用實例

程 欣

（上海納鐵福傳動系統(tǒng)有限公司，上海 201315）

1 引言

對于鍛造、冷精整等傳統(tǒng)制造工藝的開發(fā)流程；在試產(chǎn)之前，一般采用CAE 有限元軟件方式對模具設(shè)計和坯料成形過程進行數(shù)字網(wǎng)格變形模擬，在模擬過程中通過理論變形量和過往的經(jīng)驗調(diào)整，諸如：材料摩擦系數(shù)，材料變形系數(shù)等；試產(chǎn)后的零件一般通過三坐標打點或軌跡掃描的方法進行測量；在實際試制中，由于三坐標測量儀本身成本高、測量效率較低，故很難實現(xiàn)對新工藝新零件在前期開發(fā)試產(chǎn)階段的快速測量和模具調(diào)整；而3D 掃描技術(shù)能很好的解決試產(chǎn)中的自動化檢測和數(shù)字化分析。

本文主要闡述3D 結(jié)構(gòu)光視覺技術(shù)在工業(yè)機器人上下料抓取作業(yè)，以及3D 藍光LED 掃描技術(shù)在零件冷精整后，對于零件的快速參數(shù)化掃描測量的應(yīng)用。

2 結(jié)構(gòu)光技術(shù)概述

結(jié)構(gòu)光法是指投射到物體表面上的編碼團被其調(diào)制，所形成的變形條紋圖像蘊含了物體的深度信息[1-2]。由攝像機記錄這些條紋圖像，通過圖像處理便可以獲得物體的三維形狀。

3 工業(yè)機器人3D 視覺系統(tǒng)設(shè)計

3.1 視覺相機原理

視覺相機獲取深度圖像常見技術(shù)分為四類：被動式和主動式，接觸式和非接觸式。被動式傳感器指只能被動接受目標反射或輻射回來的能量，如立體式攝像系統(tǒng)，它根據(jù)攝像頭數(shù)目不同可以分為雙目立體視覺系統(tǒng)和多目立體視覺協(xié)系統(tǒng)。主動式傳感器是指目標發(fā)射電磁波或激光等能量信息，然后收集從目標反射回來的能量信息的傳感器，常見的方法如合成孔徑雷達、結(jié)構(gòu)光、飛行時間（TOF）法等。接觸式視覺系統(tǒng)是指視覺傳感器距離被測物體很近，反之即為非接觸式。本文所應(yīng)用的Solomon 公司SLM-3DRBP-0231C 傳感器采用雙目2D 拍照+結(jié)構(gòu)光相機組合（如圖1 所示），收集能量信息采用飛行時間（TOF）法。

圖1 三角測量原理圖

3.2 光學三角測量法

光學三角測量法原理是利用結(jié)構(gòu)光照明中的幾何信息，根據(jù)相機、結(jié)構(gòu)光、物體之間的幾何關(guān)系，來確定物體的三維信息，如圖2 所示給出了一個三角測量的原理圖[8]。光學三角測量法是最常用的一種光學三維測量技術(shù)，以傳統(tǒng)的三角測量為基礎(chǔ)，通過待測點相對于光學基準線偏移產(chǎn)生的角度變化，計算該點的深度信息。

圖2 雙目2D+結(jié)構(gòu)光相機

3.3 結(jié)構(gòu)光原理

結(jié)構(gòu)光三維成像的硬件主要由相機和投射器組成，結(jié)構(gòu)光就是通過投射器投射到被測物體表面的主動結(jié)構(gòu)信息，如激光條紋、格雷碼、正弦條紋等；然后，通過單個或多個相機拍攝被測表面即得結(jié)構(gòu)光圖像；最后，基于三角測量原理經(jīng)過圖像三維解析計算從而實現(xiàn)三維重建。

基于結(jié)構(gòu)光的三維成像，實際上是三維參數(shù)的測量與重現(xiàn)，主要是區(qū)別于純粹的像雙目立體視覺之類的被動三維測量技術(shù)，因而被稱為主動三維測量。因為他需要主動去投射結(jié)構(gòu)光到被測物體上，通過結(jié)構(gòu)光的變形（或者飛行時間等）來確定被測物的尺寸參數(shù)，因此才叫做主動三維測量。

首先，結(jié)構(gòu)光的類型就分為很多種，既然是結(jié)構(gòu)光，當然是將光結(jié)構(gòu)化，簡單的結(jié)構(gòu)化包括點結(jié)構(gòu)光，線結(jié)構(gòu)光以及簡單的面結(jié)構(gòu)光等。復(fù)雜一點的結(jié)構(gòu)化就上升到光學圖案的編碼了。結(jié)構(gòu)光投射到待測物表面后被待測物的高度調(diào)制，被調(diào)制的結(jié)構(gòu)光經(jīng)攝像系統(tǒng)采集，傳送至計算機內(nèi)分析計算后可得出被測物的三維面形數(shù)據(jù)，如圖3 所示。其中調(diào)制方式可分為時間調(diào)制與空間調(diào)制兩大類。時間調(diào)制方法中最常用的是飛行時間法,該方法記錄了光脈沖在空間的飛行時間,通過飛行時間解算待測物的面形信息；空間調(diào)制方法為結(jié)構(gòu)光場的相位、光強等性質(zhì)被待測物的高度調(diào)制后都會產(chǎn)生變化,根據(jù)讀取這些性質(zhì)的變化就可得出待測物的面形信息。

圖3 機構(gòu)光投射示意圖

總體而言，結(jié)構(gòu)光主要可以分為：線掃描結(jié)構(gòu)光和面陣結(jié)構(gòu)光兩類。一般說結(jié)構(gòu)光的時候都指代第二類，這里也主要關(guān)注面陣結(jié)構(gòu)光。

面陣結(jié)構(gòu)光大致亦可以分為兩類：隨機結(jié)構(gòu)光和編碼結(jié)構(gòu)光。隨機結(jié)構(gòu)光較為簡單，也更加常用。通過投影器向被測空間中投射亮度不均和隨機分布的點狀結(jié)構(gòu)光，通過雙目相機成像，所得的雙目影像經(jīng)過極線校正后再進行雙目稠密匹配，即可重建出對應(yīng)的深度圖。如圖4 所示為某種面陣的紅外結(jié)構(gòu)光。

圖4 面陣紅外結(jié)構(gòu)光示意圖

隨機結(jié)構(gòu)光這里就不再說了，因為和普通雙目算法是很相似的。一些額外的考慮就是是否給相機加裝濾光片、光斑的密度要到什么程度等硬件和光學的問題了。這里不做詳細討論。

4 圖像編碼原理和方法

Bergm An 首先提出的格雷碼與相移結(jié)合的方法，有效解決了周期信號二義性問題，同時得到較高的空間分辨率。2001 年Guhring 提出將一個多條紋圖案移動若干次來代替正弦周期圖案[3]。2007 年于曉洋等[9]研究了Guhring 方法解碼過程中格雷和相移周期錯位的問題，通過判斷相鄰像素點的格雷碼值增加與相位突變是否一致來進行調(diào)整，其測量最大誤差為0.0831%。2008 年于曉洋等[10]通過進一步改進了Guhring 方法的投影圖案，強調(diào)了格雷碼邊緣機先移條紋中心的編碼與解碼，可實現(xiàn)子像素級定位，測量誤差減小到0.04%。

格雷碼編碼即在一組數(shù)的編碼中，若任意兩個相鄰數(shù)的代碼只有一位二進制數(shù)不同，則稱這種編碼為格雷碼。格雷碼是一種二進制循環(huán)碼，是1880年一名法國工程師發(fā)明的一種編碼[4]。格雷碼的顯著特點是錯誤最小化。

相移法（Phase shift）的測量原理[5]是采用余弦條紋圖案投射到物體表面，從成像系統(tǒng)獲得物體表面形貌調(diào)制的變形條紋，條紋的變形有其相位分布的變化得到體現(xiàn)。物體的深度信息被編碼在變形條紋的相位信息中，如果能夠正確得到某一點的相位值，就可以獲得該點對應(yīng)的深度值。相移法的優(yōu)點在于求解物體初想位時是點對點的運算，機在原理上某一點的相位值不受相鄰點光強值的影響，從而避免了物面反射率不均勻引起的誤差，測量精度可達萬分之一。與其他輪廓術(shù)相比，測量精度相對較高。

4.1 格雷碼與相移結(jié)合編碼

其具體編碼方法為[6]：先向被測物投射一系列格雷碼黑白條紋圖案，其中具有相同編碼的區(qū)域作為一個編碼周期，然后再采用四步相移法，依次投射四幅相移圖案，如圖5 所示，使得每個編碼區(qū)域被進一步連續(xù)細分[6]。但投射的格雷碼圖案和相移圖案必須滿足如下關(guān)系：格雷碼圖案的最小周期為相移圖案周期的4 倍，理論上格雷碼周期邊界與相移周期邊界要嚴格對應(yīng)。

圖5 格雷碼與相移示意圖

通過以上對空間編碼的討論，也可以看出空間編碼結(jié)構(gòu)光的一些優(yōu)缺點。優(yōu)點：無需多張照片，只需要一對影像即可進行三維重建?？梢詽M足實時處理，用在動態(tài)環(huán)境中。格雷碼和相移結(jié)合編碼結(jié)合的編碼方法，大幅提高了三位物體重構(gòu)的質(zhì)量和精度。

5 機器人無序抓取的生產(chǎn)運用

5.1 運用原理框架

基于前文提出的3D 結(jié)構(gòu)光和編碼原理介紹，會發(fā)現(xiàn)格雷碼與相移結(jié)合的編碼方式的優(yōu)勢明顯；本文案例運用工業(yè)機器人和3D 機構(gòu)光CCD 相機組件，通過所羅門SLM 3DRBP-0231 系統(tǒng)，規(guī)劃工業(yè)機器人自動抓取的坐標和路徑，實現(xiàn)零件的無序抓取。整套系統(tǒng)基于ROS 系統(tǒng)搭建。

其運用系統(tǒng)硬件框架，如圖6 所示，硬件層使用了索羅門xxx23 傳感器，將其固定與物料箱頂端支架上，用于獲取3D 景深圖像，工業(yè)機器人使用的是Fanuc 公司MI20A 系列機器人，如圖9 所示，基座位固定在被抓取物料箱的側(cè)方；采用惠普通用工作站計算機，內(nèi)存為32GB,CPU 型號為Intel 酷睿i7-8700K，顯卡型號為：NVIDA GeForce GTX 2080,運行系統(tǒng)為Windows7 SP1。

圖6 機器人無序抓取原理框架

3D 結(jié)構(gòu)光CCD 相機位于物料箱的正上方；零件被隨意放置在物料箱內(nèi)，通過算法層，經(jīng)過一些列圖像采集、處理、抓取點計算和抓取路徑規(guī)劃等過程，最終完成工業(yè)機器人將物料抓取擺放至指定位置的完整流程。

工業(yè)機器人與ROS 系統(tǒng)之間的通信控制如下：

基于TCP/IP 通訊協(xié)議，實現(xiàn)位置運算PC 計算機與工業(yè)機器人之間的數(shù)據(jù)交換；

基于索羅門ROBOT CONTROL 功能模塊完成位置運算PC 運動規(guī)劃部分驅(qū)動；

基于ROS 操作系統(tǒng)實現(xiàn)工業(yè)氣人運動路勁規(guī)劃和控制；

軟件算法是本系統(tǒng)核心。

以上操作均可在用戶界面層完成。

本方案所需要抓取的零件為車用等速半軸用內(nèi)星輪坯料，如圖7 所示；該零件坯料隨即擺放在專用的物料箱內(nèi)，通過工業(yè)機器人進行抓取動作，如圖8所示，大致生產(chǎn)運行流程如下：

圖7 零件外形示意圖

圖8 機器人和上料臺布局圖

圖9 工業(yè)機器人+結(jié)構(gòu)光相機布局

①人工將物料框放置到固定位置；

②視覺掃描給出坐標；

③機器人自動從料框抓取工件到上料平臺。

5.2 編碼系統(tǒng)流程圖

編碼系統(tǒng)由計算機、CCD 和結(jié)構(gòu)光相機，運算和編碼系統(tǒng)組成；其中編碼流程如圖10 所示，其視覺相機系統(tǒng)的掃描范圍（單位：mm）如圖11 所示。

圖10 圖像編碼系統(tǒng)流程圖

圖11 結(jié)構(gòu)光相機掃描范圍圖

5.3 實際運用效果分析

在實際抓取的調(diào)試中，機器人抓取零件的內(nèi)孔，抓取成功率主要受零件擺放姿態(tài)的影響；當零件重疊或并排放置時，系統(tǒng)通過識別零件的位置坐標，如圖12 所示，為機器人自動規(guī)劃微調(diào)零件擺放姿態(tài)的路徑，將零件調(diào)整適合抓取內(nèi)孔的角度；從而對抓取成功率有了大幅提高；具體抓取料箱的清空率如表1所示，通過連續(xù)生產(chǎn)的數(shù)據(jù)驗證應(yīng)用方案清空零件料箱率達到97%以上，可以滿足工業(yè)生產(chǎn)的節(jié)拍需求。

表1 抓取成功率統(tǒng)計表

圖12 零件位置坐標圖

6 藍光3D 掃描三維測量系統(tǒng)

6.1 3D 掃描測量概述

3D 形貌測量技術(shù)也被稱為3D 輪廓術(shù)，如圖13所示，是通過運用儀器獲取被測物體外部形貌數(shù)據(jù)并建立數(shù)字模型的方法和技術(shù)。按測量過程中是否與被測物體接觸，可分為接觸式和非接觸式測量量大類。

圖13 三維形貌測量法分類示意圖

現(xiàn)有面3D 掃描三維測量系統(tǒng)通常采用白光投影，測量時容易受環(huán)境光與被測物體表面反射特性影響。在實際運用中，大部分的被測物體表面紋理暗淡，利用白色編碼光進行測量時，光的反射率低，很難被相機捕獲，從而導(dǎo)致測得的數(shù)據(jù)缺失嚴重[7]。

因此，本文采用某品牌D700 型3D 藍光掃描儀，如圖14 所示。藍光三維掃描儀獲取被測零件連續(xù)的參數(shù)信息，重現(xiàn)零件的三維數(shù)字模型；其中攝像系統(tǒng)集中了二枚藍光數(shù)據(jù)采集鏡頭。

圖14 某品牌D700 型3D 藍光掃描儀

6.2 藍光投射鏡頭采集的基本原理

首先將光柵圖樣投影到目標表面，光柵場受目標三維形狀的調(diào)制而發(fā)生變形，然后根據(jù)此解調(diào)出代表物體深度的相位信息，最后結(jié)果系統(tǒng)定標獲得目標的三維幾何信息。主要由以下二個核心部分構(gòu)成：機械式——超高亮度投射系統(tǒng)（如圖15 所示）；多段式——光柵投影面掃面技術(shù)（如圖16）。

圖15 投射系統(tǒng)示意圖

圖16 多段式掃描示意圖

7 藍光3D 掃描三維測量運用效果

本文采用的藍光掃描儀，透過參數(shù)化與全自動檢測技術(shù)，整合CAD 定位系統(tǒng)與特征分析，能夠快速了解產(chǎn)品曲面變形與幾何誤差，并可以即時制作出檢測報告與統(tǒng)計學分析報告。

相較于傳統(tǒng)的接觸式打點三座標測量儀，針對被測零件的邊緣、R 角等過渡面都能同步完成單獨的三維檢測（如圖17 所示）；也可以對被測物的全部輪廓進行數(shù)字化掃描再現(xiàn)和比較測量。

圖17 藍光掃描檢測結(jié)果示意圖

由于傳統(tǒng)三坐標測量儀主要采用接觸式打點或線掃描的方式來進行輪廓參數(shù)化，局限性是往往無法做到對被測物全輪廓曲面的尺寸重現(xiàn)，如零件曲面R 角過渡邊緣（圖17）；若想提高三坐標測量的精度，就必須增加被測零件打點的密度，從而導(dǎo)致測量的效率降低；

零件的缺陷A 位于R 角圓弧過渡（如圖19 所示）：三坐標在測量時建立工件坐標系如圖18 所示，隨后通過對零件的外輪廓進行接觸式打點和掃描，測量分度位置選擇工件的各相應(yīng)對稱中心面；靠近R 圓角面的缺陷A（如圖19、20 所示），無法在測量時100%被發(fā)現(xiàn)。

圖18 三坐標測量坐標示意圖

圖19 缺陷零件示意圖

圖20 缺陷零件加工前后對比示意圖

7.1 接觸式三坐標測量儀精測結(jié)果分析

沿著Z 方向掃描：由于掃描的位置位于零件對稱中線（如圖21 所示），故掃描結(jié)果無法識別零件缺陷A（如圖22、23 所示）。

圖21 三坐標測量儀掃描報告

沿著X/Y 方向掃描：由于掃描截面的位置正好不在缺陷A 的X/Y 橫截面上，掃描結(jié)果也無法識別缺陷A（圖22、23 所示）。

圖22 三坐標測量儀掃描報告

7.2 采用藍光3D 掃描測量結(jié)果分析

采用藍光3D 掃描測量能夠輕易識別零件曲面缺陷A 存在尺寸超差（如圖23 所示）。

圖23 3D 藍光掃描測量結(jié)果

8 結(jié)束語

隨著目前通用計算機運算能力的提高，基于3D結(jié)構(gòu)光相機和基于ROS 的工業(yè)機器人抓取系統(tǒng)中，算法實現(xiàn)的抓取成功率普遍能夠達到98%以上；在對物體所處的抓取場景下，抓取點的計算時間有了大幅縮短；使得不再局限于實驗室環(huán)境的運用；已經(jīng)能夠很好的適用于目前的工業(yè)化生產(chǎn)。

面掃描測量方面，本文針對基于藍光3D 掃描成像模型，并應(yīng)用CCD 相機和計算機設(shè)備進行高速高分辨率3D 數(shù)字模型重建成像；實現(xiàn)生產(chǎn)現(xiàn)場對零件的參數(shù)化數(shù)字模型重現(xiàn),并能夠快速實現(xiàn)與零件CAD 模型快速比較測量。

以上運用實例結(jié)果表明，結(jié)構(gòu)光技術(shù)和藍光LED 掃描測量，能夠廣泛應(yīng)用于鍛造、沖壓等傳統(tǒng)工業(yè)生產(chǎn)；并為零件的模具開發(fā)和改進帶來非常直觀的數(shù)字化參數(shù)和依據(jù)，從而提升產(chǎn)品和零件的開發(fā)的效率。