基于快速散斑結(jié)構(gòu)光三維重建的在線(xiàn)測(cè)量系統(tǒng)

郭繼平，李名兆，周迎春，李阿蒙，張俊杰

（深圳市計(jì)量質(zhì)量檢測(cè)研究院，廣東 深圳 508055）

0 引言

隨著制造業(yè)數(shù)字化、智能化轉(zhuǎn)型發(fā)展，生產(chǎn)線(xiàn)上對(duì)運(yùn)動(dòng)狀態(tài)下產(chǎn)品或工件物體的非接觸表面三維結(jié)構(gòu)尺寸和表面缺陷的高精度快速測(cè)量需求日益增多。基于散斑結(jié)構(gòu)光投影和立體視覺(jué)原理的三維成像和測(cè)量技術(shù)，具有非接觸、速度快、抗環(huán)境干擾能力強(qiáng)、適用于運(yùn)動(dòng)物體測(cè)量等特點(diǎn)，在工業(yè)測(cè)量領(lǐng)域有著廣闊的應(yīng)用前景，成為近年來(lái)國(guó)內(nèi)外研究的熱點(diǎn)［1-5］。

基于散斑投影的三維重建方法的關(guān)鍵步驟是利用數(shù)字圖像相關(guān)算法搜索查找左右相機(jī)采集的散斑圖像的對(duì)應(yīng)點(diǎn)。該步驟計(jì)算量大、計(jì)算復(fù)雜度高、耗時(shí)長(zhǎng)，成為散斑投影三維重建方法應(yīng)用于快速在線(xiàn)工業(yè)測(cè)量的限制因素之一。此外，在鈑金件輥壓成形等典型的連續(xù)性制造中，工業(yè)產(chǎn)線(xiàn)對(duì)產(chǎn)品和工件的質(zhì)量檢測(cè)，需要同時(shí)對(duì)3D面型輪廓及關(guān)鍵表面幾何結(jié)構(gòu)尺寸進(jìn)行精確快速測(cè)量，當(dāng)前國(guó)內(nèi)缺乏針對(duì)性的自主在線(xiàn)測(cè)量設(shè)備。本文針對(duì)上述問(wèn)題，通過(guò)對(duì)散斑三維重建算法的優(yōu)化，提升三維重建計(jì)算效率，結(jié)合輥壓成形智能制造場(chǎng)景中鈑金件快速檢測(cè)需求，研究開(kāi)發(fā)基于快速散斑三維重建的在線(xiàn)測(cè)量系統(tǒng)，并通過(guò)已校準(zhǔn)溯源的測(cè)量標(biāo)準(zhǔn)對(duì)系統(tǒng)測(cè)量數(shù)據(jù)結(jié)果的精度進(jìn)行了驗(yàn)證分析。

1 基于快速散斑結(jié)構(gòu)光三維重建的在線(xiàn)測(cè)量方法

1.1 散斑結(jié)構(gòu)光三維重建步驟

典型的基于散斑投影的三維重建系統(tǒng)一般由1個(gè)投影裝置和2個(gè)相機(jī)組成，如圖1所示。其基本步驟為：①投影裝置投射散斑結(jié)構(gòu)光至物體表面，左右兩個(gè)相機(jī)同步采集包含物體表面信息的散斑圖像；②對(duì)散斑圖像進(jìn)行預(yù)處理，包括濾波、散斑區(qū)域的提取、圖像去畸變等；③對(duì)處理后的圖像進(jìn)行投影校正，并利用數(shù)字圖像相關(guān)算法搜索得到物體表面點(diǎn)在兩個(gè)相機(jī)所成圖像中的整像素匹配點(diǎn)對(duì)；④利用非線(xiàn)性?xún)?yōu)化方法計(jì)算亞像素匹配點(diǎn)對(duì)；⑤基于系統(tǒng)標(biāo)定數(shù)據(jù)，利用雙目立體視覺(jué)原理計(jì)算匹配點(diǎn)對(duì)的空間三維坐標(biāo)，獲得物體表面三維數(shù)據(jù)。

圖1 散斑投影三維重建示意圖Fig.1 Schematic diagram of speckle projection 3D reconstruction

上述步驟③和④的匹配點(diǎn)對(duì)搜索是關(guān)鍵步驟，但由于計(jì)算量較大，較為耗時(shí)，選擇合適的搜索策略和優(yōu)化算法十分重要，關(guān)系到三維重建的精度和效率［6-7］。本文利用二階圖像投影校正算法和優(yōu)化的亞像素優(yōu)化算法提升三維數(shù)據(jù)重建效率。

1.2 二階圖像投影校正

基于散斑投影的三維重建系統(tǒng)中的兩個(gè)相機(jī)構(gòu)成雙目立體視覺(jué)系統(tǒng)，其中一個(gè)相機(jī)獲得的散斑圖像特征點(diǎn)位于另一個(gè)相機(jī)平面對(duì)應(yīng)的極線(xiàn)上。如圖2所示，aL(uL，vL)和aR(uR，vR)是物體表面點(diǎn)A在左右相機(jī)所成散斑圖像中的對(duì)應(yīng)點(diǎn)，(ui，vi)(i=L，R)為各自圖像坐標(biāo)。aL，aR分別落在對(duì)應(yīng)圖像的極線(xiàn)paL，paR上，圖中eL，eR為極點(diǎn)，OL，OR為相機(jī)光心。這一性質(zhì)可用于左右相機(jī)散斑圖像對(duì)應(yīng)點(diǎn)的搜索過(guò)程，使得數(shù)字圖像相關(guān)計(jì)算搜索從整個(gè)圖像區(qū)域的二維搜索簡(jiǎn)化為沿極線(xiàn)方向的一維搜索，可減少搜索計(jì)算時(shí)間。通常情況下，極線(xiàn)在圖像中有一定的斜率。直接沿極線(xiàn)進(jìn)行對(duì)應(yīng)點(diǎn)搜索仍較為耗時(shí)，且容易產(chǎn)生誤匹配。為此，可對(duì)預(yù)處理后的散斑圖像進(jìn)行投影校正，使得搜索路徑沿u軸方向進(jìn)行，以進(jìn)一步提升效率，減少錯(cuò)誤［8-9］。

圖2 極線(xiàn)搜索及圖像投影校正示意圖Fig.2 Schematic diagram of polar line search and image projective rectification

采用的圖像投影校正方法包括圖像水平線(xiàn)變換校正和共線(xiàn)性變換校正兩個(gè)步驟。首先根據(jù)式（1）將左右相機(jī)圖像極線(xiàn)調(diào)整至與u軸平行。

式中：a，b，c為調(diào)整系數(shù)，可通過(guò)已知對(duì)應(yīng)圖像坐標(biāo)點(diǎn)由最小二乘法解算求出。然后，可根據(jù)式（3）完成共線(xiàn)性變換。

通過(guò)變換，左右相機(jī)圖像共軛極線(xiàn)paL，paR的v坐標(biāo)調(diào)整至相同，散斑圖像的對(duì)應(yīng)點(diǎn)相關(guān)搜索僅需沿u軸進(jìn)行，可大幅提升對(duì)應(yīng)點(diǎn)搜索效率［10］。

1.3 對(duì)應(yīng)點(diǎn)快速搜索

完成上述投影校正變換處理后，通過(guò)雙線(xiàn)性插值算法獲得可直接進(jìn)行數(shù)字相關(guān)計(jì)算的新物體散斑圖像。本文選擇搜索子圖像窗口半寬m為10像素，對(duì)左相機(jī)子圖像區(qū)域IL沿其中心點(diǎn)v坐標(biāo)在右相機(jī)圖像中沿u軸進(jìn)行相關(guān)搜索，并采用基于去均值歸一化互相關(guān)函數(shù)的相關(guān)算法依據(jù)式（4）計(jì)算相關(guān)系數(shù)Ci［11］。

式（4）中：fi為IL中第i個(gè)子區(qū)內(nèi)像素點(diǎn)對(duì)應(yīng)的灰度值為對(duì)應(yīng)子區(qū)圖像度值均值；gi為右相機(jī)圖像水平極線(xiàn)上第i個(gè)待匹配子區(qū)域內(nèi)像素點(diǎn)的灰度值為該子區(qū)圖像灰度均值。當(dāng)Ci取最大值時(shí)對(duì)應(yīng)的子區(qū)域即為匹配區(qū)域，其中心點(diǎn)即為對(duì)應(yīng)點(diǎn)。

1.4 對(duì)應(yīng)點(diǎn)亞像素優(yōu)化及三維重建算法

經(jīng)過(guò)上述快速對(duì)應(yīng)點(diǎn)搜索步驟，得到整像素級(jí)對(duì)應(yīng)點(diǎn)坐標(biāo)。為提升散斑重建三維數(shù)據(jù)精度，需對(duì)整像素對(duì)應(yīng)點(diǎn)坐標(biāo)進(jìn)行亞像素優(yōu)化。采用簡(jiǎn)化的視差變換模式構(gòu)造目標(biāo)函數(shù)對(duì)整像素對(duì)應(yīng)點(diǎn)坐標(biāo)進(jìn)行亞像素優(yōu)化［10］。首先，利用二階視差變換模式給出對(duì)應(yīng)點(diǎn)坐標(biāo)的變換關(guān)系，如式（5）；同時(shí)再構(gòu)建優(yōu)化目標(biāo)函數(shù)，如式（6）。其中，uT為左右相機(jī)散斑相機(jī)子區(qū)域圖像水平視差；?u，?v為對(duì)應(yīng)點(diǎn)距子區(qū)域圖像中心的圖像坐標(biāo)偏差。

定義待優(yōu)化參數(shù)為

并由此定義優(yōu)化目標(biāo)函數(shù)τ（σ），采用Newton-Raphson迭代算法可實(shí)現(xiàn)該優(yōu)化過(guò)程求解，其迭代公式為

式中：σ0為初值（可采用整像素對(duì)應(yīng)點(diǎn)坐標(biāo)參數(shù)）；?τ(σ0)為τ（σ）在σ0處的梯度值；??(σ0)為τ（σ）在σ0處的二次偏導(dǎo)。

按照式（8）循環(huán)迭代，直至前后兩次結(jié)果的差值小于規(guī)定閾值，即可得到σ的最優(yōu)解，并將結(jié)果代入式（5），可得到對(duì)應(yīng)點(diǎn)亞像素圖像坐標(biāo)xi(ui，vi，1)，i=L，R。根據(jù)雙目立體視覺(jué)原理，將xi帶入式（9）聯(lián)立方程即可求得對(duì)應(yīng)點(diǎn)的空間三維坐標(biāo)。

式中：Mi為相機(jī)內(nèi)參矩陣；Ri，Ti為世界坐標(biāo)系到相機(jī)坐標(biāo)系的旋轉(zhuǎn)平移變換矩陣，可通過(guò)相機(jī)標(biāo)定預(yù)先獲得［12］。

2 實(shí)驗(yàn)驗(yàn)證與精度分析

根據(jù)上述方法，構(gòu)建基于散斑投影的三維在線(xiàn)測(cè)量系統(tǒng)如圖3所示。系統(tǒng)中使用的投影模塊有效像素?cái)?shù)為1280 × 800，相機(jī)有效像素?cái)?shù)為2448 ×2048，幀率為20 fps。直線(xiàn)電機(jī)可模擬在線(xiàn)測(cè)量工況帶動(dòng)被測(cè)工件運(yùn)動(dòng)。

圖3 散斑三維在線(xiàn)測(cè)量裝置圖Fig.3 Speckle 3D online measurement system

為驗(yàn)證本文開(kāi)發(fā)系統(tǒng)的實(shí)用性，選取輥壓成形制造工件作為測(cè)量對(duì)象，模擬流水線(xiàn)運(yùn)動(dòng)狀態(tài)進(jìn)行測(cè)量實(shí)驗(yàn)，將測(cè)量結(jié)果與工件設(shè)計(jì)3D模型進(jìn)行對(duì)比，輸出整體面形誤差及在線(xiàn)檢測(cè)中關(guān)注的關(guān)鍵幾何尺寸。同時(shí)為驗(yàn)證系統(tǒng)測(cè)量結(jié)果的準(zhǔn)確性，采用經(jīng)校準(zhǔn)溯源的臺(tái)階標(biāo)準(zhǔn)器進(jìn)行了測(cè)量實(shí)驗(yàn)，給出測(cè)量數(shù)據(jù)的誤差分析結(jié)果。

2.1 工件測(cè)量實(shí)驗(yàn)結(jié)果

應(yīng)用本文測(cè)量系統(tǒng)對(duì)如圖4（a）所示的輥壓成形鈑金件進(jìn)行測(cè)量，測(cè)量時(shí)設(shè)置電動(dòng)馬達(dá)帶動(dòng)工件以1.5 m/min速度運(yùn)動(dòng)。圖4（b）和圖4（c）給出了兩個(gè)相機(jī)采集到的物體散斑圖像和三維重建數(shù)據(jù)結(jié)果。使用本文優(yōu)化的圖像投影校正和亞像素優(yōu)化算法，圖像采集及計(jì)算處理時(shí)間總計(jì)約4.6 s。使用優(yōu)化前的算法重復(fù)該實(shí)驗(yàn)過(guò)程，圖像采集及計(jì)算處理時(shí)間總計(jì)約8.2 s。由此表明，優(yōu)化的算法可顯著提高散斑圖像三維重建效率。

圖4 工件三維重建實(shí)驗(yàn)結(jié)果Fig.4 3D reconstruction result of workpiece

結(jié)合產(chǎn)線(xiàn)對(duì)該工件的實(shí)際質(zhì)量檢測(cè)需求，使用本文系統(tǒng)軟件分別對(duì)工件整體面型輪廓誤差、上下面高度差及平面度進(jìn)行了測(cè)量分析。整體面型輪廓與CAD模型進(jìn)行自動(dòng)匹配，得到誤差分布如圖5所示。同時(shí)，系統(tǒng)可根據(jù)獲得的3D數(shù)據(jù)計(jì)算出工件上下面高度差為54.075 mm，工件上表面平面度為0.530 mm。實(shí)驗(yàn)結(jié)果表明本文開(kāi)發(fā)的散斑三維測(cè)量系統(tǒng)適用于工件在線(xiàn)測(cè)量任務(wù)。

圖5 面型輪廓分析結(jié)果Fig.5 Measurement results of surface profile

2.2 精度驗(yàn)證實(shí)驗(yàn)結(jié)果

為驗(yàn)證測(cè)量結(jié)果的精度，使用圖6（a）所示臺(tái)階標(biāo)準(zhǔn)器進(jìn)行了驗(yàn)證測(cè)量。應(yīng)用本文系統(tǒng)對(duì)該標(biāo)準(zhǔn)器重建的三維數(shù)據(jù)結(jié)果如圖6（b）所示。臺(tái)階標(biāo)準(zhǔn)器的臺(tái)階面高度、上臺(tái)階面平面度經(jīng)校準(zhǔn)溯源，使用本系統(tǒng)軟件測(cè)量得到的結(jié)果及誤差如表1所示，臺(tái)階高和平面度計(jì)算時(shí)，去除了部分錯(cuò)誤三維數(shù)據(jù)點(diǎn)。根據(jù)驗(yàn)證測(cè)量結(jié)果，本文系統(tǒng)臺(tái)階面高度測(cè)量誤差為- 0.032 mm，上臺(tái)階面平面度測(cè)量誤差為0.052 mm（采用最小二乘平面擬合，參與擬合計(jì)算的有效數(shù)據(jù)點(diǎn)數(shù)為12681個(gè)，擬合標(biāo)準(zhǔn)偏差為0.009 mm）。由實(shí)驗(yàn)結(jié)果可知，結(jié)構(gòu)尺寸測(cè)量誤差可控制在0.035 mm以?xún)?nèi)，可滿(mǎn)足工業(yè)生產(chǎn)中部分產(chǎn)品或工件的在線(xiàn)測(cè)量要求。

表1 數(shù)據(jù)精度驗(yàn)證結(jié)果Tab.1 Precision verification results mm

圖6 驗(yàn)證標(biāo)準(zhǔn)器三維重建結(jié)果Fig.6 3D reconstruction result of step standard

3 結(jié)束語(yǔ)

針對(duì)物體表面在線(xiàn)三維測(cè)量需求，利用優(yōu)化的投影校正算法和亞像素優(yōu)化算法，開(kāi)發(fā)出一種基于散斑結(jié)構(gòu)光投影的三維測(cè)量系統(tǒng)，可成功用于鈑金件等產(chǎn)品的在線(xiàn)測(cè)量。此次研究開(kāi)發(fā)的系統(tǒng)僅能實(shí)現(xiàn)一個(gè)視角下的物體表面數(shù)據(jù)三維重建和測(cè)量分析，對(duì)于有遮擋關(guān)系的復(fù)雜物體數(shù)據(jù)獲取不完整，不能實(shí)現(xiàn)對(duì)物體全部表面完整數(shù)據(jù)的獲取和測(cè)量，三維數(shù)據(jù)重建和測(cè)量分析過(guò)程仍相對(duì)耗時(shí)。今后仍需對(duì)完整物體表面數(shù)據(jù)獲取、快速實(shí)時(shí)在線(xiàn)測(cè)量算法進(jìn)行深入研究，進(jìn)一步提高系統(tǒng)的應(yīng)用范圍。