多頻光柵物體高精度廓形三維測(cè)量及重建研究

虞梓豪，劉 瑾，楊海馬，李美瑩，徐 煒，徐 斌

（1. 上海工程技術(shù)大學(xué) 電子電氣工程學(xué)院，上海市 201600；2. 上海理工大學(xué) 光電信息與計(jì)算機(jī)工程學(xué)院，上海 200093；3. 蘇州立人聽力器材有限公司，江蘇 蘇州 215129）

引言

目前結(jié)構(gòu)光的三維測(cè)量的研究主要集中在以下幾個(gè)方面：1） 提高三維測(cè)量的測(cè)量效率；2） 提升三維測(cè)量的重建精度；3） 研究不同的編碼方法，提高三維廓形重建的速度和魯棒性；4） 將結(jié)構(gòu)光視覺和工業(yè)生產(chǎn)過程以及機(jī)器人應(yīng)用等結(jié)合起來。結(jié)構(gòu)光測(cè)量過程中會(huì)受投影儀非線性響應(yīng)，相機(jī)畸變以及環(huán)境光等因素影響，導(dǎo)致物體測(cè)量精度不足。對(duì)于形貌簡(jiǎn)單、體積合適的物體重構(gòu)難度不大，而對(duì)于形貌復(fù)雜、體積較小的物體重構(gòu)精度不夠。采用多頻結(jié)構(gòu)光柵，算法的核心是對(duì)現(xiàn)有四步相移進(jìn)行改進(jìn)，結(jié)合多頻外差原理[1]，解相位時(shí)逐點(diǎn)解相，多種頻率展開相位值通過最小二乘法進(jìn)行擬合，得到一個(gè)全場(chǎng)范圍覆蓋的展開相位。同時(shí)，本文以體積小、形貌復(fù)雜的螺絲模型為研究對(duì)象，對(duì)提高小型物體重建精度進(jìn)行驗(yàn)證。

結(jié)構(gòu)光掃描技術(shù)精度的提升一直是國(guó)內(nèi)外學(xué)者關(guān)注的問題之一。例如Zhang 等人[2-4]提出從標(biāo)定過程探討標(biāo)定精度問題，但所提出的全場(chǎng)誤差計(jì)算法易受到環(huán)境光照影響，同時(shí)，物體表面反射率改變時(shí)也需重新進(jìn)行標(biāo)定。J.M.Huntley 和H.Saldner 等人[5]提出以正弦結(jié)構(gòu)光算法為核心來改善重建精度?；跀?shù)字光柵投影的傳統(tǒng)方法有對(duì)時(shí)間相位進(jìn)行展開的四步相移法，實(shí)際測(cè)量過程中物體邊界發(fā)生急劇突變、高反射率因素都會(huì)導(dǎo)致解相周期發(fā)生錯(cuò)亂，進(jìn)而得到不連續(xù)的相位，物體重建的精度也會(huì)受到影響。因此，本文采用多頻光柵結(jié)合四步相移算法進(jìn)行改進(jìn)，實(shí)現(xiàn)了對(duì)小型物體和形貌復(fù)雜物體的高精度重建。

1 結(jié)構(gòu)光柵三維重建原理

結(jié)構(gòu)光三維測(cè)量技術(shù)的實(shí)現(xiàn)是基于光學(xué)三角法。DLP 投影儀作為結(jié)構(gòu)光光源投出特定頻率的光柵到物體表面，對(duì)同種頻率的光柵分別采集0，π/2， π， 3π/2四幅不同的光柵調(diào)制圖，即四步相移法。然后利用CCD 相機(jī)進(jìn)行數(shù)據(jù)采集， 將采集到的形變光柵圖與參考光柵對(duì)比，解相位得到物體的三維廓形。其中系統(tǒng)工作的原理圖如圖1 所示。

相移法的實(shí)質(zhì)是光的干涉原理，由于物體表面高度變換而得到變形的調(diào)制條紋。利用CCD 攝像機(jī)采集得到二維的變形條紋圖可表示為

式 中： a(x,y) ， b(x,y) 分 別 為 攝 相 機(jī) 接 收 到 的 光 強(qiáng)和背景光強(qiáng)； ?Φ(x,y)為隱含物體高度信息的相位函數(shù)。

圖 1 結(jié)構(gòu)光三維重建系統(tǒng)原理圖Fig. 1 Schematic diagram of structured light threedimensional reconstruction system

由（1）式可知，方程存在3 個(gè)未知量 a(x,y)，b(x,y) 和 ?Φ(x,y)。理論上給出3 個(gè)不同相位的光強(qiáng)值便能得出 ?Φ(x,y)。其中采用N 步相移法的話，相移量則為 2π/N，物體的相位函數(shù)表達(dá)式[6]為

圖 2 光柵投影系統(tǒng)模型圖Fig. 2 Model diagram of grating projection system

2 多頻外差原理解相過程分析

多頻外差的方式產(chǎn)生幾種不同頻率的結(jié)構(gòu)光柵，采用多頻外差法對(duì)小型物體廓形重建細(xì)節(jié)得到完整體現(xiàn)，且具有很好的抗干擾性。獲取物體深度信息是重建的關(guān)鍵環(huán)節(jié)之一。此時(shí)的包裹相位 實(shí) 際 上 是 對(duì) 截?cái)?在 [?π,π]反 三角 函數(shù) 相 位 的求解[7-8]。

多頻外差的原理是頻率相異的相位函數(shù) φ1和φ2疊加成頻率較低的相位函數(shù) φ12。 其中 f1和 f2分別為相位函數(shù) φ1和 φ2的 頻率， f12為相位函數(shù) φ12的頻率，相位函數(shù) φ12的頻率 f12計(jì)算公式[9]為9

相機(jī)、投影儀測(cè)量角度保持 20?～30?位置，并且被測(cè)物和他們相對(duì)位置不發(fā)生改變，兩種周期下絕對(duì)相位的關(guān)系為

相位包裹分布的關(guān)系為

兩種周期結(jié)構(gòu)光的絕對(duì)相位值[10]為10

其中：

式中n 表示該點(diǎn)的條紋周期數(shù)。

多頻相位展開過程中，雙頻光柵對(duì)復(fù)雜物體重建細(xì)節(jié)體現(xiàn)不足，3 種頻率以上的光柵又會(huì)提高設(shè)備性能要求，且耗時(shí)，因此我們采用3 種頻率的光柵。實(shí)際操作中，使用的相機(jī)分辨率為 1 080 pixel，通過使用visual studio2017 軟件中的python 工具進(jìn)行仿真，此過程中選取3 種頻率的光柵條距分別為T1=15 pixel， T1=16 pixel，T1=17 pixel，由（5）式多頻外差公式可得， T12=240 pixel， T23=272 pixel，再疊加 T12， T23可 得， T123=2 040 pixel，而我們要處理的圖片為1 280 pixel，滿足要求。

實(shí)際操作過程中DLP 投影儀運(yùn)用標(biāo)準(zhǔn)的四步相移法投射出3 種頻率的光柵投影，通過仿真，不同頻率的 φ1和 φ2進(jìn) 行疊加得到頻率更低的 φ12，同理，通 過 對(duì) 不 同 頻 率 的 φ2和 φ3進(jìn) 行 疊 加 得 到 φ23，然 后 將 φ12和 φ23進(jìn) 行 疊 加 得 到 φ123，而 且 在 三 頻 的正弦光柵中，選擇合適的初始光柵頻率，使得φ123=1，這樣能夠讓相位在全場(chǎng)范圍內(nèi)進(jìn)行展開[11]。如圖3 所示為展開相位圖，圖中展開的相位連續(xù)，無噪點(diǎn)。

圖 3 多頻外差法解相過程Fig. 3 Multi-frequency heterodyne method for phase decomposition

3 單頻光柵和多頻光柵三維重建對(duì)比

基于四步相移的單一頻率結(jié)構(gòu)光仿真中，采集裝置為DLP 投影儀和CCD 相機(jī)，重建物體為實(shí)際比例的螺絲模型。通過仿真發(fā)現(xiàn)，單一頻率結(jié)構(gòu)光進(jìn)行重建時(shí)，環(huán)境光對(duì)結(jié)果影響非常大，細(xì)節(jié)體現(xiàn)不足。仿真中參數(shù)設(shè)置，通過測(cè)量攝相機(jī)到參考平面的距離為 L=26 cm，投影儀光心到攝相機(jī)光心的距離為 D=10 cm，投影光柵的頻率為f =1/16 Hz。其中圖4（a）為參考光柵解相位仿真圖。采用四步相移法對(duì)采集的參考光柵與調(diào)制光柵進(jìn)行解相位，于是可以仿真得到圖4（b）中的光柵形變的仿真圖以及相位包裹前與包裹后的仿真圖。圖4（a）中 所 示 在 像 素400 pixel～600 pixel 和800 pixel～1 000 pixel 解相位不完全連續(xù)。

如圖5 所示為部分螺絲廓形重建圖，螺紋細(xì)節(jié)無法顯示，同時(shí)噪聲影響很大，多次測(cè)試與標(biāo)準(zhǔn)螺絲相比誤差達(dá)0.1 mm～0.5 mm。

通過對(duì)多次仿真結(jié)果進(jìn)行分析可知，單頻正弦光柵投影頻率為低頻時(shí)，由于頻率與周期互為倒數(shù)關(guān)系，導(dǎo)致正弦光柵投影周期過大，通過對(duì)螺絲模型進(jìn)行分析，周期過大時(shí)，由于螺絲模型體積比較小，部分地方形貌復(fù)雜，投射的物體表面的光柵條紋可能相位無法被解調(diào)出來，此時(shí)測(cè)量物體的精度變低，物體細(xì)節(jié)丟失；而單獨(dú)采用高頻光柵時(shí)，雖然可以提升物體細(xì)節(jié)的辨別，但易發(fā)生大于半個(gè)周期的條紋被投影在物體突變或不連續(xù)區(qū)域，算法展開會(huì)不連續(xù)，產(chǎn)生信息丟失 等 錯(cuò) 誤[7,12]。

圖 4 螺絲模型重構(gòu)過程Fig. 4 Reconstruction process of screw model

圖 5 采集部分螺絲廓形重建圖Fig. 5 Acquired part of reconstructed screw profile

為驗(yàn)證多頻外差法對(duì)物體重建的精度和實(shí)現(xiàn)效果，實(shí)驗(yàn)對(duì)象為螺絲模型。DLP 投影儀，相機(jī)為MV-UB130M 黑白相機(jī)，分辨率為1 280 pixel×1 024 pixel，幀率為30 幀/s。三維重建系統(tǒng)實(shí)物搭建如圖6 所示。

圖 6 三維重建系統(tǒng)實(shí)物搭建圖Fig. 6 Physical mapof three-dimensional reconstruction system setup

多頻光柵參數(shù)設(shè)定，相機(jī)采用焦距6 mm～12 mm可調(diào)焦相機(jī)，相機(jī)曝光時(shí)間最好設(shè)置為1/60 s 的整數(shù)倍，相機(jī)曝光時(shí)間設(shè)置為33.333 ms。將相機(jī)的光圈設(shè)置為16，投影儀與相機(jī)間所成夾角為20°～30°，3 種光柵的頻率分別為1/64、1/58、1/53。

使用如下系統(tǒng)對(duì)螺絲模型進(jìn)行重建，重建步驟如下：

1） 用張正友棋盤格法對(duì)相機(jī)內(nèi)參進(jìn)行標(biāo)定；

進(jìn)行多頻正弦光柵投影，對(duì)于螺絲模型每面投出固定幾種頻率的光柵，并采用標(biāo)準(zhǔn)的四步相移法對(duì)每種頻率的光柵解相位。采集每面數(shù)據(jù)所需時(shí)間大約7 s～8 s。投影出的光柵如圖7 所示。

2） 基于特征點(diǎn)的拼接；

3） 基于ICP 的全局優(yōu)化。

圖 7 螺絲模型投射的多頻光柵Fig. 7 Multi-frequency grating projected by screw model

配準(zhǔn)過程即對(duì)于空間中不同的2 個(gè)點(diǎn)集，他們存在一定的變換關(guān)系，通過變換2 個(gè)點(diǎn)集將其統(tǒng)一到同一坐標(biāo)下，如圖8 所示。

圖 8 點(diǎn)云匹配Fig. 8 Point cloud matching

根據(jù)坐標(biāo)系（u，v，w），我們可以計(jì)算3 個(gè)標(biāo)量值[13-14]

隨后通過平移和旋轉(zhuǎn)變換即能得到點(diǎn)云粗校準(zhǔn)。

ICP（iterative closest point）算法即最近迭代算法，點(diǎn)云匹配中的常用方法。求取空間坐標(biāo)系中采集不同面 m個(gè)對(duì)應(yīng)的特征點(diǎn)（其中2 個(gè)面特征點(diǎn)云數(shù)據(jù)重合率應(yīng)達(dá)到20%以上），通過剛體變換 T，不斷迭代使得 m對(duì)匹配特征點(diǎn)距離達(dá)到最小[13]。利用要將源點(diǎn)云轉(zhuǎn)換到目標(biāo)點(diǎn)云坐標(biāo)系下，可通過神經(jīng)網(wǎng)絡(luò)，設(shè)置閾值進(jìn)行迭代，直到兩點(diǎn)間距離誤差滿足要求，即為精確配準(zhǔn)[15-16]。特征點(diǎn)匹配后網(wǎng)格化的螺絲模型如圖9 所示。

圖 9 網(wǎng)格化螺絲模型Fig. 9 Meshed screw model

4 實(shí)驗(yàn)結(jié)果分析

實(shí)驗(yàn)結(jié)果表明，采用多頻外差法進(jìn)行光柵投影，物體細(xì)節(jié)更加明顯，如圖10（a）所示，信息丟失更少，得出的結(jié)果模型明顯好于單一頻率重建的結(jié)果，圖10（b）融合結(jié)果中螺絲模型底部存在明顯缺陷。因此，說明了采用多頻光柵是提升物體廓形重建精度的一種相對(duì)較好的方法。

同時(shí)，此實(shí)驗(yàn)環(huán)境為正常日光環(huán)境，得到的螺絲廓形完整，說明多頻外差結(jié)合四步相移算法解相過程能夠得到一個(gè)全場(chǎng)范圍內(nèi)連續(xù)的相位，算法的改進(jìn)也提高了結(jié)構(gòu)光重建對(duì)環(huán)境光的抗干擾程度。

如表1 所示，基本原理基于多頻外差法的單目視覺的結(jié)構(gòu)光重建。由表1 數(shù)據(jù)可知，精度達(dá)到了0.03 mm～0.05 mm。同時(shí)，通過圖11 多次測(cè)試牙距參數(shù)，牙距重建誤差小于0.03 mm，滿足實(shí)際生產(chǎn)需求?？傮w來說，采用多頻外差原理進(jìn)行物體廓形重建，對(duì)于小型物體細(xì)節(jié)還原效果好，抗干擾強(qiáng)，提高了物體重建精度。通過改善算法，提高了精度，減少了設(shè)備成本。

圖 10 兩種方法螺絲模型融合結(jié)果對(duì)比圖Fig. 10 Comparisons of two methods for screw model fusion results

表 1 重建參數(shù)比較Table 1 Comparison of reconstruction parameters

圖 11 牙距誤差圖Fig. 11 Pitch error map