基于相位檢測的雙平面攝像機(jī)標(biāo)定

陳文藝，來慶盈，楊 輝

(1.西安郵電大學(xué) 物聯(lián)網(wǎng)與兩化融合研究院，陜西 西安 710061；2.西安郵電大學(xué) 通信與信息工程學(xué)院，陜西 西安 710121)

0 引 言

計(jì)算機(jī)視覺最基本的工作就是根據(jù)物體的幾何信息對空間中的物體進(jìn)行重建從而恢復(fù)出物體的形貌，在立體空間中物體表面的某一個(gè)物理點(diǎn)在該空間中所處的位置與二維圖像中的某一像素點(diǎn)坐標(biāo)是相互對應(yīng)的，這二者間的關(guān)系是根據(jù)攝像機(jī)模型來最終確定的。該模型中所包含的物理參數(shù)就是標(biāo)定中通過一系列實(shí)驗(yàn)與推導(dǎo)計(jì)算得出的攝像機(jī)內(nèi)外參數(shù)[1]，對這些物理參數(shù)進(jìn)行推導(dǎo)的過程稱為攝像機(jī)標(biāo)定[2]。

攝像機(jī)是視覺系統(tǒng)中的重要組成部分同時(shí)也是計(jì)算機(jī)視覺獲取二維圖像最主要的工具。攝像機(jī)標(biāo)定技術(shù)作為視覺系統(tǒng)中不可或缺的一項(xiàng)技術(shù)，其在三維重建、人工智能以及機(jī)器視覺等各個(gè)領(lǐng)域都有廣泛的應(yīng)用前景[3,4]。到目前為止，涌現(xiàn)出了大量經(jīng)典的標(biāo)定方法[5]，同時(shí)也衍生出了許多攝像機(jī)標(biāo)定的新技術(shù)[6]。其中雙平面標(biāo)定法在標(biāo)定中占據(jù)了重要的地位，文獻(xiàn)[7]在雙平面標(biāo)定方法的基礎(chǔ)之上確立了較為完善的標(biāo)定模型，同時(shí)通過非線性優(yōu)化的方式得到相應(yīng)的參數(shù)，該方法降低了累積誤差對于最終標(biāo)定精度的影響；文獻(xiàn)[8]在雙平面模型中采用最小二乘法對攝像機(jī)參數(shù)以及畸變系數(shù)進(jìn)行預(yù)估，并將其應(yīng)用到了鋼板的長度、寬度以及厚度的尺寸測量中，該方法現(xiàn)場標(biāo)定的工作量較小；文獻(xiàn)[9]將雙平面法引入到了多個(gè)攝像機(jī)的標(biāo)定工作中，該方法操作比較容易并且標(biāo)定成本較低，但是標(biāo)定的計(jì)算量過大。

本文通過對攝像機(jī)模型標(biāo)定理論的研究，根據(jù)標(biāo)定模板與成像面的相位對應(yīng)關(guān)系確定物點(diǎn)、像點(diǎn)間的一一對應(yīng)關(guān)系，并且在雙平面攝像機(jī)模型基礎(chǔ)上建立了虛擬攝像機(jī)模型，在該模型中實(shí)現(xiàn)了標(biāo)定圖像的畸變校正。

1 工作原理

雙平面攝像機(jī)模型通過獲取兩個(gè)標(biāo)定平面的標(biāo)定點(diǎn)坐標(biāo)以及投影光線與平面的相交關(guān)系完成攝像機(jī)標(biāo)定。為更好的對標(biāo)定結(jié)果進(jìn)行驗(yàn)證，在該模型基礎(chǔ)上建立虛擬攝像機(jī)模型。

1.1 虛擬攝像機(jī)模型

該模型在雙平面攝像機(jī)模型基礎(chǔ)上引入虛擬成像平面C，其模型如圖1所示。

圖1 虛擬攝像機(jī)模型

該模型中包含光心、虛擬成像平面、虛擬主點(diǎn)和虛擬光軸。如圖1所示，將光心定義為圖像平面I中所有像點(diǎn)所對應(yīng)的空間直線匯聚的交點(diǎn)F，虛擬光軸定義為垂直于兩個(gè)標(biāo)定平面的空間直線L；虛擬成像平面則定義為垂直于虛擬光軸且與圖像平面I等焦距的對應(yīng)平面C；虛擬主點(diǎn)則定義為虛擬光軸和虛擬成像面C間的交點(diǎn)d。

1.2 攝像機(jī)標(biāo)定原理

如圖1所示，結(jié)合兩標(biāo)定平面的相位分布得到物點(diǎn)與像點(diǎn)間的映射關(guān)系，并根據(jù)均方誤差和最小原理確定光心坐標(biāo)。在此基礎(chǔ)上，建立虛擬攝像機(jī)模型，從而建立傳感器像平面I(u,v) 和虛擬像平面C(x,y) 間的坐標(biāo)映射關(guān)系，從而得到式(1)所示的函數(shù)表達(dá)式，實(shí)現(xiàn)標(biāo)定圖像的畸變校正

(1)

其標(biāo)定的基本思想如圖2所示。首先采集兩幅不同位置處的實(shí)心圓點(diǎn)標(biāo)定板圖像并進(jìn)行灰度化處理，對其進(jìn)行條紋分離后檢測橫豎條紋的相位分布，通過相位不變點(diǎn)對應(yīng)同名點(diǎn)的原理對虛擬光軸對應(yīng)像點(diǎn)坐標(biāo)進(jìn)行標(biāo)定；然后采用最小二乘擬合法對該點(diǎn)位置處的橫豎條紋相位分布進(jìn)行修正，從而獲取條紋圖像的理想載波角頻率，并根據(jù)理想載波角頻率得到條紋圖像的真實(shí)相位，利用標(biāo)定模板和成像面圖像的相位對應(yīng)關(guān)系建立物點(diǎn)和像點(diǎn)間的對應(yīng)關(guān)系，進(jìn)而實(shí)現(xiàn)光心位置的標(biāo)定；最后，通過物點(diǎn)、像點(diǎn)之間的對應(yīng)關(guān)系以及光心坐標(biāo)確定傳感器成像面與虛擬成像面的坐標(biāo)映射關(guān)系，結(jié)合灰度級(jí)插值算法對原圖像的畸變進(jìn)行校正。

圖2 攝像機(jī)標(biāo)定基本思想

在實(shí)際攝像機(jī)標(biāo)定中，鏡頭畸變、靶面安裝誤差都會(huì)使圖像發(fā)生畸變，即虛擬成像面的圖像與實(shí)際成像面圖像不是過光心的直線對應(yīng)關(guān)系，因此通過建立各種攝像機(jī)畸變模型可以描述攝像機(jī)畸變，并通過標(biāo)定估計(jì)畸變模型參數(shù)。本文采用隱式的畸變標(biāo)定方法，不明確使用攝像機(jī)畸變模型，通過逐點(diǎn)獲取虛擬成像面C的圖像與實(shí)際成像面I圖像位置的映射函數(shù)，實(shí)現(xiàn)畸變校正。

1.3 采集標(biāo)定板圖像

在進(jìn)行實(shí)際標(biāo)定實(shí)驗(yàn)時(shí)，由于圓點(diǎn)標(biāo)定板固定在標(biāo)定平臺(tái)上不方便移動(dòng)，因此利用步進(jìn)電機(jī)移動(dòng)攝像機(jī)對標(biāo)定板進(jìn)行拍照，利用光柵尺記錄攝像機(jī)的移動(dòng)距離，其效果等效于雙平面的攝像機(jī)標(biāo)定。實(shí)驗(yàn)所采用攝像機(jī)為工業(yè)檢測攝像機(jī)，分辨率為960pixel×1280pixel，所采用的標(biāo)定板為實(shí)心圓點(diǎn)標(biāo)準(zhǔn)標(biāo)定板，其圓點(diǎn)直徑為4 mm,圓心距為8 mm。在不同位置采集的標(biāo)定板圖像如圖3所示。

圖3 標(biāo)定板采集圖像

圖3中圖(a)為A位置處的標(biāo)定板采集圖像，圖(b)為B位置處的標(biāo)定板采集圖像，兩處位置距離150.015 mm。

2 標(biāo)定圖像相位檢測

2.1 濾波分離橫豎條紋

本文采用高斯頻域?yàn)V波的方式對標(biāo)定圖像進(jìn)行條紋分離。由于標(biāo)定圖像的邊緣包含很多無效的信息，為了得到較好的條紋圖像，首先需要對實(shí)心圓點(diǎn)標(biāo)定圖像進(jìn)行圓點(diǎn)外插；然后對外插圖像進(jìn)行二維傅里葉變換得到其頻域圖像；再采用高斯濾波器在頻域從x和y兩個(gè)方向?qū)︻l域圖像進(jìn)行相應(yīng)的濾波處理；最后將改變后的頻域圖像進(jìn)行二維傅里葉反變換，獲取標(biāo)定圖像濾波后在x、y兩方向上的條紋圖像。

以標(biāo)定平面A為例，頻域高斯濾波后得到x、y方向的條紋圖像如圖4所示。

圖4 標(biāo)定平面A條紋圖像

2.2 條紋相位檢測

平面標(biāo)定板上x、y方向的理想條紋光強(qiáng)分布可以表示為

(2)

由于攝像機(jī)存在畸變，畸變效應(yīng)會(huì)對標(biāo)定板條紋圖像的相位進(jìn)行調(diào)制，采集得到的標(biāo)定圖像在x、y方向的條紋圖像光強(qiáng)分布可以表示為

(3)

其中，rx(x,y)、ry(x,y) 分別代表標(biāo)定板表面的非均勻反射率，An(x,y)、Bn(x,y) 表示經(jīng)過相位調(diào)制后的傅里葉系數(shù)，φx(x,y)、φy(x,y) 為帶有攝像機(jī)畸變的條紋圖像的相位分布。采用正交相干解調(diào)法能夠直觀獲取條紋的相位分布,雖然標(biāo)定板條紋圖像的相位分布是二維的，但是能夠以一維方式逐行逐列的獲取條紋的相位。以x方向條紋圖像為例，將條紋圖像的某一行I(x,yc) 分別乘以載波sin(ωcx) 和cos(ωcx), 并通過低通濾波后將除±(ωx-ωc) 以外的頻率分量去除，可得

(4)

其中，ωc為帶有攝像機(jī)畸變的條紋圖像的載波角頻率。當(dāng)ωx=ωc時(shí)，便能夠獲取條紋任意一行的相位分布，理想條紋的載波角頻率可采用最小二乘擬合法得出，由此可逐行解調(diào)出標(biāo)定板的x方向條紋相位分布φx(x,y), 同理也可逐列解調(diào)出y方向相位分布φy(x,y)。

根據(jù)理想載波角頻率檢測標(biāo)定平面橫豎條紋的相位分布，由于邊緣條紋圖像存在邊緣效應(yīng)，對于整體標(biāo)定精度的影響比較大，因此去除橫豎條紋邊緣的部分條紋。以標(biāo)定平面A為例，對其橫豎條紋進(jìn)行相位檢測，由于噪聲等影響，其相位分布起伏比較大，因此對測量結(jié)果進(jìn)行多項(xiàng)式擬合。其中對豎條紋進(jìn)行逐行解調(diào)和相位去包裹，多項(xiàng)式擬合后獲取標(biāo)定平面A的豎條紋相位分布如圖5(a)所示；同理對橫條紋進(jìn)行逐列解調(diào)和相位去包裹，多項(xiàng)式擬合后獲取橫條紋的相位分布如圖5(b)所示。

圖5 標(biāo)定平面A條紋相位分布

3 雙平面攝像機(jī)標(biāo)定

3.1 虛擬光軸標(biāo)定

根據(jù)攝像機(jī)的成像特性可知，當(dāng)攝像機(jī)到物體間的距離發(fā)生改變時(shí)，在傳感器成像面上的圖像也會(huì)隨之產(chǎn)生一定程度的縮放。若主光軸沒有發(fā)生改變，則光軸和二維平面間的交點(diǎn)位置將保持恒定，即該交點(diǎn)位置處的相位值保持不變。因此雙平面攝像機(jī)模型中標(biāo)定平面中圖像相位不變點(diǎn)所對應(yīng)的同名點(diǎn)就是虛擬光軸和像平面間的交點(diǎn)，根據(jù)該點(diǎn)在標(biāo)定平面A、B上的對應(yīng)點(diǎn)坐標(biāo)可確定該模型下的虛擬光軸。若標(biāo)定平面A的條紋載波角頻率為ωAx, 標(biāo)定平面B的條紋載波角頻率為ωBx, 則設(shè)ωCx=(ωAx+ωBx)/2, 根據(jù)正交相干解調(diào)法得到標(biāo)定平面A和標(biāo)定平面B的相位分布為

(5)

(6)

根據(jù)式(5)和式(6)可得，兩幅標(biāo)定圖像在x、y方向上的相位差為

(7)

對相位差分布進(jìn)行去包裹，根據(jù)相位展開的原理可知，由于解包裹的影響，其真實(shí)的相位差分布與解包裹得到的相位差分布之間相差2πk(k為整數(shù))。因此將解包裹得到的相位差分布±2πk， 使相位差分布的中心區(qū)域調(diào)整到k=0的部分。截取橫豎條紋中心區(qū)域相位差為0附近的一定區(qū)域的曲面分別進(jìn)行插值擬合，得到相位差為0的點(diǎn)即為虛擬光軸與圖像平面的交點(diǎn)。根據(jù)實(shí)驗(yàn)數(shù)據(jù)可得該點(diǎn)像素坐標(biāo)為(525.552,606.602)。

3.2 建立像點(diǎn)與物點(diǎn)的對應(yīng)關(guān)系

為了確定任意像點(diǎn)和物點(diǎn)的對應(yīng)關(guān)系，需要在標(biāo)定平面橫豎條紋相位分布的基礎(chǔ)上加入一級(jí)諧波相位。對于成像面上任意一點(diǎn)P(u1,v1) 在標(biāo)定平面B和標(biāo)定平面A上分別對應(yīng)pb(X2,Y2,Z2) 和pa(X1,Y1,Z1)， 由標(biāo)定模板與成像面間的相位分布間的相互對應(yīng)關(guān)系可知,兩個(gè)標(biāo)定模板與其對應(yīng)的成像面上的標(biāo)定圖像在x、y方向上的諧波相位對應(yīng)關(guān)系可表示為

(8)

(9)

已知標(biāo)定板的周期Px=Py=8mm, 根據(jù)式(8)和式(9)可得到像平面上每一個(gè)像素點(diǎn)在標(biāo)定模板A、B上所對應(yīng)的X、Y方向上的世界坐標(biāo)。兩標(biāo)定模板的位置已知，由此可以根據(jù)世界坐標(biāo)系原點(diǎn)位置確定兩標(biāo)定模板Z方向的世界坐標(biāo)。從而計(jì)算出任意像點(diǎn)在世界坐標(biāo)系中所對應(yīng)的物點(diǎn)坐標(biāo)，確定任意像點(diǎn)所對應(yīng)的空間直線，從而建立三維物點(diǎn)和二維像點(diǎn)間的映射關(guān)系。其部分空間直線集如圖6所示。

圖6 部分空間直線集

3.3 標(biāo)定光心位置坐標(biāo)

由于兩個(gè)標(biāo)定平面相互平行，攝像機(jī)的主光軸垂直于兩個(gè)標(biāo)定平面并且經(jīng)過光心，因此光心的橫縱坐標(biāo)可由虛擬光軸來確定。將虛擬光軸和標(biāo)定平面A的交點(diǎn)作為坐標(biāo)系原點(diǎn)，標(biāo)定平面A的x、y方向分別為X、Y軸，并將虛擬光軸作為Z軸建立統(tǒng)一的世界坐標(biāo)系。在理想狀態(tài)下，兩個(gè)標(biāo)定平面所對應(yīng)的空間視線集匯聚于一點(diǎn)，該點(diǎn)即為光心。但實(shí)際上，由于畸變等因素的影響，空間視線集會(huì)在光心附近形成無數(shù)個(gè)交點(diǎn)。因此需要在一定范圍內(nèi)遍歷Z軸，得到每一個(gè)Z值所對應(yīng)的z平面上所有空間直線與z平面的交點(diǎn)，計(jì)算所有交點(diǎn)到虛擬光軸與z平面交點(diǎn)間的距離和，根據(jù)最小距離和的原則對光心位置進(jìn)行估計(jì)，使其所對應(yīng)的均方誤差和最小。

圖像坐標(biāo)系中任一像點(diǎn)所對應(yīng)的兩標(biāo)定平面空間直線可表示為

(10)

其式中的未知參數(shù)均可由兩個(gè)標(biāo)定平面的世界坐標(biāo)求出。根據(jù)虛擬光軸可以確定光心在X、Y方向的世界坐標(biāo)(X,Y)。對于圖像坐標(biāo)系中N個(gè)像點(diǎn)可得到N個(gè)空間直線方程組，給定任意一Z值，根據(jù)空間直線方程可以在z平面上得到N個(gè)交點(diǎn)坐標(biāo) (Xi,Yi), 該點(diǎn)與Z值所對應(yīng)的光心間的距離可由式(11)得出

(11)

di也代表了該交點(diǎn)與Z值所對應(yīng)的光心坐標(biāo)的誤差，因此，將均方誤差和最小所對應(yīng)的Z值作為光心Z坐標(biāo)的估計(jì)。其表達(dá)式可表示為

(12)

圖7 均方誤差和分布

由此可得光心在以虛擬光軸與標(biāo)定平面A交點(diǎn)為原點(diǎn)的世界坐標(biāo)系中的位置坐標(biāo)為(0,0,507.496)。

3.4 圖像畸變校正

根據(jù)光心位置坐標(biāo)和物點(diǎn)與像點(diǎn)之間的對應(yīng)關(guān)系，能夠建立傳感器成像面I和虛擬成像面C之間的坐標(biāo)對應(yīng)關(guān)系。由于虛擬成像面上的圖像是沒有畸變，由此可實(shí)現(xiàn)圖像的畸變校正。為降低系統(tǒng)誤差，在原虛擬攝像機(jī)模型的標(biāo)定平面A、B的中間位置處定義平面D。以Y方向?yàn)槔?，對于任意像點(diǎn)P，首先根據(jù)標(biāo)定平面A、B所對應(yīng)的空間直線得到平面D的世界坐標(biāo)；然后由光心坐標(biāo)與平面D對應(yīng)的世界坐標(biāo)構(gòu)成空間直線集，根據(jù)空間直線集得到虛擬成像面C的世界坐標(biāo)。將虛擬成像面C的世界坐標(biāo)轉(zhuǎn)化為像素坐標(biāo) (x,y)， 從而得到傳感器成像面圖像f(u,v) 和虛擬成像面圖像f(x,y) 的前向映射關(guān)系，由于f(x,y) 的坐標(biāo)為非整數(shù)，其對應(yīng)坐標(biāo)的灰度值由f(u,v)的多個(gè)像素灰度值來決定，可能造成f(x,y) 像素的丟失，因此需要將前向映射關(guān)系轉(zhuǎn)換為后向映射關(guān)系生成后向映射表，后向映射表的生成原理可參照文獻(xiàn)[10]，從而可以逐像素的生成輸出圖像f(x,y)， 實(shí)現(xiàn)原圖像的畸變校正。由此可得標(biāo)定平面A、B的校正圖像如圖8所示。

圖8 畸變校正圖像

4 標(biāo)定誤差分析

為了測量攝像機(jī)標(biāo)定精度，可以利用光心位置坐標(biāo)和傳感器成像面與虛擬成像面的映射關(guān)系恢復(fù)出兩個(gè)標(biāo)定平面的圖像，計(jì)算其圖像的實(shí)心圓點(diǎn)質(zhì)心坐標(biāo)并將其轉(zhuǎn)化為物理坐標(biāo)，與標(biāo)定板實(shí)心圓點(diǎn)的實(shí)際位置坐標(biāo)作比較，分析系統(tǒng)標(biāo)定誤差。

對于標(biāo)定平面A，首先根據(jù)生成的后向映射表采用雙線性插值算法得到畸變校正后的虛擬像平面圖像，檢測虛擬像平面圓點(diǎn)圖像的質(zhì)心坐標(biāo) (ui,vi) 并根據(jù)式(13)將其轉(zhuǎn)換為物理坐標(biāo) (x′i,y′i)； 然后根據(jù)式(14)利用虛擬像平面與標(biāo)定平面A間的位置關(guān)系得到標(biāo)定平面A實(shí)心圓點(diǎn)質(zhì)心所對應(yīng)的物理坐標(biāo) (x″i,y″i)， 將其與標(biāo)定平面A實(shí)心圓點(diǎn)質(zhì)心對應(yīng)的真實(shí)位置坐標(biāo) (x,y) 對比；最后根據(jù)式(15)、式(16)求其絕對平均誤差Δr以及均方誤差Δm，可得到標(biāo)定平面A的標(biāo)定誤差，同理也可得出標(biāo)定平面B的標(biāo)定誤差

(13)

(14)

式中：f為虛擬像平面到光心的距離，d為標(biāo)定平面與光心間的距離，dx、dy可由攝像機(jī)參數(shù)得到

(15)

(16)

由此可得到標(biāo)定誤差對比結(jié)果見表1。

表1 標(biāo)定誤差/mm

由表1可知，兩標(biāo)定平面的絕對平均誤差均在 0.05 mm 以內(nèi)，可以達(dá)到比較高的標(biāo)定精度，驗(yàn)證了該方法的有效性。

5 結(jié)束語

本文研究了一種雙平面攝像機(jī)標(biāo)定方法，該方法不要求像平面與測量平面平行，并且整個(gè)標(biāo)定過程只需要兩幅標(biāo)定圖像即可完成，現(xiàn)場標(biāo)定工作量比較??；利用標(biāo)定模板和成像面之間的相位對應(yīng)關(guān)系，不需要繁瑣的特征點(diǎn)提取即可確定像點(diǎn)與物點(diǎn)之間的對應(yīng)關(guān)系，同時(shí)不必知道任何關(guān)于畸變類型的先驗(yàn)知識(shí)，在不明確攝像機(jī)的物理參數(shù)的情況下就能較為精準(zhǔn)完成標(biāo)定工作；以線性的方法完成標(biāo)定，避免了復(fù)雜的物理參數(shù)的求解，實(shí)驗(yàn)結(jié)果表明，該方法的標(biāo)定精度較高。

本文為降低邊緣效應(yīng)，在標(biāo)定的過程中去除了部分邊緣的條紋圖像，因此在后期的研究中可以考慮以線性插值的方式對邊緣條紋進(jìn)行處理，從而進(jìn)一步對該標(biāo)定方法進(jìn)行完善。