穩(wěn)定高精度的雙目立體視覺測量系統(tǒng)標(biāo)定方法

何萬濤,　梁永波,　李景賀

(黑龍江科技大學(xué) 現(xiàn)代制造工程中心, 哈爾濱 150022)

?

穩(wěn)定高精度的雙目立體視覺測量系統(tǒng)標(biāo)定方法

何萬濤,梁永波,李景賀

(黑龍江科技大學(xué) 現(xiàn)代制造工程中心, 哈爾濱 150022)

為了提高和穩(wěn)定雙目立體視覺結(jié)構(gòu)光測量系統(tǒng)的精度,提出一種簡單有效的標(biāo)定流程及基于極線幾何約束優(yōu)化雙目立體視覺結(jié)構(gòu)光測量系統(tǒng)外部參數(shù)的方法。采用平面板標(biāo)定理論分別標(biāo)定左右攝像機(jī)的內(nèi)部參數(shù),將標(biāo)定的內(nèi)參數(shù)作為雙目標(biāo)定的內(nèi)參數(shù)在多視角下標(biāo)定雙目測量系統(tǒng)的外部參數(shù)。利用極線幾何約束,通過最小化多視角下同一對(duì)應(yīng)點(diǎn)的極線誤差，優(yōu)化計(jì)算雙目測量系統(tǒng)的外部參數(shù)。實(shí)驗(yàn)結(jié)果表明,該方法計(jì)算得到的雙目測量系統(tǒng)參數(shù)使得測量系統(tǒng)在整個(gè)測量空間體積內(nèi)的測量精度高且穩(wěn)定,在雙目立體視覺測量系統(tǒng)的工業(yè)化檢測應(yīng)用中具有重要的意義。

雙目立體視覺; 結(jié)構(gòu)光; 測量; 系統(tǒng)標(biāo)定; 極線幾何

0　引　言

近年來,隨著計(jì)算機(jī)和數(shù)字圖像處理技術(shù)的快速發(fā)展,結(jié)構(gòu)光雙目測量系統(tǒng),因其非接觸、測量速度快、低成本、高精度和結(jié)構(gòu)簡單易于實(shí)現(xiàn)等優(yōu)點(diǎn),在逆向工程、產(chǎn)品檢測等領(lǐng)域得到了廣泛的應(yīng)用[1-2]。雙目測量系統(tǒng)的標(biāo)定精度直接影響著零件的最終測量精度,只有十分準(zhǔn)確的標(biāo)定出相機(jī)的相對(duì)位置關(guān)系轉(zhuǎn)換矩陣才能完成高精度的測量[3]。

攝像機(jī)標(biāo)定就是通過拍攝場景中多個(gè)不同位置的帶有棋盤格或圓點(diǎn)等特定幾何圖像特征的標(biāo)定物圖像,根據(jù)攝像機(jī)模型建立標(biāo)定物特征點(diǎn)的二維圖像坐標(biāo)和三維世界坐標(biāo)的對(duì)應(yīng)關(guān)系,最小化反投影誤差來求取攝像機(jī)模型內(nèi)外參數(shù)的過程[4]。標(biāo)定過程中多個(gè)位置的不同圖像用來計(jì)算得到一組攝像機(jī)內(nèi)參數(shù)和每個(gè)位置的外參數(shù),有多少幅圖像參與計(jì)算,就可以相應(yīng)的計(jì)算得到多少組外參數(shù)。不同標(biāo)定位置上計(jì)算的外參數(shù)由于標(biāo)定物的位姿、清晰度、光照、噪聲等因素,精度會(huì)有所不同,所以三維點(diǎn)的計(jì)算過程中用哪組外參數(shù)是雙目測量的關(guān)鍵問題[5]。通常的做法,一種是直接取標(biāo)定過程中的第一幅圖像獲得的外參數(shù)作為雙目測量系統(tǒng)的外參數(shù)。另一種方法是用不同位置的外參數(shù)矩陣計(jì)算反投影誤差,哪組外參數(shù)的反投影誤差最小,就用哪組外參數(shù)作為雙目測量系統(tǒng)的外參去計(jì)算三維點(diǎn)。但是這樣做的問題是,單個(gè)位置的反投影誤差只能保證在這個(gè)標(biāo)定物的位置上三維點(diǎn)精度最高,在雙目測量系統(tǒng)的測量空間內(nèi)不同的位置精度差異很大,這對(duì)于精密測量是一個(gè)致命的問題。文獻(xiàn)[6]提出了一種雙目視覺的光束平差算法,構(gòu)建了雙目視覺光束法平差方程來優(yōu)化攝像機(jī)的內(nèi)外參數(shù)。光束平差算法是同時(shí)優(yōu)化多位姿下標(biāo)定特征點(diǎn)反投影誤差和攝像機(jī)內(nèi)外參數(shù)而獲得最優(yōu)解的方法。但是這種方法的缺點(diǎn)是,在多個(gè)視角下的公共標(biāo)定特征點(diǎn)的數(shù)量如果不夠多將會(huì)優(yōu)化失敗[7]。文獻(xiàn)[8]提出了一種同心圓與合成圖像匹配的算法,通過定義雙目匹配、三維重建得到的點(diǎn)距與點(diǎn)距的真值、雙目約束三個(gè)目標(biāo)函數(shù)來對(duì)系統(tǒng)的內(nèi)外參數(shù)一并優(yōu)化,測量精度有所提高。但是這種方法定義的目標(biāo)函數(shù)與優(yōu)化參數(shù)多,計(jì)算過程容易出現(xiàn)不穩(wěn)定的問題。

針對(duì)雙目測量系統(tǒng)外參數(shù)不夠精確的問題,筆者提出了一種簡單有效的標(biāo)定流程與外部參數(shù)優(yōu)化算法。該方法能夠應(yīng)用標(biāo)定物所有位姿下的外參數(shù)優(yōu)化估計(jì)一個(gè)準(zhǔn)確的雙目系統(tǒng)的外參數(shù),使得雙目測量系統(tǒng)在整個(gè)測量空間的測量保持高精度與穩(wěn)定。

1　雙目測量系統(tǒng)標(biāo)定模型

文中提到的雙目測量系統(tǒng)由兩個(gè)相機(jī)和一個(gè)投影裝置組成。

1.1單攝像機(jī)模型

三維空間點(diǎn)在攝像機(jī)的成像平面上的投影可以由線性模型(理想的針孔成像模型)和非線性模型(帶有鏡頭畸變的模型)組成,成像模型見圖1。

圖1　單攝像機(jī)成像模型

圖2　雙目立體視覺成像模型

在這個(gè)模型中,三維空間點(diǎn)Pw=[X，Y，Z]T經(jīng)過下列的四步變換轉(zhuǎn)化為圖像坐標(biāo)系下的像素坐標(biāo)m=[u，v]T。

Step1將三維空間點(diǎn)Pw從世界坐標(biāo)系轉(zhuǎn)換到攝像機(jī)坐標(biāo)系。

Pc=T(Pw,θ),

(1)

式中的Pc=[x，y，z]T是三維空間點(diǎn)在攝像機(jī)坐標(biāo)下的坐標(biāo),θ=[w，φ,K，tx，ty，tz]是剛體變換向量,也就是攝像機(jī)的外參數(shù)。函數(shù)T(·)定義如下:

T(r，θ)=R·r+t,

(2)

式中的r為三維點(diǎn)的列向量,R是3×3的正交單位矩陣,可以用歐拉角ω、φ、K來表示t=[tx，ty，tz]為三維平移向量。

Step2將攝像機(jī)坐標(biāo)系下的三維點(diǎn)坐標(biāo)通過針孔成像模型透視投影到圖像坐標(biāo)系。

Pi=(f/z)Pc,

(3)

式中的Pi=[xc，yc，f]T為圖像坐標(biāo)系下的坐標(biāo),f為光學(xué)鏡頭的焦距。

Step3以畸變補(bǔ)償模型來校正圖像坐標(biāo)。鏡頭的畸變模型定義如下:

ad=ac+fd(ac，δ),

(4)

式中的ac=[xc，yc]T為理想的圖像坐標(biāo),ad=[xd，yd]T為畸變圖像坐標(biāo),這兩個(gè)坐標(biāo)都在圖像平面上。

(5)

其中，δ=[k1，k2，k3，p1，p2]為畸變參數(shù),k1、k2、k3為徑向畸變參數(shù),p1、p2為切向畸變參數(shù)。

Step4將以米為單位的點(diǎn)ad的圖像坐標(biāo)轉(zhuǎn)換為以像素為單的圖像坐標(biāo)m=[u，v]T。

(6)

式中的x0、y0為以像素為單位的圖像主點(diǎn)坐標(biāo),du、dv分別為攝像機(jī)水平和垂直方向的像元尺寸,在使用的攝像機(jī)說明書中都能找到這個(gè)尺寸的大小。

攝像機(jī)坐標(biāo)系下的空間點(diǎn)Pc的坐標(biāo)轉(zhuǎn)換為以像素為單位的圖像點(diǎn)坐標(biāo)m的過程還可以表示:

m=g(Pc,θ)。

(7)

式中的θ=[f,u0,v0,δ]稱為攝像機(jī)的內(nèi)參數(shù)。

1.2雙目測量系統(tǒng)模型

文中所描述的雙目測量系統(tǒng)由兩個(gè)攝像機(jī)和一個(gè)投影裝置組成,場景中的物體必須同時(shí)被兩個(gè)相機(jī)同時(shí)觀察到,系統(tǒng)成像的結(jié)構(gòu)模型如圖2所示。兩個(gè)設(shè)備之間只相差了一個(gè)旋轉(zhuǎn)和平移的剛體變換。在雙目測量系中不僅要標(biāo)定攝像機(jī)的內(nèi)參數(shù),還需要確定他們之間的相對(duì)位置和姿態(tài),用Rrtl、trtl分別表示從左攝像機(jī)坐標(biāo)系到右攝像機(jī)坐標(biāo)系的旋轉(zhuǎn)矩陣和平移向量,變換關(guān)系如下式:

Pcr=RrtlPcl+trtl，

(8)

式中的Pcr、Pcl分別表示空間點(diǎn)P在右攝像機(jī)和左攝像機(jī)坐標(biāo)系下的坐標(biāo),Prtl和trtl稱為雙目測量系統(tǒng)的外部參數(shù)。

2　標(biāo)定流程與外部參數(shù)優(yōu)化算法

2.1標(biāo)定流程

在雙目測量系統(tǒng)中,左、右攝像機(jī)在不同時(shí)刻分別拍攝的標(biāo)定圖像稱為序列圖像,左右攝像機(jī)同時(shí)拍攝的序列圖像稱為立體圖像對(duì)序列。系統(tǒng)的標(biāo)定流程如圖3所示,首先用左、右攝像機(jī)分別拍攝序列標(biāo)定圖像。具體做法是:用左相機(jī)采集標(biāo)定圖像時(shí),右相機(jī)處于關(guān)閉狀態(tài)。反之,在右相機(jī)采集標(biāo)定圖像時(shí),左相機(jī)處于關(guān)閉狀態(tài)。用左、右攝像機(jī)獲取的各自序列圖像分別計(jì)算相機(jī)的內(nèi)部參數(shù)和在其坐標(biāo)系下的外部參數(shù),反投影模型點(diǎn)到圖像坐標(biāo)系,計(jì)算反投影誤差,剔除反投影誤差比較大的點(diǎn),重新計(jì)算內(nèi)部參數(shù)。然后,用左、右攝像機(jī)同時(shí)拍攝一組立體圖像對(duì)序列,序列圖像要保證左右攝像機(jī)同時(shí)看到,并且保證能覆蓋到整個(gè)的立體測量空間。具體做法是:在鏡頭允許的景深范圍內(nèi)在高、中、低三個(gè)不同的位置拍攝三組圖像對(duì),然后將標(biāo)定物體的四周傾斜一定的角度拍攝四組立體圖像對(duì)。

圖3　標(biāo)定流程

2.2外部參數(shù)優(yōu)化算法

雙目測量系統(tǒng)標(biāo)定過程中,標(biāo)定了一組左右攝像機(jī)的內(nèi)部參數(shù)Al、Ar和多組外部參數(shù)Rli、tli、Rrt、trt。例如:在標(biāo)定流程中提到拍攝7組圖像用于雙目系統(tǒng)的標(biāo)定,這樣將會(huì)產(chǎn)生7組對(duì)應(yīng)標(biāo)定物在不同位姿下的外部參數(shù)。在標(biāo)定計(jì)算的過程中由于多幅圖像都參與了內(nèi)部參數(shù)的計(jì)算,所以,一般情況下內(nèi)部參數(shù)的標(biāo)定結(jié)果是足夠準(zhǔn)確的,實(shí)踐過程也證明了這一點(diǎn)。但是,Rli、tli、Rri、tri是由不同位置的標(biāo)定圖像計(jì)算得到的,不同位置的圖像特征點(diǎn)受提取精度、電子噪聲、環(huán)境光等因素的影響,有些位姿下的外部參數(shù)轉(zhuǎn)換矩陣的精度高于其他的位姿下的精度。這就給三維重建帶來了一個(gè)棘手的問題。

分別計(jì)算左右相機(jī)的的反投影誤差。

(9)

式中的Pi=A·[Ri|ti]代表左右任意一個(gè)相機(jī)在第i個(gè)位姿下的投影矩陣,xj是該位姿下檢測到的圖像點(diǎn)坐標(biāo),Xj與之相對(duì)應(yīng)的標(biāo)定物模型點(diǎn)坐標(biāo)。

選擇左右相機(jī)反投影誤差最小的一組將其外參數(shù)轉(zhuǎn)化為雙目系統(tǒng)的外參數(shù)用來重建三維點(diǎn)。因?yàn)榉赐队罢`差小就意味著該位姿下的投影矩陣是準(zhǔn)確的,所以反投影誤差廣泛的應(yīng)用到了攝像機(jī)標(biāo)定精度的評(píng)價(jià)上。但是,這種方法不能用來評(píng)價(jià)雙目測量系統(tǒng)的外參數(shù)的準(zhǔn)確度,如圖4所示,當(dāng)標(biāo)定點(diǎn)D在單相機(jī)的i1視角下時(shí),可以通過式(9)計(jì)算當(dāng)前視角下反投影誤差來評(píng)價(jià)外部參數(shù)精度,無法將視角i1、i2等聯(lián)系起來。

圖4　多視角標(biāo)定示意

在雙目測量系統(tǒng)中,如果標(biāo)定點(diǎn)D在i1、i2等多個(gè)視角下都能被雙相機(jī)拍攝到,極線幾何告訴我們左圖像上的一點(diǎn)必定在右圖像的極線上,由極線幾何定義的左右圖像的極線方程如下:

lr=Fd1,

(10)

ll=FTdr,

(11)

式中dl和dr是空間三維點(diǎn)D分別在左、右圖像的圖像齊次坐標(biāo)。F為基本矩陣,F由雙目立體視覺測量系統(tǒng)的內(nèi)部參數(shù)Al、Ar和外部結(jié)構(gòu)參數(shù)R、t定義,可以表示為

(12)

式中的S為反對(duì)稱矩陣,由平移向量定義為

(13)

這里的E=[t]xR為本質(zhì)矩陣,它只與測量系統(tǒng)的結(jié)構(gòu)參數(shù)有關(guān)。

如果標(biāo)定數(shù)足夠準(zhǔn)確,那么,左圖像上的一點(diǎn)的對(duì)應(yīng)點(diǎn)一定在右圖像的極線上。基于上述理論與思考,由點(diǎn)到直線的距離公式定義點(diǎn)到極線誤差為

(14)

(15)

應(yīng)用式(15)對(duì)本質(zhì)矩陣中的雙目視覺系統(tǒng)的結(jié)構(gòu)參數(shù)R、t進(jìn)行優(yōu)化,得到最終的雙目視覺系統(tǒng)的結(jié)構(gòu)參數(shù)。

3　實(shí)　驗(yàn)

3.1系統(tǒng)標(biāo)定

雙目實(shí)驗(yàn)系統(tǒng)如圖5所示,系統(tǒng)的硬件包括:兩個(gè)Basler A102f攝像機(jī),CCD靶面尺寸為2/3英寸,每個(gè)像元的物理尺寸為 6.45 μm×6.45 μm，分辨率為1 392 pixel×1 040 pixel;日本computar的百萬像素光學(xué)鏡頭,標(biāo)稱焦距為16 mm。帶有大小不同圓點(diǎn)的11行×9列,共計(jì)99個(gè)圓形標(biāo)志點(diǎn)的標(biāo)定板,如圖6所示。標(biāo)定板上水平和豎直方向的兩對(duì)大圓標(biāo)志點(diǎn)之間的距離通過影像測量儀測得精確尺寸分別為105.007和70.005 mm。標(biāo)定實(shí)驗(yàn)采用文中2.1的流程對(duì)雙目測量系統(tǒng)進(jìn)行了標(biāo)定,分別用傳統(tǒng)方法計(jì)算的雙目系統(tǒng)的外參數(shù)和文中算法優(yōu)化獲得的外參數(shù)對(duì)標(biāo)定位置和空間任意位置的標(biāo)定特征點(diǎn)進(jìn)行三維重建,測量兩對(duì)大點(diǎn)的距離,結(jié)果如表1和表2所示。這里所說的傳統(tǒng)方法就是用標(biāo)定出來的多組外參數(shù)中的一組計(jì)算雙目立體視覺測量系統(tǒng)的結(jié)構(gòu)參數(shù),通常做法是取中間位置,正對(duì)攝像機(jī)平放的那組外參數(shù)來計(jì)算。

圖5　雙目測量實(shí)驗(yàn)系統(tǒng)

圖6　系統(tǒng)實(shí)驗(yàn)用標(biāo)定板

表2　測量空間任意位置三維重建大點(diǎn)間距離誤差對(duì)比

由表1中數(shù)據(jù)可知,對(duì)多視角標(biāo)定位置上的標(biāo)定點(diǎn)進(jìn)行三維重建,基于傳統(tǒng)方法時(shí),該標(biāo)定位置上的精度比較高,而優(yōu)化后的結(jié)果在7個(gè)位置上的精度高且分布均勻。

由表2中的數(shù)據(jù)可知,傳統(tǒng)方法在非標(biāo)定位置上的重建誤差比較大,而文中算法在這些位置上的精度高且穩(wěn)定。

3.2標(biāo)準(zhǔn)球測量

為了進(jìn)一步驗(yàn)證雙目立體視覺測量系統(tǒng)的標(biāo)定精度,基于相位結(jié)構(gòu)光對(duì)標(biāo)準(zhǔn)球進(jìn)行測量。如圖7所示,標(biāo)準(zhǔn)球規(guī)(如圖7)的兩個(gè)球心的距離為D=160.007 mm,兩個(gè)陶瓷球的直徑分別為80.001和79.999。將標(biāo)準(zhǔn)球規(guī)放置在雙目測量系統(tǒng)的視場范圍內(nèi),位置示意如圖8所示(單位:mm),在測量系統(tǒng)的測量空間范圍內(nèi)水平和垂直各放置三個(gè)位置,對(duì)每個(gè)位置進(jìn)行測量,測量結(jié)果見表3。

圖7　陶瓷標(biāo)準(zhǔn)球

圖8　測量位置示意

對(duì)標(biāo)準(zhǔn)球規(guī)進(jìn)行6次標(biāo)定,在測量空間的6個(gè)位置上分別進(jìn)行測量,用所有測量點(diǎn)基于最小二乘法原理擬合出球心,測量球心距。從表3可以看出,球心距誤差都小于0.04 mm,且在整個(gè)測量空間內(nèi)分布均勻。對(duì)標(biāo)準(zhǔn)球的測量精度低于標(biāo)定點(diǎn)的三維重建精度,這是由于在利用相位找對(duì)應(yīng)點(diǎn)時(shí)存在誤差造成的。

表3標(biāo)準(zhǔn)球測量結(jié)果

Table 3Measurement result of ceramic standard ball

4　結(jié)　論

提出了一種簡單、易操作的標(biāo)定流程及基于極線幾何約束的雙目立體視覺結(jié)構(gòu)光測量系統(tǒng)的外部參數(shù)優(yōu)化算法。以左右相機(jī)分別拍攝圖像計(jì)算各自的內(nèi)參數(shù),利用計(jì)算得到的內(nèi)參數(shù)作為雙目系統(tǒng)標(biāo)定的內(nèi)參數(shù)來標(biāo)定系統(tǒng)的外參數(shù)。由極線幾何約束在多視角下構(gòu)造優(yōu)化目標(biāo)函數(shù),采用非線性優(yōu)化計(jì)算得到雙目立體視覺結(jié)構(gòu)光系統(tǒng)的外參數(shù)。該方法的優(yōu)點(diǎn)在于目標(biāo)函數(shù)簡單,優(yōu)化參數(shù)少,計(jì)算穩(wěn)定。實(shí)驗(yàn)結(jié)果表明,與傳統(tǒng)的基于反投影誤差方法計(jì)算的外參數(shù)比較,標(biāo)定板和標(biāo)準(zhǔn)球的三維重建的精度在整個(gè)測量空間內(nèi)精度高且穩(wěn)定。

[1]VO M, WANG Z, PAN B, et al. Hy per-ac curate flexible calibration technique for fringe projection based three dimensional imaging[J]. Optics Express, 2012, 20(15): 16926-16941.

[2]CHEN F, BROWN G M, SONG M. Overview of three-dimensional shape measurement using optical methods[J]. Optical Engineering, 2000, 39(1): 10-22.

[3]BRADLEY D, BOUBERKEUR T, HEIDRICH W. Accurate multi-view reconstruction using robust binocular stereo and surface meshing[C]//Computer Vision and Pattern Recognition. Anchorage, AK: IEEE, 2008: 1-8.

[4]ZHANG Z. A flexible new technique for camera calibration[J]. Pattern Analysis and Machine Intelligence, IEEE Transactions on, 2000, 22(11): 1330-1334.

[5]ZAHARESCU A, HORAUD R, RONFARD R, et al. Multiple camera calibration using robust perspective factorization[C]//3D Data Processing, Visualization and Transmission, Third International Symposium on. Chapel Hill, NC: IEEE. 2006: 504-511.[6]薛俊鵬, 蘇顯渝, 肖永亮, 等. 基于雙目視覺的光束法平差新算法[J]. 光電子激光, 2011, 22(6): 888-892.

[7]FURUKAWA Y, PONCE J. Accurate camera calibration from multi-view stereo and bundle adjustment[J]. International Journal of Computer Vision, 2009, 84(3): 257-268.

[8]侯俊捷, 魏新國, 孫軍華. 基于同心圓合成圖像匹配的雙目視覺標(biāo)定[J]. 光學(xué)學(xué)報(bào), 2012, 32(3): 148-153.

(編輯晁曉筠)

Accurate and stable calibration technique for binocular stereo measurement system

HEWantao,LIANGYongbo,LIJinghe

(Modern Manufacture Engineering Center, Heilongjiang University of Science & Technology, Harbin 150022, China)

This paper is targeted at improving accuracy and stabilization of binocular stereo measurement system and presents a simple and effective calibration procedure and an external parameter optimizing method based on epipolar geometry. The method consists of calibrating the internal parameter of left and right camera respectively using the planar calibration method, calibrating the external parameter of the binocular stereo measurement system in every view using the parameters as initial value , and computing optimization result by minimizing epipolar line error of the same pair of points in every view. Experimental results that the method could produce binocular measurement system parameters which give the measurement system a higher and more stable precision in the whole measurement space volume and promises to play an important part in industrialized detection and application of the binocular stereo vision measurement system.

binocular stereo; structure light; measurement system calibration; epipolar geometry

2013-05-24

國家科技重大專項(xiàng)項(xiàng)目(2010ZX04016-012);黑龍江省教育廳科學(xué)技術(shù)研究項(xiàng)目(12531601)

何萬濤(1981-),男,黑龍江省哈爾濱人，講師,博士研究生,研究方向:光學(xué)三維測量、機(jī)器視覺,E-mail:hewantao1225@163.com。

10.3969/j.issn.1671-0118.2013.05.014

TP391.41

1671-0118(2013)05-0463-06

A