攝像機(jī)標(biāo)定方法的比較分析

胡 松, 王道累

(上海電力學(xué)院 能源與機(jī)械工程學(xué)院, 上海 200090)

隨著視覺傳感器及計(jì)算機(jī)技術(shù)的飛速發(fā)展,機(jī)器視覺得到了廣泛應(yīng)用,如用于3D測量、3D物體重建、視覺導(dǎo)航、生物醫(yī)學(xué)、虛擬現(xiàn)實(shí)等諸多領(lǐng)域。在計(jì)算機(jī)視覺技術(shù)中,攝像機(jī)的標(biāo)定是關(guān)鍵的步驟之一。攝像機(jī)的標(biāo)定是由兩臺(tái)不同位置攝像機(jī)或一臺(tái)攝像機(jī)通過移動(dòng)或者旋轉(zhuǎn)拍攝同一個(gè)場景,并且確定場景中物體表面某點(diǎn)的3D幾何坐標(biāo)與其在圖像中對應(yīng)點(diǎn)的坐標(biāo)之間的相互關(guān)系,以建立攝像機(jī)成像的幾何模型,而該幾何模型中的參數(shù)就是攝像機(jī)參數(shù)[1]。攝像機(jī)參數(shù)主要包括攝像機(jī)內(nèi)部幾何參數(shù)和反映攝像機(jī)坐標(biāo)系相對于世界坐標(biāo)系的三維坐標(biāo)外部參數(shù),如焦距、圖像中心坐標(biāo)、尺度因子和鏡頭畸變等屬于內(nèi)部參數(shù);而旋轉(zhuǎn)變量和平移變量等屬于外部參數(shù)。這些參數(shù)需要通過試驗(yàn)和計(jì)算得到。在計(jì)算機(jī)視覺和3D重建過程中,攝像機(jī)標(biāo)定是從二維圖像獲取3D幾何信息不可或缺的環(huán)節(jié),其精度和準(zhǔn)確性會(huì)影響后續(xù)的工作。因此,計(jì)算機(jī)視覺領(lǐng)域的研究者不斷地提出新的算法或方法來提高攝像機(jī)標(biāo)定的精度。

目前,攝像機(jī)標(biāo)定技術(shù)有很多種分類方法,主要分為傳統(tǒng)攝像機(jī)標(biāo)定方法、基于主動(dòng)視覺的標(biāo)定方法和自標(biāo)定方法[2]。傳統(tǒng)攝像機(jī)標(biāo)定方法的優(yōu)點(diǎn)是攝像機(jī)模型可以任意設(shè)定,標(biāo)定理論清晰,標(biāo)定精度高,可以適用于精度要求較高的場合,如三維重構(gòu)、生物醫(yī)學(xué)領(lǐng)域等。其缺點(diǎn)主要在于標(biāo)定的過程相對復(fù)雜,計(jì)算量大,需要較高精度的標(biāo)定模板,且無法實(shí)現(xiàn)實(shí)時(shí)標(biāo)定。一般在攝像機(jī)的世界坐標(biāo)系中運(yùn)動(dòng)參數(shù)已知的情況下,可以采用主動(dòng)視覺標(biāo)定技術(shù),通常能線性求解,且獲得的結(jié)果魯棒性較好。攝像機(jī)的自標(biāo)定方法不依賴標(biāo)定參照物,僅利用圖像與圖像的對應(yīng)關(guān)系來計(jì)算出攝像機(jī)模型的參數(shù),雖魯棒性不高,但具有很強(qiáng)的靈活性,應(yīng)用場合廣泛。

1 傳統(tǒng)攝像機(jī)標(biāo)定方法

傳統(tǒng)攝像機(jī)標(biāo)定方法是指利用一個(gè)幾何參數(shù)精確已知規(guī)則的標(biāo)定物作為空間參照物,將參照物上的已知點(diǎn)坐標(biāo)與該點(diǎn)在圖像上的坐標(biāo)建立對應(yīng)關(guān)系即為攝像機(jī)模型,再通過建立優(yōu)化算法模型計(jì)算出攝像機(jī)模型參數(shù)。傳統(tǒng)攝像機(jī)標(biāo)定方法可分為利用最優(yōu)化算法的標(biāo)定法、兩步法、張正友標(biāo)定法以及其他方法等。

1.1 利用最優(yōu)化算法的標(biāo)定方法

FAIG W[3]提出的利用最優(yōu)化算法的標(biāo)定方法是傳統(tǒng)攝像機(jī)標(biāo)定方法中的典型代表。在標(biāo)定過程中,他利用針孔攝像機(jī)模型的共面約束條件,引用了攝像機(jī)成像過程中出現(xiàn)的每一個(gè)因素,設(shè)計(jì)了一個(gè)攝像機(jī)成像模型,具備合理復(fù)雜性。此外,對于每一個(gè)圖像,為了更準(zhǔn)確地描述與其對應(yīng)的三維物體空間的約束關(guān)系,至少利用了17個(gè)參數(shù),因此使得該方法的計(jì)算量非常大,但同時(shí)能取得很高的精度。

直接線性變換法最早于1971年由ABDEL-AZIZ Y I等人提出[4],也屬于這一類標(biāo)定方法。它是一種對攝影測量學(xué)中傳統(tǒng)方法的簡化方法。該方法的特點(diǎn)是用基本的線性約束方程來表示3D物體空間坐標(biāo)系與攝像機(jī)坐標(biāo)系的線性變換關(guān)系,可通過簡單求解線性方程就能把攝像機(jī)模型的所有參數(shù)計(jì)算出來。但由于在整個(gè)過程中沒有考慮透鏡的非線性畸變問題,所以該方法的標(biāo)定精度不高,存在一定的局限性。

1.2 兩步法

TSAI R Y[5-6]在前人的理論基礎(chǔ)上,于1986年提出了基于徑向一致的攝像機(jī)標(biāo)定方法。該方法在利用徑向一致約束的基礎(chǔ)上建立線性方程,并進(jìn)行求解,將所求出的參數(shù)值作為初始值,再將鏡頭畸變這一因素考慮進(jìn)去,就可以求解出攝像機(jī)參數(shù),但這樣計(jì)算出來的結(jié)果不夠精確。為了提高標(biāo)定的精度,利用最優(yōu)化算法可以得出更精確的結(jié)果。由于該方法是將攝像機(jī)的標(biāo)定過程分為兩步進(jìn)行求解,因此叫做兩步標(biāo)定法。兩步法的優(yōu)點(diǎn)是求解參數(shù)比較容易,標(biāo)定過程也相對簡單,最關(guān)鍵的是克服了最優(yōu)化算法求解中的兩大缺點(diǎn),即直接線性變換法中未考慮鏡頭的線性畸變精度不高和初始值給定不合適就很難得出正確的結(jié)果。但兩步標(biāo)定法只考慮了透鏡的徑向畸變,沒有考慮切向畸變,因此其標(biāo)定精度還有待提高。

WENG J等人[7-8]在兩步法的基礎(chǔ)上改進(jìn)了TSAI R Y的畸變模型,同時(shí)考慮了透鏡的切向畸變,并給出了相應(yīng)的算法,使之能夠運(yùn)用于視場較大、畸變較嚴(yán)重的場合。徐杰[9]在TSAI R Y兩步標(biāo)定法基礎(chǔ)上,綜合分析了該方法的優(yōu)缺點(diǎn),并針對面陣CCD攝像機(jī),提出了新的更加綜合的畸變模型,使得該方法能夠用于多種復(fù)雜的鏡頭畸變的情況。為了滿足雙目立體視覺對工業(yè)檢測精度和實(shí)時(shí)性的要求,劉源泂等人[10]分析了攝像機(jī)成像模型的內(nèi)外參數(shù),并考慮了針孔模型的局限性,采用LENZ畸變模型,建立了基于面陣CCD的雙目成像幾何模型,提出了改進(jìn)的雙目攝像機(jī)兩步標(biāo)定法。同時(shí),對于兩步非線性優(yōu)化問題方法,TIAN S X等人[11]提出了一種基于LM算法的攝像機(jī)標(biāo)定方法,給出了線性規(guī)劃的內(nèi)外參數(shù),以DLT方法得到的相機(jī)模型作為其初始值,然后用LM算法計(jì)算出本征值的精確解以及非線性模型的外部參數(shù)。該方法在一定程度上能夠提高攝像機(jī)的標(biāo)定精度。

1.3 張正友標(biāo)定法

張正友標(biāo)定法[12]采用的是針孔成像模型,利用平面棋盤格標(biāo)定板,通過攝像機(jī)從不同方法拍攝標(biāo)定板圖像,然后通過拍攝的標(biāo)定板圖像上的點(diǎn)與模板上點(diǎn)的匹配運(yùn)算,得出相應(yīng)的單應(yīng)性矩陣,最后通過線性計(jì)算得出攝像機(jī)的內(nèi)部參數(shù),采用基于最大似然法進(jìn)行非線性優(yōu)化求精。該標(biāo)定法的標(biāo)定板成本低,容易制作,魯棒性好,標(biāo)定精度高,是一種適合實(shí)際應(yīng)用的簡單靈活的新方法,推動(dòng)了機(jī)器視覺從實(shí)驗(yàn)室向?qū)嶋H應(yīng)用的發(fā)展。但由于該方法假定模板圖像上的直線經(jīng)透視投影仍然為直線,因此在廣角鏡頭畸變較大的情況下并不適合。

1.4 其他傳統(tǒng)攝像機(jī)標(biāo)定方法

對于攝像機(jī)標(biāo)定的研究,有許多學(xué)者提出了比傳統(tǒng)標(biāo)定方法更具有針對性、實(shí)用性的新方法。如在張正友標(biāo)定方法基礎(chǔ)上,LI W M等人[13]提出了區(qū)別于張正友標(biāo)定方法的畸變模型,利用特定的超高精度的標(biāo)定板和改進(jìn)的畸變優(yōu)化算法,可以實(shí)現(xiàn)較高精度的相機(jī)校準(zhǔn),且其魯棒性要好于張正友標(biāo)定法。MENG X G等人[14]提出了一種基于圓點(diǎn)的平面型攝像機(jī)標(biāo)定方法,采用的是圓環(huán)模板,利用幾何約束關(guān)系能夠更快速地對攝像機(jī)進(jìn)行標(biāo)定,原理比較簡單,擺脫了圖像點(diǎn)與模板平面點(diǎn)之間的匹配問題。

WU Y H等人[15]提出了平行圓標(biāo)定法,從平行圓的最小個(gè)數(shù)計(jì)算圓環(huán)點(diǎn),不需要任何匹配,標(biāo)定過程簡單。張奎等人[16]提出了基于兩組同心圓環(huán)點(diǎn)的雙目攝像機(jī)的標(biāo)定方法,根據(jù)左右圖像的視差和射影幾何內(nèi)部的約束條件完成對攝像機(jī)內(nèi)參數(shù)的標(biāo)定。FENG H Z等人[17]提出了一種多相機(jī)校準(zhǔn)方法,用透明玻璃板代替普通標(biāo)定板,并將攝像機(jī)放置在標(biāo)定板的正反兩側(cè),采用張正友的標(biāo)定方法。這是一種不同于傳統(tǒng)方法的多重校準(zhǔn)的新方法,其優(yōu)點(diǎn)是多臺(tái)攝像機(jī)的校準(zhǔn)可以由一個(gè)試驗(yàn)完成,缺點(diǎn)是透明玻璃板背面的相機(jī)需要考慮光線折射,需要經(jīng)過非線性迭代,若初始值誤差較大,則標(biāo)定結(jié)果可能不夠精確。

這些新發(fā)展的傳統(tǒng)標(biāo)定方法,為攝像機(jī)標(biāo)定在計(jì)算機(jī)視覺領(lǐng)域甚至其他領(lǐng)域提供了更多且針對性更強(qiáng)的新方向,大大促進(jìn)了計(jì)算機(jī)視覺技術(shù)的發(fā)展。

此外,DONG Y等人[18]首先利用MATLAB校準(zhǔn)工具箱獲得攝像機(jī)初始內(nèi)部參數(shù),然后基于遺傳算法經(jīng)過幾代的進(jìn)化、選擇和變異,最后得到攝像機(jī)內(nèi)部參數(shù)最優(yōu)解。在基于遺傳算法的攝像機(jī)標(biāo)定方法方面,還有很多學(xué)者[19-22 ]進(jìn)行了研究,并取得了不錯(cuò)的結(jié)果。這些方法簡單而有效,具有一定的理論意義和實(shí)用價(jià)值。

2 基于主動(dòng)視覺的標(biāo)定方法

基于主動(dòng)視覺的標(biāo)定方法是指在已知攝像機(jī)的某些運(yùn)動(dòng)信息(如平移或旋轉(zhuǎn)運(yùn)動(dòng)等)下標(biāo)定攝像機(jī)的方法[23]。這種標(biāo)定方法需要控制攝像機(jī)做某些特殊運(yùn)動(dòng),如攝像機(jī)做相互正交的平移運(yùn)動(dòng),在平臺(tái)坐標(biāo)系下朝某一方向平移,攝像機(jī)僅作純平移或旋轉(zhuǎn)運(yùn)動(dòng)等。該方法的算法相對簡單,參數(shù)可以通過線性求解,魯棒性較高。但該方法需要使用高精度視覺平臺(tái)進(jìn)行攝像機(jī)標(biāo)定,系統(tǒng)成本較高,且不適用于攝像機(jī)運(yùn)動(dòng)未知或無法控制的場合[24]。根據(jù)攝像機(jī)所做運(yùn)動(dòng)的不同,可以將基于主動(dòng)視覺的標(biāo)定方法分為以下幾類。

2.1 基于攝像機(jī)作純旋轉(zhuǎn)運(yùn)動(dòng)的標(biāo)定方法

HARTLEY R[25]在1997年提出了通過控制攝像機(jī)繞光心作純旋轉(zhuǎn)運(yùn)動(dòng)來標(biāo)定攝像機(jī)的方法。HARTLEY標(biāo)定算法的優(yōu)點(diǎn)是可以線性求解攝像機(jī)的所有5個(gè)內(nèi)部參數(shù),缺點(diǎn)是在實(shí)際標(biāo)定過程中,攝像機(jī)光心的位置難以確定。因此,在實(shí)際應(yīng)用中,要求攝像機(jī)繞光心作純旋轉(zhuǎn)運(yùn)動(dòng)難以做到,其應(yīng)用場合比較有限。

2.2 基于三正交平移運(yùn)動(dòng)的標(biāo)定方法

MAS D[26]提出了利用主動(dòng)視覺系統(tǒng)控制攝像機(jī)作三正交平移運(yùn)動(dòng)的標(biāo)定方法。該方法屬于基于主動(dòng)視覺方法中目前論述較為詳細(xì)的標(biāo)定方法,主要優(yōu)點(diǎn)是可以通過線性求解攝像機(jī)的內(nèi)部參數(shù),缺點(diǎn)在于要求攝像機(jī)作三正交平移運(yùn)動(dòng),需要高精度的攝像平臺(tái)來實(shí)現(xiàn),系統(tǒng)成本昂貴,且對噪聲比較敏感,在環(huán)境嘈雜的地方所得誤差會(huì)較大。

2.3 基于無窮遠(yuǎn)平面單應(yīng)矩陣的標(biāo)定方法

文獻(xiàn)[27-29]提出,攝像機(jī)僅作一次平移和一次任意運(yùn)動(dòng),就可以通過相應(yīng)運(yùn)動(dòng)組下無窮遠(yuǎn)平面對應(yīng)的單應(yīng)矩陣線性求解,且解唯一;當(dāng)控制攝像機(jī)作一次平移運(yùn)動(dòng)和二次任意運(yùn)動(dòng)時(shí)(要求二次任意運(yùn)動(dòng)的旋轉(zhuǎn)軸不互相平行),攝像機(jī)就可以進(jìn)行線性標(biāo)定。由于該方法只需要攝像機(jī)作純平移運(yùn)動(dòng),無需特殊的設(shè)備,因此該方法最大的優(yōu)點(diǎn)是成本低,易于實(shí)現(xiàn),從理論上來說是一種非常完整的基于主動(dòng)視覺的攝像機(jī)標(biāo)定方法。

2.4 基于平面二次曲線攝像機(jī)作純旋轉(zhuǎn)運(yùn)動(dòng)的標(biāo)定方法

楊長江等人[30]在文獻(xiàn)[9]的基礎(chǔ)上,研究探討了一種以平面二次曲線的純旋轉(zhuǎn)攝像機(jī)為基礎(chǔ)的自標(biāo)定方法。該方法利用圖像間二次曲線的對應(yīng)關(guān)系來標(biāo)定純旋轉(zhuǎn)攝像機(jī)。利用圖像之間二次曲線的對應(yīng)關(guān)系,可以確定攝像機(jī)的內(nèi)部參數(shù)矩陣,每幅圖像至少包含兩個(gè)空間平面二次曲線,或兩個(gè)二次曲面,或一個(gè)二次曲面和一個(gè)平面二次曲線的投影。求解過程無需迭代,同時(shí)可以獲得攝像機(jī)不同方位之間的旋轉(zhuǎn)矩陣。該方法的主要缺點(diǎn)是要求攝像機(jī)只能繞光心旋轉(zhuǎn),且不能有平移運(yùn)動(dòng),在實(shí)際應(yīng)用中難以實(shí)現(xiàn),應(yīng)用場合有限。

3 攝像機(jī)自標(biāo)定方法

攝像機(jī)自標(biāo)定法是指利用攝像機(jī)在運(yùn)動(dòng)過程中圖像與圖像之間對應(yīng)點(diǎn)的關(guān)系,直接對攝像機(jī)進(jìn)行標(biāo)定。該方法采用的是針孔攝像模型,通過攝像機(jī)內(nèi)部參數(shù)的自身約束關(guān)系進(jìn)行求解。其與傳統(tǒng)標(biāo)定方法最大的區(qū)別就是無需放置標(biāo)定參照物[31]。隨著計(jì)算機(jī)視覺領(lǐng)域的興起,攝像機(jī)自標(biāo)定法于20世紀(jì)90年代得到了迅速發(fā)展。其優(yōu)點(diǎn)是更靈活且應(yīng)用范圍較廣。但該方法需要解多元非線性方程,所以其最大的缺點(diǎn)就是魯棒性差,一般只應(yīng)用于通信、虛擬現(xiàn)實(shí)等精度要求不高的領(lǐng)域。

4 結(jié) 語

本文介紹了近年來在攝像機(jī)標(biāo)定方面的研究進(jìn)展,并對不同方法的特點(diǎn)進(jìn)行了分析,對比了各典型方法的優(yōu)缺點(diǎn)及其應(yīng)用場合。隨著計(jì)算機(jī)視覺技術(shù)的發(fā)展,尋求一種快速又精確,適用于不同環(huán)境和場合的攝像機(jī)標(biāo)定法顯得格外重要。但如何提高攝像機(jī)的標(biāo)定精度還需要作深入的研究。