魚眼相機矢量觀測檢校模型及其應(yīng)用

詹銀虎，鄭　勇，張　超，駱亞波，王　凱

1. 信息工程大學導航與空天目標工程學院，河南 鄭州 450001； 2. 鄭州大學水利與環(huán)境學院，河南 鄭州 450001； 3. 總裝備部工程設(shè)計研究總院，北京 100028

?

魚眼相機矢量觀測檢校模型及其應(yīng)用

詹銀虎1，鄭勇1，張超1，駱亞波2，王凱3

1. 信息工程大學導航與空天目標工程學院，河南 鄭州 450001； 2. 鄭州大學水利與環(huán)境學院，河南 鄭州 450001； 3. 總裝備部工程設(shè)計研究總院，北京 100028

Foundation support： The National Natural Science Foundation of China (Nos.11373001; 41504018)

摘要：提出了一種基于矢量觀測的魚眼相機檢校新模型。該模型中的基本觀測量不僅包括半視場角，而且包括方位角。在模型中引入羅德里格矩陣，采用3個羅德里格參數(shù)表示外方位元素，簡化了觀測方程的形式及運算。采用實測的星圖數(shù)據(jù)對新模型與基于半視場角約束的檢校模型進行比較，結(jié)果表明新模型在約束方位角誤差方面具有明顯的優(yōu)勢，在約束半視場角誤差方面略有不足。建議在實際應(yīng)用中首先采用基于半視場角約束的檢校模型確定徑向畸變參數(shù)，然后再采用新模型求解其他相機參數(shù)。

關(guān)鍵詞：天文導航；魚眼相機；相機檢校；羅德里格矩陣；精度估計

魚眼相機是一種超大視場圖像采集設(shè)備，能夠?qū)崿F(xiàn)對全天區(qū)物體一次成像，在建筑施工[1]、森林監(jiān)測[2]、行星際漫游車天文導航[3-6]、天文大地測量[7-8]等領(lǐng)域有著廣泛應(yīng)用。由于魚眼相機具有特殊的投影和畸變，因此使用前需要進行嚴格的檢校，相機檢校工作顯得尤為重要。

1994年，文獻[9]開展了魚眼相機的檢校研究，但只考慮了對像主點坐標、焦距和像素尺寸的標定，沒有考慮魚眼鏡頭的投影和畸變模型，只取得了1°的檢校精度。2001年，文獻[10]在魚眼相機檢校中考慮了成像模型，發(fā)現(xiàn)物方空間直線經(jīng)魚眼鏡頭成像后為橢圓弧，以此對相機進行檢校，也取得了1°的檢校精度。2005年，文獻[11]通過室內(nèi)標較的方法，采用嚴格的平差解算對魚眼相機進行檢校，取得了137″的標定精度，但沒有給出詳細的檢校及畸變模型。2008年，文獻[12]采用等距投影模型，利用建筑物上的40個標志點對魚眼相機進行檢校，檢校精度達到258″。文獻[13—15]也展開了魚眼相機檢校技術(shù)研究，但都沒有給出明確的檢校精度。2012年，文獻[16]對恒星法魚眼相機檢校的理論和技術(shù)進行了深入研究，發(fā)現(xiàn)魚眼鏡頭畸變中的徑向畸變是最主要的，偏心畸變和平面內(nèi)畸變非常小，均在10-5～10-6量級，因此提出了基于半視場角約束的等立體角投影多項式畸變模型。模型中的相機參數(shù)包括像主點坐標、焦距、徑向畸變參數(shù)和外方位元素，該方法最終取得了優(yōu)于100″的檢校精度，達到了國際先進水平。需要說明的是，上述相機檢校均采用半視場角誤差作為精度指標，沒有考慮方位角誤差。

本文將構(gòu)建基于矢量觀測的相機檢校模型，檢校模型中的基本觀測量不僅包括半視場角，而且包括方位角。通過引入羅德里格矩陣，采用3個獨立的羅德里格參數(shù)表示外方位元素。本文還將新的檢校模型與基于半視場角約束的檢校模型進行對比，結(jié)果表明新模型可進一步提高相機檢校精度。

1基于半視場角約束的相機檢校模型

常用的魚眼鏡頭投影模型主要有4種，分別為等距投影、等立體角投影、體視投影和正交投影。本文采用的魚眼相機為等立體角投影模型，不考慮徑向畸變時物方點在相機坐標系下的半視場角計算公式為

(1)

式中，f為相機的焦距;r為物方點的像點(x,y)相對于像主點(x0,y0)的極距，計算公式為

(2)

采用4階多項式描述徑向畸變，有[16]

(3)

設(shè)物方點在測站地平坐標系下的方位角和天頂距為(ADP,ZDP)，則其理想的半視場角為[15]

Z′=arccos(sinφ2cosφ1sinZDPcosADP-

sinφ2sinφ1sinZDPsinADP+cosφ2cosZDP)

(4)

式中，(φ1,φ2)為外方位元素。構(gòu)建誤差方程

v=Z0+ΔZ-Z′

(5)

對誤差方程進行線性化，利用最小二乘法即可求解得到相機參數(shù)。

基于半視場角約束的相機檢校模型只利用了相機觀測量中的半視場角，沒有用到方位角。下文將從矢量的角度出發(fā)，構(gòu)建全新的相機檢校模型。

2基于矢量觀測的相機檢校模型

2.1矢量觀測模型

設(shè)物方空間某點在相機坐標系下的方位角和天頂距(或半視場角)為(A,Z)，則物方點在相機坐標系下的直角坐標為

(6)

物方點在地平坐標系下的直角坐標為

(7)

SCCD與SDP之間存在旋轉(zhuǎn)關(guān)系

SDP=RSCCD

(8)

式中，R為旋轉(zhuǎn)矩陣，由外方位元素決定；SCCD與內(nèi)方位元素有關(guān)。當觀測量足夠多時，進行線性化，利用最小二乘法即可求解相機的內(nèi)外方位元素，實現(xiàn)相機檢校。

2.2羅德里格矩陣

所有旋轉(zhuǎn)矩陣R均可由反對稱矩陣Q和單位陣I表示，即[17-18]

R=(I+Q)(I-Q)-1

(9)

式中

(10)

式中，(a,b,c)即為羅德里格參數(shù)，用來表示外方位元素。式(8)可表示為

(11)

Q矩陣具有如下性質(zhì)

(I+Q)(I-Q)=(I-Q)(I+Q)

(12)

式中，右邊和左邊同乘以(I-Q)-1得

(I-Q)-1(I+Q)=(I+Q)(I-Q)-1

(13)

將式(13)代入式(11)并整理得

(14)

再將Q矩陣代入式(14)并展開得

(15)

構(gòu)建誤差方程

(16)

由式(16)可知，采用羅德里格參數(shù)表示外方位元素時，避免了復(fù)雜的三角函數(shù)運算，誤差方程的形式及運算更為簡單。

2.3各偏導數(shù)表達式

V1對(x0,y0,f,k1,k2,k3,a,b,c)的偏導數(shù)為

(17)

(18)

(19)

(20)

V2對(x0,y0,f,k1,k2,k3,a,b,c)的偏導數(shù)為

(21)

(22)

(23)

(24)

V3對(x0,y0,f,k1,k2,k3,a,b,c)的偏導數(shù)為

(25)

(26)

(27)

(28)

SCCD各坐標分量對像主點坐標(x0,y0)的偏導數(shù)為

(29)

(30)

SCCD各坐標分量對焦距f的偏導數(shù)為

(31)

SCCD各坐標分量對徑向畸變參數(shù)(k1,k2,k3)的偏導數(shù)為

(32)

(33)

(34)

(A,Z)對像主點坐標(x0,y0)的偏導數(shù)為

(35)

(36)

式中

(37)

(38)

(39)

(A,Z)對焦距f的偏導數(shù)為

(40)

(41)

(A,Z)對徑向畸變參數(shù)(k1,k2,k3)的偏導數(shù)為

(42)

(43)

2.4參數(shù)求解及精度估計

設(shè)未知參數(shù)的初值為

(44)

誤差方程線性化并寫為矢量相乘形式

(45)

如果有n個物方點及對應(yīng)的像點，則有3n個誤差方程，根據(jù)最小二乘法可求解未知參數(shù)的改正數(shù)為

(46)

相機參數(shù)估值為

(47)

單位權(quán)中誤差為

(48)

未知參數(shù)的權(quán)逆陣為

(49)

相機參數(shù)的精度估計公式為[19]

(50)

(51)

(52)

上述精度估計公式只能作為內(nèi)符合精度估計。在求解未知參數(shù)的過程中需要迭代計算，每次迭代計算出新的相機參數(shù)后，要根據(jù)新的相機參數(shù)計算物方點在CCD坐標系下的坐標，然后再構(gòu)建誤差方程進行參數(shù)解算。

目前，相機檢校領(lǐng)域主要采用3個歐拉角描述外方位旋轉(zhuǎn)元素，三角函數(shù)線性化較為復(fù)雜。此外，歐拉角通常為大旋轉(zhuǎn)角，初值很難準確確定，致使求解陷入局部最優(yōu)。本文采用羅德里格矩陣表示外方位旋轉(zhuǎn)元素，不僅避免了復(fù)雜的三角函數(shù)運算，簡化了計算公式，而且容易確定初值。實際應(yīng)用中，根據(jù)內(nèi)方位元素(主點坐標、焦距和畸變參數(shù))，將像點映射到相機坐標系，然后根據(jù)式(16)采用最小二乘法，即可直接計算3個羅德里格參數(shù)(a,b,c)作為初值。

3算例分析

采用恒星法進行魚眼相機檢校，具有不需要建立專門的檢校場，作為控制點的夜空中的恒星數(shù)目眾多，以及恒星均勻分布于全天區(qū)等優(yōu)點。2012-08-22夜，在登封地區(qū)采用自己構(gòu)建的魚眼相機拍攝到真實星空進行相機檢校。魚眼鏡頭采用尼康公司生產(chǎn)的AF DX Fisheye-Nikkor10.5 mm f/2.8GED，CCD采用美國Apogee 儀器公司生產(chǎn)的Alta U9000[20]。經(jīng)過星點提取及星圖識別，匹配得到1080顆高度角大于10°、星等高于5.0的恒星。

約定以下3種相機檢校模型：

模型1：基于半視場角約束的相機檢校模型，求解(x0,y0,f,k1,k2,k3,φ1,φ2)共8個參數(shù)。

模型2：基于矢量觀測的相機檢校模型，求解(x0,y0,f,k1,k2,k3,a,b,c)共9個參數(shù)。

模型3：簡化的基于矢量觀測的相機檢校模型，只求解(x0,y0,f,a,b,c)共6個參數(shù)，徑向畸變參數(shù)(k1,k2,k3)作為已知量由模型1的解算結(jié)果提供。

采用的相機固化的較好，CCD具有溫控措施，因此相機內(nèi)方位元素(主點坐標、焦距和畸變參數(shù))變化較小，采用的初值均是先前累積的解算結(jié)果，為經(jīng)驗值。而外方位元素涉及相機坐標系與地平坐標系之間的轉(zhuǎn)換，在試驗前通過水平儀(徠卡Nivel 230)將相機主光軸大致調(diào)為與本地鉛垂線重合，因此模型1的外方位元素初值均設(shè)置為零。模型2和模型3的3個羅德里格參數(shù)a、b、c的初值是這樣設(shè)定的：視內(nèi)參數(shù)(主點坐標、焦距和畸變參數(shù))初值為已知，將像點映射到相機坐標系下，采用式(16)根據(jù)最小二乘法計算a、b、c的初值。

目前的文獻均采用方位角和天頂距的均方根誤差衡量魚眼相機的檢校精度，即利用求解的外方位元素構(gòu)造相機坐標系與地平坐標系之間的旋轉(zhuǎn)矩陣R，然后利用R矩陣將相機坐標系下的觀測矢量旋轉(zhuǎn)變換到地平坐標系下，最后統(tǒng)計方位角和天頂距的均方根誤差，均方根誤差越小，說明相機檢校的精度越高。圖1、圖2給出了采用不同天頂距截止角以內(nèi)數(shù)據(jù)進行相機檢校得到的方位角均方根誤差RMSE(A)和天頂距均方根誤差RMSE(Z)。

圖1　不同檢校模型的方位角均方根誤差Fig.1　Root mean square errors of azimuth of different calibration models

由圖1可知，模型2和模型3的方位角均方根誤差要明顯小于模型1，而且半視場截止角越小，模型2和模型3的優(yōu)勢越明顯。當半視場截止角增大到80°時，3種模型的方位角均方根誤差趨于一致。

圖2　不同檢校模型的天頂距均方根誤差Fig.2　Root mean square errors of zenith distance of different calibration models

由圖2可知，模型1和模型3的天頂距均方根誤差要明顯小于模型2。由于模型3直接采用了模型1的徑向畸變參數(shù)，因此可以說明模型1求解的徑向畸變參數(shù)和焦距更準確可靠。而圖1顯示模型2的方位角均方根誤差要明顯小于模型1，說明模型2求解的像主點坐標、焦距和外方位元素更準確。

總體均方根誤差計算公式如下

(53)

表1給出了3種模型的總體均方根誤差RMSE。

表1　3種模型的總體均方根誤差

由表1可知，半視場截止角越小，模型2和模型3的精度相對于模型1優(yōu)勢更明顯。當半視場角截止角增大到80°時，3種模型的精度趨于一致。說明本文提出的基于矢量觀測的相機檢校模型總體要優(yōu)于基于半視場角約束的相機檢校模型。

需要說明的是，模型3的徑向畸變參數(shù)由模型1給出，但不是將模型1的徑向畸變參數(shù)當作模型3的初始值，而是已知值，模型3只是改進其他相機參數(shù)(主點坐標、焦距、外方位元素)的精度。也就是說，采用模型1+模型3的組合模式，可以最大限度地提高相機檢校的精度。

與傳統(tǒng)的基于室內(nèi)人工標志點的魚眼相機檢校方法相比，恒星法魚眼相機檢校具有如下優(yōu)點：

(1) 作為控制點的恒星數(shù)目眾多，一次拍攝可獲取上千顆恒星影像，且均勻分布于視場內(nèi)；

(2) 由于恒星具有無窮遠的屬性，因此在相機檢校模型中無須求解外方位元素中的3個平移參數(shù)，降低了參數(shù)之間的相關(guān)性，使求解穩(wěn)定；

(3) 對于在軌航天器及長時間漫游于月球和火星表面的探測車等設(shè)備，由于沒有人工控制點，可以考慮采用恒星法進行在軌標定。

4結(jié)論

綜合以上分析可以得出以下基本結(jié)論：

(1) 基于半視場角約束的相機檢校模型在求解徑向畸變參數(shù)時表現(xiàn)出較為明顯的優(yōu)勢，建議在進行魚眼相機檢校時，采用此方法求解徑向畸變參數(shù)；

(2) 本文提出的基于矢量觀測的相機檢校模型總體要明顯優(yōu)于基于半視場角約束的相機檢校模型，但其在求解徑向畸變參數(shù)時表現(xiàn)出一定的不足；

(3) 建議在實際應(yīng)用中，建議采用模型1+模型3的組合方法進行相機檢校，即采用基于半視場角約束的相機檢校模型求解徑向畸變參數(shù)，將其作為已知值，然后采用本文提出的算法求解其他相機參數(shù)，以提高相機檢校的整體精度。

參考文獻：

[1]侯文廣, 尚濤. 魚眼鏡頭在獲取建筑物立面影像中的新方法[J]. 武漢大學學報(工學版), 2007, 40(1): 105-109.

HOU Wenguang, SHANG Tao. A New Method for Obtaining Fa?ade Image of Building by Using Fish-eye Lens[J]. Engineering Journal of Wuhan University, 2007, 40(1): 105-109.

[2]凌飛龍, 李增元, 陳爾學, 等. 青海云杉林葉面積指數(shù)半球攝影測量方法研究[J]. 地球科學進展, 2009, 24(7): 803-809.

LING Feilong, LI Zengyuan, CHEN Erxue, et al. Leaf Area Index Estimation for Qinghai Spruce Forest Using Digital Hemispherical Photography[J]. Advances in Earth Science, 2009, 24(7): 803-809.

[3]DEANS M C, WETTERGREEN D, VILLA D. A Sun Tracker for Planetary Analog Rovers[C]∥Proceedings of the 8th International Symposium on Artificial Intelligence, Robotics and Automation in Space.Munich, Germany: [s.n.], 2005: 1-7.

[4]URGALE P, ENRIGHT J, BARFOOT T. Sun Sensor Navigation for Planetary Rovers: Theory and Field Testing[J]. IEEE Transactions on Aerospace and Electronic Systems, 2011, 47(3): 1631-1647.

[5]THEIN M L, QUINN D A, FOLTA D C. Celestial Navigation (CelNav):Lunar Surface Navigation[C]∥Proceedings of the 2008 AIAA/AAS Astrodynamics Specialist Congress and Exposition.Honolulu, Hawaii:[s.n.], 2008: 1-19.

[6]楊鵬. 基于太陽觀測圖像的月球車天文導航[D]. 杭州: 浙江大學, 2011.

YANG Peng.Sun Observation Image Based Celestial Navigation for Lunar Rover[D]. Hangzhou: Zhejiang University, 2011.

[7]李崇輝, 鄭勇, 張超, 等. 一種無需精密整平的抗差天文定位方法[J]. 測繪學報, 2013, 42(6): 810-816.

LI Chonghui, ZHENG Yong, ZHANG Chao, et al. A Robust Celestial Positioning Method without Precise Leveling[J]. Acta Geodaetica et Cartographica Sinica, 2013, 42(6): 810-816.

[8]ZHAN Yinhu, ZHENG Yong, ZHANG Chao. Celestial Positioning with CCD Observing the Sun[C]∥SUN Jiadong, JIAO Wenhai, WU Haitao, et al.China Satellite Navigation Conference (CSNC) 2013 Proceedings. Berlin Heidelberg:Springer, 2013: 697-706.

[9]SHAH S, AGGARWAL J K. Intrinsic Parameter Calibration Procedure for a (high distortion) Fish-eye Lens Camera with Distortion Model and Accuracy Estimation[J]. Pattern Recognition,1996, 29(11): 1775-1788.

[10]BRAUER-BURCHARDT C, VOSS K. A New Algorithm to Correct Fish-eye and Strong Wide-Angle-Lens-Distortion from Single Images[C]∥Proceedings of 2001 International Conference on Image Processing.Thessaloniki,Greece: IEEE, 2001,1: 225-228.

[11]KEDZIERSKI M, FRYSKOWSKA A. Precise Method of Fish-eye Lens Calibration[C]∥Proceedings of the 21th ISPRS Congress.Beijing, China:[s.n.], 2008: 765-768.

[12]SCHWALBE E. Geometric Modelling and Calibration of Fisheye Lens Camera Systems[C]∥Proceedings of the 2nd Panoramic Photogrammetry Workshop, International Archives of Photogrammetry, Remote Sensing and Spatial Information Sciences.Berlin, Germany:[s.n.], 2005, 36: 1-6.

[13]劉興庫, 何東坡, 李兆華. 魚眼全景像片光束法整體平差解法[J]. 測繪學報, 1993, 22(3): 218-222.

LIU Xingku, HE Dongpo, LI Zhaohua. A Method of Overall Bundle Adjustment of the Panoramic Photograph by Fish Eye Lens[J]. Acta Geodaetica et Cartographica Sinica, 1993, 22(3): 218-222.

[14]賈云得, 呂宏靜, 徐岸, 等. 一種魚眼鏡頭成像立體視覺系統(tǒng)的標定方法[J]. 計算機學報, 2000, 23(11): 1215-1219.

JIA Yunde, Lü Hongjing, XU An, et al. Fish-eye Lens Camera Calibration for Stereo Vision System[J]. Chinese Journal of Computers, 2000, 23(11): 1215-1219.

[15]英向華, 胡占義. 一種基于球面透視投影約束的魚眼鏡頭校正方法[J]. 計算機學報, 2003, 26(12): 1702-1708.

YING Xianghua, HU Zhanyi. Fisheye Lense Distortion Correction Using Spherical Perspective Projection Constraint[J]. Chinese Journal of Computers, 2003, 26(12): 1702-1708.

[16]原玉磊. 魚眼相機恒星法檢校技術(shù)研究[D].鄭州:信息工程大學, 2012.

YUAN Yulei. Research on Fish-Eye Camera Stellar Calibration Technology[D].Zhengzhou: The PLA Information Engineering University, 2012.

[17]曾文憲, 陶本藻. 三維坐標轉(zhuǎn)換的非線性模型[J]. 武漢大學學報(信息科學版), 2003, 28(5): 566-568.

ZENG Wenxian, TAO Benzao. Non-linear Adjustment Model of Three-Dimensional Coordinate Transformation[J]. Geomatics and Information Science of Wuhan University, 2003, 28(5): 566-568.

[18]姚吉利, 韓保民, 楊元喜. 羅德里格矩陣在三維坐標轉(zhuǎn)換嚴密解算中的應(yīng)用[J]. 武漢大學學報(信息科學版), 2006, 31(12): 1094-1096.

YAO Jili, HAN Baomin, YANG Yuanxi. Applications of Lodrigues Matrix in 3D Coordinate Transformation[J]. Geomatics and Information Science of Wuhan University, 2006, 31(12): 1094-1096.

[19]隋立芬, 宋力杰. 誤差理論與測量平差基礎(chǔ)[M]. 北京: 解放軍出版社, 2003.

SUI Lifen, SONG Lijie. Basis of Error Theory and Surveying Adjustment[M]. Beijing: PLA Press, 2003.

[20]APOGEE. U9000 High Light[R/OL]. (2006-10-16)[2014-12-05]Apogee Instruments, 2006. http:∥www.Apogee.com.

(責任編輯：叢樹平)

Fish-eye Camera Calibration Model Based on Vector Observations and Its Application

ZHAN Yinhu1，ZHENG Yong1，ZHANG Chao1，LUO Yabo2，WANG Kai3

1. College of Navigation and Aerospace Engineering, Information Engineering University,Zhengzhou 450001, China; 2. College of Water Conservancy and Environmental, Zhengzhou University,Zhengzhou 450001, China; 3. Center for Engineering Design and Research under the Headquarters of General Equipment, Beijing 100028, China

Abstract：A fish-eye camera calibration model is presented, basic observations of which consist of both half angle of view and azimuth. Rodrigues matrix is introduced into the model, and three Rodrigues parameters instead of Euler angles are used to represent elements of exterior orientation in order to simplify the expressions and calculations of observation equations.The new model is compared with the existing models based on half angle of view constraint by actual star-map data processing, and the results indicate that the model is superior to control the azimuth error, while slightly inferior to constrain the error of half angle of view. It is advised that radial distortion parameters should be determined by the model based on half angle of view constraint at first, and other camera parameters should be calculated by the new model.

Key words：celestial navigation；fish-eye camera；camera calibration；Rodrigues matrix；precision estimation

基金項目：國家自然科學基金(11373001; 41504018)

中圖分類號：P231

文獻標識碼：A

文章編號：1001-1595(2016)03-0332-07

作者簡介：第一 詹銀虎(1986—)，男，博士生，研究方向為天文導航。E-mail： oscardad@163.com

收稿日期：2015-02-02

引文格式：詹銀虎，鄭勇，張超,等.魚眼相機矢量觀測檢校模型及其應(yīng)用[J].測繪學報，2016,45(3)：332-338. DOI:10.11947/j.AGCS.2016.20150080.

ZHAN Yinhu,ZHENG Yong,ZHANG Chao，et al.Fish-eye Camera Calibration Model Based on Vector Observations and Its Application[J]. Acta Geodaetica et Cartographica Sinica,2016,45(3):332-338. DOI:10.11947/j.AGCS.2016.20150080.

修回日期： 2016-01-08

First author： ZHAN Yinhu(1986—), male, PhD candidate, majors in celestial navigation.