單像自標定的迭代優(yōu)化方法*

劉丹，劉學軍，2，王美珍，2(.南京師范大學虛擬地理環(huán)境教育部重點實驗室，江蘇南京20023；2.警用地理信息技術公安部重點實驗室，江蘇常州23022)

單像自標定的迭代優(yōu)化方法*

劉丹1，劉學軍1，2，王美珍1，2
(1.南京師范大學虛擬地理環(huán)境教育部重點實驗室，江蘇南京210023；2.警用地理信息技術公安部重點實驗室，江蘇常州213022)

針對基于滅點的單像自標定方法精度不高的局限性，利用影像中的滅點和橢圓幾何約束信息，提出一種迭代優(yōu)化的單像自標定方法。根據(jù)極點-極線關系及其表示的正交性，由影像中的橢圓曲線及其所在平面的滅線確定一組正交共軛滅點對。利用這些正交共軛滅點對建立關于主距和主點的非線性模型，以主距的方差最小作為優(yōu)化準則，并選用多個位置作為主點的初始值進行多次迭代優(yōu)化估計，獲得主距和主點的最優(yōu)結果。仿真影像和真實影像實驗結果表明，該方法能夠有效地實現(xiàn)單像自標定。與基于滅點的攝像機標定方法相比，該方法能夠獲得更為滿意的標定結果。

攝像機標定；滅點；橢圓；迭代優(yōu)化

攝像機標定是攝影測量和計算機視覺領域中的基本任務之一，其目的是從攝像機攝取的二維影像出發(fā)，計算攝像機的內(nèi)外參數(shù)，并由此重構三維場景。傳統(tǒng)的攝像機標定方法［1-3］利用已知的標定物進行標定，標定精度高，但需要事先已知標定物，適用性受限。近年來，利用影像信息進行標定的攝像機自標定方法引起了研究者們廣泛的興趣，并對其進行了大量的研究。傳統(tǒng)的自標定方法需要場景的兩幅或者兩幅以上影像，利用影像之間對應的特征點關系進行標定［4-6］，而基于單幅影像的自標定方法由于缺乏影像之間的對應關系，只能利用影像中的幾何特征進行標定，主要包括基于滅點/滅線［7-8］、基于圓形［9-10］、基于對稱性［11］和基于共面點/共面性［12-13］的標定方法。

隨著數(shù)碼相機應用的深入普及，基于滅點的單像自標定方法受到了研究學者們的高度重視。Caprile等［7］首次提出利用三個滅點進行標定，采用45°角拍攝的立方體影像作為標定物。隨后，眾多學者在此基礎上進行了研究。Guillou等［8］利用單幅影像中的兩個滅點和一條已知線段進行標定；張祖勛等［14］利用滅點與方位元素之間的幾何關系，建立滅點平差模型，通過迭代求解內(nèi)外方位元素；霍炬等［15］利用兩組正交的平行直線形成的滅點信息，并加入畸變系數(shù)進行非線性優(yōu)化。但是基于滅點的標定方法仍然存在一些不足:滅點易受噪聲的影響，使得基于滅點的標定方法精度不高，尤其是難以精確地估計主點的位置；當影像中只存在兩個正交方向的滅點時，需假設主點坐標已知(如位于影像中心)，而這不符合實際條件，因此利用滅點通常只能進行弱標定。

自然場景中不僅含有大量的直線信息，還含有許多圓形物體，如井蓋、標志牌等。因此，結合場景中的直線和圓形等信息，提出一種攝像機內(nèi)參的迭代優(yōu)化方法。在基于滅點的攝像機標定基礎上，根據(jù)極點-極線關系及其表示的正交性，進一步進行迭代優(yōu)化，獲取主距和主點坐標的最優(yōu)解。

1 原理與方法

1.1 基于滅點的攝像機標定方法

空間上一組平行直線，在影像上會聚焦于一點，即滅點。基于滅點的標定方法就是利用透視變換下滅點的正交性進行標定，其原理為:空間上三組正交的平行線投影在影像上的直線段分別聚焦于三個滅點，其在攝像機坐標系下仍然正交［4］。因此，當場景滿足“Manhattan World Assumption”(即場景中存在三個相互正交方向(稱為主方向)的直線)時，就可以利用三個正交方向的滅點標定三參數(shù)模型:主距f和主點坐標(x0，y0)；若場景中只存在兩個正交方向的直線，則需假設主點坐標已知(通常假設位于影像中心)，且只能標定一參數(shù)模型，即主距f。f可以由主點坐標和任意一對正交滅點計算得到:

式中，(xv1，yv1)，(xv2，yv2)為兩個正交滅點v1，v2的坐標。

滅點對噪聲非常敏感，使得基于滅點的攝像機標定方法標定精度較弱，尤其是對主點位置的計算不穩(wěn)定；此外，基于滅點的標定方法對場景的限制比較大，需要場景滿足“Manhattan World Assumption”條件，而當只存在兩個正交方向的直線時，則只能標定一參數(shù)模型。因此，利用滅點進行單像標定通常是對攝像機進行弱標定。

1.2 基于迭代優(yōu)化的單像標定方法

結合影像中的滅點和橢圓二次曲線信息，根據(jù)極點-極線關系及其表示的正交性，對相機主距和主點坐標進行迭代優(yōu)化。

1.2.1 正交共軛滅點對

極點-極線關系:設x為平面上的一點，C為平面上的一條二次曲線，則點x和二次曲線C能夠定義一條直線l=Cx。這條直線l=Cx就稱為x關于C的極線，而點x=C-1l稱為l關于C的極點［3］。極線l上的任意一點y與極點x關于二次曲線C共軛，且滿足yTCx=0。如圖1(a)所示。

由極點-極線關系表示的正交性:設C為平面內(nèi)的一條二次曲線，v1，v2分別為兩個不同直線方向所對應的滅點，若這兩個直線方向正交，則滅點v1，v2關于二次曲線C共軛，滿足vT2Cv1=0［16］。此時v1，v2稱為正交共軛滅點對。同樣，若平面內(nèi)兩個滅點v1，v2滿足vT2Cv1=0，則這兩個點所對應的直線方向相互正交。

圖1 極點-極線關系表示的正交共軛滅點對Fig.1 Orthogonal conjugate vanishing point pairs computed by the pole-polar relationship

如圖1(b)所示，l∞為平面內(nèi)的滅線，C為二次曲線。l∞上的點v1和直線l是關于二次曲線C的極點-極線關系，即l=Cv1。滅線l∞和極線l交于一點v2。根據(jù)極點-極線關系及其表示的正交性可知，v1和v2關于二次曲線C共軛，并且是一對正交共軛滅點，滿足vT2l=vT2Cv1=0。因此，給定平面內(nèi)一條滅線l∞和絕對二次曲線C，滅線l∞的任意一點v1的正交共軛滅點是v1關于C的極線l和滅線l∞的交點，即可通過式(2)計算v1的正交共軛滅點v2。

因此，若已知平面內(nèi)的一條二次曲線(如橢圓)及該平面的滅線時，可以根據(jù)式(2)得到一組正交共軛滅點對。

1.2.2 迭代優(yōu)化進行標定

當主點坐標已知時，利用一對正交共軛滅點根據(jù)式(1)就可以計算主距f。但由式(2)可以得到n對正交共軛滅點，并且每對正交共軛滅點計算的主距值不同，由此便得到了一組主距F={f1，f2，…，fn}。根據(jù)主距的計算公式(1)可知，主距f的值與滅點對和主點有關。在采樣點(即n對正交滅點)不變時，計算得到的一組主距F的誤差與主點誤差相關，主點坐標越靠近真實值，F(xiàn)中的所有主距值分布越集中，相反，主點位置越偏離真實值，F(xiàn)的分布越分散。由于方差是衡量取值分散程度的一個尺度，因此可以用F的方差D作為評價準則判斷主點位置的正確性，方差D越小，主點的值越接近真實值。當主點的位置正確時，D應該最小。利用方差D作為目標函數(shù)，對主點坐標(x0，y0)和主距f進行迭代優(yōu)化:

式中，fi是由第i對正交滅點(i=1，2，…，n)通過式(1)計算得到的主距，ˉf為F的均值。

式(3)是一個參數(shù)為(f，x0，y0)的非線性模型，利用Levenberg-Marquardt(LM)算法進行迭代優(yōu)化求解。為解決LM算法的初值選取和存在陷入局部極小值的問題，在優(yōu)化過程中選用多個點(如以影像中心為中心的100×100的窗口)作為主點的初始值，對于每個初始值利用式(3)進行迭代優(yōu)化得到多個優(yōu)化結果，選擇其中方差最小的結果作為最終的優(yōu)化結果。算法的具體流程如圖2所示。

圖2 基于迭代優(yōu)化的單像自標定Fig.2 Camera self-calibration from a single image based on iterative optimization

2 實驗與分析

通過仿真影像和真實影像實驗對所提方法進行驗證，在實驗中，與基于滅點的攝像機標定方法［7］進行對比，由此驗證所提方法的可行性及有效性。

2.1 仿真實驗

仿真實驗數(shù)據(jù)為在三維空間上生成的三個正交方向的直線和一個圓，如圖3(a)所示，每個方向生成11條直線。仿真采用主距為15mm，像素大小為0.0067(mm/pixel)的模擬攝像機，影像大小設置為1280×1024(pixel×pixel)。使用以上攝像機參數(shù)將生成的空間數(shù)據(jù)投影到二維平面上，得到的透視投影影像如圖3(b)所示。

圖3 仿真實驗數(shù)據(jù)Fig.3 Data of simulated experiments

實驗中分別將主點坐標向左和向上偏移(10，10)，(20，20)，(50，50)，得到主點坐標不同的三組數(shù)據(jù)(設為c=(10，10)，(20，20)，(50，50))。為分析噪聲對結果的影響，對每組數(shù)據(jù)的每個影像點分別加上均值為0，均方差為δ=0，0.2，0.4，…，4的高斯噪聲?；跍琰c的標定方法和本文方法得到的標定結果如圖4所示。圖4(a)分別為三組數(shù)據(jù)使用兩種方法計算的主點坐標在不同噪聲水平下的偏移量(絕對誤差)，圖4(b)分別為三組數(shù)據(jù)使用兩種方法計算的主距在不同噪聲水平下的相對誤差，圖中VP表示基于滅點的攝像機標定方法，Pro表示本文方法。

圖4 仿真實驗結果Fig.4 Results of simulated experiments

2.2 真實影像實驗

2.2.1 實驗數(shù)據(jù)

真實影像實驗采用不同型號的攝像機拍攝得到場景影像，然后對其進行實驗與分析，采集的實驗數(shù)據(jù)如表1所示，拍攝的影像數(shù)據(jù)如圖5所示。在實驗中，首先采用直線段檢測器(Line Segment Detection，LSD)［17］提取影像中的直線段，使用多模型穩(wěn)健估計(J-Linkage)［18］對提取的直線段聚類分組，采用直接最小二乘方法［19］擬合影像中的橢圓；然后根據(jù)分組得到的直線段，利用奇異值分解(Singular Value Decomposition，SVD)解算三個/兩個主方向的滅點坐標。圖5中顯示的是直線段檢測與聚類后三個主方向的直線段以及橢圓擬合后得到的結果。

表1 真實場景實驗數(shù)據(jù)Tab.1 Experiment data of real scenario

2.2.2 實驗結果

采用上述實驗數(shù)據(jù)，分別利用本文提出的方法和基于滅點的方法計算標定參數(shù)，兩種方法的實驗結果如表2所示。從表2可以看出本文方法的標定精度相對于基于滅點的單像自標定方法有所提高。

圖5 實驗影像Fig.5 Experimental images

表2 兩種方法的攝像機標定結果Tab.2 Results of camera calibration estimated by the twomethods

2.3 分析與討論

基于迭代優(yōu)化的單像自標定方法，利用場景中的圓形物，對標定參數(shù)進行迭代優(yōu)化。對仿真實驗和真實影像實驗結果進行分析:①從仿真實驗結果圖4中可以看出，主點坐標的求解易受噪聲的影響，進一步影響了主距的精度，在經(jīng)過迭代優(yōu)化后，主點的精度有了較大的提高，進一步使得主距的求解更加精確；在真實實驗結果表2中，對于三組實驗數(shù)據(jù)，基于滅點的攝像機標定方法得到主距的相對誤差分別為11.8%，2.7%，13.4%，而基于本文方法標定的主距的相對誤差分別為1.0%，0.2%，3.9%，可以看出本文方法的標定精度相對于基于滅點的方法有較大的提高。②真實影像實驗中利用影像Img1進行攝像機標定時，由于提取的直線段中含有較多錯誤分類線段，導致基于滅點的攝像機標定精度較差，但是通過迭代優(yōu)化后的結果有較大的提高。③真實影像實驗中后兩者實驗影像的實驗數(shù)據(jù)相同，但是基于影像Img2的標定精度高于基于影像Img3的標定精度，這是由于場景影像Img3中只富含兩個方向的直線信息，第三個方向的直線非常少，從而使得該方向估計的滅點誤差非常大，直接影響了攝像機標定結果，但是通過迭代優(yōu)化后的標定精度有所提高。

根據(jù)以上實驗分析可知，本文方法充分利用了影像中的滅點和橢圓二次曲線幾何約束條件，對標定參數(shù)進行迭代優(yōu)化求解，與基于滅點的單像標定方法相比，本文方法能夠有效地提高攝像機標定的精度。利用基于滅點的攝像機標定方法需要場景滿足“Manhattan World Assumption”條件，當場景中只含兩個主方向的直線時，其標定結果不夠理想，但是本文方法結合橢圓信息進行迭代求解，能夠較好地提高標定精度，因此，相對于基于滅點的攝像機標定方法，本文方法能夠適當放寬對場景的約束。

3 結論

基于極點-極線關系及其表示的正交性，提出了一種基于迭代優(yōu)化的單像自標定方法，并通過仿真和真實數(shù)據(jù)實驗對該方法進行了驗證與分析。方法充分利用了影像中的滅點和橢圓幾何信息，對基于滅點的攝像機標定進行改進，對場景進行多約束標定。實驗結果表明，與基于滅點的攝像機標定方法相比，迭代優(yōu)化方法的標定精度較高。由于滅點誤差影響攝像機標定精度，而滅點易受噪聲的影響，僅利用滅點進行攝像機標定，難以保證攝像機標定精度。場景中存在很多幾何特征，因此，為進一步提高攝像機標定結果的精度和穩(wěn)定性，下一步將研究如何加入更多的幾何約束條件進行攝像機標定。

References)

［1］Abdel-Aziz Y I，Karara H M.Direct linear transformation from comparator coordinates into object space coordinate in close-range photogrammetry［C］//Proceedings of Symposium on Close-Range Photogrammetry，F(xiàn)alls Church，VA: American Society of Photogrammetry，1971，1:1-18.

［2］邱志強，唐力鐵，于起峰.用神經(jīng)網(wǎng)絡變易有效焦距的攝像機標定法［J］.國防科技大學學報，2002，24(5):16-19.QIU Zhiqiang，TANG Litie，YUQifeng.A camera calibration method of varying effective focal length by neural network［J］.Journal of National University of Defense Technology，2002，24(5):16-19.(in Chinese)

［3］唐力鐵，邱志強，陸啟生.基于仿射近似的攝像機標定［J］.國防科技大學學報，2006，28(1):111-116.TANG Litie，QIU Zhiqiang，LU Qisheng.Camera calibration based on affine approach［J］.Journal of National University of Defense Technology，2006，28(1):111-116.(in Chinese)

［4］Tsai R Y.A versatile camera calibration technique for high-accuracy 3D machine vision metrology using off-the-shelf TV cameras and lenses［J］.IEEE Journal of Robotics and Automation，1987，3(4):323-344.

［5］Zhang Z Y.A flexible new technique for camera calibration［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2000，22(11):1330-1334.

［6］Hartly R，Zisserman A.Multiple view geometry in computer vision［M］.USA:Cambridge University Press，2000.

［7］Caprile B，Torre V.Using vanishing points for camera calibration［J］.International Journal of Computer Vision，1990，4(2):127-139.

［8］Guillou E，Meneveaux D，Maisel E，et al.Using vanishing points for camera calibration and coarse 3D reconstruction from a single image［J］.The Visual Computer，2000，16(7):396-410.

［9］Chen Q，Wu H Y，Wada T.Camera calibration with two arbitrary coplanar circles［C］//Proceedings of8th European Conference on Computer Vision，Prague，Czech Republic: Springer Berlin Heidelberg，2004，3023:521-532.

［10］Colombo C，Comanducci D，Del Bimbo A.Camera calibration with two arbitrary coaxial circles［C］// Proceedings of9th European Conference on Computer Vision，Graz，Austria:Springer Berlin Heidelberg，2006，3951: 265-276.

［11］Hong W，Yang A Y，Huang K，et al.On symmetry and multiple-view geometry:structure，pose，and calibration from a single image［J］.International Journal of Computer Vision，2004，60(3):241-265.

［12］Shang Y，Yu Q F，Zhang X H.Analyticalmethod for camera calibration from a single image with four coplanar control lines［J］.Applied Optics，2004，43(28):5364-5369.

［13］Park J.Quaternion-based camera calibration and 3D scene reconstruction［C］//Proceedings of Computer Graphics，Imaging and Visualisation，2007:89-92.

［14］張祖勛，吳軍，張劍清.建筑場景三維重建中影像方位元素的獲取方法［J］.武漢大學學報·信息科學版，2003，28(3):265-271.ZHANG Zuxun，WU Jun，ZHANG Jianqing.A method for determining drientation parameters in image-based reconstruction of architectural scenes［J］.Geomatics and Information Science of Wuhan University，2003，28(3): 265-271.(in Chinese)

［15］霍炬，楊衛(wèi)，楊明.基于消隱點幾何特性的攝像機自標定方法［J］.光學學報，2010，30(2):465-472.HUO Ju，YANG Wei，YANG Ming.A self-calibration technique based on the geometry property of the vanishing point［J］.Acta Optical Sinica，2010，30(2):465-472.(in Chinese)

［16］Semple J G，Kneebone G T.Algebraic Projective Geometry［M］.UK:Clarendon Press，1998.

［17］von Gioi R G，Jakubowicz J，Morel J-M，et al.LSD:a fast line segment detector with a false detection control［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2010，32(4):722-732.

［18］Toldo R，F(xiàn)usiello A.Robust multiple structures estimation with J-Linkage［C］//Proceedings of 10th European Conference on Computer Vision，Marseille，F(xiàn)rance:Springer，2008，5302:537-547.

［19］Halir R，F(xiàn)lusser J.Numerically stable direct least squares fitting of ellipses［C］//Proceedings of the 6th International Conference in Central Europe on Computer Graphics and Visualization，Plzen，Czech Republic，1998，125-132.

Iterative optim ization for camera self-calibration from a single image

LIU Dan1，LIU Xuejun1，2，WANGMeizhen1，2
(1.Key Laboratory of Virtual Geographic Environment Ministry of Education，Nanjing Normal University，Nanjing 210023，China；2.Key Laboratory of Police Geographic Information Technology Ministry of Public Security，Changzhou 213022，China)

The camera calibration from vanishing points is easily distracted by noise in the image，leading to inaccurate resultswhich are often inadmissible for camera calibration.To overcome the limitation，an iterative optimization approach，whichmakes full use of geometric constraints of vanishing points and ellipse in the image，was presented for self-calibration from single image.According to the pole-polar relationship and the orthogonality represented by it，a set of orthogonal conjugate vanishing point pairswere calculated through using the ellipse curve and the coplanar vanishing line.A nonlinearmodel of the principle distance and principle pointwas established on the basis of these vanishing point pairs.Choosing theminimum variance of principle distances as optimization criterion and setting multiple points as the initial values of the principle point，the principle distance and principle pointwere iteratively optimized and their optimal results were obtained.Simulated results and real data show that the approach can effectively realize camera self-calibration from a single image.Compared with the camera calibration method using vanishing points，the approach achievesmore satisfactory calibration results.

camera calibration；vanishing points；ellipse；iterative optimization

TP391

A

1001-2486(2015)05-029-06

10.11887/j.cn.201505005

http://journal.nudt.edu.cn

2014-12-04

國家自然科學基金資助項目(41401442)；“十二五”國家支撐計劃資助項目(2012BAH35B02)；江蘇省普通高校研究生科研創(chuàng)新計劃資助項目(KYLX15_0748)

劉丹(1989—)，女，江西撫州人，博士研究生，E-mail:demondan@163.com；劉學軍(通信作者)，男，教授，博士，博士生導師，E-mail:liuxuejun@njnu.edu.cn