基于模板的航測非量測相機快速檢校技術(shù)

肖　達，龔志輝，李勁澎，韓軼龍

信息工程大學(xué)地理空間信息學(xué)院，河南 鄭州，450001

?

基于模板的航測非量測相機快速檢校技術(shù)

肖達，龔志輝，李勁澎，韓軼龍

信息工程大學(xué)地理空間信息學(xué)院，河南 鄭州，450001

研究了一種無人機攝影測量中非量測相機快速檢校技術(shù)，該技術(shù)不需要布置嚴(yán)格的三維控制場，只需要相機在一定方向、角度拍攝一組模板像片，并依據(jù)構(gòu)像方程和畸變模型，利用旋轉(zhuǎn)矩陣約束條件即可推導(dǎo)出相機內(nèi)參求解公式。實驗結(jié)果表明，內(nèi)參數(shù)穩(wěn)定，檢校結(jié)果可靠，為控制條件不充足情況下的幾何標(biāo)定和非量測相機快速檢校提供一種解決方案。

相機檢校；非量測相機；平面模板；控制場

1　引　言

相機檢校就是恢復(fù)每張影像光束的正確方向和位置，通過建立已知物點和像點的對應(yīng)關(guān)系，計算獲取成像模型內(nèi)外參數(shù)，然后通過攝影測量的方法快速獲取準(zhǔn)確的三維坐標(biāo)。因此，相機檢校是攝影測量處理流程中不可缺少的一個作業(yè)過程[1]。非量測相機作為近景攝影測量獲取影像的主要設(shè)備之一，憑借其體積小，圖像易于獲取、復(fù)制和存儲，分辨率高，處理直接，較專業(yè)量測相機經(jīng)濟、便捷等優(yōu)勢，已廣泛應(yīng)用在近景攝影測量以及無人機攝影測量中。

在近景攝影測量中，非量測相機內(nèi)方位元素未知，而且參數(shù)不穩(wěn)定[2]，無人機在飛行、降落、運輸過程中劇烈震動，對相機參數(shù)造成影響，因此，作業(yè)時需要用足夠數(shù)量的控制點進行檢校。常用檢校方法根據(jù)環(huán)境的不同，有傳統(tǒng)的基于控制場的檢校[3](如實驗室檢校、恒星檢校、試驗場檢校等)、相機自檢校[4]和基于滅點理論的檢校[5]。基于控制場的檢校方法理論成熟，計算簡單，標(biāo)定結(jié)果穩(wěn)定可靠，適用于量測精度高、相機參數(shù)穩(wěn)定的情況，但是需要事先布置大量控制點，或者精密的室內(nèi)、室外控制場，檢校的過程復(fù)雜，費用昂貴，不夠靈活，典型方法有直接線性變換法、多片空間后方交匯法、光束發(fā)平差[6，7]等；相機自檢校不用建立控制場，靈活性強，對初值比較敏感，標(biāo)定結(jié)果不穩(wěn)定，如Kruppa方程自檢校[8]、基于絕對二次曲面自檢校[9]等；基于滅點理論的檢校常用于各種成像系統(tǒng)的畸變補償。張正友[10]的棋盤檢校屬于控制場檢校，控制條件是棋盤角點，而不是室內(nèi)外布設(shè)的控制點，效果介于傳統(tǒng)和自檢校之間。大致思路是利用旋轉(zhuǎn)矩陣正交約束條件，經(jīng)過奇異值分解求解內(nèi)外參數(shù)，然后加入畸變系數(shù)，最后用最大似然估計法整體優(yōu)化。避免了傳統(tǒng)方法中對精密控制場的依賴，同時又提高了自檢校方法的精度。目前國內(nèi)外不少計算機視覺學(xué)者開展簡單、便捷的相機檢校方法，用于三維重建過程中。無人機攝影測量搭載非量測相機，主要用于普通測繪和重建三維點云。本文把計算機視覺的棋盤檢校技術(shù)和無人機攝影測量實際情況相結(jié)合，開展基于棋盤格的航測非量測相機檢校技術(shù)研究，詳細(xì)推導(dǎo)了在旋轉(zhuǎn)矩陣約束條件下內(nèi)參數(shù)的求解過程，設(shè)計實驗對非量測相機進行檢校，并對檢校結(jié)果可靠性設(shè)計了相關(guān)實驗驗證，對通常的無人機攝影測量作業(yè)有一定實用價值。

2　相機模型

假設(shè)空間中有一物點Q=[X,Y,Z]T，對應(yīng)的像平面上的點q=[u,v]T，對傳統(tǒng)的針孔相機模型[11]來說(如圖1)，共線方程可以寫成sq=A[R,t]Q。其中，s為任意比例因子；(R,t)是外部參數(shù)：R是旋轉(zhuǎn)矩陣，t是平移向量；A為相機內(nèi)參數(shù)矩陣，齊次坐標(biāo)描述為:

(1)

其中，fx、fy表示x、y方向以像素為單位的焦距大小，γ表示ccd像平面x-y軸不是正交，Gx、Gy表示在x、y方向以像素為單位的像主點偏移大小。

圖1　針孔相機模型(投影面位于針孔前方，真實情況是位于針孔后方，兩種形式數(shù)學(xué)上等價)

3　畸變模型

理想的針孔相機模型成像時，嚴(yán)格滿足物點、透視中心和像點三點共線的關(guān)系。但在實際應(yīng)用中，由于受到鏡頭磨制、CCD加工、相機裝配等多種因素的影響，實際像點會偏離其理想位置，即存在光學(xué)畸變差。通常將相機畸變分為徑向畸變、切向畸變，徑向畸變由透鏡形狀不規(guī)則造成，切向畸變來源于透鏡制造上的缺陷，透鏡本身和圖像平面不平行。

徑向畸變：像點沿徑向產(chǎn)生的偏差。徑向畸變通常對稱分布，像主點處畸變?yōu)?，離像主點越遠(yuǎn)畸變量越大。徑向畸變表達式為：

(2)

切向畸變：鏡頭器件的光學(xué)中心和幾何中心不嚴(yán)格共線，即造成像點沿切向方向的偏移。切向畸變在數(shù)量上比徑向畸變小很多，但也不能忽略其影響。p1、p2是切向畸變系數(shù)，切向畸變表達式為：

(3)

在不考慮其他類型畸變的情況下，相機的畸變模型可表示為：

(4)

4　基本原理

4.1相機內(nèi)參和外參求解

把世界坐標(biāo)系置于模板所在平面，模板左上角定為坐標(biāo)系原點，即所有3維點的坐標(biāo)Z=0，若ri為R矩陣的第i列向量，則：

(5)

H=A[r1r2t]是描述平面模版到攝影平面的單應(yīng)矩陣，由物點和像點坐標(biāo)求得單應(yīng)矩陣[h1h2h3]。由單位矩陣性質(zhì)可知，r1、r2正交，

(6)

(7)

B是對稱結(jié)構(gòu)，代入上面兩個約束條件方程，可得一組線性方程組：

(8)

(9)

內(nèi)參數(shù)求解出來之后，就可以計算每張影像外方位元素：

(10)

4.2求解畸變系數(shù)

(11)

(12)

如果有n張影像，每張影像m個點，可以列出2mn個式(12)方程，矩陣形式表示為AK=B，A是2mn×4維系數(shù)矩陣，K是k1、k2、p1、p2構(gòu)成的未知數(shù)向量，B是點坐標(biāo)構(gòu)成的2mn維向量。用最小二乘方法求解即K=[ATA]-1ATB，求出徑向畸變系數(shù)k1、k2，和切向畸變系數(shù)p1,p2?；兿禂?shù)求出來之后，還需要用Levenberg-Marquardt算法迭代進行最大似然估計,通過最小化重投影誤差方程式(13)，得到各個參數(shù)的最優(yōu)解。

(13)

式中，m(A,k1,k2,p1,p2,Ri,ti,Mj)是Mj在影像i上的投影點，Mij是圖像i上的Mj對應(yīng)的量測點坐標(biāo)。

5　實驗分析和結(jié)果

本次實驗采用非量測數(shù)碼相機，A4紙打印的棋盤格作為控制的平面模版。將模板固定，調(diào)整相機姿態(tài)和位置(或相機固定，調(diào)整模板姿態(tài))，從多個方向、多個角度拍攝影像。相機位置模擬示意如圖2所示，實驗采用的是Sony A7α數(shù)碼相機， 35mm定焦鏡頭，相幅為3680×2456像素(35.9mm×24mm)，像元大小0.00976mm，棋盤行列數(shù)為7×9。首先提取圖像中的棋盤角點。由于噪聲和影像模糊，自動提取的角點和真實位置有一定偏差，為了減小像點誤差，實驗對角點進行了亞像素提取，這樣提取角點的精度就能達到亞像素級別，定位更精確。

圖2　相機位置模擬示意圖

圖3　控制場影像

此次實驗共拍攝了23張影像，其中6張因為拍攝距離變化太大而導(dǎo)致影像模糊，角點提取不完整，所以后處理時將6張模糊影像剔除，不參加計算。為了確定檢校結(jié)果的可靠性，還對該相機進行了控制場檢校。采用室內(nèi)控制場，墻上布設(shè)高精度控制點反光標(biāo)志，控制場影像如圖3所示，并用相機檢校軟件V-STARS進行檢校。實驗結(jié)果如表1所示。

表1相機內(nèi)參數(shù)計算結(jié)果

參數(shù)棋盤檢?？刂茍鰴z校結(jié)果對比fx/mm36.49537336.3978310.097542fy/mm36.50398236.3978310.106151cx/mm-0.265368-0.248207-0.017161cy/mm-0.396912-0.4131330.016221

從表1可以看出，棋盤檢校結(jié)果fx、fy方向焦距相差0.88個像素，檢校結(jié)果大致為36.499677mm(取fx、fy平均值)，和控制場檢校結(jié)果基本一致，說明基于平面模板的非量測相機檢校是可行的。

為了驗證結(jié)果的可靠性，同時還設(shè)計了一組實驗。同一時刻、相同條件拍攝N張不同姿態(tài)、位置影像，每次取其中的3、5、9、13、15、17張影像分別進行檢校。檢校結(jié)果如表2所示。

表2不同數(shù)量影像對比實驗

影像數(shù)359131517fx/mm40.18952035.45839036.62620236.4996736.49018936.492373fy/mm39.93573035.59745336.76924336.5048036.49506936.503982cx/mm-0.3500848-0.065776-0.1859504-0.2553072-0.2676128-0.265368cy/mm3.16730736-2.4205952-0.4896768-0.4041424-0.3970096-0.396912

圖4　fx-fy隨影像數(shù)量變化結(jié)果圖　　　　圖5　cx-cy隨影像數(shù)量變化結(jié)果

從表2和圖4、圖5可以看出，檢校結(jié)果隨影像數(shù)量的增加趨于一致。3張影像和5張影像時，檢校的內(nèi)參數(shù)結(jié)果不穩(wěn)定，原因是相機的姿態(tài)變化少，達不到理想的檢校效果；當(dāng)影像數(shù)量足夠時，檢校結(jié)果趨于穩(wěn)定，一般建議15張左右。

為了進一步檢驗檢校結(jié)果的準(zhǔn)確性，設(shè)計像點的重投影誤差實驗，即用求出來的畸變系數(shù)k1、k2、p1、p2，相機內(nèi)參數(shù)f、cx、cy，相機外參數(shù)R、t代入模型求出物點對應(yīng)的圖像上的像點坐標(biāo)，然后和提取的圖像特征點坐標(biāo)求差，計算差平方和。從實驗結(jié)果中可以看出，重投影誤差最大1.9個像素，最小0.9個像素，平均1.29個像素。投影誤差最大的兩張圖像序號1和11，經(jīng)目視檢查圖像發(fā)現(xiàn)邊緣有模糊，和其它圖像比較成像結(jié)果較差，分析原因可能是手持相機拍攝時抖動較大，所以圖像有模糊，影響點的量測精度。

圖6　重投影誤差

6　結(jié)　論

本文設(shè)計了基于棋盤的航測非量測相機檢校方法實驗，避免了傳統(tǒng)相機檢校對三維控制場的過分依賴，在外業(yè)作業(yè)現(xiàn)場即可快速完成相機檢校工作，簡單方便快捷、經(jīng)濟，減輕工作量。實驗表明，當(dāng)影像數(shù)量足夠(建議不少于15張)時，內(nèi)參數(shù)趨于穩(wěn)定，檢校結(jié)果可靠。在實驗設(shè)計過程中發(fā)現(xiàn)，影響檢校參數(shù)穩(wěn)定性的因素主要有：影像數(shù)量少；棋盤格紙張?zhí)?，未能覆蓋影像框幅一半

以上；一個角度連續(xù)拍攝多張；拍攝的影像模糊，角點提取錯誤；相機距離棋盤遠(yuǎn)，棋盤集中在影像畫幅的中間區(qū)域等。所以設(shè)計實驗時盡量避免以上因素，以提高檢校結(jié)果穩(wěn)定性。后續(xù)工作：棋盤用的是A4紙張，紙張有微小變形，將棋盤固定在某一平面，表面有微小起伏，不是理想的二維平面，對檢校造成影響，有待進一步改進。

[1]馮文灝.近景攝影測量[M].武漢：武漢大學(xué)出版社，2007.

[2]王之卓. 攝影測量原理[M].武漢：武漢大學(xué)出版社，2007.

[3]殷福忠，劉紅軍.基于DLT方法的非量測數(shù)碼相機檢校研究[J].地理信息世界，2009， 7(1):84-87.

[4]賈盛舉，于晶濤.數(shù)字近景攝影測量在工業(yè)檢測中的應(yīng)用[J].測繪學(xué)報，2002(31):61-65.

[5]榮瑞霞，歐龍，張麗娜等.基于滅點理論的普通數(shù)碼相機標(biāo)定方法[J].工程地球物理學(xué)報，2007，4(2):152-156.

[6]謝俊峰，龔健雅，江萬壽.一種改進的恒星相機在軌檢校方法[J].測繪科學(xué)，2009， 34(2):121-123.

[7]張永軍，張祖勛，張劍清.利用二維DLT及光束法平差進行數(shù)字?jǐn)z像機標(biāo)定[J].武漢大學(xué)學(xué)報·信息科學(xué)版，2002，27(6):566-571.

[8]雷成，吳福朝，胡占義. Kruppa方程與攝像機自標(biāo)定[J].自動化學(xué)報，2001，27(5):621-630.

[9]劉侍剛，吳成柯，唐麗等.基于對偶絕對二次曲面像變換的自定標(biāo)方法[J].系統(tǒng)工程與電子技術(shù)，2005，27(2):212-214.

[10]ZHANG Z. A Flexible New Technique for Camera Calibration[J]. Pattern Analysis & Machine Intelligence IEEE Transactions，2000，22(11):1330 - 1334.

[11]GRAY B，ADRIAN K. Learning OpenCV[M].北京：清華大學(xué)出版社，2009.

A Fast Calibration Technology for Non-metric Camera in Aerial Photogrammetry Based on Planar Pattern

Xiao Da, Gong Zhihui, Li Jinpeng, Han Yilong

Institute of Geospatial Information, Information Engineering University, Zhengzhou 450001, China

A fast calibration technology for non-metric camera in UAV photogrammetry is studied in this paper. Without a strict three-dimensional control field, it only needs a group of planar templates taken from different directions and different angles. The templates can be rotated and the camera can be adjusted as well. Then the camera calibration parameters are calculated by using the rotation matrix constraints based on the imaging equation and distortion model. Experiment results show that the parameters are stable and the calibration result is reliable, which provides a solution for geometric correction and non-metric camera fast calibration under the condition of lacking 3D control points.

camera calibration; non-metric camera; planar pattern; control field

2015-09-23。

肖達(1989—)，男，碩士研究生，主要從事數(shù)字?jǐn)z影測量技術(shù)研究。

P231

A