單目攝像機與三維激光雷達聯(lián)合標(biāo)定的研究

魏克全，時兆峰，李 晗，郝 鵬

(北京自動化控制設(shè)備研究所，北京100074)

?

單目攝像機與三維激光雷達聯(lián)合標(biāo)定的研究

魏克全，時兆峰，李 晗，郝 鵬

(北京自動化控制設(shè)備研究所，北京100074)

為解決單目攝像機與三維激光雷達組成的傳感系統(tǒng)中數(shù)據(jù)匹配的問題，文章采用基于平面特征的方法實現(xiàn)了兩傳感器的聯(lián)合標(biāo)定，提出了通過優(yōu)化平面靶標(biāo)擺放位置來減少樣本數(shù)量并提高樣本質(zhì)量，保證標(biāo)定精度的方法。通過建立數(shù)學(xué)模型和實驗驗證了本文方法及算法的正確性，當(dāng)靶標(biāo)位置均勻分布在攝像機視場內(nèi)，并且法向量方向均勻分布在四個象限時，只需4個標(biāo)定位置即可完成參數(shù)求解，且標(biāo)定誤差與使用16個位置時相當(dāng)。

聯(lián)合標(biāo)定；單目攝像機；三維激光雷達；平面特征；匹配融合

0 引言

激光雷達與攝像機的組合傳感系統(tǒng)作為無人車環(huán)境感知的重要技術(shù)手段，已經(jīng)得到廣泛的研究與應(yīng)用。由于兩傳感器獲得的數(shù)據(jù)是在各自坐標(biāo)系下的表示，而數(shù)據(jù)融合需將兩者數(shù)據(jù)表示在同一坐標(biāo)系下，因此需要通過聯(lián)合標(biāo)定來確定兩坐標(biāo)系中對應(yīng)點之間的轉(zhuǎn)換關(guān)系，即旋轉(zhuǎn)矩陣和平移向量。

聯(lián)合標(biāo)定通常是利用標(biāo)定物的特征在兩傳感器坐標(biāo)系中的坐標(biāo)來構(gòu)建參數(shù)求解方程。常用的特征主要有點[2]、直線和平面特征[3]，其中使用平面特征的方法可以避免混合像素現(xiàn)象的影響，因而被廣泛采用。Zhang和Pless等[4]較早提出了一種基于平面標(biāo)定板的標(biāo)定方法，指出了標(biāo)定板平面和激光掃描平面間的夾角會對整個標(biāo)定精度產(chǎn)生影響。項志宇等[5]也利用傳感器原點到靶標(biāo)平面的距離對應(yīng)性實現(xiàn)了聯(lián)合標(biāo)定，其只要求有多個位置的靶標(biāo)數(shù)據(jù)，并未研究靶標(biāo)擺放位置對結(jié)果的影響，并給出滿足精度要求時所需的最少位置數(shù)，不利于標(biāo)定效率的提高和標(biāo)定的流程化，以及組合傳感系統(tǒng)的產(chǎn)品化。

本文在文獻[5]的基礎(chǔ)上進行了單目攝像機與三維激光雷達聯(lián)合標(biāo)定的研究，提出了一種重投影誤差的計算方法，并提出了通過優(yōu)化靶標(biāo)擺放位置來減小位置隨意性對結(jié)果的影響，縮短標(biāo)定時間，簡化標(biāo)定流程的方法。

1 聯(lián)合標(biāo)定數(shù)學(xué)模型

聯(lián)合標(biāo)定中各坐標(biāo)系關(guān)系如圖1所示。其中，OwXwYwZw為標(biāo)定板坐標(biāo)系，OcXcYcZc為攝像機坐標(biāo)系，OlXlYlZl為激光雷達坐標(biāo)系，T為兩坐標(biāo)系之間的平移向量，兩坐標(biāo)系下標(biāo)定板的單位法向量為Pci和Pli，兩坐標(biāo)系原點到標(biāo)定板坐標(biāo)系原點的平移向量為tci和tli。

圖1 聯(lián)合標(biāo)定坐標(biāo)系關(guān)系Fig.1 Relation of coordinate system in joint calibration

設(shè)兩坐標(biāo)系之間的轉(zhuǎn)換關(guān)系為

(1)

(2)

其解析解為R′=VUT[6]。其中，USVT=PlPcT為矩陣奇異值分解[7]。

由坐標(biāo)系關(guān)系可知，兩坐標(biāo)系原點到標(biāo)定平面的距離差為

PciT=‖Pcitci‖-‖Plitli‖

(3)

對于n個標(biāo)定位置，取目標(biāo)函數(shù)為

(4)

(5)

1.1 攝像機中靶標(biāo)平面參數(shù)求取

本文首先采用張正友法[8]進行攝像機內(nèi)參數(shù)標(biāo)定，然后計算出攝像機坐標(biāo)系中標(biāo)定物平面的法向量以及平面到坐標(biāo)系原點的距離。

首先定義圖像像素直角坐標(biāo)系，原點O定義在圖像平面的左上角，像素坐標(biāo)(u，v)表示該像素在像素數(shù)組中的列數(shù)和行數(shù)。再建立以長度單位表示的圖像物理坐標(biāo)系，原點O′定義在主點(即攝像機光軸與圖像平面的交點)，x、y軸分別平行于u、v軸。最后定義攝像機直角坐標(biāo)系，原點Oc定義在攝像機的光心，Xc、Yc軸分別平行于x、y軸，Zc軸為光軸。攝像機各坐標(biāo)系關(guān)系如圖2所示。

圖2 攝像機坐標(biāo)系與圖像像素坐標(biāo)系及物理坐標(biāo)系Fig.2 Coordinate system of camera andcoordinate system of pixel and physical image

設(shè)空間某點p的坐標(biāo)為(xc，yc，zc)，其圖像物理坐標(biāo)為(x，y)，像素坐標(biāo)為(u，v)，設(shè)攝像機焦距為f，主點的像素坐標(biāo)為(u0，v0)，dx、dy分別為x、y軸方向上單位像素間的物理距離，則由小孔成像原理可得圖像像素坐標(biāo)與攝像機三維坐標(biāo)之間的關(guān)系為

(6)

其中，矩陣M為攝像機的內(nèi)參數(shù)矩陣。

設(shè)標(biāo)定板平面直角坐標(biāo)系為OwXwYwZw，原點定義在標(biāo)定板的一個頂點，兩條邊分別為Xw、Yw軸，Zw軸垂直于標(biāo)定板平面，則攝像機坐標(biāo)系與標(biāo)定板平面坐標(biāo)系之間的轉(zhuǎn)換關(guān)系為

(7)

其中，R1為旋轉(zhuǎn)矩陣，t為平移向量。由攝像機標(biāo)定原理可知，當(dāng)有至少3個標(biāo)定位置下的標(biāo)定板圖像時，即可解得內(nèi)參數(shù)矩陣M，進而解出每個標(biāo)定位置下的R1和t。取標(biāo)定板平面直角坐標(biāo)系下標(biāo)定板的法向量為(0，0，1)T，則攝像機坐標(biāo)系下R1第三列即為此標(biāo)定板的法向量方向，R1*t即為標(biāo)定板到攝像機坐標(biāo)系原點的距離。

1.2 激光雷達點云平面擬合

本文采用HDL-64E[9]三維激光雷達，其內(nèi)部含有64個激光器，通過旋轉(zhuǎn)掃描可獲取垂直26.8°、水平360°視場的三維環(huán)境點云圖像。定義激光雷達坐標(biāo)系，原點Ol在第32與33個激光器之間，Xl軸、Yl軸分別平行于基座的兩邊，Zl軸定義在旋轉(zhuǎn)軸上，如圖3所示。

圖3 激光雷達坐標(biāo)系Fig.3 Coordinate system of laser radar

1.3 位置影響分析

令Pci=(xiyizi)，‖Pcitci‖-‖Plitli‖=mi，則可得

(xiyizi)·T=mi

(8)

式(8)將參數(shù)求解問題轉(zhuǎn)化為由點(xiyizi)擬合平面t1xi+t2yi+t3zi=mi的問題。理論上3個不共線的點成等邊三角形分布時，平面擬合的抗噪聲效果最好，因此當(dāng)3個法向量成等夾角分布時，T的求解精度最高。

在實際標(biāo)定時，標(biāo)定板成3個位置等夾角擺放較難操作，易引入隨機誤差，因此可以設(shè)置4個標(biāo)定位置，使標(biāo)定板均勻分布在攝像機視場內(nèi)且平面法向量均勻分布于四個象限內(nèi)，以便在保證樣本質(zhì)量的情況下減少樣本數(shù)量。

2 標(biāo)定實驗

本文使用分辨率1024×768像素、水平視場90°的攝像機進行實驗。標(biāo)定板為1m×1m的平板，畫有9×7個邊長10cm的黑白格。兩者安裝位置為：攝像機鏡頭在雷達中心前方15cm左右，下方20cm左右，左右方向兩者大致重合，系統(tǒng)實物如圖4所示。

圖4 傳感器安裝位置關(guān)系Fig.4 Fix position of sensors

首先采用Matlab標(biāo)定工具箱完成攝像機標(biāo)定，攝像機標(biāo)定得到的內(nèi)參數(shù)(像素單位)為

然后進行聯(lián)合標(biāo)定，實驗時在傳感器前方2～5m距離內(nèi)，以攝像機光軸為對稱軸，選取了16個擺放位置并按位置數(shù)不同進行了5組實驗，擺放位置示意圖如圖5所示。

圖5 攝像機坐標(biāo)系下各標(biāo)定位置示意圖Fig.5 Position of calibrationboard in camera coordinate

圖5 攝像機坐標(biāo)系下各標(biāo)定位置示意圖(續(xù))Fig.5 Position of calibrationboard in camera coordinate

本文采用重投影誤差評價標(biāo)定精度，即計算點云投影后的邊緣與圖像中標(biāo)定板邊緣的最大偏移像素數(shù)。重投影偏差示意圖如圖6所示，紅線為攝像機圖像的標(biāo)定板邊緣，綠線為重投影邊緣。分組試驗結(jié)果對比如表1所示。

圖6 一種重投影誤差示意圖Fig.6 Sketch map ofa kind of re-projection error

由實驗結(jié)果看，采用平面靶標(biāo)會由于位置擺放的不定性造成原始數(shù)據(jù)不充分而影響標(biāo)定精度，通過考慮標(biāo)定位置的對稱性可在一定程度上減小此影響，最少只需4個標(biāo)定位置即可達到使用16個位置時的精度，因此可極大地提高標(biāo)定效率，有利于組合傳感系統(tǒng)產(chǎn)品標(biāo)定的流程化。最后本文通過OpenCV及OpenGL程序分別進行了點云投影和場景三維顯示的工作，顯示效果如圖7、圖8所示。

表1 分組試驗結(jié)果對比Tab.1 contrast of grouping experiment

圖7 投影場景Fig.7 Projection scene

圖8 三維顯示場景Fig.8 3D scene

3 結(jié)論

本文利用平面靶標(biāo)，采用基于平面特征的聯(lián)合標(biāo)定方法完成了單目攝像機與三維激光雷達的聯(lián)合標(biāo)定。首先建立數(shù)學(xué)模型，然后進行實驗數(shù)據(jù)采集，最后完成參數(shù)求解。經(jīng)多次實驗得出了正確的結(jié)果，兩傳感器數(shù)據(jù)匹配較好。通過優(yōu)化靶標(biāo)擺放位置，減小了位置隨意性對結(jié)果的影響，僅需采集4個標(biāo)定位置的數(shù)據(jù)，縮短了標(biāo)定時間。后續(xù)將進行算法及結(jié)果優(yōu)化，進一步提高標(biāo)定精度及數(shù)據(jù)處理速度。

[1] 郁肖飛，史朝龍，李新純，李晗.多光束三維成像激光掃描系統(tǒng)校準(zhǔn)方法研究[J].戰(zhàn)術(shù)導(dǎo)彈技術(shù)，2013，1：92-98.

[2] 林鴻生，胡春生.三維成像激光雷達圖像與攝像機圖像的融合[J].內(nèi)燃機與動力裝置，2009，6(s)：1-4.

[3] 李琳，張旭，屠大維.二維和三維視覺傳感集成系統(tǒng)聯(lián)合標(biāo)定方法[J].儀器儀表學(xué)報，2012，33(11)：2474-2479.

[4] Zhang Q L，Pless R.Extrinsic calibration of a Camera and laser range finder(improves camera calibration)[C].IEEE International Conference on Intelligent Robots and Systems(IROS)，2004，3：2301-2306.

[5] 項志宇，鄭路.攝像機與3D激光雷達聯(lián)合標(biāo)定的新方法[J].浙江大學(xué)學(xué)報(工學(xué)版)，2009，43(8)：1401- 1405.

[6] Bauermanni，Steinbach.Joint calibration o f a range and visual sensor for the acquisition of RGBZ concentric Mosaics Erlangen[C].Proceedings of VMV2005.Erlangen：Elsevier，2005：666-672.

[7] Schonem Ann P H.A generalized solution of the orthogonal procrustes problem[J].Psychometrika，1966，31(1)：1-10.

[8] Zhang Zh Y.Flexible camera calibration by viewing a plane from unknown orientations.Microsoft Research，One Microsoft Way，Redmond，WA 98052-6399，USA

[9] HDL 64E-S2 User’s Manual.Velodyne Lidar Inc，345 Digital Drive，Morgan Hill，CA 95037，2011.

[10] Smith L I.A Tutorial on Principal Components Analysis.[EB/OL].2006-05-18.

Research on the Joint Calibration of Monocular Camera and 3D Lidar

WEI Ke-quan，SHI Zhao-feng，LI Han，HAO Peng

(Beijing Automatic Control Equipment Institute，Beijing 100074，China)

To solve the problem of data matching in the sensor system composed of monocular camera and 3D lidar，we accomplish the joint calibration of the two sensors using the method basing on the planar feature and present a method to reduce the amount and improve the quality of samples by optimizing the position of calibration board in this paper.We prove the method and the algorithm by founding the mathematical model and simulation and experiments.The error appears minor when the positions of the board scatter evenly in the camera field of view and just need 4 calibration positions to accomplish the calibration.

Joint calibration；Monocular camera；3D lidar；Plane feature；Match and fusion

2014 - 10 - 30；

2015 - 04 - 30。

魏克全(1989 - )，男，碩士，主要從事激光雷達及圖像的數(shù)據(jù)處理工作。

E-mail：weikequan163@163.com

TP391.41;TN958.98

A

2095-8110(2015)06-0069-06