非公共視場雙目相機位姿標定

李勤文，倪首軍，王志乾，李建榮，沈鋮武，楊文昌，劉玉生

（1. 中國科學院 長春光學精密機械與物理研究所，吉林 長春130033；2. 中國科學院大學，北京100049；3. 北京航天發(fā)射技術研究所，北京100076）

1 引 言

視覺測量系統(tǒng)由于其具有非接觸，靈活性高，采集迅速等優(yōu)點而被廣泛應用［1］。在大多數(shù)視覺測量系統(tǒng)中，單臺相機很難覆蓋所有測量目標，而多相機系統(tǒng)具有比單個相機更大的視場，通常被用于獲取大型物體或場景的幾何信息［2-3］。決定多相機測量系統(tǒng)準確性的關鍵因素是相機之間的位姿關系標定。目前，多相機系統(tǒng)標定多利用額外的標定物，如平面棋盤格［4-5］或基于共線三點的一維標定物［6］來完成。然而當實際實驗條件有限，無法借助額外的標定物且已有的目標特征點不足3 個時，現(xiàn)有的標定方法失效，需要尋求其他解決辦法。

目前，雙目相機位姿標定方法多是針對于雙目立體相機，利用兩個幾何關系相對固定的相機以不同視角獲取被測物體的影像信息，再利用同一個視覺信息在不同相機下的匹配特征不同進行相機標定，因此兩相機之間要具有重疊的視場［7-8］。然而，在一些特殊的環(huán)境下，由于物體的遮擋或視場的限制，兩相機無法獲得重疊的視場，因此要進行非公共視場相機的標定［9-10］。目前，對無公共視場相機標定的研究可分為兩類：一類是利用其他設備建立多相機視場之間的聯(lián)系，如Long［11］和Wang［12］等人利用光學鏡的反光特性對相機視場進行改善，克服了所有相機必須直接觀察普通目標的局限，相機能夠通過鏡面間接觀察目標。Sun［13］等人利用多組球面目標和高精度輔助相機對非公共視場相機進行標定。標定相機觀測一組球體，輔助相機觀測所有的球體。每個相機在各自的視場中重建球面中心后實現(xiàn)全局標定。另一類是利用標定物之間固有的位置約束關系進行相機標定，如Liu［14］等人利用兩個相對位置關系不變的平面棋盤格組成復合目標對非公共視場相機進行標定。通過求解各視覺傳感器坐標系到世界坐標系的關系，進而得到各視覺傳感器之間的相對位姿。

本文針對自動對準系統(tǒng)中非公共視場的雙目相機標定問題，不借助于高精度靶標或額外標定物，利用現(xiàn)有系統(tǒng)結(jié)構(gòu)尋求兩相機位姿關系標定的解決辦法。通過多次移動標定物得到多組坐標數(shù)據(jù)的方法進行解算，由于相機視場范圍有限，因此得到的目標點較為密集。然而，傳統(tǒng)直接線性變換（Direct Linear Transformation，DLT）算法精度依賴于目標點的稀疏度［15］，為了克服DLT 方法的局限性，本文對DLT 求解方法進行了改進，并通過實驗對比證明了本文方法的有效性。

2 系統(tǒng)概述

圖1 雙目相機標定系統(tǒng)示意圖Fig. 1 Schematic diagram of binocular camera calibration

基于雙目測量的自動對準系統(tǒng)如圖1 所示，系統(tǒng)由位于上方部件上的兩個光學測量裝置A，B 以及位于底部部件上的兩個合作目標點A，B組成。光學測量裝置內(nèi)含有光學測量相機和激光測距儀，底部部件長2 m，寬1. 5 m，測量范圍為700～1 300 mm。測量過程中，2 個光學測量相機分別對底部部件上的合作目標點進行拍攝，得到點的圖像坐標用于位姿解算，計算兩部件的對準偏差，調(diào)整部件完成對準，在此過程中系統(tǒng)測量誤差要＜2 mm。為了完成上、下兩部件之間對準偏差的解算，需要對光學測量裝置內(nèi)的兩個光學相機A，B 進行標定。然而，由于底部部件尺寸較大，兩光學相機之間沒有公共視場，因此需要考慮無公共視場相機的標定問題。為了盡可能利用現(xiàn)有系統(tǒng)完成兩光學相機之間位姿關系的標定，擺脫傳統(tǒng)的依靠高精度靶標或較多數(shù)量特征點的相機標定方法。本文利用兩臺萊卡經(jīng)緯儀測量目標點在經(jīng)緯儀坐標系下的坐標，進而對兩相機之間位姿關系進行標定的方法。圖1所示為標定系統(tǒng)示意圖，以萊卡經(jīng)緯儀1 的坐標系O-XYZ為公共目標坐標系，兩個經(jīng)緯儀通過交匯測量得到目標點A和目標點B在目標坐標系下的坐標。之后利用原有系統(tǒng)中的兩個無公共視場相機分別對底部移動部件對角線上的目標點A和目標點B進行拍攝，得到點的圖像坐標。利用得到的點在目標坐標系O-XYZ下的坐標和點的圖像坐標進行相機標定。針對僅有兩個目標點的情況，為了充分利用點的坐標信息，標定過程中保持上方部件和兩經(jīng)緯儀固定不動，即公共目標坐標系與兩測量相機坐標系保持固定不動，通過多次移動底部部件，得到目標點A、目標點B的多組圖像坐標和目標坐標進行兩個無公共視場相機的標定。

3 非公共視場雙目相機標定

圖2 所示為非公共視場雙目相機標定簡圖。在測量場內(nèi)建立公共目標坐標系O-XYZ、相機A坐標系OCA-XCAYCA ZCA和相機B 坐標系OCBXCBYCB ZCB，各坐標系之間的位置關系保持固定。多次移動標定物，利用兩臺萊卡經(jīng)緯儀測得目標點A，B每次移動后的坐標，分別為PiA=(XiA，YiA，ZiA)T，PiB=(XiB，YiB，ZiB)T，對 應 的 圖 像點 坐 標 分 別 為pia=(uia，via)T，pib=(uib，vib)T，在 各自相機坐標系下的坐標為cia=(xia，yia，zia)T，cib=(xib，yib，zib)T，其 中i= 1，2，3，...，n。 為 了 標 定 兩相機之間的位姿關系，需要先分別標定出相機A、相機B 到公共目標坐標系O-XYZ之間的外參數(shù)矩陣RA，tA和RB，tB，進而求出兩相機坐標系之間的旋轉(zhuǎn)平移關系RAB，tAB。

圖2 非公共視場雙目相機標定簡化圖Fig. 2 Simplified calibration diagram of binocular camera with non-public field of view

3.1 相機外參數(shù)矩陣標定原理

以相機A 為例，建立單相機成像方程：

其中：za為標量系數(shù)；KA為相機內(nèi)參數(shù)矩陣；[RA tA]表示公共目標坐標系到相機A 坐標系的轉(zhuǎn)換矩陣，即相機的外參數(shù)矩陣，RA為旋轉(zhuǎn)矩陣，tA為平移矩陣，表示為：

其中：α，β，γ表示公共目標坐標系到相機A 坐標系的旋轉(zhuǎn)角。規(guī)定坐標系之間的轉(zhuǎn)換關系，采用先平移后旋轉(zhuǎn)的表示方式，用齊次坐標寫成矩陣形式，得到：

其 中 ：i = 1，2，3，...，n，為 目 標 點 移 動 的 次 數(shù) ；r11～r33表示矩陣RA內(nèi)相應位置的元素。 經(jīng)典DLT 算法標定單相機的基本原理是通過矩陣變換將式（4）整理為CM = D 的形式，其中：

C，D 中全部為已知量，M 為11× 1 的未知矩陣。當目標點移動次數(shù)n ≥6 時，可以列出的方程多于11 個，進而利用最小二乘法解得：

結(jié)合式（2）～式（5）可分離出相機A 到公共目標坐標系之間的外參數(shù)矩陣，同理可求出相機B 到公共目標坐標系之間的外參數(shù)矩陣。然而，由于兩光學相機的視場范圍有限實際測量中兩目標點的移動范圍也有限，目標點分布較為密集，使得經(jīng)典DLT 算法的精度較低甚至出現(xiàn)病態(tài)解，影響標定精度，因此本文利用激光測距數(shù)據(jù)對DLT 算法的解算結(jié)果進行了改進。

3.2 基于DLT 的改進方法

在雙目相機系統(tǒng)中增加激光測距儀，相機與激光測距儀的距離固定，相機光軸方向與激光測距儀的出光方向基本相同［16］。在標定后利用激光測距儀得到的一維數(shù)據(jù)，對由DLT 方法求得的相機的外參數(shù)矩陣RA，tA進行優(yōu)化，然后利用Levenberg-Marquardt（LM）非線性算法進行全局求解，提高標定結(jié)果的準確度。

以相機A 為例，由3. 1 節(jié)方法求得的相機參數(shù)可以得到目標點A 在相機坐標系下的坐標，利用標定后的激光測距儀數(shù)據(jù)代替目標點A 在相機A 坐標系下沿光軸方向的坐標已知目標點A 兩次移動前后在目標坐標系下的坐標為在相機A 坐標系下的坐標為相機光心為C，則有：

這里 的RA·表示將向量PiAPi+1A由目標坐標系空間轉(zhuǎn)換到相機A 坐標系空間表示，RA為待優(yōu)化的旋轉(zhuǎn)矩陣，它是沿目標坐標系三軸的旋轉(zhuǎn)角 α，β，γ 的函數(shù)，如公式（2）所示。()表示平面的法向量，若RA為真值，則在平面上，二者點積為0。因此可構(gòu)造目標函數(shù)：

理 想 情 況 下V ( α，β，γ )= 0 ，然 而 由 于 測量噪聲的存在，實際求得的RA不一定使式（8）為0。 為 了 最 小 化 式（8）的 誤 差 ，用LM非線性優(yōu)化方法對式（8）進行優(yōu)化求解。 用以 指 導 優(yōu) 化 方 向 的 雅 可 比 矩 陣J ( α，β，γ ) 表示為：

每次迭代過程中，目標函數(shù)V ( α，β，γ ) 的梯度為gk= JTkvk，k 為 迭 代 次 數(shù) 。 迭 代 步 長dk=數(shù)，迭代初始值 α0，β0，γ0可由3. 1 節(jié)求得的旋轉(zhuǎn)矩陣反算得到。至此可以帶入LM 非線性優(yōu)化算法求解旋轉(zhuǎn)角，進而得到旋轉(zhuǎn)矩陣RA。

已 知 待 優(yōu) 化 的 平 移 矩 陣tA=( ΔX，ΔY，ΔZ )T，由cia=( xia，yia，z′ia)T與PiA=( XiA，YiA，ZiA)T的關系：

可以得到：

其中r11～r33為由公式（8）求得的旋轉(zhuǎn)矩陣RA中的元素。則公式（11）可表示為C1tA= D1，由最小二乘法可得tA=(C1TC1)-1C1TD1，從而可以得到優(yōu)化后的平移矩陣tA。

為了保證解的準確性，防止相機外參旋轉(zhuǎn)矩陣和平移矩陣各自優(yōu)化有可能帶來的局部解問題以及相機實際內(nèi)參數(shù)值與標稱值不符，進而影響外參求解精度的問題，通過最小化重投影誤差的方法對相機內(nèi)外參數(shù)進行全局求解。構(gòu)造重投影誤差函數(shù)：

其 中 ：M1，M2表 示 取 投 影 矩 陣M 的 第 一 、第 二行，上標i 表示所有現(xiàn)存數(shù)據(jù)，[uiavia]T表示實際測得的圖像點坐標。整個函數(shù)表示實際測得圖像點坐標與空間點以（fx，γ，u0，fy，v0，α，β，γ，ΔX，ΔY，ΔZ）為參數(shù)進行重投影后得到的圖像點坐標之差。 以給定的相機內(nèi)參數(shù)值及由式（8）和式（11）求得的相機外參旋轉(zhuǎn)角 α，β，γ 和平移距離ΔX，ΔY，ΔZ 為初值，再次利用LM 非線性算法對標定結(jié)果進行全局求解，可以得到優(yōu)化后的相機外參數(shù)值，進而由式（2）和式（3）得到相機的外參旋轉(zhuǎn)矩陣RA和平移矩陣tA。同理可求出相機B的外參旋轉(zhuǎn)矩陣RB和平移矩陣tB。因此，按照先平移后旋轉(zhuǎn)定義的相機B 坐標系到相機A 坐標系的轉(zhuǎn)換矩陣為：

4 實 驗

圖3 所示為雙目相機標定系統(tǒng)示意圖，目標點A，B（如圖4）的目標坐標系坐標由兩臺TM5100A 徠卡經(jīng)緯儀通過交匯測量得到，點A，B 的圖像坐標由光學測量裝置A，B 進行測量，光學測量裝置如圖5 所示。光學測量裝置包含有光學測量相機A，B 和兩個激光測距儀，相機與激光測距儀的位置關系已知。 兩光學相機采用MT9V032CMOS 數(shù)字圖像傳感器，像素尺寸為6 μm×6 μm，分辨率為400×400，相機焦距為35 mm。通過多次移動底部的移動部件，得到多組目標點坐標。然后對直接利用DLT 算法求解相機A、相機B 和公共目標坐標系之間的參數(shù)矩陣，進而得到兩相機之間的位姿關系，與利用本文提出的方法對相機A、相機B 的外參數(shù)進行優(yōu)化后得到的兩相機的位姿關系進行對比，結(jié)果如表1 所示。

圖3 雙目相機位姿標定系統(tǒng)Fig. 3 Pose calibration system of binocular camera

圖4 合作目標點Fig. 4 Cooperation targets

圖5 光學測量裝置Fig. 5 Optical measuring device

為了驗證標定結(jié)果的準確性，利用求得的兩相機之間的位姿參數(shù)，將相機B 坐標系下的目標點轉(zhuǎn)換到相機A 坐標系下，計算兩點之間的距離dAB，并與經(jīng)緯儀測得的兩點之間的距離tAB進行對比，將經(jīng)緯儀測得的坐標值看作真值，利用公離誤差的均方值，結(jié)果如表2 所示。由于實際地面不平整和底部部件微小變形的影響，實際測得兩目標點之間的距離tAB有所不同。為了保證結(jié)果的準確性，在測量范圍內(nèi)選取10 組數(shù)據(jù)對相機A ，B 進行標定，得到兩相機之間的位姿關系，之后選取另外10 組數(shù)據(jù)計算兩目標點之間的距離與真值的誤差。 從表2 可以看出，本文標定算法對兩相機之間位姿關系標定的準確性優(yōu)于DLT 方法，在系統(tǒng)測量范圍700～1 300 mm 內(nèi)隨機選取10 組數(shù)據(jù)，求得目標點之間距離的均方差＜0. 2 mm，滿足實際應用需求。

表2 由兩相機位姿關系求得的目標點A，B 距離的均方差Tab. 2 Mean square error of the distance between target points A and B obtained from the pose relationship of the two cameras （mm）

表1 DLT 方法與本文標定方法結(jié)果對比Tab. 1 Comparison of DLT method and our calibration method

5 結(jié) 論

本文針對相機標定過程中目標特征點較少的問題，通過多次移動目標點得到多組數(shù)據(jù)進行標定，為雙目相機位姿關系的標定提供了新思路。針對實際系統(tǒng)中兩目標點移動范圍有限導致的傳統(tǒng)DLT 方法精度較低的問題，增加激光測距數(shù)據(jù)對標定結(jié)果進行優(yōu)化，選取由兩相機位姿關系求得的兩個目標點之間的距離作為標定精度評價指標，以經(jīng)緯儀測得的兩目標點距離作為真值。實驗結(jié)果表明，當相機與目標點之間的距離為700～1 300 mm 時，由本文方法求得的兩目標點之間距離的均方差＜0. 2 mm，證明本文提出的非公共視場雙目相機位姿標定方法是有效的。