球形全景影像位姿估計(jì)的改進(jìn)EPnP算法

鄧　非，吳幼絲，胡玉雷，崔紅霞

1. 武漢大學(xué)測(cè)繪學(xué)院，湖北 武漢430079； 2. 武漢大學(xué)國(guó)家領(lǐng)土主權(quán)與海洋權(quán)益協(xié)同創(chuàng)新中心，湖北 武漢 430079； 3. 中鐵第四勘察設(shè)計(jì)院集團(tuán)有限公司，湖北 武漢430063； 4. 渤海大學(xué)信息科學(xué)與技術(shù)學(xué)院，遼寧 錦州 121013

?

球形全景影像位姿估計(jì)的改進(jìn)EPnP算法

鄧非1,2，吳幼絲1，胡玉雷3，崔紅霞4

1. 武漢大學(xué)測(cè)繪學(xué)院，湖北 武漢430079； 2. 武漢大學(xué)國(guó)家領(lǐng)土主權(quán)與海洋權(quán)益協(xié)同創(chuàng)新中心，湖北 武漢 430079； 3. 中鐵第四勘察設(shè)計(jì)院集團(tuán)有限公司，湖北 武漢430063； 4. 渤海大學(xué)信息科學(xué)與技術(shù)學(xué)院，遼寧 錦州 121013

Foundation support： The National Natural Science Foundation of China(No.41271431)

摘要：球形全景成像可以克服透視成像視場(chǎng)角的局限，實(shí)現(xiàn)場(chǎng)景全覆蓋的三維重建和量測(cè)。本文在普通影像位姿估計(jì)的EPnP(efficient perspective-n-point)算法上進(jìn)行了改進(jìn)和擴(kuò)展，提出了一種穩(wěn)健快速的球形全景影像位姿估計(jì)算法。首先，構(gòu)建球形全景影像的投影模型，將EPnP算法的平面透視成像模型擴(kuò)展到球面成像模型；然后，采用基于全景球心、像點(diǎn)、控制點(diǎn)共線條件方程的改進(jìn)EPnP算法求解控制點(diǎn)的球形全景像空間坐標(biāo)；最后，利用Horn絕對(duì)定位算法直接解算全景影像位姿。與球形全景影像位姿估計(jì)的后方交會(huì)算法的對(duì)比試驗(yàn)結(jié)果表明，本文提出的方法無(wú)須迭代求解，更為穩(wěn)健快速，即使控制點(diǎn)數(shù)目較少也能達(dá)到高精度，基于非嚴(yán)格共中心拼接的全景相機(jī)，重投影誤差可控制在3.00像素左右。

關(guān)鍵詞：球形全景影像；位姿估計(jì)；EPnP(efficient perspective-n-point)算法

球形全景影像是多臺(tái)相機(jī)通過(guò)對(duì)360°拍攝的影像進(jìn)行拼接，形成長(zhǎng)方形影像，并投影到球面形成的，可視為以球心為投影中心、半徑為焦距、球面為成像面、視場(chǎng)角為360°的虛擬相機(jī)拍攝的影像，其位姿估計(jì)解求的是類似相機(jī)位姿估計(jì)的旋轉(zhuǎn)矩陣和平移向量。球形全景影像可全方位地體現(xiàn)場(chǎng)景細(xì)節(jié)信息，具有場(chǎng)景全覆蓋的優(yōu)勢(shì)，在街景地圖導(dǎo)航服務(wù)、景觀地圖[1]、月球車巡視探測(cè)[2]、虛擬現(xiàn)實(shí)以及移動(dòng)機(jī)器人視覺(jué)[3-5]等領(lǐng)域都有廣泛應(yīng)用。

針對(duì)全景影像的研究主要集中在如何實(shí)現(xiàn)相機(jī)檢校[6]、影像拼接縫合[7-10]和影像匹配[11-12]方面，關(guān)于球形全景影像位姿估計(jì)和三維重建的研究仍處于起步階段，其中文獻(xiàn)[11]利用GPS/IMU提供的位姿初值進(jìn)行球形全景影像序列光束法區(qū)域網(wǎng)平差，解算球形全景影像位姿；文獻(xiàn)[13—14]提出了基于相對(duì)定向-絕對(duì)定向、雙球面投影幾何的可量測(cè)球形立體全景模型，進(jìn)行球形全景影像位姿估計(jì)和三維量測(cè)；文獻(xiàn)[15]提出了一種針對(duì)高噪聲環(huán)境的蒙特卡羅解法，基于已知地理參考影像實(shí)現(xiàn)地面車載全景影像序列的精確定位；文獻(xiàn)[16]深入比較了多鏡頭組合型全景相機(jī)的嚴(yán)格成像模型和理想成像模型之間位姿估計(jì)和定位精度的差異；文獻(xiàn)[17]針對(duì)全景相機(jī)和定位定姿系統(tǒng)(POS)集成的車載移動(dòng)測(cè)圖系統(tǒng)，提出一種外方位元素標(biāo)定的方法。

上述球形全景影像位姿估計(jì)方法大多需要GPS/IMU提供已知的位姿數(shù)據(jù)，增加了數(shù)據(jù)采集的成本和復(fù)雜性；或者需要進(jìn)行迭代，雖精度高，但位姿解算精度容易受到迭代初值的影響，算法效率低，魯棒性差。為解決這個(gè)問(wèn)題，本文引入了Lepetit和Moreno提出的透視成像攝像機(jī)高精度快速位姿估計(jì)算法EPnP(efficient perspective-n-point)[18]，其核心思想是將n(n≥4)個(gè)物方點(diǎn)表示為4個(gè)虛擬控制點(diǎn)的加權(quán)和，通過(guò)物方點(diǎn)和像點(diǎn)的對(duì)應(yīng)關(guān)系估計(jì)虛擬控制點(diǎn)的攝像機(jī)坐標(biāo)，即可求得物方點(diǎn)的攝像機(jī)坐標(biāo)，最后通過(guò)Horn絕對(duì)定位算法[19]求解旋轉(zhuǎn)矩陣和平移向量。由于Horn絕對(duì)定位算法至少需要3個(gè)控制點(diǎn)，為提高定位精度至少需要1個(gè)多余觀測(cè)值，故至少需要4個(gè)控制點(diǎn)，虛擬控制點(diǎn)取控制點(diǎn)個(gè)數(shù)范圍最小值4。該算法無(wú)須迭代求解，時(shí)間復(fù)雜度為O(n)，且能達(dá)到較高的精度。

本文采用文獻(xiàn)[16]中的理想成像模型，構(gòu)建了球形全景影像的投影模型和共線條件方程，提出了球形全景影像位姿估計(jì)的改進(jìn)EPnP算法，并與球形全景影像位姿估計(jì)的后方交會(huì)算法進(jìn)行比較。仿真試驗(yàn)和實(shí)際試驗(yàn)結(jié)果表明，本文提出的方法無(wú)須迭代求解，更為穩(wěn)健快速，即使控制點(diǎn)數(shù)目較少也能達(dá)到高精度，重投影誤差可控制在3.00像素左右。

1球形全景影像的投影模型構(gòu)建

球形全景影像是多臺(tái)相機(jī)通過(guò)對(duì)360°拍攝的影像進(jìn)行拼接，形成長(zhǎng)方形影像，并投影到球面形成的。如圖1所示，設(shè)全景球的半徑為r，全景影像ABCD長(zhǎng)度方向水平覆蓋整個(gè)球面，總長(zhǎng)度W=2πr，寬度方向豎直覆蓋半個(gè)球面，總長(zhǎng)度H=πr。以點(diǎn)A為原點(diǎn)，指向B為x軸，指向D為y軸，建立像平面坐標(biāo)系，同時(shí)以球心O為原點(diǎn)，指向平面全景影像中心G在全景球上的對(duì)應(yīng)點(diǎn)H為y軸，赤道截面為Oxy平面，建立像空間直角坐標(biāo)系。長(zhǎng)方形全景影像ABCD上任意一點(diǎn)M(x,y)，在球形全景影像上存在對(duì)應(yīng)的映射點(diǎn)P(X,Y,Z)，其對(duì)應(yīng)的物方點(diǎn)在像空間坐標(biāo)系中的坐標(biāo)為Pc(Xc,Yc,Zc)。

圖1　球形全景影像與平面全景影像的映射關(guān)系Fig.1　The mapping relationship between spherical panoramic image and plane panoramic image

如圖1所示，設(shè)點(diǎn)P在Oxy平面上的投影為N點(diǎn)，連接ON與Y軸的夾角為α∈[-π，π]，與OP的夾角為β∈[-π/2，π/2]，順時(shí)針為正，逆時(shí)針為負(fù)，則根據(jù)圖1所示的映射關(guān)系，點(diǎn)M和點(diǎn)P的坐標(biāo)值可表示為如下形式

(1)

(2)

由式(1)、式(2)可推導(dǎo)得像平面坐標(biāo)點(diǎn)M到球形全景像空間坐標(biāo)點(diǎn)P的映射關(guān)系如式(3)

(3)

同時(shí)，點(diǎn)Pc、點(diǎn)P與全景球心O滿足共線條件，可列方程如式(4)

(4)

2球形全景影像位姿估計(jì)的改進(jìn)EPnP算法

2.1位姿描述

EPnP算法估計(jì)的是透視成像攝像機(jī)的位姿[20]，可將球形全景影像視為以球心為投影中心，半徑為焦距，球面為成像面，視場(chǎng)角為360°的虛擬相機(jī)拍攝的影像，從而通過(guò)EPnP算法求解球形全景影像的位姿。如圖2所示，球形全景影像的位姿由球形全景像空間坐標(biāo)系OXYZ相對(duì)于物方空間坐標(biāo)系SXwYwZw的旋轉(zhuǎn)矩陣R和平移向量T(全景球心O的物方空間坐標(biāo))表示，球形全景影像位姿估計(jì)即對(duì)R、T進(jìn)行求解。

2.2位姿估計(jì)算法

圖2中，{P1,P2,…，Pn}為已知的控制點(diǎn)集，C1、C2、C3、C4為虛擬控制點(diǎn)，球形全景影像位姿估計(jì)的改進(jìn)EPnP算法的關(guān)鍵在于以虛擬控制點(diǎn)為橋梁，求解控制點(diǎn)在球形全景像空間坐標(biāo)系下的坐標(biāo)，從而利用Horn絕對(duì)定位算法解求R、T，其流程如圖3所示。

圖2　球形全景影像位姿估計(jì)圖示Fig.2　Position and pose obtainment representation of spherical panoramic image

圖3　球形全景影像位姿估計(jì)流程圖Fig.3　Position and pose obtainment flow chart of spherical panoramic image

具體步驟如下：

(1) 確定虛擬控制點(diǎn)的物方空間坐標(biāo)

(2) 求解控制點(diǎn)表示為虛擬控制點(diǎn)的權(quán)重

控制點(diǎn)可表示為4個(gè)虛擬控制點(diǎn)的加權(quán)和，使得求解控制點(diǎn)的球形全景像空間坐標(biāo)時(shí)，可通過(guò)求解虛擬控制點(diǎn)的球形全景像空間坐標(biāo)系實(shí)現(xiàn)，簡(jiǎn)化算法復(fù)雜度，這也是虛擬控制點(diǎn)存在的意義。

(5)

(6)

(3) 求解虛擬控制點(diǎn)的球形全景像空間坐標(biāo)

(7)

(8)

n個(gè)控制點(diǎn)根據(jù)式(8)可列立3n個(gè)齊次線性方程，共有3n個(gè)控制點(diǎn)坐標(biāo)未知量，為減少未知量的個(gè)數(shù)，將式(7)代入式(8)可得

(9)

式如式(10)

MX=0

(10)

則矩陣M的核空間即為未知量X的解

(11)

式中，Vj為MTM零特征值的特征向量；N是MTM核空間的維數(shù)；δj是未知值。根據(jù)歐氏變換的保距性，4個(gè)虛擬控制點(diǎn)相互間的距離可列式如式(12)

(12)

(4) 求解球形全景像空間坐標(biāo)系相對(duì)于物方空間坐標(biāo)系的旋轉(zhuǎn)矩陣R和平移向量T

(13)

i=1,2,…,n

(14)

令矩陣A為式(15)，則問(wèn)題可轉(zhuǎn)化為求解使Tr[RTA]最大化的旋轉(zhuǎn)矩陣R

(15)

滿足該條件的旋轉(zhuǎn)矩陣R和相對(duì)應(yīng)的平移向量T可表示如式(16)

(16)

3試驗(yàn)過(guò)程與效果分析

3.1仿真試驗(yàn)

為測(cè)試球形全景影像位姿估計(jì)的改進(jìn)EPnP算法(EPnP算法)的性能和受控制點(diǎn)數(shù)目、噪聲水平的影響，首先進(jìn)行仿真試驗(yàn)，并與球形全景影像位姿估計(jì)的后方交會(huì)算法(后方交會(huì)算法)進(jìn)行比較。設(shè)平面全景影像大小為15 000×7500像素，由于球形全景影像的控制點(diǎn)極少出現(xiàn)在球頂和球底的位置，故設(shè)置控制點(diǎn)像點(diǎn)坐標(biāo)均勻分布在[015 000]×[12506250]的像素區(qū)域內(nèi)，旋轉(zhuǎn)矩陣?yán)@X、Y、Z軸的3個(gè)旋轉(zhuǎn)角均勻分布在[0°45°]之間，平移向量在X、Y、Z軸方向上的偏移均勻分布在[-10001000](單位為m)之間，控制點(diǎn)到球形全景影像的球心距離均勻分布在[10100](單位為m)之間。算法求得球形全景影像的位姿后，采用重投影誤差來(lái)評(píng)價(jià)算法的精度。

3.1.1控制點(diǎn)數(shù)目試驗(yàn)

控制點(diǎn)數(shù)目范圍為[620]個(gè)，步長(zhǎng)為1，圖像點(diǎn)添加在[0 2]像素范圍內(nèi)的隨機(jī)整數(shù)噪聲，每個(gè)控制點(diǎn)數(shù)目下進(jìn)行100次獨(dú)立試驗(yàn)，再對(duì)計(jì)算時(shí)間和重投影誤差取平均值，得到重投影誤差結(jié)果如圖4所示，由于仿真試驗(yàn)像點(diǎn)真實(shí)坐標(biāo)已知，重投影誤差為真誤差。

圖4　控制點(diǎn)數(shù)目試驗(yàn)重投影誤差Fig.4　Reprojection error of the experiments changed with the number of control points

圖4結(jié)果顯示，在不同的控制點(diǎn)數(shù)目下，EPnP算法的重投影誤差在[1.701.94]像素之間，波動(dòng)范圍約為0.24像素，波動(dòng)較小；后方交會(huì)算法的重投影誤差大部分在[1.041.82]像素之間，精度較高，但在控制點(diǎn)數(shù)目為6個(gè)、8個(gè)、11個(gè)、17個(gè)的試驗(yàn)中，其重投影誤差在[2.402.74]像素之間，大于添加的圖像點(diǎn)噪聲像素范圍。試驗(yàn)表明，EPnP算法的精度受控制點(diǎn)數(shù)目變化的影響較小，比后方交會(huì)算法穩(wěn)健。

3.1.2圖像噪聲試驗(yàn)

試驗(yàn)中將控制點(diǎn)數(shù)目設(shè)為12個(gè)，圖像點(diǎn)添加均值為0像素，標(biāo)準(zhǔn)差為σ像素的噪聲，σ在[120]像素范圍內(nèi)變化，步長(zhǎng)為1，進(jìn)行100次獨(dú)立試驗(yàn)，再對(duì)計(jì)算時(shí)間和重投影誤差取平均值，得到重投影誤差結(jié)果如圖5所示，由于仿真試驗(yàn)像點(diǎn)真實(shí)坐標(biāo)已知，重投影誤差為真誤差。

圖5　圖像噪聲試驗(yàn)重投影誤差Fig.5　Reprojection error of the experiments changed with the noise level of image

圖5結(jié)果顯示，在不同的圖像點(diǎn)噪聲水平下，EPnP算法的重投影誤差與對(duì)應(yīng)的噪聲像素標(biāo)準(zhǔn)差相當(dāng)，說(shuō)明該算法的計(jì)算精度受圖像點(diǎn)噪聲水平的影響較大；后方交會(huì)算法的重投影誤差大部分情況下低于EPnP算法，但在噪聲標(biāo)準(zhǔn)差為8像素、10像素、13像素的情況下，明顯大于EPnP算法，說(shuō)明后方交會(huì)算法的精度不穩(wěn)定，波動(dòng)大，魯棒性較差。

此外，仿真試驗(yàn)結(jié)果中，EPnP算法的計(jì)算時(shí)間集中在0.45s左右，后方交會(huì)算法的計(jì)算時(shí)間集中在13s左右，表明EPnP算法的計(jì)算效率比后方交會(huì)算法提高了近30倍。

仿真試驗(yàn)結(jié)果表明，本文提出的方法具有理論可行性，更為穩(wěn)健快速，即使控制點(diǎn)數(shù)目較少也能達(dá)到較高精度。實(shí)際應(yīng)用中可以利用少量均勻分布的控制點(diǎn)，達(dá)到較好的位姿估計(jì)結(jié)果，從而節(jié)省成本并提高效率。

3.2實(shí)際影像數(shù)據(jù)試驗(yàn)

仿真試驗(yàn)表明球形全景影像位姿估計(jì)的改進(jìn)EPnP算法具有理論可行性，下面測(cè)試其實(shí)際可行性?；谇蛐稳坝跋竦膶?shí)際數(shù)據(jù)位姿估計(jì)試驗(yàn)在武漢大學(xué)信息學(xué)部1號(hào)樓前進(jìn)行，采用的相機(jī)為ladybug3和ladybug5，每個(gè)相機(jī)設(shè)立兩個(gè)測(cè)站，大小為8000×4000像素，并提供12個(gè)控制點(diǎn)數(shù)據(jù)和96個(gè)檢查點(diǎn)數(shù)據(jù)如圖6所示。

圖6中，12個(gè)控制點(diǎn)和96個(gè)檢查點(diǎn)在全景影像中長(zhǎng)度方向均勻分布，寬度方向集中在中心位置，這與大部分室外控制點(diǎn)和檢查點(diǎn)只能依賴

建筑物進(jìn)行采集以及相機(jī)與建筑物的距離有關(guān)。用實(shí)際數(shù)據(jù)進(jìn)行球形全景影像位姿估計(jì)的改進(jìn)EPnP算法(EPnP算法)，并與球形全景影像位姿估計(jì)的后方交會(huì)算法(后方交會(huì)算法)進(jìn)行對(duì)比，對(duì)比試驗(yàn)中12個(gè)控制點(diǎn)的重投影誤差(單位為像素)見(jiàn)表1。

如表1所示，EPnP算法中，ladybug3測(cè)站1全景影像控制點(diǎn)重投影誤差最大為5.91像素，均值為2.80像素；ladybug3測(cè)站2全景影像控制點(diǎn)重投影誤差最大為7.52像素，均值為2.21像素；ladybug5測(cè)站1全景影像控制點(diǎn)重投影誤差最大為2.24像素，均值為0.94像素；ladybug5測(cè)站2全景影像控制點(diǎn)重投影誤差最大為2.95像素，均值為1.15像素。后方交會(huì)算法中，ladybug3測(cè)站1全景影像控制點(diǎn)重投影誤差最大為6.50像素，均值為2.49像素；ladybug3測(cè)站2全景影像控制點(diǎn)重投影誤差最大為3.68像素，均值為1.86像素，其中該試驗(yàn)設(shè)置Kappa值為0°時(shí)，算法無(wú)法收斂，設(shè)置為90°時(shí)，算法才正常收斂；ladybug5測(cè)站1全景影像控制點(diǎn)重投影誤差最大為2.65像素，均值為0.81像素；ladybug5測(cè)站2全景影像控制點(diǎn)重投影誤差最大為2.88像素，均值為1.10像素。

圖6　全景影像實(shí)際數(shù)據(jù)分布Fig.6　The distribution of actual data in panoramic image

像素

此外，試驗(yàn)也得到了96個(gè)檢查點(diǎn)的重投影誤差(單位為像素)，其結(jié)果見(jiàn)表2。

表1、表2試驗(yàn)結(jié)果顯示，兩種球形全景影像位姿估計(jì)方法的控制點(diǎn)重投影誤差和檢查點(diǎn)重投影誤差都達(dá)到了3.00像素左右的平均精度，說(shuō)明利用少量均勻分布的控制點(diǎn)數(shù)據(jù)進(jìn)行位姿估計(jì)可得到較好的檢查點(diǎn)重投影精度，即位姿估計(jì)結(jié)果較好。對(duì)于ladybug3，兩種球形全景影像位姿估計(jì)方法得到的重投影誤差差值在0.94像素以內(nèi)；而對(duì)于ladybug5，重投影誤差差值則在0.60像素內(nèi)，說(shuō)明兩種方法位姿估計(jì)精度相當(dāng)，但EPnP算法的計(jì)算時(shí)間為0.36s左右，后方交會(huì)算法的計(jì)算時(shí)間為13s左右。由此可知，本文提出的方法時(shí)間效率比后方交會(huì)算法提高了30倍多，是一種高精度、快速的球形全景影像位姿估計(jì)方法。

表2　友誼廣場(chǎng)檢查點(diǎn)實(shí)驗(yàn)數(shù)據(jù)投影誤差

由仿真試驗(yàn)和真實(shí)數(shù)據(jù)試驗(yàn)可以得出以下結(jié)論：

(1) 本文中EPnP算法計(jì)算效率比后方交會(huì)算法提高了30倍左右，其中EPnP算法的時(shí)間復(fù)雜度為O(n)，后方交會(huì)算法的時(shí)間復(fù)雜度為O(n*iter)，n為控制點(diǎn)個(gè)數(shù)，iter為迭代次數(shù)。

(2) 無(wú)須位姿初值迭代求解的EPnP算法精度比后方交會(huì)算法略低，但在位姿初值不合適的情況下，后方交會(huì)算法將難以收斂到理想值或者不收斂，導(dǎo)致解算精度差，魯棒性不高。

(3)EPnP算法的重投影誤差與圖像點(diǎn)噪聲水平成正比的規(guī)律表明，不宜選用拼接誤差過(guò)大的全景影像(單相機(jī)光心和全景虛擬光心的距離不可忽略)進(jìn)行位姿估計(jì)。

由文獻(xiàn)[16]可知，在單相機(jī)光心和全景虛擬光心距離可忽略的前提下，單張全景影像拼接誤差與控制點(diǎn)到全景虛擬光心的距離有關(guān)，近距離控制點(diǎn)成像會(huì)引起較大的拼接誤差，ladybug相機(jī)的最佳拼接半徑為20m，故一般不采用10m以內(nèi)的控制點(diǎn)。

本文提出的方法針對(duì)的是廣泛采用的全景理想成像模型，它是建立在球形全景影像不存在拼接誤差或者拼接誤差可以忽略不計(jì)的前提下的，而對(duì)于體型較大的多鏡頭組合式相機(jī)，由于單相機(jī)光心和全景虛擬光心的距離不可忽略，球形全景影像存在明顯的拼接誤差，采用本文建立的球形全景影像投影模型將導(dǎo)致位姿估計(jì)誤差較大。文獻(xiàn)[16]提出的全景嚴(yán)格模型，為解決這一問(wèn)題提供了方向，全景影像嚴(yán)格模型位姿估計(jì)的改進(jìn)EPnP算法有待于進(jìn)一步研究。

4結(jié)論

本文構(gòu)建了球形全景影像的投影模型和共線條件方程，并引入EPnP算法進(jìn)行改進(jìn)，提出了一種快速的球形全景影像位姿估計(jì)算法，解決了基于球形全景影像進(jìn)行三維重建需要位姿數(shù)據(jù)的問(wèn)題，使其不再依賴GPS/IMU位姿數(shù)據(jù)，降低了數(shù)據(jù)采集成本。與球形全景影像位姿估計(jì)的后方交會(huì)算法對(duì)比試驗(yàn)表明，本文提出的方法無(wú)須迭代求解，更為穩(wěn)健快速，重投影誤差可控制在3.00像素左右，且即使控制點(diǎn)數(shù)目較少也能達(dá)到高精度，可在實(shí)際應(yīng)用中實(shí)現(xiàn)使用少量控制點(diǎn)進(jìn)行位姿估計(jì)和三維重建，提高效率。

參考文獻(xiàn)：

[1]李霖,于忠海,李楨, 等. 全景景觀地圖中地形局部變形研究[J]. 武漢大學(xué)學(xué)報(bào)(信息科學(xué)版), 2013, 38(11): 1335-1338, 1343.LILin,YUZhonghai,LIZhen,etal.LocalTerrainDeformationinPanoramicMaps[J].GeomaticsandInformationScienceofWuhanUniversity, 2013, 38(11): 1335-1338, 1343.

[2]張爍, 李群智, 溫博, 等. 玉兔號(hào)月球車全景相機(jī)的正交變換投影模型[J]. 武漢大學(xué)學(xué)報(bào)(信息科學(xué)版), 2014, 39(7): 804-808.

ZHANGShuo,LIQunzhi,WENBo,etal.OrthogonalProjectionModelofJadeRabbitLunarRoverPancam[J].GeomaticsandInformationScienceofWuhanUniversity, 2014, 39(7): 804-808.

[3]TONGGuofeng,LIURan,TANJindong. 3DInformationRetrievalinMobileRobotVisionBasedonSphericalCompoundEye[C]∥Proceedingsofthe2011IEEEInternationalConferenceonRoboticsandBiomimetics.KaronBeach,Phuket:IEEE, 2011: 1895-1900.

[4]TONGGuofeng,WUZizhang,WENGNinglong,etal.AnOmni-directionalvSLAMBasedonSphericalCameraModeland3DModeling[C]∥Proceedingsofthe10thWorldCongressonIntelligentControlandAutomation.Beijing:IEEE, 2012: 4551-4556.

[5]TONGGuofeng,GUJiuhong.LocatingObjectsinSphericalPanoramicImages[C]∥Proceedingsofthe2011IEEEInternationalConferenceonRoboticsandBiomimetics.KaronBeach,Phuket:IEEE, 2011: 818-823.

[6]徐芳, 梅文勝, 張利. 線陣全景相機(jī)檢校模型研究[J]. 武漢大學(xué)學(xué)報(bào)(信息科學(xué)版), 2014, 39(4): 417-421.

XUFang,MEIWensheng,ZHANGLi.TheCalibrationModelofLinearArrayPanoramicCameras[J].GeomaticsandInformationScienceofWuhanUniversity, 2014, 39(4): 417-421.

[7]李曉輝, 周蔭清, 王祖林. 基于曲面拼接的球面全景生成算法[J]. 北京航空航天大學(xué)學(xué)報(bào), 2007, 33(6): 668-671, 681.

LIXiaohui,ZHOUYinqing,WANGZulin.SphericalPanoramaCreatingAlgorithmBasedonCurveSurfaceMosaic[J].JournalofBeijingUniversityofAeronauticsandAstronautics, 2007, 33(6): 668-671, 681.

[8]龔琪慧, 吳健平, 王潔華, 等. 基于全景圖的3維實(shí)景制作及其與GIS集成研究[J]. 測(cè)繪與空間地理信息, 2012, 35(6): 33-37.

GONGQihui,WUJianping,WANGJiehua,etal.TheResearchoftheProductionof3DRealSceneandtheGISIntegrationThereofBasedonPanorama[J].Geomatics&SpatialInformationTechnology, 2012, 35(6): 33-37.

[9]TONGGuofeng,PANGXiaolei,YENing,etal.APreciseSphericalCameraModelBasedonMulti-cameraSystem[J].JournalofComputationalInformationSystems, 2013, 9(3): 897-905.

[10]BROWNM,LOWEDG.AutomaticPanoramicImageStitchingUsingInvariantFeatures[J].InternationalJournalofComputerVision, 2007, 74(1): 59-73.

[11]季順平, 史云. 車載全景相機(jī)的影像匹配和光束法平差[J]. 測(cè)繪學(xué)報(bào), 2013, 42(1): 94-100.JIShunping,SHIYun.ImageMatchingandBundleAdjustmentUsingVehicle-basedPanoramicCamera[J].ActaGeodaeticaetCartographicaSinica, 2013, 42(1): 94-100.

[12]張正鵬, 江萬(wàn)壽, 張靖. 光流特征聚類的車載全景序列影像匹配方法[J]. 測(cè)繪學(xué)報(bào), 2014, 43(12): 1266-1273.DOI: 10.13485/j.cnki.11-2089.2014.0172.

ZHANGZhengpeng,JIANGWanshou,ZHANGJing.AnImageMatchMethodBasedonOpticalFlowFeatureClusteringforVehicle-bornePanoramicImageSequence[J].ActaGeodaeticaetCartographicaSinica, 2014, 43(12): 1266-1273.DOI: 10.13485/j.cnki.11-2089.2014.0172.

[13]劉帥, 陳軍, 孫敏, 等. 一種球形立體全景的三維量測(cè)算法與實(shí)驗(yàn)[J]. 地球信息科學(xué)學(xué)報(bào), 2014, 16(1): 15-22.LIUShuai,CHENJun,SUNMin,etal.AThreeDimensionalMeasurementApproachandExperimentBasedonSphericalPanorama[J].JournalofGeo-InformationScience, 2014, 16(1): 15-22.

[14]劉帥, 陳軍, 孫敏, 等. 雙球面投影幾何可量測(cè)全景模型的構(gòu)建[J]. 計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào), 2015, 27(4): 657-665.

LIUShuai,CHENJun,SUNMin,etal.MeasurablePanoramaConstructionBasedonBinocularSphericalProjectiveGeometry[J].JournalofComputer-aidedDesign&ComputerGraphics, 2015, 27(4): 657-665.

[15]季順平, 史云. 高噪聲環(huán)境下基于參考影像的車載序列影像定位方法[J]. 測(cè)繪學(xué)報(bào), 2014, 43(11): 1174-1181.DOI: 10.13485/j.cnki.11-2089.2014.0181.JIShunping,SHIYun.GeoregistrationofGroundSequentialImagerywithGeo-referencedAerialImagesinHighNoiseEnvironments[J].ActaGeodaeticaetCartographicaSinica, 2014, 43(11): 1174-1181.DOI: 10.13485/j.cnki.11-2089.2014.0181.

[16]季順平, 史云. 多鏡頭組合型全景相機(jī)兩種成像模型的定位精度比較[J]. 測(cè)繪學(xué)報(bào), 2014, 43(12): 1252-1258.DOI: 10.13485/j.cnki.11-2089.2014.0169.

JIShunping,SHIYun.ComparisonofTwoSensorModelsforMulti-cameraRigSysteminMeasurements[J].ActaGeodaeticaetCartographicaSinica,2014, 43(12): 1252-1258.DOI: 10.13485/j.cnki.11-2089.2014.0169.

[17]石麗梅, 趙紅蕊, 李明海, 等. 車載移動(dòng)測(cè)圖系統(tǒng)外方位元素標(biāo)定方法[J]. 測(cè)繪學(xué)報(bào), 2015, 44(1): 52-58.DOI: 10.11947/j.AGCS.2015.20130203.

SHILimei,ZHAOHongrui,LIMinghai,etal.ExtrinsicCalibrationforVehicle-basedMobileMappingSystem[J].ActaGeodaeticaetCartographicaSinica, 2015, 44(1): 52-58.DOI: 10.11947/j.AGCS.2015.20130203.

[18]LEPETITV,MORENO-NOGUERF,FUAP.EPnP:AnAccurateO(n)SolutiontothePnPProblem[J].InternationalJournalofComputerVision, 2009, 81(2): 155-166.

[19]HORNBKP,HILDENHM,NEGAHDARIPOURS.Closed-formSolutionofAbsoluteOrientationUsingOrthonormalMatrices[J].JournaloftheOpticalSocietyofAmericaA, 1988, 5(7): 1127-1135.

[20]王佩軍, 徐亞明. 攝影測(cè)量學(xué)[M]. 武漢: 武漢大學(xué)出版社, 2005.

WANGPeijun,XUYaming.Photogrammetry[M].Wuhan:WuhanUniversityPress, 2005.

(責(zé)任編輯：陳品馨)

修回日期： 2016-04-10

Firstauthor：DENGFei(1976—),male,PhD,professor,majorsindigitalphotogrammetry.

E-mail：fdemg@sgg.whu.edu.cn

E-mail：yousiwu@whu.edu.cn

Position and Pose Estimation of Spherical Panoramic Image with Improved EPnP Algorithm

DENG Fei1,2,WU Yousi1,HU Yulei3,CUI Hongxia4

1. School of Geodesy and Geomatics, Wuhan University, Wuhan 430079, China; 2. Collaborative Innovation Center for Territorial Sovereignty and Maritime Rights, Wuhan University, Wuhan 430079, China; 3. China Railway Siyuan Survey and Design Group CO.,LTD., Wuhan 430063, China; 4. School of Information Science and Technology,Bohai University, Jinzhou 121013, China

Abstract：Spherical panoramic imaging can overcome the limitations of perspective imaging’s range of view and achieve three-dimensional reconstruction and measurement with full coverage.The EPnP(efficient perspective-n-point) algorithm fit for ordinary image’s position and pose estimation is improved and extended by this paper to put forward a robust and fast method to estimate spherical panoramic image’s position and pose. Firstly,we construct the projection model of spherical panoramic image to extend the perspective plane imaging model of EPnP algorithm to the spherical imaging model;then with the improved EPnP algorithm basing on the condition equation that panoramic sphere center,image point and control point are collinear, we obtain the control points’ coordinates in spherical panoramic image space; finally, we solve the spherical panoramic image’s position and pose directly with the Horn absolute positioning algorithm. Compared with the position and pose estimation method of spherical panoramic image with the resection algorithm, the experiment results show that the method proposed in this paper can achieve higher robustness, higher efficiency without going through an iterative solution, and it can also achieve high accuracy with a few control points.Based on the panoramic camera stitching with non-strict center, the reprojection error can be controlled around 3.00 pixel level.

Key words：spherical panoramic image; position and pose estimation; EPnP(efficient perspective-n-point) algorithm

中圖分類號(hào)：P232

文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1001-1595(2016)06-0677-08

基金項(xiàng)目：國(guó)家自然科學(xué)基金(41271431)

收稿日期：2015-08-12

第一作者簡(jiǎn)介：鄧非(1976—)男，博士，教授，研究方向?yàn)閿?shù)字?jǐn)z影測(cè)量。

通信作者：吳幼絲

Correspondingauthor：WUYousi

引文格式：鄧非，吳幼絲，胡玉雷，等.球形全景影像位姿估計(jì)的改進(jìn)EPnP算法[J].測(cè)繪學(xué)報(bào)，2016,45(6)：677-684. DOI:10.11947/j.AGCS.2016.20150411.

DENG Fei,WU Yousi,HU Yulei,et al.Position and Pose Estimation of Spherical Panoramic Image with Improved EPnP Algorithm[J]. Acta Geodaetica et Cartographica Sinica,2016,45(6):677-684. DOI:10.11947/j.AGCS.2016.20150411.