球面全景影像相對定向與精度驗證

謝東海，鐘若飛，吳 俁，符 晗，黃小川，孫振興

1.首都師范大學(xué)地球空間信息科學(xué)與技術(shù)國際化示范學(xué)院，北京 100048；2.北京成像技術(shù)高精尖創(chuàng)新中心，北京 100048；3.中國科學(xué)院遙感與數(shù)字地球研究所，北京 100094

球面全景影像相對定向與精度驗證

謝東海1,2，鐘若飛1,2，吳 俁3，符 晗1,2，黃小川1,2，孫振興1,2

1.首都師范大學(xué)地球空間信息科學(xué)與技術(shù)國際化示范學(xué)院，北京 100048；2.北京成像技術(shù)高精尖創(chuàng)新中心，北京 100048；3.中國科學(xué)院遙感與數(shù)字地球研究所，北京 100094

對傳統(tǒng)的5點法相對定向算法的共面誤差計算方法進行改進，提出了一種適合球面全景成像特點的相對定向計算流程。與傳統(tǒng)方法相同，該算法首先計算本質(zhì)矩陣，然后對本質(zhì)矩陣進行奇異值分解得到旋轉(zhuǎn)矩陣和平移矢量的候選解，最后利用重建的物方三維點坐標(biāo)排除錯誤解。本文的貢獻在于推導(dǎo)了球面全景共面條件公式，并使用點到核線平面的球面距離作為球面全景共面條件的誤差項。模擬數(shù)據(jù)試驗顯示：當(dāng)圖像特征點的隨機噪聲在[-0.5,0.5]像素范圍內(nèi)時，3個姿態(tài)角的中誤差約為0.1°，由相對定向恢復(fù)的相對平移量與模擬值的夾角中誤差約為1.5°。使用車載全景相機配合POS獲取的數(shù)據(jù)進行試驗的結(jié)果顯示：橫滾角和俯仰角的中誤差可以達到0.2°以內(nèi)，航向角的中誤差可以達到0.4°以內(nèi)，由相對定向恢復(fù)的相對平移量與POS平移量的夾角中誤差可以達到2°以內(nèi)。采用本文相對定向算法的結(jié)果生成球面全景核線影像，提取影像之間同名點坐標(biāo)并計算其列方向誤差，結(jié)果顯示核線影像同名點列坐標(biāo)差的中誤差在1個像素以內(nèi)。

球面全景影像；相對定向；核線；本質(zhì)矩陣；奇異值分解

車載球面全景影像能夠采集來自每個方向的光線信息，并且以二維圖像的方式保存起來，獲得360°×180°全視場的視覺信息。配合高精度的GPS(Global Positioning System)和IMU(inertial measurement unit)，能夠獲取帶有精確位置和姿態(tài)信息的高分辨率全景影像，目前已經(jīng)廣泛應(yīng)用于地理信息采集、街景地圖制作、安防監(jiān)控、交通等領(lǐng)域。比如著名的Google街景在不同地點采集球面全景影像，并放置在地圖對應(yīng)的位置，用戶可以很方便地從一個全景場景過渡到另外一個全景場景進行室外瀏覽。根據(jù)采集相機和處理方式的不同，球面全景影像的獲取方法也不同。一種方法是利用魚眼鏡頭來獲取大視場圖像，然后利用商業(yè)拼接軟件(如PTGui)來得到球面全景影像，這種方式將采集與處理分開，處理效率較低。在要求連續(xù)、高精度和快速拼接全景的場合，往往采用集成化的商業(yè)全景視覺系統(tǒng)，如加拿大PointGrey公司生產(chǎn)的Ladybug。該系統(tǒng)包含6個相機(5個相機水平放置，1個垂直向上拍攝)，可以獲得水平方向360°，豎直方向接近180°視場的影像信息。Ladybug能夠?qū)崟r完成影像采集、處理、拼接和校正等工作。針對全景影像的研究目前大部分集中于全景構(gòu)象方程[1-2]、全景相機標(biāo)定[3]與拼接以及全景匹配[4-6]等。在目前的應(yīng)用中，全景圖像大部分都是用于360°場景的瀏覽，一般不具備量測的功能。隨著全景圖像采集設(shè)備以及拼接算法的普及，越來越多的研究嘗試用全景影像來恢復(fù)場景的三維結(jié)構(gòu)[7-10]，并應(yīng)用于文物保護與重建[11-12]、建筑測量[13]、SLAM(simultaneous localization and mapping)技術(shù)[14]，以及增強現(xiàn)實領(lǐng)域[15]。相比傳統(tǒng)的基于面陣影像的三維重建，全景影像獨特的投影方式與小孔平面成像模型不同，因此需要對現(xiàn)有的模型進行改造才能運用到全景影像[16]。

相對定向是利用影像進行重建和量測的關(guān)鍵技術(shù)，也是進行全自動序列影像三維重建的前提。相對定向利用同名點來恢復(fù)立體像對之間的位置和姿態(tài)，能夠?qū)崿F(xiàn)初始點云數(shù)據(jù)的重建，為序列影像的光束法空三[17]提供初始的位置、姿態(tài)和三維點坐標(biāo)信息。與傳統(tǒng)攝影測量[18]的相對定向采用迭代求解的方法不同，計算機視覺領(lǐng)域?qū)Ρ举|(zhì)矩陣[19]進行分解來直接獲得旋轉(zhuǎn)矩陣與平移量，8點法[19-21]和5點法[22]常用來計算本質(zhì)矩陣。8點法的優(yōu)點在于可以直接解算線性方程組來獲得唯一解，但是需要的點數(shù)較多。5點法的計算相對復(fù)雜，但是在內(nèi)方位元素已知且焦距誤差小于10%的情況下精度最高[22]。在本質(zhì)矩陣的計算中，結(jié)合RANSAC(random sample consensus)算法[23]可以提高算法的抗差性，共面誤差則用來對RANSAC的每次采樣計算進行評價?；跉w一化三維坐標(biāo)的切面距離[7]常用作球面全景共面條件的誤差計算方法，該方法直接利用角度信息而且計算簡單，但不能反映不同分辨率的全景圖像的共面誤差變化程度。相對定向結(jié)合全景PnP(perspective-n-point)位姿算法[24]的結(jié)果可以用于全景影像序列的空三解算[5,17]，實現(xiàn)球面全景的全自動三維點云重建[7]。

本文以三維重建中的核心相對定向為研究對象，對目前廣泛使用的5點法相對定向算法[22]進行改進使其適用于球面全景影像，并提出了球面全景的相對定向誤差計算方法。模擬數(shù)據(jù)和實際試驗結(jié)果表明，本文的相對定向解算的姿態(tài)和平移參數(shù)能夠達到較高的精度，利用相對定向結(jié)果生成的全景核線影像的偏移誤差達到1個像素以內(nèi)。

1 球面全景影像成像方程

球面全景影像的處理過程涉及3個坐標(biāo)：影像坐標(biāo)系、經(jīng)緯度球面坐標(biāo)系和三維空間坐標(biāo)系。3個坐標(biāo)系的關(guān)系如圖1。

圖1 球面全景坐標(biāo)系Fig.1 Spherical panoramic coordinate system

圖1中，(x,y)為球面全景影像的像素坐標(biāo)，(θ,φ)為經(jīng)緯度，(X,Y,Z)為局部三維坐標(biāo)系。為了方便計算，經(jīng)度起始方向是Y軸正方向，緯度起始方向為Z軸正方向，因此經(jīng)度的取值范圍為[0,360°]，緯度的取值范圍為[0,180°]。球面全景影像的寬高比為2∶1。設(shè)球體的半徑為r，那么影像的寬度為2πr。全景圖像的像素坐標(biāo)和經(jīng)緯度之間的關(guān)系為

(1)

式中，a為球面全景影像的寬度。三維坐標(biāo)系以Y軸的正方向作為經(jīng)度的起始位置，經(jīng)緯度與三維坐標(biāo)的轉(zhuǎn)換關(guān)系為

(2)

2 平面透視投影5點法相對定向

根據(jù)不同位置拍攝的圖像來恢復(fù)相機位置和三維場景是一個研究了近兩個世紀(jì)的問題，最早是在攝影測量領(lǐng)域[18]，現(xiàn)在主要是在計算機視覺領(lǐng)域[19,25]。當(dāng)相機的內(nèi)方位元素(即相機的焦距、主點位置、畸變參數(shù))已知時，5對匹配點就可以解算出相機的位置與姿態(tài)[19]，其中位置只能恢復(fù)為相對位置，與真實的位置存在一個比例關(guān)系。文獻[22]提出了一種有效的數(shù)值計算方法。相對定向的理論基礎(chǔ)是共面條件，其數(shù)學(xué)模型為本質(zhì)矩陣(essential matrix)。當(dāng)內(nèi)方位元素已知時，圖像坐標(biāo)與本質(zhì)矩陣的聯(lián)系可以用式(3)來描述[19]

(3)

E=[T]×R

(4)

式中，E就是本質(zhì)矩陣，代表了著名的核線約束；[T]×為反對稱矩陣(skew symmetric matrix)；R為旋轉(zhuǎn)矩陣。式(3)中，q、q′為第1張和第2張相片的影像齊次坐標(biāo)，第1張相片的投影中心為坐標(biāo)系的原點。K1、K2為內(nèi)方位元素矩陣。

圖2為5點法相對定向算法的流程，算法假設(shè)內(nèi)方位元素已知?；谄ヅ浣Y(jié)果，并結(jié)合RANSAC方法可以得到誤差最小的本質(zhì)矩陣。然后對本質(zhì)矩陣進行奇異值分解來得到相對定向的結(jié)果，即R與T的值。最后利用重建的三維點坐標(biāo)，根據(jù)實際成像時目標(biāo)位于相機前方的事實來排除錯誤的相對定向結(jié)果。

圖2 平面透視投影5點法相對定向流程Fig.2 The flowchart of the 5-point relative pose estimation method for perspective projection

3 球面全景相對定向

球面全景的成像方式雖然與傳統(tǒng)的透視投影成像不同，但是共面條件依然成立，還是可以用本質(zhì)矩陣來表達。與傳統(tǒng)的平面透視投影相比，由于全景成像已經(jīng)利用相機標(biāo)定的內(nèi)方位元素實現(xiàn)了平面投影到球面坐標(biāo)之間的投影，因此球面全景的球面坐標(biāo)可以直接用來進行相對定向。球面全景的相對定向流程與平面透視投影5點法是一致的，區(qū)別在于共面條件誤差的計算和錯誤組合的剔除與平面透視投影不同。

如圖3所示，在球面投影下，矢量P0、P1和T是共面的。O0-X0Y0Z0為第1張相片的局部三維坐標(biāo)系，也是相對定向中的基準(zhǔn)坐標(biāo)系。O1-X1Y1Z1是第2張相片的局部三維坐標(biāo)系，R為O0-X0Y0Z0到O1-X1Y1Z1的旋轉(zhuǎn)矩陣，T為旋轉(zhuǎn)后兩個坐標(biāo)系之間的平移量。共面條件可以寫為

(5)

E=[T]×R

(6)

式(5)中，P0、P1可以根據(jù)公式(2)來計算；式(6)中的本質(zhì)矩陣E的形式與傳統(tǒng)面陣成像投影是一致的，只是輸入的坐標(biāo)是直接根據(jù)球面全景計算得到的三維坐標(biāo)。

圖3 球面投影下的共面條件Fig.3 Coplanar condition under spherical projection

3.1 共面條件的誤差計算

5點法相對定向中結(jié)合RANSAC來選擇最優(yōu)本質(zhì)矩陣時，需要計算共面條件的誤差并用來判斷本質(zhì)矩陣是否正確。根據(jù)小孔成像的核線原理，同名點位于同名核線上，在平面透視投影中，核線為直線，因此可以采用點到直線的距離作為共面條件的誤差項。但是在球面投影中，核線為經(jīng)過球心的圓，在投影到平面后核線變成不規(guī)則的曲線。針對這個問題，本文直接利用球面距離作為共面條件的誤差。

如圖4所示，P0,P1為球面上的兩個點的齊次坐標(biāo)，對應(yīng)了圖像平面的一對同名點。設(shè)P為P0對應(yīng)的物方空間三維坐標(biāo)，O0PO1為核面，核面與球體相交得到通過球心的兩個藍色圓面。如果P0對應(yīng)的圖像點是正確的同名點，那么這兩個點都應(yīng)該位于藍色的圓面上。本文用球面點到藍色圓面的弧面距離Lc作為共面條件的誤差。設(shè)N為核面O0PO1的法線向量，p1O1和N之間的夾角為?，那么有

Lc=r·(π/2-?)

(7)

根據(jù)本質(zhì)矩陣E的性質(zhì)，可以利用P0來計算N

N=(EP0)T

(8)

半徑r根據(jù)圖像的寬度來計算，因此距離Lc能自動適應(yīng)不同大小的球面全景影像。

3.2 錯誤組合的剔除

得到本質(zhì)矩陣E，采用矩陣奇異值分解(singular value decomposition，SVD)方法[22]對E進行分解得到4組候選的R和T值。在傳統(tǒng)的5點法相對定向中[22]，從4組候選中找到正確的結(jié)果的依據(jù)是重建的三維點位于相機的前方。但對于球面投影來說，相機可以從360°進行拍攝，因此不能使用這個約束條件。因此對傳統(tǒng)的方法進行改進：首先根據(jù)正確的圖像同名點對來重建物方空間三維點P，然后計算重建后的三維點與投影中心連線矢量和基準(zhǔn)圖像中的球面三維點矢量P0之間的夾角。如果相對定向的結(jié)果正確，那么兩個矢量幾乎位于同一個方向上，因此兩個矢量之間的夾角很小。對每對同名點進行上述操作，將夾角小于一定閾值(本文為1°)的點對記錄下來，4個候選中符合上述條件最多的就是正確的相對定向結(jié)果。

4 試驗結(jié)果與分析

4.1 基于模擬數(shù)據(jù)的球面全景相對定向精度分析

模擬全景圖像的特征點數(shù)據(jù)，設(shè)定全景圖像的寬高為：1024×512。參考的基準(zhǔn)大地坐標(biāo)系的中心設(shè)定在左片的投影中心，并假設(shè)左片的圖像空間坐標(biāo)系的3個軸與大地坐標(biāo)系平行，因此左片的3個旋轉(zhuǎn)角度為0°，模擬試驗中只需要隨機構(gòu)造右片的外方位元素即可。試驗隨機模擬100組姿態(tài)和位置參數(shù)，姿態(tài)角的變化范圍為：[-10°,10°]，平移量的變化范圍為：[-1,1]。模擬數(shù)據(jù)假設(shè)有15個空間坐標(biāo)已知的三維點，然后根據(jù)模擬數(shù)據(jù)將三維點投影到二維的球面全景圖像。為了模擬實際中的圖像特征點定位效果，對投影后的圖像坐標(biāo)加入隨機噪音，范圍為：[-0.5,0.5]像素?；谀M數(shù)據(jù)，利用本文的相對定向解算出位置和姿態(tài)數(shù)據(jù)，并統(tǒng)計每個姿態(tài)角的最小、最大值以及中誤差，結(jié)果見表1。

表1 模擬數(shù)據(jù)精度統(tǒng)計Tab.1 The statistics of simulation data accuracy (°)

由于相對定向無法解算出絕對的平移量，而只能獲得一個比例上的相對解，為了評價相對定向算法解算的平移量的精度，通過計算模擬數(shù)據(jù)的平移量與解算得到的平移量之間的夾角作為誤差項進行驗證。設(shè)模擬的平移量為TS，設(shè)解算后的平移量為Tr，那么平移量的夾角為

(9)

夾角越小意味著解算的精度越高。對每組模擬數(shù)據(jù)進行相對定向得到的夾角值進行統(tǒng)計，結(jié)果顯示在表2中。

表2的結(jié)果表明，相對定向算法解算得到的平移量與模擬值之間的夾角小于2°，基本上位于同一個方向上。

表2 模擬的平移量與解算的平移量之間的夾角Tab.2 The angle between simulated translation and the calculated translation (°)

4.2 基于實測數(shù)據(jù)的球面全景相對定向精度分析

試驗數(shù)據(jù)為裝載在汽車上的Ladybug3相機在杭州市采集得到的41張全景圖像。在進行全景數(shù)據(jù)采集的同時利用POS系統(tǒng)(GPS和IMU)記錄了位置信息和姿態(tài)信息。試驗采用的POS系統(tǒng)為OxTS公司的Inertial+，在雙GPS工作狀態(tài)下的精度如表3所示。

表3 Inertial+系統(tǒng)的參數(shù)測量精度Tab.3 The parameter accuracy of Inertial+ system

全景相機與POS系統(tǒng)進行集成后安裝在汽車上，從東往西行駛。軌跡和姿態(tài)數(shù)據(jù)顯示在圖5中。

圖4 球面投影下的共面條件誤差Fig.4 Coplanar condition error under spherical projection

圖5 POS獲取的位置與姿態(tài)數(shù)據(jù)Fig.5 The location and pose data of POS

表4 姿態(tài)角精度驗證Tab.4 Verification of POS angle accuracy (°)

與模擬數(shù)據(jù)類似，根據(jù)相對計算獲得的平移量和POS數(shù)據(jù)的位置信息來計算夾角β，其結(jié)果見表5。

表5 POS平移量與解算的平移量之間的夾角Tab.5 The angle between the translations from POS and the calculated translations (°)

表5為本文相對定向與POS系統(tǒng)提供的姿態(tài)角之間的誤差的統(tǒng)計結(jié)果?？梢钥闯龈┭鼋呛蜋M滾角的精度要高于航向角，這與POS系統(tǒng)的量測精度也是吻合的。真實數(shù)據(jù)的解算精度要低于模擬數(shù)據(jù)，原因在于Ladybug的全景影像是由6個相機拍攝的數(shù)據(jù)拼接生成，因此存在拼接誤差，同時特征點的提取誤差以及POS系統(tǒng)本身的測量誤差，都會導(dǎo)致采用全景數(shù)據(jù)進行相對定向獲得參數(shù)的精度降低。

4.3 基于核線的球面全景相對定向精度分析

如果相對定向的結(jié)果準(zhǔn)確，其核線影像的特征點就落在同一條直線上，可以利用這個規(guī)律來驗證相對定向的精度。41張連續(xù)拍攝的全景影像的相鄰影像可以組合為40個像對，生成40對核線影像。

圖6為圖像序列中一個相鄰像可進行相對定向后生成核線影像(圖6(b))，并在核線影像上進行同名點匹配的效果(圖6(c))。在核線影像之間進行特征點提取和匹配，統(tǒng)計每對核線影像上的同名點在核線方向(本文中為x軸)上的像素差值并計算平均值(用eP來表示)，可以得到40個eP值

(10)

將40個eP進行統(tǒng)計，計算其最大值、最小值和中誤差，結(jié)果見表6?？梢钥闯霾捎孟鄬Χㄏ虻慕Y(jié)果來生成核線影像，同名核線在x方向上的差值的中誤差能達到1個像素以內(nèi)，證明了本文算法的準(zhǔn)確與有效性。

表6 每對核線影像上計算的eP統(tǒng)計結(jié)果Tab.6 The eP statistics calculated on each pair of epipolar images 像素

5 結(jié) 論

本文對傳統(tǒng)的5點法相對定向算法進行改進，使之可以處理球面全景影像之間的位置與姿態(tài)估算。本文的貢獻和創(chuàng)新在于：①根據(jù)球面全景的成像模型推導(dǎo)了球面全景的共面條件公式；②采用球面點到核面的球面距離作為全景相對定向的共面條件誤差，相比采用角度以及歸一化坐標(biāo)的誤差計算方式，球面距離更接近球面全景影像成像方式下的點到核線絕對距離，并且能夠適用于不同分辨率的球面全景影像；③采用模擬數(shù)據(jù)和實地采集的全景影像和POS數(shù)據(jù)對本文算法的精度進行驗證。本文的球面全景影像的相對定向算法能夠為全景影像序列的整體空三優(yōu)化提供初始的位置與姿態(tài)信息，實現(xiàn)全景影像的全自動化攝影測量。后續(xù)的研究中要針對不同精度的POS系統(tǒng)來進行影像采集和相對定向試驗，進一步驗證本文算法的有效性以及在不同傳感器和場景下的精度變化問題。同時研究如何在空三中結(jié)合POS數(shù)據(jù)實現(xiàn)全景影像的真實三維重建，并應(yīng)用于測繪領(lǐng)域。試驗中也發(fā)現(xiàn)，由于球面全景接收的光線來自360°全范圍場景，因此存在一些同名點位于基線方向附近。這些同名點對應(yīng)的三維點與相機投影中心的連線夾角較小，其三維重建精度較低，因此會對相對定向的結(jié)果產(chǎn)生影響，如何來自動消除這些同名點對相對定向的影響也是后續(xù)要重點研究的問題。

圖6 核線影像的生成以及特征點匹配效果Fig.6 The generation of the epipolar image and the effect of feature point matching

[1] 曾凡洋, 鐘若飛, 宋楊, 等.車載全景影像核線匹配和空間前方交會[J].遙感學(xué)報, 2014, 18(6): 1230-1236.

ZENG Fanyang, ZHONG Ruofei, SONG Yang, et al.Vehicle Panoramic Image Matching Based on Epipolar Geometry and Space Forward Intersection[J].Journal of Remote Sensing, 2014, 18(6): 1230-1236.

[2] 季順平, 史云.多鏡頭組合型全景相機兩種成像模型的定位精度比較[J].測繪學(xué)報, 2014, 43(12): 1252-1258.DOI:10.13485/j.cnki.11-2089.2014.0169.

JI Shunping, SHI Yun.Comparison of Two Sensor Models for Multi-camera Rig System in Measurements[J].Acta Geodaetica et Cartographica Sinica, 2014, 43(12): 1252-1258.DOI:10.13485/j.cnki.11-2089.2014.0169.

[3] 石麗梅, 趙紅蕊, 李明海, 等.車載移動測圖系統(tǒng)外方位元素標(biāo)定方法[J].測繪學(xué)報, 2015, 44(1): 52-58.DOI: 10.11947/j.AGCS.2015.20130203.

SHI Limei, ZHAO Hongrui, LI Minghai, et al.Extrinsic Calibration for Vehicle-based Mobile Mapping System[J].Acta Geodaetica et Cartographica Sinica, 2015, 44(1): 52-58.DOI: 10.11947/j.AGCS.2015.20130203.

[4] 張正鵬, 江萬壽, 張靖.自適應(yīng)運動結(jié)構(gòu)特征的車載全景序列影像匹配方法[J].測繪學(xué)報, 2015, 44(10): 1132-1141.DOI: 10.11947/j.AGCS.2015.20140622.

ZHANG Zhengpeng, JIANG Wanshou, ZHANG Jing.An Matching Method for Vehicle-borne Panoramic Image Sequence Based on Adaptive Structure from Motion Feature[J].Acta Geodaetica et Cartographica Sinica, 2015, 44(10): 1132-1141.

[5] 季順平, 史云.車載全景相機的影像匹配和光束法平差[J].測繪學(xué)報, 2013, 42(1): 94-100, 107.

JI Shunping, SHI Yun.Image Matching and Bundle Adjustment Using Vehicle-based Panoramic Camera[J].Acta Geodaetica et Cartographica Sinica, 2013, 42(1): 94-100, 107.

[6] 張正鵬, 江萬壽, 張靖.光流特征聚類的車載全景序列影像匹配方法[J].測繪學(xué)報, 2014, 43(12): 1266-1273.DOI: 10.13485/j.cnki.11-2089.2014.0172.

ZHANG Zhengpeng, JIANG Wanshou, ZHANG Jing.An Image Match Method Based on Optical Flow Feature Clustering for Vehicle-borne Panoramic Image Sequence[J].Acta Geodaetica et Cartographica Sinica, 2014, 43(12): 1266-1273.DOI: 10.13485/j.cnki.11-2089.2014.0172.

[7] PAGANI A, GAVA C, CUI Yan, et al.Dense 3D Point Cloud Generation from Multiple High-resolution Spherical Images.[C]∥Proceedings of the 12th International Conference on Virtual Reality, Archaeology and Cultural Heritage.Prato, Italy: Eurographics Association, 2011: 17-24.

[8] PAGANI A, STRICKER D.Structure from Motion Using Full Spherical Panoramic Cameras[C]∥Proceedings of 2011 IEEE International Conference on Computer Vision Workshops (ICCV Workshops).Barcelona, Spain: IEEE, 2012: 375-382.

[9] TONG Guofeng, LIU Ran, TAN Jiandong.3D Information Retrieval in Mobile Robot Vision Based on Spherical Compound Eye[C]∥Proceedings of 2011 IEEE International Conference on Robotics and Biomimetics.Karon Beach, Phuket, Thailand: IEEE, 2011: 1895-1900.

[10] LUHMANN T, TECKLENBURG W.3-D Object Reconstruction from Multiple-Station Panorama Imagery[C]∥MAAS H G, SCHNEIDER D.The International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, Vol.XXXIV, Part 5/W16.Dresden, Germany: ISPRS, 2004.

[11] FANGI G.Further Developments of the Spherical Photogrammetry for Cultural Heritage[C]∥Proceedings of the 22nd CIPA Symposium.Kyoto, Japan: CIPA, 2009.

[12] WAHBEH W, NEBIKER S, FANGI G.Combining Public Domain and Professional Panoramic Imagery for the Accurate and Dense 3D Reconstruction of the Destroyed Bel Temple in Palmyra[C]∥ISPRS Annals of Photogrammetry, Remote Sensing and Spatial Information Sciences, 2016, Volume III-5.Prague, Czech Republic: ISPRS, 2016: 81-88.

[13] FANGI G.The Multi-image Spherical Panoramas as A Tool for Architectural Survey[C]∥XXI International CIPA Symposium.Athens, Greece: ISPRS, 2012, 36: 256-1840.

[14] TONG Guofeng, WU Zizhang, WENG Ninglong, et al.An Omni-directional vSLAM Based on Spherical Camera Model and 3D Modeling[C]∥Proceedings of the 10th World Congress on Intelligent Control and Automation.Beijing, China: IEEE, 2012: 4551-4556.

[15] PAGANI A, HENRIQUES J, STRICKER D.Sensors for Location-based Augmented Reality the Example of Galileo and Egnos[J].The International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, Volume XLI-B1.Prague, Czech Republic: ISPRS, 2016: 1173-1177.

[16] FANGI G, NARDINOCCHI C.Photogrammetric Processing of Spherical Panoramas[J].The Photogrammetric Record, 2013, 28(143): 293-311.

[17] TRIGGS B, MCLAUCHLAN P F, HARTLEY R I, et al.Bundle Adjustment: A Modern Synthesis[C]∥TRIGGS B, ZISSERMAN A, SZELISKI R.Vision Algorithms: Theory and Practice.Berlin: Springer, 1999: 298-372.

[18] 王佩軍, 徐亞明.攝影測量學(xué)[M].2版.武漢: 武漢大學(xué)出版社, 2010.

WANG Peijun, XU Yaming.Photogrammetry[M].2nd ed.Wuhan: Wuhan University Press, 2010.

[19] HARTLEY R, ZISSERMAN A.Multiple View Geometry in Computer Vision[M].2nd ed.Cambridge: Cambridge University Press, 2000.

[20] HARTLEY R I.In Defense of the Eight-point Algorithm[J].IEEE Transactions on Pattern Analysis and Machine Intelligence, 1997, 19(6): 580-593.

[21] LONGUET-HIGGINS H C.A Computer Algorithm for Reconstructing a Scene from Two Projections[J].Nature, 1981, 293(5828): 133-135.

[22] NISTER D.An Efficient Solution to the Five-point Relative Pose Problem[J].IEEE Transactions on Pattern Analysis and Machine Intelligence, 2004, 26(6): 756-770.

[23] FISCHLER M A, BOLLES R C.Random Sample Consensus: A Paradigm for Model Fitting with Applications to Image Analysis and Automated Cartography[J].Communications of the ACM, 1981, 24(6): 381-395.

[24] 鄧非, 吳幼絲, 胡玉雷, 等.球形全景影像位姿估計的改進EPnP算法[J].測繪學(xué)報, 2016, 45(6): 677-684.DOI: 10.11947/j.AGCS.2016.20150411.

DENG Fei, WU Yousi, HU Yulei, et al.Position and Pose Estimation of Spherical Panoramic Image with Improved EPnP Algorithm[J].Acta Geodaetica et Cartographica Sinica, 2016, 45(6): 677-684.DOI: 10.11947/j.AGCS.2016.20150411.

[25] SZELISKI R.Computer Vision: Algorithms and Applications[M].New York: Springer-Verlag, 2010.

[26] LOWE D G.Distinctive Image Features from Scale-invariant Keypoints[J].International Journal of Computer Vision, 2004, 60(2): 91-110.

Relative Pose Estimation and Accuracy Verification of Spherical Panoramic Image

XIE Donghai1,2,ZHONG Ruofei1,2,WU Yu3,FU Han1,2,HUANG Xiaochuan1,2,SUN Zhenxing1,2

1.College of Geospatial Information Science and Technology, Capital Normal University, Beijing 100048, China; 2.Beijing Advanced Innovation Center for Imaging Technology, Beijing 100048, China; 3.Institute of Remote Sensing and Digital Earth, Chinese Academy of Sciences, Beijing 100094, China

This paper improves the method of the traditional 5-point relative pose estimation algorithm, and proposes a relative pose estimation algorithm which is suitable for spherical panoramic images.The algorithm firstly computes the essential matrix, then decomposes the essential matrix to obtain the rotation matrix and the translation vector using SVD, and finally the reconstructed three-dimensional points are used to eliminate the error solution.The innovation of the algorithm lies the derivation of panorama epipolar formula and the use of the spherical distance from the point to the epipolar plane as the error term for the spherical panorama co-planarity function.The simulation experiment shows that when the random noise of the image feature points is within the range of [-0.5,0.5] pixel, the error of the three Euler angles is about 0.1°, and the error between the relative translational displacement and the simulated value is about 1.5°.The result of the experiment using the data obtained by the vehicle panorama camera and the POS shows that: the error of the roll angle and pitch angle can be within 0.2°, the error of the heading angle can be within 0.4°, and the error between the relative translational displacement and the POS can be within 2°.The result of our relative pose estimation algorithm is used to generate the spherical panoramic epipolar images, then we extract the key points between the spherical panoramic images and calculate the errors in the column direction.The result shows that the errors is less than 1 pixel.

spherical panoramic images; relative pose estimation; epipolar line; essential matrix; SVD

The National Natural Science Foundation of China (No.41371434)

XIE Donghai(1978—),male,PhD,lecturer,majors in photogrammetry and remote sensing.

ZHONG Ruofei

謝東海，鐘若飛，吳俁，等.球面全景影像相對定向與精度驗證[J].測繪學(xué)報，2017,46(11)：1822-1829.

10.11947/j.AGCS.2017.20160645.

XIE Donghai,ZHONG Ruofei,WU Yu,et al.Relative Pose Estimation and Accuracy Verification of Spherical Panoramic Image[J].Acta Geodaetica et Cartographica Sinica,2017,46(11):1822-1829.DOI:10.11947/j.AGCS.2017.20160645.

P237

A

1001-1595(2017)11-1822-08

國家自然科學(xué)基金(41371434)

(責(zé)任編輯：張艷玲)

2016-12-22

修回日期：2017-08-14

謝東海(1978—)，男，博士，講師，研究方向為攝影測量與遙感。

E-mail：xdhbj@126.com

鐘若飛

E-mail：zrfsss@163.com