點-線特征聯(lián)合的全景圖像位姿解算方法

朱寧寧，楊必勝，陳 馳，董 震

武漢大學(xué)測繪遙感信息工程國家重點實驗室，湖北 武漢 430079

全景圖像能夠反映攝影位置360°球型范圍內(nèi)的所有景致，在無人駕駛、街景地圖和虛擬現(xiàn)實(VR)等領(lǐng)域有廣泛的應(yīng)用[1-5]。將全景相機(jī)中不同方向鏡頭采集的普通或魚眼圖像進(jìn)行投影變換，如球面投影、柱面投影，通過拼接可獲取全景圖像[6-11]。全景圖像的位置和姿態(tài)參數(shù)是后期目標(biāo)定位、場景重建等工作的前提，因此，準(zhǔn)確、穩(wěn)健地獲取全景圖像的位姿參數(shù)是一項基礎(chǔ)且關(guān)鍵的工作[12-13]。

文獻(xiàn)[14]研究了基于車載全景相機(jī)的影像自動匹配和光束法區(qū)域網(wǎng)平差，對全景相機(jī)所能達(dá)到的定位精度做了詳細(xì)的分析；文獻(xiàn)[15]對廣泛使用的5點法相對定向算法[16]進(jìn)行改進(jìn)，使其適用于球面全景影像，并提出一種適合球面全景成像特點的相對定向計算流程，試驗表明相對定向解算的姿態(tài)和平移參數(shù)能夠達(dá)到較高的精度；文獻(xiàn)[17]根據(jù)多鏡頭組合型全景相機(jī)的嚴(yán)格成像機(jī)理，分析了廣泛采用的全景理想成像模型系統(tǒng)誤差的來源，推導(dǎo)出誤差分布規(guī)律，并深入比較了嚴(yán)格成像模型和理想成像模型之間的差異；文獻(xiàn)[18]指出多鏡頭圖像變換拼接全景圖像會破壞成像中的共線條件，使拼接后的全景圖像難以精確進(jìn)行攝影測量中的三維重建等工作，并通過仿真試驗詳細(xì)分析了姿態(tài)誤差和位置誤差對柱面全景成像的影響。

在影像位姿參數(shù)的解算中，線特征具有很好的優(yōu)化作用[19-24]。文獻(xiàn)[19]通過提取建筑物邊緣的直線特征作為配準(zhǔn)基元，利用LiDAR點云空間中的線特征替代傳統(tǒng)配準(zhǔn)模型中的點特征，實現(xiàn)高分辨率航空影像與機(jī)載激光雷達(dá)的一步配準(zhǔn)；文獻(xiàn)[20]利用高精度的規(guī)則化道路矢量線，解算新的影像外方位元素，實現(xiàn)機(jī)載激光雷達(dá)數(shù)據(jù)和高分辨率航空影像自動配準(zhǔn)；文獻(xiàn)[21]通過提取建筑物頂面的線特征，實現(xiàn)了無人機(jī)影像與激光點云的粗配準(zhǔn)，削弱現(xiàn)有配準(zhǔn)方法對慣導(dǎo)系統(tǒng)輸出值的依賴；文獻(xiàn)[22]利用從全景圖像和激光點云中提取的天際線特征，通過迭代優(yōu)化的方式實現(xiàn)天際線的最優(yōu)匹配，從而獲取全景圖像精確的位姿參數(shù)，但并未給出基于線特征的全景圖像位姿解算模型。

綜上所述，目前線特征在航空影像的位姿解算中得到了較為廣泛的應(yīng)用，但全景圖像的位姿解算仍多基于點特征，而真實場景中普遍存在的線特征尚未得到充分利用，如建筑物輪廓、桿狀地物等，且缺少點-線特征聯(lián)合的全景圖像位姿解算模型。因此，本文提出一種點-線特征聯(lián)合的全景圖像位姿解算方法，其中，點特征可直接計算位置和姿態(tài)參數(shù)，線特征可對姿態(tài)參數(shù)進(jìn)行約束，將點-線特征結(jié)合有利于提高全景圖像位姿解算的精度和穩(wěn)健性。本文方法流程如圖1所示。

圖1 本文方法流程

1 點-線特征聯(lián)合的全景圖像位姿解算模型

本節(jié)首先論述基于點特征的全景圖像位姿解算模型(簡稱“點模型”)；其次，研究基于線特征的全景圖像位姿解算模型(簡稱“線模型”)；然后，構(gòu)建點-線特征聯(lián)合的全景圖像位姿解算模型(簡稱“聯(lián)合模型”)，并針對水平線和垂直線這兩類特殊的線特征，獲取簡化后的聯(lián)合模型；最后，給出聯(lián)合模型的精度評價指標(biāo)。

1.1 點模型

根據(jù)幾何成像模型的不同，全景圖像可分為球面全景圖像、柱面全景圖像和立方體全景圖像等，目前最常用的是球面全景圖像，如圖2所示，球面模型分別以豎直角(v)和水平角(h)表示全景圖像的行和列坐標(biāo)，屬于等角投影成像。

圖2 全景圖像的位置和姿態(tài)參數(shù)

球面全景圖像的成像模型如式(1)所示[25]

(1)

式中，r、c為地物點p(x,y,z)在全景圖像上的行和列坐標(biāo)；R為全景圖像的成像姿態(tài)矩陣，由姿態(tài)參數(shù)(ex,ey,ez)構(gòu)成；(XS,YS,ZS)為全景圖像的成像位置；D為弧度和像素之間的轉(zhuǎn)換參數(shù)，單位為像素/rad。式(1)中

(1)對式(1)適當(dāng)變換可得到點模型，如式(2)所示

(2)

式中，v、h為地物點(x,y,z)在全景圖像上的俯仰角和水平角。其中，v=r/D，h=c/D。

(2)在點模型中，令r′=tanh，c′=tanv/cosh，則式(2)可表示為

(3)

(3)使用直接線性變換(DLT)方法解算式(3)中的姿態(tài)矩陣R和位置參數(shù)(XS,YS,ZS)，如式(4)所示

(4)

式中，li(i=1,2,…,11)是內(nèi)外方位元素的表達(dá)式。li、r1、r2、r3的計算公式為

則點模型可表示為

G2p×11·X11×1=W2p×1

(5)

式中，G、X、W的計算公式如下

點模型中的待求解矩陣X包含11個參數(shù)(l1,l2,…,l11)，因此至少需要6對同名特征點(p≥6)進(jìn)行解算。在計算出X后，由式(6)求解姿態(tài)矩陣R和位置參數(shù)(XS,YS,ZS)

(6)

式中，γ2、Rv的計算公式如下

1.2 線模型

線模型是使用同名特征線求解成像參數(shù)，由于三維空間中直線上的任意兩點p1(x1,y1,z1)、p2(x2,y2,z2)與全景圖像中對應(yīng)直(曲)線上的任意兩點pm(rm,cm)、pn(rn,cn)滿足共面條件，線模型不要求點對滿足對應(yīng)關(guān)系。三維空間中直線上任意兩點p1、p2和成像位置(XS,YS,ZS)的共面方程可表示為

(7)

(1)對式(3)進(jìn)行變換可得

(8)

(9)

式中，Δx、Δy、Δz的計算公式如下

(3)將式(9)展開計算可得

[Δck-Δr]·Rv·[ΔxΔyΔz]T=0

(10)

式中，Δr、Δc、k的計算公式如下

則線模型可表示為

Qt×11·X11×1=Ut×1

(11)

式中，Q、U的計算公式如下

式(11)為t條線組成的線模型，該模型為奇次方程，無法單獨求解，必須結(jié)合點模型進(jìn)行解算；此外，該模型中l(wèi)4和l8的系數(shù)為0，其余未知參數(shù)的系數(shù)不為0，表明線特征主要用于約束姿態(tài)參數(shù)。

1.3 聯(lián)合模型

綜合點特征和線特征的全景圖像位姿解算模型，可得點-線特征聯(lián)合的全景圖像位姿解算模型，如式(12)所示

(12)

式(12)為p對同名點和t對同名線組成的聯(lián)合模型，點模型為非齊次方程，線模型為齊次方程，兩者結(jié)合的點-線聯(lián)合模型為非齊次方程。在聯(lián)合模型的求解中，要求2p+t≥11，為保證有非零解，p≥1。在平差求解出X后，可由式(6)計算姿態(tài)矩陣R和位置參數(shù)(XS,YS,ZS)。

入院后當(dāng)日或次日清晨采集空腹血標(biāo)本，采用自動生化分析儀測定空腹血糖、甘油三酯(TG)、總膽固醇(TC)和高密度脂蛋白膽固醇(HDL-C)水平。酶聯(lián)免疫吸附試驗測定脂蛋白(a)[Lp(a)]水平。用標(biāo)準(zhǔn)方法直接測定低密度脂蛋白膽固醇(LDL-C)水平。

針對垂直線特征，即Δx=Δy=0，聯(lián)合模型可簡化為

(13)

針對水平線特征，即Δz=0，聯(lián)合模型可簡化為

(14)

式中，vi表示水平線的斜率，計算公式如下

vi=Δyi/Δxi

在垂直線簡化的聯(lián)合模型中，線特征僅Δr、Δc和k未知，3個變量只與全景圖像的坐標(biāo)相關(guān)，與三維場景坐標(biāo)無關(guān)，因此在實際應(yīng)用中具有極大的實用性。

1.4 聯(lián)合模型的精度評價

由全景圖像的姿態(tài)矩陣R可計算(ex,ey,ez)，此時位姿參數(shù)均已得到。但應(yīng)指出，DLT解算方法本身的缺陷會對位姿參數(shù)求解的精度產(chǎn)生影響，理論上6個未知參數(shù)(ex,ey,ez,XS,YS,ZS)至少需要3對控制點求解，但本文中使用的DLT解法至少需要6對控制點解算，或者同時滿足2p+t≥11&p≥1。此外，使用檢查點對聯(lián)合模型的精度進(jìn)行評價，在解算出X后無須計算(ex,ey,ez)和(XS,YS,ZS)，可將其直接代入式(4)中計算(r′,c′)，并由式(15)獲取檢查點在全景圖像中的俯仰角和水平角(v′,h′)

(15)

使用式(16)計算各個檢查點的模型誤差(δi)和模型求解中誤差(δ)，δ為聯(lián)合模型的精度評價指標(biāo)

(16)

2 聯(lián)合模型的仿真分析

使用仿真數(shù)據(jù)檢驗聯(lián)合模型的適用性和容差性。首先，仿真道路場景點云，由此可獲取不同位姿參數(shù)下的虛擬全景圖像；然后，從特征點和線的不同組合方式以及大姿態(tài)角兩方面分析聯(lián)合模型的適用性；最后，通過人工引入不同類型與量級的點-線誤差分析該模型的容差性。

2.1 仿真道路場景

仿真的道路場景以路面中軸線為基準(zhǔn)，分別生成道路、路邊護(hù)欄、道旁樹和建筑物4種地物的點云，約300萬點，為了易于分析，將建筑物和道路等面狀地物使用格網(wǎng)表達(dá)[26-29]。如圖3所示，路面長度和寬度分別為900和24 m，以路面作為高程基準(zhǔn)，護(hù)欄高度為2 m，樹木高度位于8～12 m，建筑物高度位于20～50 m，將各條線的交點作為控制點或檢查點，如建筑物角點、路面格網(wǎng)交點等。圖3(a)、(b)分別從不同視角展示了仿真點云，圖3(c)為該場景下生成的虛擬全景圖像(2000×4000像素，D=2000/π像素/rad，下同)，成像位置在道路中間距路面3 m高度處，其中的黑色方塊表示特征點，場景中共有1608個特征點，任意兩個特征點構(gòu)成特征線。

圖3 仿真道路場景

2.2 聯(lián)合模型的適用性分析

(1)特征點和線的組合方式分析。聯(lián)合模型要求特征點和線的組合必須滿足兩個條件：2p+t≥11和p≥1，在特征點和線最少條件下檢驗該模型的適用性，分別試驗2點+7線、3點+5線、4點+3線和5點+1線這4種組合方式，由于特征點的數(shù)量均小于6個，點模型無法使用(p≥6)。將全景成像的姿態(tài)參數(shù)(ex,ey,ez)設(shè)為(1.0°,-2.0°,3.0°)，位置參數(shù)(XS,YS,ZS)設(shè)為(300.0 m, 400.0 m, 3.0 m)。場景中共有1600多個特征點，選取與成像位置平面距離小于100 m的特征點共136個，再從中隨機(jī)選取特征點分別構(gòu)建4種特征點和線的組合，特征線由隨機(jī)選取的兩個特征點組成，為避免偶然誤差，每種組合進(jìn)行10次試驗，取平均誤差作為最終精度評價指標(biāo)。圖4(a)—(d)分別展示了4種組合下特征點和線的分布，紅色數(shù)字與對應(yīng)的紅色方塊為選取的特征點(圖4(a)中1～2)；黑色數(shù)字與對應(yīng)的黑色連線為特征線(圖4(a)中1～7)。使用136個特征點進(jìn)行模型精度評價，經(jīng)過10次試驗取平均值的方式，結(jié)果表明4種組合下模型誤差均為0像素，由此證明聯(lián)合模型在不同特征點和線組合情況下的適用性，同時也表明聯(lián)合模型可用于點特征缺失場景中全景圖像位姿參數(shù)的解算。

圖4 特征點和線的不同組合方式

(2)大姿態(tài)角分析。使用2點+7線的組合方式，檢驗聯(lián)合模型在大姿態(tài)角情況下的適用性。如圖5(a)—(d)所示，分別試驗(a)ex=30°,ey=0°,ez=0°；(b)ex=0°,ey=30°,ez=0°；(c)ex=0°,ey=0°,ez=30°；(d)ex=30°,ey=30°,ez=30°這4種大姿態(tài)角情況，由于僅選取2個特征點，無法使用點模型進(jìn)行求解。將全景成像的位置參數(shù)(XS,YS,ZS)均設(shè)為(300.0 m, 400.0 m, 3.0 m)，特征點和特征線的選擇方法跟上文一致，且每種情況仍隨機(jī)進(jìn)行10次試驗，取平均誤差作為評價指標(biāo)。使用136個特征點進(jìn)行模型精度評價，結(jié)果表明4種大姿態(tài)角情況下聯(lián)合模型誤差均為0像素，由此證明了聯(lián)合模型在大姿態(tài)角情況下的適用性。

圖5 不同情況的大姿態(tài)角分析

2.3 聯(lián)合模型的容差性分析

表1 垂直線輔助的聯(lián)合模型精度與可靠性分析

圖6 全景圖像坐標(biāo)誤差分析

圖7 三維場景坐標(biāo)誤差分析

由表1、圖6和圖7可得出以下6條結(jié)論：

(4)不同量級(0.5～5.0像素)的一類誤差試驗表明，兩條垂直線效果優(yōu)于1條垂直線，3條垂直線效果與兩條垂直線相似，不同數(shù)量垂直線的加入均優(yōu)化了解算結(jié)果。

(6)綜上可知，無論是一類誤差還是二類誤差，無論是多控制點、均控制點還是少控制點，每種情況10 000次試驗的結(jié)果表明，理論上聯(lián)合模型在精度、穩(wěn)健性和容差性等方面優(yōu)于常用的點模型。

3 點-線特征聯(lián)合全景圖像位姿解算方法的應(yīng)用

點-線特征聯(lián)合的全景圖像位姿解算方法可應(yīng)用于全景圖像與激光點云的融合，使用真實場景的車載激光點云和兩幅全景圖像進(jìn)行試驗，同時驗證點-線特征聯(lián)合的位姿解算方法優(yōu)于單純的點特征解算方法[31]。圖8展示了真實場景的激光點云，約1800萬點，包含建筑物、路燈和道旁樹等地物，道路長度約為500 m，場景中的建筑物輪廓、燈桿等可提供垂直線信息。圖9為該場景中采集的兩幅全景圖像(4096×8192像素)，分別為全景圖像Ⅰ和Ⅱ，兩幅全景圖像中各選取了兩條垂直線。

圖8 真實場景的激光點云

圖9 真實場景的全景圖像及其垂直線信息

從激光點云和全景圖像中手動選取同名特征點，全景圖像Ⅰ和Ⅱ中各選取了20對同名點，此外分別從兩幅全景圖像中選取兩條垂直線。在聯(lián)合模型中，無須從激光點云中選取垂直線上的特征點，僅從全景圖像中選取垂直線上、下兩端點的圖像坐標(biāo)。為避免點位分布的影響，從20對特征點中隨機(jī)選取p=6、10對點，分別進(jìn)行500次有垂直線(δa)和無垂直線(δb)的試驗，每次試驗均使用20對特征點進(jìn)行精度評價。將500次試驗的結(jié)果劃分為4個等級，即強優(yōu)化(δa?δb)、弱優(yōu)化(δa<δb)、弱退化(δa>δb)和強退化(δa?δb)，在此以|δa-δb|>5像素作為強弱區(qū)分指標(biāo)。

如表2所示，在均控制點情況下(p=6)，兩條垂直線的加入可以極大地優(yōu)化點特征解算方法，兩幅全景圖像的優(yōu)化率均在90%左右，且強優(yōu)化率在70%左右，遠(yuǎn)遠(yuǎn)大于弱優(yōu)化率的20%左右；在多控制點情況下(p=10)，兩幅全景圖像的優(yōu)化率均在75%左右，且弱優(yōu)化率大于強優(yōu)化率，表明在控制點較多的情況下，垂直線的加入仍然可以優(yōu)化融合效果，但不如控制點較少的情況下明顯。試驗中出現(xiàn)的少量弱退化和極少數(shù)強退化的原因，首先是全景圖像與激光點云的融合精度跟特征點的空間分布有關(guān)，當(dāng)隨機(jī)選擇的特征點過于集中，會導(dǎo)致融合出現(xiàn)較大偏差，即使附加垂直線也不能達(dá)到優(yōu)化效果；其次，全景圖像本身存在拼接誤差，特征點的選取若位于拼接誤差較大的區(qū)域也會影響融合結(jié)果，導(dǎo)致垂直線特征輔助作用的削弱。圖10展示了使用點-線特征聯(lián)合的全景圖像位姿解算方法，實現(xiàn)全景圖像與激光點云融合的局部效果，圖中的黑色點為激光點云。

圖10 全景圖像(局部)與激光點云的融合

表2 點-線特征聯(lián)合全景圖像位姿解算方法的應(yīng)用分析

4 結(jié) 論

本文提出了一種點-線特征聯(lián)合的全景圖像位姿解算方法，通過仿真道路場景證明了該方法具有優(yōu)異的適用性和容差性，將該模型應(yīng)用于全景圖像與激光點云的融合，從理論和實踐兩方面證明了點-線特征聯(lián)合的位姿解算方法優(yōu)于單純的點特征解算方法。本文的結(jié)論如下：①點-線特征聯(lián)合的全景圖像位姿解算方法中，使用線上的任意兩點表示線特征，且不要求選點具有對應(yīng)關(guān)系，因此易于選取，具有較高的實用性；②點-線特征聯(lián)合的全景圖像位姿解算方法適用于任意姿態(tài)角下全景成像位姿參數(shù)的解算，具有極大的適用性；③點-線特征聯(lián)合的全景圖像位姿解算方法在精度、穩(wěn)健性和容差性等方面優(yōu)于常用的點特征解算方法。