基于基礎(chǔ)矩陣的相對(duì)定向方法研究

馬淑賢，胡春梅，張 旭，薛惠敏

(1.北京科技大學(xué) 土木與資源工程學(xué)院，北京 100083；2.北京建筑大學(xué) 測(cè)繪與城市空間信息學(xué)院，北京 100044；3.山東正元數(shù)字城市建設(shè)有限公司，山東 煙臺(tái) 264670)

0 引 言

近年來(lái)，隨著近景攝影測(cè)量的不斷發(fā)展，逐漸用數(shù)碼相機(jī)采集被測(cè)對(duì)象影像，以攝影測(cè)量原理分析、量測(cè)，提取所需的幾何與物理信息，而影像相對(duì)定向是至關(guān)重要的一步。立體像對(duì)的相對(duì)定向就是要恢復(fù)攝影瞬間相鄰兩影像攝影光束的相互關(guān)系，以達(dá)到立體像對(duì)同名光線對(duì)對(duì)相交的目的。由于在定向時(shí)受影像多基線、大傾角的影響，時(shí)常出現(xiàn)定向結(jié)果錯(cuò)位、不穩(wěn)定等問(wèn)題。針對(duì)此問(wèn)題，許多學(xué)者都進(jìn)行了深入研究，張永軍[1]等提出了基于圖像特征提取同名直線和圓曲線，以多種同名特征實(shí)現(xiàn)影像的相對(duì)定向。何海清[2]通過(guò)相對(duì)定向直接解初步計(jì)算定向初值，并將初值帶入誤差方程迭代精確求解，在低空無(wú)人機(jī)影像的定向上取得好的效果。李勁澎[3]提出了利用赫爾默特方差分量估計(jì)單位權(quán)誤差，并以選權(quán)迭代的方法精確求解。

在本文中以解決影像大傾角問(wèn)題作為出發(fā)點(diǎn)，以航空影像和近景影像作為數(shù)據(jù)源，通過(guò)研究匹配點(diǎn)集中的誤匹配剔除，解決了均勻分布的同名點(diǎn)匹配問(wèn)題，在左右影像上建立了稀疏度一致的同名點(diǎn)集，分析基礎(chǔ)矩陣與相對(duì)定向元素之間的轉(zhuǎn)換關(guān)系，以轉(zhuǎn)換后的定向參數(shù)作為初始值利用嚴(yán)密解糾正定向元素。

1 基礎(chǔ)矩陣求解

1.1 基礎(chǔ)矩陣的極線幾何關(guān)系

如圖1所示，S1a1與S2a2為像對(duì)間的同名光線，B為攝影中心S1S2之間的攝影基線。在攝影測(cè)量中以共面方程作為相對(duì)定向的數(shù)學(xué)模型，用來(lái)表示像對(duì)間同名光線之間的關(guān)系，數(shù)學(xué)表達(dá)式為：

用坐標(biāo)的形式表示如下

式中，(X1Y1Z1)與(X2Y2Z2)分別為左右同名像點(diǎn)a1、a2在像空間輔助坐標(biāo)系下的坐標(biāo)；(BxByBz)為S1S2之間的攝影基線分量。

按照攝影測(cè)量坐標(biāo)系之間的轉(zhuǎn)換關(guān)系，(X1Y1Z1)表示為

式中，a11,…, a33為左影像方向余弦組成的旋轉(zhuǎn)矩陣

在相對(duì)定向時(shí)，以左影像的像空間直角坐標(biāo)系作為像空間輔助坐標(biāo)系，此時(shí)R為單位陣，（X1Y1Z1）表示為

同樣的（X2Y2Z2）可表示為

（X1Y1Z1）和（X2Y2Z2）分布用m1、m2表示，帶入（1）式，則有

在計(jì)算機(jī)視覺(jué)中用基礎(chǔ)矩陣F來(lái)描述像對(duì)間同名光線之間的關(guān)系，則有

結(jié)合公式（6）與公式（7）則有

圖1 同名光線Fig.1 Corresponding image rays

1.2 相對(duì)定向初次求解

基礎(chǔ)矩陣傳統(tǒng)的求解方法一般利用SIFT匹配提取像對(duì)中左右影像的同名點(diǎn)，選取同名點(diǎn)并利用8點(diǎn)法求解基礎(chǔ)矩陣，這種求解方法雖然簡(jiǎn)單，但是在SIFT匹配中會(huì)不可避免地存在誤匹配且同名點(diǎn)的稀疏度不同、分布不均勻。因此，本文首先在SIFT匹配中引入雙向一致性約束、RANSNC隨機(jī)抽樣一致性約束，通過(guò)這兩種逐級(jí)約束不斷剔除誤匹配，得到最優(yōu)匹配點(diǎn)集。

雙向一致性約束首先以左影像上的特征點(diǎn)為基礎(chǔ)，在右影像上的特征集合中搜索匹配的同名點(diǎn)，得到右影像相對(duì)于左影像的匹配集；然后，以右影像的特征點(diǎn)為基礎(chǔ)，在左影像上的特征集合中搜索匹配的同名點(diǎn)，得到左影像相對(duì)于右影像的匹配集。如果一些同名點(diǎn)能夠同時(shí)滿足這兩個(gè)匹配集合，即為最優(yōu)同名點(diǎn)。

盡管通過(guò)雙向一致性約束匹配提高了同名點(diǎn)匹配的穩(wěn)定性，但是在匹配集合中依然會(huì)不可避免地存在少量的誤匹配，因此，采用RANSAC隨機(jī)抽樣一致性約束匹配進(jìn)一步提純匹配點(diǎn)集的準(zhǔn)確性。

本文在傳統(tǒng)方法的基礎(chǔ)上，在立體像對(duì)間匹配出均勻分布的同名點(diǎn)，其具體步驟為：

1）利用SIFT匹配的結(jié)果，計(jì)算像對(duì)間的仿射變換參數(shù)，仿射變換的數(shù)學(xué)模型如下：

式中，a,b,c,d,e,f為仿射變換參數(shù)，采用基于RANSAC隨機(jī)抽樣一致性算法求解仿射變換參數(shù)。

2）以立體像對(duì)的左影像為基礎(chǔ)，利用Harris算子一階差分的特性分格網(wǎng)均勻提取特征點(diǎn)；

3）對(duì)左影像的Harris特征點(diǎn)做仿射變換，大致確定右影像上的匹配搜索范圍；

4）在搜索范圍內(nèi)，采用相關(guān)系數(shù)加最小二乘匹配精確定位同名點(diǎn)，即在左右影像上建立均勻分布的同名點(diǎn)。

對(duì)于Harris的分格網(wǎng)提取特征點(diǎn)如圖2所示，首先設(shè)定特征點(diǎn)數(shù)目，根據(jù)影像的寬、高信息設(shè)定格網(wǎng)大小。

即建立的窗口大小為m×n，式中，Wimg、Himg分別表示影像像素的寬度及高度，N表示影像格網(wǎng)數(shù)目。

圖2 規(guī)則格網(wǎng)控制點(diǎn)Fig.2 The regular grid control points

對(duì)于基礎(chǔ)矩陣參數(shù)，x0、y0、x1、y1為影像的內(nèi)方位元素，可默認(rèn)為0，f為相機(jī)焦距，未知數(shù)的個(gè)數(shù)為Bx,By,Bz,α,β,ω，3個(gè)位置參數(shù)，3個(gè)角度參數(shù)，將公式（8）帶入（7）中可得

式中，a11,…,a33,為右影像方向余弦組成的旋轉(zhuǎn)矩陣。

由上式可看出基礎(chǔ)矩陣中的各參數(shù)取決于3個(gè)位置參數(shù)，3個(gè)角度參數(shù)，當(dāng)不考慮比例因子時(shí)，正好與相對(duì)定向元素一致，由此可建立基礎(chǔ)矩陣與相對(duì)定向元素之間的轉(zhuǎn)換關(guān)系。

根據(jù)上面分析，在不考慮影像的內(nèi)方位元素、像對(duì)中的比例因子時(shí)，求解基礎(chǔ)矩陣只需要考慮5個(gè)未知數(shù)，通過(guò)格網(wǎng)控制獲得的同名點(diǎn)，不僅均勻分布、精度可靠，且數(shù)量一般遠(yuǎn)大于5，在計(jì)算基礎(chǔ)矩陣時(shí)，一方面能夠?qū)ο駥?duì)起整體控制的作用，另一方面可大大提高基礎(chǔ)矩陣的穩(wěn)定性和準(zhǔn)確性。

根據(jù)公式（6）可列出線性方程，如下所示

式中，A為同名點(diǎn)組成的系數(shù)矩陣，f為公式（11）所示基礎(chǔ)矩陣的各項(xiàng)系數(shù)。

對(duì)于公式（13）的求解采用SVD奇異分解方法，使求解的基礎(chǔ)矩陣中的各項(xiàng)系數(shù)為局部最優(yōu)解，而由基礎(chǔ)矩陣轉(zhuǎn)化后的相對(duì)定向各項(xiàng)參數(shù)準(zhǔn)確度高，可作為最佳的迭代初始值進(jìn)行后續(xù)的精確求解。

1.3 相對(duì)定向精確求解

按照上面介紹的基礎(chǔ)矩陣初次求解的方法計(jì)算像對(duì)間的基礎(chǔ)矩陣，按照對(duì)應(yīng)轉(zhuǎn)換關(guān)系將基礎(chǔ)矩陣轉(zhuǎn)換為相對(duì)定向元素。采用嚴(yán)密解進(jìn)一步精確求解定向參數(shù)。

相對(duì)定向嚴(yán)密解的誤差方程式如下 ：

式中，Q為上下視差

本文以均勻分布的同名點(diǎn)利用最小二乘平差解算基礎(chǔ)矩陣，增加了基礎(chǔ)矩陣的穩(wěn)定性，提高了相對(duì)定向元素的準(zhǔn)確性。為了進(jìn)一步提高相對(duì)定向元素的精度，以轉(zhuǎn)換后的相對(duì)定向元素作為初值，通過(guò)嚴(yán)密解公式中的上下視差計(jì)算各定向元素的改正數(shù)，以正確糾正定向參數(shù)。

2 實(shí)驗(yàn)結(jié)果及分析

2.1 實(shí)驗(yàn)數(shù)據(jù)

為了驗(yàn)證本文算法的準(zhǔn)確性、可靠性以及對(duì)大傾角影像的適應(yīng)性，分別以航拍影像和手持相機(jī)拍攝的近景影像得到的立體像對(duì)作為實(shí)驗(yàn)數(shù)據(jù)。其中航拍影像如圖3所示，應(yīng)用NIKON D810獲取，像素大小為7360×4912；近景影像如圖4所示，應(yīng)用Canon 5D Mark II相機(jī)獲取，像素大小為5616×3744。

圖3 實(shí)驗(yàn)數(shù)據(jù)Fig.3 Experimental data

圖4 實(shí)驗(yàn)數(shù)據(jù)Fig.4 Experimental data

2.2 實(shí)驗(yàn)過(guò)程及成果

1）SIFT同名點(diǎn)匹配：利用SIFT算子匹配同名點(diǎn)，按照上面介紹的左右對(duì)稱性約束、RANSNC隨機(jī)抽樣一致性剔除誤匹配，得到立體像對(duì)中最優(yōu)的同名點(diǎn)集。對(duì)航空影像數(shù)據(jù)1、近景影像數(shù)據(jù)2，SIFT匹配結(jié)果為圖5中的a與b和c與d所示，在2組數(shù)據(jù)的同名點(diǎn)匹配中匹配結(jié)果稀疏度不同。

圖5 SIFT匹配結(jié)果Fig.5 SIFT matching results

2）Harris格網(wǎng)點(diǎn)匹配：根據(jù)圖5中最優(yōu)點(diǎn)集分布計(jì)算近景影像、航拍影像像對(duì)間的仿射變換系數(shù)，按照上面介紹的均勻分布同名點(diǎn)匹配方法，采用200×200的格網(wǎng)大小，可獲得達(dá)到亞像素精度的同名點(diǎn)。在這里給出了近景像對(duì)的Harris分格網(wǎng)匹配的結(jié)果，如圖6所示，對(duì)于航拍像對(duì)結(jié)果類似。其中在圖6a給出了近景影像Harris分格網(wǎng)的提取結(jié)果，圖6b與圖6c為格網(wǎng)點(diǎn)搜索匹配的同名點(diǎn)，可看出同名點(diǎn)分布均勻 。

圖6 格網(wǎng)點(diǎn)匹配結(jié)果Fig.6 Grid matching results

3）相對(duì)定向初值求解：對(duì)于近景像對(duì)的相對(duì)定向，根據(jù)在上圖6中得到的格網(wǎng)點(diǎn)計(jì)算基礎(chǔ)矩陣，再結(jié)合本文分析的基礎(chǔ)矩陣與相對(duì)定向之間的轉(zhuǎn)換關(guān)系得到立體像對(duì)的定向參數(shù)，航拍像對(duì)按同樣的方法求解，兩者相對(duì)定向初值的求解結(jié)果見(jiàn)表1，定向初值的精度都在1個(gè)像素以內(nèi)，初次定向誤差穩(wěn)定。

表1 相對(duì)定向初值求解結(jié)果Tab.1 Solution results of relative orientation

4）定向參數(shù)的嚴(yán)密解及精度分析：航拍像對(duì)和近景像對(duì)在表1初值解的基礎(chǔ)上，應(yīng)用文中的嚴(yán)密解迭代求解定向元素的改正數(shù)，不斷糾正定向元素。定向參數(shù)嚴(yán)密解的求解結(jié)果見(jiàn)表2，經(jīng)嚴(yán)密解糾正后，結(jié)果精度得到很大提高。

表2 定向參數(shù)嚴(yán)密解求解結(jié)果Tab.2 The results of rigorous solution of directional parameters

為了進(jìn)一步分析格網(wǎng)同名點(diǎn)對(duì)相對(duì)定向結(jié)果的影響，在上面200×200格網(wǎng)大小的基礎(chǔ)上，采用300×300，100×100的格網(wǎng)大小分別對(duì)航拍像對(duì)和近景像對(duì)提取同名點(diǎn)，經(jīng)相對(duì)定向初值求解、定向參數(shù)嚴(yán)密解計(jì)算各定向參數(shù)并分析中誤差大小，結(jié)果見(jiàn)表3。以不同大小的格網(wǎng)300×300到100×100，隨著同名點(diǎn)數(shù)目不斷增加，中誤差不斷降低，精度不斷提高，因采用的近景像對(duì)分辨率高，雖然同名點(diǎn)數(shù)目不多，但計(jì)算結(jié)果精度比航拍像對(duì)更高。

表3 格網(wǎng)同名點(diǎn)與相對(duì)定向結(jié)果Tab.3 The same point and relative orientation of grid

因此，無(wú)論是以航拍或是近景方式獲取的大傾角近景像對(duì)，按照本文方法計(jì)算出的相對(duì)定向結(jié)果穩(wěn)定，能夠滿足精度要求。

3 結(jié)束語(yǔ)

本文以解決大傾角像對(duì)的相對(duì)定向問(wèn)題作為出發(fā)點(diǎn)，通過(guò)分析攝影測(cè)量與計(jì)算機(jī)視覺(jué)之間的交叉關(guān)系，分析基礎(chǔ)矩陣與相對(duì)定向參數(shù)之間的關(guān)系。為了提高求解基礎(chǔ)矩陣的準(zhǔn)確性，以均勻分布的同名點(diǎn)構(gòu)建系數(shù)矩陣，并引入最小奇異值與次小奇異值之比的閾值。將轉(zhuǎn)換后的相對(duì)定向元素作為初值，根據(jù)攝影測(cè)量中嚴(yán)密解的求解方法精確糾正定向參數(shù)。實(shí)驗(yàn)證明，本文的方法是可行的。

本文中立體像對(duì)定向元素的求解方法，可應(yīng)用于近景影像和航空影像的相對(duì)定向，同時(shí)引入空中三角測(cè)量中，作為光束法平差的初值。