基于紅黑樹(shù)數(shù)據(jù)結(jié)構(gòu)的海岸線無(wú)人機(jī)正射影像拼接研究

范詩(shī)玥，張峰，盧文虎，王晶，王豐，劉慶群（國(guó)家海洋信息中心，天津　300171）

?

基于紅黑樹(shù)數(shù)據(jù)結(jié)構(gòu)的海岸線無(wú)人機(jī)正射影像拼接研究

范詩(shī)玥，張峰，盧文虎，王晶，王豐，劉慶群
（國(guó)家海洋信息中心，天津300171）

摘要：隨著無(wú)人機(jī)技術(shù)的快速發(fā)展，以測(cè)量為目的的無(wú)人機(jī)攝影測(cè)量技術(shù)已廣泛應(yīng)用到各行各業(yè)。相比于常用測(cè)量技術(shù)，無(wú)人機(jī)攝影測(cè)量技術(shù)需要處理抖動(dòng)平臺(tái)下的序列攝影圖像，技術(shù)難度更大。利用紅黑樹(shù)數(shù)據(jù)結(jié)構(gòu)實(shí)現(xiàn)無(wú)人機(jī)攝影圖像的大尺度特征點(diǎn)匹配連接，基于相機(jī)標(biāo)定和捆綁調(diào)整兩個(gè)無(wú)人機(jī)攝影測(cè)量的關(guān)鍵技術(shù)環(huán)節(jié)，實(shí)現(xiàn)無(wú)人機(jī)海岸線遙感影像的快速拼接。

關(guān)鍵詞：無(wú)人機(jī)攝影測(cè)量；大視角圖像匹配；紅黑樹(shù)數(shù)據(jù)結(jié)構(gòu)；影像正射拼接

經(jīng)過(guò)近60年發(fā)展，攝影測(cè)量理論及技術(shù)已日趨成熟，并廣泛應(yīng)用于城市建模、國(guó)家三四等水準(zhǔn)測(cè)量等行業(yè)（王之卓等，1979；李德仁等，1992；Edward et al，2001；張劍清等，2003）。攝影測(cè)量主要是把專業(yè)測(cè)量相機(jī)安裝在穩(wěn)定有人機(jī)平臺(tái)上，在飛行前進(jìn)行嚴(yán)格航跡規(guī)劃及精確地控制相機(jī)曝光間隔，利用高質(zhì)量飛行影像解算相機(jī)外方位元素和地面三維點(diǎn)，并在此基礎(chǔ)上通過(guò)密集匹配、鑲嵌線提取等操作實(shí)現(xiàn)DEM（數(shù)字高程模型）、DSM（數(shù)字表面模型）及DLG（數(shù)字線化模型）等數(shù)字化產(chǎn)品生產(chǎn)。然而，這種常規(guī)攝影測(cè)量技術(shù)并不適用于所有場(chǎng)景，比如地震災(zāi)區(qū)、偏遠(yuǎn)海岸線等人無(wú)法到達(dá)的復(fù)雜、敏感環(huán)境。隨著飛控、導(dǎo)航等技術(shù)發(fā)展，無(wú)人機(jī)技術(shù)近十年得到飛速發(fā)展（唐強(qiáng)等，2004；聶博文等，2007），民用無(wú)人機(jī)技術(shù)現(xiàn)已應(yīng)用到地質(zhì)勘查、遙感等領(lǐng)域（孫杰等，2003；李宗南等，2014）。由于無(wú)人機(jī)載荷有限以及無(wú)人機(jī)飛行失敗風(fēng)險(xiǎn)性系數(shù)偏大，搭載在無(wú)人機(jī)平臺(tái)上的相機(jī)較有人機(jī)在飛行中易受到風(fēng)、氣流影響，所拍攝相片在尺度、亮度、角度上存在較大變化，故給無(wú)人機(jī)影像特征提取匹配增加難度。以上這些因素都將嚴(yán)重影響到測(cè)量定位及數(shù)字化產(chǎn)品的精度。

具有空間信息的拼接技術(shù)已廣泛應(yīng)用于航天、航空及無(wú)人機(jī)領(lǐng)域，具有代表性的工作如下。為解決衛(wèi)星拼接像元失配的問(wèn)題，常琳等（2014）提出了一種實(shí)現(xiàn)TDI CCD相機(jī)像元快速拼接配準(zhǔn)的匹配算法。張過(guò)等（2012）以基于多CCD影像重成像算法作為內(nèi)視場(chǎng)拼接的技術(shù)手段，實(shí)現(xiàn)航空飛機(jī)雷達(dá)地形測(cè)繪DEM的影像拼接。劉春等（2012）以稀少控制信息的無(wú)人機(jī)影像嚴(yán)格拼接為目的，引入光束法自由網(wǎng)平差技術(shù)實(shí)現(xiàn)無(wú)人機(jī)影像拼接。

無(wú)人機(jī)影像特征提取匹配和同名點(diǎn)轉(zhuǎn)點(diǎn)算法是實(shí)現(xiàn)遙感影像拼接的基礎(chǔ)，在國(guó)內(nèi)外有大量研究人員進(jìn)行相關(guān)研究，基本思路大致相同，即直接通過(guò)中間影像上的特征點(diǎn)坐標(biāo)進(jìn)行直接比較和串點(diǎn)（Barazzetti，2010）。此類方法在處理小分辨率影像時(shí)，效率可以接受，但是對(duì)于大尺度無(wú)人機(jī)遙感影像時(shí)，候選特征點(diǎn)過(guò)多造成了效率極其低下。所以，本文利用紅黑樹(shù)數(shù)據(jù)結(jié)構(gòu)實(shí)現(xiàn)無(wú)人機(jī)攝影圖像的大尺度特征點(diǎn)匹配連接，同時(shí)根據(jù)無(wú)人機(jī)相機(jī)標(biāo)定和捆綁調(diào)整等關(guān)鍵技術(shù)環(huán)節(jié)，將無(wú)人機(jī)攝影技術(shù)應(yīng)用到海岸線數(shù)字化生產(chǎn)中，制作正射拼接影像產(chǎn)品。

1　無(wú)人機(jī)相機(jī)標(biāo)定

1.1畸變糾正幾何模型

理想透視模型的物理原型為針孔成像模型，物和像會(huì)滿足直線投影關(guān)系。但是無(wú)人機(jī)相機(jī)并不像常規(guī)航測(cè)用途的專業(yè)相機(jī)，相機(jī)光學(xué)系統(tǒng)存在加工和裝配的誤差，像點(diǎn)和對(duì)應(yīng)地面點(diǎn)不滿足嚴(yán)格的共線條件，因此在相機(jī)圖像平面上實(shí)際所成的像與理想成像之間存在畸變，相機(jī)成像理想點(diǎn)和實(shí)際點(diǎn)存在差異。利用圖像來(lái)進(jìn)行測(cè)量，從而反算出相機(jī)的內(nèi)外參數(shù)及其三維點(diǎn)坐標(biāo)時(shí)，第一步應(yīng)是相機(jī)標(biāo)定，去除相機(jī)的畸變因素。

相機(jī)幾何畸變包括徑向畸變和切向畸變（張劍清等，2003），相比于切向畸變，徑向畸變更大。像點(diǎn)（xr和yr）兩個(gè)方向的徑向畸變糾正模型和可以用下面的公式標(biāo)定。

其中，k1、k2....為徑向畸變系數(shù)，通常情況下，二階模型可以滿足實(shí)際的精度，所以本文選用二階模型來(lái)刻畫(huà)徑向畸變函數(shù)，即公式（2）。

切向畸變糾正模型可以用公式（3）表示。

其中，p1、p2為切向畸變系數(shù)，實(shí)際使用中，刪除高階項(xiàng)o［（xryr）4］。

綜合上述徑向畸變模型（公式（2））和切向畸變模型（公式（3）），得到最后完整的相機(jī)畸變幾何糾正模型，如公式（4）。

其中像點(diǎn)（ui和vi）是經(jīng)過(guò)畸變幾何糾正的坐標(biāo)，從而消除了儀器制造工藝誤差帶來(lái)的非共線的實(shí)驗(yàn)條件。

1.2相機(jī)標(biāo)定方法

本文利用像點(diǎn)作為真值，優(yōu)化徑向畸變參數(shù)（k1k2）和切向畸變參數(shù)（p1p2）。假設(shè)從圖像上提取出一系列特征點(diǎn)（ui和vi），將上面4個(gè)參數(shù)當(dāng)作待求參數(shù)，利用最小二乘非線性迭代優(yōu)化中求出準(zhǔn)確的值。非線性優(yōu)化中，需要對(duì)上面4個(gè)參數(shù)分別求導(dǎo)，導(dǎo)數(shù)如公式（5）和（6）。

公式（5）和公式（6）組成偏導(dǎo)數(shù)矩陣，如：

給定畸變參數(shù)初值后和已知偏導(dǎo)數(shù)矩陣J，可以通過(guò)公式（8）計(jì)算得到畸變參數(shù)改正值。

其中，e為像點(diǎn)改正數(shù)。

當(dāng)標(biāo)定得到準(zhǔn)確的徑向和切向畸變參數(shù)后，通過(guò)公式（4）可以將原始無(wú)人機(jī)圖像糾正為無(wú)畸變的無(wú)人機(jī)圖像。

實(shí)際實(shí)現(xiàn)過(guò)程中，首先需要從圖像中獲取穩(wěn)定高精度匹配特征點(diǎn)，這些特征點(diǎn)將作為優(yōu)化問(wèn)題的觀測(cè)真值。然后根據(jù)公式（7）計(jì)算優(yōu)化問(wèn)題的一階導(dǎo)數(shù)，通過(guò)公式（8）進(jìn)行多次迭代。每次迭代優(yōu)化后的變量增值將加入到初值中，作為下一次迭代初值，直至問(wèn)題收斂。當(dāng)問(wèn)題收斂后，從變量中提取出相機(jī)畸變參數(shù)。

2　無(wú)人機(jī)大視角圖像特征提取匹配

2.1立體像對(duì)同名點(diǎn)提取匹配

特征點(diǎn)提取在航空測(cè)量中至關(guān)重要，只有匹配后的同名點(diǎn)才能唯一確定三維點(diǎn)坐標(biāo)，才能用于相機(jī)定姿和定位。本小節(jié)主要介紹如何從立體像對(duì)中獲取高精度匹配的同名點(diǎn)。由于無(wú)人機(jī)拍攝的隨意性，即兩兩圖像間在尺度、亮度、幾何變換中存在很大差異，故需要研制一種對(duì)尺度、亮度、旋轉(zhuǎn)不變的特征點(diǎn)提取匹配算法。尺度不變特征提取算法（SIFT）是Lowe（1999）在1999年發(fā)表、2004年完善總結(jié)的一種計(jì)算機(jī)視覺(jué)算法，用來(lái)偵測(cè)與描述影像中的局部性特征，它在空間尺度中尋找極值點(diǎn)，并提取出其位置、尺度、旋轉(zhuǎn)不變量。如圖1所示，分別對(duì)左、右影像進(jìn)行SIFT特征提取，最后利用尺度不變特征變換算法進(jìn)行匹配。

圖1　SIFT算法框架圖

不同于其他特征點(diǎn)提取匹配算法，SIFT算法因考慮到高斯尺度空間和高斯差分尺度空間，對(duì)尺度和噪聲有很強(qiáng)抗敏感性。高斯尺度空間是將原始無(wú)人機(jī)圖像通過(guò)不同高斯卷積核產(chǎn)生一階圖像，選取一階圖像中某一張進(jìn)行圖像降采樣得到第二階圖像的第一張，然后利用高斯卷積核對(duì)此圖像進(jìn)行卷積運(yùn)算得到二階圖像，以此得到連續(xù)的尺度空間。高斯差分金字塔通過(guò)高斯金字塔中相鄰尺度空間函數(shù)相減即可，它最大的優(yōu)點(diǎn)是計(jì)算簡(jiǎn)單，主要作用是減少噪聲干擾。

SIFT算法流程分三大步：第一步是SIFT特征點(diǎn)的檢測(cè)；第二步是SIFT特征描述符的生成；第三步是SIFT特征向量的匹配。其中第一步最為關(guān)鍵，其原理為尋找尺度空間極值點(diǎn)，每一個(gè)采樣點(diǎn)都要和它同尺度的8個(gè)相鄰點(diǎn)和上下相鄰尺度對(duì)應(yīng)的18個(gè)點(diǎn)共26個(gè)點(diǎn)比較，以確保在尺度空間和二維圖像空間都檢測(cè)到極值點(diǎn)，得到某個(gè)尺度上的極值并保存它的尺度和位置信息。得到區(qū)域極值后，還需進(jìn)一步精確定位特征點(diǎn)。首先可以根據(jù)具體情況將閾值設(shè)定為一個(gè)數(shù)值，尺度空間中灰度值若小于該值則拋棄。再通過(guò)擬和三維二次函數(shù)以精確確定關(guān)鍵點(diǎn)的位置和尺度（達(dá)到亞像素精度），同時(shí)去除低對(duì)比度的關(guān)鍵點(diǎn)和不穩(wěn)定的邊緣響應(yīng)點(diǎn)（因?yàn)楦咚共罘炙阕訒?huì)產(chǎn)生較強(qiáng)的邊緣響應(yīng)），以增強(qiáng)匹配穩(wěn)定性、提高抗噪聲能力。故SIFT提取特征點(diǎn)并不是幾何特性的極值點(diǎn)，而是灰度空間的極值。

SIFT特征提取算法可以提供含有方向和梯度的128維描述符信息，所以實(shí)現(xiàn)兩張影像特征點(diǎn)匹配可以根據(jù)128維描述符在空間中的最短歐式距離來(lái)判斷。為了避免噪聲的干擾，對(duì)于一張影像中待匹配的興趣點(diǎn)，假如在另一張影像中的所有像點(diǎn)中，歐式距離的最短距離和次短距離小于給定的閾值，就認(rèn)為這對(duì)特征點(diǎn)匹配。

2.2紅黑樹(shù)多圖像連接點(diǎn)生成

在攝影測(cè)量航線規(guī)劃中，對(duì)航向和旁向攝影重疊度均有嚴(yán)格要求，所以一個(gè)地面點(diǎn)會(huì)在多張影像上成像，所有這些像點(diǎn)組成的集合被定為連接點(diǎn)。相比于只有兩次觀測(cè)的立體像對(duì)同名點(diǎn)，三次及更多的連接點(diǎn)可以為捆綁調(diào)整優(yōu)化特征點(diǎn)提供更豐富的多余信息，從而提高定位定向的精度。另外，連接點(diǎn)還可以實(shí)現(xiàn)兩兩像對(duì)的連接，實(shí)現(xiàn)整體模型的尺度歸一化。因此，連接點(diǎn)生成在攝影測(cè)量中非常重要，為捆綁調(diào)整提供必要的輸入信息量。

圖2　連接點(diǎn)示例圖

如圖2所示，總共拍攝了5張序列影像，圖像的編號(hào)分別為1、2、3、4、5。有兩組連接點(diǎn)，分別為A（被第1、2、3張影像觀測(cè)到，總觀測(cè)次數(shù)為3）和B（被第2、3、4、5張影像觀測(cè)，總觀測(cè)次數(shù)為4）。由于使用特征點(diǎn)提取匹配只能得到兩張影像的同名像點(diǎn)對(duì)，無(wú)法直接轉(zhuǎn)點(diǎn)。例如使用特征提取匹配算法SIFT分別匹配第一、二張影像得到，第二、三張影像得到，然后需要判斷，是否為同名像點(diǎn)。假如這兩對(duì)特征點(diǎn)指示相同的地面點(diǎn)，需要將其合并得到A。將所有特征提取匹配算法得到的單對(duì)同名像點(diǎn)連接得到連接點(diǎn)轉(zhuǎn)點(diǎn)。由于沒(méi)有任何信息，實(shí)現(xiàn)和連接只能通過(guò)兩對(duì)公有的圖像信息，即第二張影像的圖像坐標(biāo)是否相同；倘若相同，認(rèn)為其為相同的同名像點(diǎn)，從而實(shí)現(xiàn)轉(zhuǎn)點(diǎn)。但使用SIFT算法可以從一對(duì)相鄰圖像對(duì)中得到上千甚至上萬(wàn)個(gè)同名像點(diǎn)對(duì)，因此在海量數(shù)據(jù)點(diǎn)對(duì)中去直接比較圖像坐標(biāo)來(lái)實(shí)現(xiàn)轉(zhuǎn)點(diǎn)的效率將極為低下。紅黑樹(shù)是一種自平衡二叉查找樹(shù)，是在計(jì)算機(jī)科學(xué)中用到的一種數(shù)據(jù)結(jié)構(gòu)，典型的用途是實(shí)現(xiàn)關(guān)聯(lián)數(shù)組。本文利用紅黑樹(shù)數(shù)據(jù)結(jié)構(gòu)，設(shè)計(jì)了一種適用于建立特征點(diǎn)空間關(guān)系的數(shù)據(jù)結(jié)構(gòu)，大大提高了連接點(diǎn)轉(zhuǎn)點(diǎn)的效率。

對(duì)于特征點(diǎn)數(shù)據(jù)，可以利用紅黑樹(shù)數(shù)據(jù)結(jié)構(gòu)加速連接點(diǎn)轉(zhuǎn)點(diǎn)過(guò)程。相比于其它二叉樹(shù)，除了擁有鍵值和鍵值對(duì)應(yīng)數(shù)據(jù)外，還包含顏色屬性。圖3為一棵包含6個(gè)節(jié)點(diǎn)的紅黑樹(shù)，每個(gè)節(jié)點(diǎn)左邊表示鍵值，右邊表示鍵值對(duì)應(yīng)的內(nèi)容（i表示第i個(gè)連接點(diǎn)），鍵值顏色為紅色或者黑色。每個(gè)連接點(diǎn)的鍵值索引可以設(shè)為如下數(shù)據(jù)結(jié)構(gòu)形式：

struct RB_Key

｛

int imgNo；

float u；

float v；

｝；

其中，imgNo為圖像序號(hào)，u、v為圖像坐標(biāo)。在進(jìn)行連接點(diǎn)轉(zhuǎn)點(diǎn)的過(guò)程中，只需要比較鍵值就可以快速進(jìn)行特征點(diǎn)轉(zhuǎn)點(diǎn)。

為了更清晰了解整個(gè)搜索過(guò)程，下面通過(guò)圖2中的第一個(gè)特征點(diǎn)A來(lái)說(shuō)明。A特征點(diǎn)被3張影像共同觀測(cè)到，分別為圖像1、2和3。利用2.1節(jié)提出的方法分別進(jìn)行兩次提取和匹配，得到兩個(gè)特征點(diǎn)分別為和（每個(gè)括號(hào)表示一個(gè)像點(diǎn)，每像點(diǎn)包括圖像序號(hào)和圖像坐標(biāo)）。在判斷是否與屬于同一個(gè)特征點(diǎn)時(shí)，將第二個(gè)像點(diǎn)作為鍵值，將第一個(gè)像點(diǎn)作為鍵值，只需要在圖3中搜索鍵值。當(dāng)找到相同鍵值時(shí)，連接兩個(gè)像點(diǎn)，得到3次觀測(cè)的特征連接點(diǎn)，

即

圖3　紅黑樹(shù)數(shù)據(jù)結(jié)構(gòu)示例圖

3　捆綁調(diào)整

捆綁調(diào)整主要作用是利用第2節(jié)提供的匹配特征點(diǎn)作為觀測(cè)，并利用像點(diǎn)和三維點(diǎn)的相機(jī)成像模型估計(jì)出拍攝狀態(tài)下的相機(jī)位姿和三維點(diǎn)。首先介紹應(yīng)用到捆綁調(diào)整模型的相機(jī)成像坐標(biāo)系統(tǒng)轉(zhuǎn)換關(guān)系，最后介紹捆綁調(diào)整的數(shù)學(xué)原理。

3.1坐標(biāo)系變換關(guān)系

相片坐標(biāo)系、像平面坐標(biāo)系、攝影坐標(biāo)系、大地坐標(biāo)系是攝影測(cè)量最重要坐標(biāo)系，四者間的相互轉(zhuǎn)換關(guān)系如下。

（1）像平面坐標(biāo)（x，y）與相片坐標(biāo)（像素坐標(biāo)）（u，v）

其中，（u0，v0）為相片內(nèi)方位元素，r′為傾斜因子，dx和dy為CCD每個(gè)象元的實(shí)際尺度。

（2）攝影坐標(biāo)（Xc，Yc，Zc）與像平面坐標(biāo)（x，y）

（3）攝影坐標(biāo)（Xc，Yc，Zc）與大地坐標(biāo)（XW，YW，ZW）

其中，R為旋轉(zhuǎn)量，t為平移量。

（4）合并得到相片坐標(biāo)（u，v）與大地坐標(biāo)（XW，YW，ZW）

其中，fu=，fv=，r = r′f。K為相機(jī)內(nèi)參數(shù)矩陣，P= K［ R t］相機(jī)投影矩陣，M為大地坐標(biāo)。

最后得到圖像坐標(biāo)（u，v，1）和大地坐標(biāo)（XW，YW，ZW）相互關(guān)系。圖像坐標(biāo)和三維大地坐標(biāo)組成的小孔成像模型將作為捆綁調(diào)整的平差基本單元。

3.2捆綁調(diào)整的非線性優(yōu)化

捆綁調(diào)整的數(shù)學(xué)本質(zhì)為非線性最小二乘優(yōu)化問(wèn)題，即給定觀測(cè)值來(lái)估計(jì)最優(yōu)的優(yōu)化參數(shù)。如式（12）中，觀測(cè)值Z為第2節(jié)提取匹配到的連接點(diǎn)，優(yōu)化參數(shù)X包括相機(jī)的外方位元素和連接點(diǎn)的三維坐標(biāo)。攝影測(cè)量中，每個(gè)相機(jī)的外方位元素包括6個(gè)變量，分別為3個(gè)線元素和3個(gè)角元素；每個(gè)特征點(diǎn)包括3個(gè)變量。假設(shè)n張圖像，觀測(cè)到m個(gè)地面點(diǎn)，同時(shí)投影到所有圖像形成k個(gè)投影點(diǎn)。此時(shí)，觀測(cè)量Z個(gè)數(shù)為k×2 j，優(yōu)化參數(shù)個(gè)數(shù)為n×6 + m×3。則捆綁調(diào)整算法的非線性最小二乘問(wèn)題，就是要找到一個(gè)狀態(tài)向量X，使得最小化。

其中，假設(shè)所有特征點(diǎn)所對(duì)應(yīng)的投影像點(diǎn)坐標(biāo)的不確定度是相同的，并且是互相獨(dú)立的。因此在光束法平差算法中，將用Σ-1Z= I作為權(quán)重。

4　海岸線正射影像拼接

4.1整體實(shí)驗(yàn)方案設(shè)計(jì)

整體實(shí)驗(yàn)方案包括相機(jī)畸變校正、紅黑樹(shù)特征匹配、相機(jī)初始化、捆綁調(diào)整和正射拼接5個(gè)主要步驟（圖4），詳細(xì)過(guò)程如下：

圖4　無(wú)人機(jī)測(cè)量實(shí)驗(yàn)方案設(shè)計(jì)

（1）相機(jī)畸變校正：由于無(wú)人機(jī)海岸線測(cè)量使用的是普通相機(jī)，鏡頭存在徑向畸變和切向畸變，直接使用原始圖像的信息，無(wú)法準(zhǔn)確描述像點(diǎn)與其對(duì)應(yīng)地面點(diǎn)的線性關(guān)系，因此需要利用徑向畸變參數(shù)和切向畸變參數(shù)糾正所有拍攝的圖像。

（2）紅黑樹(shù)特征匹配：原始圖像信息無(wú)法直接應(yīng)用于后續(xù)的信息處理，需要利用尺度不變特征變換算法得到大量高精度的穩(wěn)定的特征點(diǎn)，然后利用RANSAC算法（Fischler et al，1981）去除用SIFT算法所得特征點(diǎn)中的錯(cuò)點(diǎn)；對(duì)連續(xù)多對(duì)圖像兩兩進(jìn)行特征提取，然后利用紅黑樹(shù)結(jié)構(gòu)，快速對(duì)多張具有重疊圖像的特征點(diǎn)進(jìn)行連接，生成具有豐富信息的連接點(diǎn)信息。

（3）相機(jī)初始化。下一步的捆綁調(diào)整計(jì)算屬于非線性問(wèn)題中的最小二乘問(wèn)題，需要為非線性優(yōu)化問(wèn)題提供較準(zhǔn)確的初始值。

（4）捆綁調(diào)整。整合標(biāo)定后的相機(jī)內(nèi)參數(shù)、連接點(diǎn)數(shù)據(jù)和相機(jī)初始值，利用Levenberg-Marquardt算法（伏燕軍等，2007）實(shí)現(xiàn)捆綁調(diào)整。捆綁調(diào)整可以得到兩類優(yōu)化數(shù)據(jù)結(jié)構(gòu)，其一是參與優(yōu)化的連接點(diǎn)對(duì)應(yīng)的三維特征點(diǎn)的空間坐標(biāo)，其二是安裝在無(wú)人機(jī)上的相機(jī)6個(gè)位置姿態(tài)信息。

（5）正射拼接：利用捆綁調(diào)整后得到的三維特征點(diǎn)空間坐標(biāo)和相機(jī)6個(gè)姿態(tài)參數(shù)進(jìn)行拼接，得到正射拼接影像。正射拼接的目的是實(shí)現(xiàn)相機(jī)從透視成像向平行方式成像。根據(jù)捆綁調(diào)整得到的稀疏三維點(diǎn)，通過(guò)擬合加密得到地形場(chǎng)景。然后，實(shí)現(xiàn)每個(gè)點(diǎn)在相片上的單張微分糾正。糾正后的影像將帶有具體的地理坐標(biāo)信息，根據(jù)坐標(biāo)的統(tǒng)一性，可直接實(shí)現(xiàn)影像拼接。

4.2海岸線無(wú)人機(jī)影像正射拼接

海岸線數(shù)字化產(chǎn)品中，正射拼接影像有著重要的作用與意義。本小節(jié)將4.1方案得到的相機(jī)外方位元素和三維點(diǎn)，利用間接法實(shí)現(xiàn)單張相片微分糾正。微分糾正后的每張相片都?xì)w一化到大地坐標(biāo)系統(tǒng)，因此，直接通過(guò)坐標(biāo)平移就可以實(shí)現(xiàn)整個(gè)海岸線測(cè)區(qū)的單張糾正后影像的拼接，最后得到一張完整覆蓋該測(cè)區(qū)的正射拼接影像。

實(shí)驗(yàn)中利用無(wú)人機(jī)拍攝的6張海岸線影像（圖5）進(jìn)行基于紅黑樹(shù)數(shù)據(jù)結(jié)構(gòu)特征匹配，匹配結(jié)果如圖6和圖7所示。圖6是利用前兩張圖像提取得到10 342個(gè)匹配特征點(diǎn)（紅色點(diǎn)表示），其中兩張圖像同名像點(diǎn)用綠色直線連接（圖7）。最后，根據(jù)各影像匹配生成的同名像點(diǎn)及計(jì)算得到的相機(jī)參數(shù)進(jìn)行反算，拼接成正射影像結(jié)果如圖8所示。

圖5　原始影像

圖6　同名點(diǎn)匹配結(jié)果

圖7　同名點(diǎn)連接結(jié)果

倘若需要對(duì)拼接結(jié)果進(jìn)行定量分析，需要通過(guò)大量控制點(diǎn)作為檢查點(diǎn)進(jìn)行衡量。因?yàn)楸疚臄?shù)據(jù)缺乏控制點(diǎn)，所以只能通過(guò)目視方式進(jìn)行定性分析。實(shí)驗(yàn)表明，不同影像邊緣上的道路線拼接后無(wú)縫隙，無(wú)明顯像素偏移，證明了該方法的可行性。

圖8　無(wú)人機(jī)海岸線影像拼接結(jié)果

5　總結(jié)

利用紅黑樹(shù)數(shù)據(jù)結(jié)構(gòu)優(yōu)化了無(wú)人機(jī)影像大視角的特征點(diǎn)匹配，實(shí)現(xiàn)了快速、精確的同名像點(diǎn)提取，通過(guò)捆綁調(diào)整得到的三維地形及相機(jī)優(yōu)化參數(shù)反算，完成正射影像拼接生產(chǎn)，實(shí)驗(yàn)結(jié)果顯示，該拼接方法對(duì)拼接后影像中海岸線的連續(xù)性無(wú)任何影響，效果良好。本方法為海岸線數(shù)字化及海岸線變遷分析工作提供了一種技術(shù)支撐手段。

參考文獻(xiàn)

Barazzetti L，Remondino F，Scaioni M，2010. Extraction of accurate tie points for automated pose estimation of close-range blocks. In：ISPRS Technical Commission III Symposium on Photogrammetric Computer Vision and Image Analysis.

Edward M M，James S B，Chris J M，2001. Introduction to modern photogrammetry. Wiley press.

Fischler M，Bolles R，1981. Random sample consensus：a paradigm for model fitting with applications to image analysis and automated cartography. Commun. ACM，24（6）: 381-39.

Lowe D G，1999. Object recognition from local scale-invariant features. In：IEEE international conference on computer vision（ICCV），2: 1150-1157.

常琳，金光，楊秀彬，2014.航天TDI CCD相機(jī)成像拼接快速配準(zhǔn)算法設(shè)計(jì)與分析.光學(xué)學(xué)報(bào)，34（5）：48-56.

伏燕軍，楊坤濤，鄒文棟，等，2007.基于Levenberg-Marquardt算法的圖像拼接.激光雜志，28（5）：46-48.

李德仁，鄭肇葆，1992.攝影測(cè)量學(xué).北京：測(cè)繪出版社.

李宗南，陳仲新，王利民，等，2014.基于小型無(wú)人機(jī)遙感的玉米倒伏面積提取.農(nóng)業(yè)工程學(xué)報(bào)，30（19）：207-213.

劉春，李巍岳，雷偉剛，等，2012.基于光束法自由網(wǎng)平差的無(wú)人機(jī)影像嚴(yán)格拼接.同濟(jì)大學(xué)學(xué)報(bào)：自然科學(xué)版，40（5）：757-762.

聶博文，馬宏緒，王劍，等，2007.微小型四旋翼飛行器的研究現(xiàn)狀與關(guān)鍵技術(shù).電光與控制，14（6）：113-117.

孫杰，林宗堅(jiān)，2003.無(wú)人機(jī)低空遙感監(jiān)測(cè)系統(tǒng).遙感信息（1）：49-50.

唐強(qiáng)，朱志強(qiáng)，王建元，2004.國(guó)外無(wú)人機(jī)自主飛行控制研究.系統(tǒng)工程與電子技術(shù)，26（3）：418-422.

王之卓，1979.攝影測(cè)量原理.測(cè)繪通報(bào)，4：016.

張過(guò)，劉斌，江萬(wàn)壽，2012.虛擬CCD線陣星載光學(xué)傳感器內(nèi)視場(chǎng)拼接.中國(guó)圖象圖形學(xué)報(bào)，2012，17（6）.

張劍清，潘勵(lì)，王樹(shù)根，2003.攝影測(cè)量學(xué).武漢：武漢大學(xué)出版社.

（本文編輯：袁澤軼）

Study on the coastline orthophoto mosaic using UAV images based on red-black data structure

FAN Shi-yue，ZHANG Feng，LU Wen-hu，WANG Jing，WANG Feng，LIU Qing-qun
（National Marine Data and Information Service，Tianjin 300171，China）

Abstract：With the rapid development of UAV technology，photogrammetric technology involving high resolution camera is widespreadly applied to lots of fields. Compared with traditional survey methods，it is more difficult to handle with aerial images，captured by cameras on unstable aerial platform. In this paper，red-black data structure is used in large scale tie point matching and connecting. Meanwhile the camera calibration and bundle adjustment technologies are used to generate coastline mosaic using UVA images.

Keywords：UAV photogrammetry；image matching for large viewport；red-black data structure；image mosaic

中圖分類號(hào)：P231.5

文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1001-6932（2016）02-0132-08

Doi：10.11840/j.issn.1001-6392.2016.02.002

收稿日期：2015-06-25；

修訂日期：2015-08-12

作者簡(jiǎn)介：范詩(shī)玥（1989-），女，碩士，研究實(shí)習(xí)員，主要從事海島遙感影像處理及管理研究，電子郵箱：julia317fan@126.com。

通訊作者：張峰（1978-），男，博士，副研究員，電子郵箱：olileo@163.com。