無人機(jī)傾斜影像三維建模中的模型精細(xì)化

邱春霞，董乾坤，劉榮華，雷 蕾

(1. 西安科技大學(xué)測繪科學(xué)與技術(shù)學(xué)院，陜西 西安 710054； 2. 陜西國土測繪工程院，陜西 西安 710054； 3. 西安華輿信息科技有限公司，陜西 西安 710054)

無人機(jī)傾斜影像三維建模中的模型精細(xì)化

邱春霞1，董乾坤2，劉榮華3，雷 蕾1

(1. 西安科技大學(xué)測繪科學(xué)與技術(shù)學(xué)院，陜西 西安 710054； 2. 陜西國土測繪工程院，陜西 西安 710054； 3. 西安華輿信息科技有限公司，陜西 西安 710054)

無人機(jī)傾斜影像制作三維模型，速度快、成本低，成為城市三維建模的首選。而無人機(jī)傾斜影像三維建模中，數(shù)據(jù)冗余、模型變形、影像缺失等多種問題常常會影響建模效果。本文針對無人機(jī)傾斜影像三維建模中的問題，提出了一系列相應(yīng)的模型精細(xì)化處理技術(shù)，使三維模型更加形象、逼真。

無人機(jī)傾斜影像；三維建模；模型變形；影像缺失；模型精細(xì)化

傾斜影像是同時從多個角度采集的影像數(shù)據(jù)，利用傾斜影像制作三維模型，不僅使高昂的三維建模成本大大降低，而且有效提升了三維建模的速度和效率。目前，無人機(jī)傾斜影像構(gòu)建的三維模型，為智慧城市建設(shè)及地形復(fù)雜的地質(zhì)災(zāi)害監(jiān)測等提供了全面、準(zhǔn)確、詳細(xì)的三維地理信息，廣泛應(yīng)用于多個領(lǐng)域[1]。然而，無人機(jī)傾斜影像三維建模實(shí)踐中，在影像預(yù)處理、空中三角測量、模型建立后等各技術(shù)環(huán)節(jié)，還存在數(shù)據(jù)冗余、模型變形、影像缺失等多種問題。筆者針對這些問題，提出了一系列相應(yīng)的技術(shù)措施，使無人機(jī)傾斜影像三維建模實(shí)現(xiàn)了模型精細(xì)化。

1 無人機(jī)傾斜影像三維建模的關(guān)鍵技術(shù)

無人機(jī)傾斜影像三維建模的關(guān)鍵技術(shù)包括數(shù)據(jù)預(yù)處理、空中三角測量、多視影像密集匹配、紋理映射等[2]。傾斜影像數(shù)據(jù)預(yù)處理主要為格式轉(zhuǎn)換、旋轉(zhuǎn)影像、畸變差改正和增強(qiáng)處理?？罩腥菧y量是以航空像片上量測的像點(diǎn)坐標(biāo)為依據(jù)，采用嚴(yán)密的數(shù)學(xué)模型，按最小二乘法原理，采用少量地面控制點(diǎn)為平差條件，快速求解影像的定向及地面點(diǎn)加密問題[3]。傾斜影像的空三解算是將傾斜影像轉(zhuǎn)換為正射影像的過程，包括影像預(yù)處理、影像聯(lián)合平差、基于特征點(diǎn)的影像匹配和正射影像的生成等步驟。通常所用的影像匹配方法有基于像方灰度的匹配算法，如相關(guān)函數(shù)法、協(xié)方差函數(shù)法、相關(guān)系數(shù)法、差平方和法、差絕對值法、最小二乘影像匹配法等；還有一種影像匹配方法是基于像方特征的匹配算法，如金字塔多級影像匹配算法、SIFT算法等[4]。SIFT算法在特征點(diǎn)提取的數(shù)量上有明顯的優(yōu)勢，是從一幅圖像中根據(jù)設(shè)定的閾值找到一個局部特征向量集，可以很好地進(jìn)行局部目標(biāo)的識別與匹配存在較大變形如旋轉(zhuǎn)、縮放、尺度改變的影像。紋理映射是三維模型制作流程的最后一步，也是增強(qiáng)模型視覺效果的關(guān)鍵。通俗地講，紋理映射就是二維到三維的映射關(guān)系。將紋理空間中的紋理像素映射到屏幕空間中的像素的過程，其實(shí)質(zhì)是建立從屏幕空間到紋理空間及紋理空間到景物空間的兩個映射關(guān)系[5]。復(fù)雜的三維模型具有復(fù)雜的表面，需要多幅來自不同視點(diǎn)的影像作為紋理圖，才能為整個模型進(jìn)行紋理映射。

2 三維建模的問題及三維模型的精細(xì)化處理

2.1 影像預(yù)處理

2.1.1 影像畸變差校正

由于相機(jī)中心投影的特性，焦平面上不同區(qū)域?qū)τ跋竦姆糯舐什煌斐上衿行闹料衿吘壍淖冃我来卧龃?。一般情況下，輕微的畸變對像片質(zhì)量影響不大，但是如果建筑物畸變太嚴(yán)重會歪曲拍攝實(shí)物的幾何特征，需要對像片進(jìn)行畸變校正。

影像畸變差校正的方法是：打開MapMatrix軟件—工具—數(shù)碼相機(jī)影像校正，然后打開去畸變工具—添加影像—填寫校正參數(shù)—校正。校正界面如圖1所示。

圖1 MapMatrix校正界面

參數(shù)設(shè)置包括：坐標(biāo)及單位定義、分辨率、成像中心、校正參數(shù)、添加影像、網(wǎng)格大小、畸變?nèi)コ?/p>

設(shè)置好上述參數(shù)并檢查無誤后，點(diǎn)擊“校正”按鈕，即可進(jìn)行畸變差去除，完成后可在輸出文件夾生成校正好的TIF和TFW文件。

(1) 用相機(jī)檢校參數(shù)填寫見表1。

(2) 用Pix4D自檢校參數(shù)填寫見表2。

表1 相機(jī)檢校參數(shù)

表2 Pix4D自檢校參數(shù)

2.1.2 數(shù)據(jù)冗余與數(shù)據(jù)篩選方案

由于傾斜影像建模需要獲取側(cè)面紋理信息，且實(shí)際地物情況復(fù)雜，因此，航攝重疊度設(shè)計(jì)偏高，采集的影像數(shù)據(jù)量龐大，存在很大數(shù)據(jù)冗余[6]。為了高效、快速建模就必須對影像進(jìn)行篩選。

數(shù)據(jù)篩選具體方法為：首先對研究區(qū)域獲取的POS數(shù)據(jù)進(jìn)行編輯(POS數(shù)據(jù)編輯器)，然后保存并生成KML文件，其次將KML文件導(dǎo)入到Google Earth中編輯屬性，更改圖標(biāo)、顏色(如圖2所示)，并把航線和影像設(shè)置為“貼于地面”(如圖3所示)，以便挑選。

圖2 導(dǎo)入POS數(shù)據(jù)

圖3 航線與影像設(shè)置

挑選原則主要是將航線與影像高度設(shè)置為“貼于地面”，根據(jù)所需區(qū)域判斷該區(qū)域上方有哪幾張影像，然后選擇離它最近的影像。如圖3橢圓區(qū)域，可以在保證重疊度的前提下選擇DSC50214.jpg、DSC50173.jpg、DSC50215.jpg、DSC50213.jpg和DSC50250.jpg這5張影像。

2.2 空中三角測量

2.2.1 模型變形及模型精細(xì)化處理

空中三角測量像片缺失是由于像片及POS參數(shù)質(zhì)量問題，匹配時出現(xiàn)錯誤，導(dǎo)致建模后期存在空洞或模型變形。像片缺失如圖4所示，圖中用圈圈起來的是缺失的像片，模型變形如圖5所示。

圖4 像片丟失

圖5 模型變形

針對空中三角測量時出現(xiàn)的模型變形，模型精細(xì)化的處理方法有兩種。第一種方法為：

(1) 將像控點(diǎn)刺于相應(yīng)像片中，同一地物至少出現(xiàn)在3張像片上，像片控制點(diǎn)的目標(biāo)影像應(yīng)清晰，易于判刺和立體量測。像控點(diǎn)點(diǎn)位如圖6所示。

圖6 像控點(diǎn)點(diǎn)位分布

(2) 區(qū)域網(wǎng)布點(diǎn)方案為：對于兩條和兩條以上的平行航線采用區(qū)域網(wǎng)布點(diǎn)時，要求如下：

a. 航向相鄰平面控制點(diǎn)間隔基線數(shù)可參照式(1)進(jìn)行估算[7]

(1)

式中，ms為連接點(diǎn)(空三加密點(diǎn))的平面中誤差，單位為毫米；K為像片放大成圖的倍數(shù)；mq為視差量測的單位權(quán)中誤差，單位為毫米；n為航線方向相鄰平面控制點(diǎn)的間隔基線數(shù)。

b. 旁向相鄰平面控制點(diǎn)的航線跨度見表3。

表3 旁向相鄰平面控制點(diǎn)的航線跨度

c. 航向相鄰高程控制點(diǎn)間隔基線數(shù)可參照式(2)進(jìn)行估算[8]

(2)

式中，mh為連接點(diǎn)(空三加密點(diǎn))的高程中誤差，單位為米(m)；H為相對航高，單位為米(m)；b為像片基線長度，單位為毫米(mm)；n為航線方向相鄰平面控制點(diǎn)的間隔基線數(shù)。

通過對航片刺入控制點(diǎn)，保證一個控制點(diǎn)至少出現(xiàn)在3張像片上，像片刺控制點(diǎn)如圖7所示。然后進(jìn)行空中三角測量計(jì)算像片的位置姿態(tài)參數(shù)，找回丟失的航片，對于邊緣丟失的航片，選擇繼續(xù)通過刺入控制點(diǎn)找回航片或?qū)⒑狡瑒h除，完成空中三角測量航片缺失及模型變形問題的處理，處理好的模型如圖8所示。

圖7 刺像控點(diǎn)

圖8 處理好的模型

第二種方法為：對于帶狀測區(qū)，可以采用分區(qū)建模的方法進(jìn)行空中三角測量，然后進(jìn)行三維重建，最后利用相鄰區(qū)域公共點(diǎn)對各區(qū)域的模型進(jìn)行接邊，可防止模型變形。圖9為分區(qū)域建模的結(jié)果，圖10為分區(qū)建模合成的結(jié)果。

2.2.2 不同建模方法比較

方法1：已經(jīng)過畸變的像片加原始POS數(shù)據(jù)(經(jīng)緯度數(shù)據(jù)+HPR角元素系統(tǒng))。

方法2：未經(jīng)過畸變的像片加原始POS數(shù)據(jù)(經(jīng)緯度數(shù)據(jù)+HPR角元素系統(tǒng))加畸變參數(shù)。

方法3：已經(jīng)過畸變的像片加像片外方位元素(XYZ+DPK角元素系統(tǒng))，然后在Smart三維中進(jìn)行空三加密，空三Setting步，選擇“adjust”。

方法4：已經(jīng)過畸變的像片加像片外方位元素，然后在Smart三維中進(jìn)行空三加密，空三Setting步，選擇“compute”。

試驗(yàn)1：利用同一測區(qū)的數(shù)據(jù)，運(yùn)用方法1、方法3、方法4在Smart三維軟件中分別進(jìn)行空中三角測量。方法1用時最長，為5.5 h，且空三加密成果變形，像片丟失4張，如圖11所示。方法3用時1 h，空三加密成果無變形，像片丟失2張，如圖12所示。方法4用時2.5 h，空三加密成果無變形，像片丟失11張。通過對3種方法的比較，方法3效果最好，因此在有外方位元素的前提下，可以直接利用方法3進(jìn)行三維建模。

圖9 分區(qū)空三成果

圖10 模型合并成果

圖11 方法1空三成果

圖12 方法3空三成果

試驗(yàn)2：利用同一測區(qū)的數(shù)據(jù)，運(yùn)用方法1、方法2在Smart三維軟件中分別進(jìn)行空中三角測量。利用方法1進(jìn)行空三的過程中用時6.5 h，像片丟失15張，而且丟失的像片全部為航線拐角處，如圖13中用圓圈標(biāo)出來的地方。因?yàn)楣战翘幍南衿儽容^大，因此應(yīng)該刪除拐角處的像片，然后再進(jìn)行空中三角測量。利用方法2進(jìn)行空三的過程中用時8.5 h，像片丟失19張，而且模型變形嚴(yán)重，如圖14所示。通過比較，方法1效果較好，因此在進(jìn)行三維建模時，可以首先對像片進(jìn)行畸變校正。

圖13 方法1空三成果

圖14 方法2空三成果

利用Smart三維進(jìn)行三維建模，各種數(shù)據(jù)來源主要包括相機(jī)(單鏡頭、五鏡頭)、像片(經(jīng)過畸變的像片、未經(jīng)過畸變的像片)、POS數(shù)據(jù)(經(jīng)緯度+HPR角元素系統(tǒng)、差分POS、經(jīng)過空三加密獲取的外方位元素)、像控點(diǎn)(Google Earth、RTK)。

通過對試驗(yàn)1、試驗(yàn)2的對比，得出五鏡頭相機(jī)獲取的數(shù)據(jù)+經(jīng)過畸變校正的像片+經(jīng)過空三加密得出的外方位元素+使用RTK測得的像控點(diǎn)方法，三維建模精度最高且用時最短。

2.3 模型變形與紋理缺失的模型精細(xì)化處理

2.3.1 模型變形與紋理缺失

傾斜影像獲取數(shù)據(jù)的死角或數(shù)據(jù)點(diǎn)關(guān)聯(lián)不足的地方，在模型匹配時會造成模型扭曲變形，主要是建筑物或地物的底腳部位[9]。房屋結(jié)構(gòu)變形如圖15所示。水面、玻璃等表面無或少紋理，匹配不到特征點(diǎn)而產(chǎn)生漏洞，如圖16所示。旗桿、鐵塔、路燈、小于一定厚度的廣告牌等，由于匹配截面過小，不能產(chǎn)生足夠多的特征點(diǎn)，從而造成模型缺失，路燈變形如圖17所示。

圖15 房屋變形

圖16 水面變形

圖17 路燈變形

2.3.2 模型精細(xì)化處理

使用DPModeler軟件采用高分辨率的航空影像通過透視成像原理，快速提取建筑物輪廓，自動紋理映射，完成建模[10-11]。其中通過傾斜影像多角度觀測建模，模型和影像完全套合，模型具有精確的三維坐標(biāo)信息，實(shí)現(xiàn)了模型貼圖自動從影像中采集，一鍵完成模型貼圖[12]。通過創(chuàng)建多級金字塔的影像結(jié)構(gòu)，支持超過一億像素的影像無縫調(diào)度，可以自動生成真正射影像，修正建筑物的投影差，消除遮擋陰影的問題，實(shí)現(xiàn)了對Smart三維自動建模中模型變形的精細(xì)化處理。

(1) Smart三維輸出的數(shù)據(jù)格式為OSGB格式，DPModeler無法直接讀取OSGB格式的數(shù)據(jù)，因此需要通過osgConv軟件將OSGB格式的數(shù)據(jù)轉(zhuǎn)化為DPModeler可以識別的OSGB格式。

(2) 將數(shù)據(jù)導(dǎo)入DPModeler中進(jìn)行模型精細(xì)化處理。對于模型不精細(xì)或變形的地方，通過“平面選擇”工具，選擇需要修飾的模型范圍，然后通過重建工具，進(jìn)行模型重建，設(shè)置內(nèi)收值，完成地面的縫補(bǔ)。

(3) 在三維視圖中，顯示刪除的Mesh，根據(jù)顯示的Mesh在三維自由視圖中，通過制作模型、自動紋理映射步驟完成模型的重建，如圖18所示。

圖18 模型重建

圖18中，最左邊為相機(jī)布局視圖，其中不同灰度的點(diǎn)分別代表垂直影像、該范圍內(nèi)的傾斜影像、計(jì)算機(jī)優(yōu)先選擇的影像。

(4) 在紋理自動映射步驟，若紋理不清晰或不完整，可以將該影像直接導(dǎo)入PS中進(jìn)行處理，處理完后，再導(dǎo)入DPModeler中進(jìn)行紋理映射。房屋精細(xì)化處理結(jié)果如圖19所示，水面精細(xì)化處理結(jié)果如圖20所示。

圖20 水面精細(xì)化

(5) 對于鐵塔、路燈、旗桿、小于一定厚度的廣告牌，處理方法為在Smart三維中導(dǎo)出為OBJ格式的數(shù)據(jù)，然后導(dǎo)入3ds Max中進(jìn)行模型精細(xì)化處理，完成制作模型與紋理映射步驟，最后再導(dǎo)入Smart三維中。路燈精細(xì)化處理結(jié)果如圖21所示。

圖21 路燈模型精細(xì)化

2.4 模型側(cè)面缺失紋理信息的處理方法

若測區(qū)四面環(huán)山，會造成測區(qū)高差較大，無人機(jī)拍攝影像具有一定難度，因此只能用單鏡頭的相機(jī)俯視拍攝。由于影像數(shù)據(jù)是從空中俯視拍攝的，模型缺少側(cè)面紋理信息，導(dǎo)致地面低處模型不完整。為彌補(bǔ)這一不足，可以利用地面拍攝影像與俯視拍攝結(jié)合進(jìn)行影像的獲取。

針對模型側(cè)面缺失紋理信息處理方法有兩種：

(1) 利用地面拍攝的影像進(jìn)行三維建模，然后替換單鏡頭俯視拍攝的建模成果，進(jìn)行空地融合。

(2) 在低空對模型欠佳的地區(qū)進(jìn)行無人機(jī)傾斜影像采集，對于植被覆蓋區(qū)，進(jìn)行正射影像采集，由于高差較大，可對有房子的地區(qū)進(jìn)行低空傾斜影像的采集，確保地物紋理完整。

3 結(jié) 語

利用無人機(jī)傾斜影像進(jìn)行三維模型制作是目前廣泛采用的三維建模方式，本文通過對無人機(jī)傾斜影像三維建模實(shí)踐中經(jīng)常遇到的問題進(jìn)行分析，提出了一系列的三維模型精細(xì)化處理方法，以期對無人機(jī)傾斜影像三維建模實(shí)踐有一定的參考和借鑒的價值。

[1] 馮梅.基于LiDAR和航空影像的三維建模方法探討[J].測繪通報(bào),2011(12):12-14.

[2] 姚方芳.基于傾斜影像的三維建模方法研究[D].泰安：山東科技大學(xué),2014.

[3] 孫宏偉.基于傾斜攝影測量技術(shù)的三維數(shù)字城市建模[J].現(xiàn)代測繪,2014(1):18-21.

[4] 張祖勛,張劍清,胡翔云.基于物方空間幾何約束最小二乘匹配的建筑物半自動提取方法陰[J].武漢大學(xué)學(xué)報(bào)(信息科學(xué)版),2001,26(4):290-294.

[5] 桂德竹,林宗堅(jiān),張成成.傾斜航空影像的城市建筑物三維模型構(gòu)建研究[J]測繪科學(xué),2012,37(4):140-142.

[6] 吳軍.三維城市建模中的建筑物墻面紋理快速重建研究[J].測繪學(xué)報(bào),2005,34(4):317-323.

[7] 閆利,葉志云.幾何約束條件下的SIFT傾斜影像匹配[J]. 測繪通報(bào),2016(1):37-40，44.

[8] 陳小航,黃金浪,施一軍.易拼圖(EPT)軟件在正射影像圖制作中的應(yīng)用[J].現(xiàn)代測繪,2013,36(3):44-45.

[9] 王蒙.基于大規(guī)模點(diǎn)云數(shù)據(jù)的三維重建和紋理映射研究[D].南昌：南昌大學(xué),2014.

[10] 卜松濤,岳凡琦,依蘭.基于傾斜影像的三維建筑物紋理提取方法研究[J].測繪與空間地理信息，2014(10):206-208.

[11] 熊俊華,方源敏,付亞梁.機(jī)載LIDAR數(shù)據(jù)的建筑物三維重建技術(shù)[J].科學(xué)技術(shù)與工程,2011,11(1):189-192.

[12] 鄧琴.基于DPModeler的傾斜影像三維建模[D].南昌：東華理工大學(xué),2015.

RefiningModelof3DModelingBasedonObliqueImageofUnmannedAircraft

QIU Chunxia1,DONG Qiankun2,LIU Ronghua3,LEI Lei1

(1. College of Geomatics, Xi’an University of Science and Technology, Xi’an 710054, China； 2. Shaanxi Institute of Surveying and Mapping of Land, Xi’an 710054, China; 3. Xi’an Huayu Information Technology Corporation Ltd., Xi’an 710054, China)

3D modeling based on oblique image of unmanned aircraft is the first choice for 3D modeling of the city because it is fast and low cost. Multiple problems, such as data redundancy, model deformation and image deletion, often affect the modeling effect in the 3D modeling based on oblique image of unmanned aircraft. This paper puts forward a series of model refinement treatment technology for 3D modeling based on oblique image of unmanned aircraft. These techniques make the 3D model more vivid and realistic.

oblique image of unmanned aircraft; three-dimensional modeling; model deformation; image missing; model refinement

邱春霞，董乾坤，劉榮華,等.無人機(jī)傾斜影像三維建模中的模型精細(xì)化[J].測繪通報(bào)，2017(11)：133-138.

10.13474/j.cnki.11-2246.2017.0363.

P237

A

0494-0911(2017)11-0133-06

2017-06-26

國家重點(diǎn)研發(fā)計(jì)劃(2016YFC0501707)

邱春霞(1969—)，女，碩士，副教授，主要從事攝影測量的教學(xué)與研究工作。E-mail:306044748@qq.com