基于消費級無人機影像的古建筑三維建模方法

王廣楠 劉健辰 張子浩

(山東科技大學(xué) 測繪與空間信息學(xué)院 山東 青島 266590)

0 引言

近些年來全國各地掀起開發(fā)房地產(chǎn)的狂潮,眾多古老的文化遺產(chǎn)淪為工地和樓盤,各種古建筑和文化古跡都遭到不同程度的破壞。傳統(tǒng)的古建筑保護方法流程復(fù)雜,需進行大量實地考察作業(yè),效率較低,導(dǎo)致基層文物保護部門任務(wù)繁重,條件艱苦。無人機傾斜攝影測量作為獲取地表三維模型的重要途徑具有便捷和高效的優(yōu)勢,并且其技術(shù)和方法是快速發(fā)展的,于麗麗研究了基于無人機傾斜攝影測量技術(shù)的城市三維實景建模方法;丁波主要分析了基于無人機傾斜攝影三維重建技術(shù)中的精度問題;項志勇等人提出了基于傾斜攝影的快速三維重建方法;周杰研究了三維重建模型二級評價的方法并結(jié)合圖像快速建模系統(tǒng)(DP-Modeler)軟件進行模型精修,得到了精細(xì)的三維模型;李策將地面三維激光掃描結(jié)果與傾斜攝影相結(jié)合進行三維重建;何原榮等人研究了基于三維激光掃描與傾斜攝影技術(shù)相結(jié)合的古建筑三維重建方法,并將構(gòu)建的模型以不同比例尺進行三維(three-dimensional,3D)打印與室內(nèi)外展示。本文研究了利用成本低廉的消費級無人機影像建立古建筑三維模型以及模型展示與發(fā)布的方法,一定程度上解決了傳統(tǒng)古建筑保護方法時間和人力成本高的問題,可為文物保護部門制定古建筑保護方案提供參考。

1 研究過程和方法

1.1 Mesh模型的構(gòu)建流程

三維重建算法的核心流程，如圖1所示。

圖1 三維重建的流程

1.2 航空影像勻化處理

受各種因素影響,測區(qū)航空影像色調(diào)存在差異,直接進行三維重建可能影響模型效果。批量處理航空影像,對航空影像進行勻色處理-對比度增強是尤為必要的。

基于限制對比度自適應(yīng)直方圖均衡化(contrast limited adaptive histogram equalizatio,CLAHE)解決了傳統(tǒng)的直方圖均衡化(histogram equalization,HE)算法局部失真和噪聲過大的問題,在圖像增強領(lǐng)域具有廣泛應(yīng)用,其基本步驟如下：

(1)劃分圖像為連續(xù)大小相等且不重疊小塊,劃分子塊的數(shù)目與圖像增強程度正相關(guān)。

(2)對每個小塊建立直方圖。

(3)直方圖裁剪,將設(shè)置的超出閾值的像素切掉。

(1)

其中，

T

為設(shè)置的初始閾值；

w

和

h

分別是一小塊的像素寬度和高度；

N

為小塊內(nèi)像素總值；

T

為最終閾值。

(4)將切掉的像素點重分配。

其中，

h

(

x

)為直方圖；

E

表示超出閾值的像素個數(shù)；

B

表示每個灰度級增加的像素個數(shù)的平均值；

K

為灰度級的個數(shù)。

(5)每個小塊直方圖均衡化。

(6)線性插值運算,一般是雙線性插值。

實驗發(fā)現(xiàn),將航空影像勻化處理之后,模型色彩更加真實且細(xì)節(jié)更清晰。

1.3 稀疏重建與稠密重建

稀疏重建使用運動恢復(fù)結(jié)構(gòu)(structure from motion,SFM)算法,其流程如圖2所示。

圖2 SFM算法流程

基于尺度不變特征變換(scale-invariant feature transform,SIFT)提取特征點后進行特征點匹配,那么之后任意兩張航空影像上若干點有式(4)的對應(yīng)關(guān)系,表示任意兩張影像的點的匹配關(guān)系。

(4)

通過上述的數(shù)據(jù)可求解相機內(nèi)參

K

,相機外參

R

、

T

,進而求解地物的齊次地理坐標(biāo)

X

,這便是SFM算法的核心。求解公式如下,這里

N

為影像數(shù)

x

為影像的齊次像素坐標(biāo)。

i

是影像對的編號,是投影矩陣,和

X

的計算公式如下：

為更好地消除特征點匹配錯誤以及誤差的影響,可進行非線性最小二乘優(yōu)化

(7)

其中,={

P

,

P

,…,

P

};

X

={

X

,

X

,…,

X

},這里

D

是特征點的數(shù)目。這里區(qū)域網(wǎng)平差方法選擇多核光束法平差(multicore bundle adjustment)算法。

多視角聚簇(cluster multi-view stereo,CMVS)算法對SFM算法輸出的大量重疊點云進行聚簇分類,為后續(xù)操作減小了數(shù)據(jù)冗余,降低了時間成本，如圖3所示。

圖3 CMVS算法流程

基于面片模型的密集匹配算法(patch based multi-view stereo,PMVS)處理聚簇分類后的點云,建立面片模型迭代進行擴展和過濾操作,最后輸出稠密點云，如圖4所示。

圖4 PMVS算法流程

1.4 網(wǎng)格優(yōu)化

網(wǎng)格優(yōu)化的核心在于建立以最小化匹配為代價的能量函數(shù),其構(gòu)建的基本過程如下：

α

為參考影像；

β

為鄰域影像；影像

αβ

上(

r

,

c

)處的亮度值為

I

(

r

,

c

)；影像

α

上(

r

,

c

)處的亮度值為

I

(

r

,

c

)；影像

β

上(

r

,

c

)處的亮度值為

I

(

r

,

c

)。設(shè)

X

為物方點；

x

為像點；

S

為物方表面。參照文獻中的公式,可依次計算：像點梯度變化值;像方頂點梯度變化值;物方頂點梯度變化值,以上信息可組成能量函數(shù)的數(shù)據(jù)項

E

(

x

)=

h

(

I

,

I

)(

x

)=1-

N

(8)

這里的

N

是影像間的相關(guān)系數(shù),能量函數(shù)形式如下：

(9)

另外還有平滑項

E

,具有確保三角形狀和表面平滑的功能：

(10)

(11)

1.5 紋理映射

將紋理影像構(gòu)成的紋理空間與表面參數(shù)構(gòu)成的三維模型空間作一一對應(yīng)的映射叫做紋理映射,也就是將指定的紋理圖像映射到三維模型表面,其基本流程如圖5所示。

圖5 紋理映射基本流程

紋理映射的核心在于構(gòu)建映射關(guān)系,文獻[12]提出了基于深度值的影像可見算法,此算法的核心是求出航空圖像中每一個像素點對應(yīng)的三角面,建立一張三角面標(biāo)號圖記錄與本張航空影像最近的面然后確定影像那些像素點不存在遮擋。然后通過構(gòu)建影像與三角面的圖表關(guān)系,將每一個三角面作為節(jié)點,每一個備選影像作為標(biāo)簽。將問題轉(zhuǎn)化成一個基于置信傳播理論的求解數(shù)據(jù)場穩(wěn)態(tài)問題,構(gòu)建數(shù)據(jù)場的能量函數(shù)求解。

F

是三角面片；

l

是對應(yīng)的備選航空影像；數(shù)據(jù)項

E

(

F

,

l

)衡量二者之間的相似程度,確定單個三角面片的紋理映射質(zhì)量。

F

是與

F

相鄰的三角面片；

l

是

F

對應(yīng)的備選航空影像；平滑項

E

(

F

,

F

,

l

,

L

)衡量紋理的連續(xù)性,使得相鄰三角面片紋理盡可能對應(yīng)同一張備選航空影像。設(shè)l為待選紋理影像的編號,能量函數(shù)的表達(dá)如下：

(12)

求解三角面的能量方程全局最小值,即可得到最佳映射效果。

2 實驗

2.1 實驗總技術(shù)流程

網(wǎng)格模型(Mesh)構(gòu)建完畢之后,進行各項實驗,通過建模軟件再建?？梢陨?D打印產(chǎn)品,全景圖和虛擬現(xiàn)實(virtual reality，VR)產(chǎn)品等,實驗的流程如圖6所示。

圖6 實驗的基本流程

2.2 航片拍攝與航線規(guī)劃

2.2.1

調(diào)查測區(qū)概況

光岳樓是四重檐十字脊過街式樓閣,由墩臺和四層主樓組成,有多處飛檐,欄桿石柱雕刻精美,結(jié)構(gòu)較為復(fù)雜,三維重建有一定的難度。

2.2.2

航線規(guī)劃

使用無人機航測航線規(guī)劃軟件Altizure進行航線規(guī)劃,為保證相鄰航片重疊度,每一層環(huán)繞一周拍攝50張左右五層共計250張傾斜影像。頂部按照之字形飛行并拍攝,共計飛行3個之字形航線,拍攝照片100張從而保證建筑物頂部,屋檐等細(xì)節(jié)的建模質(zhì)量。選取連續(xù)晴朗的三天,前兩天使用無人機進行拍攝,最后一天對細(xì)節(jié)進行補拍尤其是屋檐下等遮擋的部位等。

2.3 Mesh模型的精修

圖像快速建模系統(tǒng)(DP-Modeler)是一款可對三維模型精修的單體化軟件,與3D建模專業(yè)軟件3Ds Max可以通過聯(lián)動插件方便的聯(lián)動：通過DPModeler采集模型的輪廓實時同步到3Ds Max中進行模型精細(xì)化。由于古建筑存在較多細(xì)小而復(fù)雜的結(jié)構(gòu),DPModeler自動紋理映射效果較差,需要大量的修改貼圖。Mesh模型使用密集的三角網(wǎng)較真實地反映了建筑物實際的幾何外觀，但占用存儲空間較大，不夠輕量化，從而不利于后期宣傳與發(fā)布。在3Ds Max中進行模型單體化,操作較為簡單且效率高,將Mesh模型導(dǎo)入3Ds Max中并凍結(jié),參照Mesh模型在新圖層進行重建，見圖7。

單體模型可在DPModeler軟件中進行瓦塊壓平。將重建的模型還原到原來的場景中,在這里需要進行刪除閃面,補洞和紋理修改。

圖7 場景中的Mesh模型和單體化模型

2.4 模型的發(fā)布和宣傳

2.4.1

3D

打印

使用3D模型修補軟件Magics軟件對單體化模型進行進一步的完善便可生產(chǎn)3D打印產(chǎn)品(圖8):①縮放模型至合適的打印尺寸。②修復(fù)模型的錯誤：修復(fù)縫隙、孔洞和干擾殼體;修復(fù)模型的三角面片錯誤;修復(fù)模型壁厚錯誤消除打印中斷裂的風(fēng)險。

圖8 3D打印結(jié)果展示

2.4.2

生成全景圖和

VR

展示

單體化模型導(dǎo)入草圖大師(Sketchup)軟件,基于Sketchup開發(fā)的Dsketchup插件可自動生成全景圖和VR場景且自動生成分享二維碼便于在移動端自由查看。模型全景展示界面有評論界面和文字介紹欄,可對古建筑進行詳盡的文字介紹,便于宣傳與推廣。

3 結(jié)束語

本文主要研究了基于消費級無人機航空影像進行古建筑三維重建的方法,探索了一種低成本、高效率的數(shù)字化古建筑保護方法;總結(jié)了模型重建方面的改進思路,即增強航片對比度,提高空三質(zhì)量和優(yōu)化三角網(wǎng)格模型;總結(jié)了基于消費級無人機航空影像快速建模,模型修飾和發(fā)布與宣傳的基本流程。通過較低的成本和較短的時間,可以完成對古建筑的逆向重建,生產(chǎn)3D打印實物、全景圖和VR展示等產(chǎn)品。相比地面測繪和三維激光掃描,操作流程更簡易時間成本更低;相比直接在3D建模軟件手工建模,效率更高且對模型各處比例有很好的把控，更加接近真實。技術(shù)通常以一個超乎想象的速度更新迭代,在古建筑三維建模領(lǐng)域,也不斷涌現(xiàn)新的技術(shù)方案,如通過激光雷達(dá)構(gòu)建三維點云與傾斜影像結(jié)合等。真心希望能夠不斷涌現(xiàn)更多的、更先進的技術(shù)方案用于解決古建筑的保護與維護問題。