面向科普VR應(yīng)用的大型場景數(shù)據(jù)采集技術(shù)

邱永哲, 王京春, 鄭 亞, 魏 記, 高京美

(1. 中國科學(xué)技術(shù)館, 北京 100012； 2. 北京水晶石數(shù)字科技股份有限公司, 北京 100091)

傳統(tǒng)大型場景的數(shù)據(jù)采集與三維重建多用于測繪和勘探,無法滿足虛擬現(xiàn)實(shí)場景重建的需求。本文研發(fā)的一套面向科普的虛擬現(xiàn)實(shí)展示的大型實(shí)景的數(shù)據(jù)采集技術(shù),以航空數(shù)據(jù)采集為技術(shù)核心,結(jié)合地面數(shù)據(jù)采集,多次成功應(yīng)用于室外大型場景區(qū)域的數(shù)據(jù)采集和重建。本文以2022年北京-張家口冬季奧運(yùn)會(huì)高山滑雪場景延慶海坨山雪場區(qū)域的場景數(shù)據(jù)采集為例,規(guī)范了虛擬現(xiàn)實(shí)應(yīng)用下的大型場景數(shù)據(jù)采集的流程和方法。

1 航空數(shù)據(jù)采集技術(shù)

本文所探討的航空數(shù)字采集技術(shù)充分考慮了多個(gè)空中采集數(shù)據(jù)之間、空中采集數(shù)據(jù)與地面采集數(shù)據(jù)之間的三維空間拼合。航空數(shù)據(jù)采集通過在二維地圖上規(guī)劃的采集任務(wù)區(qū)域和采集精度,自動(dòng)生成飛行任務(wù),如環(huán)繞飛行任務(wù)、航點(diǎn)任務(wù)、區(qū)域掃描任務(wù)、縱向掃描任務(wù)等,利用無人機(jī)[1-2](本文以DJI無人機(jī)為例)以點(diǎn)線面的方式對(duì)空中場景進(jìn)行全方位的自動(dòng)拍攝和數(shù)據(jù)采集。

1.1 技術(shù)要點(diǎn)

1.1.1 像素精度計(jì)算

像素精度是指照片上單位像素點(diǎn)對(duì)應(yīng)地面上的實(shí)際距離(單位：m/px),像素精度值越小則越能分辨出地面細(xì)節(jié)[3]。相機(jī)鏡頭的分辨率、相機(jī)視場角和無人機(jī)飛行高度都會(huì)對(duì)航拍采集中的像素精度產(chǎn)生影響。鏡頭分辨率越高、無人機(jī)飛行高度越低、視場角FOV越小,則像素精度值越低,能辨識(shí)的地面細(xì)節(jié)更多；反之,則像素精度值越高,能分辨的地面細(xì)節(jié)也會(huì)隨之降低[4]。

相機(jī)拍攝的覆蓋范圍根據(jù)相機(jī)視場角的度量方式不同分為兩種：以成像物的對(duì)角線來作為視場角計(jì)算覆蓋范圍,如圖1左圖所示；以成像物矩形的寬度來計(jì)算覆蓋范圍,如圖1右圖所示。

圖1 兩種相機(jī)視場角的度量方式圖

1.1.2 圖像重復(fù)率設(shè)定

通過移動(dòng)地圖上的標(biāo)注點(diǎn)可快速確定具體的飛行區(qū)域。標(biāo)注點(diǎn)有兩種：實(shí)心標(biāo)注點(diǎn),用來調(diào)整飛行區(qū)域；虛心標(biāo)注點(diǎn),用來增加或減少區(qū)域多邊形的邊數(shù)。兩種標(biāo)注點(diǎn)間隔排列,最終由實(shí)心標(biāo)注點(diǎn)構(gòu)成掃描區(qū)域[7-8]。掃描區(qū)域內(nèi)由首位相連的數(shù)條掃描線相連接,掃描線的間隔和無人機(jī)沿掃描線飛行時(shí)的拍照間隔由照片重復(fù)率而定。理論上,現(xiàn)階段拍攝的照片重復(fù)率越高,后期三維建模精度越高。

圖2 掃描線與圖像重復(fù)率關(guān)系圖

1.1.3 區(qū)域掃描線的生成

多邊形區(qū)域掃描線分水平和垂直兩種,以水平為例,掃描算法如下：

(1) 首先將實(shí)心標(biāo)注點(diǎn)經(jīng)緯度坐標(biāo)轉(zhuǎn)化為屏幕坐標(biāo),即將多邊形在地圖上坐標(biāo)轉(zhuǎn)化為以移動(dòng)設(shè)備顯示屏幕左上角為圓心O、左邊緣為OY、頂邊緣為OX的屏幕坐標(biāo),如圖3所示,abcdef表示多邊形掃描區(qū)；

(2) 根據(jù)標(biāo)注點(diǎn)屏幕坐標(biāo),得到多邊形每條線段的線性函數(shù),線段用Segment表示,(Segment.x1、Segment.y1)、(Segment.x2 Segment.y2)分別表示線段的2個(gè)端點(diǎn),Segment.a表述線段斜率,Segment.b表示線段常量,多邊形線段列表為list；

(3) 求出所有標(biāo)注點(diǎn)屏幕y坐標(biāo)的最大值y_max和最小值y_min；

(4)i表示水平掃描線y的值,y_min

(5) 在步驟4)中生成的所有掃描線端點(diǎn),用地圖api將屏幕坐標(biāo)轉(zhuǎn)化為經(jīng)緯度坐標(biāo)。

圖3 多邊形掃描區(qū)域

1.2 延慶海坨山雪場航空數(shù)據(jù)采集

海坨山位于延慶縣西北部,其中小海坨山將成為2022年冬奧會(huì)高山滑雪場地。小海坨山地形較為復(fù)雜,在采集空中數(shù)據(jù)時(shí),不僅要獲取準(zhǔn)確無誤的數(shù)據(jù),還需避免無人機(jī)與山體的碰撞。根據(jù)場景建模的需求,現(xiàn)場規(guī)劃并采集了以下幾類飛行任務(wù)的空中數(shù)據(jù)：

(1) 航點(diǎn)任務(wù)數(shù)據(jù)采集。航點(diǎn)任務(wù)是通過在地圖上選定多個(gè)航點(diǎn),或者根據(jù)包含航點(diǎn)地理位置的json數(shù)據(jù)自動(dòng)生成航點(diǎn),組成一個(gè)線性有序的航點(diǎn)任務(wù)。任務(wù)參數(shù)設(shè)置包括高度、速度、云臺(tái)俯仰角[9]、航點(diǎn)動(dòng)作等。根據(jù)規(guī)劃飛行的海坨山場地,多次飛行中一次航點(diǎn)任務(wù)的執(zhí)行路徑和飛行參數(shù)設(shè)置如圖4所示。

圖4 海坨山航點(diǎn)采集

(2) 區(qū)域掃描任務(wù)。區(qū)域掃描是針對(duì)大面積地區(qū)進(jìn)行水平區(qū)域掃描,實(shí)現(xiàn)重建中大面積區(qū)域模型完整、高精度拼合。任務(wù)參數(shù)設(shè)置包括掃描區(qū)域劃定、速度、飛行高度、起飛高度、鏈接高度、掃描線上圖像重復(fù)率、掃描線間圖像重復(fù)率、云臺(tái)俯仰角、任務(wù)完成動(dòng)作以及任務(wù)起始點(diǎn)等[10]。大型場景航拍采集時(shí),不同區(qū)域的航拍精度要求可能不同,過程中需規(guī)劃多個(gè)區(qū)域掃描任務(wù)；這些任務(wù)的飛行高度不同,設(shè)定不同的飛行參數(shù)以銜接這些掃描數(shù)據(jù)尤為重要。

海坨山地區(qū)其中一次區(qū)域掃描的具體飛行參數(shù)設(shè)置如圖5所示。由圖可見,設(shè)置好任務(wù)的起始點(diǎn)后,無人機(jī)會(huì)在起始點(diǎn)范圍內(nèi),形成回型曲線的飛行拍攝任務(wù),稱之為“犁地式”空中數(shù)據(jù)采集。本階段任務(wù)采集的數(shù)據(jù),包含了航空數(shù)據(jù)采集的大部分核心數(shù)據(jù),是三維重建環(huán)節(jié)數(shù)據(jù)的主要來源。實(shí)際采集,區(qū)域掃描一共完成了約2.5 km2的數(shù)據(jù)采集,部分重疊式的多次采集,可增加采集數(shù)據(jù)量,提高重建的精度[11]。

圖5 海坨山區(qū)域數(shù)據(jù)采集

(3) 縱向掃描任務(wù)?？v向掃描任務(wù)包含與區(qū)域掃描數(shù)據(jù)的銜接以及立面掃描,提供重建時(shí)側(cè)面物體的高精度數(shù)據(jù)來源。任務(wù)參數(shù)設(shè)置包括速度、區(qū)域掃描高度、鏡頭調(diào)整時(shí)飛行距離、立面掃描高度上限、下限、掃描線上拍攝間隔、掃描線間間隔、云臺(tái)俯仰角、飛機(jī)朝向和鏡頭fov。縱向掃描流程如圖6所示：

圖6 縱向掃描流程圖

海坨山實(shí)際飛行任務(wù)參數(shù)設(shè)置如下圖7所示。參數(shù)設(shè)置好后,無人機(jī)起飛至區(qū)域掃描時(shí)的高度h1；鏡頭垂直向下,至縱向掃描高度h2；鏡頭開始逐漸調(diào)整,飛行至高度h3；鏡頭調(diào)整至指定角度0,開始立面掃描直到高度為h4?？紤]到與地面單反照片的拼合,鏡頭在最后一條掃描線上分別以-25°、-50°、-75°各掃描1次,h4控制在安全高度以上2 m。

圖7 海坨山縱向測繪采集

(4) 環(huán)繞任務(wù)。環(huán)繞任務(wù)包含與區(qū)域掃描的鏈接以及熱點(diǎn)環(huán)繞。任務(wù)參數(shù)包括半徑、角速度、云臺(tái)俯仰角范圍、區(qū)域測量高度(區(qū)域測量高度是指與環(huán)繞任務(wù)空中垂直重疊的區(qū)域掃描任務(wù)的高度,用以銜接區(qū)域掃描任務(wù))、環(huán)繞高度范圍、環(huán)繞線間間隔[12-13]。海坨山數(shù)據(jù)采集過程中,一共設(shè)置了10余個(gè)重點(diǎn)位置的熱點(diǎn)環(huán)繞任務(wù),其中一個(gè)環(huán)繞任務(wù)參數(shù)設(shè)置如圖8所示。

圖8 海坨山熱點(diǎn)任務(wù)采集

2 地面數(shù)據(jù)采集技術(shù)

地面數(shù)據(jù)采集包括激光掃描采集高密度點(diǎn)云數(shù)據(jù)、影像采集高精度紋理數(shù)據(jù)兩方面。采集的地面數(shù)據(jù)需很好地與空中數(shù)據(jù)融合,以提高空中數(shù)據(jù)與地面數(shù)據(jù)的有效使用,是場景三維重建的重要數(shù)據(jù)來源。

在延慶海坨山地區(qū)的地面數(shù)據(jù)采集過程中,使用激光掃描儀采集了地面的點(diǎn)云數(shù)據(jù),使用單反相機(jī)采集了影像數(shù)據(jù),通過對(duì)采集數(shù)據(jù)的注冊(cè)配準(zhǔn)、數(shù)據(jù)融合、三維重建等步驟的處理,生成了延慶海陀山區(qū)域2.5 km范圍內(nèi)三維模型。此部分模型包括了山體、雪道、建筑等內(nèi)容,可用于虛擬現(xiàn)實(shí)的場景漫游。圖9為虛擬現(xiàn)實(shí)雪道圖。

圖9 虛擬現(xiàn)實(shí)雪道圖

3 結(jié)論

本文以航空數(shù)據(jù)采集技術(shù)為核心,結(jié)合地面數(shù)據(jù)采集,實(shí)現(xiàn)了適用于科普虛擬現(xiàn)實(shí)場景的數(shù)據(jù)采集,經(jīng)過多次實(shí)地場景的采集及重建測試,確定本文的采集技術(shù)和方法,對(duì)大型場景數(shù)據(jù)采集具有良好的適用性,采集的數(shù)據(jù)在三維重建中具有很高的利用率。文中例舉的延慶海坨山滑雪場地區(qū)數(shù)據(jù),已經(jīng)成功轉(zhuǎn)化為虛擬現(xiàn)實(shí)場景,并結(jié)合滑雪模擬器得到了科普應(yīng)用,展示效果和逼真度得到了體驗(yàn)者的廣大認(rèn)可。