利用傾斜攝影技術(shù)構(gòu)建虛擬現(xiàn)實(shí)VR實(shí)景的三維場(chǎng)景研究

章國雁

（安徽工商職業(yè)學(xué)院 信息工程學(xué)院，安徽 合肥 231131；合肥工業(yè)大學(xué) 計(jì)算機(jī)與信息學(xué)院，安徽 合肥 230009）

引 言

隨著虛擬現(xiàn)實(shí)技術(shù)的發(fā)展，虛擬現(xiàn)實(shí)在各行業(yè)中的應(yīng)用越來越廣泛，如在人工智能AI自動(dòng)駕駛的訓(xùn)練中，受限于目前AI自動(dòng)駕駛技術(shù)的不成熟和不可靠性，AI自動(dòng)駕駛車輛不能在真實(shí)的道路環(huán)境中進(jìn)行大量測(cè)試，也不能在山路、懸崖、沙漠、雪地等極端環(huán)境和大雨、爆雪、大風(fēng)、高溫、極寒等極端天氣進(jìn)行測(cè)試，部分國內(nèi)外相關(guān)公司利用虛擬現(xiàn)實(shí)技術(shù)構(gòu)建自動(dòng)駕駛AI虛擬仿真訓(xùn)練場(chǎng)，通過構(gòu)建仿真的實(shí)景三維場(chǎng)景，模擬現(xiàn)實(shí)世界中的各種環(huán)境和天氣條件，讓自動(dòng)駕駛AI在仿真環(huán)境中進(jìn)行大量訓(xùn)練，極大提高了安全性和可靠性。虛擬現(xiàn)實(shí)環(huán)境中場(chǎng)景的逼真程度，對(duì)身處其中的使用者能否有“身臨其境”的感受，起到了非常重要的作用。

虛擬現(xiàn)實(shí)環(huán)境中場(chǎng)景的逼真程度取決于三維場(chǎng)景的建模方式。傳統(tǒng)建模方式是前期通過高清數(shù)碼相機(jī)拍攝采集建筑物表面的圖像，導(dǎo)入平面處理軟件PhotoShop進(jìn)行圖像處理；根據(jù)所拍攝的照片使用3Ds Max或Maya等三維軟件進(jìn)行人工建模、調(diào)整材質(zhì)和貼圖。傳統(tǒng)的建模方法由于拍攝方式的局限性，一些建筑物的頂部和側(cè)面被遮擋，采集不到真實(shí)影像，只能靠人工根據(jù)周圍環(huán)境自行處理模型貼圖，造成場(chǎng)景整體的真實(shí)性與現(xiàn)實(shí)世界存在一定的偏差。這種建模方法需要大量人工進(jìn)行三維建模，存在項(xiàng)目周期長、制作成本高、與真實(shí)環(huán)境契合度低等缺點(diǎn)，并不適合大規(guī)模的三維建模場(chǎng)景。

基于無人機(jī)傾斜攝影的實(shí)景三維建模技術(shù)近年來得到了快速的發(fā)展，越來越多的學(xué)者對(duì)該技術(shù)應(yīng)用進(jìn)行了深入的研究。梁靜、黨晨光、陳紅順、鄒娟茹等分別討論了利用無人機(jī)傾斜攝影技術(shù)在構(gòu)建實(shí)景三維虛擬校園領(lǐng)域的應(yīng)用[1-4]；范攀峰、覃凱、陳嘉琦等對(duì)使用Smart3D或ContextCapture軟件進(jìn)行傾斜攝影三維建模的技術(shù)進(jìn)行了講解[5-7]；康傳利對(duì)傾斜攝影制作軟件Smart3D結(jié)合虛擬現(xiàn)實(shí)制作引擎Unity3D的制作流程進(jìn)行了研究[8]。

隨著高校信息化建設(shè)的持續(xù)推進(jìn)，虛擬數(shù)字化校園建設(shè)成為高校實(shí)現(xiàn)信息化建設(shè)的重要環(huán)節(jié)。虛擬校園漫游系統(tǒng)的出現(xiàn)，給廣大學(xué)子帶來了新的體驗(yàn)[9]。結(jié)合虛擬現(xiàn)實(shí)VR、增強(qiáng)現(xiàn)實(shí)AR、混合現(xiàn)實(shí)MR、影像現(xiàn)實(shí)CR等各種最新的XR技術(shù)，學(xué)生可以通過數(shù)字化校園系統(tǒng)查看學(xué)校簡介、漫游校園全景、體驗(yàn)校園文化、查詢校園信息，這不僅提升了學(xué)校的整體形象，也提高了學(xué)校的整體競(jìng)爭力水平。

以安徽省某高校為構(gòu)建對(duì)象，將無人機(jī)搭載傾斜攝影相機(jī)作為硬件平臺(tái)，實(shí)現(xiàn)學(xué)校及周邊測(cè)區(qū)范圍內(nèi)各類物體的圖像拍攝、POS信息采集，結(jié)合使用ContextCapture傾斜攝影建模軟件對(duì)采集到的數(shù)據(jù)進(jìn)行空中三角測(cè)量計(jì)算、紋理映射、模型編輯修復(fù)等操作，構(gòu)建虛擬現(xiàn)實(shí)VR環(huán)境中的實(shí)景三維校園模型，從而為制作出接近真實(shí)校園環(huán)境的虛擬數(shù)字化校園提供技術(shù)解決路徑。

一、關(guān)鍵技術(shù)和軟硬件設(shè)備

（一）虛擬現(xiàn)實(shí)技術(shù)

虛擬現(xiàn)實(shí)技術(shù)，又稱為“靈境技術(shù)”，使用了計(jì)算機(jī)圖形圖像、人機(jī)交互、模擬仿真、投影顯示等多種技術(shù)，創(chuàng)建一個(gè)虛擬仿真的世界，讓用戶身處其中，可以享有視覺、聽覺、觸覺、味覺、嗅覺等感官體驗(yàn)，有身臨其境般的感受，受到了廣大用戶的喜愛。

（二）傾斜攝影技術(shù)

傾斜攝影技術(shù)[10]是國際攝影測(cè)量領(lǐng)域近十幾年發(fā)展起來的一項(xiàng)高新技術(shù)。其使用的設(shè)備通常搭載在無人機(jī)平臺(tái)上，由1個(gè)垂直視角相機(jī)和4個(gè)傾斜視角相機(jī)組成，通過5個(gè)不同的角度拍攝物體，采集物體頂部、側(cè)面的高清紋理數(shù)據(jù)和POS信息等。

（三）無人機(jī)平臺(tái)和相機(jī)參數(shù)

無人機(jī)作為一個(gè)可搭載多種傳感器的飛行平臺(tái)，在測(cè)繪行業(yè)一般將其分為多旋翼、固定翼兩種[5]。本次使用的是大疆行業(yè)級(jí)M600多旋翼無人機(jī)，搭載宇航者AirCam5鏡頭傾斜攝影相機(jī)。

（四）ContextCapture軟件

ContextCapture軟件為目前傾斜攝影技術(shù)使用最為廣泛的專業(yè)軟件之一，前身為法國Acute3D公司研發(fā)的Smart3D軟件。該軟件可以自動(dòng)進(jìn)行實(shí)景三維模型的解算，提供輸出obj、osg（osgb）、dae等多種通用兼容格式，可以大量減少人工操作。

二、數(shù)據(jù)采集

在校園內(nèi)尋找便于識(shí)別的地點(diǎn)或者標(biāo)識(shí)，標(biāo)記為地面像控點(diǎn)，進(jìn)行像控點(diǎn)數(shù)據(jù)采集；使用Google Earth Pro軟件進(jìn)行測(cè)區(qū)劃定，然后用DJI GS Pro軟件進(jìn)行航線規(guī)劃，經(jīng)過多個(gè)航線飛行采集建筑物各個(gè)角度的圖像，其詳細(xì)制作流程如下。

（一）飛行測(cè)區(qū)劃定

使用Google Earth Pro軟件進(jìn)行飛行測(cè)區(qū)劃定。第一步，通過“新建多邊形”工具在學(xué)校所在地圖區(qū)域上劃定測(cè)量的區(qū)域范圍，得到“測(cè)區(qū)”區(qū)域。第二步，考慮到傾斜相機(jī)拍攝有一定的夾角和學(xué)校周圍建筑物的高度等因素，還需要在測(cè)量區(qū)域的基礎(chǔ)上做一定范圍的擴(kuò)展，通過“標(biāo)尺”工具在測(cè)區(qū)的上下左右四個(gè)方向往外劃出150米的擴(kuò)展線段作為飛行區(qū)域，得到“航飛”區(qū)域。第三步，規(guī)劃好“測(cè)區(qū)”和“航飛”兩個(gè)區(qū)域之后，導(dǎo)出包含區(qū)域數(shù)據(jù)的KML文件hangfei.kml。

（二）航線規(guī)劃

圖1 飛行航線設(shè)置

將KML文件導(dǎo)入大疆飛行控制軟件DJI GS Pro進(jìn)行航線規(guī)劃。第一步，在平板電腦中，使用DJI GS Pro軟件打開hangfei.kml文件，定位到學(xué)校所在的測(cè)區(qū)。第二步，進(jìn)行航飛任務(wù)設(shè)置，在“基礎(chǔ)設(shè)置”面板中設(shè)置如下：相機(jī)型號(hào)菜單選項(xiàng)設(shè)置為AirCam25MM，相機(jī)朝向?yàn)槠叫杏谥骱骄€；飛行高度為150米，此參數(shù)根據(jù)測(cè)區(qū)周圍的建筑物高度情況來設(shè)置，一般設(shè)置的值比周圍最高建筑物高50米以上，從而保證無人機(jī)在飛行時(shí)不會(huì)碰撞到建筑物，設(shè)置拍照間隔為3.0，相應(yīng)的飛行速度自動(dòng)調(diào)整為6.2米/秒。在“高級(jí)設(shè)置”面板中設(shè)置如下：主航線上圖形重復(fù)率為80%；主航線間圖像重復(fù)率為80%；主航線角度為21度，此參數(shù)根據(jù)測(cè)區(qū)建筑物的排列情況來設(shè)置，使無人機(jī)的飛行路徑與建筑物保持平行方向。第三步，保存任務(wù)后，點(diǎn)擊“開始飛行”即可開始傾斜攝影飛行作業(yè)。無人機(jī)根據(jù)規(guī)劃的飛行路徑進(jìn)行作業(yè)，搭載的傾斜攝影相機(jī)開始采集測(cè)區(qū)范圍內(nèi)所有物體影像數(shù)據(jù)，并存儲(chǔ)在各自的存儲(chǔ)卡中。

三、數(shù)據(jù)處理

無人機(jī)根據(jù)設(shè)定的航線進(jìn)行3批次的飛行作業(yè)后，所搭載的傾斜攝影相機(jī)將采集的POS數(shù)據(jù)和影像數(shù)據(jù)保存在存儲(chǔ)卡中。首先對(duì)POS數(shù)據(jù)進(jìn)行處理，將3個(gè)批次文件的POS數(shù)據(jù)整理到一個(gè)電子表格文件里，刪除無用的數(shù)據(jù)。然后對(duì)照POS數(shù)據(jù)整理5個(gè)相機(jī)所采集的影像數(shù)據(jù)，著手刪除無用影像、重命名正常的影像序列、把影像序列導(dǎo)入Context-Capture軟件進(jìn)行三維模型重構(gòu)等操作。最后將空中三角測(cè)量計(jì)算后的數(shù)據(jù)導(dǎo)入3Ds Max等軟件進(jìn)行模型修復(fù)等處理。詳細(xì)制作流程如以下步驟所示。

（一）采集數(shù)據(jù)的處理

1.POS數(shù)據(jù)的處理

從AirCam相機(jī)中取出存儲(chǔ)卡，讀取無人機(jī)飛行的POS數(shù)據(jù)。存儲(chǔ)卡中保存了3個(gè)批次飛行的記錄，分別存儲(chǔ)在3個(gè)TXT文件中，按以下步驟進(jìn)行處理。第一步，把3個(gè)批次的TXT文件按照飛行批次的時(shí)間順序，以Excel表格的形式打開，可以看到POS數(shù)據(jù)（包含序號(hào)、時(shí)間、經(jīng)度、緯度、高程等信息）全部存儲(chǔ)在一列的電子表格中，依次對(duì)3個(gè)表格文件進(jìn)行分列處理，將POS數(shù)據(jù)分列到5個(gè)列中。第二步，查看每一行的高程數(shù)據(jù)，刪除無人機(jī)停留在地面、上升和下降過程中記錄的數(shù)據(jù)行。第三步，建一個(gè)新的電子表格文件POS.XLS，對(duì)3個(gè)表格的數(shù)據(jù)進(jìn)行匯總，按照3個(gè)批次的時(shí)間順序，從上到下排序剪切匯總到新電子表格中，再刪除時(shí)間列的數(shù)據(jù)，保留序號(hào)、經(jīng)度、緯度、高程4個(gè)列的信息。第四步，重新修改序號(hào)的數(shù)值，以名稱格式為“S+鏡頭號(hào)+四位序號(hào)”來填充數(shù)據(jù)，填充完成后數(shù)據(jù)從第一行至最后一行為“S10001”至“S11078”。第一個(gè)鏡頭的POS信息處理完成，接下來處理剩余4個(gè)鏡頭POS數(shù)據(jù)，由于每個(gè)鏡頭的POS信息中經(jīng)度、維度、高程等數(shù)據(jù)都是一樣的，修改序號(hào)列中的鏡頭號(hào)為2至5即可。第五步，另保存為電子表格文件POS.CSV，此CSV文件在后續(xù)的ContextCapture軟件中導(dǎo)入使用。

2.5個(gè)鏡頭拍攝照片的處理

以處理第一個(gè)鏡頭照片為例：第一步，根據(jù)POS.XLS中的POS數(shù)據(jù)，刪除無人機(jī)停留在地面、上升和下降過程中拍攝的照片；第二步，使用重命名軟件對(duì)文件夾中的照片批量進(jìn)行重命名，名稱格式為“S+鏡頭號(hào)+四位序號(hào)”。

（二）三維模型重構(gòu)

打開ContextCapture軟件主界面，新建工程文件“School Project”。第一步導(dǎo)入5個(gè)鏡頭拍攝的照片，在“影像”面板點(diǎn)擊“添加整個(gè)目錄”子菜單，在彈出的新窗口中選擇存放照片的根目錄，進(jìn)行導(dǎo)入；第二步導(dǎo)入5個(gè)鏡頭的光學(xué)參數(shù)，在數(shù)據(jù)表格中的“焦距”列點(diǎn)擊鼠標(biāo)右鍵“導(dǎo)入光學(xué)屬性”菜單，依次導(dǎo)入由廠家提供的鏡頭光學(xué)參數(shù)信息，如圖2所示；第三步導(dǎo)入POS信息，點(diǎn)擊“導(dǎo)入位置”子菜單，在彈出的新窗口中選擇POS.CSV文件，在下一步菜單中選擇“逗號(hào)”為分隔符，“WGS84”為空間參考系統(tǒng)，字段選擇中列1為“影像參考”、列2為“Longitude”（經(jīng)度）、列3為“Latitude”（緯度）、列4為“Height”（高程）；第四步提交空中三角測(cè)量，在“概要”面板點(diǎn)擊“提交空中三角測(cè)量”子菜單進(jìn)行提交；第五步打開ContextCapture Center Engine渲染引擎，開始空中三角測(cè)量計(jì)算。

圖2 影像信息

（三）模型修復(fù)操作

受當(dāng)前傾斜攝影技術(shù)的限制，大面積水面地形由于缺少有效的參照物，在空中三角測(cè)量解算后，該區(qū)域會(huì)出現(xiàn)大面積的空洞現(xiàn)象，因此需要對(duì)模型進(jìn)行修復(fù)操作，將解算后的數(shù)據(jù)從ContextCapture軟件導(dǎo)入到3Ds Max軟件進(jìn)行處理，對(duì)學(xué)校湖面出現(xiàn)空洞的區(qū)域進(jìn)行添加面等操作，對(duì)其他解算有問題的模型細(xì)節(jié)進(jìn)行修改、優(yōu)化等處理。模型經(jīng)過修復(fù)后，顯示的實(shí)景三維數(shù)字校園如圖3所示。

圖3 實(shí)景三維校園模型

四、實(shí)時(shí)三維數(shù)字校園數(shù)據(jù)發(fā)布和應(yīng)用

構(gòu)建完成的實(shí)景三維校園可以在網(wǎng)絡(luò)上進(jìn)行發(fā)布，提供校園的瀏覽、交互等各種功能。通過使用三維模型數(shù)據(jù)發(fā)布軟件Wish3D，將ContextCapture導(dǎo)出的OBJ或者OSGB等格式的文件進(jìn)行壓縮處理后發(fā)布到網(wǎng)絡(luò)平臺(tái)，可以使用臺(tái)式機(jī)或者手機(jī)、平板等移動(dòng)端進(jìn)行瀏覽。該軟件還支持對(duì)實(shí)時(shí)場(chǎng)景中的物體進(jìn)行標(biāo)注，自行設(shè)計(jì)游覽路線等功能，具有良好的體驗(yàn)效果。

結(jié) 語

利用傾斜攝影技術(shù)在ContextCapture軟件中進(jìn)行實(shí)景三維場(chǎng)景的創(chuàng)建，對(duì)提升虛擬現(xiàn)實(shí)環(huán)境的逼真程度起到了關(guān)鍵作用，相信隨著傾斜攝影技術(shù)的發(fā)展，將在虛擬現(xiàn)實(shí)、人工智能、三維地圖、智慧城市等更多的新領(lǐng)域得到更好應(yīng)用。