一種基于全景視頻的6自由度野外虛擬環(huán)境快速構(gòu)建方法

陳天翔，陳 斌

一種基于全景視頻的6自由度野外虛擬環(huán)境快速構(gòu)建方法

陳天翔，陳 斌

(北京大學(xué)地球與空間科學(xué)學(xué)院，北京 100871)

野外環(huán)境的虛擬化是一個具有重要意義的研究領(lǐng)域，關(guān)于如何更高效、更便捷地構(gòu)建野外虛擬環(huán)境，以及如何在構(gòu)建的虛擬環(huán)境中獲得更高的交互自由度與更好的沉浸式體驗(yàn)，是值得思考的重要問題。因此，提出了一種基于全景視頻的6自由度野外虛擬環(huán)境快速構(gòu)建方法，通過對從中提取的全景影像進(jìn)行深度估計、攝影建模等處理，得到劃分為不同遠(yuǎn)近層次的重建場景；并根據(jù)用戶的漫游位置實(shí)現(xiàn)了近遠(yuǎn)景的實(shí)時動態(tài)匹配融合，最終獲得了支持一定范圍內(nèi)6自由度漫游的沉浸式野外虛擬環(huán)境；通過圖像質(zhì)量的客觀指標(biāo)進(jìn)行了量化分析驗(yàn)證，并實(shí)現(xiàn)了從構(gòu)建到使用完整流程的野外虛擬環(huán)境原型系統(tǒng)作為應(yīng)用。結(jié)果表明，該方法有著高效地使用方式與優(yōu)良的應(yīng)用效果，在虛擬化野外地質(zhì)實(shí)習(xí)教學(xué)等方面有著良好的前景。

虛擬地理環(huán)境；全景影像；全景視頻；野外環(huán)境；攝影建模；視野融合；6自由度漫游

近年來，隨著虛擬現(xiàn)實(shí)(virtual reality，VR)技術(shù)的發(fā)展，相應(yīng)的沉浸式人機(jī)交互技術(shù)在地理學(xué)領(lǐng)域的應(yīng)用也愈發(fā)廣泛[1-2]。虛擬地理環(huán)境(virtual geographical environment，VGE)被看作是繼地理信息系統(tǒng)之后的新一代地理學(xué)語言，是人類認(rèn)識自然地理環(huán)境、傳遞地理信息和人類社會交流的重要媒介[3-4]。

現(xiàn)有的通過全景影像實(shí)現(xiàn)虛擬環(huán)境的主流方法主要有兩類：其一是以球幕的形式直接展示全景影像，其二則是將場景內(nèi)容進(jìn)行三維建模，構(gòu)造真實(shí)立體的虛擬場景。直接通過全景影像呈現(xiàn)場景的方法已在一些野外虛擬實(shí)驗(yàn)平臺中得到應(yīng)用[5-6]。三維建模可以通過攝影建模的方式由圖像數(shù)據(jù)直接生成高質(zhì)量模型，近年來在虛擬場景構(gòu)建方向上也有相關(guān)應(yīng)用[7-9]。

1 待解決的問題

在第一人稱視角下，野外虛擬環(huán)境的不同層次景物對真實(shí)感、沉浸感等方面有著不同的要求：近景通常包含具有重要學(xué)術(shù)意義的內(nèi)容，需要更高的準(zhǔn)確性與立體感；遠(yuǎn)景則更注重展示完整視野的環(huán)境，營造足夠的沉浸感。為了實(shí)現(xiàn)兼具準(zhǔn)確性與沉浸感的野外虛擬環(huán)境，乃至進(jìn)一步實(shí)現(xiàn)在其中的6自由度漫游，需要一個方法對二者進(jìn)行取長補(bǔ)短，并結(jié)合2種展示方式的優(yōu)勢。

由于全景影像的拍攝不包含立體信息，在視點(diǎn)偏離球心后，視野會產(chǎn)生畸變，不支持6自由度漫游，在面向虛擬地質(zhì)考察等用途時呈現(xiàn)出劣勢。三維建?？梢愿鼫?zhǔn)確地展現(xiàn)野外環(huán)境中近景內(nèi)容，支持一定范圍的6自由度交互，然而面向野外環(huán)境在建模范圍、特征點(diǎn)選取等方面還存在一定的問題。

將全景影像與三維模型疊合展示的虛擬環(huán)境彌補(bǔ)了三維建模場景在遠(yuǎn)景處的缺失，但為了支持虛擬環(huán)境的6自由度漫游，仍需要對視點(diǎn)移動時遠(yuǎn)近遮擋關(guān)系的變化以及視野區(qū)域與三維模型部分邊緣的接合進(jìn)行處理。

為了解決上述現(xiàn)有方法中存在的缺陷，同時在兼顧虛擬場景生成方式的低成本化與便利化，本文擬通過如下的途徑實(shí)現(xiàn)優(yōu)化的野外虛擬場景的構(gòu)建：通過復(fù)用輸入全景視頻，同時作為攝影建模的數(shù)據(jù)源與虛擬場景內(nèi)全景影像部分的直接展示，減少數(shù)據(jù)采集的成本；通過神經(jīng)網(wǎng)絡(luò)對全景影像進(jìn)行深度估計以復(fù)原其表面立體信息，同時通過擬合對應(yīng)場景三維建模的立體結(jié)構(gòu)信息使二者的深度分布相匹配，實(shí)現(xiàn)場景整體接合的效果。此外，本文也將對攝影建模輸出模型的瑕疵部分進(jìn)行一定程度的修復(fù)，以得到更具準(zhǔn)確性與沉浸感的野外虛擬場景。

2 方 法

本文提出了一種基于全景視頻自動構(gòu)建包含三維建模與動態(tài)全景球幕的野外虛擬環(huán)境的方法。所使用的野外虛擬場景來自手持全景攝像機(jī)在野外實(shí)拍的一段路徑所得的全景視頻。整個構(gòu)建過程主要劃分為數(shù)據(jù)準(zhǔn)備與平臺呈現(xiàn)2個階段，分別負(fù)責(zé)完成攝影建模與深度估計等場景構(gòu)建工作，與用戶漫游時實(shí)時進(jìn)行動態(tài)匹配計算。

2.1 數(shù)據(jù)準(zhǔn)備階段

數(shù)據(jù)準(zhǔn)備階段將采集得到的全景視頻通過自動化的數(shù)據(jù)處理流程轉(zhuǎn)換為呈現(xiàn)沉浸式場景所需的必要中間數(shù)據(jù)；這一過程需要一定的計算資源與運(yùn)行時間，其主要流程如圖1所示。

圖1 野外虛擬場景構(gòu)建流程圖

2.1.1 視頻幀分段

對于一個長度為(單位：s)的全景視頻，本方法首先以固定幀率(單位：幀每秒)將其轉(zhuǎn)換為共含=幀全景圖像的序列={P:?[1,]}；同時，對序列進(jìn)行進(jìn)一步劃分得到分段集合，其中包括=[/n]個分段{S:?[1,]}，每個分段定義為

其中，n為各序列間隔幀數(shù)；n為序列間共用幀數(shù)。

此步驟的參數(shù)，n與n均可根據(jù)實(shí)際需求調(diào)整，更大的數(shù)量可以得到更精細(xì)的重建場景，但也需要更多地計算開銷。

2.1.2 三維建模與空間匹配

2.1.3 重建模型后處理

經(jīng)過攝影建模的近景三維模型?仍包含相當(dāng)?shù)娜哂嗖糠?，主要產(chǎn)生于對天空區(qū)域大量純色的錯誤匹配，也包含少量由此次生的模型碎片，如圖2(a)和(b)所示。對于每個原始重建模型?，將其模型頂點(diǎn)與邊視為圖=(,)，本文方法對其進(jìn)行如下后處理：

(1) 遍歷點(diǎn)集，選取紋理顏色包含于預(yù)定義HSL顏色區(qū)域?的頂點(diǎn)集合V，構(gòu)成子圖G；

(2) 對G進(jìn)行連通性測試，標(biāo)記其中所有頂點(diǎn)數(shù)大于閾值的連通分量對應(yīng)頂點(diǎn)，得到點(diǎn)集V；

(3) 在內(nèi)刪除V，剩余點(diǎn)集-V構(gòu)成圖?；

(4) 對?進(jìn)行連通性測試，保留其中最大的連通分量，對應(yīng)點(diǎn)集為V；

(5) 在?內(nèi)刪除所有不包含于V的頂點(diǎn)，及不全由V內(nèi)頂點(diǎn)構(gòu)成的邊與面，得到裁剪模型M。

經(jīng)試驗(yàn)，上述參數(shù)中，?中色相分量取[0.33,0.83]范圍，亮度取[0.3,0.9]，飽和度取[0.1,0.9]，當(dāng)=100時，可以取得對野外全景視頻的天空冗余色塊較好的冗余裁剪效果。該方法得到的裁剪模型M可有效去除模型內(nèi)的多余區(qū)塊，保留實(shí)際存在的近景內(nèi)容，如圖2(c)所示。

圖2 攝影建模方法得到的原始密集點(diǎn)云((a)重建模型；(b)經(jīng)過冗余裁剪后；(c)實(shí)際使用的場景)

2.1.4 全景影像深度估計

為了實(shí)現(xiàn)全景照片背景與虛擬場景中的重建模型前景的匹配，本研究使用到了MIANGOLEH等[12]提出的多分辨率自適應(yīng)深度估計神經(jīng)網(wǎng)絡(luò)對全景照片進(jìn)行處理：輸入全景照片，得到相同大小的單色全景深度圖(圖3)。

圖3 全景照片((a)相應(yīng)深度圖；(b)示例)

深度圖的格式為灰度位圖，保存估計結(jié)果的相對深度，其與場景各點(diǎn)實(shí)際深度(即各點(diǎn)距全景影像視點(diǎn)的距離)之間采用指數(shù)與對數(shù)函數(shù)進(jìn)行相互映射：對于每張全景圖?與相應(yīng)深度圖?，?中各像素取值x,h與?相應(yīng)點(diǎn)的絕對深度y,h映射關(guān)系為

每個深度估計場景有著不同的映射曲線，對應(yīng)不同的參數(shù)1與2；每張深度圖中黑色與白色分別代表最遠(yuǎn)與最近的距離，不同深度圖中其對應(yīng)絕對距離也有所不同。

另外，由于全景影像橫向?qū)?yīng)全景球連續(xù)的經(jīng)度，其圖像左右邊緣也相互匹配；為了消除深度估計結(jié)果左右邊緣的差異，對序列內(nèi)的每張全景圖P，本文獲得實(shí)際所需深度圖D(圖4)的流程為：

(1) 將P沿經(jīng)度方向滾動180° (等價于將圖像左1/2與右1/2交換位置拼合；以下以“滾動”指代)，得到?；

(2) 分別將P和?輸入神經(jīng)網(wǎng)絡(luò)，得到深度圖D,1和D,2；

(3) 生成與P等長寬的權(quán)重圖P，其橫向各點(diǎn)取值滿足從左、右邊緣至中線為由0到1的線性插值；

(4) 定義“權(quán)重相乘”操作：2個等長寬的位圖和運(yùn)算得新的等長寬位圖，其各像素取值為和相應(yīng)位置像素之積；將D,1與P相乘得加權(quán)深度圖,1；D,2與P相乘，再滾動后得,2；

(5) 生成最終深度圖D，其各像素取值為,1與,2對應(yīng)位置像素相加。

圖4 深度圖獲取步驟示意圖

2.1.5 射線采樣與立體表面構(gòu)建

考慮到三維場景存在整體空間變換的可能性，需從D給出的相對深度出發(fā)，構(gòu)建能與近景三維建模相匹配連接的全景影像立體表面，并通過對全景視頻與三維模型進(jìn)行成對的距離采樣，由回歸分析得到深度圖的具體映射參數(shù)，以保證全景影像重建立體表面與三維模型的深度分布相匹配。

采樣方法會首先生成一系列以用戶視點(diǎn)為起點(diǎn)的射線，用于在相應(yīng)方向上進(jìn)行采樣：取視錐垂直截面矩形，并將其橫豎均勻等分；以視點(diǎn)為起點(diǎn)，矩形各邊與等分線之間各相交格點(diǎn)為終點(diǎn)，分別連接即可得到采樣射線簇。

對于其中任意一條射線，其與M的交點(diǎn)與視點(diǎn)的距離記為y，與D對應(yīng)虛擬球幕交點(diǎn)上的像素采樣記為x，元組(x,y)即為對應(yīng)的一次采樣，即

對所有射線進(jìn)行采樣，得到表面距離分布{,}；將其代入式(1)進(jìn)行回歸分析，即可得到D的映射關(guān)系，還原其實(shí)際距離分布。

2.2 動態(tài)實(shí)時繪制階段

動態(tài)實(shí)時繪制階段通過實(shí)時獲取用戶在虛擬場景內(nèi)的漫游位置與視角，自動展示相應(yīng)的全景影像與重建模型數(shù)據(jù)，并實(shí)現(xiàn)了二者的動態(tài)實(shí)時匹配，最終呈現(xiàn)出沉浸的虛擬環(huán)境視野。

2.2.1 位置漫游與數(shù)據(jù)獲取

交互系統(tǒng)根據(jù)最鄰近的策略確定需要展示的數(shù)據(jù)：根據(jù)用戶視點(diǎn)位置，在所有區(qū)段中選擇使距離函數(shù)最小的區(qū)段S，展示其模型M；在所有全景球幕中選擇并展示使距離函數(shù)最小的球幕P。

2.2.2 全景球幕重映射

在得到實(shí)際深度分布后，再經(jīng)過一步重映射即可實(shí)現(xiàn)全景球幕的實(shí)時動態(tài)匹配。在視野空間內(nèi)，對于每個初始位移對應(yīng)單位向量與實(shí)際深度Y的像素點(diǎn)，其形變后的真實(shí)空間位移為

當(dāng)距離足夠遠(yuǎn)時，人眼立體視覺的感受趨近消失，當(dāng)距離過近時，將會與高精度的三維重建模型相交錯影響觀察，因此全景球幕在顯示時需要通過保序函數(shù)進(jìn)行壓縮，并將過遠(yuǎn)或過近的距離限制在一定的范圍內(nèi)(圖5)。

本文方法中使用了雙曲正切函數(shù)，即

其中，1(d+d)/2，2(d+d)/2，d與d分別為距離過近與過遠(yuǎn)時將趨近的距離數(shù)值；在實(shí)際應(yīng)用中，該距離取2 m或20 m時可以達(dá)到較優(yōu)的觀察體驗(yàn)；最終的像素實(shí)際顯示位置為

考慮到計算機(jī)性能限制與實(shí)時性的需求，該動態(tài)匹配算法將編寫為著色器，運(yùn)行于GPU中，對構(gòu)成全景球幕的網(wǎng)格進(jìn)行相應(yīng)的偏移形變；在網(wǎng)格密度充分時可近似等價于對像素進(jìn)行位移，且保證了計算的性能，如圖6所示，其中白色攝像機(jī)圖標(biāo)為虛擬化身位置，綠色線條為采樣射線，藍(lán)色為近景三維重建模型，黑色為形變后的全景影像球幕。

據(jù)此，全景影像的所有點(diǎn)均分布于保證立體視覺的范圍內(nèi)，對于位移新增的遮擋關(guān)系因距離壓縮函數(shù)保序而直接成立。另一方面，由于展示全景球幕使用的是無縫的網(wǎng)格模型，實(shí)際運(yùn)行時原不可見卻因位移產(chǎn)生的球幕斷裂會以面元的形式顯示為相鄰位置頂點(diǎn)的插值，保持了視野的完整。該方法有效解決了6自由度漫游時全景影像整體畸變的問題，且一定程度上修復(fù)了視野斷裂的問題。

圖6 動態(tài)匹配與深度壓縮后的場景示意圖

3 量化實(shí)驗(yàn)分析

為了驗(yàn)證本文方法生成的野外虛擬場景的準(zhǔn)確性，及確定緩沖區(qū)范圍參數(shù)d的取值，本文通過一系列實(shí)地拍攝的全景影像對該方法進(jìn)行了多方面的量化實(shí)驗(yàn)。

3.1 數(shù)據(jù)準(zhǔn)備

實(shí)驗(yàn)數(shù)據(jù)由Ricoh Theta V手持錄制，于北京大學(xué)鏡春園拍攝。

實(shí)驗(yàn)數(shù)據(jù)為沿路直行錄制所得；為獲得距重建場景不同方向與距離的偏移視點(diǎn)，參照數(shù)據(jù)為沿實(shí)驗(yàn)路徑前行并左右移動所得的折線形路徑。

虛擬場景使用實(shí)驗(yàn)數(shù)據(jù)錄制視頻重建而成，使用參數(shù)=10 fps，n=100，n=10。參照數(shù)據(jù)也以10 fps幀率截取幀，得到參照畫面序列；根據(jù)參照序列各幀與實(shí)驗(yàn)序列的相對位置，進(jìn)入虛擬場景，模擬拍攝相應(yīng)位置的虛擬環(huán)境全景影像。

3.2 評估全景圖像深度估計效果

為了驗(yàn)證本文所使用的深度估計神經(jīng)網(wǎng)絡(luò)用于全景影像上的效果，本文使用了SHARMA等[13]的工作進(jìn)行驗(yàn)證，基于實(shí)驗(yàn)數(shù)據(jù)生成低緯度區(qū)域較低分辨率的全景深度圖，與本文方法得到的深度圖經(jīng)緯度裁剪、分辨率縮放后的深度圖進(jìn)行回歸分析驗(yàn)證。

將整個數(shù)據(jù)集的所有回歸參數(shù)進(jìn)行匯總并顯示，2種方法得到的深度圖在數(shù)據(jù)分布模式上呈現(xiàn)很強(qiáng)的線性相關(guān)，各組回歸中斜率參數(shù)值不超過3.8×10-105，截距值不超過4.0×10-5；由于指數(shù)函數(shù)擬合等價于對數(shù)變換后的線性回歸，可以認(rèn)為其不影響深度估計與射線采樣使用的回歸模型；本文方法最終采用了分辨率更高的模型，見2.1.4節(jié)。

3.3 整體參數(shù)確定與效果評估

3.3.1 分析指標(biāo)

本文使用了均方誤差(mean square error，MSE)與平均結(jié)構(gòu)相似性(mean structural similarity，MSSIM)[14]作為衡量重建圖像偏差的指標(biāo)，分別從客觀絕對數(shù)值差異，與視覺結(jié)構(gòu)信息差異進(jìn)行評估；MSE數(shù)值越低、MSSIM數(shù)值越高代表復(fù)原效果越好。

3.3.2 有限漫游范圍的確定

將本文方法生成的野外虛擬環(huán)境中模擬拍攝的全景圖像與真實(shí)拍攝的驗(yàn)證數(shù)據(jù)集進(jìn)行兩兩匹配，得到的MSE與MSSIM關(guān)于相對偏移的分布，如圖7所示。

由圖7可以看到，隨著的增加，MSE整體呈上升趨勢，MSSIM則呈下降趨勢，體現(xiàn)出虛擬環(huán)境中圖像與真實(shí)結(jié)果的偏差逐漸增大；圖8展示了其中一個測試點(diǎn)的偏差現(xiàn)象。

圖7 MSE與MSSIM指標(biāo)((a)各數(shù)據(jù)點(diǎn)MSE指標(biāo)(縱軸)關(guān)于O (橫軸)分布散點(diǎn)圖與線性擬合；(b) MSSIM指標(biāo)(縱軸)關(guān)于O (橫軸)分布線性擬合與箱線圖)

圖8 測試點(diǎn)#25結(jié)果((a)圖中分別為源全景視頻對應(yīng)幀；(b)虛擬場景內(nèi)模擬拍攝結(jié)果；(c)實(shí)錄驗(yàn)證圖片；(d)模擬拍攝與驗(yàn)證圖片作差結(jié)果)

3.4 本方法對畫面提升的量化評估

為了分別驗(yàn)證本文方法中三維建模與全景球幕動態(tài)形變對于沉浸式6自由度漫游的貢獻(xiàn)，本文分別進(jìn)行了各部分功能對沉浸式6自由度漫游準(zhǔn)確性貢獻(xiàn)的量化評估。通過在上述模擬拍攝過程中分別屏蔽部分功能，得到不完全的顯示效果，并與完整運(yùn)行的方法就相應(yīng)的評估指標(biāo)進(jìn)行對比。實(shí)驗(yàn)結(jié)果如圖9所示。

由圖9可知，MSE值越低越好；MSSIM值越高越好。紅色線僅展示標(biāo)準(zhǔn)球體投影的全景影像，等價于由全景影像構(gòu)成、支持定點(diǎn)跳轉(zhuǎn)的野外虛擬場景；可以看到其在視點(diǎn)無偏移時最接近對照影像，而當(dāng)偏移增加后質(zhì)量迅速下降，對6自由度漫游支持不佳。綠色線在此基礎(chǔ)上增加了空間匹配的近景三維建模，其在視點(diǎn)偏移后一定程度保持畫面質(zhì)量。藍(lán)色線為本文方法，在綠色線基礎(chǔ)上增加了全景影像的立體表面重建與對三維建模的匹配。

經(jīng)視點(diǎn)偏移后，本文方法在MSE和MSSIM兩項指標(biāo)中表現(xiàn)均為最好，展現(xiàn)出了最強(qiáng)的抵抗6自由度漫游圖像質(zhì)量下降的效果，證明了本文方法在動態(tài)實(shí)時部分提升虛擬場景6自由度漫游效果的有效性。

4 原型構(gòu)建

基于上文方法及量化實(shí)驗(yàn)所確定的參數(shù)，本文開發(fā)了一套基于客戶端-服務(wù)端架構(gòu)，由全景視頻完整構(gòu)建野外虛擬環(huán)境，實(shí)現(xiàn)有限范圍的6自由度沉浸式漫游交互的原型系統(tǒng)。

4.1 軟件層面實(shí)現(xiàn)

服務(wù)端通過Django 3.1.4版本運(yùn)行庫實(shí)現(xiàn)后端由命令行參數(shù)串聯(lián)工作流：使用Agisoft Metashape 1.5.0完成攝影建模，并使用Python語言完成了模型后處理與深度估計模型的調(diào)用。

客戶端使用Unity 2019.4版本進(jìn)行開發(fā)，通過Unity XR插件實(shí)現(xiàn)了跨平臺虛擬現(xiàn)實(shí)硬件的運(yùn)行，使用C#語言編寫最鄰近算法與射線采樣算法，CG (C for Graphics)著色器語言編寫全景球幕動態(tài)匹配功能。如圖10所示，圖中左上部為中遠(yuǎn)景全景影像，右下部為近景三維重建模型，動態(tài)匹配邊緣以紅色標(biāo)出。

圖10 客戶端效果展示

4.2 應(yīng)用效果

將服務(wù)端部署后，訪問其后臺界面，上傳拍攝的全景視頻，即可啟動自動化構(gòu)建，得到相應(yīng)的野外虛擬場景，隨后公開對應(yīng)IP即可提供該場景的漫游交互。

客戶端通過訪問對應(yīng)服務(wù)端IP，提供相應(yīng)野外虛擬場景的名稱，接入對應(yīng)的虛擬地理環(huán)境之中；在相應(yīng)野外虛擬場景內(nèi)，用戶可以在全景視頻錄制路徑的緩沖區(qū)范圍內(nèi)6自由度漫游交互。

4.3 本文與相近工作的對比

通過本文方法實(shí)現(xiàn)的原型系統(tǒng)，同時結(jié)合了全景影像虛擬場景視野完整沉浸，以及三維建模虛擬場景包含立體表面、支持6自由度漫游與協(xié)同交互的優(yōu)點(diǎn)；并且由于通過手持拍攝全景視頻進(jìn)行數(shù)據(jù)采集與自動構(gòu)建，兼具了便利性。表1列出了與近年來相關(guān)工作進(jìn)行簡要對比的結(jié)果。

表1 近期相關(guān)工作對比

5 結(jié)束語

本文提出的基于全景視頻自動構(gòu)建野外虛擬場景的方法，相對常見的基于全景影像或三維建模的野外虛擬場景，有著各方面綜合性的優(yōu)勢：在構(gòu)建方式上，可以由單一全景視頻方便、快捷而自動化地得到支持6自由度漫游的野外虛擬場景；在交互體驗(yàn)上，支持有限范圍內(nèi)高質(zhì)量的6自由度漫游交互，兼具準(zhǔn)確性與沉浸感；在設(shè)計架構(gòu)上，實(shí)現(xiàn)了遠(yuǎn)程訪問與多人協(xié)同交互的原型系統(tǒng)。本文提出的方法與系統(tǒng)在地學(xué)虛擬實(shí)驗(yàn)、虛擬仿真教學(xué)等多人沉浸式虛擬地理環(huán)境應(yīng)用場合下有著良好的適用范圍與應(yīng)用前景。

為進(jìn)一步提升該方法與系統(tǒng)的實(shí)用性，未來可以在計算速度、網(wǎng)絡(luò)傳輸協(xié)議等方面進(jìn)行進(jìn)一步地研究與提升。

[1] JONG M S, TSAI C, XIE H R, et al. Integrating interactive learner-immersed video-based virtual reality into learning and teaching of physical geography[J]. British Journal of Educational Technology, 2020, 51(6): 2064-2079.

[2] 羅珽, 冷偉. 沉浸式虛擬現(xiàn)實(shí)技術(shù)在地球科學(xué)中的應(yīng)用[J]. 中國科學(xué)技術(shù)大學(xué)學(xué)報, 2021, 51(6): 431-440.

LUO T, LENG W. The application of immersive virtual reality technology in geoscience[J]. Journal of University of Science and Technology of China, 2021, 51(6): 431-440 (in Chinese).

[3] LIN H, CHEN M, LU G N. Virtual geographic environment: a workspace for computer-aided geographic experiments[J]. Annals of the Association of American Geographers, 2013, 103(3): 465-482.

[4] 林琿, 胡明遠(yuǎn), 陳旻, 等. 從地理信息系統(tǒng)到虛擬地理環(huán)境的認(rèn)知轉(zhuǎn)變[J]. 地球信息科學(xué)學(xué)報, 2020, 22(4): 662-672.

LIN H, HU M Y, CHEN M, et al. Cognitive transformation from geographic information system to virtual geographic environments[J]. Journal of Geo-Information Science, 2020, 22(4): 662-672 (in Chinese).

[5] 鐘正, 葛婉茹. 虛擬全景技術(shù)在野外實(shí)踐教學(xué)平臺開發(fā)中的應(yīng)用[J]. 城市勘測, 2017(6): 19-22.

ZHONG Z, GE W R. Application of virtual panoramic technology in the field practice teaching platform[J]. Urban Geotechnical Investigation & Surveying, 2017(6): 19-22 (in Chinese).

[6] 陳旭, 陳斌. 基于全景影像的沉浸式多人協(xié)同交互技術(shù)研究[J]. 信息技術(shù), 2020, 44(11): 1-5, 13.

CHEN X, CHEN B. Method for immersive collaborative interaction technology based on panoramic image[J]. Information Technology, 2020, 44(11): 1-5, 13 (in Chinese).

[7] 桑學(xué)佳, 薛林福, 冉祥金, 等. 基于攝影建模的虛擬野外地質(zhì)教學(xué)系統(tǒng)研究[J]. 中國地質(zhì)教育, 2020, 29(2): 83-87.

SANG X J, XUE L F, RAN X J, et al. Research on virtual field geological teaching system based on photographic modeling[J]. Chinese Geological Education, 2020, 29(2): 83-87 (in Chinese).

[8] 康傳利, 程耀, 石靈璠. 無人機(jī)傾斜攝影建模技術(shù)在虛擬現(xiàn)實(shí)中的應(yīng)用[J]. 桂林理工大學(xué)學(xué)報, 2020, 40(1): 138-142.

KANG C L, CHENG Y, SHI L F. Application of UAV tilt photography modeling technology in virtual reality[J]. Journal of Guilin University of Technology, 2020, 40(1): 138-142 (in Chinese).

[9] 詹容若, 段亮, 羅曉容, 等. 無人機(jī)多點(diǎn)位航拍高分辨率三維數(shù)字露頭建模[J]. 西安科技大學(xué)學(xué)報, 2021, 41(6): 1050-1058.

ZHAN R R, DUAN L, LUO X R, et al. 3D digital outcrop modeling with high resolution using drone-based multi-point photography[J]. Journal of Xi’an University of Science and Technology, 2021, 41(6): 1050-1058 (in Chinese).

[10] AGARWAL S, SNAVELY N, SIMON I, et al. Building Rome in a day[C]//2009 IEEE 12th International Conference on Computer Vision. New York: IEEE Press, 2009: 72-79.

[11] FURUKAWA Y, CURLESS B, SEITZ S M, et al. Towards Internet-scale multi-view stereo[C]//2010 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2010: 1434-1441.

[12] MIANGOLEH S M H, DILLE S, MAI L, et al. Boosting monocular depth estimation models to high-resolution via content-adaptive multi-resolution merging[C]//2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2021: 9680-9689.

[13] SHARMA A, NETT R, VENTURA J. Unsupervised learning of depth and ego-motion from cylindrical panoramic video with applications for virtual reality[J]. International Journal of Semantic Computing, 2020, 14(3): 333-356.

[14] WANG Z, BOVIK A C, SHEIKH H R, et al. Image quality assessment: from error visibility to structural similarity[J]. IEEE Transactions on Image Processing, 2004, 13(4): 600-612.

A fast construction method of 6-DOF field virtual environment based on panoramic video image

CHEN Tian-xiang, CHEN Bin

(School of Earth and Space Sciences, Peking University, Beijing 100871, China)

The virtualization of the field environment is of great research significance. It is necessary to consider the following questions: how to construct field virtual environments more efficiently and conveniently, and how to achieve higher degree of interaction freedom and better immersive experience in the constructed virtual environment. We proposed a fast construction method of field virtual environment based on panoramic videos. Through the processing of depth estimation and photographic modeling of extracted panoramic images, the reconstructed scenes were divided into far and near scenes with various forms. Finally an immersive field virtual environment was produced, which supported 6-DOF roaming within a certain range. The practicability of this method was quantitatively analyzed and verified by the objective indicators of image quality, and a prototype system with the complete process from the construction to the use of the field virtual environment was developed as an application. The results show that the fast construction method of 6-DOF field virtual environment based on panoramic image could achieve high efficiency and excellent applicability, exhibiting promising prospects in fields such as virtual field geological practice and teaching.

virtual geographic environment; panoramic image; panoramic video; field environment; 3D reconstruction;visual field fusion; 6-DOF roaming

TP 391

10.11996/JG.j.2095-302X.2022050901

A

2095-302X(2022)05-0901-08

2022-03-24；

2022-06-13

24 March，2022；

13 June，2022

陳天翔(1997-)，男，碩士研究生。主要研究方向?yàn)樘摂M地理環(huán)境。E-mail：yukkuri@pku.edu.cn

CHEN Tian-xiang (1997-), master student. His main research interest covers virtual geographic environment. E-mail：yukkuri@pku.edu.cn

陳 斌(1973-)，男，教授，博士。主要研究方向?yàn)樘摂M地理環(huán)境。E-mail：gischen@pku.edu.cn

CHEN Bin (1973-), professor, Ph.D. His main research interest covers virtual geographic environment. E-mail：gischen@pku.edu.cn