基于虛擬現(xiàn)實的數(shù)字三維全景超分辨重建系統(tǒng)設(shè)計

楊開富

摘? 要： 針對傳統(tǒng)的三維全景光學(xué)成像重建系統(tǒng)交互能力差的問題，設(shè)計基于虛擬現(xiàn)實的數(shù)字三維全景超分辨重建系統(tǒng)。在硬件設(shè)施上保留固有硬件，添加頭戴顯示器、操縱桿等虛擬設(shè)備。在該系統(tǒng)的軟件設(shè)計上，利用高斯描述模型定義尺度空間提取二維圖像特征，建立超分辨率網(wǎng)格配準(zhǔn)圖像。根據(jù)平移理念校正光心位置，拼接全景圖像獲取匹配關(guān)系。渲染并覆蓋虛擬模型紋路，建立虛擬的三維全景環(huán)境模型，至此該重建系統(tǒng)設(shè)計完畢。實驗結(jié)果表明，所設(shè)計系統(tǒng)的交互性更強，最終生成的數(shù)字三維全景效果更逼真。由此可見，所設(shè)計基于虛擬現(xiàn)實的重建系統(tǒng)更適合用于圖像的重建。

關(guān)鍵詞： 三維全景; 超分辨率重建; 系統(tǒng)設(shè)計; 虛擬現(xiàn)實; 圖像特征; 匹配關(guān)系

中圖分類號： TN911.73?34; TP391.4? ? ? ? ? ? ? 文獻標(biāo)識碼： A? ? ? ? ? ? ? ? ? ? 文章編號： 1004?373X（2020）10?0145?03

Design of digital 3D panoramic super?resolution reconstruction system

based on virtual reality

YANG Kaifu

（Chongqing Technology and Business University， Chongqing 400067， China）

Abstract： As the traditional 3D panoramic optical imaging reconstruction system has poor interactive ability， a virtual reality based digital 3D panoramic super?resolution reconstruction system is designed. In the hardware facilities， the inherent hardware is reserved， and the head?mounted display， joystick and other virtual devices are added. In the software design of the system， the scale space is defined by the Gaussian description model to extract the two?dimensional image features and establish the super?resolution grid registration image. The position of optical center is corrected on the basis of the translation idea， by which the panoramic image is spliced to obtain the matching relations. The virtual model grain is rendered and covered to establish the virtual 3D panoramic environment model， thus the reconstruction system design is completed. The experimental results show that the interaction of the designed system is stronger， and the effect of the final generated digital 3D panorama is more realistic. It can be seen that the designed reconstruction system based on virtual reality is more suitable for the image reconstruction.

Keywords： 3D panorama; super resolution reconstruction; system design; virtual reality; image features; matching relationship

0? 引? 言

虛擬現(xiàn)實是一種可以創(chuàng)建虛擬場景、體驗虛擬世界的計算機仿真技術(shù)。當(dāng)前的虛擬現(xiàn)實技術(shù)試圖將人與虛擬世界直接連接，令使用者獲得與真實世界相同的認知和感受[1]。而數(shù)字三維全景的超分辨率重建系統(tǒng)為了提升人機的交互程度，將虛擬現(xiàn)實融入到該系統(tǒng)中，改進了傳統(tǒng)光學(xué)成像系統(tǒng)生成的三維立體效果圖像，以超分辨率的方法提升圖像的分辨率，從而構(gòu)建更加真實的虛擬場景，提升人機交互程度[2]。

1? 基于虛擬現(xiàn)實的三維全景超分辨重建系統(tǒng)硬件設(shè)計

本文設(shè)計的重建系統(tǒng)硬件主要包括專用圖形處理計算機和輸入輸出設(shè)備[3]，硬件架構(gòu)如圖1所示。

輸入設(shè)備將用戶指令輸入計算機，并將模擬后的圖形影像反饋給用戶，而輸出設(shè)備則將輸入信息的反饋結(jié)果提供給使用者。為了保證最終的三維全景效果圖的分辨率，在基本的重建系統(tǒng)硬件基礎(chǔ)上，添加可移動的穿戴式頭戴顯示器、操縱桿等虛擬設(shè)備，來感知全方位的場景[4]。將上述系統(tǒng)硬件設(shè)備與重建系統(tǒng)的基本設(shè)備連接，通過增強虛擬影像的轉(zhuǎn)置能力，提升全景圖像的分辨率，改善人機交互效果[5]。

2? 基于虛擬現(xiàn)實的三維全景超分辨重建系統(tǒng)軟件設(shè)計

在系統(tǒng)硬件設(shè)計完畢的基礎(chǔ)上，設(shè)計基于虛擬現(xiàn)實技術(shù)的超分辨重建系統(tǒng)軟件。

2.1? 提取圖像二維特征配準(zhǔn)圖像

試運行連接完畢的系統(tǒng)硬件，在測試結(jié)果正常的情況下，設(shè)置掃描儀參數(shù)。依據(jù)高斯描述模型，定位掃描儀參數(shù)的掃描尺度空間[6]，具體計算結(jié)果為：

[Ga，b，λ=12πλexp-a2+b22λ2La，b，λ=Ga，b，λ?Ia，b] （1）

式中：[a]表示每一圖像數(shù)據(jù)點的橫坐標(biāo);[b]表示每一數(shù)據(jù)點的縱坐標(biāo);[λ]表示高斯函數(shù)的標(biāo)準(zhǔn)差值，根據(jù)此差值控制圖像的模糊程度。設(shè)置完畢二維圖像的掃描尺度空間后，根據(jù)該空間中的極值點，提取其中的關(guān)鍵特征點，根據(jù)關(guān)鍵點對圖像配準(zhǔn)，該過程如圖2所示[7]。

根據(jù)上述過程示意圖，先預(yù)處理原始圖像和待配準(zhǔn)圖像，利用SIFT算法對圖像初步配準(zhǔn)，初始估計低精度像素位置，將原始圖像坐標(biāo)映射到待配準(zhǔn)圖像坐標(biāo)系中。依據(jù)光線追跡數(shù)據(jù)置換物象空間，輸出兩組圖像的重疊區(qū)域。建立重疊區(qū)域子窗，使用標(biāo)準(zhǔn)化互相關(guān)法配準(zhǔn)圖像，建立仿射變換模型。將各區(qū)域子窗置換到原始圖像坐標(biāo)系中，建立超分辨率網(wǎng)格，以非均勻插值的方法重新排列子窗灰度值，實現(xiàn)對圖像的配準(zhǔn)[8]。

2.2? 拼接全景圖像獲取匹配關(guān)系

拼接配準(zhǔn)好的圖像，以此得到三維全景效果圖?？紤]物件的點位置與全景圖像點位置的投影關(guān)系，校正視點，投影平面圖像生成球面三維全景圖。由于多角度的拍攝會導(dǎo)致拍攝光心不在統(tǒng)一的位置上，導(dǎo)致全景圖像信息被壓縮后產(chǎn)生畸變。因此保證參數(shù)不變的前提下，利用平移理念校正圖像視點[9]。校正視點后，計算圖像平面向球面的映射。假設(shè)圖像上任意一點[c]的坐標(biāo)為[x，y，z]，映射點[c′]其坐標(biāo)為[x′，y′，z′] ，根據(jù)球面三維歐氏坐標(biāo)的轉(zhuǎn)換性，得到全景圖的拼接函數(shù)：

[x′=γsin β?yγcos β?xγy′=-γsin β?yγsin β?xγz′=γcos β?xγ] （2）

根據(jù)上述公式實現(xiàn)對全景圖像的超分辨拼接，得到圖像的點云數(shù)據(jù)[12]。

2.3? 實現(xiàn)虛擬三維全景效果圖的重建

根據(jù)得到的匹配關(guān)系，建立虛擬的三維全景環(huán)境框架模型，利用圖像仿真渲染技術(shù)填充框架組件。但渲染后的三維模型并不具備虛擬實物的特征點，因此設(shè)計模型表面的覆蓋紋理，如圖3所示。

由圖3可以看出，該過程一共分為4個階段，先填充并渲染搭建的虛擬物體框架，再利用算法繪制物體表面的覆蓋紋路，然后填充其他結(jié)構(gòu)單一的組件，最后根據(jù)框架結(jié)構(gòu)豐滿整體虛擬物體。為了保證該系統(tǒng)的交互能力，設(shè)置人機交互程序，此操作中的部分代碼如下：

{

Private enum WavePosition/（Left=1，Right=2，Neutral=3）/

Private enum WaveGestureState/（Left=1，Right=2，Neutral=3）

Private struct WaveGestureTracker/

Public int IterationCount;

Public WaveGestureState State/

Public Long Timestamp;

Public WavePosition StartPosition;

Public WavePosition CurrentPosition;

}

至此基于虛擬現(xiàn)實的數(shù)字三維全景超分辨重建系統(tǒng)設(shè)計完畢。

3? 系統(tǒng)運行測試

設(shè)計該重建系統(tǒng)的目的是以超分辨的技術(shù)手段提升三維全景圖像的分辨率，基于虛擬現(xiàn)實技術(shù)捕捉圖像之間的匹配關(guān)系，建立尺寸真實的環(huán)境模型，搭建沉浸式的虛擬現(xiàn)實場景。為了更加直觀地感受該重建系統(tǒng)的交互性，同樣運行傳統(tǒng)的三維全景光學(xué)成像重建系統(tǒng)，比較兩個系統(tǒng)的交互能力。

3.1? 實驗準(zhǔn)備

系統(tǒng)硬件方面選用2臺型號同為Oculus DK2的計算機，該計算機的操作系統(tǒng)為Windows XP，處理器為Intel i7?7700K，16 GB運行內(nèi)存，兼容HDMI 1.4b視頻輸出，同時存在雙接頭USB 3.1端口。軟件方面，使用環(huán)境為Unity3D 5.6（64 bit），Oculus DK2驅(qū)動。分別將所設(shè)計的系統(tǒng)與傳統(tǒng)重建系統(tǒng)裝入2臺計算機中，重建如圖4所示的環(huán)境實景圖。

3.2? 結(jié)果分析

用符號A表示所設(shè)計系統(tǒng)下的實驗結(jié)果，用符號B表示傳統(tǒng)重建系統(tǒng)的實驗結(jié)果。選擇2名實驗人員，分別利用兩種系統(tǒng)重建圖4中的實景圖像，得到的系統(tǒng)交互性實驗結(jié)果，如圖5所示。

根據(jù)圖5可知，實驗人員分別向兩個重建系統(tǒng)提交5次數(shù)據(jù)量大小不一的信息，所設(shè)計的系統(tǒng)處理每條信息內(nèi)容后逐一對問題反饋，交互性較強;根據(jù)傳統(tǒng)重建系統(tǒng)的交互程度曲線圖，可以看出在同等實驗條件下，該系統(tǒng)對于信息的接收能力均不同，反饋程度也與所提交的信息不吻合。

綜上可知，所設(shè)計的重建系統(tǒng)能夠準(zhǔn)確接收操作人員提交的數(shù)據(jù)信息，并根據(jù)提交內(nèi)容作出反饋;而傳統(tǒng)的重建系統(tǒng)在信息接收環(huán)節(jié)就已經(jīng)出現(xiàn)能力不足的現(xiàn)象，并且在反饋階段同樣不能作出有效回應(yīng)，由此可見該系統(tǒng)交互性較差。

4? 結(jié)? 語

此次針對虛擬現(xiàn)實而設(shè)計的重建系統(tǒng)，充分發(fā)揮了虛擬現(xiàn)實技術(shù)生成三維全景圖像時的交互能力。該系統(tǒng)能及時接收操作人員提交的數(shù)據(jù)信息，做出相應(yīng)調(diào)整后快速反饋，實現(xiàn)了設(shè)計該系統(tǒng)高效交互能力的這一目的，解決了傳統(tǒng)重建系統(tǒng)由于交互性不高導(dǎo)致圖像效果不佳的問題。

參考文獻

[1] 王剛.基于虛擬現(xiàn)實的室內(nèi)景觀重建技術(shù)[J].現(xiàn)代電子技術(shù)，2018，41（4）：147?149.

[2] 劉卜水.數(shù)字藝術(shù)人機交互控制系統(tǒng)設(shè)計研究[J].電視技術(shù)，2018，42（10）：144?148.

[3] 陳琳，李潔.基于虛擬現(xiàn)實技術(shù)的三維影像智能顯示系統(tǒng)嵌入式設(shè)計[J].現(xiàn)代電子技術(shù)，2017，40（8）：108?110.

[4] 吳才喚.真人圖書館：現(xiàn)實瓶頸與虛擬現(xiàn)實技術(shù)應(yīng)用研究[J].圖書館建設(shè)，2017（4）：328?332.

[5] 蔡艷，林迅.基于虛擬現(xiàn)實技術(shù)的激光多普勒圖像三維重建系統(tǒng)設(shè)計[J].激光雜志，2017（8）：241?244.

[6] 王卓.基于視覺傳達效果的三維圖像虛擬重建[J].現(xiàn)代電子技術(shù)，2019，42（1）：70?72.

[7] 劉冬，秦瑞，陳曦，等.3D車載環(huán)視全景生成方法[J].計算機科學(xué)，2017（4）：104?107.

[8] 韓媞.低對比度全景球面圖像目標(biāo)分割方法[J].科學(xué)技術(shù)與工程，2017（14）：239?243.

[9] 吳麗萍，胡郁.柱面全景圖圖像拼接中圖像平滑的虛擬現(xiàn)實技術(shù)[J].科學(xué)技術(shù)與工程，2017（31）：277?282.

[10] 劉斌，鹿瑋，王金波，等.一種旋轉(zhuǎn)掃描的可見光全景成像系統(tǒng)及實現(xiàn)[J].激光與紅外，2017（9）：85?88.

[11] 程德強，陳亮亮，蔡迎春，等.邊緣融合的多字典超分辨率圖像重建算法[J].煤炭學(xué)報，2018（7）：2084?2090.

[12] 胡長勝，詹曙，吳從中.基于深度特征學(xué)習(xí)的圖像超分辨率重建[J].自動化學(xué)報，2017，37（5）：113?116.