基于RealityCapture 的智能仿真虛擬實驗室研究及開發(fā)

蘇龍生，鄧斯堯，周佳瑩，張皓庭，李晶瑩，溫斯煥，李曉東

（佛山科學技術學院電子信息工程學院，廣東 佛山 528225）

近年來，隨著虛擬現(xiàn)實技術的快速發(fā)展，智能仿真虛擬實驗室已經(jīng)在各個領域得到廣泛應用，不僅能夠取代傳統(tǒng)實驗室中一些危險、昂貴或無法重現(xiàn)的實驗，還能夠拓展實驗的規(guī)模和靈活性。RealityCapture 是一種用于日常物體和建筑物的三維掃描和重建技術，其能夠通過準確的激光掃描、攝影等手段生成和捕捉實際環(huán)境的三維數(shù)據(jù)，并將其轉(zhuǎn)化為高精度的虛擬模型。本文旨在通過數(shù)據(jù)采集、模型構建、虛擬現(xiàn)實技術的應用等方面研究和開發(fā)基于RealityCapture 的智能仿真虛擬實驗室，實現(xiàn)按需修改實驗設備和環(huán)境，在提供更加靈活的實驗環(huán)境的同時，能夠降低實驗的時間和成本，提高實驗效率，加速科學研究進程。解決了如虛擬VR 環(huán)境搭建時間長、模型仿真相似度不足以及三維虛擬交互平臺難以高效集成的問題。

1 智能仿真虛擬實驗室的實現(xiàn)基礎

1.1 虛擬現(xiàn)實交互技術

虛擬現(xiàn)實交互技術是一門新興發(fā)展的綜合性信息技術，融合了計算機圖形學、數(shù)字圖像處理、多媒體技術和三維模型WEB 展示等方面的技術。其通過計算機處理形成一個數(shù)字化的映射虛擬模型世界，用戶可在該虛擬世界里進行多維人機交互，帶給用戶“身臨其境”的現(xiàn)實立體感。

1.2 WebGL3D 渲染技術

WebGL3D 渲染技術是一種基于OpenGLES 標準的功能強大的3D 模型渲染技術，該技術可以通過著色器程序、緩沖、紋理和矩陣變換等步驟使用機器GPU 將3D 模型渲染成HTML 頁面。所以開發(fā)者可以借由該技術在WEB 網(wǎng)頁上創(chuàng)建和使用交互式3D 模型，搭建具有交互功能的虛擬三維空間。

1.3 RealityCapture 軟件

RealityCapture 是一款基于圖像和三維點云快速建模軟件，可以利用大量二維定點圖片計算生成仿真度極高的三維模型。該軟件的一個核心功能是能分析識別圖像特征點的深度，以下是一種測量單點深度的底層方法。

圖1 特征點深度原理圖

式中：z為特征點P離相機的距離（深度），f為相機焦距，b為視差，P（x，z）為特征點P坐標。所以對于求特征點深度

z需要明確左視角與右視角相同特征點的位置。而對于左視圖中的一個像素點，如何確定該點在右視圖中的位置，經(jīng)本文研究可通過特征點提取、特征點較比和特征點匹配等操作完成。

2 智能仿真虛擬實驗室的設計開發(fā)架構

本文計劃研究開發(fā)的智能仿真虛擬實驗室主要包含仿真實驗室數(shù)據(jù)處理系統(tǒng)、應用管理子系統(tǒng)和數(shù)據(jù)展示子系統(tǒng)。通過搭建虛擬三維實驗室環(huán)境，添加各類人機交互功能，同時根據(jù)不同實驗室不同實驗要求建模相應實驗設備模型和設置相應實驗設備參數(shù)，以便教師學生可以“身臨其境”地漫游實驗室與“深度沉浸式”地進行課程實驗。本文設計的智能仿真虛擬實驗室的設計開發(fā)架構如圖2 所示。

圖2 智能仿真虛擬實驗室的設計開發(fā)架構圖

3 智能仿真虛擬實驗室的實現(xiàn)

3.1 實驗室應用模型設計拍攝與注意事項

由于拍攝圖片數(shù)量較多，同時為了保證建模精度，拍攝實驗室應用模型時需要嚴格遵守拍攝規(guī)則。拍攝規(guī)則包括維持焦點拍攝、完整循環(huán)多角度拍攝物體、相鄰照片旋轉(zhuǎn)角度不超過30°、保持拍攝照片高度重疊和保持恒定照明條件等。

3.2 實驗室仿真模型建模

3.2.1 導入并對齊圖片

點擊AddFolder，打開目標文件夾，選擇預計劃輸入圖片進行導入，待全部導入后點擊AlignImages 進行對齊并生成點云（生成模型前的顯示方式），即可生成初始點云圖。

3.2.2 重建初始模型

在模塊區(qū)點擊RECONSTARUCTION 進入重建模塊，CalculateModel 選項卡有Previewquality、Normalquality和Highquality 3 個選項，我們以Normal quality 為例進行重建，重建結束后選擇面工具刪除冗余部分，即得到最初始的三維模型，初始模型圖如圖3 所示。

圖3 模型貼圖著色渲染圖

3.2.3 簡化模型

由于模型可能過大導致生成效率較低，所以必須進行簡化模型操作，在SimplifyTool 框選區(qū)點擊Targettrianglecount，即可簡化模型。

3.2.4 貼圖著色并渲染出圖

貼圖有頂點著色和紋理著色2 種選擇，通常選擇紋理著色（效果更佳）。如果需要修改貼圖大小，則需要先進行UV，然后再重新給上貼圖，最后在構建板塊選擇渲染出圖選項進行渲染。生成模型貼圖著色渲染圖如圖4 所示。

圖4 模型貼圖著色渲染圖

3.2.5 輸出模型

渲染出圖后，模型又變?yōu)辄c云，需要再點擊一下模型進行重新加載，最后，保持默認選項即可輸出模型。

3.3 集成仿真實驗室漫游環(huán)境

我們計劃用WEB 網(wǎng)頁作為智能仿真虛擬實驗室的體驗平臺，所以借助Pano2VR 集成輕便式的仿真實驗室漫游環(huán)境。因為Pano2VR 可以簡單導入多張實驗室室內(nèi)照片，然后拼接全景圖創(chuàng)建基礎三維環(huán)境，然后再可使用交互熱點將RealityCapture 建模的模型嵌入到虛擬實驗室中去，學校虛擬實驗室需求過多時也可以編輯皮膚添加導航菜單以供用戶快速跳轉(zhuǎn)不同實驗室。Pano2VR 也可將開發(fā)者設計的仿真實驗室漫游系統(tǒng)自動生成項目工程文件，極其便于開發(fā)者后續(xù)的服務器部署操作。

3.4 部署項目集成文件于服務器

本文使用遠程終端連接校園虛擬服務器進入校園網(wǎng)Internet Information Services（IIS）管理器，添加網(wǎng)站并配置相應環(huán)境和設置網(wǎng)站基本信息，然后設置主機名，包括確定網(wǎng)址類型、分配IP 地址和訪問端口等操作，最終啟動搭建網(wǎng)站并在用戶端登錄進行項目測試。具體服務器部署流程邏輯圖如圖5 所示。

圖5 服務器部署流程邏輯圖

3.5 實現(xiàn)WebVR 網(wǎng)頁的智能仿真虛擬實驗室

項目工程部署服務器并測試通過后，用戶登陸校園網(wǎng)，在WEB 網(wǎng)頁輸入開發(fā)者分配的IP 地址即可進入仿真虛擬實驗室進行三維漫游、人機交互和課程實驗等。當實驗需求增加時，用戶可通過三維虛擬空間漫游到其它實驗室開展活動，同時根據(jù)不同實驗要求使用不同人機交互功能，已設計智能仿真虛擬實驗室環(huán)境圖和部分設備交互圖如圖6、圖7 所示。

用戶可控制鼠標和鍵盤從而控制虛擬三維模型移動方向、視角和各類人機交互功能，智能仿真虛擬實驗室3D 模型基本操作功能見表1。

4 結束語

本研究提出的智能仿真虛擬實驗室搭建方案，采用RealityCapture、Blender 和pano2VR 等一系列先進軟件，經(jīng)過整合初始生成、修補完善和集成部署等關鍵步驟，成功構建了穩(wěn)定、高仿真度和交互功能強大的虛擬實驗環(huán)境。同時，本文實現(xiàn)的智能仿真虛擬實驗室具備靈活且高度的可定制性，在完成搭建后可以根據(jù)不同領域的實驗室需求動態(tài)添加其需要的實驗設備并靈活調(diào)整參數(shù)，使實驗室能夠適應不同的實驗、教學和研究需求，拓寬了其功能和應用范圍，有效應對了實驗資源有限和教學研究需求變化的挑戰(zhàn)。

圖6 智能仿真虛擬實驗室環(huán)境圖

圖7 仿真實驗室設備3D 交互圖