用光場技術實現(xiàn)虛擬漫游展覽

摘 要 光場技術在三維重建上有著無可比擬的優(yōu)勢，通過采集光線的方向和強度，借助渲染計算就能在虛擬世界還原現(xiàn)實場景。這一技術的發(fā)展為博物館創(chuàng)建虛擬漫游系統(tǒng)提供了更加先進的助力。以上海博物館的“大英博物館百物展：濃縮的世界史”特展為例，試圖打破時間和空間的限制，通過采集展廳各部分的光場數(shù)據(jù)打造“永不落幕”的在線展覽，給觀眾以身臨其境的參觀體驗，并為建設數(shù)字博物館帶來新的創(chuàng)意。

關鍵詞 光場技術 虛擬漫游 在線展覽 三維重建

0 引言

近年來有關三維成像的硬件和軟件技術日益成熟，越來越多的博物館采用該技術來創(chuàng)建場館的三維模型，讓觀眾可以在線瀏覽各個展廳。目前，主流的做法是先由激光、結構光掃描得到三維坐標數(shù)據(jù)，采集尺寸信息;再拍攝高清圖像得到色彩紋理;最后將幾何模型與紋理圖像相關聯(lián)，結合成完整的三維模型。其中，貼圖的真實度、還原度是三維重建成功與否的關鍵指標。當下，貼圖工序仍由人工完成，尚未完全實現(xiàn)自動化，這種模式需要耗費大量的時間和精力。而光場技術則為還原三維場景開辟了一條新的思路，使虛擬展示的效果更加逼真。

1 光場技術概述

1.1 何為光場？

“光場”概念的出現(xiàn)最早可追溯到英國物理學家、化學家邁克爾·法拉第（Michael Faraday）。1846年，他在一場題為“光束振動思考”（Thoughts on Ray Vibrations）的演講上，首次提出了“光應當被詮釋為場”的說法。所謂光場，是指光在每一個方向通過每一個點的光量。光場信息就是表達光線的強度、位置和方向的集合。人眼在觀看實物時，感知的其實是物體發(fā)出的光場，即便沒有物體的相位信息，僅憑借光場強度就可以感受物體的三維狀態(tài)。

最初人們用七維函數(shù)代表光線在空間中的分布，即全光函數(shù)P（Θ，Φ，λ，t，Vx，Vy，Vz），包含了空間位置（x，y，z）、光線方向（Θ，Φ）、波長（λ）和時間（t）。它是在t時刻經(jīng)過三維空間中坐標為（x，y，z）的點，且傳播方向為（Θ，Φ）的一條波長為λ的光線。但在實際應用中，光的波長和時間兩個維度的信息通常由RGB色彩模式和數(shù)據(jù)幀來表示。因此若想記錄光場，只需關注光線的方向和位置信息即可。20世紀90年代，美國斯坦福大學的研究團隊提出了兼具合理性和實用性的光場雙平面模型。如圖1所示，通過記錄一條光線穿過兩個平行平面的坐標（即四維信息），來表示此光線的位置與方向。

1.2 光場采集

傳統(tǒng)的光學圖像采集是在成像面記錄從鏡頭面?zhèn)鱽淼墓饩€匯聚在一個位置上的強度，因此只能采集一個方向的圖像，且采集時成像焦點是固定的，無法反映出光的方向信息，而光場采集則能收集各個角度的光線強度，以確定光場的分布關系。

光場采集的實際應用中，可將光場雙平面模型中的uv平面視為鏡頭面，xy平面視為感光成像面。相機陣列是最直接的光場采集方式，陣列中不同相機的位置對應了不同方位的各個采樣點，可同時采集不同角度和空間分辨率的光場，但存在著體積大、成本高的缺點。

相比之下，微透鏡陣列由通光孔徑及浮雕深度為微米級的透鏡組成，不僅具有傳統(tǒng)透鏡的聚焦、成像等基本功能，而且具有單元尺寸小、集成度高的特點。通過在主透鏡和成像面之間架設微透鏡陣列，光線穿過每個微透鏡從而在成像面的感光元件上得到不同的方向和位置信息，再結合微透鏡坐標和鏡頭子孔徑坐標，便可獲取光場的分布情況。

1.3 渲染重建

如圖2所示，在光場視圖的重建過程中，首先采集圖像陣列，接著分析光場分布規(guī)律，再計算出光線在新的成像面上的交點位置和強度信息，最后重新建立成像平面。類似于傳統(tǒng)光學成像模式中的調(diào)焦，光場成像通過計算得出不同成像平面位置的圖像并對焦，做到了先拍攝、后聚焦。從某種意義上，對于光場成像來說處處都是焦點。此外，利用不同深度平面的圖像序列還可計算三維深度及合成全景深圖像等。

目前，圖像拼接技術已廣泛運用于場景還原中，通過光場渲染既能夠?qū)崿F(xiàn)三維自由轉(zhuǎn)動，也能夠根據(jù)觀眾的視角多次重新對焦，從而使觀眾獲得更加真實的瀏覽感知。

2 用光場技術創(chuàng)建虛擬漫游系統(tǒng)

2.1 創(chuàng)建流程

如圖3所示，開發(fā)虛擬漫游系統(tǒng)的第一步是對真實場景進行光場采集。在完成場景各個關鍵位置的全景色彩信息和深度信息采集后，這些復雜的數(shù)據(jù)尚無法直接用于重建。只有排除重復采集的冗余信息，去除采集過程中產(chǎn)生的噪點，才能大大優(yōu)化數(shù)據(jù)的有效性，便于素材的后期處理。

有了這些實際環(huán)境數(shù)據(jù)，就可以由軟件分析出其光場分布規(guī)律，并將這些規(guī)律應用于三維重建。借助渲染算法，結合采樣時的坐標系統(tǒng)及幾何參數(shù)，將獲取的亮度、紋理、陰影、輪廓等信息進行匹配，這樣每個角度的光影效果都可跟隨觀眾的視角而發(fā)生變化。

三維模型的建立并不意味著虛擬漫游系統(tǒng)的完成。一個完整的虛擬漫游系統(tǒng)，其功能除了讓觀眾在展館場景中全方位沉浸式漫游外，還要讓觀眾在無法接觸實物的情況下與文物進行互動，可運用文本、聲音、圖像等多媒體形式，開發(fā)一系列自主操控和交互功能。

2.2 應用案例

如表1所示，上海博物館將光場技術應用到文物三維重建和虛擬展廳建設中，致力于手機端、網(wǎng)頁端、HTML5端的跨平臺開發(fā)，讓無法親臨現(xiàn)場的觀眾在線參觀展覽。

下面以“大英博物館百物展：濃縮的世界史”特展為例，具體談談上海博物館如何用光場技術實現(xiàn)虛擬漫游展覽。如圖4所示，整個展覽共有十個部分：“序廳”“開端”“最初的城市”“權利與哲學”“儀式與信仰”“貿(mào)易與侵略”“創(chuàng)新與適應”“邂逅與聯(lián)結”“我們制造的世界”“尾廳”。為保證虛擬展廳各視角的完整性，我們精心選取了25個視點來采集光場信息，并妥善解決角度遮擋問題，盡量避免無效的重復采集。當然，僅僅還原展覽的結構布局是不夠的，還應當圍繞參觀動線，渲染現(xiàn)場氣氛，營造出一種“邊走邊看”的多感官體驗。當觀眾在虛擬展廳中漫游時，不只是隨意地行走在場景中，還能近距離欣賞感興趣的展品。比如放置在序廳的“埃及佘盆梅海特內(nèi)棺”，觀眾可通過鼠標或觸摸等方式，放大文物的細節(jié)，只見棺上的花紋圖案生動清晰、色彩過渡層次分明、紋理刮痕細致無比，真正做到了文物的數(shù)字化“復活”。

3 啟發(fā)與思考

光場技術不僅可以用來還原展覽的三維場景，同樣也適用于文物的數(shù)字化處理。目前，文物的三維重建大多通過激光掃描獲得三維幾何信息，再進行人工貼圖來建模。但在操作中，當遇到深色、暗色或高反光的物體時，便會對光學圖像的采集造成困難。如有的文物表面對激光反射率低，近距離反復掃描會導致點云數(shù)據(jù)的噪點增多，在后期處理的過程中不得不人工剔除噪點，從而造成一定的細節(jié)損失，只能靠添加紋理材質(zhì)來彌補。而運用光場技術則可達到事半功倍的效果。通過采集和再現(xiàn)光線的方向和強度，準確地反映出空間中各物體的位置關系，完美模擬人眼看到的景深信息，并利用數(shù)字調(diào)焦功能，有效解決由視覺誤差引起的眩暈問題。這些優(yōu)勢決定了光場技術是一種極具潛力的裸眼立體技術，且可為增強現(xiàn)實技術提供支持，讓虛擬對象完美地融入真實場景之中。

隨著信息技術的發(fā)展，在創(chuàng)建虛擬漫游系統(tǒng)的基礎上，未來可進一步拓展光場技術在文博行業(yè)的應用領域，立足文物保護、學術研究、宣傳教育，更好地還原文物及其背后的文化底蘊，打造一個開放、共享的數(shù)字博物館。

參考文獻

[1]張永春.虛擬現(xiàn)實技術在博物館的應用探討：兼談浙江省博物館虛擬展覽的創(chuàng)建過程[J].中國信息界，2010（7）：31-34.

[2]劉旭，李海峰.基于光場重構的空間三維顯示技術[J].光學學報，2011（9）：202-206.

[3]李建華.關于中國美術館虛擬展覽系統(tǒng)初步設計的構想[J].中國美術館，2014（6）：28-30.

[4]蘇忱，李海峰.應用于混合現(xiàn)實的光場三維顯示研究綜述[J].計算機輔助設計與圖形學學報，2016（6）：905-912.

[5]李克恭，吳文魁，劉清.基于網(wǎng)絡環(huán)境的虛擬展覽館建設方法探討[J].測繪與空間地理信息，2016（11）：125-128.

（2020-03-11收稿，2020-03-24修回）

作者簡介：高玥珺（1978—），女，從事博物館多媒體數(shù)字化采集與制作發(fā)布，E-mail： 2875858283@qq.com。

The implementation of virtual roaming exhibitions with light field technology// GAO Yuejun

Author's Address Shanghai Museum， E-mail： 2875858283@qq.com

Abstract The light field technology has the incomparable advantage in 3D reconstruction. By collecting the direction and intensity of light， the real scene can be rebuilt in digital world with the rendering algorithm. The development of this technology has provided a lot of help for the implementation of virtual roaming system in museums. Take the special exhibition "A History of the World in 100 Objects"in Shanghai Museum as an example， the everlasting online exhibition will be built by collecting the light field data from every part of the exhibition hall. It gives the visitors a total immersion visiting experience without the limitation of time or space. And it also provides new ideas for the digital museums.

Keywords light field technology， virtual roaming， online exhibitions， 3D reconstruction