面向光場(chǎng)顯示的虛擬視點(diǎn)生成技術(shù)進(jìn)展

趙健， 戴子堯， 丁義權(quán)， 夏軍

（1.南京工程學(xué)院 計(jì)算機(jī)工程學(xué)院， 江蘇 南京 211167；2.東南大學(xué) 信息顯示與可視化國(guó)際聯(lián)合實(shí)驗(yàn)室， 電子科學(xué)與工程學(xué)院， 江蘇 南京 210096）

1 引言

近年來(lái)，隨著新型顯示技術(shù)的發(fā)展，三維顯示技術(shù)開(kāi)始走進(jìn)普通大眾的視野，已經(jīng)廣泛應(yīng)用于醫(yī)療、軍事、教育、廣告、游戲等領(lǐng)域［1-4］。例如，在醫(yī)療立體顯示領(lǐng)域，醫(yī)療專(zhuān)業(yè)人員可以依靠三維顯示器輕松完成內(nèi)科手術(shù)［5］；在汽車(chē)導(dǎo)航領(lǐng)域［6］，自由立體顯示系統(tǒng)可以為駕駛員提供基于現(xiàn)實(shí)場(chǎng)景的沉浸式導(dǎo)航體驗(yàn)；在中小學(xué)教育方面［7］，學(xué)生可以直觀(guān)地體驗(yàn)3D模型的外觀(guān)和結(jié)構(gòu)。這些應(yīng)用涉及到的三維顯示技術(shù)包括近眼顯示［8］、全息顯示［9］、超顯微成像［10］、自由立體顯示［11］等。

人之所以能感知三維空間，是因?yàn)殡p目的輻輳與調(diào)節(jié)機(jī)制使得人眼采集到的空間信息具有一定的水平視差。大腦通過(guò)生理立體視覺(jué)和心理立體視覺(jué)共同決策，進(jìn)而獲取立體視覺(jué)感知。因此，現(xiàn)有的三維顯示技術(shù)普遍利用雙目視差原理進(jìn)行三維重建。然而，長(zhǎng)時(shí)間觀(guān)看會(huì)出現(xiàn)眼干、眼澀、眩暈等問(wèn)題。這種問(wèn)題產(chǎn)生的根本原因在于人眼的輻輳調(diào)節(jié)機(jī)制被阻斷。傳統(tǒng)的近眼顯示技術(shù)或者裸眼立體顯示技術(shù)，由于其重建的虛擬場(chǎng)景一般處于一個(gè)固定深度，且該深度往往會(huì)區(qū)別于物理顯示器所在位置，會(huì)引起人眼的輻輳深度和調(diào)節(jié)深度不一致的問(wèn)題，進(jìn)而產(chǎn)生沖突。研究表明，基于多視點(diǎn)的光場(chǎng)顯示技術(shù)，通過(guò)向單目投射多角度信息，可以有效緩解輻輳調(diào)節(jié)沖突，提升視覺(jué)舒適度。

基于多視點(diǎn)的光場(chǎng)顯示技術(shù)通過(guò)特質(zhì)光學(xué)器件精確控制每個(gè)像素的光線(xiàn)傳播方向，雙目可以在特定位置接收預(yù)先設(shè)計(jì)好的視點(diǎn)信息。根據(jù)視點(diǎn)數(shù)量的多少，光場(chǎng)顯示技術(shù)可以分為雙視點(diǎn)顯示技術(shù)、多視點(diǎn)顯示技術(shù)和超多視點(diǎn)顯示技術(shù)。同時(shí)，為了滿(mǎn)足多視點(diǎn)光場(chǎng)顯示技術(shù)的發(fā)展，虛擬視點(diǎn)生成技術(shù)也是必不可少的。

從人眼立體視覺(jué)原理出發(fā)，本文對(duì)多種三維顯示技術(shù)典型案例進(jìn)行分類(lèi)總結(jié)，并對(duì)重要性能參數(shù)進(jìn)行對(duì)比分析，如視場(chǎng)角和視點(diǎn)數(shù)量。現(xiàn)有三維顯示技術(shù)朝著更多視點(diǎn)、更快渲染速度方向發(fā)展，因此，本文對(duì)虛擬視點(diǎn)生成算法進(jìn)行整理歸類(lèi)，并對(duì)虛擬視點(diǎn)圖像的生成質(zhì)量和渲染速度進(jìn)行比較。

2 光場(chǎng)顯示原理及顯示設(shè)備分類(lèi)

2.1 雙視點(diǎn)顯示技術(shù)

自然狀態(tài)時(shí)，雙眼利用雙目視差原理可以將空間一點(diǎn)在視網(wǎng)膜上清晰成像，并產(chǎn)生深度立體感知［12］。目前，雙視點(diǎn)顯示技術(shù)均是利用特殊光學(xué)器件向雙眼投射具有一定視差的雙視點(diǎn)內(nèi)容，典型方案包括抬頭顯示技術(shù)（HUD）［6］、3D眼鏡顯示技術(shù)［13］和基于眼跟蹤的裸眼3D顯示技術(shù)，如圖1所示。

由Sony推出的27 in（1 in=2.54 cm）4K裸眼3D顯示器［7］如圖2所示。屏幕集成眼球跟蹤功能，可以快速跟蹤用戶(hù)眼球移動(dòng)，在各個(gè)角度都能帶來(lái)舒適自然的3D立體畫(huà)面，已廣泛應(yīng)用于教育［14］、設(shè)計(jì)、醫(yī)療［15］等領(lǐng)域。

圖2 基于人眼跟蹤的裸眼3D顯示器Fig.2 Naked-eye 3D display based on eye tracking

2.2 多視點(diǎn)顯示技術(shù)

正常情況下，人眼的輻輳匯聚深度和調(diào)節(jié)深度是一致的，如圖3（a）所示。當(dāng)人眼聚焦在非明視距離內(nèi)的近眼顯示器而輻輳距離仍為真實(shí)世界的某點(diǎn)時(shí)，就會(huì)產(chǎn)生輻輳調(diào)節(jié)深度不一致的問(wèn)題，即輻輳調(diào)節(jié)沖突（VAC）［16］。這個(gè)問(wèn)題是造成視疲勞的主要因素之一，如圖3（b）所示。同理，在裸眼3D顯示中，也會(huì)存在這個(gè)問(wèn)題，如圖3（c）所示。

圖3 人眼輻輳調(diào)節(jié)原理圖。（a）正常狀態(tài)；（b）近眼顯示；（c）裸眼3D顯示。Fig.3 Schematic diagram of vergence-accommodation.（a） Natural state；（b） Near-eye display；（c） Naked eye 3D display.

在保證足夠高空間分辨率的基礎(chǔ)上，盡可能地提高角度分辨率，被認(rèn)為是解決或緩解VAC的有效途徑之一［17］。以近眼顯示為例，放置在非明視范圍的近眼顯示器通過(guò)特殊光學(xué)器件向視網(wǎng)膜投影，進(jìn)而在大腦中被動(dòng)產(chǎn)生一個(gè)位于正前方的虛擬像，如圖4所示?？臻g分辨率取決于虛擬顯示器能夠提供的最小虛擬像素尺寸，而角度分辨率取決于相鄰抽樣光線(xiàn)的最小角間距。如果空間某深度虛擬點(diǎn)可以形成單目聚焦，那么定向射線(xiàn)束的角間距需要在約0.2°～0.4°［18］以允許每只眼睛有兩個(gè)以上的視圖樣本，才能誘發(fā)單目調(diào)節(jié)反應(yīng)。另外，出瞳范圍、視場(chǎng)角、眼盒大小也是評(píng)價(jià)近眼顯示性能的核心指標(biāo)。

圖4 近眼光場(chǎng)顯示系統(tǒng)原理圖Fig.4 Schematic diagram of near-eye light field display system

北京理工大學(xué)王涌天團(tuán)隊(duì)提出的基于光場(chǎng)和麥克斯韋的近眼顯示方案［19］可以提供接近準(zhǔn)確的深度線(xiàn)索。該方案對(duì)背景區(qū)域（31.5°）和視網(wǎng)膜凹窩區(qū)域（10.1°）分別進(jìn)行獨(dú)立渲染，在實(shí)現(xiàn)大視場(chǎng)角的同時(shí)，對(duì)凹窩區(qū)域進(jìn)行高角度分辨率光場(chǎng)成像，如圖5所示。

圖5 基于麥克斯韋和光場(chǎng)顯示的近眼顯示［19］Fig.5 Near-eye display combining Maxwellian-view and light-field methods［19］

Byoungho Lee［20］團(tuán)隊(duì)提出基于雙層液晶的近眼光場(chǎng)顯示模型［21］，將三維場(chǎng)景的光場(chǎng)分解成兩層，通過(guò)改變雙層液晶的透過(guò)率來(lái)實(shí)現(xiàn)光線(xiàn)精確調(diào)控，如圖6所示。該方案可以成功誘發(fā)單目調(diào)節(jié)效應(yīng)，且空間分辨率更高。但是，該方案面臨著景深受限和通道串?dāng)_嚴(yán)重的問(wèn)題。斯坦福大學(xué)的Gordon Wetzstein［22］團(tuán)隊(duì)提出的基于疊加圖方法的全息近眼顯示方案可以對(duì)密集視點(diǎn)圖像進(jìn)行壓縮計(jì)算，解決了傳統(tǒng)全息顯示在空間和角度分辨率之間需艱難權(quán)衡的問(wèn)題，如圖7所示。多視點(diǎn)視網(wǎng)膜投影法［23］和可變焦透鏡法［24］可以將多視點(diǎn)信息按照視點(diǎn)陣列的方式在視網(wǎng)膜上聚焦成像。但是，上述方案都面臨著重建光場(chǎng)景深范圍受限的難題。針對(duì)這個(gè)問(wèn)題，東南大學(xué)夏軍團(tuán)隊(duì)提出基于集成成像原理的復(fù)合光場(chǎng)景深拓展方案［25-26］，相比于傳統(tǒng)的單光場(chǎng)重建，有效拓展復(fù)合光場(chǎng)景深范圍150%以上，光路圖見(jiàn)圖8。

圖6 基于多層液晶的近眼顯示Fig.6 Near-eye display based on multilayer liquid crystal

圖7 基于圖像疊加的全息近眼顯示Fig.7 Holographic near-eye displays based on overlap-add stereograms

圖8 基于復(fù)合光的近眼顯示Fig.8 Near-eye display based on composite light field

多視點(diǎn)技術(shù)不僅應(yīng)用在近眼顯示領(lǐng)域，在裸眼3D領(lǐng)域也有廣泛應(yīng)用。集成成像技術(shù)可以提供高角度分辨率的多視點(diǎn)顯示技術(shù)，具有景深連續(xù)、視覺(jué)舒適度高等特點(diǎn)。但是分辨率損失嚴(yán)重是這項(xiàng)技術(shù)的主要挑戰(zhàn)之一。近些年，集成成像與散射膜結(jié)合的研究取得了很大進(jìn)展。如圖9所示，基于光學(xué)低通衍射膜的集成成像技術(shù)［27］可以極大地減少重建三維場(chǎng)景的顆粒感，視點(diǎn)數(shù)量達(dá)到31×31時(shí)，理論分辨率提升2.12倍。

圖9 基于投射鏡的集成成像技術(shù)。（a）系統(tǒng)結(jié)構(gòu)圖；（b）子圖排布。Fig.9 Integral imaging 3D display by using a transmissive mirror device. （a） System structure diagram； （b）Elemental image array.

2.3 超多視點(diǎn)光場(chǎng)顯示技術(shù)

由于視點(diǎn)數(shù)量有限，多視點(diǎn)方案僅能通過(guò)提供近似準(zhǔn)確的深度線(xiàn)索來(lái)緩解輻輳調(diào)節(jié)沖突，但不能完全消除?；诔嘁朁c(diǎn)的方案，不僅可以在超大視場(chǎng)角內(nèi)提供連續(xù)的視差成像，并且有望徹底解決視疲勞的問(wèn)題。

北京郵電大學(xué)的桑新柱團(tuán)隊(duì)［28］發(fā)明的基于新型柱透鏡陣列的光場(chǎng)顯示器由柱透鏡陣列、微透鏡陣列和全息功能屏組成。該顯示器具有水平70°、垂直30°的可視角，并且具有高達(dá)11 000個(gè)視點(diǎn)，是目前為止視點(diǎn)數(shù)量最多的裸眼3D顯示器，如圖10所示。2022年，Joonku Hahn團(tuán)隊(duì)［9］基于不對(duì)稱(chēng)擴(kuò)散全息光學(xué)元件的體三維顯示系統(tǒng)，通過(guò)時(shí)序的方法投射512個(gè)視點(diǎn)，最終實(shí)現(xiàn)了360°范圍內(nèi)連續(xù)視差成像，如圖11所示。但是該方案需要強(qiáng)大的投影系統(tǒng)，成本高昂和體積龐大是它面臨的最大問(wèn)題。北京航空航天大學(xué)的王瓊?cè)A團(tuán)隊(duì)提出的基于集成成像的桌面3D顯示系統(tǒng)通過(guò)觀(guān)看區(qū)疊加的形式，實(shí)現(xiàn)了在360°環(huán)形觀(guān)看區(qū)內(nèi)連續(xù)視差分布，如圖12所示。

圖10 基于新型柱透鏡陣列的光場(chǎng)顯示器Fig.10 Light field display based on a new lenticular lens array

圖11 體三維顯示技術(shù)Fig.11 Volumetric display

圖12 桌面集成成像顯示技術(shù)Fig.12 Tabletop integral imaging 3D display

表1列出了雙視點(diǎn)顯示、多視點(diǎn)顯示和超多視點(diǎn)顯示中幾種典型顯示方案，并對(duì)視場(chǎng)角和視點(diǎn)數(shù)做了對(duì)比。從表1可知，視場(chǎng)角更大、視點(diǎn)數(shù)量更多是目前新型立體顯示的主流發(fā)展方向。

表1 典型的光場(chǎng)顯示器參數(shù)比較Tab.1 Parameter comparison of typical light-field displays

3 虛擬視點(diǎn)生成方法

虛擬視點(diǎn)生成方法有多種，包括單信源虛擬視點(diǎn)生成和多信源虛擬視點(diǎn)生成。其中，單信源虛擬視點(diǎn)生成是基于2D圖像或者2D視頻完成3D虛擬視點(diǎn)生成；而多信源虛擬視點(diǎn)生成法是指基于多視點(diǎn)信息、深度信息或者點(diǎn)云等多輔助信息，實(shí)現(xiàn)任意視角虛擬視點(diǎn)生成。

3.1 單信源虛擬視點(diǎn)生成

3.1.1 卷積神經(jīng)網(wǎng)絡(luò)虛擬視點(diǎn)生成法

2016年，Jure Zbontar［30］團(tuán)隊(duì)首次將卷積神經(jīng)網(wǎng)絡(luò)（CNN）引入到立體顯示虛擬視點(diǎn)生成中并取得成功。CNN通過(guò)卷積層進(jìn)行特征提取，反卷積層進(jìn)行重構(gòu)，將代表不同視角下的空間特征重建為新的圖像，生成目標(biāo)場(chǎng)景的新視角圖。本部分僅討論基于單信源的CNN虛擬視點(diǎn)生成算法。

Richard Tucker團(tuán)隊(duì)［31］提出一種基于尺度不變的虛擬視點(diǎn)合成神經(jīng)網(wǎng)絡(luò)，實(shí)現(xiàn)了從單一2D圖片預(yù)測(cè)并渲染密集虛擬視點(diǎn)。該神經(jīng)網(wǎng)絡(luò)可以對(duì)在線(xiàn)視頻數(shù)據(jù)進(jìn)行訓(xùn)練，實(shí)現(xiàn)前景邊緣缺失信息有效填充，提升合成圖像質(zhì)量，如圖13所示。虛擬視點(diǎn)的峰值信噪比（PSNR）最高為19.3 dB，結(jié)構(gòu)相似性（SSIM）最高為0.696。Evain［32］提出的基于單張圖片的虛擬視角合成方法，采用了MobileNet編碼器，可以在少量參數(shù)下獲得較好的視差預(yù)測(cè)結(jié)果。在出現(xiàn)偽影的區(qū)域、被遮擋的區(qū)域和誤判的區(qū)域中，使用Refiner進(jìn)行進(jìn)一步的優(yōu)化。該方法能夠估計(jì)自身視差預(yù)測(cè)的置信度，并能夠識(shí)別其不能正確預(yù)測(cè)的結(jié)構(gòu)。該方法在KITTI數(shù)據(jù)集中優(yōu)于現(xiàn)有技術(shù)（Deep3D），并且適用于不同分辨率的圖像。合成虛擬視點(diǎn)的PSNR和SSIM最高可達(dá)19.24 dB和0.74。

圖13 基于單視點(diǎn)的虛擬視點(diǎn)合成技術(shù)Fig.13 Virtual viewpoint synthesis technology based on single viewpoint

為了進(jìn)一步提升虛擬視點(diǎn)圖像質(zhì)量，來(lái)自牛津大學(xué)的Olivia Wiles 提出SynSin模型［33］。這是一種端到端的神經(jīng)網(wǎng)絡(luò)模型，與現(xiàn)有方法不同的是，該模型在測(cè)試時(shí)無(wú)需任何基準(zhǔn)3D信息。該模型利用可微分的點(diǎn)云渲染器將潛在的3D點(diǎn)云特征轉(zhuǎn)換為目標(biāo)視角，并通過(guò)修飾網(wǎng)絡(luò)解碼出所需的3D細(xì)節(jié)，從而為缺失的區(qū)域進(jìn)行精確填充，生成虛擬視點(diǎn)。此外，還可以生成高分辨率虛擬視點(diǎn)，對(duì)輸入圖像的分辨率要求很低。該模型在Matterport、Replica和RealEstate10K數(shù)據(jù)集上均優(yōu)于基準(zhǔn)方法，PSNR和SSIM最高可達(dá)22.21 dB和0.74。

3.1.2 神經(jīng)輻射場(chǎng)虛擬視點(diǎn)生成法

神經(jīng)輻射場(chǎng)（Neural Radiance Fields，NeRF）［34-35］根據(jù)相機(jī)光線(xiàn)采樣提取出靜態(tài)場(chǎng)景圖片的5D函數(shù)，即空間位置（x，y，z）和視角方向（θ，?），將其轉(zhuǎn)化為對(duì)應(yīng)的輻射亮度和密度，通過(guò)圖像投影渲染技術(shù)，實(shí)現(xiàn)虛擬視點(diǎn)合成，原理圖如圖14所示。因其具有高質(zhì)量的3D場(chǎng)景渲染能力，已成為研究熱點(diǎn)。目前，該領(lǐng)域研究主要集中在提升虛擬視點(diǎn)圖像質(zhì)量和渲染速度兩個(gè)方面。

在提升圖像質(zhì)量方面，基于預(yù)訓(xùn)練的MVSNeRF［36］方法通過(guò)將預(yù)先提取輸入視圖的圖像特征映射到3D體繪制中，可以大幅提升圖像質(zhì)量。NeRF in the wild（NeRF-W）［34］基于稀疏視圖集合，將圖像序列中的NeRF參數(shù)進(jìn)行共享分析，進(jìn)而提升虛擬視點(diǎn)質(zhì)量。但這些方法都嚴(yán)重依賴(lài)大量外部數(shù)據(jù)，不適用于單信源虛擬視點(diǎn)生成的場(chǎng)景。另外，傳統(tǒng)的NeRF是像素級(jí)光線(xiàn)渲染，因此，對(duì)不同分辨率的圖像進(jìn)行訓(xùn)練或者測(cè)試時(shí)，就會(huì)出現(xiàn)過(guò)度模糊或者混疊現(xiàn)象。Mip-NeRF［37-38］模型通過(guò)抗鋸齒錐形截錐體（Anti-aliased conical frustums）渲染，成功減少了虛擬視點(diǎn)的鋸齒偽影，并顯著提高了NeRF表示精細(xì)細(xì)節(jié)的能力，如圖15（a）所示。相對(duì)于NeRF，錯(cuò)誤率最高降低了60%，同時(shí)速度提升了7%。雖然，這種方法可以很好地提升虛擬視點(diǎn)的圖像質(zhì)量，但是對(duì)于具有鏡面反射的場(chǎng)景渲染效果不佳。Ref-NeRF［39］方法通過(guò)在物體表面的法向量上引入正則化矩陣，以定向MLP作為圖像差值核心，周邊鏡面區(qū)域渲染共享該矩陣，如圖15（b）所示。該方法可以顯著提升虛擬視點(diǎn)圖像質(zhì)量，渲染結(jié)果的PSNR達(dá)到33.99 dB，相對(duì)于傳統(tǒng)方法至少提升了6 dB。

圖15 虛擬視點(diǎn)圖像質(zhì)量提升算法Fig.15 Algorithm for enhancing virtual view image quality

上述方法雖然都顯著提升了虛擬視點(diǎn)的圖像質(zhì)量，但是在渲染過(guò)程中，NeRF需要查詢(xún)深度多層感知器（MLP）數(shù)百萬(wàn)次，導(dǎo)致圖像處理時(shí)間過(guò)長(zhǎng)。這是NeRF面臨的另外一個(gè)挑戰(zhàn)。Lingjie Liu［40］嘗試通過(guò)引入神經(jīng)稀疏體素場(chǎng)（NSVF）定義了一組以稀疏體素八叉樹(shù)組織的體素邊界隱式字段，以模擬每個(gè)元格中的局部屬性。相對(duì)于Mildenhall［35］方法，該方法的渲染速度提升了10倍以上。Tao Hu［41］設(shè)計(jì)了一種新穎的數(shù)據(jù)結(jié)構(gòu)，在測(cè)試過(guò)程中緩存整個(gè)場(chǎng)景以加快渲染速度。該方法減少了超過(guò)88%的訓(xùn)練時(shí)間，渲染速度達(dá)到200 FPS以上，同時(shí)生成了具有競(jìng)爭(zhēng)力的高質(zhì)量圖像。KiloNeRF［42］方法通過(guò)將復(fù)雜的空間場(chǎng)景分解為規(guī)則網(wǎng)格并為每個(gè)網(wǎng)格單元分配小容量網(wǎng)絡(luò)的方式，實(shí)現(xiàn)了NeRF實(shí)時(shí)渲染。該方法沿坐標(biāo)軸均勻分解場(chǎng)景，把場(chǎng)景最多分為4 096個(gè)小場(chǎng)景。同時(shí)對(duì)數(shù)千個(gè)獨(dú)立的MLP進(jìn)行并行處理，相對(duì)于傳統(tǒng)的NeRF，速度提升3個(gè)數(shù)量級(jí)。Instant NeRF［43］引入了一種新的編碼方法，該方法可以在不犧牲圖像質(zhì)量的情況下使用更小的神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，這種架構(gòu)可以很輕松地在全融合CUDA內(nèi)核上完成并行加速運(yùn)算，如圖16所示。在同等的渲染圖像質(zhì)量（PSNR）的情況下，渲染速度提升20～60倍，可以在數(shù)十毫秒內(nèi)完成1 920×1 080分辨率的圖像渲染。

圖16 Instant NeRF原理圖Fig.16 Schematic diagram of Instant NeRF

為了評(píng)估上述算法的性能，根據(jù)公開(kāi)的論文資料，基于相同數(shù)據(jù)集Synthetic-NeRF Database，對(duì)幾種典型NeRF模型的虛擬視點(diǎn)圖像質(zhì)量和合成速度做定量比較，結(jié)果見(jiàn)表2和表3。

表2 典型的NeRF模型性能比較Tab.2 Performance comparison of typical NeRF mode

表3 典型的NeRF模型源碼鏈接Tab.3 Source link of typical NeRF mode

3.2 多信源虛擬視點(diǎn)生成

相對(duì)于單信源虛擬視點(diǎn)生成，多信源虛擬視點(diǎn)生成需要依賴(lài)更多的目標(biāo)場(chǎng)景特征信息作為輔助。目前，多信源虛擬視點(diǎn)生成算法已較為成熟，并廣泛應(yīng)用于科研和商用領(lǐng)域［46］。對(duì)于采用相機(jī)陣列［47］和光場(chǎng)相機(jī)［48-49］等多視點(diǎn)直采方式，這里不做討論。幾種典型的生成算法如下。

基于深度信息的虛擬視點(diǎn)生成算法（Depthimage-based rendering，DIBR）［50-52］利用深度信息，將2D圖像的像素進(jìn)行三維空間拓展，并按照需要的角度進(jìn)行二維投影即可得到相對(duì)應(yīng)的虛擬視點(diǎn)。但遮擋區(qū)域的空洞填充是該方法所面臨的挑戰(zhàn)之一。東南大學(xué)的趙健團(tuán)隊(duì)提出基于傅里葉切片理論的圖像修復(fù)算法［53］，可以快速、自然地修復(fù)空洞區(qū)域，如圖17所示。但對(duì)于較大的空洞區(qū)域，一般需要參考其他視點(diǎn)內(nèi)容進(jìn)行填充［54-56］。

基于建模的虛擬視點(diǎn)生成算法（Model-based Rendering，MBR）［57-58］，根據(jù)自然場(chǎng)景中物體的構(gòu)造特征對(duì)目標(biāo)場(chǎng)景進(jìn)行幾何建模（圖18）。按照光場(chǎng)設(shè)備的光學(xué)參數(shù)，通過(guò)虛擬相機(jī)陣列對(duì)三維模型進(jìn)行視差圖像序列采集［57，59］。該方法可以獲得任意角度的高質(zhì)量虛擬視點(diǎn)，但是三維場(chǎng)景建模的難度高、周期長(zhǎng)，不能滿(mǎn)足光場(chǎng)顯示對(duì)復(fù)雜、多變場(chǎng)景的生成需求，但在游戲、教育等場(chǎng)景相對(duì)固定的應(yīng)用領(lǐng)域具有巨大潛力［60-61］。

圖18 MBR原理圖Fig.18 Schematic diagram of model-based rendering

基于稀疏視點(diǎn)的密集虛擬視點(diǎn)生成算法（Sparse viewpoint-based Rendering， SVBR）［62］利用已有的稀疏視點(diǎn)，通過(guò)幾何信息編碼獲得虛擬視點(diǎn)插值（圖19）。該方法可以獲得高質(zhì)量的合成視點(diǎn)［63-64］且理論視點(diǎn)密度無(wú)限大，但該方法存在計(jì)算資源消耗大、渲染速度慢、相機(jī)基線(xiàn)有限等問(wèn)題。來(lái)自北京郵電大學(xué)的Binbin Yan［65］團(tuán)隊(duì)提出基于cutoff-NeRF的虛擬視點(diǎn)合成算法，實(shí)現(xiàn)了8K分辨率的虛擬視點(diǎn)實(shí)時(shí)渲染。虛擬視點(diǎn)的PSNR約為29.75 dB，SSIM約為0.88，合成8K 3D圖像時(shí)間約為14.41 s。

圖19 SVBR原理圖Fig.19 Schematic diagram of sparse viewpoint-based rendering

4 結(jié)論

光場(chǎng)顯示技術(shù)具有沉浸感好、視覺(jué)舒適度高等特點(diǎn)，已成為新型顯示技術(shù)的研究熱點(diǎn)。目前，光場(chǎng)顯示技術(shù)向著視點(diǎn)數(shù)量越來(lái)越多、視場(chǎng)角越來(lái)越大、光場(chǎng)渲染速度越來(lái)越快的方向發(fā)展。但現(xiàn)有顯示技術(shù)仍不能完全消除輻輳調(diào)節(jié)沖突，更符合人眼立體視覺(jué)的光學(xué)設(shè)計(jì)和更加密集的虛擬視點(diǎn)被認(rèn)為是解決該問(wèn)題的關(guān)鍵。另外，相對(duì)于多信源虛擬視點(diǎn)生成技術(shù)，單一信源虛擬視點(diǎn)生成技術(shù)還不成熟，圖像質(zhì)量和渲染速度均有待提高。但是，單一信源虛擬視點(diǎn)生成技術(shù)具有廣泛的市場(chǎng)前景和發(fā)展?jié)摿Γ型麖氐捉鉀Q光場(chǎng)成像技術(shù)內(nèi)容缺少的難題。