光場(chǎng)成像原理及應(yīng)用技術(shù)

張韶輝，胡 搖,，曹 睿，程雪岷，郝 群,

(1.北京理工大學(xué) 光電學(xué)院 精密光電測(cè)試儀器及技術(shù)北京市重點(diǎn)實(shí)驗(yàn)室, 北京 100081;2.清華大學(xué) 深圳研究生院, 廣東 深圳 518055)

光是一種于空間中分布和傳播的電磁場(chǎng)，具有波長(zhǎng)、振幅、相位、偏振位置和方向等多種屬性[1]。通過(guò)利用物體所發(fā)出或反射、散射、衍射的光進(jìn)行成像來(lái)獲取信息，是一種非常重要的傳感方式。

光包含多個(gè)維度的信息，傳統(tǒng)成像方式屬于降維采樣，一方面，由場(chǎng)景發(fā)射出的光場(chǎng)中包括三維空間位置及兩維空間傳播方向信息，通過(guò)積分的方式記錄在二維傳感器，如膠片、CCD或CMOS上，所成像類似于三維空間中一個(gè)焦點(diǎn)固定的二維切片圖，焦點(diǎn)部分清晰，離焦部分虛化，方向信息被壓縮。這種成像方式對(duì)目標(biāo)的信息還原度低，場(chǎng)景的三維立體分布信息無(wú)法獲?。涣硪环矫?，時(shí)間、偏振以及波長(zhǎng)等信息采用傳統(tǒng)成像方式同樣難以獲取或者在很大程度上被壓縮，傳統(tǒng)成像裝置不具備分辨光場(chǎng)的時(shí)間特征參數(shù)的能力，無(wú)法獲得光從場(chǎng)景中各個(gè)區(qū)域傳輸?shù)教綔y(cè)器上的時(shí)間差別。此外，傳統(tǒng)CCD/CMOS等傳感器無(wú)偏振及波長(zhǎng)選擇功能，雖然彩色傳感器能夠依靠濾光片獲取RGB三色數(shù)據(jù)，但無(wú)論波長(zhǎng)的探測(cè)精度還是探測(cè)范圍仍然有很大的限制。

傳統(tǒng)成像方式壓縮了諸多光場(chǎng)參數(shù)，包括傳輸方向、波長(zhǎng)、相位等在內(nèi)的光場(chǎng)信息，通常攜帶著諸多重要場(chǎng)景目標(biāo)信息，降維采樣的方式獲取信息的局限性越來(lái)越突出，因此無(wú)論從基礎(chǔ)理論、描述模型及方法還是光場(chǎng)信息獲取及高效利用等各個(gè)角度，對(duì)光場(chǎng)進(jìn)行研究都具有非常重要的意義。

與傳統(tǒng)方式相比，光場(chǎng)成像技術(shù)通過(guò)同時(shí)控制或記錄包含位置和傳播方向在內(nèi)的多維度光學(xué)參量，相較于傳統(tǒng)成像法能夠獲取更完備的信息[2]。光場(chǎng)的基本表述模型以及在此基礎(chǔ)上發(fā)展出的各種光場(chǎng)采集以及控制方法，可極大地改變成像、測(cè)量以及顯示的方式，在日常生活(光場(chǎng)相機(jī)獲取空間位置及傳播方向)、工業(yè)測(cè)量(結(jié)構(gòu)光投影調(diào)制光場(chǎng)位置信息、偏振相機(jī)獲取偏振狀態(tài))、自動(dòng)駕駛(激光雷達(dá)獲取光場(chǎng)時(shí)間信息)、軍事國(guó)防(高光譜成像獲取光場(chǎng)波長(zhǎng)信息)、生命科學(xué)研究(顯微測(cè)量獲取空間位置及傳播方向)、增強(qiáng)現(xiàn)實(shí)(Augmented reality利用光場(chǎng)信息進(jìn)行3D顯示)等方向上都有非常大的發(fā)展和應(yīng)用前景。本文將對(duì)包含位置和傳播方向的狹義光場(chǎng)信息表述、獲取及利用進(jìn)行綜述。

1 光場(chǎng)理論發(fā)展歷程

法拉第指出，光場(chǎng)指光在每個(gè)方向上通過(guò)每個(gè)點(diǎn)的通量。針對(duì)光的特性，逐漸形成和發(fā)展出了幾何光學(xué)和物理光學(xué)兩種描述光場(chǎng)的理論，幾何光學(xué)將光場(chǎng)理解為光線的集合，而每條光線攜帶空間坐標(biāo)以及傳播方向信息，兩者相互獨(dú)立，該模型在描述非相干光時(shí)較為方便，但無(wú)法描述干涉、衍射等現(xiàn)象；物理光學(xué)將光描述為波，能夠描述波長(zhǎng)、相位、偏振等特征，其在描述及預(yù)測(cè)相干光干涉、衍射等行為上更為方便和準(zhǔn)確，然而物理光學(xué)對(duì)于非相干光的描述較為復(fù)雜和繁瑣。

將光場(chǎng)看作一系列光線集合的幾何光學(xué)表述方法始于1936年，Gershun[3]在其著作《The Light Field》中提出光場(chǎng)的概念，指出光場(chǎng)是針對(duì)光通量空間分布的研究，認(rèn)為光輻射能在時(shí)間及空間中是連續(xù)的，并且此輻射能的通量在空間不同點(diǎn)之間連續(xù)變化，在此基礎(chǔ)上Gershun提出了光矢量的概念以及相應(yīng)的計(jì)算方法，通過(guò)向量幾何分析以及積分的方式能夠得到各個(gè)位置的光場(chǎng)信息分布，但是由于龐大的計(jì)算量限制，該方法及理論未能得到實(shí)際的應(yīng)用。

1991年Adelson,Edward H等[4]提出全光理論，該理論采用七維函數(shù) 來(lái)表征空間分布的幾何光線，其中表示光線中點(diǎn)的空間坐標(biāo)，表示光線的傳輸方向，表示光線的波長(zhǎng)和傳輸時(shí)間，由于光線的波長(zhǎng)在傳輸過(guò)程中不會(huì)改變，因此任意時(shí)刻的自由空間光線可由五維函數(shù)完整表示。

1996年Marc Levoy等[5]提出采用兩個(gè)相互平行的平面上的點(diǎn)坐標(biāo)來(lái)對(duì)光場(chǎng)進(jìn)行參數(shù)化特征描述的方法，將五維光場(chǎng)函數(shù)降至四維，在此基礎(chǔ)上提出了具體的光場(chǎng)信息傳播、成像等操作的計(jì)算公式，此理論以及計(jì)算機(jī)技術(shù)的飛速發(fā)展使得計(jì)算光場(chǎng)領(lǐng)域飛速發(fā)展。

此外，Wigner分布方程也可用來(lái)同時(shí)描述多維光場(chǎng)信息，其能夠同時(shí)體現(xiàn)光場(chǎng)的二維空間位置以及二維的空間頻率，然而光場(chǎng)的空間頻率與傳播方向只有在相干光的前提下才具有對(duì)應(yīng)的關(guān)系，因此Wigner分布方程通常只用于相干光場(chǎng)的描述。而基于幾何光學(xué)的四維光場(chǎng)函數(shù)數(shù)學(xué)描述方法適用于非相干成像過(guò)程中。Marc Levoy等[6]在相干光情況下分析了四維光場(chǎng)描述理論同Wigner分布函數(shù)的等效關(guān)系。

四維光場(chǎng)理論在計(jì)算成像領(lǐng)域取得了很好的成果，基于該理論發(fā)展出的一系列光場(chǎng)技術(shù)在很大程度上改變了傳統(tǒng)的光學(xué)成像和測(cè)量的理念和方式。

2 光場(chǎng)的幾何光學(xué)表述

根據(jù)幾何光學(xué)的光線假設(shè)，光場(chǎng)即為空間中所有光線輻射函數(shù)的集合，每條光線攜帶二維位置信息以及二維傳播方向信息(θ,φ)。Marc Levoy等[5]提出的光場(chǎng)渲染理論指出空間中攜帶位置和方向信息的光線都可以用兩個(gè)相互平行的平面來(lái)參數(shù)化表示。如圖1所示，一條光線穿過(guò)兩個(gè)平行平面上的兩點(diǎn)，坐標(biāo)分別為(u,v)和(s,t)，兩平行平面之間的間距為F，由兩個(gè)點(diǎn)的位置坐標(biāo)即可獲取光線的二維角度信息，因此可用四維光場(chǎng)函數(shù)LF(s,t,u,v)表示。根據(jù)四維光場(chǎng)函數(shù)，從u,v面射向s,t面上某一點(diǎn)的圖像輻射照度可以由光線輻射度的積分公式表示為：

(1)

圖1 光場(chǎng)的四維參數(shù)化表示

由透鏡面和傳感器面定義的光場(chǎng)函數(shù)LF(s,t,u,v)與由透鏡面和重聚焦面定義的光場(chǎng)函數(shù)LF′(s,t,u,v)之間的關(guān)系可通過(guò)幾何變換獲得，如圖2所示，四維光場(chǎng)函數(shù)在空間中的傳播相當(dāng)于一個(gè)切變變換[7-8]。

LF′(s,t,u,v)=L(α·F)(s,t,u,v)=

LF(u+(s-u)/α,v+(t-v)/α,u,v)=

LF(u(1-α)+s/α,v(1-α)+t/α,u,v)

(2)

圖2 四維光場(chǎng)函數(shù)在空間中的傳播變換示意圖

根據(jù)式(1)、式(2)，可得到四維光場(chǎng)函數(shù)在任何位置的二維切片表述，此方法簡(jiǎn)潔高效，可以方便地采用數(shù)字化的方式描述和處理光場(chǎng)信息，因此以光線為基本假設(shè)的四維光場(chǎng)表達(dá)方式在計(jì)算成像領(lǐng)域發(fā)展迅速、應(yīng)用廣泛。

3 光場(chǎng)的獲取方式

對(duì)光場(chǎng)理解和表述的差異決定了獲取光場(chǎng)函數(shù)形式的不同，但無(wú)論采用何種方式描述，能夠?qū)崿F(xiàn)對(duì)四個(gè)維度的光場(chǎng)參數(shù)信息進(jìn)行區(qū)分和測(cè)量的技術(shù)都屬于光場(chǎng)獲取技術(shù)的范疇。應(yīng)用較為廣泛的技術(shù)手段主要包括以下3種。

3.1 相機(jī)陣列或相機(jī)掃描

相機(jī)陣列獲取光場(chǎng)信息是指通過(guò)多個(gè)相機(jī)在空間中的特定分布來(lái)獲取不同視角下場(chǎng)景圖像的方式，各相機(jī)獲取的是四維光場(chǎng)在該相機(jī)相對(duì)于場(chǎng)景方向上的二維投影，將相機(jī)所得圖像進(jìn)行融合即可得到完整的四維光場(chǎng)數(shù)據(jù)。大尺度空間相機(jī)陣列主要用于合成孔徑成像實(shí)現(xiàn)“透視”監(jiān)測(cè)，或通過(guò)拼接實(shí)現(xiàn)大視角全景成像，緊密排布相機(jī)陣列主要用于獲取高性能動(dòng)態(tài)場(chǎng)景或者場(chǎng)景的三維分布和結(jié)構(gòu)等信息。在相機(jī)陣列實(shí)現(xiàn)光場(chǎng)測(cè)量方向比較成功的有：MIT的8×8相機(jī)陣列[9]、卡耐基-梅隆大學(xué)的“3D Room”等[10-11]，國(guó)內(nèi)清華大學(xué)的戴瓊海教授團(tuán)隊(duì)研制的基于相機(jī)陣列的光場(chǎng)顯微鏡[12]以及與南京大學(xué)的曹汛教授共同提出的3D+光場(chǎng)矩陣拍攝也取得了很好的成果[13-15]。

除多個(gè)相機(jī)陣列排布外，Marc Levoy[5]、Aaron Isaksen等[16]采用單相機(jī)掃描系統(tǒng)，通過(guò)相機(jī)在固定導(dǎo)軌上的移動(dòng)分時(shí)獲取不同空間視角下的場(chǎng)景圖像，最終進(jìn)行融合也可以實(shí)現(xiàn)同樣的功能，但由于需要掃描，此種方法適合靜態(tài)場(chǎng)景的光場(chǎng)測(cè)量，并且測(cè)量的精度受到相機(jī)移動(dòng)定位精度的影響。圖3和圖4分別為相機(jī)陣列及單相機(jī)路徑掃描方案實(shí)現(xiàn)光場(chǎng)信息獲取的案例。

圖3 相機(jī)陣列光場(chǎng)信息獲取案例

圖4 單相機(jī)掃描光場(chǎng)信息獲取案例

3.2 微透鏡陣列

相機(jī)陣列體積巨大，使得其應(yīng)用場(chǎng)合受到很大限制，將相機(jī)陣列中各個(gè)成像單元之間的基線縮小，可實(shí)現(xiàn)在單個(gè)相機(jī)框架下通過(guò)微透鏡陣列來(lái)實(shí)現(xiàn)光場(chǎng)信息的采集。圖5為基于微透鏡陣列獲取光場(chǎng)信息的原理示意圖，在普通成像系統(tǒng)主透鏡的一次像面處插入微透鏡陣列，每個(gè)微透鏡單元及其后對(duì)應(yīng)的傳感器區(qū)域記錄的光線對(duì)應(yīng)場(chǎng)景中相同部分在不同視角(對(duì)應(yīng)光線不同傳播方向)下所成像的集合，因此采用二維透鏡陣列能夠得到同時(shí)包含位置和傳播方向在內(nèi)的四維光場(chǎng)數(shù)據(jù)。

圖5 微透鏡陣列成像原理示意圖

1992年，Adelson等[17]首次提出基于微透鏡陣列的光場(chǎng)相機(jī)模型；Ren Ng等[8]優(yōu)化了該模型，通過(guò)優(yōu)化光路縮小體積實(shí)現(xiàn)了手持式光場(chǎng)相機(jī)產(chǎn)品，于2010年成立Lytro公司[18]，現(xiàn)已推出圖6(a)和圖6(b)所示的Lytro(Plenoptic1.0)與LytroIllum兩款消費(fèi)級(jí)相機(jī)，可實(shí)現(xiàn)“先拍照，后聚焦”的功能，在低光及影像高速移動(dòng)的情況下，仍能準(zhǔn)確對(duì)焦拍出清晰照片。

同Lytro所生產(chǎn)的消費(fèi)級(jí)產(chǎn)品相比，德國(guó)Raytrix公司自2008年創(chuàng)立起即從事工業(yè)級(jí)光場(chǎng)相機(jī)研究和推廣[19]。圖6(c)與圖6(d)所示為其推出的Raytrix R5、Raytrix R11系列光場(chǎng)相機(jī)，可用于立體顯微、自動(dòng)光學(xué)檢測(cè)以及三維形貌檢測(cè)等科研及工業(yè)領(lǐng)域，在人臉識(shí)別、交通監(jiān)控以及瞳孔掃描等公共安全領(lǐng)域以及太空、軍事等國(guó)防領(lǐng)域也都有相關(guān)的解決方案以及應(yīng)用案例。

基于微透鏡陣列的光場(chǎng)相機(jī)技術(shù)方案發(fā)展迅速，除Lytro及Raytrix外，諸多科技公司也陸續(xù)推出了光場(chǎng)相機(jī)或光場(chǎng)成像模塊[20-25]，圖7(a)為Adobe magic lens光場(chǎng)相機(jī)[20]，圖7(b)為Cafadis基于微透鏡陣列的鏡頭及相機(jī)[21]，圖7(c)、圖7(d)分別為Toshiba[22]與Pelican[23]公司推出的光場(chǎng)成像模塊。

圖6 光場(chǎng)相機(jī)

圖7 光場(chǎng)相機(jī)及模塊原型樣機(jī)

基于微透鏡陣列的光場(chǎng)相機(jī)獲取光場(chǎng)信息的方案，其優(yōu)點(diǎn)是各成像單元間相對(duì)位置及角度關(guān)系穩(wěn)定、系統(tǒng)體積小、可移植性強(qiáng)、相應(yīng)的數(shù)據(jù)處理方法及軟件成熟，缺點(diǎn)是通過(guò)犧牲空間分辨率來(lái)獲得角度分辨率，在要求高空間分辨率的場(chǎng)合無(wú)法滿足要求，為解決空間與角度分辨率不可兼?zhèn)涞膯?wèn)題，基于光場(chǎng)相機(jī)的超分辨理論研究也逐漸獲得關(guān)注。

3.3 掩膜及其他

微透鏡陣列獲取光場(chǎng)方案通過(guò)犧牲空間分辨率來(lái)?yè)Q取角度分辨率。與之相比，掩膜法通過(guò)在相機(jī)主鏡頭與傳感器之間插入的光學(xué)掩膜來(lái)實(shí)現(xiàn)對(duì)進(jìn)入相機(jī)系統(tǒng)中的光進(jìn)行調(diào)制，并在感光元件記錄之后通過(guò)算法進(jìn)行四維光場(chǎng)信息的恢復(fù)。典型方案為VeeraraghavanAshok通過(guò)在普通相機(jī)光路中插入掩膜實(shí)現(xiàn)的光場(chǎng)相機(jī)[26]。如圖8所示，基于掩膜的光場(chǎng)采集系統(tǒng)獲取的圖像看似與普通相機(jī)類似，但其頻域呈規(guī)律性分布，與光場(chǎng)數(shù)據(jù)的頻域特性類似，能夠通過(guò)相關(guān)處理得到四維光場(chǎng)信息。此類方法的優(yōu)點(diǎn)在于掩膜是非折射元件，硬件系統(tǒng)更加簡(jiǎn)單，初級(jí)數(shù)據(jù)處理更加容易，比微透鏡陣列結(jié)構(gòu)更容易實(shí)現(xiàn)。此外，Antony orth等[27-29]提出Light field moment imaging(LMI)采用在不同離焦位置采集二維圖像的方式同樣可得到四維光場(chǎng)數(shù)據(jù)，加州理工學(xué)院的Guoan Zheng等[30-32]提出傅里葉疊層成像技術(shù)(Fourier Ptychography imaging)，通過(guò)采用不同傳播方向的相干光照明樣本或者掃描孔徑的方式，得到了四維光場(chǎng)數(shù)據(jù)并實(shí)現(xiàn)了數(shù)字重聚焦。

圖8 掩膜光場(chǎng)采集系統(tǒng)原理示意圖

4 光場(chǎng)數(shù)據(jù)處理技術(shù)及應(yīng)用方向

光場(chǎng)數(shù)據(jù)處理的主流方式都是基于光線假設(shè)的四維光場(chǎng)理論模型，依據(jù)用途區(qū)分，主要的處理方法大致包括數(shù)字重聚焦、3D成像、合成孔徑、光場(chǎng)渲染、立體顯示等五種。

4.1 數(shù)字重聚焦

根據(jù)測(cè)量得到的四維光場(chǎng)數(shù)據(jù)，進(jìn)行數(shù)字重聚焦可以在不受主透鏡景深的限制下獲得各個(gè)平面的清晰圖像，因此在測(cè)量時(shí)無(wú)需對(duì)特定平面進(jìn)行對(duì)焦，擺脫了傳統(tǒng)成像中景深的限制，并提供了三維成像的新思路[7,33,34]。數(shù)字重聚焦處理方式主要有兩種：空域積分投影和頻域切片變換。

空域積分投影在獲取四維光場(chǎng)函數(shù)LF(s,t,u,v)之后，可根據(jù)式(2)進(jìn)行變換進(jìn)而得到各個(gè)重聚焦面上的光場(chǎng)函數(shù)LF′(s,t,u,v)，在每個(gè)重聚焦面上根據(jù)式(1)積分，從而得到該特定面上的像。因此，此方案能夠獲得各個(gè)重聚焦面上的清晰圖像。

然而空域積分投影所實(shí)現(xiàn)的光場(chǎng)數(shù)字重聚焦，計(jì)算量指數(shù)上升，計(jì)算速度慢。斯坦佛大學(xué)的Ren Ng將醫(yī)學(xué)以及天文學(xué)中常用的傅里葉切片法引入到光場(chǎng)信息處理中，實(shí)現(xiàn)了在頻域中的數(shù)字重聚焦，減小了計(jì)算量，可以快速獲得各個(gè)面處的清晰像[7-8,18]。由于頻域傅里葉切片成像法實(shí)現(xiàn)數(shù)字重聚焦的計(jì)算量要遠(yuǎn)小于空域積分投影法，因此，此方法目前已經(jīng)成為光場(chǎng)函數(shù)數(shù)字重聚焦的主流。圖9為單次獲取四維光場(chǎng)數(shù)據(jù)后進(jìn)行數(shù)字重聚焦所得到的各個(gè)深度的清晰成像結(jié)果。

4.2 3D成像

基于四維光場(chǎng)數(shù)據(jù)的3D成像核心為場(chǎng)景的深度信息提取，相關(guān)主流算法大致可分為3個(gè)方向：1)基于極平面圖像的深度估計(jì)；2)基于多視圖立體幾何約束的深度估計(jì)以及3)光場(chǎng)數(shù)字重聚焦深度估計(jì)。

極平面圖像(Epipolar Plane Image，EPI)為四維光場(chǎng)信息的二維切片，包括一個(gè)空間尺寸維度與一個(gè)角度維度，場(chǎng)景中一個(gè)物點(diǎn)在EPI中顯示為一條傾斜的直線，該直線的傾斜度與該物點(diǎn)到相機(jī)的距離成比例[43]，如圖10所示。因此，從光場(chǎng)相機(jī)或者相機(jī)陣列所獲取的四維光場(chǎng)數(shù)據(jù)中選取二維EPI切片，通過(guò)對(duì)應(yīng)物點(diǎn)的斜率來(lái)獲取其深度信息。此方法源自多視圖幾何理論框架，Sven Wanner[35]，Michael W.Tao[33]等提出系列改進(jìn)和優(yōu)化算法，實(shí)現(xiàn)了較為清晰的深度圖的獲取，細(xì)節(jié)比較平滑，同時(shí)節(jié)約了深度信息提取的時(shí)間。

圖9 各個(gè)重聚焦面的聚焦結(jié)果(A1～A5)和多個(gè)重聚焦面合成圖像(B)

圖10 EPI斜率與點(diǎn)三維坐標(biāo)對(duì)應(yīng)原理示意圖

在相機(jī)陣列與單相機(jī)集成微透鏡陣列方案中，光場(chǎng)獲取裝置可等效為多視圖幾何模型，其最簡(jiǎn)化版為雙目視覺(jué)系統(tǒng)。雙目視覺(jué)系統(tǒng)通過(guò)模擬生物眼睛產(chǎn)生立體視覺(jué)的效果，圖11 為雙目系統(tǒng)深度測(cè)量原理[36]，目標(biāo)物點(diǎn)在兩個(gè)像面上成像位置不同，產(chǎn)生視差，通過(guò)視差數(shù)據(jù)以及各相機(jī)外參關(guān)系即可獲取目標(biāo)物點(diǎn)的深度數(shù)據(jù)。在立體匹配誤差相同的情況下，由視差數(shù)據(jù)獲取深度信息方法中，深度信息的精度與基線長(zhǎng)度直接相關(guān)，基于微透鏡陣列的光場(chǎng)相機(jī)中各等效子孔徑間基線很短，采用傳統(tǒng)匹配方案難以獲取高精度的深度數(shù)據(jù)信息。因此，在此方向的研究主要集中于增加約束信息以獲取更精確地視差圖算法上，Adam Bowen，Tom E.Bishop 等人以顏色信息增加約束提取了全分辨率的深度圖像[37-38]；Francisco C.Calderon，Tom E.Bishop，NeusSabater等人充分利用光場(chǎng)相機(jī)的多個(gè)視角信息，對(duì)匹配點(diǎn)進(jìn)行多重約束，提高了特征匹配的精度[39-41]。

根據(jù)光場(chǎng)相機(jī)得到的四維光場(chǎng)數(shù)據(jù)，以及傅里葉切片法可進(jìn)行數(shù)字重聚焦，獲取焦點(diǎn)堆棧圖像，通過(guò)清晰度評(píng)價(jià)等像質(zhì)評(píng)價(jià)方法以及成像系統(tǒng)物像關(guān)系特征，可計(jì)算重構(gòu)出目標(biāo)場(chǎng)景的深度圖。在此框架下，Michael W.Tao采用梯度檢測(cè)和圖割的方式獲取了全聚焦圖像，并利用朗伯反射體表面特性以及光照和陰影信息分析數(shù)字重聚焦的角度關(guān)聯(lián)性，將離焦與特征匹配相結(jié)合，得到了更為清晰和可靠的深度數(shù)據(jù)[33]，如圖12所示。

圖11 雙目系統(tǒng)深度測(cè)量原理示意圖

圖12 離焦與特征點(diǎn)匹配結(jié)合的深度效果圖

4.3 合成孔徑成像

圖13(a)展示了針孔成像的原理，光線通過(guò)一個(gè)針孔成像，形成一個(gè)彌散光斑，針孔半徑越大，參與成像的光通量就越大，但是彌散斑的尺寸也就越大。圖13(b)將小孔由透鏡替換，理想的透鏡能夠?qū)崿F(xiàn)“點(diǎn)物成點(diǎn)像”，物面上的點(diǎn)理想情況下在像面成完美的點(diǎn)像，如果有一點(diǎn)障礙物在景深范圍之外的空間平面上，則其在像面上會(huì)形成彌散圓，從而失去遮擋的效果[2]。圖13(c)中透鏡孔徑擴(kuò)大至與物距可比擬，此時(shí)成像系統(tǒng)的景深很小，只有聚焦面及其附近的點(diǎn)能夠清晰成像，其它偏離聚焦面的點(diǎn)則會(huì)形成彌散斑，圖13中障礙物只能部分得遮擋由點(diǎn)物發(fā)射并進(jìn)入到探測(cè)器的光。由于孔徑很大景深很小，障礙物將在像面上形成一系列直徑很大的彌散圓而不足以遮擋目標(biāo)物，目標(biāo)依然能夠在像面上清晰成像。因此，原則上講只要成像系統(tǒng)的孔徑足夠大，就能起到一定程度的跨越障礙物成像的目的。但增大單一成像系統(tǒng)的尺寸代價(jià)大且會(huì)附帶明顯的邊緣相差等問(wèn)題，圖13(d)為采用合成孔徑的方式擴(kuò)大相機(jī)的“孔徑”尺寸，將處于各個(gè)位置的子相機(jī)認(rèn)為是一個(gè)超大孔徑相機(jī)的一部分，將其各自所獲取的圖像進(jìn)行合成，從而實(shí)現(xiàn)穿越障礙物對(duì)目標(biāo)物體清晰成像甚至三維成像及定位。此外，相機(jī)陣列合成孔徑還可以實(shí)現(xiàn)在保證分辨率的前提下擴(kuò)展視場(chǎng)范圍等功能。

圖13 基于光場(chǎng)的合成孔徑成像原理圖

經(jīng)典的光場(chǎng)相機(jī)陣列合成孔徑成像系統(tǒng)根據(jù)設(shè)定的聚焦平面將從不同角度獲取的場(chǎng)景圖像投影到同一個(gè)圖像平面上[2,42]，使得觀察者能夠透過(guò)場(chǎng)景中的遮擋物看到被遮擋的物體。

圖14為采用相機(jī)陣列實(shí)現(xiàn)的穿越障礙物對(duì)感興趣區(qū)域進(jìn)行成像的示例，依靠相機(jī)組成陣列的方式合成較大孔徑進(jìn)而實(shí)現(xiàn)穿過(guò)障礙物成像在軍事、民用等多個(gè)領(lǐng)域都有應(yīng)用，例如加州大學(xué)伯克利分校的Laura Waller等人開展了基于光場(chǎng)技術(shù)的穿過(guò)強(qiáng)散射介質(zhì)進(jìn)行成像的研究[43]，這對(duì)于強(qiáng)霧霾天氣以及多云天氣機(jī)載光學(xué)雷達(dá)以及星載光學(xué)成像系統(tǒng)進(jìn)行清晰成像和探測(cè)具有很大的幫助。

圖14 相機(jī)陣列合成孔徑穿越障礙物成像示例

4.4 光場(chǎng)渲染

圖像渲染技術(shù)是指在不對(duì)目標(biāo)進(jìn)行建模的情況下，根據(jù)輸入的原始圖像數(shù)據(jù)集進(jìn)行處理并得到輸出目標(biāo)圖像。傳統(tǒng)的圖像渲染方法依據(jù)各次圖像采集時(shí)相機(jī)之間的幾何參數(shù)轉(zhuǎn)換或者圖像之間的匹配關(guān)系，如圖15所示。Marc Levoy等人提出光場(chǎng)渲染的方法[5]，在不需要圖像的深度信息或精確匹配的情況下，通過(guò)構(gòu)建多相機(jī)系統(tǒng)或者單相機(jī)位置掃描獲取目標(biāo)場(chǎng)景的原始光場(chǎng)信息，各原始圖像構(gòu)成四維光場(chǎng)數(shù)據(jù)，針對(duì)目標(biāo)位置及角度的場(chǎng)景信息，從此四維數(shù)據(jù)中進(jìn)行簡(jiǎn)單重采樣即可獲得從任意角度及位置觀察目標(biāo)場(chǎng)景的二維光場(chǎng)切片，此方法較為簡(jiǎn)單且魯棒性強(qiáng)，渲染速度快，精度高。

圖15 光場(chǎng)渲染原理示意圖

4.5 立體顯示

將相機(jī)陣列或微透鏡陣列采集光場(chǎng)信息的過(guò)程反轉(zhuǎn)可實(shí)現(xiàn)三維顯示，采用陣列分布的投影裝置同時(shí)進(jìn)行二維投影，最終在特定的區(qū)域內(nèi)能夠?qū)崿F(xiàn)三維真實(shí)場(chǎng)景的再現(xiàn)，利用這種增強(qiáng)現(xiàn)實(shí)的方法實(shí)現(xiàn)裸眼3D[44-46]，可為軍事對(duì)抗及模擬，單兵及機(jī)械實(shí)時(shí)地形現(xiàn)實(shí)等提供技術(shù)支持。圖16為NVIDIA頭戴式近眼光場(chǎng)顯示原型及效果圖[47]；圖17為南加州大學(xué)采用多視投影原理實(shí)現(xiàn)的真人1∶1光場(chǎng)顯示系統(tǒng)[48]。

圖16 NVIDIA 頭戴式近眼光場(chǎng)顯示原型

5 總結(jié)和展望

光場(chǎng)包含多個(gè)自由度的信息，而傳統(tǒng)成像方式將光場(chǎng)進(jìn)行降維積分采集到二維的膠片或電子傳感器上，丟失了很多原始數(shù)據(jù)，這種認(rèn)識(shí)客觀世界的方式信息獲取不夠完善。光場(chǎng)成像理論的出現(xiàn)使得人類開始關(guān)注更加完備的光場(chǎng)信息獲取及利用，通過(guò)采用一系列手段控制或者測(cè)量四維光場(chǎng)參量，能夠獲取更為豐富和全面的被測(cè)場(chǎng)景信息，這是一場(chǎng)關(guān)于光場(chǎng)原始信息采集的重大變革，改變了成像的思維方式，打開了新的認(rèn)識(shí)世界的窗口。

圖17 南加州大學(xué)真人1∶1多視投影光場(chǎng)顯示系統(tǒng)

隨著光場(chǎng)成像描述理論的完善以及光場(chǎng)控制和獲取技術(shù)的發(fā)展，光場(chǎng)成像技術(shù)已經(jīng)并正在逐步改變?nèi)祟愓J(rèn)識(shí)世界的方式。包括手持式光場(chǎng)相機(jī)、光場(chǎng)顯微鏡、結(jié)構(gòu)光投影測(cè)量、相機(jī)陣列、合成孔徑、AR3D顯示等一系列技術(shù)及產(chǎn)品，在人們?nèi)粘Ｉ睢⒖茖W(xué)研究、生產(chǎn)實(shí)踐、軍事國(guó)防等多個(gè)領(lǐng)域發(fā)揮了重大作用。

相對(duì)于傳統(tǒng)的測(cè)量、成像及顯示方式，光場(chǎng)技術(shù)優(yōu)勢(shì)明顯，但并非成熟，無(wú)論從描述理論還是實(shí)現(xiàn)手段都仍存在很大優(yōu)化空間。用于描述光場(chǎng)函數(shù)的兩種方式各有利弊，基于光線假設(shè)的四維光場(chǎng)函數(shù)物理形象清晰，所得數(shù)據(jù)容易與計(jì)算模型相結(jié)合，但是無(wú)法完整地反應(yīng)干涉衍射等現(xiàn)象，而基于Wigner分布函數(shù)的光場(chǎng)描述方式能夠較為完備地涵蓋光場(chǎng)的多維度信息，但是難以用于描述非相干光場(chǎng)，且與計(jì)算成像體系融合難度較大，雖然一些科學(xué)家將這兩種理論進(jìn)行了一定程度的互通和聯(lián)系，但是依然存在著較大壁壘。在獲取光場(chǎng)信息方面，獲取及操縱四維光場(chǎng)信息以犧牲其它參數(shù)指標(biāo)作為代價(jià)，例如采用微透鏡陣列的手持式光場(chǎng)相機(jī)以及光場(chǎng)顯微鏡犧牲了空間分辨率來(lái)?yè)Q取多視角視圖，相機(jī)陣列在大程度上增加了系統(tǒng)的體積，Ptychography以及Fourier Ptychograph等方法則是通過(guò)延長(zhǎng)測(cè)量時(shí)間來(lái)獲得四維光場(chǎng)數(shù)據(jù)。如何權(quán)衡及兼顧犧牲與增強(qiáng)的參數(shù)類型是目前光場(chǎng)成像技術(shù)的研究熱點(diǎn)，此外光場(chǎng)成像技術(shù)與計(jì)算成像相結(jié)合，具有非常大的計(jì)算量，這也使得數(shù)字存儲(chǔ)以及處理器的速度在一定程度上成為光場(chǎng)成像技術(shù)發(fā)展的限制。

綜上所述，光場(chǎng)成像是一個(gè)較新的理論及技術(shù)發(fā)展方向，目前已經(jīng)在科學(xué)研究、生產(chǎn)生活、國(guó)防軍事等方面發(fā)揮出了顯著的作用，但在理論描述、技術(shù)實(shí)現(xiàn)、軟硬件處理能力、商業(yè)化成本以及使用便捷性等方面仍然存在著諸多亟待解決的問(wèn)題。光場(chǎng)理論及成像技術(shù)仍然處于飛速的發(fā)展階段，隨著時(shí)間的推移，光場(chǎng)技術(shù)將會(huì)更大程度地改變?nèi)藗冋J(rèn)知及改造世界的方式。

6 結(jié)論

整體而言，從原創(chuàng)性角度，在光場(chǎng)信息的獲取、處理及應(yīng)用等各個(gè)方面，國(guó)內(nèi)相關(guān)研究都處于跟隨者位置，從研究水平的角度看，也基本與國(guó)際前沿維持在同一個(gè)水平線上。

當(dāng)前主流的光場(chǎng)信息獲取手段為基于微透鏡陣列的光場(chǎng)相機(jī)，然而國(guó)外企業(yè)已構(gòu)建相對(duì)成熟和封閉的專利體系，并以德國(guó)的Raytrix和美國(guó)的Lytro公司生產(chǎn)的科研和消費(fèi)級(jí)的系列產(chǎn)品為代表，壟斷了絕大部分市場(chǎng)。光場(chǎng)信息的獲取是處理和應(yīng)用的前提，因此，國(guó)內(nèi)光場(chǎng)領(lǐng)域的長(zhǎng)期穩(wěn)定發(fā)展需要在光場(chǎng)方法及裝置方面進(jìn)行更加深入的研究，如何在國(guó)外現(xiàn)有方法和專利體系保護(hù)的環(huán)境下，研制及構(gòu)建出自主知識(shí)產(chǎn)權(quán)且具有一定市場(chǎng)競(jìng)爭(zhēng)力的光場(chǎng)信息獲取設(shè)備，是國(guó)內(nèi)光場(chǎng)技術(shù)長(zhǎng)期穩(wěn)定發(fā)展的必要條件。在幾何光場(chǎng)獲取方式研究相對(duì)完善和飽和的情況下，通過(guò)將物理光學(xué)中相關(guān)光學(xué)傳播規(guī)律及技術(shù)(利于光強(qiáng)傳輸方程)應(yīng)用于光場(chǎng)信息的獲取，或許為實(shí)現(xiàn)新型光場(chǎng)獲取手段的可行方向及突破點(diǎn)。

目前而言，光場(chǎng)信息(僅考慮四維光場(chǎng))獲取的手段發(fā)展已比較完善，但其應(yīng)用方向還有待進(jìn)一步開發(fā)和拓展。數(shù)字重聚焦及三維重構(gòu)為當(dāng)前最主要的兩個(gè)光場(chǎng)應(yīng)用方向，數(shù)字重聚焦概念自Ng Ren提出以來(lái)發(fā)展較為成熟，已在Lytro產(chǎn)品中得以應(yīng)用。三維重構(gòu)則大多數(shù)以傳統(tǒng)的多目立體視覺(jué)為理論基礎(chǔ)開展，由于光場(chǎng)相機(jī)尺寸較小，各子視場(chǎng)間基線較短，限制了高精度視差圖的獲取，因此，目前此方面研究相對(duì)比較緩慢。針對(duì)這一現(xiàn)狀，一方面，國(guó)內(nèi)可在利用光場(chǎng)信息進(jìn)行三維重構(gòu)這一具體應(yīng)用上開展更多的工作，例如，采用深度學(xué)習(xí)方法，充分利用光場(chǎng)信息進(jìn)行多目立體視覺(jué)系統(tǒng)視差圖的獲取或許為可進(jìn)行進(jìn)一步嘗試的方向。此外，將光場(chǎng)信息的應(yīng)用領(lǐng)域進(jìn)行拓展具有更大的意義，除數(shù)字重聚焦及三維重構(gòu)外，由于其信息的豐富性，光場(chǎng)技術(shù)還有用于去霧成像、水下成像、三維物體識(shí)別、超分辨成像等諸多領(lǐng)域的潛力，拓展光場(chǎng)信息的應(yīng)用范圍，開展基于光場(chǎng)信息的新的研究方向亦為國(guó)內(nèi)進(jìn)行光場(chǎng)相關(guān)研究的方向之一。

此外，本文主要以四維光場(chǎng)信息為對(duì)象，相關(guān)的成像理論及光場(chǎng)信息利用方式都僅考慮光線的二維空間位置和二維傳播方向。然而真實(shí)的光場(chǎng)包含更多維度的信息，從幾何光學(xué)角度的四維光場(chǎng)信息到包含相位、偏振、波長(zhǎng)等在內(nèi)的物理光學(xué)角度的光場(chǎng)信息，其獲取及應(yīng)用具有非常重要的研究意義和應(yīng)用前景。建立更為完善的光場(chǎng)理論模型，并充分研究更多維度光場(chǎng)信息的獲取方式、處理手段以及應(yīng)用方法是國(guó)內(nèi)在光場(chǎng)領(lǐng)域進(jìn)行嘗試和探索的可行方向。