光場(chǎng)成像中的景深擴(kuò)展方法與信息處理

趙于平　金熙　趙松年

摘 要： 光場(chǎng)成像方法是智能圖像處理中迅速發(fā)展的前沿領(lǐng)域，涉及的主要內(nèi)容是：光學(xué)景深的擴(kuò)展和不聚焦攝影的自適應(yīng)多重焦平面成像問(wèn)題的研究。其中包括對(duì)光場(chǎng)成像基本原理和硬件結(jié)構(gòu)的介紹，也包括全光函數(shù)參數(shù)化方法的應(yīng)用問(wèn)題的討論；這是因?yàn)?，新興起的計(jì)算攝影學(xué)、3D可視化、虛擬環(huán)境等領(lǐng)域的目的是：全面實(shí)現(xiàn)全光函數(shù)對(duì)外部客觀世界的描述；而光場(chǎng)成像及光場(chǎng)相機(jī)則是這個(gè)目標(biāo)的一個(gè)局部的實(shí)現(xiàn)，其中涉及的問(wèn)題有光信息的采集，光學(xué)傅里葉變換，不聚焦攝像的處理和光學(xué)景深的擴(kuò)展方法等。這些研究?jī)?nèi)容是光場(chǎng)成像和計(jì)算攝影學(xué)領(lǐng)域中的基礎(chǔ)性的重要課題，也是與圖像渲染以及3D顯示密切相關(guān)圖像信息中一種全新的處理方法，具有重要的應(yīng)用價(jià)值。在此針對(duì)上述各難點(diǎn)問(wèn)題和關(guān)鍵結(jié)構(gòu)，給出了全面、深入、透徹的分析論述，提出進(jìn)一步研究的主要內(nèi)容。該文對(duì)當(dāng)前迅速發(fā)展的全光信息處理中關(guān)鍵技術(shù)與方法的綜述與展望，對(duì)相關(guān)領(lǐng)域的讀者具有一定的參考價(jià)值。

關(guān)鍵詞： 圖像處理； 光場(chǎng)成像； 全光函數(shù)； 擴(kuò)展景深； 雙平面參數(shù)化

中圖分類號(hào)： TN911?34 文獻(xiàn)標(biāo)識(shí)碼： A 文章編號(hào)： 1004?373X（2016）04?0102?06

Abstract： The light field imaging method is the advanced field in intelligent image processing. It involves the following research contents： scene depth extension and adaptive multi?focal planes imaging of unfocused photography. In this paper， the basic principles and structure of light?field imaging are introduced， and the application of plenoptic functions′ parameterization method is discussed. The difficult issues and critical structures are comprehensively and deeply analyzed and discussed in this paper. The further research contents are proposed. The key technologies and methods in all?optical information processing in rapid development are summarized and expected， which has important reference value for readers in relevant fields.

Keywords： image processing； light field imaging； plenoptic function； scene depth extension； biplane parameterization

0 引 言

近兩年，一種稱為光場(chǎng)照相（Light Field Photography）的相機(jī)正處于研制與開發(fā)之中，很快將投入市場(chǎng)，它被譽(yù)為照相機(jī)的一次革命[1]。通俗地說(shuō)，傳統(tǒng)相機(jī)是先對(duì)焦后拍照，光場(chǎng)相機(jī)則是先拍照后對(duì)焦處理。其實(shí)，早在1992年， Adelson等就在IEEE模式分析與機(jī)器智能期刊上發(fā)表了他們研究“全光相機(jī)單鏡頭立體照相”原理與方法的成果[2]，第一次采用Plenoptic Camera表示全光照相機(jī)。在這之前， Adelson等在研究人類初級(jí)視覺(jué)信息處理時(shí)[3]，就提出了“全光函數(shù)（Plenoptic function）”，用于描述空間每條光線的強(qiáng)度作為視角、波長(zhǎng)、時(shí)間、觀察位置處的光強(qiáng)這7個(gè)變量的函數(shù)，它描述了一個(gè)光學(xué)裝置可能“看”到的一切，特別是稱之為環(huán)境光線的結(jié)構(gòu)。因而，全光函數(shù)與可見世界完整的全息表示是等價(jià)的[3?4]。二維數(shù)字圖像的每個(gè)像素都記錄了到達(dá)該點(diǎn)的所有光線的強(qiáng)度，但并不區(qū)分這些光線的方向，它只是三維結(jié)構(gòu)光場(chǎng)的一個(gè)投影，或者說(shuō)，是一個(gè)樣本，丟失了場(chǎng)景中的相位與方向信息。與此不同，光場(chǎng)是指空間中任意點(diǎn)發(fā)出的任意方向的光的集合。光場(chǎng)的記錄應(yīng)能分辨對(duì)每個(gè)像素有貢獻(xiàn)的來(lái)自不同角度的光線。如果在記錄光線角度的同時(shí)記錄時(shí)域變化，就是動(dòng)態(tài)光場(chǎng)。

光場(chǎng)相機(jī)通過(guò)光場(chǎng)感應(yīng)器記錄成像光線的矢量，即與影像相關(guān)的來(lái)自多個(gè)角度的光場(chǎng)，而不只是二維的圖像，這為光場(chǎng)相機(jī)通過(guò)光場(chǎng)信息重建出多景深的場(chǎng)景提供了條件，可以根據(jù)需要來(lái)定位焦點(diǎn)，在視角范圍內(nèi)的各個(gè)焦平面中選擇想看到的照片。這樣，就有可能突破傳統(tǒng)相機(jī)的視覺(jué)信息采集和基于這些信息的理解與分析存在的局限性。如今，微型高密度傳感器的集成方法[5?8]可以滿足光場(chǎng)像機(jī)的需求?，F(xiàn)在，3G像素的數(shù)碼相機(jī)也已投放市場(chǎng)，利用這些現(xiàn)有器件集成滿足光場(chǎng)相機(jī)結(jié)構(gòu)需要的高密度微陣列傳感器，已經(jīng)不是一件難事。如何根據(jù)全光函數(shù)的概念處理光場(chǎng)相機(jī)采集到的光場(chǎng)信息，以實(shí)現(xiàn)按照用戶需求來(lái)定位焦點(diǎn)，在視角范圍內(nèi)從彼此疊加的各個(gè)焦平面中選擇出想要看到的高清照片，這就對(duì)具體重建算法提出了挑戰(zhàn)。因?yàn)?，從理論上的全光函?shù)到具體的重建算法，中間存在諸多困難，傳統(tǒng)的膠片或數(shù)字圖像只是全光函數(shù)的一個(gè)子集或者切片，如何采用7維函數(shù)[P=P（θ，?，λ，t，Vx，Vy，Vz）]中的若干維組合來(lái)描述和重建客觀世界的全光圖像或視覺(jué)信息，是眾多科研人員致力于探討的一個(gè)核心問(wèn)題。顯而易見，將7個(gè)變量減少到能夠處理的程度，既想盡量減少信息損失，又不使算法實(shí)現(xiàn)過(guò)于復(fù)雜，是很難達(dá)到的。

1 光場(chǎng)相機(jī)的原理與構(gòu)造

無(wú)論是普通的數(shù)碼相機(jī)還是將要介紹的光場(chǎng)相機(jī)， 最簡(jiǎn)單的、最好理解的模型就是針孔相機(jī)模型。這時(shí)，在幾何光學(xué)中可以將針孔看作一個(gè)理想的孔點(diǎn)，空間各個(gè)不同位置的物點(diǎn)，都向針孔投射光線，因此，通過(guò)這個(gè)針孔的光線不難想象成光錐，換句話說(shuō)，周圍環(huán)境中的物體，在它的表面上的每一個(gè)點(diǎn)都會(huì)以光錐的形式向周圍反射（也包括光源的輻射）光線。因此，周圍空間中充滿了來(lái)自不同物體和不同方向的光錐，在垂直于相機(jī)或人眼的光軸的截面上的各個(gè)物點(diǎn)通過(guò)針孔就能在焦點(diǎn)后面的成像平面上形成一幅圖像，對(duì)于普通的數(shù)碼相機(jī)而言，不考慮光線的入射角，物距[l]，焦距[f]和像距[d]之間的關(guān)系由高斯公式確定：

[1l+1f=1d] （1）

那么，來(lái)自在光軸不同位置的、不同垂直截面上各個(gè)物點(diǎn)的光線會(huì)在成像平面上形成重疊的圖像。在光軸前后不同位置的截面會(huì)在焦點(diǎn)后面的同一個(gè)成像平面上形成不同位置的局部重疊和遮擋。人眼看圖片時(shí)，并不會(huì)強(qiáng)烈地感覺(jué)到這個(gè)問(wèn)題，主要是圖片上存在景深，這是理解普通相機(jī)與光場(chǎng)相機(jī)，以及普通拍攝方法與光場(chǎng)拍攝方法區(qū)別的關(guān)鍵。

實(shí)際上，當(dāng)視覺(jué)感知外部景物時(shí)，光軸（或者大致上也可以是視軸）與空間直角坐標(biāo)系中的[z]軸是一致的，成像平面垂直于光軸也就是[z]軸，這是視覺(jué)的光學(xué)成像系統(tǒng)固有的特性，在視像的焦平面（視網(wǎng)膜）的前后一定距離處，形成的光斑（彌散圓）直徑[δ]很小時(shí)（小于等于0.005 mm，由視網(wǎng)膜中央凹的視錐細(xì)胞的分辨率決定），仍能形成清晰的視像，也就是焦深（如圖1所示）[9]。

根據(jù)圖1就很容易理解普通相機(jī)的傳統(tǒng)的先聚焦后拍攝的方法。先聚焦，就是調(diào)整相機(jī)的焦距，試圖在注視點(diǎn)這個(gè)距離上能夠有一個(gè)清晰的圖像，附帶地，在它的前后一定距離范圍內(nèi)也能有清楚的圖像，物體前后距離的不同形成的遮擋效果，遮擋物在前，被遮擋物在后，正好形成和增強(qiáng)了景深，即圖1中的ΔL1和ΔL2。需要指出的是所謂“景深無(wú)窮遠(yuǎn)”，其實(shí)是指注視點(diǎn)的距離L而不是景深ΔL。要注意，景深ΔL是一個(gè)很有限的小的距離范圍。對(duì)于人類視覺(jué)而言，基本的光學(xué)成像過(guò)程是類似的，在此不再重復(fù)。既然景深非常重要，一幅大景深的圖片顯然比小景深的圖片的視覺(jué)效果要好得多，二者不在一個(gè)檔次上。如何增大景深是一個(gè)關(guān)鍵問(wèn)題，當(dāng)焦距與拍攝距離相比很小時(shí)，式（2）和式（3）可以近似表示如下：

[ΔL=ΔL1+ΔL2?2f2Fδ] （4）

景深與焦距的平方[f2]成正比，而與光圈[F]和模糊圈直徑[δ]成反比。上面已經(jīng)說(shuō)明，模糊圈直徑[δ]是由人類眼球中央凹的光敏細(xì)胞即視錐細(xì)胞的分辨率決定的，約為6 μm，是一個(gè)定值[10]。

實(shí)際拍攝時(shí)，光圈大小的設(shè)定和拍攝者的技巧與經(jīng)驗(yàn)有關(guān)，剩下的惟一有效方法就是更換鏡頭（如長(zhǎng)焦距鏡頭，可變焦鏡頭；增大拍攝范圍的短焦距廣角鏡頭等），以期改變焦距[f]。當(dāng)然，這是一個(gè)十分昂貴的，效果有限的，也是不得已而為之的方法。

普通相機(jī)不能采取先拍攝后聚焦的方式原因很簡(jiǎn)單。因?yàn)樵谙鄼C(jī)的數(shù)字圖像平面上，是由CCD記錄的像素成像的，它只是該平面上二維坐標(biāo)[（x，y）]點(diǎn)上的光強(qiáng)信息，無(wú)法確定實(shí)際的物理空間的坐標(biāo)位置，在后聚焦拍攝模式中，定焦處理的算法由于缺少基本參數(shù)而無(wú)法實(shí)現(xiàn)。

由傅里葉光學(xué)基本概念可知，在光軸上不同距離（間隔為焦距[f]）處放置透鏡，等效于一次新的成像。輸入的原始圖像為[U0（x0，y0）]，經(jīng)過(guò)多級(jí)二維傅里葉變換[Fαn]后，得出最后的像為[Ui（xi，yi）]。當(dāng)然，這是以波動(dòng)概念為基礎(chǔ)的物理光學(xué)信息處理的原理，多級(jí)透鏡的方案存在很多問(wèn)題，一般在實(shí)際應(yīng)用中也是限于二級(jí)成像方案，成功的實(shí)例有濾波，阿貝成像等。但重要的是，這也啟發(fā)了從事相機(jī)結(jié)構(gòu)設(shè)計(jì)與產(chǎn)品研發(fā)的科技人員從幾何光學(xué)的觀點(diǎn)出發(fā)，在焦平面位置放置一個(gè)微透鏡陣列，如圖2所示[11]。

那么，這個(gè)陣列的微透鏡將會(huì)對(duì)主透鏡投射而來(lái)的光錐形成二次成像，并被光傳感器（CCD器件或其他光學(xué)微元）記錄，在球面坐標(biāo)系中，每一束光線的空間方位，即[θ]和[φ]都會(huì)被記錄下來(lái)，為以后的定焦處理提供數(shù)據(jù)。

這里采用兩種模型來(lái)進(jìn)一步說(shuō)明光場(chǎng)相機(jī)成像的基本原理，第一種模型就是針孔相機(jī)模型，可以將微透鏡陣列看作是針孔陣列；第二種模型是將微透鏡陣列看作是微型相機(jī)。

2 針孔相機(jī)陣列模型

圖3為針孔模型的原理圖[3]，入射光強(qiáng)度陣列以光錐的方式射入細(xì)小的針孔之中，光強(qiáng)度陣列圖像中每一個(gè)點(diǎn)都可以看作是一個(gè)大像素，分為三個(gè)子像素，由不同入射角的光線傳輸，每一個(gè)子像素都對(duì)應(yīng)于一個(gè)特定的入射角。此處的子像素有三種類型，按照光通過(guò)透鏡的右邊、中心或左邊，分別用紅、綠、藍(lán)標(biāo)記為r，s，t像素。實(shí)際上，每一個(gè)微小的針孔相機(jī)都形成主鏡頭光圈范圍內(nèi)的一幅圖像基元，這個(gè)圖像基元捕捉的信息只是通過(guò)主鏡頭一個(gè)給定的子區(qū)的光，為了正常工作，針孔相機(jī)的鏡頭必須指向主鏡頭的中心。如果物點(diǎn)在焦平面上，如圖3（a）所示，則中心位置的所有三種像素r，s和t均被照亮。如果物點(diǎn)離焦平面或近或遠(yuǎn)，如圖3（b）或圖3（c）所示，那么，光線通過(guò)像素點(diǎn)是分布開來(lái)的，這一方式能夠判斷景深?？坍嬤@種分布的一個(gè)有效辦法是從r，s和t的像素組創(chuàng)建單獨(dú)的子圖像。r子圖像對(duì)應(yīng)的光線通過(guò)主鏡頭的右側(cè)；s子圖像對(duì)應(yīng)的光線通過(guò)中心；t子圖像對(duì)應(yīng)的光線穿過(guò)主鏡頭的左邊。

當(dāng)物體位于焦平面上，這三個(gè)子圖像排列對(duì)齊；當(dāng)物體近于焦平面時(shí)，圖像相繼向左移位；當(dāng)物體遠(yuǎn)于焦平面，圖像相繼向右移位。通過(guò)測(cè)量位移，可以估算物體的深度。

3 微型相機(jī)陣列模型

針孔陣列可以用微透鏡陣列代替，可以把微透鏡陣列設(shè)想成微型相機(jī)陣列。其中，每一個(gè)微型相機(jī)都形成主鏡頭孔徑的一幅圖像，如同從傳感器平面的不同位置所看到的那樣。焦點(diǎn)上的圖像是一個(gè)明亮的小點(diǎn)，而焦點(diǎn)外的圖像變成模糊的一片暗影，如圖3中的紅色與綠色小方塊標(biāo)記。如果鏡頭的光圈是一個(gè)圓盤，那么，點(diǎn)擴(kuò)散函數(shù)（PSF）將是一個(gè)球體，其直徑是光圈大小和散焦程度的函數(shù)。一維時(shí)，如此處所示，PSF是輪廓鮮明的長(zhǎng)方形（忽略了小的衍射效應(yīng)）。

如果把一個(gè)偏心光圈（圖中的紅色標(biāo)記）放在透鏡上[3]。當(dāng)物體在焦平面上，它的圖像依然清楚。在相同的位置，如果物體更近，那么，它的（模糊）圖像移到中心偏右（紅色小方塊標(biāo)記），因?yàn)楣馊x擇性地使落入右側(cè)的光線通過(guò)。相反，如果物體更遠(yuǎn)，那么，它的成像則移向左邊（綠色小方塊標(biāo)記）。位移的程度與散焦造成的模糊程度成正比。由于光圈向左或向右移動(dòng)，一個(gè)近處的物體同樣向左或右移動(dòng)，而遠(yuǎn)處物體的成像則向右或向左移動(dòng)。位移的大小和方向能確定物體的距離。因此，人們可以獲取一個(gè)圖像序列，其中光圈可以移動(dòng)，也能對(duì)圖像序列實(shí)現(xiàn)位移分析，以確定物體的景深。這里需要對(duì)偏心光圈做一說(shuō)明，放置在主鏡頭后面焦平面位置的微透鏡陣列，它們的鏡頭中心朝向主鏡頭，但是并不能實(shí)現(xiàn)每一個(gè)微鏡頭的中心都對(duì)準(zhǔn)主鏡頭的中心，從主透鏡不同位點(diǎn)來(lái)的不同方向的光線更是不可能通過(guò)每一個(gè)微鏡頭的中心，這實(shí)際上是不可能做的。由于微鏡頭的尺寸很小，陣列中不同位置的微透鏡相當(dāng)于一個(gè)個(gè)小光圈，采集來(lái)自主鏡頭的一小部分光線，其作用如同一個(gè)偏心的光圈。位置不同，光圈的偏心率和光圈大小也不同，正好與主鏡頭不同方向的光線相對(duì)應(yīng)，為后續(xù)的定焦處理提供了方位信息。顯然，濾光方法是以波動(dòng)光學(xué)為基礎(chǔ)，目標(biāo)是改變光的頻譜成分；微透鏡陣列方法是以幾何光學(xué)為基礎(chǔ)，以改變聚焦方式和焦距為目標(biāo)。微透鏡陣列對(duì)焦平面上的清晰的光點(diǎn)的二次成像，微透鏡在緊隨其后的光傳感器陣列上分別進(jìn)行二次聚焦，總的效果便是增大了實(shí)際的焦距，也就增大了拍攝時(shí)圖片的景深。

在此值得強(qiáng)調(diào)的是，先拍攝后聚焦的拍攝方式，本質(zhì)上也可以稱為“擴(kuò)展不聚焦景深的方法”，如何通過(guò)硬件實(shí)現(xiàn)和擴(kuò)展景深，這是一個(gè)非常重要的理論與基礎(chǔ)應(yīng)用問(wèn)題。它涉及二維圖像平面與三維實(shí)際場(chǎng)景之間的轉(zhuǎn)換，計(jì)算機(jī)視覺(jué)難于理解二維圖像對(duì)應(yīng)的三維場(chǎng)景，就是計(jì)算機(jī)視覺(jué)中的經(jīng)典難題，不可能在本文中過(guò)多地涉及這個(gè)課題，而是指出，光場(chǎng)相機(jī)能夠?qū)嶋H使用，要求它的光學(xué)系統(tǒng)的景深，最低限度也要大于傳統(tǒng)相機(jī)的2倍，這也是保證在不聚焦拍攝時(shí)，能通過(guò)算法獲得景深范圍內(nèi)任意焦平面上的高清圖片。能夠擴(kuò)展景深的關(guān)鍵是主透鏡、微透鏡陣列與光學(xué)傳感器陣列之間的合理布局，幾何參數(shù)的確定等，一方面要有相應(yīng)的理論分析，另一方面需要實(shí)際實(shí)驗(yàn)的檢驗(yàn)。

4 全光函數(shù)的雙平面參數(shù)化方法和算法實(shí)現(xiàn)

在本文的引言中曾經(jīng)提到，周圍環(huán)境的光場(chǎng)結(jié)構(gòu)由7個(gè)變量的函數(shù)來(lái)描述，所謂光場(chǎng)結(jié)構(gòu)就是指，環(huán)境中存在的一切不同類型的物體，在光照條件下，各自都向四周反射或輻射光錐，這些光錐互不干擾，攜帶了周圍環(huán)境的信息。

全光函數(shù)[P=P（θ，φ，λ，t，Vx，Vy，Vz）]就是周圍環(huán)境中各種圖像結(jié)構(gòu)的全面描述?？墒?，要想根據(jù)這個(gè)全光函數(shù)來(lái)采集周圍環(huán)境的結(jié)構(gòu)光場(chǎng)信息，實(shí)在是過(guò)于復(fù)雜而困難，只要設(shè)想一下，拍攝者不可能同時(shí)在每一個(gè)空間位置對(duì)每一個(gè)朝向都進(jìn)行拍攝，就可知道這是難于實(shí)現(xiàn)的。為此，人們經(jīng)過(guò)艱難的嘗試和實(shí)驗(yàn)，想出了許多辦法，驗(yàn)證之后，一 一放棄，而最后又回到全光函數(shù)本身，開始研究簡(jiǎn)化它的辦法。其實(shí)，反映光場(chǎng)結(jié)構(gòu)的圖像并不是非得需要全光函數(shù)[P=P（θ，φ，λ，t，Vx，Vy，Vz）]中的7個(gè)變量，按照參數(shù)化的方法可以簡(jiǎn)化全光函數(shù)，具體來(lái)說(shuō)，對(duì)于時(shí)間[t]，現(xiàn)在連續(xù)拍攝已經(jīng)不是問(wèn)題，放置在被拍攝物體或場(chǎng)景四周的多臺(tái)相機(jī)的環(huán)形分布，可以組成多視角來(lái)同步撲捉空間的光錐；色彩[λ]可以獨(dú)立處理。因而，最關(guān)鍵的變量是[θ]，[φ]，[Vx]，[Vy]和[Vz]，而[Vz]則可以根據(jù)物距和景深間接度量，剩下的4個(gè)變量就是必須通過(guò)參數(shù)化處理的，方法是：可以用一個(gè)截面記錄投射而來(lái)的光線的方向[θ]和[φ]；用另一個(gè)截面記錄光強(qiáng)信息[Vx]和[Vy]，當(dāng)光線穿過(guò)這兩個(gè)截面時(shí)，交點(diǎn)的坐標(biāo)值就是[θ]和[φ]以及[Vx]和[Vy]。為了方便起見，光線的方位也可以采用直角坐標(biāo)系[（x，y）]代替球面坐標(biāo)系[（θ，φ）]，如圖4所示[12]。

5 頻域中的變換與處理

視覺(jué)系統(tǒng)在將有7個(gè)變量的全光函數(shù)簡(jiǎn)化成只有4個(gè)變量的光場(chǎng)函數(shù)后，是按照神經(jīng)元的刺激?發(fā)放模式進(jìn)行計(jì)算的，這就是Kronecker 積[?]的神經(jīng)計(jì)算。M.Levoy等在1996年提出光場(chǎng)成像的方法時(shí)指出：其關(guān)鍵技術(shù)在于解釋輸入圖像作為一個(gè)四維光場(chǎng)函數(shù)的二維切片如圖5所示。

這個(gè)函數(shù)完全刻畫了在靜態(tài)場(chǎng)景和固定照明中通過(guò)無(wú)障礙空間的光流[10]。它的實(shí)質(zhì)就是四維的傅里葉頻譜可以通過(guò)二維的頻譜切片進(jìn)行處理，如圖6所示。

投影的方向和切片的方向相互垂直（正交投影），顯然，一條直線在切片上的投影是一個(gè)點(diǎn)，維度由2降低到1，一般而言，一個(gè)N維的函數(shù)的像經(jīng)過(guò)M次正交投影，它的切片的維度降低到（N-M），也就是一個(gè)N變量的函數(shù)投影后對(duì)（N-M）個(gè)變量積分，就得到M個(gè)變量的函數(shù)，這個(gè)積分過(guò)程就是投影過(guò)程，它的傅里葉變換就是這里所說(shuō)的切片。利用圖6的再聚焦的幾何關(guān)系，很容易得出成像平面的坐標(biāo)[（x′，y′）]與[（u，v）]坐標(biāo)之間的關(guān)系，光場(chǎng)函數(shù)[LF′（x′，y′；u，v）]代替了[LF（x，y；u，v）]，如式（6）所示，也就是圖中成像平面上的圖像，它與透鏡平面的距離為[F′][=αF]，其中：[α]是相景深；而[F′]則是再聚焦圖像的實(shí)際景深。

6 結(jié) 語(yǔ)

當(dāng)前，以全光函數(shù)為基礎(chǔ)，以光場(chǎng)相機(jī)為研發(fā)目標(biāo)的智能攝影方法的研究，其重要性和包含的應(yīng)用價(jià)值在于以下幾方面[13?16]：

（1） 在計(jì)算機(jī)視覺(jué)中，通過(guò)兩個(gè)攝像機(jī)拍攝的兩幅圖像確定對(duì)應(yīng)點(diǎn)以便建立準(zhǔn)確的三維場(chǎng)景，特別是存在遮擋情況時(shí)，約束條件和算法往往都遇到很大困難。上面提出的全光相機(jī)，用一個(gè)單鏡頭集光，使用微透鏡陣列在圖像平面上記錄射入鏡頭光圈不同子區(qū)的光結(jié)構(gòu)信息，測(cè)量對(duì)應(yīng)的視差，從而獲得場(chǎng)景中客體的景深估計(jì)。它只需要一個(gè)單相機(jī)，利用水平視差和垂直視差，就可使對(duì)應(yīng)點(diǎn)問(wèn)題最小化，沒(méi)有必要在多個(gè)相機(jī)之間建立和維護(hù)校準(zhǔn)。圖像處理算法可以是簡(jiǎn)單的、快速的和魯棒性的。

（2） 在計(jì)算攝影學(xué)中，廣大研究者圍繞全光函數(shù)各維度信息的獲取，進(jìn)行了多方面的探索，研究?jī)?nèi)容包括光場(chǎng)信息的采集、高速運(yùn)動(dòng)對(duì)象的捕獲、多光譜圖像的拍攝與融合、場(chǎng)景深度信息的獲取等。而特別重要的則是從成像機(jī)理上來(lái)改進(jìn)傳統(tǒng)相機(jī)，并將硬件設(shè)計(jì)與軟件計(jì)算能力有機(jī)結(jié)合，突破經(jīng)典成像模型和數(shù)字相機(jī)的局限性，增強(qiáng)或者擴(kuò)展傳統(tǒng)數(shù)字相機(jī)的數(shù)據(jù)采集力，全方位地捕捉真實(shí)世界的場(chǎng)景信息。

（3） 在發(fā)展智能照相技術(shù)的過(guò)程中，全光相機(jī)應(yīng)運(yùn)而生，即使它不久后投放市場(chǎng)，也是一種初級(jí)的試制產(chǎn)品，還需要投入巨大的人力物力對(duì)原型機(jī)進(jìn)行改進(jìn)。例如，在R. Ng（吳仁）設(shè)計(jì)的全光照相原型機(jī)中，使用的圖像傳感器的分辨率是4 000×4 000，角度分辨率是14×14，所以最后得到的圖像的空間像素分辨率只有292×292。因此，提高空間像素分辨率就是一個(gè)關(guān)鍵問(wèn)題。其中，專用算法則是核心的競(jìng)爭(zhēng)技術(shù)，從事算法研究的科技人員，就應(yīng)當(dāng)在即將到來(lái)的激烈競(jìng)爭(zhēng)中，為我國(guó)自己的產(chǎn)品提供具有知識(shí)產(chǎn)權(quán)的專用算法。因?yàn)椋庀鄼C(jī)不僅僅用于大眾照相，它也有十分重要的科學(xué)與軍事方面潛在的應(yīng)用價(jià)值， 對(duì)全光函數(shù)中的波長(zhǎng)[λ]進(jìn)行超光譜采集，已經(jīng)廣泛用于軍事安全、環(huán)境監(jiān)測(cè)、生物科學(xué)、醫(yī)療診斷、科學(xué)觀測(cè)等諸多領(lǐng)域。在計(jì)算機(jī)視覺(jué)、圖形學(xué)領(lǐng)域中，如物體跟蹤、圖像分割、識(shí)別、場(chǎng)景渲染等，也受益于超光譜采集技術(shù)的發(fā)展，獲得了突破。

筆者希望，在全光函數(shù)與光場(chǎng)相機(jī)這一新興領(lǐng)域，國(guó)內(nèi)相關(guān)研究團(tuán)隊(duì)，值得進(jìn)行一些基礎(chǔ)性的研究工作，包括視覺(jué)信息處理問(wèn)題； 而在相應(yīng)的智能信息處理的理論與應(yīng)用方面，發(fā)揮己之所長(zhǎng)，可望取得一定的成績(jī)。

致謝：作者向支持本研究的單位和同事以及此處引用文獻(xiàn)的所有作者，表示衷心的感謝。

參考文獻(xiàn)

[1] NG R， LEVOY M， BREDIF M， et al. Light field photography with a handheld plenoptic camera [R]. Palo Alto： Stanford University， 2005.

[2] LANDY M， MOVSHON J. The plenoptic function and the elements of early vision [C]// Proceedings of Computational Models of Visual Processing. Cambridge： MIT Press， 1991： 3?20.

[3] ADELSON E H， WANG J Y A. Single lens stereo with a plenoptic camera [J]. IEEE transactions on pattern analysis and machine intelligence， 1992， 14（2）： 99?106.

[4] 戴瓊海，馬晨光，曹汛.透過(guò)全光函數(shù)看計(jì)算攝影發(fā)展[J].中國(guó)計(jì)算機(jī)協(xié)會(huì)通訊，2012，8（8）：8?12.

[5] MCMILLAN L， BISHOP G. Plenoptic modeling： an image?based rendering system [C]// Proceedings of the 22nd Conference on Computer Graphics and Interactive Techniques. [S.l.]： ACM， 1995： 39?46.

[6] WILBURN B， JOSHI N， VAISH V， et al. High speed video using a dense camera array [J]. Ultrahigh speed and high speed photography photonics and videography， 2004， 5（8）： 1583?1595.

[7] LEVOY M， NG R， ADAMS Andrew， et al. Light field microscopy [J]. ACM transactions on graphics， 2006， 25（3）： 924?934.

[8] CAO X， TONG X， DAI Q H， et al. High resolution multispectral video capture with a hybrid camera system [C]// Proceedings of 2011 IEEE Conference on Computer Vision and Pattern Recognition. Providence： IEEE， 2011： 297?304.

[9] Anon. Diagram of depth of field [EB/OL]. [2001?05?06]. http：//www.xitek.com/xuetang/optics/depthoffield.htm.

[10] LEVOYM B H. Light field rendering [J]. ACM transaction on graphics， 1996， 25（5）： 31?42.

[11] 張軍，李雯.計(jì)算攝影學(xué)：時(shí)間維度的拓展[J].中國(guó)計(jì)算機(jī)協(xié)會(huì)通訊，2012，8（8）：19?24.

[12] FORSYTH D A， PONCE J. Computer vision： a modern approach [M]. 2nd ed. New Jersey： Prentice Hall， 2012.

[13] 章國(guó)鋒，姜翰青，鮑虎軍.基于圖像的深度計(jì)算[J].中國(guó)計(jì)算機(jī)協(xié)會(huì)通訊，2012，8（8）：29?37.

[14] AGARWAL S， SNAVEL N， SIMON I， et al. Building Rome in a day [C]//Proceedings of Twelfth IEEE International Conference on Computer Vision. Kyoto， Japan： IEEE， 2009， 120?128.

[15] 楊峰，索津莉.光場(chǎng)理論、采集及應(yīng)用[J].中國(guó)計(jì)算機(jī)協(xié)會(huì)通訊，2012，8（8）：13?18.

[16] 聶云峰，相里斌，周志良.光場(chǎng)成像技術(shù)進(jìn)展[J].中國(guó)科學(xué)院研究生院學(xué)報(bào)，2011，28（5）：563?572.