基于頻域的像素光場圖像重聚焦算法

王宇　張旭　屠大維

摘要：

提出一種基于像素光場的頻域重聚焦算法。首先建立四維光場與像素光場的關系模型，然后基于傅里葉變換，建立了像素光場的重聚焦方法，并分析了傅里葉切片的作用和重采樣的方法。在實驗中，對比積分投影法，分析兩種不同方法對同一場景的重聚焦效果，評價了兩種方法的計算效率。實驗結果表明，基于頻域的傅里葉切片法在結果上等效于積分投影法，但是計算負擔更小。

關鍵詞：

像素光場； 重聚焦； 傅里葉切片

中圖分類號： TP 391文獻標志碼： Adoi： 10.3969/j.issn.10055630.2016.02.006

Abstract：

This paper provides a refocus algorithm of the pixel light field in the frequency domain. It needs to pixelate the 4D light field data at first， then establishes the way of refocus in the Fourier transform and analyses the effect of Fourier slice and procedure of resample. Comparing with the method of integral projection in the experiment， the refocus results about the same scene of the two different ways are explained and the efficiency of each is evaluated. The experimental results show that the Fourier slice has a better computational performance which can achieve the same as the result with integral projection.

Keywords： pixel light field； refocus； Fourier slice

引言

光場有別于傳統(tǒng)的二維圖像，是對場景空間中既包含位置信息、又包含方向信息的所有光線的四維光輻射場的參數化的表示[1]。傳統(tǒng)相機對拍照的要求高，尤其是面對高速運動或是多目標場景拍攝時，經常出現離焦等現象。如抓拍高速運動物體，要減少高速運動的物體造成的運動模糊，如果減少曝光時間，則圖像過暗；若增大孔徑，則景深過小，造成背景模糊[2]。當面對多目標場景，除聚焦點之外的物體則難以成像清晰。與之相對的，光場成像技術通過先拍攝后聚焦的技術提供了解決這些問題的新途徑。它可以記錄場景中自由光線傳播的四維位置和方向信息，比傳統(tǒng)的相機記錄的內容更加豐富，增加了兩維方向信息[1]；通過數字重聚焦技術，還可以在拍攝之后重新選擇焦點或是全景深融合，解決離焦或背景模糊等問題[34]。

光場圖像信息在存儲時有別于傳統(tǒng)的二維圖像：普通二維圖像存儲為RGB二維矩陣；光場圖像為了在保留位置信息的前提下，增加方向信息，用四維光場模型（其中位置坐標兩維，方向坐標兩維）來表示。如圖1所示，光線L（u，v，s，t）在空間中沿直線傳播[5]。根據Levoy的光場渲染理論[6]，空間中攜帶強度和方向信息的任意光線，都可以用兩個平行平面來進行參數化表示。因此，光場中的每條光線都可以用L（u，v，s，t）表示，其中，[u，v]代表位置信息，[s，t]代表方向信息[7]。圖1中d為兩個平面間的距離，模型化距離為1，而在實際進行光場變換的過程中，d會隨著焦點的改變而改變。

作為光場成像中的核心技術之一，數字重聚焦的方法有很多，主要可以分為基于空間域的積分投影[89]和基于傅里葉切片定理的信號處理的方法（以下簡稱傅里葉切片定理）[410]兩大類?；诳臻g域的投影積分法，主要是對光線沿光路的投影積分。鑒于光場數據是四維的，因此，計算相對比較繁瑣；相較于前者，基于頻域的信號處理的方法為我們提供了一個全新的關于光場圖像的處理視角[11]，使得關于光場重聚焦的推導過程更加嚴密，同時，這種完全不同的算法在數字重聚焦的計算方面更加快捷[412]。無論是在計算性還是理論性，基于傅里葉切片定理的信號處理的方法，都是優(yōu)于空間域的計算方法。

本文將頻域處理方法用在光場成像數字重聚焦算法中，建立像素光場模型，提出一種基于像素光場的傅里葉切片方法，并給出推導過程。從計算簡便性和理論優(yōu)越性方面，與空間域積分投影法進行比較分析，實驗證明傅里葉切片法的優(yōu)勢。

1傅里葉切片法

無論是積分投影法還是傅里葉切片法，都是基于光場理論。光場理論基于光場渲染理論，即當已知某平面位置的光場信息，則該光場在移動一定距離后，光場信息發(fā)生轉變，聚焦點也隨之變化[6]。如圖2所示，A、B、C三個物體具有不同的深度，傳統(tǒng)相機的聚焦面只能在一定深度，如圖2所示的物體理想位置。此時，A清晰成像，B和C則模糊。同量，當聚焦面移動到其他位置，亦會導致其它物體離焦而不清晰。光場成像理論則不同，依靠在主透鏡和CCD之間添加的微透鏡陣列，圖3所示，光線穿過微透鏡陣列到達CCD，與二者的交點分別為[Mpx，Mpy]，[Ipx，Ipy]，位置信息已經記錄；對于同一條光線，將二者對應坐標相減，可得到偏移量，即光線的方向信息，這樣，不僅記錄了場景光線的位置信息，同時可以記錄其方向信息[13]。經過數學變換，可以有效還原場景的三維信息。

式中：[u，v]表示透鏡陣列所在的平面位置；[s，t]表示光場的方向信息。3D場景中的光線通過空間和光學器件到達傳感器。這些光學器件需要經過仔細挑選，并按照期望的光學流程布置，才能合理編碼可利用的視覺信息。光場能夠記錄光線，利用了微透鏡陣列空間復用原理[15]。

一條光線與兩平面分別相交于O和Od，這兩個平面的距離d=1，直線OO′與兩平面垂直。因此，第一個平面上的O點就表示位置信息[u，v]T，而向量O′Od表示方向信息[s，t]T。由此可得，光線OOd可以表示為[u，v，s，t]T。

在理想成像面處放置透鏡陣列，在透鏡陣列1倍焦距（微透鏡陣列的焦距）處放置CCD感光器件，如圖3所示。根據高斯成像原理，1倍焦距處的成像是平行入射光線所致。CCD上對應同一個小透鏡，不同的像素來源于不同方向的光線。因此CCD的像素位置光與其小透鏡中心位置的偏移量為[px，py]T，相當于光線的方向。

首先將相機獲得的光場信息轉化為標準的光場描述?？紤]到像素尺寸大小pw，微透鏡焦距fm，則光場的方向描述[s，t]T可由下式得到

1.2傅里葉切片法原理

基于頻域的傅里葉切片法，提出一種全新的快速的光場圖像數字重聚焦算法。傅里葉中心切片定理最早是由Bracewell 在無線電航天領域提出的，其表述為二維函數的傅里葉頻譜的一維切片，即為其二維函數的正交投影積分的傅里葉變換。因為在頻域空間的起點，函數的信號值是直流量，不隨時間變化[1617]，因此，旋轉或者剪切等操作，是不會產生任何影響。為了將二維空間延伸至四維空間，同時方便操作，需要引入切片算子B。

根據式（1），對當前透鏡陣列所在平面的光場進行變換，改變成像平面的位置，該位置變量由距離d決定。將式（4）代入式（1）可得

（3） 計算二維傅里葉切片的反變換，對每個透鏡下的像素求和，即可得到理想深度d下的重聚焦圖片。這一步的計算復雜度為O（n2log2n）。

作為解決同一問題的不同方法，基于空間域的積分投影法和基于頻域的傅里葉切片法，都可以完成數字重聚焦的工作。圖4為兩種不同的重聚焦算法的示意圖。圖5（a）、（b）分別為空間域和頻域同時在d=-7處的聚焦效果圖對比。圖5（c）為二者相減得到的像素差的偽彩色圖。其中，圖像的存儲數據類型為無符號16位（uint 16），范圍是0～65 535。偽彩色圖的數值范圍為[0，65]，與數據相差三個數量級，誤差率小于65/65 535≤1×10-3，即0.1%，近似相等。

因其看待問題的角度不同，因而在算法的具體實現上，二者的繁易程度會有差別。積分投影法的計算復雜度主要集中在積分投影部分。由于正反傅里葉變換是公式化的，因此，傅里葉切片法的計算復雜程度主要取決于兩側的投影積分和二維傅里葉切片。由圖中可以看出，頻域內的計算復雜度為O（n2），空間域內的為O（n4）。顯然，傅里葉切片法要比積分投影法快捷許多。

如圖6所示，對同一深度連續(xù)聚焦21次的時間對比?？梢钥闯?，這就驗證了上述理論的正確性，傅里葉切片法比前者有更快的運行速度。

2數字重聚焦

不同于空間域的算法，基于頻域的傅里葉切片法，首先對四維光場進行預處理，然后傅里葉變換，在頻域完成數字重聚焦后，再將圖像由頻域反變回空間域。RGB三通道分別進行傅里葉變換，然后對每個透鏡進行重采樣來進行光場重聚焦：首先尋找二維切片的坐標（px′，py′），然后利用立方插值，通過二維切片坐標，根據新的焦點，對光場圖像進行重采樣[18]，即數字重聚焦；最后，非數字數據全部置零，經傅里葉反變換，即可得到新的焦點下的重聚焦圖像。其中，圖7為像素光場raw圖像，圖8為重聚焦圖像。圖8（a）是焦點在前方（靠近鏡頭處），圖8（b）是焦點在后方（遠離鏡頭處），圖8（c）為近景聚焦，圖8（d）為遠景聚焦。

3結論

本文提出基于像素光場的傅里葉切片算法實現光場重聚焦?；诠鈭隹臻g復用的原理推導出標準光場與像素光場的關系，并將空間變換轉化到像素光場上。根據傅里葉變換原理推導出在頻域的光場重聚焦等效方法。通過理論分析，兩者是等效的，且時間復雜度上頻率的傅里葉切片方法更小。實驗表明，與空間域相比在達到同樣效果的前提下，同樣可以完成光場重聚焦的功能，而且具有更快的運行速度，在處理大數據的情況下優(yōu)勢明顯。

參考文獻：

[1]ALEXANDER GERSHUN.The light field[J].Journal of Mathematics and Physics，1939（18）：51151.

[2]聶云峰，相里斌，周志良.光場成像技術進展[J].中國科學院研究生院學報，2011，28（5）：564572.

[3]NG R，LEVOY M，BRDIF M，et al.Light field photography with a handheld plenoptic camera[R].[S.l.]：Stanford Tech Report CSTR，2005：111.

[4]NG R.Digital light field photography[D].California：Stanford University，2006：187.

[5]ADELSON E H，WANG J Y A.Single lens stereo with a plenoptic camera[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，1992，14（2）：99106.

[6]LEVOY M，HANRAHAN P.Light field rendering[C]//Proceedings of SIGGRAPH.New York：ACM Press，1996：3142.

[7]LEVOY M，ZHANG Z，MCDOWALL I.Recording and controlling the 4D light field in a microscope using microlens arrays[J].Journal of Microscop，2009，235（2）：144162.

[8]NG R.Fourier slice photography[C]//Proceedings of SIGGRAPH.New York：ACM Press，2005：735744.

[9]CASTLEMAN H R.Digital image processing[M].Englewood Cliffs，New Jersey：Prentice Hall，1979.

[10]LEVOY M.Light fields and computational imaging[J].Computer，2006，39（8）：4655.

[11]DURAND F，HOLZSCHUCH N，SOLER C，et al.A frequency analysis of light transport[J].ACM Transactions on Graphics，2005，24（3）：11151126.

[12]周志良.光場成像技術研究[D].北京：中國科學技術大學，2012：114.

[13]CHEN W C，BOUGUET J Y，CHU M H，et al.Light field mapping：effcient representation and hardware rendering of surface light field[C]//Proceeding of SIGGRAPH.New York：ACM Press，2002：447456.

[14]張旭，李晨.微透鏡陣列式光場成像模型及其標定方法[J].光學學報，2014，34（12）：95107.

[15]ZHANG X，LI C.Model of light field imaging and its application in refocus and allfocus[J].Advanced Materials Research，2014，1039：266273.

[16]BRACEWELL R.The Fourier transform and its applications[M].New York：McGrawHill，1965.

[17]LEVOY M.Volume rendering using the fourier projectionslice theorem[C]//Proceedings of graphics interface.Vancouver：Canadian Information Processing Society，1992，6169.

[18]DANSEREAU D G，PIZARRO O，WILLIAMS S B.Decoding，calibration and rectification for lenseletbased plenoptic cameras[C]//Proceeding of computer vision and pattern recognition （CVPR）.Portland，OR：IEEE，2013：10271034.

（編輯：張磊）