不同插值算法的光場重聚焦分析

常 青，趙雙明

（武漢大學 遙感信息工程學院，湖北 武漢 430079）

引言

光場[1]的概念在1936 年被提出，用于描述光在空間中的分布特征。在后期發(fā)展中，七維光場[2]被提出，用來描述光線在空間中任意時刻所在的位置，可以用七維全光函數(shù)形式表示。七維全光函數(shù)記錄的光場數(shù)據(jù)量過大，使得光場數(shù)據(jù)的采集、記錄、存儲都存在較大的難度，應用和發(fā)展受到了極大限制。因此，在不考慮光線傳播途中頻率的變化，任意時刻的光線可以用五維光場[3]表示。直到1996 年，人們開始用四維光場[4]的概念記錄光線的位置和方向信息，目前比較常用的是雙平面參數(shù)法，該方法采用記錄兩個平行平面上兩點來記錄光線的空間位置和方向信息，如圖1 所示。

光場數(shù)據(jù)的采集可以分為相機陣列和光場相機兩種，相比于多相機陣列使用的規(guī)模限制，光場相機在實際生活中更易得到廣泛使用。光場相機[5]又稱全光相機，與傳統(tǒng)相機相比，光場相機在記錄光線強度的同時，還記錄了光線的位置和方向信息。2005 年，Ren 研制出了一款手持光場相機[6]，可以增強光場相機的便攜性，其特殊設計在于將傳感器安裝在微透鏡陣列的焦平面上以減少漸暈效應。將光場相機采集到的四維光場數(shù)據(jù)進行數(shù)字處理，可以得到其景物的深度信息。目前，光場相機在圖像重聚焦、三維重建、目標識別和場景監(jiān)控等方面得到了廣泛應用。

近年來，在光場數(shù)據(jù)的獲取、重聚焦，以及三維建模方面，國內(nèi)外學者做出了諸多研究。利用傳統(tǒng)相機在一次拍攝中獲取多模態(tài)圖像進行圖像合成[7]。為了提高光場相機采集數(shù)據(jù)的精度，需要將微透鏡陣列和探測傳感器進行配準和誤差分析[8]，在光場數(shù)據(jù)處理中，可以從光學器件方面建立像素光場與標準光場之間的聯(lián)系，進行光場相機的標定[9]；模擬奇異的顯微鏡照明模態(tài)并以數(shù)字方式校正光學像差[10]；采用點擴散模型對光場模型進行分析評測[11]；對于稀疏的光場數(shù)據(jù)采樣，采用啟發(fā)式數(shù)據(jù)插值的方法可以消除鋸齒效應[12]，通過極平面圖像分析視差估計圖，降低視差匹配中的成本[13]。對于光場數(shù)據(jù)的頻域重聚焦，通過零填充增強圖像的可見性和分辨率[14]，采用角度分辨率進行換算增大其空間分辨率[15]。

光場相機是目前較為常用獲取四維光場數(shù)據(jù)的方法之一，相比多相機陣列方法，其適用范圍更為廣泛。根據(jù)成像方式不同，目前常用的光場相機可以分為針孔成像和微透鏡成像兩種。相比于針孔成像，微透鏡對光場的記錄更為完整，因此在實際應用中更為廣泛，其相機成像模型如圖2 所示。

對于光場數(shù)據(jù)重聚焦，本文采用了已面向市場的Lytro 全光相機[16]獲取的光場數(shù)據(jù)，使用MATLAB進行數(shù)據(jù)重聚焦實驗。通過實驗，對不同插值方法的空間域和頻域重聚焦的效果和速率進行對比分析，在滿足像質(zhì)要求的情況下，選擇速率最高的方法進行重聚焦。

1 空間域重聚焦插值算法

1.1 空間域重聚焦原理

空間域重聚焦（spatial domain refocusing），是依據(jù)光場相機成像模型得到的。傳統(tǒng)相機在拍攝過程中，可以通過改變主透鏡到傳感器的距離改變對焦深度。而光場相機記錄了光線的四維空間信息，可以在拍攝完成后，通過數(shù)字處理完成不同深度的對焦，即“先拍照后對焦”。通過重采樣的方法獲得四維光場數(shù)據(jù)，以二維情況進行討論分析，重聚焦模型如圖3 所示。

圖 3 光場相機重聚焦模型Fig. 3 Light field camera refocusing model

圖中，L 為采集到的光場，U 和S 分別表示主鏡頭孔徑所在平面和微透鏡陣列所在平面，兩個平面之間的距離為F。選擇新的對焦平面S′，與U 面之間的距離為F′，令 F′=αF。重聚焦平面S′面上所成的像等于US′之間光場的積分，即：

從（1）式中可以看出，數(shù)字對焦就是對光場聚焦面的深度進行平移調(diào)節(jié)后，在方向維度進行積分的過程。可以推廣至四維光場，獲得的重聚焦能量值為

空間域積分重聚焦就是在采集到的四維光場數(shù)據(jù)上，通過不同的 α值平面確定不同深度的重聚焦平面，分別對遠近不同的物體進行聚焦。根據(jù)相機成像原理，不同景深對應的焦平面成像效果如 圖4 所示。

圖 4 相機聚焦模型Fig. 4 Camera focusing model

根據(jù)景物的不同景深，在相機的焦平面成像的過程中，焦平面前移，后景在焦平面上清晰成像，焦平面后移，前景在焦平面上清晰成像。根據(jù)不同 α聚焦不同的景深，其近景、遠景的重聚焦效果如圖5 所示。

圖 5 重聚焦圖像Fig. 5 Refocusing images

由圖5 可以看出，該重聚焦方法對遠處和近處景物清晰度的變化取得了較好的結(jié)果，但是當焦距景深縮小時采集到的景物范圍變小，而焦距景深增大，整體圖像縮小使得圖像整體清晰度降低。該方法對原始數(shù)據(jù)的利用率較低，將采樣點在微透鏡陣列上的坐標系數(shù)等比例縮放，通過變形公式使重采樣圖像的大小與原始圖像大小一致，重采樣公式為

圖 6 變形公式重聚焦Fig. 6 Deformation formula refocusing

根據(jù)其幾何原理，對相應二維情況進行分析，可以得到該方法重聚焦的焦平面位置以及聚焦情況。該方法重聚焦方式如圖6 所示。 圖中該新聚焦平面的聚焦深度與原調(diào)節(jié)參數(shù) α的關(guān)系是： k=2?。由此可以計算出，當原模型采用 α=1.2進行重聚焦時，其聚焦景深與改進模型參數(shù)k=2?=1.167時一致，將這兩種形式對應相同實 際聚焦平面的情況進行對比，如圖7 所示。

圖 7 兩種重聚焦效果對比Fig. 7 Comparison of two refocusing effects

根據(jù)對比分析，在取得同樣聚焦深度時，與原重聚焦模型相比，改進公式重聚焦影像不改變圖像的大小和成像范圍，同時對原始數(shù)據(jù)利用率更高。

1.2 空間域不同插值算法實驗分析

在實際光場圖像重聚焦中，四維光場數(shù)據(jù)由離散點組成。在空間域重聚焦積分前，對微透鏡陣列上每一個透鏡對新聚焦平面上每一點的光照影響需要進行插值計算。常見的插值方法有：臨近點插值（nearest）、線性插值（linear）以及三次Hermite 插值（cubic）。

在一維插值中，臨近點插值法的原理是從采樣點左右樣本點中，選擇距離較近點的值作為采樣點的值；線性插值是根據(jù)左右樣本點與采樣點的距離作為權(quán)值求和，3 個點滿足線性關(guān)系；三次Hermite 插值根據(jù)左右樣本點的值和采樣點位置，計算其一階導數(shù)，并采用基函數(shù)的方法構(gòu)造其插值函數(shù)。3 種算法中，臨近點插值計算復雜度最低，插值結(jié)果誤差最大；三次Hermite 插值復雜度最高，插值結(jié)果精度最高。

對于同一圖像，在相同重聚焦深度情況下，分別采用這3 種插值方法進行實驗分析，并比較多次重采樣的效率。在k=1.2 時，成像效果如圖8 所示。為了對重聚焦效率進行更為清晰的分析，分別進行1～10 次的重聚焦實驗，實驗結(jié)果對比如圖9所示。

圖 8 空間域不同插值方法重聚焦效果Fig. 8 Refocusing effects of different interpolation methods in spatial domain

圖 9 3 種插值方法耗費時間對比Fig. 9 Time-consuming comparison of three interpolation methods

通過圖8 直觀判斷，線性插值法和三次Hermite插值法重聚焦效果能達到基本像質(zhì)需求。對于不同插值方法得到的重聚焦圖像質(zhì)量進行量化分析，可以采用無參考評價方法（NR）對重聚焦質(zhì)量進行評估。無參估計無需參考圖像，僅通過自身特征來評價圖像質(zhì)量，包括面向特定失真和非特定失真這兩種方法。在空間域插值中造成的模糊等 失 真 采 用BIQI（blind image quality index）[17]和NIQE（natural image quality evaluator）[18]無參評價的方法對圖像質(zhì)量進行評估。BIQI 原理是基于小波域的統(tǒng)計特性算法，包括兩級框架。先通過支持向量機SVM 識別圖像每一種失真的可能性，再通過無參方法計算每一種失真可能性下圖像的質(zhì)量，最好加權(quán)平均。BIQI 取值在0～100 之間，值越小質(zhì)量越好。對這三種插值方法的BIQI 值如表1 所示。NIQE 原理是通過歸一統(tǒng)計分析，測量統(tǒng)計特征的改變來評測圖像質(zhì)量。該方法圖像的質(zhì)量得分較高值代表較低質(zhì)量。

表 1 空間域重聚焦圖像質(zhì)量指標值Table 1 Index value of refocusing image quality in spatial domain

通過實驗結(jié)果可知，NIQE 值差異較小，BIQI差異較大，兩種方法三次Hermite 插值法均最佳。結(jié)合成像主觀判斷可以得出，臨近點插值重聚焦效果較差，線性插值法和三次Hermite 插值法重聚焦效果能達到基本像質(zhì)需求。通過耗費時間量的對比，發(fā)現(xiàn)空間域重采樣耗費時間與采樣方法及聚焦次數(shù)密切相關(guān)，隨著重聚焦次數(shù)的增多，三次Hermite 插值法耗費時間將遠大于線性插值法。因此，在實際大量數(shù)據(jù)處理中，采用線性插值的方法在滿足精度情況下，重聚焦速率最快。

2 頻域重聚焦插值算法

2.1 頻域重聚焦原理

頻域重聚焦（frequency domain refocusing）的核心思想是傅里葉切片定理[19]。在頻率域數(shù)據(jù)處理中，需要引入傅里葉變換將空間域數(shù)據(jù)轉(zhuǎn)換為頻域數(shù)據(jù)。傅里葉切片定理表明，將二維圖像在一維方向上積分投影結(jié)果進行傅里葉變換的結(jié)果，與將該二維圖像傅里葉變換結(jié)果取一維切片的結(jié)果一致?？梢詫⑵渫茝V至多維變換，其性質(zhì)表明N 維函數(shù)對其進行坐標變換后將其積分投影至M 維進行傅里葉變換，那么這個變換等于對函數(shù)求傅里葉變換，然后進行坐標逆變換，最后取該變換的M 維切片，用算子簡化表示為

式中：I 表示N 維到M 維的積分投影過程；S 表示將N 維函數(shù)降維到M 維過程；F 表示對N 維函數(shù)進行傅里葉變換；B 表示坐標變換矩陣；“ ?”表示數(shù)據(jù)處理操作的結(jié)合。結(jié)合空間域重聚焦公式，可以表示為

式中：L 表示四維光場數(shù)據(jù)；[*]表示對*數(shù)據(jù)進行處理運算。在頻率域重聚焦中，為了方便處理四維光場數(shù)據(jù)，首先需要將二維傅里葉切片定理延展至多維，然后降維至四維進行四維光場數(shù)據(jù)處理，就可以在頻率域?qū)崿F(xiàn)光場相機重聚焦。重聚焦的光譜能量為

由（6）式推導得，對光場數(shù)據(jù)頻域處理的坐標公式可以轉(zhuǎn)換為

式中 α表示成像焦平面深度改變比例尺，與空間域相同。根據(jù)空間域的變形公式，將其帶入傅里葉切片定理進行分析計算，可以得到光場數(shù)據(jù)頻域處理模型的改進公式為

通過對比分析，在對四維頻域數(shù)據(jù)取切片的過程中，原模型需要對四維數(shù)據(jù)均進行插值，而改進模型僅需要在微透鏡陣列的二維平面上進行插值取切片。因此，改進公式可以有效提高取切片過程中的計算效率，并降低插值誤差帶來的影響。

2.2 sinc 插值算法

在一維坐標系中，樣本點為 x1,x2,···,xn，對應樣本值為 y1,y2,···,yn，使用sinc 插值方法[20]進行采樣，采樣公式為

圖 10 sinc 函數(shù)波形圖Fig. 10 sinc function oscillogram

在實際應用中，將所有樣本點用于插值卷積會使插值計算量非常大，且隨著樣本點與采樣點距離的增大，其精度的提高很小。通過改變卷積核大小，在滿足采樣精度情況下，提高計算效率。在卷積核半徑為R 時，采樣公式為

對光場頻域重聚焦取切片的插值方法，可以引入更為理想的插值濾波器sinc 函數(shù)。在數(shù)字信號處理中，sinc 函數(shù)可以使插值后的波譜數(shù)據(jù)更加平滑，更加接近正弦波形，其帶限與光場的空間界限相匹配。隨著sinc 插值半徑增大，聚焦精度提高消耗時間增大，常用的3 種插值方法相當于插值半徑為1 個像素。而sinc 插值的方法忽視了數(shù)據(jù)空間域中的幾何結(jié)構(gòu)，因此對空間域插值方法并不適用。

2.3 頻域不同插值算法實驗分析

由于四維光場數(shù)據(jù)的離散性，與空間域相同，頻域重聚焦在取切片過程中需要進行插值計算。為了驗證插值方法對重采樣效果和速率的影響，分別采樣常見的3 種插值方法和不同采樣半徑的sinc 插值法進行實驗。對于同一幅影像，在重聚焦參數(shù)k=0.85 時，成像效果如圖11 所示。

頻域插值誤差導致圖像空間域的誤差與圖像模糊、噪聲等常見的圖像失真不同，其對重聚焦后的圖像帶來偽像的影響，因此對于頻域重聚焦影像，常用的無參圖像質(zhì)量評估不能很好地評測圖像質(zhì)量。因此，在這里引用空間域三次插值的重聚焦影像作為參考，以全參考圖像質(zhì)量評估方法峰值信噪比（peak signal to noise ratio，PSNR）和平均結(jié)構(gòu)相似性（mean structural similarity，MSSIM）進行評測。PSNR 是通過計算兩幅圖像誤差判斷失真圖像質(zhì)量，值越大代表兩幅圖效果越接近。MSSIM 根據(jù)結(jié)構(gòu)相似性作為評價指標，與SSIM相比，通過多次迭代和濾波采樣能更好地與人類視覺感官保持一致，值越大代表兩幅圖相似度越高。不同插值方法頻域重聚焦圖像的質(zhì)量評價指標值如表2 所示。

圖 11 頻域不同插值方法重聚焦效果Fig. 11 Refocusing effects of different interpolation methods in frequency domain

表 2 頻域重聚焦圖像質(zhì)量指標值Table 2 Index value of refocusing image quality in frequency domain

根據(jù)實驗結(jié)果分析，由于光場數(shù)據(jù)的離散性，在傅里葉切片計算過程中會產(chǎn)生誤差，導致重聚焦圖像中產(chǎn)生偽像，嚴重影響重采樣效果。因為在傅里葉變換中，頻率域的微小誤差會對其逆變換之后的空間域造成較大影響。插值誤差對頻率域的影響遠大于對空間域的影響，因此，對空間域而言，雙線性插值法即可達到較為良好的效果，而對頻域重聚焦，采樣sinc 插值法半徑足夠大時可以有效降低偽像的干擾，對提高精度有明顯效果。

由于頻域重聚焦耗費時間量主要在于傅里葉變換，傅里葉變換時間約為0.4 s，遠大于每一次取切片插值的時間，為了更好地比較插值效率，這里僅分析計算插值所需時間。對于同一張影像用不同插值方法進行多次重聚焦比較其計算效率，對比結(jié)果如圖12 所示。

圖 12 頻域不同方法重聚焦效率Fig. 12 Refocusing efficiency of different methods in frequency domain

根據(jù)實驗結(jié)果定量分析和直觀判斷,三次插值和sinc 插值均能較好地抑制偽像的影響。而插值效率主要取決于插值半徑，對同一幅影像不同深度進行多次聚焦時，其效率遠高于空間域。在采樣半徑為3 個像素時去除偽像效果最好，耗時最多。結(jié)合插值效率和圖像質(zhì)量，在實際應用中，在滿足重聚焦精度情況下，根據(jù)所需重聚焦的計算量，sinc 插值函數(shù)半徑一般選擇2 個像素時最佳。

3 空間域和頻域重聚焦實驗分析

3.1 空間域重聚焦和頻域重聚焦對比分析

實驗對比分析，在滿足精度的同時還需考慮插值效率的影響?？臻g域計算復雜度主要在于插值及對插值結(jié)果進行積分，頻率域的計算復雜度主要在于傅里葉變換和插值運算。為了比較空間域和頻域不同插值方法重聚焦方法的效果，分別選取基于cubic 插值的空間域重聚焦、基于cubic 插值和基于sinc 插值（插值半徑為2 像素）的頻域重聚焦，對不同影像采用這3 種方法進行聚焦，采用無參評價BIQI 和NIQE 指標值對重聚焦圖像質(zhì)量進行評估。重聚焦效果如圖13 所示，其無參評估指標BIQI 和NIQE 值如表3 所示。

圖 13 三種重聚焦方法的重聚焦效果Fig. 13 Refocusing effects of three refocusing methods

表 3 重聚焦圖像質(zhì)量指標值Table 3 Index value of refocusing image quality

實驗結(jié)果表明，采用適當插值方法，空間域和頻域重聚焦均能得到質(zhì)量較好的圖像。改進后基于半徑為2 像素的sinc 插值優(yōu)于常用的三次插值，在部分情況下改善效果顯著。

3.2 適用性分析

為了驗證空間域線性插值和頻域改進插值方法后重聚焦方法的適用性，通過實驗對多幅光場數(shù)據(jù)的重聚焦效果進行檢驗。在這里選擇對其他3 幅光場數(shù)據(jù)進行實驗，分別對其遠景和近景進行重聚焦，實驗結(jié)果證明均能得到良好的聚焦效果。其重聚焦效果如圖14 所示。

圖 14 兩種重聚焦方法的遠近景重聚焦效果（左：近景；右：遠景）Fig. 14 Far-and-close view refocusing effects of two refocusing methods（left：close view，right：far view）

4 結(jié)論

本文分析了微透鏡陣列光場相機記錄的光場數(shù)據(jù)重聚焦幾何原理，以及根據(jù)傅里葉切片定理得到的頻域重聚焦方法，并采用不同的插值方法，將光場數(shù)據(jù)分別從空間域和頻率域進行重聚焦實驗，分析重聚焦效果和計算速率。首先，對于重聚焦模型，改進后的公式可以提高數(shù)據(jù)的利用率，使重聚焦后的圖像大小與范圍與原圖保持一致。在頻域重聚焦中，改進后的公式將四維插值簡化為二維插值，極大地降低了插值誤差帶來的影響，提高了計算效率。重聚焦實驗表明，對于同一幅影像進行不同深度的重聚焦，空間域方法隨著重聚焦次數(shù)增多耗費時間明顯增多，而頻域方法耗費時間增長慢。因此在實際應用中，如需對同一張影像進行多次重聚焦可以選取頻域方法。通過實驗驗證了重聚焦的精度和效率主要取決于重采樣插值方法。對于空間域而言，雙線性插值一般可以達到較為優(yōu)良的效果，并保持較快計算效率。對于頻域而言，插值效率主要取決于插值半徑，在基本消除偽像誤差情況下，選擇插值半徑為2 像素具有較高效率。