光場圖像基線編輯方法*

晏 濤，謝檸宇，王建明，王士同,2，劉 淵,2

1.江南大學 數字媒體學院，江蘇 無錫 214122

2.江蘇省媒體設計與軟件技術重點實驗室，江蘇 無錫 214122

1 引言

隨著消費級和工業(yè)級光場相機的快速發(fā)展，光場圖像處理算法引起了越來越多研究者的關注。光場相機主要采用主鏡頭加微鏡頭陣列的設計方案，僅需一次曝光便可在單個圖像傳感器上記錄下完整的四維光場信息。光場圖像能夠同時記錄場景中光線的位置和方向信息，其保存的豐富三維場景結構信息可以支持各種核心的圖像編輯任務，如圖像重聚焦、圖像拼接[1]、全景圖生成[2]、立體透視圖像生成[3]和立體顯示等。

光場圖像相鄰子視點間的軸距（baseline）和子視點圖像中心像素在圖像傳感器上的偏移量（shift）是兩個核心參數，可以通過編輯這兩個參數重構光場圖像。通過移動單個相機拍攝一組規(guī)則的多視點圖像[4]或者采用相機陣列的方案[5]可以獲取一組光場數據。光場圖像可以分解為一個二維的子視點陣列。相對于普通的多視點立體圖像，光場圖像分解得到的子視點之間軸距較小，圖像的空間分辨率較低，且目前在光場相機硬件實現上尚無有效的解決辦法。在進行光場圖像編輯（如光場圖像拼接，不同光場圖像之間物體的拷貝和粘貼）和立體顯示時，往往需要修改子視點之間的軸距。本文研究通過修改光場圖像的軸距來實現光場圖像的重定向。

光場圖像新視點生成和圖像內容修復/補全是同光場圖像的重定向密切相關的兩個研究問題。目前針對光場圖像的超分辨率（角度和空間超分辨率）研究比較充分。其中角度超分辨率本質上是視點插值，尤其是視點內插已經能夠得到不錯的效果。但是，能夠有效支持視點外插的算法非常少。另一方面，因為光場圖像子視點之間的軸距的改變，可能導致光場圖像子視點位置和旋轉角度發(fā)生變化，會在子視點圖像中引入去除遮擋后的區(qū)域，需要借助光場圖像修復算法來進行修復/補全。

Wanner 等[6]提出了一個全變分框架實現光場圖像的超分辨率新視點生成，Pujades等[7]在貝葉斯方法的基礎上結合基于啟發(fā)式的方法來得到新視點圖像。近年來，不斷涌現基于深度卷積神經網絡（deep convolutional neural network，DCNN）的新視點生成算法。Yoon 等[8]提出了一個基于DCNN 的光場圖像角度分辨率和空間分辨率增強算法，但是只實現了基于四個角上的子視點來生成兩倍的角度和空間超分辨率效果。Kalantari等[9]提出了一個基于兩個簡單的DCNN模型的光場圖像新視點生成算法。一個四層的DCNN 網絡實現輸入光場圖像的視差圖估計，另外一個四層的DCNN網絡用于新視點合成。該方法受限于第一步得到的并不準確的視差圖，且僅基于四個角上的子視點圖像來實現視點內插。Wu等[10]提出了一個基于光場圖像極平面圖（epipolar plane image，EPI）超分辨來實現角度超分辨率的算法，引入了模糊和去模糊操作避免超分辨率過程中引入的圖像鋸齒和模糊效應，該方法無需依賴輸入光場圖像的視差圖。Wang 等[11]提出了一個偽4DCNN 網絡實現光場圖像的角度分辨率增強，能夠更好地利用光場圖像子視點圖像之間的關聯信息。

針對光場圖像修復/補全的研究工作相對比較少。Pendu等[12]提出了一個基于矩陣補全的光場圖像修復算法，能夠將中心視點修復的結果傳播到光場圖像的其他子視點。不過，因為中心視點的修復需要借助已有的2D 圖像修復算法和用戶交互，該算法適用于將單個較大的物體從光場圖像中移除以后的背景修復，不適合光場圖像重定向情況下對物體邊界處眾多較小孔洞的修復。Liu等[13]提出了一個基于部分卷積網絡的2D 圖像修復方法。Yu 等[14]提出了一個基于注意力圖和生成式對抗網絡的2D圖像修復算法。上述兩個算法均能在單張圖像的修復上取得不錯的圖像修復結果。

本文提出一個基于深度神經網絡的光場圖像基線編輯方法，通過構建一個U型深度學習網絡模型來實現基線編輯的光場圖像重定向，對目標光場圖像進行優(yōu)化和修復，生成高質量的目標光場圖像。

2 算法原理

本文算法主要包含三個步驟：（1）對輸入光場圖像進行預處理，使用光場相機標定算法獲取光場圖像的關鍵參數，并計算每個子視點圖像的視差圖。（2）對光場圖像的每個子視點進行基于DIBR（depth image based rendering）的直接重定向處理，即將每個子視點圖像投影到目標光場圖像對應的子視點，得到基線編輯之后比較粗糙的目標光場圖像。（3）構建一個深度神經網絡模型來優(yōu)化目標光場圖像，實現對遮擋去除后區(qū)域的修復，得到子視點間圖像內容一致的目標光場圖像。在下列章節(jié)中，將對算法的每個部分進行詳細介紹。

2.1 光場圖像的標定和視差圖計算

本文采用LFToolBox 工具[15]對光場圖像L進行標定，獲取所需的關鍵相機參數，如焦距f，相鄰子視點間的軸距b和子視點在成像傳感器上的偏移量ds。采用該分解方法得到的子視點光軸成匯聚關系，子視點的光軸相交于焦平面焦點位置。

為了對基線編輯后的光場圖像進行重定向處理，即將基線修改為b′，除中心子視點外的每個子視點圖像都需要三維透視投影到新的視點位置。因此本文算法需要得到每個子視點圖像對應的視差圖。因為現有的絕大多數光場圖像視差圖計算方法只考慮計算中心子視點的視差圖，且有著較高的時間開銷，采用基于結構張量和GPU 計算卡加速的從EPI中計算視差的算法[16]來獲得輸入光場圖像的子視點的視差圖。光場圖像基線編輯示意圖如圖1所示。

Fig.1 Overview of baseline editing for light field images圖1 光場圖像基線編輯示意圖

2.2 光場圖像的重定向

本文算法的目標是將光場圖像的基線修改為b′，保持光場圖像的焦平面距離不變，即f′d=fd，生成目標光場圖像L′?；€編輯模型如圖1 所示，左邊為輸入光場圖像，右邊為基線編輯之后的光場圖像，中心子視點圖像在基線編輯過程中位置保持不變，其他子視點圖像位置變化為基線編輯后對應的子視點圖像位置。

得到每個子視點的視差圖以及相機參數后，使用DIBR的思想[17]將每個子視點圖像進行透視變換得到初始目標光場圖像。對于角度索引為(s,t)的子視點圖像，其透視變換過程為：

式中，函數P-1將子視點圖像v=L(s,t)中的一個像素p=v(x,y)投影到以該子視點位置為坐標原點的三維空間：

式中，(x0,y0)表示子視點圖像中心點的像素坐標，d(x,y)表示像素p的視差值，f表示光場相機的等效焦距，ds為子視點中心像素在成像傳感器上的偏移量參數[18]，b為編輯前的光場圖像基線。得到p的三維坐標后，通過透視投影函數P得到基線編輯后對應的子視點圖像v′=L′(s,t)中的像素位置(x′,y′)：

式中，t=[t1,t2,0]表示光場圖像重定向過程中子視點位置發(fā)生的偏移量：

式中，(s0,t0)表示中心子視點圖像的角度索引。R=RαRβ，因為固定焦平面不變，導致子視點需要繞X和Y軸旋轉（如圖2所示），其旋轉量α和β分別為：

光場圖像基線編輯后子視點圖像對應的視差值表示為：

子視點圖像在成像傳感器上的偏移量ds和子視點圖像焦距fd的關系定義如下：

Fig.2 Changes of position and orientation of subaperture viewpoints for baseline editing in light field images圖2 光場圖像基線編輯中子視點位置和方向變化

2.3 基于深度學習的光場圖像優(yōu)化與修復

基線編輯后得到的初步光場圖像容易出現內容空洞，主要有兩方面的原因：一是基線編輯過程中由于子視點位置和方向發(fā)生變化導致原本被遮擋的區(qū)域變?yōu)榭梢妳^(qū)域；二是依賴于并不非常準確的視差圖進行基于DIBR 的新視點渲染容易引入圖像內容失真。目前基于深度學習的圖像修復方法[19-20]都是以單張圖像作為輸入進行圖像修復，但是光場圖像子視點之間圖像內容存在極大的相關性，2D 圖像的修復算法并不考慮子視點圖像之間內容的相關性。根據場景的差異，光場圖像的基線修改之后，不同的場景存在內容空洞的區(qū)域位置和形狀也不盡相同，需要神經網絡能夠處理不規(guī)則區(qū)域以及不確定位置的圖像空洞。本文基于部分卷積的思想[13]設計了一種U型網絡進行基線修改后的光場圖像修復和優(yōu)化。

部分卷積網絡[13]的思想是僅對圖像有效像素區(qū)域進行卷積操作，可以用于修復形狀不規(guī)則的圖像空洞。為了能區(qū)分圖像的有效像素區(qū)域和空洞區(qū)域，將待修復圖像的掩膜一起作為網絡的輸入，在卷積操作的過程中同時更新對應的掩膜作為下一個卷積層的輸入。部分卷積的操作可以表示為：

式中，⊙表示矩陣對應元素的乘法。1/sum(M)作為一個比例因子，用于調整有效輸入的變化量。在每次卷積操作后，需要對圖像掩膜進行更新，如果卷積核區(qū)域內至少有一個有效像素，則該位置的卷積結果對應的掩膜置為1，表示為：

從式中可以看出，掩膜的更新規(guī)則會逐步消除空洞區(qū)域。在網絡深度足夠的情況下，可以修復任意大小的空洞。

本文提出的深度神經網絡模型以光場圖像的一行或者一列子視點作為輸入數據，即三維極平面圖像（3D epipolar-plane image，3D EPI），這使網絡可以充分挖掘光場圖像記錄的場景深度和遮擋等信息，而無需顯示的輸入或者計算輸入光場圖像的視差圖。同時利用一組子視點圖像包含的冗余信息，每個視點的圖像的語義信息，以及場景的深度信息來提高圖像修復的質量。以一整行的輸入為例，對于一個待修復的光場圖像L(x,y,s,t)，固定一行的子視點圖像可以表示為

通過多次實驗發(fā)現直接使用同一行或一列子視點堆疊構成的3D EPI 作為輸入，神經網絡輸出的連續(xù)子視點圖像顏色與真值相差過大。因此為了減少不同通道顏色之間的干擾，將原本一行的子視點圖像的顏色通道進行重排列，首先將所有的R通道拼接在一起，其次是G通道，最后是B通道，即：

式中，函數A表示子視點圖像的顏色通道重排列操作。子視點圖像對應的掩膜也進行類似操作，通道重新排列后的子視點圖像及其掩膜通過網絡的生成器得到修復后的結果：

式中，Gp表示卷積神經網絡的修復和優(yōu)化過程。

本文網絡結構如圖3 所示，輸入分為兩部分，一部分是一行（列）顏色通道重排列后的子視點圖像，大小為512×512×27，另一部分為同樣大小的對應掩膜。網絡可以分為編碼器和解碼器兩部分，前面7層為編碼器，使用部分卷積代替了傳統(tǒng)網絡的卷積操作，每個卷積層后接一個Relu激活函數，之后接了一個BN（batch normalization）層對數據進行歸一化處理后作為下一層的輸入。解碼器部分首先對上一層的結果進行上采樣（本文使用的是最近鄰采樣），將上采樣的結果與編碼器部分對應的輸出進行跳級連接，然后對連接的結果進行步長為1 的卷積操作，解碼器每個層的卷積操作都后接一個α為0.2 的LeakyRelu 激活函數。網絡的輸出大小與輸入一致，為512×512×54，需要經過通道的重排列，恢復成一行（列）單獨的子視點圖像。原網絡[13]的輸入為單張圖像，信息量有限，僅依靠U型網絡難以獲取足夠的圖像紋理特征，因此在設計損失函數時借助VGG 網絡[21]結構以提取高層的視覺感知特征，計算風格損失與感知損失[22]。本文所提算法針對光場圖像進行處理，子視點圖像之間具有豐富的紋理結構相關信息。本文修改了U 型網絡輸入數據為一列光場圖像子視點（9張子視點圖像），可以使網絡學習到足夠的圖像紋理特征，因此本文去除了原網絡中的風格損失與感知損失。實驗結果表明，去除風格損失和感知損失后對結果圖像的質量并沒有明顯的影響。由于在計算損失函數時少了一個VGG 網絡，網絡訓練的速度得到大幅度的提高，同樣為1 200 的訓練次數，網絡的訓練時間降低到28 h。

Fig.3 U-shaped DCNN model for baseline editing圖3 U形深度神經網絡光場圖像基線編輯模型

修改后的損失函數由兩部分組成，分別為有效像素區(qū)域生成圖像與真值的L1損失Lossvalid和空洞區(qū)域生成圖像與真值的L1損失Losshole：

式中，每個單獨的損失函數定義為：

式中，Vgen表示網絡生成的圖像，Vgt表示圖像的真值。λ1和λ2的取值通過對比不同權重設置下的實驗結果質量來最終決定，在本文實驗中，λ1=1，λ2=6。

3 實驗結果

神經網絡的訓練需要大量的數據集，使用LytroIllum光場相機采集的真實光場圖像其基線是單一和固定的，且相機參數精確標定和高質量視差圖獲得有一定的難度，因此難以用光場相機大規(guī)模采集真實場景數據作為神經網絡的訓練數據。本文采用Blender（https://www.blender.org/）軟件作為網絡訓練的數據來源，主要有兩方面的優(yōu)勢。一是Blender可以直接獲取光場圖像每個子視點圖像對應的視差圖，無需額外的視差圖計算算法；二是Blender軟件在獲取更改基線后的光場圖像時只需要簡單調整相機參數便可以渲染相應的光場圖像及其視差圖。本文渲染了13 個不同的場景共計88 組光場圖像數據作為訓練數據，每組光場數據包含原始基線下的光場圖像以及編輯為2倍基線的光場圖像，每組數據光場圖像的空間分辨率均為512×512，角度分辨率均為9×9。其中75 張光場圖像用于神經網絡訓練，對應的2倍基線的光場圖像作為真值，3個用于評估模型，剩下10個圖像用于測試。本文同時利用了少部分斯坦福真實場景光場數據集（http://lightfield.stanford.edu/lfs.html）中的圖像對本文的深度神經網絡模型進行訓練。本文在Titan X GPU上進行網絡的訓練，訓練次數為1 200，初始學習率設為2E-4。

Fig.4 Initial results of baseline editing for synthetic light field images圖4 虛擬光場圖像基線編輯的初步結果

Fig.5 Initial results of baseline editing for real light field images圖5 真實場景光場圖像基線編輯的初步結果

基線編輯后的光場圖像重定向結果如圖4和圖5所示（第一行為輸入光場圖像的子視點圖像，第二行為重定向后對應的粗糙子視點圖像（綠色標注區(qū)域為遮擋去除后的空洞），第三行為第一行子視點對應的視差圖）。由于篇幅有限，本文只選取距離中心子視點最遠的子視點圖像進行展示，即角度坐標索引為(-4,-4)的子視點圖像。光場圖像的核心參數（如修改前基線以及修改后的基線）如表1和表2所示。

3.1 合成光場圖像結果對比

本文將合成光場圖像的基線編輯結果與全變分優(yōu)化[6]、基于貝葉斯的新視點生成算法[7]結果進行對比。同時，本文算法與基于單張圖像的神經網絡修復算法[13-14]進行比較。實驗結果如圖6～圖11所示，其中（a）為文獻[7]得到的結果，（b）為文獻[6]得到的結果，（c）為文獻[14]得到的修復結果，（d）為文獻[13]得到的結果，（e）為本文算法得到的結果，（f）為基線編輯后子視點的真值圖像。

Table 1 Parameters of synthetic light field image表1 合成光場圖像的參數

從結果圖像可以看出，基于貝葉斯的新視點生成算法結果圖像容易產生紋理的缺失和混亂，如圖8中熊的腳部放大細節(jié)和圖1中自行車的細節(jié)，并且在物體的邊緣處容易產生模糊和大量噪聲。本文算法結果能較好還原圖像的紋理細節(jié)，不存在明顯的噪聲現象，具有較好的視覺效果，但是可能在較大空洞區(qū)域的邊緣會產生一個輕微的偽影，這是目前深度學習方法面臨的一個共性問題。

Table 2 Parameters of real light field image表2 真實光場圖像的參數

Fig.6 Comparison of light field image retargeting results(scene1)圖6 光場圖像重定向結果比較（場景1）

Fig.7 Comparison of light field image retargeting results(scene 2)圖7 光場圖像重定向結果比較（場景2）

Fig.8 Comparison of light field image retargeting results(scene 3)圖8 光場圖像重定向結果比較（場景3）

Fig.9 Comparison of light field image retargeting results(scene4)圖9 光場圖像重定向結果比較（場景4）

Fig.10 Comparison of light field image retargeting results(scene5)圖10 光場圖像重定向結果比較（場景5）

Fig.11 Comparison of light field image retargeting results(scene6)圖11 光場圖像重定向結果比較（場景6）

實驗結果表明，基于單張圖像的神經網絡無法充分學習光場圖像子視點之間圖像內容的相關性，在空洞區(qū)域的紋理生成時，容易產生紋理預測錯誤和疊影現象，如圖6 中路燈的燈柱和圖9 中書架邊緣。相比之下，本文提出的深度學習算法框架能正確修復目標光場圖像空洞區(qū)域的紋理細節(jié)。

本文通過計算不同結果圖像子視點的平均峰值信噪比（peak signal to noise ratio，PSNR）和平均結構相似性（structural similarity index measure，SSIM）對不同的算法結果進行定量分析。定量分析見表3。從結果可看出，本文所提算法在大部分數據的數值上遠遠高于對比算法。定量分析結果表明，本文算法在合成場景數值上高于對比算法，具有更好的修復準確度，可以看出所提算法的有效性。

3.2 真實光場圖像結果對比

真實場景的光場圖像往往場景內容更為復雜，子視點圖像和視差圖含有相當的噪聲，導致處理起來更加困難。本文將真實光場圖像的基線編輯結果與全變分優(yōu)化的新視點生成方法[6]、基于貝葉斯的新視點生成算法[7],以及基于單張圖像的神經網絡修復算法[13-14]的結果進行對比，實驗結果如圖12～圖16所示。

實驗結果表明，本文算法在真實圖像上也具有較大優(yōu)勢，在視差圖有大量噪聲與錯誤的情況下也能獲得較好的視覺效果。基于貝葉斯的新視點生成算法在真實場景上容易出現紋理與結構上的破壞，如圖12中的推土機尾部，并且伴隨著大量噪聲，如圖16中的葉子區(qū)域以及圖13中的車頭后視鏡區(qū)域。基于單張圖像的神經網絡則容易出現色彩上的誤差，如圖14的天空和圖15的椅子背部。

Table 3 Quantitative analysis of synthetic light field image baseline editing results表3 合成光場圖像基線編輯結果定量分析

本文通過計算不同結果圖像子視點的平均PSNR 和平均SSIM 對不同的算法結果進行定量分析，如表4 所示。定量分析結果表明，本文算法在真實場景數值上高于對比算法，具有更好的修復準確度，能夠適應較為復雜的場景結構，對子視點和視差圖噪聲/錯誤具有較好的魯棒性。

Fig.12 Comparison of light field image retargeting results(scene 7)圖12 光場圖像重定向結果比較（場景7）

Fig.13 Comparison of light field image retargeting results(scene 8)圖13 光場圖像重定向結果比較（場景8）

Fig.14 Comparison of light field image retargeting results(scene 9)圖14 光場圖像重定向結果比較（場景9）

Fig.15 Comparison of light field image retargeting results(scene 10)圖15 光場圖像重定向結果比較（場景10）

Fig.16 Comparison of light field image retargeting results(scene 11)圖16 光場圖像重定向結果比較（場景11）

Table 4 Quantitative analysis of real light field image baseline editing results表4 真實光場圖像基線編輯結果定量分析

4 結論和展望

本文提出了一種基于深度神經網絡的光場圖像基線編輯方法，使用光場圖像一行（或一列）的子視點圖像堆疊成3D EPI并將不同子視點相同的顏色通道排列在一起作為神經網絡的輸入，進行基線編輯后目標光場圖像的重構和優(yōu)化。本文提出的深度神經網絡模型能夠實現基線編輯的光場圖像重定向處理，對重定向過程中因遮擋去除產生的空洞區(qū)域可以實現快速準確的圖像修復和優(yōu)化，得到具有較好準確度和視覺效果的結果圖像。提出的光場圖像基線編輯方法能夠服務于一系列光場圖像編輯應用，如光場圖像拼接、不同場景光場圖像的物體拷貝和復制、合成立體圖像和光場圖像顯示等。

本文提出的進行目標光場圖像優(yōu)化的DCNN模型主要基于合成光場數據進行訓練，能夠有高質量的視差圖和目標光場圖像真值來方便模型的訓練。但是，真實場景得到的光場圖像往往場景更為復雜，面臨子視點存在噪聲和視差圖可能很不準確等問題，會影響光場圖像重定向的結果圖像質量。下一步需要研究改進本文的深度學習模型和訓練方法，爭取在真實場景光場圖像上取得更好的實驗結果。同時，研究對光場圖像的另外一個非常重要的參數ds實現有效的編輯。