基于超分辨率焦點(diǎn)堆棧光場(chǎng)成像的全聚焦圖像生成研究

陳怡良 柯天星 姜鑫 彭晶

摘要：本文通過(guò)對(duì)基于光場(chǎng)相機(jī)三維深度信息提取關(guān)鍵技術(shù)進(jìn)行了深入的研究，重點(diǎn)研究了光場(chǎng)相機(jī)成像原理，引入焦點(diǎn)堆棧這一理念，并在其基礎(chǔ)之上得出超分辨率焦點(diǎn)堆棧的研究算法，在重聚焦算法的基礎(chǔ)上，提出基于光場(chǎng)相機(jī)的全聚焦圖像生成算法。通過(guò)輪廓提取的方法，對(duì)比所獲取的重聚焦圖像與所生成的全聚焦圖像。實(shí)驗(yàn)結(jié)果表明：所提出的算法能夠較好生成全聚焦圖像。最后，對(duì)光場(chǎng)相機(jī)研究中遇到的問(wèn)題進(jìn)一步的分析，提出有待改進(jìn)之處，并對(duì)光場(chǎng)相機(jī)的發(fā)展前景進(jìn)行了展望。

關(guān)鍵詞：光場(chǎng)相機(jī)；超分辨率；焦點(diǎn)堆棧；全聚焦圖像

中圖分類號(hào)：TP18 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1009-3044（2018）22-0139-04

1引言

長(zhǎng)久以來(lái)，光學(xué)系統(tǒng)是人類獲取信息最有效的方法之一，人類用眼睛捕捉現(xiàn)實(shí)世界的三維信息，照相機(jī)、電視等則用圖像將信息保存、顯示。我們可以發(fā)現(xiàn)，我們所觀察的信息都是三維立體的，而顯示卻多是以二維的形式，失去了物體的深度信息，傳統(tǒng)相機(jī)的成像局限于此，因此，實(shí)現(xiàn)包括對(duì)三維空間、視點(diǎn)、光譜以及時(shí)間信息等多維度信息的采集[1-5]。而這些信息的統(tǒng)合表示——全光函數(shù)[6-8]，而作為全光函數(shù)的一種簡(jiǎn)化實(shí)現(xiàn)——光場(chǎng)相機(jī)，其原理是通過(guò)在傳統(tǒng)相機(jī)的主鏡頭和圖像傳感器間插入一塊微透鏡陣列，以實(shí)現(xiàn)利用單個(gè)相機(jī)收集多個(gè)方向的光線，來(lái)完成復(fù)雜光場(chǎng)信息的采集，它可以記錄到達(dá)傳感器的不同方向的光線，通過(guò)技術(shù)處理，甚至能夠看到拍攝畫面中被遮擋的部位，同時(shí)能將原本場(chǎng)景中巫法看不清的內(nèi)容變得清晰，這引起了廣大研究者的興趣?，F(xiàn)在的市場(chǎng)上，一些較為成熟的光場(chǎng)相機(jī)逐漸出現(xiàn)，諸如：手持式光場(chǎng)相機(jī)、Retrix光場(chǎng)相機(jī)、Adobe光場(chǎng)相機(jī)以及英特爾光場(chǎng)相機(jī)都在許多應(yīng)用中表現(xiàn)出了其相較于傳統(tǒng)相機(jī)的巨大優(yōu)勢(shì)。

相較于二維數(shù)字圖像，光場(chǎng)成像因其豐富的信息量使得它的應(yīng)用范圍明顯更加的廣泛。本文所研究的：場(chǎng)景重聚焦技術(shù)以及場(chǎng)景深度計(jì)算技術(shù)[14]正是其應(yīng)用的一個(gè)重要分支。場(chǎng)景重聚焦技術(shù)針對(duì)拍攝圖像的后期處理，顯著性地增大了圖像的可操作性，它可以讓我們?cè)趫D像拍攝后重新獲取聚焦在不同的焦距上，以獲取不同焦距的圖像，也被稱為“先攝影，后聚焦”，Lytro光場(chǎng)相機(jī)[9]集成了這項(xiàng)技術(shù)并上市，該相機(jī)也是本文研究依據(jù)之一。

本文以Lytro光場(chǎng)相機(jī)為主要研究對(duì)象，主要對(duì)以Lytro光場(chǎng)相機(jī)為例的聚焦型光場(chǎng)相機(jī)的原理以及后期成像處理[15]進(jìn)行了研究，分析了微透鏡陣列的光場(chǎng)采集原理，并研究了后期再聚焦處理的算法，對(duì)算法的深入解析，通過(guò)對(duì)圖像的景深（場(chǎng)景深度）變換，完成圖像的全聚焦處理。

光場(chǎng)相機(jī)的原始圖像是通過(guò)Lytro官方的重聚焦程序：Lytro Desktop所提取。再進(jìn)行解碼得到需要的變量獲取解碼圖。但這僅是每個(gè)微透鏡獲得的圖像，這些圖像是沒(méi)有經(jīng)處理過(guò)的圖像，不僅畫質(zhì)很低，而且每個(gè)圖像所存儲(chǔ)的信息并不多所以還需要更進(jìn)一步處理才可以[10]。本文主要討論如何能夠較好生成全聚焦圖像，改進(jìn)方法如下：在數(shù)字重聚焦技術(shù)原理的基礎(chǔ)上，結(jié)合焦點(diǎn)堆棧，引入超分辨率離散焦點(diǎn)堆棧變換的研究算法，從而獲得光場(chǎng)聚焦在各個(gè)點(diǎn)的圖像信息，并獲取全聚焦圖像。

2基于焦點(diǎn)堆棧的數(shù)字重聚焦

焦點(diǎn)堆棧并非一個(gè)全新的理論，它源自顯微鏡攝影，其本質(zhì)簡(jiǎn)而言之就是一組不同焦點(diǎn)和不同曝光的照片的集合。其中每一張相片都有自身的曝光時(shí)間和景深，且焦點(diǎn)堆棧也一樣，它的曝光時(shí)間等于拍攝所有堆棧中照片所花費(fèi)的時(shí)間，景深[12，13]則是所有相片的景深集合。焦點(diǎn)堆棧具有豐富的三維信息，它已經(jīng)廣泛應(yīng)用于圖像的合成，而本文將以其完成重聚焦技術(shù)的研究與實(shí)現(xiàn)[10]。

2.1 數(shù)字重聚焦技術(shù)

2.2 焦點(diǎn)堆棧變換

通過(guò)對(duì)比可發(fā)現(xiàn)，相較于部分聚焦圖片，全聚焦圖片各部分的輪廓都清晰可見(jiàn)。證明全聚焦圖片的生成的成功，如圖4所示。

本實(shí)驗(yàn)在對(duì)光場(chǎng)相機(jī)成像做模擬的同時(shí)，對(duì)其成像算法進(jìn)行了優(yōu)化。同時(shí)通過(guò)大量的實(shí)驗(yàn)來(lái)證實(shí)了這些優(yōu)化。至于如何改進(jìn)光場(chǎng)相機(jī)的成像清晰度，本質(zhì)還是要提高的還是硬件設(shè)備，在軟件方面只能夠進(jìn)行輔助優(yōu)化。隨著科技的進(jìn)步，硬件設(shè)備進(jìn)一步優(yōu)化，光場(chǎng)相機(jī)的前景會(huì)越來(lái)越好。

4結(jié)語(yǔ)

在計(jì)算機(jī)技術(shù)不斷發(fā)展的現(xiàn)在，各式與之相關(guān)的科技不斷地日新月異。本文所研究的光場(chǎng)相機(jī)也是其中之一。其中數(shù)字重聚焦技術(shù)是針對(duì)傳統(tǒng)相機(jī)無(wú)法獲取光線的方向信息導(dǎo)致成像景深不足以及難以對(duì)運(yùn)動(dòng)物體聚焦而采取的光場(chǎng)成像的彌補(bǔ)技術(shù)，通過(guò)引入的焦點(diǎn)堆棧概念對(duì)光場(chǎng)的數(shù)字重聚焦技術(shù)進(jìn)行了解讀與實(shí)踐，進(jìn)一步還延伸出了超分辨率焦點(diǎn)堆棧變換的概念和算法。最后通過(guò)輪廓提取技術(shù)將不同聚焦的圖像輪廓提取出來(lái)，以輪廓圖進(jìn)行對(duì)比對(duì)聚焦圖片的效果進(jìn)行了討論。最后，本文在撰寫過(guò)程中，得到了本科學(xué)業(yè)導(dǎo)師李暉老師悉心的指導(dǎo)，在此特此感謝！

參考文獻(xiàn)：

[1] Gershun A. The Light Field， Moscow， 1936. Translated by P. Moon and G. Timoshenko in Journal of Mathematics and Physics， Vol. XVIII， MIT， 1939： 51-151.

[2] Adelson E H， J. Y.A. Wang， Single lens stereo with a plenoptic camera， IEEE Trans. on Pattern Analysis and Machine Intelligence，1992，14（2）：99-106.

[3] M. Levoy，P. Hanrahan， Light field rendering， in Proc. 23rd Annu. Conf. Comput. Graph. Interact. Tech.， New Orleans， Louisiana， 1996， 31-42.

[4] S. J. Gortler， R. Grzeszczuk， R. Szeliski， and M. F. Cohen， The lumigraph， in Proc. 23rd Annu. Conf. Comput. Graph. Interact. Tech.， New Orleans， Louisiana， 1996， 43-54.

[5] 徐樹(shù)奎，涂丹，李國(guó)輝，等. 計(jì)算機(jī)攝影綜述[J]. 計(jì)算機(jī)應(yīng)用研究，2010，27（11）：4032-4039.

[6] ADELSON E H，BERGEN J R. The plenoptic function and the elem ents of early vision[J]. Computational models of visual processing，1991，1（2）：121-122.

[7] A. Wenger， A. Gardner， C. Tchou， J. Unger， T. Hawkins， P. Debevec， Performance Relighting and Reflectance Transformation with Time-Multiplexed Illumination， SIGGRAPH， 2005

[8] M. G. Lippmann， Epreuves reversible donnant lasensation du relief， J. Phys.，1908（7）：821-825

[9] 燕宇杰.基于微透鏡陣列的數(shù)字光場(chǎng)成像研究 [D].四川：電子科技大學(xué)， 2015.

[10] 聶云峰，相里斌，周志良.光場(chǎng)成像技術(shù)進(jìn)展[J].中國(guó)科學(xué)院研究生院學(xué)報(bào)，2011，28（5）：563-572.

[11] 周文暉，林麗莉.Lytro相機(jī)的光場(chǎng)圖像校正與重對(duì)焦方法 [J].中國(guó)圖象圖形學(xué)報(bào)，2014，31（8）：71-92.

[12] Jacques Duparré， Peter Dannberg， Peter Schreiber， Andreas Br?uer， and Andreas Tünnermann， Thincompound-eye camera， Applied Optics，200544（15）：2949-2956.

[13] B. Wilburn， N. Joshi， V. Vaish， E.-V. Talvala， E. Antunez， A. Barth， A. Adams， M. Horowitz， and M. Levoy， High performance imaging using large camera arrays， in Proc. 32nd Annu. Conf. Comput. Graph.Interact. Tech.， Los Angeles， CA， 2005，765-776.

[14] 趙興榮.基于光場(chǎng)相機(jī)深度信息獲取技術(shù)的研究[D].山西：中北大學(xué)，2014.

[15] 周文暉，林麗莉.Lytro相機(jī)的光場(chǎng)圖像校正與重對(duì)焦方法[J].中國(guó)圖象圖形學(xué)報(bào)，2014，31（8）：71-92.

【通聯(lián)編輯：唐一東】