散焦圖像的深度恢復(fù)方法綜述

吳秋峰 王寬全

摘要：散焦圖像的深度恢復(fù)是根據(jù)兩幅散焦圖像模糊程度不同的特點(diǎn)，從兩幅散焦圖像恢復(fù)場(chǎng)景的深度信息，該方法已成功應(yīng)用于工業(yè)檢測(cè)、醫(yī)學(xué)和軍事等領(lǐng)域。結(jié)合國內(nèi)外相關(guān)進(jìn)展，主要論述了被動(dòng)式散焦圖像的深度恢復(fù)的確定性方法、統(tǒng)計(jì)方法、正則化方法和偏微分方程方法，并且分析了四種方法的優(yōu)劣性。

關(guān)鍵詞：散焦圖像的深度恢復(fù)； 確定性方法； 正則化方法； 統(tǒng)計(jì)方法

中圖分類號(hào)：TP301 文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)：2095-2163（2013）06-0054-03

0引言

在眾多的深度恢復(fù)方法中，散焦圖像的深度恢復(fù)（Depth from Defocus， DFD）是根據(jù)兩幅散焦圖像模糊程度不同的特點(diǎn)，從兩幅散焦圖像恢復(fù)場(chǎng)景的深度信息，既避免了聚焦圖像的深度恢復(fù)（Depth from Focus， DFF）需要拍攝大量圖像的問題， 也避免了雙（多）目視覺（Depth from Stereo， DFS）的特征點(diǎn)匹配困難的問題， 因此，DFD問題得到了國內(nèi)外很多學(xué)者的關(guān)注和重視，并研究獲得了此問題的多種解決方法。

1DFD基本理論

由真實(shí)孔徑成像系統(tǒng)的成像原理知，當(dāng)聚焦時(shí)，物距D，焦距Fl和像距v滿足1D+1v=1Fl；當(dāng)不對(duì)焦時(shí)，點(diǎn)光源變?yōu)榘霃綖閞b的模糊圓盤，成像系統(tǒng)各參數(shù)滿足如下關(guān)系[1]：

rb=r0v01Fl-1v0-1D（1）

其中，rb表示圓盤半徑，r0表示透鏡的半徑，v0表示像距。

為了刻畫圖像的散焦程度，引入模糊參數(shù)，模糊度σ與物距D有如下關(guān)系：

σ=ρr0v01Fl-1v0-1D（2）

由模糊參數(shù)σ表示成像過程的點(diǎn)擴(kuò)散函數(shù)（Point Spread Function， PSF），以高斯點(diǎn)擴(kuò)散函數(shù)為例，如下式所示：

h（i，j）=12πσ2exp-（i2+j2）2σ2（3）

散焦圖像可以表示為聚焦圖像與PSF卷積過程，即：

g（i，j）=f（i，j）*h（i，j）=∑m∑nf（m，n）h（i，j；m，n）（4）

由（1）-（4）式知，DFD問題就是從兩幅散焦圖像恢復(fù)場(chǎng)景的深度信息的過程。

2國內(nèi)外研究現(xiàn)狀

下面將從確定性方法、統(tǒng)計(jì)方法、正則化方法和偏微分方程方法四個(gè)方面加以論述與分析。

2.1確定性方法

在DFD問題的解決過程中，確定性方法由于具有簡(jiǎn)單性和實(shí)時(shí)性的優(yōu)點(diǎn)，并不需要恢復(fù)清晰圖像，得到了國內(nèi)外學(xué)者的廣泛關(guān)注，但因受到噪聲和窗口化的影響，使得確定性方法的精度不高[2-12]。眾多學(xué)者建立不同的參數(shù)與深度關(guān)系，總結(jié)如表1所示。

2.2統(tǒng)計(jì)方法

統(tǒng)計(jì)方法精度高，能同時(shí)恢復(fù)深度和清晰圖像，但缺點(diǎn)是計(jì)算復(fù)雜、不具備實(shí)時(shí)性。自1989年Dubes和Jain將隨機(jī)場(chǎng)模型應(yīng)用于圖像分析后[13]，馬爾可夫隨機(jī)場(chǎng)（Markov Random Field， MRF）在圖像處理、圖像分割和機(jī)器視覺等方面得到了廣泛應(yīng)用。

2008年，曾祥進(jìn)等人針對(duì)顯微視覺圖像深度信息估計(jì)問題，提出了一種基于MRF的散焦特征參數(shù)模型，該模型將散焦特征深度信息的估計(jì)轉(zhuǎn)化為能量函數(shù)的優(yōu)化問題，應(yīng)用迭代條件模式算法進(jìn)行優(yōu)化，在迭代條件模式算法中應(yīng)用最小二乘估計(jì)算法對(duì)初始點(diǎn)參數(shù)進(jìn)行估計(jì)，從而改進(jìn)其性能，防止了其進(jìn)入局部最優(yōu)解，實(shí)驗(yàn)表明該模型和算法的高度可行性和良好有效性[19-20]。

2.3正則化方法

DFD問題是從多幅散焦圖像恢復(fù)場(chǎng)景的深度信息過程，可以看作為病態(tài)的逆過程，因此，可以采用正則化方法來加以解決。

1995年，印度工業(yè)大學(xué)Rajagopalan 和Chaudhuri根據(jù)場(chǎng)景深度信息具有光滑性的特點(diǎn)，融入光滑約束，將DFD問題轉(zhuǎn)化為變分問題，采用正則化方法加以解決[21-22]。

2003年，F(xiàn)avaro等人根據(jù)所涉及變量均為非負(fù)的特點(diǎn)，提出了將I-divergence準(zhǔn)則代替最小二乘準(zhǔn)則，構(gòu)建保真項(xiàng)，使用迭代模式減少能量函數(shù)收斂于Euler-Lagrange 方程的局部最優(yōu)解，恢復(fù)場(chǎng)景深度信息[23]。2010年，F(xiàn)avaro提出了基于非局部均衡化濾波正則化方法的微型構(gòu)件深度信息恢復(fù)算法。該方法假設(shè)具有相似顏色的像素屬于同一曲面。將問題轉(zhuǎn)換成變分問題，采用線性化Euler-Lagrange方程方法解決此變分問題。該方法能夠有效解決大分塊曲面的三維重建[24]。

2.4基于偏微分方程方法

由于圖像成像過程可以看作為熱擴(kuò)散過程，將其看成熱擴(kuò)散方程，引入偏微分方程方法。

2003年，F(xiàn)avaro等人在各向同性擴(kuò)散框架下估計(jì)場(chǎng)景深度信息，通過設(shè)計(jì)一種迭代算法在推斷熱擴(kuò)散方程擴(kuò)散系數(shù)的基礎(chǔ)上，估計(jì)場(chǎng)景深度信息，實(shí)驗(yàn)結(jié)果表明，與正則化相比該方法更優(yōu)、且更具實(shí)時(shí)性，但該方法卻并未解決遮擋問題。另外，采用凸梯度下降法，結(jié)果導(dǎo)致深度估計(jì)是一個(gè)局部最優(yōu)解[25]。2008年，F(xiàn)avaro等人擴(kuò)展了2003年的工作，將各向同性擴(kuò)散框架拓展為各向異性擴(kuò)散框架，來推斷模糊參數(shù)，該方法有效避免了相對(duì)模糊的測(cè)量，同時(shí)推導(dǎo)了一種全局算法[26]。

與Favaro工作類似，2004年，Namboodiri和Chaudhuri仍采用熱擴(kuò)散方程描述成像過程，以此恢復(fù)場(chǎng)景深度信息，該方法不單推斷深度信息，得到了聚焦圖像，而且有效解決遮擋問題。同時(shí)也證明了DFD和DFF的等價(jià)性[27-29]。

3結(jié)束語

與其他深度恢復(fù)方法相比，DFD方法具備了有效避免匹配問題等優(yōu)點(diǎn)，得到了廣大學(xué)者的系統(tǒng)深入研究，但是，場(chǎng)景三維信息恢復(fù)不夠細(xì)致，深度重構(gòu)速度有待提高。因此，應(yīng)該在以下兩方面開展進(jìn)一步地研究：

（1）根據(jù)場(chǎng)景幾何結(jié)構(gòu)的多分辨率信息，構(gòu)建正則化項(xiàng)；

（2）提高深度恢復(fù)算法的運(yùn)算效率，設(shè)計(jì)有效的優(yōu)化算法。

參考文獻(xiàn)：

[1]CHAUDHURI S， RAJAGOPALAN A N. Depth from defocus： a real aperture imaging approach. Springer Verlag， New York， 1999.

[2]LIU Y F. A unified approach to image focus and defocus analysis[D].State University of New York at Stony Brook， 1998.

[3]PENTLAND A P. A new sense for depth of field[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 1987， 9（4）： 523-531.

[4]PENTLAND A P， DARRELL T， TURK M， et al. A simple real-time range camera[C]//IEEE Conference on Computer Vision and Pattern Recognition， 1989： 256-261.

[5]GROSSMAN P. Depth from focus[J]. Pattern Recognition Letters， 1987， 5（1）：63-69.

[6]SUBBARAO M， GURUMOORTHY N. Depth recovery from blurred edges[C]//IEEE Conference on Computer Vision and Pattern Recognition， 1988： 498-503.

[7]HWANG T， CLARK J J， YUE A L. A depth recovery algorithm using defocus information[C]//IEEE Conf. Computer Vision and Pattern Recognition， 1989： 476-481.

[8]田濤，潘俊民.基于矩保持法的散焦圖像深度估計(jì)[J].上海交通大學(xué)學(xué)報(bào)， 2000， 24（7）： 917-922.

[9]程鴻，章權(quán)兵，宮炎炎.一種新的基于散焦圖像的深度恢復(fù)算法[J]. 計(jì)算機(jī)應(yīng)用與軟件，2010，27（2）：271-273.

[10]周燁鋒， 邱慧娟.基于遠(yuǎn)心光學(xué)系統(tǒng)散焦圖像的距離估計(jì)[J].紅外與激光工程， 2006， 35：534-537.

[11]SURYA G， SUBBARAO M. Depth from defocus by changing camera aperture a spatial domain approach[C]//IEEE Conference on Computer Vision and Pattern Recognition，1993：61-67.

[12]LEROY J， SIMON T. An efficient method for monocular depth from defocus[C]//50th International Symposium ELMAR-2008，2008：133-136.

[13]DUBES R C， JAIN A K. Random field models in image analysis[J]. Journal of Applied Statistics. 1989， 16： 131-163.

[14]RAJAGOPALAN A N， CHAUDHURI S . Optimal selection of camera parameters for recovery of depth from defocused images[C]// IEEE Conference on Computer Vision and Pattern Recognition， 1997： 219-224.

[15]RAJAGOPALAN A N， CHAUDHURI S. Performance analysis of maximum likelihood estimator for recovery of depth from defocused images and optimal selection of camera parameters[J]. International Journal of Computer Vision，1998， 30：175-190.

[16]RAJAGOPALAN A N， CHAUDHURI S. Optimal recovery of depth from defocused images using an MRF model[C]//International Conference on Computer Vision，1998：1047-1052.

[17]RAJAGOPALAN A N， CHAUDHURI S. MRF model based identification of shift variant point spread function for a class of imaging systems[J]. Signal Processing， 1999， 76（3）：285-299.

[18]RAJAGOPALAN A N， CHAUDHURI S. An MRF model-based approach to simultaneous recovery of depth and restoration from defocused images[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，1999， 21（7）：577-589.

[19]曾祥進(jìn)， 黃心漢，吳倩，等.馬爾科夫隨機(jī)場(chǎng)在顯微圖像散焦深度信息估計(jì)中的應(yīng)用[J]. 機(jī)器人，2008， 30（5）：416-421.

[20]ZENG X， HUANG X， WANG M， et al. The depth information estimation of microscope defocus image based-on markov random field[C]//IEEE Conference on Robotics， Automation and Mechatronics，2008：999-1004.

[21]RAJAGOPALAN A N， CHAUDHURI S. A variational approach to depth from defocus[C]//Proc. Intl. Conf.， Intelligent Robotic Systems， 1995：45-48.

[22]RAJAGOPALAN A N， CHAUDHURI S . A variational approach to recovery of depth from defocused images[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，1997， 19（10）：1158-1164.

[23]FAVARO P， MENNUCCI A， SOATTO S. Observing shape from defocused images[J]. International Journal of Computer Vision，2003， 52（1）： 25-43.

[24]FAVARO P. Recovering thin structures via nonlocal-means regularization with application to depth from Defocus[C]//IEEE Conference on Computer Vision and Pattern Recognition， 2010：1110-1117.

[25]Favaro P， OSHER S， SOATTO S， et al. 3D shape from anisotropic diffusion[J]. International Journal of Computer Vision，2003：179-186.

[26]NAMBOODHURI V P， CHAUDHURI S. Use of linear diffusion in depth estimation based on defocus cue[C]//Proc.4th Indian Conf. on Computer Vision， Graphics and Image Processing， 2004：133-138.

[27]FAVARO P， SOATTO S， BURGER M， et al. Shape from defocus via diffusion[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2008， 30（3）： 518-531.

[28]NAMBOODHURI V P， CHAUDHURI S. On defocus，diffusion and depth estimation. Pattern Recognition Letters， 2007，28：311-319.

[29]NAMBOODIRI V P. Novel diffusion based techniques for depth estimation and image restoration from defocused images[D].Department of Electrical Engineering， Indian Institute of Technology-Bombay， 2008.