基于深度圖像先驗(yàn)的散焦圖像去模糊

摘? 要：在散焦模糊圖像中單個(gè)像素的模糊量由其景深確定，因此散焦模糊是空間變化的。傳統(tǒng)的去模糊方法在解決這種空間變化的反卷積問題的時(shí)候，會(huì)在不同散焦程度的邊界處產(chǎn)生明顯的振鈴效應(yīng)。針對上述存在的問題，文章提出了基于深度圖像先驗(yàn)的散焦圖像去模糊算法。實(shí)驗(yàn)結(jié)果表明，與現(xiàn)有的散焦圖像去模糊算法對比，該算法具有更好的去散焦模糊的性能。

關(guān)鍵詞：散焦圖像;去模糊;振鈴效應(yīng);深度圖像先驗(yàn)

中圖分類號：TP391? ? ? ?文獻(xiàn)標(biāo)識碼：A 文章編號：2096-4706（2020）24-0084-05

Defocused Image Deblurring Based on Depth Image Prior

CHEN Tianming

（College of Electronic and Information Engineering，Nanjing University of Aeronautics and Astronautics，Nanjing? 210016，China）

Abstract：In a defocused and blurred image，the blur amount of a single pixel is determined by its depth of field，so the defocus blur is spatially variable. When traditional deblurring methods are used to solve the deconvolution problem of this kind of spatial variation，obvious ringing effect will appear at the boundary of different defocus degrees. Aiming at the above problems，this paper proposes a defocused image deblurring algorithm based on depth image prior. Experimental results show，comparing with the existing defocused image deblurring algorithm，this algorithm has better defocusing and deblurring performance.

Keywords：defocused image;deblurring;ringing effect;depth image prior

0? 引? 言

在人們使用照相機(jī)等成像設(shè)備獲得目標(biāo)圖像的過程中，由于光學(xué)成像系統(tǒng)的淺景深導(dǎo)致的散焦模糊，是影響圖像視覺質(zhì)量的一個(gè)重要因素。為了從散焦模糊圖像中恢復(fù)出清晰圖像，通常有兩種途徑來實(shí)現(xiàn)，即光學(xué)方法和數(shù)學(xué)方法。其中光學(xué)方法會(huì)使得攝像系統(tǒng)復(fù)雜化，而且付出的成本與收益不成正比。相反，數(shù)學(xué)方法因其低廉的成本和便捷性逐漸成為主流，呈現(xiàn)出巨大的發(fā)展?jié)摿?。由于散焦模糊是空間變化的。這種空間變化反卷積問題的現(xiàn)有解決方案是，首先將輸入圖像分割成近似均勻模糊量的幾個(gè)區(qū)域，然后在每個(gè)區(qū)域上分別進(jìn)行反卷積恢復(fù)出清晰圖像。

將深度卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于散焦圖像去模糊的一個(gè)困難是，網(wǎng)絡(luò)的訓(xùn)練需要提供大量的原圖像，這很難實(shí)現(xiàn)。最近，Ulyanov等人[1]發(fā)現(xiàn)卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)本身具有捕獲單個(gè)圖像低維信息的能力，由此提出了無需預(yù)先訓(xùn)練就可用于圖像恢復(fù)的深度圖像先驗(yàn)（Deep Image Prior，DIP）算法。受到DIP算法的啟發(fā)，本文提出了一種基于深度圖像先驗(yàn)的散焦圖像去模糊算法。通過對估計(jì)出的散焦圖進(jìn)行分割，得到具有多個(gè)不同參數(shù)的模糊核。通過不同散焦區(qū)域的掩膜運(yùn)算，并且采用Structural Similarity（SSIM）損失函數(shù)，使得網(wǎng)絡(luò)訓(xùn)練時(shí)能夠?qū)W習(xí)生成清晰圖像。

1? 算法實(shí)現(xiàn)原理

散焦圖像的去模糊主要分為三個(gè)步驟進(jìn)行。首先對散焦模糊圖像進(jìn)行模糊度的估計(jì)，得到散焦圖。然后通過對散焦圖區(qū)域分割，生成多個(gè)模糊核。最后在DIP網(wǎng)絡(luò)的框架下恢復(fù)出清晰圖像。本文對第一步散焦圖的生成，不做探討，而是運(yùn)用Xu等人[2]提出的散焦模糊圖的估計(jì)算法。

1.1? 散焦模糊核的生成

在散焦圖像中，模糊量與景深有著密切的關(guān)系。由于場景深度在空間上是存在差異的，在圖像的不同位置，估計(jì)出的模糊量是不同的，也就是說模糊核在空間上是變化的。為了保證局部區(qū)域場景深度的均勻性，通過將散焦圖分割成多個(gè)區(qū)域，并將每一個(gè)區(qū)域內(nèi)所有像素的模糊量平均值作為該區(qū)域的散焦模糊量，由式（1）表示：

（1）

其中，n為分割出的區(qū)域標(biāo)簽，σn和mj分別為第n個(gè)區(qū)域的散焦模糊量大小和第j個(gè)像素的散焦模糊量大小，Mn為第n個(gè)區(qū)域的范圍，t為在Mn范圍內(nèi)總共的像素個(gè)數(shù)，l為總共劃分出的區(qū)域個(gè)數(shù)。由此，第n個(gè)區(qū)域的模糊核定義為：

（2）

其中，x和y為坐標(biāo)。這樣，我們將空間變化的盲去模糊問題轉(zhuǎn)化為一個(gè)局部區(qū)域空間不變的非盲去模糊問題。分別對每一塊區(qū)域進(jìn)行恢復(fù)，并對結(jié)果進(jìn)行拼接，最終得到清晰的圖像。如圖1所示，圖1（a）是模糊圖，圖1（b）是通過算法[2]估計(jì)出的散焦圖，根據(jù)一定的閾值分割，從而得到圖1（c）。計(jì)算每一塊分割區(qū)域內(nèi)像素的平均值，把這個(gè)值作為模糊核的參數(shù)σn，從而得到每一塊區(qū)域的模糊核，如圖1（d）所示。

我們對于一張清晰Lena圖的四個(gè)不同區(qū)域卷積四個(gè)不同參數(shù)的高斯核，如圖2（a）為清晰圖，圖2（b）為四個(gè)不同大小的高斯核，從而得到具有不同模糊程度的散焦模糊圖像，如圖2（c）。再分別用對應(yīng)的高斯核，采用超拉普拉斯先驗(yàn)的快速圖像反卷積算法[3]和本文提出的去模糊算法，實(shí)驗(yàn)結(jié)果如圖3（a）和圖3（b）所示。

通過觀察圖3的去模糊結(jié)果，傳統(tǒng)的算法在具有不同散焦量的圖像邊界上，存在很明顯的振鈴效應(yīng)，而本文提出的散焦圖像去模糊算法則能恢復(fù)出良好的清晰圖像。

1.2? 基于深度圖像先驗(yàn)的散焦圖像去模糊算法

本文考慮散焦圖像由多個(gè)深度層組成的情況，每一層都是由清晰圖像部分和散焦模糊核卷積的結(jié)果，也就是說，散焦模糊的圖像可以按照以下方式建模：

（3）

其中，⊙為元素對應(yīng)乘積操作符，?為卷積操作符。L為區(qū)域個(gè)數(shù)，對于第i層來說，αi為二進(jìn)制區(qū)域掩膜矩陣，位于該層的像素，其值為1，否則為0。ui為相應(yīng)的清晰圖像部分，ki為與第i層關(guān)聯(lián)的模糊核，f為輸入的模糊圖像，n為圖像噪聲。最后的輸出則是一幅清晰圖像，用? 表示，形式為：

（4）

在本文中，αi是通過使用算法[2]估計(jì)出的散焦圖上進(jìn)行分割后得到的。ki是上節(jié)散焦模糊核的生成中得到的。本文提出的基于深度圖像先驗(yàn)的散焦圖像去模糊算法，網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示，圖像生成網(wǎng)絡(luò)x被用來捕捉清晰圖像的深層先驗(yàn)信息，并且只使用輸入的噪聲進(jìn)行訓(xùn)練，其輸出層采用非線性Sigmoid來約束x中的像素在[0，1]之間。

圖4公式中，?為損失函數(shù)，z為輸入噪聲，x為清晰圖像，y為輸入的散焦圖像。

清晰圖像通常包含顯著的結(jié)構(gòu)和豐富的紋理，這就要求生成網(wǎng)絡(luò)x具有足夠的建模能力。我們采用DIP網(wǎng)絡(luò)，即帶跳躍連接的編碼器-解碼器網(wǎng)絡(luò)作為x。如圖4所示，編碼器的前5層被跳躍連接到解碼器的后5層。圖5所示展示了某一單元的編碼器-解碼器結(jié)構(gòu)。最后，利用卷積輸出層產(chǎn)生最終的清晰圖像。

利用上述生成網(wǎng)絡(luò)x，并且我們引入額外的TV正則化器和正則化參數(shù)來考慮模型中的噪聲水平，通過結(jié)合x和TV正則化來捕獲圖像的先驗(yàn)信息，損失函數(shù)采用SSIM，由此我們可以將模型公式化為以下形式：

（5）

其中，αi為第i層的二進(jìn)制掩膜矩陣，位于該層的像素，其值為1，不在該層的像素，值為0?！褳樵貙?yīng)乘積操作符，ki為第i層的模糊核，zx為輸入的噪聲，y為輸入的散焦模糊圖像，λ為正則化參數(shù)。

式（5）的優(yōu)化過程可以解釋為一種“零次學(xué)習(xí)”的自我監(jiān)督學(xué)習(xí)，其中生成網(wǎng)絡(luò)x僅使用模糊圖像y來進(jìn)行訓(xùn)練，而不是通過真實(shí)的清晰散焦圖像庫訓(xùn)練。算法過程為：

算法1：基于深度圖像先驗(yàn)的散焦圖像去模糊算法

輸入：模糊圖像y，散焦區(qū)域矩陣αi，散焦模糊核ki

輸出：清晰圖像x

從均勻分布中取樣噪聲zx

For t = 1 to T do

;

計(jì)算x的梯度

使用ADAM優(yōu)化算法和式（5）更新

End

圖6所示是本文提出的基于深度圖像先驗(yàn)的散焦圖像去模糊算法的工作流程。輸入一幅模糊圖，如圖6（a），首先使用散焦模糊圖估計(jì)算法[2]，得到圖6（b）稀疏散焦圖，進(jìn)而通過插值獲得圖6（c）密度散焦圖。然后通過在散焦圖上進(jìn)行閾值劃分，將密度散焦圖分割成多個(gè)區(qū)域，并將每一個(gè)區(qū)域內(nèi)所有像素的模糊量平均值作為該區(qū)域的模糊量，由此生成多個(gè)模糊核{(lán)ki}。并且根據(jù)閾值分如圖6（e）和圖6（f），將輸入圖像分為i個(gè)不同的散焦層，得到區(qū)域矩陣{αi}，最后使用本文提出的散焦圖像去模糊算法，得到圖6（g）清晰圖像。

2? 實(shí)驗(yàn)結(jié)果

在對比實(shí)驗(yàn)中，我們使用了DAndrès等人[4]最近提出的具有已知散焦模糊值的數(shù)據(jù)集，該數(shù)據(jù)集具有22張自然散焦圖像。通過采用Zhuo[5]，Tang[6]，Zhang[7]，Karaali[8]提出的算法和本文提出的算法將得到的去模糊圖像與清晰圖像進(jìn)行比較。我們通過比較去模糊圖像的質(zhì)量Peak Signal to Noise Ratio（PSNR）和Structural Similarity（SSIM）指標(biāo)來評判算法的性能。各個(gè)算法的去模糊效果指標(biāo)如表1所示。

通過上表可以觀察到，只有本文的方法在平均PSNR和SSIM指標(biāo)上，相較于原模糊圖像，指標(biāo)呈正增益。另外我們還比較了Karaali的去模糊算法和我們的去模糊算法，在用真實(shí)散焦圖情況下的去模糊效果，我們的指標(biāo)要明顯優(yōu)于Karaali。由此驗(yàn)證了本文提出的基于深度圖像先驗(yàn)的去模糊算法是具有顯著優(yōu)勢的。從中選取五張散焦模糊圖像及不同算法恢復(fù)出的清晰圖像進(jìn)行展示，實(shí)驗(yàn)結(jié)果如圖7所示。

3? 結(jié)? 論

本文提出了一種基于深度圖像先驗(yàn)的散焦圖像去模糊算法。該算法解決了應(yīng)用傳統(tǒng)反卷積方法到散焦圖像的去模糊中所存在的明顯的振鈴效應(yīng)現(xiàn)象。并且通過對比其他散焦圖像去模糊算法，驗(yàn)證該算法表現(xiàn)出更好的去模糊性能。由于該算法依賴于散焦圖的估計(jì)，從而得到多個(gè)模糊核，屬于非盲反卷積。后續(xù)工作中需要設(shè)計(jì)一種盲反卷積，通過迭代的方法同時(shí)估計(jì)出模糊核和清晰圖像。

參考文獻(xiàn)：

[1] LEMPITSKY V，VEDALDI A，ULYANOV D. Deep Image Prior [C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition.Salt Lake City：IEEE，2018：9446-9454.

[2] XU G D，QUAN Y H，JI H. Estimating Defocus Blur via Rank of Local Patches [C]//2017 IEEE International Conference on Computer Vision（ICCV）.Venice：IEEE，2017：5381-5389.

[3] KRISHNAN D，F(xiàn)ERGUS R. Fast Image Deconvolution using Hyper-Laplacian Priors [C]//NIPS09：Proceedings of the 22nd International Conference on Neural Information Processing Systems.Vancouver：Curran Associates Inc，2009：1033-1041.

[4] DANDR?S L，SALVADOR J，KOCHALE A，et al. Non-parametric Blur Map Regression for Depth of Field Extension [J].IEEE Transactions on Image Processing，2016，25（4）：1660-1673.

[5] ZHUO S J，SIM T P. Defocus map estimation from a single image [J].Pattern Recognition，2011，44（9）：1852-1858.

[6] Tang C，HOU C P，Song Z J. Defocus map estimation from a single image via spectrum contrast [J].Optics Letters，2013，38（10）：1706-1708.

[7] ZHANG X X，WANG R G，JING X B，et al. Spatially variant defocus blur map estimation and deblurring from a single image [J].Journal of Visual Communication and Image Representation，2016，35（3）：257-264.

[8] KARAALI A，JUNG C R. Edge-Based Defocus Blur Estimation With Adaptive Scale Selection [J].IEEE Transactions on Image Processing，2018，27（3）：1126-1137.

作者簡介：陳天明（1995—），男，漢族，江蘇啟東人，碩士研究生，研究方向：數(shù)字圖像處理。