快速非均勻模糊圖像的盲復原模型

程俊廷，左旺孟

(1.黑龍江科技大學 機械工程學院，哈爾濱 150022；2.哈爾濱工業(yè)大學 計算機科學與技術(shù)學院，哈爾濱 150001)

快速非均勻模糊圖像的盲復原模型

程俊廷1，左旺孟2

(1.黑龍江科技大學 機械工程學院，哈爾濱 150022；2.哈爾濱工業(yè)大學 計算機科學與技術(shù)學院，哈爾濱 150001)

針對目前非均勻模糊圖像盲復原算法在復原效果、計算和存儲復雜性以及自動化程度方面存在的問題和不足，研究基于廣義可加卷積模型的非均勻模糊計算方法，建立改善估計準確度或增強復原圖像視覺質(zhì)量為目標的圖像先驗?zāi)Ｐ?，并改進模型的復原效果和效率。結(jié)果表明：非均勻模糊圖像盲復原算法可有效復原出模糊圖像。與傳統(tǒng)算法相比，該算法復原效率較高，具有一定的實用價值。

圖像盲復原；去模糊；退化圖像；稀疏建模

0 引 言

成像技術(shù)的局限性、環(huán)境的復雜性、場景的三維特性、目標的動態(tài)性和非配合性等諸多因素都會導致獲取的圖像為有強噪聲、低品質(zhì)和失真等特性的退化圖像。圖像模糊是一種典型的圖像退化形式，焦距、相機抖動、感知目標的運動等因素都會造成圖像模糊，導致系統(tǒng)性能急劇下降[1]。研究模糊圖像的復原問題，即圖像去模糊[2]，從人觀察的角度來說將有助于提升圖像的視覺質(zhì)量；從系統(tǒng)的角度來說將有助于改善系統(tǒng)的穩(wěn)健性，因而有著重要的理論價值和應(yīng)用意義。

早期的模糊圖像復原研究往往假設(shè)退化模型已知，主要集中在數(shù)學模型和算法方面。而實際上，模糊圖像的盲復原是一個更加嚴重的不適定問題和更具挑戰(zhàn)的實際問題。Fergus等[3]研究了圖像的先驗?zāi)Ｐ停岢隽艘粋€均勻模糊圖像的盲復原方法。其他學者隨后研究發(fā)現(xiàn)實際的模糊圖像往往是非均勻模糊，并針對相機抖動提出了若干個退化模型[4-5]。非均勻的運動模糊、圖像散焦模糊圖像復原問題也得到了一定程度的關(guān)注[6-7]。

雖然模糊圖像的盲復原研究取得了一定進展并在實用化道路上邁出了很大一步，但仍然存在許多亟待解決的問題：(1)復原圖像品質(zhì)不高。主流的復原指標是最小均方差(MSE)和峰值信噪比(PSNR)，而圖像品質(zhì)評價(IQA)的研究表明小MSE值和高PSNR值并不能保證復原結(jié)果的高品質(zhì)[8]。(2)計算復雜性過高。為了復原一幅512像素×512像素的非均勻模糊圖像，目前最快的算法在普通PC上仍需要10 min[9]，Gupta等[5]和Hu等[9]的算法則需要8～16 GB的內(nèi)存。顯然，如此之高的計算和內(nèi)存復雜性，使得目前的算法仍然只能停留在研究階段，很難真正應(yīng)用于相機、計算機和視覺分析系統(tǒng)。(3)自動化程度不高，待調(diào)節(jié)參數(shù)過多。雖然能夠估計出均勻或非均勻模糊模型的參數(shù)，但目前的盲復原模型中仍然包含一定的超參數(shù)，需要用戶根據(jù)經(jīng)驗或結(jié)果來設(shè)定和調(diào)整。

針對上述問題，筆者以相機抖動造成的非均勻模糊為例，深入分析其特點，建立高效的非均勻模糊計算模型；針對模糊模型估計和非盲圖像復原問題，在稀疏和低秩模型的基礎(chǔ)上引入新的圖像先驗，借鑒IQA前沿成果，研究改善復原效果的有效途徑。

1 模型建立

1.1 非均勻模糊建模

用一組濾波器和清晰圖像卷積的廣義線性加進行非均勻模糊建模，即采用如下形式的廣義可加卷積模型:

其中，x是清晰圖像，ki是第i個基濾波器，fi和gi為任意的線性變換。根據(jù)具體的非均勻模糊的類型，設(shè)定具體的fi和gi，從而實現(xiàn)非均勻模糊的快速計算。例如，對于散焦模糊，令gi(x)=x，fi(x)=wi° x，其中“° ”表示點乘算子，則散焦模糊模型可以表示為

其中，wi和ki可以利用主成分分析(PCA)預先計算出來，因此這一模型可稱為可加卷積模型。通過將fi和gi設(shè)定為旋轉(zhuǎn)或極坐標變換算子，進一步將相機抖動模糊建模為廣義可加卷積模型。旋轉(zhuǎn)角度一定時，不同平移作用下的相機抖動模糊可以表示為

其中，Rθ表示角度為θ的旋轉(zhuǎn)操作，kti表示大小為t的平移操作。據(jù)此，將相機抖動模糊建模為

Kx=ΣθRθ(kSθ?x)。

類似地，通過定義hPT(·)和hIPT(·)為極坐標變換和逆極坐標變換，平移一定時，不同旋轉(zhuǎn)角度下的相機抖動模糊可以表示為

相機抖動模糊因而可以建模為

Kx=ΣthIPT(wt?hPT(Ktx))。

1.2 圖像先驗建模

為了避免陷入局部最優(yōu)，目前通用的方法是在模糊模型估計階段和非盲圖像復原階段使用不同的圖像先驗?zāi)Ｐ汀２煌谕ㄓ梅椒?，采用從模糊模型估計階段的圖像先驗?zāi)Ｐ偷椒敲D像復原階段的圖像先驗?zāi)Ｐ偷臐u進過渡策略，從而將模型估計和非盲圖像復原納入到一個統(tǒng)一的框架下。例如，以超拉普拉斯(Lp)稀疏梯度先驗為例，在盲復原初級階段采用較小的p范數(shù)，然后在迭代過程中逐漸增加p值直到自然圖像統(tǒng)計中的最優(yōu)p值范圍，即0.5

1.3 非均勻模糊圖像復原模型

非均勻模糊圖像的復原包括退化算子A估計和高品質(zhì)圖像復原。當然，可以簡單地使用最大化后驗概率框架(MA,x)來同時估計退化算子和高品質(zhì)圖像。然而，MA,x框架往往是不可行的。因此，目前的做法是首先估計退化算子，然后再進行非盲復原。

針對退化算子估計，重點探索兩種模型：

(1) MA框架

假設(shè)MA,x框架的損失函數(shù)是L(A,x)，采用如下的退化算子估計模型：

{A}=argminA∫L(A,x)dx。

(2)結(jié)合特定圖像先驗的MA,x模型

近年來研究發(fā)現(xiàn)，通過在MA,x框架使用特定的圖像先驗?zāi)Ｐ?，也能較好地估計退化算子。此外，在MA,x框架下引入雙通濾波和沖擊濾波器，同樣能夠用于估計退化算子。因此,沿著這個思路進行探索，并結(jié)合理論推導和實驗驗證來揭示MA,x模型和MA模型的等價性。

最后，在給定A的情況下，結(jié)合圖像先驗?zāi)Ｐ头矫娴难芯砍晒?x)，利用標準的Mx框架進行非均勻模糊圖像復原：

2 實驗結(jié)果與分析

文中提出可加卷積模型(ACM)將非均勻模糊圖像表示為一系列基礎(chǔ)濾波器與清晰圖像卷積結(jié)果的空間變化加權(quán)和：

表1 ACM與SBM方法復原模糊圖像的計算效率Table 1 Computational efficiency of restcration blurred image with ACM and SBM

a 抖動圖像及復原結(jié)果

b 散焦圖像及復原結(jié)果

c 基礎(chǔ)濾波器數(shù)量的優(yōu)化

圖2為基于廣義可加卷積模型的相機抖動模糊盲復原效果。由圖2可知，文中算法實現(xiàn)了基于廣義可加卷積模型的相機抖動模糊盲復原，能夠?qū)φ鎸嵉南鄼C抖動圖像取得滿意的復原結(jié)果。在相同圖像環(huán)境下，通過多次分別運行文中算法、Whyte等、Gupta等、Hu & Yang算法，通過軟件計時器計時，得到文中算法的平均速度分別是Whyte等、Gupta等、Hu & Yang算法的100.0、8.0和2.5倍。同時，所需內(nèi)存平均僅為Gupta等、Hu & Yang的方法的1/5。

3 結(jié)束語

在實際成像過程中，散焦、相機抖動和運動模糊等因素都會造成圖像的非均勻模糊，進而導致圖像視覺品質(zhì)和計算機視覺系統(tǒng)性能的急劇下降。針對日益受到廣泛關(guān)注的非均勻模糊圖像復原問題，筆者研究基于廣義可加卷積模型的非均勻模糊算法，采用圖像先驗?zāi)Ｐ透纳颇：Ｐ凸烙嫓蚀_度或增強復原圖像視覺質(zhì)量，并進行實驗驗證。結(jié)果表明，文中算法提高了模糊圖像盲復原的復原效果和效率，其速度分別是Whyte等、Gupta等、Hu & Yang算法的100.0、8.0和2.5倍，所需內(nèi)存僅為Gupta等、Hu & Yang方法的1/5。在今后的研究中，將進一步從圖像先驗?zāi)Ｐ?、自適應(yīng)參數(shù)估計和優(yōu)化算法等方面深入研究。

[1] Gopalan R,Taheri S,Turaga P,et al.A blur-robust descriptor with applications to face recognition[J].IEEE Trans Pattern Analysis and Machine Intelligence,2012，34(6): 1220-1226.

[2] Biemond J,Lagendijk R L,Mersereau R M.Iterative methods for image dDeblurring[J].Proc IEEE,1990,78: 856-883.

[3] Fergus R,Singh B,Hertzmann A,et al.Removing camera shake from a single photograph[J].Acm Transactions on Graphics,2006,25(5): 787-794.

[4] Whyte O,Sivic J,Zisserman A，et al.Non-uniform deblurring for shaken images[J].Int J Comput Vis,2012,98(2): 168-186.

[5] Gupta A,Joshi N,Zitnick C L,et al.Single image deblurring using motion density functions[J].Proc Europ Conf Comput Vis,2010,63(11),171-184.

[6] Zheng S,Xu L,Jia J.Forward motion dDeblurring[C]//Proceedings of ICCV,Sydney: IEEE,2013: 1465-1472.

[7] Zhu X,Cohen S,Schiller S,et al.Estimating spatially varying defocus blur from a single image[J].IEEE Trans on Image Processing,2013,22(12): 4879-4891.

[8] Wang Z,Bovik A C.Mean squared error: love it or leave it-a new look at signal fidelity measures[J].IEEE Signal Processing Magazine,2009,26(1): 98-117.

[9] Hu Z,Yang M H.Fast non-uniform deblurring using constrained camera pose subspace[J].Proc British Mach Vis Conf,2012,13(6): 1-11 .

(編校 王 冬)

Fast blind deblurring models for restoration of non-uniform blur images

ChengJunting1,ZuoWangmeng2

(1.School of Mechanical Engineering,Heilongjiang University of Science & Technology,Harbin 150022,China;2.School of Computer Science & Technology,Harbin Institute of Technology,Harbin 150001,China)

This paper follows from the need for addressing the problems with the existing non-uniform image deblurring methods in terms of restoration quality,computational and memory complexity,and automatic parameter selection.The study provides a novel model for improving the restoration quality and reducing computational and memory complexity; enhancing the computational efficiency for non-uniform blurring,using the generalized additive convolution model; and developing novel image prior models for enhancing image visual quality.The results demonstrate that the non-uniform blurred image blind restoration algorithm enables a more effective restoration of the blurred image and provides a higher restoration efficiency than the traditional algorithm.

image blind restoration; deblurring; degradation image; sparse modeling

2017-02-23

程俊廷(1973-)，男，內(nèi)蒙古自治區(qū)涼城人，教授，博士，研究方向：計算機視覺、圖像處理、增材制造，E-mail：chengjunting@163.com。

10.3969/j.issn.2095-7262.2017.02.021

TP391

2095-7262(2017)02-0196-04

A