基于雙L0稀疏先驗的圖像運(yùn)動去模糊

陶宗勤　方賢勇,2　談業(yè)靜　陳尚文

1(安徽大學(xué)媒體計算研究所　安徽 合肥 230601)2(南京大學(xué)計算機(jī)軟件新技術(shù)國家重點(diǎn)實驗室　江蘇 南京 210023)

?

基于雙L0稀疏先驗的圖像運(yùn)動去模糊

陶宗勤1方賢勇1,2談業(yè)靜1陳尚文1

1(安徽大學(xué)媒體計算研究所安徽 合肥 230601)2(南京大學(xué)計算機(jī)軟件新技術(shù)國家重點(diǎn)實驗室江蘇 南京 210023)

摘要目前圖像的運(yùn)動去模糊方法在處理較復(fù)雜的運(yùn)動模糊時難以得到理想的效果，其原因之一是這些方法普遍只考慮圖像梯度的稀疏性，忽略了模糊核的稀疏性。針對這一不足提出一種新的雙L0正則約束的運(yùn)動模糊去除方法，該方法同時對自然圖像梯度和模糊核使用L0正則約束，結(jié)合半正定二次分裂最小化的方法進(jìn)行求解優(yōu)化，實現(xiàn)自然模糊圖像梯度和模糊核均稀疏下的模糊核估計，并進(jìn)一步使用L0.5超拉普拉斯正則約束項恢復(fù)最終圖像。實驗發(fā)現(xiàn)，該方法可以較好地去除單幅圖像較復(fù)雜的運(yùn)動模糊，更好地克服了估計的模糊核中存在的噪點(diǎn)和錯誤，得到較現(xiàn)有方法更加理想去模糊效果。

關(guān)鍵詞L0正則約束運(yùn)動去模糊半正定二次分裂

0引言

隨著數(shù)碼相機(jī)和移動設(shè)備的普及，數(shù)字圖像已在生活和工作中廣泛應(yīng)用。但是，由于相機(jī)或物體間的相對運(yùn)動等原因，運(yùn)動模糊的圖像經(jīng)常見到。如何去除運(yùn)動模糊，得到清晰的圖像是件非常有意義，但又較難解決的問題。本文針對這一問題進(jìn)行研究，提出一個新的基于圖像梯度和模糊核的雙L0稀疏正則約束的運(yùn)動去模糊方法。

由于產(chǎn)生模糊的運(yùn)動過程以及原始的清晰圖像均未知，這一病態(tài)的去模糊研究也被稱為盲運(yùn)動去模糊[1-3]。為了實現(xiàn)清晰圖像的還原，這一研究普遍采用圖像先驗知識進(jìn)行約束求解。早期的方法通常采用高斯平滑去懲罰自然圖像或圖像梯度，但這種先驗知識無法保留圖像的清晰邊緣。為了克服這個問題，許多正則化的方法被提出[4,5]。由于自然圖像梯度很難服從高斯分布[6]，F(xiàn)ergus等[1]提出一種混合高斯方法適應(yīng)自然圖像的梯度信息，以及一個混合指數(shù)先驗?zāi)M模糊核。Shan等[2]采用圖像的稀疏先驗知識，首先使用一個大的正則約束權(quán)值抑制圖像中不重要的結(jié)構(gòu)，并保存重要的結(jié)構(gòu)，這樣使得在迭代過程中模糊核朝著正確的方向進(jìn)行。Amizic等[7]在圖像梯度上利用一個超高斯的先驗分布[8]，以及在模糊核上使用全變分的先驗約束。Krishnan等[9]在圖像上使用一個L1/L2的正則約束項，主要是在迭代過程中使用L1正則約束項的基礎(chǔ)上將圖像梯度的L2范數(shù)當(dāng)作一個權(quán)值。這些工作都是基于自然圖像統(tǒng)計得到的重尾分布[1]或其變體方法，利用了其在恢復(fù)圖像的過程中能夠很好地保持圖像重要細(xì)節(jié)的特性。

但是這些基于自然圖像統(tǒng)計的方法雖然能夠很好地保持圖像的細(xì)節(jié)，卻在處理復(fù)雜模糊核時并不能得到比較理想的結(jié)果。文獻(xiàn)[10-12]中提出在估計運(yùn)動模糊核的過程中，一般的自然圖像統(tǒng)計方法(Lp正則約束方法(0

雖然運(yùn)用L0范數(shù)約束圖像稀疏性能夠得到比較理想的恢復(fù)結(jié)果，但是其得到的模糊核卻存在一些瑕疵。具體表現(xiàn)為：現(xiàn)有對圖像梯度實施L0正則約束的方法求出的模糊核雖然可以得到一個較為準(zhǔn)確的運(yùn)動路徑。但在處理一些較為復(fù)雜的運(yùn)動模糊時，得到的路徑周圍存在較多的噪點(diǎn)和錯誤，由于這些錯誤信息的干擾，難以取得理想的去模糊效果。我們認(rèn)為，產(chǎn)生這一現(xiàn)象的原因之一是這些方法沒有考慮產(chǎn)生運(yùn)動模糊的運(yùn)動路徑在空間上是稀疏的，即沒有考慮運(yùn)動模糊核本身的稀疏性，從而無法得到準(zhǔn)確的模糊核。為此，本文考慮模糊核的稀疏性，并進(jìn)一步將其與Pan等提出自然圖像的稀疏性相結(jié)合，提出雙L0約束下模糊核求解方法。該方法使用L0約束項同時約束模糊核和圖像梯度的稀疏性，實現(xiàn)運(yùn)動模糊核的估計。

由于L0正則約束是一個難以直接計算的問題，我們將Xu等[16]提出的半二次分裂最小化方法引入到本文方法的求解過程中。該方法根據(jù)圖像的L0約束可以在全局上控制圖像中非零梯度值的數(shù)量，從而并不再依賴圖像的局部特征，得到較為理想的去模糊效果。本文方法可以簡述為：運(yùn)用迭代的方法求取模糊核，在迭代的過程中，對中間圖像梯度和模糊核同時使用L0的正則約束項；分別使用半二次分裂最小化方法實現(xiàn)模糊核和清晰圖像的雙L0正則約束下的求解，即通過引入一個輔助變量將原有問題分裂成兩個有閉合解的子問題，從而得到一個最佳的逼近解。在最終圖像的恢復(fù)階段使用的是Krishnan[8]提出的超拉普拉斯分布逼近自然圖像的重尾分布。

1雙L0正則約束估計模糊核

1.1通常的圖像去模糊模型

圖像模糊的數(shù)學(xué)模型可以表示為：

B=K*U+N

(1)

其中B表示觀測到的模糊圖像，K表示模糊核，U表示對應(yīng)的清晰圖像，N表示噪聲，*表示卷積符號。

從模糊圖像B恢復(fù)到清晰圖像U的過程是一個成像的逆過程，然而由于噪聲的存在，這種恢復(fù)過程通常是病態(tài)的，這樣一般的逆濾波方法[17]并不能得到一個理想的結(jié)果。為了獲得更好的結(jié)果，通常采用正則化方法建模得到能量最小化方程，然后進(jìn)行求解：

(2)

其中第一項是數(shù)據(jù)保真項，用來控制解的逼近程度；第二和三項為正則項，用來約束信號的能量；λ為圖像正則項參數(shù)，用來調(diào)節(jié)圖像先驗知識的權(quán)值；γ是模糊核正則項參數(shù)，用來調(diào)整模糊核先驗知識的權(quán)值。φ(U)和ω(K)分別代表圖像和模糊核的先驗知識的正則項，根據(jù)正則項的不同，可以產(chǎn)生不同的正則化方法。目前提出的正則化方法主要有表 1所示的幾種。可以看出：在圖像的約束項方面，非自然圖像統(tǒng)計的L0正則約束項具有更好的恢復(fù)結(jié)果，而在模糊核的先驗約束上，很少有人考慮L0的稀疏約束。

表1　現(xiàn)有正則化方法的正則約束項

1.2雙L0估計模糊核模型

模糊核的估計對去運(yùn)動模糊是至關(guān)重要的，通過對比發(fā)現(xiàn)，文獻(xiàn)[9,10,19]等利用自然圖像統(tǒng)計得到的Lp(0

這一雙L0約束的模型可表示為下面的能量最小化表達(dá)式：

(3)

基于上述表達(dá)式的模糊核和清晰圖像求解可直接使用MAP框架[9, 13, 14, 18]，即將上面的模型分成兩步反復(fù)迭代求解。首先初始化一個模糊核，利用這個模糊核求清晰圖像梯度，然后利用這個圖像梯度估計模糊核，之后再利用估計得到的模糊核繼續(xù)求清晰圖像。圖1給出雙L0估計模糊核算法的流程圖。

圖1　雙L0求取模糊核流程圖

1.3L0估計中間圖像

由式(3)可以得到求解中間圖像的模型為：

(4)

由于式(4)是一個離散優(yōu)化問題，這類問題利用傳統(tǒng)的梯度下降法以及一些離散優(yōu)化方法非常難以解決。這里利用交替逼近的半正定二次分裂L0最小化方法。首先引入一個輔助變量G，這個G對應(yīng)于圖像U的梯度信息X，然后將式(4)重寫成下面的形式：

(5)

其中μ趨近于無限大時，這樣可以使式(5)的解接近于式(4)。而模型式(5)可以通過一個交替最小化G和X的方法解決。

可將G初始化為一個全0的矩陣，這樣每一步迭代過程中，可以用以下的模型求X：

(6)

這是一個最小二乘最小化問題，它的閉合解為：

(7)

然后，可由得到的X求出G：

(8)

這是一個針對每個像素求式(8)最小值的問題，根據(jù)文獻(xiàn)[16]的證明可以得到相應(yīng)的解為：

(9)

1.4L0估計模糊核

類似于式(3)，模糊核可以通過如下的模型求解：

(10)

式(10)的解法與求解中間圖像梯度類似。首先引入一個輔助變量H，這個H對應(yīng)于模糊核K，然后將式(10)重寫成下面的形式：

(11)

其中β趨近于無限大，這樣可以使式(11)的解接近于式(10)。而對模型式(11)可以通過一個交替最小化H和K的方法解決。

同樣，可將H初始化為一個全0的矩陣，這樣每一步迭代過程中，可以用以下的模型求K：

(12)

式(12)的閉合解為：

(13)

進(jìn)一步，由得到的K可求H：

(14)

得出相應(yīng)的解為：

(15)

1.5最終清晰圖像的恢復(fù)

上面得到的X是清晰圖像的梯度，并不是最終的恢復(fù)圖像，還缺少了圖像的細(xì)節(jié)部分。因此在最后一步，可利用上面得到的模糊核K，然后用一個非盲的去卷積算法得到最終的恢復(fù)圖像。這里使用的是文獻(xiàn)[8]給出的超拉普拉斯方法，使用的是L0.5的正則約束項，模型如下：

minuλ1‖K*U-B‖2+‖U‖0.5

(16)

1.6核心代碼

本文使用MAP框架，利用半正定二次分裂最小化方法得到最優(yōu)逼近解，這里給出求解中間圖像的核心代碼，求解模糊核的代碼和求解中間圖像類似：

function[Sx,Sy] =L0deblur_smooth(Sx,Sy,kernel,lambda,opts)

betamax= 1e2;

[N,M,D] =size(Sx);

sizeI2D= [N,M];

KER=psf2otf(kernel,sizeI2D);

Den_KER=abs(KER).^2;

Normin1_x=fft2(Sx);

Normin1_y=fft2(Sy);

ifD>1

% 維度大于1時，擴(kuò)充維度

Den_KER=repmat(Den_KER,[1,1,D]);

end

beta=opts.mu;

kappa=opts.rho;

whilebeta

Denormin=beta+Den_KER;

% 求出公式(7)中的分母

h=Sx;

% 清晰圖像梯度(x軸方向)

v=Sy;

ifD==1

ht=h.^2

% 得到小于閾值的像素點(diǎn)矩陣

vt=v.^2

else

ht=sum((h.^2),3)

ht=repmat(ht,[1,1,D]);

vt=sum((v.^2),3)

vt=repmat(vt,[1,1,D]);

end

h(ht)=0;v(vt)=0;

FSx=(conj(KER).*Normin1_x+beta*fft2(h))./Denormin;

FSy=(conj(KER).*Normin1_y+beta*fft2(v))./Denormin;

Sx=real(ifft2(FSx));

% 逆傅里葉變換求取結(jié)果

Sy=real(ifft2(FSy));

beta=beta*kappa;

end

end

2實驗

為了驗證上述方法的可行性和效果，本文分別對人造圖像和真實圖像進(jìn)行了大量的實驗。本實驗的實驗環(huán)境為：Window7 64位操作系統(tǒng)，8GB內(nèi)存，CPU為Inter奔騰G620，軟件為Matlab2013a。實驗主要針對文獻(xiàn)[9,13,14]進(jìn)行對比，這些文獻(xiàn)中提出的方法都是最近效果比較好，并且比較有代表性的正則化方法。實驗中對仿真圖像分辨率為600×800，噪聲是參數(shù)為0.001的隨機(jī)噪聲。并且分辨率越大運(yùn)行時間越長，噪聲越大得到的恢復(fù)效果越差。每幅效果圖右邊從上到下的三幅小圖分別為模糊核、上方和下方白色小塊放大圖，其中標(biāo)題為“清晰圖像”和“模糊圖像”的子圖中的模糊核為真實的模糊核，其他的為算法估計得到的模糊核。

圖2是圖像卷積模擬的模糊核后各算法的恢復(fù)結(jié)果。(a)是實際拍攝得到的清晰圖像，分辨率為600×800；(b)是卷積一個59×59的模糊核后加噪聲形成的模糊圖像；(c)是文獻(xiàn)[9]恢復(fù)結(jié)果，可以看出在模糊核比較大的時候，Krishnan等方法則會失效；(d)是文獻(xiàn)[13]的恢復(fù)結(jié)果，從圖中可看出雖然此方法可以求出一個接近的模糊核，但存在較大的錯誤；(e)是文獻(xiàn)[14]的恢復(fù)結(jié)果，從圖中可以看到模糊核的主干部分基本求的比較準(zhǔn)確，但周圍存在較多的噪聲和錯誤；(f)是本文的恢復(fù)結(jié)果，可以看出本文方法求出的模糊核是比較理想的。這個實驗說明在處理模擬運(yùn)動模糊的情況下，本文方法更有優(yōu)勢。

圖2　模擬運(yùn)動模糊的恢復(fù)結(jié)果

本文方法對真實的模糊圖像同樣可以取得較好的去模糊結(jié)果。如圖3所示是Krishnan等的方法中使用的真實模糊圖像(分辨率為1024×1280，模糊核的大小為25×25)。其中，(a)為真實的模糊圖像；(b)是文獻(xiàn)[9]方法估計的模糊核和恢復(fù)結(jié)果，可以看出模糊核估計的并不準(zhǔn)確；(c)是文獻(xiàn)[13]估計的模糊核和恢復(fù)結(jié)果，從圖可知模糊核還是有些偏差，導(dǎo)致恢復(fù)的效果不佳；(d)是文獻(xiàn)[14]估計的模糊核和恢復(fù)結(jié)果，其得到的模糊核也不準(zhǔn)確；(e)是本文方法得到的模糊核和恢復(fù)結(jié)果，從右邊的局部放大圖中可以看出，本文方法估計的模糊核和恢復(fù)結(jié)果都相對比較理想。

圖3　真實運(yùn)動模糊圖像恢復(fù)結(jié)果

圖4是利用最近效果比較好的幾個算法對同一清晰圖像卷積不同模糊核得到的模糊圖像求取模糊核的結(jié)果(其中模糊核大小都為59×59)。從圖中可以看出，L1/L2+L1方法在這種較大尺度復(fù)雜模糊核估計中完全失效，L0+L2的方法雖然可以得到模糊核的基本主干，但都存在很多噪點(diǎn)和錯誤信息從而影響去模糊效果；而本文的雙L0方法估計的模糊核在大多數(shù)情況下能夠很好的去除噪點(diǎn)和錯誤，從而得到更加理想的運(yùn)動模糊核。

圖4　估計的運(yùn)動模糊圖像的模糊核

圖4中：第一行是真實模糊核；第二行是文獻(xiàn)[9]方法估計的模糊核，利用L1/L2正則項約束項約束圖像梯度，L1的正則項約束項約束運(yùn)動模糊核；第三行是文獻(xiàn)[13]方法估計的模糊核，利用L0的圖像梯度約束項和L2的模糊核約束項；第四行是文獻(xiàn)[14]方法估計的模糊核，利用L0的圖像梯度約束項和L2的模糊核約束項；第五行是利用本文雙L0方法估計的模糊核。

表2是利用文獻(xiàn)[12]提供數(shù)據(jù)集中的8個模糊核來卷積拍攝到清晰圖像并加上噪聲，使用本文方法和最近效果比較理想的幾個算法求解得到恢復(fù)結(jié)果的峰值信噪比對比。從表中可以看出本文方法是最接近于真實模糊核的恢復(fù)結(jié)果的。

表2　恢復(fù)結(jié)果的峰值信噪比對比

3結(jié)語

針對目前去除圖像運(yùn)動模糊的方法難以去除較復(fù)雜的模糊，以及當(dāng)前L0方法存在的一些不足，提出雙L0正則約束的運(yùn)動模糊去除方法。該方法根據(jù)圖像梯度的稀疏性以及運(yùn)動模糊核的稀疏性，在估計模糊核的過程中對中間圖像梯度和模糊核同時使用L0正則約束的稀疏先驗，從而得到了一個更加魯棒的運(yùn)動去模糊模型；進(jìn)一步，運(yùn)用一個半正定二次分裂方法求解該模型，得到準(zhǔn)確的模糊核；最后，使用L0.5的超拉普拉斯方法得到了較好的清晰原圖像。實驗結(jié)果表明該方法是可行的。以后的工作中將會考慮算法中參數(shù)的自適應(yīng)調(diào)整問題和最終恢復(fù)圖像中存在的振鈴效應(yīng)問題，以期得到更加清晰和準(zhǔn)確的去模糊結(jié)果。

參考文獻(xiàn)

[1]FergusR,SinghB,HertzmannA,etal.Removingcamerashakefromasinglephotograph[J].ACMTransactionsonGraphics(TOG).ACM,2006,25(3):787-794.

[2]ShanQ,JiaJ,AgarwalaA.High-qualitymotiondeblurringfromasingleimage[J].ACMTransactionsonGraphics(TOG).ACM,2008,27(3):73.

[3]ChoS,LeeS.Fastmotiondeblurring[J].ACMTransactionsonGraphics(TOG).ACM,2009,28(5):145.

[4]DaniilidisK,MaragosP,ParagiosN,etal.SingleImageDeblurringUsingMotionDensityFunctions[C]//DaniilidisK,MaragosP,ParagiosN.ComputerVision-ECCV2010.SpringerBerlinHeidelberg,2010:171-184.

[5]ChanTF,Chiu-KwongW.Totalvariationblinddeconvolution[J].ImageProcessing,IEEETransactionson,1998,7(3):370-375.

[6]FieldD.WhatIstheGoalofSensoryCoding?[J].NeuralComputation,1994,6(4):559-601.

[7]AmizicB,MolinaR,KatsaggelosAK.SparseBayesianblindimagedeconvolutionwithparameterestimation[J].EURASIPJournalonImageandVideoProcessing,2012,2012(1):1-15.

[8]KrishnanD,FergusR.Fastimagedeconvolutionusinghyper-Laplacianpriors[C]//AdvancesinNeuralInformationProcessingSystems,2009:1033-1041.

[9]KrishnanD,TayT,FergusR.Blinddeconvolutionusinganormalizedsparsitymeasure:ComputerVisionandPatternRecognition(CVPR)[C]//2011IEEEConferenceon,Providence,RI,2011:20-25.

[10]WipfD,ZhangH.RevisitingBayesianblinddeconvolution[J].EprintarXiv:2013(15):3595-3634.

[11]BenichouxA,VincentE,GribonvalR.Afundamentalpitfallinblinddeconvolutionwithsparseandshift-invariantpriors:Acoustics,SpeechandSignalProcessing(ICASSP)[C]//2013IEEEInternationalConferenceon,Vancouver,BC,2013:26-31.

[12]LevinA,WeissY,DurandF,etal.Understandingandevaluatingblinddeconvolutionalgorithms[C]//ComputerVisionandPatternRecognition,2009.CVPR2009.IEEEConferenceon.IEEE, 2009:1964-1971.

[13]JinshanP,ZhixunS.FastL0-RegularizedKernelEstimationforRobustMotionDeblurring[J].SignalProcessingLetters,IEEE,2013,20(9):841-844.

[14]LiX,ShichengZ,JiayaJ.UnnaturalL0SparseRepresentationforNaturalImageDeblurring:ComputerVisionandPatternRecognition(CVPR)[C]//2013IEEEConferenceon,Portland,OR,2013:23-28.

[15]PanJ,HuZ,SuZ,etal.DeblurringTextImagesviaL0-RegularizedIntensityandGradientPrior:ComputerVisionandPatternRecognition(CVPR)[C]//2014IEEEConferenceon,Columbus,OH,USA,2014:23-28.

[16]XuL,LuC,XuY,etal.ImagesmoothingviaL0gradientminimization[J].ACMTransactionsonGraphics(TOG),2011,30(6):174.

[17] 李沛秦,謝劍斌,陳章永,等.一種面向目標(biāo)區(qū)域的快速去模糊算法[J].信號處理,2010(8):1240-1245.

[18]KoteraJ,roubekF,MilanfarP.Blinddeconvolutionusingalternatingmaximumaposterioriestimationwithheavy-tailedpriors[C]//ComputerAnalysisofImagesandPatterns.SpringerBerlinHeidelberg,2013:59-66.

[19]LevinA,WeissY,DurandF,etal.UnderstandingBlindDeconvolutionAlgorithms[J].PatternAnalysisandMachineIntelligence,IEEETransactionson,2011,33(12):2354-2367.

IMAGE MOTION DEBLURRING BASED ON DOUBLE L0SPARSE PRIORI

Tao Zongqin1Fang Xianyong1,2Tan Yejing1Chen Shangwen1

1(Institute of Media Computing,Anhui University,Hefei 230601,Anhui,China)2(State Key Laboratory for Novel Software Technology,Nanjing University,Nanjing 210023,Jiangsu,China)

AbstractExisting image motion deblurring methods cannot obtain ideal results when dealing with the complex motion blurs. One of the reasons is that they generally only consider the sparsity of image gradients but ignore the sparsity of blur kernel. To overcome this limitation, this paper presents a new motion deblurring method with double L0 regular constraints, which applies the L0 regular constraints to both the natural image gradients and blur kernel, by combining the semi-definite quadratic splitting minimisation method it carries out the solution optimisation and realises the blur kernel estimation under the conditions of natural blurred image gradients and average sparsity of blur kernel. It further adopts a hyper-Laplacian term with L0.5regular constraint to restore the final deblurred image. Experiment finds that the proposed method can well remove the rather complex motion blur of single image and better overcome the estimated noise and errors in blur kernel, and consequently obtains a more ideal motion deblurring effect than existing methods.

KeywordsL0 regular constraintMotion deblurringSemi-definite quadratic splitting

收稿日期：2014-12-26。安徽省自然科學(xué)基金項目(1408085MF 113，1308085QF100)；南京大學(xué)計算機(jī)軟件新技術(shù)國家重點(diǎn)實驗室開放課題(KFKT2013B12)。陶宗勤，碩士生，主研領(lǐng)域：計算機(jī)視覺和計算攝影。方賢勇，教授。談業(yè)靜，碩士生。陳尚文，博士生。

中圖分類號TP391.4

文獻(xiàn)標(biāo)識碼A

DOI:10.3969/j.issn.1000-386x.2016.06.050