結(jié)合各向異性擴散和高階擴散的視頻盲去模糊復(fù)原方法

張樂平

(懷寧縣委黨校，安徽 安慶 246121)

結(jié)合各向異性擴散和高階擴散的視頻盲去模糊復(fù)原方法

張樂平

(懷寧縣委黨校，安徽 安慶 246121)

為了能夠有效的去除模糊，得到高質(zhì)量的視頻圖像，提出了一種結(jié)合各向異性擴散和高階擴散的視頻盲去模糊方法.利用基于全變差的各向異性擴散和shock濾波器來準確提取模糊視頻中每幅模糊圖像幀的大尺度邊緣，并利用提取的大尺度邊緣，結(jié)合稀疏性約束來對模糊退化函數(shù)進行準確的估計；在模糊視頻圖像的復(fù)原階段，為了保證連續(xù)的視頻圖像幀之間的時間一致性，在視頻的時間軸上，提出了一種基于高階擴散的連續(xù)性正則化約束項，以在時間上對連續(xù)的視頻圖像幀進行較好的一致性約束.提出的方法能夠在較好復(fù)原模糊視頻的同時有效地抑制復(fù)原視頻中的振鈴瑕疵，同時進一步增強復(fù)原視頻中的時間一致性.

模糊視頻盲復(fù)原；各向異性擴散；模糊退化函數(shù)；高階擴散；時間連續(xù)性

引言

與模糊圖像的盲復(fù)原相比，模糊視頻的盲復(fù)原是一個更加具有挑戰(zhàn)性的病態(tài)逆問題，而模糊視頻復(fù)原的目的也是從觀察到的模糊視頻中復(fù)原出原始的清晰視頻畫面.與圖像模糊的原理一樣，造成視頻模糊的原因仍然是模糊退化函數(shù)(Blur Degeneration Function：BDF)，且根據(jù)BDF是否已知，模糊視頻的復(fù)原可以分為模糊視頻的非盲復(fù)原和模糊視頻的盲復(fù)原兩大類.在模糊視頻的非盲復(fù)原方面，2011年，Chan等人提出了一種模糊視頻的非盲復(fù)原方法，該方法將全變差模型引入到模糊視頻的復(fù)原中，提出了一種增廣拉格朗日式方法來對該全變差模型進行求解[6].同年，Takeda等人提出了一種結(jié)合時間和空間的方法來有效復(fù)原由運動模糊所造成的模糊視頻圖像[7].在現(xiàn)實生活中，由于拍攝條件和外在環(huán)境等眾多原因的影響，有可能導(dǎo)致一段視頻中一部分的視頻圖像幀是模糊的，而其余的視頻圖像是清晰的，因此，在模糊視頻的盲復(fù)原方面，Lee等人于2013年提出了一種利用視頻中清晰的圖像幀來復(fù)原模糊的圖像幀的模糊視頻盲復(fù)原方法.Lee等人根據(jù)視頻圖像幀的歸一化邊緣能量測量來探測一段視頻中的模糊視頻圖像幀，然后再利用該模糊視頻圖像幀附近的清晰視頻圖像幀來對該模糊視頻圖像幀進行有效的復(fù)原[8].2012年，Cho等人同樣利用視頻中的清晰圖像幀，并結(jié)合基于圖像塊的合成，提出了一種適用于手持攝像機的模糊視頻盲復(fù)原方法[9].為了有效解決在拍攝時，由于被拍攝物體的三維旋轉(zhuǎn)運動所造成的視頻中的運動模糊，2012年，Deng等人利用極坐標來模擬向平面內(nèi)的旋轉(zhuǎn)運動，提出了一種有效的去除平面內(nèi)旋轉(zhuǎn)模糊的模糊視頻盲復(fù)原方法[10].

由以上的分析可知，針對現(xiàn)有的一些具有代表性的模糊視頻復(fù)原方法而言，模糊視頻的非盲復(fù)原方法考慮了整段模糊視頻的去模糊問題，但是在非盲的方法中，卻假設(shè)BDF是已知的.對于模糊視頻的盲復(fù)原而言，現(xiàn)有的盲復(fù)原方法要么是利用視頻中的清晰圖像幀來對視頻中的模糊圖像幀進行復(fù)原[8, 9]，要么只研究了視頻中前景物體的去模糊問題[10]，而沒有考慮整段視頻中所有的視頻圖像幀，包括前景物體和背景場景都存在模糊時的盲復(fù)原問題.

因此，針對現(xiàn)有方法存在的缺陷，本文提出一種針對整段模糊視頻的基于時間一致性的模糊視頻盲復(fù)原方法.因為視頻在拍攝的過程中攝像機的運動是隨機的，且被拍攝的場景是隨著時間變化的，因此，當(dāng)整段視頻都出現(xiàn)模糊時，其中的每一幅模糊的視頻圖像幀的BDF并不是完全相同的.針對模糊視頻的這一特點，本文提出的方法將分為兩個階段：BDF的估計階段和模糊視頻圖像幀的復(fù)原階段.在BDF的估計階段中，提出一種基于各向異性擴散[11]和shock濾波器[12]的BDF估計方法來對BDF進行準確的估計；在模糊視頻圖像幀的復(fù)原階段，提出一種三維立體的時間掩膜，在有效復(fù)原出每一幅原始的清晰視頻圖像幀的基礎(chǔ)上，保證復(fù)原視頻中幀與幀之間的時間一致性，得到更高質(zhì)量的復(fù)原視頻.大量的實驗結(jié)果表明本文所提出的方法能夠很好的復(fù)原整段模糊視頻，且較近幾年的一些具有代表性的模糊視頻盲復(fù)原方法相比，在主觀的視覺效果和客觀的評價指標方面均有顯著的提升.

1 提出的模糊視頻盲復(fù)原方法

1.1 模糊視頻幀的BDF估計

當(dāng)整段視頻都出現(xiàn)模糊時，其中的每一幅模糊的視頻圖像幀的BDF并不是完全相同的，因此在BDF的估計階段本文將對每幅模糊視頻圖像幀各自的BDF分別進行估計.

視頻圖像幀的模糊退化模型可用如下的數(shù)學(xué)模型進行表示：

g=k*L+n

(1)

其中，g為觀察到的模糊噪聲圖像，大小為M×N，k為已知的BDF，L為原始的清晰圖像，n為零均值、方差為σ2的加性高斯噪聲，*表示卷積運算.BDF估計階段的目的就是在僅僅已知g的情況下，準確地估計出k.2010年，Xu等人發(fā)現(xiàn)大尺度的物體邊緣能夠估計出更加準確的BDF[13].因此，在BDF的估計階段，利用一種各向異性擴散的結(jié)構(gòu)提取策略和shock濾波器來準確提取每幅模糊視頻圖像幀中的大尺度邊緣，然后僅利用提取的大尺度邊緣對BDF的準確估計.因此，在BDF的估計階段，提出BDF估計數(shù)學(xué)模型：

(2)

如公式(2)所示，對BDF的估計是一個二次性L2范數(shù)的最優(yōu)化問題，因此，對公式(2)求解關(guān)于k的導(dǎo)數(shù)，并利用快速的傅里葉變換可以得到：

(3)

為了得到具有物理意義的解，在每一次迭代中，還采用圖像盲復(fù)原方法中通用的一類約束條件對估計的BDF進行約束：

(4)

其中，(i,j)表示圖像中像素點的坐標，max(km+1)表示求取km+1中數(shù)值最大的元素，P和Q表示k的大小.

1.2 模糊視頻的復(fù)原

其在模糊視頻的復(fù)原階段，為了有效抑制噪聲和振鈴瑕疵，首先利用圖像的一階梯度和二階梯度信息；其次，為了保證復(fù)原視頻中幀與幀之間的時間一致性，提出一種立體的三維時間掩膜來對復(fù)原視頻中圖像幀之間的時間一致性進行有效的正則化約束.模糊視頻圖像幀復(fù)原的數(shù)學(xué)模型為：

(5)

(6)

由公式(6)可知，本文提出的三維立體時間掩膜▽T將每個視頻圖像幀與該幀之前和之后的兩個相鄰幀聯(lián)系到了一起，通過最小化它們之間的內(nèi)容差異性(公式(5))來保證相鄰幀在時間上的一致性.為了求解公式(5)，將公式(5)的最后兩項結(jié)合到一起，得到：

(7)

(8)

1)固定L，求解u，得到：

(9)

由u=▽∧L可知，輔助變量u由ux，uy和uT三部分組成，因此利用shrinkage函數(shù)來對變量u的每一部分進行求解：

(10)

2)固定u，求解L，得到：

(11)

由公式(11)可知，關(guān)于L的求解只涉及到二次性的L2范數(shù)，因此，對公式(11)求解關(guān)于L的導(dǎo)數(shù)，并利用快速的傅里葉變換得到：

(12)

為了得到具有物理意義的解，在每一次迭代中，還將對求解的復(fù)原視頻圖像幀進行非負的約束：

(13)

在提出的方法中，利用觀察到的模糊視頻圖像幀的最低分辨率層作為最初的L來初始化整個算法，將其代入到公式(2)中，開始對BDF的估計；然后估計出k的又將被代入到公式(5)用于模糊視頻圖像幀的復(fù)原.如此循環(huán)，直到得到滿意的復(fù)原結(jié)果為止.

2 實驗結(jié)果及分析

2.1 實驗環(huán)境的配置

在實驗結(jié)果及分析部分一共采用了兩段模糊的視頻(如圖1所示為兩段模糊視頻中的第5幀圖像)來驗證所提方法的有效性.在兩段模糊視頻的實驗中，提出方法的參數(shù)均被設(shè)置為：ω0=0.025，ωx=ωy=0.012 5，λ=1 200，α=40，ωxx=ωyy=ωxy=0.625，β=0.02，γ=0.1.當(dāng)‖Lm+1-Lm‖2/‖Lm‖2<0.001時停止迭代，算法結(jié)束.

圖1 實驗中采用的兩段模糊視頻中的第5幀圖像：(a)“text”視頻；(b)“house”視頻

由公式(9)和(12)可知，參數(shù)γ越大，每次迭代對變量u的更新就越少，從而導(dǎo)致復(fù)原圖像L的更新速度就越慢,算法迭代次數(shù)增加.因此，為了在不影響算法性能的條件下盡可能的提高算法的效率，通過反復(fù)的實驗得到，在本文所有實驗中，對參數(shù)γ進行如下設(shè)置：γ=10λ.

2.2 提出方法的性能比較實驗

對文中所提方法與近幾年的一些具有代表性的模糊視頻盲復(fù)原方法(文獻[8]和文獻[10])進行比較，以進一步驗證本文所提出方法的性能.

圖2所示為所有三種方法在“text”模糊視頻實驗中的復(fù)原結(jié)果.圖2所示為“text”復(fù)原視頻中幀復(fù)原圖像(a)結(jié)果(所有方法估計的BDF和對應(yīng)的復(fù)原圖像幀).如圖2所示，因為Lee等人提出的方法[8]是利用視頻中存在的清晰圖像幀來復(fù)原其余的模糊圖像幀，而沒有涉及到對BDF的估計，因此當(dāng)整段視頻都出現(xiàn)模糊時，該方法就無法找到合適的清晰圖像幀來對模糊圖像幀進行復(fù)原，因此Lee等人的方法在復(fù)原的圖像幀中引入了嚴重的振鈴瑕疵，且沒有估計的BDF(圖2(b)).Deng等人的方法[10]雖然不依賴于清晰的圖像幀，但是卻只考慮了前景物體出現(xiàn)模糊的情況，因此當(dāng)視頻中的背景同樣也出現(xiàn)模糊時，雖然該方法估計的BDF與本文提出方法所估計的BDF相似，但是在復(fù)原視頻圖像幀方面，該方法也會引入少量的瑕疵(圖2(c)).相比之下，本文提出的方法不僅實現(xiàn)了BDF的準確估計，同時還很好地保證了各個視頻圖像幀之間的時間一致性，本文提出的方法不僅能夠估計出準確的BDF，同時還能夠復(fù)原出最清晰的視頻圖像幀(圖2(d)).

圖2 所有三種方法在“text”模糊視頻中的復(fù)原結(jié)果

圖3所示為所有三種方法在“house”模糊視頻實驗中的復(fù)原結(jié)果.同樣的，圖3所示為“house”復(fù)原視頻中幀復(fù)原圖像(b)的結(jié)果.如圖3所示，在“house”模糊視頻中，文獻[8]和文獻[10]中的方法均不能得到令人滿意的復(fù)原結(jié)果.不僅不能很好地去除模糊，而且還在復(fù)原圖像幀中均引入了不同程度的邊緣效應(yīng)和振鈴瑕疵，同時文獻[10]中方法所估計的BDF也存在較為明顯的瑕疵(圖2(b)和圖2(c)).相比之下，本文提出的方法不僅能夠估計出最準確的BDF，而且還能夠有效抑制邊緣效應(yīng)和振鈴等瑕疵，同時保證視頻圖像幀之間的時間一致性，得到最清晰的視頻圖像幀.

圖3 所有三種方法在“house”模糊視頻中的復(fù)原結(jié)果

通過利用峰值信噪比(PeakSignal-to-NoiseRatio：PSNR)指標來客觀評價本文提出方法的性能見表1.表1所示為所有三種方法在兩段模糊視頻實驗中所得到的平均PSNR，即先計算出復(fù)原視頻中每一幅復(fù)原圖像幀的PSNR，然后再對其求取算數(shù)平均.如表1所示，較文獻[8]和文獻[10]相比，本文提出的方法在兩段模糊視頻的實驗中均能得到最高的平均PSNR值，達到最好的視頻復(fù)原效果.

表1 實驗中所得到的平均PSNR (dB)值

3 結(jié)論

為了實現(xiàn)對模糊視頻的清晰化盲復(fù)原，針對現(xiàn)有方法存在的缺陷，提出了一種針對整段模糊視頻的基于時間一致性的模糊視頻盲復(fù)原方法.所提方法主要由兩部分組成：1)在BDF的估計階段，首先采用各向異性擴散的圖像結(jié)構(gòu)提取策略和shock濾波器將模糊視頻中的每幅模糊圖像幀中的大尺度邊緣準確地提取出來，然后僅利用提取的大尺度邊緣對BDF進行準確的估計.2)在模糊視頻的復(fù)原階段，提出了一種立體的三維時間掩膜，在有效復(fù)原出每一幅原始的清晰視頻圖像幀的基礎(chǔ)上，保證復(fù)原視頻中幀與幀之間的時間一致性，同時有效的抑制了邊緣效應(yīng)和振鈴等瑕疵，進而得到更高質(zhì)量的復(fù)原視頻.大量的實驗結(jié)果表明本文提出的方法能夠很好的復(fù)原整段模糊的視頻，且較近幾年的一些具有代表性的模糊視頻盲復(fù)原方法相比，在主觀的視覺效果和客觀的評價指標方面均有顯著的提升.

[1]R.Fergus,B.Singh,A.Hertzmann,S.T.Roweis,W.T.Freeman.Removingcamerashakefromasinglephotograph[J].ACMTransactionsonGraphics, 2006, 25 (3): 787-794.

[2]Q.Shan,J.Jia,A.Agarwala.High-qualitymotiondeblurringfromasingleimage[J].ACMTransactionsonGraphics, 2008, 27 (3): 73:1-73:10.

[3]M.S.C.Almeida,L.B.Almeida.Blindandsemi-blinddeblurringofnaturalimages[J].IEEETransactionsonImageProcessing, 2010, 19 (1): 36-52.

[4]D.Krishnan,T.Tay,R.Fergus.BlindDeconvolutionUsingaNormalizedSparsityMeasure[C].IEEEComputerVisionandPatternRecognition(CVPR), 2011: 233-240.

[5]J.F.Cai,H.Ji,C.Q.Liu,Z.W.Shen.Framelet-BasedBlindMotionDeblurringFromaSingleImage[J].IEEETransactionsonImageProcessing, 2012, 21 (2): 562-572.

[6]S.H.Chan,R.Khoshabeh,K.B.Gibson,P.E.GillandT.Q.Nguyen.AnaugmentedLagrangianmethodfortotalvariationvideorestoration[J].IEEETransactionsonImageProcessing, 2011, 20 (11): 3079-3111.

[7]H.TakedaandP.Milanfar.Removingmotionblurwithspace-timeprocessing[J].IEEETransactionsonImageProcessing, 2011, 20 (10): 2990-3000.

[8]D.Lee,S.C.Jeong,Y.LeeandB.C.Song.Avideodeblurringalgorithmusingaccurateblurkernelestimationandresidualdeconvolutionbasedonablurred-unblurredframepair[J].IEEETransactionsonImageProcessing, 2013, 22 (3): 926-940.

[9]S.Cho,J.WangandS.Lee.Videodeblurringforhand-heldcamerausingpatch-basedsynthesis[J].ACMTransactionsonGraphics, 2012, 31 (4): 64:1-64:9.

[10]X.Deng,Y.Shen,M.Song,D.Tao,J.BuandC.Chen.Video-basednon-uniformobjectmotionblurestimationanddeblurring[J].Neurocomputing, 2012, 86 (1): 170-178.

[11]P.PeronaandJ.Malik.Scale-spaceandedgedetectionusinganisotropicdiffusion[J].IEEETransactionsonPatternAnalysisandMachineIntelligence, 1990, 12 (7): 629-639.

[12]G.Gilboa,N.A.Sochen,Y.Y.Zeevi.RegularizedShockFiltersandComplexDiffusion[C].The7thEuropeanConferenceonComputerVision(ECCV), 2002 (2350): 399-413.

[13]L.Xu,J.Jia.Two-PhaseKernelEstimationforRobustMotionDeblurring[C]. 11thEuropeanConferenceonComputerVision6133 (ECCV), 2010: 157-170.

A Video Blind Deblurring Method Based on Anisotropic Diffusion and High-order Diffusion

ZHANG Le-ping

(Huaining Party School, Anqing Anhui 246121, China)

In order to remove the blur and obtain the high quality restoration video, this paper proposes a blind video deblurring method which combines the anisotropic diffusion and high-order diffusion. This study uses the anisotropic diffusion based on total variation and shock filter to accurately extract the large scale edges of each fuzzy image frame in a fuzzy video, and uses the extracted edges to accurately estimate the fuzzy degradation function. In the restoration stage of fuzzy video image, the study proposes a continuity regularization constraints based on higher-order diffusion in order to guarantee the time consistency between continuous video frames base on the time axis of the video to carry out a better consistency constraint of continuous video frames in time. The proposed method can effectively restrain the ringing in video restoration while restoring the fuzzy video and further enhance the temporal consistency in the restored video.

blind restoration of fuzzy video; anisotropic diffusion; fuzzy degradation function; high-order diffusion; time continuity

1673-2103(2017)02-0026-07

2016-10-05

張樂平(1974-)，男，安徽安慶人，講師，研究方向：計算機.

TN911.73

A