基于Beltrami模型和SURE算法的彩色視頻超分辨率重建

姜永艷++韓玉兵++金文清

摘要：本文采用基于Beltrami模型的半隱式格式算法實(shí)現(xiàn)受損彩色圖像的高效優(yōu)質(zhì)重建，并將其應(yīng)用于彩色視頻處理。半隱式格式為基于Beltrami框架模型提出的高效算法，根據(jù)LOD/AOS分裂格式形成三對(duì)角矩陣，并采用追趕法快速求解方程，以實(shí)現(xiàn)算法的高效性。使用SURE算法以確定半隱式格式算法中的五個(gè)關(guān)鍵參數(shù)，并結(jié)合遺傳算法動(dòng)態(tài)搜索最佳參數(shù)值用于逐幀重建受損圖像，從而實(shí)現(xiàn)降質(zhì)視頻流的清晰化。實(shí)驗(yàn)結(jié)果表明本方法的彩色視頻重建效果良好。

關(guān)鍵詞：Beltrami模型；半隱式格式；SURE；遺傳算法；視頻重建

中圖分類號(hào)：TN911.73 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1007-9416（2017）03-0142-04

Abstract：In this paper， a semi implicit scheme based on Beltrami model is used to reconstruct the damaged color image with high efficiency and high quality. The semi implicit scheme is an efficient algorithm based on the Beltrami framework model， which is based on the LOD/AOS splitting scheme to form the three diagonal matrix， and the method is used to solve the equation quickly to achieve the high efficiency of the algorithm. The SURE algorithm is used to determine the five key parameters of the semi implicit scheme， and the optimal parameters are searched by the genetic algorithm to reconstruct the damaged image frame by frame. The experimental results show that the proposed method is effective for color video reconstruction.

Key Words： Beltrami model； semi implicit scheme； SURE； genetic algorithm； video reconstruction

現(xiàn)實(shí)中，圖像或視頻受到來(lái)自外界干擾后，其質(zhì)量會(huì)有不同程度和不同類型的損壞[1]。視頻由單幀圖像組合而成，視頻的損壞主要為單幀圖像的損壞，所以視頻重建的首要任務(wù)是高效優(yōu)質(zhì)地重建單幀圖像。對(duì)于單幀圖像的重建，主要進(jìn)行去噪、去模糊、插值和超分辨率等四個(gè)步驟的處理[2]。首先，對(duì)圖像進(jìn)行正則化處理[3]。正則化方法有很多種，例如標(biāo)準(zhǔn)Tikhonov正則化和總變分（Total Variation： TV）正則化[4]，后者較前者而言，在處理圖像邊緣細(xì)節(jié)上更為優(yōu)異，從而能夠更好地抑制因彩色圖像邊緣色彩抖動(dòng)而造成畫(huà)面模糊不清的不利現(xiàn)象。近年來(lái)，小波分析方法因其在尺度分析上的優(yōu)良特性，被廣泛地應(yīng)用于圖像重建，甚至與二元樹(shù)、小波收縮和形態(tài)小波等概念結(jié)合起來(lái)[5]，形成更為有效的圖像重建方法。上述方法對(duì)于處理灰度圖像較為適用，而對(duì)于包含多個(gè)通道的彩色圖像，盡管可以對(duì)每個(gè)通道單獨(dú)處理，但對(duì)通道之間相互影響的處理效果并不理想，降低了彩色圖像的重建質(zhì)量。因此，基于微分流形的圖像重建方法被提出和應(yīng)用。

首先，Sochen等人將圖像嵌入映射至兩個(gè)黎曼微分流形之間，引入Nambu泛函來(lái)表示相關(guān)的“面積”度量，并提出基于Beltrami框架下的圖像重建。文獻(xiàn)[6]進(jìn)一步提出基于Crank-Nicolson半隱式格式的LOD（locally one-dimensional）和AOS（additiveoperator splitting）分裂格式，從而形成三對(duì)角方程后快速求解。后期，王澤龍，Sidi和Wetzler等人[7-9]則開(kāi)始將該算法拓展至圖像處理。

本文主要針對(duì)受損彩色圖像，即降質(zhì)的每一幀，進(jìn)行超分辨率重建，采用基于LOD分裂的半隱式格式的微分流形圖像重建算法實(shí)現(xiàn)。該算法涉及的五個(gè)參數(shù)，用遺傳算法GA動(dòng)態(tài)搜索出參數(shù)組的范疇，結(jié)合SURE準(zhǔn)則選出最優(yōu)參數(shù)，并將各代產(chǎn)生的最優(yōu)參數(shù)應(yīng)用于視頻圖像的逐幀重建，從而獲取連貫而清晰的彩色視頻流。

1 Beltrami模型

基于Beltrami模型的微分流形正則化處理較其它重建方法具有良好的圖像恢復(fù)效果，該算法一般采用顯示格式迭代計(jì)算。由于顯示格式迭代計(jì)算次數(shù)多、計(jì)算量較大，不利于高效地恢復(fù)圖像，因此本節(jié)將介紹具備更高迭代效率的半隱式格式算法[10]，以便大幅度提高圖像重建的速度。

4 遺傳算法GA在彩色視頻重建上的應(yīng)用

遺傳算法的主要步驟為：（1）編碼與解碼；（2）種群的選??；（3）目標(biāo)函數(shù)；（4）選擇過(guò)程；（5）交叉和變異運(yùn)算。

本文GA算法中目標(biāo)函數(shù)就是SURE函數(shù)，即利用SURE準(zhǔn)則選取最優(yōu)參數(shù)。

該算法機(jī)理為：首先計(jì)算出針對(duì)視頻第一幀的每個(gè)個(gè)體對(duì)應(yīng)的SURE值，然后選出其中SURE值最小的一組所對(duì)應(yīng)的參數(shù)來(lái)重建第一幀，并將該參數(shù)組保留至下一代。鑒于視頻的幀率很高，一般認(rèn)為相鄰兩幀的差異度很小，即后幀由前幀增加一個(gè)非常小的擾動(dòng)形成，從而適用于前幀的最佳參數(shù)也可能適用于后幀。為提高重建效率，將前幀的最佳參數(shù)保留至下一代中，通過(guò)遺傳算法重新整合后再選出針對(duì)后的最佳參數(shù)并重建它。再假定整個(gè)種群波動(dòng)不大，就可能高效地找到最佳參數(shù)。

5 實(shí)驗(yàn)研究

本次實(shí)驗(yàn)中選用的均為測(cè)試標(biāo)準(zhǔn)彩色視頻，Akiyo和Coastguard視頻流中每一幀圖像的大小均為176*144，測(cè)試所用圖像均歸一化為[0，1]，對(duì)于降質(zhì)圖像中：其降采樣因子均為2；添加模糊核算子大小均是7*7，且標(biāo)準(zhǔn)差為1的高斯模糊核；添加的噪聲是均值為0，標(biāo)準(zhǔn)差為0.02的加性高斯白噪聲。實(shí)驗(yàn)為對(duì)降質(zhì)視頻進(jìn)行超分辨率重建的仿真及分析，圖像重建評(píng)價(jià)指標(biāo)采用常用的峰值信噪比PSNR。圖1為Akiyo視頻的處理結(jié)果，從中觀測(cè)到重建圖像的PSNR值不斷上升，其中第50幀圖像的初始PSNR值為25.2252 dB，迭代重建后的PSNR值是26.9248 dB，信噪比提高了2dB，取得了較好的重建效果。圖2為Coastguard快艇飛馳河面視頻的處理結(jié)果，盡管其第50幀圖像的初始PSNR=21.1207dB，迭代重建后的PSNR=23.217dB，單幀恢復(fù)效果尚可，但圖3（b）中的重建PSNR值曲線圖呈現(xiàn)顯著的下降態(tài)勢(shì)，究其原因在于快艇高速運(yùn)動(dòng)造成相鄰兩幀差異過(guò)大，背離了本算法的假設(shè)前提。

6 結(jié)語(yǔ)

采用基于Beltrami模型的半隱式格式算法結(jié)合SURE算法來(lái)實(shí)現(xiàn)受損彩色圖像的優(yōu)質(zhì)重建，是一種有效處理方法，特別是針對(duì)相鄰幀之間差異較小的視頻，結(jié)果尤為理想。對(duì)于相鄰幀之間畫(huà)面差異較大的視頻，本算法的重建效果有待提高。

參考文獻(xiàn)

[1]章毓晉.圖像處理和分析基礎(chǔ)[M].北京：清華大學(xué)出版社，1999.

[2]夏良正.數(shù)字圖像處理[M].南京：東南大學(xué)出版社，2003.

[3]路慶春.正則化超分辨率圖像重建算法研究[D].合肥：中國(guó)科學(xué)技術(shù)大學(xué)，2010.

[4]Goldstein T， Osher S. The split Bregmanmethod for L1-regularized problems[J]. SIAM Journal on Imaging Science， 2009， 2（2）： 323-343.

[5]Xiang Z J， Ramadge P J. Edge-preserving image regularization based on morphological wavelets and dyadic trees[J].IEEE Transactions on Image Processing， 2012， 21（4）： 1548-1560.

[6]Rosman G， Dascal L， Tai X C， et al.On semi-implicit splitting schemes for the Beltrami color image filtering[J].Journal of Mathematical Imaging and Vision， 2011，40： 199-213.

[7]王澤龍，朱炬波.Beltrami流及其在圖像去噪中的應(yīng)用[J].國(guó)防科技大學(xué)學(xué)報(bào)，2012，34（5）：137-141.

[8]IdrissiSidiYassine， Samir Belfkih. Texture image segmentation using a new descriptor and mathematical morphology[J].The International Journal of Information Technology， 2013， 10（2）： 204-208.

[9]Aaron W， Ron K. Efficient Beltrami flow in patch-space[C].In “Third International Conference on Scale Space and Variational Methods in Computer Vision （SSVM 2011） [M]，”BrucksteinAMet al. （Eds.）， LNCS 6667，BerlinHeidelberg： Springer-Verlag， 2012： 134-143.

[10]Dascal L.， Rosman G.， Kimmel R. Efficient Beltrami filtering of color image via vector extrapolation[J].In Scale Space and Variational Methods in Computer Vision. Lecture Notes on Computer Science， 2007， 4485：92-103.

[11]C.stein.“Estimation of the mean of a multivariate normal distribution[J]， 1981：1135-1151.

[12]R.Giryes， M.Elad， Y.C.Eldar. The projected GSURE for automatic parameter tuning in iterative shrinkage methods[D]. 2010.

[13]S. Ramani， T. Blu， M. Unser. Monte-Carlo Sure： A Black-Box Optimization of Regularization Parameters for GeneralDenoising Algorithms[J].IEEE Transactions on Image Processing， 2008，17（9）： 1540-1554.

[14]P. Hansen D.P. OLeary， “The use of the L-curve in the regularization of discrete ill-posed problems[J]，” SIAM J. Sci. Comput.， 1993，14（6）：1487-1503.