劉 哲 陳 路楊 靜
(西北工業(yè)大學(xué)理學(xué)院 西安 710129)
隨著信息技術(shù)的不斷發(fā)展,人們對(duì)數(shù)據(jù)量的需求越來(lái)越大,這給圖像傳輸中數(shù)據(jù)的存儲(chǔ)、硬件實(shí)現(xiàn)等帶來(lái)了巨大壓力。以JPEG為代表的圖像壓縮標(biāo)準(zhǔn)廣泛采用分塊離散余弦變換(Block-based Discrete Cosine Transform, BDCT)進(jìn)行采樣、量化,具有存儲(chǔ)空間小、便于實(shí)時(shí)傳輸?shù)葍?yōu)點(diǎn)。
近年來(lái),受此啟發(fā),基于塊的研究方法[13]-逐漸成為研究熱點(diǎn),并廣泛應(yīng)用于圖像重構(gòu)和去噪等領(lǐng)域,其基本思想是:提取相互重疊的圖像塊,判定塊間的相似性,進(jìn)而對(duì)相似塊進(jìn)行相關(guān)操作,以達(dá)到對(duì)圖像進(jìn)行重構(gòu)和去噪的目的。文獻(xiàn)[1]提出分塊壓縮感知(Block Compressed Sensing, BCS),將圖像分割為小尺寸的圖像塊,采用測(cè)量矩陣逐一對(duì)圖像塊獨(dú)立采樣,大大減少了采樣矩陣的存儲(chǔ)空間且能夠?qū)崟r(shí)發(fā)送采樣數(shù)據(jù);文獻(xiàn)[2]指出相似塊分布的非鄰域性,并將相似塊的搜索范圍由鄰域擴(kuò)展至整幅圖像,使得相似塊的判定更加精確,但同時(shí)也增加了算法的時(shí)間復(fù)雜度;文獻(xiàn)[3]提出將圖像塊的相似性和稀疏性相結(jié)合,并將相似塊層疊排成的集合投影至變換域,塊間的相似性保證了變換后較高的稀疏性,通過(guò)閾值處理可以很好地去除噪聲。
上述算法以歐氏距離作為相似塊的判定標(biāo)準(zhǔn),即計(jì)算兩圖像塊灰度值矩陣差的L2范數(shù),若其小于設(shè)定的閾值,則判定為相似塊,然而這種判定辦法無(wú)法保證塊的結(jié)構(gòu)一致性,因此重構(gòu)圖像存在不同程度的塊效應(yīng)。為有效去除塊效應(yīng),研究人員主要從空間域[46]-和變換域[7,8]兩方面進(jìn)行研究。文獻(xiàn)[4]利用插值的思想,使用相鄰塊對(duì)稱位置像素的加權(quán)平均替代塊邊界處的像素,以平滑圖像塊邊界;2012年,文獻(xiàn)[7]引入稀疏表示的思想,將K奇異值分解(K-means Singular Value Decomposition, K-SVD)算法訓(xùn)練的字典用于圖像的去塊效應(yīng)操作,但仍存在時(shí)間復(fù)雜度較高的問(wèn)題。2009年,文獻(xiàn)[9]指出可以在方向性變換域內(nèi)完成圖像的重構(gòu)過(guò)程,采用方向性變換增大稀疏度,通過(guò)硬閾值處理和維納濾波平滑圖像,即基于平滑投影Landweber重構(gòu)的分塊壓縮感知(Block-based Compressed Sensing-Smoothed Projected Landweber, BCS-SPL)算法,但圖像的更新過(guò)程僅是將分塊后的圖像依次進(jìn)行變換,沒(méi)有探究不同圖像塊所包含特征的差異;文獻(xiàn)[10]引入了圖像的多尺度分解(MultiScale BCS-SPL, MS-BCSSPL),在不同尺度、不同子帶下采用不同的采樣矩陣完成采樣過(guò)程,捕獲了更多的圖像信息,但仍然沒(méi)有克服相同尺度和子帶中圖像塊選取的缺陷。
2011年,文獻(xiàn)[11]提出一種基于塊的局部最優(yōu)維納濾波算法(Patch-based Locally Optimal Wiener filtering, PLOW),采用幾何結(jié)構(gòu)聚類分析和亮度相似的圖像塊,有效提取出圖像的結(jié)構(gòu)特點(diǎn),保證了塊的結(jié)構(gòu)性;2012年,文獻(xiàn)[12]進(jìn)一步引入基于圖像塊的Wiener濾波器,用以判定圖像塊的冗余度。但PLOW算法采用基于整幅圖像的標(biāo)準(zhǔn)差[13]作為亮度相似的圖像塊的權(quán)重參數(shù),由于自然圖像存在豐富的結(jié)構(gòu)特點(diǎn),上述的標(biāo)準(zhǔn)差選取使得塊效應(yīng)不能得到有效估計(jì)和去除。
為抑制重構(gòu)過(guò)程中的塊效應(yīng),本文基于PLOW算法的框架,首先對(duì)圖像塊的高頻部分進(jìn)行壓縮采樣,縮小塊效應(yīng)區(qū)域,將塊效應(yīng)限定在塊與塊的邊界處;進(jìn)一步,將圖像分為塊邊界區(qū)域和塊中心區(qū)域,在保證圖像塊結(jié)構(gòu)性的基礎(chǔ)上,提出了一種能夠自適應(yīng)估計(jì)塊效應(yīng)的圖像重構(gòu)算法,可以有效抑制塊效應(yīng)的產(chǎn)生。
基于塊的圖像處理方法假設(shè)圖像都有豐富的幾何結(jié)構(gòu)性,且每一個(gè)圖像塊都可以在圖像中找到相似塊。由于將歐氏距離作為相似塊的評(píng)判標(biāo)準(zhǔn)忽略了圖像塊的結(jié)構(gòu)性,會(huì)引入一定的重構(gòu)誤差,而基于塊的局部最優(yōu)維納濾波算法(PLOW)可以很好地解決這個(gè)問(wèn)題,其采用幾何結(jié)構(gòu)聚類分析和亮度相似的圖像塊,通過(guò)反映不同結(jié)構(gòu)特點(diǎn)的圖像分類限定重構(gòu)誤差,有效保證了圖像的結(jié)構(gòu)性。
去塊效應(yīng)問(wèn)題[12]可看成從被噪聲污染的圖像塊中估計(jì)原圖像塊的過(guò)程,即。其中為圖像塊邊界處的塊效應(yīng),N為圖像塊總數(shù)。可由式(1)估計(jì):
首先,以亮度上相似的距離作為衡量指標(biāo),但考慮到計(jì)算距離過(guò)程的復(fù)雜性和的非負(fù)性,定義如式(2)替代權(quán)重函數(shù):
將估計(jì)的參數(shù)用于式(1),可得對(duì)每個(gè)圖像塊去噪后的估計(jì),由于圖像塊之間有較多的重疊部分,需要整合重疊像素信息以獲得每個(gè)像素的最終估計(jì),考慮包含有像素的圖像塊,對(duì)其中的重疊像素進(jìn)行加權(quán)平均:
值得注意的是,文獻(xiàn)[15]從理論上證明了可以從含噪圖像中直接估計(jì)圖像塊冗余度等參數(shù),進(jìn)而獲得更小的圖像重構(gòu)誤差;文獻(xiàn)[16]指出,PLOW 算法可以看作通過(guò)幾何相似塊的行相似性估計(jì)協(xié)方差矩陣,通過(guò)亮度相似塊的列相似性估計(jì)權(quán)重,算法考慮了圖像的方向性,因而能夠獲得更好的重構(gòu)效果。
PLOW算法可以充分利用圖像的結(jié)構(gòu)信息,但算法采用基于整幅圖像的梯度算子計(jì)算標(biāo)準(zhǔn)差,進(jìn)而作為圖像塊的權(quán)重參數(shù),對(duì)于細(xì)節(jié)豐富的圖像,固定選取的標(biāo)準(zhǔn)差不能很好地估計(jì)紋理區(qū)域的塊效應(yīng),且會(huì)使平坦區(qū)域的圖像變模糊,因此不能準(zhǔn)確地衡量塊效應(yīng)。為克服上述不足,本文將圖像分為塊邊界區(qū)域和塊中心區(qū)域,進(jìn)而自適應(yīng)估計(jì)不同區(qū)域的塊效應(yīng);為進(jìn)一步降低塊效應(yīng)對(duì)圖像重構(gòu)質(zhì)量的影響,文章首先通過(guò)壓縮采樣將塊效應(yīng)限定在塊邊界處,縮小塊效應(yīng)區(qū)域,從而保證圖像塊主體的重構(gòu)質(zhì)量。
可以看出,和傳統(tǒng)塊效應(yīng)分布于整幅圖像不同,文中算法產(chǎn)生的塊效應(yīng)主要集中于塊與塊的邊界處,圖像主體部分則以較高精度重構(gòu)??紤]含噪圖像噪聲隨機(jī)分布于整個(gè)圖像,可將塊效應(yīng)看成分布于圖像塊邊界處的噪聲,疊加在原始圖像特定位置的噪聲造成了塊之間的不連續(xù)性。顯然,PLOW算法中以均值判斷噪聲不能反映標(biāo)準(zhǔn)差分布的空間性。
文獻(xiàn)[18]在2013年采用一種自適應(yīng)評(píng)價(jià)塊效應(yīng)的指標(biāo)斜率均方差(Mean Squared Difference of Slope, MSDS),用以在噪聲未知的情況下估計(jì)噪聲。MSDS由相鄰圖像塊靠近邊界處像素的梯度值定義,因此可以很好地衡量噪聲對(duì)塊邊界的影響。
為了更加準(zhǔn)確地估計(jì)標(biāo)準(zhǔn)差,將圖像分為塊邊界相鄰元素組成的塊邊界區(qū)域cI和塊中心區(qū)域I,采用MSDS自適應(yīng)計(jì)算塊效應(yīng)大小。將所有圖像塊的MSDS值寫成向量形式,記為ms,根據(jù)ms中元素與均值之間的距離判斷權(quán)重,距離為正,表明差異高于平均水平,正距離越大,越接近塊效應(yīng)區(qū)域的差異值,權(quán)重越大;同理,負(fù)距離越大,表明塊效應(yīng)越不明顯,權(quán)重越小。中塊效應(yīng)估計(jì)為
采用改進(jìn)的MSDS指標(biāo)分區(qū)域估計(jì)塊效應(yīng)可以反映塊效應(yīng)的空間分布特點(diǎn),進(jìn)而能夠?qū)缀蜗嗨茍D像塊的均值和協(xié)方差矩陣等參數(shù)進(jìn)行更加準(zhǔn)確的估計(jì),有助于減少式(1)中加權(quán)操作引入的不連續(xù)性,因此上述改進(jìn)可以得到更好的重構(gòu)效果。
為實(shí)現(xiàn)高效重構(gòu),在PLOW算法的框架下,本文首先通過(guò)高頻部分的壓縮采樣將塊效應(yīng)限定在塊邊界處;然后,引入改進(jìn)的塊效應(yīng)評(píng)價(jià)指標(biāo) MSDS自適應(yīng)估計(jì)不同區(qū)域的塊效應(yīng),主要流程如圖2所示。
圖1 壓縮采樣后塊效應(yīng)圖像與傳統(tǒng)DCT圖像的對(duì)比圖
圖2 改進(jìn)的PLOW算法步驟
本文算法在考慮圖像結(jié)構(gòu)性的同時(shí),有效抑制了重構(gòu)過(guò)程中塊效應(yīng)的產(chǎn)生,具體步驟示于表1。
表1 算法步驟
本文選取512×512的包含有不同細(xì)節(jié)的標(biāo)準(zhǔn)圖像,并同非鄰域均值濾波算法[2](Non-local Mean filtering, NLM)、PLOW 算法、BCS-SPL算法和MS-BCS-SPL算法相比較,以驗(yàn)證算法的有效性。為減小運(yùn)算量,在尋找相似塊時(shí),將搜索框的大小設(shè)定為3030×,不同算法下的處理效果如圖3所示。進(jìn)一步,由表2可以看出,考慮不同的評(píng)價(jià)指標(biāo)[19],相比與NLM, PLOW和BCS-SPL算法,本文算法都得到了更好的去塊效應(yīng)效果,且對(duì)于細(xì)節(jié)豐富的圖像,重構(gòu)效果的提升更加明顯,如圖3(d1)-圖3(d3)和圖3(d5)所示。從時(shí)間效率上分析,原PLOW算法的時(shí)間效率較低,大約為 153.6770s,但是,正如4.2節(jié)和4.3節(jié)所指出的,本文對(duì)原PLOW算法中的參數(shù)選取(圖像分類數(shù)和圖像塊大小)進(jìn)行了優(yōu)化,提高了算法的運(yùn)行效率,因此即使考慮壓縮感知重構(gòu)過(guò)程,本文算法的時(shí)間效率也得到提升,大約為42.0085s。
實(shí)驗(yàn)結(jié)果表明本文算法的結(jié)果優(yōu)于 PLOW 和BCS-SPL算法,但弱于MS-BCS-SPL算法,其主要原因在于后者在圖像的不同尺度、不同子帶下進(jìn)行分塊采樣,因此可以采集更多的圖像細(xì)節(jié)信息;而本文算法則是基于PLOW算法,在具有相同分類特征的圖像塊集合內(nèi)完成圖像塊的更新,且將塊的不連續(xù)性限定于圖像塊的邊界處,從而能夠在保證圖像塊整體重構(gòu)效果的基礎(chǔ)上平滑塊邊界,相比于MS-BCS-SPL算法,其將幾何和亮度相似性作為圖像塊選取標(biāo)準(zhǔn)的方法有助于減少圖像細(xì)節(jié)的損失。
表2 不同圖像和算法下的去塊效應(yīng)效果比較
圖3 不同算法下的去塊效應(yīng)效果比較
在利用壓縮感知思想產(chǎn)生含塊效應(yīng)圖像的過(guò)程中,從[0,1]范圍內(nèi)動(dòng)態(tài)選取采樣率,分析采樣率對(duì)去塊效應(yīng)的影響(以Hat圖像為例)。表3表明,隨著采樣率的提高,兩種算法的評(píng)價(jià)指標(biāo)都有顯著提升,當(dāng)采樣率達(dá)到0.7時(shí),PSNR值提高約4dB。圖像塊在高采樣率下能包括更多的邊緣信息,從而在重構(gòu)時(shí)能夠減弱塊間的不連續(xù)現(xiàn)象。
表3 不同采樣率下的去塊效應(yīng)效果比較
特別地,當(dāng)采樣率取0.2時(shí),PLOW算法的重構(gòu)效果低于采樣率為 0.3時(shí),但本文所提算法在兩種采樣率下表現(xiàn)相當(dāng),因此本文算法更適合于低采樣率下的圖像去塊效應(yīng)。
算法中需將圖像分成K類,K取值過(guò)大,會(huì)使每一類中的圖像塊數(shù)量過(guò)少,從而引入較大的估計(jì)誤差;而取值過(guò)小的K又會(huì)將不相似的圖像塊歸為同一類,因此K值的恰當(dāng)選取對(duì)實(shí)驗(yàn)結(jié)果較為重要。當(dāng)K取值小于最佳分類數(shù)0K時(shí),隨著分類數(shù)的增大,圖像重構(gòu)效果逐步提高;當(dāng)K值取0K 時(shí),算法取得最好的重構(gòu)結(jié)果;隨著分類數(shù)的進(jìn)一步增加,圖像的重構(gòu)效果仍會(huì)低于最優(yōu)情形。通過(guò)對(duì)自然圖像的實(shí)驗(yàn),將圖像分類數(shù)K的最優(yōu)值取為7,如圖4所示。
進(jìn)一步分析去塊效應(yīng)效果與圖像塊尺寸的關(guān)系,圖5給出了不同算法下圖像PSNR值和SSIM值隨塊大小變化的曲線圖,可以看出,本文算法的去塊效應(yīng)效果明顯優(yōu)于PLOW算法。從算法出發(fā),較小的圖像塊能夠在平滑塊效應(yīng)的同時(shí),減少對(duì)圖像其他部分的影響,因此重構(gòu)效果較好;隨著塊尺寸的增加,算法的去塊效應(yīng)效果會(huì)有所下降;但當(dāng)較大尺寸的圖像塊能夠保留更多的細(xì)節(jié)信息時(shí),重構(gòu)效果會(huì)得到提升。為減小算法的時(shí)間開(kāi)銷,文中選取較小的圖像塊。通過(guò)對(duì)自然圖像的實(shí)驗(yàn),將圖像塊大小定為55×。
針對(duì) PLOW 方法中利用基于整幅圖像的梯度算子計(jì)算標(biāo)準(zhǔn)差,從而造成塊效應(yīng)圖像過(guò)模糊的不足,本文算法首先通過(guò)壓縮采樣將塊效應(yīng)集中到圖像塊的邊界處,然后對(duì)塊效應(yīng)評(píng)價(jià)指標(biāo)MSDS加以改進(jìn),使其能自適應(yīng)評(píng)價(jià)塊邊界區(qū)域和塊中心區(qū)域的標(biāo)準(zhǔn)差。算法在充分考慮圖像結(jié)構(gòu)性的基礎(chǔ)上,有效去除了塊效應(yīng)。實(shí)驗(yàn)表明,本文算法可以有效抑制圖像重構(gòu)中塊效應(yīng)的產(chǎn)生。
圖4 不同算法下評(píng)價(jià)指標(biāo)隨K值變化的曲線圖
圖5 不同算法下評(píng)價(jià)指標(biāo)隨圖像塊尺寸變化的曲線圖
[1] Gan Lu. Block compressed sensing of natural images[C]. 15th International Conference on Digital Signal Processing,Cardiff, 2007: 403-406.
[2] Antoni B, Coll B, and Morel J M. A non-local algorithm for image denoising[C]. Computer Vision and Pattern Recognition, San Diego, 2005, 2: 60-65.
[3] Dabov K, Foi A, Katkovnik V, et al.. Image denoising by sparse 3-D transform-domain collaborative filtering[J].IEEE Transactions on Image Processing, 2007, 16(8):2080-2095.
[4] Averbuch A Z, Schclar A, and Donoho D L. Deblocking of block-transform compressed images using weighted sums of symmetrically aligned pixels[J]. IEEE Transactions on Image Processing, 2005, 14(2): 200-212.
[5] Lin Xu, Justin W L W, and Bian T T. A continuous method for reducing interpolation artifacts in mutual informationbased rigid image registration[J]. IEEE Transactions on Image Processing, 2013, 22(8): 2995-3007.
[6] Bao Li-jun, Robini M, Liu Wan-yu, et al.. Structure-adaptive sparse denoising for diffusion-tensor MRI[J]. Medical Image Analysis, 2013, 17(4): 442-457.
[7] Jung C, Jiao Li-cheng, Qi Hong-tao, et al.. Image deblocking via sparse representation[J]. Signal Processing: Image Communication, 2012, 27(6): 663-677.
[8] Wang Jin, Jeon G, and Jeong J. Discrete cosine transformanalysis-based deblocking algorithm for block-transform compressed images[J]. Optical Engineering, 2012, 51(6):067011-1-7.
[9] Mun S and Fowler J E. Block compressed sensing of images using directional transforms[C]. Proceedings of the International Conference on Image Processing, Cairo, 2009:3021-3024.
[10] Fowler J E, Mun S, and Eric W T. Multiscale block compressed sensing with smoother projected landweber reconstruction[C]. Proceedings of the European Signal Processing Conference, Barcelona, 2011: 564-568.
[11] Chatterjee P and Milanfar P. Patch-based locally optimal denoising[C]. 18th IEEE International Conference on Image Processing, Brussels, 2011: 2553-2556.
[12] Chatterjee P and Milanfar P. Patch-based near-optimal image denoising[J]. IEEE Transactions on Image Processing,2012, 21(4): 1635-1649.
[13] Donoho D L and Johnstone J M. Ideal spatial adaptation by wavelet shrinkage[J]. Biometrika, 1994, 81(3): 425-455.
[14] Fei Xuan, Huang Wei, Wang Kai, et al.. Patch-based image denoising with geometric structure clustering[J]. Advances in Image and Graphics Technologies, 2013, 365: 85-91.
[15] Chatterjee P and Milanfar P. Practical bounds on image denoising: from estimation to information[J]. IEEE Transactions on Image Processing, 2011, 20(5): 1221-1233.
[16] Zhang Xuan-de, Feng Xiang-chu, and Wang Wei-wei.Two-direction nonlocal model for image denoising[J]. IEEE Transactions on Image Processing, 2013, 22(1): 408-412.
[17] Tropp J A and Wright S J. Computational methods for sparse solution of linear inverse problems[J]. Proceedings of the IEEE , 2010, 98(6): 948-958.
[18] Wang Ci, Zhou Jun, and Liu Shu. Adaptive non-local means filter for image deblocking[J]. Signal Processing: Image Communication, 2013, 28(5): 522-530.
[19] Changhoon Y and Bovik A C. Quality assessment of deblocked images[J]. IEEE Transactions on Image Processing,2011, 20(1): 88-98.