一種基于局部直方圖匹配的深度編碼濾波算法

朱帥++鄧慧萍++王曦明++周恒穎++欒桌

摘要：深度圖壓縮編碼會(huì)引起深度圖失真，進(jìn)而造成虛擬合成視點(diǎn)圖像邊緣模糊、缺失甚至前/背景錯(cuò)位，嚴(yán)重影響3D視頻質(zhì)量。利用深度圖邊緣突出、內(nèi)部平滑的特性，分析發(fā)現(xiàn)其局部累計(jì)直方圖呈線性分段函數(shù)分布的規(guī)律。從深度圖編碼流中提取圖像分塊大小，建立圖像塊直方圖映射函數(shù)，匹配編碼失真后的深度圖與原始參考深度圖的局部累計(jì)直方圖，校正由深度圖編碼引起的深度錯(cuò)誤，改善深度圖質(zhì)量。實(shí)驗(yàn)結(jié)果表明，提出的方法不僅能提高深度圖主觀質(zhì)量，消除深度圖編碼邊緣模糊現(xiàn)象，而且信噪比最高可提高2.03dB。

關(guān)鍵詞：3D視頻；深度圖編碼；直方圖匹配；深度圖濾波

DOIDOI：10.11907/rjdk.161687

中圖分類號(hào)：TP317.4

文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)文章編號(hào)：16727800（2016）009016703

基金項(xiàng)目基金項(xiàng)目：大學(xué)生科技創(chuàng)新基金研究項(xiàng)目（14ZRA142）

作者簡(jiǎn)介作者簡(jiǎn)介：朱帥（1994 -），男，江蘇沭陽(yáng)人，武漢科技大學(xué)信息科學(xué)與工程學(xué)院學(xué)生，研究方向?yàn)?D轉(zhuǎn)3D圖像處理算法；鄧慧萍（1982-），女，湖北武漢人，武漢科技大學(xué)信息科學(xué)與工程學(xué)院講師、碩士生導(dǎo)師，研究方向?yàn)閳D像識(shí)別及處理算法。

0引言

三維視頻（3DV）能給用戶提供更真實(shí)的立體視覺(jué)體驗(yàn)，已成為數(shù)字媒體、網(wǎng)絡(luò)、信息技術(shù)等各種視覺(jué)通信的一種新形式。深度信息是3D場(chǎng)景捕獲中一個(gè)非常重要的幾何量，它反映的是3D場(chǎng)景中物體到成像平面的距離。由于深度圖與紋理圖相比不僅更能節(jié)省碼流，還能方便靈活地利用基于深度的繪制技術(shù)（DIBR）合成不同視角的虛擬視點(diǎn)[1]。因此，基于深度的3D視頻數(shù)據(jù)格式是實(shí)現(xiàn)3D視頻系統(tǒng)最有效且可行的方案。

深度圖編碼是3D視頻系統(tǒng)中一個(gè)重要而特殊的問(wèn)題，深度圖與一般的自然圖像/視頻相比具有獨(dú)特性。目前有很多方法探索利用深度圖特征獲得更好的編碼性能或降低編碼復(fù)雜度，這些方法包括基于空域上下采樣的深度圖非對(duì)稱編碼[23]、基于合成視點(diǎn)失真的深度編碼優(yōu)化[45]、利用深度與紋理相關(guān)性的聯(lián)合編碼[67]以及一些新的編碼框架[8]。然而，在深度壓縮編碼過(guò)程中，量化必然會(huì)帶來(lái)深度圖失真，進(jìn)而造成虛擬合成視點(diǎn)質(zhì)量的嚴(yán)重下降，例如前/背景混疊造成的圖像邊緣模糊、邊緣缺失甚至前/背景錯(cuò)位。因此深度圖編碼重構(gòu)成為提高編碼性能、改善3D視頻質(zhì)量的重要方法和手段，常用于深度編碼的后處理增強(qiáng)深度圖質(zhì)量[910]，或用于環(huán)路濾波在解碼前修正深度錯(cuò)誤[1112]。

筆者提出了一種有效的深度編碼后處理方法，它利用深度圖局部累計(jì)直方圖呈分段函數(shù)分布的規(guī)律，匹配編碼失真后的深度圖與原始參考深度圖，校正由深度圖編碼引起的深度錯(cuò)誤，提高深度圖質(zhì)量。該方法對(duì)深度圖的主觀質(zhì)量和客觀質(zhì)量都能起到明顯的改善效果。

3實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證本文提出的基于局部直方圖匹配的深度圖濾波算法的有效性，實(shí)驗(yàn)中采用了5組深度圖：Art（695×555）、 Venus（434×383）、teddy（900×750）、Cones（900×750）和books（695×555）。深度圖采用H.264/AVC參考軟件平臺(tái)JMVC8.5編碼，解碼后的深度圖采用提出算法進(jìn)一步后處理濾波。深度圖的分塊大小從編碼參數(shù)中提取，為編碼塊大小。為了驗(yàn)證不同失真下提出算法的有效性，量化參數(shù)（Quantization Parameter，QP）分別設(shè)置為32、40和48。

表1所示是5組深度圖在不同QP下，濾波前、后的峰值信噪比（Peak Signal Noises Ratio， PSNR）。從中可以看出，深度圖濾波后，PSNR均有不同程度的提高，最高可達(dá)到2.03dB，平均PSNR也提高了近1dB。

本文提出的算法不僅能提高深度圖的PSNR，圖像主觀質(zhì)量也有明顯改進(jìn)。圖5所示是濾波前后深度圖的主觀質(zhì)量對(duì)比結(jié)果，編碼量化參數(shù)QP=48。為了更清晰地看到圖像細(xì)節(jié)，截取了圖像的局部塊放大，將原始深度圖、濾波前深度圖和濾波后深度圖進(jìn)行對(duì)比。從圖5（b）中可以看出，濾波前的深度圖由于編碼壓縮引起了圖像失真，在物體邊緣有明顯的模糊甚至方塊效應(yīng)。而經(jīng)過(guò)提出濾波算法處理后的深度圖，圖像質(zhì)量有了很大改善，邊緣更清晰，更接近原始深度圖質(zhì)量，如圖5（c）所示。

圖6進(jìn)一步給出了不同失真下提出算法的濾波效果。圖6所示是Cones深度圖在QP分別為32、40和48的情況下，編碼失真后的深度圖在濾波前、后的主觀質(zhì)量對(duì)比。由圖6（a）可以看出，QP越大，深度圖編碼失真越明顯。在QP=48時(shí)，深度圖質(zhì)量下降嚴(yán)重，圖像邊緣模糊不清。但經(jīng)過(guò)提出算法濾波后，深度圖質(zhì)量都有比較明顯的改善，邊緣清晰、干凈。結(jié)果表明，深度圖失真越嚴(yán)重，提出濾波算法的效果越顯著。

4結(jié)語(yǔ)

本文充分分析了深度圖的局部直方圖統(tǒng)計(jì)特征，針對(duì)深度編碼量化引起的深度圖邊緣模糊問(wèn)題，提出了一種簡(jiǎn)單有效的深度編碼后處理方法。該方法通過(guò)匹配失真深度圖與參考深度圖的累計(jì)直方圖，建立映射函數(shù)，將失真深度圖的錯(cuò)誤深度值映射到正確的深度上。該方法不僅能提高深度圖的PSNR，而且使深度圖的主觀質(zhì)量得到明顯提升，處理后的深度圖像邊緣更清晰、干凈。

參考文獻(xiàn)參考文獻(xiàn)：

[1]FEHN C.Depthimagebased rendering （DIBR），compression，and transmission for a new approach on 3DTV [C].Proc of SPIE in Stereoscopic Displays and Virtual Reality Systems XI，Berlin：Springer，2004：93104.

[2]SHAO F，JIANG G Y，YU M，et al.Asymmetric coding of multiview video plus depth based 3D video for view rendering [J].IEEE Transactions on Multimedia，2012，14（1）：157167.

[3]DENG H P，YU L，ZHANG J T，et al.Edgepreserving down/upsampling for depth map compression in high efficiency video coding [J].Optical Engineering，2013，52（7）：5558

[4]ZHANG Y，KWONG S，XU L，et al.Regional bit allocation and rate distortion optimization for multiview depth video coding with view synthesis distortion model[J].IEEE Transactions on？Image Processing，2013，22（9）：34973511.

[5]DENG H P，YU L，F(xiàn)ENG B，et al.Structural similaritybased synthesized view distortion estimation for depth map coding [J].IEEE Trans.on Consumer Electronics，2012，58（4）：13381344.

[6]楊旭，常義林，霍俊彥，等.一種三維視頻深度圖像快速幀內(nèi)編碼方法[J].西安電子科技大學(xué)學(xué)報(bào)，2012，39（3）：713.

[7]YUAN H，CHANG Y L，HUO J，et al.Modelbased joint bit allocation between texture videos and depth maps for 3D video coding [J].IEEE Transactions on Circuits and Systems for Video Technology，2011，21（4）：485497.

[8]MAITRE M，DO M N.Depth and depth–color coding using shapeadaptive wavelets[J].Journal of Visual Communication and Image Representation，2010，21（5）：513522.

[9]MIN D，LU J，DO M N.Depth video enhancement based on weighted mode filtering[J].IEEE Transactions on Image Processing，2012，21（3）：11761190.

[10]OH K J，YEA S，VETRO A，et al.Depth reconstruction filter for depth coding[J].Electronics letters，2009，45（6）：305306.

[11]LIU S J，LAI P L，TIAN D，et al..New depth coding techniques with utilization of corresponding video[J].IEEE Transactions on Broadcasting，2011，57（2）：551561.

[12]OH K J，VETRO A，HO Y S.Depth coding using a boundary reconstruction filter for 3D video systems[J].IEEE Transactions on Circuits and Systems for Video Technology，2011，21（3）：350359.

[13]李錦，王俊平，萬(wàn)國(guó)挺，等.一種結(jié)合直方圖均衡化和MSRCR的圖像增強(qiáng)新算法[J].西安電子科技大學(xué)學(xué)報(bào)，2014，41（3）：103109.

[14]HIRSCHM？LLER H，SCHARSTEIN D.Evaluation of cost functions for stereo matching[C].Proc of IEEE Computer Society Conference on Computer Vision and Pattern Recognition （CVPR 2007），IEEE，2007：18.

責(zé)任編輯（責(zé)任編輯：黃?。?