基于紋理平滑度的視點(diǎn)合成失真優(yōu)化快速算法

竇環(huán)，賈克斌，陳銳霖，蕭允治，吳強(qiáng)

?

基于紋理平滑度的視點(diǎn)合成失真優(yōu)化快速算法

竇環(huán)1，賈克斌1，陳銳霖2，蕭允治2，吳強(qiáng)1

（1. 北京工業(yè)大學(xué)電子信息與控制工程學(xué)院，北京 100124；2. 香港理工大學(xué)電子資訊工程系，香港九龍 999077）

針對(duì)3D-HEVC中深度圖編碼采用的視點(diǎn)合成失真優(yōu)化方法的高復(fù)雜度問(wèn)題，提出一種基于紋理平滑度的快速算法。首先結(jié)合幀內(nèi)DC預(yù)測(cè)特性和統(tǒng)計(jì)學(xué)方法分析平坦紋理圖中像素規(guī)律并設(shè)定基于紋理圖平坦度的跳過(guò)準(zhǔn)則；然后在深度圖編碼采用視點(diǎn)合成失真優(yōu)化方法時(shí)提前分離出紋理圖平坦區(qū)域所對(duì)應(yīng)的深度圖區(qū)域，并終止該區(qū)域像素基于虛擬視點(diǎn)合成的視點(diǎn)合成失真計(jì)算過(guò)程。實(shí)驗(yàn)結(jié)果證明該算法的有效性，能在保持編碼質(zhì)量的同時(shí)減少大量編碼時(shí)間。

3D-HEVC；深度圖編碼；視點(diǎn)合成失真優(yōu)化；紋理圖平坦度

1 引言

3D視頻由多臺(tái)相鄰攝像機(jī)從不同角度對(duì)同一場(chǎng)景拍攝得到，不同角度的視頻間具有細(xì)微的視角差異，并通過(guò)3D顯示技術(shù)將這些視角不同的視頻分別投射給觀看者雙眼，從而呈現(xiàn)立體感[1]。相比普通的2D視頻，3D視頻能為觀眾提供更為身臨其境的深度視覺(jué)感受。隨著近年來(lái)多媒體技術(shù)的進(jìn)步，3D視頻的分辨率逐漸提高，而僅能提供2個(gè)視點(diǎn)的雙目立體顯示器已逐漸不再滿足用戶需求，能夠提供更多視點(diǎn)數(shù)量的多視點(diǎn)顯示器已成為目前多媒體信息產(chǎn)業(yè)的研究焦點(diǎn)。然而，視點(diǎn)數(shù)的增加會(huì)帶來(lái)數(shù)據(jù)量的成倍增多，為了降低因視點(diǎn)數(shù)增多帶來(lái)的高數(shù)據(jù)碼率，需要采用更為有效的3D視頻編碼方案。

目前，最新的2D視頻編碼標(biāo)準(zhǔn)——高效率視頻編碼(HEVC, high efficiency video coding)于2013年被國(guó)際電信聯(lián)盟ITU-T正式批準(zhǔn)，該標(biāo)準(zhǔn)又被稱為Recommendation H.265或ISO/IEC 23008-2 (MPEG-H Part 2)。鑒于其編碼2D視頻的優(yōu)異性能，運(yùn)動(dòng)圖像專家組MPEG和3D視頻編碼聯(lián)合組JCT-3V開(kāi)始著手3D視頻編碼的標(biāo)準(zhǔn)化工作，該標(biāo)準(zhǔn)被稱為3D-HEVC[1~3]。

3D-HEVC標(biāo)準(zhǔn)支持多視點(diǎn)視頻加深度(MVD, multi-view video plus depth)視頻格式的編碼。MVD視頻格式包括2個(gè)或3個(gè)紋理圖視頻和各自對(duì)應(yīng)的深度圖序列[4]，解碼端通過(guò)利用深度圖像繪制(DIBR, depth image based rendering)技術(shù)可以在原始的視點(diǎn)間合成新的多個(gè)虛擬視點(diǎn)[5]。由于深度圖序列相比紋理圖序列更為平滑，對(duì)深度圖進(jìn)行編碼可以節(jié)省更多碼流并降低編碼復(fù)雜度。深度圖序列在3D-HEVC中用以合成虛擬視點(diǎn)，因此由編碼深度圖造成的失真會(huì)直接導(dǎo)致虛擬視點(diǎn)的失真[6]，如果仍然使用常規(guī)的視頻編碼器來(lái)編碼深度圖視頻則不能獲得最佳的編碼效果。由于深度圖視頻不會(huì)直接提供給用戶觀看，因此在深度圖編碼模式?jīng)Q策過(guò)程中采用的率失真優(yōu)化方法需要考慮到合成的虛擬視點(diǎn)失真，這種技術(shù)又被稱為視點(diǎn)合成失真優(yōu)化(VSO, view synthesis optimization)。

目前，國(guó)內(nèi)外眾多學(xué)者都提出了有關(guān)計(jì)算合成視點(diǎn)失真值的方法[7~16]。這些方法根據(jù)其是否基于虛擬視點(diǎn)合成過(guò)程分成2類(lèi)。第一類(lèi)是基于虛擬視點(diǎn)合成過(guò)程的方法[7~11]，需要在3D視頻編碼端調(diào)用基于DIBR的虛擬視點(diǎn)合成過(guò)程，并根據(jù)其合成的結(jié)果計(jì)算合成視點(diǎn)失真值，其中最著名的方法是計(jì)算合成視點(diǎn)失真值變化(SVDC, synthesized view distortion change)[7]，該方法已被3D-HEVC視頻編碼測(cè)試模型HTM采用[17]，被用于模式選擇、CU劃分以及運(yùn)動(dòng)矢量繼承和合并中。由于引入了虛擬視點(diǎn)合成過(guò)程，計(jì)算SVDC可以獲得準(zhǔn)確的虛擬視點(diǎn)失真值，但也由于其基于全像素遍歷的虛擬視點(diǎn)合成過(guò)程而帶來(lái)巨大的計(jì)算復(fù)雜度。有學(xué)者提出方法對(duì)SVDC過(guò)程進(jìn)行低復(fù)雜度優(yōu)化，文獻(xiàn)[8]提出一種快速跳過(guò)(ES, early skip)模式，通過(guò)判斷編碼后深度值是否發(fā)生變化來(lái)跳過(guò)深度圖中不必要的虛擬視點(diǎn)合成過(guò)程，該方法能夠節(jié)省大量編碼時(shí)間并同時(shí)保證編碼質(zhì)量，已被HTM采用[17]；文獻(xiàn)[9~11]分析了已失真深度圖中像素不造成合成視點(diǎn)失真的條件，通過(guò)判定像素是否滿足該條件來(lái)跳過(guò)不必要的編碼過(guò)程。第二類(lèi)是通過(guò)設(shè)定模型來(lái)計(jì)算虛擬視點(diǎn)失真情況的方法，不需要調(diào)用虛擬視點(diǎn)合成過(guò)程[12~16]，其中最有名且被HTM采用的方法是視點(diǎn)合成失真(VSD, view synthesis distortion)計(jì)算方法[12, 13]，通過(guò)分析深度圖質(zhì)量和合成質(zhì)量間關(guān)系定義合成視點(diǎn)的失真值。這類(lèi)方法由于不在編碼端引入虛擬視點(diǎn)合成過(guò)程，能夠大幅度降低編碼時(shí)間，但是不能保證其計(jì)算得到的值能正確估計(jì)實(shí)際的合成視點(diǎn)失真。在HTM中，為了不增加計(jì)算復(fù)雜度，VSD僅被用在幀內(nèi)模式預(yù)選擇和殘差四叉樹(shù)劃分中[17]。

本文基于上述第一類(lèi)中的SVDC方法，提出一種快速算法來(lái)加速其計(jì)算過(guò)程。首先，根據(jù)視點(diǎn)合成過(guò)程中深度圖像素與紋理圖及合成視點(diǎn)的紋理圖像素間關(guān)系，利用位于平坦紋理區(qū)域的失真深度值不會(huì)造成合成視點(diǎn)失真的原理，通過(guò)結(jié)合幀內(nèi)DC預(yù)測(cè)的特性和統(tǒng)計(jì)學(xué)方法分析平坦紋理圖中像素規(guī)律并設(shè)定基于紋理圖平坦度的像素跳過(guò)準(zhǔn)則，然后利用該準(zhǔn)則判定是否可以跳過(guò)深度圖失真像素的虛擬視點(diǎn)合成過(guò)程，降低編碼復(fù)雜度。

2 基于SVDC的VSO概述

常規(guī)的視頻編碼器采用基于拉格朗日的率失真優(yōu)化 (RDO) 準(zhǔn)則為模式選擇和運(yùn)動(dòng)估計(jì)過(guò)程選取最優(yōu)的模式類(lèi)別和運(yùn)動(dòng)矢量。每個(gè)候選模式和候選運(yùn)動(dòng)矢量都需要計(jì)算率失真代價(jià)，然后選取率失真代價(jià)最小的作為最終的模式和運(yùn)動(dòng)矢量。率失真代價(jià)的計(jì)算如式(1)所示。

其中，是率失真代價(jià)，是失真，是拉格朗日乘子，是編碼所需比特?cái)?shù)。失真值通常由計(jì)算差值平方和(SSD, sum of squared differences)或絕對(duì)誤差和(SAD, sum of absolute differences)得到。

由于對(duì)深度圖進(jìn)行有損編碼后，已編碼深度圖的失真將會(huì)直接導(dǎo)致合成視點(diǎn)的失真，因此，式(1)中的失真值需要同時(shí)考慮虛擬視點(diǎn)的失真。所以在3D-HEVC深度圖編碼方案中，失真值的計(jì)算如式(2)所示。

其中，表示通過(guò)VSO過(guò)程得到的失真；1和2表示2個(gè)權(quán)值；depth表示深度圖自身的失真，通常由計(jì)算SSD或SAD獲得；synth表示合成視點(diǎn)的失真，在3D-HEVC標(biāo)準(zhǔn)中由計(jì)算SVDC或VSD獲得。

2.1 SVDC定義

SVDC表征了深度圖失真與合成視點(diǎn)失真之間的關(guān)系，并引入虛擬視點(diǎn)合成技術(shù)來(lái)提高深度圖編碼的率失真優(yōu)化性能。SVDC定義了由于深度值變化造成的合成視點(diǎn)中的總體失真值變化情況，具體來(lái)說(shuō)SVDC定義了2個(gè)合成的虛擬紋理圖和之間的失真值之差，如式(3)和圖1所示。

圖1 SVDC定義

2.2 SVDC的計(jì)算

根據(jù)上節(jié)可知，計(jì)算SVDC需要引入虛擬視點(diǎn)合成過(guò)程，但如果直接將虛擬視點(diǎn)合成過(guò)程放在編碼端運(yùn)行，會(huì)帶來(lái)巨大的編碼復(fù)雜度。為了避免由虛擬視點(diǎn)合成過(guò)程導(dǎo)致的編碼端計(jì)算復(fù)雜度提高，HTM引入一種方法使加入虛擬視點(diǎn)合成技術(shù)的SVDC計(jì)算過(guò)程可以簡(jiǎn)化，該方法稱之為繪制器模型。繪制器模型有3個(gè)主要步驟，分別是初始化、局部重繪制和SVDC計(jì)算。

初始化過(guò)程在深度圖編碼前進(jìn)行，原始的深度圖和原始的紋理圖在該階段合成完整的虛擬視點(diǎn)紋理圖；一旦深度圖中某一塊編碼完畢且其最終編碼的深度值已獲取，局部重繪制過(guò)程開(kāi)始工作以更新繪制器模型，繪制器模型將深度圖中已編碼塊的原始數(shù)據(jù)更改為編碼后數(shù)據(jù)得到新的深度圖，并且以行為單位重新繪制因深度數(shù)據(jù)改變而影響的局部位置，得到虛擬視點(diǎn)；在模式選擇過(guò)程中，將深度圖中當(dāng)前編碼塊的像素值更新為根據(jù)當(dāng)前模式進(jìn)行編碼后得到的值來(lái)獲得深度圖，并根據(jù)繪制出虛擬視點(diǎn)，然后按照式(3)計(jì)算SVDC。

3 基于紋理圖平滑度的VSO快速算法

原始的SVDC計(jì)算過(guò)程需要對(duì)編碼塊中的每一個(gè)像素進(jìn)行變換、內(nèi)插、融合等操作來(lái)繪制虛擬視點(diǎn)，然后再利用式(3)計(jì)算SVDC，這種全像素遍歷的繪制過(guò)程會(huì)使需要進(jìn)行繪制的像素?cái)?shù)目隨著3D視頻分辨率的提高而增多，提高了編碼復(fù)雜度。

實(shí)際上SVDC的計(jì)算過(guò)程并不需要對(duì)每個(gè)像素都進(jìn)行虛擬視點(diǎn)繪制，如文獻(xiàn)[8]所述的ES模式通過(guò)判斷其深度數(shù)據(jù)是否失真來(lái)跳過(guò)一部分像素的SVDC計(jì)算過(guò)程以節(jié)省編碼時(shí)間。除此之外，仍有雖然深度數(shù)據(jù)發(fā)生變化，但虛擬視點(diǎn)不產(chǎn)生失真的其他像素區(qū)域可以跳過(guò)。為了判定出這類(lèi)像素區(qū)域來(lái)進(jìn)一步提高編碼效率，本文提出一種基于紋理圖平滑度的VSO快速算法，通過(guò)結(jié)合由幀內(nèi)DC預(yù)測(cè)和統(tǒng)計(jì)學(xué)方法獲得的紋理圖平滑區(qū)域，跳過(guò)不產(chǎn)生虛擬視點(diǎn)失真的對(duì)應(yīng)深度圖像素區(qū)域的SVDC計(jì)算過(guò)程。

3.1 算法描述

在虛擬視點(diǎn)合成過(guò)程中，當(dāng)前紋理圖中的像素利用其對(duì)應(yīng)深度圖中的深度值計(jì)算得到視差矢量，然后利用該視差矢量對(duì)當(dāng)前紋理圖中像素進(jìn)行搬移以找到其在合成視點(diǎn)中的像素位置，當(dāng)紋理圖中所有像素搬移完后，虛擬視點(diǎn)合成完畢。對(duì)深度圖進(jìn)行有損編碼，會(huì)導(dǎo)致深度圖中像素值的失真，而深度圖像素值失真會(huì)直接導(dǎo)致由其計(jì)算得到的視差矢量失真，進(jìn)而導(dǎo)致對(duì)紋理圖中像素進(jìn)行搬移后在合成視點(diǎn)中的像素位置發(fā)生變化，使虛擬視點(diǎn)產(chǎn)生失真。但是，并非所有失真的深度圖像素會(huì)導(dǎo)致虛擬視點(diǎn)失真，如果找到這類(lèi)深度圖像素并跳過(guò)其SVDC的計(jì)算過(guò)程，則能節(jié)省VSO的編碼時(shí)間，并且保證合成視點(diǎn)的質(zhì)量不發(fā)生變化。因此，如何找到這類(lèi)深度圖像素是本文提出算法的核心問(wèn)題。

為了找到這類(lèi)深度圖像素，需要對(duì)紋理圖像素的搬移過(guò)程進(jìn)行分析，如圖2所示，其中點(diǎn)和點(diǎn)表示在原視點(diǎn)中的2個(gè)像素位置，實(shí)線箭頭表示由原始的未失真深度值計(jì)算得到的視差矢量，虛線箭頭表示由編碼后的失真深度值計(jì)算得到的視差矢量，點(diǎn)和點(diǎn)表示點(diǎn)和點(diǎn)在合成視點(diǎn)中正確的像素位置，點(diǎn)和點(diǎn)表示點(diǎn)和點(diǎn)在合成視點(diǎn)中失真的像素位置。從圖2中可以看出在原視點(diǎn)中像素處于一個(gè)紋理平坦的背景區(qū)域，即使其深度值發(fā)生失真，其在合成視點(diǎn)中的失真位置仍然與正確位置具有相似的紋理信息；而原視點(diǎn)中像素處于一個(gè)紋理并不平坦的區(qū)域，如果其深度值發(fā)生失真，那么得到的合成視點(diǎn)失真像素位置與的紋理信息會(huì)有較大差異，必然造成合成視點(diǎn)失真。由此可見(jiàn)，如果對(duì)應(yīng)的紋理圖中像素處于一個(gè)相對(duì)平坦的區(qū)域，即使深度值發(fā)生失真，也不會(huì)造成合成視點(diǎn)中的失真，因此跳過(guò)這類(lèi)深度圖像素的SVDC過(guò)程不會(huì)造成合成視點(diǎn)質(zhì)量的下降。一般來(lái)說(shuō)，紋理平坦的像素區(qū)域通常處于視頻中的背景區(qū)域或運(yùn)動(dòng)緩慢的區(qū)域，在視頻內(nèi)容中所占比例相對(duì)較大，因此如果跳過(guò)這些像素區(qū)域的SVDC計(jì)算過(guò)程，可以節(jié)省較多的編碼時(shí)間。

基于此，本文提出一種快速算法，結(jié)合視點(diǎn)合成過(guò)程中深度圖像素與紋理圖及合成視點(diǎn)的紋理圖像素間關(guān)系，利用位于平坦紋理區(qū)域的失真深度值不會(huì)造成合成視點(diǎn)失真的原理，在編碼器使用ES模式之后，利用基于幀內(nèi)DC預(yù)測(cè)特性和統(tǒng)計(jì)學(xué)方法的紋理圖平坦度跳過(guò)符合上述條件的深度圖像素區(qū)域，來(lái)進(jìn)一步加速VSO的處理過(guò)程。首先對(duì)當(dāng)前深度圖編碼塊采用ES模式進(jìn)行加速，若塊中的某一行像素不滿足ES模式的跳過(guò)條件，則判斷其是否符合本文提出的基于紋理圖平坦度的像素跳過(guò)準(zhǔn)則規(guī)定的跳過(guò)條件，若符合則跳過(guò)該像素行中所有像素的SVDC計(jì)算過(guò)程，減少VSO的編碼時(shí)間。本文提出算法的流程如圖3所示，基于幀內(nèi)DC預(yù)測(cè)特性和統(tǒng)計(jì)學(xué)方法的紋理圖平坦度跳過(guò)準(zhǔn)則的原理及設(shè)置過(guò)程如下節(jié)所述。

3.2 基于紋理圖平滑度的閾值設(shè)計(jì)

本文提出算法能夠減少VSO編碼時(shí)間的前提條件，是需要找到位于對(duì)應(yīng)的平坦紋理區(qū)域的深度圖像素，因此本文提出算法的關(guān)鍵在于根據(jù)紋理圖已編碼信息分析紋理圖的平坦度，然后根據(jù)平坦度分析結(jié)果設(shè)定深度圖中像素的VSO跳過(guò)準(zhǔn)則，即圖3中虛線框中內(nèi)容。

3.2.1 紋理平坦像素值規(guī)律設(shè)定

一般來(lái)說(shuō)，圖像的亮度值Y和色度值UV可以用來(lái)測(cè)量和判定紋理的平滑度。如果一個(gè)區(qū)域平滑，則該區(qū)域內(nèi)部的所有像素的亮度值和色度值應(yīng)當(dāng)具有規(guī)律性。在本文中使用的判定某一行像素區(qū)域?yàn)榧y理平坦區(qū)域的像素值規(guī)律如式(4)所示。

其中，表示像素的亮度值，和表示相鄰像素序號(hào)，表示當(dāng)前像素行長(zhǎng)度，表示反映紋理平坦規(guī)律的閾值。因此，本文通過(guò)判斷相鄰2個(gè)像素亮度值之差是否小于等于設(shè)定的跳過(guò)閾值來(lái)判定紋理是否平坦。

3.2.2 紋理平坦判定條件

HEVC采用多方向的幀內(nèi)預(yù)測(cè)技術(shù)來(lái)消除圖像的空間相關(guān)性，因此，幀內(nèi)預(yù)測(cè)能夠準(zhǔn)確地表征視頻圖像的紋理規(guī)律。在HEVC中，幀內(nèi)DC預(yù)測(cè)與H.264/AVC中的類(lèi)似，使用當(dāng)前編碼單元(CU, coding unit)左邊和上邊2個(gè)方向上參考像素的均值來(lái)對(duì)當(dāng)前CU內(nèi)部所有像素進(jìn)行預(yù)測(cè)，因此幀內(nèi)DC預(yù)測(cè)模式非常適用于圖像的平坦區(qū)域編碼。因此如果某一CU采用幀內(nèi)DC模式作為其最優(yōu)編碼模式，則可以認(rèn)為該CU紋理平坦?；诖耍疚脑诩y理圖編碼完成后，記錄使用幀內(nèi)DC模式作為最優(yōu)編碼模式的CU尺寸以及該CU內(nèi)部所有像素亮度值，然后計(jì)算該CU的像素亮度均值和亮度平均差值，如式(5)和式(6)所示。

(6)

基于式(5)和式(6)，本文選擇紋理分布和運(yùn)動(dòng)幅度較為適中的Balloons序列作為訓(xùn)練序列，訓(xùn)練幀數(shù)為60幀，對(duì)于該序列中所有選擇幀內(nèi)DC模式作為最優(yōu)模式的CU計(jì)算值，然后統(tǒng)計(jì)出現(xiàn)次數(shù)最多的值和所有計(jì)算出的平均值，如表1所示。從統(tǒng)計(jì)結(jié)果可以看出，出現(xiàn)次數(shù)最多的值（1）和平均值（2）在3個(gè)視點(diǎn)和4個(gè)情況下的平均值分別為2.75和3.42。因此，在本文提出的基于紋理平坦度的跳過(guò)準(zhǔn)則中，跳過(guò)閾值基于表1的2個(gè)統(tǒng)計(jì)值結(jié)果，選取這2個(gè)的平均值進(jìn)行下取整作為最終的全局跳過(guò)閾值，如式(7)所示。

表1 AvgDiff值統(tǒng)計(jì)

為了證明本文提出的基于紋理平坦度的跳過(guò)閾值的準(zhǔn)確度，本文對(duì)所有測(cè)試序列中采用幀內(nèi)DC模式進(jìn)行編碼的各個(gè)尺寸CU進(jìn)行統(tǒng)計(jì)，并對(duì)本文提出的閾值與符合條件CU的像素亮度均差進(jìn)行比較并計(jì)算命中率，結(jié)果如表2所示。

表2 命中率統(tǒng)計(jì)

從表2可以看出，命中率的差距主要體現(xiàn)在同一序列內(nèi)部不同視點(diǎn)間的命中率差距以及不同序列間的命中率差距。1) 同一序列內(nèi)部不同視點(diǎn)間的命中率差距大，是因?yàn)楸疚慕y(tǒng)計(jì)幀內(nèi)DC模式編碼塊的像素亮度均差來(lái)設(shè)置閾值。然而幀內(nèi)DC模式在模式選擇過(guò)程中所占比例并不大，所以如果在某些視點(diǎn)方向上選擇幀內(nèi)DC模式的CU數(shù)量較少并且恰好這些CU的像素亮度均差不等于本文設(shè)置的跳過(guò)閾值，所以造成同一序列內(nèi)部某些視點(diǎn)的命中率較低。然而不同視點(diǎn)描述的是同一場(chǎng)景信息，如果某一視點(diǎn)方向命中率低，其余視點(diǎn)方向的命中率高，仍然可以表明選定的閾值有效。2) 不同序列間的命中率差距大，其原因是每個(gè)序列的紋理特性不同，所以每個(gè)序列幀內(nèi)DC塊的像素亮度均差結(jié)果不同。因此某些序列如Kendo序列其命中率不高。但是如果只選擇最小的均差作為最終閾值，在編碼平坦區(qū)域較多且?guī)瑑?nèi)DC塊亮度均差較大的序列時(shí)會(huì)造成跳過(guò)率不高、編碼時(shí)間的節(jié)省量小，編碼質(zhì)量卻并不能高于閾值稍高時(shí)的結(jié)果。因此在個(gè)別序列命中率并不高的情況下，閾值的選擇需要具有普適性，本文選取的閾值對(duì)個(gè)別序列的命中率稍低，但對(duì)于其余多數(shù)序列命中率高，仍然表明選定的閾值有效。

因此，采用本文提出的基于紋理平坦度的跳過(guò)閾值，可以獲得較好的命中率結(jié)果，同時(shí)該統(tǒng)計(jì)并非限定于某特定尺寸的CU，因此可以認(rèn)為本文提出的跳過(guò)閾值對(duì)各尺寸的CU較準(zhǔn)確地判定紋理平滑情況。

為了證明本文提出的基于紋理平坦度的跳過(guò)閾值的加速效果，本文對(duì)所有深度圖編碼塊內(nèi)部未采用ES模式跳過(guò)的像素行，使用上述的跳過(guò)閾值判定出紋理平滑的像素行，并對(duì)其所占百分比進(jìn)行了統(tǒng)計(jì)，統(tǒng)計(jì)結(jié)果如表3所示。從表3可以看出，利用本文提出的基于紋理圖平坦度的像素跳過(guò)準(zhǔn)則，可以判定出一半左右的紋理平坦像素行。

表3 紋理平坦像素行百分比統(tǒng)計(jì)

4 實(shí)驗(yàn)結(jié)果

為驗(yàn)證本文算法效率，將3D-HEVC參考模型HTM9.2[18]作為測(cè)試平臺(tái)。由于HTM中的ES算法與本文提出算法協(xié)同工作，且文獻(xiàn)[9]提出算法是改進(jìn)的ES算法，因此依照文獻(xiàn)[19]公布的3DV國(guó)際通用測(cè)試標(biāo)準(zhǔn)對(duì)HTM中無(wú)ES模式的原編碼算法 (ori)、文獻(xiàn)[9]方法、ES模式快速算法和本文提出的快速算法 (prop) 進(jìn)行測(cè)試和比較。測(cè)試序列為Balloons (1024×768)、Kendo (1024×768)、Newspaper (1024×768)、GTFly (1920×1088)、PoznanStreet (1920×1088)和UndoDancer (1920×1088)。每個(gè)測(cè)試序列均編碼3個(gè)視點(diǎn)和對(duì)應(yīng)的3個(gè)深度圖序列[19]，GOP長(zhǎng)度設(shè)置為8，幀內(nèi)周期設(shè)置為24，虛擬視點(diǎn)步長(zhǎng)設(shè)置為0.25，紋理圖量化參數(shù)設(shè)置為25、30、35、40，深度圖量化參數(shù)設(shè)置為34、39、42、45，測(cè)試序列Balloons、Kendo、Newspaper的測(cè)試幀數(shù)為300幀、幀率為30，測(cè)試序列GTFly、PoznanStreet、UndoDancer的測(cè)試幀數(shù)為250幀、幀率為25。所有實(shí)驗(yàn)在配置為Intel(R) Xeon(R) E31230 3.2 GHz CPU，8 GB RAM的PC上獨(dú)立執(zhí)行。

表4 不同算法的深度圖編碼時(shí)間比較結(jié)果

4.1 算法復(fù)雜度分析

為評(píng)價(jià)提出算法的計(jì)算效率，本文統(tǒng)計(jì)了提出算法的像素行跳過(guò)率，并統(tǒng)計(jì)了分別采用無(wú)ES模式的HTM原編碼算法 (ori)、文獻(xiàn)[9]方法、ES模式快速算法 (ES) 和提出的快速算法 (prop) 對(duì)各測(cè)試序列進(jìn)行編碼后的深度圖編碼時(shí)間。其中，ori算法采用原始的逐像素虛擬視點(diǎn)合成過(guò)程生成虛擬視點(diǎn)以計(jì)算SVDC值的方法；文獻(xiàn)[9]方法采用ES模式以及判斷當(dāng)前像素左右相鄰像素梯度值是否相同來(lái)跳過(guò)SVDC計(jì)算過(guò)程；ES模式算法通過(guò)跳過(guò)編碼后深度值與編碼前深度值相同的像素行來(lái)加速SVDC計(jì)算過(guò)程；本文提出算法在ES模式基礎(chǔ)上，利用紋理平坦度設(shè)定閾值跳過(guò)平坦紋理的像素行來(lái)加速SVDC計(jì)算過(guò)程。各算法的深度圖編碼時(shí)間及時(shí)間比較結(jié)果如表4所示，各算法的像素行跳過(guò)率如表5所示。從表4給出的深度圖編碼時(shí)間比較結(jié)果可以看出，對(duì)于所有測(cè)試序列，本文提出方法的編碼時(shí)間平均占HTM原編碼時(shí)間的57.54%，占文獻(xiàn)[9]提出方法和ES模式算法編碼時(shí)間的67.97%和85.72%。文獻(xiàn)[9]提出的算法由于其判別條件嚴(yán)苛，符合跳過(guò)條件的像素行相比本文提出算法少，而又由于其判別條件中的閾值計(jì)算過(guò)程需要大量迭代過(guò)程導(dǎo)致編碼時(shí)間增加，因此本文提出的方法能夠比文獻(xiàn)[9]提出的算法獲得更好的編碼效率，編碼復(fù)雜度更低。本文提出算法是在ES模式的基礎(chǔ)上，針對(duì)非ES模式跳過(guò)行進(jìn)行進(jìn)一步的跳過(guò)優(yōu)化，因此相比ES模式算法能夠降低更多的編碼復(fù)雜度。從表5可以看出，使用本文提出算法對(duì)6個(gè)測(cè)試序列進(jìn)行編碼，其像素行跳過(guò)率的平均值為78.59%，而對(duì)于某些紋理平坦的序列如GTFly序列和Kendo序列，由于其平坦的紋理區(qū)域相比其余序列更多，使用本文提出的算法能夠檢測(cè)到更多的平坦區(qū)域，因此其平均像素行跳過(guò)率能超過(guò)80%。對(duì)所有測(cè)試序列來(lái)說(shuō)，像素行跳過(guò)率隨著值的升高而增加，這是因?yàn)榫幋a器在計(jì)算SVDC時(shí)，虛擬視點(diǎn)合成過(guò)程使用的是重建紋理圖，而隨著值的升高編碼后的重建紋理圖會(huì)存在更多平滑的紋理區(qū)域，因此在高值情況下使用本文提出算法的像素行跳過(guò)率比低值情況下的高。ES模式快速算法的平均像素行跳過(guò)率為52.69%，文獻(xiàn)[9]的平均像素行跳過(guò)率僅比ES模式提高了不到1.2%，本文提出算法相比ES模式能提高26%的平均像素行跳過(guò)率。GTFly序列和Kendo序列相比其他序列所用的深度圖編碼時(shí)間更少，該結(jié)果也與表5所示的像素行跳過(guò)率結(jié)果相對(duì)應(yīng)。

表5 各算法的像素行跳過(guò)率

4.2 率失真性能分析

為驗(yàn)證提出算法的率失真性能，本文利用Bjontegaard方法[20]來(lái)比較不同算法間的絕對(duì)比特率變化量。表6給出了不同算法與HTM中的原編碼算法的比較結(jié)果，其中“Base”、“Syn”和“All”分別表示原視點(diǎn)、合成視點(diǎn)以及兩者平均的絕對(duì)比特率變化百分比。

表6 Bjontegaard方法得到的率失真性能比較結(jié)果(BDBR)

從表6可以看出，與HTM的原始算法相比，本文提出算法的率失真性能雖然略低于文獻(xiàn)[9]提出的算法，但實(shí)際上合成視點(diǎn)的比特率僅上升0.6%，原視點(diǎn)和合成視點(diǎn)的平均比特率僅上升0.4%，基本與原編碼算法保持了相同的編碼性能。文獻(xiàn)[9]提出的跳過(guò)算法判別條件非常嚴(yán)格，能夠保證低誤差，因此率失真性能幾乎與原算法一致，但也如4.1節(jié)所述的由于其跳過(guò)的像素行較少且閾值計(jì)算過(guò)程復(fù)雜導(dǎo)致其深度圖編碼時(shí)間相比本文提出算法略高。本文提出的算法利用幀內(nèi)DC預(yù)測(cè)能檢測(cè)平坦紋理的特性，跳過(guò)更多紋理平滑的像素區(qū)域，因此能夠在加速編碼時(shí)間的同時(shí)保證編碼性能。所提算法針對(duì)GTFly序列能獲得最好的率失真性能，這是因?yàn)镚TFly相比其他序列含有更多平坦的背景區(qū)域，因此利用本文提出的算法可以最大程度的發(fā)揮基于紋理平坦度閾值的優(yōu)勢(shì)。Newspaper序列和UndoDancer序列由于紋理特性更為復(fù)雜，使其率失真性能略低于其他序列。

5 結(jié)束語(yǔ)

本文旨在結(jié)合紋理圖的平坦特性加速深度圖編碼中的視點(diǎn)合成失真優(yōu)化過(guò)程，在保證視頻編碼質(zhì)量的同時(shí)降低深度圖編碼復(fù)雜度。針對(duì)深度圖編碼中費(fèi)時(shí)的視點(diǎn)合成失真優(yōu)化部分，通過(guò)利用幀內(nèi)DC預(yù)測(cè)的編碼塊紋理特性和統(tǒng)計(jì)學(xué)方法分析像素紋理平坦規(guī)律并設(shè)定基于紋理平坦度的跳過(guò)準(zhǔn)則，然后分離出符合該跳過(guò)準(zhǔn)則的深度圖像素區(qū)域并跳過(guò)該區(qū)域的視點(diǎn)合成失真優(yōu)化過(guò)程。實(shí)驗(yàn)結(jié)果表明提出的基于紋理平坦度的快速算法能夠在保證3D視頻及合成視點(diǎn)編碼質(zhì)量的條件下，降低深度圖編碼時(shí)間。

[1] MULLER K, SCHWARZ H, MARPE D, et al. 3D high-efficiency video coding for multi-view video and depth data[J]. IEEE Transactions on Image Processing, 2013, 22(9): 3366-3378.

[2] ISO/IEC JTC 1/SC 29/WG 11 (MPEG). High efficiency video Coding[S]. ITU-T Rec H.265 and ISO/IEC 23008-2 (HEVC), ITU-T and ISO/IEC, 2013.

[3] SULLIVAN G J, OHM J, HAN W J, et al. Overview of the high efficiency video coding (HEVC) standard[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2012, 22(12): 1649-1668.

[4] CHEN Y, VETRO A. Next-generation 3D formats with depth map support[J]. MultiMedia IEEE, 2014, 21(2): 90-94.

[5] SMOLIC A, MULLER K, DIX K, et al. Intermediate view interpolation based on multiview video plus depth for advanced 3D video systems[C]//IEEE International Conference on Image Processing. San Diego, CA, c2008: 2448-2451.

[6] MERKLE P, MORVAN Y, SMOLIC A, et al. The effect of depth compression on multiview rendering quality[C]//3DTV Conference: The True Vision-Capture, Transmission and Display of 3D Video. Istanbul, c2008: 245-248.

[7] TECH G, SCHWARZ H, MULLER K, et al. 3D video coding using the synthesized view distortion change[C]//Picture Coding Symposium (PCS). Krakow, c2012: 25-28.

[8] OH B, LEE J, PARK D, et al. 3D-CE8. h results on view synthesis optimization by Samsung, HHI and LG-PKU[R]. ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11, 1st Meeting, JCT3V-A0093, Stockholm, Sweden, 2012.

[9] MA S, WANG S, GAO W. Low complexity adaptive view synthesis optimization in HEVC based 3D video coding[J]. IEEE Transactions on Multimedia, 2014, 16(1): 266-271.

[10] MA S, WANG S, GAO W. Zero-synthesis view difference aware view synthesis optimization for HEVC based 3D video compression[J]. Visual Communications & Image Processing, IEEE, 2012, 333(6):1-6.

[11] WANG S, MA S, LIU H, et al. CE8.h: results of simplification of view synthesis optimization by detection of zero distortion change in synthesized view[R]//1st JCT3V Meeting, ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 JCT2-A0083, Stockholm, SE, 2012.

[12] OH B T, LEE J, PARK D S. Depth map coding based on synthesized view distortion function[J]. IEEE Journal of Selected Topics in Signal Processing, 2011, 5(7): 1344-1352.

[13] OH B T, OH K J. View synthesis distortion estimation for avc-and hevc-compatible 3D video coding[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2014, 24(6): 1006-1015.

[14] ZHANG Q, TIAN L, HUANG L, et al. Rendering distortion estimation model for 3D high efficiency depth coding[J]. Mathematical Problems in Engineering, 2014,(1):1-7.

[15] LI C, JIN X, DAI Q. A novel distortion model for depth coding in 3D-HEVC[C]//IEEE International Conference on Image Processing. Paris, c2014: 3228-3232.

[16] LI C, JIN X, DAI Q. An efficient distortion model configuration for depth coding in 3D-HEVC[C]//IEEE Asia Pacific Conference on Circuits and Systems. Ishigaki, c2014: 9-12.

[17] TECH G, WEGNER K, CHEN Y, et al. Test Model 8 of 3D-HEVC and MV-HEVC[R]//8th JCT3V Meeting, ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11, JCT3V-H1003, Valencia, ES, 2014.

[18] FRANK B, DAVID F, KARSTEN S. HEVC 3D extension software [EB/OL].https://hevc.hhi.fraunhofer.de/svn/svn_3DVCSoftware/tags/HTM-9.2/.

[19] MULLER K, VETRO A. Common test conditions of 3DV core experiments[R]. JCT3V meeting, JCT3VG1100, San Jose, US, 2014.

[20] BJONTEGAARDA G. Calculation of average psnr differences between rd-curves[R]. ITU-Telecommunications Standardization Secto vceg-m33, 2001.

Fast view synthesis optimization algorithm based on texture smoothness

DOU Huan1, JIA Ke-bin1, CHEN Rui-lin2, XIAO Yun-zhi2, WU Qiang1

(1. Department of Electronic Information and Control Engineering, Beijing University of Technology, Beijing 100124, China; 2. Department of Electronic and Information Engineering, HongKong Polytechnic University, HongKong 999077, China)

A fast algorithm was proposed in order to reduce the view synthesis optimization (VSO) process in depth coding for 3D-HEVC based on texture map smoothness. With the coding information derived from texture video sequences, the pixel regularity of smooth texture region was analyzed to set the skip rule using the properties of intra DC prediction and statistical methods. Then the depth regions corresponding to the flat texture map regions could be extracted and the VSO process of pixels belonging to this type of depth regions could be skipped. Experimental results show the effectiveness of the proposed algorithm.

3D-HEVC, depth coding, view synthesis optimization, texture smoothness

TN919.81

A

10.11959/j.issn.1000-436x.2016057

2015-05-04；

2015-11-06

賈克斌，kebinj@bjnt.edu.cn

計(jì)算智能與智能系統(tǒng)北京市重點(diǎn)實(shí)驗(yàn)室基金資助項(xiàng)目(No.002000546615004)；北京市自然科學(xué)基金及教委重點(diǎn)科技基金資助項(xiàng)目(No.KZ201310005004)

The Fund of Beijing Key Laboratory of Computational Intelligence and Intelligent System (No.002000546615004), Key Project of Beijing Municipal Education Commission(No.KZ201310005004)

竇環(huán)（1988-），女，江蘇儀征人，北京工業(yè)大學(xué)博士生，主要研究方向?yàn)槎嘁朁c(diǎn)視頻編碼。

賈克斌（1961-），男，河南安陽(yáng)人，北京工業(yè)大學(xué)教授、博士生導(dǎo)師，主要研究方向?yàn)槎嗝襟w信息處理。

陳銳霖（1971-），男，中國(guó)香港人，香港理工大學(xué)教授、博士生導(dǎo)師，主要研究方向?yàn)樾畔⑻幚?、視頻編碼。

蕭允治（1950-），男，中國(guó)香港人，香港理工大學(xué)教授、博士生導(dǎo)師，主要研究方向?yàn)閳D像和視頻技術(shù)。

吳強(qiáng)（1972-），男，山西沁縣人，北京工業(yè)大學(xué)副教授、碩士生導(dǎo)師，主要研究方向?yàn)槎嗝襟w信息處理。