基于顯著性信息和視點(diǎn)合成預(yù)測(cè)的3D-HEVC 編碼方法

余 芳,安 平,嚴(yán)徐樂

(上海大學(xué)新型顯示技術(shù)及應(yīng)用集成教育部重點(diǎn)實(shí)驗(yàn)室,上海200444)

信息化時(shí)代的今天,視頻壓縮技術(shù)的日益更新帶動(dòng)了3D視頻編碼技術(shù)的持續(xù)發(fā)展.隨著高效率視頻編碼(high eきciency video coding,HEVC)標(biāo)準(zhǔn)的研發(fā),高分辨率視頻和大尺寸顯示設(shè)備逐漸走進(jìn)人們的日常生活,在給人們帶來(lái)身臨其境的高逼真度視覺體驗(yàn)的同時(shí),其視頻編碼的效率也將面臨挑戰(zhàn).

HEVC作為目前最先進(jìn)的編碼標(biāo)準(zhǔn),相較于H.264/AVC,在保證同等視頻質(zhì)量的前提下節(jié)省了近一半的比特率[1].HEVC的發(fā)展推動(dòng)了3D視頻技術(shù)的發(fā)展,JCT-3V工作組于2012年成立,著手開展3D視頻編碼標(biāo)準(zhǔn)的研究.3D-HEVC的提出旨在HEVC基礎(chǔ)上改進(jìn)編碼技術(shù),以高效壓縮多視點(diǎn)視頻加深度(multi-view video plus depth,MVD)數(shù)據(jù),提高了3D視頻編解碼的效率.與HEVC相比,3D-HEVC增加了視點(diǎn)的數(shù)量和對(duì)應(yīng)的深度圖,側(cè)重利用視點(diǎn)間相關(guān)性來(lái)提高3D視頻編碼效率.但是,由于增加了新的視點(diǎn)和新的編碼工具,相較于2D視頻,3D視頻的編碼復(fù)雜度急劇增大,難以滿足實(shí)時(shí)性需求.

近些年,基于人眼感知的視頻編碼越來(lái)越受到重視.人類視覺系統(tǒng)(human visual system,HVS)對(duì)視頻場(chǎng)景及圖像的感知具有選擇性,對(duì)不同區(qū)域或不同對(duì)象都具有不同的感知能力.為了提高HEVC的編碼效率,國(guó)內(nèi)外學(xué)者已經(jīng)提出了一些HEVC的改進(jìn)算法.Shen等[2]根據(jù)編碼塊之間的緊密關(guān)系減少了編碼單元(coding unit,CU)的劃分深度；Lin等[3]根據(jù)深度距離將視頻內(nèi)容劃分了3個(gè)區(qū)間,提出了快速模式選擇算法；Sanchez等[4]針對(duì)3D-HEVC提出了一種基于梯度的低復(fù)雜度幀內(nèi)模式選擇算法；Lee等[5]根據(jù)相鄰幀的相關(guān)性進(jìn)行編碼塊的自適應(yīng)深度劃分,并對(duì)編碼塊計(jì)算運(yùn)動(dòng)活躍度來(lái)分配編碼模式；馬然等[6]提出了針對(duì)3D-HEVC幀間模式的低復(fù)雜度算法,但是該算法只作用于紋理視頻上,沒有考慮人眼視覺特性及深度視頻對(duì)整體編碼結(jié)果的影響.3D視頻龐大的數(shù)據(jù)中存在著大量的視覺冗余,上述傳統(tǒng)的編碼算法幾乎都是著重從減少信息冗余來(lái)提高率失真性能,而忽視了HVS感知多樣性對(duì)視頻編碼的影響.Li等[7]和Xu等[8]創(chuàng)新地利用顯著性信息指導(dǎo)編碼,雖然節(jié)省了編碼所用比特率,但是并沒有考慮顯著性信息對(duì)深度序列的影響,也沒有討論繪制生成的虛擬視點(diǎn)的主觀質(zhì)量；Noor等[9]在深度序列中運(yùn)用顯著性提取處理,但是虛擬視點(diǎn)的客觀質(zhì)量跟原始平臺(tái)質(zhì)量有較大差異；Yu等[10]提出了一種基于顯著性信息的3D-HEVC編碼方法,由于沒有考慮深度圖對(duì)顯著性信息的影響,僅利用2維顯著性模型獲取相關(guān)信息,因此并不能更好地貼近人眼視覺特性；另外由于沒有對(duì)視點(diǎn)合成預(yù)測(cè)算法進(jìn)行改進(jìn),導(dǎo)致繪制生成的新視點(diǎn)的質(zhì)量有所欠缺.

本工作在此基礎(chǔ)上作進(jìn)一步改進(jìn),重新建立3D顯著性信息提取模型,并對(duì)分區(qū)域編碼模式和視點(diǎn)合成預(yù)測(cè)算法進(jìn)行了改進(jìn).

1 人眼視覺特性與顯著性信息

視覺是人類認(rèn)知一切事物的重要方式.對(duì)于3D視頻,人類一直致力于追求一種逼真自然且身臨其境的視覺感受.了解人類的視覺感知原理,對(duì)于發(fā)展圖像、視頻的編碼理論與方法有著重要的意義.

1.1 人類視覺感知系統(tǒng)

HVS是人類獲取外部信息的主要手段之一,能夠感知自然場(chǎng)景中存在的亮度、顏色、紋理、方向、運(yùn)動(dòng)、空間頻率等初級(jí)視覺信息[11].人眼通常對(duì)運(yùn)動(dòng)劇烈的對(duì)象或者紋理豐富的區(qū)域具有更高的感知靈敏度,并認(rèn)為這些區(qū)域?yàn)楦信d趣區(qū)域,即顯著性區(qū)域[12-14].事實(shí)上,由于人眼具有掩蔽效應(yīng),故對(duì)于引入有損量化的失真編碼有不同的感知,因此利用人眼的感知特征改善視頻編碼算法,在保證觀看質(zhì)量的前提下,有效提高視頻編碼的效率是非常重要的.已經(jīng)有很多學(xué)者在顯著物體提取、視覺感知及低復(fù)雜度編碼等領(lǐng)域做了大量的工作.1890年,James首次提出了人類視覺注意的理論[15].視覺注意具有2種不同的工作方式：一種是自底向上(bottom-up)的處理過程,屬于低級(jí)視覺研究范圍,這也是顯著性的核心模型；而另外一種是自上而下(top-down)的處理過程,主要涉及高級(jí)視覺研究范圍.視覺注意模型(computational model of visual attention)是利用計(jì)算機(jī)來(lái)模擬人類視覺系統(tǒng)的模型[16].Itti等[17]對(duì)視覺注意中的選擇和轉(zhuǎn)移工作機(jī)制進(jìn)行了開創(chuàng)性的研究,提出了可計(jì)算視覺注意模型的框架(見圖1).該模型首先對(duì)輸入圖像進(jìn)行初級(jí)視覺特征提??；然后,通過并行方式來(lái)構(gòu)建出多種視覺信息的特征圖；最后,采用特征融合的方式計(jì)算出顯著性圖(saliency map),以此來(lái)表示圖像中每個(gè)位置的視覺顯著性.以圖1的視覺注意力模型為基礎(chǔ),本工作建立了3D顯著性提取模型.

圖1 視覺注意力模型Fig.1 Visual attention model

1.2 3D顯著性信息的獲取

顯著性區(qū)域代表人眼注視一個(gè)場(chǎng)景時(shí)最有可能關(guān)注的區(qū)域.這里沒有用著名的GBVS[18]算法,而是用SDSP(saliency detection method by combining simple priors)[19]來(lái)獲得2D顯著圖,因其提取的顯著性信息有更好的顯著性預(yù)測(cè)性能,能跟人的評(píng)價(jià)高度相關(guān),并且相較于本工作未使用的基于圖像的視覺顯著性(graph based visual saliency,GBVS)算法其計(jì)算復(fù)雜度更低.SDSP是通過結(jié)合3個(gè)簡(jiǎn)單先驗(yàn)信息獲取圖像的顯著性,包括頻率、顏色和位置.對(duì)于頻率先驗(yàn),該算法認(rèn)為人眼視覺特性檢測(cè)顯著區(qū)域可以用帶通濾波器來(lái)模擬；對(duì)于顏色先驗(yàn),人們對(duì)暖色相較于冷色更感興趣；對(duì)于位置先驗(yàn),圖像的中間區(qū)域更引人注意.圖2為不同原始圖像的顯著性圖,其中第一行是原始圖像,第二行和第三行分別是通過SDSP和GBVS算法獲得的顯著圖,可以看到通過SDSP算法提取的顯著性圖效果優(yōu)于GBVS算法的顯著性圖.

然而,SDSP算法在提取顯著性信息的時(shí)候并沒有考慮人眼的深度感知對(duì)提取結(jié)果的影響.在3D-HEVC編碼標(biāo)準(zhǔn)中,深度視頻對(duì)整體的編碼和繪制結(jié)果都有著不可忽視的影響.因此,在目前2D顯著性提取模型的基礎(chǔ)上,增加視頻圖像的深度信息具有非常重要的意義.建立3D顯著性提取模型的步驟如下.

(1)將原始深度序列的深度圖D進(jìn)行歸一化處理,得到深度權(quán)重ω.由于深度像素值為0～255,數(shù)值的大小代表對(duì)象離攝像機(jī)的遠(yuǎn)近,數(shù)值越大表示離攝像機(jī)距離越近,因此

圖2 不同原始圖像的顯著性圖Fig.2 Saliency maps of different original images

(2)利用SDSP算法獲得紋理視頻的顯著圖SC,并將紋理顯著圖與深度權(quán)重相乘,得到3D顯著圖SDC,即SDC=ωSC.

這樣通過改進(jìn)的SDSP算法獲得的3D顯著圖SDC,在2D紋理顯著圖的基礎(chǔ)上增加了深度信息,更加符合人眼視覺注意力機(jī)制,達(dá)到了越接近中間的對(duì)象其顯著度越高的目的.

23 D-HEVC編碼

2.1 3D-HEVC編碼框架

3D-HEVC的編碼結(jié)構(gòu)是對(duì)HEVC的擴(kuò)展,每個(gè)視點(diǎn)的紋理及深度圖編碼的主框架仍采用HEVC的編碼框架,但在其基礎(chǔ)上增加了一些新的編碼技術(shù),使其更有利于深度圖和多視點(diǎn)的編碼(見圖3).圖中的紋理圖和深度圖是攝像機(jī)在同一時(shí)刻從不同位置拍攝的圖像,這些圖像放在一個(gè)存取層中.當(dāng)開始編碼時(shí),編碼器會(huì)先從一個(gè)存取層中的獨(dú)立視點(diǎn)(圖3中視點(diǎn)0)的紋理圖開始編碼,然后編碼該視點(diǎn)的深度圖,最后再編碼其他視點(diǎn)(視點(diǎn)1～N)的紋理圖和深度圖.雖然從技術(shù)實(shí)現(xiàn)上來(lái)看,每個(gè)視點(diǎn)的紋理圖和深度圖都能用原始的HEVC編碼框架,但是這樣并不能充分適應(yīng)3D視頻的特點(diǎn).因此,編碼器利用沒有改進(jìn)的HEVC編碼框架來(lái)編碼獨(dú)立視點(diǎn),由于獨(dú)立視點(diǎn)不依賴于其他視點(diǎn),故可以提取出其相應(yīng)的比特流來(lái)形成2D比特流,經(jīng)解碼可以形成2D視頻,通過這種方式兼容了2維視頻的編解碼.對(duì)于其他非獨(dú)立視點(diǎn),其紋理圖和深度圖采用改進(jìn)后的HEVC編碼框架進(jìn)行編碼,這樣可以進(jìn)一步提高3D視頻的編碼效率.

圖3中,3D-HEVC在編碼視點(diǎn)0時(shí),使用的是非擴(kuò)展的HEVC編碼器；而在編碼視點(diǎn)1到視點(diǎn)N時(shí),一方面使用了編碼視點(diǎn)0時(shí)的編碼技術(shù),另一方面還采用了HEVC關(guān)于多視點(diǎn)擴(kuò)展的編碼技術(shù),使其能夠適應(yīng)多視點(diǎn)視頻加深度的編碼.

2.2 顯著性信息在編碼中的應(yīng)用

在HEVC中,每一幀被分成若干個(gè)CU,對(duì)于每個(gè)利用HEVC框架的視點(diǎn)圖像,輸入的顯著性信息可以用于決定當(dāng)前編碼塊的量化參數(shù)(quantization parameter,QP)和模式選擇.QP的大小,不僅影響編碼所用的碼率,而且還會(huì)影響編碼塊的尺寸.如果增大量化步長(zhǎng)比特率就會(huì)下降,圖像的失真也增大了.在編碼過程中,對(duì)平坦區(qū)域(如背景區(qū)域),分配更大的QP且采用大尺寸塊進(jìn)行編碼,可以減少運(yùn)動(dòng)矢量、參考幀索引和比特?cái)?shù)；對(duì)復(fù)雜區(qū)域(比如人眼關(guān)注的顯著性區(qū)域),往往分配的QP更小,同時(shí)采用小尺寸塊進(jìn)行編碼,就會(huì)提高視頻編碼的效果.

圖3 3D-HEVC編碼結(jié)構(gòu)Fig.3 Coding structure of 3D-HEVC

2.2.1 基于顯著性信息的區(qū)域劃分

傳統(tǒng)的編碼方式并沒有考慮人眼的視覺特性來(lái)對(duì)圖像進(jìn)行分區(qū)域編碼,而是給不同的CU選擇相同的QP,這樣不同的區(qū)域就具有相同的編碼質(zhì)量.實(shí)際上,人眼往往不能兼顧所有區(qū)域,只能注意一個(gè)場(chǎng)景中的某些區(qū)域,而人眼特別關(guān)注的這些區(qū)域就是顯著性區(qū)域.因此,可以通過調(diào)整顯著區(qū)域CU的QP來(lái)提高編碼的感知質(zhì)量.將3D顯著性信息運(yùn)用到3D-HEVC編碼平臺(tái)中的步驟如下.

(1)對(duì)通過3D顯著性提取模型獲得的3D顯著圖SDC進(jìn)行二值化處理得到Sb,即

式中,T為通過Ostu法[20]求得的自適應(yīng)閾值,通過調(diào)用Graythresh函數(shù)可以根據(jù)視頻內(nèi)容和不同的背景,自動(dòng)調(diào)整T值,從而得到最優(yōu)的二值劃分結(jié)果.對(duì)于給定的圖像,設(shè)其前景像素個(gè)數(shù)為α,且前景加權(quán)平均值為μ0,背景像素個(gè)數(shù)為β,背景加權(quán)平均值為μ1,則此時(shí)整幅圖像的均值為

建立目標(biāo)函數(shù)g(t),即有

其中,當(dāng)g(t)為最大時(shí),其對(duì)應(yīng)的t即為最佳閾值T.這樣,二值化之后的顯著性圖Sb擁有更加清晰分明的輪廓,圖像中像素值為1的高亮處即為人眼的感興趣區(qū)域,像素為0的高亮處即為背景區(qū)域.

(2)計(jì)算當(dāng)前編碼塊的平均顯著度,即

式中：ST為當(dāng)前編碼塊中二值化顯著圖的像素值總和；H,W分別表示當(dāng)前編碼塊的高度和寬度；SAve為當(dāng)前編碼塊的平均顯著度.

(3)通過計(jì)算當(dāng)前塊的平均顯著度,即可對(duì)當(dāng)前塊進(jìn)行區(qū)域劃分：

對(duì)于中間區(qū)域,又可以分為2種情況：

根據(jù)平均顯著度,將視頻中的編碼塊分成了4種不同類型的區(qū)域；然后進(jìn)行分區(qū)域編碼,使人眼關(guān)注的顯著性區(qū)域的質(zhì)量更精細(xì),從而更符合人眼視覺特性.

2.2.2 基于顯著性信息的編碼策略

已有的編碼研究顯示[21],自然序列中skip模式是占比最大的預(yù)測(cè)模式,平均可達(dá)80%.在傳統(tǒng)編碼平臺(tái)中,編碼塊需要遍歷所有幀間、幀內(nèi)預(yù)測(cè)模式,最終通過比較率失真性能確定最佳預(yù)測(cè)模式,這種全遍歷的方法計(jì)算復(fù)雜度較高.因此利用當(dāng)前編碼塊與鄰近塊時(shí)間和空間上的相關(guān)性,對(duì)3D-HEVC編碼進(jìn)行提前終止skip模式和分區(qū)域劃分預(yù)測(cè)模式的處理尤為重要.Shen等[22]分析了空間鄰近塊與當(dāng)前塊的相關(guān)性(見圖4),給出了當(dāng)前CU和其空間、時(shí)間上鄰近塊的示意圖,其中參考?jí)K0既可以是相同視點(diǎn)內(nèi)前一幀對(duì)應(yīng)位置塊,也可以是相鄰視點(diǎn)同一時(shí)刻對(duì)應(yīng)塊.依據(jù)編碼標(biāo)準(zhǔn)的參考幀設(shè)置策略,選取參考幀列表中首選位置的參考幀.

圖4參考CU示意圖Fig.4 Temporal and spatial correlations of CUs

圖4 中,如果當(dāng)前編碼塊處于非顯著性區(qū)域時(shí),0～4這5個(gè)鄰塊中有3個(gè)或3個(gè)以上選擇skip作為最佳模式,即認(rèn)定當(dāng)前塊的最佳預(yù)測(cè)模式為skip,否則選擇skip和Inter 2N×2N作為幀間候選模式；當(dāng)前編碼塊處于顯著性區(qū)域時(shí),如果5個(gè)鄰塊全部選擇skip模式,則將當(dāng)前塊選擇skip設(shè)為最佳預(yù)測(cè)模式,否則對(duì)當(dāng)前塊遍歷所有的幀間模式；當(dāng)前編碼塊處于中間區(qū)域,有4個(gè)或4個(gè)以上鄰塊選擇skip時(shí),則認(rèn)定當(dāng)前塊最佳模式為skip,否則遍歷所有幀間預(yù)測(cè)模式.

現(xiàn)存的多視點(diǎn)視頻編碼方法主要是在數(shù)字信號(hào)處理理論和香農(nóng)信息論的基礎(chǔ)上,通過減少時(shí)間和視點(diǎn)間的冗余來(lái)提高率失真性能,但是忽略了HVS對(duì)視頻場(chǎng)景感知的多樣性.基于顯著性信息的多視點(diǎn)視頻編碼方法可以根據(jù)視頻內(nèi)容的不同有效改善比特的分布,且能在不影響視頻主觀質(zhì)量的前提下提高編碼效率.本工作對(duì)不同區(qū)域塊分配不同的量化參數(shù)QP,基于顯著性信息,顯著區(qū)域分配較小的QP,非顯著區(qū)域分配較大的QP：

式中,QP0是指平臺(tái)中最初的量化參數(shù).以此,通過調(diào)整顯著區(qū)域CU的QP來(lái)提高編碼的感知質(zhì)量.

2.3 3D-HEVC視點(diǎn)合成預(yù)測(cè)的改進(jìn)

為了進(jìn)一步提高3D視頻編碼性能,視點(diǎn)合成預(yù)測(cè)(view synthesis prediction,VSP)已經(jīng)被加入到3D-HEVC編碼框架中,即利用深度信息對(duì)紋理進(jìn)行更好的預(yù)測(cè)編碼.VSP是一種視點(diǎn)間預(yù)測(cè)編碼方法,其算法思想是在參考視點(diǎn)中,利用深度信息合成為當(dāng)前編碼塊得到一個(gè)預(yù)測(cè)塊.VSP分為前向視點(diǎn)合成預(yù)測(cè)(forward VSP,FVSP)和后向視點(diǎn)合成預(yù)測(cè)(backward VSP,BVSP),其中FVSP適用于先編碼紋理后編碼深度的模式,利用參考視點(diǎn)的深度圖,將參考圖像中所有的像素點(diǎn)合成到虛擬圖像中；BVSP適用于先編碼深度后編碼紋理的模式,利用當(dāng)前視點(diǎn)的深度圖,在參考圖像中找到當(dāng)前編碼塊中的對(duì)應(yīng)像素點(diǎn),得到當(dāng)前塊的預(yù)測(cè)塊.

由于FVSP的解碼復(fù)雜度很高,故3D-HEVC采用的是改進(jìn)型的BVSP.當(dāng)前編碼塊參考的紋理是不同視點(diǎn)間已編碼圖像,參考的深度是已編碼圖像對(duì)應(yīng)的深度圖,其目的是為當(dāng)前編碼的預(yù)測(cè)單元(prediction unit,PU)塊尋找一個(gè)預(yù)測(cè)塊以減少視點(diǎn)間冗余.目前HTM-15.0的平臺(tái)采用基于最大深度值的視點(diǎn)合成預(yù)測(cè)算法,該算法比較整個(gè)編碼PU塊的左上和右下、右上和左下的深度值,如果左上大于右下且右上大于左下,則將所有8×8塊分成2個(gè)8×4塊,然后比較每個(gè)8×4塊4個(gè)角的深度值,取其中的最大值作為此8×4塊的深度值；反之,則將所有8×8塊分成2個(gè)4×8塊,然后將每個(gè)8×4或者4×8小塊中的最大深度值轉(zhuǎn)化的視差進(jìn)行存儲(chǔ).由于3D-HEVC不對(duì)深度塊做去塊濾波,因此產(chǎn)生的深度圖有比較明顯的塊效應(yīng),而VSP原始算法中取子PU塊4個(gè)角深度值中的最大值,如果該子塊正好處在塊效應(yīng)的邊界上,則取的最大深度值就可能不準(zhǔn)確,從而影響編碼結(jié)果.因此,需要改進(jìn)算法來(lái)避免子塊位于塊效應(yīng)邊界的情況發(fā)生.

本工作比較整個(gè)編碼PU塊的左上和右下、右上和左下的深度值(見圖5).在原始編碼平臺(tái)中,默認(rèn)用標(biāo)志位vspSize來(lái)表示分割尺寸,當(dāng)左上深度大于右下且右上深度大于左下時(shí),vspSize為1；反之為0.如果vspSize=1,則將所有8×8塊分成2個(gè)相同的8×4塊；如果vspSize=0,則將所有8×8塊分成2個(gè)相同的4×8塊(見圖6).

為了避免邊界的塊效應(yīng),將原平臺(tái)中對(duì)比每個(gè)8×4或者4×8塊4個(gè)角(左上、右下、右上、左下)的深度值改為將原始4個(gè)角位置分別內(nèi)縮一個(gè)像素,即橫、縱坐標(biāo)分別向里平移一個(gè)像素單位,如圖7中深色方塊所示；然后,取經(jīng)過內(nèi)縮后的4個(gè)角中深度值的最大值作為此塊要存儲(chǔ)的深度值.

圖5 PU塊4個(gè)角深度值比較Fig.5 Comparison of PU's four corners depth values

圖7 最大深度內(nèi)縮一個(gè)像素Fig.7 Maximum depth inside shrink

這樣的改進(jìn)算法避免了視點(diǎn)合成預(yù)測(cè)中當(dāng)子PU塊處在塊效應(yīng)邊界上時(shí),所得最大深度值不準(zhǔn)確的情況,對(duì)選取最大深度值比較位置作了相應(yīng)的處理,能有效減小塊效應(yīng)的影響,選取的最大深度值轉(zhuǎn)化的視差向量(disparity vector,DV)信息更準(zhǔn)確,從而更好地預(yù)測(cè)當(dāng)前塊.

2.4 整體算法

為了提高3D-HEVC的編碼效率,且保證繪制合成新視點(diǎn)的質(zhì)量,本工作建立了3D顯著性提取模型,并將2.2節(jié)和2.3節(jié)中提出的算法用于原始平臺(tái)的編碼中(見圖8).

3 實(shí)驗(yàn)結(jié)果

為驗(yàn)證本算法的有效性,采用3D-HEVC編碼標(biāo)準(zhǔn)平臺(tái)HTM-15.0版本進(jìn)行測(cè)試,實(shí)驗(yàn)中使用3view+3depth配置文件,輸入左-中-右3個(gè)視點(diǎn)的紋理和對(duì)應(yīng)深度圖進(jìn)行編碼測(cè)試.實(shí)驗(yàn)中總共測(cè)試了8個(gè)視頻序列,不同序列具有不同的編碼參數(shù).表1和2分別給出了測(cè)試條件和編碼序列的參數(shù)信息.

圖8 整體算法流程圖Fig.8 Flow chart of the whole algorithm

表1 測(cè)試條件Table 1 Test conditions

本工作應(yīng)用HTM平臺(tái)中自帶的繪制工具進(jìn)行新視點(diǎn)的繪制,即利用重建的紋理和深度視頻生成新的虛擬視點(diǎn)視頻.虛擬視點(diǎn)視頻的客觀質(zhì)量可以通過編碼壓縮視頻的BD-rate和生成視點(diǎn)的峰值信噪比(peak signal to noise ratio,PSNR)進(jìn)行評(píng)估.目前,將顯著性信息運(yùn)用到3D-HEVC視頻編碼平臺(tái)中的文獻(xiàn)尚較少,而文獻(xiàn)[7]率先利用顯著性信息指導(dǎo)編碼為本工作提供了啟發(fā).因此,本工作將提出算法的BD-rate節(jié)省量跟原始平臺(tái)和文獻(xiàn)[7]的結(jié)果進(jìn)行對(duì)比,實(shí)驗(yàn)結(jié)果如表3所示.同時(shí),將不同QP下虛擬視點(diǎn)的PSNR與原始算法進(jìn)行比較,并將PSNR的增減量分別同文獻(xiàn)[7]和文獻(xiàn)[10]的結(jié)果進(jìn)行對(duì)比,結(jié)果如表4所示.

表2 編碼序列參數(shù)Table 2 Parameters of sequences

表3 整體算法BD-rate實(shí)驗(yàn)結(jié)果Table 3 BD-rate experimental results of the whole algorithm %

通過實(shí)驗(yàn)結(jié)果可以發(fā)現(xiàn),跟原始平臺(tái)相比,本算法通過融入人眼視覺特性的顯著性信息使得BD-rate最大可下降10%,平均下降8.73%；繪制生成的新視點(diǎn)PSNR與原平臺(tái)相比最多提高0.1 dB,不同QP下的平均值可高提升0.07 dB左右,一定程度上提高了3D-HEVC原始平臺(tái)的編碼效率.同時(shí),相較于文獻(xiàn)[7]的算法,從BD-rate節(jié)省率和虛擬視點(diǎn)繪制質(zhì)量2個(gè)方面來(lái)看,本算法都具有更好的性能；跟文獻(xiàn)[10]相比,本算法優(yōu)化了虛擬視點(diǎn)的合成,提高了虛擬視點(diǎn)的客觀質(zhì)量.利用平臺(tái)自帶的繪制工具所產(chǎn)生的虛擬視點(diǎn)圖像如圖9所示,與原始序列繪制出的虛擬視點(diǎn)相比并沒有肉眼可見的差異,本算法在一些圖像的細(xì)節(jié)上的處理結(jié)果亦更優(yōu)于文獻(xiàn)[7]和文獻(xiàn)[10]的算法結(jié)果.

表4 整體算法虛擬視點(diǎn)PSNR實(shí)驗(yàn)結(jié)果Table 4 Virtual view's PSNR experimental results of the whole algorithm

圖9 虛擬視點(diǎn)主觀質(zhì)量比較Fig.9 Comparisons of the subjective qualities of the virtual view

4 結(jié)束語(yǔ)

本工作在HEVC編碼中融入人眼視覺特性,提出了一種基于3D顯著性信息和視點(diǎn)合成預(yù)測(cè)的3D-HEVC編碼算法.本算法一方面根據(jù)編碼塊的時(shí)間和空間相關(guān)性對(duì)當(dāng)前塊進(jìn)行提前終止SKIP操作；另一方面基于人眼視覺的顯著性信息,對(duì)編碼塊進(jìn)行分區(qū)域的模式選擇和編碼,同時(shí)改進(jìn)原始的視點(diǎn)合成預(yù)測(cè)算法以提高虛擬視點(diǎn)的質(zhì)量.本算法在一定程度上提高了3D-HEVC的編碼效率,適用于多視點(diǎn)視頻加深度的編碼平臺(tái),并能提高編碼效率和繪制質(zhì)量.