一種深度圖失真引入的虛擬視失真估計(jì)方法

李春華, 安 平, 張兆揚(yáng)

(1.上海大學(xué)通信與信息工程學(xué)院,上海 200444; 2.河北科技大學(xué)信息科學(xué)與工程學(xué)院,石家莊 050018; 3.上海大學(xué)新型顯示技術(shù)及應(yīng)用集成教育部重點(diǎn)實(shí)驗(yàn)室,上海 200072)

一種深度圖失真引入的虛擬視失真估計(jì)方法

李春華1,2, 安 平1,3, 張兆揚(yáng)1,3

(1.上海大學(xué)通信與信息工程學(xué)院,上海 200444; 2.河北科技大學(xué)信息科學(xué)與工程學(xué)院,石家莊 050018; 3.上海大學(xué)新型顯示技術(shù)及應(yīng)用集成教育部重點(diǎn)實(shí)驗(yàn)室,上海 200072)

提出了一種深度圖失真引入的虛擬視失真估計(jì)方法.該方法依據(jù)能量一致性假設(shè)要求,將深度圖宏塊劃分為平坦宏塊和非平坦宏塊.平坦宏塊使用頻域塊級(jí)方法,非平坦宏塊使用時(shí)域像素級(jí)方法估計(jì)由深度圖失真造成的繪制視失真.虛擬視失真采用左右繪制視融合計(jì)算,并計(jì)入虛擬視中空洞修復(fù)引入的失真.該方法在宏塊分類判據(jù)中綜合了相機(jī)參數(shù),對(duì)于不同拍攝條件下的視頻序列可以使用相同的判別閾值獲得最佳區(qū)域劃分,通用性較強(qiáng).實(shí)驗(yàn)結(jié)果證明,該方法兼顧了估計(jì)準(zhǔn)確性和復(fù)雜度,對(duì)于在有限碼率預(yù)算條件下提高深度視頻編碼效率、優(yōu)化三維視頻碼率分配具有重要的指導(dǎo)意義.

三維視頻;自由視點(diǎn)電視;失真估計(jì);虛擬視失真;深度圖失真

三維立體電視(3DTV)在傳統(tǒng)二維視頻的基礎(chǔ)上增加了第三維信息——深度,使觀眾猶如身臨其境,感受到強(qiáng)大的3D視覺震撼力.自由視點(diǎn)電視(freeview TV,FTV)采用自由立體顯示技術(shù),支持視點(diǎn)隨觀看位置自適應(yīng)變化的功能,由此產(chǎn)生的3D視感更加逼真.FTV作為下一代視頻技術(shù)的發(fā)展方向,得到了學(xué)術(shù)界和工業(yè)界越來越廣泛的關(guān)注[1-2].

FTV應(yīng)用多視視頻(multiview video,MVV)實(shí)現(xiàn)自由視點(diǎn)功能.它支持的視點(diǎn)數(shù)目越多,視點(diǎn)間的切換就越平滑,視覺舒適度就越好.但隨著視點(diǎn)數(shù)目的增加,多視視頻數(shù)據(jù)量急劇上升,對(duì)現(xiàn)有的傳輸和存儲(chǔ)設(shè)施構(gòu)成了巨大壓力.MVV通常采用“多視+深度(multiview video plus depth,MVD)”格式表示,以減小傳輸和存儲(chǔ)數(shù)據(jù)量.這樣只需傳輸或存儲(chǔ)2～3個(gè)用作參考視的彩色視頻及其對(duì)應(yīng)的深度視頻,在接收端使用基于深度的圖像繪制技術(shù)(depth image based rendering,DIBR)[3]就可合成出其他所需要的虛擬視視頻.盡管這樣,MVD的數(shù)據(jù)量依然十分可觀,還需要使用有損壓縮技術(shù)進(jìn)一步減少數(shù)據(jù)量.目前,國(guó)際標(biāo)準(zhǔn)化組織ISO-MPEG和ITU-VCEG正在協(xié)作開展基于MVD的3DV編碼標(biāo)準(zhǔn)化研究工作,并推出了基于H.264 AVC 3D擴(kuò)展的ATM參考軟件和基于HEVC3D[4]擴(kuò)展的HTM[5]參考軟件.

在MVD壓縮過程中,彩色視頻和深度視頻中的失真共同作用會(huì)導(dǎo)致虛擬視失真的產(chǎn)生.研究表明,彩色視頻壓縮與深度視頻壓縮引起的虛擬視失真之間的相關(guān)性很弱,可以獨(dú)立分析處理[6].彩色視頻產(chǎn)生虛擬視失真的機(jī)理與2D彩色視頻失真相同,已經(jīng)非常明確,而深度視頻失真對(duì)虛擬視質(zhì)量下降的影響尚不清楚.因此,為了減輕觀看3DV的不舒適,提高3DV視覺體驗(yàn)質(zhì)量(quality of experience,QoE),準(zhǔn)確估計(jì)深度失真對(duì)繪制失真的影響已成為實(shí)現(xiàn)3DV高效編碼、合理進(jìn)行碼率分配的關(guān)鍵.

不同于彩色視頻的用途,深度視頻只用于合成虛擬視視頻,自身并不需要顯示出來.深度失真不為人眼視見,只是間接引起合成視失真.因此,提高解碼深度視頻合成的虛擬視質(zhì)量,比單純改善深度視頻重建質(zhì)量更有意義.文獻(xiàn)[7]提出用深度失真產(chǎn)生的繪制失真替代傳統(tǒng)的率失真準(zhǔn)則中的解碼失真,構(gòu)建了視合成優(yōu)化(view synthesized optimization,VSO)準(zhǔn)則進(jìn)行編碼模式?jīng)Q策,面向虛擬視質(zhì)量提高深度視頻編碼效率.文獻(xiàn)[8]通過實(shí)驗(yàn)展示了深度圖失真引起的虛擬視失真隨基線距離的變化.文獻(xiàn)[9]推導(dǎo)出了深度圖失真與虛擬視中視差誤差之間的關(guān)系.文獻(xiàn)[6,10]在能量一致性假設(shè)要求下,借鑒運(yùn)動(dòng)預(yù)測(cè)失真估計(jì)方法[15],分別建立了深度圖失真-虛擬視失真頻域幀級(jí)和塊級(jí)模型.所謂能量一致性假設(shè)就是假定各像素視差及視差誤差相同,在3D變換中,參考圖像整體平移到虛擬視圖像.文獻(xiàn)[11-12]則從時(shí)域角度入手,假設(shè)彩色圖像與其在虛擬視中的映射圖像相似,提出了時(shí)域深度圖失真-繪制視失真估計(jì)方法.這些深度失真-虛擬視失真估計(jì)模型[6,8-12]都忽略了3D變換中的遮擋和顯露現(xiàn)象,整體估計(jì)深度失真引起的虛擬視失真,雖然計(jì)算速度快,但是在遮擋區(qū)域,尤其是深度圖邊緣區(qū)域,遮擋和顯露導(dǎo)致的估計(jì)誤差明顯增大,容易造成編碼模式選擇錯(cuò)誤,使編碼效率和碼率分配性能下降.Oh等[13-14]在像素級(jí)上建立了兩個(gè)深度圖失真-虛擬視失真模型,其中第2種方法考慮了3D變換中出現(xiàn)的遮擋現(xiàn)象,在3DV編碼和碼率分配中取得了較好的效果.但是,該方法沒有考慮深度圖包含大片平坦區(qū)域的特性,需要對(duì)所有像素判斷遮擋是否發(fā)生,計(jì)算負(fù)擔(dān)過重.

針對(duì)深度失真-虛擬視失真估計(jì)模型中所存在的估計(jì)準(zhǔn)確性和計(jì)算復(fù)雜性這對(duì)矛盾,本研究提出了一種由深度圖失真引入虛擬視失真的估計(jì)方法,在分析深度圖統(tǒng)計(jì)特性的基礎(chǔ)上,依據(jù)是否滿足能量一致性假設(shè)要求,將深度圖宏塊分為平坦宏塊和非平坦宏塊.平坦宏塊采用頻域塊級(jí)估計(jì)方法整塊處理,快速準(zhǔn)確地估計(jì)深度失真引起的虛擬視失真;非平坦宏塊以復(fù)雜度換取估計(jì)準(zhǔn)確性,逐像素點(diǎn)檢測(cè)遮擋關(guān)系估計(jì)虛擬視失真.本方法綜合了頻域塊級(jí)估計(jì)方法和像素級(jí)分析方法的優(yōu)勢(shì),利用深度圖統(tǒng)計(jì)特性,平衡了虛擬視失真估計(jì)的準(zhǔn)確性和算法實(shí)現(xiàn)的復(fù)雜度.實(shí)驗(yàn)結(jié)果顯示,本方法的估計(jì)準(zhǔn)確性和算法復(fù)雜度都優(yōu)于文獻(xiàn)[10]方法;估計(jì)準(zhǔn)確性與文獻(xiàn)[13]方法接近,并且算法復(fù)雜度有所降低.

1 深度失真-虛擬視失真機(jī)理分析

1.1 深度與視差

圖1給出了深度與視差關(guān)系示意圖,其中x為橫向坐標(biāo)軸,z為縱向坐標(biāo)軸,表示攝像機(jī)與物點(diǎn)P(x,y,z)的距離(圖中未畫出垂直坐標(biāo)軸y);Cl,Cr分別為左、右攝像機(jī)的光學(xué)中心,其連線為基線B;f為攝像機(jī)的焦距;Ll和Lr分別表示左、右成像平面;Ol和Or分別為左、右視圖像中心;Pl和Pr分別為物點(diǎn)P(x,y,z)在左、右平面的成像點(diǎn).空間像素點(diǎn)在不同視圖像中投影的像素點(diǎn)位置不同,其差值稱為視差.

圖1 深度與視差Fig.1 Relationship of depth and disparity

在平行攝像機(jī)陣列經(jīng)過校正處理的多視視頻中,消除了垂直視差,只存在均勻分布的水平視差.水平視差可表示[1]為

假定zn和zf分別為攝像場(chǎng)景中最近和最遠(yuǎn)的深度值,3D空間深度值z(mì)量化后得到的深度圖中的像素值L為

1.2 深度圖失真與視差誤差

圖2給出了深度失真與視差誤差的關(guān)系示意圖.在深度無(wú)失真的情況下,參考視中的像素點(diǎn)mA在深度z的控制下,先反投影到世界坐標(biāo)系中的物點(diǎn)P,再投影到虛擬視圖像中的點(diǎn)mB.若幾個(gè)像素映射到虛擬視相同的像素位置,則最靠近攝像機(jī)的像素會(huì)遮擋住其他像素.當(dāng)深度圖失真為ΔL時(shí),mA反投影到世界坐標(biāo)系中的物點(diǎn),致使3D空間的對(duì)應(yīng)物點(diǎn)產(chǎn)生幾何失真δz,重投影到虛擬視中的點(diǎn),引起視差誤差δd.深度圖失真與視差誤差之間的關(guān)系[9]為

可見,深度量化值失真ΔL與其在虛擬視中引入的水平視差誤差δd呈線性關(guān)系,比例因子a依賴于攝像機(jī)參數(shù)和場(chǎng)景深度范圍.相同的深度圖失真在不同拍攝條件下可能會(huì)產(chǎn)生不同的繪制失真.例如,寬基線、大焦距、近景拍攝產(chǎn)生的繪制失真較大,而窄基線、小焦距、遠(yuǎn)景拍攝產(chǎn)生的繪制失真較小.由此可見,視差誤差不僅與深度圖失真有關(guān),還受到拍攝條件的影響.

圖2 深度失真與視差誤差Fig.2 Virtual view distortion caused by depth distortion

深度圖失真引起的虛擬視圖像失真還依賴于參考視紋理圖像局部特性.如果局部區(qū)域紋理復(fù)雜,鄰近像素值差異較大,即使是很小的視差誤差,也會(huì)導(dǎo)致嚴(yán)重的虛擬視失真.如果局部區(qū)域紋理簡(jiǎn)單或平滑(均勻)、鄰近像素值相同或相似,則對(duì)視差誤差具有一定的掩蔽性[11].因此,需要結(jié)合紋理圖像的局部特性來估計(jì)深度圖失真引發(fā)的虛擬視失真.

1.3 深度圖失真引起的虛擬視失真

假定IV為用無(wú)失真參考視紋理圖像和失真深度圖合成的虛擬視圖像,為用失真參考視紋理圖像和無(wú)失真深度圖合成的虛擬視圖像,為用無(wú)失真參考視紋理圖像和無(wú)失真深度圖合成的虛擬視圖像,則虛擬視圖像失真[9]為

通過DIBR將參考視的紋理視頻與對(duì)應(yīng)深度圖視頻合成虛擬視視頻,其中包括3D變換和空洞填充兩個(gè)步驟.在3D變換過程中,一些在參考視圖像中被遮擋的像素點(diǎn),在繪制視圖像中顯露出來,形成空洞.為了填補(bǔ)顯露區(qū)域中的空洞,虛擬視圖像IV(u,v)通常由左右兩路參考視圖像繪制生成的圖像Il(u,v)和Ir(u,v)融合而成,其融合方式為

式中,

其中Tl,Tr,TV分別為左、右參考視及虛擬視攝像機(jī)平移參數(shù).

由于深度圖的不連續(xù)性,融合生成的虛擬視圖像中仍存在少量的小空洞像素點(diǎn).在空洞填充過程中,使用圖像修復(fù)技術(shù)來填補(bǔ)這些小空洞,同時(shí)也會(huì)在虛擬視中引入失真.

綜上,虛擬視失真為非顯露區(qū)域失真D1和顯露區(qū)域失真D0之和,即

式中,

其中Dl和Dr分別為深度失真在左右繪制視中產(chǎn)生的失真.

2 深度圖失真-虛擬視失真估計(jì)方法

由于不滿足能量一致性假設(shè)要求,頻域塊級(jí)方法雖然計(jì)算速度快,但是在遮擋區(qū)域的估計(jì)準(zhǔn)確性明顯下降.像素級(jí)估計(jì)方法充分考慮了深度圖中每個(gè)像素點(diǎn)的深度值及其遮擋關(guān)系,提高了估計(jì)準(zhǔn)確性,但是加大了計(jì)算負(fù)擔(dān).為了綜合利用頻域塊級(jí)方法低復(fù)雜度和像素級(jí)估計(jì)方法高準(zhǔn)確度的優(yōu)點(diǎn),本研究提出了一種深度圖失真-虛擬視失真估計(jì)方法,其框架如圖3所示.

為了便于深度圖編碼和3DV碼率分配使用,本方法首先將深度圖劃分為與編碼宏塊大小一致的圖像塊,然后根據(jù)是否滿足能量一致性假設(shè)要求,將深度圖像塊分為平坦宏塊和非平坦宏塊.平坦宏塊使用頻域方法能既快又準(zhǔn)地估計(jì)深度失真引起的繪制視失真;非平坦宏塊使用像素級(jí)估計(jì)方法,以計(jì)算復(fù)雜度換取估計(jì)準(zhǔn)確性.繪制視失真為各宏塊失真的總和.在計(jì)算左右繪制視失真的基礎(chǔ)上,利用式(9)計(jì)算合成的虛擬視失真.綜合修復(fù)虛擬視失真殘留小空洞引入的失真,可得到由深度圖失真引起的虛擬視失真.

2.1 深度圖宏塊分類

如圖4所示,深度圖由銳邊緣組成的大片勻質(zhì)區(qū)域組成.勻質(zhì)區(qū)域深度值相似,在3D變換中將參考圖像平移到虛擬視中,能夠很好地滿足能量一致性假設(shè)要求.邊緣區(qū)域深度值差異明顯,在3D映射中形成遮擋和顯露,與能量一致性假設(shè)要求相背離.由此可見,有大量勻質(zhì)區(qū)域的深度圖宏塊適合使用頻域方法估計(jì)繪制視失真,而有少量邊緣區(qū)域的深度圖宏塊不適合使用頻域方法.因此,需要以是否滿足能量一致性假設(shè)要求為條件對(duì)深度圖宏塊進(jìn)行分類,根據(jù)各自特點(diǎn)使用不同方法估計(jì)深度失真造成的繪制視失真.

圖3 本方法框架Fig.3 Frame of the proposed algorithm

圖4 紋理圖與深度圖Fig.4 Textimage and the depth map

根據(jù)前述的深度與視差的關(guān)系和深度失真通過視差誤差引起虛擬視失真的機(jī)理可以看出,視差除了與深度有關(guān),還與比例因子a有關(guān).a由攝像機(jī)參數(shù)與場(chǎng)景布局決定.a值較小的序列,其深度閾值相對(duì)較大,否則將導(dǎo)致區(qū)域過度劃分,增加算法復(fù)雜度.相反,a值較大的序列,其深度閾值較小,否則會(huì)產(chǎn)生區(qū)域欠劃分問題,影響估計(jì)準(zhǔn)確性.因此,本研究從視差角度提出了辨識(shí)是否滿足能量一致性假設(shè)要求的判據(jù),綜合考慮了拍攝場(chǎng)景和深度對(duì)區(qū)域劃分的影響.對(duì)于不同的攝像機(jī)參數(shù)和場(chǎng)景布局,閾值保持不變;而深度閾值與比例因子a成反比,隱含進(jìn)行了自適應(yīng)調(diào)節(jié),有效避免了過度劃分和欠劃分的問題.

為了滿足能量一致性假設(shè)要求,確保虛擬視圖像中不出現(xiàn)遮擋和顯露,圖像塊的視差應(yīng)該具有一致性.在3D變換過程中,因此,視差值可能會(huì)是小數(shù),而虛擬視像素坐標(biāo)為整數(shù),視差值通常采取四舍五入的方法歸并到整數(shù)柵格上.為保證平坦宏塊中大部分像素視差具有一致性,本方法要求其視差方差小于0.5,即

值得注意的是,能量一致性假設(shè)還意味著深度圖失真在3D映射中不會(huì)引起新的遮擋.由式(3)可知,任意像素點(diǎn)的深度圖失真ΔL(u,v)在繪制視中形成的視差誤差δd(u,v)與攝像機(jī)參數(shù)和拍攝場(chǎng)景布局密切相關(guān).由于3DV拍攝條件各不相同,相同的深度圖失真在窄基線情形下不會(huì)引起遮擋,但在寬基線情形下就可能形成遮擋,因此,平坦宏塊還要求深度圖失真引起的視差誤差滿足如下的一致性條件:

只有同時(shí)滿足式(10)和(11)這兩個(gè)條件,才能保證應(yīng)用能量譜方法估計(jì)深度圖失真引起的虛擬視失真的估計(jì)性能.否則,隨著能量不一致程度的增加,估計(jì)誤差將越來越大.

2.2 平坦宏塊的深度圖失真-繪制視失真估計(jì)

平坦宏塊滿足能量一致性假設(shè)要求,采用圖像能量譜的方法能夠既快又準(zhǔn)地估計(jì)深度圖失真經(jīng)視差誤差引入的繪制視失真.假設(shè)第k個(gè)深度圖宏塊為平坦宏塊,其平均視差誤差為則其引起的虛擬視失真為

式中,ψk為對(duì)應(yīng)紋理圖像宏塊的能量密度參數(shù),計(jì)算方法為

其中Sx(ω1,ω2)為對(duì)應(yīng)紋理圖像宏塊的能量譜密度函數(shù).

2.3 非平坦宏塊的深度圖失真-繪制視失真估計(jì)

非平坦宏塊在繪制過程中會(huì)出現(xiàn)遮擋和顯露問題.為了準(zhǔn)確估計(jì)深度圖失真引入的虛擬視失真,本方法逐像素判別遮擋關(guān)系,估計(jì)深度圖失真引起的虛擬視失真[13].左視繪制中間視時(shí),當(dāng)前像素會(huì)被右側(cè)像素遮擋,而右視繪制中間視時(shí)會(huì)被左側(cè)像素遮擋.因此,對(duì)于左視和右視而言,判別遮擋關(guān)系時(shí)需要按不同方向進(jìn)行.本研究以右視為例進(jìn)行說明,左視與之相似.

圖5 遮擋示意圖Fig.5 Occlusion phenomenon in DIBR

如圖5所示,當(dāng)前像素點(diǎn)在虛擬視中的繪制像素可能被其左側(cè)像素對(duì)應(yīng)的繪制像素遮擋.為敘述方便,將其分別簡(jiǎn)稱為當(dāng)前繪制像素和左側(cè)繪制像素.如果某一左側(cè)繪制像素的水平位置落到當(dāng)前繪制像素的右側(cè),則當(dāng)前像素被遮擋,否則未被遮擋.因?yàn)檎趽跸袼夭辉诶L制視中出現(xiàn),在估計(jì)繪制視失真時(shí)不予考慮.

圖6 像素級(jí)深度圖失真估計(jì)繪制失真的簡(jiǎn)化計(jì)算Fig.6 Simplied pixel-wise virtual view distortion calculation

2.4 顯露區(qū)域虛擬視失真估計(jì)

虛擬視中的顯露區(qū)域在采用融合方法填補(bǔ)大空洞后,還會(huì)殘留一些小的空洞.采用圖像修復(fù)技術(shù)填補(bǔ)小空洞時(shí)將會(huì)產(chǎn)生失真D0,其可采用概率統(tǒng)計(jì)的方法計(jì)算[17]:

式中,I(ui,vi)為空洞像素的真實(shí)值,為空洞像素的估計(jì)值,其概率分布為因此,虛擬視中顯露區(qū)域的失真為

綜上,本方法中深度圖失真引起的虛擬視失真為

3 實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證本研究所提出的深度圖失真-虛擬視失真估計(jì)方法的有效性,以MPEG 3DV標(biāo)準(zhǔn)測(cè)試序列Street,Hall2,Newspaper和Balloons為測(cè)試對(duì)象,進(jìn)行了仿真實(shí)驗(yàn)驗(yàn)證.測(cè)試序列的相關(guān)參數(shù)如表1所示.

表1 測(cè)試序列參數(shù)Table 1 Parameters of the test sequences

本研究在6個(gè)不同的量化參數(shù)(quantization parameter,QP),即22,27,32,37,42,47下,用H.264參考軟件壓縮了測(cè)試序列的參考視深度視頻,之后再用MPEG組織提供的視合成參考軟件VSRS3.5將無(wú)失真的參考視紋理視頻和解壓縮的深度視頻合成虛擬視視頻.考慮到無(wú)法保證能夠采集到所有虛擬視的真實(shí)視頻,本研究以無(wú)失真彩色視頻和深度視頻合成的虛擬視視頻作為原始視頻,將無(wú)失真參考視紋理視頻和解壓縮深度視頻合成的虛擬視視頻與其對(duì)照,計(jì)算均方誤差(mena squared error,MSE),并作為實(shí)測(cè)值來衡量深度視頻失真對(duì)虛擬視視頻失真的影響.估計(jì)方法得到的MSE與其越接近,表明估計(jì)方法的準(zhǔn)確性越高.

在已知的塊級(jí)深度圖失真-虛擬視失真估計(jì)方法中,文獻(xiàn)[10]提出的方法性能最好.該方法對(duì)深度方差小于門限閾值1的區(qū)域進(jìn)行四叉樹迭代劃分,直至最小劃分區(qū)域(4×4子塊)為止.在已知的像素級(jí)深度圖失真-虛擬視失真估計(jì)方法中,文獻(xiàn)[13]提出的考慮遮擋的方法的估計(jì)準(zhǔn)確性最好(下述的文獻(xiàn)[13]方法均指考慮遮擋的估計(jì)方法).本研究將本方法的估計(jì)準(zhǔn)確性與文獻(xiàn)[10]和文獻(xiàn)[13]方法進(jìn)行了對(duì)比.為了對(duì)比方便,本研究設(shè)置文獻(xiàn)[10]方法的最大劃分塊為16×16,結(jié)果如圖7所示.為了進(jìn)一步表明算法的有效性,本研究還給出了4個(gè)測(cè)試序列在各QP下的估計(jì)誤差ΔMSE(估計(jì)MSE與實(shí)測(cè)MSE的差值)和平均估計(jì)誤差avg(|ΔMSE|)(見表2).

從圖7和表2可以看出,本方法與實(shí)測(cè)值接近,說明本方法的性能較好.和文獻(xiàn)[10]方法相比,本方法的準(zhǔn)確性有了明顯提高;與文獻(xiàn)[13]方法相比,本方法的準(zhǔn)確性與其接近.文獻(xiàn)[10]的迭代劃分方法雖然提高了滿足能量一致性假設(shè)要求的區(qū)域數(shù)目,但是仍然存在最小劃分區(qū)域深度不一致和遮擋等問題,算法準(zhǔn)確度不能令人滿意.本方法對(duì)非平坦宏塊使用考慮遮擋的像素級(jí)估計(jì)方法,克服了文獻(xiàn)[10]方法的缺陷,提高了的估計(jì)準(zhǔn)確性.文獻(xiàn)[10]方法對(duì)所有QP采用相同的區(qū)域劃分,而實(shí)際上,隨著QP的增加,深度失真會(huì)導(dǎo)致不滿足能量一致性假設(shè)要求的深度圖宏塊數(shù)目逐漸增加,且在QP較大處,估計(jì)誤差迅速增加.本方法根據(jù)深度圖宏塊分類的第二條判據(jù),將由于深度失真加大而不再滿足能量一致性假設(shè)要求的宏塊自適應(yīng)劃分為非均勻宏塊,在大QP壓縮時(shí),有效降低了估計(jì)誤差.因此,本方法的估計(jì)誤差明顯小于文獻(xiàn)[10]方法.由于本方法在平坦宏塊中使用的頻域估計(jì)方法不如像素級(jí)估計(jì)方法準(zhǔn)確,使其估計(jì)準(zhǔn)確性略低于文獻(xiàn)[13]方法.

圖7 MSE實(shí)驗(yàn)結(jié)果對(duì)比Fig.7 Contrast of MSE experimental results

表2 估計(jì)誤差對(duì)比Table 2 Contrast of estimated virtual view distortion

雖然文獻(xiàn)[13]方法的估計(jì)準(zhǔn)確性高于本方法,但它需要逐像素搜索其左右繪制鄰近像素,在大量沒有發(fā)生遮擋的平坦區(qū)域浪費(fèi)了計(jì)算資源,增加了計(jì)算復(fù)雜度.文獻(xiàn)[10]中使用的頻域估計(jì)方法本身的計(jì)算復(fù)雜度并不高,但是迭代劃分會(huì)導(dǎo)致計(jì)算復(fù)雜度加大.此外,文獻(xiàn)[10]方法只能從深度圖失真角度設(shè)定的迭代劃分判決條件,不能根據(jù)攝像機(jī)參數(shù)和拍攝條件自動(dòng)調(diào)節(jié),容易出現(xiàn)過度劃分現(xiàn)象,導(dǎo)致計(jì)算復(fù)雜度無(wú)意義的增加.

表3為本研究提出的估計(jì)方法與文獻(xiàn)[10]和文獻(xiàn)[13]方法的運(yùn)行時(shí)間對(duì)比,其中A1和A2分別為本方法與文獻(xiàn)[10]和文獻(xiàn)[13]方法相比節(jié)約的運(yùn)行時(shí)間.實(shí)驗(yàn)運(yùn)行環(huán)境為雙核CPU,主頻3.2GHz,內(nèi)存2G.可以看出和文獻(xiàn)[10]方法相比,本方法的計(jì)算復(fù)雜度明顯降低,4個(gè)序列的平均運(yùn)行時(shí)間節(jié)約了38.6%.和文獻(xiàn)[13]方法相比,本方法的計(jì)算復(fù)雜度也有所減小,4個(gè)序列的運(yùn)行時(shí)間平均降低了27.4%.可見,本方法在估計(jì)準(zhǔn)確性和算法復(fù)雜度之間取得了較好的平衡.

表3 運(yùn)行時(shí)間對(duì)比Table 3 Contrast of runtime

在4個(gè)測(cè)試序列中,Street與Hall2的拍攝條件完全相同,但是Street序列的紋理更為復(fù)雜,因而各種方法的估計(jì)誤差都較大.Street,Newspaper,Balloons序列的比例因子a依次減小,各種方法的估計(jì)誤差也隨之減小.這是由于小的比例因子a對(duì)于深度圖失真有一定的掩蔽效應(yīng).當(dāng)深度圖誤差相同時(shí),比例因子a小的形成的視差誤差也較小.本方法使用相同的視差閾值判別深度圖宏塊類型,較小的比例因子a對(duì)應(yīng)的深度閾值較大.深度閾值大意味著更多在文獻(xiàn)[10]方法中需要迭代劃分的深度圖宏塊在本方法中被劃分為平坦宏塊.隨著平坦宏塊比例的增加,本方法較文獻(xiàn)[10]方法提高了節(jié)省的運(yùn)行時(shí)間比例,3個(gè)序列依次為41.8%, 46.5%和49.8%,但是準(zhǔn)確性的改善量有所下降,分別為2.79,1.02和0.57.

Hall2序列的比例因子a雖然比Newspaper序列大,但是其平坦宏塊所占比例較大(例如當(dāng)QP為42時(shí),這兩個(gè)序列的平坦宏塊比例分別為66%和58%),因此與文獻(xiàn)[13]方法相比, Hall2序列比Newspaper序列多節(jié)省了2.8%的運(yùn)行時(shí)間.對(duì)于Hall2序列的比例因子a而言,本方法的深度圖類型劃分判據(jù)與文獻(xiàn)[10]方法的迭代劃分判據(jù)實(shí)質(zhì)上并無(wú)多大差別.由于文獻(xiàn)[10]方法對(duì)Hall2序列的過度劃分非常有限,且Hall2序列中平坦宏塊所占比例較大,因此本方法較文獻(xiàn)[10]方法節(jié)省的運(yùn)行時(shí)間非常有限,僅為8.9%.

Street序列的比例因子a取值雖然和Hall2序列相同,但是在大QP壓縮時(shí),其深度圖中的絕大多數(shù)不平坦宏塊產(chǎn)生了遮擋關(guān)系改變(例如當(dāng)QP為42時(shí),93.6%的不平坦宏塊改變了遮擋關(guān)系),而像素級(jí)估計(jì)方法無(wú)法準(zhǔn)確估計(jì)遮擋關(guān)系改變所引起的虛擬視失真,因此限制了估計(jì)準(zhǔn)確性的提高.與文獻(xiàn)[10]方法相比,Street序列的平均估計(jì)誤差降低了2.79,不如Hall2序列效果明顯.

4 結(jié)束語(yǔ)

本研究提出了一種有效的深度失真引起虛擬視失真的估計(jì)方法.首先,將深度圖劃分為與編碼單元尺寸相同的宏塊,依據(jù)視差及視差誤差一致性條件判別宏塊是否滿足能量一致性假設(shè)要求,并將其分為平坦宏塊和非平坦宏塊.然后,平坦宏塊用頻域分析方法整體估計(jì)深度圖宏塊失真引入的虛擬視失真,非平坦宏塊采用像素級(jí)分析方法,判斷遮擋關(guān)系,逐像素估算深度圖失真在繪制視中引入的失真.最后,與顯露區(qū)域的虛擬視失真綜合,得到虛擬視圖像總體失真估計(jì)值.本方法兼顧了估計(jì)準(zhǔn)確性和計(jì)算復(fù)雜度,綜合性能較好,且深度宏塊的分類判據(jù)綜合考慮了多視視頻拍攝條件,可以用統(tǒng)一的閾值對(duì)各種攝像機(jī)設(shè)置參數(shù)和場(chǎng)景布局的視頻序列進(jìn)行深度圖宏塊的準(zhǔn)確分類,應(yīng)用非常方便.

[1]張兆揚(yáng),安平,張之江,等.二維和三維視頻處理及立體顯示技術(shù)[M].北京:科學(xué)出版社,2010: 1-100.

[2]MPEG.Applications and requirements on 3D video coding[C]//ISO/IEC JTC1/SC29/WG11. 2009:13-29.

[3]FEHN C.Depth-image-based rendering(DIBR),compression and transmission for a new approach on 3D-TV[C]//Proceedings of SPIE Stereoscopic Displays and Virtual Reality SystemsⅪ.2004:93-104.

[4]RUSANOVSKYY D,ZHANG L,CHEN F C,et al.3D-AVC test model 8[C]//Joint Collaborative Team on 3D Video Coding Extension Development of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 JCT3V-F1003.2013:1-62.

[5]ZHANG L,TECH G,WEGNER K,et al.Test model 7 of 3D-HEVC and MV-HEVC[C]//Joint Collaborative Team on 3D Video Coding Extension Development of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 JCT3V-G1005.2014:3-40.

[6]LIU Y W,HUANG Q M,MA S W,et al.Joint video/depth rate allocation for 3D video coding based on view synthesis distortion model[J].Signal Proc Image Comm,2009,24(8):666-681.

[7]TECH G,SCHWERZ H,MULLER K,et al.3D video coding using the synthesized view distortion change[C]//PCS.2012:25-28.

[8]MERKLE P,MORVAN Y,SMOLIC A,et al.The e ff ects of multiview depth video compression on multiview rendering[J].Singal Proc Image Comm,2009,24(1/2):73-88.

[9]LAI P,ORTEGA A,DORE A,et al.Improving view rendering quality and coding efficiency by suppressing compression artifacts in depth-image coding[C]//Proc of Visual Communic and Image.2009:894-897.

[10]WANG Q F,JI X Y,DAI Q H,et al.Free viewpoint video coding with rate-distortion analysis[J].IEEE Transactions on Circuits and Systems for Video Technology,2012,22(6): 875-889.

[11]KIM W S,ORTEGA A,LAI P,et al.Depth map distortion analysis for view rendering and depth coding[C]//ICIP.2009:721-724.

[12]KIM W S,ORTEGA A,LAI P,et al.Depth map coding with distortion estimation of rendered view[C]//Proc of SPIE Visual Information Processing and Communication.2010:3534-3545.

[13]OH B T,LEE J,PARK D.Depth map coding based on synthesized view distortion function[J]. IEEE Journal of Selected Topics in Signal Processing,2011,5(7):1344-1352.

[14]OH B T,LEE J,DUSIK P.Fast joint bit-allocation between texture and depth maps for 3D video coding[C].ICCE.2013:193-194.

本文彩色版可登陸本刊網(wǎng)站查詢:http://www.journal.shu.edu.cn

Estimation of view synthesis distortion caused by depth map distortion

LI Chun-hua1,2,AN Ping1,3,ZHANG Zhao-yang1,3
(1.School of Communication and Information Engineering,Shanghai University, Shanghai 200444,China; 2.College of Information Science and Engineering,Hebei University of Science and Technology, Shijiazhuang 050018,China; 3.Key Laboratory of Advanced Display and System Applications,Shanghai University, Shanghai 200072,China)

A method for estimating the virtual view image distortion caused by the depth map coding distortion is proposed.The depth map is divided into macro blocks according to the coding unit.These macroblocks are then classi fi ed into uniform macroblocks and nonuniform macroblocks according to the energy density consistency constraint.The rendered view distortion in the uniform macroblocks is estimated by a block-level frequency domain method,while that in the non-uniform macroblocks by a pixel-level time domain method. Finally,the virtual view distortion is combined with both rendered view distortions.The distortion introduced by inpainting is also computed.With a shooting parameter,it can correctly classify the macroblocks of depth map sequences acquired from di ff erent shootingconditions.Simulation results show that the proposed method can accurately estimate virtual view distortion caused by depth map distortion.It achieves e ff ective balance between accuracy and algorithm complexity,which is important to guide 3D video(3DV)coding and rate allocation under the limited bit rate budget.

3D video(3DV);freeview TV(FTV);distortion estimation;virtual view image distortion;depth map distortion

TN 941.1

A

1007-2861(2015)04-0402-12

10.3969/j.issn.1007-2861.2014.03.016

2014-02-19

國(guó)家自然科學(xué)基金資助項(xiàng)目(61172096)

安 平(1968—),女,教授,博士生導(dǎo)師,博士,研究方向?yàn)?D視頻處理.E-mail:anping@shu.edu.cn