基于視頻壓縮域的深度圖推理算法研究

馮　杰，馬漢杰

(浙江理工大學(xué)信息學(xué)院，杭州 310018)

?

基于視頻壓縮域的深度圖推理算法研究

馮杰，馬漢杰

(浙江理工大學(xué)信息學(xué)院，杭州 310018)

對2D到3D視頻轉(zhuǎn)換過程中的深度圖推理算法進(jìn)行了研究。該研究以視頻壓縮域中的宏塊為單位進(jìn)行深度圖推理，根據(jù)不同的宏塊類型選擇不同的推理策略。首先，采用基于鄰塊的運(yùn)動估計算法對幀內(nèi)宏塊的運(yùn)動矢量進(jìn)行計算；然后，針對幀間宏塊，對直接提取出的運(yùn)動矢量進(jìn)行濾波處理以提升其魯棒性；最后，采用運(yùn)動補(bǔ)償和上采樣雙邊濾波技術(shù)獲得深度圖。實(shí)驗(yàn)結(jié)果表明該方法可以獲得平滑而可靠的深度圖像，并且具有更好的深度圖像質(zhì)量。

2D到3D視頻轉(zhuǎn)換；深度圖；運(yùn)動矢量；壓縮域

0　引　言

人類在自然界中看到的是真實(shí)的3D世界，人類所能感知到的周圍環(huán)境是也是3D的，因此，能夠在屏幕上再現(xiàn)這種真實(shí)的3D場景一直是人類夢寐以求的理想。就目前的3D發(fā)展?fàn)顩r而言，3D內(nèi)容的極度匱乏是造成3D視頻產(chǎn)業(yè)成長一個主要障礙。為了解決這一問題，首先需要了解人類對3D視頻的感應(yīng)機(jī)理。人眼的3D視覺是通過雙眼間的視網(wǎng)膜視差來感知對象的距離即深度信息的，而目前的3D設(shè)備正是利用了人眼雙目視覺系統(tǒng)的這一感知特點(diǎn)，通過分別給左右眼以對應(yīng)的平面圖像，根據(jù)幾何成像關(guān)系，這兩幅圖像中不同深度位置的對象在圖像間具有不同大小的視差，然后在大腦中完成視覺場景中對象間相對深度的感知重建，這樣人眼就可以獲得具有深度感知的立體視覺效果。為了生成3D視頻，目前比較普遍的做法是采用基于深度圖繪制(depth image-based rendering，DIBR)的方法來生成具有視差的左右視點(diǎn)圖像[1]。因此如何利用原有的2D視頻得到對應(yīng)的深度圖是2D到3D的轉(zhuǎn)換領(lǐng)域一個非常重要的研究方向。

目前，深度圖生成算法主要分成兩大類：全自動算法和半自動算法。全自動算法在2D到3D轉(zhuǎn)換過程中不需要人工參與，直接利用2D視頻所提供的信息和深度線索估計視頻幀的深度。該類方法在很多場景下可以獲得比較好的深度圖，但對于一些特殊的景物(如懸掛的物體等)還是不能正確獲得它的深度。因此，為了獲得轉(zhuǎn)換速度和轉(zhuǎn)換效果的平衡，目前很多研究更傾向于略有人工參與的半自動的轉(zhuǎn)換方式。半自動方法首先將整段視頻分成關(guān)鍵幀和非關(guān)鍵幀，并對關(guān)鍵幀采用人工參與方式賦予比較精確的深度值，對于非關(guān)鍵幀則采用深度推理方式得到相應(yīng)的深度圖。其中，直接對已有深度圖進(jìn)行推理或?yàn)V波的方法主要包括基于塊的運(yùn)動補(bǔ)償法[2]、雙向KLT跟蹤算法[3]、基于塊的運(yùn)動估計結(jié)合三邊濾波器[4]、基于掃描線的推理濾波[5]、Graph Cut與Random Walks相結(jié)合的推理[6]等。半自動方法中由于有了人工的參與可以有效的避免前期很多自動算法造成的物體前后位置誤判，因而可以獲得更加準(zhǔn)確的深度圖。但是目前大部分算法都是基于像素域進(jìn)行的，這在實(shí)際應(yīng)用中會消耗大量的計算資源。并且目前很多視頻都是用壓縮方式進(jìn)行存儲的，如果在壓縮域就可以對視頻內(nèi)容進(jìn)行分析和處理可以大大提升處理速度。并且壓縮視頻數(shù)據(jù)都是以塊為基本單位，所需要處理的數(shù)據(jù)量僅是像素域的1/64(基于8×8塊)或1/16(基于4×4塊)。因此，需要在保證深度圖質(zhì)量的前提下盡可能利用壓縮域中隱含的信息對2D視頻進(jìn)行分析處理，就可以達(dá)到深度圖生成效率與質(zhì)量的平衡。

1　算法總體設(shè)計

本文算法主要針對壓縮域的半自動2D到3D視頻轉(zhuǎn)換。在視頻壓縮編碼過程中，I幀一般作為關(guān)鍵幀，P幀作為非關(guān)鍵幀。相應(yīng)的，關(guān)鍵幀(I幀)的深度圖將采用人工的方式獲得。因此，本文主要關(guān)注P幀圖像的深度圖推理算法設(shè)計。如圖1所示，在對壓縮視頻進(jìn)行解碼后，本文的深度圖推理算法主要分成3個主要部分：首先，對于幀內(nèi)編碼宏塊，需要進(jìn)行基于鄰域的運(yùn)動估計來獲得它的運(yùn)動矢量；其次，對于幀間編碼宏塊，雖然可以直接從壓縮域獲取運(yùn)動矢量信息，但由于這些信息存在很多噪聲，并不十分可靠，因此需要對其進(jìn)行自適應(yīng)濾波處理；最后，利用已獲得的運(yùn)動矢量信息、解碼2D視頻信息、關(guān)鍵幀或前一非關(guān)鍵幀的深度圖信息對當(dāng)前幀的深度圖進(jìn)行賦值和推理。

圖1　深度圖推理算法總體流程

2　視頻壓縮域信息提取與分析

在普通的2D到3D半自動視頻轉(zhuǎn)換算法中，非關(guān)鍵幀的光流信息(即運(yùn)動信息)經(jīng)常被用來做深度推理。而在視頻壓縮域中，運(yùn)動矢量是可以通過解碼P幀或B幀直接獲得的信息，不再需要利用像素域中的光流估計來獲得運(yùn)動信息，這可以極大的降低運(yùn)算復(fù)雜度。視頻編碼器利用高效的運(yùn)動估計算法獲得的運(yùn)動矢量剛好可以提供有效的光流信息。但是采用直接從視頻碼流中獲取的運(yùn)動矢量作為光流信息仍然存在3點(diǎn)不足。

2.1無法提取幀內(nèi)編碼類型宏塊的運(yùn)動矢量

在視頻壓縮域中，P幀中存在3種不同的編碼宏塊類型：幀內(nèi)編碼(INTRA)、幀間編碼(INTER)和SKIP編碼。幀間編碼和SKIP編碼類型的宏塊可以利用運(yùn)動估計算法在參考幀中找到一個匹配塊，進(jìn)而得到該類型宏塊的運(yùn)動矢量。但是幀內(nèi)編碼類型宏塊主要利用周圍宏塊的空間插值算法來提高壓縮效率，并不能從碼流中獲取關(guān)于該類型宏塊的運(yùn)動信息，因此在碼流中得到的宏塊運(yùn)動矢量都為0。在視頻編碼過程中，宏塊編碼模式的選擇一般是按照率失真優(yōu)化(rate distortion optimization ，RDO)技術(shù)來實(shí)現(xiàn)的，這樣可以獲得最佳的編碼效率。圖2列舉出了一幀圖像的宏塊編碼類型信息和它的運(yùn)動矢量信息。圖2中的黑色、灰色和白色圓點(diǎn)分別代表采用幀內(nèi)編碼、幀間編碼和SKIP編碼模式的宏塊，線條代表每個宏塊的運(yùn)動矢量。在圖2中可以看到有很多本應(yīng)處于運(yùn)動狀態(tài)的宏塊采用了幀內(nèi)編碼模式，無法從壓縮域的碼流中獲得該類型宏塊的運(yùn)動信息。

圖2　壓縮幀的宏塊編碼類型信息和運(yùn)動矢量信息

2.2幀間宏塊運(yùn)動矢量存在噪聲

在絕大多數(shù)情況下， 視頻編碼所得到的運(yùn)動矢量大部分是比較符合實(shí)際的運(yùn)動情況的，尤其在運(yùn)動對象的邊界區(qū)域，在H.264編碼標(biāo)準(zhǔn)中更是采用較小的幀間分塊方式來獲得更精細(xì)的塊分割效果。但是在比較平坦的區(qū)域，會出現(xiàn)運(yùn)動矢量噪聲，這是因?yàn)樵谝曨l編碼過程中，會采用預(yù)測運(yùn)動矢量(pridict motion vector，PMV)作為計算宏塊運(yùn)動矢量所消耗比特數(shù)的起點(diǎn)。在平坦區(qū)域中，一般情況下選擇預(yù)測運(yùn)動矢量附近的運(yùn)動矢量值會獲得與采用真正運(yùn)動矢量時相同的預(yù)測殘差，這樣會降低用來編碼運(yùn)動矢量的比特數(shù)，而真正的運(yùn)動矢量(也許是零)并不被編碼算法所采納。因此，為了得到真實(shí)的對象運(yùn)動信息，需要對幀間編碼宏塊的運(yùn)動矢量進(jìn)行濾波處理。而SKIP類型宏塊的運(yùn)動信息一般是很符合物體實(shí)際運(yùn)動情況的，對于該類宏塊不需進(jìn)行濾波處理。

2.3運(yùn)動矢量精度不高

為了適應(yīng)各種不同紋理的視頻場景，視頻編碼過程可以采用可變塊大小的運(yùn)動編碼方式，分塊大小最大為16×16，最小為4×4，中間可以為16×8/8×16/8×8/8×4/4×8等等，因此，每個運(yùn)動矢量可能對應(yīng)不同的宏塊大小。如果要獲得統(tǒng)一大小的運(yùn)動矢量，那么每一個大于4×4塊的分塊方式可以將其運(yùn)動矢量賦值給其覆蓋的4×4塊中。但是最小的4×4的運(yùn)動矢量精度仍然要比光流場的精度有所降低。

3　壓縮域運(yùn)動信息提取與深度圖推理

基于上一節(jié)的分析，針對幀內(nèi)宏塊類型沒有運(yùn)動信息的問題，本文采用基于鄰塊信息的運(yùn)動估計方法來獲得幀內(nèi)宏塊的運(yùn)動矢量，這樣P幀中所有宏塊都將具有運(yùn)動信息；針對幀間宏塊運(yùn)動信息不準(zhǔn)確的問題，本文采用自適應(yīng)濾波算法對幀間宏塊的運(yùn)動矢量進(jìn)行處理以提高其準(zhǔn)確性；針對運(yùn)動矢量精度不夠的問題，本文用基于塊的運(yùn)動補(bǔ)償算法推理出一個低分辨率的深度圖，然后利用上采樣雙邊濾波器來獲得更加細(xì)致的深度圖。

3.1幀內(nèi)宏塊運(yùn)動估計

在視頻編碼過程中，一般采用基于率失真的策略來進(jìn)行模式選擇，進(jìn)而確定某一個宏塊采用何種類型來進(jìn)行編碼。當(dāng)幀內(nèi)模式具有比幀間模式更小的率失真時，編碼器將對該宏塊采用幀內(nèi)模式來進(jìn)行編碼，此時該宏塊的運(yùn)動矢量信息部分將不會保存，而設(shè)置為0。因此，為了獲得該類型宏塊的運(yùn)動信息，需要采用運(yùn)動估計來預(yù)測這些幀內(nèi)宏塊的運(yùn)動矢量。和編碼過程一樣，運(yùn)動矢量的獲得也是通過最小化解碼幀中的宏塊和前一幀中各塊差的絕對值而得到的，如式(1)所示：

y,vx,vy)

(1)

absdiff≡

(2)

其中：dec(t)為t時刻的解碼幀亮度分量，vx和vy是在一定水平和垂直預(yù)設(shè)搜索范圍的偏置。如果該幀中存在過多的幀內(nèi)編碼宏塊，那么運(yùn)算時間將會由于運(yùn)動搜索的復(fù)雜性而大大增加。為了減少幀內(nèi)宏塊的運(yùn)動估計計算量，采用式(3)來決定是否對幀內(nèi)宏塊采用運(yùn)動估計策略。

(3)

這樣，對幀內(nèi)宏塊進(jìn)行運(yùn)動估計的比例可以大大降低，可以有效節(jié)省計算資源。

3.2自適應(yīng)運(yùn)動矢量濾波

(4)

其中：DC(i,j)，AC01(i,j)，AC10(i,j)，AC11(i,j)分別是第(i,j)個殘差塊的左上角DCT系數(shù)。DC系數(shù)是DCT變換中最重要的系數(shù)，它可以代表整個殘差塊的總體平均能量值。其他3個系數(shù)AC01、AC10、AC11分別代表殘差塊水平分量、垂直分量和對角線分量的能量值。這4個系數(shù)可以代表4×4殘差塊的能量大小。當(dāng)該塊處于平滑區(qū)域時，該能量通常為0。

接下來，采用兩步濾波處理來對每個塊的運(yùn)動矢量進(jìn)行濾波。第一步將每一個原始的運(yùn)動矢量按照從上到下從左到右的順序進(jìn)行濾波處理，當(dāng)該塊滿足以下3個條件時，該塊的運(yùn)動矢量將被置為0：

條件1：該塊的能量大小En4×4(i,j)為0；

條件2：該塊左邊塊的運(yùn)動矢量為0；

條件3：該塊的運(yùn)動矢量值小于一定閾值。該閾值的設(shè)定有兩種方式，一種采用該幀中所有塊運(yùn)動矢量的平均值，另一種采用用戶自定義的值。

第二步仍然采用與第一步相似的方法進(jìn)行濾波處理，區(qū)別在于處理的順序變?yōu)閺南碌缴蠌挠业阶蟆Ｏ鄳?yīng)的條件2換為該塊右邊塊的運(yùn)動矢量為0。通過這兩步濾波可以將大部分平滑區(qū)域的運(yùn)動矢量置為0，大大提高了后續(xù)處理的準(zhǔn)確度。

在目前最流行的視頻編碼器H.264編碼過程中，具有8×8/8×4/4×8/4×4這種小分塊模式的塊運(yùn)動矢量通常比16×16/16×8/8×16這種大宏塊的運(yùn)動矢量更加可靠，所以將針對這兩種不同分塊類型的運(yùn)動矢量采用不同系數(shù)的二維3×3均值濾波器來得到更加可靠的運(yùn)動信息。該濾波器的詳細(xì)細(xì)節(jié)可以參考文獻(xiàn)[7]。

圖3顯示了一幀未經(jīng)過和經(jīng)過幀內(nèi)運(yùn)動矢量估計與運(yùn)動矢量濾波的運(yùn)動矢量場。圖3(a)是該幀原始圖像，圖3(b)是未經(jīng)過處理的原始運(yùn)動矢量場，圖3(c)是經(jīng)過處理的運(yùn)動矢量場。從圖3中可以看出，經(jīng)過幀內(nèi)運(yùn)動估計和運(yùn)動矢量濾波處理后，消除了大量運(yùn)動矢量噪聲并且保留了更好的運(yùn)動信息，為下一步深度圖推理打下的基礎(chǔ)。

圖3　運(yùn)動矢量場

3.3深度圖推理和上采樣

非關(guān)鍵幀的深度圖可以利用3.1節(jié)和3.2節(jié)得到的完整并可靠的運(yùn)動矢量來獲得。在3.2節(jié)中，不同分塊的運(yùn)動矢量都被直接映射到其覆蓋的4×4塊中，然后就可以利用每個4×4塊的運(yùn)動矢量推理得到一個縮小為原始圖像大小1/16的深度圖，水平和垂直方向長度分別為原始幀大小的1/4。該低分辨率深度圖像的每個點(diǎn)的深度值都采用運(yùn)動補(bǔ)償?shù)姆椒◤那耙粠纳疃葓D中獲得，如式(5)所示：

(5)

然后，為了獲得與原始圖像大小一樣的深度圖像，采用一個自適應(yīng)上采樣雙邊濾波器對式(5)得到的深度圖進(jìn)行濾波處理，處理算法如式(6)所示：

(6)其中：S是濾波器模板，可以選擇不同的模板類型[8]。本文選擇半徑為5的星形模板作為濾波器。w(p,q)是權(quán)重系數(shù)，可以由式(7)計算得到：

(7)

其中：函數(shù)r是一個均值為0，具有不同方差σ2的高斯函數(shù)。在濾波過程中，針對不同的宏塊編碼類型采用不同的濾波強(qiáng)度。如果宏塊是幀間編碼類型，高斯函數(shù)的方差值設(shè)為0.1；如果宏塊是幀內(nèi)編碼類型，那么高斯函數(shù)的方差值設(shè)為0.2。更高的方差值有助于增加該像素深度值對周圍像素深度值的影響。如果宏塊類型為SKIP模式，不對其進(jìn)行濾波處理。Ih是高分辨率圖像的亮度值，Il是低分辨率圖像的亮度值。

每一個P幀(非關(guān)鍵幀)的深度圖都利用前一幀的深度圖和本幀的運(yùn)動信息和宏塊信息進(jìn)行推理，最終將得到整個視頻序列的深度圖。

4　實(shí)　驗(yàn)

本文算法采用微軟研究院(microsoftresearch，MSR)提供的兩個公開序列Ballet和Breakdancers進(jìn)行測試。這兩個序列的分辨率為1024×768，是專門為測試3D視頻序列深度圖而設(shè)計，均包含彩色圖像序列和其對應(yīng)的深度圖序列。每個序列包含100幀8個不同視點(diǎn)的圖像。在本實(shí)驗(yàn)中，采用第一個視點(diǎn)的彩色圖像和其對應(yīng)的深度圖像進(jìn)行測試。首先，采用目前最流行的視頻編碼標(biāo)準(zhǔn)H.264的參考編碼器JM16.2對兩個序列分別進(jìn)行編碼，序列的每20幀圖像作為一個幀組(groupofpictures，GOP)，每個GOP的第一幀作為關(guān)鍵幀并采用I幀方式編碼，其他幀作為非關(guān)鍵幀并采用P幀方式編碼。其他編碼參數(shù)如下：量化參數(shù)(quantizationparameter，QP)設(shè)為32，運(yùn)動矢量搜索范圍[-32, 32]，幀率為25幀每秒。本文選擇文獻(xiàn)[4]中的基于塊的運(yùn)動信息深度推理算法作為對比算法。文獻(xiàn)[4]是利用運(yùn)動信息進(jìn)行深度圖推理的經(jīng)典算法，可以利用壓縮域中的信息。在對壓縮域碼流進(jìn)行解碼過程中，提取出的運(yùn)動矢量分別用于本文的深度圖推理算法，同時作為文獻(xiàn)[4]中所需要的運(yùn)動信息。

4.1深度圖質(zhì)量評價

在本實(shí)驗(yàn)中，選擇峰值信噪比(peaksignaltonoiseratio，PSNR)來作為深度圖質(zhì)量的客觀評價標(biāo)準(zhǔn)。PSNR通過均方誤差(meansquarederror， MSE)計算而得到的。而MSE是通過計算非關(guān)鍵幀的參考基準(zhǔn)深度圖和推理得到的深度圖之間像素的均方差而得到，計算方法如式(8)所示：

(8)

其中：I(x,y)為參考基準(zhǔn)深度圖中I(x,y)坐標(biāo)上的深度值，I′(x,y)是推理深度圖中(x,y)坐標(biāo)上的深度值，M和N分別是圖像的寬度值和高度值。

進(jìn)而可以得到每幀圖像的PSNR值如式(9)所示，PSNR值越大，深度圖的客觀質(zhì)量越好。

(9)

由于MSR提供的序列Ballet和Breakdancers本身具有深度圖，關(guān)鍵幀深度圖采用Ballet和Breakdancers提供的深度圖。非關(guān)鍵幀Ballet和Breakdancers的深度圖作為參考評價基準(zhǔn)，與本文算法與文獻(xiàn)[4]中算法所得到的推理深度圖進(jìn)行對比。圖4畫出了本文算法相對文獻(xiàn)[4]算法在兩個序列20到100幀推理深度圖上PSNR值提升情況?？梢钥吹?，PSNR最高可以提升達(dá)3.7dB，并且平均來說對Ballet序列有1.02dB的PSNR提升，對Breakdancers序列有1.598dB的PSNR提升。

圖4　本文算法相對文獻(xiàn)[4]算法得到深度圖在PSNR上的增益

4.2執(zhí)行時間評價

本文實(shí)驗(yàn)所使用的計算機(jī)主要配置為CPU：Intel?CoreTM i5 CPU@2.4GHz，內(nèi)存：4GB。在此配置和未經(jīng)過優(yōu)化的程序執(zhí)行情況下，本文所使用的算法平均每幀深度圖推理所耗時間為103.6 s，文獻(xiàn)[4]平均每幀推理所耗時間為98s，而大多數(shù)基于像素域的深度圖推理算法時間都在1000 s/幀以上。圖5列出了本文算法相對文獻(xiàn)[4]算法在時間上的增長百分比，對于Ballet序列和Breakdancers序列來講，分別增加了2.64%和8.86%，與質(zhì)量上的提升相比，時間上的增加并不明顯。如第3節(jié)所描述，本文算法與文獻(xiàn)[4]中所增加的時間大部分用于執(zhí)行幀內(nèi)宏塊的運(yùn)動估計和運(yùn)動矢量濾波方面。一般來講，運(yùn)動估計過程是更加耗費(fèi)時間的部分，如圖5所示，由于Breakdancers序列平均每幀有更多數(shù)目的幀內(nèi)宏塊，本文算法的時間增長率也相應(yīng)有所增加，但增加幅度并不大。

圖5　本文算法相對文獻(xiàn)[4]算法在時間上的增長百分比

5　結(jié)　語

本文提出了一種利用直接從壓縮域中獲取的信息來進(jìn)行深度圖推理的算法。通過對壓縮域中的幀內(nèi)宏塊和幀間宏塊分別進(jìn)行處理，得到了更加完整而準(zhǔn)確的運(yùn)動信息，進(jìn)而通過運(yùn)動補(bǔ)償和上采樣雙邊濾波推理得到深度圖。實(shí)驗(yàn)結(jié)果表明本文方法可以獲得圖像質(zhì)量與推理速度的平衡，為2D到3D視頻轉(zhuǎn)換打下良好的基礎(chǔ)。

[1] 黃曉軍,王梁昊.2D視頻轉(zhuǎn)換3D視頻技術(shù)概覽[J].影視制作,2011,17(2):34-36.

[2] VAREKAMP B, BARENBRUG C. Improved depth propagation for 2D to 3D video conversion using key-frames[C]// 4th European Conference on Visual Media Production. London: IET, 2007: 1-7.

[3] WU C, ER G, XIE X, LI T, et al. A novel method for semi-automatic 2D to 3D video conversion[C]// 3DTV Conference: the True Vision - Capture, Transmission and Display of 3D Video. Istanbul: IEEE. 2008: 65-68.

[4] LIE W N, CHEN C Y, CHEN W C. 2D to 3D video conversion with key-frame depth propagation and trilateral filtering[J]. Electronics Letters, 2011, 47(5): 319-321.

[5] VOSTERS L, DE HAAN G. Efficient and Stable Sparse-to-Dense Conversion for Automatic 2-D to 3-D Conversion[J]. Circuits and Systems for Video Technology, IEEE Transactions on, 2013, 23(3): 373-386.

[6] PHAN R, ANDROUTSOS D. Robust semi-automatic depth map generation in unconstrained images and video sequences for 2d to stereoscopic 3d conversion[J]. Multimedia, IEEE Transactions on, 2014, 16(1): 122-136.

[7] FENG J, CHEN Y, TIAN X. Moving object segmentation algorithm based on cellular neural networks in the H. 264 compressed domain[J]. Optical Engineering, 2009, 48(7): 077001-077001-7.

[8] RIEMENS A K, GANGWAL O P, BARENBRUG B, et al. Multistep joint bilateral depth upsampling [C]// IS&T/SPIE Electronic Imaging. International Society for Optics and Photonics, 2009: 72570M-72570M-12.

(責(zé)任編輯： 陳和榜)

Depth Map Inference Algorithm Based on Video Compression Domain

FENGJie,MAHanjie

(School of Information Science and Technology, Zhejiang Sci-Tech University, Hangzhou 310018, China)

In this paper, the depth map inference algorithm in the process of 2D to 3D video conversion was studied, the depth map inference process is based on the unit of macroblock in video compression domain. The research chose the different inference strategies based on different macroblock types. First, motion vectors for the intra-frame macroblocks were calculated by using the neighboring block based motion estimation algorithm. Then, for intra-frame macroblocks, the motion vectors directly extracted are filtered to improve the robustness. Finally, the depth maps are acquired via motion compensation and an up-sample bilateral filter technique. Experimental results demonstrate that the proposed scheme can generate smooth and reliable depth maps with higher quality.

2D-to-3D video conversion; depth map; motion vector; compression domain

10.3969/j.issn.1673-3851.2016.05.017

2016-01-16

國家自然科學(xué)基金項(xiàng)目(61501402)

馮杰(1980-)，男，遼寧錦州人，講師，主要從事視頻處理方面的研究。

TP37

A

1673- 3851 (2016) 03- 0421- 06 引用頁碼： 050605