基于多視點(diǎn)視頻的差錯(cuò)控制技術(shù)*

廖小僮，馬 然，安 平，張兆楊

（上海大學(xué) 通信與信息工程學(xué)院；新型顯示技術(shù)及應(yīng)用集成教育部重點(diǎn)實(shí)驗(yàn)室，上海 200072）

1 引言

多視點(diǎn)視頻體現(xiàn)了下一代多媒體應(yīng)用網(wǎng)絡(luò)化、交互性和真實(shí)感的發(fā)展方向，目前對(duì)于多視點(diǎn)視頻的研究受到越來(lái)越多的國(guó)內(nèi)外學(xué)者的廣泛關(guān)注。一方面，與傳統(tǒng)的單視點(diǎn)視頻（即二維視頻）相比，多視點(diǎn)視頻傳輸數(shù)據(jù)量極大，必須進(jìn)行有效的壓縮編碼。目前，關(guān)于多視點(diǎn)視頻的壓縮方法已有很多，例如，HHI（Fraunhofer Heinrich Hertz Institute）提出的分層B幀的視點(diǎn)/時(shí)間域混合預(yù)測(cè)結(jié)構(gòu)[1]，因具有較高的壓縮效率已被聯(lián)合視頻組 （Joint Video Team，JVT）建議為參考預(yù)測(cè)結(jié)構(gòu)。另一方面，多視點(diǎn)及立體視頻通信中的差錯(cuò)控制也變得更加重要，因?yàn)橥ㄟ^(guò)不可靠的信道如無(wú)線網(wǎng)絡(luò)、因特網(wǎng)傳輸視頻流正逐漸成為主流。而且由于其壓縮特點(diǎn)，一個(gè)視點(diǎn)發(fā)生比特錯(cuò)誤或者出現(xiàn)丟包錯(cuò)誤，不僅會(huì)引起錯(cuò)誤在該視點(diǎn)時(shí)間和空間方向上的傳播與擴(kuò)散，而且由于采用了視點(diǎn)間預(yù)測(cè)，還會(huì)在視點(diǎn)間產(chǎn)生錯(cuò)誤蔓延，人眼對(duì)幾種錯(cuò)誤的混合也更加敏感，看到的影像一片混亂，不具深度感。所以研究多視點(diǎn)及立體視頻的差錯(cuò)控制具有更大的挑戰(zhàn)性和重要性。筆者主要針對(duì)多視點(diǎn)編碼的3種主流的編碼結(jié)構(gòu)探討其差錯(cuò)控制技術(shù)。

2 多視點(diǎn)及立體視頻編碼結(jié)構(gòu)

2.1 MVC（Multiview Coding）參考預(yù)測(cè)結(jié)構(gòu)

HHI提出的分層B幀的視點(diǎn)/時(shí)間域混合預(yù)測(cè)結(jié)構(gòu)，如圖1所示。

圖1 MVC參考預(yù)測(cè)結(jié)構(gòu)示意圖

每個(gè)視點(diǎn)采用分層B幀預(yù)測(cè)結(jié)構(gòu)，有效去除時(shí)間方向上的冗余；在視點(diǎn)間采用IBPBP預(yù)測(cè)結(jié)構(gòu)有效去除視點(diǎn)間的冗余。為了簡(jiǎn)單起見，圖1只給出了3個(gè)視點(diǎn)（S0，S1和S2）的示意圖，其中S0是基本視點(diǎn)，S1和S2是非基本視點(diǎn)?；疽朁c(diǎn)S0相對(duì)其他視點(diǎn)獨(dú)立編解碼。非基本視點(diǎn)按視點(diǎn)間預(yù)測(cè)關(guān)系可分為P視點(diǎn)（S2）和B視點(diǎn)（S1）。編碼時(shí)，基本視點(diǎn)S0優(yōu)先級(jí)最高，其次是P視點(diǎn)（S2），最后是B視點(diǎn)（S1）。

2.2 雙目視差結(jié)構(gòu)

對(duì)于最簡(jiǎn)單的多視點(diǎn)視頻，即立體視頻，可采用文獻(xiàn)[2]中提到的預(yù)測(cè)結(jié)構(gòu)，如圖2所示。

圖2 雙目視差預(yù)測(cè)結(jié)構(gòu)

圖2中立體視頻由左、右雙目視點(diǎn)構(gòu)成。其中，左視點(diǎn)的序列僅采用運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)去除時(shí)間方向上的冗余，右視點(diǎn)的序列采用運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)（Motion Compensation Prediction，MCP）加視差補(bǔ)償預(yù)測(cè)（Disparity Compensation Prediction，DCP）有效去除時(shí)間與視點(diǎn)間的冗余。

2.3 單視點(diǎn)彩色圖加深度圖結(jié)構(gòu)

除了圖2的雙目視差預(yù)測(cè)編碼框架，立體視頻還可以采用二維視頻（即單視點(diǎn)彩色圖）加深度圖的形式進(jìn)行編碼[3]，而且這種表示形式已經(jīng)被MPEG組織標(biāo)準(zhǔn)化，由于其相比雙目視差傳輸方式具有更好的靈活性及相對(duì)較低的碼率，日益引起了學(xué)者的廣泛研究，因此探索單視點(diǎn)加深度圖編碼結(jié)構(gòu)的差錯(cuò)控制技術(shù)也是十分必要的。

3 基于多視點(diǎn)視頻的差錯(cuò)控制技術(shù)

為了提高視頻傳輸?shù)姆€(wěn)健性，差錯(cuò)控制技術(shù)可在信源端、信宿端及信道的各個(gè)環(huán)節(jié)進(jìn)行，大致可分為3類：信源端差錯(cuò)復(fù)原編碼、解碼端錯(cuò)誤隱藏及編解碼交互差錯(cuò)控制。

3.1 基于MVC參考結(jié)構(gòu)的差錯(cuò)控制技術(shù)

一般說(shuō)來(lái)，差錯(cuò)復(fù)原編碼的基本思想是在編碼時(shí)加入一定的冗余信息使得編碼碼流具有抗差錯(cuò)的能力。圖1所示的MVC參考預(yù)測(cè)結(jié)構(gòu)太過(guò)復(fù)雜，編碼端復(fù)雜度高，數(shù)據(jù)量龐大；如果再采用基于信源端差錯(cuò)復(fù)原編碼技術(shù)會(huì)進(jìn)一步增加編碼復(fù)雜和冗余度，很不適用多視點(diǎn)視頻。錯(cuò)誤隱藏是一種解碼端的后處理技術(shù)，其優(yōu)點(diǎn)是不需要增加編碼端的負(fù)擔(dān)，充分利用時(shí)空域和視點(diǎn)間的高度相關(guān)性恢復(fù)受損的視頻，更適合這種編碼復(fù)雜度高的編碼模式。

文獻(xiàn)[4-6]討論了多視點(diǎn)視頻錯(cuò)誤隱藏的情況。其中文獻(xiàn)[4]介紹的方法在于得到受損區(qū)域運(yùn)動(dòng)矢量，而文獻(xiàn)[5-6]旨在直接恢復(fù)受損區(qū)域紋理信息。文獻(xiàn)[4]研究了在整幀丟失情況下的一種快速隱藏算法，它首先將常用的六參數(shù)多視點(diǎn)視頻圖像的全局視差模型簡(jiǎn)化到2個(gè)參數(shù)，得出2個(gè)視點(diǎn)相應(yīng)塊具有一致的運(yùn)動(dòng)場(chǎng)，然后根據(jù)全局視差找到丟失宏塊在所依賴視點(diǎn)中的相應(yīng)宏塊，并將此相應(yīng)宏塊的運(yùn)動(dòng)矢量和模式照搬于丟失宏塊進(jìn)行恢復(fù)。

文獻(xiàn)[5-6]都是為了直接得到丟失區(qū)域紋理理信息，但方法不同。文獻(xiàn)[5]通過(guò)對(duì)丟失塊在時(shí)間和視點(diǎn)方向的最優(yōu)匹配塊進(jìn)行加權(quán)恢復(fù)出丟失塊。首先引用解碼端運(yùn)動(dòng)矢量估計(jì)[7]找出丟失塊的運(yùn)動(dòng)矢量，并與預(yù)先設(shè)定的門限比較，從而判定丟失塊是快速或慢速運(yùn)動(dòng)塊。若為快速運(yùn)動(dòng)塊，視點(diǎn)間隱藏效果要比時(shí)間隱藏效果好，因此來(lái)自視點(diǎn)間的最優(yōu)匹配塊比時(shí)間最優(yōu)匹配塊應(yīng)分配更大的權(quán)值，反之亦然。而文獻(xiàn)[6]介紹的4-D頻率選擇性外插算法是一種適合多視點(diǎn)視頻的錯(cuò)誤隱藏算法，同時(shí)利用丟失區(qū)域空間上的鄰域像素值、時(shí)域方向的前后幀及相鄰攝像機(jī)視點(diǎn)的信息來(lái)恢復(fù)丟失塊。此算法需要建立一個(gè)四維函數(shù)模型，這個(gè)函數(shù)模型是相互正交的四維基礎(chǔ)函數(shù)的加權(quán)線性組合。通常，一組四維基礎(chǔ)函數(shù)可由4-D離散傅立葉變換組成的函數(shù)構(gòu)成，通過(guò)選擇4-D離散傅立葉變換基礎(chǔ)函數(shù)及擴(kuò)展系數(shù)使建立的四維函數(shù)模型覆蓋受損區(qū)域，即可恢復(fù)受損的視頻區(qū)域。

3.2 基于雙目預(yù)測(cè)結(jié)構(gòu)的立體視頻差錯(cuò)控制技術(shù)

圖2所示預(yù)測(cè)框架的雙目序列作為最簡(jiǎn)單的多視點(diǎn)視頻，其差錯(cuò)控制方案是多視點(diǎn)視頻中研究得相對(duì)較多的。下面分別從編碼端差錯(cuò)復(fù)原編碼、解碼端錯(cuò)誤隱藏2個(gè)不同角度介紹基于這種框架下的立體視頻差錯(cuò)控制技術(shù)。

在編碼端，常見的視頻差錯(cuò)復(fù)原編碼有分層編碼和多描述編碼。分層編碼是可分級(jí)編碼的一種特殊情況，將視頻分成基本層和若干個(gè)增強(qiáng)層來(lái)適應(yīng)網(wǎng)絡(luò)帶寬的波動(dòng)性以及不同的終端用戶需要，并與傳輸中的不平等差錯(cuò)保護(hù)相結(jié)合。文獻(xiàn)[8]根據(jù)優(yōu)先級(jí)將立體視頻分為3層。優(yōu)先級(jí)指的是不同的幀對(duì)整個(gè)立體視頻視覺(jué)質(zhì)量的影響程度。根據(jù)圖2所示的預(yù)測(cè)關(guān)系，如果丟失左視點(diǎn)的I幀，會(huì)導(dǎo)致錯(cuò)誤在其后由運(yùn)動(dòng)補(bǔ)償和視差補(bǔ)償而生成的左視點(diǎn)和右視點(diǎn)序列中擴(kuò)散，因此左視點(diǎn)序列的I幀相對(duì)來(lái)說(shuō)最重要；其次，左視點(diǎn)的P幀獨(dú)立于右視點(diǎn)進(jìn)行編碼，且供右視點(diǎn)幀進(jìn)行視差預(yù)測(cè)，所以左視點(diǎn)的P幀重要性排第二；優(yōu)先級(jí)最差的是右視點(diǎn)的P幀。然后，將不同優(yōu)先級(jí)的立體視頻與不平等差錯(cuò)保護(hù)策略相結(jié)合，進(jìn)而提升了錯(cuò)誤保護(hù)能力。

抵抗傳輸錯(cuò)誤的另一種方法是多描述編碼。目前，關(guān)于立體視頻的多描述編碼的研究比較少，其中以文獻(xiàn)[9]提出的兩種方案最有代表性。方案一基于空間可分級(jí)生成兩個(gè)描述：在描述1中包括以原始空間分辨力編碼的左幀和經(jīng)過(guò)空間下采樣后的右?guī)幻枋?則由以原始空間分辨力編碼的右?guī)徒?jīng)過(guò)空間下采樣后的左幀構(gòu)成。這種方案適合視點(diǎn)間相關(guān)度較低的序列，此時(shí)冗余度低于10%。方案二則基于文獻(xiàn)[10]中提到的多狀態(tài)思想，將左、右序列的奇數(shù)幀作為描述1，而左、右序列的偶數(shù)幀作為描述2。這種方案適合于視點(diǎn)間相關(guān)度比較高的立體視頻序列。

在解碼端，除了可利用空間和時(shí)間的相關(guān)性外，基于雙目序列的錯(cuò)誤隱藏技術(shù)能否充分利用視點(diǎn)間的相關(guān)性來(lái)提高錯(cuò)誤隱藏性能是關(guān)鍵，因?yàn)槔靡粋€(gè)正確的視差矢量比用一個(gè)錯(cuò)誤的運(yùn)動(dòng)矢量甚至一個(gè)正確的運(yùn)動(dòng)矢量來(lái)重建丟失塊的效果都要好[11]，這是因?yàn)樽?、右雙目（人眼的距離為62～76 mm）視頻的差別極小。文獻(xiàn)[11]利用重疊塊補(bǔ)償修復(fù)右視點(diǎn)中發(fā)生錯(cuò)誤的塊。首先根據(jù)塊匹配準(zhǔn)則[12]從受損宏塊周圍的正確傳輸宏塊中選擇一個(gè)最優(yōu)的矢量，為由最優(yōu)矢量所確定的替代塊分配最高的權(quán)值，同時(shí)根據(jù)這個(gè)矢量是運(yùn)動(dòng)或視差矢量確定一個(gè)最優(yōu)視點(diǎn)，為來(lái)自最優(yōu)視點(diǎn)的替代塊分配比來(lái)自其他視點(diǎn)的塊較大的權(quán)值；然后對(duì)這些侯選替代塊的每個(gè)像素值進(jìn)行加權(quán)平均得到一個(gè)新的替代塊，這種錯(cuò)誤隱藏方法也較容易推廣到基于圖1預(yù)測(cè)結(jié)構(gòu)的情況。

然而當(dāng)傳輸錯(cuò)誤導(dǎo)致一個(gè)片或一整幀不能正確解碼時(shí)，文獻(xiàn)[11]的方法則不能運(yùn)用于這種情況下的錯(cuò)誤隱藏。文獻(xiàn)[13]討論了右?guī)麕瑏G失的情況，此時(shí)可根據(jù)視差矢量的時(shí)間相關(guān)性、預(yù)測(cè)模式的時(shí)間和空間相關(guān)性進(jìn)行恢復(fù)。

3.3 單視點(diǎn)彩色圖加深度圖結(jié)構(gòu)的差錯(cuò)控制技術(shù)

深度圖實(shí)際上是一幅灰度圖，與相對(duì)應(yīng)的單視點(diǎn)彩色圖具有相同的空間分辨力，它的每一個(gè)像素表示彩色圖中對(duì)應(yīng)的像素在三維場(chǎng)景中的位置。正是基于深度圖和彩色圖之間這種關(guān)聯(lián)性，這兩種圖具有大致相同的運(yùn)動(dòng)矢量[14]。因此，在某些特定的碼流限制場(chǎng)合下，可以采用運(yùn)動(dòng)矢量共享的原理進(jìn)行壓縮，即不編碼深度圖的運(yùn)動(dòng)矢量，在解碼時(shí)直接由彩色圖的運(yùn)動(dòng)矢量替代深度圖的運(yùn)動(dòng)矢量。文獻(xiàn)[15]將運(yùn)動(dòng)矢量共享這種思路移植到差錯(cuò)隱藏中：當(dāng)深度圖的運(yùn)動(dòng)矢量在傳輸中丟失時(shí)，將相應(yīng)正確接收到的彩色視頻幀的運(yùn)動(dòng)矢量作為深度圖的運(yùn)動(dòng)矢量進(jìn)行修復(fù)；文獻(xiàn)[16]進(jìn)一步將這種方法與邊界匹配準(zhǔn)則結(jié)合，當(dāng)彩色圖的運(yùn)動(dòng)矢量丟失時(shí)，將深度圖中對(duì)應(yīng)塊與丟失區(qū)域鄰域塊及參考幀對(duì)應(yīng)塊的運(yùn)動(dòng)矢量、零運(yùn)動(dòng)矢量及中值/均值運(yùn)動(dòng)矢量一并作為丟失彩色圖的侯選運(yùn)動(dòng)矢量，然后按照邊界匹配準(zhǔn)則選取最優(yōu)的運(yùn)動(dòng)矢量，實(shí)驗(yàn)證明這種方法是有效的。

除了可充分利用深度圖與彩色圖的運(yùn)動(dòng)矢量之間的相關(guān)性來(lái)恢復(fù)丟失塊，文獻(xiàn)[17]將基于可分級(jí)的多描述編碼方法運(yùn)用于此編碼結(jié)構(gòu)，將彩色圖作為基本層，將經(jīng)空間下采樣后的深度圖和原始空間分辨力的彩色圖分別作為增強(qiáng)層1和增強(qiáng)層2，然后每層都利用文獻(xiàn)[10]中提到的多狀態(tài)的思想分成兩個(gè)描述，分別經(jīng)不同網(wǎng)絡(luò)路徑傳輸。這種可分級(jí)的多描述編碼方案不僅可以對(duì)抵抗包丟失等差錯(cuò)有較好的穩(wěn)健性，且對(duì)網(wǎng)絡(luò)帶寬波動(dòng)及用戶終端接收設(shè)備特性有較好的適應(yīng)性。

4 總結(jié)

隨著多視點(diǎn)視頻的商業(yè)用途越來(lái)越廣泛，對(duì)多視點(diǎn)視頻的差錯(cuò)控制技術(shù)的研究也日益受到重視。對(duì)于多視點(diǎn)視頻，錯(cuò)誤隱藏也許會(huì)更加普遍和適用，因?yàn)槎嘁朁c(diǎn)提供了除時(shí)間和空間相關(guān)性之外的視點(diǎn)間相關(guān)性。差錯(cuò)復(fù)原編碼（分層編碼、多描述編碼）雖然降低了編碼效率，但對(duì)于在帶寬波動(dòng)比較劇烈、噪聲比較大或是丟包率比較高的信道上傳輸時(shí)是一種較優(yōu)的選擇方式，仍是未來(lái)有價(jià)值的研究鄰域之一。

[1]MERKLEP，SMOLICA，MULLERK，etal.Efficientpredictionstructures for multiview video coding[J].IEEE Trans.Circuits and Systems for Video Technology，2007，17（11）：1461-1473.

[2]FEHN C.Depth-Image-Based Rendering(DIBR),compression and transmission for a new approach on 3DTV[J].Proceedings of SPIE Stereoscopic Displays and Virtual Reality Systems XI，2004（1）：93-104.

[3]FEHN C，DE R，BARRE L，et al.Interactive 3-D TV∶Concepts and key technologies[J].Proceedings of the IEEE，2006（94）： 524-538.

[4]LIU Shujie，CHEN Ying，WANG Ye-kui，et al.Frame loss error concealment for multiview video coding[C]//Proc.IEEE International Symposium on Circuits and Systems，2008.[S.l.]：IEEE Press，2008：3470-3473.

[5]CHUNG T，SONG K，KIM C-S.Error concealment techniques for multi-view video sequences[M]//Advances in Multimedia Information Processing-PCM 2007：Volume 4810.[S.l.]：Springer Berlin/Heidelberg，2007：619-627.

[6]FECKER U，SEILER J，KAUP A.4-D frequency selective extrapolation for error concealment in multi-view video[C]//Proc.2008 IEEE 10th Workshop on Multimedia Signal Processing.[S.l.]：IEEE Press，2008：267-272.

[7]ZHANG J，ARNOLD J F，F(xiàn)RATER M R.A cell-loss concealment technique for MPEG-2 coded video[J].IEEE Trans.Circuit Syst.Video Technol.，2000，6（10）： 659-665.

[8]TAN A S，AKSAY A，BILEN C，et al.Error resilient layered stereoscopic video streaming[C]//Proceedings of the International Conference on True Vision Capture，Transmission and Display of 3D Video(3DTV′07).Kos Island，Greece：[s.n.]，2007.

[9]NORKIN A，AKSAY A，BILEN C，et al.Schemes for multiple description coding of stereoscopic video[M]//Multimedia Content Representation,Classification and Security：Volume 4105.[S.l.]：Springer Berlin/Heidelberg，2006：730-737.

[10]APOSTOLOPOULOS J G.Error-resilient video compression via multiple state streams[C]//Proc.of Int.Workshop on Very Low Bit rate Video Coding，1999.Kyoto，Japan：[s.n.]，1999：168-171.

[11]XIANG Xinguang，ZHAO Debin， WANG Qiang，et al.A novel error concealment method for stereoscopic video coding[C]//Proc.2007 IEEE International Conference on Image Processing：Volume 5.[S.l.]：IEEE Press，2007：101-104.

[12]CHEN T，ZHANG X，SHI Y Q.Error concealment using refined boundary matching algorithm[C]//Proc.IEEE Int.Conf.Inf.Technol.Res.Educat.[S.l.]：IEEE Press，2003：55-59.

[13]PANG Linjuan，YU Mei，JIANG Gangyi，et al.An approach to error concealment for entire right frame loss in stereoscopic video transmission[C]//Proc.2006 International Conference on Computational Intelligence and Security.[S.l.]：IEEE Press，2006：1665-1670.

[14]GREWATSCH S，MULLER E.Sharing of motion vectors in 3D video coding [C]//International conference on Image processing（ICIP），2004.[S.l.]：IEEE Press，2004：3271-3274.

[15]HEWAGE C T E R，WORRALL S T，DOGAN S，et al.A novel frame concealment method for depth maps using corresponding colour motion vectors[C]//3DTV Conference 2008.Istanbul，Turkey：[s.n.]，2008：149-152.

[16]YAN Bo.A novel H.264 based motion vector recovery method for 3D video transmission[J].IEEE Trans.Consumer Electronics，2007，11（53）：1546-1552.

[17]KARIM H A，HEWAGE C T E R，WORRALL S，et al.Scalable multiple description video coding for stereoscopic 3D [J].IEEE Trans.Consumer Electronics，2008，5（54）： 745-752.