面向移動(dòng)立體電視的高容錯(cuò)編碼方案設(shè)計(jì)*

周 洋 ，彭宗舉 ，張 云

（1.杭州電子科技大學(xué) 通信工程學(xué)院，浙江 杭州 310018；2.寧波大學(xué) 信息科學(xué)與工程學(xué)院，浙江 寧波 315211）

1 引言

隨著立體顯示技術(shù)的不斷發(fā)展，立體視頻服務(wù)已越來(lái)越貼近廣大消費(fèi)者，應(yīng)用在手機(jī)立體電視等移動(dòng)終端中[1]。與傳統(tǒng)的單通道視頻相比，立體視頻需兩路信號(hào)，要處理的數(shù)據(jù)量成倍增加，僅僅依靠網(wǎng)絡(luò)帶寬的提高和存儲(chǔ)容量的提升是無(wú)法從根本上解決這個(gè)問(wèn)題的，需要采用高效的視頻壓縮技術(shù)，才能對(duì)立體視頻數(shù)據(jù)進(jìn)行有效的存儲(chǔ)和傳輸。但是視頻信號(hào)在傳輸中，尤其是在無(wú)線網(wǎng)絡(luò)中傳輸，傳輸差錯(cuò)是不可避免的，應(yīng)在編碼中考慮壓縮后視頻流傳輸?shù)姆€(wěn)健性。

早期的立體視頻編碼是以MPEG-2編碼標(biāo)準(zhǔn)為基礎(chǔ)，文獻(xiàn)[2]在MPEG-2標(biāo)準(zhǔn)上提出了3種編碼方案，其中聯(lián)合運(yùn)動(dòng)補(bǔ)償預(yù)測(cè) （Motion Compensation Prediction，MCP）和視差補(bǔ)償預(yù)測(cè)（Disparity Compensation Prediction，DCP）的編碼方案最佳。目前的立體視頻編碼大多是基于H.264編碼標(biāo)準(zhǔn)來(lái)實(shí)現(xiàn)的，典型的立體編碼方法有 Simulcast編碼法[3]、運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)加視差補(bǔ)償預(yù)測(cè)（MCP+DCP）的編碼法[4]和單視點(diǎn)圖像加對(duì)應(yīng)深度圖的編碼法[5]。

以上立體視頻編碼主要以獲得更高的壓縮效率為目的，并未考慮壓縮后視頻流的抗差錯(cuò)能力。另外，H.264等視頻壓縮標(biāo)準(zhǔn)都使用了預(yù)測(cè)編碼和可變長(zhǎng)編碼，使得經(jīng)過(guò)壓縮的數(shù)據(jù)流對(duì)于傳輸差錯(cuò)特別敏感。因此，為了提高移動(dòng)立體視頻編碼的抗差錯(cuò)性能，筆者引入靈活宏塊排序技術(shù)（Flexible Macroblock Order，F(xiàn)MO），將左右視點(diǎn)圖像進(jìn)行交織，從而使壓縮數(shù)據(jù)流的容錯(cuò)性得到改善，同時(shí)也具有良好的率失真性能。

2 高容錯(cuò)立體視頻編碼

圖1為本文立體視頻編碼方案的預(yù)測(cè)結(jié)構(gòu)，左視點(diǎn)圖像存放在頂場(chǎng)中，右視點(diǎn)圖像存放在底場(chǎng)中，將左右圖像以宏塊為單位進(jìn)行交織后合成如圖2所示的棋盤(pán)形分布圖。為了與單視點(diǎn)視頻服務(wù)保持兼容，立體視頻編碼預(yù)測(cè)結(jié)構(gòu)中的左視點(diǎn)圖像（圖2中白色區(qū)域）采用基于H.264編碼標(biāo)準(zhǔn)進(jìn)行獨(dú)立壓縮編碼，預(yù)測(cè)結(jié)構(gòu)采用IPPP。右視點(diǎn)圖像（圖2中黑色區(qū)域）除了參考先前時(shí)刻的相鄰幀進(jìn)行運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)外，還利用視點(diǎn)間相關(guān)性，參考左視點(diǎn)相鄰幀進(jìn)行視差補(bǔ)償預(yù)測(cè)，提高編碼的率失真性能。

新的H.264/AVC標(biāo)準(zhǔn)[6]定義了立體視頻信息的補(bǔ)充增強(qiáng)信息 （Supplemental Enhancement Information，SEI），用來(lái)表示立體視頻編碼中的一些輔助信息。因此可通過(guò)修改SEI語(yǔ)法元素來(lái)實(shí)現(xiàn)立體視頻編碼，同時(shí)由于只修改SEI內(nèi)容，還能使碼流保持良好的前向兼容性。立體視頻編碼程序的具體實(shí)現(xiàn)步驟為：

1）將SEI中的field_views_flag設(shè)置為1，表示采用場(chǎng)編碼方式。并將top_field_is_left_view_flag設(shè)置為1，使頂場(chǎng)存放左視點(diǎn)圖像，底場(chǎng)存放右視點(diǎn)圖像。這樣，一幀圖像的頂場(chǎng)和底場(chǎng)分別對(duì)應(yīng)立體視頻序列的左、右視點(diǎn)圖像。

2）為使用戶能自由選擇觀看立體視頻或單通道視頻，同時(shí)與傳統(tǒng)的單通道視頻服務(wù)保持兼容，這便要求立體視頻流既能完全解碼成2個(gè)通道的數(shù)據(jù)，也能只解碼1個(gè)通道的數(shù)據(jù)。因此，將語(yǔ)法元素left_view_self_contained_flag設(shè)置為1，將left_view_self_contained_flag設(shè)置為0，即左通道視頻只采用運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)，而右通道視頻采用運(yùn)動(dòng)補(bǔ)償加視差補(bǔ)償?shù)穆?lián)合預(yù)測(cè)方法。

3）采用H.264標(biāo)準(zhǔn)中FMO模式中的棋盤(pán)型模式，將各片通過(guò)宏塊分配映射表，將左右視點(diǎn)圖像交織成如圖2所示的宏塊位置分布圖，其中白色區(qū)域?yàn)轫攬?chǎng)，黑色區(qū)域?yàn)榈讏?chǎng)。最后，頂場(chǎng)和底場(chǎng)合成一幀通過(guò)H.264/AVC編碼器實(shí)現(xiàn)立體視頻壓縮編碼。

整個(gè)具有高容錯(cuò)性的棋盤(pán)式立體視頻編碼的實(shí)現(xiàn)框圖如圖3所示。

圖3 棋盤(pán)式立體視頻編碼實(shí)現(xiàn)框圖

3 實(shí)驗(yàn)分析

3.1 率失真性能

為了測(cè)試本文方法的優(yōu)劣，實(shí)驗(yàn)仿真了Simulcast法[3]，DCP+MCP法[4]及本文方法的率失真性能。測(cè)試序列選用韓國(guó)ETRI研究所的標(biāo)準(zhǔn)立體視頻序列Puppy（見(jiàn)圖4）,其分辨力為720×480，具體的仿真參數(shù)設(shè)置見(jiàn)表1。

圖4 Puppy序列的左右視點(diǎn)圖像

表1 實(shí)驗(yàn)仿真參數(shù)設(shè)定表

圖5為各編碼算法的率失真性能曲線。由圖5可知，本文算法性能優(yōu)于單通道獨(dú)立編碼的Simulcast法，由于采用了聯(lián)合運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)和視差補(bǔ)償預(yù)測(cè)，能實(shí)現(xiàn)與MCP+DCP法相似的率失真性能，但是本文算法是在SEI中改寫(xiě)語(yǔ)法元素代碼實(shí)現(xiàn)的，比傳統(tǒng)的MCP+DCP法具有更好的與H.264標(biāo)準(zhǔn)的兼容性。

圖5 Puppy序列率失真性能曲線

3.2 抗差錯(cuò)性能

壓縮后的視頻流在傳輸中，尤其是在無(wú)線傳輸中，由于信道擾動(dòng)或網(wǎng)絡(luò)擁塞常常會(huì)出現(xiàn)數(shù)據(jù)包丟失，從而導(dǎo)致解碼出錯(cuò)且錯(cuò)誤不斷傳遞，影響觀看質(zhì)量。對(duì)此，本方案采用了上下場(chǎng)宏塊交織的棋盤(pán)形排列片組編碼方式，當(dāng)圖像中的某片丟失時(shí)，由于交織的作用，其周邊相關(guān)性大的相鄰塊并未丟失，有利于丟失區(qū)域的恢復(fù)。為了分析本文算法的抗差錯(cuò)性能，將本文算法與具有良好率失真性能的MCP+DCP法的錯(cuò)誤恢復(fù)性能進(jìn)行了比較。仿真中編碼碼流的QP值為28，設(shè)右視點(diǎn)某幀圖像的片丟失率為10%。

圖6為出錯(cuò)的右視點(diǎn)第6幀圖像，其中圖6a為普通出錯(cuò)類型，圖6b為經(jīng)棋盤(pán)形交織后的出錯(cuò)類型，出錯(cuò)幀經(jīng)H.264校驗(yàn)軟件JM10.2中的差錯(cuò)隱藏程序[7]進(jìn)行錯(cuò)誤恢復(fù)。圖7a和圖7b分別為MCP+DCP法和本文算法編碼后碼流的差錯(cuò)恢復(fù)結(jié)果，本文算法解碼后圖像的PSNR值比MCP+DCP法提高0.59 dB。

為了進(jìn)一步驗(yàn)證本文方法的抗差錯(cuò)性能，對(duì)編碼QP值分別為22，28，34，40的碼流在傳輸中出錯(cuò)的差錯(cuò)恢復(fù)性能進(jìn)行仿真。設(shè)片丟失率為10%，出錯(cuò)區(qū)域分別位于視頻序列的不同幀、不同位置，通過(guò)重復(fù)實(shí)驗(yàn)獲得平均PSNR值。表2為不同QP值下本文方法與MCP+DCP法的容錯(cuò)性比較結(jié)果。它表明相比于采用傳統(tǒng)MCP+DCP編碼框架，在QP值為28時(shí)，本文方法的容錯(cuò)性能提高0.51 dB，并隨著QP值的減小，平均PSNR增益更顯著。

表2 不同QP值下的平均PSNR增益/dB

4 小結(jié)

通過(guò)H.264/AVC標(biāo)準(zhǔn)中的立體視頻SEI來(lái)實(shí)現(xiàn)立體視頻編碼，直接與H.264兼容，無(wú)須改寫(xiě)現(xiàn)有的視頻編解碼器。同時(shí)針對(duì)移動(dòng)無(wú)線視頻流傳輸易出錯(cuò)的問(wèn)題，在編碼中利用FMO技術(shù)，將左右視點(diǎn)圖像宏塊交織成棋盤(pán)形分布的排列形式，提高了傳輸?shù)娜蒎e(cuò)性。此外，采用聯(lián)合視差補(bǔ)償預(yù)測(cè)和運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)的編碼結(jié)構(gòu)，具有良好的率失真性能。

[1]TECH G，SMOLIC A，WIEGAND T,et al.Optimization and comparison of coding algorithms for mobile 3DTV[C/OL]//Proc.3DTV Conference,2009.Potsdam， Germany：3DTV-CON， 2009[2009-09-01].http：//sp.cs.tut.fi/mobile3dtv/results/conference/16_Tech%20et%20al_May09.pdf.

[2]張勇東，李桂苓.基于MPEG-2的3DTV視頻編碼方案的研究[J].電視技術(shù)，2000，24（9）：15-16.

[3]SMOLIC A， MULLER K， OSTERMANN J， et al.Coding algorithms for 3DTV－a survey[J].IEEE Trans.Circuits and Systems for Video Technology，2007，17（11）：1606-1621.

[4]李世平，蔣剛毅，郁梅.基于H.264的立體視頻編碼方法[J].計(jì)算機(jī)工程與應(yīng)用，2005，41（1）：77-79.

[5]METKLE P， WANG Y， MULLER K，et al.Video plus depth compression for mobile 3D services[C/OL]//Proc.3DTV Conference，2009.Potsdam,Germany： 3DTV-CON， 2009.[2009-09-01].http：//sp.cs.tut.fi/mobile3dtv/results/conference/13_MerkleBrust20et%20al_May09.pdf.

[6]ITU-T Recommendation H.264.Advanced video coding for generic audiovisual services[S].2007.

[7]JVT reference software[EB/OL].[2009-03-07].http：//iphome.hhi.de/suehring/tml/download/old_jm/.