H.264視頻編碼多參考幀抗誤碼性能的研究

王瑩++王華

摘 要

數(shù)字視頻編碼技術(shù)是數(shù)字電視、視頻會(huì)議/遠(yuǎn)程監(jiān)控、視頻點(diǎn)播、遍入千家萬(wàn)戶的VCD/DVD，以及新一代移動(dòng)通信等應(yīng)用核心技術(shù)。H.264作為最新的視頻編碼標(biāo)準(zhǔn)，能夠在盡可能低的碼率（或存儲(chǔ)容量）下獲得盡可能好的圖像質(zhì)量。但隨著市場(chǎng)對(duì)圖像傳輸需求的增加，如何適應(yīng)不同信道傳輸特性的問(wèn)題也日益顯現(xiàn)出來(lái)。本文針對(duì)H.264視頻的編碼與解碼的性能與效率展開(kāi)研究，采用兩種不同格式的標(biāo)準(zhǔn)圖像序列，選擇多參考幀進(jìn)行運(yùn)動(dòng)預(yù)測(cè)和運(yùn)動(dòng)補(bǔ)償，分別在編碼端和解碼端進(jìn)行仿真測(cè)試，比較各自的信噪比及壓縮碼率，從而為我們?cè)谟邢拶Y源的前提下，為解碼端的抗誤碼性能與編碼端參考幀的數(shù)量、編碼效率以及計(jì)算復(fù)雜度之間做出合理的判斷和權(quán)衡。

【關(guān)鍵詞】H.264 視頻編碼 多參考幀 性能

數(shù)字視頻編碼技術(shù)是數(shù)字電視、視頻會(huì)議/遠(yuǎn)程監(jiān)控、視頻點(diǎn)播、遍入千家萬(wàn)戶的VCD/DVD，以及新一代移動(dòng)通信等應(yīng)用核心技術(shù)。H.264作為最新的視頻編碼標(biāo)準(zhǔn)，能夠在盡可能低的碼率（或存儲(chǔ)容量）下獲得盡可能好的圖像質(zhì)量。但隨著市場(chǎng)對(duì)圖像傳輸需求的增加，如何適應(yīng)不同信道傳輸特性的問(wèn)題也日益顯現(xiàn)出來(lái)。

由于H.264優(yōu)越性能是以計(jì)算復(fù)雜度的增加為代價(jià)的，因此針對(duì)解決資源有限、解碼端的抗誤碼性能、編碼端參考幀的數(shù)量、編碼效率以及計(jì)算復(fù)雜度之間關(guān)系問(wèn)題成為H.264應(yīng)用研究的一項(xiàng)重要內(nèi)容。

1 H.264視頻編碼

H.264是國(guó)際化標(biāo)準(zhǔn)組織JVT和MPEG聯(lián)合制定的一套最新的視頻壓縮標(biāo)準(zhǔn)。H.264視頻編解碼器是由幀內(nèi)預(yù)測(cè)、運(yùn)動(dòng)估計(jì)、運(yùn)動(dòng)補(bǔ)償、離散余弦變換、量化、塊濾波、重排序和熵編碼等功能單元組成的，提高了編碼效率和圖像質(zhì)量，具有較強(qiáng)的抗誤碼特性，可適應(yīng)丟包率高、干擾嚴(yán)重的信道中的視頻傳輸。

在編碼一個(gè)視頻序列的時(shí)候，首先，讀入第一幀，將其當(dāng)作I幀，進(jìn)行幀內(nèi)編碼，這樣，無(wú)須用其它幀來(lái)對(duì)此幀進(jìn)行預(yù)測(cè)。這樣，要對(duì)關(guān)鍵幀，即進(jìn)行幀內(nèi)預(yù)測(cè)編碼的幀進(jìn)行分析，以確定采取何種幀內(nèi)預(yù)測(cè)方式，來(lái)消除當(dāng)前幀內(nèi)的數(shù)據(jù)冗余信息。接下來(lái)，進(jìn)行離散余弦變換和量化，然后采用Z形掃描將二維的冗余數(shù)據(jù)塊轉(zhuǎn)成一維的數(shù)列，最后，采用CAVLC和CABAC方法來(lái)進(jìn)行熵編碼。

隨后，將接下來(lái)讀入的幀設(shè)定為P幀，P幀不作幀內(nèi)預(yù)測(cè)，而是進(jìn)行幀間預(yù)測(cè)，所以需要用P幀的前一幀來(lái)對(duì)其進(jìn)行預(yù)測(cè)，稱之為幀間預(yù)測(cè)。幀間預(yù)測(cè)能很大程度的消除幀與幀在時(shí)間上的冗余信息，主要由運(yùn)動(dòng)估計(jì)、運(yùn)動(dòng)補(bǔ)償組成，做完運(yùn)動(dòng)估計(jì)后，同樣的，對(duì)冗余的數(shù)據(jù)塊進(jìn)行離散余弦變換、量化、Z形掃描和熵編碼。同時(shí)，在做幀間預(yù)測(cè)的時(shí)候，需要用當(dāng)前幀的前一幀來(lái)作為參考幀，所以在編碼完一個(gè)幀的同時(shí)，對(duì)其進(jìn)行解碼，形成重構(gòu)幀，此幀用來(lái)對(duì)下一幀進(jìn)行預(yù)測(cè)。由于重構(gòu)幀中的圖像的邊緣部分噪聲較多，容易產(chǎn)生預(yù)測(cè)誤差。所以，H.264中引入了塊濾波技術(shù)，濾除噪聲信號(hào)，最大程度的恢復(fù)原始圖像的效果。

在H.264視頻編碼標(biāo)準(zhǔn)中的抗誤碼性能主要有5個(gè)特性：

（1）多參考幀（Multiple reference fra- mes）；（2）SP/SI幀（SP/SI frames）；（3）條結(jié)構(gòu)編碼（Slice structured coding）；（4）數(shù)據(jù)分割（Data partitioning）；（5）幀內(nèi)編碼幀或幀內(nèi)編碼塊的更新（Intra frame or intra micro-block updates）。這里主要研究多參考幀對(duì)抗誤碼性能的影響。

2 多參考幀

編碼圖像分成三種類型：I幀、P幀和B幀。I幀獨(dú)立編碼，不依賴于前面編碼的圖像數(shù)據(jù)，利用視頻圖像的空間相關(guān)性進(jìn)行壓縮編碼，也稱為幀內(nèi)編碼幀。P幀利用先前編碼的圖像數(shù)據(jù)進(jìn)行預(yù)測(cè)，也稱為幀間編碼幀，或預(yù)測(cè)幀。B幀參考先前編碼的I、P幀和隨后的一幀進(jìn)行雙向預(yù)測(cè)，P、B幀均利用圖像的時(shí)域相關(guān)性進(jìn)行預(yù)測(cè)編碼。用來(lái)對(duì)編碼圖像進(jìn)行預(yù)測(cè)的圖像稱為參考幀。

H.264協(xié)議中允許在運(yùn)動(dòng)預(yù)測(cè)中將當(dāng)前幀之前的幾幀中的任一幀選定為參考幀。在使用這種多參考幀的模式情況下，對(duì)某一個(gè)MB進(jìn)行運(yùn)動(dòng)預(yù)測(cè)時(shí)，編碼器會(huì)從過(guò)去的幀中選定一幀或幾幀作為參考幀，以達(dá)到最佳的預(yù)測(cè)效果。圖1給出了在編碼端多參考幀的示意圖，當(dāng)前幀第n幀中的三個(gè)塊分別由之前的第n-1幀、第n-3幀、第n-4幀預(yù)測(cè)得到。

3 仿真測(cè)試

3.1 仿真測(cè)試軟件及參數(shù)設(shè)定

仿真測(cè)試軟件是JVT的聯(lián)合模型（Joint Model）JM73，其仿真測(cè)試環(huán)境和編碼參數(shù)設(shè)定如下：使用主層（Main Profile），采用Hadamard變換； CACBC熵解碼；分別使用1-5個(gè)參考幀；運(yùn)行率失真優(yōu)化；I幀和P幀的量化參數(shù)相同且為28，B幀的量化參數(shù)為30；最大搜索窗口為16；搜索范圍沒(méi)有限制；使用數(shù)據(jù)分割。然后選取具有不同運(yùn)動(dòng)和空間信息的QCIF及CIF典型測(cè)試序列，分別使用不同的參考幀數(shù)目在編碼端選擇與解碼端進(jìn)行測(cè)試。其測(cè)試序列選取見(jiàn)表1。

3.2 編碼端測(cè)試

通常來(lái)說(shuō)，評(píng)定一個(gè)視頻系編碼系統(tǒng)的優(yōu)劣主要性能指標(biāo)有：編碼比特率、編碼時(shí)間和編碼信噪比。它們分別從壓縮比、編碼效率和圖像失真度三個(gè)不同側(cè)面反映一個(gè)視頻編碼系統(tǒng)的綜合性能。

在30Hz的頻率下，對(duì)兩種不同格式，不同幀長(zhǎng)的4個(gè)圖像序列進(jìn)行編碼，通過(guò)在編碼端參考幀對(duì)序列IPP與IBP進(jìn)行編碼，得到不同的編碼速率性能曲線如圖2所示，平均亮度（色度）信噪比性能曲線如圖3所示。

從圖2中可以看出，無(wú)論哪種格式的圖像序列，參考幀數(shù)越多，圖像壓縮的比特率越少；同樣運(yùn)動(dòng)比較劇烈的圖像序列的比特率要比運(yùn)動(dòng)緩慢的圖像序列的比特率大，這是因?yàn)檫x取的參考幀數(shù)多了，圖像的相關(guān)性也就越強(qiáng)了，降低了時(shí)間和空間上的冗余。

從圖3中可以看出，不論何種格式的圖像序列，選取的參考幀數(shù)越多，圖像的亮度信噪比越大，而且運(yùn)動(dòng)比較劇烈的圖像序列的亮度信噪比要比運(yùn)動(dòng)緩慢的圖像序列的信噪比小，但是圖像編碼時(shí)間就變得越長(zhǎng)，這是因?yàn)殡S著參考幀數(shù)的增加，使得運(yùn)動(dòng)估值變得越來(lái)越準(zhǔn)確，提高了運(yùn)動(dòng)補(bǔ)償?shù)木幋a效率。

3.3 解碼端測(cè)試

編碼端對(duì)圖像序列進(jìn)行編碼后，碼流打包，經(jīng)過(guò)不同丟包的情況，在信道上傳輸，解碼端恢復(fù)圖像序列。

這里給出了container序列與tempete序列的測(cè)試結(jié)果，見(jiàn)表2。

其中：選擇模式3表示被壓縮的圖像在信道上傳輸時(shí)，大約丟包率為3.3%；選擇模式5表示被壓縮的圖像在信道上傳輸時(shí)，大約丟包率為5.6%。

對(duì)QCIF格式的圖像序列在解碼端的主觀圖像如圖4所示；對(duì)CIF格式的圖像序列在解碼端的主觀圖像如圖5所示。

由圖4和圖5的主觀圖像中可以看出，編碼端參考幀數(shù)選取的越多，碼流打包后，解碼端獲得的圖像質(zhì)量越好，原因同解碼端一樣，都是因?yàn)檫\(yùn)動(dòng)估值較為準(zhǔn)確，運(yùn)動(dòng)補(bǔ)償?shù)男实玫教岣叩慕Y(jié)果。

4 結(jié)論

由于H.264編碼端的計(jì)算復(fù)雜度和編碼時(shí)間的最重要瓶頸在于運(yùn)動(dòng)估值和運(yùn)動(dòng)補(bǔ)償。采用多參考幀運(yùn)動(dòng)補(bǔ)償，擴(kuò)大的運(yùn)動(dòng)搜索范圍對(duì)編碼效率只有有限的提高，在沒(méi)有引入快速搜索方法時(shí)，計(jì)算復(fù)雜度和編碼時(shí)間與參考幀的數(shù)目成正比，并和運(yùn)動(dòng)搜索范圍的平方成正比；采用雙向預(yù)測(cè)技術(shù)的圖像在相同的PSNR值下，碼率只是采用前向預(yù)測(cè)技術(shù)圖像的1/2至1/10甚至更低，但同樣成倍提升了計(jì)算復(fù)雜度和存儲(chǔ)容量。因此，參考幀數(shù)越多并不一定就越好?？紤]到實(shí)際應(yīng)用，結(jié)合仿真測(cè)試的結(jié)果，可以得出：選擇3個(gè)參考幀比較理想。首先從編碼的時(shí)間上來(lái)看，介于1～5參考幀的編碼時(shí)間之間；其次從信噪比上看，3參考幀的信噪比接近于4或5參考幀，具有比較好的抗誤碼性；最后從壓縮的比特率來(lái)看，3參考幀的比特率明顯低于1或2參考幀，同時(shí)又接近與4或5參考幀的比特率，說(shuō)明3參考幀的運(yùn)動(dòng)估值比較準(zhǔn)確的，運(yùn)動(dòng)補(bǔ)償?shù)木幋a效率還是比較高的。

參考文獻(xiàn)

[1]盧官明.移動(dòng)流媒體技術(shù)[M].北京：電子工業(yè)出版社.2010.

[2]畢厚杰.新一代視頻壓縮編碼標(biāo)準(zhǔn)——H.264/AVC（第2版）[M].北京：人民郵電出版社.2009.

[3]卓力，張菁，李曉光.圖形圖像新技術(shù)系列：新一代高效視頻編碼技術(shù)[M].北京：人民郵電出版社.2013.

作者單位

北京電子科技職業(yè)學(xué)院通信系 北京市 100015endprint

摘 要

數(shù)字視頻編碼技術(shù)是數(shù)字電視、視頻會(huì)議/遠(yuǎn)程監(jiān)控、視頻點(diǎn)播、遍入千家萬(wàn)戶的VCD/DVD，以及新一代移動(dòng)通信等應(yīng)用核心技術(shù)。H.264作為最新的視頻編碼標(biāo)準(zhǔn)，能夠在盡可能低的碼率（或存儲(chǔ)容量）下獲得盡可能好的圖像質(zhì)量。但隨著市場(chǎng)對(duì)圖像傳輸需求的增加，如何適應(yīng)不同信道傳輸特性的問(wèn)題也日益顯現(xiàn)出來(lái)。本文針對(duì)H.264視頻的編碼與解碼的性能與效率展開(kāi)研究，采用兩種不同格式的標(biāo)準(zhǔn)圖像序列，選擇多參考幀進(jìn)行運(yùn)動(dòng)預(yù)測(cè)和運(yùn)動(dòng)補(bǔ)償，分別在編碼端和解碼端進(jìn)行仿真測(cè)試，比較各自的信噪比及壓縮碼率，從而為我們?cè)谟邢拶Y源的前提下，為解碼端的抗誤碼性能與編碼端參考幀的數(shù)量、編碼效率以及計(jì)算復(fù)雜度之間做出合理的判斷和權(quán)衡。

【關(guān)鍵詞】H.264 視頻編碼 多參考幀 性能

數(shù)字視頻編碼技術(shù)是數(shù)字電視、視頻會(huì)議/遠(yuǎn)程監(jiān)控、視頻點(diǎn)播、遍入千家萬(wàn)戶的VCD/DVD，以及新一代移動(dòng)通信等應(yīng)用核心技術(shù)。H.264作為最新的視頻編碼標(biāo)準(zhǔn)，能夠在盡可能低的碼率（或存儲(chǔ)容量）下獲得盡可能好的圖像質(zhì)量。但隨著市場(chǎng)對(duì)圖像傳輸需求的增加，如何適應(yīng)不同信道傳輸特性的問(wèn)題也日益顯現(xiàn)出來(lái)。

由于H.264優(yōu)越性能是以計(jì)算復(fù)雜度的增加為代價(jià)的，因此針對(duì)解決資源有限、解碼端的抗誤碼性能、編碼端參考幀的數(shù)量、編碼效率以及計(jì)算復(fù)雜度之間關(guān)系問(wèn)題成為H.264應(yīng)用研究的一項(xiàng)重要內(nèi)容。

1 H.264視頻編碼

H.264是國(guó)際化標(biāo)準(zhǔn)組織JVT和MPEG聯(lián)合制定的一套最新的視頻壓縮標(biāo)準(zhǔn)。H.264視頻編解碼器是由幀內(nèi)預(yù)測(cè)、運(yùn)動(dòng)估計(jì)、運(yùn)動(dòng)補(bǔ)償、離散余弦變換、量化、塊濾波、重排序和熵編碼等功能單元組成的，提高了編碼效率和圖像質(zhì)量，具有較強(qiáng)的抗誤碼特性，可適應(yīng)丟包率高、干擾嚴(yán)重的信道中的視頻傳輸。

在編碼一個(gè)視頻序列的時(shí)候，首先，讀入第一幀，將其當(dāng)作I幀，進(jìn)行幀內(nèi)編碼，這樣，無(wú)須用其它幀來(lái)對(duì)此幀進(jìn)行預(yù)測(cè)。這樣，要對(duì)關(guān)鍵幀，即進(jìn)行幀內(nèi)預(yù)測(cè)編碼的幀進(jìn)行分析，以確定采取何種幀內(nèi)預(yù)測(cè)方式，來(lái)消除當(dāng)前幀內(nèi)的數(shù)據(jù)冗余信息。接下來(lái)，進(jìn)行離散余弦變換和量化，然后采用Z形掃描將二維的冗余數(shù)據(jù)塊轉(zhuǎn)成一維的數(shù)列，最后，采用CAVLC和CABAC方法來(lái)進(jìn)行熵編碼。

隨后，將接下來(lái)讀入的幀設(shè)定為P幀，P幀不作幀內(nèi)預(yù)測(cè)，而是進(jìn)行幀間預(yù)測(cè)，所以需要用P幀的前一幀來(lái)對(duì)其進(jìn)行預(yù)測(cè)，稱之為幀間預(yù)測(cè)。幀間預(yù)測(cè)能很大程度的消除幀與幀在時(shí)間上的冗余信息，主要由運(yùn)動(dòng)估計(jì)、運(yùn)動(dòng)補(bǔ)償組成，做完運(yùn)動(dòng)估計(jì)后，同樣的，對(duì)冗余的數(shù)據(jù)塊進(jìn)行離散余弦變換、量化、Z形掃描和熵編碼。同時(shí)，在做幀間預(yù)測(cè)的時(shí)候，需要用當(dāng)前幀的前一幀來(lái)作為參考幀，所以在編碼完一個(gè)幀的同時(shí)，對(duì)其進(jìn)行解碼，形成重構(gòu)幀，此幀用來(lái)對(duì)下一幀進(jìn)行預(yù)測(cè)。由于重構(gòu)幀中的圖像的邊緣部分噪聲較多，容易產(chǎn)生預(yù)測(cè)誤差。所以，H.264中引入了塊濾波技術(shù)，濾除噪聲信號(hào)，最大程度的恢復(fù)原始圖像的效果。

在H.264視頻編碼標(biāo)準(zhǔn)中的抗誤碼性能主要有5個(gè)特性：

（1）多參考幀（Multiple reference fra- mes）；（2）SP/SI幀（SP/SI frames）；（3）條結(jié)構(gòu)編碼（Slice structured coding）；（4）數(shù)據(jù)分割（Data partitioning）；（5）幀內(nèi)編碼幀或幀內(nèi)編碼塊的更新（Intra frame or intra micro-block updates）。這里主要研究多參考幀對(duì)抗誤碼性能的影響。

2 多參考幀

編碼圖像分成三種類型：I幀、P幀和B幀。I幀獨(dú)立編碼，不依賴于前面編碼的圖像數(shù)據(jù)，利用視頻圖像的空間相關(guān)性進(jìn)行壓縮編碼，也稱為幀內(nèi)編碼幀。P幀利用先前編碼的圖像數(shù)據(jù)進(jìn)行預(yù)測(cè)，也稱為幀間編碼幀，或預(yù)測(cè)幀。B幀參考先前編碼的I、P幀和隨后的一幀進(jìn)行雙向預(yù)測(cè)，P、B幀均利用圖像的時(shí)域相關(guān)性進(jìn)行預(yù)測(cè)編碼。用來(lái)對(duì)編碼圖像進(jìn)行預(yù)測(cè)的圖像稱為參考幀。

H.264協(xié)議中允許在運(yùn)動(dòng)預(yù)測(cè)中將當(dāng)前幀之前的幾幀中的任一幀選定為參考幀。在使用這種多參考幀的模式情況下，對(duì)某一個(gè)MB進(jìn)行運(yùn)動(dòng)預(yù)測(cè)時(shí)，編碼器會(huì)從過(guò)去的幀中選定一幀或幾幀作為參考幀，以達(dá)到最佳的預(yù)測(cè)效果。圖1給出了在編碼端多參考幀的示意圖，當(dāng)前幀第n幀中的三個(gè)塊分別由之前的第n-1幀、第n-3幀、第n-4幀預(yù)測(cè)得到。

3 仿真測(cè)試

3.1 仿真測(cè)試軟件及參數(shù)設(shè)定

仿真測(cè)試軟件是JVT的聯(lián)合模型（Joint Model）JM73，其仿真測(cè)試環(huán)境和編碼參數(shù)設(shè)定如下：使用主層（Main Profile），采用Hadamard變換； CACBC熵解碼；分別使用1-5個(gè)參考幀；運(yùn)行率失真優(yōu)化；I幀和P幀的量化參數(shù)相同且為28，B幀的量化參數(shù)為30；最大搜索窗口為16；搜索范圍沒(méi)有限制；使用數(shù)據(jù)分割。然后選取具有不同運(yùn)動(dòng)和空間信息的QCIF及CIF典型測(cè)試序列，分別使用不同的參考幀數(shù)目在編碼端選擇與解碼端進(jìn)行測(cè)試。其測(cè)試序列選取見(jiàn)表1。

3.2 編碼端測(cè)試

通常來(lái)說(shuō)，評(píng)定一個(gè)視頻系編碼系統(tǒng)的優(yōu)劣主要性能指標(biāo)有：編碼比特率、編碼時(shí)間和編碼信噪比。它們分別從壓縮比、編碼效率和圖像失真度三個(gè)不同側(cè)面反映一個(gè)視頻編碼系統(tǒng)的綜合性能。

在30Hz的頻率下，對(duì)兩種不同格式，不同幀長(zhǎng)的4個(gè)圖像序列進(jìn)行編碼，通過(guò)在編碼端參考幀對(duì)序列IPP與IBP進(jìn)行編碼，得到不同的編碼速率性能曲線如圖2所示，平均亮度（色度）信噪比性能曲線如圖3所示。

從圖2中可以看出，無(wú)論哪種格式的圖像序列，參考幀數(shù)越多，圖像壓縮的比特率越少；同樣運(yùn)動(dòng)比較劇烈的圖像序列的比特率要比運(yùn)動(dòng)緩慢的圖像序列的比特率大，這是因?yàn)檫x取的參考幀數(shù)多了，圖像的相關(guān)性也就越強(qiáng)了，降低了時(shí)間和空間上的冗余。

從圖3中可以看出，不論何種格式的圖像序列，選取的參考幀數(shù)越多，圖像的亮度信噪比越大，而且運(yùn)動(dòng)比較劇烈的圖像序列的亮度信噪比要比運(yùn)動(dòng)緩慢的圖像序列的信噪比小，但是圖像編碼時(shí)間就變得越長(zhǎng)，這是因?yàn)殡S著參考幀數(shù)的增加，使得運(yùn)動(dòng)估值變得越來(lái)越準(zhǔn)確，提高了運(yùn)動(dòng)補(bǔ)償?shù)木幋a效率。

3.3 解碼端測(cè)試

編碼端對(duì)圖像序列進(jìn)行編碼后，碼流打包，經(jīng)過(guò)不同丟包的情況，在信道上傳輸，解碼端恢復(fù)圖像序列。

這里給出了container序列與tempete序列的測(cè)試結(jié)果，見(jiàn)表2。

其中：選擇模式3表示被壓縮的圖像在信道上傳輸時(shí)，大約丟包率為3.3%；選擇模式5表示被壓縮的圖像在信道上傳輸時(shí)，大約丟包率為5.6%。

對(duì)QCIF格式的圖像序列在解碼端的主觀圖像如圖4所示；對(duì)CIF格式的圖像序列在解碼端的主觀圖像如圖5所示。

由圖4和圖5的主觀圖像中可以看出，編碼端參考幀數(shù)選取的越多，碼流打包后，解碼端獲得的圖像質(zhì)量越好，原因同解碼端一樣，都是因?yàn)檫\(yùn)動(dòng)估值較為準(zhǔn)確，運(yùn)動(dòng)補(bǔ)償?shù)男实玫教岣叩慕Y(jié)果。

4 結(jié)論

由于H.264編碼端的計(jì)算復(fù)雜度和編碼時(shí)間的最重要瓶頸在于運(yùn)動(dòng)估值和運(yùn)動(dòng)補(bǔ)償。采用多參考幀運(yùn)動(dòng)補(bǔ)償，擴(kuò)大的運(yùn)動(dòng)搜索范圍對(duì)編碼效率只有有限的提高，在沒(méi)有引入快速搜索方法時(shí)，計(jì)算復(fù)雜度和編碼時(shí)間與參考幀的數(shù)目成正比，并和運(yùn)動(dòng)搜索范圍的平方成正比；采用雙向預(yù)測(cè)技術(shù)的圖像在相同的PSNR值下，碼率只是采用前向預(yù)測(cè)技術(shù)圖像的1/2至1/10甚至更低，但同樣成倍提升了計(jì)算復(fù)雜度和存儲(chǔ)容量。因此，參考幀數(shù)越多并不一定就越好?？紤]到實(shí)際應(yīng)用，結(jié)合仿真測(cè)試的結(jié)果，可以得出：選擇3個(gè)參考幀比較理想。首先從編碼的時(shí)間上來(lái)看，介于1～5參考幀的編碼時(shí)間之間；其次從信噪比上看，3參考幀的信噪比接近于4或5參考幀，具有比較好的抗誤碼性；最后從壓縮的比特率來(lái)看，3參考幀的比特率明顯低于1或2參考幀，同時(shí)又接近與4或5參考幀的比特率，說(shuō)明3參考幀的運(yùn)動(dòng)估值比較準(zhǔn)確的，運(yùn)動(dòng)補(bǔ)償?shù)木幋a效率還是比較高的。

參考文獻(xiàn)

[1]盧官明.移動(dòng)流媒體技術(shù)[M].北京：電子工業(yè)出版社.2010.

[2]畢厚杰.新一代視頻壓縮編碼標(biāo)準(zhǔn)——H.264/AVC（第2版）[M].北京：人民郵電出版社.2009.

[3]卓力，張菁，李曉光.圖形圖像新技術(shù)系列：新一代高效視頻編碼技術(shù)[M].北京：人民郵電出版社.2013.

作者單位

北京電子科技職業(yè)學(xué)院通信系 北京市 100015endprint

摘 要

數(shù)字視頻編碼技術(shù)是數(shù)字電視、視頻會(huì)議/遠(yuǎn)程監(jiān)控、視頻點(diǎn)播、遍入千家萬(wàn)戶的VCD/DVD，以及新一代移動(dòng)通信等應(yīng)用核心技術(shù)。H.264作為最新的視頻編碼標(biāo)準(zhǔn)，能夠在盡可能低的碼率（或存儲(chǔ)容量）下獲得盡可能好的圖像質(zhì)量。但隨著市場(chǎng)對(duì)圖像傳輸需求的增加，如何適應(yīng)不同信道傳輸特性的問(wèn)題也日益顯現(xiàn)出來(lái)。本文針對(duì)H.264視頻的編碼與解碼的性能與效率展開(kāi)研究，采用兩種不同格式的標(biāo)準(zhǔn)圖像序列，選擇多參考幀進(jìn)行運(yùn)動(dòng)預(yù)測(cè)和運(yùn)動(dòng)補(bǔ)償，分別在編碼端和解碼端進(jìn)行仿真測(cè)試，比較各自的信噪比及壓縮碼率，從而為我們?cè)谟邢拶Y源的前提下，為解碼端的抗誤碼性能與編碼端參考幀的數(shù)量、編碼效率以及計(jì)算復(fù)雜度之間做出合理的判斷和權(quán)衡。

【關(guān)鍵詞】H.264 視頻編碼 多參考幀 性能

數(shù)字視頻編碼技術(shù)是數(shù)字電視、視頻會(huì)議/遠(yuǎn)程監(jiān)控、視頻點(diǎn)播、遍入千家萬(wàn)戶的VCD/DVD，以及新一代移動(dòng)通信等應(yīng)用核心技術(shù)。H.264作為最新的視頻編碼標(biāo)準(zhǔn)，能夠在盡可能低的碼率（或存儲(chǔ)容量）下獲得盡可能好的圖像質(zhì)量。但隨著市場(chǎng)對(duì)圖像傳輸需求的增加，如何適應(yīng)不同信道傳輸特性的問(wèn)題也日益顯現(xiàn)出來(lái)。

由于H.264優(yōu)越性能是以計(jì)算復(fù)雜度的增加為代價(jià)的，因此針對(duì)解決資源有限、解碼端的抗誤碼性能、編碼端參考幀的數(shù)量、編碼效率以及計(jì)算復(fù)雜度之間關(guān)系問(wèn)題成為H.264應(yīng)用研究的一項(xiàng)重要內(nèi)容。

1 H.264視頻編碼

H.264是國(guó)際化標(biāo)準(zhǔn)組織JVT和MPEG聯(lián)合制定的一套最新的視頻壓縮標(biāo)準(zhǔn)。H.264視頻編解碼器是由幀內(nèi)預(yù)測(cè)、運(yùn)動(dòng)估計(jì)、運(yùn)動(dòng)補(bǔ)償、離散余弦變換、量化、塊濾波、重排序和熵編碼等功能單元組成的，提高了編碼效率和圖像質(zhì)量，具有較強(qiáng)的抗誤碼特性，可適應(yīng)丟包率高、干擾嚴(yán)重的信道中的視頻傳輸。

在編碼一個(gè)視頻序列的時(shí)候，首先，讀入第一幀，將其當(dāng)作I幀，進(jìn)行幀內(nèi)編碼，這樣，無(wú)須用其它幀來(lái)對(duì)此幀進(jìn)行預(yù)測(cè)。這樣，要對(duì)關(guān)鍵幀，即進(jìn)行幀內(nèi)預(yù)測(cè)編碼的幀進(jìn)行分析，以確定采取何種幀內(nèi)預(yù)測(cè)方式，來(lái)消除當(dāng)前幀內(nèi)的數(shù)據(jù)冗余信息。接下來(lái)，進(jìn)行離散余弦變換和量化，然后采用Z形掃描將二維的冗余數(shù)據(jù)塊轉(zhuǎn)成一維的數(shù)列，最后，采用CAVLC和CABAC方法來(lái)進(jìn)行熵編碼。

隨后，將接下來(lái)讀入的幀設(shè)定為P幀，P幀不作幀內(nèi)預(yù)測(cè)，而是進(jìn)行幀間預(yù)測(cè)，所以需要用P幀的前一幀來(lái)對(duì)其進(jìn)行預(yù)測(cè)，稱之為幀間預(yù)測(cè)。幀間預(yù)測(cè)能很大程度的消除幀與幀在時(shí)間上的冗余信息，主要由運(yùn)動(dòng)估計(jì)、運(yùn)動(dòng)補(bǔ)償組成，做完運(yùn)動(dòng)估計(jì)后，同樣的，對(duì)冗余的數(shù)據(jù)塊進(jìn)行離散余弦變換、量化、Z形掃描和熵編碼。同時(shí)，在做幀間預(yù)測(cè)的時(shí)候，需要用當(dāng)前幀的前一幀來(lái)作為參考幀，所以在編碼完一個(gè)幀的同時(shí)，對(duì)其進(jìn)行解碼，形成重構(gòu)幀，此幀用來(lái)對(duì)下一幀進(jìn)行預(yù)測(cè)。由于重構(gòu)幀中的圖像的邊緣部分噪聲較多，容易產(chǎn)生預(yù)測(cè)誤差。所以，H.264中引入了塊濾波技術(shù)，濾除噪聲信號(hào)，最大程度的恢復(fù)原始圖像的效果。

在H.264視頻編碼標(biāo)準(zhǔn)中的抗誤碼性能主要有5個(gè)特性：

（1）多參考幀（Multiple reference fra- mes）；（2）SP/SI幀（SP/SI frames）；（3）條結(jié)構(gòu)編碼（Slice structured coding）；（4）數(shù)據(jù)分割（Data partitioning）；（5）幀內(nèi)編碼幀或幀內(nèi)編碼塊的更新（Intra frame or intra micro-block updates）。這里主要研究多參考幀對(duì)抗誤碼性能的影響。

2 多參考幀

編碼圖像分成三種類型：I幀、P幀和B幀。I幀獨(dú)立編碼，不依賴于前面編碼的圖像數(shù)據(jù)，利用視頻圖像的空間相關(guān)性進(jìn)行壓縮編碼，也稱為幀內(nèi)編碼幀。P幀利用先前編碼的圖像數(shù)據(jù)進(jìn)行預(yù)測(cè)，也稱為幀間編碼幀，或預(yù)測(cè)幀。B幀參考先前編碼的I、P幀和隨后的一幀進(jìn)行雙向預(yù)測(cè)，P、B幀均利用圖像的時(shí)域相關(guān)性進(jìn)行預(yù)測(cè)編碼。用來(lái)對(duì)編碼圖像進(jìn)行預(yù)測(cè)的圖像稱為參考幀。

H.264協(xié)議中允許在運(yùn)動(dòng)預(yù)測(cè)中將當(dāng)前幀之前的幾幀中的任一幀選定為參考幀。在使用這種多參考幀的模式情況下，對(duì)某一個(gè)MB進(jìn)行運(yùn)動(dòng)預(yù)測(cè)時(shí)，編碼器會(huì)從過(guò)去的幀中選定一幀或幾幀作為參考幀，以達(dá)到最佳的預(yù)測(cè)效果。圖1給出了在編碼端多參考幀的示意圖，當(dāng)前幀第n幀中的三個(gè)塊分別由之前的第n-1幀、第n-3幀、第n-4幀預(yù)測(cè)得到。

3 仿真測(cè)試

3.1 仿真測(cè)試軟件及參數(shù)設(shè)定

仿真測(cè)試軟件是JVT的聯(lián)合模型（Joint Model）JM73，其仿真測(cè)試環(huán)境和編碼參數(shù)設(shè)定如下：使用主層（Main Profile），采用Hadamard變換； CACBC熵解碼；分別使用1-5個(gè)參考幀；運(yùn)行率失真優(yōu)化；I幀和P幀的量化參數(shù)相同且為28，B幀的量化參數(shù)為30；最大搜索窗口為16；搜索范圍沒(méi)有限制；使用數(shù)據(jù)分割。然后選取具有不同運(yùn)動(dòng)和空間信息的QCIF及CIF典型測(cè)試序列，分別使用不同的參考幀數(shù)目在編碼端選擇與解碼端進(jìn)行測(cè)試。其測(cè)試序列選取見(jiàn)表1。

3.2 編碼端測(cè)試

通常來(lái)說(shuō)，評(píng)定一個(gè)視頻系編碼系統(tǒng)的優(yōu)劣主要性能指標(biāo)有：編碼比特率、編碼時(shí)間和編碼信噪比。它們分別從壓縮比、編碼效率和圖像失真度三個(gè)不同側(cè)面反映一個(gè)視頻編碼系統(tǒng)的綜合性能。

在30Hz的頻率下，對(duì)兩種不同格式，不同幀長(zhǎng)的4個(gè)圖像序列進(jìn)行編碼，通過(guò)在編碼端參考幀對(duì)序列IPP與IBP進(jìn)行編碼，得到不同的編碼速率性能曲線如圖2所示，平均亮度（色度）信噪比性能曲線如圖3所示。

從圖2中可以看出，無(wú)論哪種格式的圖像序列，參考幀數(shù)越多，圖像壓縮的比特率越少；同樣運(yùn)動(dòng)比較劇烈的圖像序列的比特率要比運(yùn)動(dòng)緩慢的圖像序列的比特率大，這是因?yàn)檫x取的參考幀數(shù)多了，圖像的相關(guān)性也就越強(qiáng)了，降低了時(shí)間和空間上的冗余。

從圖3中可以看出，不論何種格式的圖像序列，選取的參考幀數(shù)越多，圖像的亮度信噪比越大，而且運(yùn)動(dòng)比較劇烈的圖像序列的亮度信噪比要比運(yùn)動(dòng)緩慢的圖像序列的信噪比小，但是圖像編碼時(shí)間就變得越長(zhǎng)，這是因?yàn)殡S著參考幀數(shù)的增加，使得運(yùn)動(dòng)估值變得越來(lái)越準(zhǔn)確，提高了運(yùn)動(dòng)補(bǔ)償?shù)木幋a效率。

3.3 解碼端測(cè)試

編碼端對(duì)圖像序列進(jìn)行編碼后，碼流打包，經(jīng)過(guò)不同丟包的情況，在信道上傳輸，解碼端恢復(fù)圖像序列。

這里給出了container序列與tempete序列的測(cè)試結(jié)果，見(jiàn)表2。

其中：選擇模式3表示被壓縮的圖像在信道上傳輸時(shí)，大約丟包率為3.3%；選擇模式5表示被壓縮的圖像在信道上傳輸時(shí)，大約丟包率為5.6%。

對(duì)QCIF格式的圖像序列在解碼端的主觀圖像如圖4所示；對(duì)CIF格式的圖像序列在解碼端的主觀圖像如圖5所示。

由圖4和圖5的主觀圖像中可以看出，編碼端參考幀數(shù)選取的越多，碼流打包后，解碼端獲得的圖像質(zhì)量越好，原因同解碼端一樣，都是因?yàn)檫\(yùn)動(dòng)估值較為準(zhǔn)確，運(yùn)動(dòng)補(bǔ)償?shù)男实玫教岣叩慕Y(jié)果。

4 結(jié)論

由于H.264編碼端的計(jì)算復(fù)雜度和編碼時(shí)間的最重要瓶頸在于運(yùn)動(dòng)估值和運(yùn)動(dòng)補(bǔ)償。采用多參考幀運(yùn)動(dòng)補(bǔ)償，擴(kuò)大的運(yùn)動(dòng)搜索范圍對(duì)編碼效率只有有限的提高，在沒(méi)有引入快速搜索方法時(shí)，計(jì)算復(fù)雜度和編碼時(shí)間與參考幀的數(shù)目成正比，并和運(yùn)動(dòng)搜索范圍的平方成正比；采用雙向預(yù)測(cè)技術(shù)的圖像在相同的PSNR值下，碼率只是采用前向預(yù)測(cè)技術(shù)圖像的1/2至1/10甚至更低，但同樣成倍提升了計(jì)算復(fù)雜度和存儲(chǔ)容量。因此，參考幀數(shù)越多并不一定就越好?？紤]到實(shí)際應(yīng)用，結(jié)合仿真測(cè)試的結(jié)果，可以得出：選擇3個(gè)參考幀比較理想。首先從編碼的時(shí)間上來(lái)看，介于1～5參考幀的編碼時(shí)間之間；其次從信噪比上看，3參考幀的信噪比接近于4或5參考幀，具有比較好的抗誤碼性；最后從壓縮的比特率來(lái)看，3參考幀的比特率明顯低于1或2參考幀，同時(shí)又接近與4或5參考幀的比特率，說(shuō)明3參考幀的運(yùn)動(dòng)估值比較準(zhǔn)確的，運(yùn)動(dòng)補(bǔ)償?shù)木幋a效率還是比較高的。

參考文獻(xiàn)

[1]盧官明.移動(dòng)流媒體技術(shù)[M].北京：電子工業(yè)出版社.2010.

[2]畢厚杰.新一代視頻壓縮編碼標(biāo)準(zhǔn)——H.264/AVC（第2版）[M].北京：人民郵電出版社.2009.

[3]卓力，張菁，李曉光.圖形圖像新技術(shù)系列：新一代高效視頻編碼技術(shù)[M].北京：人民郵電出版社.2013.

作者單位

北京電子科技職業(yè)學(xué)院通信系 北京市 100015endprint