一種改進(jìn)的H.264幀內(nèi)預(yù)測(cè)模式選擇算法

唐浩漾, 王曙光

(西安郵電大學(xué) 自動(dòng)化學(xué)院, 陜西 西安 710121)

一種改進(jìn)的H.264幀內(nèi)預(yù)測(cè)模式選擇算法

唐浩漾, 王曙光

(西安郵電大學(xué) 自動(dòng)化學(xué)院, 陜西 西安 710121)

針對(duì)H.264幀內(nèi)預(yù)測(cè)模式選擇中失真估計(jì)不準(zhǔn)確和計(jì)算量大的問(wèn)題，提出一種改進(jìn)的H.264幀內(nèi)預(yù)測(cè)模式選擇算法。該算法首先對(duì)像素的遞歸失真估計(jì)方法進(jìn)行改進(jìn)，較為準(zhǔn)確地估計(jì)了多種幀內(nèi)預(yù)測(cè)模式下的預(yù)測(cè)失真，然后利用相鄰塊預(yù)測(cè)模式的相關(guān)性預(yù)先篩除部分預(yù)測(cè)模式，降低了H.264中幀內(nèi)預(yù)測(cè)的復(fù)雜度。與 JM 參考軟件的對(duì)比結(jié)果表明，該優(yōu)化算法能在保證很好的圖像質(zhì)量的同時(shí)，將幀內(nèi)預(yù)測(cè)模式選擇的時(shí)間減少60%以上，有效地提高了視頻圖像的編碼效率和視覺質(zhì)量。

視頻編碼；H.264/AVC；幀內(nèi)預(yù)測(cè)；率失真優(yōu)化

H.264/AVC是由ISO和ITU組建的聯(lián)合視頻組(JVT)推出的新一代視頻壓縮標(biāo)準(zhǔn)[1]。為了實(shí)現(xiàn)更高的編碼效率，H.264/AVC標(biāo)準(zhǔn)采用了很多新的編碼技術(shù)，如多模式的幀內(nèi)預(yù)測(cè)、宏塊的靈活劃分、增強(qiáng)的運(yùn)動(dòng)估計(jì)、改進(jìn)的去塊效應(yīng)濾波器等，但這些技術(shù)也使得視頻編碼的復(fù)雜度急劇上升[2]。

率失真優(yōu)化技術(shù)是H.264/AVC中的核心技術(shù)之一，H.264/AVC以全搜索的方式進(jìn)行幀內(nèi)預(yù)測(cè)，通過(guò)選擇率失真代價(jià)最小的模式作為最優(yōu)編碼模式，較好地取得了碼率和失真之間的平衡[3]。在H.264/AVC的率失真優(yōu)化(Rate-distortion Optimization, RDO)幀內(nèi)預(yù)測(cè)模式選擇中，采用絕對(duì)誤差和(Sum of Absolute Difference, SAD)作為失真的判決函數(shù)，但SAD僅反映時(shí)域的差異，不能有效反映傳輸過(guò)程和解碼器端可能引起的失真[4-5]。遞歸優(yōu)化的像素估計(jì)方法(Recursive Optimal Per-pixel Estimate, ROPE)是一種基于像素的遞歸估計(jì)算法，其將視頻傳輸失真分為由量化引起的編碼失真和網(wǎng)絡(luò)丟包產(chǎn)生的傳輸失真[6]，本文根據(jù)H.264/AVC的多模式幀內(nèi)預(yù)測(cè)對(duì)ROPE方法進(jìn)行改進(jìn)，較為準(zhǔn)確地計(jì)算出多種幀內(nèi)預(yù)測(cè)模式的失真，改進(jìn)了H.264/AVC幀內(nèi)預(yù)測(cè)的率失真性能。

H.264/AVC支持的幀內(nèi)預(yù)測(cè)模式較多，為了確定一個(gè)宏塊的幀內(nèi)預(yù)測(cè)模式，需要執(zhí)行592種率失真代價(jià)(Rate-Distortion Cost, RD_Cost)的計(jì)算，導(dǎo)致幀內(nèi)預(yù)測(cè)的復(fù)雜度很大[7]。為了降低編碼復(fù)雜度，本文在RDO模式選擇之前篩除部分編碼性能不佳的模式，減少率失真代價(jià)的計(jì)算數(shù)量，降低編碼復(fù)雜度。

1 H.264/AVC的幀內(nèi)預(yù)測(cè)模式

H.264/AVC利用相鄰宏塊的空間相關(guān)性來(lái)進(jìn)行幀內(nèi)預(yù)測(cè)編碼。對(duì)于一個(gè)給定的宏塊，首先利用相鄰的周圍宏塊對(duì)此宏塊進(jìn)行預(yù)測(cè)，然后對(duì)實(shí)際宏塊和預(yù)測(cè)宏塊的對(duì)應(yīng)像素差值做變換編碼，從而減少Intra幀的編碼數(shù)據(jù)量[8]。如圖1所示，把16×16亮度宏塊劃分成16個(gè)4×4的子塊，4×4預(yù)測(cè)塊的像素a～p可以由已經(jīng)編碼并重建像素采樣點(diǎn)(A～H, I～L, M)預(yù)測(cè)。

圖1 幀內(nèi)預(yù)測(cè)的各像素點(diǎn)分布

按照?qǐng)D像的不同紋理特征，H.264/AVC將一幅Intra幀圖像劃分為不同大小的塊。對(duì)于亮度分量，H.264/AVC對(duì)含有較多空域細(xì)節(jié)信息的宏塊采用4×4預(yù)測(cè)，有9種預(yù)測(cè)模式，而對(duì)于較平坦的區(qū)域采用16×16的預(yù)測(cè)模式，有4種預(yù)測(cè)模式；對(duì)于色度分量，預(yù)測(cè)是對(duì)整個(gè)8×8塊進(jìn)行的，有4種預(yù)測(cè)模式[9]。圖2為Intra4×4幀內(nèi)預(yù)測(cè)的9種模式預(yù)測(cè)方式，包括一種DC模式和8種方向預(yù)測(cè)模式。

圖2 Intra4×4幀內(nèi)預(yù)測(cè)模式

在幀內(nèi)預(yù)測(cè)模式選擇過(guò)程中，H.264/AVC計(jì)算所有幀內(nèi)預(yù)測(cè)模式的率失真優(yōu)化代價(jià)函數(shù)，以選出整個(gè)宏塊的最優(yōu)預(yù)測(cè)模式。最優(yōu)預(yù)測(cè)模式選擇過(guò)程中用到的RDO代價(jià)函數(shù)定義為

Jmode(M|λmode)=SAD(M)+λmodeRM,

(1)

其中M為候選的編碼模式，λmode為用于模式選擇的拉格朗日乘子，λmotion=0.85×Q2，Q為宏塊量化參數(shù)，RM為碼流位數(shù)，是在給定的模式和量化參數(shù)條件下編碼殘差數(shù)據(jù)及其他有關(guān)信息的總比特?cái)?shù)之和。SAD(M)為編碼模式M的失真度估計(jì)，其值為一個(gè)編碼塊的原始采樣s(x,y)和預(yù)測(cè)樣點(diǎn)p(s,y)差值d(x,y)的絕對(duì)值之和，即

。

(2)

2 幀內(nèi)預(yù)測(cè)模式的失真估計(jì)

ROPE算法作為一種像素域的遞歸估計(jì)算法，能較為準(zhǔn)確地計(jì)算出解碼器端整像素精度的每個(gè)像素失真度期望[10]。但ROPE算法并沒(méi)有考慮幀內(nèi)不同預(yù)測(cè)模式的差異，不適合H.264/AVC標(biāo)準(zhǔn)，本文首先對(duì)ROPE算法進(jìn)行改進(jìn)，估計(jì)H.264中不同幀內(nèi)預(yù)測(cè)模式下的預(yù)測(cè)失真。

(3)

(4)

皇帝拍拍她的手背：“那就好?！被实壑敢恢干砗螅半蘼犝f(shuō)你不適，就忍不住來(lái)了，正好也催促太醫(yī)過(guò)來(lái)，給你仔細(xì)瞧瞧?！?/p>

(5)

(6)

(7)

(8)

(9)

(10)

(11)

圖3 H.264/AVC編解碼過(guò)程示意圖

3 幀內(nèi)4×4塊預(yù)測(cè)模式快速選擇

Intra幀圖像存在著相同或相近的紋理方向，其相鄰塊的預(yù)測(cè)模式往往會(huì)相同。利用這一特性，在進(jìn)行幀內(nèi)4×4模式選擇時(shí)，首先利用幀內(nèi)預(yù)測(cè)的最有可能模式(most probable mode，MPM)進(jìn)行編碼模式的預(yù)判斷，以縮小預(yù)測(cè)模式選擇的范圍。

H.264中Intra4×4幀內(nèi)預(yù)測(cè)的最有可能模式MPM定義為當(dāng)前4×4塊的左、上相鄰塊采用的最小編號(hào)的預(yù)測(cè)模式，不存在左或上相鄰塊的邊界塊則以DC模式作為其MPM[7]。

設(shè)定±22.5°范圍預(yù)測(cè)模式偏差為相似性幀內(nèi)預(yù)測(cè)，近似為有相同的MPM。表1為當(dāng)前4×4塊與左、上相鄰4×4塊的MPM相似性，它們的預(yù)測(cè)模式偏差在±22.5°范圍內(nèi)。首先判斷當(dāng)前塊與相鄰4×4塊的MPM分布差異

mode_4×4intra(i)≈

mode_4×4intra(i,neighbor)。

(12)

步驟1 計(jì)算當(dāng)前預(yù)測(cè)塊和其左、上相鄰塊的MPM。

步驟2 判斷其MPM是否滿足式(12)的判決條件。如果滿足，計(jì)算當(dāng)前塊和其相鄰塊的MPM的RD_Cost，選擇具有最小代價(jià)的模式為RD_Cost1，否則直接執(zhí)行步驟3。

步驟3 計(jì)算方向性最強(qiáng)的4個(gè)預(yù)測(cè)方向：模式0、模式1、模式3、模式4分別代表水平、垂直、兩個(gè)對(duì)角線方向的預(yù)測(cè)，方向性最強(qiáng)，計(jì)算模式0、1、3和4的RD_Cost，選擇具有最小代價(jià)的模式為RD_Cost2。

步驟4 比較第2、第3步中計(jì)算出的率失真代價(jià)，選取具有最小率失真代價(jià)的模式作為當(dāng)前幀內(nèi)4×4塊的預(yù)測(cè)模式。

表1 Intra4×4最有可能預(yù)測(cè)模式的相似性關(guān)系

4 仿真結(jié)果與分析

在H.264/AVC標(biāo)準(zhǔn)的測(cè)試模型JM16.2[11]中實(shí)現(xiàn)改進(jìn)算法，并與JM16.2參考軟件中的全搜索幀內(nèi)模式選擇算法，文獻(xiàn)[12]中快速幀內(nèi)模式選擇算法SDD，文獻(xiàn)[13]中快速幀內(nèi)模式選擇算法DES進(jìn)行實(shí)驗(yàn)對(duì)比。

實(shí)驗(yàn)采用3個(gè)具有代表性的CIF格式的標(biāo)準(zhǔn)測(cè)試序列Foreman，News和Football。3個(gè)序列具有不同的運(yùn)動(dòng)程度和紋理特性，每個(gè)序列編碼100幀。實(shí)驗(yàn)中，使用了基于上下文的自適應(yīng)二進(jìn)制算術(shù)編碼(CABAC)，采樣格式為4∶2∶0，采用率失真優(yōu)化，實(shí)驗(yàn)只做幀內(nèi)編碼，將所有的編碼幀都設(shè)置為I幀。實(shí)驗(yàn)條件如表2所示。

表2 JM16.2編碼參數(shù)設(shè)置

實(shí)驗(yàn)評(píng)價(jià)指標(biāo)包括平均PSNR差異ΔPSNR，碼率變化率ΔBitrate、編碼時(shí)間降低百分比ΔTime，它們分別表示快速算法相對(duì)JM16.2全搜索算法的編碼性能變化，采用JVT參考文件中的Bjontrgaard方法[14]可對(duì)它們進(jìn)行計(jì)算，即

ΔPSNR=RPSNR_fast-RPSNR_JM,

ΔBitrate=BBitrate_fast-BBitrate_JM,

表3詳細(xì)比較了3個(gè)測(cè)試序列采用全I(xiàn)幀編碼時(shí)，各種幀內(nèi)模式選擇方法在不同量化參數(shù)下的綜合性能比較。

表3 各種幀內(nèi)模式選擇算法綜合性能比較

從表3可以看出，改進(jìn)算法相比JM16.2中的全搜索算法，在平均損失0.045 dB的PSNR或增加1.186%碼率的情況下，能減少約63%的編碼時(shí)間。由于文獻(xiàn)[12-13]中的快速幀內(nèi)模式選擇方法失真估計(jì)仍然采用JM參考模型中的失真估計(jì)方法，限制了RDO模式選擇的準(zhǔn)確性，編碼性能不如本文算法。文獻(xiàn)[12]減少了率失真優(yōu)化模式選擇中候選模式的數(shù)量，對(duì)各序列編碼時(shí)間與本文方法更接近，文獻(xiàn)[13]檢測(cè)到無(wú)方向相似性時(shí)退化為全搜索方式，其編碼性能與本文算法更接近，但編碼時(shí)間更長(zhǎng)。

圖4比較了當(dāng)QP=32時(shí)News.cif序列在各種快速模式選擇算法下的R-D曲線和編碼時(shí)間對(duì)比。從圖中可以看出，改進(jìn)算法在編碼時(shí)間上明顯優(yōu)于兩種對(duì)比方法，在率失真性能方面也有改善，尤其是在中低碼率時(shí)這種改進(jìn)更加明顯。

(a) R-D曲線

(b) 編碼時(shí)間

5 結(jié)束語(yǔ)

利用H.264/AVC中幀內(nèi)預(yù)測(cè)的多模式劃分特點(diǎn)，準(zhǔn)確估計(jì)了H.264多模式下的幀內(nèi)預(yù)測(cè)失真，并將該失真測(cè)度模型應(yīng)用于H.264/AVC的RDO幀內(nèi)預(yù)測(cè)模式選擇中，結(jié)合幀內(nèi)預(yù)測(cè)模式的鄰域空間相關(guān)性，減少了率失真代價(jià)的計(jì)算數(shù)量，提高了算法的編碼性能。實(shí)驗(yàn)結(jié)果表明，提出的幀內(nèi)預(yù)測(cè)模式改進(jìn)算法，與JM16.2中的全搜索方式相比，具有基本相同的平均PSNR值，但能減少約60%的編碼時(shí)間，具有較好的重建圖像質(zhì)量和更高的編碼效率。

[1] 田小平，田永召.面向交互應(yīng)用的HEVC編碼性能分析[J]. 西安郵電大學(xué)學(xué)報(bào), 2014, 19(3):6-11.

[2] Kumar S, Xu L Y, Mandal M K, et al. Error resiliency schemes in H.264/AVC standard[J]. Elsevier J.of Visual Communication and Image Representation, 2006, 17(2):570-576.

[3] Zhang Zhishou, Sun Qibin, Wong W C,et al. Rate-Distortion-Authentication Optimized streaming of authenticated Video[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2007, 17(5):544-557.

[4] Li Xiang, Oertel N, Hutter A, et al. Laplace distribution based lagrangian rate distortion optimization for hybrid video coding[J]. IEEE Transactions on Circuits and System for Video Technology, 2009, 19(2): 193-205.

[5] 唐浩漾,王曙光,趙洪鋼.基于率失真優(yōu)化的H.264參考幀選擇算法[J].西安郵電大學(xué)學(xué)報(bào),2014,19(4):31-35.

[6] Leontaris A, Cosman P C. Video compression for lossy packet networks with mode switching and dual-frame buffer[J]. IEEE Transactions on Image Process, 2004, 13(7): 885-897.

[7] 宋云，沈燕飛，龍際珍，等. 基于方向梯度的H.264幀內(nèi)預(yù)測(cè)模式選擇算法[J].計(jì)算機(jī)學(xué)報(bào)，2013,36(8)：1757-1764.

[8] Asheri H, Rabiee H, Pourdamghani N, et al. Multi-directional spatial error concealment using adaptive edge thresholding[J]. IEEE Trans on Consumer Electronics, 2012, 58(3):880-885.

[9] 唐浩漾，王文慶，王曙光. 基于像素遞歸失真估計(jì)的率失真優(yōu)化模式選擇算法[J].西北大學(xué)學(xué)報(bào):自然科學(xué)版，2014, 44(1)：51-56.

[10] Leontaris A, Cosman P C. Video compression for lossy packet networks with mode switching and dual-frame buffer[J].IEEE Transactions on Image Process, 2004, 13(7): 885-897.

[11] Joint Video Team. H.264/AVC reference software JM16.2[CP/OL].(2011-01-06)[2014-02-09] http://iphome.hhi.de/suehring/tml/download/old_jm/

[12] Wang Jia Ching,Wang Jhing Fa, Yang Jhing Fa,et al. A fast mode decision algorithm for and its VLSL design for H.264 intra-prediction[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2007, 17(10):1414-1422.

[13] Tsai A C, Wang J F, Yang J F, et al. Effective subblock- based and pixed-based fast direction detections for H.264 intra prediction[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2008, 18(7):975-982.

[14] Bjontegaard G. calculation of average PSNR differences between RD-curves.[EL/OL].(2001-04-01)[2014-02-09] http://wftp3.itu.int/av-arch/video-site/0104_Aus/VCEG-M33.doc

[責(zé)任編輯:祝劍]

An improved intra-frame prediction mode selection algorithm for H.264

TANG Haoyang, WANG Shuguang

(School of Automation, Xi’an University of Posts and Telecommunications, Xi’an 710121, China)

To improve the distortion estimation accuracy and simplify the computational complexity of intra-frame prediction mode selection for H.264, an improved Intra-frame prediction mode selection algorithm is proposed. A recursive optimal per-pixel estimate algorithm is modified to estimate the reconstructed distortion for various intra modes of H.264/AVC. The correlation between neighboring blocks and neighboring direction prediction mode is then used to predict the intra-frame mode, which efficiently skip some unlikely prediction modes and reduce the complexity of intra-frame prediction mode selection. Compared with the mode selection algorithm in H.264 reference software, the improved algorithm can save more than 60% of the encoding time with a negligible coding performance loss. Experimental results show that the proposed algorithm can achieve better coding efficiency and image quality.

video coding, H.264/AVC, intra prediction, rate-distortion optimization

10.13682/j.issn.2095-6533.2014.05.009

2014-06-24

陜西省自然科學(xué)基金資助項(xiàng)目(2012JM8022， 2011JM8003)；陜西省教育廳專項(xiàng)科研基金資助項(xiàng)目(12JK0540)

唐浩漾(1975-)，男，博士，講師，從事視頻處理與多媒體通信研究。E-mail: tanghaoyang@xupt.edu.cn 王曙光(1972-)，男，碩士，副教授，從事控制工程與多智能體研究。E-mail: wangshuguang@xupt.edu.cn

TN 919

A

2095-6533(2014)05-0046-05