基于空域特征的H.264快速多參考幀選擇算法

徐靜，周兵，黃雪莉，李煒，曹蕾

（1.鄭州大學 信息工程學院 河南省高等學校信息網絡重點學科開放實驗室，河南 鄭州 450052；2.北京航空航天大學 計算機學院，北京100083）

1 引言

新一代視頻編碼國際標準 H.264[1]采用了眾多先進的編碼技術，如：幀內預測、四分之一像素運動補償和多參考幀等，使其在相同圖像質量下，編碼效率比MPEG-2、MPEG-4和H.263分別提高了64.46%、38.62%和48.80%[2]，但在這些新技術提高H.264/AVC性能的同時，也大幅度增加了編碼器的計算復雜度。特別是H.264現(xiàn)有的多參考幀預測算法需要對每個宏塊遍歷n（從1至16）個參考幀并計算各模式下的率失真代價，此外還需要進行運動估計、多方向幀內預測，所以整個多參考幀預測過程十分耗時。

為使H.264能夠更廣泛地實時應用于現(xiàn)有的硬軟件條件下，降低多參考幀技術帶來的時間和空間上的高復雜度，許多快速算法[3～11]被提出。這些快速算法可分為3種：第1種是基于3D[5,6]運動估計的快速算法，即從當前幀及其多個參考幀中建立三維數(shù)學模型，將搜索點從傳統(tǒng) 2D的簡單平移擴展到 3D空間，但這種技術需要大規(guī)模的多參考幀存儲操作；第2種基于多參考幀運動矢量預測[7,8]的快速算法，由于每一幀的MV均是由最近參考幀的MV所產生，所以對參考幀的MV精度要求較高，且這類方法不適用于快速搜索算法；第 3種是多參考幀選擇技術[9～11]，可直接應用于現(xiàn)有的搜索算法中，但選擇參考幀的過程需要一些額外的計算量。

本文提出一種基于空間特性的H.264快速多參考幀選擇算法。該算法首先利用自然視頻序列的空間特性，根據(jù)相鄰宏塊Skip編碼模式信息在運動估計之前判斷當前宏塊是否為Skip編碼模式；然后對視頻序列Skip編碼模式的占用率進行統(tǒng)計和分析，設置多模式下參考幀數(shù)量的分布。實驗結果表明，該算法將性能損失控制在可忽略范圍內的情況下，可節(jié)約35%～87%的編碼時間。

2 H.264快速多參考幀選擇算法

如圖1所示本算法共分為3個步驟：第1步根據(jù)條件預測當前宏塊是否為 Skip編碼模式；第 2步根據(jù)視頻空間特性以及宏塊編碼模式與量化參數(shù)值之間的關系進行幀間模式選擇；第 3步統(tǒng)計Skip編碼模式宏塊在當前幀中所占百分比，根據(jù)不同視頻模式設置合適的參考幀數(shù)量。

圖1 基于空間特性的快速多參考幀選擇算法框架

2.1 Skip模式的提前預測

由于在自然視頻序列中存在著大量空間上均勻平坦或時域靜止的區(qū)域，在這些區(qū)域中Skip編碼模式被大量的使用，所以如果在運動估計之前判斷出當前宏塊是否為Skip編碼模式，便可極大地降低Skip編碼模式所占比例較大序列的編碼時間。

圖2的akiyo模式分布中淺色點所在的宏塊為 Skip模式，可見當前宏塊的周圍鄰塊為 Skip編碼模式時，則其最終編碼模式為 Skip的概率高。因此，如果利用鄰塊信息在運動估計之前提前預測出一部分 Skip編碼模式則能更進一步地提高編碼效率。由于當前宏塊和其周圍相鄰宏塊存在空間相關性，在圖3若宏塊A、B、C和D均為Skip編碼模式，則E的編碼模式為Skip編碼的概率很大。

圖2 akiyo模式分布

圖3 宏塊空間相關圖

由文獻[12]可知，若一宏塊為Skip編碼模式，則該宏塊必須滿足以下4個條件：

1) 運動補償?shù)淖罴押陦K劃分為16×16；

2) 參考幀為當前幀的前一幀；

3) 通過運動搜索得到的最佳運動矢量與通過預測得到的運動矢量相同；

4) 殘差經過變換量化后均為0。

當宏塊只滿足前3個條件時，此時的宏塊所采用的編碼模式為準 Skip編碼模式。由試驗數(shù)據(jù)可知，當周圍宏塊都為Skip或準Skip模式時，盡管對運動緩慢紋理簡單的序列能比較準確地判斷出Skip模式；但對于運動復雜紋理豐富的序列而言，其誤判率最差情況達到63.221 9%，因此需要考慮條件4)來減少誤判率。滿足以上條件時，當前宏塊編碼模式 M 為 Skip ，16×16，16×8，8×16，8×8，Intra4×4，Intra16×16在各視頻Seq中所占百分比數(shù)值見表1。

表1 當前宏塊編碼模式的百分比

2.2 幀間模式選擇算法

由上節(jié)可知 Skip編碼模式在視頻序列的編碼過程中起著重要的作用，其所具有的特點不僅僅可運用于運動估計之前也可運用于運動估計的過程中，可縮小宏塊級模式的判斷范圍。本文通過實驗數(shù)據(jù)分析表2中不同量化參數(shù)下的亞宏塊編碼模式分布，發(fā)現(xiàn)宏塊編碼模式與量化參數(shù)值之間的關系，即隨著量化參數(shù)的增加，P8×8模式在整個編碼模式中所占的比例越來越小；同時在P8×8模式中8×8模式所占的比例不斷增加，4×4模式所占的比例不斷減少，而8×4和4×8在P8×8種所占的比例變化不大。在量化參數(shù)較小的時候，亞宏塊的模式分布主要集中在{8×8，4×4}中，量化參數(shù)比較大時，主要集中在{8×8，8×4}中，當量化參數(shù)取中等數(shù)值時，亞宏塊的模式分布主要集中在{8×8，8×4，4×8}中。根據(jù)這一實驗現(xiàn)象將P8×8劃分成若干子集合，即{8×8，4×4}，{8×8，8×4，4×8}，{8×8，8×4}，分別對應于不同程度的量化參數(shù)值。同時權衡到編碼速度，在中等量化參數(shù)情況下添加亞宏塊模式子集合{8×4，4×8}。本文對亞宏塊級模式進行集合劃分，不同的量化參數(shù)值下的宏塊選擇不同的亞宏塊模式集合，縮小亞宏塊級模式判斷范圍。

表2 不同量化參數(shù)下的亞宏塊編碼模式分布

因此提出了一種快速幀間編碼模式選擇算法作為H.264快速多參考幀選擇算法中的一部分，流程描述如下：

step 1 設置當前宏塊最終編碼模式為16×16，以16×16編碼模式進行運動估計，計算率失真代價，并設置為最小代價；

step 2 判斷運動估計的結果是否滿足 2.1節(jié)中條件2)和3)，若不滿足，則轉入step 6；

step 3 設置最終編碼模式為16×16，對亮度和色度殘差進行變換和量化；

step 4 判斷量化后的系數(shù)是否都為0（2.1節(jié)中條件4），若滿足最終編碼模式為Skip模式，否則轉入step 7；

step 5 對當前宏塊進行Intra16×16模式選擇，計算其率失真代價，與最小代價相比，取代價最小的模式為最終模式，同時更新最小代價，轉入step 9；

step 6 對當前宏塊進行16×8、8×16運動估計和率失真代價計算，與最小代價相比，取代價最小的模式為最終模式，同時更新最小代價；

step 7 若 qp≤24,對當前宏塊進行 8×8、4×4運動估計和率失真代價計算，若 24＜qp≤36，對當前宏塊進行8×4、4×8運動估計和率失真代價計算，若 qp＞36，對當前宏塊進行 8×8、8×4運動估計和率失真代價計算，與最小代價相比，取代價最小的模式為最終模式，同時更新最小代價；

step 8 對當前宏塊進行 Intra4×4、Intra16×16模式選擇和率失真代價計算，與最小代價相比，取代價最小模式為最終模式，同時更新最小代價；

step 9 為最終編碼模式進行相應的參數(shù)設置；

step 10 結束。

2.3 多參考幀選擇

在H.264中，可支持16個參考幀（一般設為5幀）、10種預測模式（16×16、8×16、16×8、8×8、4×8、8×4、4×4、intra4×4、intra16×16、Skip）。為找出最合適的參考幀，通常在整個運動估計過程是遍歷所有參考幀并計算搜索范圍內每個宏塊的率失真值。

其中，s為當前塊像素值，ref為要選擇的參考幀，mv為參考幀 ref的運動矢量，r(r ef,m v)為參考塊的像素值，SAD(sum of absolute difference)為當前塊與參考像素差值的絕對值和， λMOTION是Lagrange乘數(shù)因子，pred為預測矢量，R是宏塊編碼所需的比特數(shù)，包括運動矢量與其預測值的差值編碼比特和參考幀的編碼比特。通過依次遍歷最近的參考幀1直到最遠的參考幀 n各宏塊的 JMOTION(m v,ref|λMOTION)值，得到最佳參考幀能夠使得碼率與失真得到優(yōu)化，如圖4所示。

圖4 多參考幀預測過程

同單參考幀相比，多參考幀技術可有效提高圖像預測的精度。然而，多參考幀技術能在多大程度上提高編碼效率，以及使用多少個參考幀最合適，完全依賴視頻序列內容的特性。實驗發(fā)現(xiàn)，多參考幀技術的編碼增益主要來自宏塊內子塊所使用不同的參考幀。表3和表4分別列出了量化參數(shù)為28的情況下，標準測試序列Seq在16×16模式及亞宏塊編碼模式下選擇最佳參考幀的分布情況，其中RF是指選擇的最佳參考幀的序號（從0（最近）到4（最遠））。

表3 16×16模式各序列最佳參考幀的分布

表4 亞宏塊模式各序列最佳參考幀的分布

從表3和表4數(shù)據(jù)可知，對于運動平緩簡單的序列其參考幀一般取比較臨近的參考幀，亞宏塊模式與16×16模式相比選擇較遠參考幀的概率較大。由于參考幀的選擇由其自身所具有的視頻運動紋理特征確定，從表1數(shù)據(jù)分析可知，對于運動復雜、紋理豐富的視頻序列，其采用Skip編碼模式進行編碼的宏塊相對較少；反之，對于運動緩慢、紋理簡單的序列，其采用Skip編碼模式進行編碼的宏塊相對較多。所以采用Skip模式在所有模式中所占比例大小代表視頻序列的特性是可行的。因此統(tǒng)計Skip編碼模式的分布，對于7種不同的編碼模式，可分配與之對應的參考幀數(shù)量。算法描述見2.4節(jié)算法step 5和step 6。

2.4 快速算法流程

本文提出的快速幀間模式選擇算法首先在運動估計之前判斷該宏塊是否為Skip模式，然后在運動估計過程中運用2.2節(jié)中提出的快速幀間編碼模式選擇算法，最后根據(jù)SKIP編碼模式的比例分配不同的參考幀數(shù)。算法中設16×16，16×8，8×16，8×8，8×4，4×8，4×4 這 7 種塊模式分別為 m1 至m7，其流程描述如下。

step1 進入宏塊級編碼，宏塊默認大小為16×16；

step2 判斷周圍已經編碼的宏塊（左臨宏塊和上臨宏塊）是否均為Skip編碼模式或者準Skip編碼模式，并且判斷當前宏塊是否滿足2.1節(jié)2)、3)、4)條件，若不滿足，轉入 2.2節(jié)快速幀間編碼模式選擇算法；

step3 設置當前宏塊的最終編碼模式為 Skip編碼模式，若該幀內容沒有編完則轉入 step1繼續(xù)下一宏塊編碼，否則轉入step4；

step4 統(tǒng)計前2個P幀的Skip編碼模式的宏塊個數(shù)Skip_num；

其中,

step5 根據(jù)不同的模式，求出參考幀數(shù)量RF_num；

step6 若計時時鐘時間到，則更新 Skip編碼模式的統(tǒng)計分布，否則轉入 step1繼續(xù)下一幀的宏塊編碼。

3 實驗結果與分析

為測試本文算法的實際性能，結合H.264/AVC的參考軟件JM10.2[13]進行了實驗。實驗采用運動特征和紋理特征都不相同的標準測試序列 bus、mobile、foreman、container、silent和Mother的 CIF格式和QCIF格式的前100幀進行測試。編碼器主要參數(shù)設置見表5。

表5 編碼器參數(shù)設置

圖 5是本文算法與全搜索算法客觀性能對比圖，表6中列出了本文算法和H.264編碼器JM10.2所采用的全模式搜索算法以及張淑芳等提出基于H.264的多參考幀快速選擇算法[9]（這里簡稱Zhang算法）的編碼性能比較。表6中，比特率(kbit/s)選項中變化率1是指Zhang算法與JM10.2相比較的變化比率，變化率2是本文算法與JM10.2比較的變化比率，“—”表示參考文獻中沒有提及的項。如表6所示，本文的PSNR表示本文算法相對于全搜索算法，客觀性能略微下降，這是由于該算法Skip編碼模式覆蓋率增大造成的。從表6中可以看出，客觀性能損失與 JM10.2相比平均下降約為Δ0.07dB，但比Zhang算法提高0.41dB。從人眼視覺特性來看，當圖像客觀性能的下降在Δ0.5dB以內時，人的主觀感覺并不會有太大的變化。所以，本文算法造成的客觀性能下降因其幅度很小，不會影響到視頻的主觀視覺效果，如圖5所示，其PSNR和現(xiàn)有算法、全搜索算法非常接近。

圖5 客觀性能對比圖

同全搜索算法以及文獻[9]相比，本文算法在運動估計之前判斷Skip編碼模式，并根據(jù)Skip編碼覆蓋率對不同的幀間編碼模式選擇不同的多參考幀數(shù)目；同時本文算法能夠全面地覆蓋Skip模式宏塊，并隨著量化參數(shù)的增加使得Skip模式的覆蓋率增大，編碼節(jié)省的時間數(shù)值進一步增大，多參考幀預測時間減少，可大幅度地降低編碼器復雜度，因此在編碼時間和比特率上比現(xiàn)有算法更具有優(yōu)勢。如圖6所示，針對運動緩慢紋理簡單的視頻序列，如表6中silent_QCIF、container_CIF、ice_4CIF標準測試序列能使編碼器的時間開銷平均降低75.69%、79.23%、87.63%，特別是針對相對靜止的視頻如silent_QCIF，由于silent_QCIF中的絕大部分宏塊的編碼模式均為Skip模式，因此不僅僅可以大幅降低編碼時間還能夠將編碼比特率降低47.21%；而針對運動劇烈紋理復雜的序列，如表6中 mobile_CIF標準測試序列本文算法也比現(xiàn)有算法更能明顯提高編碼效率。

表6 本文算法與全搜索算法編碼性能比較

4 結束語

本文分析了幾類具有代表性自然視頻的特性，根據(jù)H.264標準要求，提出一種多參考幀選擇快速算法，在保證H.264編碼質量的同時明顯提高了編碼器的編碼效率。該算法不但適于運動緩慢、紋理簡單的CIF、QCIF、4CIF視頻序列，而且適于運動劇烈、紋理復雜的CIF、QCIF、4CIF視頻序列。此外，該算法雖然對于不同的編碼模式分配的參考幀數(shù)量是由幾類代表性視頻序列實驗得出，但其結論對不同尺寸的一般自然視頻同樣有效。

[1] ITU-T Recommendation and Final Draft International Standard of Joint Video Specification[S].(ITU-T Rec H.264 | ISO/IEC 14496-10 AVC),2003.

[2] SCHAFER R,WIEGAND T,SCHWARZ H.The Emerging H.264/AVC Standard[S].EBU Technical Review,2003.

[3] GAN Z L,ZHU X C.Novel multi-frame fast motion search algorithm based on H.264[J].Journal of Communications,2007,28(1):17-21.

[4] CHEN Y P,ZHANG P R,SUN Y,et al.One low complex reference picture selection optimal method[J].Journal of Electronics and Information Technology,2007,29(4):967-970.

[5] TING C W,LAM W H,PO L M,Fast block-matching motion estimation by recent-biased search for multiple reference frames[A].Proc IEEE Int Conf on Image Processing[C].2004.1445-1448.

[6] PU J H,XIONG Z,LIU Y L.Fast motion estimation algorithm for H.264 with multi-references[J].Journal of Beijing University of Aeronautics and Astronautics,2006,32(5): 617-620.

[7] QIAO R,DONG X C,TANG H Y,et al.Fast motion estimation and inter-frame mode selection algorithm based on H.264 encoding[J].Journal of Xihua University(Natural Science Edition),2008,27(4):13-17.

[8] CHEN M J,CHIANG Y Y,LI H J,et al.Efficient multi-frame motion estimation algorithms for MPEG-4/AVC/JVT/H.264[A].Proc IEEE Int Symp on Circuits and Systems[C].2004.737-740.

[9] ZHANG S F,LI H.A Multi-reference frames fast selection algorithm for H.264[J].Acta Elecironica Sinica,2009,37(1):62-66.

[10] TING C W,PO L M,CHEUNG C H.Center biased frame selection algorithms for fast multi-frame motion estimation in H.264[A].Proc IEEE Int Conf Neural Networks & Signal Processing[C].2003.

[11] HUANG Y W,HSIEH B Y,CHIEN S Y,et al.Analysis and complexity reduction of multiple reference frames motion estimation in H.264/AVC[J].IEEE Trans,Circuits Syst,Video Technol,2006,16(4):507-522.

[12] WOONG I,JEON B,JEONG J.Fast motion estimation with modified diamond search for variable motion block sizes[A].IEEE International Conference on Image Processing[C].Barcelona: Institute of Electrical and Electronics Engineers Computer Society,2003.371-374.

[13] JVT reference software version 10.2[EB/OL].http://iphome.hhi.de/suehring /tml/download/ old_jm.