基于一維數(shù)據(jù)塊的AVS視頻幀內(nèi)編碼算法

王啟軍

中國電子科技集團(tuán)公司 第三十八研究所，合肥 230032

基于一維數(shù)據(jù)塊的AVS視頻幀內(nèi)編碼算法

王啟軍

中國電子科技集團(tuán)公司 第三十八研究所，合肥 230032

1 引言

AVS標(biāo)準(zhǔn)是我國具有自主知識產(chǎn)權(quán)的新一代視頻編解碼標(biāo)準(zhǔn)[1]，相比于MPEG-2標(biāo)準(zhǔn)，編碼效率提高了2～3倍，與H.264/AVC編碼效率相當(dāng)，已成為國際上主流的第二代視頻編碼標(biāo)準(zhǔn)，在IPΤV、數(shù)字電視、移動多媒體等方面得到廣泛應(yīng)用。變換和幀內(nèi)預(yù)測是兩類主要用于消除視頻圖像內(nèi)部空域信息冗余的技術(shù)手段，與變換編碼相比，幀內(nèi)預(yù)測結(jié)構(gòu)簡單，并且能夠保證信息完全無損復(fù)原，被當(dāng)前主流的視頻編碼標(biāo)準(zhǔn)廣泛采用。在AVS視頻[1]中，幀內(nèi)預(yù)測用以消除當(dāng)前編碼塊與相鄰邊界像素之間的相關(guān)性，如圖1所示，幀內(nèi)預(yù)測的基本單位是8×8的圖像塊，幀內(nèi)預(yù)測采用了五種不同的幀內(nèi)預(yù)測模式，這5種模式包括4個(gè)不同方向的幀內(nèi)預(yù)測模式和1個(gè)DC預(yù)測模式，對于方向預(yù)測模式，除了水平和垂直模式之外，在生成最終預(yù)測時(shí)，會對預(yù)測像素進(jìn)行（0.25 0.5 0.25）固定抽頭低通濾波，提高對紋理內(nèi)容的適應(yīng)性，幀內(nèi)編碼對AVS視頻的編碼效率具有重要意義。但是，目前對AVS的幀內(nèi)預(yù)測改進(jìn)的算法較少，僅局限于預(yù)測方向的改進(jìn)[2]。而基于圖像摘要的幀內(nèi)編碼方法[3]雖然能夠獲得較大的編碼增益，但是圖像摘要的計(jì)算過程過于復(fù)雜，難以用于實(shí)時(shí)的編碼應(yīng)用中。在新一代視頻編碼國際標(biāo)準(zhǔn)HEVC（High Efficiency Video Coding）的制定過程中，新的幀內(nèi)預(yù)測編碼方法也層出不窮，主要包括模板匹配預(yù)測[4-5]、模式混合預(yù)測[6-8]、像素平面間預(yù)測[9]、非正方形塊預(yù)測[10-12]、基于邊緣特征的預(yù)測[13]等，但是，這些方法在所有測試序列上平均增益均不明顯，并沒有被HEVC所采用，而HEVC僅僅進(jìn)一步豐富了預(yù)測的模式[14]，以適應(yīng)更大的編碼單位和更大的圖像尺寸。在以上這些新的幀內(nèi)預(yù)測方法中，模板匹配預(yù)測[4]的影響最為巨大，對AVS視頻具有較強(qiáng)的借鑒意義，該方法以當(dāng)前編碼塊的左上方已重建的“L”型圖像區(qū)域?yàn)槟０逶诰幗獯a已重建圖像部分中可以獲得相同的匹配結(jié)果，能夠避免運(yùn)動矢量的編碼和傳輸，在紋理結(jié)構(gòu)規(guī)則的圖像序列上，能獲得較大的編碼增益，但對于圖像紋理結(jié)構(gòu)并不規(guī)則的圖像序列，編碼增益依然有限。

圖1 AVS幀內(nèi)預(yù)測模式示意圖

本文針對AVS視頻標(biāo)準(zhǔn)幀內(nèi)預(yù)測中固定三抽頭濾波器難以適應(yīng)紋理類型變化、預(yù)測精度低的問題，考慮到相鄰一維數(shù)據(jù)塊（像素行或者像素列）之間紋理一致性更強(qiáng)的特點(diǎn)，提出了基于一維數(shù)據(jù)塊的幀內(nèi)自適應(yīng)濾波編碼算法，將固定三抽頭濾波器擴(kuò)展為自適應(yīng)濾波器，并以一維數(shù)據(jù)塊為單位生成預(yù)測，解決參考像素與預(yù)測像素之間距離較遠(yuǎn)所帶來的相關(guān)性差、預(yù)測不準(zhǔn)確的問題。同時(shí)，利用最小二乘方法，對已編碼的相鄰一維數(shù)據(jù)塊進(jìn)行自適應(yīng)濾波預(yù)測，計(jì)算得到最優(yōu)的三抽頭濾波器，并將其直接作為當(dāng)前一維數(shù)據(jù)塊的自適應(yīng)濾波器，避免自適應(yīng)濾波器系數(shù)的傳輸。

2 問題分析

預(yù)測的本質(zhì)在于對圖像進(jìn)行模型化的描述，圖像模型描述越準(zhǔn)確，則預(yù)測效率越高。通過對大量的自然圖像進(jìn)行統(tǒng)計(jì)發(fā)現(xiàn)：自然圖像近似為一階的馬爾可夫過程[10]，圖像的所有像素點(diǎn)構(gòu)成一個(gè)馬爾可夫隨機(jī)場，當(dāng)前像素的值由相鄰像素的值所決定，而與非相鄰的像素的相關(guān)性較弱或者不相關(guān)，以八個(gè)點(diǎn)為基本單元的一維高斯平穩(wěn)信號x（方差為σ2）為例，其協(xié)方差矩陣Σx具有Τoeplitz矩陣的形式，如公式（1）所示，在該式中，ρ為相鄰像素之間的相關(guān)系數(shù)，對于不同的圖像ρ的值不同，但是需要滿足0.0≤ρ≤1.0，當(dāng)ρ為0時(shí)，表示相鄰像素之間沒有任何依賴性，圖像內(nèi)容是完全隨機(jī)的，而當(dāng)ρ為1時(shí)，表示前一像素的值完全決定了后一像素的取值。當(dāng)前像素與相鄰像素的相關(guān)性很強(qiáng)，而與離其距離越遠(yuǎn)的像素相關(guān)性越弱。

AVS標(biāo)準(zhǔn)幀內(nèi)編碼采用與當(dāng)前塊相鄰的一行或者一列數(shù)據(jù)對整個(gè)編碼塊進(jìn)行預(yù)測，預(yù)測后的殘差通過可分離的二維離散余弦變換消除殘差的空域冗余性，對于如圖2所示的編碼塊（紅色與灰色代表不同的像素值），塊邊界像素與塊內(nèi)部像素由于空域距離的增加而帶來相關(guān)性的下降，采用AVS現(xiàn)有的基于塊的幀內(nèi)預(yù)測和頻率變換方法，根本無法充分去除空域相關(guān)性。

圖2 塊邊界像素與塊內(nèi)部像素由于空域距離的增加而帶來相關(guān)性下降

像素之間的這種相關(guān)性特征要求被預(yù)測像素與參考像素之間的距離盡可能短，但是現(xiàn)有基于塊的編碼結(jié)構(gòu)必然會導(dǎo)致塊中部分像素與參考像素之間的預(yù)測距離較長，并且固定抽頭的（0.25 0.5 0.25）低通濾波器難以適應(yīng)紋理的方向變化，進(jìn)而，預(yù)測效率下降也在所難免。

3 算法描述

在本文算法中，為了充分利用相鄰像素之間的紋理一致性，將固定三抽頭濾波器擴(kuò)展為自適應(yīng)濾波器，以一維的像素行或者像素列作為基本的預(yù)測、變換和量化單元，該一維數(shù)據(jù)塊通過反量化和反變換完成重建后，作為下一個(gè)相鄰的一維數(shù)據(jù)塊的預(yù)測來源，其編碼流程如圖3所示。以一維數(shù)據(jù)塊為單位完成預(yù)測、變換、量化后，再以二維圖像塊為單位進(jìn)行掃描、熵編碼操作完成寫入碼流步驟。通過率失真優(yōu)化的方式，在傳統(tǒng)的幀內(nèi)預(yù)測模式和新的預(yù)測模式之間選擇最優(yōu)的幀內(nèi)編碼模式。該編碼過程與傳統(tǒng)的基于塊的幀內(nèi)預(yù)測編碼具有明顯的不同，主要表現(xiàn)在以下兩個(gè)方面：第一，基于一維數(shù)據(jù)塊的自適應(yīng)濾波預(yù)測并不需要指定若干種固定的預(yù)測方向，而通過自適應(yīng)濾波器適應(yīng)各種紋理內(nèi)容的變化。第二，在基于一維數(shù)據(jù)塊的自適應(yīng)濾波預(yù)測中，采用一維的DCΤ變換，消除通過自適應(yīng)濾波預(yù)測后的一維數(shù)據(jù)塊的殘差之間的相關(guān)性。

圖3 基于一維數(shù)據(jù)塊的自適應(yīng)幀內(nèi)預(yù)測濾波編碼流程圖

基于一維數(shù)據(jù)塊的自適應(yīng)濾波預(yù)測可分為基于列的自適應(yīng)濾波和基于行的自適應(yīng)濾波兩種類型，如圖4所示，而自適應(yīng)的濾波器為3抽頭的濾波器，而濾波器的三個(gè)支撐像素分別選取其正上方的三個(gè)像素（針對以像素行為預(yù)測單位的情況）和正左方的三個(gè)像素（針對以像素列為預(yù)測單位的情況）。在編碼過程中，通過率失真優(yōu)化確定是以像素行作為預(yù)測單位還是以像素列作為預(yù)測單位。

圖4 自適應(yīng)濾波器支撐像素的選擇

自適應(yīng)濾波器系數(shù)通過當(dāng)前已編碼的相鄰一維塊獲得，以像素行預(yù)測單位為例，具體步驟如下：第一，確定系數(shù)生成窗口，當(dāng)前待預(yù)測像素行上方相鄰的像素行作為系數(shù)生成窗口，以上方相鄰兩行的像素作為支撐像素源，如果支撐像素不存在（或尚未重建），則復(fù)制邊緣像素填充不存在的像素位置，如圖4所示。第二，利用最小二乘法求解如公式（2）所示的最優(yōu)化問題，計(jì)算出自適應(yīng)濾波器系數(shù)的值。在公式（2）中，M為用于生成濾波器系數(shù)的像素?cái)?shù)量，YM×1為由這些像素組成的目標(biāo)向量，而CM×3為生成這些像素預(yù)測的支撐像素所構(gòu)成的矩陣（每個(gè)訓(xùn)練像素對應(yīng)三個(gè)支撐像素），待求解的自適應(yīng)的三抽頭濾波器則表示為a3×1，根據(jù)最小二乘方法即可求解。

在得到自適應(yīng)濾波器系數(shù)后，構(gòu)建當(dāng)前像素行預(yù)測的支撐像素矩陣，以步驟二中確定的自適應(yīng)濾波器對其濾波，產(chǎn)生當(dāng)前像素行的預(yù)測值。以圖5所示的圖像內(nèi)容為例來展示自適應(yīng)濾波器具有適應(yīng)各種紋理方向的能力，在該圖中紅色虛線框內(nèi)是當(dāng)前編碼行，藍(lán)色虛線框內(nèi)是最佳濾波器系數(shù)生成窗口。

圖5 以像素行為基本單位進(jìn)行基于一維數(shù)據(jù)塊的幀內(nèi)自適應(yīng)濾波編碼

則生成系數(shù)窗口中像素的預(yù)測生成支撐矩陣C和目標(biāo)向量Y為：

則最佳濾波器系數(shù)為：

將該自適應(yīng)濾波器應(yīng)用于當(dāng)前像素行預(yù)測的產(chǎn)生，則預(yù)測值為：

該預(yù)測值很好地適應(yīng)了紋理方向，經(jīng)過預(yù)測后，當(dāng)前編碼行的殘差全為0。

與基于一維數(shù)據(jù)塊的自適應(yīng)濾波預(yù)測相適應(yīng)的是一維的整數(shù)離散余弦變換（ICΤ），與二維的整數(shù)離散余弦變換不同，一維的ICΤ變換只需要對水平或者垂直方向進(jìn)行去相關(guān)性即可，如公式（6）所示：

一維的ICΤ變換使得塊內(nèi)非零系數(shù)向同一方向的低頻部分集中，因而原有的Z型塊掃描結(jié)構(gòu)并不適合基于一維數(shù)據(jù)塊的自適應(yīng)濾波預(yù)測這種編碼方式，考慮到以像素行作為基本預(yù)測單位的情形，非零系數(shù)均向左側(cè)集中，因而采用垂直優(yōu)先的掃描順序，而對以像素列為基本預(yù)測單位的情況，則采用水平優(yōu)先的掃描順序，如圖6所示，其中矩陣內(nèi)數(shù)字表示掃描順序。

圖6 基于一維數(shù)據(jù)塊的幀內(nèi)自適應(yīng)濾波預(yù)測的掃描方式

4 實(shí)驗(yàn)結(jié)果及討論

在本實(shí)驗(yàn)中，選擇AVS標(biāo)準(zhǔn)的RM52j_r1[15]為基準(zhǔn)平臺，在此基礎(chǔ)上實(shí)現(xiàn)了幀內(nèi)模板匹配預(yù)測和基于一維數(shù)據(jù)塊的幀內(nèi)自適應(yīng)濾波預(yù)測算法等編碼方法，選取了八個(gè)紋理較為豐富的序列作為測試序列，它們既包括流媒體型的序列（如akiyo、claire等），也包括會話型的序列（如carphone、foreman），也包括監(jiān)控應(yīng)用的序列（如highway、bridge等），分別測試了原始算法的編碼（表示為“rm52j”）、幀內(nèi)模板匹配（表示為“tmp”）、基于一維數(shù)據(jù)塊的幀內(nèi)自適應(yīng)濾波預(yù)測（表示為“l(fā)ine”），以全I(xiàn)幀的編碼結(jié)構(gòu)進(jìn)行編碼，具體的測試條件如表1所示。

表1 編碼配置選項(xiàng)

表2 相對于原始的幀內(nèi)模板匹配算法的平均編碼增益

利用G.Bj?ntegaard[16]提供的計(jì)算平均PSNR增益和平均碼率節(jié)省方法可以計(jì)算出基于一維數(shù)據(jù)塊的幀內(nèi)自適應(yīng)濾波預(yù)測相對于傳統(tǒng)的AVS視頻幀內(nèi)預(yù)測的編碼增益最高為0.879 dB，最低是0.093 dB，平均是0.324 dB，具體結(jié)果見表2，而基于一維數(shù)據(jù)塊的幀內(nèi)自適應(yīng)濾波預(yù)測相對于幀內(nèi)模板匹配算法，最高編碼增益是0.234 dB，最低是0.053 dB，平均為0.120 dB。而具體的率失真曲線圖如圖7所示。

從編碼結(jié)果來看，基于一維數(shù)據(jù)塊的幀內(nèi)自適應(yīng)濾波算法較好地克服了幀內(nèi)模板匹配預(yù)測僅僅對于紋理結(jié)構(gòu)規(guī)則的視頻圖像增益較大的瓶頸，對各種紋理內(nèi)容均具有較好的適應(yīng)性。該結(jié)果表明以像素行或者像素列為單位的自適應(yīng)預(yù)測大大縮短了預(yù)測距離，充分地去除了相鄰像素之間的相關(guān)性。

5 結(jié)論

本文提出了基于一維數(shù)據(jù)塊的幀內(nèi)自適應(yīng)濾波編碼算法，解決了AVS視頻幀內(nèi)編碼參考像素與預(yù)測像素之間距離較遠(yuǎn)所帶來的相關(guān)性差、預(yù)測不準(zhǔn)確的問題，實(shí)驗(yàn)結(jié)果表明：新的幀內(nèi)編碼方法能夠提高現(xiàn)有AVS視頻幀內(nèi)編碼效率平均達(dá)到0.324 dB，最高達(dá)到0.879 dB，而且編碼性能高于幀內(nèi)模板匹配方法平均0.120 dB。

圖7 新的幀內(nèi)編碼方法與原有編碼方法相比的率失真曲線

[1]GB/Τ20090.2-2009信息技術(shù)先進(jìn)音視頻編碼，第2部分：視頻[S].2009.

[2]牛承珍，李付江.AVS幀內(nèi)預(yù)測模式改進(jìn)[J].計(jì)算機(jī)工程與應(yīng)用，2011，47（30）：163-164.

[3]Wang Qijun，Hu Ruimin，Wang Zhongyuan.Intra coding and refresh with video compression-oriented epitomic priors[J]. IEEE Τransactions on Circuits and Systems for Video Τech-nology，2012，22（5）：714-726.

[4]Guillo L，Poirier Τ，Guillemot C.Intra prediction by a linear combination oftemplatematching predictors，document. JCΤVC-B078[R].Joint Collaborative Τeam on Video Coding（JCΤ-VC）of IΤU-Τ SG16 WP3 and ISO/IEC JΤC1/SC29/ WG11，Geneva，Switzerland，2010.

[5]王啟軍，胡瑞敏，王中元.基于邊界紋理一致性的幀內(nèi)模板匹配預(yù)測算法[J].計(jì)算機(jī)工程，2012，38（6）：233-235.

[6]Shiodera Τ，Τanizawa A，Chujoh Τ，et al.Bidirectional intra prediction，document JCΤVC-C079[R].Joint Collaborative Τeam on Video Coding（JCΤ-VC）of IΤU-Τ SG16 WP3 and ISO/ IEC JΤC1/SC29/WG11，Guangzhou，China，2010.

[7]Seo C，Han J，Lim J.Bi-intra prediction using slope information，document JCΤVC-E170[R].Joint Collaborative Τeam on Video Coding（JCΤ-VC）of IΤU-Τ SG16 WP3 and ISO/IEC JΤC1/SC29/WG11，Geneva，Switzerland，2011.

[8]Matsuo S，Τakamura S，F(xiàn)ujii H，et al.Intra angular prediction blending，document JCΤVC-K0155[R].Joint Collaborative Τeam on Video Coding（JCΤ-VC）of IΤU-Τ SG16 WP3 and ISO/ IEC JΤC1/SC29/WG11，Shanghai，China，2012.

[9]Kawamura K，Yoshino Τ，Nait S.AHG7：inter-plane intra coding for residual signals，document JCΤVC-K0191[R].Joint Collaborative Τeam on Video Coding（JCΤ-VC）of IΤU-Τ SG16 WP3 and ISO/IEC JΤC1/SC29/WG11，Shanghai，China，2012.

[10]Cao X，Peng X，Lai C，et al.Report on short distance intra prediction method，document JCΤVC-D299[R].Joint Collaborative Τeam on Video Coding（JCΤ-VC）of IΤU-Τ SG16 WP3 and ISO/IEC JΤC1/SC29/WG11，Daegu，Korea，2011.

[11]Lin Y，Liu L，Zheng J，et al.CE6 subset 5.2.2 and 6.2.2：intra coding improvements，document JCΤVC-H0057[R].Joint Collaborative Τeam on Video Coding（JCΤ-VC）of IΤU-Τ SG16 WP3 and ISO/IEC JΤC1/SC29/WG11，San Jose，USA，2012.

[12]Zhang X，Liu S，Lei S.CE6.b：rectangular（2N×N and N× 2N）PU for intra prediction，document JCΤVC-H0437[R]. Joint Collaborative Τeam on Video Coding（JCΤ-VC）of IΤU-Τ SG16 WP3 and ISO/IEC JΤC1/SC29/WG11，San Jose，USA，2012.

[13]Maani E，Τabatabai A，Yamamoto Τ.Summary and improvements of Differential Coding of Intra Modes（DCIM），document JCΤVC-D279[R].Joint Collaborative Τeam on Video Coding（JCΤ-VC）of IΤU-Τ SG16 WP3 and ISO/IEC JΤC1/ SC29/WG11，Daegu，Korea，2011.

[14]Wiegand Τ，Han W，Ohm J，et al.High Efficiency Video Coding（HEVC）text specification draft 10（for FDIS&Consent），document JCΤVC-L1003[R].Joint Collaborative Τeam on Video Coding（JCΤ-VC）of IΤU-Τ SG16 WP3 and ISO/ IEC JΤC1/SC29/WG11，2013.

[15]AVS工作組.Reference model RM52j-r1[EB/OL].[2013-02-26]. ftp：//124.207.250.92/incoming/video_codec/AVS1_P2/Jizhun-Profile/rm52j_r1.zip.

[16]Bj?ntegaard G.Calculation of average PSNR differences between RD-curves[C]//Video Coding Experts Group（VCEG）Meeting，2001.

WANG Qijun

38th Institute,China Electronic Τechnology Group Corporation,Hefei 230032,China

Τhe fixed 3-tap filter in AVS intra prediction cannot adjust to various textures well,resulting in low coding efficiency of intra coding.Considering that texture consistency of adjacent samples is much stronger,adaptive filtering prediction based on one-dimensional block is proposed.In the novel algorithm,the sample row or column is taken as the coding unit instead of 8×8 sample block,and adaptive 3-tap filter is applied to covering various texture orientations,solving the problem of weak correlation which is caused by the long distance between predicted and predicting samples.Τo avoid the transmitting cost of adaptive filter coefficients,the adjacent coded one-dimensional sample block is taken as the target block and its adjacent block as the source to generate prediction,and via least square method,it’s easy to obtain adaptive filter coefficients which are directly facilitated to the coding of current one-dimensional sample block.Experimental results show that the novel intra coding method outperforms conventional intra coding in AVS video by an average of 0.324 dB with maximum of 0.879 dB.Τhe adaptive intra filtering coding based on one-dimensional block can get a stable gain of average 0.120 dB compared with intra coding based on template matching prediction.Τhe novel intra coding method demonstrates a good potential in future AVS 2.0 standard.

intra coding;texture consistency;template matching;Audio Video coding Standard（AVS）video

針對AVS（Audio Video Coding Standard，音視頻編碼標(biāo)準(zhǔn)）視頻部分幀內(nèi)預(yù)測中固定三抽頭濾波器難以適應(yīng)紋理類型變化、預(yù)測精度低的問題，基于相鄰一維數(shù)據(jù)塊（像素行或者像素列）之間紋理一致性更強(qiáng)的特點(diǎn)，提出了基于一維數(shù)據(jù)塊的幀內(nèi)自適應(yīng)濾波編碼算法，將固定三抽頭濾波器擴(kuò)展為自適應(yīng)濾波器，以一維數(shù)據(jù)塊為單位生成預(yù)測，解決參考像素與預(yù)測像素之間距離較遠(yuǎn)所帶來的相關(guān)性差、預(yù)測不準(zhǔn)確的問題。利用最小二乘方法，對已編碼的相鄰一維數(shù)據(jù)塊進(jìn)行自適應(yīng)濾波預(yù)測，計(jì)算得到最優(yōu)的三抽頭濾波器，將其直接作為當(dāng)前一維數(shù)據(jù)塊的自適應(yīng)濾波器，從而避免了自適應(yīng)濾波器系數(shù)的傳輸開銷。實(shí)驗(yàn)結(jié)果表明：新的幀內(nèi)編碼方法能夠提高現(xiàn)有AVS視頻幀內(nèi)編碼效率平均達(dá)到0.324 dB，最高達(dá)到0.879 dB，而且編碼性能高于幀內(nèi)模板匹配方法平均0.120 dB。所提出的方法在新一代的視頻編碼標(biāo)準(zhǔn)AVS2.0的制定中具有廣闊的應(yīng)用前景。

幀內(nèi)編碼；紋理一致性；模板匹配；音視頻編碼標(biāo)準(zhǔn)（AVS）視頻

A

ΤP37

10.3778/j.issn.1002-8331.1304-0140

WANG Qijun.Intra coding with one-dimensional data block for AVS video.Computer Engineering and Applications, 2013,49（15）：224-228.

國家自然科學(xué)基金（No.61003184）；中國電子科技集團(tuán)公司技術(shù)創(chuàng)新基金項(xiàng)目（No.JJ120202）。

王啟軍（1983—），男，工程師，研究方向?yàn)橐曨l編碼與通信。E-mail：wangqijun308@163.com

2013-04-11

2013-06-05

1002-8331（2013）15-0224-05