改進的基于AVS2的樣點自適應(yīng)補償濾波算法

陳智賢 王國中 趙海武 李國平 滕國偉

摘要：樣點自適應(yīng)補償（SAO）是第二代數(shù)字音視頻編解碼標準（AVS2）和高效視頻編碼（HEVC）標準中環(huán)路濾波耗時較多的一部分。針對現(xiàn)有自適應(yīng)樣點補償算法計算量大、復(fù)雜度高等問題，提出一種改進的快速率失真算法。該算法主要通過分析各個邊緣模式下不同補償值的變化與所對應(yīng)的率失真變化之間的關(guān)系，對原本定義的補償值與寫入碼流的二元符號串之間的關(guān)系表進行修改，在不需要計算每個補償值的率失真代價的情況下，設(shè)定一個提前終止條件，快速找到當前樣值偏移補償單元最優(yōu)的補償值。實驗結(jié)果表明，與AVS2下的計算結(jié)果相比，在保證圖像率失真基本不變的前提下，改進的算法減少了尋找最優(yōu)補償值的計算量以及75%的循環(huán)次數(shù)和33%的環(huán)路濾波運行時間，從而降低了計算的復(fù)雜度。

關(guān)鍵詞：第二代數(shù)字音視頻編解碼標準；高效視頻編碼；樣點自適應(yīng)補償；邊緣模式補償值；率失真代價

中圖分類號：TN919.81 文獻標志碼：A

Abstract：Sample Adaptive Offset （SAO） is a timeconsuming part of inloop filter in the second generation of Audio Video coding Standard （AVS2） and High Efficiency Video Coding （HEVC） standard. Aiming at the problem that existing SAO algorithms had large amounts of computation and high complexity， an improved fast ratedistortion algorithm was proposed. In this new method， the original defined table of the offset values and its binary bit string to be written into the code stream were modified by analyzing the relationship between the different offset values of each class in the edge mode and its change of the ratedistortion， so that an early termination condition was set to quickly find the best offset value for the current SAO unit without calculating the ratedistortion cost of each offset. The experimental results show that， compared with the calculation results in AVS2， the proposed algorithm reduces not only the calculation amounts but also the number of cycles by 75% to find the best offset values and the operating time of inloop filter by 33%， which effectively lowers the complexity of the calculation in ensuring the ratedistortion of image barely changed.

Key words：the second generation of Audio Video coding Standard （AVS2）； High Efficiency Video Coding （HEVC）； Sample Adaptive Offset （SAO）； offset values of edge mode； ratedistortion cost

0 引言

由于第二代數(shù)字音視頻編解碼標準（the second generation of Audio Video coding Standard， AVS2）和高效視頻編碼（High Efficiency Video Coding，HEVC）中采用的基于塊的混合編碼框架會帶來塊效應(yīng)，即解碼后的重構(gòu)圖像與原始圖像存在差異[1-2]， 因此，除了H.264/AVS原有的去塊效應(yīng)濾波（deblocking filter）外，HEVC/AVS2在編碼過程中新加入了自適應(yīng)樣點補償濾波（Sample Adaptive Offset，SAO）[3-4]。其中，自適應(yīng)樣點補償在去塊效應(yīng)濾波之后進行[5]，其主要作用是為了抑制編碼中由變換量化等造成的振鈴效應(yīng)，從而進一步減少重構(gòu)圖像的失真。

本文將對自適應(yīng)樣點補償濾波算法進行詳細分析，在AVS2的標準下， 總結(jié)原邊緣模式下的率失真算法中補償值與對應(yīng)碼率代價之間的關(guān)系，在幾乎不影響圖像率失真代價的情況下，對原本定義的補償值與寫入碼流的二元符號串之間的對應(yīng)表稍作修改，并總結(jié)規(guī)律從而找到一種新的快速率失真算法，有效地降低了計算邊緣模式下最優(yōu)率失真代價的復(fù)雜度。

1 自適應(yīng)樣點補償算法分析

1.1 SAO濾波設(shè)計

樣值偏移補償作為環(huán)路濾波的一部分，由于其主要目的也是為了減少原始圖像與重構(gòu)圖像之間的誤差，因此，SAO的關(guān)鍵思想是降低每個SAO單元的平均樣本損失。其中SAO單元是由最大編碼單元（Largest Coding Unit，LCU）導(dǎo)出，每個最大編碼單元的SAO參數(shù)被寫入條帶數(shù)據(jù)中。為了能更大程度減少SAO參數(shù)的比特數(shù)，還引入合并模式來標記當前最大編碼單元的SAO參數(shù)是否與它的相鄰塊相同。當該SAO單元選擇合并模式時，當前塊的SAO參數(shù)不是從碼流中傳入的，而是可以從它的相鄰塊中直接得到的。

在進行樣值偏移補償時，首先把一幀圖像分為若干個LCU，把每個LCU作為一個SAO單元進行處理，通過計算各個模式下的率失真代價，選擇最優(yōu)的模式為該LCU的濾波類型[6]。SAO總共分為三種不同的模式：不補償（OFF）、合并模式（Merge）和新補償模式（New）。其中合并模式可分為上合并和左合并，新補償模式又分為邊緣補償模式（Edge Offset，EO）和區(qū)間補償模式（Band Offset，BO）。

1.2 樣本補償處理

為了減少重構(gòu)圖像與原始圖像的差，需要對每個LCU進行樣本補償處理。其原理是把每個SAO單元中的樣本根據(jù)不同模式分為不同的多個類，并為每個類獲得一個補償（offset）的值，然后把屬于這個類中的所有樣本值都加上該offset值。該SAO單元的模式索引以及每個類的offset值會編寫進碼流。

1）邊緣補償模式。

為了保持復(fù)雜度與編碼效率之間的平衡，這里把邊緣模式再分為4種不同的方向：水平、垂直、135°對角線和45°對角線，如圖1所示。圖中c表示當前樣點，a和b表示相鄰樣點。根據(jù)所給的方向，每個采樣點又可分為5類，其分類條件及每個類所對應(yīng)的補償值的取值范圍如表1所示[7]。把當前LCU中的每個樣本值與其相鄰的兩個樣本值作比較得到其所屬的類，并加上對應(yīng)的offset值，其中第0類不需要進行補償操作。

從表1可看出，由于第1類和第2類對應(yīng)的樣點值小于等于相鄰點的樣本值，因此采用的補償值大多屬于正數(shù)范圍，第3和第4類則相反。對于每個類，在編碼時需要計算得到最優(yōu)的率失真所對應(yīng)的offset的值，然后寫入碼流傳到解碼端。

2）區(qū)間補償模式。

在每個LCU中，對同一區(qū)間的所有像素對應(yīng)的樣本值采用同一補償值。如果每個采樣點的樣本值在0到255之間，則把整個樣本值劃分為32個區(qū)間，每個區(qū)間的寬度為8，并對應(yīng)不同的offset值[8]，每個offset的值在編碼端通過計算率失真代價獲得。在AVS2標準中，每個LCU只選擇4個補償值較大的區(qū)間進行補償，其中兩兩相連， 因此當選擇區(qū)間模式時，只需把兩個區(qū)間的起始位置及對應(yīng)的4個offset的值（取值范圍為[-7， 7]）傳到解碼端。

1.3 率失真代價計算

從以上對每個不同模式下的補償操作的分析可以看出，無論是邊緣模式還是區(qū)間模式都需要為每個類選擇一個對應(yīng)的offset的值。在AVS2中，是通過一種快速率失真算法，估算出范圍內(nèi)每個offset所對應(yīng)的率失真代價，并選擇最小的為該類的補償值。這里使用的比特數(shù)并不是把offset的值真正寫入碼流而獲得的，因此可以省去算數(shù)編碼的時間，其offset值與估計的比特數(shù)如表2和表3所示[9]。這種算法的優(yōu)點在于能比較精確地估計出最優(yōu)的率失真代價所對應(yīng)的補償值，然而，圖像由多個LCU組成，每個LCU需要分為亮度和色度三個分量分別計算，每個分量對應(yīng)4種不同的邊緣模式，而每種邊緣模式又分為5類（其中有4類需要計算offset），這4類offset的值總共有18個，如果一一計算其對應(yīng)的率失真代價，需要循環(huán)次數(shù)較多，而且由于原本定義的補償值與比特率之間的對應(yīng)關(guān)系沒有規(guī)律，所以在計算碼率代價時還需通過查表獲得，增加了計算量和計算的復(fù)雜度。

2 改進的快速率失真算法

本文對計算率失真代價的公式進行分析，在上述快速率失真算法的基礎(chǔ)上進一步改進，并且為了統(tǒng)一offset值的變化與比特數(shù)變化的對應(yīng)關(guān)系，修改原本定義的第1和第4類邊緣補償offset值與寫入碼流的二元符號串之間的對應(yīng)表，修改后如表4所示。在初步算得一個offset值以后，不需要一一計算率失真代價的公式，只需通過計算offset值的變化引起的圖像質(zhì)量的損失和碼率代價之間的大小關(guān)系，得到一個提前終止的條件，從而減少了循環(huán)的次數(shù)和計算率失真代價的時間，有效地降低了計算的復(fù)雜度。

2.1.2 特殊情況分析

觀察表4，同樣以第1類邊緣補償模式為例，可以看出，當計算得到的最初offset值為6時，其比特率的變化并不滿足offset為-1～5時的變化規(guī)律，因此需要分開進行討論。由于當offset的值為-1～5時，仍然滿足變化規(guī)律，這里只需將用上述快速率失真算法在-1～5時選出的最優(yōu)offset值與offset=6時的率失真代價進行比較，得到一個較優(yōu)的offset值作為該模式下的最終補償值。另外，把表中offset=6和offset=5的情況進行比較，可以容易得出，當算得的最初offset值為6時，其率失真代價必定優(yōu)于offset=5。

2.2 算法流程

首先，把當前最大編碼塊各個模式下統(tǒng)計得到的N和E代入式（2）。然后，把該值四舍五入到整數(shù)并歸到表1中的不同類的取值范圍內(nèi)計算得到z，如果N等于0，則z等于0，令初始offset=z。最后，根據(jù)不同的類，循環(huán)算得最優(yōu)的offset值，其具體過程如圖2所示。

1）第2類和第3類。由表2可以看出，這兩類不同的offset值所對應(yīng)的碼率代價是相同的，即g（[x]）相同，因此，無需循環(huán)計算，初始的offset值即為最優(yōu)值。

2）第1類。若z=-1，則無需循環(huán)，直接得到最終的offset=-1。若z=6，見2.1.2節(jié)；否則，讓補償值x從z到-1范圍內(nèi)循環(huán)。判斷式（3）是否成立：若成立，則提前終止循環(huán)，得到最優(yōu)的offset=x；否則得到最終offset=-1。

3）第4類。若z=1，則無需循環(huán)，直接得到最終的offset=1。若z=-6，見2.1.2節(jié)；否則，讓補償值x從z到1范圍內(nèi)循環(huán)。判斷式（4）是否成立：若成立，則提前終止循環(huán)，得到最優(yōu)的offset=x；否則得到最終offset=1。

3 實驗結(jié)果與分析

3.1 實驗平臺與參數(shù)配置

本文基于AVS2P2的參考軟件RD11.1，所使用的開發(fā)環(huán)境為VS 2013。實驗所用平臺配置為：Intel Celeron CPU N2920 1.86GHz，內(nèi)存為4GB，操作系統(tǒng)為Windows 8.1。本次實驗中采用了4種不同分辨率的視頻序列來測試改進算法的性能，每個視頻序列的分辨率與配置參數(shù)如表5所示。

3.2 實驗結(jié)果與性能分析

表6是4種不同分辨率的測試序列在RA（Random Access）編碼模式下，打開SAO并且關(guān)閉自適應(yīng)環(huán)路濾波（Adaptive Loop Filter，ALF）的情況下獲得的碼率和PSNR的對比。從表中數(shù)據(jù)可以看出，改進的算法相比原算法，在圖像亮度分量（ΔPSNR_Y）的質(zhì)量上平均有0.01的損失，在色度分量U（ΔPSNR_U）和V（ΔPSNR_V）的質(zhì)量上分別有0.02和0.01的損失，在碼率上有0.77%的增益。這是由于本算法改變了某些offset值與寫入碼流的二元符號串之間的對應(yīng)關(guān)系，但從實驗結(jié)果看，對整體的編碼性能造成的影響可忽略不計。

表7為上述實驗條件下統(tǒng)計的原算法與改進后算法在邊緣模式下計算補償值的循環(huán)次數(shù)比較，從實驗數(shù)據(jù)中可以看出，無論對于多少分辨率的視頻序列，改進后的算法比原算法的循環(huán)次數(shù)平均減少了75.4%，且就環(huán)路濾波的運行時間平均減少了約33%。不僅如此，原算法需要把當前offset值帶入式（1）（二階）并且查表2和表3獲得對應(yīng)的比特率，從而計算得到率失真代價。而本文算法除了2.1.2節(jié)的特殊情況外，大部分的值只需通過循環(huán)計算判斷式（3）和（4）（一階）就可得到最優(yōu)的offset值，大大降低了計算的復(fù)雜度，提高了編碼器的效率。

4 結(jié)語

本文在分析AVS2視頻編碼標準中自適應(yīng)樣點補償?shù)目焖俾适д嫠惴ǖ幕A(chǔ)上，在初步得到一個補償值后，通過比較offset值的變化引起的圖像質(zhì)量的損失和碼率代價之間的大小關(guān)系，得到一個提前終止的條件，并在不需要計算每個offset值的率失真代價的同時獲得該模式下最優(yōu)的補償值。實驗表明，改進后的率失真算法大大減少了循環(huán)的次數(shù)和計算率失真代價的時間，在幾乎不影響圖像率失真性能的同時有效地降低了計算的復(fù)雜度，有利于本算法的實時應(yīng)用。

參考文獻：

[1]HE Z， YU L， ZHENG X， et al. Framework of AVS2video coding[C]// Proceedings of the 2013 20th IEEE International Conference on Image Processing. Piscataway， NJ： IEEE， 2013： 1515-1519.

[2]蔡曉霞， 崔巖松， 鄧中亮， 等. 下一代視頻編碼標準關(guān)鍵技術(shù)[J].電視技術(shù)， 2012， 36（2）：80-84.（CAI X X， CUI Y S， DENG Z L， et al. Model of nextgeneration video standard and relative key technologies [J]. Video Engineering， 2012， 36（2）：80-84.）

[3]黃鐵軍， 高文， 王國中.數(shù)字音視頻編解碼技術(shù)標準AVS發(fā)展歷程與應(yīng)用前景[J].上海大學(xué)學(xué)報（自然科學(xué)版）， 2013， 19（3）： 221-224.（HUANG T J， GAO W， WANG G Z. Development history and application prospect of AVS digital audio and video coding and decoding standard [J]. Journal of Shanghai University（Natural Science Edition）， 2013， 19（3）： 221-224.）

[4]馬思偉.AVS視頻編碼標準技術(shù)回顧及最新進展[J].計算機研究與發(fā)展， 2015， 52（1）：27-37.（MA S W. History and recent developments of AVS video coding standards[J]. Journal of computer Research and Development， 2015， 52（1）： 27-37.）

[5]NORKIN A， BJNTEGAARD G， FULDSETH A. HEVC deblocking filter[J]. IEEE Transactions on Circuits and Systems for Video Technology， 2012， 22（12）：1746-1754.

[6]FU CM， ALSHINA E， ALSHIN A， et al. Sample adaptive offset in the HEVC standard[J]. IEEE Transactions on Circuits and Systems for Video Technology， 2012， 22（12）：1755-1763.

[7]PIAO Y， LEE S， KIM C， et al. Sample adaptive offset for AVS2[C]// Proceedings of the 46th AVS Conference. [S.l.]： Samsung Electronics， 2013： 2-3.

[8]MAANI E， NAKAGAMI O. Flexible band offset mode in SAO： JCTVCH0406[R]. San Jose， CA： Joint Collaborative Team on Video Coding， 2012： 1-10.

[9]AVS工作組.GB/T信息技術(shù)高效多媒體編碼第2部分：視頻（征求意見稿）[S]. 北京：全國信息技術(shù)標準化技術(shù)委員會（SAC/TC 28）， 2015.（Work group of audio video coding standard. Information technology — advanced media coding， part 2： video [S]. Beijing： China National Information Technology Standardizaton Network （SAC/TC 28）， 2015.）

[10]唐華敏， 杜建超， 王慶雷. 視頻編碼標準HEVC中的環(huán)路濾波技術(shù)分析[J].電視技術(shù)， 2014， 38（11）：1-4.（TANG H M， DU J C， WANG Q L. Analysis of inloop filter technique in video coding standard HEVC [J]. Video Engineering， 2014， 38（11）：1-4.）

[11]MINEZAWA A， SUGIMOTO K， SEKIGUCHI S. Improved edge offset coding for SAO： JCTVCI0066[R]. Geneva， CH： Joint Collaborative Team on Video Coding， 2012.

[12]FU C M， CHEN C Y， HUANG Y W. Sample adaptive offset for HEVC[C]// Proceedings of the 2011 IEEE 13th International Workshop on Multimedia Signal Processing. Piscataway， NJ： IEEE， 2011： 1-5.