林衡芝 ，張文軍 ，高志勇，陳穎琪 ，毛 韌

（1.上海交通大學(xué) 電子工程系 圖像通信與信息處理研究所，上海 200240；2.上海市數(shù)字媒體處理與傳輸重點(diǎn)實(shí)驗(yàn)室，上海 200240）

0 引言

H.264[1]和AVS[2]標(biāo)準(zhǔn)編解碼環(huán)路中都引入了去塊效應(yīng)環(huán)路濾波模塊，用于平滑由于運(yùn)動(dòng)補(bǔ)償、變換及量化產(chǎn)生的虛假邊界，從而提高圖像質(zhì)量。H.264的環(huán)路濾波基于4×4塊邊界濾波，先從左到右對(duì)垂直邊界濾波，再?gòu)纳系较聦?duì)水平邊界濾波。為適應(yīng)高清視頻應(yīng)用，H.264采用了宏塊級(jí)幀場(chǎng)自適應(yīng)（MBAFF）、8×8變換編碼等新技術(shù)以提高編碼質(zhì)量，但同時(shí)也增加了視頻編解碼實(shí)現(xiàn)的難度[3]。當(dāng)采用MBAFF技術(shù)時(shí)，環(huán)路濾波以宏塊對(duì)為單位，對(duì)當(dāng)前宏塊對(duì)濾波時(shí)，需要用到其左側(cè)宏塊對(duì)和上鄰宏塊對(duì)作為參考數(shù)據(jù)，并且當(dāng)前宏塊對(duì)與參考宏塊對(duì)的編碼方式可能不同。這不僅極大地增加了數(shù)據(jù)組織安排的難度，而且當(dāng)上鄰宏塊對(duì)為場(chǎng)編碼而當(dāng)前宏塊對(duì)為幀編碼時(shí)，當(dāng)前宏塊對(duì)頂宏塊的水平宏塊邊界需要濾波2次。當(dāng)宏塊采用8×8變換編碼時(shí)，只對(duì)宏塊內(nèi)的8×8塊邊界濾波。AVS采用和H.264相同的濾波順序?qū)陦K內(nèi)8×8塊邊界濾波。

近年來(lái)，關(guān)于環(huán)路濾波器硬件實(shí)現(xiàn)的研究很多。文獻(xiàn)[4]采用2個(gè)較大的SRAM存儲(chǔ)參考數(shù)據(jù)和中間數(shù)據(jù)，并按標(biāo)準(zhǔn)規(guī)定的濾波順序?qū)崿F(xiàn)AVS的環(huán)路濾波。文獻(xiàn)[5-7]實(shí)現(xiàn)了H.264 BP的環(huán)路濾波。文獻(xiàn)[5]采用二維的改進(jìn)濾波順序以減少片上緩存，提高濾波速度。文獻(xiàn)[6]采用混合的濾波順序和宏塊分割等策略，以提高濾波中間數(shù)據(jù)重用率，減小片上緩存。文獻(xiàn)[7]采用GoP（Group of Pixel）的數(shù)據(jù)組織策略，以避免數(shù)據(jù)的轉(zhuǎn)置操作。文獻(xiàn)[8]使用4個(gè)LoP（Line of Pixel）的一維濾波器并行處理，以邏輯資源換取濾波速度。文獻(xiàn)[9-10]采用有效的Buffer管理機(jī)制，并將8×8塊邊界分割為2個(gè)4×4邊界處理，從而實(shí)現(xiàn)對(duì)MBAFF技術(shù)和8×8變換技術(shù)的支持。文獻(xiàn)[9]實(shí)現(xiàn)了H.264 BP/MP/HP的環(huán)路濾波，而文獻(xiàn)[10]支持AVS，H.264，VC-1的環(huán)路濾波。

本文通過(guò)調(diào)整宏塊濾波邊界和合理地組織數(shù)據(jù)，實(shí)現(xiàn)了AVS與H.264環(huán)路濾波的復(fù)用；并通過(guò)優(yōu)化濾波順序和宏塊分割等策略提高中間數(shù)據(jù)重用率，減少片上緩存；使用并行和流水處理技術(shù)提高濾波速度和最高工作頻率。

1 濾波算法

1.1 宏塊規(guī)整

H.264與AVS都以宏塊為單位作環(huán)路濾波，但在不同情況下，宏塊需要濾波的邊界不盡相同。為實(shí)現(xiàn)濾波結(jié)構(gòu)和濾波順序的復(fù)用，對(duì)宏塊的濾波邊界作了規(guī)整。

對(duì)于AVS標(biāo)準(zhǔn)，所有的圖像邊界和條帶邊界不濾波；而對(duì)于H.264標(biāo)準(zhǔn)，所有圖像邊界和濾波禁用標(biāo)志等于2時(shí)的條帶邊界不需要濾波。置圖像邊界和不需要濾波的條帶邊界對(duì)應(yīng)的濾波強(qiáng)度Bs=0，采用相同的濾波結(jié)構(gòu)和濾波順序處理包含圖像邊界或條帶邊界的宏塊。

對(duì)于采用8×8變換的宏塊，H.264和AVS的環(huán)路濾波都僅對(duì)宏塊內(nèi)的8×8塊邊界濾波。把8×8塊邊界分割成2條4×4塊邊界處理，并置8×8塊內(nèi)部的4×4塊邊界的Bs=0，采用相同的濾波結(jié)構(gòu)和濾波順序處理8×8變換編碼的宏塊。

1.2 濾波順序

定義當(dāng)前宏塊為幀編碼而其上鄰宏塊為場(chǎng)編碼的宏塊為特殊宏塊；除特殊宏塊之外的所有宏塊為標(biāo)準(zhǔn)宏塊。則通過(guò)宏塊規(guī)整后，每個(gè)標(biāo)準(zhǔn)宏塊有48條4×4邊界需要濾波，其中包括32條亮度邊界和16條色度邊界；而每個(gè)特殊宏塊有56條4×4邊界需要濾波，其中包括36條亮度邊界和20條色度邊界。

H.264和AVS采用相同的濾波順序。對(duì)每個(gè)宏塊，先從左到右對(duì)垂直邊界濾波，再?gòu)纳系较聦?duì)水平邊界濾波。結(jié)合本設(shè)計(jì)的特點(diǎn)，本文提出了一種新穎的混合濾波順序。圖1給出了標(biāo)準(zhǔn)宏塊的濾波順序，圖2給出了特殊宏塊的濾波順序。采用這種濾波順序，能夠有效地簡(jiǎn)化設(shè)計(jì)，提高濾波中間數(shù)據(jù)的重用率，提高濾波效率。

1.3 宏塊分割

為了減少片上緩存同時(shí)簡(jiǎn)化設(shè)計(jì)，本文將一個(gè)宏塊分割為3個(gè)16×8塊處理。如圖3所示，將亮度塊分割為2個(gè)16×8塊，并將2個(gè)色度塊合并為1個(gè)16×8塊來(lái)處理。

經(jīng)過(guò)宏塊分割后，標(biāo)準(zhǔn)宏塊的LumTop，LumBot，Chroma以及特殊宏塊的LumBot這4個(gè)16×8塊的濾波順序一樣，濾波方法也類似，而且其中2個(gè)LumBot的濾波完全相同；特殊宏塊的LumTop和Chroma這2個(gè)16×8塊的濾波順序和濾波方法也很相似。采用宏塊分割策略后，可將環(huán)路濾波分為宏塊級(jí)、16×8塊級(jí)和邊界級(jí)3個(gè)級(jí)別實(shí)現(xiàn)分級(jí)控制，整體結(jié)構(gòu)清晰，易于設(shè)計(jì)與維護(hù)。

2 濾波結(jié)構(gòu)

2.1 框架結(jié)構(gòu)

本文提出的去塊效應(yīng)環(huán)路濾波器的總體結(jié)構(gòu)如圖4所示，圖中主要描述了濾波的數(shù)據(jù)通路。

整個(gè)去塊效應(yīng)環(huán)路濾波器主要由以下7個(gè)子模塊組成：

1）環(huán)路濾波主控（LFCtrl）

LFCtrl是整個(gè)環(huán)路濾波的主控系統(tǒng)，它實(shí)現(xiàn)宏塊級(jí)和16×8塊級(jí)的數(shù)據(jù)控制，并協(xié)調(diào)各個(gè)模塊間的工作。

2）參數(shù)計(jì)算（PMCal）

PMCal計(jì)算濾波強(qiáng)度Bs、濾波裁減閾值α和β、濾波裁減參數(shù)Tc0。

3）濾波運(yùn)算（LF_Core）

LF_Core是整個(gè)環(huán)路濾波器的核心模塊，它從RecBuf模塊、RefBuf模塊和PMCal模塊分別獲得待濾波數(shù)據(jù)、參考數(shù)據(jù)和濾波參數(shù)，經(jīng)環(huán)路濾波運(yùn)算模塊濾波后，將濾波后的數(shù)據(jù)存儲(chǔ)到FilteredBuf模塊以便回寫到幀存儲(chǔ)器中。濾波運(yùn)算模塊的內(nèi)部結(jié)構(gòu)如圖5所示，它由數(shù)據(jù)流控制器DataFlowCtrl、一維濾波器OneDFilter、臨時(shí)存儲(chǔ)器TempBuffer、復(fù)用選通MuxP和MuxQ、轉(zhuǎn)置直通TransDirP和TransDirQ、輸出接口OutputIF等8個(gè)子模塊構(gòu)成。

DataFlowCtrl是濾波運(yùn)算模塊的數(shù)據(jù)流控制器，實(shí)現(xiàn)邊界級(jí)的數(shù)據(jù)控制。OneDFilter是濾波處理的運(yùn)算單元。它由2個(gè)LoP（Line of Pixels）的一維濾波器組成，并行處理2行像素的濾波；而每個(gè)LoP濾波器采用AVS標(biāo)準(zhǔn)濾波、AVS強(qiáng)濾波、H.264標(biāo)準(zhǔn)濾波、H.264強(qiáng)濾波和不濾波5種濾波模式的并行結(jié)構(gòu)，并使用4節(jié)拍的流水處理。TempBuffer使用2個(gè)8×64 bit的雙口RAM以存儲(chǔ)16×8塊的濾波中間數(shù)據(jù)，并設(shè)置了輸入輸出數(shù)據(jù)轉(zhuǎn)接口以實(shí)現(xiàn)數(shù)據(jù)的幀場(chǎng)格式轉(zhuǎn)換功能。MuxP和MuxQ用于OneDFilter的P端口和Q端口數(shù)據(jù)選通。TransDirP和TransDirQ依據(jù)濾波的需要對(duì)濾波后的數(shù)據(jù)作轉(zhuǎn)置或直通到下一子模塊處理。OutputIF是濾波運(yùn)算模塊與其他模塊的輸出接口，實(shí)現(xiàn)數(shù)據(jù)格式轉(zhuǎn)換的功能。

4）重建參數(shù)緩存（RecBuf）

RecBuf采用乒乓Buffer的形式存儲(chǔ)從重建模塊接收的待濾波數(shù)據(jù)，并在主控LFCtrl控制下將待濾波數(shù)據(jù)送往LF_Core模塊濾波。環(huán)路濾波基于宏塊進(jìn)行，同時(shí)考慮到模塊間的流水，重建參數(shù)緩存RecBuf的大小為2×48×64 bit。

5）參考數(shù)據(jù)緩存（RefBuf）

RefBuf存儲(chǔ)左側(cè)宏塊（對(duì)）和上鄰宏塊（對(duì)）的參考數(shù)據(jù)，并在主控LFCtrl控制下將參考數(shù)據(jù)送往LF_Core模塊參與濾波。

對(duì)于AVS和H.264的非MBAFF情況，左側(cè)參考數(shù)據(jù)為左側(cè)宏塊右側(cè)的8個(gè)4×4小塊（包括4個(gè)亮度塊和4個(gè)色度塊）；對(duì)于H.264的MBAFF情況，濾波基于宏塊對(duì)進(jìn)行，左側(cè)參考數(shù)據(jù)為左側(cè)宏塊對(duì)右側(cè)的16個(gè)4×4小塊。當(dāng)前宏塊（對(duì)）作為下一宏塊（對(duì)）參考數(shù)據(jù)部分，在濾波后直接存儲(chǔ)于左側(cè)參考數(shù)據(jù)緩存中。由于當(dāng)前宏塊對(duì)和左側(cè)宏塊對(duì)的編碼方式可能不同，為方便數(shù)據(jù)讀取采用128 bit的寬度存儲(chǔ)數(shù)據(jù)，另外，為實(shí)現(xiàn)流水處理采用乒乓Buffer，故左側(cè)參考數(shù)據(jù)緩存大小為32×128 bit。

對(duì)于AVS和H.264的非MBAFF情況，上鄰參考數(shù)據(jù)為上鄰宏塊底部的8個(gè)4×4小塊（包括4個(gè)亮度塊和4個(gè)色度塊）；對(duì)于H.264的MBAFF模式，濾波以宏塊對(duì)為單位，上鄰參考數(shù)據(jù)與上鄰宏塊對(duì)和當(dāng)前宏塊對(duì)的編碼方式有關(guān)，圖6給出了field/field，field/frame，frame/field和frame/frame這4種不同情況下的上鄰參考數(shù)據(jù)。因此，上鄰參考數(shù)據(jù)需要存儲(chǔ)上鄰宏塊對(duì)的16個(gè)4×4小塊。上鄰參考數(shù)據(jù)由濾波模塊向幀存儲(chǔ)器申請(qǐng)獲得，或者為當(dāng)前宏塊對(duì)的頂宏塊濾波后數(shù)據(jù)。由于本文濾波按16×8塊進(jìn)行，上鄰參考數(shù)據(jù)緩存同時(shí)也作為部分?jǐn)?shù)據(jù)的中間數(shù)據(jù)存儲(chǔ)器。為實(shí)現(xiàn)流水處理，同樣采用乒乓Buffer實(shí)現(xiàn)，上鄰參考數(shù)據(jù)緩存大小為2×16×128 bit。

6）濾波后數(shù)據(jù)緩存（FilteredBuf）

FilteredBuf用于存儲(chǔ)濾波后的數(shù)據(jù)，包括當(dāng)前宏塊（對(duì)）和上鄰參考數(shù)據(jù)。

7）數(shù)據(jù)回寫接口（StoreIF）

StoreIF為濾波模塊和幀存儲(chǔ)器的接口模塊。

2.2 濾波過(guò)程

本文將系統(tǒng)分為宏塊級(jí)、16×8塊級(jí)和邊界級(jí)3個(gè)不同級(jí)別，使用LFCtrl和DataFlowCtrl控制器實(shí)現(xiàn)三級(jí)控制，其中LFCtrl實(shí)現(xiàn)宏塊級(jí)和16×8塊級(jí)的控制，而LF_Core中DataFlowCtrl實(shí)現(xiàn)每個(gè)16×8塊的邊界級(jí)控制。在宏塊級(jí)，將濾波過(guò)程分為數(shù)據(jù)準(zhǔn)備、參數(shù)計(jì)算與濾波運(yùn)算、數(shù)據(jù)回寫3個(gè)部分并行流水處理；在16×8塊級(jí)，環(huán)路濾波將每個(gè)宏塊分為3個(gè)16×8塊來(lái)處理，標(biāo)準(zhǔn)宏塊通過(guò)實(shí)現(xiàn)LumTopNor，LumBot和ChromaNor這3個(gè)16×8塊完成濾波，特殊宏塊通過(guò)實(shí)現(xiàn)LumTopSpe，LumBot和ChromaSpe這3個(gè)16×8塊完成濾波；LF_Core完成對(duì)每個(gè)16×8塊的濾波，邊界級(jí)的控制由其中的DataFlowCtrl子模塊實(shí)現(xiàn)。

下面主要以LumTopSpe為例介紹濾波的過(guò)程。通過(guò)算法分析，對(duì)于特殊宏塊的水平宏塊邊界需要濾波2次。按照?qǐng)D2的濾波順序?qū)umTopSpe塊濾波，首先對(duì)垂直邊界0～7濾波，邊界0～1的左側(cè)參考數(shù)據(jù)從RefBuf中取得，而邊界2～7的左側(cè)參考數(shù)據(jù)為邊界0～5右側(cè)數(shù)據(jù)濾波后的中間數(shù)據(jù)；邊界右側(cè)數(shù)據(jù)為從RecBuf中獲得的待濾波數(shù)據(jù)。垂直邊界濾波后，左側(cè)參考數(shù)據(jù)輸出到FilteredBuf中，而待濾波數(shù)據(jù)經(jīng)TransDir轉(zhuǎn)置后暫存至TempBuffer。當(dāng)垂直邊界濾波完成后，開(kāi)始對(duì)水平宏塊邊界8～15濾波，水平宏塊邊界的上鄰參考數(shù)據(jù)從Ref-Buf讀取，而其下鄰待濾波數(shù)據(jù)為轉(zhuǎn)置后的場(chǎng)格式4×4小塊。轉(zhuǎn)置由TransDir模塊實(shí)現(xiàn)，數(shù)據(jù)的幀場(chǎng)格式互換由TempBuffer中的輸入輸出數(shù)據(jù)轉(zhuǎn)接口控制實(shí)現(xiàn)，由于待濾波數(shù)據(jù)在垂直邊界濾波完成后為幀格式，而水平宏塊邊界用到的待濾波數(shù)據(jù)為場(chǎng)格式，因此在這里使用了幀到場(chǎng)的格式變換。水平宏塊邊界濾波完成后，上鄰參考數(shù)據(jù)經(jīng)轉(zhuǎn)置后輸出，而當(dāng)前宏塊的濾波中間數(shù)據(jù)再次存儲(chǔ)于TempBuffer中。最后，對(duì)宏塊內(nèi)部的水平邊界16～19濾波，邊界兩邊數(shù)據(jù)均從TempBuffer中讀取。Temp-Buffer中的數(shù)據(jù)為場(chǎng)格式，而宏塊內(nèi)部水平邊界使用的數(shù)據(jù)為幀格式，因此待濾波數(shù)據(jù)讀取的同時(shí)作了場(chǎng)格式到幀格式的轉(zhuǎn)換。濾波完成后，將作為下一宏塊左側(cè)參考數(shù)據(jù)和下一個(gè)16×8塊的上鄰參考數(shù)據(jù)部分存儲(chǔ)到RefBuf中，其余部分輸出到FilteredBuf。

3 仿真結(jié)果與分析

使用Verilog語(yǔ)言實(shí)現(xiàn)RTL級(jí)的設(shè)計(jì)；使用Synopsys Design Compier工具，用65 nm CMOS工藝庫(kù)，在200 MHz的工作頻率下進(jìn)行綜合，電路規(guī)模大約為43 k門，片上緩存為1 152 byte。

采用64 bit的帶寬，待濾波數(shù)據(jù)的讀入需要48個(gè)時(shí)鐘周期，參考數(shù)據(jù)的申請(qǐng)需要32個(gè)時(shí)鐘周期，宏塊對(duì)及其上鄰參考數(shù)據(jù)的回寫需要128個(gè)時(shí)鐘周期。而1個(gè)標(biāo)準(zhǔn)宏塊的濾波時(shí)間為131個(gè)時(shí)鐘周期，其中有效濾波為96個(gè)時(shí)鐘周期；1個(gè)特殊宏塊的濾波時(shí)間為147個(gè)時(shí)鐘周期，其中有效濾波為112個(gè)時(shí)鐘周期。Bs的計(jì)算用了35個(gè)時(shí)鐘周期。本設(shè)計(jì)采用了并行流水策略，故完成1個(gè)標(biāo)準(zhǔn)宏塊的濾波需要166個(gè)時(shí)鐘周期，完成1個(gè)特殊宏塊的濾波需要182個(gè)時(shí)鐘周期。最壞情況下，每4個(gè)宏塊有1個(gè)宏塊為特殊宏塊，其他3個(gè)宏塊為標(biāo)準(zhǔn)宏塊，此時(shí)1個(gè)宏塊平均濾波時(shí)間為170個(gè)時(shí)鐘周期。當(dāng)工作在200 MHz時(shí)，本文的結(jié)構(gòu)能夠支持2路H.264或AVS的1 080p@60 f/s的實(shí)時(shí)解碼。

將本設(shè)計(jì)與參考文獻(xiàn)中的幾種濾波器的性能進(jìn)行了對(duì)比，數(shù)據(jù)見(jiàn)表1。文獻(xiàn)[4-9]僅能支持一個(gè)標(biāo)準(zhǔn)的濾波，而本設(shè)計(jì)能夠同時(shí)支持AVS標(biāo)準(zhǔn)和H.264標(biāo)準(zhǔn)的濾波；與文獻(xiàn)[10]支持多標(biāo)準(zhǔn)的濾波器相比，本設(shè)計(jì)在系統(tǒng)資源增加不多的情況下，極大地提高了濾波的速度，具有更大的數(shù)據(jù)吞吐量。注意：濾波面積不包含輸入緩存、輸出緩存、Bs計(jì)算以及片上緩存面積；片上緩存不包含輸入緩存和輸出緩存；N為一宏塊行的行塊數(shù)。

表1 幾種濾波器的性能對(duì)比

4 結(jié)論

本文提出了一種支持H.264 BP/MP/HP和AVS的高效去塊效應(yīng)環(huán)路濾波器的硬件實(shí)現(xiàn)結(jié)構(gòu)。通過(guò)調(diào)整宏塊濾波邊界和合理地組織數(shù)據(jù)，實(shí)現(xiàn)了H.264 BP/MP/HP和AVS的環(huán)路濾波結(jié)構(gòu)的復(fù)用，并通過(guò)優(yōu)化濾波順序、宏塊分割、并行流水處理等技術(shù)減小片上緩存，提高了濾波效率。

[1]International Telecommunication Union.ITU-T recommendation H.264:advanced video coding for generic audiovisual services[S].2005.

[2]GB/T 20090.2——2006.信息技術(shù)先進(jìn)音視頻編碼第2部分：視頻[S].2006.

[3]于小燕，趙不賄，鄭博，等.基于FPGA的H.264幀內(nèi)預(yù)測(cè)算法研究[J].電視技術(shù)，2010，34（5）：40-43.

[4]SHENG B，GAO W，WU D.A platform-based architecture of loop filter for AVS[EB/OL].[2010-08-20].http：//ieeexplore.ieee.org/xpl/freeabs_all.jsp?arnumber=1452726.

[5]SHENG B，GAO W，WU D.An implemented architecture of de-blocking filter for H.264/AVC[EB/OL].[2010-08-20].http：//www.jdl.ac.cn/doc/2004/An%20Implemented%20Architecture%20of%20Deblocking%20Filter.pdf.

[6]LIU T，LEE W，LIN T，et al.A memory-efficient deblocking filter for H.264/AVC video coding[J].IEEE International Symposium on Circuits and Systems，2005，3：2140-2143.

[7]LIN H，YANG J，LIU B，et al.Efficient deblocking filter architecture for H.264 video coders[EB/OL].[2010-08-20].http：//www.arnetminer.org/viewpub.do?pid=430041.

[8]LOUKIL H，BEN ATITALLAH A，MASMOUDI N.Hardware architecture for H.264/AVC deblocking filter algorithm[EB/OL].[2010-08-20].http：//ieeexplore.ieee.org/xpl/freeabs_all.jsp?arnumber=4956713.

[9]CHIEN C，CHANG H，GUO J.A high throughput in-loop de-blocking filter supporting H.264/AVC BP/MP/HP video coding[C]//Proc.IEEE APCCAS.Macao，China：IEEE Press，2008：312-315.

[10]CHIEN C，CHANG H，GUO J.A high throughput de-blocking filter design supporting multiple video coding standards[C]//Proc.2009 IEEE International Symposium on Circuits and Systems.[S.l.]：IEEE Press，2009：2377-2380.