基于多參考幀的多方向邊界匹配時域誤碼掩蓋

萬水龍，羅國成，余 彪

（1.中國人民解放軍91960部隊,廣東 汕頭 515074;2.南京航空航天大學(xué),江蘇 南京 210016;

3.中國人民解放軍92493部隊，遼寧 葫蘆島 125000）

基于多參考幀的多方向邊界匹配時域誤碼掩蓋

萬水龍1,2，羅國成1，余 彪3

（1.中國人民解放軍91960部隊,廣東 汕頭 515074;2.南京航空航天大學(xué),江蘇 南京 210016;

3.中國人民解放軍92493部隊，遼寧 葫蘆島 125000）

提出了基于多參考幀的多方向邊界匹配時域誤碼掩蓋算法。首先獲取誤碼塊相鄰宏塊的運動矢量，并求出相鄰宏塊運動矢量的均值，然后根據(jù)多方向匹配準(zhǔn)則依次求出參考幀的運動矢量，最后選取最佳的運動矢量完成誤碼掩蓋。將該方法與基于多參考幀的誤碼掩蓋算法和多方向邊界匹配的誤碼掩蓋算法進(jìn)行比較，結(jié)果表明，該方法效果優(yōu)于上述兩種算法。

誤碼掩蓋；多參考幀；多方向邊界匹配；運動矢量

目前,大部分誤碼掩蓋技術(shù)應(yīng)用空間域技術(shù)或者頻域技術(shù)，通過相關(guān)性來恢復(fù)原圖像，但在實際圖像中，尤其是信息量多的圖像，這兩類技術(shù)因缺少相鄰間信息的比對而出現(xiàn)結(jié)果模糊不清等情況[1-2]。在視頻序列中，通常利用時域誤碼掩蓋技術(shù)，因為其相鄰幀間更易相關(guān)。在眾多聯(lián)系緊密的參考幀中選取合適的圖片作為代替塊，從而實現(xiàn)誤碼掩蓋，該技術(shù)比空間域技術(shù)算法更簡單，且其重構(gòu)圖像的主觀效果更佳[3]。

本文提出一種基于多參考幀的多方向邊界匹配時域誤碼掩蓋方法，對損壞的運動矢量進(jìn)行更為精確的估計。將本文方法與基于多參考幀的誤碼掩蓋和多方向邊界匹配的誤碼掩蓋進(jìn)行比較，結(jié)果表明，本文方法效果優(yōu)于上述兩種算法，但搜索時間有待改善。

1 時域誤碼掩蓋技術(shù)分析

所謂時域誤碼掩蓋技術(shù)，即通過當(dāng)前解碼幀和參考幀間的時域相關(guān)性,由經(jīng)處理后的估計運動矢量得到相應(yīng)圖片來代替受損區(qū)域。依據(jù)在參考幀中所用方法的不同，該技術(shù)又可以分為時域取代錯誤誤碼掩蓋、運動補(bǔ)償時域誤碼掩蓋和邊界匹配時域誤碼掩蓋等多種方法[4]。時域取代錯誤誤碼掩蓋方法簡單，但對于動作較快的圖像，易出現(xiàn)“方塊效應(yīng)”；運動補(bǔ)償時域誤碼掩蓋方法精確度不足，易產(chǎn)生 “塊效應(yīng)”；多邊界匹配算法運算量大，難以進(jìn)行實時處理。

2 基于多參考幀的多方向邊界匹配時域誤碼掩蓋

H.264視頻編碼標(biāo)準(zhǔn)中，為了提高編碼效率，引入更精確和靈活的幀間預(yù)測方法，其中包括7種不同宏塊劃分方法，精度為 1/4像素的運動估計，用 4×4的整數(shù)變換來代替?zhèn)鹘y(tǒng)視頻編碼中的離散余弦變換，以及用多參考幀運動估計來代替原來的單參考幀運動估計。在進(jìn)行誤碼掩蓋時，同樣可以用到H.264的新特性，使搜索范圍加大，預(yù)測精度提高,從而提高視頻圖像質(zhì)量[5]。

2.1 多參考幀時域誤碼掩蓋流程

假設(shè) MVt，MVb，MV1，MVr分別代表受 損塊 相鄰的上、下、左、右4個方向宏塊的運動矢量，當(dāng)檢測到有誤碼時，先獲取相鄰4個宏塊的運動矢量及其對應(yīng)的4個參考幀，計算運動矢量平均值，將此平均值作為受損宏塊的運動矢量，然后與上述4個參考幀分別進(jìn)行運動補(bǔ)償，得到4個宏塊中用于誤碼掩蓋的宏塊[6-7]。

2.2 多方向邊界匹配誤碼掩蓋

所謂多方向邊界匹配搜索，即先檢測錯誤宏塊周圍像素的邊界信息，再按邊界信息在參考幀中利用多方向匹配準(zhǔn)則進(jìn)行搜索，找到最優(yōu)的恢復(fù)運動矢量，最后利用此運動矢量從參考幀中恢復(fù)錯誤宏塊[8-9]。

設(shè)x（i,j）表示與受損塊相鄰的像素，它的邊界幅度和方向分別為 f（i,j）和 H（i,j）。

其中，gx和 gy由Sobel梯度算子得到:

計算x的邊界方向H（i,j），將計算出的邊界方向按照 最 接 近 的 原 則 歸 入 22.5°、45°、67.5°、90°、112.5°、135°及 180°8 個方向，將各方向分別記為 θ1，θ2，…，θ8，各方向的梯度幅值分別記為 f1，f2，…，f8。因為 Sobel梯度算子對噪聲非常敏感，所以需要設(shè)定一個閾值TH，如果邊界幅度 f（i,j）＞TH，則表明在 x（i,j）處存在一個邊界方向 θk（i,j）（k=1,2,…,8）。 定義 4 個變量Ht,k、Hb,k、Hl,k、Hr,k分別表示錯誤宏塊的上、下、左、右4個區(qū)域存在的邊界方向θk，如式（3）所示。

2.3 基于多參考幀的多方向邊界匹配誤碼掩蓋

本文算法在多參考幀中使用多方向邊界匹配準(zhǔn)則進(jìn)行搜索，首先獲取誤碼塊相鄰宏塊的運動矢量，并求出相鄰宏塊運動矢量的均值，然后根據(jù)多方向匹配準(zhǔn)則依次求出參考幀的運動矢量，最后選取最佳的運動矢量完成誤碼掩蓋。相鄰宏塊的均值運動矢量記為（MV,MV），搜索區(qū)域采用矩形窗口，設(shè)運動矢量為（MV+δx，MV+δy）, 搜索范圍為Γ=（-Δx≤δx≤Δx,-Δy≤δy≤Δy）。具體算法流程如圖1所示。本文算法中使用錯誤宏塊的外邊界像素和補(bǔ)償宏塊的內(nèi)邊界像素進(jìn)行多方向邊界匹配,多方向邊界匹配的量度準(zhǔn)則如式（4）～式（7）所示。

圖1 算法流程

其中 ，N=16，錯 宏 塊 的 初 始 坐 標(biāo) 為（x0,y0），YMV+δ（x,y）表 示在參考幀中經(jīng)過運動矢量搜索后的補(bǔ)償塊亮度值，Y（x,y）表示錯誤圖像的亮度值，搜索的目標(biāo)是找到使得Cost最小的（δ,δ）,如式（8）所示,從而得到最佳運動矢量（MVxy+δx，MV+δy）:

3 實驗結(jié)果及分析

仿真實驗以H.264的參考軟件JM11.0作為實驗平臺, 選 擇 CIF 格 式 的 Foreman、football、mobile、flower和mother&daughter共5個代表性序列作為測試序列,長度為100幀。每30幀編碼一個I幀，編碼的參考幀數(shù)目為5，量化參數(shù)QP=28。將本章方法與多參考幀誤碼掩蓋及多方向邊界匹配誤碼掩蓋進(jìn)行比較，采用亮度峰值信噪比（PSNR）作為恢復(fù)圖像質(zhì)量的評價標(biāo)準(zhǔn)，如表1所示。

表1 PSNR比較（dB）

圖4 football第40幀誤碼掩蓋結(jié)果比較

從表1可以看出，本文提出的基于多參考幀的多方向誤碼掩蓋整體效果優(yōu)于基于參考幀的誤碼掩蓋和多方向邊界匹配誤碼掩蓋。與上述兩種算法相比，本文算法恢復(fù)的亮度PSNR提高了0.5 dB以上。

為了驗證本文算法的主觀效果，實驗對Foreman第20幀、flower第30幀及 football第40幀出錯時進(jìn)行測試，圖2～圖 4為測試結(jié)果。

從圖2～圖4可以看出，基于多參考幀的誤碼掩蓋方法有明顯的塊效應(yīng)，多方向邊界匹配誤碼掩蓋的方法效果優(yōu)于多參考幀的誤碼掩蓋，而本文提出的基于多參考幀的多方向誤碼掩蓋方法補(bǔ)償結(jié)果明顯優(yōu)于上述兩種方法。

圖2 Foreman第20幀誤碼掩蓋結(jié)果比較

圖3 flower第30幀誤碼掩蓋結(jié)果比較

本文提出了一種基于多參考幀的多方向邊界匹配時域誤碼掩蓋算法，該方法利用多參考幀搜索提高了運動矢量的精確度，利用多方向邊界匹配算法解決了由于相鄰宏塊之間在水平和垂直邊緣可能存在各種邊緣方向使得傳統(tǒng)邊界匹配算法不能準(zhǔn)確地恢復(fù)運動矢量的問題。但本文算法由于是在多參考幀下進(jìn)行的補(bǔ)償，結(jié)果雖然理想，但在保證補(bǔ)償結(jié)果的同時如何加快補(bǔ)償?shù)乃俣热允且粋€難點，也是下一步需要研究的內(nèi)容。

[1]員曉毅,廖明.一種基于邊緣檢測的空域誤碼掩蓋算法[J].微計算機(jī)信息,2010,26（1-1）:170-172.

[2]朱琳琳.基于細(xì)節(jié)優(yōu)化的空域誤碼掩蓋算法研究[D].長春：吉林大學(xué),2011.

[3]Kuo Tienying,Li Shenghui.Hybrid temporal-spatial error concealment technique for video communications[C].IEEE International Conference on Multimedia and Expo,Taipei,2004:1743-1745.

[4]丁學(xué)文.視頻通信錯誤檢測及隱藏技術(shù)研究[D].天津:天津大學(xué),2007.

[5]黃治華,易本順.一種適用于H.264的時域差錯掩蓋算法[J].計算機(jī)應(yīng)用，2009,29（5）:1355-1358.

[6]熊曼子,張國平,熊飛.一種基于多參考幀的時域誤碼掩蓋算法[J].電子科技,2007（11）:15-17.

[7]趙仕俊,孫林港.基于紋理特征的圖像自動配準(zhǔn)方法研究[J].微型機(jī)與應(yīng)用,2011，30（9）:36-38.

[8]陳天,趙建森.基于多方向邊界匹配的視頻誤碼掩蓋算法[J].電子科技,2006（10）:41-45.

[9]吳毅良.一種基于SIFT和SUSAN特征的圖像匹配方法[J].微型機(jī)與應(yīng)用,2011,30（12）:33-35.

An error concealment algorithm basedon multi-frame and multi-directional boundary side matching

Wan Shuilong1,2,Luo Guocheng1,Yu Biao3

（1.NO.91960 Force of PLA,Shantou 515074,China;2.Nanjing University of Aeronautics and Astronautics,Nanjing 210016,China；3.NO.92493 Force of PLA,Huludao 125000,China）

This paper proposes an error concealment algorithm based on multi-frame and multi-directional boundary side maching.Firstly,it gets error block adjacent the macroblock motion vector and gets the average of neighboring macroblock motion vector;Then,according to many matching criteria,it gets reference frame of the direction vector in turn.Finally,it selects the best motion vector complete error.The experimental results are compared with those of multiple reference frame error masking algorithm and direction error masking algorithm boundary matching.The result shows that the effects of the proposed algorithm are better than those.

error concealment;multi-frame;multi-directional boundary side matching;motion vector

TN911.73

A

1674-7720（2014）02-0035-03

2013-07-19）

萬水龍，男，1986年生，碩士，主要研究方向：圖像處理與模式識別。

羅國成，男，1985年生，碩士,主要研究方向：圖像處理及應(yīng)用。

余彪，男，1985年生，碩士研究生，主要研究方向：網(wǎng)絡(luò)信息安全。