視頻通信差錯控制研究

陳后全，李向群，劉逸飛，克米爾丁·阿不都賽買提，李華林，劉志渲

（西北民族大學(xué)電氣工程學(xué)院，甘肅 蘭州 730124）

0 引言

就H.264/AVC視頻和H.265/HEVC視頻兩個標(biāo)準(zhǔn)而言，它們就是在這個時代變化之中，新舊替代品的強而有力的證明。一些珍貴的影像資料有可能慘遭遺棄，這就造成了很大的資產(chǎn)和藝術(shù)損失。如果這些視頻經(jīng)過修復(fù)可以得到一定改善，那這種修復(fù)方式肯定是我們必定所需求的。本文采用實踐實驗的方法對圖像修復(fù)進行研究，主要研究數(shù)字圖像的兩種修復(fù)方式——CDD模型算法及TV模型算法。修復(fù)算法的研究根據(jù)理論函數(shù)的模型，利用工程軟件MATLAB進行實際實驗驗證，以此來達到本文所述的研究目的。本文對于視頻通信差錯控制的相關(guān)研究，即數(shù)字圖像修復(fù)技術(shù)的研究，在影視作品的后期處理、網(wǎng)絡(luò)視頻的模糊化還原、老紀(jì)錄片的復(fù)原等方面也有著十分重要的意義。

1 H.264/AVC視頻和H.265/HEVC視頻的簡單論述

隨著流媒體的廣泛應(yīng)用以及高性能并行計算需求的不斷增大，現(xiàn)有的單核DSP結(jié)構(gòu)搭建的視頻編碼硬件平臺很難滿足日益增加的計算需求。而為了提高視頻編碼的容錯能力，H.264中提出了可變宏塊次序（FMO）技術(shù)。

H.264視頻碼流的幀內(nèi)編碼幀(I幀)由于不存在運動矢量，因而只能使用空域錯誤隱藏?？沼蝈e誤隱藏技術(shù)利用視頻空域的冗余信息，用當(dāng)前幀內(nèi)丟失部分周圍正確接收到的圖像數(shù)據(jù)恢復(fù)受損圖像，一般適用于運動矢量不存在的幀內(nèi)編碼幀(I幀)和運動復(fù)雜的幀間編碼幀(P幀)。I幀隱藏的不理想將導(dǎo)致誤差傳播到圖像組的其它幀,最終導(dǎo)致視頻序列質(zhì)量的下降。

針對H.264的視頻容錯技術(shù)在視頻通信的魯棒性方面，利用周邊信息，丟失宏塊可以采用線性插值的方法，通過四個相鄰像素來進行恢復(fù)，也可以采用其他方向的插值方法，來對恢復(fù)進行相應(yīng)提高。由于HEVC視頻編碼標(biāo)準(zhǔn)正在開發(fā)中，目前對該標(biāo)準(zhǔn)格式的視頻容錯技術(shù)鮮有報導(dǎo)，而HEVC視頻格式與H.264存在著很大的不同，同時關(guān)于HEVC視頻相關(guān)研究涉及到的視頻序列修復(fù)技術(shù)，恰是本文的著重點。

2 視頻序列修復(fù)技術(shù)的簡要論述

視頻序列是指有時空聯(lián)系的多個視頻圖像按照一定順序的排列[1]。我們可以把視頻序列的修復(fù)理解為根本意義上的圖像序列的修復(fù)。圖像的修復(fù)工作就是把需要修復(fù)的圖像進行重塑或是除掉多余的東西，簡言之就是還原圖像的原始狀態(tài)。圖像的修補技術(shù)最早可以追溯到文藝復(fù)興時期[2]。為了使受損的畫面回復(fù)原貌，人們用填補裂縫的方法來修復(fù)圖像畫面。M.Bertalmio首次提出能用一個數(shù)學(xué)表達式來簡化圖像修復(fù)[3]。

當(dāng)待修復(fù)圖像破損區(qū)域不算太大時，我們主要使用基于非紋理結(jié)構(gòu)的圖像修復(fù)技術(shù)對其進行修復(fù)，例如使用基于高階偏微分方程（PDE）的算法修復(fù)圖像[4]。這種方法的主要原理是因為每幅待修復(fù)圖像的破損區(qū)域都有其邊緣信息，我們利用它的邊緣信息，可以確定出它的擴散信息和方向，得出破損區(qū)域的邊界向圖像內(nèi)擴散[5]。非紋理結(jié)構(gòu)的圖像算法對需要修復(fù)的破損區(qū)域的結(jié)構(gòu)無任何限制，也就是說包含不同信息的幾個區(qū)域能被同時填補。

基于紋理的圖像修復(fù)技術(shù)?；诩y理合成的技術(shù)，人們研究出了基于紋理信息的相關(guān)修復(fù)技術(shù)。在滿足視覺連通性的前提下，將圖像的已知的區(qū)域信息復(fù)制到需要修復(fù)的破損區(qū)域中從而合成一個新的圖像區(qū)域。但需要注意的是，這種方法因為不能完整地修復(fù)圖像中物體的幾何信息，過度不自然會產(chǎn)生人工邊界[6]。

目前，人們在圖像處理領(lǐng)域已經(jīng)取得了很大的收獲。越來越多的圖像修復(fù)方法也呼之欲出。然而圖像的修復(fù)本來就存在著很多的局限性，例如圖像的增強得不到保障、圖像的修復(fù)結(jié)果不盡如人意等[7]。所以圖像修復(fù)方法的提出與改進，仍然是任重而道遠的一項工程。圖像的修復(fù)研究，到今天仍舊有著十分重要的現(xiàn)實意義，可參照動畫《白雪公主》的修復(fù)和紋理結(jié)構(gòu)和非紋理結(jié)構(gòu)的圖像修復(fù)。

3 基于TV模型和CDD模型的圖像修復(fù)方法

TV模型，英文全稱（total variation)，中文譯作整體變分。其主要修復(fù)原理如下：

圖1 TV 模型修復(fù)示意圖

如圖1：E為被損壞區(qū)域，D為該區(qū)域的領(lǐng)域。如下給出為TV修復(fù)模型的數(shù)學(xué)表達式：

其中：U為圖像中的像素點，λ為設(shè)定的參數(shù)。運算之后，可得到修復(fù)的結(jié)果。修復(fù)例子可參考如圖2。

圖2 TV 模型修復(fù)比較圖

CDD模型，全稱Curvature driven diffusion，中文譯作曲率驅(qū)動擴散模型，是由CHAN等人在以TV模型為基礎(chǔ)下，引入曲率擴散項k,讓受損圖像中的大曲率迅速地擴散，可實現(xiàn)連接較大斷裂部位的功能。CDD模型是建立在TV模型的基礎(chǔ)上的。其修復(fù)示意圖如圖3。

圖3 CDD 模型修復(fù)示意圖

圖4 CDD 模型修復(fù)比較圖

D表示受損圖像的被損壞區(qū)域，ΩD表示已知區(qū)域，經(jīng)常用到的退化模型如下：

前文中提到Chan等人在TV模型的基礎(chǔ)上改進并提出了基于TV模型的CDD模型，于原TV模型的擴散項，對其加入一個擴散系數(shù)，字母代號k。對于曲率較大的區(qū)域，加強其擴散的程度，CDD模型因此可以修復(fù)破損圖像更大的面積和區(qū)域。

歐拉-拉格朗日方程為：

可以看出此方程階數(shù)已上升一階，成為三階方程。因此每一次修復(fù)的迭代運算都會對每一個像素點進行三次階數(shù)的偏微分運算，耗時過長。此時引入自適應(yīng)系數(shù)并知當(dāng)圖像曲率較大時就需要對擴散進行加強，同時CDD模型的曲率因子是可以加強其擴散能力的，因此在其曲率較大時CDD模型的使用效果更好；對于小曲率的情況，可以使用TV模型滿足;梯度較大時，使用TV模型可以較好地保護邊緣；而梯度較小時，熱擴散模型的對應(yīng)使用更好。所以，引入一個自適應(yīng)系數(shù)，字母代號q，q根據(jù)曲率的不同選擇相應(yīng)的擴散模型；又引入自適應(yīng)系數(shù)，字母代號p，其根據(jù)圖像變化情況選擇相應(yīng)的擴散類型。其歐拉-拉格朗日方程為：

由（4）（5）可知，1≤q≤2，1≤p≤2。p=q，q=1時模型就是基本的CDD模型，缺點是由于迭代次數(shù)過多，導(dǎo)致修復(fù)速度較慢。但在某些情況下，比如曲率、梯度較大時，修復(fù)效果較好。修復(fù)例子可參考如下所示：

4 結(jié)語

與CDD模型相比，TV模型的最大一個特點就是修復(fù)速度快，可以應(yīng)對一些需要快速修復(fù)的修復(fù)作業(yè)。CDD模型的優(yōu)勢在于其修復(fù)結(jié)果比TV模型更加平滑自然，這是因為TV模型采用直接合成破損圖像的修復(fù)方法，在合成過程中未免有些毛刺。如何改進兩種算法或是研究出新的算法對破損圖像進行更好的修復(fù)，是圖像修復(fù)領(lǐng)域需要攻克的一道難題。