立體視頻信號丟幀的誤差分析模型

劉金根，柳 鑫，李志強

(武漢理工大學信息工程學院，湖北武漢430070)

隨著3D(three－dimensional)應(yīng)用的發(fā)展，如3D電視、自由視點電視，多點視頻編碼(multiview video coding，MVC)作為一種3D視頻的實現(xiàn)方案，其實現(xiàn)和傳輸也得到了越來越多的關(guān)注［1－3］。由于標準的因特網(wǎng)服務(wù)模式為盡力服務(wù)模式，在網(wǎng)絡(luò)接口發(fā)生擁塞時，則丟棄數(shù)據(jù)包，直到業(yè)務(wù)量減少［4－5］。視頻作為一種常用的實時流媒體，會因數(shù)據(jù)包的丟失，引起視頻質(zhì)量的下降。為了提高視頻的容錯能力，眾多提高視頻流容錯性的技術(shù)得以提出，如錯誤隱蔽［6］、前向糾錯編碼和非平等差錯保護［7－8］(UEP)等，這些技術(shù)在編碼端的參數(shù)選擇，對視頻傳輸后得到的最終效果有重大影響。視頻傳輸?shù)恼`差分析模型，作為一種評估手段，對在視頻編碼和傳輸過程中的參數(shù)選擇以及錯誤隱蔽的參數(shù)選擇有重要意義，如用于非平等差錯保護和前向糾錯編碼的參數(shù)選擇。筆者基于MVC的復(fù)雜編碼的預(yù)測結(jié)構(gòu)，在理論分析和實驗的基礎(chǔ)上，提出了一種丟包引起的誤差估計模型及其算法，該算法不僅考慮了視點內(nèi)的誤差傳播，也考慮了視點間的誤差傳播，具有良好的可行性和可擴展性。通過驗證結(jié)果可以看出，該模型能準確估計視點內(nèi)和視點間由丟幀引起的誤差。

1 MVC編碼及結(jié)構(gòu)

與傳統(tǒng)的視頻結(jié)構(gòu)不同，典型的立體視頻包含兩路視頻，稱為左視點和右視點，分別對應(yīng)人左眼和右眼所觀察到的圖像。多點視頻編碼通常指同時對多個視點進行編碼，而3D視頻可以理解為是多點視頻編碼只有左右兩個視點的一種特殊形式。由于3D視頻有兩個視點，其存儲和傳輸?shù)臄?shù)據(jù)量為傳統(tǒng)視頻的兩倍［9］。而多點視頻的編碼由于其大量的數(shù)據(jù)，使得其對數(shù)據(jù)壓縮有著很高的要求［10］。聯(lián)合視頻組開發(fā)了用于多點視頻編碼的編解碼工具JMVM，其引入了視點間預(yù)測，使得編碼后的多視點視頻的數(shù)據(jù)量大大減少，使3D視頻需要傳輸?shù)臄?shù)據(jù)量只有傳統(tǒng)視頻的1.2倍左右［11］。JMVM典型的3D視頻的編碼結(jié)構(gòu)如圖1所示。

圖1 3D編碼典型預(yù)測結(jié)構(gòu)

結(jié)構(gòu)中GOP(group of pictures)的長度為8，在JMVM的結(jié)構(gòu)里，GOP長度一般為2n，這樣其編碼的預(yù)測結(jié)構(gòu)就是這種典型模式的擴展。如圖1所示，左視點的幀除了用于自己視點內(nèi)的預(yù)測之外，還被用于右視點的預(yù)測，這樣當編碼后左視點的幀在傳輸過程中丟失之后，不僅會給自己所在的視點引入誤差，還會在右視點引入誤差，并且這個誤差也會在右視點中傳播，其傳播過程與在左視點里傳播的過程相同。

2 誤差分析模型

MVC視點間的預(yù)測結(jié)構(gòu)比較簡單，但其視點內(nèi)的預(yù)測結(jié)構(gòu)比較復(fù)雜，且其預(yù)測方式?jīng)Q定了相應(yīng)幀的編解碼順序。MVC的編碼結(jié)構(gòu)與GOP的長度有關(guān)，在提出的模型中，用2n(n=1，2，3，…)來表示所編碼的GOP的長度，為了簡化模型，假設(shè)在傳輸過程中，所有的I幀和P幀都是正確接收的。為了便于描述模型，可用圖2描述GOP長度為8的編碼的部分結(jié)構(gòu)。

圖2 編碼預(yù)測的部分結(jié)構(gòu)

根據(jù)GOP的長度將整個GOP分成幾個等級，圖2中的算式表明其在GOP中的位置。等級的數(shù)目由GOP的長度決定。一個長度為2n的GOP，可以分為n－1個等級，用參數(shù)l表示其等級，最高層為l=n且l等級中包含的幀的數(shù)目為2n－l－1，可根據(jù)每幀在GOP中的位置確定其所在的等級。為了方便表示這個GOP位置中某幀的等級，先定義一個整數(shù)型算子v(j)，該算子表示的意義是整數(shù)j(j表示幀在GOP中的位置)可以被整數(shù)2整除的次數(shù)(例如:v(3)=0，v(4)=2，v(5)=0，v(6)=1)。在GOP中位置為j的幀相應(yīng)在金字塔中所處的等級可用式(1)表示:

這里j=0表示的是I幀或P幀，定義其為最高等級，由于其總是正確接收，因此不會產(chǎn)生錯誤傳播。圖2中箭頭表示預(yù)測的結(jié)構(gòu)，如果在這個金字塔形的結(jié)構(gòu)中某幀丟失，其差錯就會沿著箭頭傳播，很明顯，處于越高等級的幀丟失，其錯誤傳播影響的范圍就會越大。

峰值信噪比(peak signal－to－noise ratio，PSNR)和均方誤差值(mean square error，MSE)是最典型的誤差客觀評價標準，MSE通過簡單的換算可以得到相應(yīng)的PSNR值。在所提出的模型中，使用均方誤差值作為對圖像誤差的評價標準。

MSE的計算方法如下:

式中:fj為序列中第j幀的原始無損圖像;f'j為產(chǎn)生了差錯的圖像;xij和yij分別為原始序列和產(chǎn)生誤差后的序列中第j幀的第i個像素的像素值;X、Y分別為視頻序列的長和寬。

首先，分析視點內(nèi)的誤差傳播過程。由于視點內(nèi)的預(yù)測結(jié)構(gòu)比較復(fù)雜，需要根據(jù)GOP的長度將其分成多個過程來分析。圖3為當?shù)燃壸罡叩腂(GOP中位置為2n－1)幀丟失時，錯誤從高等級向低級傳播的完整過程，為了標明該模型的可擴展性，在圖3中使用GOP長度為16的結(jié)構(gòu)，但是只畫出了其中的前半部分，未畫出的部分和畫出的部分是一個對稱結(jié)構(gòu)。

圖3 錯誤傳播過程的拆分

如圖3所示，將其過程拆分為3個過程，表示從各個等級到其相應(yīng)的下一個等級的誤差傳播情況。雖然圖3中只表示出了其中的前半部分，在省略號部分中，還有相應(yīng)對稱的錯誤傳播部分。圖3中α(0＜α＜1)為定義的視點內(nèi)的錯誤傳播衰減系數(shù)，在試驗和模型驗證部分，通過實驗驗證所有可能丟掉的幀丟掉時引入的誤差，并且在大量的實驗和數(shù)據(jù)統(tǒng)計的基礎(chǔ)上，采用回代的方法得到相應(yīng)的α值。

以左視點為例，假設(shè)2n－1(n=4)幀丟失，其丟失本身所帶來的損耗為djL，在這種情況下其引起的誤差傳播過程可以用式(3)表示:

由以上分析可知，由左視點GOP位置為2n－1幀丟失所引起的該視點內(nèi)的誤差是以上從高等級到低等級傳播過程的疊加，再加上其本身引入的誤差，可以表示為:

將式(4)進行推廣，可得點內(nèi)GOP中對于任意位置為j的幀丟失所引入的總誤差DjLin為:

為方便后面的表示，定義另外一個算子s(j)，其定義如下:

式(5)則可以表示為:

式(7)表示在左視點內(nèi)某個GOP中位置為j的幀丟失所帶來的誤差。引入另外一個參數(shù)β，用于描述誤差從左視點到右視點傳播時的衰減，類似于α的值，β的值也需要通過實驗和回代的方法得到。這樣，從左視點到右視點的誤差可以用式(8)描述:

由于右視點的預(yù)測結(jié)構(gòu)與左視點相同，因此，從左視點引入右視點的總誤差可以表示為:

這樣，該幀丟失時在左右兩個視點引入的總誤差可以用式(10)表示:

由于左視點與右視點的視點內(nèi)預(yù)測結(jié)構(gòu)相同，因此，右視點一個GOP中位置為j的幀丟失引入的誤差為:

模型還可以給一個序列中的每個GOP定義不同的衰減系數(shù)，或在不同的等級內(nèi)采用不同的衰減系數(shù)來提高其預(yù)測精度，但隨著衰減系數(shù)數(shù)目的增加，模型的復(fù)雜程度和與之相對應(yīng)的模型計算量也會增加。

3 實驗和模型驗證

該模型首先通過實驗計算出相應(yīng)的α和β值，并將實驗測試所得到的α和β代入算法模型中，并對該模型進行驗證。以Ballroom序列為例，在實驗中，使用Ballroom序列作為測試序列，Ballroom序列是一個具有8個視點(0～7視點)的MVC測試序列，使用其中0視點作為左視點，1視點作為右視點來實現(xiàn)立體視頻編碼。編解碼工具為JMVC 4.0，編碼的基本參數(shù)如表1所示。

表1 編碼參數(shù)設(shè)置

實驗中引入了相應(yīng)的錯誤隱蔽機制，使用最常用的拷貝前一幀的方法。這里所指前一幀并不是在原始序列位置中的前一幀，而是在編碼結(jié)構(gòu)上的前一幀，以金字塔的結(jié)構(gòu)來看，就是拷貝其上一等級的用于預(yù)測自身的那一幀(例如，在GOP長度為8時，若丟失第4幀;則拷貝第0幀)。

圖4表示通過實驗所得到Ballroom序列的α和β值的曲線圖，由圖4可看出α的值要相對穩(wěn)定，可得出該參數(shù)的設(shè)定是比較準確的，但是β的值波動相對較大，可能會給視點間誤差傳播的估計帶來影響。

圖4 Ballroom序列α和β系數(shù)的值

為了確定一個可用于驗證試驗的衰減系數(shù)值，除了Ballroom序列之外，還選取了另外4個典型的MVC編解碼測試序列對該模型進行測試，從這4個序列中分別抽取了10個GOP做α和β的獲取實驗。測試環(huán)境與之前的Ballroom序列一致，這4個序列分別是Exit、Flamenco2、Race1、Vassar，這4個序列在色彩復(fù)雜度，運動劇烈程度上都有差異，4個序列如圖5所示。與之相對應(yīng)的4個序列的α和β系數(shù)的值如圖6所示。

由圖6可以看出，對于各個序列來說，α的值要相對穩(wěn)定，β值波動相對較大。在后面的模型驗證試驗中，將取這5個序列相對應(yīng)的α=0.387和β=0.361的兩個均值作為后面進行測試模型的參數(shù)值。使用較為典型的測試序列Ballroom來進行實驗?zāi)Ｐ偷尿炞C。Ballroom序列的驗證結(jié)果如圖7所示。

圖5 Exit、Flamenco2、Race1、Vassar序列

圖6 α和β系數(shù)值

圖7 左視點內(nèi)的誤差及其傳播誤差的預(yù)測值和實際值

圖7 為Ballroom左視點的實際誤差和預(yù)測誤差，可以看出視點內(nèi)誤差和視點間誤差具有一致性，對于視點內(nèi)誤差的預(yù)測，準確度達到80%以上，但是對于視點間誤差傳播的預(yù)測產(chǎn)生了一定程度的低估，這與視點間傳播系數(shù)的不穩(wěn)定有一定的關(guān)系，但總體來看，其趨勢與實際值相同且準確度較高。

圖8 為右視點的誤差預(yù)測值和實際值，右視點不用于參考，其只有α參數(shù)的部分，從圖8中可以看出該模型有較好的預(yù)測精確度和準確性，尤其是在視點內(nèi)的誤差估計方面，且該模型算法簡單，有較好的可行性和擴展性。但在參數(shù)的獲取上略顯復(fù)雜，且對于傳播誤差有較明顯的低估，這些都將成為下一步研究的內(nèi)容。

圖8 右視點的預(yù)測誤差和實際誤差

4 結(jié)論

筆者分析了MVC編碼的預(yù)測結(jié)構(gòu)，通過理論分析和實驗的方法提出了一種丟幀引起的誤差估計模型及其算法，且考慮了錯誤隱蔽機制的應(yīng)用和視點內(nèi)及視點間的誤差傳播;仿真實驗結(jié)果表明，該算法具有良好的擴展性，可以準確預(yù)測幀丟失在視頻序列中引入的誤差。

［1］ISO/IEC JTC1/SC29/WG11 N10857.Applications and Requirements on 3D Video Coding［S］.

［2］LISM，HOU C P，YIN Y C，et al.Stereoscopic video compression based on H.264 MVC［C］//IEEE Conf Image and Signal Processing.［S.l.］:［s.n.］，2009:1－5.

［3］AKAR G B，TEKALP A M，F(xiàn)EHN C，et al.Transport methods in 3DTV－a survey［J］.Circuits and Systems for Video Technology，2007，17(11):1622－1630.

［4］胡嫻，王彥，張金輝，等.視頻傳輸中的FEC技術(shù)綜述［J］.電腦知識與技術(shù)，2007(13):42－43.

［5］ENGIN K，ANIL A，CAGDASB.A standards－based，flexible，end－to－endmulti－view video streaming architecture［J］.Packet Video，2007(12/13):302－307.

［6］項欣光.多視點視頻編碼中錯誤隱藏技術(shù)的研究［D］.哈爾濱:哈爾濱工業(yè)大學圖書館，2007.

［7］AGUEH M，SOUDE H.Optimal layer－based unequal error protection for robust JPEG 2000 images and video transmission over wireless channels［C］//Advances in Multimedia.Paris:［s.n.］，2009:104－109.

［8］BACCAGLINI E，TILLO T，OLMO G.Slice sorting for unequal loss protection of video streams［J］.Signal Processing Letters，2008(15):581－584.

［9］MERKLE P，BRUSH，DIX K，et al.Stereo video compression for mobile 3D services［C］//3DTV Conference:The True Vision－Capture，Transmission and Display of3D Video.［S.l.］:［s.n.］，2009:1－4.

［10］LIU SJ，CHEN Y，WANGY K，etal.Frame loss error concealment formultiview video coding［C］//Circuits and Systems.［S.l.］:［s.n.］，2008:3470－3473.

［11］TEKALP A M，KURUTEPE E，CIVANLAR MR.3DTV over IP［J］.Signal Processing Magazine，2007(24):77－87.