基于低頻預(yù)測的圖像多描述編碼及其差錯隱藏

王紅艷，金煒東

1.西南交通大學(xué) 信息科學(xué)與技術(shù)學(xué)院，成都 610031

2.西南交通大學(xué) 電氣工程學(xué)院，成都 610031

基于低頻預(yù)測的圖像多描述編碼及其差錯隱藏

王紅艷1，金煒東2

1.西南交通大學(xué) 信息科學(xué)與技術(shù)學(xué)院，成都 610031

2.西南交通大學(xué) 電氣工程學(xué)院，成都 610031

圖像、視頻等多媒體信息的網(wǎng)絡(luò)傳輸應(yīng)用越來越廣泛，由于網(wǎng)絡(luò)帶寬資源有限，且多媒體數(shù)據(jù)量龐大，因此，高效的壓縮技術(shù)是必需的。然而高效壓縮的碼流對誤碼非常敏感，一旦傳輸中出現(xiàn)誤碼，不僅影響該誤碼數(shù)據(jù)的恢復(fù)，還會影響與之相關(guān)的其他數(shù)據(jù)的恢復(fù)，所以不適應(yīng)在傳輸條件惡劣的信道中傳輸。

多描述編碼（Multiple Description Coding，MDC）[1]和后差錯隱藏處理[2]是差錯復(fù)原的兩種主要技術(shù)。多描述編碼通過產(chǎn)生多個相互獨立但又具有一定相關(guān)性的碼流（描述）來表達(dá)同一信號。其中各個描述可以分別獨立解碼來獲得可接受的重建質(zhì)量；而如果多個信道同時收到，則可得到更好的重建質(zhì)量，且重建效果會隨著接收到的描述的數(shù)量相應(yīng)提高；當(dāng)所有描述全部接收時，重建質(zhì)量達(dá)到最佳。MDC是在編碼端采取的一種抗誤碼措施，而差隱藏是解碼端的一種補(bǔ)救方法，它利用人類視覺特性和圖像信號中的冗余信息來掩蓋出錯的圖像數(shù)據(jù)，試圖重構(gòu)主觀可接受近似原始質(zhì)量的圖像。

差錯隱藏技術(shù)利用了圖像信號在空間上的相關(guān)性，可在一定程度上恢復(fù)丟失的圖像信息。但通常這些算法都假設(shè)一幅圖像的大部分信息被成功接收到，只有少量數(shù)據(jù)信息丟失，因此它不能真正解決整幅圖像丟失的問題。為了減少可伸縮性編碼中的誤差傳遞，Creusere[3]最早提出將小波系數(shù)劃分成獨立子塊的概念，隨后Cho和Pearlman提出了一種多描述編碼和差錯隱藏聯(lián)合應(yīng)用的方法，將系數(shù)按照Spatio-Temporal Tree Preserving 3D-SPIHT（STTPSPIHT）[4]的結(jié)構(gòu)劃分為多個塊狀時-空小波樹，分別進(jìn)行編碼傳輸。但是這種分組方法，當(dāng)某組丟失時，很難通過其他區(qū)域的圖像信息估計丟失信息。隨后文獻(xiàn)[5]提出基于小波域的圖像壓縮分組編碼及其差錯隱藏，將所有小波系數(shù)按照空間位置保持相同間隔均勻地分成多組，這種分組方法對小波系數(shù)同一圖像區(qū)域各個子帶之間的相似性利用降低，從而降低了壓縮效率。

圖1 算法框圖

本文提出了基于低頻預(yù)測的圖像多描述編碼方案，根據(jù)小波系數(shù)的獨特特點將原始圖像小波變換后的系數(shù)分為低頻、次高頻和高頻三部分，然后對低頻部分進(jìn)行相應(yīng)預(yù)處理，這樣能根據(jù)網(wǎng)絡(luò)狀況的不同進(jìn)行靈活的冗余調(diào)節(jié)。此外，為了提高傳輸?shù)聂敯粜?，針對只收到部分描述的情況，本文也提出了相應(yīng)的差錯隱藏方案，仿真結(jié)果表明了該方案的有效性。

1 基于低頻預(yù)測的圖像多描述編碼

本文提出的這種基于低頻預(yù)測的多描述編碼方法，算法框架如圖1所示。在編碼端，首先對原始圖像進(jìn)行多級小波變換得到其小波域上的表示，并將小波系數(shù)矩陣按照下述第2章中分組方法分為多個獨立的描述。然后對小波系數(shù)進(jìn)行相應(yīng)預(yù)處理，預(yù)處理和相應(yīng)后處理方案將分別在下述第3章和4.1節(jié)中介紹。接著將每個描述按照閾值進(jìn)行SPIHT（Set Partitioning In Hierarchical Trees）編碼，并把每組碼流序列號和預(yù)處理后的額外信息作為頭文件附加到輸出碼流的頭部，最后輸出到信道。

解碼是編碼的逆過程。在解碼端，先解碼收到的頭文件，得其碼流序列號和后處理所需的額外信息，然后對收到的各描述獨立解碼，并在小波域內(nèi)重組。接著根據(jù)解碼得到的額外信息進(jìn)行與預(yù)處理相應(yīng)的后處理。此后如果有描述丟失，也要進(jìn)行相應(yīng)的差錯隱藏，差錯隱藏方案如第4章所述。最后對得到的小波系數(shù)進(jìn)行小波反變換得到輸出圖像。

2 分組編碼方法

小波的變換系數(shù)所具有的獨特特點使其在編碼方面得到廣泛應(yīng)用[6]。小波變換將圖像劃分為一個低頻數(shù)據(jù)和多個高頻數(shù)據(jù)。小波系數(shù)的高頻部分顯示出了原始圖像的邊緣信息，低頻部分顯示的則像原始圖像的縮略圖。文獻(xiàn)[4]中當(dāng)某組丟失時，很難通過其他區(qū)域的圖像信息估計丟失信息，而文獻(xiàn)[5]的分組方法降低了壓縮效率。本文為了充分利用小波樹的高效性，首先將原始圖像小波變換后的系數(shù)分為低頻，次高頻，高頻三部分，如圖2所示。以下給出兩描述的分組方法。

圖2 空間方向樹結(jié)構(gòu)

低頻系數(shù)(LL2)對于恢復(fù)圖像重建質(zhì)量最為關(guān)鍵，影響到圖像平均亮度。對這部分信息采用按行或列的多相下抽樣方法，使奇偶行/列分別分配到兩個描述中，實驗比較后本文選取按行抽樣。

次高頻系數(shù)中不同方向上的小波信息表現(xiàn)出不同的相關(guān)性，所以對次高頻系數(shù)做基于方向性的奇偶分級[7]。對水平方向(HL2)上的信息，表現(xiàn)出很強(qiáng)的水平相關(guān)性，對這部分信息采取按列的奇偶分裂法；對于垂直方向(HL2)上的信息，它表現(xiàn)出很強(qiáng)的水平相關(guān)性，此處采用按行的奇偶分裂法；而對角線方向的信息(HH2)并沒有明顯的水平垂直相關(guān)性表現(xiàn)，所以對它們可采取按行、列或錯位分裂法進(jìn)行信息分裂，本文實驗比較了三種分裂的效果，選取了列分裂方法。

在空間方向樹結(jié)構(gòu)中可以看出，高頻系數(shù)和次高頻系數(shù)有很強(qiáng)的相關(guān)性。此處采用四叉樹抽樣[8]的方法，根據(jù)次高頻的分裂結(jié)果，在高頻部分將其對應(yīng)于同一空間區(qū)域的不同子帶系數(shù)組合成小波塊，然后再對小波塊進(jìn)行抽樣。

3 基于低頻預(yù)測的預(yù)處理方案

上章中的多描述分組編碼方法是通過小波域上的抽樣方法實現(xiàn)的，并不能實現(xiàn)描述間冗余的控制調(diào)節(jié)，而多描述編碼應(yīng)能動態(tài)調(diào)整描述間的冗余度，以適應(yīng)網(wǎng)絡(luò)環(huán)境和服務(wù)質(zhì)量的要求。為解決這個問題，文獻(xiàn)[9-10]提出了基于預(yù)測的多描述圖像/視頻編碼冗余方案，在此把這種方法推廣到本文的預(yù)處理方案中。

低頻系數(shù)對于恢復(fù)圖像重建質(zhì)量最為關(guān)鍵，顯示的像原始圖像的縮略圖，因此本文預(yù)處理方案主要針對低頻部分。其基本思想是為了在兩描述中插入一定的冗余，在低頻系數(shù)按行或列下采樣時，每個描述的低頻系數(shù)中插入額外的行或列，為了有效增加描述間的冗余，額外行或列的選取原則：假設(shè)只收到一個描述，另一個描述采用差值估計后所得值與它原先值的誤差盡量小。

其預(yù)處理方法，如圖3所示，首先把按行（列的方法相似）下采樣后的低頻系數(shù)f0(x，y)（大小為W×H）拆分為兩組，其中奇數(shù)行f1(x，y)作為組1，偶數(shù)行f2(x，y)作為組2，用插值方法由f1(x，y)估計出f2(x，y)的預(yù)測值，同樣也由f2(x，y)預(yù)測估計出組1的值，然后對f1(x，y)與以及f2(x，y)與分別進(jìn)行比較，計算出每行的絕對差C1(x)和C2(x)，其中：

圖3 低頻系數(shù)的預(yù)處理過程

接著對所有的C1(x)和C2(x)分別進(jìn)行排序得出S1(x)和S2(x)（其中x∈[0，W/2]）。假如要額外插入N行冗余，可由C1(x)和S1(x)結(jié)合得到組1中額外增加的行號信息Insert1(N)，用類似的方法得到Insert2(N)。此時，描述1的低頻部分可由原低頻的奇數(shù)行以及Insert1(N)中指定奇行形成，描述2中的低頻部分也由同樣的方法產(chǎn)生。在每個描述中，額外插入的這些信息在傳輸時作為頭文件攜帶在每個描述的數(shù)據(jù)包中。

4 差錯隱藏

上述MDC方法產(chǎn)生的多個描述通過不同信道傳輸，到達(dá)接收端可能有描述丟失；此外因各個信道相互獨立，同時發(fā)生傳輸失敗的可能性很小，即最少有一個描述成功傳送。只要接收端有描述收到，即能重建出不同視覺效果的圖像。分析上述描述產(chǎn)生方法可知，描述丟失即描述所代表的小波系數(shù)丟失。因此，從丟失的描述序列號即可知道哪些系數(shù)已經(jīng)丟失，進(jìn)行差錯隱藏的目的就是要恢復(fù)丟失的小波系數(shù)。

在接收端，首先解碼收到的頭文件，然后根據(jù)解壓后的頭文件分情況進(jìn)行多描述解碼和差錯隱藏。由于上述多描述編碼中分別使用不同的方法對低頻，次高頻，高頻三部分進(jìn)行分組，相應(yīng)在解碼端也實施不同的差錯隱藏方案。

4.1 低頻系數(shù)

如果只收到一個描述（假設(shè)描述1），多描述解碼后得其小波系數(shù)，然后用這個描述的頭文件信息Insert1(N)把那些不存在的低頻系數(shù)值由鄰近的低頻系數(shù)進(jìn)行差值估計。如果兩個描述都收到，那么在兩個描述中共同存在的低頻系數(shù)取其平均值，其他的行按序進(jìn)行合并，這樣就能得到所有的低頻信息。

4.2 次高頻系數(shù)

如果兩個都收到，直接將兩個描述中的次高頻系數(shù)按序合并即可。如果有描述丟失，可以利用簡單的方法對其進(jìn)行一定程度的恢復(fù)，公式如下：

其中h，v和d分別代表水平（horizontal）、垂直（vertical）和對角線（diagonal）方向的信息。

4.3 高頻系數(shù)

其中，ak是與Xn-k相關(guān)的權(quán)值。為了使的均方誤差（MSE）最小，最佳權(quán)值向量a=[a1a2…an]應(yīng)為Yule-Walker方程的解。

其中，RXX為矩陣X的相關(guān)矩陣，在實際應(yīng)用中，假設(shè)隨機(jī)序列是平穩(wěn)序列，則RXX和rYX的Μ階近似值為

對于丟失的HL1，LH1，HH1等其他高頻小波分解子帶系數(shù)，其周圍有大面積的小波系數(shù)缺失，故很難用4.2節(jié)中的方案恢復(fù)，但可以利用小波系數(shù)之間的非平凡相關(guān)性，通過正確接收的和已經(jīng)恢復(fù)的小波系數(shù)線性內(nèi)插進(jìn)行恢復(fù)[11]。

假設(shè)丟失系數(shù)Yn的估計是N個觀測值X={Xn-N，Xn-N+1，…，Xn-1}的線性組合：

在式（7）和式（8）中，Yn-1，Yn-2，…，Yn-Μ是Μ個有效采樣值，H的第i行表示與Yn-i相關(guān)的觀測值，如同{Xn-1，Xn-2，…，Xn-N}相對于Yn。

同一子帶內(nèi)和不同子帶間的小波系數(shù)都存在相關(guān)性，因而用來恢復(fù)丟失小波系數(shù)的觀測值可以從其父節(jié)點中選取，也可以從其位于同一子帶的鄰域節(jié)點中選取。由于父子節(jié)點系數(shù)之間具有更強(qiáng)的相關(guān)性，因而利用父節(jié)點的相關(guān)系數(shù)作為觀測值通?？梢垣@得更好的效果，這種稱為子帶間（inter-subband）內(nèi)插。丟失的小波系數(shù)Yn可以從其父節(jié)點Xn-1作如下預(yù)測：

5 仿真實驗結(jié)果及分析

為了驗證本文編碼方案的有效性，用標(biāo)準(zhǔn)Lena（512× 512，8 bit/pixel）圖像進(jìn)行仿真實驗。本文中采用的是3級Daubechies9/7小波分解和SPIHT圖像壓縮編碼方法，圖像恢復(fù)質(zhì)量由峰值信噪比PSNR(PSNR=10lg(2552/ΜSE)dB)表示。以下從差錯隱藏和冗余控制兩方面來驗證該算法。

表1 不同碼率下三種方案的比較

圖4 1.0 bit/pixel時三種方法下邊沿通道的恢復(fù)圖像結(jié)果

圖5 恢復(fù)圖像的PSNR

5.1 差錯隱藏

表1給出了兩描述編碼中無冗余（低頻插入行數(shù)N=0）時，不同碼率（0.2，0.4，0.6，0.8，1.0 bit/pixel）下本文方法和文獻(xiàn)[5]、文獻(xiàn)[4]圖像解碼后無差錯隱藏和經(jīng)過相應(yīng)差錯隱藏后恢復(fù)圖像的PSNR比較。以下表中和圖中出現(xiàn)的“邊沿通道”是指接收端只收到一個描述時恢復(fù)圖像的PSNR；“中央通道”為同時接收兩個描述時恢復(fù)圖像的PSNR。為了更好地說明本文差錯隱藏方案的有效性，表1中本文算法中的差錯隱藏分開三部分逐步測試，其中，“低頻”表示只有低頻部分實施差錯隱藏，而次高頻和高頻無差錯隱藏；“低+次高頻”表示低頻和次高頻部分都實施差錯隱藏，高頻部分無差錯隱藏；“低+次+高頻”表示低頻、次高頻和高頻三部分都實施了差錯隱藏。

從表1可以看出，在無差錯隱藏時，本文算法明顯好于另外兩組算法，這是因為本文算法在分組中充分利用了不同方向上的小波信息的相關(guān)性，并利用了小波樹結(jié)構(gòu)中小波系數(shù)同一圖像區(qū)域各個子帶之間的相似性。加入差錯隱藏后，在上述碼率下本文圖像的PSNR值略高于文獻(xiàn)[5]明顯高于文獻(xiàn)[4]，證明了本文差錯隱藏方案的有效性。而在兩個描述同時收到時本文算法與文獻(xiàn)[4]相等而高于文獻(xiàn)[5]，這是由于這兩者都沒有改變原始SPIHT算法中小波樹的父母子女關(guān)系，使壓縮效率沒有下降。

從表1看出本文算法的優(yōu)越性，圖4有更加直觀的結(jié)果，給出了碼率1.0 bit/pixel時文獻(xiàn)[4]、文獻(xiàn)[5]和本文差錯隱藏這三種方法下的邊沿通道圖像恢復(fù)質(zhì)量。

5.2 冗余控制

本節(jié)的實驗結(jié)果在上述本文差錯隱藏的基礎(chǔ)上進(jìn)行。圖5（a）和圖5（b）都是對Lena圖像在碼率為0.6 bit/pixel和1.0 bit/pixel兩種情況下，插入不同的低頻冗余行數(shù)N后，邊沿通道和中央通道得到的恢復(fù)圖像PSNR。從圖5可以看出，隨著插入的低頻系數(shù)的行數(shù)的增加，邊沿通道的編碼效率提高了，這也說明多描述編碼器抗干擾性能提高了。而且這種編碼方法能在編碼的有效性和傳輸魯棒性之間折衷控制，隨著插入行數(shù)的增加，中央信道的編碼效率略微降低，但邊沿通道的編碼效率提高，即傳輸?shù)聂敯粜蕴岣吡?。因此這種多描述方法可以根據(jù)網(wǎng)絡(luò)狀況的不同進(jìn)行冗余的靈活調(diào)節(jié)：如果帶寬比較大、信道的丟包率較高，可插入較多的冗余以提高傳輸?shù)聂敯粜?；反之，若帶寬較小、信道的丟包率較低就插入較小的冗余以保證編碼效率。

6 結(jié)束語

針對圖像傳輸中存在的誤碼問題，本文提出了基于低頻預(yù)測的多描述編碼方案，把小波變換后的圖像分為低頻、次高頻和高頻三部分，并對次高頻部分做基于方向性的奇偶分解。同時為了適應(yīng)網(wǎng)絡(luò)環(huán)境和服務(wù)質(zhì)量要求的變化，使這種多描述編碼能動態(tài)調(diào)整描述間的冗余，系統(tǒng)采用低頻預(yù)測的預(yù)處理和后處理方案實現(xiàn)了描述間冗余的靈活插入。此外，針對只收到部分圖像信息的情況，解碼器實現(xiàn)了有效的差錯隱藏，提高了傳輸?shù)聂敯粜浴?/p>

[1]Goyal V K.Multiple description coding：compression meets

the network[J].Signal Processing Magazine，2001，18（5）：74-93. [2]Liu Y Q，Wang J，Zhang H H.Depth image-based temporal

error concealment for 3-D video transmission[J].IEEE Trans

actions on Circuits and Systems for Video Technology，2010， 20（4）：600-604.

[3]Creusere C D.A new method of robust image compression based on the embedded zerotree wavelet algorithm[J].IEEE Trans on Image Processing，1997，6（10）：1436-1442.

[4]Cho S，Pearlman W A.A full featured，error-resilient，scalable wavelet video codec based on the Set Partitioning In Hierarchical Trees（SPIHT）algorithm[J].IEEE Trans on CSVT，2002，12（3）：157-171.

[5]高佳，胡波.基于小波域的圖像壓縮分組編碼及其差錯隱藏[J].復(fù)旦學(xué)報：自然科學(xué)版，2007，46（1）：54-58.

[6]Choupany R，Wong S，Tolun M.Scalable video transmission over unreliable networks using multiple description wavelet coding[C]//Digital Content，Multimedia Technology and Its Applications（IDCTA），Delft，Netherlands，2011：5-10.

[7]Tang L L，Lu Z M.SPIHT and odd-even estimation based MDC algorithm[J].International Journal of Innovative Computing，Information and Control（IJICIC），2010，6（3）：1079-1088.

[8]Lin C，Zhao Y，Zhu C.Two-stage diversity-based multiple description image coding[J].IEEE Signal Processing Letters，2008，15：837-840.

[9]楊任爾，陳懇，何加銘.基于預(yù)測的多描述圖像編碼冗余插入的研究[J].光電工程，2007，34（10）：108-113.

[10]勵金祥，鄭淑紅，楊任爾，等.基于幀的多描述視頻編碼及其差錯隱藏[J].光子學(xué)報，2010，39（5）：935-940.

[11]丁學(xué)文，楊兆選，曹繼華，等.SPIHT編碼圖像傳輸?shù)腻e誤保護(hù)技術(shù)[J].中國圖象圖形學(xué)報，2007，12（10）：1802-1805.

WANG Hongyan1,JIN Weidong2

1.School of Information Science and Technology,Southwest Jiaotong University,Chengdu 610031,China
2.School of Electrical Engineering,Southwest Jiaotong University,Chengdu 610031,China

To improve the transmission performance of images or video in the environment of packet loss or bit error,multiple description image coding method based on low-frequency prediction is proposed.By the unique characteristics of wavelet coefficient,wavelet transform coefficients of the original image are divided into three-part of low-frequency,minor-high frequency, high frequency,and these sections are grouped in different ways.Pre-processing and post-processing program of low frequency prediction are used to achieve redundant insertion.Error concealment algorithm to improve the robustness of transmission is realized.Simulation results have shown that this new algorithm greatly improves systems-resilience capabilities,provides flexible redundant insertion to adapt to network conditions.

image coding;multiple description coding;wavelet coefficients;pre-processing;error concealment

為了提高圖像、視頻在丟包或誤碼環(huán)境下的傳輸性能，提出了基于低頻預(yù)測的圖像多描述編碼方法。根據(jù)小波系數(shù)的獨特特點將原始圖像小波變換后的系數(shù)分為低頻，次高頻，高頻三部分，對各部分進(jìn)行不同方式的分組；采用低頻預(yù)測的預(yù)處理和后處理方案，實現(xiàn)描述間的冗余插入；實現(xiàn)了差錯隱藏算法以提高傳輸?shù)聂敯粜?。仿真結(jié)果表明，系統(tǒng)的抗誤碼能力大為提高，且可提供靈活冗余插入以適應(yīng)各種網(wǎng)絡(luò)傳輸狀況。

圖像編碼；多描述編碼；小波系數(shù)；預(yù)處理；差錯隱藏

A

TN919.81

10.3778/j.issn.1002-8331.1112-0361

WANG Hongyan,JIN Weidong.Low frequency prediction-based multiple description image coding and error concealment.Computer Engineering and Applications,2013,49（18）：159-163.

國家自然科學(xué)基金（No.60971103）。

王紅艷（1986—），女，碩士研究生，主要研究領(lǐng)域為圖像壓縮編碼與傳輸；金煒東（1959—），男，教授，博導(dǎo)。E-mail：why_19860826@163.com

2011-12-19

2012-01-31

1002-8331（2013）18-0159-05

CNKI出版日期：2012-05-21 http://www.cnki.net/kcms/detail/11.2127.TP.20120521.1141.039.html