基于偽隨機碼置亂的分布式視頻殘差編碼端碼率控制算法

胡春筠,胡斌杰

(1.華南理工大學電子與信息學院,廣東廣州 510640;2.華南農(nóng)業(yè)大學電子工程學院,廣東廣州 510642)

?

基于偽隨機碼置亂的分布式視頻殘差編碼端碼率控制算法

胡春筠1,2,胡斌杰1

(1.華南理工大學電子與信息學院,廣東廣州 510640;2.華南農(nóng)業(yè)大學電子工程學院,廣東廣州 510642)

提出一種基于偽隨機碼置亂的分布式視頻殘差編碼端碼率控制算法,利用偽隨機碼對殘差視頻幀的像素進行置亂處理,將信源圖像與其邊信息圖像之間的差別均勻化,實現(xiàn)幀級別上的碼率估計,即每一幀用同一碼率發(fā)送.如果收端譯碼失敗,利用提出的一種量化序號估計算法能顯著提高譯碼成功率,解決碼率低估問題.同時發(fā)端視頻殘差幀的特性能近似表示收發(fā)兩端信號之間的相關(guān)性,因此,發(fā)端無需產(chǎn)生一個預(yù)測的邊信息.仿真結(jié)果表明,該算法發(fā)端復雜度低、譯碼成功率高、系統(tǒng)延遲小、率失真性能良好.

分布式視頻殘差編碼;編碼端碼率控制;偽隨機碼置亂

1　引言

分布式視頻編碼(Distributed Video Coding,DVC)是一種基于Slepian-Wolf和Wyner-Ziv理論的全新視頻編碼框架,每個視頻幀在發(fā)端獨立編碼,在收端聯(lián)合譯碼.它不僅降低了發(fā)端的復雜度,還有較強的容錯能力.DVC主要分為像素域編碼[1]和變換域編碼[2]兩種,由于變換域編碼中的DCT變換利用了空域相關(guān)性進行壓縮,因此它的率失真性能(Rate Distortion,RD)要優(yōu)于像素域方案,同時也比像素域方案復雜.隨后又出現(xiàn)了像素域視頻殘差(Residual Video)編碼方案[3],它能達到變換域的率失真性能,同時又降低了復雜度.以上三種方案是由斯坦福大學提出的.除此之外,PRISM[4]系統(tǒng)和DISCOVER[5]也是兩種典型的DVC框架.

DVC的研究熱點很多,其中碼率控制就是熱點之一.分布式編碼根據(jù)信源(也稱為WZ幀,記為X)和邊信息(Side Information,記為Y)間的統(tǒng)計相關(guān)性來確定為X分配多大的碼率.現(xiàn)有的碼率控制方式有兩種:一種是編碼端碼率控制(Encoder Rate Control,ERC),即在編碼端估計X和Y間的統(tǒng)計相關(guān)性,確定發(fā)送X所需的碼率[6～10]；另一種是譯碼端碼率控制(Decoder Rate Control,DRC),通過反饋信道多次執(zhí)行“請求并解碼”過程從而決定所需的碼率，也可以譯碼端先估計一個發(fā)送碼率,然后編碼端按照這個碼率發(fā)送數(shù)據(jù),以減少請求的次數(shù)[11].這兩種方法各有優(yōu)缺點.ERC的優(yōu)點是不依賴于反饋信道,收端只需一次解碼,系統(tǒng)延遲小,實用性強;缺點是估計的碼率比較粗糙(存在低估和過估的情況),編碼端復雜度增加.DRC的優(yōu)點是能以最優(yōu)(最小)碼率解碼;缺點是必須依賴于反饋信道,收端需要多次解碼,系統(tǒng)延遲大.從理論上講,ERC的率失真性能只能盡量接近而無法超過DRC.但是由于ERC不依賴于反饋信道,能降低系統(tǒng)延時,實時性和實用性強,因此研究它是非常有意義的.

要實現(xiàn)ERC需要解決二方面的問題:一是編碼端邊信息的預(yù)測,二是發(fā)送碼率方案的制定.文獻[6]比較了兩種發(fā)端邊信息產(chǎn)生方案:平均內(nèi)插(Average Interpolation,AI)和快速運動補償(Fast Motion Compensation Interpolation,FMCI),證明了FMCI的效果要比AI好;文獻[7]對AI和FMCI混合生成邊信息方案(AI+FMCI)、AI和快速塊運動估計(Fast Block Motion Estimation,FBME)混合生成邊信息方案(AI+FBME)進行了詳細的比較,證明了后者的效果要好于前者;文獻[8]直接將WZ幀的前一Key幀作為邊信息,這種效果不太理想但最簡單.上述是利用時域相關(guān)性產(chǎn)生邊信息,還有利用空域相關(guān)性來產(chǎn)生邊信息的：如文獻[9]對視頻中每一幀都分成一個WZ子幀和一個KEY子幀,通過KEY子幀得到WZ子幀的邊信息;文獻[10]提出了一種混合利用時域和空域相關(guān)性得到邊信息的方法.無論哪種方法,都會增加編碼端運算、存儲的復雜度.碼率方案通常有兩種.一種是給出計算公式,但由于發(fā)端估計的邊信息較粗糙,因此得出的碼率不是最優(yōu).另一種是通過大量實驗得到一個編碼本(Codebook)或者查閱本(Look Up Table),由于實驗視頻的局限性,估計的碼率對其它視頻也不是最優(yōu).碼率估計通常存在過估和低估的情況,其中低估會導致譯碼不成功，而過估會浪費多余的碼率,兩者都影響系統(tǒng)的RD性能.另外,現(xiàn)有ERC方案都是在位平面級別上進行碼率估計,而一幀數(shù)據(jù)通常對應(yīng)有多個位平面且每個位平面需要發(fā)送的碼率很不同,這樣導致發(fā)送任何一幀都需要進行多次碼率估計,增加了編碼端的復雜性和系統(tǒng)延時.

本文在研究分布式視頻殘差編碼方案的基礎(chǔ)上,提出一種基于偽隨機碼置亂的分布式視頻殘差編碼端碼率控制算法(Residual ERC based on Pseudo-Random Code Scrambling,RERC-PRCS).它與已有ERC方案的區(qū)別有以下三點:

一是實現(xiàn)了在幀級別而不是在位平面級別上的碼率估計.通過利用偽隨機碼對殘差幀的像素進行置亂,將信源圖像與其邊信息圖像之間的差別均勻化,這樣發(fā)端能在幀級別上進行碼率估計,無需在位平面上進行多次碼率估計.

二是發(fā)端無需產(chǎn)生一個預(yù)測的邊信息,發(fā)端視頻殘差幀的特性能近似表示收發(fā)兩端信號之間的相關(guān)性.

以上兩點極大地減少了編碼端的復雜度和系統(tǒng)延時.

三是碼率低估時,利用偽隨機碼反置亂和量化序號估計算法(Quantization Index Estimation Algorithm,QIEA)能顯著提高解碼成功率,解決碼率低估的問題.

2　分布式視頻殘差編碼端碼率控制算法

(1)

最后得到

(2)

2.1偽隨機碼置亂模塊

通常將邊信息Y看成是X通過一個虛擬信道的輸出結(jié)果.兩者的關(guān)系為N=Y-X,N是虛擬信道中的噪聲,表示X與Y之間的差錯.在DVC中,常用Laplace模型來模擬X和Y之間的相關(guān)性.但這種模型存在較大偏差,后來出現(xiàn)了基于多種概率混合分布的建模方法,如文獻[14]根據(jù)信號信息熵與拉普拉斯、柯西和高斯三種概率分布下信息熵的相似度,來選擇準確的概率分布.當X、Y二進制化后,兩者之間的相關(guān)性可直接用虛擬信道中的錯誤轉(zhuǎn)移概率ρ來描述.從錯誤控制碼的角度來看,解碼X所需的校驗碼個數(shù)取決于ρ.差錯越少,越小,需要傳送的碼率越小;反之差錯越多,越大,所需碼率就越大.仔細分析一幀信源圖像及其對應(yīng)的邊信息圖像,會發(fā)現(xiàn)兩圖像之間靜止的背景相同,運動的前景不同,對應(yīng)ρ有大有小.如果用偽隨機碼對像素進行置亂,置亂后圖像的背景和前景打亂后排一起,這時兩圖之間的ρ會趨于均勻,那么碼率也會趨于一致,按照這個碼率發(fā)送整幀數(shù)據(jù),就實現(xiàn)了幀級別上的碼率估計.當出現(xiàn)碼率低估時,通過對譯碼結(jié)果進行反置亂,未譯碼成功的量化序號分散在解碼成功的量化序號之中,利用2.3節(jié)提出的QIEA能提高解碼成功率.

2.2碼率估計模塊

本方案借鑒文獻[15]中的碼率估計公式,其中ρ是收發(fā)兩端信號經(jīng)格雷碼編碼后的錯誤轉(zhuǎn)移概率.

H(ρ)=-ρlog2(ρ)-(1-ρ)log2(1-ρ)

(3)

因此,發(fā)端可用Rq的概率分布代替Nq的概率分布,無需產(chǎn)生額外的邊信息.

(4)

最終錯誤轉(zhuǎn)移概率ρ的計算公式為:

(5)

將ρ代入式(3)得發(fā)送碼率v,整幀數(shù)據(jù)的所有編碼分組都按這個估計的碼率發(fā)送.

2.3量化序號估計模塊

3　實驗結(jié)果及分析

實驗采用QCIF格式且?guī)蕿?5幀/秒的Hall Monitor,Coastguard,Foreman,Soccer四個運動性逐漸增強的測試視頻,其中Hall Monitor有165幀,Foreman有149幀,Coastguard有149幀,Soccer有149幀.GOP為2,其中奇數(shù)幀是KEY幀,采用H.264/AVC Intra編碼,主要參數(shù)是QP;偶數(shù)幀是WZ幀,主要參數(shù)是量化級數(shù)2n.根據(jù)恢復的KEY幀和WZ幀質(zhì)量近似相等的原則設(shè)計了(QP,n)的6種組合,分別是(20,3)、(24,3)、(27,2)、(34,2)、(37,2)、(41,2),四個視頻都在這6種參數(shù)組合下進行測試.LDPCA編碼分組長度為6336.發(fā)端按照式(3)估計碼率v,收端按照式(1)重建殘差幀,式(2)重建WZ幀.整個系統(tǒng)采用rand函數(shù)產(chǎn)生偽隨機置亂碼.

3.1偽隨機碼置亂效果

如2.1節(jié)所述,偽隨機碼置亂的目的是將信源圖像與邊信息圖像之間的錯誤均勻化.圖3給出了當量化級分別為2n(n=2,3)時,源圖像和邊信息圖像之間差錯率ρ在置亂前后的對比圖.

可以看出:置亂前ρ有大有小,置亂后ρ近似均勻分布;并且n越小,置亂后的ρ越均勻,效果越明顯.ρ近似均勻分布,表示整幀數(shù)據(jù)可以近似用單一碼率發(fā)送,為后面的碼率估計奠定基礎(chǔ).已有的ERC方案中,一幀視頻數(shù)據(jù)常常被分成多個位平面,每個位平面都要進行碼率估計,本方案在幀級別上對一幀數(shù)據(jù)只進行一次碼率估計,減少了估計的次數(shù)和系統(tǒng)延遲.

3.2發(fā)端碼率估計效果

圖4給出了視頻序列Hall和Soccer中WZ幀的估計碼率v與最優(yōu)碼率v′的比較結(jié)果.最優(yōu)碼率是DRC方案中的碼率,由于在DRC方案中不同位平面有不同的解碼碼率,取所有解碼碼率的平均值作為該幀的最優(yōu)碼率.v和v′相比通常有過估、低估和相等三種情況.如果估計效果好,則圖上的點大部分應(yīng)落在v=v′直線上;如果估計的效果不好,則落在直線之外的點多.從圖4可以看出:視頻運動變化越小,n越小,估計就越準確,反之估計就越不準確.另外從圖中可以看出,當點落在直線v=v′上方,代表著碼率低估的情況,要用2.3提出的QIEA來解決這個問題.

3.3量化序號估計模塊的效果

圖5給出了Soccer按照碼率v首次解碼的成功率與采用QIEA模塊后的解碼成功率.解碼成功率是指測試視頻中所有解碼成功的分組數(shù)占總解碼分組數(shù)的比例,其中橫坐標表示6種組合情況.

3.4RERC-PRCS方案的RD性能分析

圖6給出四個視頻序列只取灰度分量按照RERC-PRCS、變換域ERC方案(Transform-Domain ERC,TDERC)[6]、DISCOVER[5]方案、H.264/AVC Intra方案得到的RD特性曲線.DISCOVER方案是目前最好的DRC方案;H.264/AVC Intra是常用的幀內(nèi)編碼方案.

(1)RERC-PRCS和TDERC方案比:從圖中可以看出,在運動變化不大的視頻序列如Hall、Coastguard中RERC-PRCS效果要優(yōu)于TDERC方案.特別是在Hall視頻中,高碼率時比TDERC方案高1dB左右.在運動變化較大的視頻序列Foreman中,兩者的性能相當,在運動劇烈的視頻序列Soccer中,性能比TDERC方案略低.但TDERC方案在編碼端要進行DCT變化和邊信息預(yù)測,并在位平面上進行碼率估計,通常一幀對應(yīng)有十幾個位平面,發(fā)送一幀數(shù)據(jù)要估計十幾個碼率;而RERC-PRCS方案在發(fā)端不需要進行DTC變換,也不需要估計邊信息,并且在幀級別上進行碼率估計,一幀只要估計一個碼率.RERC-PRCS在發(fā)端只增加了一個偽隨機序列產(chǎn)生和排序的模塊,這對于發(fā)端的復雜度而言可以忽略不計.因此,兩者相比RERC-PRCS能獲得和TDERC相當甚至是更好的RD性能,但編碼端結(jié)構(gòu)更簡單,系統(tǒng)延時更小.

(2)RERC-PRCS和DISCOVER比:從圖6中可以看出,在Hall序列中RERC-PRCS與DISCOVER性能相當;在Coastguard序列中,低碼率時RERC-PRCS的特性曲線與DISCOVER相當,高碼率時大約有0.3dB的差距;其它兩個視頻序列中,RERC-PRCS的特性曲線不如DISCOVER,并且隨著碼率的增加,兩者之間的差距也逐漸增大.原因是DISCOVER是目前最好的DRC方案,它以最優(yōu)(最小)碼率解碼.而RERC-PRCS是在發(fā)端估計這個碼率,根據(jù)3.2節(jié)碼率估計的結(jié)果可知:視頻運動變化越小,n越小,估計越準確,RD性能就越好;反之估計越不準,RD性能就越差.要提高估計的效果,發(fā)端必須要有準確的邊信息和相關(guān)性模型,但是這往往也是最難的部分.與DISCOVER方案相比,本方案不需要反饋信道,在收發(fā)兩端的結(jié)構(gòu)要比DISCOVER簡單很多,系統(tǒng)延遲小,具有實用性.

(3)RERC-PRCS和H.264/AVC Intra比:H.264/AVC Intra是目前常用的幀內(nèi)編碼方案,它在編碼端要進行幀內(nèi)預(yù)測,其編碼復雜度和編碼時間不適合用在編碼端資源受限的場合.RERC-PRCS在Hall視頻中平均高出H.264/AVC Intra 2.5dB左右、Coastguard視頻中平均高出H.264/AVC Intra 0.8dB左右.在Foreman視頻中,低碼率和H.264/AVC Intra相當,高碼率時效果比H.264/AVC Intra差.Soccer視頻中所有方案的效果都比H.264/AVC Intra差.

4　總結(jié)

通過深入研究分布式視頻殘差編碼原理,給出編碼端碼率控制方案(RERC-PRCS).在發(fā)端利用偽隨機碼對視頻殘差幀的像素進行置亂處理,作用有兩個:一是將信源與其邊信息之間的差別均勻化,實現(xiàn)在幀級別而不是在位平面級別上的碼率估計,減少了發(fā)端碼率估計的次數(shù)和系統(tǒng)延遲;二是當出現(xiàn)碼率低估時,通過對譯碼結(jié)果進行反置亂,未譯碼成功的量化序號將會分散在解碼成功的量化序號之中,利用提出的QIEA能顯著提高解碼成功率.本方案中,發(fā)端不用額外產(chǎn)生一個邊信息的預(yù)測值,發(fā)端視頻殘差幀的特性能近似表示收發(fā)兩端信號之間的相關(guān)性,因此發(fā)端的復雜度并沒有提高.發(fā)端只增加了一個偽隨機序列產(chǎn)生和排序的模塊,它對于發(fā)端的復雜度而言可以忽略不計.通過將RERC-PRCS與其它方案的RD性能相比較可知:在運動變化小的視頻序列中,RERC-PRCS能很好的工作,性能高于TDERC方案,甚至和DISCOVER方案相當;在運動變化大的視頻序列中,性能和TDERC方案相當.無論和什么方案比,RERC-PRCS方案在發(fā)端結(jié)構(gòu)最簡單,系統(tǒng)延遲最小,不需要反饋信道,具有很好的實用性.

[1]Aaron A,Zhang R,Girod B.Wyner-Ziv coding of motion video[A].Proceedings of Asilomar Conference on Signals,Systems and Computers[C].Pacific Grove,CA,USA:IEEE,2002.240-244.

[2]Aaron A,Rane S D,Setton E,et al.Transform-domain Wyner-Ziv codec for video[A].Proceedings of Panchanathan S SPIE Visual Communications and Image Processing[C].San Jose,CA,USA:SPIE,2004.520-528.

[3]Aaron A,Varodayan D,Girod B.Wyner-Ziv residual coding of video[A].PCS Proceedings of Picture Coding Symposium[C].Beijing,China:PCS,2006.1-5.

[4]Puri R,Ramchandran K.PRISM:A new robust video coding architecture based on distributed compression principles[A].Dellurud G.Proceedings of the Annual Allerton Conference on Communication Control and Computing[C].Allerton,IL,USA:IEEE,2002.586-595.

[5]Artigas X,Ascenso J,Dalai M,et al.The DISCOVER codec:Architecture,techniques and evaluation[A].Soares L D.Picture Coding Symposium[C].Lisbon,Portugal:EURASIP,2007.513-516.

[6]Brites C,Pereira F.Encoder rate control for transform domain Wyner-Ziv video coding[A].Proceedings of the IEEE International Conference on Image Processing (ICIP)[C].San Antonio,TX,USA:IEEE,2007.5-8.

[7]夏北噸,楊春玲.無反饋分布式視頻編碼中碼率分配算法研究[J].電子學報,2014,42(10):1938-1943.

Xia Bei-dun,Yang Chun-ling.Rate distribution algorithm for feedback-free distributed video coding[J].Acta Electronica Sinica,2014,42(10):1938-1943.(in Chinese)

[8]Halloush R,Radha H.Practical distributed video coding based on source rate estimation[A].Proceedings of the 44th Annual Conference on Information Sciences and Systems (CISS)[C].Princeton,NJ,USA:IEEE,2010.1-6.

[9]Haqqani M,et al.Encoder rate control for transform domain Wyner-Ziv video coding[A].Proceedings of International Conference on Electronics,Computer and Computation[C].Ankara:IEEE,2013.386-390.

[10]Chen Fu,Joohee Kim.Encoder rate control for block-based distributed video coding[A].Proceedings of IEEE International Workshop on Multimedia Signal Processing[C].Saint Malo:IEEE,2010.333-338.

[11]封穎,李云松,等.分布式視頻解碼器端的碼率估計算法[J].電子學報,2009,37(6):1232-1236.

Feng Ying,Li Yun-song,et al.Rate estimation algorithm for distributed video coding on decoder[J].Acta Electronica Sinica,2009,37(6):1232-1236.(in Chinese)

[12]Ascenso J,Brites C,Pereira F.Improving frame interpolation with spatial motion smoothing for pixel domain distributed video coding[A].Proceedings of EURASIP Conference on Speech and Image Processing,Multimedia Communications and Services[C].Smolenice,Slovak Republic:EURASIP,2005.1-6.

[13]Kubasov D,Nayak J,Guillemot C.Optimal reconstruction in Wyner-Ziv video coding with multiple side information[A].Petrakis E.Proceedings of IEEE International Workshop on Multimedia Signal Processing[C].Chania,Crete,Greece:IEEE,2007.183-186.

[14]唐振華,梁祥嚴,等.分布式視頻編碼中基于多概率混合分布的相關(guān)噪聲建模方法[J].電子學報,2015,43(2):365-370.

Tang Zhen-hua,Liang Xiang-yan,et al.Correlation noise modeling algorithm based on multiple probability distributions for distributed video coding[J].Acta Electronica Sinica,2015,43(2):365-370.(in Chinese)

[15]Brites C,Pereira F.Probability updating for decoder and encoder rate control turbo based Wyner-Ziv video coding[A].Proceedings of 17th IEEE International Conference on Image Processing (ICIP)[C].Hong Kong:IEEE,2010.3737-3740.

胡春筠女,1977年2月生于江西奉新,博士研究生.主要研究方向為:分布式信源編碼及其應(yīng)用,無線傳感器路由算法.

E-mail:hcy2182@scau.edu.cn

胡斌杰男,1960年生,陜西漢中市人,教授、博士生導師.研究方向為:無線傳感網(wǎng)絡(luò)與認知無線電技術(shù)、射頻識別(RFID)與物聯(lián)網(wǎng)技術(shù).

E-mail:eebjiehu@scut.edu.cn

Encoder Rate Control Algorithm Based on Scrambling with Pseudo-random Code for Distributed Residual Coding of Video

HU Chun-yun1,2,HU Bin-jie1

(1.SchoolofElectronicandInformationEngineering,SouthChinaUniversityofTechnology,Guangzhou,Guangdong510640,China;2.CollegeofElectronicandEngineering,SouthChinaAgriculturalUniversity,Guangzhou,Guangdong510642,China)

An encoder rate control algorithm is proposed for the distributed residual video coding,which is based on scrambling the pixels of a residual frame with pseudo-random code in order to realize rate estimation at the fame level,i.e.,estimating one rate for each residual frame.A quantization index estimation algorithm is also proposed to increase the ratio of successful decoding and solve the problem of rate underestimation.In the mean time,the statistical characteristics of the residual signal at the encoder can approximately represent the correlation between the signals at both the encoder and the decoder.No predicted side information needs to be generated at the encoder.The simulation results show that the proposed algorithm has low encoder complexity,high successful decoding ratio,less latency,and good RD performance.

distributed residual coding of video;encoder rate control;scrambling with pseudo-random code

2015-09-01;修回日期:2015-12-16;責任編輯:孫瑤

工信部國家物聯(lián)網(wǎng)專項(工信部科函[2014]351號);國家自然科學基金與廣東省聯(lián)合基金重點項目(No.U1035002);國家自然科學基金(No.61302055);高等學校博士學科點專項科研基金(No.20120172120027)

TN911.23

A

0372-2112 (2016)06-1490-06