(海司信息化部 北京 100841)
信息技術(shù)的飛速發(fā)展和國際環(huán)境的深刻變化,推動世界新軍事革命進(jìn)程不斷加快。面對新形勢,海軍裝備建設(shè)為了適應(yīng)海軍戰(zhàn)略轉(zhuǎn)型需要,正在構(gòu)建海上柵格化信息網(wǎng)絡(luò),在海軍現(xiàn)役各通信網(wǎng)的基礎(chǔ)上,實現(xiàn)海軍通信網(wǎng)絡(luò)一體化,為用戶提供多手段、多業(yè)務(wù)、多路徑、自動高效、隨遇接入的綜合信息保障,提升基于信息系統(tǒng)的體系作戰(zhàn)能力。海上柵格化信息網(wǎng)絡(luò)需依托各類無線通信資源,在岸??仗斓雀黝惼脚_之間傳送實時畫面,為指揮控制、情報偵察、遠(yuǎn)程醫(yī)療、后勤保障等應(yīng)用提供了更為豐富和準(zhǔn)確的信息,極大地提升了海軍信息化應(yīng)用能力。海上柵格化信息網(wǎng)絡(luò)視頻業(yè)務(wù)連接關(guān)系如圖1所示。
圖1 海上柵格化信息網(wǎng)絡(luò)視頻業(yè)務(wù)連接關(guān)系
由于海上柵格化信息網(wǎng)絡(luò)需要建立岸基指揮所、艦船、飛機(jī)和各類偵察設(shè)備之間的通信連接,涉及的平臺數(shù)量多,每個平臺分配到的無線通信資源有限;同時,海上柵格化信息網(wǎng)絡(luò)視頻應(yīng)用已經(jīng)不是點對點視頻業(yè)務(wù),需要在岸海空天等多個平臺之間以網(wǎng)狀方式傳送多路視頻信號,因此每路視頻信號的傳輸帶寬非常有限。另一方面,由于無線信道存在著信道被干擾的可能性,因此實時視頻通信必須考慮丟包和誤碼的情況。綜上所述,如何在海上柵格化信息網(wǎng)絡(luò)環(huán)境下,依托窄帶無線通信資源,進(jìn)行多路網(wǎng)狀高質(zhì)量視頻圖像傳輸成為了當(dāng)前亟待解決的關(guān)鍵問題。
圖2 視頻編碼的結(jié)構(gòu)示意圖
如圖2所示,為了解決這一問題,研究人員不斷地提出效率更高的視頻編碼工具[1~2]和差錯掩藏工具[3~4],在編解碼兩端優(yōu)化視頻圖像質(zhì)量。但在實際工程應(yīng)用中,設(shè)計人員往往還是采用通用的視頻編碼標(biāo)準(zhǔn)進(jìn)行信源壓縮。H.264標(biāo)準(zhǔn)通過多模式編碼和1/4像素運動估計等高復(fù)雜度編碼工具,其編碼效率較MPEG-2標(biāo)準(zhǔn)提升了一倍,是目前實用的編碼效率最高的視頻編碼標(biāo)準(zhǔn)。在不改變H.264編碼結(jié)構(gòu)的情況下,根據(jù)視頻編碼場景的特點合理的分配碼率資源,成為在實際應(yīng)用中提升視頻編碼質(zhì)量的有效手段。本文針對海上柵格化信息網(wǎng)絡(luò)視頻通信特點,提出了基于信息效用的宏塊級碼率分配方法,有效地提升了視頻編碼質(zhì)量。
在H.264 標(biāo)準(zhǔn)中,編碼資源的合理分配離不開率失真函數(shù)的優(yōu)化。在視頻編碼傳輸中,宏塊端到端的失真包括信源編碼失真和信道傳輸失真。由于信源失真和信道失真相互獨立,端到端的失真D(n,i)可以寫成:
其中Ds(n,i)、Dc(n,i)分別表示第n幀中第i個宏塊的信源失真和信道失真。Ds(n,i)主要是由視頻編碼中的有損編碼環(huán)節(jié)所帶來的,例如量化編碼。Dc(n,i)主要是信道的丟包、誤碼所帶來的。進(jìn)一步而言,Dc(n,i)又可以表示成誤碼擴(kuò)散失真Dep(n,i)和差錯掩蓋失真Dec(n,i)。
其中,Dep(n,i)指在解碼端正確接收信號時,由已解碼圖像的誤碼錯誤所導(dǎo)致的擴(kuò)散誤差。Dec(n,i)則指在發(fā)生傳輸錯誤時,解碼端采用差錯掩蓋算法時的掩蓋失真。
文獻(xiàn)[5]指出,在基于RTP、UDP和IP的傳輸環(huán)境和打包策略下,IP 包中每個像素的丟失率和數(shù)據(jù)包的丟失率相等,因此端到端的宏塊失真可以表示成:
其中,p代表信道的丟包率。在得到了無線信道下的失真函數(shù)后,我們將其代入H.264的率失真函數(shù),從而得到無線信道條件下的率失真模型。
由于Dec(n,i)是錯誤掩蓋失真,與編碼無關(guān),則可得到等價的率失真函數(shù):
其中λ1是Lagrange乘子,其等于H.264中的Lagrange乘子λ除以(1-p)。當(dāng)λ1增大的時候,代表碼率對于代價函數(shù)的影響更大,因此通常會使用幀間編碼等編碼碼率較小的編碼模式;反之,當(dāng)λ1減小的時候,說明碼率對于代價函數(shù)的影響變小,選擇幀內(nèi)編碼模式的機(jī)會就增加了。同時,λ1減小表明,代價函數(shù)偏向于失真更小的編碼模式,因此能夠改善圖像的編碼質(zhì)量。
需要指出的是,對于幀內(nèi)編碼模式的宏塊而言,其解碼的過程中不依賴已解碼的圖像,因此不存在誤碼擴(kuò)散失真Dep(n,i)。而對于幀間編碼模式的宏塊而言,解碼過程會將原先解碼圖像的誤差擴(kuò)散到當(dāng)前解碼塊,增加解碼圖像的失真。因此,對于無線視頻通信而言,減小λ1值可以增加選擇幀內(nèi)編碼模式的機(jī)會,進(jìn)而有效的降低圖像的誤碼擴(kuò)散失真。
在海上柵格化信息網(wǎng)絡(luò)中,大多數(shù)視頻圖像屬于背景固定的監(jiān)控類圖像。對于使用視頻的工作人員而言,背景圖像對于使用者的作用很小。使用者所關(guān)心的圖像信息一般只存在于視頻圖像的某一部分區(qū)域,因此可以根據(jù)使用者的實際需求,針對重點監(jiān)控的區(qū)域增加碼率分配,減小關(guān)鍵區(qū)域的誤碼擴(kuò)散,從而提升圖像的可用性。
一般而言,海上柵格化信息網(wǎng)絡(luò)中的視頻監(jiān)控點往往固定,因此可以通過人為設(shè)置重點區(qū)域的方式確定畫面的關(guān)鍵區(qū)域。如果想要得到更為精確的劃分,也可以通過關(guān)注度自動提?。?]等方法預(yù)先提取出人眼視覺所關(guān)注的區(qū)域,再通過人工判別的方法標(biāo)注出重點監(jiān)控區(qū)域。
在獲取的監(jiān)控畫面的重點區(qū)域之后,本文根據(jù)宏塊的重要程度來調(diào)整宏塊的量化系數(shù)和率失真函數(shù)的斜率。如圖3所示,本文首先根據(jù)圖像塊對工作人員的效用,將宏塊劃分成四種類型,其中灰色宏塊為背景區(qū)域的宏塊,藍(lán)色區(qū)域的宏塊為過渡帶宏塊,紅色區(qū)域的宏觀為普通感興趣區(qū)域宏塊,而白色宏塊代表邊緣感興趣區(qū)域宏塊。其中,感興趣區(qū)域中的邊緣宏塊對于描述物體輪廓進(jìn)而認(rèn)知物體起到核心作用,因此對此類宏塊應(yīng)該分配較多的編碼碼率,而背景區(qū)域則可以分配較少的編碼碼率。
圖3 感興趣區(qū)域量化系數(shù)設(shè)置示意圖
首先,本文根據(jù)宏塊的類型來調(diào)整其量化系數(shù)。假設(shè)背景區(qū)域的量化值為QP1,重點區(qū)域的量化初始值為QP2,紅色宏塊的量化值為QP3,白色宏塊的量化值為QP4,過渡帶的量化值分別為Qi(圖中,i=1,2,藍(lán)色區(qū)域)。首先過渡帶的量化系數(shù)值為
其中,DISi為過渡帶宏塊到重點區(qū)域邊界的最短距離,width為過渡帶的寬度。白色宏塊的量化系數(shù)為QP4=QP2,紅色宏塊的量化系數(shù)為QP4=(QP3+max{Qi})/2。
同時,本文還調(diào)整了重點區(qū)域的λ1值和背景區(qū)域的λ1值,讓重點區(qū)域的宏塊以更精細(xì)的編碼模式編碼。而背景區(qū)域使用大的λ1值,降低編碼碼率。具體而言,λ1縮放權(quán)重的取值范圍是[0.5,2]。
最后,對于重點區(qū)域中的宏塊,所有的DCT 系數(shù)都會被如實編碼,而背景區(qū)域的宏塊會將一部分DCT 系數(shù)置成0,再進(jìn)行編碼,從而進(jìn)一步降低編碼碼率。
本文在H.264的參考代碼平臺上進(jìn)行了實驗,測試序列為:通用測試序列中的Hall、Foreman、Claire和Carphone,以 及AVS[7]中的監(jiān)控測試序列中的Subway,Crosss_street,Night_static,Substation。其測試的條件設(shè)置如表1所示。
表1 仿真實驗編碼器設(shè)置
部分的實驗結(jié)果如圖4~圖6所示:上面是整幀RD 性能曲線圖,而下面是重點區(qū)域的RD 曲線圖。
圖4 Subway整幀RD 性能曲線和重點區(qū)域RD 性能曲線
圖5 Night_static整幀RD 性能曲線和重點區(qū)域RD 性能曲線
圖6 foreman整幀RD 性能曲線和重點區(qū)域RD 性能曲線
從實驗結(jié)果中可以得到以下結(jié)論:大部分序列可以做到在有效碼率內(nèi)(一般小于2M)改善重點區(qū)域的編碼質(zhì)量。與H.264 參考模型的編碼器相比,在相同碼率下,重點區(qū)域的客觀編碼質(zhì)量提升了0.5dB~1dB;與此同時,整幀平均的PSNR 值不下降或者略微下降(一般小于0.1dB)。同時,重點區(qū)域質(zhì)量提升的效果和重點區(qū)域的大小相關(guān),重點區(qū)域劃分得越精確,則重點區(qū)域編碼質(zhì)量提升的效果越好。
與此同時,我們還模擬了無線環(huán)境下的傳輸丟包,并比較本方法和H.264 的解碼圖像。本文利用VCEG 中的無線傳輸參考模型MobileIP[8]進(jìn)行丟包仿真,然后將接收到的錯誤的JM 碼流進(jìn)行解碼。如圖7所示,左側(cè)圖像為H.264的解碼圖像,右側(cè)圖像為本方法的解碼圖像??梢钥吹奖痉椒ǖ恼`碼擴(kuò)散所帶來的視覺誤差更小。
圖7 Claire無線信道的主觀對比圖
最后需要指出的是,本方法并未增加編碼環(huán)節(jié),時間復(fù)雜度并未增加。同時,因為要存儲宏塊的類型,需要增加一定的內(nèi)存開銷。
針對海上柵格化信息網(wǎng)絡(luò)中窄帶無線通信系統(tǒng)如何提高視頻圖像傳輸質(zhì)量的問題,本文針對海上柵格化信息網(wǎng)絡(luò)視頻應(yīng)用的特點,根據(jù)宏塊的重要程度來調(diào)整宏塊的量化系數(shù)和率失真函數(shù)的斜率,進(jìn)而有效地提升了海上柵格化信息網(wǎng)絡(luò)視頻業(yè)務(wù)中關(guān)鍵區(qū)域的編碼質(zhì)量。仿真實驗的結(jié)果表明,本方法與H.264參考模型的編碼器相比,在碼率相同和整幀PSNR 相同的條件下,重點區(qū)域的客觀編碼質(zhì)量提升了0.5dB~1dB。同時,對于信道丟包誤碼,本方法具有更好的抗誤差擴(kuò)散的能力。
[1]ISO/IEC JTC1/SC29/WG11 N4668:Overview of the MPEG-4Standard[S].2002.
[2]畢厚杰.新一代視頻壓縮標(biāo)準(zhǔn)-H.264[M].北京:人民郵電出版社,2005.
[3]S.K.Bandyopadhyay,Z.Wu,P.Pandit,et al.Frame loss error concealment for H.264/AVC[R].Joint Video Team(JVT)of ISO/IEC MPEG and ITUT VCEG,JVT-P072,2005.
[4]S.Belfiore,M.Grangetto,E.Magli.Concealment of whole-frame losses for wireless low bit-rate video based on multiframe optical flow estimation[J].IEEE Transactions on Multimedia,2005,7(2):316-329.
[5]Thomas Stockhammer,Miska M.Hannuksela,Thomas Wiegand.H.264/AVC in Wireless Environments[J].IEEE Trans.Circuits Syst.Video Technol.,2003,13(7):657-673.
[6]L.Itti.Automatic Foveation for Video Compression using A Neurobiological Model of Visual Attention[J].IEEE Transactions on Image Processing,2004,13(10):1304-1318.
[7]中國國家標(biāo)準(zhǔn)GB/T20090.2.-201X 信息技術(shù)-先進(jìn)音視頻編碼 第2部分:視頻(第二次修訂版)[S].2012.
[8]Viktor Varsa,Marta Karczewicz.Common Test Conditions for RTP/IP over 3GPP/3GPP2,VCEG-N80[C]//VCEG Fourteenth Meeting,Santa Barbara,CA,USA,2001.