基于TCP友好速率控制和錯(cuò)誤隱藏的H.264視頻傳輸

張海朝， 潘永輝， 王亞濤

(河南科技大學(xué) 電子信息工程學(xué)院，河南 洛陽(yáng) 471003）

0 引言

隨著Internet的迅速發(fā)展和網(wǎng)絡(luò)帶寬的不斷提高,基于網(wǎng)絡(luò)的實(shí)時(shí)視頻應(yīng)用越來(lái)越多。如何保證傳輸質(zhì)量是一個(gè)很關(guān)鍵的問(wèn)題。當(dāng)把視頻放到網(wǎng)絡(luò)上傳輸時(shí)，它主要包括了編碼、傳輸、解碼三部分。只有綜合考慮這三部分，才能保證視頻應(yīng)用的質(zhì)量。目前的圖像壓縮標(biāo)準(zhǔn)中，H.264是最新發(fā)布的視頻壓縮標(biāo)準(zhǔn),它有著更高的壓縮比，并且具有與編碼層相對(duì)獨(dú)立的NAL(網(wǎng)絡(luò)層)，使得H.264具有良好的網(wǎng)絡(luò)“友好性”，能適應(yīng)各種網(wǎng)絡(luò)的傳輸。但目前視頻網(wǎng)絡(luò)傳輸常采用UDP傳輸協(xié)議,而UDP協(xié)議缺乏端到端的擁塞控制機(jī)制。為了能和TCP數(shù)據(jù)流公平地競(jìng)爭(zhēng)帶寬,避免引起長(zhǎng)時(shí)間的、嚴(yán)重的網(wǎng)絡(luò)擁塞,視頻流應(yīng)該不僅具有TCP友好性,而且擁有平滑的傳輸速率[1-2]。但是在盡力而為的網(wǎng)絡(luò)中,丟包能夠顯著地降低視頻的回放質(zhì)量。因此,視頻傳輸還應(yīng)該對(duì)丟包問(wèn)題做出處理。因此,本文以H.264視頻為研究對(duì)象,結(jié)合TCP友好速率控制算法和差錯(cuò)控制機(jī)制建立提出了一個(gè)集成擁塞控制的端到端視頻傳輸框架,經(jīng)實(shí)驗(yàn)證明,該框架在不同的網(wǎng)絡(luò)狀況下,均能收到較好的效果。

1 視頻傳輸框架

由于H.264壓縮編碼算法使用運(yùn)動(dòng)估值和運(yùn)動(dòng)補(bǔ)償技術(shù),一旦有分組丟失存在,不僅影響當(dāng)前解碼圖像,而且會(huì)影響后續(xù)解碼圖像,即誤碼擴(kuò)散,而時(shí)延和時(shí)延抖動(dòng)對(duì)實(shí)時(shí)視頻通信的恢復(fù)圖像質(zhì)量也會(huì)造成影響。實(shí)際上,在傳輸系統(tǒng)中,若將一個(gè)端到端傳輸系統(tǒng)作為整體來(lái)考察，由各個(gè)部分共同對(duì)抗網(wǎng)絡(luò)傳輸差錯(cuò),以合理地滿足用戶對(duì)于視覺(jué)質(zhì)量、實(shí)時(shí)性等各個(gè)不同方面的QoS要求。因此,本文在結(jié)合了容錯(cuò)編碼、打包策略、擁塞控制、差錯(cuò)掩蓋等算法的基礎(chǔ)上,提出了如圖1所示的端到端視頻傳輸框架結(jié)構(gòu)。

圖1 端到端視頻傳輸框架

1.1 容錯(cuò)編碼及錯(cuò)誤掩蓋算法

由于H.264協(xié)議充分考慮了IP網(wǎng)絡(luò)的特性,并在視頻編碼層和網(wǎng)絡(luò)提取層中提供了多種容錯(cuò)工具,以適應(yīng)IP網(wǎng)絡(luò)盡力而為的特點(diǎn),因此可減輕諸如帶寬波動(dòng)、延時(shí)、丟包所帶來(lái)的不良影響[3]。為了抑制空間錯(cuò)誤蔓延,一幀圖像被Slice工具將分割成局部的獨(dú)立編碼單元。同時(shí),任意宏塊順序的引入可以使解碼端以更高概率得到丟失區(qū)域周圍的正確信息,這將有助于解碼端的錯(cuò)誤掩蓋算法的應(yīng)用,因此可將一部分對(duì)抗傳輸差錯(cuò)的任務(wù)分至編、解碼端，而無(wú)需加以各類增加時(shí)延的強(qiáng)保護(hù)信道碼算法。

在解碼端,提出了一種基于緊鄰幀參考的加權(quán)邊界匹配算法來(lái)進(jìn)行錯(cuò)誤隱藏，本算法的前提是假設(shè)視頻圖像壓縮只采用前向運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)技術(shù)，即只有I幀和P幀，每個(gè)宏塊只有一個(gè)運(yùn)動(dòng)矢量，在此條件下，運(yùn)用改進(jìn)后的算法對(duì)運(yùn)動(dòng)矢量做進(jìn)一步優(yōu)化，從而實(shí)現(xiàn)對(duì)錯(cuò)誤塊的隱藏，有效改善了傳統(tǒng)邊界匹配算法在物體邊緣處由于DCT系數(shù)劇烈變化而產(chǎn)生較大匹配誤差的缺陷[4]。算法主要分為兩個(gè)步驟，當(dāng)發(fā)現(xiàn)某一宏塊發(fā)生錯(cuò)誤時(shí)，首先確定候選運(yùn)動(dòng)矢量集，根據(jù)改進(jìn)的邊界匹配原則得到最佳運(yùn)動(dòng)矢量，從而確定邊緣變化最小的宏塊。將該方法推廣到緊鄰幀參考環(huán)境下，可得到多個(gè)候選宏塊，對(duì)所有候選宏塊進(jìn)行加權(quán)平均，將得到的宏塊替代受損的宏塊.在本文中，設(shè)第n幀某宏塊受損， fn表示第n幀，表示預(yù)測(cè)幀， Mn(x, y)表示當(dāng)前受損宏塊，(x, y)表示該宏塊在當(dāng)前 fn中的位置，宏塊Mn運(yùn)動(dòng)矢量為 DMn(x, y)，CMn(x, y)表示候選運(yùn)動(dòng)矢量集，則邊界匹配最佳運(yùn)動(dòng)矢量，即最小SAD的運(yùn)動(dòng)矢量為：

其中，Du、Dd、Dd、Dr分別代表與上邊、下邊、左邊、右邊的相鄰宏塊的像素差值的平方和，其計(jì)算方式如下:

而ωu、ωd、ωl、ωr為分別表示當(dāng)前受損宏塊與鄰域宏塊各邊界匹配誤差的權(quán)重，其取值方法如下:

其中，D()表示統(tǒng)計(jì)方差，COV(.)表示協(xié)方差。

在連續(xù)宏塊丟失的情況下，受損塊的空間相鄰宏塊也將受到影響，不能提供可靠的運(yùn)動(dòng)矢量。這時(shí)在緊鄰幀參考環(huán)境下，參考幀中預(yù)測(cè)矢量的引入，對(duì)丟失運(yùn)動(dòng)矢量的正確恢復(fù)有著重要的意義。

1.2 打包策略

H.264的編碼結(jié)構(gòu)在算法概念上分為兩層:視頻編碼層(VCL)和網(wǎng)絡(luò)適配層(NAL)，VCL提供高效率的視頻壓縮功能;NAL負(fù)責(zé)網(wǎng)絡(luò)的適配，及對(duì)不同的網(wǎng)絡(luò)要有不同的適應(yīng)能力，如以恰當(dāng)?shù)姆绞綄?duì)數(shù)據(jù)進(jìn)行打包的傳送，其碼流結(jié)構(gòu)對(duì)網(wǎng)絡(luò)適應(yīng)性強(qiáng)，增加了糾錯(cuò)能力，能夠很好地適應(yīng)IP網(wǎng)絡(luò)的應(yīng)用。H.264標(biāo)準(zhǔn)還加強(qiáng)了對(duì)誤碼和丟包的處理，提高了抗誤碼能力;對(duì)不同的業(yè)務(wù)靈活采取相應(yīng)的時(shí)延限制。由此可見(jiàn)，基于NAL的設(shè)計(jì)，H.264視頻非常適合在RTP/UDP/IP網(wǎng)絡(luò)上傳輸。NAL層對(duì)H.264進(jìn)行RTP的打包過(guò)程是比較簡(jiǎn)單的，它符合RFC1889中定義的通用規(guī)則。RTP凈荷包含NAL預(yù)備的編碼數(shù)據(jù)，對(duì)于RTP凈荷的頭部沒(méi)有作特殊的規(guī)定。H.264的RTP凈荷規(guī)則中的設(shè)計(jì)要求可以歸納如下:具有較低的開(kāi)銷。因此MTU的大小設(shè)計(jì)在100字節(jié)到64千字節(jié)為佳;無(wú)需解開(kāi)包中攜帶的比特流，就能區(qū)分該RTP包的重要性和次要性;凈荷規(guī)則在無(wú)需解開(kāi)比特流的情況下，就能夠檢測(cè)出由于誤碼所造成的解碼;能夠支持NAL單元重組，在一個(gè)RTP包中傳送多個(gè)NAL單元。通過(guò)NAL單元分割和NAL單元重組來(lái)實(shí)現(xiàn)H.264基于RTP的網(wǎng)絡(luò)傳輸。

2 TCP友好的速率控制機(jī)制

視頻傳輸中引入TCP友好速率控制機(jī)制的主要目的是和TCP數(shù)據(jù)流公平地競(jìng)爭(zhēng)帶寬.RFC3448中所給出的TFRC(TCP Friendly Rate Control)規(guī)定,在相同的網(wǎng)絡(luò)條件下,如果一個(gè)非TCP數(shù)據(jù)流的長(zhǎng)期吞吐量沒(méi)有超過(guò)同期TCP數(shù)據(jù)流的吞吐量,則可被認(rèn)為是TCP友好的。因此,速率控制機(jī)制中視頻流的發(fā)送速率的上限應(yīng)該是同期TCP數(shù)據(jù)流的發(fā)送速率,即可以使用TCP速率公式來(lái)計(jì)算TCP友好的視頻流的發(fā)送速率。TCP速率公式如下:式中,S是數(shù)據(jù)包的大小。計(jì)算發(fā)送速率X,需要知道數(shù)據(jù)包的往返時(shí)間R,TCP超時(shí)重傳時(shí)間t_RTO以及丟包事件率p。通過(guò)實(shí)驗(yàn)我們發(fā)現(xiàn)TFRC在調(diào)整視頻流的發(fā)送速率時(shí)波動(dòng)比較大，容易造成接收端在播放視頻時(shí)產(chǎn)生抖動(dòng)現(xiàn)象。為此我們提出一種改進(jìn)的TFRC機(jī)制--延遲預(yù)警算法[5]，通過(guò)在發(fā)送端增加一個(gè)延遲預(yù)警信號(hào)來(lái)感知網(wǎng)絡(luò)的延遲，然后在發(fā)送速率公式中增加一個(gè)平滑因子來(lái)平滑發(fā)送速率的波動(dòng)，通過(guò)仿真驗(yàn)證了所提出算法的有效性。

3 實(shí)驗(yàn)結(jié)果及分析

采用 H.264參考軟件 JM86實(shí)現(xiàn)算法，測(cè)試序列為Container和Foreman,采用FMO交織模式，測(cè)試幀為100幀，編碼模式IPPP，打包格式采取 RTP/IP/UDP，丟包位置隨機(jī)。IP信道誤碼測(cè)試根據(jù) ITU推薦的典型平均丟包率為 3%、5%、10%、20%的Error Pattem文件來(lái)模擬實(shí)現(xiàn)。由此得到的兩個(gè)視頻序列在時(shí)域直接替代法，邊界匹配算法以及本文算法這三種不同算法條件下的峰值信噪比。

在Container序列中，如圖2所示。

圖2 container重建峰值信噪比

隨著有視頻信號(hào)錯(cuò)誤率的增加，本文算法性能有提高但不是十分顯著，而且與時(shí)域直接替代算法以及邊界匹配算法的重建圖像峰值信噪比曲線基本重合，說(shuō)明對(duì)運(yùn)動(dòng)幅度很小的平移運(yùn)動(dòng)，三者性能基本相同。但是在視頻信號(hào)運(yùn)動(dòng)較大、背景變化和抖動(dòng)明顯的Foreman序列中，得到的重建圖像峰值信噪比高出很多，而且隨著錯(cuò)誤率的增加，本算法的性能優(yōu)勢(shì)越來(lái)越明顯，如圖3所示。這說(shuō)明本文的改進(jìn)算法不論在視頻信號(hào)運(yùn)動(dòng)幅度平緩還是劇烈的環(huán)境下，較之兩種傳統(tǒng)的差錯(cuò)掩蓋算法在性能上均有提高，尤其在視頻信號(hào)運(yùn)動(dòng)較大且信號(hào)錯(cuò)誤率較高的情況下性能優(yōu)勢(shì)更為明顯，能有效地抑制邊界視頻差錯(cuò)的擴(kuò)散，取得較好的差錯(cuò)隱藏效果。

圖3 foreman重建峰值信噪比

4 結(jié)語(yǔ)

針對(duì)目前視頻傳輸需求的日益增大以及帶寬資源不足的現(xiàn)狀,使得視頻壓縮流在丟包網(wǎng)絡(luò)中的傳輸問(wèn)題成為了當(dāng)前的研究熱點(diǎn)。本文通過(guò)整個(gè)端到端系統(tǒng)中,包括編碼器、擁塞控制以及解碼器錯(cuò)誤掩蓋等各個(gè)機(jī)制的協(xié)同合作,將抗差錯(cuò)傳輸?shù)娜蝿?wù)分至每一個(gè)步驟,大大提高了視頻傳輸?shù)聂敯粜浴?/p>

[1]Floyd S, Handley M, Padhye J, et al.RFC3448, Tcp Friendly Rate control[S].IETF,January 2003.http://www.ietf.org/rfc/rfc3448.txt.

[2]張軍勝,孫沛,萬(wàn)毅.一種抗抖動(dòng)的魯棒性速率自適應(yīng)算法[J].通信技術(shù)，2008,41(09):6-8.

[3]Wenger S.H.264/AVC Over IP[J].IEEE Transactions on Circuits and Systems for Video Technology,2000,13(07):645-656.

[4]李曉,劉立柱.MPEG-2視頻解碼器中的錯(cuò)誤隱藏方法研究[J].通信技術(shù)，2008，41(03):52-53.

[5]潘永輝,張海朝.延遲預(yù)警在TFRC擁塞控制中的應(yīng)用[J].計(jì)算機(jī)工程，2009，35(14):114-116.