自適應(yīng)動態(tài)網(wǎng)絡(luò)的流媒體傳輸策略

洪煌輝，袁清珂

(廣東工業(yè)大學(xué) 機(jī)電工程學(xué)院，廣東 廣州 510006)

0 引 言

隨著流媒體技術(shù)的飛速發(fā)展，流媒體數(shù)據(jù)量的不斷增大使得傳統(tǒng)的基于RTP/RTSP的流媒體技術(shù)不能滿足高質(zhì)量的流媒體需求[1]，導(dǎo)致影響用戶觀看體驗，并制約多媒體技術(shù)進(jìn)一步的發(fā)展[2]。許多文獻(xiàn)提出數(shù)據(jù)傳輸應(yīng)具有動態(tài)網(wǎng)絡(luò)的自適應(yīng)性。其中包括根據(jù)當(dāng)前的網(wǎng)絡(luò)情況(例如可用帶寬)動態(tài)地調(diào)整視頻碼率，從而生成合適于當(dāng)前網(wǎng)絡(luò)的視頻流[3,4]。采用探測的方式，判斷吞吐量或網(wǎng)絡(luò)帶寬等情況來調(diào)整碼率，以生成合適的視頻流[5-7]。文獻(xiàn)[8]通過計算當(dāng)前吞吐量，從而決策是否調(diào)節(jié)視頻碼率。文獻(xiàn)[9]介紹了一種采用“探測”的方法估算實時帶寬，但該算法需要發(fā)送大量的探測數(shù)據(jù)包，在網(wǎng)絡(luò)擁塞時會進(jìn)一步加重網(wǎng)絡(luò)的負(fù)載。因此，以上方法仍然存在一定程度的缺陷，還不能直接應(yīng)用于實際。本文將立足于已有的視頻網(wǎng)絡(luò)傳輸控制方法，并根據(jù)上述所提及的問題，提出一種自適應(yīng)網(wǎng)絡(luò)帶寬的H.264碼率控制策略。建立帶寬預(yù)測模型檢測網(wǎng)絡(luò)情況，再評價源端的視頻傳輸質(zhì)量，自適應(yīng)地調(diào)整量化參數(shù)和最高碼率值。該算法可以解決傳統(tǒng)碼率控制算法的缺陷，精確檢測網(wǎng)絡(luò)情況，提高視頻傳輸質(zhì)量，碼率控制誤差更小。

1 可用帶寬預(yù)測算法

1.1 帶寬預(yù)測技術(shù)

目前，帶寬測量技術(shù)根據(jù)是否發(fā)送探測包可分為被動測量技術(shù)和主動測量技術(shù)。被動測量技術(shù)通過結(jié)合軟件和硬件監(jiān)聽網(wǎng)絡(luò)分組流來推測網(wǎng)絡(luò)帶寬。因存在需要額外的專用設(shè)備、權(quán)限以及成本的限制，使其難以簡單方便地應(yīng)用于實際。主動測量則是通過發(fā)送網(wǎng)絡(luò)探測包并根據(jù)包中所攜帶的信息來計算網(wǎng)絡(luò)帶寬。較為成熟的測量機(jī)制分為基于速率模型和基于報文間隔模型。

上述的測量機(jī)制都可以得到網(wǎng)絡(luò)中的可用帶寬，但它們都是通過在網(wǎng)絡(luò)中不斷地發(fā)送測量數(shù)據(jù)包，這無疑是增加了網(wǎng)絡(luò)的負(fù)載，特別是在網(wǎng)絡(luò)擁塞的情況下使得擁塞更加嚴(yán)重。而且測量過程需要一定的時間作為代價，故不適合實時性要求較高的場合。針對上述的缺點，參考文獻(xiàn)[10]中提到的帶寬預(yù)測算法，此算法在網(wǎng)絡(luò)擁塞的時候仍存在不足，在計算上一個時刻的可用帶寬時存在滯后性，所以會導(dǎo)致下一個時刻的預(yù)測帶寬范圍也有一定程度的延時，故不能直接應(yīng)用于實際。本文將在此算法的基礎(chǔ)上做進(jìn)一步的優(yōu)化，使其適用于H.264編碼技術(shù)且有效地應(yīng)用于實際。即在不影響數(shù)據(jù)傳輸?shù)那闆r下測量上一個時刻的網(wǎng)絡(luò)可用帶寬，并且構(gòu)建基于高斯分布的預(yù)測算法，預(yù)測下一個時刻的網(wǎng)絡(luò)可用帶寬。

1.1.1 前一刻可用帶寬

發(fā)送端對視頻幀進(jìn)行數(shù)據(jù)封裝后作為計算可用帶寬的“標(biāo)記幀”，并設(shè)置超時計時器。在不影響網(wǎng)絡(luò)負(fù)載的情況下，統(tǒng)計接收端接收若干個“標(biāo)記幀”所需的時間，計算出這時間段的可用帶寬，具體過程如下：

(1)初始化超時計時器。

(2)對一組視頻幀進(jìn)行標(biāo)記，并發(fā)送。

(3)當(dāng)發(fā)送第一個“標(biāo)記幀”時，啟動計時器，并繼續(xù)視頻幀的發(fā)送。

(4)在預(yù)定時間T內(nèi)，若收到接收端發(fā)來的接收時間信息，則復(fù)位計時器，并在下一次發(fā)送第一個“標(biāo)記幀”時啟動；若在時間T內(nèi)未收到可用帶寬的回復(fù)包，則做超時計數(shù)，并復(fù)位超時計時器，返回步驟(2)。

(5)接收端接收到視頻幀后，首先對標(biāo)志位進(jìn)行判斷，記錄有標(biāo)記的視頻幀的數(shù)據(jù)大小。

(6)若視頻幀沒有開始標(biāo)志位，則無需動作，繼續(xù)執(zhí)行步驟(5)；否則，若出現(xiàn)開始標(biāo)志位，則記錄起始時間為time_start并記錄接收到當(dāng)前視頻幀的數(shù)據(jù)大小size1，并繼續(xù)執(zhí)行步驟(5)。直至接收到結(jié)束標(biāo)志的視頻幀時，記錄結(jié)束時間為time_stop，并記錄數(shù)據(jù)大小為sizen。計算接收這組幀的時間間隔

time_gop=time_stop-time_start

(1)

根據(jù)記錄的每個視頻幀的大小，有

size=size1+size2+…+sizei+…+sizen

(2)

根據(jù)式(1)和式(2)，有

Bti=size/time_gop

(3)

式中：Bti則為可用帶寬的數(shù)值。

(7)接收端將計算出來的可用帶寬值發(fā)送至發(fā)送端。

1.1.2 預(yù)測帶寬

為了檢驗網(wǎng)絡(luò)的可用帶寬確實服從正態(tài)分布，本文通過利用Python語言及其相應(yīng)的庫，結(jié)合反復(fù)取樣的可用帶寬值，對可用帶寬的正態(tài)性進(jìn)行檢驗，得出網(wǎng)絡(luò)的可用帶寬近似服從一個數(shù)學(xué)期望為μ、標(biāo)準(zhǔn)方差為σ2的正態(tài)分布，記為X～N(μ,σ2)。其概率密度函數(shù)如式(4)所示

(4)

通過k次前一刻可用帶寬的計算，得到k個可用帶寬值(Bt1、Bt2、……、Btk)，并利用可用帶寬具有正態(tài)分布的特性，推算出數(shù)學(xué)期望和標(biāo)準(zhǔn)方差，將其帶入式(4)中，即可得到一個關(guān)于可用帶寬的概率密度函數(shù)，并得可用帶寬的預(yù)測區(qū)間分布概率，見表1。

表1 不同區(qū)間的分布概率

1.2 下一刻帶寬預(yù)測區(qū)間

首先計算前N個時段的網(wǎng)絡(luò)帶寬作為參考值，獲得正態(tài)分布的參數(shù)μ和σ，從而獲得帶寬的概率密度函數(shù)。然后按實際需求確定帶寬可能出現(xiàn)的范圍，如當(dāng)帶寬區(qū)間為(μk-2.58σk,μk+2.58σk)時，其出現(xiàn)的概率為99%。之后每獲取一次網(wǎng)絡(luò)帶寬值則更新一次密度函數(shù)的μ和σ值，但考慮到網(wǎng)絡(luò)的突變等特性，所以需加入一些限制條件。具體過程如圖1所示。

圖1 預(yù)測可用帶寬流程

從流程圖可知，在具有N個帶寬值的前提下，計算出概率密度函數(shù)并獲得預(yù)測區(qū)間。每次計算網(wǎng)絡(luò)帶寬都會與前一次的預(yù)測范圍做對比。若如果連續(xù)超過D次帶寬值在預(yù)測范圍之外，則將N個參考值歸零，并重新計算N個帶寬值；否則，將用該帶寬值更新原有的參數(shù)μ和σ。

2 自適應(yīng)帶寬的碼率控制策略

根據(jù)上述的帶寬概率密度函數(shù)，本文提出一種按需計算可用帶寬區(qū)間且加入源端實際幀率作為補償因子的幀層碼率控制算法。通過補償因子的引入，可有效地避免了碼率切換太頻繁或因臨界點的問題導(dǎo)致錯誤切換的問題。

2.1 源端實際幀率評價

TCP是一種面向連接的、可靠的、字節(jié)流的傳輸協(xié)議，許多視頻傳輸?shù)膽?yīng)用傳輸協(xié)議都是基于TCP協(xié)議，如HTTP協(xié)議。在傳輸層中存在發(fā)送和接收緩沖區(qū)，應(yīng)用層使用套接字接口時，把數(shù)據(jù)放入傳輸層相應(yīng)的緩沖區(qū)中，而如何發(fā)送和接收則取決于協(xié)議的傳輸算法。本文在源端以阻塞方式使用套接字，在網(wǎng)絡(luò)良好且接收端應(yīng)用層處理接收緩存的速度足夠快的時候，源端基本能按照默認(rèn)的幀率進(jìn)行視頻流的傳輸。但在網(wǎng)絡(luò)擁塞時，由于發(fā)送緩沖的數(shù)據(jù)未能及時發(fā)送到接收端，緩沖區(qū)剩余的長度不足夠存放新的數(shù)據(jù)，從而導(dǎo)致源端阻塞等待直至緩沖區(qū)剩余的大小大于需要存放的數(shù)據(jù)大小。所以在網(wǎng)絡(luò)不良時，源端發(fā)送視頻幀的速率(文后或稱其為實際幀率)會減小。通過計算默認(rèn)幀率與實際幀率的差值，可以反映出當(dāng)前網(wǎng)絡(luò)環(huán)境的狀態(tài)。

設(shè)在某段時間S秒內(nèi)，源端發(fā)送了X幀的視頻數(shù)據(jù)，則在S秒內(nèi)的平均發(fā)送視頻幀的速率Y為

Y=X/S

(5)

設(shè)默認(rèn)幀率為Z，則默認(rèn)幀率和實際幀率的差值為

DIF=Z-Y

(6)

2.2 自適應(yīng)帶寬的碼率控制策略

本文提出的碼率控制策略引入了默認(rèn)幀率和實際幀率之間的差值與預(yù)測的可用帶寬區(qū)間這兩個因子，通過對這兩個因子的限制，對幀層獲得的QP值與最高碼率值進(jìn)行再次調(diào)整，達(dá)到控制碼率的作用，以獲得適合當(dāng)前網(wǎng)絡(luò)環(huán)境的碼率。

具體的控制策略闡述如下：若連續(xù)出現(xiàn)P次默認(rèn)幀率和實際幀率之間的差值大于M值(M值為判斷視頻流暢度的一個閾值)與當(dāng)前實際碼率大于預(yù)測區(qū)間的中間值band_mid，則表明每秒發(fā)送的幀數(shù)過少且網(wǎng)絡(luò)帶寬不足，接收端未能取到足夠的視頻幀進(jìn)行播放。此時上調(diào)當(dāng)前幀的QP值和限制最高碼率值以減少輸出碼率的大小。當(dāng)默認(rèn)幀率與實際幀率的差值不大于M值，此時進(jìn)入?yún)^(qū)間判斷的過程。若當(dāng)前碼率處于預(yù)測區(qū)間范圍內(nèi)時，表明當(dāng)前碼率可以適用于當(dāng)前可用帶寬且實際幀率足以讓接收端流暢播放視頻，故不進(jìn)行碼率調(diào)整。若當(dāng)前碼率小于預(yù)測區(qū)間的左邊界并且默認(rèn)幀率與實際幀率的差值不大于M值，表明有足夠的可用帶寬，此時下調(diào)當(dāng)前幀的QP值和增加最高碼率值以增加輸出碼率的大小，使得視頻播放質(zhì)量更好。

碼率控制策略的實現(xiàn)過程如下：

(1)通過上述預(yù)測可用帶寬的算法，可獲得下一個時刻可用帶寬的預(yù)測區(qū)間[band_left,band_right]。并且根據(jù)已編碼的視頻幀，得到一個有關(guān)當(dāng)前幀的輸出碼率real_bit，從而可計算當(dāng)前碼率處于預(yù)測區(qū)間的位置。

(2)通過源端實際幀率計算方法，獲得當(dāng)前實際的幀率real_FPS。再通過獲得默認(rèn)的幀率def_FPS，并計算出默認(rèn)幀率和當(dāng)前實際幀率的差值diff_FPS。且碼率調(diào)整的具體流程如圖2所示。

3 實驗結(jié)果及分析

3.1 實驗方案

測試環(huán)境的總體方案如圖3所示，圖中的網(wǎng)絡(luò)攝像機(jī)(IP Camera)采用的是華為海思的系統(tǒng)級芯片Hi3518V200，其集成了新一代的H.264編碼器，并且可通過有線或無線網(wǎng)絡(luò)進(jìn)行視頻幀的傳輸。一臺PC通過4G無線路由器接入中國聯(lián)通無線網(wǎng)絡(luò)從而接入Internet；IPC則通過有線接入本地局域網(wǎng)并將其IP映射到外網(wǎng)，從而接入Internet，并把視頻數(shù)據(jù)傳輸?shù)骄哂?G網(wǎng)絡(luò)的PC上進(jìn)行播放。

首先IPC的VENC模塊從外存中讀取原始圖像后，運行本文所提出的碼率控制策略。根據(jù)計算的結(jié)果，使用碼率控制器對編碼參數(shù)進(jìn)行調(diào)整，再經(jīng)過編碼器(Encoder)進(jìn)行H.264編碼處理，并把編碼后的視頻幀通過網(wǎng)絡(luò)傳輸?shù)絇C端。測試時，使用另一臺PC接入IPC所在的局域網(wǎng)，并通過掛載網(wǎng)絡(luò)文件系統(tǒng)(NFS)的方式獲得所需的測試數(shù)據(jù)，并將其繪制成圖表。兩臺IPC設(shè)置相同的編碼參數(shù)，如表2所示列舉了幾個重要的編碼參數(shù)。

3.2 對比分析

在傳統(tǒng)的根據(jù)帶寬情況調(diào)整碼率的視頻傳輸控制策略中，大多通過探測的方式獲取當(dāng)前帶寬情況，再根據(jù)探測情況來調(diào)整碼率[3]。當(dāng)帶寬充足時，提高視頻碼率；當(dāng)帶寬不足時，則減小視頻碼率。因有不同的方式調(diào)整視頻碼率，為了更準(zhǔn)確地測試出二者的區(qū)別，本文統(tǒng)一采用調(diào)整QP值的方式調(diào)整碼率。同時，為了便于觀察碼率切換的情況，設(shè)置15個切換等級，每個等級對應(yīng)一個QP值和對應(yīng)一個最高碼率值，如初始等級為0對應(yīng)的初始QP值為22以及最高碼率值為2048，等級為1對應(yīng)的QP值為23和最高碼率值為1800，以此類推。

實驗時，將兩臺用做對比的IPC盡量朝向同一區(qū)域(區(qū)域內(nèi)放置一個勻速擺動的搖擺器)，并盡可能設(shè)置在相同的網(wǎng)絡(luò)環(huán)境中。同時，利用軟件對兩臺IPC實施網(wǎng)絡(luò)限速，使得視頻發(fā)送的帶寬發(fā)生變化。經(jīng)多次重復(fù)測試的結(jié)果表明，兩臺IPC在網(wǎng)絡(luò)帶寬充足的情況下，沒有明顯的區(qū)別；但在網(wǎng)絡(luò)情況一般和較差的情況下，使用本文算法的IPC所傳輸?shù)絇C中顯示的播放畫面流暢度具有明顯的優(yōu)勢。以下通過限制網(wǎng)速的方式，使得碼率出現(xiàn)的上調(diào)、下降和不變的情況，從而獲得需要對比的數(shù)據(jù)。

3.2.1 向上切換

首先各分配相同且足夠的帶寬給兩臺IPC，使其可以平穩(wěn)地進(jìn)行數(shù)據(jù)傳輸。然后降低相同大小的網(wǎng)絡(luò)帶寬，使其不能滿足當(dāng)前的視頻碼率，從而發(fā)生碼率下降。如圖4所示為兩種方法對帶寬減少的處理過程，在t1時刻降低網(wǎng)絡(luò)帶寬時，本文方法判斷默認(rèn)幀率與當(dāng)前幀率之差大于M，并且碼率值大于預(yù)測區(qū)間的中間值，所以下降一級碼率。在下降后又經(jīng)判斷，差值仍然過大且碼率值大于預(yù)測區(qū)間，故繼續(xù)下降一級碼率，在t5時刻停在i2處，碼率基本滿足當(dāng)前網(wǎng)絡(luò)帶寬情況。而在采用傳統(tǒng)方法時，t2時刻檢測到當(dāng)前的帶寬下降后，進(jìn)行碼率的下降。但在t3時刻時，出現(xiàn)切換等級下降然后在t4時刻又繼續(xù)上升的現(xiàn)象，最后在t6時刻停留在i1,并且比本文方法增加了約39.8%的切換時間，而且播放畫面有一定程度的卡頓現(xiàn)象。在多次測試的過程中，還會出現(xiàn)另一種現(xiàn)象：兩種方法經(jīng)過碼率調(diào)整后都可以流暢播放，但此時傳統(tǒng)方法的碼率值低于本文方法的碼率值，造成帶寬的浪費。

3.2.2 向下切換

使兩臺IPC處于較低的帶寬環(huán)境并調(diào)試至其都在同一個切換等級且能穩(wěn)定傳輸時，上升相同大小的帶寬值，使得視頻傳輸可用的帶寬變大。如圖5所示，本文方法從t1時刻至t3時刻快速流暢的切換至合適當(dāng)前帶寬的碼率值。而傳統(tǒng)方式的切換在t2時刻依然出現(xiàn)來回切換的問題，并且最后穩(wěn)定在i1上。

3.2.3 碼率變化情況及分析

圖4 向上切換的等級與幀率差值比較

圖5 向下切換的等級與幀率差值比較

在幾個不同時刻同時增加或減少兩臺IPC的網(wǎng)絡(luò)帶寬，觀察其碼率變化并將具體的碼率值繪制曲線圖，如圖6所示。在t1和t2時刻左右同時下降同樣數(shù)值的帶寬，并在15 s和45 s左右同時上升同樣數(shù)值的帶寬。通過觀察可得，本文方法快速流暢地下降或上升到合適當(dāng)前帶寬的碼率值，帶寬利用率提高約22.7%，并且能進(jìn)行流暢的數(shù)據(jù)傳輸；而傳統(tǒng)的方法則在下降和上升帶寬的時間間隔里還未完成合適的碼率切換，并且在切換中碼率出現(xiàn)了來回切換的現(xiàn)象。

通過上述測試情景的比較分析，本文方法在相似網(wǎng)絡(luò)環(huán)境、相同時間內(nèi)，不僅能快速流暢地將碼率切換至合適當(dāng)前帶寬的數(shù)值而且能充分利用當(dāng)前可用帶寬，并且實際幀率變化小，視頻播放流暢。

4 結(jié)束語

本文提出了一種基于預(yù)測可用網(wǎng)絡(luò)帶寬的自適應(yīng)流媒體傳輸策略，在不增加網(wǎng)絡(luò)負(fù)載的前提下準(zhǔn)確地計算出下一個時刻可用帶寬的范圍，并計算默認(rèn)幀率與實際幀率之間的差值來反應(yīng)目前視頻幀的傳輸情況。通過這兩個因子設(shè)計出碼率調(diào)整策略,從而判斷何時需要上調(diào)或下調(diào)視頻碼率，最終實現(xiàn)視頻碼率隨網(wǎng)絡(luò)帶寬的波動而自適應(yīng)地進(jìn)行調(diào)整。實驗結(jié)果表明,該控制策略能充分地利用當(dāng)前的網(wǎng)絡(luò)帶寬，在保證視頻傳輸流暢性基礎(chǔ)上，提供更加清晰的播放效果。