基于時(shí)空預(yù)測(cè)模型的視頻碼率控制算法

李汶隆，劉念林，柳春青

（1.四川科瑞軟件有限責(zé)任公司，四川 成都 610041；2.四川湖山電器股份有限公司，四川 成都 610041）

0 引 言

在實(shí)際視頻應(yīng)用過(guò)程中，視頻需要在各種復(fù)雜條件下采集與傳輸，如無(wú)人機(jī)動(dòng)態(tài)視頻采集與無(wú)線傳輸。因此，針對(duì)視頻內(nèi)容變換頻繁的應(yīng)用場(chǎng)景，進(jìn)行低碼率或碼率波動(dòng)較小的的視頻流傳輸是當(dāng)前的研究熱點(diǎn)。在當(dāng)前主流視頻編碼過(guò)程中，編碼比特率主要由輸入的視頻內(nèi)容特性及編碼策略等因素共同決定。對(duì)于細(xì)節(jié)豐富、內(nèi)容跳變頻繁的視頻圖像，編碼所占用的比特?cái)?shù)就較多；對(duì)于視頻內(nèi)容單一、運(yùn)動(dòng)量不大的視頻圖像，編碼所占用的比特?cái)?shù)就較小。因此，當(dāng)前業(yè)內(nèi)研究熱點(diǎn)是：恒定碼率條件下，盡可能降低碼率波動(dòng)；可變碼率條件下，在保障圖像質(zhì)量的情況下，盡可能使編碼的碼率較低。

當(dāng)前主流視頻編碼算法主要通過(guò)視頻待處理單元的像素絕對(duì)誤差均值（以下簡(jiǎn)稱(chēng)MAD值）來(lái)表征待處理單元的“運(yùn)動(dòng)”劇烈程度，MAD值越大，表明當(dāng)前處理單元和前一幀圖像相比“運(yùn)動(dòng)”劇烈，則需要為當(dāng)前處理單元分配更多的編碼比特?cái)?shù)來(lái)表征細(xì)節(jié)，即為量化參數(shù)（以下簡(jiǎn)稱(chēng)QP）值要小；MAD值越小，表明當(dāng)前處理單元和前一幀相比，“運(yùn)動(dòng)”不劇烈，可以采用較大的QP值，用較少的編碼比特來(lái)表征細(xì)節(jié)。

從上述描述可以看出，MAD值和QP值關(guān)系到編碼比特?cái)?shù)的分配，與視頻圖像質(zhì)量和傳輸帶寬等指標(biāo)等息息相關(guān)。由于QP值將作為參數(shù)用于碼率控制與率失真優(yōu)化（Rate Distortion Optimation，RDO），其中，RDO的計(jì)算需要MAD值與QP值作為輸入?yún)?shù)，而視頻圖像幀的待處理單元的MAD需要通過(guò)RDO來(lái)計(jì)算。為了解決上述難題，傳統(tǒng)方法主要通過(guò)線性模型對(duì)即將處理的圖像單元的MAD進(jìn)行線性預(yù)測(cè)，預(yù)測(cè)出當(dāng)前待處理圖像單元的運(yùn)動(dòng)復(fù)雜度，之后通過(guò)二次RD模型計(jì)算得到QP值，從而為該圖像處理單元進(jìn)行編碼比特的分配。

1 相關(guān)研究

主流的視頻編碼處理都是在率失真理論指導(dǎo)下進(jìn)行視頻壓縮處理，即在特定的碼率下能達(dá)到的最小期望失真或者在一定的失真限制條件下，能夠用最小的碼率來(lái)盡可能多的信息表示。在率失真理論的支撐下，視頻編碼根據(jù)實(shí)際輸出碼流的特點(diǎn)，業(yè)內(nèi)碼率控制方法主要分為固定碼率控制方法（Constant Bit Rate，CBR）和變長(zhǎng)碼率控制方法（Variable Bit Rate，VBR）。

1.1 率失真理論

香農(nóng)于1948年在論文《通信的數(shù)學(xué)理論》中首次提到了信息率-失真函數(shù)的概念，證明了信息是可以被量化的，并闡述了如何在保證準(zhǔn)確率的前提下用數(shù)字編碼對(duì)信息進(jìn)行壓縮和傳輸。率失真理論正是在這一基礎(chǔ)上進(jìn)行理論定義：對(duì)于確定的信源和失真度量，在規(guī)定的碼率條件下，能夠使得失真度最??；或者在一定的失真限制情況下，使得碼率盡可能小。在視頻圖像處理領(lǐng)域，率失真理論是碼率控制算法的基礎(chǔ)，描述了編碼碼率與失真度之間的關(guān)系。

1.2 傳統(tǒng)的碼率控制算法

當(dāng)前主流視頻編碼標(biāo)準(zhǔn)僅對(duì)視頻壓縮的過(guò)程和碼流的比特代表的含義等有明確的要求。為了促進(jìn)視頻處理技術(shù)的發(fā)展，未對(duì)碼率控制方法進(jìn)行定義，在率失真理論的支撐下，讓各個(gè)機(jī)構(gòu)根據(jù)實(shí)際應(yīng)用場(chǎng)景的側(cè)重點(diǎn)進(jìn)行碼率控制的研制，這也促進(jìn)了視頻技術(shù)的大力發(fā)展。業(yè)內(nèi)比較經(jīng)典的碼率控制算法主要有應(yīng)用于H.261的RM8模型算法、應(yīng)用于MPEG2的TM5模型算法、應(yīng)用于MPEG-4的VM8模型算法以及應(yīng)用于H.263的TMN8模型算法。以上算法能夠較好地針對(duì)普通視頻應(yīng)用場(chǎng)景進(jìn)行碼率控制，但仍然存在應(yīng)用場(chǎng)景缺陷，主要表現(xiàn)如下。

（1）針對(duì)視頻內(nèi)容突變帶來(lái)的問(wèn)題沒(méi)有較好地解決。當(dāng)視頻內(nèi)容發(fā)生突變時(shí)，由于視頻幀間編碼采用前面參考幀進(jìn)行編碼壓縮，因此，在這種情況下，幀間編碼的參考幀與待編碼幀存在較大差異，由此計(jì)算出來(lái)的估計(jì)值不準(zhǔn)確。

（2）同一幀視頻圖像中，相鄰視頻圖像處理區(qū)域有明顯塊效應(yīng)。由于視頻編碼過(guò)程中，量化參數(shù)（QP）決定了視頻圖像的編碼質(zhì)量，但視頻幀中各個(gè)量化參數(shù)可能差異較大，從而造成同一幀視頻圖像在編碼后有方塊效應(yīng)，影響人眼視覺(jué)主觀感受。

1.3 本文碼率控制算法

H.261、AVS、H.264及H.265等國(guó)際國(guó)內(nèi)壓縮標(biāo)準(zhǔn)對(duì)視頻編碼最終形成的碼流信息語(yǔ)法結(jié)構(gòu)進(jìn)行了定義，對(duì)碼率控制采用的方式?jīng)]有做明確的限制，開(kāi)發(fā)人員可以結(jié)合各自行業(yè)特點(diǎn)，采用不同的編碼策略來(lái)滿足各自需求。隨著基于視頻應(yīng)用的行業(yè)的大力發(fā)展，視頻編碼過(guò)程中碼率控制算法在不斷地演進(jìn)與更新[3]。

1.3.1 基本思想

主流的碼率控制算法主要基于率失真理論，在失真與信息表示之間得到最優(yōu)解。通過(guò)對(duì)當(dāng)前待處理區(qū)域分配的比特?cái)?shù)及幀間像素絕對(duì)誤差均值進(jìn)行估計(jì)，基于線性算法模型，計(jì)算得到當(dāng)前待處理區(qū)域的量化參數(shù)QP值。該方法能較好地解決“蛋雞悖論”，但適應(yīng)場(chǎng)景有局限性，如已編碼幀與當(dāng)前幀視頻內(nèi)容差別較大的情況和視頻內(nèi)容中有劇烈運(yùn)動(dòng)的情況，就不能很好地預(yù)測(cè)出待處理區(qū)域的MAD值[4]。在實(shí)際視頻應(yīng)用場(chǎng)景中，視頻內(nèi)容劇烈變化的情況時(shí)有發(fā)生。因此，針對(duì)場(chǎng)景變換的視頻場(chǎng)景，如何準(zhǔn)確地進(jìn)行MAD值的預(yù)測(cè)至關(guān)重要。

1.3.2 算法建模

參考文獻(xiàn)[1]針對(duì)視頻圖像產(chǎn)生的白噪聲，通過(guò)MAD的方差來(lái)表征視頻圖像在時(shí)間通道中的內(nèi)容變化情況。本文針對(duì)視頻內(nèi)容的突變，在時(shí)空網(wǎng)絡(luò)場(chǎng)景中對(duì)視頻內(nèi)容的動(dòng)靜屬性相對(duì)關(guān)系進(jìn)行建模，得到視頻幀中在時(shí)空通道中的視頻變化因子表征值。主要過(guò)程如下。

（1）根據(jù)視頻序列在時(shí)空通道中的關(guān)系屬性，計(jì)算視頻運(yùn)動(dòng)屬性因子，并通過(guò)運(yùn)動(dòng)屬性因子來(lái)判斷視頻內(nèi)容是靜止還是運(yùn)動(dòng)。運(yùn)動(dòng)屬性因子的選擇直接影響到當(dāng)前待處理視頻序列在時(shí)空網(wǎng)絡(luò)中的收斂速度及效果，因此，選擇一種適合的方式是本文需要解決的關(guān)鍵問(wèn)題。

假設(shè)在一定時(shí)間區(qū)間內(nèi)，視頻采集鏡頭沒(méi)有發(fā)生角度變化且未引入噪聲，圖像間的差異主要由視頻中的運(yùn)動(dòng)內(nèi)容產(chǎn)生，則有：

式中：Yx,y(t)表示視頻圖像內(nèi)容值；Bx,y表示背景圖像的內(nèi)容值，是定值；M(t)表示當(dāng)前視頻內(nèi)容中的運(yùn)動(dòng)部分，是變化值。則時(shí)空信息中幀間差分圖像定義為：

式中：Diffx,y(t)代表t時(shí)刻前后幀圖像的差分值。假設(shè)在時(shí)空網(wǎng)絡(luò)中視頻采集鏡頭沒(méi)有進(jìn)行切換且沒(méi)有引入噪聲，則計(jì)算差分圖像相臨3個(gè)處理區(qū)域塊都大于運(yùn)動(dòng)屬性因子TH或都小于運(yùn)動(dòng)屬性因子TH的概率，計(jì)算公式為：

式中：u代表區(qū)間（TH，+∞）變數(shù)，相臨3個(gè)處理區(qū)域塊大于閾值的概率為：

參考文獻(xiàn)[1]通過(guò)概率方式對(duì)δ及TH的取值進(jìn)行了論證，本文也采用類(lèi)似的取值思路?？紤]到實(shí)際視頻序列的特征，本文取動(dòng)靜屬性因子TH為。

（2）對(duì)待處理區(qū)域MAD值進(jìn)行基于動(dòng)靜趨勢(shì)屬性進(jìn)行矯正。參考文獻(xiàn)[2]中，作者提出了一種基于空間相關(guān)性的MAD預(yù)測(cè)模型的改進(jìn)算法，能夠較好地對(duì)原線形預(yù)測(cè)模型進(jìn)行矯正。本文在考慮時(shí)空屬性的基礎(chǔ)上提出空間關(guān)聯(lián)因子與時(shí)間關(guān)聯(lián)因子。

空間關(guān)聯(lián)因子為：

MADcb-1和MADRcb-1分別為前一基本單元的預(yù)測(cè)MAD和實(shí)際MAD。時(shí)間關(guān)聯(lián)因子為：

當(dāng)MADcb大于動(dòng)靜屬性閾值，表征視頻內(nèi)容發(fā)生運(yùn)動(dòng)，進(jìn)行空間屬性預(yù)測(cè)補(bǔ)償，得到補(bǔ)償后的最終 MAD 值MADc。

當(dāng)MADcb小于動(dòng)靜屬性閾值，表征視頻內(nèi)容未發(fā)生運(yùn)動(dòng)和鏡頭切換等，進(jìn)行時(shí)間屬性預(yù)測(cè)補(bǔ)償，得到補(bǔ)償后的最終MAD值MADc。

1.3.3 算法分析

和傳統(tǒng)碼率控制算法相比，本文將方差物理特性基礎(chǔ)理論與視頻圖像在時(shí)間與空間的關(guān)聯(lián)屬性特征相結(jié)合，對(duì)視頻圖像在時(shí)空網(wǎng)絡(luò)中的運(yùn)動(dòng)屬性因子進(jìn)行計(jì)算，用幀間圖像像素的絕對(duì)誤差均值的方差來(lái)表征視頻序列在時(shí)間網(wǎng)絡(luò)信息中的運(yùn)動(dòng)狀態(tài)[5]。在碼率控制的過(guò)程中，在時(shí)空網(wǎng)絡(luò)中建立時(shí)空預(yù)測(cè)模型，通過(guò)視頻動(dòng)靜屬性因子來(lái)表征視頻圖像運(yùn)動(dòng)和靜止屬性，分別對(duì)待處理區(qū)域的MAD值進(jìn)行基于時(shí)空維度的補(bǔ)償矯正。本文通過(guò)視頻圖像幀間像素MAD的方差來(lái)表征視頻運(yùn)動(dòng)屬性因子，對(duì)視頻序列在時(shí)間通道中的運(yùn)動(dòng)情況進(jìn)行動(dòng)態(tài)分析，使得動(dòng)靜屬性因子能根據(jù)視頻的應(yīng)用場(chǎng)景動(dòng)態(tài)調(diào)整。

本文采用的碼率控制算法在實(shí)際工程應(yīng)用中能有效解決傳統(tǒng)算法在視頻圖像發(fā)生內(nèi)容突變時(shí)碼率較高、碼率抖動(dòng)劇烈以及視頻質(zhì)量不好的問(wèn)題，對(duì)后續(xù)基于視頻圖像的挖掘分析應(yīng)用具有較好的實(shí)際意義。

1.3.4 實(shí)驗(yàn)分析

在H.264測(cè)試模型JM上對(duì)傳統(tǒng)碼率控制算法及本文提出的基于時(shí)空預(yù)測(cè)模型的視頻碼率控制算法在不同碼率要求及不同視頻內(nèi)容情況下進(jìn)行比較分析和討論。其中，碼率控制模式為CBR與VBR；測(cè)試序列選用標(biāo)準(zhǔn)測(cè)試序列blue_sky與dinner。結(jié)果如表1和表2所示。

表1 原測(cè)試模型與本文模型算法對(duì)比（1 024 kb·s-1）

表2 原測(cè)試模型與本文模型算法對(duì)比（2 048 kb·s-1）

可以看出，本文所采用算法在CBR碼率控制模式下，在代表圖像質(zhì)量的圖像峰值信噪比PNSR值不降低的情況下，碼率偏移及碼率峰值波動(dòng)更??；在VBR碼率控制模式下，圖像峰值信噪比PNSR基本不變化的情況下，所用到的視頻編碼碼率更低。

2 結(jié) 語(yǔ)

本文重點(diǎn)闡述了利用時(shí)間和空間網(wǎng)絡(luò)對(duì)視頻圖像進(jìn)行內(nèi)容理解，基于方差物理特性，結(jié)合視頻時(shí)空特征，分析視頻圖像序列在時(shí)間通道中的運(yùn)動(dòng)情況，對(duì)運(yùn)動(dòng)趨勢(shì)用方差進(jìn)行表達(dá)、動(dòng)態(tài)分析及識(shí)別。本文基本思想在于，在時(shí)空通道中，以視頻幀間圖像的像素絕對(duì)誤差均值（MAD）來(lái)表征視頻圖像運(yùn)動(dòng)趨勢(shì)，用MAD的方差來(lái)計(jì)算動(dòng)靜屬性因子，并對(duì)待處理區(qū)域進(jìn)行動(dòng)靜狀態(tài)分類(lèi)，建立預(yù)測(cè)MAD的補(bǔ)償模型。在實(shí)際工程應(yīng)用中，特別是對(duì)于視頻場(chǎng)景切換頻繁、對(duì)網(wǎng)絡(luò)抖動(dòng)要求嚴(yán)格這一業(yè)內(nèi)較難處理的應(yīng)用場(chǎng)景，本文提出的算法可動(dòng)態(tài)、快速地完成收斂，具有較好的場(chǎng)景適應(yīng)性。本文采用的基于時(shí)空預(yù)測(cè)模型的基本思想也可應(yīng)用于其他視頻圖像處理場(chǎng)景。