基于編碼量化參數(shù)調(diào)節(jié)的圖像清晰化處理

孫令翠，馮輝宗

(1. 重慶工程學(xué)院計算機與物聯(lián)網(wǎng)學(xué)院，重慶 400056；2. 重慶郵電大學(xué)自動化學(xué)院，重慶 400065)

1 引言

與普通低動態(tài)圖像相比，高動態(tài)范圍圖像能夠直接展示出現(xiàn)實世界的動態(tài)亮度信息，所需的存儲空間更大，動態(tài)范圍也更大，光影效果也更加逼真[1]。隨著視頻技術(shù)的進步，高動態(tài)范圍圖像所應(yīng)用的場景越來越多，商業(yè)價值也更加大[2]。視頻中的動態(tài)圖像范圍和位深逐漸增大，要求網(wǎng)絡(luò)具有更寬的傳輸帶寬與傳輸空間，但是目前視頻設(shè)備中的編碼標(biāo)準(zhǔn)只能針對普通低動態(tài)圖像，不能處理高動態(tài)圖像，因此進一步加劇動態(tài)圖像的失真情況，這種情況也給視頻編碼器帶來了一定的工作壓力，所以修正圖像的失真情況也就是提升視頻編碼傳輸?shù)墓δ躘3]?，F(xiàn)有研究中，編碼器在編碼時使用失真率優(yōu)化技術(shù)實現(xiàn)圖像的失真修正，但是這種修正方法只針對圖像參數(shù)優(yōu)化，卻忽視對于圖像特征的優(yōu)化，校正后并沒有提升圖像細節(jié)信息[4]。部分研究者使用直方圖均衡化實現(xiàn)圖像失真處理，該方法能夠提升圖像對比度，改善圖像視覺效果，但是盡管能夠?qū)崿F(xiàn)圖像細節(jié)處理，但是對于亮處的細節(jié)卻經(jīng)常忽視。

視覺感知實質(zhì)上是一種圖像增強技術(shù)，考慮人類視覺主觀特點，對圖像加工處理，實現(xiàn)圖像中某些信息突出的目的，把圖像中不需要的部分數(shù)據(jù)去除，獲得更加清晰實用的圖像內(nèi)容，經(jīng)過視覺感知處理的圖像更加適合機器進一步處理或者人類視覺的習(xí)慣，在視覺上提升圖像效果[5]。所以本文充分考慮視覺感知特性，實現(xiàn)圖像失真校正，并做進一步研究。

2 圖像失真校正方法

2.1 圖像失真計算

經(jīng)過已有研究表明，對于視頻圖像中的時域運動性、空域活動性、紋理等區(qū)域，人的視覺感知都較敏感，而且視覺感知能夠快速準(zhǔn)確地捕捉到圖像的亮度變化情況。本文研究過程中，從視覺敏感對因子的角度出發(fā)，校正視頻編碼過程中出現(xiàn)的圖像率失真情況[6]。針對第i個當(dāng)前編碼樹單元，通過式(1)表述視覺明暗度PSi

PSi=KLi*KAi*KTi

(1)

式中，KLi、KAi和KTi分別表示第i個當(dāng)前編碼樹單元的亮度、空域活動性、紋理等內(nèi)容的權(quán)重因子。分析式(1)可知，視覺明暗度會隨著各權(quán)重因子的升高而變大，這些值的變化直接影響視頻圖像的亮度和紋理等內(nèi)容的視覺效果，通過計算獲得視覺明暗度的大小，該值越高則導(dǎo)致當(dāng)前編碼樹單元的視覺明暗度越低，二者呈現(xiàn)反比例關(guān)系[7]。各權(quán)重因子計算過程如下：

1)亮度權(quán)重因子計算

最直接影響視覺感知的權(quán)重因子便是亮度，無論是極高亮度還是極低亮度，都會降低視覺敏感度，但是如果視頻圖像的亮度較高，對于視覺敏感度影響較小，經(jīng)數(shù)據(jù)統(tǒng)計顯示，圖像亮度越高，人眼感知門限值越高，也就顯示視覺敏感度越高[8]。

75至125亮度值屬于視覺敏感度比較高的亮度范圍，為獲得視覺亮度權(quán)重因子，設(shè)置敏感度值為1.0，對其它范圍亮度實行縮放，使用式(2)計算亮度權(quán)重因子：

(2)

式中，第i個當(dāng)前編碼樹單元的亮度平均值使用Li表示。

2)計算空域活動性權(quán)重因子

人類視覺更容易捕捉到視頻圖像中較小活動區(qū)域失真的情況，也就是說，人眼視覺對于視覺區(qū)域中比較小的活動范圍更加敏感，反之敏感度更低[9]。已有研究表明在當(dāng)前編碼樹單元活動性獲取方面，使用梯度計算方法能夠獲得更加良好的效果。式(3)為具體計算過程

acti=

(3)

式中，當(dāng)前編碼樹單元的寬度與高度分別使用W和H描述；假設(shè)編碼塊中某個位置使用(x，y)表示，運用Ix，y表示該位置的亮度像素值。計算第i個當(dāng)前編碼樹單元空域活動性

(4)

式中，第i個當(dāng)前編碼樹單元(處于當(dāng)前編碼幀內(nèi))的梯度表示為acti，actAvg代表平均梯度。

3)計算紋理權(quán)重因子

參考空間遮掩效應(yīng)，紋理復(fù)雜程度與圖像失真之間存在正比例關(guān)系，圖像紋理越平坦越不容易出現(xiàn)失真情況。圖像紋理復(fù)雜程度存在差異，導(dǎo)致圖像均方誤差和展現(xiàn)出不同的視覺感受，相比于較低視覺敏感度區(qū)域，視覺敏感度高的區(qū)域失真更嚴重[10]。

通過方差表示視頻圖像的紋理復(fù)雜度

(5)

式中，當(dāng)前編碼樹單元亮度像素平均值用avg表示；(x，y)位置的亮度值通過I(x，y)描述，當(dāng)前編碼樹單元亮度像素平均方差用sq表示，第i個當(dāng)前編碼樹單元方差值用vai表示。使用式(6)描述紋理復(fù)雜度權(quán)重因子

(6)

式中，當(dāng)前編碼幀平均方差描述為vaavg。

2.2 調(diào)節(jié)拉格朗日乘子

通過以上研究計算獲得影響圖像視覺明暗度的各權(quán)重因子，已有研究表明，盡管亮度權(quán)重因子與空域活動性權(quán)重因子都會導(dǎo)致視頻圖像出現(xiàn)失真情況，但是這些影響圖像失真最直接的權(quán)重因子是紋理權(quán)重因子。盡管大多數(shù)情況下，圖像中平滑的區(qū)域出現(xiàn)失真不會直接被視覺感知，但是部分發(fā)生在平滑區(qū)域的失真也會被視覺感知察覺，所以無論是平滑區(qū)域還是紋理復(fù)雜區(qū)域都需要對失真情況展開校正[11]。本文研究中，為獲取視頻高動態(tài)范圍圖像結(jié)構(gòu)分量與紋理使用邊緣保持濾波器，同時為實現(xiàn)拉格朗日乘子調(diào)節(jié)，引入紋理特性，由此進一步完成參數(shù)動態(tài)調(diào)節(jié)。

視覺系統(tǒng)能夠感知視頻圖像中平滑區(qū)域的失真情況，所以對于紋理復(fù)雜區(qū)域的失真感知更加精準(zhǔn)，研究過程中需要將圖像中的紋理區(qū)域與結(jié)構(gòu)區(qū)分出來，本文所采取的方法為雙邊濾波器[12]。該濾波器屬于非線性邊緣保持濾波器。濾波系數(shù)是由位于{p，s}的濾波器系數(shù)與對應(yīng){p，s}的像素點Is減去近似像素點Ip獲得的差值系數(shù)相乘而獲得的。通過雙邊濾波器分割出視頻圖像基本層，該層主要負責(zé)圖像結(jié)構(gòu)完整保存，這種結(jié)構(gòu)主要為輪廓邊緣信息與平滑信息，雙邊濾波像素值Is后輸出Bs

(7)

式中，g(·)與h(·)分別表示空域高斯函數(shù)與在像素域中的另一個高斯函數(shù)，經(jīng)Bs與Is獲得對應(yīng)細節(jié)層的像素值：|Is-Bs|。

通常情況下，人類直接觀察圖像并不會過多關(guān)注圖像中較平滑區(qū)域，而視覺感知對于圖像非復(fù)雜紋理敏感度較高。傳統(tǒng)方法中為實現(xiàn)感知冗余去除，會采取修改失真計算的方法，但是修正拉格朗日乘子能夠使率失真代價函數(shù)優(yōu)化更加合理，所以在該部分研究中將拉格朗日縮放因子引入ηp

(8)

式中，TCU代表當(dāng)前幀編碼樹單元的灰度均值；a屬于調(diào)節(jié)參數(shù)；Tframe表示對應(yīng)圖像幀雙邊濾波后的灰度均值。編碼最終性能受到a取值影響，實驗時從合理區(qū)間選取。

分析式(8)可知，當(dāng)前幀編碼樹單元紋理越復(fù)雜，視覺越不容易感知到圖像中的失真情況，也就導(dǎo)致經(jīng)修正的ηp越大。當(dāng)前幀編碼樹單元ηp越小，越容易感知到該區(qū)域的失真情況。通過拉格朗日乘子自適應(yīng)調(diào)節(jié)，實現(xiàn)圖像中碼率與失真的平衡，增大或縮小拉格朗日乘子以應(yīng)對紋理復(fù)雜區(qū)域和平滑區(qū)域。

2.3 修正量化參數(shù)

本文研究中使用視覺感知中的紋理掩蓋特性以及視覺注意力修正視頻率失真，消除編碼量化器冗余和視頻感。使用式(8)和修改后失真計算對率失真代價函數(shù)進行修改，式(9)為經(jīng)過規(guī)劃的率失真代價值Jp

(9)

式中，{Para}opt與Dp分別表示最優(yōu)編碼參數(shù)集與修改后的失真計算，R代表由于編碼而被消耗的比特數(shù)碼率。若要得到最優(yōu)編碼參數(shù)需要先計算率失真代價函數(shù)，使用式(10)表示量化參數(shù)QP和拉格朗日乘子之間的關(guān)系。

(10)

式中，有關(guān)編碼圖像幀類型常數(shù)表示為β。使用式(11)推導(dǎo)原始編碼量化參數(shù)

(11)

式中，拉格朗日乘子與量化參數(shù)互相影響，QP變化量為ΔQP，修正后QP值變化為QPHEVC，根據(jù)式(11)獲得量化參數(shù)變化值

(12)

在原始編碼器中，量化參數(shù)都是整數(shù)，所以為獲得最后的量化參數(shù)iQPPro取整數(shù)ΔQP。經(jīng)計算得到ΔQP值實現(xiàn)編碼器量化，簡單增減修改初始量化參數(shù)，并向編碼器發(fā)送。該情況下，無需計算編碼器中的任何數(shù)，直接量化和解碼iQPPro。

3 結(jié)果分析

本文實驗研究需要在高效視頻編碼的測試平臺中開展，實驗對象為實驗資料庫中的3個視頻測試序列(分別命名為散步序列、賽車序列和籃球序列)，1920×1080分辨率，設(shè)置{23，28，33，38}為量化參數(shù)，使用視頻編碼質(zhì)量評價編碼效果，該評價標(biāo)準(zhǔn)為視頻質(zhì)量相同的情況下，碼率變化的百分比，評價圖像視覺失真差異時使用HDR-VDP-2.2，該評價方法具有主觀性。通過峰值信噪比評價視頻圖像的顏色失真情況，信噪比和失真情況呈現(xiàn)反比例關(guān)系。

為了獲得式(8)調(diào)節(jié)參數(shù)的取值范圍，先要確定下一個合理的參數(shù)區(qū)間，受到條件限制，不能遍歷全部值，因此本文研究中只隨機研究0.2、0.4、0.6、0.8四個取值的編碼情況，結(jié)果見圖1。

圖1 調(diào)節(jié)參數(shù)不同時視頻編碼質(zhì)量評價

通過圖1可知，無論何種運動速度的視頻序列，如果調(diào)節(jié)參數(shù)低于0.4，使得拉格朗日乘子增大，塊效應(yīng)明顯，造成圖像失真惡化；如果調(diào)節(jié)參數(shù)較大的情況下，對結(jié)果影響不大，同時編碼性能也不會出現(xiàn)明顯變化。從圖中能夠看出，當(dāng)調(diào)節(jié)參數(shù)為0.6時，3個視頻序列均能實現(xiàn)編碼最低節(jié)省，由此證明，調(diào)節(jié)參數(shù)選取0.6能夠獲得較好的編碼與失真平衡效果，并且獲得較好的圖像失真校正效果。

以運動區(qū)域動作較慢的散步序列為例，驗證使用雙邊濾波器處理圖像后的失真基礎(chǔ)處理效果，結(jié)果見圖2。

圖2 雙邊濾波器處理效果

通過圖2能夠看出，使用雙邊濾波器處理后獲得的基本層圖像一定程度上模糊處理圖像，但是同時仍舊能夠保留圖像中清晰的輪廓，在圖2(b)中，建筑物已經(jīng)被模糊但是仍舊能夠看出物體形狀，這就達到平滑處理圖像紋理的目的；圖2(c)圖像是消除原始圖像濾波后獲得的細節(jié)層圖像，可以看出，雙邊濾波處理后能夠保留圖像中的高頻紋理細節(jié)，同時圖像邊緣灰度值較小紋理復(fù)雜區(qū)域灰度值較大，在視覺感知領(lǐng)域，圖像灰度值越大說明紋理視覺處理越好，從視覺感知層面消除失真效果。

當(dāng)調(diào)節(jié)參數(shù)為0.6時，各視頻序列的峰值信噪比與視頻編碼質(zhì)量情況見表1。

表1 視頻圖像質(zhì)量評價

從表1中能夠看出，校正后的圖像失真情況優(yōu)于校正前的圖像失真情況。賽車序列的運動區(qū)域比較劇烈，本文方法在校正該圖像時面對較復(fù)雜的紋理情況，對圖像中的各個區(qū)域只能采取統(tǒng)一處理的方式，失真校正性能一般；籃球序列圖像場景比較固定，可參照的固定物體比較多，如底板、籃球架等位置基本屬于靜止?fàn)顟B(tài)，這些靜止?fàn)顟B(tài)的區(qū)域運動強度較低，紋理復(fù)雜度也較低，亮度權(quán)重因子也比較穩(wěn)定，因此失真校正效果也更好。

對比使用本文方法校正視頻圖像前后的圖像變化情況以及細節(jié)信息，結(jié)果見圖3。

圖3 校正前后圖像對比

從圖3中各視頻序列的細節(jié)圖像對比可以看出，失真校正之前圖像細節(jié)模糊，難以分辨出圖像找那個的具體內(nèi)容，經(jīng)過本文方法校正后能夠提升圖像的細節(jié)清晰度，獲得更好的圖像清晰效果。

4 結(jié)論

視頻圖像由于編碼過程中受到各種原因的影響常出現(xiàn)圖像失真的情況，本文融合視覺感知特性實現(xiàn)圖像失真校正，經(jīng)過自適應(yīng)調(diào)節(jié)拉格朗日乘子優(yōu)化平衡編碼和失真的問題，確保校正后的圖像更加符合人體視覺感知習(xí)慣，有效去除圖像中的感知冗余。針對高動態(tài)范圍視頻圖像編碼構(gòu)建視覺感知特性的動態(tài)拉格朗日率失真模型，同時動態(tài)調(diào)節(jié)參數(shù)，在一定程度上提升了編碼器視頻壓縮性能。通過校正優(yōu)化前后對比，得出使用本文方法校正圖像后，能夠提升圖像細節(jié)信息，使得圖像視覺效果更好。